農(nóng)田作業(yè)0人工全自動，百度飛槳攜手蘇州博田助力農(nóng)業(yè)智能化

水稻是我國三大主糧之一。水稻田的田間管理復(fù)雜、重復(fù)度高（諸如打藥、鋤草等）且工作極其繁重，給從業(yè)人員造成了極大的負(fù)擔(dān)。蘇州博田利用百度飛槳(PaddlePaddle)的深度學(xué)習(xí)技術(shù)讓拖拉機(jī)和農(nóng)業(yè)機(jī)器人學(xué)會了視覺導(dǎo)航，可以根據(jù)水稻秧苗的種植情況實時調(diào)整航向，避免壓苗等情況出現(xiàn)，從而更好地保養(yǎng)和管理水稻秧苗。這一改進(jìn)，讓“節(jié)省人力的同時大幅提高農(nóng)作物產(chǎn)量”的夢想成為了現(xiàn)實。

 

 

 

 

 

 

 

相關(guān)產(chǎn)品

PaddleSeg

合作伙伴簡介

蘇州博田自動化技術(shù)有限公司是一家專門從事農(nóng)業(yè)智能裝備技術(shù)研發(fā)與產(chǎn)業(yè)化的高新技術(shù)企業(yè)。公司秉承“科技創(chuàng)新、智能引領(lǐng)、眾創(chuàng)共享、機(jī)器助人”的發(fā)展理念，創(chuàng)造性的開發(fā)出植保機(jī)器人、果蔬采摘機(jī)器人、鋤草機(jī)器人、設(shè)施農(nóng)業(yè)機(jī)器人、農(nóng)機(jī)智能管理系統(tǒng)、農(nóng)機(jī)輔助導(dǎo)航系統(tǒng)等智能農(nóng)機(jī)裝備，多項產(chǎn)品填補(bǔ)國內(nèi)空白，并在全國二十多個省市廣泛應(yīng)用。

業(yè)務(wù)挑戰(zhàn)

由于水稻是按列種植的，列與列之間近似平行，因此，實現(xiàn)農(nóng)機(jī)視覺自動導(dǎo)航的基礎(chǔ)在于實時準(zhǔn)確地檢測出秧苗列中心線。雖然使用傳統(tǒng)圖像處理算法也能夠提取到秧苗列的中心線，但是自然光照下的水田為非結(jié)構(gòu)化環(huán)境，不同天氣不同時段圖像亮度的差異、水田里夾雜浮萍藍(lán)藻等與秧苗特征相似的植物、偶發(fā)缺苗和反光等干擾因素還是對傳統(tǒng)算法的魯棒性形成了很大的挑戰(zhàn)，精準(zhǔn)度難以保證。

水田環(huán)境如圖：

 

 

解決方案

為解決這一難題，蘇州博田技術(shù)人員綜合分析稻田圖像特點(diǎn)，基于百度飛槳(PaddlePaddle)深度學(xué)習(xí)平臺研發(fā)了水田導(dǎo)航線自動檢測系統(tǒng)。他們應(yīng)用飛槳圖像分割開發(fā)套件PaddleSeg中的ICNet模型將秧苗按列從背景中分割出來，并以此為基礎(chǔ)實現(xiàn)了秧苗列中心線的精準(zhǔn)提取。

第一階段：數(shù)據(jù)集制作

 

技術(shù)人員分別在一天內(nèi)不同時間段采集插秧1周后和插秧3周后兩個典型時期的水稻秧苗的圖片各400幅，并且在每個時段通過設(shè)置不同的曝光時間以采集不同亮度的圖片。

第二階段：模型選擇

農(nóng)機(jī)視覺導(dǎo)航任務(wù)與自動駕駛有一定的相似性，都需要保證一定精度的情況下有高實時性，并且能夠在嵌入式設(shè)備等移動端部署。飛槳PaddleSeg語義分割庫支持的主流語義分割網(wǎng)絡(luò)之一ICNet，屬于參數(shù)量較小的輕量級語義分割網(wǎng)絡(luò)，為自動駕駛等需要低內(nèi)存和高實時性的應(yīng)用場景而設(shè)計，非常適合農(nóng)機(jī)視覺導(dǎo)航。與U-Net系列、DeepLab系列等預(yù)測精高的網(wǎng)絡(luò)相比，ICNet在精度降低較少的情況下大幅度減少了預(yù)測時間和占用內(nèi)存，能夠在像1024*2048像素這樣高分辨率的圖像上達(dá)到實時效果。

第三階段：模型訓(xùn)練

在模型訓(xùn)練過程中，可以通過修改相關(guān)配置文件自定義優(yōu)化器、迭代次數(shù)等訓(xùn)練使用的超參數(shù)，以及訓(xùn)練時圖像裁剪的尺寸等。此外，飛槳還加入了圖像增強(qiáng)模塊，可以通過修改配置文件決定是否采用圖像增強(qiáng)以及修改圖像增強(qiáng)的策略等，這樣在數(shù)據(jù)量不足的時候也能訓(xùn)練得到泛化能力強(qiáng)的網(wǎng)絡(luò)。模型輸入設(shè)為為640 x 512，配置完畢后即可調(diào)用訓(xùn)練腳本對模型進(jìn)行訓(xùn)練。

第四階段：最優(yōu)模型選取

訓(xùn)練網(wǎng)絡(luò)時，每5個epoch保存一次參數(shù)。采用飛槳的可視化工具VisualDL查看訓(xùn)練的損失值隨訓(xùn)練輪數(shù)的變化情況以及在驗證集中的準(zhǔn)確率，選取在驗證集上準(zhǔn)確率最高的模型，這樣可以防止過擬合。

VisualDL可視化圖：

第五階段：測試效果

利用PaddleSeg，蘇州博田農(nóng)業(yè)機(jī)器人已經(jīng)擁有排除干擾精確地將秧苗從背景中分割出來、提取外輪廓和原圖特征點(diǎn)、進(jìn)而準(zhǔn)確提取到中間4~5列秧苗中心線的能力，為實現(xiàn)農(nóng)機(jī)視覺導(dǎo)航打下了堅實的基礎(chǔ)。自動檢測系統(tǒng)配上GPS，蘇州博田農(nóng)業(yè)機(jī)器人已經(jīng)實現(xiàn)從出庫到入庫全程自動導(dǎo)航的無人化作業(yè)，大大減少了人力物力的投入，為農(nóng)民的耕作效率、健康等提供了保障。

分割結(jié)果展示，從左至右為：圖像分割結(jié)果示意圖、原圖特征點(diǎn)提取示意圖、秧苗列中心線提取結(jié)果示意圖。

  

 

價值成果

基于飛槳平臺，蘇州博田技術(shù)人員實現(xiàn)了在復(fù)雜的水田環(huán)境中的視覺導(dǎo)航線提取，提取準(zhǔn)確率達(dá)到95％以上，處理每幀圖像耗費(fèi)的時間（包括ICNet網(wǎng)絡(luò)的分割預(yù)測時間和后續(xù)導(dǎo)航線提取的時間）達(dá)到300ms左右，效率滿足農(nóng)機(jī)作業(yè)環(huán)境下的速度要求，將農(nóng)民從重復(fù)、枯燥的勞動中解放出來。最為顯著的提升是提取導(dǎo)航線精度的提升，使用PaddleSeg之前，蘇州博田試驗過其它多種方法，但遇到特殊工況時精度均難以保證，使用基于PaddleSeg的導(dǎo)航線提取方法后，在試驗圖像中的平均角度誤差從3.27°降低到了1.65°。在反光、缺株等情況下也基本不會出現(xiàn)角度誤差大于5°的情況。

博田的研發(fā)人員稱贊：“PaddleSeg語義分割庫使用簡單，部署方便，功能豐富。可根據(jù)實際需要以及試驗結(jié)果選用不同的分割模型和配置參數(shù)，節(jié)省了很多因‘造輪子’而浪費(fèi)的時間。這不僅簡化了我們的工作，還真正實現(xiàn)了技術(shù)上的革新。大大加快了農(nóng)機(jī)智能化發(fā)展的步伐。”

蘇州博田的此項應(yīng)用為自動導(dǎo)航農(nóng)業(yè)機(jī)器人提供了精準(zhǔn)、高效、可靠的技術(shù)支持，讓農(nóng)機(jī)智能化、農(nóng)民職業(yè)化的偉大愿景邁出了重要的一大步，為我國精細(xì)農(nóng)業(yè)的推廣起到了促進(jìn)作用。下一步，蘇州博田還計劃在溫室環(huán)境下果蔬采摘、智能巡檢等設(shè)施農(nóng)業(yè)機(jī)器人方面應(yīng)用飛槳，希望未來可以讓更多的農(nóng)業(yè)從業(yè)者能實實在在地感受到智能農(nóng)業(yè)帶來的便利。