基于無人機遙感影像的多生育期冬小麥種植行檢測方法

楊蜀秦 林豐山 徐鵬輝 王鵬飛 王 帥 寧紀鋒

(1.西北農林科技大學機械與電子工程學院，陜西楊凌 712100；2.農業農村部農業物聯網重點實驗室，陜西楊凌 712100；3.西北農林科技大學信息工程學院，陜西楊凌 712100；4.陜西省農業信息感知與智能服務重點實驗室，陜西楊凌 712100)

0 引言

大田環境下小麥采用成行種植以增加光暴露、提供換氣通道，方便進行除草和施肥作業[1-2]。種植行方向的識別和準確定位不僅是農機視覺導航的基礎[3-4]，而且對于作物種植情況分析、精準施藥、中耕除草和優化農田管理等工作都有重要意義[5-11]。

無人機遙感具備靈活機動、時效性強和分辨率高等優勢，已被廣泛用于小麥長勢監測[12]、產量估算[13]和倒伏面積提取[14]等農情信息分析。許多研究者基于無人機遙感影像采用超綠特征和霍夫變換等傳統圖像處理方法開展了種植行提取研究，并已在小麥種植行和玉米壟估計中取得了較好的效果。如王曉杰[15]采用超綠特征、基于移動窗的特征點提取以及霍夫變換、聚類等方法提取小麥、大豆等作物種植行；蘇偉等[16]應用霍夫變換提取育種玉米壟數，精度可達90%以上；RAMESH等[17]采用k均值算法、數學形態學和幾何運算的空間方法檢測番茄行；BASSO等[18]采用超綠特征提取、閾值分割和霍夫變換等檢測玉米種植行。但是這些方法僅適用于作物行完整的田間條件下，當面臨種植行稀疏、雜草干擾和封壟等情況時，傳統的種植區域提取和種植行檢測方法效果較差。

近年來，利用深度學習有效的特征表示和端到端的學習能力[19]，將其應用于作物種植行檢測的工作逐漸增多。PANG等[20]基于Masking Scoring R-CNN模型檢測玉米種植行區域，在不考慮地形條件時，準確度較高；BAH等[21]提出一種基于CNN的霍夫變換組成的CRowNet方法，檢測甜菜地種植行。然而，文獻[20]提出的方法僅提取種植行區域，并未考慮種植行中心線的檢測。而且，文獻[20-21]均未考慮在作物拔節期時趨于封壟的種植行提取。

本文結合深度學習和傳統方法，分別利用其小麥種植行區域檢測精度高和種植行中心線檢測計算復雜度低的優勢，研究多生育生長條件下的小麥種植行中心線提取問題。根據種植行整體性先驗信息，構建SegNet[22]深度語義分割模型，提取小麥種植行區域；基于霍夫變換對種植行中心線預檢測的結果，提出采用二分k均值聚類方法去除偽直線，優化種植行中心線檢測效果，以期實現復雜環境下小麥種植行提取。

1 數據采集與處理

1.1 實驗區域和設備

實驗地點位于陜西省關中平原中部的楊凌農業高新技術產業示范區曹新莊小麥育種試驗田，中心坐標(34°18′23.23″N，108°05′57.54″E)，屬于溫帶半干旱或半濕潤氣候，年平均氣溫11～13℃，年降水量500～700 mm。如圖1a所示，小麥種植區域長約175 m，寬約98 m，面積約17 150 m2。該區域所種植冬小麥于2020年10月中旬播種，2021年6月中旬收獲。

圖1 實驗區域和拍攝設備

圖像采集設備為大疆精靈4型多光譜版無人機，如圖1b所示。該設備搭載1個可見光相機及5個多光譜相機。由于可見光傳感器具有更高的分辨率，因此本研究采用可見光圖像進行小麥種植行提取。

1.2 數據采集和分析

采用無人機采集分蘗期和拔節期2個階段的冬小麥農田遙感影像，飛行具體參數如表1所示。每幅遙感圖像分辨率約為4 000像素×15 000像素，通過Pix4Dmapper軟件拼接。為方便處理，將拼接后的全景圖像分割成分辨率為256像素×256像素的若干子圖，在子圖上檢測小麥種植行，并進行評價。

表1 小麥農田無人機影像參數

圖2列出了冬小麥分蘗期和拔節期不同情況下的種植行區域。其中，圖2a、2d包括了清晰完整的小麥種植行，圖2b中存在雜草脅迫情況，圖2c、2e為種植行稀疏或不完整，而圖2f中種植行趨于封壟?？梢钥闯?，這些復雜因素對小麥種植行中心線的提取造成了一定的困難。

圖2 分蘗期和拔節期小麥無人機遙感圖像

1.3 數據集制作

采用開源軟件LabelMe對拼接后的無人機遙感影像進行手工標注，標注時將作物種植條形區域中有“僅存綠色作物”、“僅存裸土”和“種植行存在斷行”這3種情況，同歸為“種植行”類，并將標注后的圖像裁剪為256像素×256像素的子圖作為網絡輸入，如圖3所示。

圖3 冬小麥無人機遙感圖像的數據標注

2個時期小麥遙感影像中均包含11塊相互獨立的小麥種植區域，從分蘗期和拔節期的圖像中各選取1塊區域作為測試集，然后按照比例9∶1劃分18塊區域作為訓練集，2塊區域作為驗證集，將訓練集、驗證集和測試集按照分辨率256像素×256像素進行分割，得到共2 165幅訓練集圖像以及241幅驗證集圖像，測試集包含75幅分蘗期圖像和147幅拔節期圖像。最后通過添加噪聲、旋轉以及亮度和飽和度變化等數據增強方式將最終的訓練集擴充至10 000幅圖像，以提高模型魯棒性。

2 檢測方法

本文從種植行區域提取和行中心線確定兩方面考慮小麥種植行檢測，其中，小麥種植行區域的魯棒提取是行中心線確定的關鍵。由圖2可以看出，小麥種植行具有明顯的紋理特征，這一特征可借助深度語義分割模型進行識別和優化；其次，對于具有一定寬度的小麥種植行，直接采用霍夫變換難以得到準確的中心線，因此提出采用二分k均值聚類優化霍夫變換的直線檢測結果。

2.1 基于深度語義分割的小麥種植行區域提取

像素級分類是語義分割領域里一個研究熱點。其中，SegNet作為一種代表性的語義分割方法，主要由編碼器、解碼器和逐像素分類器組成，具有對稱簡潔的Encoder-Decoder結構。如圖4所示，SegNet網絡結構的左半部分是編碼網絡，由經過預訓練的VGG16的前13層作為特征提取層，并通過丟棄全連接層在保留高分辨率特征映射的同時，有效減少參數量。解碼器與編碼器對應，同樣具有13層，將低分辨率的特征圖映射為與輸入相同的分辨率，并送入分類器為每個像素獨立地產生類別概率。

圖4 基于SegNet的小麥種植行區域提取網絡模型

編碼器由5個block組成，每個block進行卷積、批標準化和ReLU激活操作，并通過最大池化的方法實現下采樣。針對下采樣會降低特征圖分辨率，從而損失邊界信息這一不利于語義分割的問題，SegNet在解碼器部分使用相應編碼器的最大池化步驟中計算的池化索引進行非線性上采樣，逐步恢復特征信息，改善邊界描述。因此SegNet核心在于解碼器，通過釋放編碼器中存儲的位置信息得到較為完整的邊緣，在語義分割領域中得以廣泛使用。

2.2 基于二分k均值聚類的小麥種植行中心直線檢測

基于深度語義分割模型提取小麥種植行區域后，需進一步確定小麥種植行的中心直線。針對每個小麥種植行區域，采用霍夫變換直線檢測，從參數空間中可得到多組候選點，從中確定最優的可表示種植行區域主方向的點。在農作物種植行提取任務中多采用k均值聚類確定數據點的質心，從而得到最接近種植行區域中心的直線。然而，該方法容易陷入局部最優解而造成錯檢和漏檢。為此，本文提出采用二分k均值聚類檢測小麥種植行中心的方法。

二分k均值聚類算法改進自k均值聚類，它將整個數據集看成一個整體，求其平均值作為初始質心。首先，對數量僅為1個的初始質心進行二均值聚類并產生2個新的質心，接著對每個質心所代表的類計算其誤差平方和，選擇使得總誤差平方和最大的類再次進行二均值聚類。依此類推，直到產生的質心數等于給定的聚類質心個數，即圖像中包含的種植行條數。該方法能夠避免算法陷入局部最優解，魯棒性強，因此本文將霍夫變換算法中每組表示直線的極坐標參數作為聚類算法的樣本數據，應用二分k均值聚類，得出代表每條種植行的聚類質心，從而消除種植行中存在的冗余直線。

在提取種植行區域后，對語義分割預測圖像的像素進行垂直方向的投影，種植行區域所在列即為峰值，峰值點的個數即為每幅子圖中所包含的種植行條數，并將其作為后續進行聚類過程所需提取的聚類質心的個數，因此本文所用方法可自適應地獲取聚類質心個數k。但這同時導致了后續處理依賴于種植行區域提取的效果，前一步處理若能夠達到較精確程度，那么后續經過聚類后的結果即可避免出現直線錯漏的情況。

2.3 實驗方案

首先比較DeepLabv3+[23]、Segformer[24]和SegNet 3種深度學習模型與傳統特征提取方法在小麥種植區域提取的結果，選取最優模型進行小麥圖像預處理。其次，基于提取的小麥種植行區域，采用霍夫直線檢測以及提出的二分k均值聚類方法檢測種植行中心線，驗證所提出方法的有效性。

2.3.1深度學習小麥種植行區域提取模型構建和精度評價

SegNet、Segformer與DeepLabv3+模型采用經過裁剪和數據增強后的256像素×256像素圖像作為輸入，預測時采用相同尺寸的圖像進行種植行區域提取。

實驗用的顯卡為GeForce RTX 2080Ti，顯存為10 GB，操作系統為 Ubuntu 16.04。特別地，SegNet模型深度學習框架采用Pytorch 1.2.0，編程語言及版本為Python 3.6.10，迭代次數為30 000次，批尺寸為6，學習率為1×10-4，動量參數為0.9。Segformer模型深度學習框架采用Pytorch 1.7.1，編程語言及版本為Python 3.7.0，迭代次數為160 000次，批大小為6, 采用Poly策略動態調整學習率。DeepLabv3+模型深度學習框架采用Tensorflow 1.14，編程語言及版本為Python 3.6.5。迭代次數為30 000次，批大小為6，初始學習率為0.05，結束學習率為6×10-6，權重衰減以及動量參數分別為0.000 8和0.9。

采用平均像素精度(Mean pixel accuracy, MPA)[25]衡量語義分割算法精度，通過分別計算每個類被正確分類像素數的比例，最后累加求平均的方式獲得。

2.3.2小麥種植行中心線精度評價

在種植行直線檢測階段，采用提出的作物行檢測算法分別處理小麥分蘗期和拔節期的遙感圖像，檢測所得的作物行中心直線為預測直線，標注結果中作物行區域的中心直線作為真實直線，測量預測直線與真實直線相對水平方向角，定義2條直線的最大夾角為作物行的角度偏差，當預測直線角度相對真實直線角度為順時針方向偏移時，偏差角為正值，反之則為負值。當預測直線相對真實直線發生水平方向平移時，定義平移距離為作物行的位置偏差，向右偏移時位置偏差為正值，反之則為負值，最后計算位置、角度偏差的標準差。角度偏差和位置偏差計算式為

(1)

(2)

式中θmean——平均角度偏差

n——圖像中種植行數量

θi——第i條種植行對應的種植直線角度偏差

ρmean——平均位置偏差

ρi——第i條種植行對應的種植直線位置偏差

3 結果與討論

3.1 實驗結果

3.1.1基于超綠特征方法和深度語義分割的小麥種植行區域提取比較

基于超綠特征的傳統方法和2種深度語義分割模型對小麥種植區域提取的結果如表2所示?？梢钥闯?，在分孽期和拔節期，基于超綠特征的傳統方法在檢測速度上有優勢，但在小麥種植區域提取精度上卻遠低于深度語義分割方法，顯然這一指標在檢測問題中更為看重，其中，SegNet提取的小麥種植區域精度最高。在分孽期和拔節期，SegNet比DeepLabv3+分別提高3.8、0.5個百分點，檢測速度快28 f/s；在種植行區域提取任務上，Segformer-B0相較于SegNet精度相近，然而檢測速度慢15 f/s。因此，綜合考慮精度和推理速度，本實驗采用SegNet方法提取小麥種植區域。

圖5為采用傳統方法和SegNet語義分割模型進行小麥種植行區域提取的結果對比。在圖5a中，分蘗期小麥種植行稀疏，傳統方法的檢測結果如圖5b所示，由于是基于超綠特征檢測，僅能分割出綠色作物，因此小麥種植行區域出現嚴重缺失，而在圖5c中，深度語義分割方法得到完整的種植行，提取效果較傳統方法具有明顯的優勢；在圖5d中，拔節期小麥種植行出現封壟，由于跨行連接處亮度較暗，因此造成傳統提取方法在連接處分割效果較差(圖5e)，而圖5f則顯示基于SegNet的方法仍能保持較好的分割效果，體現了深度語義分割的魯棒性。

圖5 基于超綠特征的方法與深度語義分割方法提取小麥種植區域比較

3.1.2基于二分k均值聚類的小麥種植行中心直線確定結果

表3對比了本文提出的二分k均值聚類和k均值聚類確定種植區域中心線的結果，表中Sl和Sd分別表示位置偏差和角度偏差的標準差?？梢钥闯?，2種方法對基于SegNet語義分割提取的小麥種植區域均能較好地檢測行中心線。與k均值聚類中心線檢測相比，二分k均值聚類方法直線檢測的漏、誤檢條數最低，說明后者具有魯棒性強、不易陷入局部最優解的優點。綜上所述，采用本文方法進行小麥種植行直線的檢測，分蘗期和拔節期小麥種植行直線平均位置偏差的絕對值分別為0.55、0.11 cm；平均角度偏差的絕對值分別為0.001 1、0.000 37 rad，標準差低，檢測精度高。

表3 小麥分蘗期和拔節期種植區域中心線檢測結果比較

圖6為雜草脅迫下2種中心線檢測方法的結果比較。圖6a和圖6c中的數據點顯示了檢測到的直線參數，其中橫坐標為位置ρ，縱坐標為角度θ，相同顏色的點屬于同一種植行，“+”號表示算法直線檢測的結果?？梢钥闯?，在圖6a中，k均值聚類方法檢測結果出現了偏差，“+”表示的聚類質心陷入了局部最優解，不能準確反映每類數據點的中心，其結果如圖6b所示，出現了明顯的漏檢和誤檢。本文所采用的二分k均值聚類對中心線的檢測結果如圖6c所示，“+”表示的聚類質心基本處于每一類數據點的中心，從圖6d可以看出，每個作物行均得到了準確的檢測結果。

圖6 二分k均值和傳統的k均值聚類小麥種植行中心線檢測比較

3.1.3多生育期冬小麥遙感圖像種植行檢測結果

采用本文所述冬小麥大田種植行檢測算法對測試集中75幅分蘗期圖像及147幅拔節期圖像進行連續處理，并組合回原圖尺寸。處理結果如圖7所示，中心線在大圖中基本能夠保持連續，然而拼接處的部分中心線仍存在1～3像素的錯位，對應實際地面尺寸則存在1～5 cm的誤差。

圖7 冬小麥大田種植行檢測結果

3.2 討論

3.2.1基于深度語義分割的多種小麥種植行表型提取分析

表4為SegNet網絡模型在幾種復雜小麥種植行表型條件下的分割精度，其中，“稀疏”和“雜草脅迫”多出現于分蘗期，而“斷行”與“封壟”多出現于拔節期。實驗表明，在稀疏、雜草脅迫和封壟條件下，SegNet的MPA可達93%以上，而對斷行現象的處理略差，但MPA也達到87.1%。

表4 復雜情況下深度語義分割模型提取的小麥種植區域MPA

3.2.2復雜條件下小麥種植行中心線確定分析

圖8為拔節期作物行出現斷行時，SegNet和超綠特征檢測的種植區域對后續種植行中心線確定的影響。如圖8a方法流程預處理圖像所示，基于超綠特征的種植區域難以提取完整的種植行，因此霍夫變換出現了漏檢的情況。而由于SegNet模型強大的特征學習能力，即使出現斷行，也仍被認為是與其他種植行相同的類，最終能夠完整分割并得到正確的行中心線檢測結果，如圖8b方法流程中的聚類結果所示。

圖8 拔節期作物行斷行條件下兩種方法處理結果對比

針對分蘗期中小麥行出現過于稀疏的現象，圖9對比了傳統圖像處理方法及本文所提出的方法處理過程及結果?？梢?，與斷行類似，稀疏條件下小麥特征點分布零散，導致直線檢測算法無法成功檢測中心直線，造成漏檢；而SegNet模型預測圖對每條稀疏作物行區域較為敏感，在稀疏條件下作物行仍保持分割完整。

圖9 分蘗期小麥圖像稀疏條件下兩種方法處理結果對比

圖10表示在麥田趨于封壟時，作物行間小麥特征點分布密集，超綠特征的分割結果對直線檢測算法造成較大干擾，從此產生誤檢并出現很大偏差(圖10b)，而語義分割仍能保持較強的魯棒性，作物行獨立并仍能完好地分割(圖10c)。

圖10 拔節期小麥圖像封壟條件下兩種方法處理結果對比

圖11為傳統圖像處理方法和本文所提算法在一定雜草脅迫下分蘗期小麥圖像的種植行檢測提取過程，顯然，傳統圖像處理方法以及本文所提方法都能一定程度上避免雜草噪聲的影響，最終處理結果趨于一致。

圖11 分蘗期小麥圖像雜草脅迫條件下兩種方法處理結果對比

綜上所述，種植行直線檢測效果取決于預處理結果。在傳統圖像處理方法中，對于小麥圖像預處理不可避免地需要根據圖像特征和研究者的個人經驗應用多種閾值參數以達到去除雜草、避免光照或陰影等自然因素的影響，而在本文提出的方法中，引入深度學習方法替代預處理過程，僅需訓練出合適的模型即可對麥田圖像進行批量分割處理，并能對作物行區域達到很好的分割效果，后續即可應用多種直線檢測算法提取農田作物種植行，大大提高了檢測過程的魯棒性。

4 結論

(1)針對多時相小麥圖像種植行中心線檢測，提出基于深度語義分割和霍夫變換的小麥種植行檢測方法。在小麥種植區域提取中，深度學習方法具有像素級分類和可克服光照影響的優點，檢測性能顯著優于基于超綠特征的傳統方法；在小麥種植區域中心線檢測方面，針對基于霍夫變換的k均值聚類方法容易陷入局部最優解而造成錯檢和漏檢，提出采用二分k均值聚類方法對檢測結果進行改進，顯著提升檢測精度。

(2)小麥種植區域的準確提取是中心線檢測的關鍵。實驗結果表明，SegNet語義分割方法對于稀疏、雜草脅迫、斷行和封壟等復雜條件下的種植區域分割MPA達93%以上，斷行條件下仍達到87.1%。結合提出的二分k均值聚類方法，對分蘗期和拔節期小麥種植行直線平均位置偏差的絕對值分別為0.55、0.11 cm，平均角度偏差的絕對值分別為0.001 1、0.000 37 rad，標準差低，檢測精度高。