基于無人機影像技術的柑橘園產量估算方法

馮 健,馬俊燕,b,鄧齊林,黃 毅,常亞楠

(廣西大學 a.機械工程學院;b.廣西制造系統與先進制造重點實驗室,南寧 530004)

0 引言

柑橘是我國種植最廣泛的水果之一,近20年來產量從1000余萬t增長到4000余萬t[1]。在大規模的生產模式下,對果園產量的預測有利于合理分配勞動力資源、規劃倉儲空間和采收設備等,但目前的果實產量主要通過人工抽樣估測[2],費時費力,故自動計算果園產量信息至關重要。

近年來,水果的產量估算方法已經得到廣泛研究。Bargoti等[3]采用多尺度多層感知器(MLP)和卷積神經網絡(CNN)進行特征學習,再利用分水嶺分割(WS)和循環霍夫變換(CHT)算法對像素級水果分割輸出進行處理,實現水果的檢測和計數。Chen等[4]使用完全卷積網絡[5]對蘋果和橘子圖像進行分割,有水果像素存在的區域稱為簇,再使用另一個卷積神經網絡估計每個簇中的水果數量。張小花等[6]提出融合顏色轉換及霍夫圓變換的果樹估產方法,準確率可達 96.58%。雖然目前的方法對水果產量的估算獲得了較高的精度,但都是基于靜態圖像完成的,無法對視頻中的果實進行動態計數,在實際應用中具有局限性。

實現果園的產量估算首先需要通過拍攝設備獲取果園的全局信息。其中,無人機具有較高的部署靈活性,已被用于農業生產的各個方面,如噴藥施肥[7]、農情監測[8]、農田灌溉[9]、估算植被覆蓋[10]以及放牧[11]等。由于柑橘主要種植于我國的南方山地丘陵地區,地形復雜,很多自動化設備難以在山地應用,故無人機是獲取柑橘果園產量原始數據的首要選擇。

為了實現視頻中柑橘果園的產量估算,采用無人機獲取柑橘果園實時視頻,通過目標檢測算法YOLOv5s識別每一幀圖像中的果實,并改進算法使運行速度更快;同時,通過目標跟蹤方法實現相鄰幀圖像中的相同果實間的關聯,為每個果實標記不同的ID,記錄生成的ID總量用來估算果園中果實的數量,為生產實踐提供參考。

1 系統組成及工作原理

1.1 系統組成

系統的目標是統計果園的整體產量,如圖1所示。

圖1 柑橘產量估算系統流程Fig.1 Citrus yield estimation system flow

首先,需要無人機進入果園中通過攝像機不重復地記錄每一顆柑橘樹果實數量的視頻文件作為原始數據,通過無人機的圖傳系統傳輸到影像接收器中,再通過HDMI接口將視頻導入計算機;計算機通過算法識別視頻每一幀圖像的柑橘果實,對每個獨立果實進行視頻幀間關聯,為果實標記獨立的ID,以避免不同幀圖像包含相同果實帶來的重復計數;最后,通過獲取最終生成的ID數量得到果園產量的估算值。

1.2 果實識別方法

果園中的柑橘果實通常生長在茂密的枝葉之間,且較為密集,難以被精確識別;在無人機記錄的實時視頻中,通常1s輸出15幀以上圖像數據,故需要算法在保證識別準確性的同時提高運行速度,滿足實時檢測的需求。

本文以YOLOv5s算法為基礎進行柑橘果實識別。YOLOv5是YOLO系列算法的最新版本,有x、l、m、s等4種尺度的模型可供實際應用選擇[12]。其中,YOLOv5s是最小的模型,具有極快的檢測速度及較高的檢測精度。其識別的流程如圖2所示。

圖2 柑橘果實識別流程Fig.2 Citrus fruit identification process

YOLOv5主要由主干網絡(Backbone)、頸部網絡(Neck)和檢測頭(Prediction)3個部分構成。其中,主干網絡是CSPDarkNet53卷積神經網絡,通過多次卷積和合并從輸入圖像中提取不同大小的特征圖,且保留主干網絡中提取的最后3層特征圖,通過頸部網絡(圖2中虛線框部分)將這些不同大小的特征圖進行融合;在融合過程中,使用了FPN和PAN的特征金字塔結構。FPN結構將強語義特征從頂部特征映射傳遞到下部特征映射,并將強大的本地化特征從較低的特征映射傳遞到較高的特征映射。這兩種結構共同增強了頸部網絡的特征融合能力,以獲得豐富的上下文信息,減少了信息丟失;將最后獲得的特征圖輸入檢測頭中,通過反解碼在原始圖像上繪出包含果實位置的邊界框,得到果實的位置信息。

由于本文不僅需要實時識別視頻中果實的位置,而且還要根據檢測的結果實現相同果實的幀間關聯,為了給后續操作預留出時間,需要對算法進行改進,以提升運行速度。在CSPDarkNet53中,每次對特征圖進行降維操作都使用CBL結構進行,包括標準卷積(Conv)、批處理標準化(Batch Normalization)及Leackyrelu激活函數?？紤]到標準卷積的運算量較大,采用深度可分離卷積[13]作為代替。深度可分離卷積主要是將標準卷積拆分為對原始輸入圖像1對1的逐通道卷積和用1×1卷積核進行擴充通道數的逐點卷積兩部分,以減少模型的運算量,結構如圖3所示。

圖3 標準卷積和深度可分離卷積結構Fig.3 Standard convolution and depth-wise separable convolution structures

深度可分離卷積和標準卷積的浮點運算量比值計算公式為

(1)

其中,c為輸入通道數;m為輸出通道數;h、w分別為輸入特征圖的高和寬,h′、w′分別為輸出特征圖的寬和高;k為卷積核大小。以3×3的卷積為例,深度可分離的運算量僅有標準卷積的1/9左右,可以節省大量運算資源。

1.3 視頻幀間關聯

實現視頻中水果產量估算的最大難點是對果實實現幀間關聯,即在識別果實之后區分視頻中不同幀圖像中的果實是否為同一果實,避免相同果實出現在不同視頻中導致對果實重復計數。因此,需要引入目標跟蹤方法,為每個目標標記獨立的ID。

首先,通過卡爾曼濾波[14]根據改進的YOLOv5獲得的水果位置狀態信息(邊界框中心位置、長寬比和邊界框面積和這些位置信息在坐標系中各自的速度),并對果實在視頻下一幀中出現的位置進行預測;然后,通過運動預測和下一幀中檢測到的果實的真實位置之間的馬氏距離,建立不同幀圖像中水果的運動信息關聯。馬氏距離計算公式為

(2)

其中,d(1)為第j個檢測和第i條軌跡之間的運動匹配度;dj為第j個檢測框的位置;yi為第i個追蹤器對目標的預測位置;Si為由卡爾曼濾波預測得到的在當前時刻觀測空間的協方差矩陣。

當目標運動不規律或者受到遮擋時,馬氏距離的度量效果就會變得較差,需要引入外觀匹配的方法對匹配機制進行補充。在此,通過卷積神經網絡ResNet-18[15]提取果實的外觀特征向量,網絡結構如表1所示。

表1 ResNet-18結構

ResNet-18主要由17個卷積層和1個池化層組成,原始輸入是224×224的圖像,由于深度較淺而具有較快的運行速度,并且該網絡提供使用ImageNet訓練好的權重。ImageNet是一個含有數百萬張圖像的數據集[16],也包含了柑橘等水果,可以免去重新訓練的麻煩。將每一幀通過改進的YOLOv5s獲得的邊界框中的圖像輸入到ResNet-18中,提取其外觀特征并形成特征向量rk。最小余弦距離計算公式為

(3)

其中,d(2)為某一目標當前時刻前100幀外觀特征向量rk與當前獲得的檢測框j的外觀特征向量rj的最小余弦距離。由于保留了當前時刻前100幀的特征向量,故只需目標100幀內有一次沒有被遮擋就可以持續正確匹配。大大提升了抗遮擋性能。

兩種度量方式通過服務于分配問題的不同方面而相互補充,為了構建關聯問題,使用加權和將馬氏距離和最小余弦距離相結合,即

ci,j=λd(1)(i,j)+(1-λ)d(2)(i,j)

(4)

其中,λ為權重參數。計算獲得的c值小于閾值時即認為成功匹配。為每個成功匹配的柑橘果實標記獨立的ID,計算生成的ID總數作為果園中果實的估算數量。

2 試驗設計

2.1 試驗區域概況

試驗區域設在廣西魁圩鄉柑橘園,是廣西脫貧攻堅農業示范區域(105°56′～106°48′E,22°51′～23°34′N),屬于亞熱帶季風氣候。當地大多是石山,石漠化嚴重,環境惡劣,近年來大力發展柑橘種植業,已種植柑橘300hm2。當地的農業生產模式較為傳統,基本全靠手工作業,對產量并沒有明確的預估,故在后期的收成物流規劃上經常造成人力物力的浪費。試驗時間為2021年12月中旬,是柑橘臨近收獲的時期。選取當地的一片果園,包含42株柑橘果樹,如圖4(a)所示。

2.2 數據獲取

柑橘果園產量原始視頻數據通過無人機平臺獲取,無人機選用大疆DJI Mini2,如圖4(b)所示。無人機的具體參數如表2所示。

圖4 試驗區域與無人機Fig.4 Experimental area with drones

表2 無人機主要參數Table 2 Main parameters of UAV

數據采集時,研究人員操縱無人機在樹行之間飛行拍攝。為完整地記錄果樹全貌,無人機保持距離柑橘樹1.2m左右,采用水平和傾斜兩種拍攝視頻的方式,傾斜角度45°左右,不重復地記錄每一行柑橘樹的產量信息,如圖1所示。視頻使用mp4格式錄制,視頻分辨率720P。

為訓練果實識別網絡,拍攝不同角度的600張柑橘果實圖像訓練數據集,使用LabelImg軟件對原始數據進行邊界框標注。

2.3 試驗設計

1)果實識別:使用600張圖像的訓練集分別對原始YOLOv5s網絡和本文改進的算法進行充分訓練,通過測試集對比檢測性能。平臺處理器為Intel Core i5-9300H CPU @2.40GHz,搭載NVIDIA GTX 1660 ti GPU。采用隨機梯度下降訓練,初始學習率0.01,動量衰減0.0005,訓練300代。最后,對比改進前后的識別性能。

2)視頻跟蹤:拍攝一段較短的果園中的柑橘果樹視頻,使用卡爾曼濾波和卷積神經網絡對視頻中的每個柑橘果進行跟蹤; 同時,為每個果實標記獨立的ID,逐幀播放觀察跟蹤的穩定性,根據測試效果對實際應用進行調整。

3)果實計數:在無人機采集到的果園相同區域的水平和傾斜兩種視頻數據上運行果實產量估算系統,獲得視頻中果實數的估計,并與人工計數的實際數據相比較,計算準確率。

3 試驗分析

3.1 識別效果測試

分別使用訓練好的改進前YOLOv5s和改進后的YOLOv5s對包含100張圖像柑橘測試集進行識別測試,使用mAP(Mean Average Precision)、R(Recall)作為對模型精度的評價指標。其中,mAP反映的是模型對所有類別目標的平均精度,R反映的是模型成功檢測到的目標的比率。對于模型的檢測速度,則用Fps(Frames Per Second)衡量,即每秒處理的圖像數,并使用V(Volume)衡量模型的大小,即模型權重文件的大小。Fps和V的值通過模型訓練和測試后得出,mAP和R的計算公式為

(5)

(6)

(7)

(8)

其中,TP為被判為正類的正類;FP為被判為正類的負類;FN為被判為負類的正類。測試結果如表3所示。

表3 不同網絡的檢測效果對比

雖然改進模型的mAP和R與原YOLOv5s相比分別下降了0.8%和0.6%,但運行速度提高到了98FPS。雖然無人機錄制的影像通常在30幀左右,但更快的識別速度能為后續跟蹤方法留出更多的處理時間。改進模型的實際檢測效果如圖5所示。

圖5 改進的YOLOv5s網絡實際檢測效果Fig.5 The actual detection effect of the improved YOLOv5s network

3.2 跟蹤穩定性測試

在采集的視頻上進行算法測試,可以達到25幀的運行速度,實際效果如圖6所示。其中,圖6(a)為視頻第1幀的圖像,此時所有目標處于待定狀態,還未獲得對應的ID;圖6(b)為視頻第3幀的圖像,此時目標經過3次與軌跡成功匹配,得到ID1～5的5個柑橘目標;圖6(c)是第70幀的圖像,此時經過較多的幀數跨度,但在圖中可見第3幀中的5個目標只有ID為5的柑橘受到較嚴重的遮擋導致ID切換為11;圖6(d)中第90幀之前出現的目標ID都沒有改變;圖6(e)中第115幀果實數量已經較多,跟蹤效果依舊穩定,只有極少數果實因為被遮擋而丟失。

雖然跟蹤算法獲得了較為穩定的跟蹤效果,但對于產量估算仍有一些問題沒有解決。在視頻中抽取背景有其它樹行果樹的圖像,如圖6(f)所示。此時,圖像中檢測到了距離較遠的柑橘樹上的果實,說明在無人機經過背景有不同樹行的柑橘樹存在的區域時會將多余的果實計入,將造成對柑橘果實的過量計數。因此,在識別柑橘果實時增加限制條件,為邊界框的生成增加閾值,即在應用中若是目標邊界框小于既定的閾值則不生成。經過多次測試發現,在閾值設定在長寬都小于30像素時,可以去除絕大多數背景中果實的邊界框,減少因為背景影響帶來的過量計數。

圖6 跟蹤效果抽幀示意圖Fig.6 Schematic diagram of tracking effect frame extraction

3.3 果實計數準確率測試

在無人機拍攝時,將無人機記錄到的柑橘樹的果實數量通過人工計數作為真實產量數據。為了進行評估,通過比較本文系統預測的產量和人工計數的柑橘真實數量來計算精度,即

(9)

其中,GT為真實值;L1為計算誤差。

使用水平和傾斜兩種拍攝方式,通過算法獲得產量與人工統計的真實數量對比,結果如表4所示。

表4 柑橘視頻產量估算結果

水平拍攝時,鏡頭移動過程中對柑橘果樹的上、下部分果實都具有較高的可見性,且由于為邊界框添加了閾值條件,沒有受到背景果實的影響,僅漏檢208個果實,達到88.6%的準確率,如圖7(a)所示。但在實際應用中,有時柑橘樹栽種較為密集,樹行間的距離不足以在水平拍攝時獲取完整的柑橘樹,需要在較高的地方進行傾斜拍攝。此時,由于鏡頭主要捕捉到上半部分的果實,對位置較低的果實可見度不高,故漏檢291個,準確率84.1%,如圖7(b)所示。由此說明,使用無人機影像技術與機器視覺方法相結合對柑橘園果實的產量估算在兩種拍攝角度上都具有較高的準確率,對柑橘采摘及物流規劃具有一定的指導意義。

圖7 不同視角拍攝的實際效果Fig.7 The actual effect of shooting from different perspectives

4 結論

提出了一種基于無人機影像的柑橘果園產量估算方法,在實地采集的柑橘果園視頻上估算水果數量,得到了較高的準確率。首先,對無人機獲取的視頻進行柑橘果實檢測,通過改進的YOLOv5算法獲得果實在每一幀圖像中的位置信息;然后,通過DeepSORT目標跟蹤算法對相鄰幀之間的柑橘果實進行運動匹配和外觀匹配,關聯不同圖像中的相同果實,為每個獨立果實標記獨立的ID,通過記錄生成的ID數量獲得對柑橘果實數量的估算。試驗結果表明:在實際運行中,最高獲得了88.6%的準確率。