基于YOLO v5-TL的褐菇采摘視覺識別-測量-定位技術

盧 偉 鄒明萱 施浩楠 王 玲 DENG Yiming

(1.南京農業大學人工智能學院，南京 210031；2.密歇根州立大學，東蘭辛 48824)

0 引言

褐菇具有豐富的食用價值，可提供優質的蛋白質、脂肪、維生素、微量元素等，其栽種面積廣、產量大、經濟效益高[1]，目前以工廠化種植為主，并逐漸實現機械化和智能化，但采收環節仍為手工方式，效率低、勞動力成本高。隨著科技發展，通過機器人實現自動化采收是未來發展方向[2]，其中褐菇的識別、尺寸測量和精確定位是機器人自動化采收作業的關鍵[3-4]。

很多學者采用機器視覺進行果蔬識別，可分為“Eye-in-hand”、“Eye-to-hand”兩種方式，“Eye-in-hand”將相機安裝在末端執行器上[5]，靠近目標果蔬進行識別，識別和測量精度高，但對果蔬逐個識別耗時較長?！癊ye-to-hand”將相機固裝在移動平臺上[6]，對目標區域的果蔬進行一次性識別、測量和定位，效率高但對遠處目標的測量精度降低[7]。在工廠化褐菇種植中，出菇時褐菇生長速度快且分布密集，大量集中出菇亟需高效采收，因此本文選用“Eye-to-hand”方式進行褐菇的識別、測量和定位。

1 數據集構建與方法流程

1.1 數據采集和數據集構建

本文褐菇數據采集自揚州市奧吉特生物科技有限公司的褐菇種植菇房，采集不同光線、不同角度下的褐菇圖像。采集設備為RealSense d435i型相機，采集圖像分辨率為1 280像素×720像素，圖像保存為.jpg格式。采集設備分別放置于菇架側方和上方，如圖1所示，相機1所示為側方拍攝，相機1距離菇架邊緣35 cm；相機2所示為上方拍攝，相機2距離水平菇架40 cm，采集光線包括順光、逆光、遮光等情況，菇房環境中共采集415幅褐菇圖像。圖2 為不同光線條件下的褐菇圖像。

圖1 采集設備安裝位置

圖2 不同條件下的褐菇圖像

1.2 褐菇視覺識別-測量-定位方法流程

針對昏暗環境下，菇床表面高低起伏，菌絲密布，菇蓋形狀不規則等造成褐菇視覺識別困難的問題，提出一種褐菇快速、精準識別-測量-定位一體化方法。該方法包括基于YOLO v5-TL的褐菇快速識別和基于褐菇三維邊緣信息的直徑動態估測、定位，具體流程如圖3所示。

圖3 本文方法流程圖

2 基于YOLO v5-TL的褐菇快速識別

由于深度學習在目標檢測領域具有高精度、高效率的優勢，近年來不斷被用于果蔬采摘識別，但深度學習需要依賴大量優質的數據、高性能的訓練平臺，這在農業領域較難滿足。因此，對于小樣本數據對象常采用基于模型的深度遷移算法[16]。

基于模型的遷移算法采用預訓練模式，本文采用基于ImagNet預訓練好的YOLO v5模型參數進行遷移訓練，具體遷移訓練邏輯如圖4所示[17]。深度學習中的淺層網絡多用于學習通用的邊角等低級特征，如圖4中的足球和褐菇低級特征均為圓形；隨著層次的加深，網絡可學習特殊對象的特定特征以實現目標檢測，基于模型的深度遷移學習可節約褐菇識別時間成本，同時提高模型的魯棒性和泛化能力。

圖4 基于模型遷移學習的邏輯圖

YOLO系列算法采取回歸手段提取圖像特征[18]，網絡結構將輸入圖像均勻劃分為S×S的網絡格子，在每個網格中設置不同的邊框，實現對特定對象的檢測[19]。YOLO v5分為YOLO v5s、YOLO v5m、YOLO v5l、YOLO v5x共4個不同的模型，模型區別在其深度和寬度不同。YOLO v5網絡的BackBone模型是由Focus、CSP和SPP結構組成的CSPDarknet；輸入端采用Mosaic數據增強法，有利于小目標快速檢測；采用自適應Anchor機制，可動態更新錨框大小，適用于自定義數據集中對象邊界框預測；采用CIOU_Loss作為Boundingbox的損失函數，該函數考慮預測框和目標框的重疊面積、邊界框中心位置、邊界框長寬比，有效提高預測精度；非極大值抑制采用DIOU準則，有效減小重復識別對象的影響，基于YOLO v5-TL的褐菇網絡結構如圖5所示。

圖5 褐菇目標檢測模型結構圖

3 褐菇三維邊緣信息的直徑動態估測法

3.1 基于錨框的褐菇裁剪

褐菇菇蓋尺寸測量首先需要獲取菇蓋的邊緣輪廓，流程如圖6所示。首先，褐菇實時圖像輸入YOLO v5模型，模型識別到褐菇并以該褐菇為中心在其周圍畫一個矩形區域(錨框)，輸出錨框對應的長和寬；再根據識別模型輸出數據對實時采集圖像上每一個錨框進行裁剪，輸出裁剪后的單個褐菇的錨框區域；最后返回褐菇的錨框圖像和錨框信息，如圖6所示裁剪出的錨框區域主要包含單個褐菇，可有效減少背景菌絲影響，有利于后續褐菇輪廓檢測。

圖6 錨框裁剪邏輯圖

3.2 褐菇輪廓檢測

褐菇菇蓋尺寸是褐菇品質分級的重要評估指標之一[20]，為實現菇蓋精確測量[21]，首先需要實現菇蓋的輪廓提取[22]。由于菇房環境昏暗不均，采集的褐菇圖像輪廓存在噪聲，首先需對錨框內褐菇進行圖像增強，提高亮度。圖像增強算法邏輯如圖7所示，將原始裁剪得到的RGB空間的褐菇圖像轉換至HSV空間，獲取圖像亮度值并判斷是否需要增強亮度；再對HSV圖像獲取直方圖分位點，以便圖像亮度均勻化；最后去除分位點區間以外的像素點，并將剩余像素值變換至0～255區間實現圖像亮度增強，增強效果如圖7c所示。

圖7 圖像亮度增強效果

通過圖像裁剪和增強，可實現褐菇輪廓提取，但由于褐菇生長中存在多個蘑菇簇擁在一起的情況，造成褐菇圖像粘連，其中多為2個褐菇粘連，需要進行粘連褐菇圖像分割。識別的褐菇錨框若存在與其他褐菇錨框重疊區域則判定褐菇存在粘連，針對粘連褐菇先進行銳化處理，結果如圖8所示；再對銳化圖像進行灰度化和自適應二值化處理。此時二值化圖像蘑菇邊界存在少許粘連；通過先腐蝕再膨脹對二值化圖像進行形態學處理，最后，基于輪廓擬合算法提取單個褐菇輪廓。

圖8 輪廓擬合過程

3.3 坐標轉換

由于菇床表面的高低不平和褐菇生長的隨機性，菇蓋存在傾斜情況，對褐菇輪廓的二維成像[23]和尺寸測量帶來較大誤差[24]。為減少褐菇菇蓋傾斜帶來的尺寸測量誤差，本文提出三維褐菇輪廓尺寸測量方法。菇蓋三維輪廓坐標定位的關鍵是坐標系轉換，包括裁剪像素坐標系、像素坐標系、圖像坐標系和相機坐標系，本文將二維褐菇輪廓的像素坐標轉換成三維的相機坐標，坐標轉換如圖9所示，OcXcYcZc為相機坐標系，OXY為圖像坐標系，opuv為像素坐標系，oij為裁剪像素坐標系。

第三，使用豐富的副文本。林語堂在進行譯創工作中常常會使用較為豐富的副文本，包括副標題、序言、導讀、注釋、繪畫或附錄等等。通過這些副文本，將他對原作品的理解與認識進行了說明，也解釋了一些需要對讀者進行說明的內容，實現了與讀者的交流。利用副文本，林語堂為讀者有效地清除了從文化到語言各種方面的閱讀障礙，完成對文章內容的準確、深度理解?？梢哉f，通過對副文本的使用，林語堂做到了讓譯本與讀者之間的距離更近，更加吸引著讀者的興趣，促進了作者、譯者與讀者的良性互動(馮志強、朱一凡2011:31)。

圖9 坐標轉換圖

(1)

Zc是相機光心與物體的距離即圖像深度值，因此，根據圖像的深度信息則可計算出點P的三維坐標。

基于以上坐標轉換，可實現褐菇菇蓋的輪廓尺寸測量和中心點的定位，過程如圖10所示。首先，將已檢測到的褐菇輪廓像素坐標提取并存儲在像素輪廓列表(P1)，然后融合深度相機采集的P1中每一點的深度信息把輪廓像素坐標轉換成世界坐標并存儲在立體輪廓列表(P2)。接著，在立體輪廓列表P2中遍歷所有點，任選圖10三維坐標系褐菇輪廓中一點A，自點A起計算輪廓中其他任意一點與點A的距離，取最大值為點A對應的直徑，最后，取列表P2中所有點對應直徑的平均值為褐菇直徑，取裁剪圖像的中心點為褐菇摘取的定位點，如圖10中的Key point所示，實現褐菇尺寸測量和定位。

圖10 三維邊緣尺寸測量和定位

實際的褐菇生長形狀差異大，且由于圖像采集視角、陰影等影響造成褐菇圖像邊緣凹陷，如圖11中的M2、M3。對此，先對菇蓋輪廓每點直徑從大到小排序并進行線性擬合(y=kx+b)，求取每個菇蓋輪廓擬合的k值。根據統計數據，菇蓋形狀規則的輪廓擬合的|k|小，菇蓋邊緣凹陷的輪廓擬合的|k|大，當|k|>0.1時視作褐菇圖像邊緣存在凹陷。當0.1<|k|≤0.3時取所有點所在直徑從大到小的前95%的平均值作為褐菇直徑，當|k|>0.3時取所有點所在直徑從大到小的前90%平均值作為褐菇直徑，當|k|≤0.1時則取所有點所在直徑的平均值作為褐菇直徑。

圖11 邊緣動態尺寸估測圖

4 試驗

4.1 YOLO v5模型訓練和最優模型選擇

使用褐菇訓練集訓練YOLO v5-TL模型，根據測試集預測結果進行模型優選。其中，網絡訓練所用計算機主要配置參數為Intel i5-10400F CPU，GeForce GTX 1660 Ti GPU 和16 GB運行內存，開發環境為Windows 10，Visual Studio 2017，CUDA 9.0，OpenCV 3.4(x64)，并使用Python 3.7結合torch 1.11.0實現。

訓練過程中優化器采用隨機梯度下降法(SGD)，初始學習率設置為0.000 1，批量大小設為8，subdivisions設為8，filter設為18，迭代周期為100，訓練過程中，通過平均損失曲線來觀察損失值的變化，當損失值不再繼續減小趨于穩定時停止訓練。對于復雜菌絲背景下褐菇目標的識別，需要考慮檢測網絡的精度與實時性，本文采用平均精度均值(Mean average precision，mAP)作為模型檢測精度的評價指標，單幀檢測時間作為模型檢測速度的評價指標。

YOLO v5模型根據不同深度和寬度的網絡可分為YOLO v5s、YOLO v5m、YOLO v5x、YOLO v5l共4種，本文分別對這4種網絡進行褐菇訓練和測試，試驗結果如表1所示。

表1 YOLO v5-TL檢測結果對比

YOLO v5s-TL檢測速度最優，但是其檢測精度相較于YOLO v5m-TL、YOLO v5l-TL和YOLO v5x-TL較低，且對于較小褐菇會出現遺漏檢測的情況；YOLO v5x-TL的檢測精度較高，但其檢測速度較慢，檢測時間是YOLO v5l-TL的4.6倍。綜合檢測精度和檢測速度，YOLO v5l-TL模型最優，其mAP達99.5%，單幀檢測時間為0.17 s，可滿足工廠環境下的褐菇快速、精準識別。

4.2 基于褐菇三維邊緣信息直徑動態估測結果

為評價本文提出的基于三維坐標褐菇菇蓋尺寸測量算法的精度，搭建試驗平臺進行測試，測試環境如圖12所示，其中圖像采集使用RealSense d435i深度相機，體積較小且融合RGB-D信息。

圖12 試驗平臺

為評估本文提出的三維邊緣信息直徑動態估測方法，進行兩組尺寸測量對比試驗，相機位于菇架側方距菇床邊緣38 cm，位置固定，改變菇床褐菇位置；每組對褐菇進行二維尺寸測量法和三維尺寸測量法對比試驗，每組試驗測量18個褐菇。二維尺寸測量法采用褐菇邊緣的二維像素坐標實現尺寸測量，1像素為1.417 mm。二維尺寸測量法將三維邊緣信息直徑動態估測法中的三維坐標轉換為二維坐標，其他規則一致；三維尺寸測量法基于褐菇三維邊緣信息直徑動態尺寸測量法實現尺寸測量，測量結果如表2所示?；诙S尺寸測量法的褐菇菇蓋尺寸測量平均精度為88.14%，基于三維邊緣信息直徑動態尺寸測量法的菇蓋尺寸測量平均精度為96.13%，尺寸測量精度較二維法提高7.99個百分點。試驗數據表明，基于褐菇三維邊緣信息直徑動態尺寸測量法對褐菇尺寸的測量精度較二維尺寸測量明顯提高。

表2 對比試驗結果

為評估本文方法適應光線變化的魯棒性，進行兩組褐菇光線變化檢測試驗，每組試驗褐菇樣本12個，共計24個樣本，光線變化為順光、遮光、逆光，現場測試結果如圖13所示。試驗相機均位于菇架側方，距菇床邊緣38 cm，試驗時12個褐菇位置保持不變，只改變測試環境光線，測試結果見表3、4。

圖13 現場測試結果

表3 尺寸測量結果1

由表3、4可見，順光情況下基于YOLO v5-TL模型的12個褐菇均能成功識別；在遮光和逆光情況下分別漏檢1個和2個，整體識別成功率為91.67%?；谌S邊緣信息直徑動態尺寸測量法的菇蓋尺寸測量結果1、結果2平均精度分別為97.45%、97.10%，兩組試驗整體平均精度為97.28%，直徑測量誤差±4 mm，單幀圖像平均處理時間為50 ms。順光和部分遮光的菇蓋測試精度優于逆光情況的測量，由于逆光情況下菇蓋邊緣存在陰影造成輪廓提取不精準，進而影響三維邊緣輪廓坐標提取。

表4 尺寸測量結果2

5 結論

(1)針對菇床表面高低起伏、菌絲密布、光線昏暗復雜環境下，褐菇自動化視覺采收困難的問題，提出一種基于YOLO v5-TL結合褐菇三維邊緣信息直徑動態估測法的識別-測量-定位一體化方法。構建褐菇目標檢測的YOLO v5-TL模型，實現在復雜菌絲背景下快速識別褐菇；融合錨框區域褐菇邊緣點深度提取褐菇輪廓三維信息，結合褐菇三維邊緣信息直徑動態估測法實現褐菇菇蓋尺寸精確測量和中心點定位。

(2)對比研究三維邊緣信息直徑動態估測法進行尺寸測量時，不同光照對褐菇視覺識別測量的影響，試驗結果表明，菇床昏暗環境下褐菇識別成功率為91.67%；光照情況下褐菇識別成功率達100%；三維測量法菇蓋的尺寸測量平均精度為97.28%，具有較好的魯棒性；對分辨率為1 280像素×720像素的單幀圖像平均處理時間為50 ms。試驗結果表明，本文方法可以滿足工廠環境下褐菇的自動化采摘需求。