基于深度學習的蠶繭種類識別研究

石洪康 李林波 祝明輝 陳義安 馬 勇* 張劍飛

（1.四川省農業科學院蠶業研究所，四川 南充 637000；2.四川省農業科學院特種經濟動植物研究所，四川 南充 637000)）

栽桑養蠶在我國具有悠久的歷史，奠定了舉世矚目的絲綢之路。養殖過程中，受病害、營蠶工具、氣候環境等因素的影響，家蠶結繭的質量會有所不同。常見的蠶繭種類包括上車繭、黃斑繭、柴印繭和畸形繭等?？壗z前需要對蠶繭進行分選，篩除劣質繭，確?？壗z的效率和生絲的質量?，F有的蠶繭分選方法主要依賴于手工操作，效率較低，不利于蠶桑絲綢業的轉型發展。

近年來，研究人員將深度學習技術廣泛地應用在蠶桑絲綢領域，取得了許多顯著的成果。石洪康等提出了基于卷積神經網絡的家蠶品種[1-2]、常見病害[3-4]、生長階段[5]的識別方法，為智能化養殖裝備研發奠定基礎。吳建梅等[6]提出了基于卷積神經網絡的家蠶農藥中毒識別模型。Guo 等[7]提出基于圖像修復技術的蠶蛹雌雄識別方法。于業達等[8]提出基于卷積神經網絡的蠶蛹性別鑒定方法。張印輝等[9]提出基于目標檢測的下車繭檢測模型及系統。何銳敏等[10]研究了人工飼料養殖環境下的家蠶計數方法。任浩等[11]開發了基于深度學習的桑葉枝干檢測系統。本文聚焦于蠶繭的智能分選工作，根據不同蠶繭種類在視覺上的顯著區別，以常見的上車繭、黃斑繭、畸形繭和柴印繭為識別對象，結合深度學習在視覺領域展現的優異性能，提出基于深度學習的蠶繭種類識別方法，可為研發智能化的蠶繭分選裝備提供參考。

1 材料與方法

1.1 蠶繭圖像數據集

數據集對于深度學習模型的訓練十分關鍵，為使訓練的模型具有較強的識別能力，本文在實際環境下采集蠶繭圖像并制作出數據集。采集時間為2023 年9 月25 日，地點位于四川省南充市嘉陵區的養殖基地。采集圖像時，將蠶繭平鋪在傳送帶上，攝像頭固定在傳送帶上方，豎直向下進行拍攝。采集的原始圖像如圖1 所示，每張圖像中的蠶繭數量約為10～20 粒，并同時包含多種類別的蠶繭。共采集圖像2000 張，約包含3.2 萬粒蠶繭。

圖1 采集的原始圖像(部分)

訓練深度學習模型需預先對圖像進行標注，使用標注工具LabelImg 在圖像中標注出每粒蠶繭的類別，標注界面如圖2 所示。使用每粒蠶繭在圖像中的外接矩形表示其位置，該位置信息可用于后續智能分選設備的目標定位。標注的蠶繭種類包括上車繭、畸形繭、黃斑繭和柴印繭。標注完成后，采用隨機挑選圖像的方式，數量按照6：2：2 的比例，將全部圖像劃分為訓練集、驗證集和測試集。

圖2 數據標注界面

1.2 蠶繭種類識別模型

常見的深度學習模型包括圖像分類、語義分割和目標檢測等。為便于后續研發蠶繭智能分選設備時，提供不同種類蠶繭的位置和類別信息，本研究采用目標檢測模型開展蠶繭種類分選。目標檢測是圖像分類的延伸，不僅可以預測出每個對象在圖中的位置，還可以識別出每個對象的類別。在自動駕駛、智能導航和工業檢測等領域廣泛應用。按照檢測流程，目標檢測網絡可以分為單步檢測和雙步檢測。以往通常認為單步檢測的效率更高，而雙步檢測在精度上的優勢更加明顯。但隨著研究人員不斷地努力，單步檢測網絡的檢測精度已能夠和雙步網絡相媲美?？紤]到在實際環境下，蠶繭分選的工作量較大，分選效率十分關鍵，因此，本文采用單步檢測模型開展蠶繭分選研究。

選擇的具體模型是YOLO 系列網絡[12]，是單步檢測原理中的代表性方法。它將目標檢測任務轉換成回歸預測，依賴純卷積運算完成圖像特征提取，具備端到端的識別能力，并能夠同時兼顧精度和效率，自發布起就廣泛受到研究人員的青睞。本研究采用YOLO v5 訓練識別模型，其結構如圖3 所示，結構上主要包括CSPNet 主干網絡，PANet 特征融合網絡，以及3 個維度的檢測頭（YOLO head）。

圖3 YOLO v5 的網絡結構圖

圖3 中，“Focus” 代表對圖像進行間隔像素取樣，“CBL”代表依次進行卷積、歸一化和激活，“CSP”代表特征提取塊?！癝PP”代表SPP 模塊，“Ups” 代表上采樣，“Concat” 代表特征拼接，“Conv”代表1×1 的卷積運算，“NMS”代表非極大值抑制?！?40×640×3”等代表圖像或特征圖的維度。

YOLO v5 的運算流程是：對于尺寸為640×640 像素的輸入圖像，在主干網絡中，先使用Focus 運算間隔取樣以豐富圖像語義信息，并使用順序堆疊的“CBL”和“CSP”提取圖像特征，其中“CBL”還起到下采樣的作用。在主干網絡最后一次“CBL”和“CSP”模塊之間嵌入了“SPP”模塊，主要用于增加網絡的感受野。經過主干網絡的計算后，會得到維度分別為80×80、40×40 和20×20的3 個有效特征層，并將其作為特征融合網絡“PANet”的輸入，在融合網絡中進行一系列的上采樣和下采樣運算實現不同分辨率特征圖的融合，以此增強網絡的表達能力。經過“PANet”運算后的特征，在“YOLO head”中分別使用1 次1×1的卷積運算后可輸出網絡的識別結果。對預測結構進行置信度篩選和“NMS”非極大值抑制后可得到最終的預測結果。

1.3 試驗環境

試驗的硬件設備為DELL Precision 5820 工作站，處理器為酷睿i7-9800X，顯卡是RTX 2080Ti，具有11G 顯存，運算平臺為CUDA-10.0。操作系統為Windows10 64 位專業版。編程語言為Python3.7，程序開發環境為VS Code，深度學習框架為Pytorch。網絡訓練的超參數包括：最小批量化為8，迭代次數為300 次，邊界框回歸損失函數為GIoU，優化器為Adam，初始學習率為0.001，并使用余弦下降動態調整學習率。使用訓練集和驗證集訓練模型，訓練完成后，使用在驗證集上達到最佳效果的權重進行測試。使用Recall、Precision、F1-score、AP 和mAP 作為評價指標，其計算公式分別為：

其中，TP (True Positives) 代表蠶繭被檢測為正樣本，且檢測結果正確，FP (False Positives)蠶繭被檢測為正樣本，但其實際為負樣本，即背景。FN (False Negatives) 代表檢測結果為負樣本（背景），但其實際為正樣本（蠶繭）。AP 是Precision 和Recall 圍成的區域面積，mAP 是AP的平均值。

2 試驗結果

為查看模型的收斂效果，將訓練時每次迭代的損失值和每10 次迭代的mAP 值記錄，結果如圖4 所示。從中可得，在訓練剛開始時，網絡在訓練集上的損失值較大，在驗證集上的識別精度較低。隨著訓練不斷地深入，網絡逐漸趨于穩定，且在150 次迭代后，損失值和mAP 值趨向于平穩，表明模型達到穩定狀態。

圖4 訓練過程中每次迭代的損失值和每十次迭代的mAP 值

表1 是訓練模型在測試集上的識別結果，從中可得，黃斑繭和上車繭的識別結果較佳，Recall達到87.77% 和82.77%，Precision 為81.25% 和79.30% ，F1 -score 為0.84 和0.81，AP 達 到89.61%和86.84%。而畸形繭和柴印繭的識別結果較低,其Recall 值較低，表明大量的背景被識別成該兩類蠶繭，Precision 值較低，表明這兩類蠶繭被遺漏或被識別成其他類別。這兩個值較低也造成了其F1-score 和AP 值偏低。

Table 2 Comparison results with YOLO v5 networks

造成識別結果差異較大的原因可能在于：首先，上車繭和黃斑繭的視覺特征較為明顯，而畸形繭和柴印繭的特征可能僅在蠶繭的局部位置，提供的有用信息較為微觀，在同等條件下模型無法學習到足夠的特征。其次，在本研究構建的數據集時，柴印繭和畸形繭的樣本數量較少，這也與實際情況相符，類別數量失衡導致模型無法形成較強的鑒別能力。因此，在后續的研究中，應當著重關注畸形繭、柴印繭、薄皮繭等依賴局部特征判別的種類，以及當數據集中樣本數量差距較大時的識別問題。

圖5 列舉了4 張識別效果示意圖，從中可以看出，訓練的YOLO v5 模型能夠對蠶繭實現準確定位，提供的位置信息可為智能化的分選裝備提供參考。同時，識別模型還需要進一步提升分類的準確度，以便能更好地應用于實際場景。

圖5 識別效果示意

3 結論與望

本研究提出一種基于深度學習的蠶繭種類識別方法，在實際環境下采集蠶繭圖像，并對圖像進行標注，類別包括上車繭、黃斑繭、畸形繭和柴印繭。采用單步檢測原理中的代表算法YOLO v5 開展了識別試驗，結果表明：深度學習技術可以準確對蠶繭圖像進行定位，上車繭和黃斑繭的識別精度較高，畸形繭和柴印繭的識別精度較低。

結合試驗結果，在后續的工作中計劃著重于聚焦畸形繭和柴印繭的識別研究，進一步采用局部和細粒度特征開展識別，并增加數據集中蠶繭的種類，將薄皮繭、死蛹繭等納入識別范圍。同時，考慮類別不均衡條件下的蠶繭類別的識別問題，以及蠶繭背部特征不可見的問題。以便于訓練出適應能力強的識別模型，推進智能化蠶繭分選裝備的研發工作。