基于機器視覺和深度學習的稻縱卷葉螟性誘智能監測系統

張哲宇, 孫果鎵, 楊保軍, 劉淑華, 呂 軍, 姚 青, 唐 健

(1. 浙江理工大學信息學院, 杭州 310018; 2. 中國水稻研究所水稻生物學國家重點實驗室, 杭州 310006)

我國是一個農業害蟲重發頻發的國家。對田間害蟲種群進行實時準確監測和精準有效防控，可大大減少經濟損失(劉冬等, 2014; 劉萬才等, 2020)。目前，我國田間害蟲種群監測方法主要包括田間調查、昆蟲雷達(Westbrook, 2008; 江幸福等, 2019)、高空測報燈、蟲情測報燈(姜玉英等, 2020)以及性誘和食誘劑(和偉等, 2019; 楊留鵬等, 2020; 曾娟等, 2021)等。其中，性誘劑具有很強的靈敏性和專一性，環境友好，不僅作為農業害蟲監測的重要手段，也是生物防治主要方法之一(羅金燕等, 2016)。目前，常見性誘監測設備與方法可分為2類：一類是簡易型性誘捕器+人工鑒定計數法；另一類是防逃逸裝置+光電計數法。這兩類誘捕器存在兩個問題：(1)簡易型性誘捕器價格便宜，但需定期到田間查看誘蟲量，費時費工，非實時，數據需人工上報，歷史數據難以追溯；(2)利用光電計數器計數害蟲準確率偏低，因為人工合成的性誘劑無法保證高度專一性，一種害蟲不同地區性信息素成分比例可能存在差異(江南紀和王琛柱, 2019)，利用一種性誘劑在不同地區常引誘到多種相似種昆蟲(沈嘉彬等, 2019)，或誤入誘捕器的非目標昆蟲而導致光電計數器對目標害蟲計數不準確(蘇小平等, 2018; 周愛萍, 2020)。

隨著機器視覺、圖像處理和深度學習等技術和方法在多個領域的成功應用，有些學者研究機器視覺技術+粘蟲板進行害蟲的性誘智能監測，并將深度學習方法應用到性誘害蟲圖像檢測中，取得了較好的檢測效果。Ding和Taylor(2016)建立了深度學習模型自動檢測粘蟲板圖像上的害蟲蘋果蠹蛾Cydiapomonella，取得了較好的檢測效果，但仍存在一些粘連害蟲漏檢和相似目標誤檢的問題。Chulu等(2019)提出了一種利用深度學習方法識別性誘害蟲草地貪夜蛾的思路，但未給出圖像采集裝置和田間測試結果。Kim等(2018)利用深度學習中的卷積神經網絡對性誘粘蟲板上的害蟲進行自動識別，結果能監測到大部分害蟲，但檢測框的位置不準確，測試圖像較少。Sun等(2018)在實驗室搭建了入侵害蟲紅脂大小蠹Dendroctonusvalens的性誘裝置，并提出改進的RetinaNet模型識別6種小蠹蟲，但因引誘到其他相似種小蠹蟲而導致部分目標害蟲誤檢，且該裝置在實際野外環境下，會遇到由于背景復雜和空間狹小等原因造成目標粘連導致的漏檢問題。目前，上述設備和方法未能在田間獲得推廣應用，主要存在如下問題：(1)粘蟲板長時間暴露在田間，容易粘連到很多非目標昆蟲和雜質，導致圖像背景復雜；(2)當蟲量大的時候，粘蟲板上的害蟲容易出現粘連現象；(3)因人工合成的性誘劑專一性問題，可能同時誘捕到目標害蟲和同類相似昆蟲，加上粘膠使它們姿態不一和鱗片脫落，造成視覺差異性小，難以獲得滿意的識別率。

本研究針對上述問題，以稻縱卷葉螟Cnaphalocrocismedinalis成蟲為性誘對象，建立稻縱卷葉螟性誘智能監測系統。該系統主要包括基于機器視覺的智能性誘捕器、基于深度學習的稻縱卷葉螟檢測模型、系統后端服務器和可視化的Web前端，實現田間稻縱卷葉螟性誘成蟲監測數據的實時性、準確性和數據可追溯。

1 材料與方法

1.1 圖像采集與數據集

1.1.1稻縱卷葉螟性誘智能監測系統：系統技術路線如圖1?；跈C器視覺的智能性誘捕器定時拍攝稻縱卷葉螟圖像，通過4G運營商網絡將圖像上傳至云服務器，服務器收到圖像后，調用稻縱卷葉螟檢測模型，將檢測結果保存至數據庫，同時發送至Web前端，便于測報人員查看歷史圖像及模型檢測結果，實現數據可追溯。

圖1 稻縱卷葉螟性誘智能監測系統技術路線圖

為了便于系統的管理，降低耦合度，采用前后端分離的架構模式進行系統設計。系統后臺由采用MTV的架構模式和開源Web應用程序框架Django實現；數據庫采用目前使用最廣泛的關系型數據庫MySQL建立；Web前端設計采用Vue框架，利用JavaScript進行前端數據交互、處理，利用HTML、CSS進行頁面渲染。Web前端通過基于HTTP協議的Axios網絡請求向后臺申請網頁端數據(包括登陸接口、識別歷史接口等)，系統后臺收到請求后，進行請求解析、用戶鑒權等后臺業務處理操作，并生成響應數據返回Web前端，Web前端對響應數據二次解析后，渲染至瀏覽器界面，實現稻縱卷葉螟性誘監測結果的界面展示。

1.1.2基于機器視覺的智能性誘捕器設計：基于機器視覺的智能性誘捕器主要包括定焦工業相機(MV-CE100-30GC)、LED面光源、粘蟲板、太陽能板和搭載圖像4G傳輸模塊的安卓平板(圖2)。

圖2 基于機器視覺的智能性誘捕器設計圖

誘蟲區域設計為狹窄入口，上方設置遮雨罩遮擋雨水，下方放置誘蟲板和性誘劑，四周擋板和遮雨罩可減少害蟲進入誘蟲區逃逸。相機拍攝粘蟲板圖像，平板將圖像上傳至云服務器。測報人員根據上傳的圖像查看粘蟲板上害蟲粘連情況，決定是否更換粘蟲板。

1.1.3圖像數據集：智能性誘捕器安裝于浙江省富陽區試驗稻田(30.08°N，119.94°E)，誘芯為稻縱卷葉螟性誘劑(寧波紐康生物技術有限公司)。 2020-2021年共采集含有性誘害蟲圖像712幅,圖像尺寸為3 840×2 748像素。

將稻縱卷葉螟性誘成蟲圖像以8∶2比例分為訓練集和測試集。利用LabelImg標注工具對訓練集圖像進行害蟲標定，將標注區域的分類信息和坐標信息保存在對應的XML文件中。由于性誘劑的專一性問題和粘膠作用，粘蟲板上除了引誘到的目標害蟲稻縱卷葉螟外，還可能包含甲殼蟲、蚊蟲等一些非鱗翅目昆蟲，它們與稻縱卷葉螟差異很大，使得粘蟲板背景變得復雜；同時還可能引誘到斜紋夜蛾Spodopteralitura和勞氏粘蟲Leucanialoreyi等未知名鱗翅目害蟲，這些害蟲與稻縱卷葉螟之間容易造成相互誤檢，本研究將這些鱗翅目害蟲稱為干擾害蟲。圖像數據集信息如表1所示。

表1 性誘害蟲數據信息

1.1.4圖像數據增強：為提高稻縱卷葉螟檢測模型的魯棒性和泛化能力，利用OpenCV算法對圖像數據進行增強，包括圖像水平鏡像翻轉、圖像順時針90°旋轉、圖像均值化處理和圖像添加高斯噪聲4種方法(Lee, 1980)(圖3)。訓練樣本量增加4倍。

圖3 圖像增強方法

1.2 稻縱卷葉螟自動檢測模型

1.2.1雙層架構目標檢測模型：稻縱卷葉螟自動檢測模型采用雙層網絡結構。第一層為改進的YOLOv3稻縱卷葉螟檢測模型，將性誘害蟲圖像輸入網絡后，得到稻縱卷葉螟和干擾害蟲區域回歸框的具體坐標和分類置信度集合；為了減少目標害蟲與干擾害蟲之間相互誤判，添加第二層細粒度圖像分類網絡DBTNet-101，對第一層檢測框內的害蟲圖像進行二次識別，提高稻縱卷葉螟檢測與識別的精度。雙層網絡框架如圖4。

圖4 稻縱卷葉螟的雙層網絡檢測?？蚣軋D

1.2.2改進的YOLOv3性誘害蟲檢測模型：典型的單階段目標檢測模型包括YOLO系列(Redmonetal., 2016; Redmon and Farhadi, 2017; Farhadi and Redmon, 2018)、SSD(Liu Wetal., 2016)等。YOLOv3檢測模型由特征提取網絡Darknet-53和上采樣特征融合模塊組成。檢測時，通過Darknet-53中的卷積層進行錨點確定、錨點框內的目標分類和位置信息確定；通過上采樣特征融合模塊輸出3個尺度下的預測結果，可以改善小目標在單一尺度下特征丟失的問題，同時對較大目標有更好的檢測效果(Farhadi and Redmon, 2018)。

由于性誘害蟲圖像背景復雜，直接將YOLOv3模型用于檢測稻縱卷葉螟，存在目標害蟲與干擾害蟲之間的相互誤檢和粘連目標預測框丟失的問題。針對這兩個問題，本研究添加DropBlock正則化方法(Ghiasietal., 2018)來降低網絡過擬合程度，增強算法魯棒性，降低非目標誤檢問題；采用DIoU-NMS(Zhengetal., 2020)非極大值抑制代替傳統的NMS，可以有效減少粘連目標預測框丟失情況。改進后的YOLOv3檢測模型網絡框架如圖5。

圖5 改進的YOLOv3檢測模型網絡框架

常見的正則化方法包括dropout正則化(Wageretal., 2013; Jindaletal., 2016)、L1、L2正則化(Park and Hastie, 2007; Cortesetal.,2009)和DropBlock正則化等方法。為降低過擬合程度，增強目標檢測算法魯棒性，本研究使用DropBlock正則化方法。DropBlock方法在卷積操作前，隨機選取輸入層中目標所在區域內的像素點，根據預設block的大小，在選取點周圍設置drop區塊，將區塊內所有像素值置零，如圖6，其中綠色區域為目標區域，紅色點為隨機點，黑色區域為drop區塊。上述算法操作后將圖像送入網絡，增加網絡訓練難度，減少網絡對某局部特征的依賴，從而避免過擬合現象。

圖6 DropBlock示意圖

由于目標檢測結果包括所有高于置信度閾值的檢測框，存在較多的冗余框，需要采取非極大值抑制方法(NMS)去除冗余框。傳統的非極大值抑制方法利用兩個檢測框的交并比(IoU)作為量化單位，對交并比大于閾值的兩檢測框進行置信度對比并保留置信度更高的檢測框，去除置信度較低的檢測框。傳統的非極大值抑制方法在篩選兩個重疊程度較高的目標檢測框情況中，易發生檢測框定位不準確的問題，從而導致目標害蟲的漏檢。本研究采用包含距離信息的DIoU-NMS非極大值抑制作為去除冗余框的手段。 DIoU-NMS中的DIoU值計算如公式(1)。

(1)

式中，ρ代表歐氏距離，a和b分別表示兩個檢測框中心點，c表示包含兩框的最小矩形框的對角線歐氏距離長度(圖7)。

圖7 DIoU參數示意圖

利用DioU-NMS替換NMS，能有效抑制不合格的檢測框，同時最大程度保留正確的檢測結果。圖8給出兩種非極大值抑制方法對粘連害蟲的檢測結果，由此可見 DioU-NMS 可以有效地將兩個粘連的稻縱卷葉螟檢測出來。

圖8 NMS和DioU-NMS輸出結果圖

1.2.3深度雙線性變換網絡DBTNet-101：粘蟲板圖像中除了目標害蟲稻縱卷葉螟成蟲，?；煊衅渌[翅目干擾害蟲，這些害蟲可能在體型或顏色上與目標害蟲存在一定的相似性(圖9)，導致在第一層YOLOv3模型檢測結果中稻縱卷葉螟與干擾害蟲存在誤檢。在圖像識別任務中，相似物種分類任務通常被歸為細粒度分類。為了降低目標害蟲和干擾害蟲之間相互誤檢，提高目標害蟲的檢測率，在第一層網絡結構后級聯了第二層的深度雙線性變換分類網絡DBTNet-101(Zhengetal., 2019)。

圖9 稻縱卷葉螟(A)與鱗翅目干擾害蟲(B-F)圖像

DBTNet-101是在分類網絡ResNet-101(Heetal., 2016)基礎上，添加深度雙線性轉換模塊，對基于目標各個部位的語義信息分組后進行雙線性計算操作，在不改變卷積特征維度的情況下，得到圖像豐富的細節特征表達。DBTNet-101由1個卷積層、33個卷積區塊、1個全連接層組成，其網絡架構如圖10。

圖10 DBTNet-101網絡架構

其中，“1×SG 1×1,2n+5”表示添加語義分組約束的1×1的卷積層，其輸出深度為2n+5；“1×GB,G=8”表示在卷積神經網絡中進行雙線性計算操作，具體計算見公式(2)。

(2)

式中，x為輸入特征矩陣，A為經過SG優化的分組映射矩陣，G為分組數，Ij對應第j組時為一個單位矩陣，其他為0。DBT卷積區塊輸入特征經過語義分組后，按組進行雙線性池化，即對特征向量進行外積操作，最后整合各組特征得到最終的結果。

1.3 評價方法

為了客觀地評價本研究提出的稻縱卷葉螟雙層網絡檢測模型的檢測效果，使用精確率(precision)、召回率(recall)、F1作為評價指標。其中，精確率表示模型識別害蟲中被正確識別為目標害蟲的比例，召回率表示識別為目標害蟲中被正確識別的害蟲比例，F1為二者的綜合評價，其計算公式如公式(3), (4)和(5)。

(3)

(4)

(5)

式中，TP(k)表示第k類害蟲被正確識別的害蟲數量，FP(k)表示干擾害蟲被誤判為第k類害蟲的數量，FN(k)表示第k類害蟲被識別為非k類害蟲的數量。

2 結果

2.1 模型檢測結果

用同一個訓練集訓練YOLOv3、改進的YOLOv3和本研究提出的雙層網絡檢測模型，在同一個測試集上測試，結果見表2。

表2 不同模型對稻縱卷葉螟檢測的結果

由表2可知，改進的YOLOv3對稻縱卷葉螟的識別精確率和召回率分別提高2.9%和1.8%，F1分值提高2.3%，雙層網絡檢測模型對稻縱卷葉螟識別的精確率和召回率分別為97.6%和98.6%，可以滿足稻縱卷葉螟性誘成蟲智能監測的需求。

圖11展示了兩幅稻縱卷葉螟檢測結果圖。圖中存在較多的目標害蟲稻縱卷葉螟和部分鱗翅目干擾害蟲，檢測模型將所有的目標害蟲稻縱卷葉螟正確檢測出來，無誤檢和漏檢。

圖11 稻縱卷葉螟檢測結果圖

2.2 系統Web前端界面

稻縱卷葉螟性誘智能監測系統Web前端主要包括用戶登錄、性誘圖像智能識別、設備管理、用戶管理、識別歷史等功能。系統可定期自動采集稻縱卷葉螟圖像、準確檢測與計數稻縱卷葉螟，用戶可通過Web前端查看稻縱卷葉螟檢測結果圖，實現了監測數據可追溯。圖12展示了Web前端稻縱卷葉螟自動檢測結果圖列表。

圖12 稻縱卷葉螟性誘智能監測系統Web前端界面

3 討論

實時準確地獲得農業田間害蟲種群種類與數量是害蟲精準測報的前提。目前，我國害蟲性誘測報方法仍舊需要測報員定期下田查看性誘粘蟲板上的害蟲數量，存在工作量大、效率低、數據難以追溯等問題。如何利用智能測報設備和方法減輕測報人員工作量，提高工作效率成為目前害蟲性誘測報亟需解決的問題。

近幾年機器視覺和深度學習技術在農業害蟲識別領域取得較多進展(Liu ZYetal., 2016; Liuetal., 2019; Yaoetal., 2020)。傳統的機器視覺方法先利用閾值分割(Bhargavi and Jyothi, 2014)方法去除背景，在圖像中確定害蟲區域，然后使用機器學習(Jordan and Mitchell, 2015)方法，通過預先設定好的參數提取害蟲圖像特征(Lowe, 2004)，最后訓練識別模型進行害蟲的分類識別。然而，使用傳統的機器視覺識別方法進行分類識別需要大量的前期工作來確定目標圖像的分類特征，特別是在復雜背景且存在大量干擾目標情況下，人工篩選特征參數耗時費力。另外，使用單類特征往往識別效果不佳，而選取多特征融合時又會損失圖像的空間結構信息，訓練出來的模型魯棒性弱、泛化能力差。由于性誘粘蟲板圖像上存在背景復雜，混有干擾目標害蟲，傳統的機器視覺識別方法無法獲得滿意的目標害蟲檢測效果。目前，已有學者利用深度學習方法識別性誘害蟲，解決部分行業痛點(Ding and Taylor, 2016; Kim and Yoe, 2018; Sunetal., 2018; Chuluetal., 2019)。但上述方法仍舊無法有效解決粘連害蟲漏檢、目標害蟲與干擾害蟲相互誤檢的問題。

針對上述問題，本研究建立了兩層網絡檢測模型，在模型中加入DropBlock正則化方法，降低神經網絡過擬合程度，減少誤檢；在模型中加入DIoU-NMS非極大值抑制，減少漏檢；利用第二層DBTNet-101分類網絡對第一層檢測結果進行校準，降低目標害蟲的誤檢。結果表明，粘蟲板圖像上的稻縱卷葉螟檢測精確率和召回率分別達到97.6%和98.6%，可以滿足稻縱卷葉螟智能性誘測報的需求。本研究建立的稻縱卷葉螟性誘智能監測系統實現了稻縱卷葉螟性誘成蟲監測的實時性和智能化，減輕了測報人員的工作量，監測數據精確且可追溯。該系統可應用于其他鱗翅目害蟲的智能性誘測報，只需要建立多類目標害蟲的檢測模型就可實現。