基于電磁振動與卷積神經網絡的玉米品質精選裝置

權龍哲，王建宇，王 旗，肖云瀚，馮槐區

(東北農業大學 工程學院，黑龍江 哈爾濱 150030)

玉米是我國主要的農作物之一，玉米種子作為最基本的農業生產資料，提高其品質是保證玉米種植業產量的關鍵[1].因此，控制玉米育種質量、自動檢測玉米種子品質對提高玉米生產過程中的自動化水平、玉米單產量以及確保玉米在我國糧食生產中的戰略地位具有重要意義[2].利用機器視覺技術[3]可對玉米籽粒特征指標進行定量描述，為實現玉米籽粒的快速有效檢測提供有效的解決途徑[4].目前，國內外相關領域的學者利用機器視覺技術提取玉米籽粒圖像的顏色、幾何、紋理等特征參數，結合線性分類器、非線性分類器、神經網絡等理論對玉米籽粒的品質鑒定[2,5-7]、品種分類[8-9]、精選與分級裝置[6,10-11]進行相對較多研究.雖然上述研究已經取得不錯效果，但傳統方法特征建模過程繁瑣，并且基于電磁振動的玉米籽粒在線自動精選分級裝置的研究較為少見.雖然作為機器視覺重要分支的深度學習[12-13]技術在人臉對齊[14]、車牌字符識別[12]、農業領域[15-16]的應用讓研究者看到了新的方向，但經典深度學習網絡模型對硬件苛刻的要求使其在農業領域的應用難以推廣.因此針對上述問題，文中基于電磁振動理論、自動控制原理與深度學習技術提出一種適用于玉米籽粒品質自動精選分級裝置，并在試驗中取得了良好的識別效果.

1 玉米籽粒精選機械系統搭建

為實現玉米籽粒的精確檢測與分選，本研究自制了基于電磁振動的玉米籽粒精選試驗平臺，如圖 1所示.平臺基于電磁振動理論、自動控制原理及深度學習技術進行機械傳送、分選控制和圖像識別系統的設計.傳輸系統包括玉米粒群落料單元、電磁給料單元；控制系統包括控制單元和分選收集單元；視覺系統包括恒定光強視覺單元.

圖1 基于電磁振動的玉米籽粒精選平臺

1.1 工作原理

基于電磁振動的玉米籽粒精選平臺的工作原理，如圖 2所示.輔助喂料箱內的玉米籽粒經過排種器后多數以玉米粒群或少數單個玉米籽粒的形式進入速度差異式電磁振動給料機的傳送軌道前端，經由運動速度前慢后快的傳送軌道整列與分離后形成單個玉米籽粒流，進入恒定光強視覺系統的圖像采集區域.通過恒定光強視覺系統中的CMOS工業相機對玉米籽粒進行圖像采集后，將該玉米籽粒圖像通過USB數據線傳輸至計算機進行識別，通過RS232串口把識別結果返回下位機89C52進行分選處理，下位機控制單元根據返回的處理結果，控制電磁鐵動作完成玉米籽粒的自動分選.

圖2 基于電磁振動的玉米籽粒精選平臺的工作原理

1.2 下位機控制單元設計

本研究中整個基于電磁振動的玉米籽粒批量精選平臺屬于下位機，下位機電源采用24 V開關電源供電.下位機的控制中心由上位計算機USB串口供電和控制.控制器選用STC89系列單片機，其主要配置是11.0592 MHz晶振，芯片型號89C52.步進電機驅動器(TB6600)由開關電源供電、受單片機控制.步進電機(57BYG250D)由驅動器供電和控制，用于控制排種器實現玉米粒群落料.電磁激振器由調壓式電磁調節器(SDVC10-S)供電和控制，用于實現玉米粒群分離與籽粒給料.分選收

集單元的分選撥片由電磁鐵控制，電磁鐵由受單片機控制的繼電器控制，繼電器由開關電源供電，用于實現玉米籽粒品質的分選.

1.3 恒定光強視覺單元設計

視覺單元選用LCD光源(白光6 000 K，LED燈帶2835，歐普照明，中國)；選用CMOS相機(M30B，長沙大影電子科技有限公司，中國)和固定光圈(f 1.6)的變焦(6～60 mm)鏡頭(0660 MV，長沙大影電子科技有限公司，中國).暗箱由黑色亞光亞克力板組成，如圖 1所示.在恒定光強視覺系統的暗箱內以順光、固定角度對玉米籽粒進行圖像采集，拍攝距離為40 mm，鏡頭視場約為55×41 mm2，獲取圖像的像素尺寸為640×480，如圖 3a所示.使用Matlab軟件開發圖像預處理、檢測算法和在線分選軟件.提取圖3a中位于兩紅色矩形框內籽粒的裁剪圖見圖3b.為去除背景和圖像噪點，使用半徑為4個像素的圓盤算子對玉米籽粒圖像的R，G通道灰度圖進行腐蝕膨脹；然后對灰度圖進行OTSU分割處理；再使用半徑為7個像素的圓盤算子對二值圖進行腐蝕膨脹；最后將二值圖像合并得到背景去除掩模見圖3c.將掩模與裁剪圖做差得到預處理結果見圖3d.

圖3 基于形態學處理的玉米籽粒背景去除

2 玉米籽粒精選檢測模型設計

卷積神經網絡[14,17](CNN)作為深度學習中應用最廣泛的網絡模型之一，是一種由多個卷積層、探測層、池化層以及全連接層等網絡結構交替組成的人工神經網絡.通過對AlexNet，ZFNet，VGG，GoogLeNet，ResNet等圖像分類模型和R-CNN，Fast R-CNN，Faster R-CNN等目標檢測模型分析[18]，發現雖然這些網絡模型可通過相互融合組成新模型的方式，使圖像分類和目標檢測任務的檢測精度在公共數據集或者自制的數據中逐步提高，但是這些網絡模型結構復雜、參數量巨大，需高性能工作站支持才可進行訓練和測試.因此，現階段這些網絡模型不適合在實際農業領域中進行玉米籽粒品質檢測的應用.考慮到玉米籽粒品質精選檢測對檢測精度和實時性的要求，為實現玉米籽粒品質的有效檢測，本研究設計了一種精簡、分層次的網絡模型，如圖 4所示.玉米籽粒精選檢測模型基于Faster R-CNN[19]搭建，由2個特征共享的網絡結構組成.當整張玉米籽粒圖像輸入到網絡入口后，共享卷積網絡部分會對該圖像進行卷積、池化處理，得到該玉米籽粒圖像的卷積特征圖；然后將玉米籽粒特征圖傳給RPN生成候選區域；最后在ROI池化層后面加上Fast R-CNN對玉米籽粒進行檢測與定位.經試驗確定本研究玉米品質檢測網絡模型具體參數配置，如表1所示.

圖4 玉米品質檢測網絡模型

表1 玉米品質檢測網絡模型具體配置

2.1 RPN網絡優化

RPN網絡僅僅對區域建議進行目標和背景的概率分類.因為被標記為目標和背景的樣本數量和比例，會對檢測網絡的分類準確性造成影響，所以在網絡訓練時需要對正負樣本的這2個參數進行調整.本研究數據集中的玉米籽粒在整個圖像中所占的比例大，因此，為平衡正、負樣本的比例設置RPN負樣本范圍為0到0.3，正樣本范圍為0.7到1.0.試驗結果表明模型檢測效果良好.

2.2 訓練與測試

通過反向傳播和隨機梯度下降法(動量值設置為0.9)對整個卷積神經網絡進行端到端的訓練.整個卷積神經網絡在Faster R-CNN網絡的基礎上進行訓練，并且對于不重要的新增的卷積神經網絡中的網絡層參數使用函數的默認值進行初始化，其余網絡自帶參數使用網絡框架的默認參數進行初始化.本研究采用一種分步訓練策略：前兩步采用1×10-5的學習率對RPN網絡進行迭代訓練；然后在接下來的兩步網絡訓練中將學習率縮小至1×10-6，繼續進行迭代訓練.結果表明該訓練策略有利于快速有效地進行卷積神經網絡的訓練.

3 結果與討論

3.1 試驗環境與評價標準

本研究在Windows系統環境下Matlab版代碼進行測試，具體的配置為Windows10 64位，Matlab R2017b，Intel 酷睿i7-6700HQ，NVIDIA GeForce GTX 960M(顯存2 GB)、系統內存8 GB.由于本研究屬于目標檢測范疇，因此，采用AP，mAP[19]來評估模型整體性能，采用準確率P，召回率R，誤報率FPR，加權調和平均值F1來評估模型的分類性能[15,20].參考文獻[6]研究，結合文中試驗樣機的特殊性，采用檢測準確率(判斷正確的籽粒數/總籽粒數×100%)、有效分選率(分選正確的優良籽粒數/執行分選動作的籽粒數×100%)作為系統樣機的評價標準.

3.2 玉米籽粒精選檢測的樣本采集和數據集

本研究以鄭單958玉米籽粒為研究對象并設計了玉米籽粒樣本采集試驗，包括玉米穗分選和玉米籽粒分選.穗選：在農場上晾曬玉米果穗時，將作為正樣本的玉米果穗與混雜、成熟不好、病蟲、霉爛等作為負樣本玉米果穗分開后曬干脫粒.結合前人的研究[5-6]對本研究的玉米籽粒進行粒選和分類：在上述玉米果穗中選出顏色飽滿、大小適中、粒形均勻的玉米籽粒作為優良玉米籽粒樣本；剩余大小不均、蟲蝕、病斑、破碎、生霉、熱損傷等玉米籽粒作為剔除籽粒樣本，如圖 5所示.在暗箱內進行樣本采集，時間為2017年11月，經1.3節預處理后可得4種形態的單顆玉米籽粒：種尖指朝下(圖5a)和種尖指朝上(圖5b)的籽粒胚面、種尖指朝下(圖5c)和種尖指朝上(圖5d)的籽粒胚乳面.通過以重心為核心的簡潔算法對它進行姿態調整后，統一裁剪為圖5b，d兩種像素為352×352的圖像.隨后標記圖像中玉米籽粒的類別以及位置：優良玉米籽粒胚面與胚乳面、剔除籽粒胚面與胚乳面4大類(剔除籽粒胚面簡稱剔胚，剔除籽粒胚乳面簡稱剔胚乳，優良玉米籽粒胚面簡稱優胚，優良玉米籽粒胚乳面簡稱優胚乳，共2 212幅圖像，其中優良玉米籽粒各626幅，剔除籽粒各480幅).位置標記示例如圖 5所示，優良玉米籽粒集中的優良玉米籽粒(圖5e)；剔除籽粒集中的大小不均籽粒(圖5f)、蟲蝕籽粒(圖5g)、破損籽粒(圖5h)、發霉籽粒(圖5i)、熱損傷籽粒(圖5j).

圖5 玉米籽粒數據集及部分樣本示例

3.3 模型整體訓練效果評估

為驗證本研究網絡模型的性能，隨機選取玉米籽粒數據集80%的數據用于訓練，剩余20%數據用于驗證.使用AP，mAP對4種網絡模型整體性能進行參數評估，剔胚、剔胚乳、優胚和優胚乳的AP分別為76.03%，86.43%,92.05%和97.60%，模型的mAP為88.03%，對優良籽粒的mAP為94.83%，模型大小僅為5.83 MB.對比分析模型檢測4類玉米籽粒的P-R曲線，如圖 6所示.結果表明：玉米品質檢測網絡模型穩定，對優良玉米籽粒有更好的識別效果.

圖6 檢測模型的P-R曲線

3.4 分類檢測試驗

使用P，R，FPR以及F1值對模型多分類檢測性能進行的定量分析和評價，結果如表2所示，由表2可知，模型總體分類檢測性能良好.對優良玉米籽粒的識別能力更強，P，R，FPR以及F1值分別為98.75%，94.84%，3.78%和96.85%.對剔除籽粒識別效果較差的原因是模型在檢測時出現較多剔除籽粒類內錯誤，可能原因是：① 由于在剔除籽粒數據集的建立時，考慮到模型不需要識別出不同剔除籽粒確切類型(如大小不均、蟲蝕、破損等)，因此將它們歸為一類.這些不同籽粒所具有的特征導致剔除籽粒的特征變得復雜、互有交叉，使模型對剔除籽粒識別效果呈現出不穩定或較差的原因.② 有些屬于被剔除的玉米籽粒處于類間的特殊位置，胚乳面和胚面特征之間相似度極大，即使按分類標準來進行判斷也不容易確定其類別.但是這種錯誤不會影響模型對優良玉米籽粒的檢測精度.

表2 模型分類性能試驗結果 %

3.5 檢測速度分析

檢測速度對玉米品質檢測網絡模型的部署有極大的影響.在有限的計算機硬件條件下，文中又訓練了4種不同網絡入口的模型，并對9種不同像素圖像(32×32至352×352像素)進行了速度測試，如表3所示.隨著模型網絡入口與圖像尺寸差距減小，模型檢測速度逐漸提升，最快可達42.74 幅· s-1.

表3 檢測速度試驗結果 幅· s-1

注：模型-32是指32×32像素的模型，以此類推；空白表示程序錯誤，模型無法運行.

3.6 樣機試驗

試制的玉米籽粒品質精選試驗樣機，如圖 7所示.當配重質量為0.3 kg、安裝傾角為0°、系統振幅為0.36 mm時，機械系統的整列分離性能最好，試驗樣機視覺檢測和電磁分選的精度最高.啟動樣機對優良玉米籽粒和剔除籽粒(各500粒)進行樣機檢測試驗.結果顯示：玉米籽粒品質精選試樣樣機對優良玉米籽粒的實際檢測準確率為96.50%，與傳統方法[6]相比有0.5%的提升；實際有效分選率為97.51%.

圖7 基于電磁振動的玉米籽粒精選樣機試驗

4 結 論

1) 設計了基于電磁振動、自動控制的玉米籽粒精選平臺，可實現玉米籽群的自動分離與籽粒品質的分選.

2) 設計了基于卷積神經網絡的玉米品質精選檢測模型，可實現玉米籽粒品質的自動檢測，模型大小為5.83 MB，對計算機硬件要求低；模型的mAP為88.03%，總體分類檢測性能良好；對優良玉米籽粒的識別能力強，P，R，FPR，F1值分別為98.75%，94.84%，3.78%和96.85%.

3) 設計并試制了玉米品質精選樣機，樣機對玉米籽粒的實際檢測準確率為96.50%，與傳統方法相比有0.5%的提升，實際有效分選率為97.51%.