基于注意力機制的輕量化VGG玉米籽粒圖像識別模型

孫孟研, 王 佳, 馬 睿, 代東南, 劉 起, 穆春華, 馬德新

(青島農業大學1,青島 266109) (山東省農業科學院玉米研究所2,濟南 250100)

玉米是主要的農作物之一,也是工業生產中重要的原材料。近年來,玉米育種技術快速發展,導致品種數量迅速增長,種子市場由于大量假冒偽劣種子的出現而混亂,因此,探索出一種識別效率高的品種識別方法十分必要。

隨著農業信息化的發展,大量的計算機技術在農業中得到了應用。特別是神經網絡概念提出后,深度學習由此開始[1];隨后AlexNet取得重大突破,以超對手15.2%的優勢獲得桂冠[2]。Yann等[3]進一步明確了什么是深度學習并指出了深度學習的定義。與傳統的機器學習相比,深度學習能更有效地提取農業領域圖像中的特征,識別效率也遠高于傳統的機器學習方法。農作物籽粒的品種識別是深度學習在農業應用領域中的一個重要方面[4-6]。Tu等[7]基于遷移學習VGG16對品種京科968進行識別,最終在測試集上的準確率能達到98%。王佳等[8]基于遷移學習選用5個網絡模型進行測試,結果表明,ResNet的網絡性能最高,在雙面混合數據集上能達到99.91%。馬睿等[9]采用ResNet等4個網絡模型提出了基于遷移學習與CNN相結合的方法,對6個玉米品種的籽粒圖像進行識別,結果表明,Xception的網絡性能最高,在胚乳面數據集上識別準確率能達到95.55%。王玉亮[10]開發了玉米種子品種識別系統并提出多對象輪廓提取算法,對4個玉米品種的數據集進行測試,結果表明,該算法的最高準確率能達到100%。劉林[11]提出了基于深度學習的玉米品種識別方法,制作了登海518等3個品種的數據集,利用深度學習框架搭建了基于遷移學習的VGG19等3個網絡模型,結果表明,3個網絡模型的識別準確率均達到了99%。王佳等[12]以登海605品種為例,對VGG16采用不同的策略進行微調,結果表明,模型在3類數據集上的準確率都能達到100%。徐巖等[13]選取登海518等3個品種建立數據集,基于Keras深度學習框架建模,結果表明,在3類玉米品種上的平均識別準確率高達95.49%。呂夢棋等[14]基于殘差網絡進行建模,結果表明,優化后的ResNet網絡模型對種子的識別準確率最高能達到96.4%。

本研究采用相機采集了胚面和胚乳面的雙面混合圖像并建立起數據集,基于VGG16[15]并對網絡結構進行輕量化處理,僅保留6個卷積層,6個池化層,并在第1個和第2個卷積層后面引入注意力機制——SE模塊,為了防止梯度爆炸或梯度消失以及減少過擬合發生的概率,在SE模塊后面加入BN層[16]。通過對VGG16進行輕量化處理的方式建立起玉米籽粒品種識別模型,該方法簡單高效、訓練成本低且準確率高,為玉米品種的快速識別和保護提供了參考。

1 玉米籽粒圖像分類識別模型

1.1 VGG16卷積神經網絡模型

VGG16卷積神經網絡該模型結構簡單,主要由卷積層、池化層[17]等組成。與傳統機器學習算法不同,CNN能自動學習到各層特征并應用于圖像分類。卷積層的作用是在不改變圖像大小的情況下提取圖像中特征,主要實現降維處理和提取特征的目的。圖像在經過卷積處理后,下一步進行池化操作。通過重復堆疊卷積層和池化層來實現輸入數據的空間映射。而全連接層起的作用則是將前面各層提取到的特征進行加權合并,以實現對玉米籽粒圖像的最終分類。

1.2 SE模塊

標準的卷積操作以channel為基本單元對圖進行特征提取,但難以捕獲特征圖通道之間的關系信息。為了補充這部分信息,Hu等[18]提出了SE模塊。該模塊結構簡單,易于操作,能夠很容易地嵌入到現有的主流卷積神經網絡結構中。SE模塊主要是學習了channel之間的相關性,篩選出針對通道的注意力,提高網絡性能。

SE模塊可以實現注意力機制的原因一是采用全連接,二是相乘特征融合。一個SE模塊主要由Squeeze、Excitation兩部分組成,詳細結構如圖1所示。W表示特征圖的寬,H表示特征圖的高,C表示channel的數量,輸入特征圖的大小為W×H×C。第一步操作為Squeeze[19]。使用全局平均池化進行Squeeze操作將全局空間信息壓縮到信道描述符中。從形式上來說,統計量z∈RC是通過收縮U(每一層輸入通過卷積操作得到的輸出)的空間維度H×M所形成的,對于z的第c個元素進行計算。

圖1 擠壓激勵模塊

為了利用squeeze操作中聚合的信息,在Squeeze操作后執行Excitation[20]操作。為了限制模型的復雜性并幫助通用,excitation模塊會在非線性周圍形成一個由兩個完全連接層組成的瓶頸來參數化選通機制,即一個降維比為R的降維層,一個ReLU,然后是一個回到轉換輸出U的通道維數的升維層。特征向量Z輸入到excitation模塊中,進行計算:

s=Fex(z,W)=σ[g(z,W)]=σ[W2δ(W1Z)]

(2)

1.3 改進后的VGG16

VGG16的網絡模型較為簡單,也具有很強的擬合能力,但是模型擁有的參數數量較多,這代表著必須具有足夠大的容量才能夠對VGG16進行存儲和訓練。較大的體積不僅不有利于在服務器上進行部署,而且訓練模型所需的較長時間也加劇了調整模型超參數的困難程度?；谶@些問題,本文對VGG16原有的網絡模型進行輕量化處理。處理后的模型由6個卷積層、6個池化層以及2個全連接層組成,并在第1個卷積和第2個卷積后面加入注意力機制——SE模塊,并在SE模塊后面加入了批量規范化層[21],新提出的網絡模型記為L-SE-VGG,網絡結構如圖2所示。

圖2 L-SE-VGG網絡結構圖

本文提出的L-SE-VGG與原有的VGG16相較,減少了卷積層的數目,使網絡結構更加簡潔,而且卷積層的減少也帶來了卷積核數量的減少。雖然精簡網絡結構后的L-SE-VGG提取到的特征數量相較于VGG16較少,但是對于樣本之間具有較小特征差異的玉米籽粒圖像所取得的識別效果較好。

2 材料與方法

2.1 數據采集

選取5個品種的玉米籽粒進行識別研究,在照片拍攝之前,先由人工從眾多玉米籽粒中挑出色澤度較好、外形飽滿且完整無缺的玉米種子,為拍攝工作做準備。選用品種的詳細數量以及產地如表1所示。在實驗室自然光照條件下使用EOS80D型相機拍攝在黑色植絨布上擺放好的玉米種子,詳細情況如圖3所示。

表1 玉米籽粒(雙面混合)數據集

圖3 多粒玉米籽粒圖像

2.2 圖像預處理

本實驗拍攝的是一張照片中含有多個玉米籽粒的圖片,但最終進行品種識別的是單個玉米籽粒。因此需對圖像進行處理。主要步驟包括對多籽粒圖像進行二值化處理,再利用輪廓檢測算法提取單個玉米籽粒的輪廓;最終利用Python OpenCV 畫框切割算法提取單粒玉米圖像。圖像處理過程如圖4所示。

圖4 圖像處理過程圖

2.3 實驗超參數設置

本實驗基于Tensorflow平臺,采用Keras深度學習框架,使用Jupyter在GoogLeColabotory平臺上搭建網絡模型。具體參數配置如表2所示。

表2 實驗詳細超參數

2.4 數據集的劃分與增強

針對樣本小帶來的模型泛化能力不足等問題,采用隨機旋轉,水平方向平移、翻轉等操作增加訓練集的數量,經過一系列操作后使現有的訓練集數量是未進行數據增強之前的7倍。對驗證集和測試集只進行歸一化操作,經過數據增強操作后,能夠提高模型的準確率,增強模型的識別能力。

2.5 模型性能評價指標

采用召回率、準確率、精確率、F1分數和混淆矩陣作為模型性能評價指標。

式中:TP為實際為正被預測為正的樣本數量;FP為實際為負但被預測為正的樣本數量;FN為實際為正但被預測為負的樣本數量;TN為實際為負被預測為負的樣本數量。

3 結果與分析

3.1 注意力模塊數量對準確率的影響

為了探究引入注意力模塊數量對模型準確率的影響,本實驗設計了一組消融實驗,SE模塊添加的位置均在卷積層后面。例如,SE×1代表在第1個卷積層后面添加SE模塊,SE×2代表在第1個和第2個卷積層后面分別添加SE模塊,以此類推。消融實驗結果如表3所示。

表3 消融實驗結果

由表3所示,SE模塊的數量對模型準確率影響很大。在前2個卷積層后面加SE模塊時,模型的準確率高達98.86%,而如果在前4個卷積層后面加SE模塊的情況下,模型準確率只有75%,遠低于未預訓練的VGG16和遷移學習VGG16的準確率。通過消融實驗,本實驗確定了只在前2個卷積引入SE模塊,這樣不僅能簡化網絡架構,而且在減少模型計算參數數量的情況下提升了準確率,節約了計算時間和成本。

3.2 L-SE-VGG對品種鑒定分析結果

使用測試數據集對L-SE-VGG模型進行評估,圖5為L-SE-VGG在測試數據集中對玉米籽粒品種識別的混淆矩陣。在KENUO品種上有1個識別錯誤的圖像,被識別成了XJH;在TIEYAN品種上也有1個被識別錯誤的圖像,也被錯誤的識別成了XJH。這是因為KENUO和TIEYAN與XJH之間顏色非常接近,單憑肉眼很難去區分,而且這幾個品種之間的差異十分細微。L-SE-VGG在測試數據集上的其他評價指標如表4所示。

圖5 L-SE-VGG混淆矩陣

表4 L-SE-VGG其他評價指標

在測試數據集中,本研究所提出的L-SE-VGG對玉米籽粒品種的識別效果非常好。從單個品種的識別效果看出,該模型對5個玉米籽粒品種的識別準確率高于98.87%,精準率高于95.45%,召回率高于97.05%,F1分數高于97.12%。以登海605和16DX531這2個品種為例,準確率、精準率、召回率、F1分數均都達到100.00%。表明本研究提出的L-SE-VGG模型能夠非常精準的識別測試集中的每個品種的玉米籽粒圖像,為農業上的品種識別提供了很大的便利。

3.3 不同模型的鑒定結果比較

圖6描述了未預訓練VGG、遷移學習TL-VGG、不加SE模塊L-VGG以及L-SE-VGG對雙面混合數據集進行品種識別完成100輪的訓練集上準確率的變化。由圖6可知,未預訓練VGG16模型準確率不僅上升速度慢,而且收斂能力也較弱。而L-SE-VGG與不加SE模塊的L-VGG相比可明顯看出加SE模塊的L-SE-VGG在迭代10輪后就能達到接近90%的準確率,收斂速度也明顯快于L-VGG,這證明了在經過輕量化處理后的VGG16里加SE模塊的可行性。通過模型之間的對比,證明了本研究提出的L-SE-VGG模型能準確提取到玉米籽粒圖像的特征并進行高效品種識別。

圖6 不同模型的準確率對比

為了進一步評估本實驗使用的模型,引入總體準確率,Kappa系數和模型大小作為評價指標,評價結果如表5所示。

表5 不同模型定量評價結果

L-SE-VGG取得了最高總體準確率和Kappa系數,比VGG16準確率增加4.54%,Kappa系數增加0.057 8,并優于其他3種模型。對比未預訓VGG16和遷移學習TL-VGG,L-SE-VGG模型大小明顯要小很多,與不加SE模塊的L-VGG相比只多了4MB,說明L-SE-VGG在提高模型準確率的同時并沒有顯著增加模型的大小,也代表了這個輕量化的L-SE-VGG模型適合在移動端的部署。

因此,通過對不同模型在測試數據集上的綜合比較可知,本文提出的L-SE-VGG能準確識別玉米籽粒品種,為玉米籽粒品種識別提供了一種客觀準確,高效無損且適合移動端部署的模型構建方法。

3.4 玉米籽粒品種識別結果可視化分析

3.4.1 不同玉米品種的可視化

通過對卷積層特征的直觀分析,有助于了解卷積神經網絡輸入的轉化過程,理解卷積神經網絡各個濾波器的含義。5個品種玉米種子特征在不同卷積層中的可視化如圖7所示。在第一層可以比較清晰地看到玉米籽粒的完整形態。隨著層數的加深,激活逐漸變得抽象起來,這代表著層數越深,從特征圖里提取到的視覺內容信息就越少,而能提取到玉米品種類別的信息就越多。

圖7 不同玉米品種的可視化

3.4.2 卷積層的視覺比較

卷積神經網絡提取的特征是判別性的特征,可以忽略玉米種子圖像中不相關的背景,只提取關鍵的特征信息。通過可視化這些信息,可以清楚地知道網絡在訓練過程中是怎樣“看待”輸入的圖像并識別有效內容的。特征可視化對我們深入理解神經網絡的特征學習機制起著非常重要的作用,它直觀清晰,細節豐富。通過比較L-SE-VGG16和VGG16的卷積層特征圖(如圖8所示),可以直觀的看出L-SE-VGG16提取的特征比VGG16更加復雜,傳統的VGG16提取的特征大多數為玉米種子的簡單外部輪廓,而L-SE-VGG16不僅提取了更詳細的輪廓特征,還包含更多的依靠人肉眼難以辨別的細微的紋理特征,可以清楚地看到玉米種子的具體紋理,特征提取更深刻,細節更豐富。

圖8 卷積層的視覺比較

4 結論與展望

本研究對VGG16進行輕量化處理,提出了卷積神經網絡與注意力機制相結合的新的玉米籽粒品種識別模型L-SE-VGG。該模型對5個玉米品種籽粒圖像的平均識別準確率和精確率分別為99.54%和99.09%,在登海605和16DX531這2個品種上的準確率均達到了100%,除小金黃這一品種之外其他4個品種的精確率均為100%。與對比試驗中未預訓練VGG、遷移學習VGG以及不加SE模塊的L-VGG模型相比,L-SE-VGG在各項評價指標上都具有很明顯的優勢。

L-SE-VGG能夠為玉米籽粒品種的識別提供更先進的技術方案,為進一步實現簡單高效、精確無損的玉米籽粒品種識別提供參考。在今后的工作進程中,準備采集更多品種的玉米籽粒圖像來進一步豐富現有的數據集,并對拍攝背景進行改進,不再局限于黑色植絨布料,采集背景更加復雜多變的玉米籽粒圖像,為進一步探索新的玉米籽粒品質識別算法提供數量多且品種豐富的數據基礎;并將繼續探索使用新的算法對模型進行創新,用目標檢測算法實現玉米的定位檢測與識別,將訓練得到的模型部署在移動端上應用于實際場合。