融合通道信息注意力網絡的葉片病害識別

侯金秀，李 然，鄧紅霞，李海芳

太原理工大學 信息與計算機學院，太原 030600

1 引言

植物葉片病害識別研究是農業生產中最基本、最重要的活動之一，也是圖像處理領域的核心研究內容。近年來，植物病害識別面臨諸多挑戰[1]，如：背景復雜無法分割感興趣區域，多種病害相似性高難以區分等。

目前對于植物葉片病害識別問題的解決方法有傳統方法[2-3]和深度學習[4-5]兩大類。傳統方法主要有：李廣林等[6]采用K_means 方法對葡萄病斑圖像進行分割，提取傳統的顏色、紋理等特征，采用線性核函數的 SVM分類；Arivazhagan S等[7]對香蕉、番茄、馬鈴薯等植物葉片進行HIS 顏色空間轉換，并對病斑圖像進行分割，提取紋理特征，采用SVM 對病害進行分類。深度學習的方法[8-10]主要包括：Amara J[11]利用 LeNet 結構[12]的卷積神經網絡對病害圖像進行分類，初步證明該方法的可行性；Rangarajan A K等人[13]利用Alexnet[14]和VGG[15]網絡對番茄病害進行分類，分類準確率進一步提高。但以上方法仍有不足：（1）傳統方法雖然準確率較高，但其嚴重依賴病灶分割和手工設計特征，且預處理方法不具有普適性，限于小數據集，處理過程較為繁瑣；（2）深度學習方法可以自動學習特征，且隨著網絡層數的增加，準確率有所提升。但其忽略了由于網絡層數加深導致的信息量過大以及底層特征丟失問題，同時缺少對不同特征信息重要性的區分。

近年來，神經網絡為解決大量信息的過載問題引入注意力機制。注意力來源于人類生物系統，如視覺處理系統傾向于選擇性地關注圖像的重要信息而忽略無關信息，其最先應用于機器翻譯中。在圖像處理領域，趙波等[16]針對細粒度目標分類問題，提出一種多樣化的視覺注意網絡（DVAN），結果表明，與無注意力模型相比，識別區域的局部信息更加準確；Hu J等[17]提出一種基于通道關系的注意力模型，并將其應用到分類問題中，結果表明，分類的錯誤率更低。

針對上述研究，本文提出融合通道信息注意力機制網絡模型（Fusion Channels Attention Mechanism，FCAM_CNN），主要目的是在更淺層的網絡中通過融合輕量級的注意力機制，提高多種植物葉片不同病害的分類準確率，同時降低模型的復雜度，進一步促進深度學習方法在植物病害識別方面的研究。模型主要由基礎網絡和通道信息注意力網絡構成，基礎網絡的核心以殘差結構為主，將其提取的特征輸入注意力網絡，通過全局信息融合多個特征通道來選擇性地強調信息特征功能，并通過不同超參數的設置來訓練和優化模型，最終使得模型表現更優的效果。

2 融合通道信息注意力網絡模型架構設計

本章主要設計基礎網絡和通道信息注意力網絡模型融合架構，并介紹其算法流程。搭建以殘差結構為主的基礎網絡用于提取特征，通過融合多種通道信息的注意力網絡實現特征的重標定，下面將分別介紹基礎網絡和通道信息注意力網絡的構建，以及兩種網絡模型的融合。

2.1 基礎網絡

網絡層數的加深是實現模型效果好的主要因素，但太深的模型會使網絡出現梯度爆炸和彌散等問題，導致模型無法收斂。為解決上述問題，本文搭建以殘差結構[18]為主的基礎網絡，并在網絡中添加批規范化層用以加快模型的收斂速度，同時提升模型的穩定性。

其結構如圖1 所示，一個輸入層（Input），一個卷積層（Conv1），兩個殘差結構，每一個卷積層后面緊跟一個歸一化層（Bn）和非線性層（LeakyRelu），最后通過兩個全連接層（FC1，FC2）利用softmax激活函數實現植物葉片病害的分類。

輸入層要求為224×224的RGB圖像，卷積層用來提取特征，池化層主要對卷積層的輸出特征進行降維，本文采用平均池化和最大池化兩種操作。

殘差結構是基礎網絡的核心部分，主要思想是在網絡中加入恒等映射，其結構由兩部分構成，第一部分計算表達式如式（1）所示：

其中，σ表示非線性函數Relu，W1和W2表示參數矩陣。

第二部分通過一個短連接與恒等映射相加，再通過一個非線性函數Relu，得到輸出y，如式（2）：

全連接層作用是對原圖像進行預測分類。誤差將通過Softmax 層進行反向傳播，表示a 圖像屬于一個給定的類，見式（3）：

其中，為樣本x(i)屬于第j類的概率值，Wj和aj為第j類的參數，C為預測圖像的總類別數。

2.2 通道信息注意力網絡

通道信息注意力網絡通過建模卷積特征通道之間的相互依賴關系來提高分類準確率，CNN 通過學習全局信息來選擇性的強調特征信息并執行特征通道重新校準。此網絡結構如圖2所示。

圖2 通道信息注意力網絡

將卷積層提取到的特征X∈RW×H×C記為X=[x1,x2,…,xc]，其中xi∈RW×H，表示第i個特征圖，特征圖的總個數為C。

首先，將卷積層提取的特征圖進行全局平均池化（GAP）操作，將其壓縮為維度1×1×C的向量vc={a1,a2,…,aC}，計算過程見式（4）：

其次，采用兩個全連接層（FC1，FC2）以及Sigmoid激活函數，通過訓練得到的參數為每個特征通道賦予新的權值{ω1,ω2,…,ωC} ，如式（5）所示：

其中，δ指ReLu激活函數，W1∈Rc/r×c，W2∈Rc×c/r，W1表示降維層參數，r表示降維比例，實驗中設r=16，經過ReLu激活后，通過W2參數進行升維。

最后，用新的特征權重和特征圖做點積操作，完成對原始輸入特征通道的重新標定。如式（6）：

2.3 網絡模型融合

為了增強底層特征，在淺層網絡中實現更好的分類效果，將圖3 FCAM_CNN網絡模型中的Conv_1提取的64維特征輸入到通道信息注意力網絡進行特征增強，將結果進行非線性轉換和最大池化后，輸入到ResBlock_1中，再次通過信息通道注意力網絡對64 維特征進行增強，并將結果輸入到ResBlock_2和注意力網絡進行增強得到128維特征，最后經過平均池化和兩個全連接層進行葉片病害的分類。

3 交叉熵損失函數的設計

本文采用的損失函數為交叉熵（cross-entropy）函數，為了保證所提出的FCAM_CNN 模型能夠在現有的數據集中取得較高的識別率，將約束條件引入損失函數中，目的是增加不同病害圖像的類間間距，縮小同類病害圖像的類內間距。根據類間和類內分散矩陣間的距離將總體損失函數定義為S，如式（7）：

其中，L表示模型中的損失函數，yi表示第i張圖像的真實標簽，pi表示預測值。k是類別數，N是樣本總數，λ1和λ2表示調整系數，S1和S2分別為類間和類內矩陣，將其定義如式（8）：

其中，為屬于第c類的全連接層的第i個輸出，nc表示第c類中的樣本數，一共有C類，M(i)為第i類的樣本均值。

模型的誤差可以通過整體損失函數的梯度來計算。網絡權重通過計算L、S1和S2的梯度，然后整體經過迭代CNN來更新。在每次迭代中，S1作為損失函數的一部分，主要用于擴大類間預測值的距離，而S2主要用于縮小類內均值預測的距離。通過調整參數，模型可以在相對較少的數據集上實現快速分類目的。本文中，λ1設為0.03，λ2設為0.01。

圖3 FCAM_CNN網絡模型圖

4 實驗及分析

4.1 數據集介紹

本研究所用的數據集包括番茄、葡萄、馬鈴薯和蘋果四種植物。其中每一種植物都包含其健康的一類以及多種不同的病害種類。原始數據集展示如表1。

表1 數據集展示

4.2 數據增強和數據平衡

原始數據分布如表2所示，數據集共26 000張。深度模型的訓練需要大量數據的支持。擴充數據采用的數據增強方法主要包括5 種：隨機裁剪、翻轉、旋轉、色彩抖動以及加噪處理，同時用平均值和標準偏差對數據進行歸一化。處理后的數據如圖4所示，以葡萄輪斑病為例。

為了使數據均衡分布，采用選擇性部分擴充的方法，針對原始數據較多的類，主要采用色彩抖動方式，而對于原始數據較少的類，采用5種不同方法的不同參數設置來擴充數據。通過部分擴充的方法使得訓練和測試數據達到一種均衡狀態。擴充后的數據集總共約39 000張。

4.3 實驗結果與分析

4.3.1 網絡參數設置

將擴充后的4 種植物對應的16 類病害的數據集按不同比例劃分訓練集和測試集，且比例為4∶1 時，模型的效果較好，迭代次數最終設置為80，學習率設置為0.001，訓練過程中設置的批尺寸為32，各個參數的微調過程如圖5所示。

如圖5（a）所示，保持其他超參數不變，通過設置不同的迭代次數來比較準確率。由圖中曲線可知，淺綠色曲線即迭代次數為80 時，準確率最高且達到一個平穩狀態，當迭代次數再次增加時，效果并不理想。所以，確定迭代次數為80。

表2 數據分布

圖5 參數微調及選擇

如圖5（b）所示，學習率的設置會影響模型的收斂速度和穩定性。當學習率取值不同時，模型分類的準確率也會發生變化。設置迭代次數為80，由圖可知，橘色曲線即學習率為0.001時，模型的測試準確率相對較高，并且曲線的震蕩較小，說明取0.001時適合本模型。

4.3.2 實驗結果及對比實驗

（1）自對比實驗

本文首先采用基礎網絡和融合了通道信息注意力網絡的模型進行自對比實驗。實驗結果如圖6所示。

圖6 基礎網絡和FCAM_CNN對比

圖6 中acc 為基礎網絡測試集的分類準確率，最高為83.13%；在基礎網絡中融合多種通道信息的注意力網絡，由FCAM_CNN_acc表示，融合后模型的最高準確率為87.77%，比基礎網絡的準確率高4.64個百分點；并且，根據圖中loss以及FCAM_CNN_loss可以看出，改進后的損失函數與原有的損失函數相比，可以加快模型的收斂速度，并較快達到相對平穩的趨勢。

（2）與其他模型對比實驗

本研究采用 Resnet18、VGG_11 和 VGG_16 網絡進行對比實驗，并按不同比例劃分訓練集和測試集，實驗結果如表3所示。

表3 不同模型準確率對比 %

由表3可得，訓練集和測試集按4∶1劃分時，各個模型的效果較好。VGG_11網絡準確率最高達到68.54%，而VGG_16的準確率最高為62.83%，Resnet18網絡的準確率為78.05%，要比VGG_11 網絡高9.51 個百分點；而本文提出的FCAM_CNN模型最高準確率為87.77%，比Resnet18模型高9.72個百分點，且網絡模型更淺。

同時，4種網絡模型進行了空間復雜度（Params）、時間復雜度（FLOPs）、理論乘加量（Madd）和內存（Memory）的對比?？臻g復雜度即模型的參數數量；時間復雜度表示模型的運算次數；理論乘加量用來衡量模型的計算量，即權重相乘后的相加次數算為一次；內存表示網絡模型的內存占用情況，實驗對比情況如表4所示。

表4 不同模型的復雜度對比

由于殘差網絡中加入了短鏈接可實現恒等映射，所以盡管Resnet18 網絡要比VGG_11、VGG_16 的網絡更深，但Resnet18網絡的各項指標均低于VGG網絡；而本文提出的FCAM_CNN 模型，基礎網絡以殘差結構為主，融合了輕量級的注意力機制，相比于Resnet18，Params 降低了 4.29×106，FLOPs 降低了 0.82×109，Madd減少1.65×109，Memory降低44.92×106。綜上，無論是在Params、FLOPs、Madd或Memory方面，都比Resnet18網絡要低，效率更高。由此可證明FCAM_CNN 模型的網絡性能更好。

4.3.3 實驗結果展示

FCAM_CNN 模型預測輸出的結果如圖7 所示，為了簡化表示結果，用1、2、3等表示健康和不同病害的種類，表5為病害類別對照表，例如：2表示番茄的斑點病。

圖7 模型結果圖

表5 植物病害種類對應表

5 結束語

本研究提出一種融合多種通道信息注意力網絡的識別模型，采用殘差結構的基礎網絡，將學習到的由淺層到深層的特征通過注意力網絡進行特征的重標定，進而對多種植物葉片不同病害進行識別分類。最后實驗證明，通過搭建融合輕量級注意力機制的網絡模型，可以在降低各項復雜度的同時，提高分類準確率。本文所提出的方法沒有完全充分地提取植物葉片病害的豐富特征，實驗效果還可以進一步提高，后續工作將對提取多樣性特征以及模型的設計進行進一步研究。