一個預測紫葉生菜花青素含量的高光譜深度學習模型

張美玲, 陳勇杰, 王敏娟, 李民贊, 鄭立華

“智慧農業系統集成研究”教育部重點實驗室, 中國農業大學, 北京 100083

引 言

紫葉生菜具有豐富的營養價值, 其葉片中富含花青素、 胡蘿卜素、 維生素、 礦物質等, 它們的含量可以有效反應植物的生理狀態[1]。 有研究表明花青素可以修復葉片光環境、 提升植物的抗冰凍及抗干旱脅迫能力[2]。 因此, 準確地監測紫葉生菜的花青素含量, 有利于及時掌握其長勢情況, 為施肥、 灌溉及生產管理等提供指導。

隨著儀器測量技術和化學計量方法的不斷完善, 高光譜技術被認為是最具有前景的無損分析技術之一[3]。 在大多數先前的工作中[4-6], 基于高光譜反射率估算各種植物的生化特征使用偏最小二乘回歸(partial least squares regression, PLSR)方法, 如田瀟瑜等[4]研究了紫薯貯藏期間花青素的PLSR反演模型, 在驗證集上的決定系數(coefficient of determination,R2)和均方根誤差(root mean square error, RMSE)為0.91和7.24 m·/(100 g)-1; Gabrielli等[5]對葡萄果實高光譜數據進行預處理后, 建立基于特征波長的花青素PLSR模型, 驗證集R2和RMSE達到0.98和33 mg·kg-1; Tian等[6]研究了紫薯在對流風和微波兩種干燥方式下花青素含量的變化, 將光譜特征和紋理特征結合建立PLSR模型, 驗證集R2和RMSE為0.862和0.079。 上述工作表明高光譜反射率建立的PLSR模型可以在良好的控制環境下以高通量的方式分析相關物種的生化性狀。 然而, 這種建模方式在實際應用中較依賴領域專家的輸入特征或基于人工操作的預處理技術, 預處理技術的合理運用可以實現對數據的科學優化, 但仍不可避免存在對相關方法的誤用及過分使用。 預處理方法誤用及過分使用會使原始信號失真, 損失數據中原本有價值的信息, 降低頻譜分析精度; 在增加計算量的同時又引入許多可調參數, 使得建立一個良好的量化模型需要用戶熟練掌握特定的領域知識[7]; 且不同的預處理方法通常僅適用于其特定的數據集, 方法確定過程較為繁復[8]。 因此, 尋找一種不依賴于人工預處理操作的高精度估算模型至關重要。

卷積神經網絡(convolutional neural networks, CNN)是一種可以用于回歸任務的強大模型, 其對不同數據結構的高級表示能力使之成為主流的特征提取方法[9]。 近年來, 由于神經網絡[10]在無專家端到端學習實現自動化特征提取方面的通用性, 在許多數據分析任務中發揮了重要作用。 已有一些里程碑式的研究開發了基于神經網絡的光譜分析方法[11-13], 其中Xiang等[11]提出了一種基于ResNet的回歸模型對番茄果實的可溶性固形物含量進行估算, 與PLSR相較精度提高了26.4%, 穩定性提高了33.7%; Yu等[12]提出了基于層疊式自動編碼器和全連通神經網絡的深度學習方法成功預測了梨果實的可溶性固形物含量, 驗證集的R2和RMSE分別達到了0.921和0.22%; Zhang等[13]建立了基于神經網絡的深度學習模型DeepSpectra, 結果表明DeepSpectra可以有效地從原始光譜中學習特征。 上述工作顯示了深度學習在植物生化特征值反演中的巨大潛力, 然而目前基于深度學習估算植物生化特征值的研究總體來說還比較欠缺, 精度尚未達到較高水平, 其中利用高光譜反射率對紫葉生菜中花青素含量的估算研究仍為空白。 模型的預測性能很大程度上取決于所提取特征的有效性。 有研究表明Inception模塊由于其特定結構使得相應的神經網絡在保持計算復雜度的情況下在光譜分析中具有更大的寬度和深度優勢[14]。 因此基于改進的Inception模塊[15]設計了與輸入光譜信號匹配的一維CNN(記為1DCNN)作為特征提取器, 采用極限學習機(extreme learning machine, ELM)代替全連接層作為高級回歸器對提取的特征進行估算。 以紫葉生菜為研究對象, 提出了一種融合深度卷積特征和ELM的回歸分析框架用以估算紫葉生菜的花青素含量, 創新性的融合方式使其同時繼承了CNN的深度特征表示和ELM的高泛化性。

1 實驗部分

1.1 數據采集

試驗對象為紫葉生菜, 2021年4月于中國農業大學(北緯40°0′ , 東經116°21′)信息與電氣工程學院植物工廠, 在嚴格的環境控制下使用1/2Hoagland營養液進行水培種植。 設置光照時間為每日上午八時至下午十八時, 溫度保持在25 ℃左右。 在植株生長的第20至30日期間, 每日采集植株帶回實驗室, 使用北京卓立漢光儀器有限公司的GaiaSorter室內高光譜影像系統進行掃描, 該成像系統配備了V10E型光譜儀、 OL23型鏡頭、 LT365型偵測器、 兩個溴鎢燈光源以及電控載物移動平臺。 采集的光譜范圍為382～1 026 nm, 光譜分辨率為2.8 nm, 采樣間隔為0.65 nm, 共728個波段。 成像系統的曝光時間為15 ms, 載物平臺的移動速度為2.5 mm·s-1。 將紫葉生菜上部三處均勻分布的葉片剪下, 分別稱取0.2 g, 移至離心管中加入10 mL 2%鹽酸甲醇溶液密封, 將離心管放入離心機進行離心操作5 min, 再將其放入避光環境下兩小時至花青素全部析出。 之后使用分光光度計[16]分別測量花青素溶液在波長為530和600 nm時的吸光度值, 重復三次取平均值作為該株樣本的真實花青素含量, 共采集了108株紫葉生菜的高光譜圖像和花青素含量實測數據。 表1顯示了用于模型構建的測量性狀值的數據統計分布, 基于隨機選取的方式劃分數據集, 其中建模集86個樣本, 驗證集22個樣本。

表1 花青素含量樣本統計

1.2 高光譜圖像處理

1.2.1 光譜反射率計算

在建立紫葉生菜花青素含量的估算模型前需從高光譜圖像中提取紫葉生菜的光譜反射率數據。 使用基于Python編程語言的Spectral軟件包對高光譜圖像進行處理, 獲取圖像中紫葉生菜植株的掩膜進而提取植株的平均反射率數據, 提取過程如圖1所示。 讀取紫葉生菜高光譜圖像后將其轉換為歸一化植被指數(normalized difference vegetation index, NDVI)圖像, 如圖1(a)所示。 NDVI圖像可以增強植株的特性便于生成掩膜圖像, 如圖1(b)所示。 最后計算高光譜掩膜圖像中非0像素點位置反射率的平均值, 得到紫葉生菜植株的平均反射光譜數據, 如圖1(c)所示。

圖1 (a)歸一化植被指數圖像; (b)掩膜圖像; (c)平均反射率數據

1.2.2 數據預處理

對原始平均反射光譜數據進行了一階導數(first derivative, D1)、 二階導數(second derivative, D2)、 標準正態變換(standard normal variate, SNV)、 SG濾波(savitzk-golay filter, SG)和多元散射校正(multivariate scatter correction, MSC)五種預處理操作, 基于預處理后的光譜建立紫葉生菜花青素含量的PLSR估算模型, 用以確定最佳的預處理方案。 之后對經過最佳預處理后的數據使用競爭性自適應重加權采樣(competitive adaptive reweighted sampling, CARS)算法進行特征波段篩選以解決相鄰波段間存在的共線性問題, 通過將偏最小二乘回歸的回歸系數和蒙特卡洛抽樣方法相結合進行冗余信息的消除, 進而提高回歸模型的性能[17], 這項工作使用Matlab 8.1 (The Math Works, Natick, USA)的libPLS工具箱(www.libpls.net)實現, 關于各預處理操作更為詳細的信息可以在文獻[18]中找到。

1.3 模型構建

1.3.1 PLSR模型

PLSR是一種廣泛用于光譜數據建模分析的化學計量方法。 該方法在建模過程中會對樣本的光譜數據矩陣和花青素含量矩陣進行主成分分析, 求解隱含變量后根據隱含變量的貢獻率建立回歸模型[19]。 本文構建了基于高光譜反射數據的PLSR估算模型, 并將其作為紫葉生菜花青素含量估算的基準模型。

1.3.2 Ensemble模型

為進一步提高預測精度, 設計了一種基于CNN和ELM的融合模型(記為Ensemble)。 通過結合多個方法來完成學習任務的模型融合一直以來是進一步提升模型學習效果的重要手段[20], Ensemble創新性的融合方式使其兼具CNN高效的特征挖掘能力和ELM優異的泛化性能, 其模型結構如圖2所示。

圖2 Ensemble模型結構

首先使用8個大小為1×7的卷積核構建了Conv1卷積層用于初步提取特征, 其中在Inception模塊的結構設計中使用四個并行分支對卷積層Conv1輸出的8個特征圖進行卷積操作, 不同大小的并行卷積核可以提取不同層次的局部特征, 其中卷積核大小為1×1的卷積層(Conv1-1、 Conv2-1、 Conv3-1、 Conv4-1)通過降低維度、 控制網絡容量和向特征圖引入非線性在架構中發揮重要的作用, 最后扁平層(Flatten)將Inception模塊輸出的特征圖拉平得到一維向量并將其與全連接層(FC)連接。 然而CNN中作為回歸器的FC通常不夠健壯, 由于反向傳播過程中易陷入局部極小值的問題, 致使其作為處理深度卷積特征的回歸器泛化性能有限。

而ELM作為一種特殊的前饋神經網絡[21], 具有近似最優的泛化能力且能夠保證較高的訓練效率。 該方法輸入層和隱藏層之間的權重矩陣W和偏置矩陣b在訓練前進行隨機初始化, 隱藏層和輸出層之間的權值β如式(1)不需要進行迭代求解, 通過計算隱含層的輸出矩陣H如式(2), 之后解方程組即可一次求解, 避免了學習過程中的分層調優, 從而保證了優異的泛化性能。 式(1)、 式(2)中T為輸出矩陣,H+為H的廣義逆矩陣,T′為T的轉置,g為激活函數,X為樣本光譜矩陣,Y為樣本標簽矩陣。

β=H+T′

(1)

H=g(W×X+b)

(2)

(3)

使用網格搜索對卷積核大小、 卷積步長、 激活函數、 優化器類別及學習率進行調優, 最終用于訓練的超參數如表2所示。

表2 神經網絡參數設置

2 結果與討論

2.1 花青素偏最小二乘回歸預測建模

為了提高模型性能, 使用網格搜索進行5折交叉驗證對模型參數調優, 其中最大潛變量數量為20。 原始平均光譜(無預處理, 記為Original) 先經過五種預處理操作, 從中得到最佳的預處理方案, 對經過最佳預處理后的數據進行CARS操作。 表3列出了PLSR模型基于多種預處理方法及特征選擇方法CARS估算花青素含量的模型性能。

表3 經過不同預處理的花青素反射光譜估算模型結果

對比各模型, 發現MSC為最佳預處理方法, MSC可以將光譜數據中的散射光信號分離, 有效消除由于散射水平不同帶來的基線漂移和平移現象, 進而增強光譜與數據之間的相關性。 分析可見, 預處理對于PLSR估算模型的效果十分顯著, 是影響PLSR估算精度的重要因素。 使用CARS算法對數據進行特征波長選擇的分析結果如圖3所示。 在MSC的基礎上進行CARS特征波長選擇, 之后基于特征波長建立PLSR模型, 可見經過MSC預處理后, CARS有效的剔除了全光譜兩端易受噪聲影響的波段, 且特征波長的數量明顯減少。 MSC-CARS-PLSR模型在驗證集上的R2和RMSE分別為0.872和0.070 mg·L-1, RPD為2.862, 預測精度優于Original-PLSR、 MSC-PLSR模型, 略低于Original-CARS-PLSR模型, 然而MSC-CARS-PLSR模型僅使用了46個特征波長, 相較于全波長降低了93.6%。 上述結果證實了光譜預處理可以顯著提高傳統多元模型的預測性能和穩健性。

圖3 花青素特征波長選擇結果

2.2 花青素含量深度學習建模

利用紫葉生菜完整原始反射光譜的性狀數據和反射率信息, 未經任何預處理和特征提取操作, 比較了1DCNN、 ELM以及Ensemble的建模效果, 各模型性能見表4; 預測和驗證結果分別如圖4(a)、 (b)和(c)所示。 分析表明, 直接使用原始光譜作為輸入數據的Ensemble在花青素含量估算的任務中取得了最優的預測效果, 且性能優于經過預處理后最佳的PLSR模型。 其決定系數R2達到0.9以上, 表明Ensemble可以提供很好的預測能力; 其RPD大于3.0, 表明模型具有較好的穩定性。 之后進一步分析了預處理操作和特征選擇算法CARS對Ensemble預測精度的影響, 其中使用Ensemble對MSC處理后的全波長反射光譜數據進行建模, 建模結果如表4所示。

圖4 基于全波長的神經網絡模型對花青素含量估算結果

表4 神經網絡模型性能

分析表明, 經MSC處理后, Ensemble在建模集和驗證集上的精度均有少許下降, 因此之后基于Ensemble使用原始光譜進行CARS后的數據進行建模, 建模結果見表4。 其建模集和驗證集上的誤差均有上升, 說明基于原始光譜建立的Ensemble已經可以取得較高的預測精度, 預處理和特征選擇操作對Ensemble的正向效用并不顯著。

對比本文提出的融合模型Ensemble和單獨模型1DCNN、 ELM以及傳統方法PLSR, 由于Ensemble是兩個模型的級聯, 它使用深度學習模型作為隱式特征提取工具, 將提取出的局部空間模式傳輸給下游進行基于特征的模型構建, 相較于直接使用1DCNN模型或ELM模型輸出的特征進行估算, Ensemble相當于在粗特征提取上考慮了精確匹配特征, 而精確匹配特征的提取恰好是提升模型精度的關鍵。 同時1DCNN擅長學習不變的特征, 但并不總是具有良好的泛化性能。 相反, ELM擅長以極快的速度逼近任何目標連續函數, 但不善于學習復雜的不變量, 而兩類估算方法的融合則為提高整體模型性能提供了一種有效的途徑。

3 結 論

基于端到端的深度學習方法及集成的建模思路對紫葉生菜花青素含量進行高精度估算方法研究, 通過設計實驗以及對比分析, 證明了新模型架構的有效性, 并獲得以下結論：

(1)利用紫葉生菜反射光譜建立的PLSR模型可以用于快速準確地估算花青素含量值。 相較基于原始光譜建立的PLSR預測模型, 在MSC的基礎上進行CARS特征波長選擇后建立的PLSR估算模型的精度有所提升, 其驗證集的R2和RMSE為0.872和0.070 mg·L-1, RPD為2.862。 經過處理后的輸入數據僅使用46個特征波段, 模型具有較低的計算負擔, 但較為依賴于專家領域的知識, 且需要額外的人工預處理和特征選擇操作, 不能實現自動化特征提取。

(2)基于改進Inception模塊的1DCNN, 提出了一種融合深度卷積特征和ELM的端到端回歸分析框架Ensemble, 其在驗證集上的R2和RMSE為0.905和0.060 mg·L-1, RPD達到了3.319, 該模型直接使用原始光譜作為輸入數據, 無需根據先驗知識進行特征提取即可獲得高精度估算結果, 且模型具有較好的魯棒性, 便利于希望通過簡化模型和減少建模負擔來實現自動化特征提取的研究者和從業者。 但同時由于原始數據作為輸入這一特點使得模型在一定程度上增加了計算成本。

(3)加入MSC預處理和CARS特征選擇操作并不能顯著改善Ensemble模型的性能, 說明Ensemble對于數據預處理操作的依賴程度要遠低于PLSR。

本工作旨在基于高光譜構建紫葉生菜花青素含量模型, 實現針對原始光譜的端到端高精度花青素含量的高效預測。 在未來的研究中, 有必要對模型的可解釋性進行探討, 同時在實際環境中, 模型在不同應用條件的適用性往往存在差異, 使模型的實用性降低, 今后有望開展相關的普適性研究, 使得構建的參數估算模型在不同環境條件下均有所用。