基于AE-BiRNN 的片煙含水率高光譜檢測

魏 雷，徐迎波，曹海兵，薛訓明，王 澍，何金華，嚴志景，計 敏，張 龍，張 超*

1.安徽大學物質科學與信息技術研究院，合肥市九龍路111 號 230601 2.中國科學院合肥物質科學研究院安徽光學精密機械研究所，合肥市蜀山湖路350 號 230031 3.安徽中煙工業有限責任公司生產制造部，合肥市天達路9 號 230088 4.安徽中煙工業有限責任公司技術中心，合肥市天達路9 號 230088

松散回潮是卷煙加工過程中的關鍵工藝環節，松散回潮機的參數設置不僅會影響片煙含水率分布均勻性，還會對片煙的耐加工性以及制絲后的煙絲結構、填充值、出絲率、感官評價等指標產生影響。因此，實時檢測松散回潮后片煙含水率對于提升卷煙產品質量具有重要意義。常用的片煙含水率檢測方法有氣相色譜法、近紅外技術和卡爾費休-加熱爐法［1］，但這些方法耗時長、測量范圍小，難以直觀反映片煙表面水分分布狀況。目前基于機器視覺開展了大量煙葉含水率預測研究。其中，魏碩等［2］根據烘烤過程中煙葉形態收縮情況判斷水分含量；段史江等［3］通過量化烘烤過程中煙葉形態變化的數值特征指標，建立了含水率BP（Back Propagation）神經網絡預測模型。上述根據煙葉物理形態和表面顏色變化建立的模型雖具有較好的預測精度，但在更換煙葉品種或葉片舒展性較差時容易產生誤差，且實驗結果無法直接觀察水分分布狀況。高光譜成像技術（Hyperspectral imaging，HSI）具有光譜分辨率高、測量范圍廣、圖譜合一等特點［4］，普遍應用于地表監測、礦物探測等領域。隨著便攜式高光譜相機的發展和光譜分析方法的深入研究，高光譜成像技術被廣泛應用于農副產品水分或化學成分含量檢測。田美玲等［5］通過梯度提升回歸樹對光譜特征進行重要性遴選，用于估算土壤含水量；孫紅等［6］利用高光譜成像技術，使用隨機蛙跳算法選擇特征波長預測馬鈴薯葉片含水率；禹文杰等［7］通過CARS（Competitive Adaptive Reweighted Sampling）提取牛肉水分特征波長預測牛肉樣本水分含量。近年來高光譜成像技術在煙草制品的化學分析領域也取得廣泛關注。趙科文等［8］使用高光譜成像技術結合PCA（Principal Component Analysis）降維實現了煙絲組分摻配均勻性檢測；李士靜等［9］通過高光譜成像技術結合F-Score 算法選取煙葉高光譜特征波長實現了不同煙葉等級識別。然而，結合CARS、PCA 等數據降維算法對原始高光譜數據進行預處理，需要人工提前設置算法參數，若預處理方法使用不當，則容易導致模型預測準確率下降。為此，提出一種嵌入點積注意力機制的雙向循環神經網絡結構AE-BiRNN（Attention mechanism Embed Bidirectional Recurrent Neural Networks）用于片煙含水率預測，并利用自制的155個高光譜數據開展方法性能驗證，以期實現片煙含水率分布可視化，為快速調整松散回潮機工藝參數提供支持。

1 數據與方法

1.1 片煙樣本及含水率測定

實驗樣本為卷煙生產中松散回潮后的烤煙片煙，共選取38個等級（由安徽中煙工業有限責任公司提供）。要求外觀平展無折疊，避免因片煙重疊處含水率過高或過低而無法準確采集片煙光譜信息。利用烘箱法制作不同含水率片煙樣本并測量真實含水率，首先將數片片煙（大于5 g）置于電子天平（精度0.001 g，賽多利斯科學儀器有限公司）進行3次稱重取平均質量Mfn，采集片煙高光譜圖像；然后根據表1中設定的烘烤溫度和時間，將片煙置于40 ℃的烘箱（寧國沙鷹科學儀器有限公司）中烘烤40 s，每次烘烤后記錄片煙質量并采集高光譜圖像，此過程連續進行5次；最后100 ℃烘烤片煙120 min，設此時片煙質量為Md，含水率為0。因不同片煙初始含水率及失水速率不同，有部分片煙在第3次或第4次烘烤后質量變化不明顯，則直接烘烤至含水率為0。片煙含水率計算方法見公式（1）。最終采集155張片煙高光譜圖像，所有片煙樣本含水率分布在0～25.05%之間，平均含水率為12.35%，標準差為6.14%。

表1 烘烤溫度和時間設定Tab.1 Setting of temperature and duration of flue curing

式中：Mfn為片煙初始質量或烘烤后質量，g；Md為片煙含水率為0時的質量，g；LWCn為片煙含水率，%。

1.2 片煙高光譜數據采集

Gaia Field高光譜成像儀（江蘇雙利合譜科技有限公司）主要由便攜式高光譜成像儀主機（Gaia Field Pro-V10）、成像鏡頭（HSIA-0LES30）、校正白板（HSIA-CT-150 mm×150 mm）和數據采集軟件（SpecView）等組成，見圖1。此外，還配備了2臺33 W柏林二代鹵素雙臂臺燈（朗德萬斯照明有限公司）用于改善光源條件，1臺天逸510 Pro計算機（聯想集團有限公司）用于采集和保存光譜數據。采用推掃成像模式，光譜范圍為873～1 720 nm，光譜分辨率為1.7 nm，即512個波段，像素為640 px×640 px。

圖1 高光譜成像系統結構圖Fig.1 Structure of hyperspectral imaging system

為避免日照光線的影響，實驗在暗室環境中進行，使用鹵素燈補充光源。高光譜成像儀鏡頭距離載物臺30 cm，曝光時間設置為14 ms，兩側鹵素燈保持等高、平行并折角45°。采集光譜數據前進行黑白板校正，以減少光源或暗電流噪聲的影響。打開高光譜成像儀后，先獲得標準白板數據，再蓋上鏡頭蓋獲得黑板數據，然后對片煙高光譜數據進行采集。為減少鹵素燈光源熱量等環境因素對片煙含水率產生影響，應盡快完成數據采集。原始圖像校正方法見公式（2）。

式中：W為全漫反射標準白板校正圖像上像素點（x，y）對應的光譜數據；B 為黑板校正圖像上像素點（x，y）對應的光譜數據；I為原始片煙圖像光譜數據；R為黑白板校正過的片煙光譜數據。

高光譜數據處理平臺為PyCharm。其中，計算機系統為Ubuntu 18.04.6 LTS 版本，硬件配置：CPU為AMD?Ryzen 5 2600x six-core processor×12，內存為7.8 GiB，顯卡為NVIDIA GeForce RTX 2060/PCIe/SSE2。

1.3 基于SG的光譜平滑

因高光譜數據具有大量噪聲，影響模型精度，故選取Savitzky-Golay（SG）算法對光譜曲線進行平滑處理。SG平滑算法主要通過移動窗口，對窗口內的光譜數據點進行K 階多項式擬合［10］，從而抑制噪聲干擾、平滑曲線，并保持光譜長度和信號強度不變。

1.4 基于AE-BiRNN的含水率預測

目前循環神經網絡RNN被廣泛應用于音頻、文本、光譜等一維序列的分類與回歸［11-12］。實驗采集的高光譜圖像尺寸為640 px×640 px，每個像素點包含512 個波段的光譜數據。當樣本維度過高時，RNN容易出現梯度消失、預測準確率下降等問題。為此，本研究中將點積注意力機制［13］嵌入雙向循環神經網絡組合成AE-BiRNN 用于片煙含水率預測。如圖2所示，AE-BiRNN 通過雙向門控制單元BiGRU［14］（Bidirectional Gate Recurrent Unit）關聯片煙含水率光譜序列前后波段的光譜信息，Attention 為基于點積結構的注意力機制。

圖2 AE-BiRNN網絡架構Fig.2 AE-BiRNN network architecture

（1）BiGRU由兩個方向（正向和反向）的循環神經網絡組成，每個方向上的循環神經網絡基本單元為門控循環單元（GRU）。門控循環單元由更新門（zt）和重置門（rt）組成，更新門用于控制隱藏狀態的信息更新，重置門決定前一個時間步的隱藏狀態信息保留。取值范圍均在0～1之間。更新門（zt）和重置門（rt）的計算方法見公式（3）。

式中：xt為當前時刻的輸入；W、U和b分別為更新門或重置門的權重和偏置；ht-1為上一時刻隱藏狀態信息。

隱藏狀態信息ht的計算方法見公式（4）。

（2）注意力機制（Attention Mechanism）［13］是嵌入機器學習模型的一種特殊結構，用于自動學習和計算輸入數據對輸出數據的貢獻大小。點積注意力［15］常用于文本翻譯、音頻分類等一維序列任務，主要利用相似度分數對特征光譜分配較大的權重信息，使得模型在計算加權求和時更多地關注權重大的片煙含水率波長，從而起到特征波長選擇、降低輸入數據維度的作用。設網絡輸入信息H＝［h1，h2，…，hN］。其中，N 為輸入信息數，hm為輸入信息量，ht為查找關鍵信息的查詢向量。通過softmax 歸一化點積相似度s，將其轉化為注意力權重，并將注意力權重與輸入信息量加權求和計算Attention作為輸出。點積注意力機制計算過程見公式（5）。

式中：s為點積相似度；αm為注意力權重；Attention為加權求和后的結果，輸入全連接層［16］進行特征映射和非線性變換，最后輸出回歸預測的片煙含水率。

1.5 片煙含水率分布可視化方法

片煙高光譜圖像的每個像素點對應一條反射率曲線，對每條曲線進行預測，即可得到基于像素級的片煙含水率灰度圖。因單個像素點的光譜信息噪聲較大，為減少預測偏差，對片煙含水率灰度圖使用3×3改進均值濾波進行處理［17］。如圖3所示，在對背景和片煙區域像素進行判別后，只對片煙區域灰度值進行濾波處理；對經過濾波處理的含水率灰度圖進行偽彩色映射，選取OpenCV 中有較高對比度的COLORMAP_JET 偽彩色處理函數作為映射方案，以突出圖像細節。

圖3 3×3改進均值濾波算法Fig.3 Diagram of 3×3 improved mean filtering algorithm

1.6 片煙含水率均勻性評價

采用片煙像素點預測含水率的極差、方差和預測區間覆蓋率，評價片煙含水率均勻性。利用極差反映片煙像素點含水率的變異范圍或離散幅度，極差計算方法見公式（6）。

式中：nmax為基于片煙像素點預測含水率的最大值，%；nmin為預測含水率的最小值，%；R為極差，%。

利用方差觀察每個像素點含水率與均值的差異，方差計算方法見公式（7）。

式中：S為片煙區域的所有像素點數；μ為均值，%；σ2為方差；ni為基于片煙像素點預測含水率值，%。

松散回潮后片煙平均含水率標準區間為17%～20%［18］，允差為±1.5%，則預測區間覆蓋率計算方法見公式（8）。

式中：nk為基于像素點預測含水率在該區間內的個數；P為預測區間覆蓋率，%。

2 結果與分析

2.1 片煙高光譜數據預處理

2.1.1 片煙高光譜數據

在155張片煙高光譜圖像中，隨機選擇圖像在波長1 038 nm 的光譜反射率生成灰度圖，利用大津法（OTSU）［19］分割片煙區域，劃分過程見圖4。OTSU通過最小化類內方差確定分割閾值，將背景與片煙進行劃分，得到分割閾值為63。使用分割后的灰度圖對原始片煙高光譜圖像的每個波段進行點乘，由此得到片煙區域的光譜信息。提取片煙區域每個波段的平均反射率作為原始樣本光譜數據，可獲得155個樣本×512 個波段的數據矩陣，將其保存為.xlsx 格式。使用隨機劃分法進行劃分，70%片煙樣本用于訓練，30%片煙樣本用于驗證。

圖4 OTSU閾值分割過程Fig.4 OTSU threshold segmentation procedure

2.1.2 片煙光譜數據平滑

因原始光譜存在較大噪聲，設置SG算法的平滑窗口大小為5，使用3 階多項式擬合。由圖5a 可見，SG 對光譜具有較好平滑效果，且光譜信息不失真。由圖5b 可見，在波長1 450 nm 左右存在明顯波谷，當片煙含水率相差較大時，波谷差異也較大。說明使用烘箱烘烤后片煙光譜信息與含水率具有一定相關性，故能夠在片煙光譜與含水率之間建立關系模型。

圖5 片煙光譜數據預處理Fig.5 Preprocessing of spectral data of tobacco strips

2.2 點積注意力機制性能分析

與傳統的光譜數據先降維再回歸的處理方法不同，點積注意力機制能夠對不同波段分配權重參數，起到特征波長選擇、降低輸入數據維度的作用。為考察點積注意力機制模塊的引入效果，選用高光譜分析中常用的競爭性自適應重加權采樣法CARS［20］、主成分分析PCA、非信息變量消除（Uninformative Variables Elimination，UVE）3 種方法進行特征波長選擇，對降維后的光譜數據使用BiRNN 和AE-BiRNN 分別建模并進行全波長模型精度對比，以驗證集的決定系數R2v和均方根誤差RMSEV作為評價標準。其中，BiRNN 和AE-BiRNN 模型參數設置：Input Dimension 為1；Hidden size 為32；Num layers 為2；Learning Rate 為0.000 05；Batch size 為128；Epochs為5 000。

CARS是基于達爾文的“適者生存”原則，使用蒙特卡洛采樣法采樣，利用指數衰減函數確定N 次迭代過程中的波長數，根據波長權重選擇特征波長進行回歸［21］。其中，｜bi｜為第i個波長的偏最小二乘回歸系數絕對值，m 為采樣的變量數。由圖6a 可見，第19 次采樣模型精度較高，選擇了72個特征波長。由圖6b可見，前兩個主成分貢獻率達到99%以上，表明PCA 能夠最大限度地保留原始數據信息［22］。因此，使用前3 個主成分根據PCA loadings選擇了75個特征波長。UVE能夠剔除對建模貢獻率較小的波長變量，保留需要的特征波長［23］，以回歸系數矩陣的平均值與標準差的比值作為變量指標，圖6c為四折交叉驗證得分的變化趨勢，選擇了64個特征波長。

圖6 特征波長選擇結果Fig.6 Characteristic wavelength selection results

2.2.1 降維效果對比

表2 為不同方法在高光譜片煙含水率驗證集上的預測結果?？梢姡孩賃VE 選擇特征波長對比全波長建立的BiRNN 模型，驗證集決定系數R2v降低0.024 7，說明未提取到有效的特征波長，CARS+BiRNN 模型效果最好；②嵌入點積注意力機制模塊后，AE-BiRNN的預測準確率高于BiRNN和CARS+BiRNN 模型，驗證集R2v分別提升0.026 2 和0.013 7；③將CARS 特征波長與AE-BiRNN 結合，對比AE-BiRNN 預測準確率無明顯變化。圖7 為AE-BiRNN 模型驗證集預測結果，根據擬合直線可以看出該算法能夠較為準確地預測片煙含水率。綜上，AE-BiRNN 在無特征波長選擇的條件下同樣能夠獲得較好的預測準確率，表明嵌入的點積注意力機制模塊具有較好的特征波長選擇作用。

圖7 AE-BiRNN驗證集預測結果Fig.7 AE-BiRNN validation set results

表2 不同特征波長選擇方法的片煙含水率預測準確率Tab.2 Prediction accuracies based on different characteristic wavelength selection methods

2.2.2 收斂速度對比

圖8 為BiRNN、CARS+BiRNN、AE-BiRNN 在5 000 次Epoch 中的驗證集R2v和損失值（Loss）變化曲線?？梢?，AE-BiRNN 模型的R2v擬合曲線在3 000 次Epoch 左右趨于穩定，收斂于0.940 4，且5 000 次Epoch 后Loss 仍有下降趨勢。表明嵌入點積注意力機制模塊能夠根據片煙含水率特征波長快速分配權重信息，減少模型運算量，提高收斂速度。

圖8 不同模型收斂速度對比Fig.8 Comparison of convergence speed among different models

2.3 AE-BiRNN模型的性能驗證

為考察AE-BiRNN模型用于高光譜數據的回歸預測性能，基于全波長數據集選用光譜分析中常用的傳統機器學習方法PLSR（Partial Least Squares Regression）、RF（Random Forest）以及經典神經網絡模型LeNet 和多層感知機MLP（Multilayer Perceptron）進行預測精度對比［24-26］。各回歸模型的參數設置見表3。

表3 不同回歸模型的參數設置Tab.3 Parameter settings of different regression model

由表4 可見，神經網絡模型LeNet、MLP、AE-BiRNN 的預測精度均高于機器學習PLSR 和RF。其中，AE-BiRNN 模型精度最高，對比LeNet 和MLP網絡模型，R2v分別提高0.012 3和0.024 5。說明AE-BiRNN在光譜分析中能夠充分發揮序列建模能力的優勢，關聯片煙含水率光譜序列前后的信息，精準預測片煙含水率。

表4 不同回歸模型的預測精度Tab.4 Prediction accuracies of different regression models

2.4 片煙含水率分布可視化結果

利用AE-BiRNN模型對片煙高光譜圖像的像素點進行含水率預測，對含水率灰度圖使用3×3 改進均值濾波法處理，采用COLORMAP_JET 映射方案對處理后的含水率灰度圖進行顏色映射。由圖9可見，a、b、c 片煙預測平均含水率分別為18.36%、19.06%、19.28%。利用Colorbar 顏色代表含水率高低，根據可視化結果可以看出葉莖含水率較高，葉片含水率較低，與客觀認知相符合。

圖9 片煙含水率分布可視化結果Fig.9 Visual results of moisture content distribution of tobacco strips

2.5 片煙含水率均勻性評價結果

分別選取合肥卷煙廠生產線上6組片煙（每組隨機挑選100 片），使用AE-BiRNN 模型逐像素點進行預測，計算每組片煙的平均含水率，利用極差（R）、方差（σ2）和預測區間覆蓋率（P）進行片煙含水率均勻性評價。由表5可見，AE-BiRNN模型對每組樣品含水率預測的平均絕對誤差ε穩定在1%以內，表明模型具有較好準確性和實用性；松散回潮后片煙含水率在18%左右，且含水率分布的極差和方差較小，預測區間覆蓋率較高，表明片煙含水率分布較為均勻。

表5 AE-BiRNN模型測試結果Tab.5 Test results of AE-BiRNN model

3 結論

為預測松散回潮后片煙含水率及評價片煙含水率分布狀況，利用高光譜圖譜合一和BiRNN序列建模能力的優勢，提出一種嵌入點積注意力機制的雙向循環神經網絡結構AE-BiRNN。使用BiRNN網絡提取片煙含水率光譜特征深層關聯性信息，引入點積注意力機制對波長分配不同權重，起到選擇特征波長的作用。對比PLSR、RF和LeNet、MLP方法，結果表明：AE-BiRNN模型預測片煙含水率精度最高，減少了光譜分析的預處理工作量，提高了模型收斂速度；通過快速分析片煙含水率分布狀況，為松散回潮機工藝參數調整和改進提供幫助。該模型還可在倉儲片煙含水率監測、烘烤片煙失水變化、煙草香料施加均勻性檢測等方面推廣應用。