融合電子鼻和視覺技術的雞肉新鮮度檢測裝置研究

李玉花 史翰卿 熊赟葳 余思懿 王晨陽 鄒修國

(南京農業大學人工智能學院，南京 210031)

0 引言

雞胸肉在生產與運輸過程中，由于溫度、酶和微生物等因素的影響，新鮮度會隨著時間的推移不斷降低，產生不良風味甚至腐敗變質。食用不新鮮或腐敗變質肉會損害身體健康[1]，因此肉類的品質評價、等級標注及新鮮度評級檢測對于保障食品安全具有重要意義。

早期雞肉新鮮度檢測方法主要分為兩類：感官評測法或者利用理化和微生物分析方法測定pH值以及總揮發性堿性氮(TVB-N)、三甲胺(TMA)和生物胺含量等[2]。前者受主觀意識和經驗知識影響大，后者操作繁瑣、速度慢、具有破壞性。隨著檢測儀器技術的發展，目前已有許多快速無損檢測技術出現，如計算機視覺、高光譜成像、計算機斷層掃描(CT)和掃描磁共振成像(MRI)等。但計算機視覺方法易受光影變化影響，CT和MRI技術成本高且耗時長[3]，高光譜成像技術多局限于實驗室研究[4]。顯然，設計多源感知信息融合裝置更具優勢，可緩解單一檢測技術存在的缺陷。

電子鼻技術基于氣體傳感器陣列，模擬嗅覺系統，捕捉特征香氣，通過氣體濃度判斷新鮮度等級，具有成本低、操作簡單和精度高等優點[5]，一些學者進行了相關研究[6-8]。但現階段的電子鼻裝置仍存在體積龐大、價格昂貴和采集時間較長等問題[9]。視覺技術依據樣本顏色、形狀、大小和表面紋理等信息進行新鮮度檢測[10]。目前已有許多算法[11-13]被提出，取得了較好的效果。

然而單項檢測技術存在一定的局限性，單模態數據不能準確全面客觀地評估肉類的新鮮度[14]。電子鼻技術可檢測芳香族化合物，但忽略了雞肉的表面特征，且耗時較長。而視覺技術可提供肉類表面物理化學信息，卻缺少對氣味的描述，且易受光源影響。融合電子鼻和視覺技術將獲得更為全面多元的多模態數據，從而提高結果的準確性和可靠性。本文設計一種基于視覺和電子鼻數據融合的雞肉新鮮度檢測裝置，使用電子鼻傳感器陣列采集雞肉散發的氣體濃度，同時通過視覺系統獲取雞肉圖像信息，并使用計算流體力學(Computational fluid dynamics, CFD)[15]對裝置結構可行性進行仿真試驗。

1 檢測裝置設計

1.1 裝置整體結構及工作原理

裝置融合了電子鼻系統和視覺系統，其整體結構如圖1所示，能同時采集氣體和視覺數據，并實時傳輸至上位機進行分析得出雞肉新鮮度等級。

圖1 裝置整體結構框圖

裝置為上、中、下3層結構，上層放置上位機Jetson Nano接收數據，Jetson Nano為小型、低功率軟硬一體開發板，支持定制圖像分類與物體檢測等模型的離線并行計算。中層為暗箱結構，內置攝像機、光源以及樣本室。下層為電子鼻系統，包括氣體傳輸模塊、檢測陣列以及NUCLEO-H7A3ZI控制板。裝置內置可充電鋰電池和可移動電源供電，便于替換與攜帶。裝置外圍尺寸(長×寬×高)為35 cm×30 cm×76 cm，整體結構如圖2所示。

圖2 裝置三維結構示意圖

1.2 硬件系統設計

1.2.1樣本室

設計了半封閉抽屜式樣本室，尺寸26.0 cm×13.5 cm×11.2 cm，結構如圖3所示。頂部材質為透明度91%的高透玻璃，以便箱體頂部相機可拍攝到清晰的雞肉圖像；其余部分采用黑色SLA(Stereolithography)樹脂3D打印，減少光影對成像的影響。進、出氣口采用棱臺型結構便于氣體流動，出氣口通過軟管連接氣泵泵吸雞肉散發的氣體。

圖3 樣本室結構圖

1.2.2電子鼻系統

電子鼻系統用來檢測不同新鮮度等級雞肉產生的氣體濃度，其整體框架和三維結構如圖4、5所示。主體采用SLA樹脂3D打印，長度32.4 cm，前圓柱直徑8.0 cm，后腔體直徑15.0 cm。外形為高度對稱圓管型，以增強氣體流動性，左側為出氣口，右側為進氣口，柱體內置有氣流量為15 L/min的ES-3910型氣泵吸取雞肉產生的氣體，通過軟管和樣本室相連接。軟管中有雙通道裝置，通過閥門控制分別連接新鮮空氣或樣本室。傳感器陣列為電子鼻的核心，其為高度對稱的環形結構，嵌有5個半導體傳感器，具體傳感器型號如表1[16]所示。半導體傳感器利用材料表面吸附及脫附氣體分子引起半導體電導率的變化來檢測氣體[17]，檢測精度受氣體分子流動穩定程度影響，因此在左側腔體內置有穩流板，以穩定氣流流速。傳感器陣列由NUCLEO-H7A3ZI控制，將電壓數據通過ADC轉換，利用藍牙傳輸至上位機[18]。

圖4 電子鼻框架圖

圖5 電子鼻三維結構圖

表1 傳感器列表

1.2.3視覺系統

視覺系統在裝置第2層暗箱內，結構如圖6所示。箱體內壁貼有黑色不透明的攝影布，以減少復雜背景的干擾。暗箱正面為門結構，可以通過把手便捷打開進行暗箱內部操作，關閉時內部形成封閉式整體，基本隔絕外界光源影響。選用12 W環形LED光源(外徑26 cm，內徑20 cm)安裝于箱體頂部，使樣本表面光照均勻。暗箱頂部置有600萬像素?？低昅V-CA060-10GC型攝像機，鏡頭采用MVL-HF1628M-6MP型工廠自動化鏡頭，并安裝與該鏡頭相適配的CPL偏振鏡以減少反射光對成像的影響。相機屬性設置為感光度640，曝光時間1/25 s，光圈F1.6。鏡頭底部和樣品之間的距離設定為40 cm，圖7為鏡頭焦距選擇圖。測試表明，在22.11 mm焦距下選擇40 cm物距可獲得清晰的圖像。內置有5 V鋰電池為攝像機供電。

圖6 暗箱結構圖

圖7 鏡頭焦距選擇示意圖

1.3 軟件設計

1.3.1傳感器數據傳輸

傳感器陣列傳輸模擬數據至NUCLEO-H7A3ZI控制板，通過ADC轉換為5個16位二進制數據，該數據轉換電壓公式為

(1)

式中V——氣體濃度電壓，V

D——二進制轉化成的十進制數據

r——分辨率

1.3.2采集分級交互界面

上位機配有交互設計界面，如圖8所示。上方左側窗口顯示拍攝圖像畫面以及選擇的待測圖像，右側窗口為感興趣區域(Region of interest，ROI)提取窗口，可顯示待測圖像提取的ROI，同時可進行濾波等預處理操作并顯示結果。下方左側窗口實時顯示氣體數據和曲線，中間窗口顯示對應擬合曲線數據以及擬合原始曲線。圖像和氣體均可選擇提取不同特征值進行單獨預測或融合預測，預測模型采用支持向量機分類器，最終結果于右下方顯示。

圖8 交互設計界面

2 裝置試驗

2.1 樣本室CFD仿真試驗

2.1.1網絡劃分

為驗證氣體流動可行性，根據三維建模結構對樣本室中氣體流通區域進行CFD仿真[19]。在ANSYS Fluent仿真軟件中進行建模和網絡劃分，并進行網絡獨立性驗證，最終確定邊界層調節設置是以氣室部分為邊界，最后網格數為216 582[20]。檢查質量總體大于0.3，滿足計算要求。

2.1.2模型構建以及邊界條件設置

采用Fluent軟件進行數值求解，選擇k-ε湍流模型[21]，壓力離散方式為Standard，壓力速度耦合迭代采用SIMPLE算法，迭代次數為800。

設置入口風速為20 m/s，在Fluent軟件中進行數值模擬計算，最終邊界條件設置如表2所示。

表2 邊界條件設置

2.2 雞肉檢測試驗

2.2.1試驗材料

試驗開始時間為2022年1月12日，在溫度26℃、相對濕度30%、空氣質量良好的實驗室環境內進行，電子鼻廢氣出氣口通往室外。雞肉樣本為市場采購的40份新鮮冷凍雞胸肉，切成100份平整、尺寸為10.0 cm×5.0 cm的雞胸肉片，放置于尺寸為17.0 cm×11.0 cm×7.0 cm的樣本盒中。放入2℃冷藏室內冷藏[22-23]，存儲圖如圖9所示。放置1、4、7 d(對應新鮮度等級分別為1、2、3)后進行數據采集，每次采集時間為200 min，其中每個樣本氣體采集頻率為每秒單個傳感器采集5組數據，采集時間為20 s，共100組數據。數據傳輸至上位機并進行分析及新鮮度檢測。

圖9 冷藏室雞胸肉存儲圖(部分)

2.2.2數據采集

(1)氣體數據采集

先打開傳感器預熱20 min，保證傳感器進入正常工作狀態。同時打開氣泵抽取新鮮空氣凈化腔體殘留氣體，等待顯示器顯示傳感器數值穩定后，記錄穩定數值。從冷藏室取出放置于樣本盒中的待測樣本，打開盒蓋將樣本盒置于樣本室內，關閉抽屜，控制閥門使得氣泵泵吸樣本室內氣體，觀察顯示數值，20 s后將樣本取出，控制閥門抽取新鮮空氣約40 s至傳感器數值穩定至初始值附近再取出下一份樣本進行試驗。

(2)圖像數據采集

打開內置光源和攝像機，調整攝像機參數至畫面高亮且清晰度高，將樣本放置于攝像機正下方，在獲取氣體數據的同時控制上位機拍攝雞肉圖像。

2.3 分類預測

2.3.1數據預處理

將采集到的氣體數據進行預處理獲得擬合曲線。單次檢測得到的氣體數據(電壓)如表3所示(以第3新鮮度等級雞肉樣本為例)，氣體數據擬合曲線如圖10所示。

圖10 氣體數據擬合曲線

表3 氣體數據

對雞肉圖像進行γ矯正后提取ROI圖像存儲至計算機。雞胸肉圖像以及提取的ROI圖像如 圖11 所示。

圖11 雞胸肉拍攝圖像和ROI圖像

2.3.2數據降維

提取圖像顏色特征6個(RGB和HSI)，紋理特征24個(從0°、45°、90°和135°分別提取對比度、逆差距、熵、自相關、矩陣平方和角二階矩)，共得到30維特征。5個氣體傳感器，各提取4個特征(最大響應值、峰值面積、最大一階導數和最大二階導數)，共得到20維特征。將圖像和氣味數據提供的特征進行級聯，構成50維的特征向量。由于氣體傳感器之間往往具有交叉敏感性，僅在變量層面上分析會忽略變量之間的潛在聯系。因此運用PCA(主成分分析)方法[24]進行特征降維，將原始數據變換為一組各維度線性無關的數據[25]。本文算法中PCA特征向量提取方法步驟如下：

設數據集為m個d維數據

X={x1,x2,…,xm}

(1)計算樣本均值的公式為

(2)

(2)計算樣本協方差矩陣公式為

(3)

(3)對協方差矩陣進行特征值分解，選取S的前t個最大特征值對應的特征向量構成新的特征矩陣U。

2.3.3新鮮度分級模型

經典分類算法有K近鄰(K-nearest neighbor，KNN)、樸素貝葉斯(Naive Bayes model，NBM)、隨機森林(Random forests，RF)以及支持向量機(Support vector machine，SVM)[26]等。KNN算法的基本原理是如果一個樣本在特征空間中的k個最近鄰樣本的大多數屬于某一個類別，則該樣本也屬于這個類別[27]。樸素貝葉斯算法以貝葉斯定理為基礎并假設特征條件之間相互獨立。隨機森林算法采用Bagging的集成學習思想，在決策樹的訓練過程中采用隨機特征選擇。SVM[28]是在統計學及最優化的基礎上構建學習機和實現分類，它的基本思想是在特征空間找最佳的分類超平面。SVM 主要用來研究兩分類問題，對于多分類問題，目前常用的構造方法有一對一方法和一對多方法，其中一對多方法是最早也是目前應用最廣泛的方法[29]。本文采用以上幾種分類器進行對比試驗。

3 試驗結果與分析

3.1 CFD仿真結果

對樣本室抽氣狀態進行模擬計算，選取樣本室中心水平方向Y=0.02 m截面，可反映空氣通過雞肉樣本流動狀況，選取樣本室中心豎直方向Z=0.02 m截面，能夠反映水平氣流整體流動狀況。在CFD-Post中對結果進行后處理，得到吸氣狀態下速度云圖和速度矢量圖，如圖12所示。

圖12 吸氣狀態下不同截面氣流速度場模擬結果

泵氣狀態下，左側連接新鮮空氣，右側連接氣泵，做到較為充分地傳輸雞胸肉散發的氣體至電子鼻中進行檢測。由圖12a、12b可以看出，由于放置了雞肉樣本導致空氣流通面積變小，通過雞胸肉部位的空氣流速變慢，且與底座之間存在間隙，間隙處幾乎無氣流，氣流速度降至15 m/s，對于氣體流通影響較小，氣體出口處區域流速相對穩定，分布相對均勻。由圖12c可以看出，在入口和出口處氣體流速達到20 m/s較高水平，且氣流相對穩定。

將氣流場仿真結果轉換成輸出流線圖，氣體流通區域內的氣流運行情況如圖13所示?？梢钥闯鲈跉怏w入口和出口同一高度的氣體流動相對平穩且速度達到20 m/s，整體流動狀態清晰，氨氣傳感器附近的氣流運行方向一致，便于精準檢測氣體濃度。

圖13 Y=0.02 m截面氣體流線圖

3.2 電子鼻循環系統測試結果

電子鼻內部設計了循環系統便于控制樣本采集的時間分配，在每次采集完單個雞肉樣本氣體數據后，抽取新鮮空氣清洗內部殘留氣體直至顯示數據接近于初始值且趨于穩定，則可以開始下一份樣本的檢測。測試選取30份樣本，將每份樣本放置于樣本室中，采集氣體數據20 s，單個傳感器每秒采集2組數據，取出樣本后抽取新鮮空氣約40 s，數據穩定在初始值附近時可測試下一份樣本。循環系統測試樣本氣體數據擬合曲線如圖14所示。

圖14 循環系統試驗氣體擬合曲線

3.3 有無高透玻璃結果對比

樣本室頂部為高透玻璃，便于拍攝圖像且可減少光線反射影響。透過高透玻璃拍攝的雞肉樣本圖像存在一定的顏色偏差，通過γ矯正后與去掉高透玻璃拍攝的圖像相差較小(圖15給出了兩者的對比，左側為未校正拍攝圖像，右側為矯正過后圖像)，分類結果偏差約為0.01%，在誤差范圍內。

圖15 無高透玻璃(左)和透過高透玻璃(右)拍攝的圖像

3.4 新鮮度分級預測結果

采用4種分類器對PCA降維后數據進行建模分析，100份樣本3個新鮮度等級，共獲取300份樣本數據，采用5折交叉驗證。對樣本平滑處理后剔除異常樣本，實際建模使用樣本數為238個，驗證樣本數為59個。試驗結果表明，SVM分類器預測準確率最高，為98.7%，而NBM、KNN和RF算法的準確率分別為98.3%、94.3%和93.6%。圖16給出了SVM算法的分類結果混淆矩陣圖，其中1、2、3分別表示3個新鮮度等級，TPR和FNR分別是真正率和假正率。該試驗證實裝置具有可行性。

圖16 SVM分類結果混淆矩陣圖

綜上最終裝置實物圖如圖17所示，上層為上位機Jetson Nano及LCD顯示器，中層為視覺檢測暗箱，下層放置電子鼻系統，可同時進行視覺與氣體檢測，整體裝置造價成本低、檢測準確度高且便于攜帶。

圖17 裝置實物圖

4 結論

(1)設計了一套電子鼻和視覺技術融合的一體化檢測裝置，包含樣本室結構、硬件設計和軟件設計，該裝置能夠同時檢測氣體濃度以及獲取圖像數據并實時顯示波動曲線及原始圖像。

(2)使用CFD技術對吸氣狀態下的樣本室內部氣體流動進行模擬，通過速度云圖、速度矢量圖以及氣體流線圖證明了樣本室內部可以獲得相對較大速率以及穩定的氣體流。

(3)基于該裝置進行試驗，提取圖像及氣體濃度信息特征，進行PCA降維后利用SVM建立新鮮度分級模型，準確率最高可達98.7%，證明裝置具有可行性。