釀酒高粱不完善粒檢測儀檢測模型的研究與檢驗

李小紅，褚毅宏，毛育志，尹冠軍，聶 葉，焦 富?

（1. 貴州茅臺酒股份有限公司，貴州 仁懷 564500；2. 邇言（上海）科技有限公司，上海 200000）

高粱是我國的主要雜糧作物之一，也是釀造白酒的最佳原料[1]。高粱籽粒質量的優劣直接關系著釀造白酒的品質。高粱的質量指標主要有容重、不完善粒、雜質、水分等[2]。目前在高粱質量參數不完善粒的檢測識別中基本采用人工檢測方法[3-4]，該方法存在重復性差、檢測速度慢、主觀因素強和耗時費力等缺點。不能滿足高粱不完善?？焖贉蚀_檢測的需求。儀器法代替人工感官檢測是糧食檢測行業發展的重點、難點和必然趨勢。

目前在糧食的不完善粒檢測方面自動識別方法有基于圖像特征的機器視覺技術[5-6]、基于高光譜的成像技術[7-8]、基于聲學原理的檢測技術[9]、近紅外光譜[10]等檢測方法。但基本應用于小麥、玉米、稻谷等糧食作物[5,11-12]，而高粱不完善粒的自動識別技術相關文獻報道極少。本文采用視覺成像系統收集各種類型高粱粒的成像，利用梯度圖求取高粱的所在區域的掩膜圖像，基于深度卷積神經網絡識別技術建立了高粱不完善粒（生霉、蟲蝕、發芽、破碎等不完善粒）的識別模型，該方法解決了高粱籽粒小帶來的成像識別問題，同時滿足了高粱中不完善粒的快速準確無損檢測，為白酒釀造企業原料質量監控提供了技術參考。

1 圖像采集技術

1.1 材料

高粱樣本若干；高粱完善粒與不完善粒的挑選由質檢員人工檢測，分別選出完善粒、霉變粒、蟲蝕粒、發芽粒、破損粒等樣本各100 g。

1.2 儀器與設備介紹

目前市場上的儀器采圖采用單面或者雙面拍照。這樣的采圖方式往往會漏拍部分含缺陷的籽粒，或者是缺陷拍出來表現的不夠完整；另外籽粒之間的堆疊也可能造成預處理分割時籽粒的不完整，基于這些考慮，本文采用了邇言（上海）科技有限公司的一種可以逐粒下料的4個面拍照采樣的糧食不完善率檢測儀。

設備采用360°分布的四個攝像頭對高粱顆粒逐粒拍照，攝像頭采用的是工業相機，光源采用面光源呈360°均勻分布于攝像頭中間。高粱顆粒經振動器逐粒呈自由落體方式落入圖像采集區域進行采集拍照。

設備整個硬件系統由放料模塊、振動下料模塊、控制模塊組件、圖像采集模塊、樣品收集模塊、稱重模塊組成。軟件部分包括人機交互界面接口、串口通信模塊、自動識別模塊、數據管理模塊等組成。串口通信模塊主要實現軟件上位機與控制部分板卡進行通信控制；圖像采集模塊以顆粒觸發光電傳感器的方式來觸發式的拍照采集；自動識別模塊將圖像采集模塊獲取的圖片進行識別；數據管理模塊對識別的結果進行存儲和展示。大致的系統流程圖如圖1所示。

圖1 設備系統流程圖Fig.1 Equipment system flow chart

1.3 圖像預處理

1.3.1 圖像采集

分別采集高粱中的完善粒、霉變粒、蟲蝕粒、發芽粒、破碎粒、擦皮粒等類型的樣品，分類進樣，通過視覺成像系統，逐粒檢測，360°圖像采集，實時采集各種不完善粒樣品信息，每粒高粱得到 4張圖像，收集各種類型的樣品照片共約168 543張。

1.3.2 目標圖像獲取

由于圖像采集系統采用的是工業相機，處于工業相機景深范圍外的大部分背景為黑色背景，這為圖片中高粱所在區域的提取提供了很大的方便，考慮到圖片背景等原因，本文采用梯度圖求取糧食所在區域的掩膜圖像。通過掩膜圖像對高粱圖像進行目標框的識別，利用目標框截取高粱圖像，然后通過填充（padding）和放縮（resize）的方法得到300*300像素的高粱圖片。

2 識別方法的研究

圖像識別是指利用計算機對圖像進行處理、分析和理解。圖像識別的主要流程分為四個步驟：圖像采集、圖像預處理、特征提取、圖像識別。圖像識別是以圖像的主要特征為基礎來進行識別，每個圖像都有它的特征，如字母A有個尖，P有個圈、而Y的中心有個銳角等。計算機視覺從傳統的低級特征提取到深度學習提取特征經歷了幾十年的發展?；谟嬎銠C視覺的發展歷程，本文分別從單一特征識別、基于機器學習多特征融合的圖像識別、基于深度學習的圖像識別、基于細粒度分類的圖像識別對高粱不完善粒的識別進行了研究。

2.1 單一特征識別

圖像最底層的特征包括顏色特征、形狀特征、紋理特征等，這些在所分析的對象不復雜的時候就可以滿足圖像識別的要求。比如高粱的破損，直觀上可以用長、寬、長寬比或白色像素面積去做篩選，但是針對糧食這種生物特征波動較大的對象，僅僅用這些基礎的特征去判斷破損還遠遠不夠。從高粱的實物來觀察，有很多體型較小的高粱顆粒的長寬比特征與破損顆粒的長寬比特征有差異，然而從所采樣的圖片中任取完善粒 100粒，破損粒100粒，對它們做長寬比的統計，統計如圖2所示。完善粒與破損粒的長寬比分布有很大的重疊，所以長寬比很難識別出完善與破損。同理，從紅纓子高粱的顆粒來看，也有很多長的比較白的高粱，僅用白色像素去做破損的判斷也欠妥，另外反光的影響也會導致顏色分析出現偏差。

圖2 長寬比分布Fig.2 Distribution of aspect ratio

2.2 基于機器學習多特征融合圖像識別

從上一節的示例中可以看出，單一的特征識別存在大量誤判的問題，不適用于這類應用場景。破損顆粒綜合了長、寬、長寬比、白色像素這些特征，甚至還表現出了邊緣的非凸性。通過分析高粱的不完善粒特征可以知道，高粱不完善粒的識別屬于多特征融合圖像識別的范疇?？梢越柚诟吡坏男螒B特征、顏色特征和紋理等特征對不完善粒情況進行綜合評價。本方法借助于以上三類特征進行主成分分析，通過特征參數的優選，最后建立 SVM 模型，實現對高粱不完善粒的分類[16]。該方法的訓練精度和測試精度見表1所示，由表中數據可以看出該方法的識別精度不高。

表1 算法訓練與驗證精度Table 1 Algorithm training and validation accuracy

2.3 基于深度學習的圖像識別

從 2.2節中可以看出，基于機器學習的多特征融合圖像識別技術相比于2.1節中的單一特征技術在圖像識別上能實現一定程度的高粱不完善粒分類。但是精度比較低。

基于深度學習的圖像識別技術雖然也是融合了圖像的多個特征進行識別，但是不同于基于機器學習的多特征融合技術需要人工提取圖像的特征，深度學習則通過不斷的學習擬合自動的去學習圖像的特征。卷積神經網絡（CNN）是一類包含卷積計算并且含有深層次結構的深度學習網絡[13]，在圖像分類和分割、目標檢測等方面的應用中表現出色[14]。CNN網絡模型主要包含卷積層、池化層、全連接層，其中常用的圖像分類卷積神經網絡模型有 Alexnet、VGGnet、inception net、Resnet、SeNet等。

高粱不完善粒的識別需要識別出高粱中的完善粒和不完善粒類別，這本質上屬于圖像分類的課題。但是高粱不完善粒的識別融合了粗粒度和細粒度分類的問題，同時還存在多標簽的問題（即某一粒高粱可能同時具備幾種不完善類別的標簽）。為了簡化建模的方法，本方法選用前文提到的常見的圖像分類卷積神經網絡來對高粱進行識別，為減少計算成本，本方法采用基于SeNet框架的Se-Resnet50[17]網絡進行識別研究。該方法的訓練精度和測試精度見表1所示，由表中數據可知該方法有比較高的識別精度。

2.4 基于細粒度分類的圖像識別

為滿足更精細化的圖像類別預測需求，模型不能只停留在宏觀尺度上進行粗略類別劃分，而是要進入更加微觀的尺度“洞察秋毫”。而這種微觀尺度的分類任務稱之為細粒度圖像分類。細粒度圖像分類是近年來CV領域的一個熱門研究方向。細粒度圖像的類別劃分更加細化，類別之間差異更加細微，只能借助于微小的局部差異才能對不同類別進行區分。近些年來針對細粒度分類問題，涌現出很多優秀的網絡，比如MG-CNN、Bilinear-CNN、ST-CNN、RA-CNN，WS-DAN，TASN等。本文采用TASN[18]網絡來做預測分析。該方法的訓練精度和測試精度見表1所示，由表中數據可知該方法較之前提到的方法精度都達到了最優。

3 結果與分析

由 2.1節的分析可以看出基于單一特征的圖像識別技術沒有很明顯的識別特征，后續將不再做該方法的驗證。

3.1 圖像處理

按照人工不完善粒檢測標準，分別采集高粱中的完善粒、霉變粒、蟲蝕粒、發芽粒、破碎粒等類型的樣品，分類進樣采集圖片。如圖3所示為高粱不完善粒、完善粒和雜質樣圖示例。

圖3 不完善粒、完善粒和雜質示例Fig.3 Example of imperfect granules,perfect granules and impurities

由經驗豐富的檢驗人員人工挑選各種類型的樣品照片共約168 543張，其中完善粒96 836張、擦皮粒4 183張、破損粒63 921張、蟲蝕粒252張、生霉粒521張、生芽粒2 280張，雜質550張。

3.2 實驗結果對比

從收集的圖片數量可看出，這是典型的長尾分布。訓練時用到一些常見的數據增強方法和均衡數據策略來訓練和調整參數。

3.2.1 驗證集精度

將所收集到的數據按 4∶1劃分訓練集和驗證集，分別對章節2中提到的SVM、Se-Resnet50、TASN做訓練分析。三種算法訓練和驗證的結果見表1。

3.2.2 準確性驗證

為了驗證算法在線實時檢測的準確性，在儀器中采集一個樣本的圖片后，分別用這些算法進行識別，結合數據庫中存儲的像素面積來折算儀器的不完善率。

具體實驗步驟如下：

1. 實驗選取了 12組實驗高粱樣品，根據GB/T 5494—2019《糧油檢驗 糧食、油料的雜質、不完善粒檢驗》，每組樣品凈重為 50 g，測試前18目過篩，篩除細小的碎粒和粉塵。

2. 利用本文所述儀器進行圖像采集拍照，得到每一粒高粱的4個方向的高清圖片。

3. 利用章節2中所述算法，計算不完善粒比率。

4. 利用儀器中數據庫存儲的每一粒的像素面積信息校準折算高粱各項的不完善率。

5. 人工檢測樣品計算不完善率。

6. 比較不完善率的差異，見表2。

表2 算法實驗數據表Table 2 Algorithm experiment data table %

根據GB/T 5494—2019《糧油檢驗 糧食、油料的雜質、不完善粒檢驗》中不完善率的檢驗方法，儀器基于自帶的自動分揀系統稱重計算高粱不完善率。從表中看出深度學習的檢測結果跟人工的值比較接近，與人工的平均誤差在 0.48%，滿足高粱不完善率檢測的偏差要求。

3.2.3 重復性驗證

從模型驗證精度和跟人工對比的人機差精度，最終選擇TASN網絡部署到設備上，部署采用Tensorrt加速的技術，最終儀器檢測時間控制在了5分鐘以內。為了驗證整機的重復性，根據LS/T 6402—2017《糧油檢驗 設備和方法標準適用性驗證及結果評價一般原則》對37份樣品進行n=6次重復檢測，該模型檢測的不完善率相對標準偏差（RSD%）為 0.0%～1%，平均 0.46%，重復性小于0.5%。

4 結論

本研究從釀酒企業的需求出發，以高粱不完善粒檢測作為課題，選用了邇言（上海）科技有限公司的一款基于逐粒 360°拍照采圖的糧食不完善率檢測儀。在圖像識別上，分別采用單一特征、機器學習、粗粒度圖像分類、細粒度圖像分類的技術進行了研究，開發了基于視覺成像系統與深度卷積神經網絡模型的高粱不完善率快速檢測儀。該儀器能夠對高粱不完善粒（霉變粒、蟲蝕粒、發芽粒、破損粒、擦皮粒）進行快速的無損識別，相比于傳統人工檢測方法極大地提高了高粱不完善粒的檢測效率。另外，該方法同樣適用于其他糧食的檢測，為其他糧種檢測儀器的開發提供方法和參考。