機器視覺技術在大米品質檢測中的研究進展

張晉寧，金 毅，尹 君

(國家糧食和物資儲備局科學研究院，北京 100037)

民以食為天，《中國的糧食安全》白皮書中提到“民為國基，谷為民命”[1]。我國超過2/3的人口以大米作為主食，水稻消費量占口糧消費總量的6成以上[2]。隨著社會的不斷發展以及人均收入的逐年提高，人們越來越追求高品質生活，對優質大米的需求也在逐年增加，因此快速、準確分選出高品質大米的需求也日益高漲。

隨著信息技術的發展，機器視覺技術目前已成為農業生產中的一項熱門技術，廣泛應用于農產品的外形、性狀、顏色、破損度、新鮮度等質量品質的檢測[3]，其主要研究目的是為了提升農業生產中各個檢測環節的檢測精度[4]。因此，機器視覺技術也越來越多滲透進農業領域。在農業生產工作中采用先進的機器視覺技術能夠在相同的工況下，顯著提高農業生產的工作效率和檢測精度[5]。因此將大米品質檢測與機器視覺技術相結合，可以更全面、快速、客觀地認識大米品質，助力我國“優質糧食工程”的建設。

本文對國內外學者利用機器視覺技術在大米加工品質和外觀品質的研究現狀進行了梳理，介紹了機器視覺技術在大米加工品質以及外觀品質檢測方面的最新研究進展，并展望了機器視覺技術在大米品質檢測領域的發展前景。

1 機器視覺技術

機器視覺技術是人工智能發展的一個重要領域。通常情況下，視覺系統包含硬件與軟件兩部分，其工作過程可分為圖像采集、圖像分析與控制以及輸出3個部分。首先，工業相機在恰當照明系統的輔助作用下采集目標圖像，將三維目標物體轉換為二維圖像信息；然后，由圖像處理與分析系統對圖像進行特征量分析并輸出結果；最后，根據輸出信號決定控制單元動作[6]。

通俗地講，機器視覺技術就是利用機器模擬人眼功能的一種信息技術手段，利用機器代替人眼來做檢測和控制。獲取圖像后，利用圖像處理技術提取圖像中的有效信息，并將其轉換為數字信息，使其具有更直觀的表現力。與傳統手工檢測方法相比，機器視覺技術可以自動準確地完成檢測任務[7]。目前已經廣泛地應用于工業[8]、航空航天[9，10]、軍事[11]、農業[12，13]等領域，在國民經濟中發揮著越來越大的作用[14]。

1.1 國外機器視覺技術的發展

機器視覺技術在國外主要經歷了誕生、探索和發展三個階段。誕生階段(20世紀初期)：機器視覺技術早期發展于歐美和日本等發達國家，涉及視頻處理、機電一體化等相關技術[15]；探索階段(20世紀50～80年代)：機器視覺在這個階段經歷了從缺陷檢測、圖像解析、字符識別的二維圖像識別研究到空間關系描述、立體視覺理解的三維模型構建，并且由David Marr創立了視覺信息處理理論，奠定了機器視覺和模式化的基礎[16]；發展階段(20世紀末至今)：機器視覺技術在此階段開始蓬勃發展，實現了從淺層學習到深層學習的跨越。Hinton建立的多隱層人工神經網絡具有的特征學習能力，并克服了訓練難度[17]。在Krizhevshy等[18]提出AlexNet模型后，深度學習算法的性能在圖像識別領域已經完全碾壓了傳統機器學習算法[19]。自AlexNet之后，研究者從不同網絡結構出發，陸續提出了各種性能越來越好的神經網絡模型。隨著深度學習概念的提出，機器可以通過訓練，自主建立識別邏輯，圖像識別準確率大幅提升，神經網絡正式進入飛速發展階段，機器視覺的發展也進入新階段[20]。

1.2 我國機器視覺技術的發展

我國機器視覺技術研究起步于20世紀80年代，研究主要集中在識別、檢測、測量、定位等領域[21]。在現代工業設備制造中，通過有損圖像視頻處理和無損視覺圖像檢測2種技術，可以輕松實現對工業產品的二次無損視覺檢測，提升視覺檢測產品質量和生產效率。為規?；a能力和質量提供堅實、可靠的技術保障[22，23]。在軍事領域衛星遙感系統中，通過運用機器視覺技術分析各種遙感圖像，進行自動制圖、衛星圖像與地形圖校準、自動測繪地圖；通過分析地形、地貌的圖像及圖形特征，實現對地面目標的自動識別、理解和分類等，進一步夯實了我國軍事綜合能力和國家安全防衛能力[24，25]。在航空航天領域，機器視覺技術應用于飛行器件的檢測和維修、跑道識別、空中加油識別定位以及目標確認引導等[26]。由此可見，機器視覺技術在各個領域都發揮著舉足輕重的作用。

2 機器視覺技術在大米品質檢測中的應用

近年來隨著科技的不斷進步，機器視覺技術在大米品質檢測領域中已然成為研究熱點。大米品質的研究方法與信息技術也愈發緊密，研究重點逐步向計算機算法轉移[27]。

大米品質主要包括加工品質、外觀品質、營養品質和蒸煮食味品質等[28]。國內外學者利用機器視覺技術對大米品質檢測主要集中在加工品質及外觀品質2個方面，具體品質指標如表1所示。

表1 基于機器視覺的大米品質檢測指標

2.1 提升大米加工精度

隨著經濟與社會的發展和居民生活水平的不斷提高，消費者對大米口感和外觀品質的要求越來越高，“亮、白、精”的大米成為備受市場青睞的消費主流。許多糧食加工企業對大米進行過度加工，不僅造成大米營養成分的過度流失，還造成了糧食的大量浪費。因此近年來我國提出了大米適度加工，并修訂了GB/T 1354—2018《大米》[29]，標準中要求大米的加工精度由原來的“一、二、三、四”等級變成了“精碾”和“適碾”。大米加工精度的高低不僅影響大米營養成分，也會對其活性成分和食用品質等產生影響[30]。因此，精準檢測大米加工精度尤為重要，目前檢測方法主要包括直接觀測對照法和染色法[31]。這2種方法主觀性強，準確率低，受人為因素影響大。

近年來，研究學者將機器視覺技術應用到對大米加工精度檢測中。崔雯雯等[32]設計了大米的計算機視覺檢測系統對大米圖像進行采集，利用Fisher判別法和PNN神經網絡兩種方法通過提取圖像的紋理特征值對4種不同加工等級的大米等級進行檢測。實驗結果表明Fisher判別法準確率為96.25%，比PNN神經網絡準確率高6.25%，利用機器視覺技術對大米加工精度檢測達到了較高準確率。萬鵬等[33]通過圖像處理技術提取了大米表面的R、G、B顏色值，并根據R、G、B顏色值計算H值作為大米籽粒的顏色特征值，構建BP神經網絡對大米加工精度進行評價，準確率為92.17%。戚超等[34]對VGG16卷積神經網絡進行了改進，首先使用圖像增強技術確保數據在類之間均勻分布，可提取出更有效的特征。然后利用平衡數據集上的超列技術，使圖像特征更加突出。最后采用極限學習機分類器算法提升大米現實加工問題的泛化性能。采集4個等級的大米圖像信息作為模型輸入變量進行模型訓練，改進后的模型分級準確率達到97.32%，對大米加工精度的分級預測速度高于85 t/h，也為后續研制大米加工精度分類在線分級系統提供了理論支持。機器視覺技術在對大米加工精度檢測中不僅檢測速度提高而且檢測結果客觀準確。

近年來基于神經網絡的機器視覺有重大發展，相對傳統特征分類算法有更好的表現。隨著對神經網絡研究的不斷深入，研究學者也將不斷優化改進的神經網絡模型應用到對大米加工精度的檢測中。由開始的PNN神經網絡模型、BP神經網絡模型，再到改進的VGG16卷積神經網絡模型，通過對網絡結構、網絡深度的不斷優化，不僅識別精度提高，同時免去了復雜的人工提取特征值這一步驟。神經網絡依舊在不斷的發展創新，還有許多可以改進的地方。由于神經網絡參數量龐大，對計算能力的要求高，對于如何選擇合適的超參數，提高模型運算速度，建立更精準的模型，還需要大量的技術和經驗，值得更深入的研究。

2.2 大米外觀品質

2.2.1 大米粒型

大米粒型是大米外觀品質評價指標之一，同時也是影響消費者購買大米最直觀因素之一。常規的大米粒型檢測采用人工測量，隨機選取完整無損的大米試樣2份，每份10粒，將大米按照頭對頭、尾對尾、不重疊、不留隙的方式，緊靠直尺擺成一行，讀出總長取平均值為大米的長度[35]。該方法耗時長、誤差較大、操作不便，無法達到快速檢測的目的，準確率也難以保障。

唐文強等[36]通過掃描儀對大米圖像進行采集，利用MATLAB軟件對大米圖像進行處理，進而對米粒粒型形狀進行識別。結果表明，用周長L=70(像素)為閾值能夠將短粒型米粒與長粒型完全識別，但中粒型米粒與其他2種粒型還未能完全識別，后續如果采用多域值識別，也可能達到對各種粒型米粒完全識別的效果。通過人為對閾值進行選取在一定程度上影響了檢測結果的準確性，因此需要通過大量樣品校驗從而找到最佳閾值保證檢測精度。商林[37]利用圖像邊緣檢測技術分析大米粒型，采用自適應Canny算法檢測獲得大米的邊緣，通過最小外接矩形反映完整大米的長度和寬度，計算得到長寬比。邊緣檢測獲得的大米粒長和粒寬變異系數越小，長寬比也更接近于標準值，具有良好的穩定性和準確性。

目前，對大米粒型的判定均為基于傳統的機器視覺方法，例如閾值的設定、圖像處理算法的選擇，其中閾值主要依靠于經驗設定，造成檢測結果存在一定的誤差。同時，傳統的機器視覺方法對外部背景條件較為敏感，在閾值選擇時，會受到光照等因素干擾，影響識別精度。未來可增加算法普適性的研究，提高算法的魯棒性，獲得更高的檢測精度。

2.2.2 大米堊白度

堊白度是指大米中堊白部位的面積占米粒投影面積的百分比，是衡量大米外觀品質的重要指標之一[38]，也是優質大米定級指標之一[29]。在消費市場中堊白度越高，大米的市場可接受度就越低[39]。因此，堊白度的快速檢測在大米定等和市場受歡迎度方面具有重要意義。

Sethy等[40]利用圖像處理技術對采集的大米樣品圖像進行預處理，再采用K-means聚類法分離大米的堊白部分(如圖1所示)算得堊白面積，與計算的二值圖像中大米的總粒面積做比得到大米的堊白度。Wah[41]利用圖像處理技術對大米堊白度進行檢測分析，對4種不同品種的大米建立基于面積的分布函數實現對堊白度的檢測，結果表明檢測準確率達到90%。申聰等[42]在獲取大米圖像后，利用邊緣檢測得到大米圖像邊緣線條，并對米粒和堊白區的邊緣曲線進行分段處理，建立分段函數，求出米粒和堊白區域面積，得到米粒堊白度。此方法無需考慮大米粘連性問題，只需考慮大米堆積問題，提高了大米堊白度的檢測精度。

圖1 大米堊白分割效果圖[40]

余泓慧[43]對采集到的大米外觀圖像和數據進行預處理，采用MATLAB軟件對圖像進行精度處理，利用邊緣檢測對堊白米的邊界進行分離，得到堊白米的輪廓，從而計算出大米堊白的比率。此方法需要人為不斷調整邊界值及算法以獲得最佳的分離效果。張玲等[44]采用實驗室自制開發的一種大米外觀品質分析系統結合圖像處理技術對大米堊白米進行測定，通過選取最佳閾值法檢測堊白度，結果表明堊白度絕對誤差不超過0.25%。

傳統的基于閾值分割法為了確定最佳閾值，一方面需要大量的實驗對閾值進行調整修正，另一方面會受到光照等外部因素的干擾而影響閾值的選取，極大影響了識別精度。陳昊然等[45]提出了一種基于圖像顯著性區域提取的堊白區域提取算法，利用大米堊白區域圖像顯著性的特點，對圖像特征變化邊緣進行提取，計算出邊緣像素點個數以及邊緣的總像素值，從而計算出邊緣像素的平均值作為該區域的閾值。最后，利用計算得到的閾值對該區域進行分割，分割出整張圖片的堊白區域，并計算出大米的堊白度。實驗結果表明，該算法識別準確率高達96.76%。相較于閾值分割法受到外在環境等一些不可避免因素的干擾，該算法具有更好的準確性和魯棒性。

王正[46]通過迭代式閾值算法得到最優閾值，來分割大米的灰度圖像，從而得到大米堊白部分的位置和面積大小該方法能夠有效區分出堊白部位。迭代式閾值算法是利用迭代思想產生閾值的方法，兼顧區域分割，所以該方法更具有普適性、靈活性，大幅提高檢測的準確度。

近年來，隨著卷積神經網絡在圖像分類領域的良好發展，研究學者也將其應用到對大米堊白的檢測當中。林萍等[47]通過構建卷積神經網絡模型檢測堊白大米，免去了復雜的特征提取步驟，識別精度達到了90%。鄧楊等[48]提出了輕量級語義分割網絡IMUN，實現對大米上的堊白區域的像素級分割，進而獲取大米的堊白粒率和堊白度，準確率達到94.11%。

神經網絡的應用解決了閾值分割法等傳統方法無法解決的問題，避免了客觀環境因素的影響，免去了人工提取大米堊白特征區域的步驟，在簡化實驗操作的同時提高了檢測的精準度，成為大米堊白檢測方法的趨勢。

2.2.3 黃粒米

黃粒米是指稻米脫殼后胚乳呈黃色，與正常米粒色澤明顯不同的米粒，黃粒米的存在直接影響大米的食用品質和商品外觀。國家標準GB/T 1354—2018《大米》中規定，黃粒米的質量分數不能超過1.0%。黃粒米同正常米粒相比營養成分降低，其對大米的色、香、味均有影響[49]，因此對黃粒米的檢驗尤為重要。

郭亦凡[50]將采集到的大米圖像轉換成HSI模型，通過黃粒米與正常大米在色調統計中黃色色度出現頻率明顯不同的特征來設定閾值并與目標比較，從而識別黃粒并計算出黃粒率，該方法與人工檢測結果對比準確率達96.5%以上。此模型默認黃粒米與正常大米的色度分布均存在差異，但當大米的品種發生改變時，該特征也會改變，因此算法的有效性還需進一步進行驗證與優化。劉良江等[51]將采集到的大米圖像轉換為Lab顏色模型從而提取色度特征，并將色度特征采用直方圖進行統計。采用主分量分析法將色度統計信息由256維向量降低到10維向量，以這10維向量為輸入，用支持向量機進行分類。最后經過訓練得到最優分類函數，針對黃粒米的分類正確率達到98.5%。此算法有很好的穩定性和可重復性。

2.2.4 粘連大米分割

由于大米的品質指標檢測主要是在實驗室環境中完成，考慮到在實際檢測中大米之間通常存在粘連現象，因此研究學者對粘連大米進行了分割，在滿足了實際檢測需要的同時也保證了大米外觀品質指標檢測結果的合理性與準確性。

Lin等[52]提出了一種基于輪廓形狀特性的節點匹配算法，實現了對粘連米粒的分離。利用曲率分析來檢測邊界上的特征接觸點，取曲率曲線的一階導數來求其局部峰值，計算出的曲率極值對應于原始曲線上的接觸節點邊界。但這種簡單的場景與驗粒的實際應用相去甚遠，限制了米粒樣品的擺放方式，即在成像時要求所有的米粒都要平鋪放在一層。因此，在未來的研究中，應考慮更大規模的多層次觸摸條件，提供一個更加實用和強大的分割算法。樊蒙蒙等[53]對采集的圖像進行PCNN圖像分割，對提取分割后的粘連大米輪廓進行高斯平滑，再進行harris角點檢測，識別準確的凹點，從而實現對粘連堆疊的大米準確識別。該方法針對情況復雜、多顆粘連大米，無法高精度識別出凹點，也會誤檢出偽角點。因此對于如何優化PCNN的參數，以及如何精確識別凹點，還需要進一步研究。

王粵等[54]根據粘連米粒的內輪廓及外輪廓線上的粘連點的特征，計算各粘連點之間的距離及曲率方向，準確地判斷出互相配對的最佳粘連點對，實現了粘連米粒的精確分割。本算法不采用迭代算法，降低了搜索復雜度，與目前已提出的其他分割算法相比有快速、精確度高等特點。布芳[55]提出了一種針對小目標檢測的加強融合低層特征信息的網絡結構ELFSSD，通過在自行構建的大米質量檢測數據集上進行驗證，該網絡模型的平均精度為91.2%，其提出的平角差凹點分割算法對于粘連大米的分割正確率能達到97%，實現了很好的分割效果，有助于在實際環境中大米的快速檢測。

2.2.5 大米外觀品質綜合分級

相較于單一指標的檢測，對大米外觀品質綜合分級檢測更為滿足市場需求，它是大米品質和市場價格確定的重要指標之一[56]。因此，大米外觀品質綜合分級的研究具有重要的研究意義，國內外學者利用機器視覺技術對大米外觀品質綜合分級檢測進行了大量研究。

Zareiforoush等[57]以模糊推理系統與圖像處理技術相結合，開發出一套決策支持系統，用于精米的定性分級。以碾磨度(DOM)和碎粒率(PBK)為質量指標，由大米加工專家初步劃分為5個等級，所開發系統分級結果與專家確定的分級結果符合率為89.8%。Mittal等[56]利用圖像處理提取大米圖像的幾何特征，將特征集輸入支持向量機進行多類分類。實驗結果表明，所選的幾何特征特征具有區分性，可將顆粒樣品分類為不同類別。根據所含破碎粒的比例，對樣品進行了碾磨缺陷分級，從而對大米質量進行了綜合分級。支持向量機(SVM)法需要人為對SVM進行選核，設定容錯等參數，且參數值的設定對結果有很大的影響，過程較為復雜，誤差較大。

同時，隨著神經網絡的興起，研究學者也將神經網絡應用到對大米的分級檢測中。王石[58]采用基于BP神經網絡的方法對大米外觀品質進行檢測，包括對完善粒、堊白粒、黃粒米及碎米粒品質的劃分。訓練完成后的BP神經網絡準確率達到91.8%。同時研究了基于卷積神經網路的大米外觀品質檢測方法，將網絡移動到手機端后平均檢測精度為85%，為開發手機版App奠定了基礎。

馬麗霞[59]、仲偉峰等[60]通過圖像分析與算法提取大米特征數據，使用主成分分析法結合BP神經網絡對大米米粒進行了分級識別。實驗結果表明，該方法可以快速、準確的識別大米中的完整米、堊白米以及碎米，從而根據確定的堊白粒率和碎米率自動確定大米的等級。對大米識別的準確度達到95%以上并且有效的減少識別所需時間。

由此可見，大部分研究都是通過單視角完成大米圖像的采集，會導致大米部分特征的丟失，造成檢測結果的不準確。陳玉琦[61]在前人研究基礎上，考慮用一種基于多視角學習的深度模型融合策略，利用圖像采集設備通過3個角度對大米完成全方位的信息采集，形成多視角的觀測信息，利用卷積神經網絡(CNN)模型提取特征，基于融合特征利用二分類器區分目標大米中的好米與壞米，以完成大米分級任務。該研究方法擺脫了圖像數據的局限性，對大米圖像進行了全方位的分析，同時對于實際應用中的光照變化具備較強的魯棒性。

雖然強大的神經網絡免去了圖像處理過程中人工提取特征的過程，但是在神經網絡隱含層結點的選擇過程中還依靠經驗公式，包括模型激勵函數、損失函數以及優化算法的確定，因此使系統性能具有一定的不確定性。另外，未來的研究中，減少網絡參數量，降低計算成本，減輕網絡的復雜度也是神經網絡模型進一步研究方向。

3 機器視覺技術在大米品質檢測中存在問題

如今機器視覺技術在大米品質檢測領域已經得到了廣泛的應用，取代了人眼感官對大米的加工精度及外觀品質的評測，基本達到了快速、高效以及高精度檢測的目的，但仍存在一些不足：在對大米外觀品質進行檢測時，大部分研究還是基于傳統的目標檢測和分割算法，特征的提取和規則的制定均依賴于人工和經驗，且不同的算法有各自的特質和適用范疇，不能被廣泛應用；大米品質的檢測基本處于對外觀品質的檢測階段，未實現大米外觀品質和理化品質指標綜合檢測；利用計算機視覺技術進行圖像采集多數研究是在保證高質量圖像的理想實驗條件下進行，進而完成對大米品質指標的檢測，無法滿足現場實際需求，評價具有局限性；雖然市場上已經有大米外觀品質判定儀器設備，但是其價格昂貴、操作復雜、便攜性不高，使用環境有限，未能實現從實驗室抽樣檢測到在線檢測的技術突破，研究均處于相同水平重復階段。

4 展望

在大米品質檢測領域，機器視覺技術還有很大的發展空間。隨著計算機技術的不斷突破，如卷積神經網絡的出現，可完成特征的自動提取，在很大程度上彌補了傳統算法的不足，算法的準確率和實時性都有了很大程度的提高。

未來可以在幾個方面進行深入研究：將機器視覺技術與其他無損檢測技術相結合，例如近紅外光譜分析技術、電子鼻技術等，從而更精準、更全面地實現大米品質綜合指標的檢測；消減環境因素對大米品質的特征指標提取的干擾影響，以實現現場作業不同環境的需求；研發簡易、低成本的大米分析軟件也是發展的必然趨勢，如開發手機版的大米外觀品質檢測APP；基于對優質大米需求的不斷增長，對其自動準確快速評級也是下一步研究方向。另外按照大米品質等級供給到不同的消費市場，滿足不同消費者的不同需求，有助于我國大米進入不同類型的國際大米市場，提高我國大米市場的國際競爭力；實現從實驗室的抽樣檢測到在線檢測的技術突破。

5 小結

機器視覺技術在大米品質檢測中相較于傳統檢測方法有著不可比擬的優勢，可以排除人為主觀因素的干擾，能夠對指標進行定量描述，檢測過程不僅實時高效而且檢測精度高，在大米品質檢測領域發揮了良好的作用。但是由于受到圖像采集、圖像處理軟硬件技術等一系列的限制，目前的檢測系統還處于實驗階段，暫時未能滿足實際生產需要，未能實現從抽樣檢測到在線檢測的突破，還處于相同水平重復階段，因此有許多技術難點還需進一步深入研究。如增加檢測模型算法的普適性，使檢測系統廣泛應用于不同品種的大米品質指標檢測，利用多融合技術實現對大米品質的全面檢測，同時提高檢測結果的準確性、客觀性等都是未來實現大米品質全方位可在線檢測的研究重點。