基于機器視覺與光譜融合的柑橘品質無損檢測分級系統設計與試驗

文 韜, 代興勇, 李 浪, 劉 豪

(中南林業科技大學 機電工程學院, 湖南 長沙 410004)

柑橘的產后分級對于其銷售價值的提升、消費者需求的滿足起著重要作用,基于人們的選擇需求,柑橘的大小、表面色澤和內部糖度是其品質等級劃分的決定性指標[1].但市場上現有的柑橘無損檢測分選設備功能都較為單一,或對柑橘進行單一外觀品質如大小、外部缺陷的檢測,或進行單一內部品質如可溶性固形物、內部缺陷的檢測,亦或是不具備檢測與分選雙重功能,而且成套設備結構復雜,價格昂貴,對于中小型果農來說并不適用[2-3].

對于水果品質的在線無損檢測分級研究,國內學者取得了不少進展,但多是針對單個品質的檢測與分級,而對內外品質同時檢測進行分級的并不多.向陽等[4]設計了帶有柔性翻面機構的芒果在線檢測系統,通過相機獲取芒果正反面表皮信息,利用卷積神經網絡模型實現了對芒果成熟度的分級,分級準確率達96.72%.趙娟等[5]設計了單個相機配合兩個平面鏡的方式來獲取不同角度的蘋果圖像,一個工位下蘋果可采集3張圖像,蘋果缺陷的檢測正確率達到了92.5%.對于基于近紅外光譜的水果內部品質在線檢測,郭志明等[6]開發了蘋果品質在線檢測系統,通過對比遺傳算法、連續投影算法等建立的模型效果,確定了蟻群算法建立的預測模型效果最優,預測集相關系數為0.935 8,預測集均方根誤差為0.261 9%.劉燕德等[7]采用近紅外光譜漫反射技術在線檢測臍橙的可溶性固形物含量,通過比較不同的光譜預處理、建模方法,得出經過卷積平滑(S-G)處理的偏最小二乘回歸(PLSR)模型預測效果最好,其預測相關系數為0.90,預測均方根誤差為0.61%.為了提高水果單個品質檢測的準確性,上述研究多采用復雜機械結構去獲取圖像光譜信息,或采用復雜模型算法進行計算檢測,處理實施較為繁瑣.

為了解決現有在線檢測分級設備存在的檢測指標單一、適用性差、結構復雜等問題,本研究基于雙錐滾子式果杯傳輸系統,設計了一套柑橘綜合品質無損檢測與分級成套設備,可實現柑橘大小、表面著色率和內部糖度指標的快速無損檢測,并綜合內外部品質進行評定分級.該設備整機結構簡單,對于類球形水果的適用性強,自動化程度高,適用于中小型農戶企業使用.

1 檢測分級系統硬件設計

1.1 整體結構及系統工作流程

文中設計的柑橘內外品質聯合檢測分級系統主要由喂料部分、雙錐輥子式果杯鏈式輸送線、機器視覺外部品質檢測模塊、近紅外光譜內部品質檢測模塊、分級執行部分和控制系統組成,其中喂料部分由提升機構、排序機構、回收機構組成;分級執行部分由若干個分級撥桿和果箱組成;控制系統包括計算機、PLC、繼電器、光電傳感器等.該套設備的結構示意圖如圖1所示.

整機工作流程如圖2所示,系統工作時,開啟所有輸送電動機和檢測模塊,柑橘從提升機底部由人工上果,提升落入至排序機內,經排序機規整排列后逐個滾入到循環輸送鏈的果杯上勻速向前輸送,在檢測輸送線上從果杯上跌落的柑橘將由回收機構的傳送帶帶回至排序機構重新回到檢測隊列.

圖1 柑橘綜合品質在線檢測分級系統

圖2 柑橘綜合品質在線檢測分級系統工作流程圖

柑橘進入到外部品質檢測模塊時,檢測相機不斷地采拍圖像采集區域內的柑橘圖像,上位機軟件處理圖像計算出每個柑橘的果徑和表面著色率.通過外部品質檢測模塊后,柑橘繼續向前進入到內部品質檢測模塊中,當到達光譜采集位置時,外部觸發器觸發采集柑橘的近紅外光譜并帶入到上位機軟件的糖度預測模型中計算出柑橘的內部糖度信息.此時,柑橘的內外部品質信息檢測完成,上位機根據計算出的內外部品質信息立即對其進行等級評分并將等級信息發送給下位機PLC,當柑橘繼續輸送到分級部分對應的等級出口時,下位機控制分級撥桿擊打果杯一側,使其側翻,柑橘便落入到其對應的等級果箱內,完成分選.分級撥桿為電磁式杠桿,通過控制對應電磁鐵的通電吸合時間便可完成不同分選速度下的精準分級動作,如圖3所示.

圖3 分級動作示意圖

1.2 機器視覺外部品質檢測模塊設計

為了能更便捷有效地完成對柑橘的全表面信息提取,實現果徑大小和著色率的檢測,本研究采用單個相機配合果杯翻滾機構以視頻流的形式來獲取大量不同姿態下的柑橘圖像.

外部品質檢測模塊主要由CCD彩色相機、補光燈、翻滾機構、可調支架以及箱體組成,如圖4所示.彩色相機布置在整個箱體頂部正對果杯輸送線進行拍攝,型號MV-GE134GC-T.為了使拍攝到的柑橘圖像亮度盡量均勻且無亮斑,降低圖像顏色受到的影響[8],在果杯輸送線兩側及箱體進出口共布置4只無頻閃LED條形燈向箱體上方照射,補光燈位置亮度可調,通過箱體內壁的漫反射光線來照亮柑橘.底部翻滾機構的電動機控制皮帶和果杯輸送線的差速,皮帶摩擦果杯的雙錐滾子使其旋轉,則柑橘在果杯輸送線上往前輸送的同時不斷完成自轉.通過相機對6個果杯區域內拍攝的視頻便能采集到大量不同姿態的柑橘圖像.經試驗,在相機幀率設置為60幀/s,檢測速度為3個/s時,視頻流形式采集單個柑橘的圖像最低可達100幀;速度為6個/s時,最低可達50幀,是文獻[5]中觸發采拍形式獲取圖像數量的6倍,極大提升了柑橘表面信息的獲取度.

圖4 外部品質檢測模塊結構示意圖

近紅外內部品質檢測模塊用于檢測柑橘的可溶性固形物含量,對于厚皮水果,透射光譜能更全面地獲取柑橘的內部信息[9],檢測裝置布置為側面照射,另一側接收的全透射式光譜采集形式,結構示意圖如圖5所示,整體由鹵素燈、照射燈筒、平面鏡、凸透鏡、直角準直鏡、光譜儀和觸發器等組成.為了能在近紅外光譜波段獲取更多透射光譜信息,光源選用鍍金屬膜的低壓大功率鹵素燈,型號JCR12V-100W[10-11].鹵素燈發出的光線經燈筒底部平面鏡反射至凸透鏡聚焦并準直,直射透過柑橘,透射過的光線被直角準直鏡接收,通過光纖傳到微型光譜儀,光譜儀型號Ocean Optics FLAME-S,響應波長范圍為350～1 050 nm,分辨率為1.5 nm.當光電傳感器2每檢測到一次果杯到位信息后,下位機便接通一次觸發器,觸發光譜儀完成一次光譜采集.光譜采集硬件均布置在暗箱內,以遮擋外界環境光.

圖5 內部品質檢測模塊結構示意圖

2 控制系統設計

2.1 檢測分級控制系統

在線檢測分級的控制系統主要由計算機、FX3U PLC、工業相機、光譜儀、繼電器模塊以及光電傳感器等組成,主要實現柑橘圖像和光譜信息的獲取、品質等級信息計算和對電動機、分級撥桿等執行器件進行控制3部分功能.控制系統構成如圖6所示,計算機與PLC通過TCP/IP協議通訊,作為上位機控制各電動機的啟停與調速,獲取處理圖像和光譜信息等.

圖6 控制系統構成圖

為了完成柑橘的位置同步跟蹤與內外品質聯合分級,設置了雙光電傳感器,其中光電傳感器2用于檢測果杯的位置數量,光電傳感器1用于檢測柑橘在果杯輸送鏈上的位置.計算機根據PLC獲取的雙光電信號或單光電信號來添加創建有無柑橘的果杯信息隊列,將相機采拍的柑橘圖像提取計算后得到的外部品質匹配到信息隊列中該柑橘對應的果杯位置上.由于視覺模塊與光譜模塊之間果杯間隔數不變,柑橘經過光譜模塊光路采集后,計算機將計算得到的內部糖度信息直接追加到信息隊列該柑橘對應的果杯上.計算機根據內外部品質綜合評判等級,并將該果杯的等級信息發送給PLC,PLC將該果杯的打果信號跟隨光電傳感器2的信號不斷進行寄存器移位,打果信號更新移位至對應分級口位置時,接通分級撥桿動作完成分選.

該檢測分級系統使用自主開發的人機交互軟件,主要完成對相機和光譜儀的參數設置,處理計算柑橘圖像信息和光譜信息、評判等級信息以及在線檢測分級的實況記錄等,其主界面如圖7所示.

圖7 在線檢測分級軟件主界面圖

2.2 機器視覺模塊檢測算法

上位機軟件獲取到相機采拍視頻的每一幀圖像后,為了能更便捷地對柑橘圖像的色澤特征進行提取,首先將采集到的圖像從RGB顏色模型(見圖8a)轉換至HSV顏色模型,隨后對轉化后的HSV空間圖像進行二值化處理(見圖8b).為了消除二值圖像中存在的小區域噪聲[12],根據設定的噪聲閾值將圖像中小于閾值的連通區域刪除,從而把圖像背景區域的噪聲全部去除(見圖8c).利用柑橘輪廓的最小外接圓直徑來提取計算出每一幀圖像中該柑橘的最大果徑(見圖8d),最后以該柑橘所有幀圖像中最小外接圓直徑的均值作為其果徑大小的檢測結果.

圖8 柑橘果徑檢測效果圖

為了檢測出柑橘的著色率大小,需提取柑橘全表面的色澤信息.首先計算每一幀圖像中該柑橘的二維黃色占比,對圖8d目標區域的柑橘最小外接圓內提取如圖9所示的柑橘黃色區域,計算出最小外接圓中黃色區域像素總數Y與該柑橘投影面積像素總數N的比值,從而得到此幀圖像中該柑橘的二維黃色占比：

(1)

圖9 柑橘黃色區域提取效果圖

由于相機采用視頻流形式不斷獲取柑橘動態翻滾圖像,在6個工位內采集到的圖像中柑橘的每個面能夠較均勻地多次出現,為消除圖像中柑橘重復出現區域對表面著色率計算的影響,采用柑橘所有幀圖像二維黃色占比的算術平均值作為全表面著色率.

2.3 近紅外光譜檢測模型的建立

近紅外光譜檢測模塊采用在線條件下采集的柑橘透射率光譜來建立數學模型,檢測柑橘的內部糖度,波長λ處的透射率Tλ的計算公式為

(2)

式中：Iλ為波長λ處的樣本光譜強度;Dλ為暗環境下采集到的波長λ處的暗光譜強度;Rλ為波長λ處的亮參考光譜強度.

在線檢測時,柑橘經雙錐滾子果杯滾動傳輸后,其在果杯上的姿態多樣,不同姿態下的柑橘被檢測的部位和光路不同,將會影響預測模型的檢測精度[13].經前期觀察統計,柑橘進入近紅外光譜檢測模塊中的姿態多呈果梗正向朝上和果梗傾斜向前,花萼依托果杯滾輪的兩種姿態出現,出現頻率可達80%,采集此兩種姿態下的光譜進行混合建模.試驗所用的柑橘樣品為沅江市本地自產蜜橘,選取色澤均勻、大小不一且表面無明顯瑕疵的112個樣本,全部擦拭干凈并置于檢測現場放置1 d后進行在線光譜采集,設置產線檢測速度為5個/s,光譜儀積分時間為35 ms,平滑點數為15個,采集112個樣本共224條光譜.蜜橘的糖度值使用型號為PAL-1的糖度計,重復測量3次取平均值確定.

對樣本光譜分別進行卷積平滑(S-G)、量綱一化(NOR)、變量標準化(SNV)、多元散射校正(MSC)和一階求導后卷積平滑(1st+SG)預處理,再依據光譜-理化值共生距離(SPXY)算法以3 ∶1的比例進行校正集和預測集的劃分,并采用競爭性自適應重加權算法(competitive adaptive reweighted sampling,CARS)篩選特征波長,最后分別建立PLS模型,建模與模型預測效果如表1所示.

表1 不同預處理方法的柑橘糖度PLS模型建模結果

依據預測集的相關系數rP與均方根誤差RMSEP對模型能力進行評判,從表1的建模效果可以看出,經MSC預處理后建立的模型性能最優,可能多元散射校正方法更好地消除了果實大小對透射光譜的影響,其預測集rP為0.822,均方根誤差RMSEP為0.596%,經CARS篩選的特征變量為16個,個數較少,建立的模型可用于在線快速檢測.

3 整機試驗

3.1 試驗樣本

試驗樣品為沅江本地自產的蜜橘,購買后用抹布將其表面擦拭干凈,并置于檢測現場存放24 h.其中外部品質檢測模塊采用5個黃綠不一、大小不一的蜜橘樣本作為果徑大小和著色率的精度檢測樣本;糖度精度檢測樣本和聯合分級試驗樣本數量共151個.

3.2 果徑與著色率檢測精度試驗

對機器視覺檢測模塊所采用算法的檢測精度效果進行試驗,試驗均在檢測速度5個/s下在線進行,柑橘果徑的在線檢測精度結果如表2所示,試驗樣本使用游標卡尺測量柑橘果徑3次的平均值作為其實際果徑尺寸,由檢測系統重復在線檢測10次,并取10次結果中與實際測量尺寸相差最大的檢測值作為最終檢測值.從檢測結果來看,5個樣本檢測相對誤差絕對值平均為0.019,10次重復檢測的最大絕對誤差為-1.42 mm,絕對值均不超過1.5 mm,果徑大小的檢測精度可以滿足在線檢測分級的要求.

柑橘表面著色率的在線檢測步驟同上,通過多人對5個柑橘樣本表面黃色占比進行觀察確定作為實際著色率,結果如表3所示.著色率的檢測相對誤差絕對值平均為0.067,10次重復檢測的最大絕對誤差為0.048,均不超過0.05,誤差較小,可以達到實際按著色率的分級使用需求.

表2 柑橘果徑大小檢測精度結果

表3 柑橘著色率檢測精度結果

3.3 糖度檢測精度試驗與聯合分級性能驗證

將上文中所建立的最優糖度檢測模型導入到上位機軟件中,對該設備進行柑橘內外品質聯合檢測分級性能試驗,同時記錄在線檢測的糖度值驗證糖度模型的預測性能.首先需要確定內外品質聯合分級評價方案,為了更符合實際柑橘分級要求和市場需求,采用判別樹的決策方法劃分柑橘等級.根據柑橘果徑R、表面著色率C和糖度值S指標,建立判別樹模型,得出分選等級,其層次結構如圖10所示.

圖10 判別樹等級劃分

試驗按照設備使用操作規程,將151個柑橘樣本從提升機開始上果,在分選速度5個/s下啟動進行檢測,并按判別樹分級方案進行聯合分級,在線檢測完成后,立即人工對樣本測量果徑和糖度值,并判斷表面著色率,得到分級結果如表4所示.同時記錄軟件檢測出的對應等級的柑橘糖度值,得到糖度的檢測結果如圖11所示.

表4 柑橘內外品質聯合檢測分級結果

圖11 柑橘糖度檢測結果

根據分級結果統計,優等果、一等果、二等果中由于糖度檢測偏差導致分級錯誤的共8個,糖度檢測值和實測值的相關系數r為0.817,均方根誤差RMSE為0.658%,個別柑橘在線檢測時姿態與建模的兩種姿態相差較大,導致糖度檢測偏差較大,可達0.9%～1.3%,易導致分級錯誤.其余分級錯誤的柑橘由5個著色率偏差和1個尺寸偏差導致,且錯誤分級的柑橘均靠近分級界限.總體分級的平均準確率為91.16%,具有實際應用價值.

4 結 論

1) 基于雙錐滾子式果杯傳輸線設計了一套柑橘綜合品質無損檢測分級系統,該系統主要包括機器視覺檢測模塊、近紅外光譜檢測模塊、分級執行部分和控制系統等,能同時進行柑橘大小、著色率和內部糖度的無損檢測與分級.

2) 在機器視覺外部品質檢測模塊中,采用了單相機不斷采拍視頻的形式對柑橘圖像進行采集,大量不同姿態下的柑橘圖像可獲取其全表面信息,并結合該形式計算出柑橘果徑大小和表面著色率,經在線試驗驗證,果徑和著色率的檢測最大絕對誤差分別為-1.42 mm和0.048,相對誤差絕對值的平均值分別為0.019和0.067.

3) 在近紅外光譜內部品質檢測模塊中,設計了透射式采集光路,并按實際在線檢測時柑橘出現的兩種高頻姿態建立混合姿態糖度檢測模型,選取建模效果較好的MSC預處理后的PLS模型進行在線檢測驗證,檢測結果的相關系數為0.817,均方根誤差為0.658%.

4) 按判別樹分級方案確定了柑橘綜合品質的分級方法,通過在線試驗,驗證了該套設備的綜合分級性能,在分選速度5個/s下,綜合分級的平均準確率可達到91.16%.

5) 該檢測分級系統整體結構簡單,對于蘋果、柑橘等類球型水果的適用性強,具有實際應用價值,后續將基于雙錐滾子果杯傳輸分選產線,改善檢測方法,不斷降低水果姿態、果徑等因素對其檢測精度的影響,并研究多源信息融合技術以提高檢測分選的準確率.