基于機器視覺的盆栽微型月季品質分級方法研究

張閣 蘭升 劉新偉 賈彪 張黎

摘要建立準確高效的品質分級方法，對于花卉產業的標準化發展具有重要的意義。針對人工分級勞動強度大、經驗要求高、缺乏統一性等問題，提出了基于機器視覺技術的盆栽微型月季品質分級方法。該方法根據盆栽微型月季的株高、花朵數、整齊度、花蓋度和病蟲害狀況特征的不同，分別提取其相應的特征參數，并利用最小二乘支持向量機作為分類器，對其品質等級進行評價。經試驗研究，單獨利用株高、花朵數、整齊度、花蓋度和病蟲害狀況特征進行分級的準確率分別為95.65%、94.68%、94.68%、94.20%、96.61%，而綜合特征分級準確率為99.50%，驗證了特征提取和分類模型的有效性，利用綜合特征進行分級時間為10 s，明顯提高了分級效率，該方法為建立準確高效的智能盆栽微型月季分級方法提供了理論參考。

關鍵詞機器視覺；盆栽微型月季；品質分級；特征提取

中圖分類號S126? 文獻標識碼A? 文章編號05176611（2024）07023005

doi：10.3969/j.issn.05176611.2024.07.053

Research on Quality Grading Method of Potted Mini Rose Based on Machine Vision

ZHANG Ge1，2，LAN Sheng3，LIU Xin-wei1，2 et al

（1.Yinchuan Aibida Horticulture Co.，Ltd.，Yinchuan，Ningxia 750005;2.Ningxia Flower Engineering Technology Research Center，Yinchuan，Ningxia 750005;3.School of Automation，Tsinghua University，Beijing 100084）

AbstractPotted mini rose has the characteristics of varieties，difficult of storage and large quality gap.Therefore，the establishment of accurate and efficient quality grading technology is of great significance for the standardized development of flower industry.As the traditional manual grading method need high labor intensity，high experience and lack of unity，we proposed a new quality grading method of potted mini rose based on machine vision.According to the different characteristics of plant height，flower number，uniformity，flower coverage and pest status of potted mini roses，the corresponding characteristic parameters were extracted，and the least squares support vector machine was used as a classifier to evaluate the quality grade.Through the experiment，the accuracy of a single characteristic were 95.65%，94.68%，94.68%，94.20% and 96.61%，respectively，while the accuracy of grading using the synthetic features was 99.50%，which verified the effectiveness of the proposed method.Generally，the manual grading method took several days，while the time of grading by the proposed method was 10 s，which obviously improved the efficiency.This method could provide basis for establishing an accurate and efficient intelligent grading method of potted mini rose.

Key wordsMachine vision;Potted mini rose;Quality grading;Feature extraction

微型月季具有株型矮小、色彩豐富等特點［1］。小型化緊湊型的盆栽成為新興的花卉熱門產品，盆栽微型月季因其嬌小美麗、寓意美好而受到人們喜愛［2］。目前，我國每年盆栽微型月季產量可達4 000萬盆，但由于其品種多、不易存儲、品質差距大等特點，在包裝環節對其進行品質分級存在瓶頸。目前我國盆栽微型月季分級包裝主要依靠人工分選，該方法勞動強度大、分級效率低、分級成本高，而且對工作人員要求高、缺乏統一評價標準［3］。

隨著計算機技術的發展，機器視覺的方法因其精度高、成本低和性能穩定等特點，越來越多地被應用到植物的病害檢測和分類中［47］。目前國內外已有一些蔬菜的自動化分級系統，如郝敏［8］通過機器視覺技術，將遺傳算法與概率神經網絡結合，實現了基于重量、薯形和外部缺陷3個指標的馬鈴薯外觀品質分級系統，對大、中、小3種尺寸的馬鈴薯分類準確率分別達到97%、96%和98%。任銳等［9］根據辣椒的形狀和顏色特征，采用霍夫森林分類器實現了辣椒的外部品質分級模型，得到了一種適合有一定彎曲度、帶柄農作物的研究方法。Tokuda等［10］通過研究開發了一個可用于西瓜自動收獲的機器視覺系統，將樣本圖像的顏色模型由 RGB 模型轉換成 HSI 模型，對 HSI顏色模型中飽和度 S的觀察發現，當西瓜成熟度增加時，對應圖像飽和度的平均值會線性下降，同時在彩色直方圖中到達峰值的像素個數和達到峰值的左側像素的個數之間的比值將會減少，運用該原理可以建立一個機器視覺系統來對西瓜的成熟程度進行分級。王巧華等［11］通過機器視覺，建立了鴨蛋大小的自動分級系統，研究表明不論蛋殼顏色以及蛋芯顏色，鴨蛋的大小和重量都與像素面積成正比，相關性達到0.97。孟繁佳等［12］設計了一種實時分選霉變玉米種子的系統，根據玉米種子表面顏色的差異，設計了一種基于HSV顏色空間的霉變玉米種子分級算法，準確率達到94%。國內關于植物分級已有一些研究，但鮮見基于機器視覺的有關盆栽微型月季的分級方法。因此，結合機器視覺研究一種快速、準確的盆栽微型月季分級方法，對于推動我國花卉產業的標準化、智能化發展具有重要的意義。

鑒于此，筆者研究基于機器視覺技術，以盆栽微型月季的株高、花朵數、整齊度、花蓋度和病蟲害狀況作為特征，以最小二乘支持向量機作為分類器，實現其外觀品質的自動分級，從而提高包裝環節的效率和準確度，推動我國花卉產業的發展。

1材料與方法

1.1試驗材料

試驗材料為寧夏銀川市本地種植的盆栽微型月季“歐布”，在白天遮光環境下使用華為Honor 30手機自帶相機拍攝，攝像頭為索尼IMX 700型4 000萬像素。共拍攝660組圖像，每組圖像包括盆栽月季的側視圖和俯視圖，圖像大小為4 608×3 456。

將試驗盆栽按照3∶1的比例進行劃分，其中440組作為訓練組，其余220組作為預測組。圖像的選擇采用隨機方式，以避免拍攝順序以及人為因素對試驗造成的影響。

1.2分級標準

參考GB/T 18247.2—2000國家盆栽花卉產品等級標準和 NY/T 1656.3—2008花卉檢驗技術規范，制定了適用于該研究對象的企業分級標準，如表1所示。根據盆栽微型月季高度、花朵數量、整齊度、花蓋度、病蟲害狀況等特征的綜合情況將樣本分為3類：A類為最優級別，B類次之，C類最差。

1.3試驗方法

通過圖像采集系統采集盆栽月季的側視圖和俯視圖，并隨機分為訓練集和預測集。然后，將采集的圖像進行預處理，分別提取其高度、花朵數量、整齊度、花蓋度、病蟲害狀況特征。最后，采用最小二乘支持向量機（LSSVM）作為分類器，基于特征值對其進行訓練和預測，得到最優的分級模型，并進行相應的品質分級軟件的開發與測試。

圖像采集系統包括相機、光源及遮光暗箱［13］，如圖1所示。拍攝時，相機分別處于頂部和側面的固定位置，使用黑色遮光布作為拍攝背景，從而避免相機抖動和背景噪聲對圖像采集的影響。

2圖像預處理

2.1圖像濾波與去噪

在圖像采集的過程中，由于空氣灰塵、葉片掉落、濕度變化等因素，往往會導致圖像中存在一定的噪聲，進而對后續的特征提取產生不利的干擾。為了避免這種負面的影響因素，采取中值濾波算法［14］對圖像進行預處理。通過濾波處理，可以較好地消除圖像中的噪聲，同時保留有用的顏色和形狀信息。由圖2可知，進行中值濾波后的圖像中無關顏色分量減少，同時保留了有用顏色信息，有利于消除非關鍵信息的干擾，從而便于后續圖像特征的提取。

2.2圖像的Itti顏色顯著圖

Itti顯著圖是根據早期靈長類動物的視覺神經系統構造的一種視覺注意力機制模型［15］。人腦具有通過分析對圖像中的區域產生不同顯著等級的能力，而Itti模型［1617］就模擬了這種自下而上的注意力機制。該方法主要是先通過高斯采樣方法構建圖像的多個尺寸的高斯金字塔，然后由高斯金字塔分別計算圖像的顏色特征圖，最后將不同尺寸的特征圖進行融合得到顏色顯著圖。

在計算Itti顏色顯著圖時，首先設定1個圖像像素值大小的閾值，這里為圖像中像素最大值的1/10。當像素值小于閾值時，將該像素點的R、G、B值設為0，當像素值大于閾值時，分別計算其R、G、B顏色分量的值如公式（1）所示：

RR=R（G+B）2GG=G（R+B）2BB=B（R+G）2（1）

對于高斯金字塔中的每層圖像，其顏色分量分別表示為RR（n）、GG（n）、BB（n）和Y（n），其中n∈{0，1，2，…，6，7，8}。接著計算總顏色分量如公式（2）所示：

RR=8n=0RR（n）GG=8n=0GG（n）BB=8n=0BB（n）???? （2）

由于該研究中試驗樣本花朵為紅色，而葉片顏色為綠色，在提取其花朵數量、整齊度、病蟲害特征時使用了俯視圖的紅色顯著圖，提取其高度特征時使用了側視圖的綠色顯著圖，提取其花蓋度特征時則同時使用了俯視圖的紅色顯著圖和綠色顯著圖，如圖3所示。

2.3圖像的二值化與形態學處理

經過中值濾波和Itti顏色顯著圖的處理，已基本可以區分開圖像中的關鍵區域與背景區域，但是由于圖像中像素點的值為0～255，進行特征提取時計算量較大。實際上，在數字圖像處理中，常常對圖像進行二值化處理［1819］，從而提高算法的運算效率。在圖像二值化之后，由于圖像像素值被壓縮到0和1這2種數值，往往會使得一些區域的噪聲被放大而形成孔洞，不利于特征的進一步提取。因此，對二值化后的圖像進行形態學的處理，包括腐蝕和膨脹等開運算，也是圖像預處理的重要部分。圖4所示為進行二值化和形態學處理后的圖像。

3特征的提取與分級

3.1特征提取

3.1.1高度特征。

一株盆栽的高度是指植株頂部與其根頸部之間的距離。在圖像中，則對應其側視圖中像素不為0的點的縱坐標最大值與最小值之間的差。在該研究中，通過側視圖的綠色二值顯著圖來計算植株的株高特征，如公式（3）所示：

H=（TmaxTmin）α（3）

式中：Tmax、Tmin分別為非零像素點的縱坐標最大值與最小值;α為歸一化系數，根據圖像的大小而定。

3.1.2花朵數量特征。

一株盆栽中的花朵數量是衡量其品質級別的重要依據，花朵數越多，其成為優質級別的可能性就越大。由于試驗樣本的花朵顏色為紅色，主要基于俯視圖的紅色二值顯著圖來計算花朵數量。通過觀察發現，在紅色二值顯著圖中，每一個花朵區域都是一個連通的白色區域，通過統計其中白色連通區域的數量，即可得到該盆栽中的花朵數量：

N=σNσ（4）

式中，σ表示圖像區域；Nσ為區域連通狀態，即Nσ=1，σ連通Nσ=0，σ連通

3.1.3整齊度特征。

整齊度是盆栽中的花朵分布整齊程度的量化特征，是影響盆栽整體觀感的一個重要因素。整齊度越高，則盆栽整體看起來越規則而具有美感，相反，整齊度較低時盆栽整體看起來會比較雜亂，影響其外部觀感。當在圖像中計算整齊度時，該研究使用花朵區域的縱坐標的統計標準差，即盆栽俯視圖的紅色二值顯著圖中連通區域中心的縱坐標標準差作為衡量的標準：

V=σ（TσiT）2Ni=0，1，…，N（5）

T=σTσiNi=0，1，…，N（6）

式中：N為花朵數量；T為連通區域中心縱坐標的平均值；Tσi表示第i個連通區域的中心縱坐標。

3.1.4花蓋度特征。

盆栽的花蓋度反映了花朵在植株中的密集程度，一般是指一株盆栽中花朵所占的總面積與植冠總面積之間的比值，而植冠總面積可以看成是花朵面積與枝葉面積的和。對應到圖像中，花朵的面積可以通過俯視圖的紅色二值顯著圖中連通區域的總面積計算得到，而植冠的總面積可以通過俯視圖的綠色二值顯著圖中非零區域的總面積得到。用Rσ表示俯視圖的紅色二值顯著圖中的連通區域，Gσ表示俯視圖的綠色二值顯著圖中的非零區域，S表示區域面積，則花蓋度可以表示為：

D=SRσSGσ（7）

3.1.5病蟲害狀況特征。

由于農作物在生長過程中常常會受到病蟲害侵擾，使其外觀和品質產生較大的影響，病蟲害狀況也是衡量盆栽品質等級的一個不可或缺的因素。通常來說，可以由花朵上的蟲害咬食痕跡來判斷植株的病蟲害狀況，痕跡越嚴重的受害程度越嚴重。在圖像中，本文通過盆栽俯視圖的紅色二值顯著圖中的孔洞數量來作為計算病蟲害狀況特征的依據：

B=σBσ（8）

式中，σ表示圖像區域，Bσ為區域連通狀態，即Bσ=1，σ是孔洞Bσ=0，σ不是孔洞

3.2分級模型

3.2.1連續投影法特征篩選。

對每一組盆栽月季樣本，分別提取其高度、花朵數量、整齊度、花蓋度和病蟲害等特征后，將其組成一個特征向量：

x=［H，N，V，D，B］（9）

由于在進行分級操作時，特征向量中的各個特征分量對于分級結果的重要程度各不相同，需要對特征進行篩選來減少原始特征矩陣中的冗余信息，從而提高模型的計算效率。在本文中，利用連續投影法［20］（SPA）對樣本的特征向量進行篩選。

連續投影法是一種使向量空間共線性最小化的前向變量選擇算法，早期被用于光譜分析技術對農作物和食品重要成分含量的分析中［2123］。對于初始的特征矩陣X，假設為初始的特征向量，n為篩選后的特征個數，J為篩選前的特征個數，則SPA算法首先選擇任意一個樣本特征作為初始特征向量：

xk0=Xk，k∈1，…，N（10）

然后，分別計算xk0對其他特征向量的投影：

Pxk0=xk0（xk0Txk（n1））xk（n1）（xk（n1）Txk0）1（11）

根據投影值的大小取最大值作為篩選后的特征向量：

k（0）=arg（max‖Pxk0‖）xk0=Xk（0）（12）

由此類推，可以得到：

k（n）=arg（max‖Pxkn‖）xkn=Xk（n）（13）

在該研究中，經過SPA算法篩選后的特征向量記作x′。

3.2.2最小二乘支持向量機分級。Chandra等［24］提出的最小二乘支持向量機（LSSVM）是一種通過核函數變換后，在高維空間對所有樣本利用最小二乘誤差進行擬合的方法。在該研究中，利用LSSVM作為篩選后特征的分類器，在樣本訓練集上對其進行訓練，得到最優的分類器模型，并將其在樣本預測集上的預測類別作為分級的級別。

LSSVM分類器以機器學習的損失函數作為著眼點，在其最優化問題的目標函數中使用二范數，并使用等式約束取代SVM方法中的不等式約束條件，使優化問題的求解變為一組線性方程組的求解。對于分類問題，LSSVM的約束條件為：

minw，b，eJ（w，e）=12wTw+12γNk=1ek2（14）

s.t. yk［wTφ（x′k）+b］=1ek， k=1，…，N

式中：x′k為第k個樣本篩選后的特征向量；w為分類器模型權重；e為一個松弛變量，主要用于表示優化過程中離群點的影響;而γ是懲罰系數，其值越大，對誤差的限制越大，越容易過擬合，反之，則越容易欠擬合。優化問題的目標在于尋找使目標誤差函數最小的最優參數，這里利用Lagrange 乘數法［25］將該優化問題轉化為對單一參數α的極大值求解問題：

L（w，be;α）=J（w，e）Nk=1αk{yk［WTφ（x′k）+b］1+ek}（15）

分別對參數w，b，e，求導，可以得到：

Lw=0→w=Nk=1αkykφ（x′k）

Lb=0→Nk=1αkyk=0Lek=0→αk=γek， k=1，…，NLαk=0→yk［wTφ（x′k）+b］1+ekw=0（16）

根據公式（16）中的條件，可以列出一個關于a，b的線性方程組：

0yTyΩ+I/yba=0IV（17）

其中，Ω為核矩陣：

Ωkg=ykygφ（x′k）Tφ（x′g）=ykygK（x′kx′g）， k=1，…，N（18）

求解該方程組，即可得到最優的參數a，b，最后LSSVM分類器的模型為：

y（x′）=sign［∑Nk=1αkykK（x′，x′k）+b］（19）

對于輸出y，對應于盆栽月季品質等級劃分標準中的A、B和C級，分別標記為1、2和3類，并將其預測結果與人工標注的標簽進行對比，來統計得到分級模型的準確度評價。

4結果與分析

利用預處理后的440組盆栽月季訓練集圖像對特征提取和分級模型進行訓練，然后使用訓練得到的模型對預處理后的220組盆栽月季測試集圖像進行分級預測試驗，分級結果如表2所示。

使用高度、花朵數量、整齊度、花蓋度和病蟲害狀況單一特征和綜合特征分別進行分級時，A級基于綜合特征的分級準確率最高達99.5%，高度、花朵數量、整齊度、花蓋度和病蟲害狀況單一特征的分級準確率分別為95.65%、94.68%、94.68%、94.20%、96.61%，均低于綜合特征的分級準確率；B級基于綜合特征的分級準確率最高達90.0%，高度、花朵數量、整齊度、花蓋度和病蟲害狀況單一特征的分級準確率分別為

60.00%、80.00%、70.00%、60.00%、60.00%，均低于綜合特征的分級準確率；C級基于綜合特征、高度、花蓋度的分級準確率均為60.00%，花朵數量、整齊度和病蟲害狀況的分級準確率均為40.00%。綜上所述，基于綜合特征分級的準確率相較于5個單一特征均有所提高，預測結果產生差異的原因主要如下：①盆栽月季人工分級是通過綜合各個特征指標，經過觀察后對其總體生長狀況做出的評價，因此使用單一特征指標無法全面地表示其總體品質，分級的準確率也就較低。

②使用單一特征時，樣本個體之間的差異可能較小，例如高度差異可能只有幾毫米，花朵數量差異可能只有1或2朵，整齊度和花蓋度差異只有不到百分之一等，這導致單一特征無法全面表示樣本個體之間的差異。③使用綜合特征的分級結果中B和C類正確率較低，這是由于公司種植的樣本中A類的優質樣本較多，而B和C類樣本較少造成的，未來將考慮進一步完善訓練樣本庫。

5結論

針對盆栽微型月季的品質分級問題，該研究綜合考慮高度、花朵數量、整齊度、花蓋度和病蟲害狀況等多種特征指標，提出基于一套完整的基于機器視覺的分級方法。該方法初步實現了盆栽微型月季的自動分級，準確率達到98%，分級模型較為穩定，彌補了國內盆栽微型月季分級的不足，為機器視覺方法在該領域的應用打下基礎，有利于推動我國花卉產業的標準化、智能化發展。

參考文獻

［1］陳俊愉.中國花卉品種分類學［M］.北京：中國林業出版社，2001：32-148.

［2］ 謝磊.盆栽月季栽培研究進展［J］.現代園藝，2017（5）：35.

［3］ 何東健，楊青，薛少平，等.果實表面顏色計算機視覺分級技術研究［J］.農業工程學報，1998，14（3）：202-205.

［4］ 曹樂平.基于機器視覺的植物病蟲害實時識別方法［J］.中國農學通報，2015，31（20）：244-249.

［5］ 蔣豐千，李旸，余大為，等.基于Caffe的生姜病害識別系統研究與設計［J］.中國農機化學報，2019，40（1）：126-131.

［6］ 郭小清，范濤杰，舒欣.基于圖像融合特征的番茄葉部病害的識別［J］.湖南農業大學學報（自然科學版），2019，45（2）：212217，224.

［7］ 黨滿意，孟慶魁，谷芳，等.基于機器視覺的馬鈴薯晚疫病快速識別［J］.農業工程學報，2020，36（2）：193-200.

［8］ 郝敏.基于機器視覺的馬鈴薯外部品質檢測技術研究［D］.呼和浩特：內蒙古農業大學，2009.

［9］ 任銳，張淑娟，趙華民，等.基于機器視覺的辣椒外部品質檢測［J］.食品與機械，2021，37（1）：165-168.

［10］ TOKUDA M，KAWAMURA T，YAMAMOTO H，et al.Development of visual system for watermelon harvesting robot （Part 1）：Relationship between lighting and detectability［J］.Journal of the Japanese society of agricultural machinery，1997，59（3）：29-36.

［11］ 王巧華，余佑生，宗望遠，等.鴨蛋大小等級模型研究［J］.華中農業大學學報，2001，20（6）：579-583.

［12］ 孟繁佳，羅石，孫紅，等.玉米種子實時檢測分選裝置設計與試驗［J］.農業機械學報，2021，52（3）：153159，177.

［13］ 王躍文.基于機器視覺的觀葉盆栽分級方法研究［D］.廣州：華南農業大學，2017.

［14］ 趙高長，張磊，武風波.改進的中值濾波算法在圖像去噪中的應用［J］.應用光學，2011，32（4）：678-682.

［15］ ITTI L，KOCH C.Computational modelling of visual attention［J］.Nature reviews neuroscience，2001，2：194-203.

［16］ VINAY M B，REKHA K S.A model of saliency-based visual attention for rapid scene analysis［J］.International journal of recent technology and engineering，2019，7（6s4）：412-415.

［17］ CHEN Z S，TU Y，WANG L L.An improved saliency detection algorithm based on Ittis model［J］.Tehniki vjesnik，2014，21（6）：1337-1344.

［18］ 田凱，張連寬，熊美東，等.基于葉片病斑特征的茄子褐紋病識別方法［J］.農業工程學報，2016，32（S1）：184-189.

［19］ 吳娜，李淼，陳晟，等.基于融合多特征圖切割的作物病害圖像自動分割［J］.農業工程學報，2014，30（17）：212-219.

［20］ 陳斌，孟祥龍，王豪.連續投影算法在近紅外光譜校正模型優化中的應用［J］.分析測試學報，2007，26（1）：66-69.

［21］ 張津源，張德賢，張苗.基于連續投影算法的小麥蛋白質含量近紅外光譜預測分析［J］.江蘇農業學報，2019，35（4）：960-964.

［22］ 董哲，楊武德，朱洪芬，等.基于連續投影算法與BP神經網絡的玉米葉片SPAD值高光譜估算［J］.山西農業科學，2019，47（5）：751-755.

［23］ 何鴻舉，王洋洋，王魏，等.NIR高光譜成像技術聯用SPA算法快速檢測五花肉的過氧化值［J］.食品工業科技，2020，41（8）：236-241.

［24］ CHANDRA M A，BEDI S S.Benchmarking tree-based least squares twin support vector machine classifiers［J］.International journal of business intelligence and data mining，2020，16（3）：381-395.

［25］ 葉正麟，潘璐璐.拉格朗日乘數法是怎樣導出的［J］.高等數學研究，2020，23（3）：11-13.

基金項目??寧夏自然科學基金項目（2022AAC03756）；第五批寧夏回族自治區青年科技人才托舉工程項目。

作者簡介? 張閣（1992—），女，寧夏石嘴山人，中級園藝師，碩士，從事設施園藝相關研究。

通信作者，教授，博士，從事信息技術與精準農業研究。