基于輪廓固性與分水嶺算法的葉片粘連霧滴圖像分割*

葛翔，陸軍，曹冬林，金天澍

(1.上海電機學院機械學院,上海市,201306;2.櫻田農機科技(泰州)有限公司,江蘇泰州,225506;3.浙江省慈溪市觀海衛鎮農業農村辦公室,浙江寧波,315315)

0 引言

植保作業時噴灑的藥液霧滴顆粒群會在作物葉片表面發生疊加、凝并、碰撞、破碎等動力學事件,其中部分霧滴顆粒會形成粘連霧滴,直接影響沉積分布和施藥效果。葉片粘連霧滴的數目和分布,是計算霧滴覆蓋率、沉積密度、分布均勻性等噴霧作業質量參數的重要依據[1-2]。有效辨識葉片粘連霧滴可提高霧滴沉積分布檢測的準確性,開展葉片粘連霧滴圖像分割與算法研究,對提升植保機械精準施藥技術水平具有重要意義。

目前對于田間霧滴沉積參數的測定主要分為直接法和間接法。直接法一般運用化學試劑代替農藥進行噴灑后,測量洗脫溶液中物質的濃度來計算沉積量。還包括對葉面的示蹤劑運用圖像處理算法直接進行檢測等方法。Kumar等[3]應用改進的表面增強拉曼散射法,檢測并追蹤出水果表面上的福美雙農藥沉積覆蓋情況。祖琴等通過分析洗脫溶液的熒光光譜特性等進行沉積量的分析。間接法一般利用油盤、水敏試紙和傳感器等來代替葉片進行沉積參數檢測。袁會珠等[4]論述了霧滴粒徑大小、覆蓋密度與殺蟲劑、殺菌劑和除草劑藥效之間的關系,進而分析了農藥霧滴致死中密度以及霧滴殺傷面積/殺傷半徑。李民贊等[5]設計了一種基于水性丙烯酸樹脂和數字圖像處理技術的無人機噴霧質量檢測系統。利用水性丙烯酸樹脂遇水變色反應,將其制成霧滴采樣模塊,并對霧滴采集裝置上的霧滴圖像進行獲取,隨后利用數字圖像處理技術計算得出霧滴參數。Kesterson等[6]基于介電理論設計了一套檢測噴霧霧滴沉積的電子傳感器和數據采集系統,通過分析不同的霧滴和系統輸出電壓的關系確定了在不同溫度下霧滴的大小對系統電壓輸出的影響,實現了對噴霧霧滴的沉積量和尺寸的檢測。吳亞壘等[7]提出了改進的粘連霧滴判斷方法,利用迭代開運算標記的分水嶺分割算法,并對分割后的霧滴進行圓整,更加快速且準確地對水敏試紙上的粘連霧滴進行了識別與分割。曹軍琳等[8]采用超紅算子與OTSU算法(最大類間方差法)相結合,將葉片裁剪固定的大小后,模擬田間噴霧對葉片直接進行噴灑,研究葉片表面形態特征等因素對霧滴沉積分布的影響。李睿等[9]采用閾值邊緣提取和HSV(Hue(色調),Saturation(色飽和度),Value(明度))顏色模型相結合的算法,對完整作物葉片模擬噴霧后進行研究,較好地反映出整個葉面積的霧滴覆蓋率情況。

霧滴沉積的圖像檢測主要分為霧滴區域識別和粘連霧滴判斷及分割。其中最難的部分是粘連霧滴的分割。目前針對粘連霧滴的分割有多種方法,其中形態學分割算法[10]適用于簡單粘連圖像的分割,對于粘連較復雜的霧滴分割效果較差。凹點匹配分割算法[11-12]雖然效果較好,但凹點的尋找和凹點的匹配都是較復雜的過程。分水嶺分割算法[13-14]能適用于不同粘連程度的物體分割,也比凹點匹配法實現簡單,但傳統分水嶺分割算法存在嚴重的過分割和欠分割問題[15]。目前針對此問題常用的改善方法主要有在分割之前對分割區域進行前景和背景的最大、最小值標記和在分割之后按一定的合并規則對相似區域進行合并[16]。

雖然水敏試紙可反映出植保器械作業后的田間噴霧狀況,但無法準確反映霧滴在作物表面的沉積分布。由于缺乏葉片粘連霧滴有效辨識方法,目前葉面霧滴沉積圖像檢測的準確率不高,現有文獻關于葉面粘連霧滴圖像識別及動態檢測的研究報道較少。為提高葉面霧滴沉積分布檢測的準確性,本文采集9組植保作業噴霧圖像,進行葉片區域和霧滴區域特征提取和預處理,提出基于霧滴輪廓固性的霧滴類型判別方法,并以粘連霧滴迭代開運算的結果作為標記,通過改進傳統距離變換分水嶺圖像分割算法,對葉面霧滴沉積分布特性進行檢測。

1 材料與方法

1.1 材料與設備

食品添加著色劑(胭脂紅),新鮮雞毛菜葉片(為保持葉片新鮮,均在采摘后2 h內進行試驗)。

背負式電動噴霧機(ZS型,工作壓力0.2～0.6 MPa,額定電壓12 V);該款噴霧機自帶霧化噴頭(霧化角90°);智能手機(攝像頭為1 200萬像素);手機固定支架;標定板;背景板。

1.2 試驗方案

用胭脂紅染色劑和水配置成質量分數為2%的胭脂紅溶液代替農藥,經過前期對多種蔬菜葉片的預實驗,發現雞毛菜葉片對于質量分數為2%的胭脂紅溶液的對比效果較好,故采用雞毛菜葉片進行試驗。圖像采集時,智能手機固定在垂直高度不變,可水平旋轉的支架上,與葉片保持平行,并利用標定板矯正鏡頭畸變和計算霧滴實際大小。在晴朗天氣戶外背陰處,通過噴霧機模擬作業,從雞毛菜葉片上方60 cm處向下噴灑,如圖1所示,調整噴頭霧錐中心與葉片的距離,使霧滴與葉片的碰撞角度約為90°、50°和10°。采集圖像以JPG格式保存,再利用Matlab R2019a軟件進行圖像處理,通過提出的粘連霧滴識別算法和改進的分水嶺算法獲得葉片霧滴沉積參數,并與人工統計結果相比較。

圖1 試驗方案示意圖Fig.1 Schematic diagram of test scheme1.背景板 2.智能手機 3.噴霧機 4.支架 5.標定板 6.葉片

1.3 霧滴沉積特性參數表示方法

1.3.1 霧滴覆蓋率計算

霧滴覆蓋率(spray coverage)表示常規量霧在作物葉面上覆蓋藥液的面積占葉面總面積的百分比,如式(1)所示。

(1)

式中：C——霧滴覆蓋率,%;

Ad——霧滴區域面積,像素;

Al——葉片區域面積,像素。

1.3.2 霧滴沉積密度計算

霧滴沉積密度(droplet deposition density)表示低量噴霧和超低量噴霧沉積在作物單位面積上的霧滴數,如式(2)所示。

(2)

式中：I——霧滴沉積密度,個/cm2;

N——霧滴總數,個;

M——葉片實際面積大小,cm2。

1.4 圖像處理算法

葉片圖像經以灰度閉運算為基礎的霧滴區域提取算法、基于固性的霧滴類別判斷算法和改進的分水嶺分割算法即可得到霧滴沉積參數。整體流程如圖2所示。

圖2 整體流程圖Fig.2 Overall flow chart

1.4.1 圖像預處理

對采集的圖像進行處理前通常要進行平滑除噪等圖像增強操作,不僅能去除不必要的噪聲,還能對所需要處理的圖像中的特征進行加強,以便于對圖像更好地處理[17]。本文首先采用模板為3×3的高斯濾波器和彩色圖像直方圖增強進行預處理,在去除噪聲的同時,增加圖像對比度,提高圖像提取的效率。

1.4.2 葉片區域提取

對采集的霧滴圖像進行不同顏色空間的分析后發現HSV顏色空間中的V分量葉片區域與背景對比最明顯,且直方圖分布符合OTSU算法要求,故選擇其經OTSU法二值化后的圖像作為葉片區域。

1.4.3 霧滴區域提取

進行圖像灰度化時,在RGB(Red(紅色分量),Green(綠色分量),Blue(藍色分量))顏色空間中,用R分量減去G分量能在不顯示葉片輪廓及葉片脈絡的情況下,單獨顯示出完整霧滴圖像,因此本文選用R分量減去G分量得到的圖像作為霧滴灰度圖f進行下一步處理。

圖像處理中的形態學不僅可以對二值圖像進行處理,還可以擴展到灰度圖像中。但與二值圖像的形態學處理又存在區別[18]?；叶雀g可以增強灰度圖中的陰暗細節,灰度膨脹可以增強灰度圖中的明亮細節[19]。

灰度圖二值化步驟如下：(1)選擇半徑為5,高度為5的球形結構元素,對原灰度圖像f進行灰度閉運算后得到圖像f1;(2)將得到的圖像f1與圖像f進行“異或”操作,得到操作(1)的變化結果圖像f2;(3)經1.4.2節的方法處理得到葉片輪廓圖f3;(4)對f3依次進行“取反”和“孔洞填充”操作得到圖像f4;(5)選擇半徑為5的圓盤型結構元素,依次對圖像f4進行開運算和閉運算,得到圖像f5;(6)將圖像f2和圖像f5進行“位與”操作,得到去除葉片外區域的圖像f6;(7)用f6經“孔洞填充”處理后得到圖像f7;(8)用圖像f7與圖像f6進行“異或”操作得到霧滴圖像f8;(9)選擇半徑為2的圓盤型結構元素,進行“開操作”,去除微小噪點,得到最終霧滴圖像f9。流程圖如圖3所示。

圖3 霧滴區域提取流程圖Fig.3 Flow chart for spray droplet area extraction

通過對二值圖的分析,發現只提取了輪廓全部在葉片內部的霧滴圖像,對于在葉片邊緣的霧滴,因為葉片邊緣分開求取,導致這些霧滴輪廓處于葉片邊緣的部分沒有被提取到,從而使在孔洞填充時無法填充,霧滴圖像提取不全,如圖4所示,因此本文采取對葉片內部霧滴區域和葉片邊緣霧滴區域分開提取的方法。

(a) 葉片邊緣部分圖

1) 內部霧滴區域提?。喊瓷衔姆椒ㄌ崛〕鋈~片內部霧滴圖像。

2) 葉片邊緣霧滴區域提?。航Y合上文內部霧滴區域提取,葉片邊緣霧滴區域提取步驟如下：(1)首先對圖像f5進行輪廓提取,得到圖像f10;(2)將圖像f10和圖像f6進行“或”運算得到圖像f11;(3)對圖像f11依次進行“取反”操作和“孔洞填充”操作,接著與圖像f5進行“與”運算,再去除最大連通域,得到單獨的葉片邊緣霧滴圖像f12;(4)將圖像f12與圖像f9進行“或”運算,得到完整的總霧滴圖像f13。流程圖如圖5所示。

圖5 葉面邊緣霧滴區域提取流程圖Fig.5 Flow chart for spray droplet area extraction on the edge of the leaf

1.4.4 粘連霧滴判斷及分割

目前水敏試紙圖像處理中?；趫A形度和形狀因子來判斷霧滴圖像是否粘連,但水敏試紙表面光滑,而葉片表面存在復雜的脈絡,導致霧滴形狀也非常復雜,因此這兩種方法對于葉片霧滴類別判斷并不完全適用。而固性表示物體的形狀面積與包含物體形狀的最小凸多邊形面積的比值,描述物體形狀復雜程度更為精確。

1) 粘連霧滴判斷。本文采取霧滴輪廓固性是否大于0.9作為單獨霧滴或粘連霧滴分類依據,小于0.9的為粘連霧滴,大于等于0.9的為單獨霧滴。并與水敏試紙判斷霧滴類別常用的圓形度和形狀因子參數進行對比,其計算方法分別如式(3)～式(5)所示。

(3)

式中：F——霧滴的固性;

S——霧滴面積,像素;

S0——包含霧滴最小凸邊形面積,像素。

(4)

式中：Y——霧滴圓形度;

Dmax——霧滴輪廓上的點到霧滴質心的最大距離,像素。

(5)

式中：D——霧滴形狀因子;

P——霧滴周長,像素。

2) 改進標記距離變換分水嶺分割。本文利用霧滴輪廓固性<0.9的分類依據提取出粘連霧滴圖像,對其進行循環迭代開運算。設初始圓形結構元素半徑r0=1進行開運算,提取出開運算后得到的單獨霧滴圖像,合并到原單獨霧滴圖像中,再對剩下的粘連霧滴圖像以半徑為r1=r0+1(此時r1=2)再次進行開運算,同樣提取單獨霧滴圖像,重復以上步驟,直至無新增的單獨霧滴圖像,最后進行匯總合并,即可得到粘連霧滴經循環迭代開運算后得到的圖像,流程如圖6所示。

圖6 粘連霧滴循環開運算流程圖Fig.6 Flow chart of cyclic opening of adhesive spray droplets

距離變換是分水嶺分割中的一個常用工具,它以二值圖中每個像素到最近非零值像素的距離為灰度圖的灰度值,將二值圖變為灰度圖[20]。距離變換的種類很多,有歐式距離、城區距離和棋盤距離等。本文采用最常用的歐氏距離并根據距離變換圖灰度值的最大值和最小值對其進行歸一化處理,這可以避免某些與其他數據差異過大的值帶來的誤差[21]。

本文采用粘連霧滴經迭代開運算獲得的圖像對距離變換圖進行標記,然后對標記過的距離變換圖進行分水嶺分割,再將脊線疊加至原圖中,完成對粘連霧滴的分割。統計所有霧滴個數,再除以葉片實際面積,即可得到霧滴沉積密度。

2 試驗結果分析

在獲得的葉片樣本圖像中,根據人工統計得到的霧滴密度大小,分為稀疏、適中、密集3組,每組各挑選3個葉片樣本進行統計分析,如圖7所示。其中,稀疏組霧滴密度K<30,碰撞角度α=90°;適中組霧滴密度3045,碰撞角度α=10°。

圖7 選取的葉片樣本Fig.7 Selected leaf samples

2.1 霧滴覆蓋率檢測

2.1.1 霧滴區域提取算法對比

1) 霧滴圖像灰度化算法對比。在RGB顏色空間中,分別運用對綠色植物圖像提取效果較好的超綠特征算法2G-R-B和對紅色霧滴圖像提取效果較好的超紅特征算法2R-G-B進行灰度化。對比1.4.3節中提及的灰度化算法,運用超綠特征算法2G-R-B不能很好地將霧滴圖像和葉片脈絡圖像分開,而超紅特征算法2R-G-B雖然效果好于超綠算法,但仍顯示出部分葉片區域,提取效果不如本文算法,如圖8所示。

(a) 原圖

2) 霧滴圖像二值化算法對比。將1.4.3節中霧滴圖像二值化算法與原灰度圖直接經OTSU算法和分塊閾值算法轉化后的二值圖進行對比,如圖9所示。

(a) 灰度圖

從圖9可以明顯地觀察到本文算法更加準確地提取了霧滴圖像。對所選取的9個樣本從稀疏1到密集3分別編為1～9號,進行霧滴類型判別時間比較,每種方法選取3次判別時間,取平均值,如圖10所示。雖然本文算法所用時間長于其他兩種算法,但霧滴識別效果優于其他兩種算法且能滿足實際應用需求。

圖10 不同算法識別時間對比Fig.10 Comparison of recognition time of different algorithms

3) 霧滴圖像提取正確率對比。對各個葉片樣本霧滴提取圖像中未提取或提取不全的霧滴個數通過Photoshop進行人工統計對比驗證,以未提取或提取不全的霧滴數除以人工統計得到的總霧滴數計算出霧滴提取正確率,如表1所示。

表1 霧滴提取正確率Tab.1 Correct rate of droplet extraction

由表1可以看出,本文算法霧滴提取平均正確率為97.23%,正確率最低的樣本是適中3,為91.19%,最高的是密集1,為99.73%。對比樣本適中3和樣本密集1的圖片,分析差異原因,可以明顯看出樣本密集1的圖像亮度高于樣本適中3,且樣本密集1的圖像亮度幾乎高于其他所有樣本圖像的亮度,因此,可以得出在進行圖像采集時,保證樣本圖像有充足的亮度可以提升霧滴識別的正確率。

2.1.2 霧滴覆蓋率對比

以本文所述算法為基準,分別采用OTSU法和分塊閾值法對選取的9個葉片樣本進行覆蓋率求取比較,結果如表2所示。

表2 霧滴覆蓋率檢測結果Tab.2 Test results of droplet coverage %

由表2可以看出,本文算法檢測出的霧滴覆蓋率高于OTSU法和分塊閾值法檢測出的霧滴覆蓋率,以本文算法結果為基準,這兩種算法與本文算法的霧滴覆蓋率相對誤差a和b的平均值分別為31.93%和33.43%。尤其對于適中1,三種算法得到的覆蓋率相差最大,本文算法對其他兩種算法分別提高了10.45%和9.59%,如圖11所示,主要的影響因素有兩點,一是因為圖像亮度不均。二是由于發生在葉片表面的鋪展和蒸發行為。霧滴落到葉片后會向葉面脈絡凹處聚集,并在流經處留下痕跡,顏色淡得多,這一點也是水敏試紙等替代材料無法表現出的。但本文所采用的霧滴區域提取算法可以在提取正常霧滴區域的同時,兼顧到這一類顏色較淺區域的提取問題,降低了亮度不均的影響,提高了葉面霧滴區域的提取效果。

(a) 適中1

2.2 霧滴類型判別結果比較

2.2.1 霧滴類型判別準確率比較

在葉片樣本上各取100個肉眼可見的粘連霧滴和單獨霧滴,對其進行參數統計分析,如圖12所示。

(a) 單獨霧滴圓形度分布

對于單獨霧滴,基于圓形度判斷,準確率為53%;基于形狀因子判斷,準確率為86%;基于固性判斷,準確率為96%。經分析發現,錯分類型的霧滴均受葉片表面形貌影響,沿葉片脈絡發生了一定程度的鋪展行為,霧滴輪廓多為長條形,以單獨霧滴第21號為例,如圖13(a)和圖13(b)所示,導致了其霧滴參數與常規霧滴存在差異。

(a) 第21號單獨霧滴

對于粘連霧滴,三個參數分布跨度均存在一定規則,圓形度都在0.6以下;形狀因子基本都在0.8以下,只有粘連霧滴第68號的形狀因子>0.8;固性基本都在0.9以下,同樣只有粘連霧滴第68號的固性>0.9,其圖像如圖13(c)和圖13(d)所示,可以看出其粘連程度較高,屬于強粘連霧滴,故對其按形狀參數分類難度較高。

綜合各參數對單獨霧滴和粘連霧滴分類結果,以錯分霧滴數除以總霧滴數可以得出,基于圓形度的霧滴類型判別方法準確率為76.5%,基于形狀因子的霧滴類型判別方法準確率為92.5%,基于固性的霧滴類型判別方法準確率為97.5%。因此,本文采取霧滴輪廓固性是否>0.9作為單獨霧滴或粘連霧滴分類依據,效果好于基于圓形度和基于形狀因子的分類方法。

2.2.2 霧滴類型判別時間比較

根據上文所述基于霧滴輪廓的圓形度、形狀因子和固性3種葉片霧滴類型判別方法,對所選取的9個樣本從稀疏1到密集3分別編為1至9號,進行霧滴類型判別時間比較,每種方法選取3次判別時間,取平均值,如圖14所示?？梢钥闯?基于形狀因子和固性這兩種判別方法對于9個樣本的霧滴類型判別時間均相差不大,總體上基于固性的判別方法略優于基于形狀因子的判別方法?；趫A形度的判別方法對于9個樣本中每一個樣本的霧滴類型判別時間均明顯大于另外兩種判別方法。對于3種判別方法所需時間隨著霧滴密度的增加,總體趨勢都是增加的。結合2.2.1節中對三種方法霧滴類型判別準確率的比較,可以得出,基于固性的葉片霧滴類型判別方法不僅在準確率,同時也在判別時間上優于其他兩種方法,可以作為葉片霧滴類型判別方法的參考。

圖14 不同方法霧滴類型判別時間比較Fig.14 Comparison of different methods of droplet type discrimination time

2.3 霧滴沉積密度檢測

2.3.1 粘連霧滴分割時間

對所選取的9個樣本從稀疏1到密集3分別編為1至9號,通過本文分割算法進行分割時間統計,進行相同條件的3次分割,取3次分割平均時間,依次為0.825 s、0.552 s、0.356 s、0.899 s、0.461 s、0.617 s、1.073 s、0.876 s和0.873 s。分割時間有隨霧滴密度增加而增加的趨勢,但總體耗時較少。

2.3.2 粘連霧滴分割對比

對本文分割算法展開分析,發現仍有部分粘連霧滴未能成功分割或分割線不在霧滴粘連處的情況,通過Photoshop人工統計粘連霧滴分割效果,如表3所示。

表3 本文算法粘連霧滴分割效果統計Tab.3 Statistics of segmentation effect of adhesive droplets in this algorithm

粘連霧滴分割平均錯分率為5.26%,其中分割效果較差的是樣本適中1和樣本密集2,錯分率分別為8.97%和8.64%。經觀察發現,樣本適中1中,有較多霧滴沿著葉片脈絡發生了鋪展行為,輪廓多為長條狀,當周圍有霧滴與之粘連時,粘連部分的大小甚至與霧滴的直徑相當,故難以將其分割開來。樣本密集2中存在較多細小粘連霧滴,粘連程度很高,故同樣難以對其進行分割。

2.3.3 霧滴沉積密度對比

將改進分水嶺算法與傳統距離變換分水嶺算法分割后的圖像進行比較,如圖15所示,可以看出改進分水嶺算法有效地改善了過分割的情況。

(a) 粘連霧滴圖

計算9個葉片樣本的霧滴沉積密度,并分別與通過Photoshop人工統計粘連霧滴分割的結果對比分析,如表4所示。由表4可以看出,與人工統計相比,傳統距離變換分水嶺分割算法的相對誤差c較大,不能滿足實際需求,而本文改進標記距離變換分水嶺分割算法的相對誤差d的平均值為6.61%,最小值為4.18%,最大值為8.27%,效果明顯好于傳統距離變換分水嶺分割算法。

表4 霧滴覆蓋密度檢測結果Tab.4 Test results of droplet coverage density

3 結論

1) 葉片上染色劑顏色較淺區域的圖像特征,通過比較灰度閉運算前后的差異來進行區域提取,霧滴提取最低正確率為91.19%,平均正確率為97.23%,滿足實際需求,且霧滴覆蓋率結果比OTSU法和分塊閾值法分別相對提高31.93%和33.43%,提取效率顯著提升。

2) 在進行葉面霧滴沉積參數統計時,提出了以霧滴輪廓固性是否大于0.9作為霧滴的分類依據和判別方法,小于0.9的為粘連霧滴,小于等于0.9的為單獨霧滴。結果表明該判別方法準確率高達97.5%,固性大小可作為葉面粘連霧滴判斷依據。

3) 針對傳統距離變換分水嶺分割算法存在嚴重欠分割和過分割的問題,采用了基于迭代循環開運算標記的改進距離變換分水嶺分割算法,霧滴覆蓋密度與人工統計的平均相對誤差為6.61%,顯著地改善了傳統距離變換分水嶺分割算法的局限性分割問題,且霧滴分割最低正確率為91.03%,平均正確率為94.74%,分割誤差較小。

綜上所述,本文針對葉片粘連霧滴辨識提出的霧滴沉積特性參數圖像檢測算法,可以滿足常規植保作業霧滴覆蓋率及沉積密度檢測的需求,但還需深入研究戶外強光反射、藥液蒸發等對霧滴圖像提取的影響,以提高檢測的準確性和實效性。