枝上柑橘果實深度球截線識別方法

劉繼展 朱新新 袁 妍

(江蘇大學現代農業裝備與技術教育部重點實驗室，鎮江 212013)

枝上柑橘果實深度球截線識別方法

劉繼展 朱新新 袁 妍

(江蘇大學現代農業裝備與技術教育部重點實驗室，鎮江 212013)

針對柑橘果、葉、枝對象具有球體、片體和細柱體不同的三維幾何特征，提出一種識別柑橘果實的深度球截線方法。首先提出了球形果實特征提取的深度球截線方法的基本原理和關鍵參數，進而分別針對枝上果、葉孤立和貼碰區域提出了孤立果實的特征提取算法和貼碰果實的特征提取算法，得到了復雜枝環境下的深度數據處理與果實識別策略，并綜合根據Intel RealSense F200型深度傳感器參數、柑橘果實尺寸、近景探測范圍、數據預處理與特征提取需要完成了深度球截線方法的參數確定。大量室內試驗結果表明，深度球截線方法對孤立果實提取的平均成功率為97.8%，貼碰區域內果實提取的平均成功率為76%，而復雜枝環境的果實提取綜合成功率為63.8%。該深度球截線的識別方法僅利用有限的深度數據點，在保證原始數據精度的同時降低了運算量和果實特征提取復雜性，能有效應對果葉遮擋問題，實現對貼碰果葉的有效區分，對柑橘果實具有良好的適應性，為采摘機器人在復雜環境下的果實識別與定位提供了新的技術思路。

柑橘； 采摘； 識別； 深度信息； 球截線； 特征提取

引言

識別定位是采摘機器人的核心技術，而快速準確地提取采摘目標特征是果實識別的前提[1-3]。由于傳統的基于可見光圖像識別的定位方法在實時性、重疊對象分割和光照敏感性上存在著局限性，研究者陸續進行了其他途徑的探索，其中利用深度信息進行果實的識別定位成為研究熱點。

近年來，研究者開展了利用激光掃描測距[4-5]、TOF成像[6-7]和RGB-D傳感器[8-10]等深度信息獲取手段進行果實識別定位的研究。文獻[2，11-12]主要基于顏色特征進行果實識別，深度信息主要用于輔助定位，未能有效發揮深度信息的優勢以克服現有技術局限；而文獻[13-15]利用顏色與深度點云的匹配進行三維重構，進而在三維空間中同時利用顏色與形狀特征完成果實的識別與定位，其融合重構和果實分割算法復雜，實時性受到影響；文獻[16-20]則將深度信息還原為深度圖像，進而利用二維圖像的邊緣輪廓提取算法完成果實分割，未能充分發揮真實深度數據的優勢，導致“原始深度數據—圖像化—灰度數值計算—輪廓曲線提取—果實特征辨識”的分析處理過程復雜化，而且圖像化轉換產生的誤差導致相鄰對象的深度差異銳減，從而影響了目標分割與識別的可靠性。

本文針對目前各類基于深度信息實現果實識別方法的不足，提出柑橘果實識別的深度球截線方法并進行試驗驗證。

1 基于深度球截線的果實特征提取方法

1.1 深度球截線特征提取方法的提出

柑橘植株的果實、葉片和枝干分別具有實球體、片體和細柱體的幾何特征(圖1)。根據幾何學關系(圖2)，當以深度傳感器獲取植株冠層空間的三維深度點云數據(D、θ、φ)后，如以一定深度D為半徑的球面分別對具有實球體、片體和細柱體特征的果、葉、枝深度點云數據進行切割計算，將分別獲得圓、曲線段和近似圓點3類截線，進而可根據截線特征差異實現果、葉、枝3類對象的區分。

圖1 柑橘果實、葉、枝幾何特征與球面切割示意圖Fig.1 Geometric characteristics of citrus fruit, leaves and branches and sketch of spherical cutting1.實球體 2.深度球面 3.封閉圓 4.片體 5.曲線段 6.細柱體 7.近似圓點

1.2 深度球截線方法的理論模型

1.2.1球形果實的深度點云邊界

如圖2所示，當三維深度傳感器對球形果實進行探測時，可獲得深度點云數據的果實表面范圍為：由深度傳感器到果實表面的切點B所決定的近似球冠Z。

圖2 球形實體的深度球切割平面示意圖Fig.2 Schematic plan of spherical entity by depth-sphere cutting1.深度傳感器 2.截線 3.深度球面 4.最大深度球面 5.球形果實

其中最近點A具有被探測果實表面范圍內的最小深度

DA=minDZ

(1)

而最遠點則為從深度傳感器到果實表面的切點B，深度為

DB=maxDZ

(2)

1.2.2球形果實的深度球切割參數

如圖2所示，當以深度傳感器為中心、以一定半徑的深度球面對球形果實進行切割時，定義

L=DC-DA

(3)

式中L——球切深度，mm

DC——球切面到傳感器中心的深度，mm

圖2所示的幾何關系為

(4)

式中RC——截線圓半徑，mm

R——球形果實半徑，mm

將式(3)代入式(4)可得

(5)

由式(5)知，當球形果實被深度球面切的越深，所獲得的截線圓越大。由可獲得深度點云數據的果實表面范圍所決定，其最大球切深度為

(6)

因而，球切深度L總不超過果實的半徑。而當球切深度過小時，理論獲得的截線圓過小，同時考慮實際柑橘果實的形狀誤差和果皮表面粗糙性，難以保證獲得滿意的截線圓曲線。

1.2.3深度球截線的特征提取

當柑橘果實被果、葉、枝等遮擋時，深度傳感器將無法獲得完整的表面點云，深度球切割方法亦無法獲得封閉的截線圓。綜合考慮柑橘枝、葉截線的近似圓點和曲線段與果實截線的封閉圓和非封閉圓的特征差異，引入截線的離心率和像素數共同判斷的方法實現果實截線的判別函數關系

(7)

式中C(DC)——DC處利用深度球切割方法所獲得的對象截線

E——與截線各區域具有相同標準二階中心矩的橢圓離心率

AN——截線各連通域所包含深度像素點數

E0——E的閾值

AN0——AN的閾值

其中，橢圓離心率E可表示截線各連通區域的彎曲程度，在標準圓的離心率(0)和直線段的離心率(1)之間，利用離心率可有效濾除葉片對象；而考慮到柑橘果、葉、枝截線的尺寸差異，進一步利用像素數AN差異濾除枝、葉對象。

E0和AN0分別為截線各連通域的離心率閾值和像素數閾值，由試驗統計的果、葉截線的參數確定。當截線滿足式(7)時，則剔除枝、葉截線干擾，篩選出柑橘果實的截線。

2 柑橘果實對象特征提取策略

2.1 枝上果實的深度點云特征與預處理

2.1.1前景、背景干擾信息剔除

枝上場景內的柑橘果葉原始深度點云中包含了大量的前景、背景點云數據以及因在相機探測范圍外深度值被置為0的空洞噪聲。因此，以深度閾值對柑橘果實對象前景與背景進行點云分割，從而剔除前景、背景的干擾信息并縮減數據量，為后續果實快速提取提供有利條件。

2.1.2點云聚類與分類

在枝上空間內，具有細柱體特征的枝干在深度探測中呈現離散或連續的線類點云，而柑橘果、葉與枝干連接呈現復雜的點云結構，從而造成深度球截線方法無法實施。

為此，首先通過點云聚類濾除枝干等的線類點云與散點等干擾而獲得若干離散點云聚集區域，其中存在果、葉孤立和相互貼碰的不同情況，孤立的果、葉分別呈現出實球體和片體的幾何特征，而果葉相互貼碰連接呈現復雜的幾何結構。為實現枝上果實的識別，根據點云數量閾值N0將其劃分為孤立區域與貼碰區域，從而針對孤立和貼碰兩類不同區域中的果實給出相應的特征提取策略。

2.2 孤立果實的特征提取算法

針對孤立點云區域，只需要通過深度球面的一次切割即可完成果實特征的提?。?/p>

(1)針對所有孤立區域，在其深度數據點內搜尋各自的最近點A，并利用選定的球切深度L進行球面切割獲取各截線。

(2)計算各截線離心率E和像素數AN，以離心率閾值E0和像素數閾值AN0作為柑橘果、葉截線的判斷依據，從而從孤立果、葉中完成對果實的識別。

2.3 貼碰果實的特征提取算法

如圖3所示，以2個果實的貼碰點云區域為例，首先搜尋該貼碰區域的最近點A和最遠點B，當從最近點A起以固定球切深度L進行深度球切割時，僅能提取到靠前的果實2的截線圓，而造成后方相貼碰果實3的漏判。為此，在A和B之間逐次增加球切深度

DCi=DA+iL(i=1,2,…；DCi

(8)

通過DCi的逐次切割從而獲得多個截線，進而根據各截線的特征識別各果實。

圖3 貼碰區域中多次深度球切割示意圖Fig.3 Schematic diagram of multiple depth-sphere cutting in adhering area1.深度傳感器 2.靠近深度傳感器的果實 3.與果實2相貼碰的果實

在多次切割過程中，會出現同一果實被多次切割獲得不同截線圓的現象。如圖3所示，果實2被DC1和DC2兩次切割，通過增加兩相鄰果實截線的相對位置關系作為輔助判斷依據，從而避免被誤判為多個果實。

(9)

該逐次深度球切割的貼碰果實識別方法對果、葉貼碰的情況也同樣適用。

2.4 復雜枝環境的果實識別策略

綜合深度點云數據預處理、孤立與貼碰果實的提取算法，復雜枝環境的柑橘果實識別策略如圖4所示。

圖4 復雜枝環境的果實識別流程圖Fig.4 Flow chart of fruit recognition in complex on-branch environment

3 試驗與結果分析

3.1 試驗對象與材料

試驗于2016年8月—11月在江蘇大學現代農業裝備與技術教育部重點實驗室進行。試驗所用柑橘品種為鎮江江心洲無核蜜桔，利用游標卡尺分別測量100個成熟蜜桔果實的極直徑和赤道直徑，得到剔除畸形果的果實半徑R上、下限分別為29.66、19.32 mm。

如圖5所示，選擇Intel RealSense F200型傳感器作為深度信息的采集設備，采用Light Coding工作原理，其深度分辨率為640像素×480像素，水平方向探測角為73°，垂直方向探測角為59°，有效深度探測范圍為0.2～1.2 m?？紤]到RealSense F200型傳感器個體差異，利用光滑平面為對象進行傳感器有效探測范圍標定，結果表明RealSense F200型可獲取的最小穩定深度數據流為180 mm。此外，綜合柑橘果實尺寸和采摘機器人近景作業的需要，設定柑橘果實識別的近景探測范圍為180～600 mm，便于減小機器人視野內柑橘對象的復雜度。

圖5 RealSense F200型傳感器Fig.5 RealSense F200 sensor

3.2 深度球截線方法的參數確定

3.2.1近景探測的數據預處理

(1)近景處理范圍

根據3.1節設定的近景探測范圍，以180～600 mm的距離閾值對場景內柑橘對象的前景與背景進行點云分割，分割后有效剔除了前景、背景的干擾信息，同時不同枝上場景內對象的點云數量從307 200銳減至6 000～45 000，為后續果實快速提取提供了有利條件(圖6)。

圖6 枝上果葉深度點云的前景、背景剔除Fig.6 Foreground and background culling of depth point cloud on branch

(2)孤立與貼碰區域的劃分

如圖7所示，每一點云聚集區域內的理論最大深度點數為

(10)

式中θ、φ——每一點云聚集區域所對應的水平、豎直角，(°)

θ0、φ0——深度傳感器水平方向、垂直方向探測角，(°)

m、n——深度傳感器水平、豎直分辨率，像素

圖7 分割后的深度點云及其區域分類Fig.7 Segmented depth point cloud and its classification

由RealSense F200型傳感器分別對單獨的柑橘果、葉進行探測，統計發現當DA為180 mm時，單個柑橘果、葉區域的深度點數分別在15 000和13 000以內。而由式(10)可知，當特定點云聚集區域距深度傳感器越遠時，所對應的水平與豎直角θ和φ越小，其點云深度點數也越小。故在近景探測范圍內，根據讀取的每個點云聚集區域的DA，計算孤立與貼碰區域區分的深度點數閾值為

(11)

3.2.2深度球切割與特征提取

(1)球切截線圓上的深度點云數量

對柑橘果實進行深度球切割實際獲得的為若干離散深度點，因而深度點云的數量決定了能否獲得理想的截線圓曲線，其計算式為

(12)

式中Na——柑橘果實截線圓上的深度點云個數

ka——柑橘果實的極半徑、赤道半徑、形狀誤差和果實表面粗糙性的安全系數，ka<1

將式(3)、(5)代入式(12)得

(13)

由式(13)可知，對特定的柑橘果實品種及尺寸、深度傳感器參數和近景探測范圍，必須保證一定的球切深度L才能獲得用于截線圓特征提取的足夠深度數據點云。

(2)離心率和像素數

選擇100組不同尺寸和姿態的柑橘果、葉在近景探測范圍內所獲得的完整與非完整深度球截線，利用Matlab分別計算相應不同形態的果、葉、枝截線的離心率E和像素數AN，統計得到完整與非完整柑橘果實截線離心率的上限閾值為0.85，而像素數下限閾值為100。

(3)球切深度范圍

根據3.1節統計的柑橘果實半徑R和近景探測范圍確定DA的上下限，取安全系數ka為0.8，由式(13)可求得最小球切深度L為4.43 mm，取整為5 mm進行果實的識別試驗，以保證深度球截線方法能夠滿足近景處理范圍內對柑橘果實識別的實際應用需要。

3.3 試驗方法

3.3.1孤立對象的提取

圖8 試驗裝置和場景Fig.8 Test device and scene1.RealSense F200型傳感器 2.鉗口夾具 3.葉片 4.微型三腳架 5.三自由度支座 6.果實 7.枝干 8.落地三腳架

如圖8a所示，將RealSense F200型傳感器固定在微型三腳架上并保持傳感器平面與桌面垂直，在距離傳感器表面的近景范圍內擺放果、葉對象。RealSense F200型傳感器通過USB接口與計算機相連，并利用Intel RealSense SDK工具包和Microsoft Visual Studio 2013軟件平臺進行試驗場景深度信息的采集。

為盡可能還原枝上柑橘果、葉的實際生長狀態，利用三自由度支座和鉗口夾具活動調節被夾持對象的姿態。選取8個新鮮的柑橘果實為試驗對象，利用夾具分別對每個果實隨機調節使其呈現8種不同的位置姿態，共采集64個孤立果實場景的深度信息。而考慮到枝上葉片姿態的多樣性，選取6個新鮮的柑橘葉片為試驗對象，并利用夾具隨機調節葉片使每個葉片呈現20種姿態，共采集120個孤立葉片場景的深度信息。進而對獲得的184個孤立對象的深度數據分別應用2.2節提出的孤立果實的特征提取算法，利用3.2.2節中得到的5 mm球切深度L獲得相應深度球截線，并依據閾值E0為0.85和AN0為100進行相應孤立對象的判別。

3.3.2貼碰果實的識別

如圖8b所示，將RealSense F200型傳感器固定在落地三腳架上，在傳感器近景范圍內將果、葉放置在盆栽柑橘枝干系統上。貼碰果、葉場景的深度信息采集同3.2.1節。此外，根據貼碰試驗中盆栽枝干上果、葉的數量差異，將試驗進一步細分為單果單葉、單果兩葉、單果多葉和兩果一葉、兩果兩葉、兩果多葉6個貼碰類別。

以新鮮柑橘果、葉為試驗對象，首先通過改變果、葉懸掛在枝上的相對位置以呈現不同的姿態，其次又對每種姿態利用花盆底座以45°為間隔，原地水平旋轉各獲得8個姿態(圖8b)。貼碰試驗共采集40個單果單葉、40個單果兩葉、40個單果多葉、32個兩果一葉、40個兩果兩葉和48個兩果多葉場景的深度信息。最后分別對每個深度信息用2.3節提出的貼碰果實的特征提取算法，利用5 mm的球切深度L多次切割獲得多個深度球截線，依據閾值E0為0.85和AN0為100連同果實半徑R的下限作為輔助判斷參數，以進行相應貼碰果實的識別。

3.3.3復雜枝環境的果實特征提取

試驗布置參照圖8b，每組場景以3～4個新鮮柑橘果實與葉片為對象，并通過果、葉相對位置的調節呈現果、葉孤立與貼碰共存的枝上復雜姿態，再對每組姿態通過花盆底座以45°為間隔，原地水平旋轉獲得8個不同姿態，共采集80個枝上復雜場景的深度信息。

對每個深度信息應用2.4節所提出的復雜枝環境的果實識別策略，針對剔除枝干后的各點云聚集區域計算其最小深度DA，利用式(11)獲得相應孤立與貼碰區域劃分的深度點數閾值N0，進而對劃分出的孤立區域和貼碰區域分別應用孤立和貼碰果實的特征提取算法以進行果實的識別。

3.4 果實識別試驗結果與分析

3.4.1孤立果實的識別

孤立果、葉的典型截線結果如圖9所示。其中63條果實截線被準確識別，117條葉片截線被成功排除，總識別成功率為97.8%。

圖9 孤立果、葉及相應深度球截線Fig.9 Fruit and leaf with corresponding transversals in isolated area

其中所出現的一條果實截線被漏判，是由于試驗中鉗口夾具與被夾持柑橘果實的不當布置造成干擾所導致(圖10a)，而其中3條葉片截線由于葉片彎曲相對嚴重而被誤判為果實(圖10b)。試驗結果表明，對于孤立果、葉，單次深度球切割即可達到極高的識別成功率，而通過探測中的深度傳感器位姿變化有望進一步降低誤判率。

圖10 孤立果、葉誤判截線Fig.10 Isolated fruit and leaf with misjudgment transversals

3.4.2貼碰果實的識別

圖11所示為典型果葉貼碰情況下多次深度球切割所判出的果實截線結果。

圖11 貼碰果葉與相應判出為果實的深度球截線Fig.11 Success fruit transversals in adhering area1、2.單果單葉貼碰果實及其截線 3、4.兩果多葉貼碰中的果實 5、6.果實3、4的對應截線

表1為不同類果葉貼碰情況下柑橘果實識別效果。

表1 不同類果葉貼碰情況下果實識別效果Tab.1 Success rate of fruit extraction in different types of touching fruits and leaves 個

單果單葉輕微貼碰時，果實識別成功率為92.0%，隨著相貼碰果、葉數量的增加識別成功率隨之下降，但兩果多葉嚴重貼碰時的果實識別成功率仍可達到57.7%。當果實存在與葉片的輕微貼碰時，一部分經深度球面切割仍可獲得完整的果實截線(圖11a)，另一部分經深度球面切割盡管得到非封閉的截線，但其截線仍呈現出二分之一及以上近封閉圓的特征，利用離心率和像素數的篩選仍然可被準確判別為果實(圖11b)。

隨著葉片與果實的貼碰程度增加，截線的圓形特征驟降，多次深度球面切割均難以獲得符合離心率和像素數判據的截線，因此，可能出現果實未成功判別的漏判現象(圖12a)。如表1所示，嚴重貼碰時的果實漏判率從少量貼碰時的6.6%驟增至25.8%。同時，當視場角度內葉片姿態恰巧經深度球切割獲得封閉截線或嚴重彎曲截線時，則出現葉片被誤判為果實的現象(圖12b)。但此類葉片恰巧姿態出現的概率較低，少量貼碰和嚴重貼碰時的葉片誤判率分別為3.3%和5.3%。

圖12 誤判與漏判現象Fig.12 Misjudgment and misdetection phenomenons1、2.嚴重貼碰的葉片和果實 3.漏判的果實截線 4.特殊姿態葉片 5.誤判為果實的葉片截線

3.4.3復雜枝上環境下的果實提取

圖13所示為典型果、葉孤立與貼碰并存的復雜枝環境下所判出的果實截線結果。對多果、葉復雜枝環境，柑橘的前背景快速剔除、區域聚類劃分和單次、多次深度球切割均得以快速實現，果實識別的綜合成功率為63.8%。由枝上果實近景識別的視場范圍和前、背景剔除所決定，每幀點云數據內被應用深度球截線方法檢測的果、葉數量有限。

圖13 復雜枝上環境與相應判出為果實的深度球截線Fig.13 Success fruit transversals in complex environment1.孤立果實 2、3.貼碰果實 4.孤立果實的截線 5、6.貼碰果實2、3的對應截線

試驗發現，深度球截線的枝上果實識別方法具有較為突出的優勢：

(1)由于深度球面切割直接利用原始深度值進行截線提取，有效利用了傳感器的原始數據精度并大大降低了果實特征提取過程的復雜性，算法極為簡單便捷。

(2)本方法將冠層內普遍存在的因果葉空間遠近差異所導致的遮擋情況，利用點云聚類方法將其劃分為孤立對象而得以準確檢出，在少量貼碰下也能保證較高的識別率，因而對有效改善“重疊遮擋”問題對果實識別的巨大困擾具有重要價值。

4 結論

(1)基于柑橘的果、葉、枝對象分別具有實球體、片體和細柱體的三維幾何特征與深度傳感器能夠采集對象深度點云的優勢，提出一種柑橘果實識別的深度球截線方法，并分析了球切割參數對果實特征提取效果的影響。

(2)針對點云聚類后得到的果、葉孤立和貼碰區域，分別提出了孤立果實的特征提取算法和貼碰果實的特征提取算法，并提出了復雜枝上環境中果、葉孤立與貼碰并存情況下的果實識別策略。

(3)試驗結果顯示，深度球截線方法對孤立果實提取的平均成功率為97.8%，貼碰區域內果實提取的平均成功率為76.0%，而復雜枝環境下果實提取的綜合成功率為63.8%。其中貼碰與復雜環境的對象過多或果、葉嚴重貼碰的情況會對果實提取的成功率造成影響。

(4)該深度球截線的識別方法僅依賴單一深度信息，能有效應對果葉遮擋問題，整體運算量也小于傳統彩色信息，而且達到了較高的識別成功率。該方法為樹上果實的全天候實時識別與定位作業提供了新思路。

1 苗中華，沈一籌，王小華，等.自然環境下重疊果實圖像識別算法與試驗[J/OL].農業機械學報，2016，47(6)：21-26.http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?file_no=20160603&flag=1.DOI：10.6041/j.issn.1000-1298.2016.06.003.

MIAO Zhonghua，SHEN Yichou，WANG Xiaohua，et al.Image recognition algorithm and experiment of overlapped fruits in natural environment[J/OL].Transactions of the Chinese Society for Agricultural Machinery，2016，47(6)：21-26.(in Chinese)

2 王輝，毛文華，劉剛，等.基于視覺組合的蘋果作業機器人識別與定位[J/OL].農業機械學報，2012，43(12)：165-170.http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?file_no=20121230&flag=1.DOI：10.6041/j.issn.1000-1298.2012.12.030.

WANG Hui，MAO Wenhua，LIU Gang，et al.Identification and location system of multi-operation apple robot based on vision combination[J/OL].Transactions of the Chinese Society for Agricultural Machinery，2012，43(12)：165-170.(in Chinese)

3 司永勝，喬軍，劉剛，等.蘋果采摘機器人果實識別與定位方法[J].農業機械學報，2010，41(9)：148-153.

SI Yongsheng，QIAO Jun，LIU Gang，et al.Recognition and location of fruits for apple harvesting robot[J].Transactions of the Chinese Society for Agricultural Machinery，2010，41(9)：148-153.(in Chinese)

4 JIMéNEZ A R，CERES R，PONS J L.A vision system basedon a laser range-finder applied to robotic fruit harvesting[J].Machine Vision and Applications，2000，11(6)：321-329.

5 馮娟，劉剛，司永勝，等.蘋果采摘機器人激光視覺系統的構建[J].農業工程學報，2013，29(增刊1)：32-37.

FENG Juan，LIU Gang，SI Yongsheng，et al.Construction of laser vision system for apple harvesting robot[J].Transactions of the CSAE，2013，29(Supp.1)：32-37.(in Chinese)

6 ZHU J，WANG L，YANG R，et al.Fusion of time-of-flight depth and stereo for high accuracy depth maps[C]∥2008.IEEE Conference on Computer Vision and Pattern Recognition，2008：1-8.

7 孫力，蔡健榮，李永平，等.基于TOF成像技術的柑橘實時識別與定位[J].江蘇大學學報：自然科學版，2013，34(3)：293-297.

SUN Li，CAI Jianrong，LI Yongping，et al.Real-time citrus recognition and location based on TOF image technology[J].Journal of Jiangsu University：Natural Science Edition，2013，34(3)：293-297.(in Chinese)

8 AS’ARI M A，SHEIKH U U，SUPRIYANTO E.3D shape descriptor for object recognition based on Kinect-like depth image[J].Image & Vision Computing，2014，32(4)：260-269.

9 ALHWARIN F，FERREIN A，SCHOLL I.IR stereo Kinect：improving depth images by combining structured light with IR stereo[M]∥PRICAI 2014：Trends in Artificial Intelligence.Springer International Publishing，2014：409-421.

10 LEHNERT C，SA I，MCCOOL C，et al.Sweet pepper pose detection and grasping for automated crop harvesting[C]∥IEEE International Conference on Robotics and Automation，2016：2428-2434.

11 董建民，陳偉海，岳昊嵩，等.基于Kinect視覺系統的西紅柿自動識別與定位[J].中國農機化學報，2014，35(4)：169-173.

DONG Jianmin，CHEN Weihai，YUE Haosong，et al.Automatic recognition and location of tomatoes based on Kinect vision system[J].Journal of Chinese Agricultural Mechanization，2014，35(4)：169-173.(in Chinese)

12 BULANON D M，KATAOKA T.A fruit detection system and an end effector for robotic harvesting of Fuji apples[J].Agricultural Engineering International：The CIGR E-journal, 2010, 12(1)：203-210.

13 CHEN X，CHAUDHARY K，TANAKA Y，et al.Reasoning-based vision recognition for agricultural humanoid robot toward tomato harvesting[C]∥IEEE/RSJ International Conference on Intelligent Robots and Systems，2015.

14 麥春艷，鄭立華，孫紅，等.基于RGB-D相機的果樹三維重構與果實識別定位[J/OL].農業機械學報，2015，46(增刊)：35-40.http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?file_no=2015S006&flag=1.DOI：10.6041/j.issn.1000-1298.2015.S0.006.

MAI Chunyan，ZHENG Lihua，SUN Hong，et al.Research on 3D reconstruction of fruit tree and fruit recognition and location method based on RGB-D camera[J/OL].Transactions of the Chinese Society for Agricultural Machinery，2015，46(Supp.)：35-40.(in Chinese)

15 NGUYEN T T.Structured light-based 3D reconstruction system for plants[J].Sensors，2015，15(8)：18587-18612.

16 NISSIMOV S，GOLDBERGER J，ALCHANATIS V.Obstacle detection in a greenhouse environment using the Kinect sensor[J].Computers & Electronics in Agriculture，2015，113：104-115.

17 LI D，XU L，TAN C，et al.Digitization and visualization of greenhouse tomato plants in indoor environments[J].Sensors，2015，15(2)：4019-4051.

18 宗澤，郭彩玲，張雪，等.基于深度相機的玉米株型參數提取方法研究[J/OL].農業機械學報，2015，46(增刊)：50-56.http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?file_no=2015S009&flag=1.DOI：10.6041/j.issn.1000-1298.2015.S0.009.

ZONG Ze，GUO Cailing，ZHANG Xue，et al.Maize plant type parameters extraction based on depth camera[J/OL].Transactions of the Chinese Society for Agricultural Machinery，2015，46(Supp.)：50-56.(in Chinese)

19 XIA C，WANG L，CHUNG B K，et al.In situ 3D segmentation of individual plant leaves using a RGB-D camera for agricultural automation[J].Sensors，2014，15(8)：20463-20479.

20 馮娟，劉剛，司永勝，等.基于激光掃描三維圖像的樹上蘋果識別算法[J/OL].農業機械學報，2013，44(4)：217-222.http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?file_no=20130438&flag=1.DOI：10.6041/j.issn.1000-1298.2013.04.038.

FENG Juan，LIU Gang，SI Yongsheng，et al.Apple fruit recognition algorithm based on laser scanning 3-D image[J/OL].Transactions of the Chinese Society for Agricultural Machinery，2013，44(4)：217-222.(in Chinese)

Depth-sphereTransversalMethodforon-branchCitrusFruitRecognition

LIU Jizhan ZHU Xinxin YUAN Yan

(KeyLaboratoryofModernAgriculturalEquipmentandTechnology,MinistryofEducation,JiangsuUniversity,Zhenjiang212013,China)

Considering the three-dimensional geometric characteristics of the fruit, leaf and branch objects of citrus are real sphere, slice and thin cylinder, and together with the advantage of depth sensors can collect the depth point cloud of the object.A method to recognize citrus fruits based on depth-sphere transversal was proposed.Firstly, the basic principle and the key parameters of the depth-sphere transversal method for spherical fruits feature extraction were proposed.Secondly, point cloud clustering and regional division method were used to obtain isolated and adhering area, and the feature extraction algorithms of isolated fruits and adhering fruits were put forward to fruit and leaf in isolated areas and fruits or leaves in touching areas, respectively.In addition, in-depth data processing and fruits recognition strategy of a complex environment were obtained.According to the Intel RealSense F200 depth sensor parameters, citrus fruit size, close-range detection range, data preprocessing and the requirements for feature extraction algorithm to determine the parameters of the depth-sphere transversal method were carried out.A large number of indoor tests results indicated that the average success rate was 98.4% by the depth-sphere transversal method in isolated area, and the average success rate was 76% in touching region, while the comprehensive success rate was 63.8% in complex environment.The depth-sphere transversal identification method only used the limited depth data points to ensure the accuracy of the original data and at the same time to reduce the amount of computation and the complexity of fruit feature extraction.This can effectively deal with the problem of fruit and leaf occlusion, and achieve the effective distinction between sticking fruits and leaves.The method had a good adaptability to the citrus fruit, which provided a new idea for robots to recognize and locate fruits in complex environment.

citrus; picking; recognition; depth information; sphere transversal; feature extraction

10.6041/j.issn.1000-1298.2017.10.004

TP391

A

1000-1298(2017)10-0032-08

2017-02-21

2017-03-24

國家自然科學基金項目(51475212)、江蘇省自然科學基金項目(BK20151339)、江蘇省高校自然科學研究重大項目(16KJA210002)和江蘇省高校優勢學科建設工程項目(PAPD)

劉繼展(1976—)，男，研究員，博士生導師，主要從事農業機器人研究，E-mail: liujizhan@163.com