矮化密植棗園收獲作業視覺導航路徑提取

彭順正，坎 雜，李景彬

?

矮化密植棗園收獲作業視覺導航路徑提取

彭順正1，坎 雜2，李景彬2※

（1. 石河子大學信息科學與技術學院，石河子 832000； 2. 石河子大學機械電氣工程學院，石河子 832000）

針對矮化密植棗園環境的復雜性，提出一種基于圖像處理的棗園導航基準線生成算法。選用B分量圖進行處理，提出“行閾值分割”方法分割樹干與背景；根據拍攝場景及視角提出“行間區域”方法剔除行間噪聲；通過統計樹干與地面交點位置分布區域選取圖像五分之二向下區域進行處理；依據樹干縱向灰度分布規律，采用浮動窗口灰度垂直投影方法結合形態學開閉運算提取樹干區域；基于棗園行間線性分布特征引入“趨勢線”，而后利用點到直線的距離與設定閾值作比較選取樹干與地面的交點；利用交點的位置分布將其歸類，并采用最小二乘法原理擬合左右兩側邊緣，提取邊緣線上各行的幾何中心點生成棗園導航基準線。通過對陰天、晴天、順光、逆光、噪聲多元疊加5種條件進行試驗，結果表明，該算法具有一定的抗噪性能，單一工況條件導航基準線生成準確率可達83.4%以上，多工況條件準確率為45%。針對5種工況條件的視頻檢測，結果表明，單一工況條件算法動態檢測準確率可達81.3%以上，每幀圖像處理平均耗時低于1.7 s，多工況條件檢測準確率為42.3%，每幀圖像平均耗時1.0 s。該研究可為矮化密植果園實現機器人自主導航作業提供參考。

機械化；農作物；圖像識別；棗園；行閾值分割；行間去噪；趨勢線

0 引 言

導航路徑基準線的生成是農業機器人自主導航作業研究的核心內容，基于視覺技術獲取農業機器人作業路徑優點是靈活性好、成本低、精度高、抗噪聲能力強，較GPS導航有更好的環境適應性[1]。

目前，機器人自動導航技術在田間、喬化密植果園和林間得到廣泛應用[2-20]，比如基于機器視覺導航技術進行棉花采收，玉米行間除草，空間自然環境三維模型導航信息映射采集，戶外非結構化路徑檢測，耕作機在高作物環境茬田等機械化作業。田間環境采用行播種植，作物行排列整齊，壟溝特征突出，為擬合兩側邊緣線提供了很好的識別依據。李景彬等[21-22]根據田間作物的顏色特征利用色差法模型識別出道路與植物行邊界線，而后根據邊界特征提取機器人作業路徑。喬化密植果樹生長規范，樹干與地面交點特征明顯，視野范圍內目標特征容易提取，為快速生成導航基準線奠定了基礎。馮娟等[23]針對喬化密植果園背景復雜性提出了一種導航路徑提取算法，通過鄰近區域灰度一階導數變化規律提取邊緣特征點，而后提取邊緣線中心線生成導航基準線；He等[24]運用水平投影的方法尋找果園圖像中的樹干與地面的交點，利用最小二乘法擬合導航基準線。林間環境中，樹干垂直挺拔，但其排列隨機，光照不均且背景多元疊加，吳佳藝等[3]針對林間環境特點，通過尋找樹干與交點擬合邊緣線，而后提取邊緣中心線作為導航基準線。

上述針對田間、喬化密植果園、林間的自主導航研究均是通過尋找道路與植物的分界點，而后利用分界點擬合邊緣線，最后提取兩側邊緣中心線作為導航基準線。

新疆紅棗主要推廣直播建園，矮化密植種植面積廣，與喬化密植果園比較相似，二者均為行播種植，行株距規范，樹體角度開張，透光性好，但是二者樹高及主干高度不同，前者樹高一般為2 m，主干高度為0.5 m，后者樹高一般在2.5～3.5 m，主干高在1～1.5 m[25-26]。收獲作業主要依靠人工和機械化完成，但其工作時間長、勞動強度大、環境惡劣，對人體健康不利[27-28]。針對此問題，有必要使用機器人自主導航技術完成紅棗收獲作業?；谀壳霸谔镩g、林間、喬化密植果園自主導航技術的研究，結合矮化果園特殊性，本文提出一種棗園收獲時期視覺導航基準線生成算法，以期為新疆矮化密植果園實現機器人自主導航作業提供參考。

1 路徑提取算法

2015年10月至11月在新疆第一師阿拉市11團矮化密植棗園（駿棗，5 a生）拍攝試驗圖像，采集硬件設備為佳能自動對焦EF-S系列相機，圖像存儲格式為JPEG格式，相機距離地面為1 m，其軸線與水平面向下夾角在15°至25°之間（俯角若是選擇太大，視野中會出現多個行，不便于后續處理，選擇太小，不能反映出棗樹行整體輪廓特征）。處理圖像的計算機為華碩筆記本（XP系統，主頻2.1 GHz，內存2 G，處理器為Intel(R)Core(TM)i3）?；赩S2010的MFC環境結合OPENCV2.4.9開發路徑提取算法程序，圖像大小為230×168，圖1為圖像采集示意圖。

2016年10月至11月在新疆第一師阿拉爾市9團矮化密植棗園（駿棗，5 a生）拍攝機械作業視頻，采集硬件設備為佳能自動對焦EF-S系列相機，視頻存儲為AVI格式，相機距離地面為1 m，其軸線與水平面向下夾角在15°至25°之間。

1.1 圖像特征分析及預處理圖像的選取

圖2上方為棗園環境圖像，樹高在1～2 m之間，行間距為2 m。行間呈線性分布，主干高度在0.3～0.5 m之間，皮質厚且干燥開裂，夾雜有土灰，顏色與土壤接近；樹枝皮質平滑，呈淡紫色，紅棗為深紫色，表皮粘有土灰，地面有脫落的枯葉（棕黃色）和紅棗。近視野范圍內主干與地面交點比較明顯，與環境有較強對比度，為此考慮提取近視野的主干特征點；枝條和紅棗聯結，很難從背景中單獨提取，地面枯葉分布雜亂，會對后續提取導航特征點造成干擾，將用去噪方法消除。

為了分析各對象分量分布特性，在圖像水平方向作一條剖面線（如圖2上方中的黑色直線）。圖2上方是剖面線上各點、、分量像素值分布情況，橫軸為列索引值，縱軸為分量值，、、分布規律分別用紅線、綠線、藍線描述。整體上>>，但值與值比較相近。為剖面線上分量平均值，標準偏差為，灰色直線為=-0.5×，下方有6個波谷，編號為1#～6#，其中1#、5#、6#為樹干所在區域，2#、3#、4#形成主要是地面枯葉堆積存在縫隙。土壤顏色和主干表皮顏色相近，此類波谷點會影響后續特征點的提取，后續算法中作為噪聲消除。綜上所述，選用分量灰度圖可以很好地將樹干和背景區分開來。

為實現樹干與背景分割，提出基于“行閾值”分割方法。圖像大小為×，(,)為點(,)的分量，0≤≤?1。本研究方法如下：

1）由下往上逐行掃描，計算第行分量平均值Baver及標準偏差Bstd。

（2）

式中為圖像的長，pixel；為圖像的高，pixel。

2）計算第行閾值T，如果()>T，點()亮度值置255，否則置0。

結合棗園環境的特殊性，利用兩側線性排列特征及視野規律，提出基于行掃描的“行間區域”去噪方法消除行間噪聲。算法具體描述如下：圖像分辨率為，H為第行的縱坐標，S和E分別為第行起點和終點橫坐標，起始掃描行0?1，0=20（對所有樣本統計，超過九成圖像左下角樹干集中分布在橫坐標為20的范圍內）、0?0?1，行掃描區間[S,E]由場景和拍攝角度決定，圖3為本算法原理示意圖，底色區域為算法掃描痕跡，紅色虛線為當前掃描行。

1）從起始掃描行開始，=?1,由起始點(S,H)開始向右檢索，若當前點亮度值為255，將其亮度值置0，若當前點為終止掃描點(E, H)，本行掃描結束，=?1，進入下一個掃描行；2）若當前行縱坐標H=0成立，則終止掃描，否者執行步驟3）；3）若S+5=E?5成立，則當前行掃描起始點橫坐標S=S+1，終止點橫坐標E=E+1，縱坐標H=H+1?1，?1，否則S=S+1，E=E+1?1，H=H+1?1；4）跳轉步驟2）繼續執行。

1.2 主干骨架的提取

近視野范圍內樹干與地面交點比較明顯，導航信息容易提取，選擇圖像近視野范圍進行處理，以提高本算法的路徑檢測效率。吳佳藝等[3]通過統計樣本圖像視野范圍內樹干與地面交點位置分布，選取圖像三分之二處向下區域處理，同理，本研究對309張具有代表性的圖像統計樹干與地面交點位置，得出樹干與地面較點都集中在圖像五分之二向下區域，為此選取圖像五分之二向下區域進行處理。采用“行閾值”分割方法將分量灰度圖二值化，主干形狀呈縱向分布，所在區域白色像素點比較稠密，采用文獻[8]浮動窗口掃描圖像方式，設置一個浮動窗口，利用灰度垂直投影方法提取主干區域。

如圖4所示，為坐標原點，h為浮動窗口高度，長度為，上限縱坐標為h，下限縱坐標為h=h?h，浮動窗口以縱向對稱軸劃分為左右2個窗口，首次掃描h=?1；浮動窗口個數=/h，不足一個浮動窗口區域高度h=?/h，2條紅色虛線之間區域為當前浮動窗口。

1）根據參數設置浮動窗口，行掃描檢索左、右窗口區域白色像素點，根據分布區域分別將其橫坐標存入數組A、A中，而后用“冒泡法”找出A的最大值max、A數組最小值min，將A、A清零。

2）從點(max, h)向左開始，以列掃描左窗口，統計每列白色像素數W()，并計算第個浮動左窗口白色像素點個數的平均值，0≤≤?1，若W()，則窗口中第列非零灰度像素點置0。

3）右窗口處理方法同左窗口，掃描方向與左窗口相反，起始點為(min,h)，第列白色像素數、平均數分別W()，。

4）令h=h，h=h?h，max=0, min=?1，=?1。如果<0，跳轉步驟（5），否則，重復（1）至（4）；

5）縱坐標在[0,h]區域灰度非零像素點置0，程序終止。

1.3 趨勢線提出與有效特征點提取及其邊緣擬合

兩側邊緣特征點的準確快速提取是視覺導航研究的核心內容。

導航特征點提取方法很多，李景彬等[2]通過尋找圖像處理區域垂直累計分布直方圖波谷，而后尋找局部窗口的直方圖的波谷，并將這波谷點集合作為候補點群；何潔等[29]利用灰度垂直投影的方法，獲取作物行的位置，而后利用等面積的小矩形掃描包含作物行的矩形框，并統計有效點的個數作為特征點集；王新忠等[30]采用大津法對溫室番茄壟間圖像進行分割，而后提取目標區域邊緣獲得導航離散點群；楊慶華等[31]通過尋找樹干與地面交點，作為擬合兩側邊緣線的一系列離散點簇。

綜上分析，本研究通過尋找樹干與地面交點作為邊緣離散點。具體方法簡述如下：提取主干骨架之后，以行掃描方式從圖像底部往上檢索，點（）為當前掃描點，圖像縱向中心線橫坐標x=0.5×，若當前掃描點灰度值()255且(+1)0，=0，≤c，將點()存入數組A中；同理，若()=255，(,+1)=0，(1,)=0，將點()存入數組A中。本方法容易將枝干的拐點誤檢為地面交點，針對此問題引入了“趨勢線”。

1.3.1 趨勢線的確定及直線方程

棗園為行播種植模式，每行有2條“趨勢線”，本文中描述行左側邊緣走勢的直線稱為“左趨勢線”，右側稱“右趨勢線”。根據兩點確定一條直線的數學原理，在左右兩側分別找出2個合適的點即可確定2條趨勢線。兩點的確定方法如下：以圖像縱向中心軸為界，i表示左半圖像的列號（0≤i≤0.5×），j表示左半圖像的行號（0≤j≤），i表示右半圖像的列號（0.5×≤i≤），j表示右半圖像的行號（0≤j≤）。點(i,j)是中心軸在第j個（從圖像下底邊向上數）非零行向左遇到的第一個白色像素點坐標，點(i,j)是中心軸在第j個非零行向右遇到的第一個白色像素點，分別用來存儲點（i,j）和點(i,j)的數組，[i].表示數組第i個元素為，與[i].表示意義相同，x為中心軸橫坐標。本算法示意圖如圖5所示。

1）從圖像下底邊開始，由中心軸向左右兩邊以行掃描圖像，將中心軸左、右兩側所有白色像素點（i, j）和點(i, j)按分布區域歸類，并按檢測順序分別存入和中。

2）將兩數組首元素[0]和[0]分別賦值給點（i, j）、（i, j），并將兩點分別作為左、右趨勢線的第一個點。

3）計算D[i]=x-[i].、D[i].?x，使用“冒泡法”分別尋找D和D最小值min和min，記錄當前i和i，將數組元素[i]和[i]分別賦值給點(i, j)和(i, j)，并將兩點分別作為左、右趨勢線的第二個點。

算法模型中，一般選用左下角為坐標原點，圖像左上角為坐標原點。為了遵循算法模型習慣，將坐標原點變換到左下角，軸旋轉180°，軸平移到下底邊，圖像分辨率為×。根據變換原理可得式（4）與式（5）

（5）

新坐標系內，設點(11),(22)是直線上兩點，點(,)是除去（11），(22)兩點的直線上任意一點。根據“兩點式”方程（6）可得式（7）

（7）

其中=1?2、=2?1、=21?12。

將左趨勢線第一、二兩點代入式（4）、（5）可解得新坐標點分別為(i,?j?1)，(i,?j?1)；同理，右趨勢線兩點分別為(i,?j?1)，(i, N?j?1)。分別將其代入式（7）可得左、右趨勢線，一般方程分別為式（8）和式（9）。

（9）

1.3.2 有效特征點選取

兩側邊緣特征點選取準確與否直接影響提取基準線準確性。對已生成數組A和A篩選出有效特征點，本研究算法具體描述如下：閾值為,d為數組第個元素到相應趨勢線的距離，0≤≤，為元素個數，點(x,y)為數組第個元素，趨勢線的一般方程為=0。1）根據點到直線距離公式計算所有特征點的d；2）選取有效特征點，如果d≤（=1，表示一個像素點的偏離，也就是將偏離趨勢線一個單位像素內的所有點作為特征點），則(x,y)為樹干與地面交點。

利用上述算法對A和A的特征點進行分選后，得近視野范圍內樹干與地面交點。最小二乘法通過最小化誤差的平方和尋找數據的最佳函數匹配，尤其對數據量較少時，擬合直線精度高、速度快。分選后數組A和A元素都比較少，為此選用最小二乘法對檢測的離散點進行邊緣擬合。

1.4 基準線的生成

如圖6所示，i為左側邊緣線上離散點的橫坐標，i為右側邊緣線上離散點的橫坐標。設p(i,)為左邊緣線上的任意點，p(i,)為右邊緣線上任意點，p(i,j)為p(i,j)和p(i,)的幾何中點，Δ=i?i，則

（11）

聯合式（10）、式（11）求出所有的點p(i, j)作為基準線上的候補離散點群，而后利用最小二乘法對候補點群進行擬合得出導航基準線。

1.5 路徑提取流程

路徑檢測算法檢測流程為：1）讀取圖像數據塊；2）采用行閾值分割二值化；3）依次采用行間去噪、灰度垂直投影（浮動窗口高度h=15，根據去噪效果和樹干信息完整程度而設定）、形態學處理（閉運算、開運算）、垂直投影（浮動窗口高度h=20，根據去噪效果和樹干信息完整程度而設定）、形態學處理（閉運算、開運算）去噪；4）確定趨勢線；5）點到直線的距離方法提取樹干與地面的交點；6）采用最小二乘法擬合邊緣、提取導航基準線路徑。

2 試驗結果與分析

2.1 路徑算法檢測過程分析

導航研究領域中，環境的影響因素很少考慮光照強度，主要從環境類型特征入手。吳佳藝等[3]為了研究光照對視覺導航路徑的影響將環境分為上午時段、中午時段、下午時段等類型進行研究；文獻[30]、[32-33]將環境類型分為晴天、陰天、多云研究光照對視覺導航路徑提取的影響。故本文根據實際需求，針對時間段為2015年10月26日至2015年11月15日，以及2016年10月26日至2016年11月15日的天氣狀況，綜合選取順光（早晨北京時間8:00～12:00之間，以及下午14:00～18:00之間，拍攝方向與陽光同向，行間無薄膜、缺株斷苗等情況）、逆光（拍攝方向與陽光正對，其他條件同順光）、晴天（拍攝為下午北京時間12:00～14:00之間，拍攝方向與陽光接近垂直，其他條件同順光）、陰天（拍攝時間為北京時間6:00～8:00以前，下午18:00～20:00，其他條件同順光），噪聲多元疊加等5種環境類型進行分類研究。

圖7中選取順光、逆光、晴天、陰天4個環境類型具有代表性的圖像進行路徑檢測分析。

圖7b、7h、7n、7t為“行閾值分割”二值化效果，7h中上部存在一個黑洞，是受光照影響。圖7n左下側白色區域為樹干陰影區域。圖7c、7i、7o、7u為“行間區域”去噪效果，行間噪聲消除，樹干附近有少量噪聲。圖7d、7j、7p、7v 為第一次灰度“垂直投影”方法提取樹干效果，主干提取明顯，樹干內部存在孔洞和諸多孤立小面積區域，使用形態學填充。圖7e、7k、7q、7w是形態學、第二次灰度“垂直投影”、形態學處理結果，提取區域與樹干位置重疊。圖7f、7l、7r、7x分別為4種環境下的檢測結果，紅線為首次特征點連線，存在樹干拐點（點到直線的距離方法消除），黃色直線與紅色折線有一系列的交點，是樹干與地面的交點簇。2條藍色直線為“趨勢線”，“趨勢線”與邊緣線走勢帖近。2條黃線為“邊緣線”。紫紅色線為導航基準線。

圖8a～8f分別為原圖像、行閾值分割、行間去噪、灰度垂直投影提取樹干、形態學處理、檢測結果。圖8f中兩側“趨勢線”和邊緣線與行邊緣偏離，基準線與壟溝方向偏離。綜合圖8b～8e處理效果分析，透亮薄膜光漫反射明顯，造成圖像左側視野遠處樹干與地面信息模糊，無法準確區分目標區域，導致圖8b上部產生“黑洞”。圖8b左側近視野部分樹干處于背光區，薄膜漫反射作用增強邊緣信息對比度，左下角白色團塊是藍色塑料管道口背光區（圖8a中對應區域），“左趨勢線”第一個點選取就偏離樹干區域（8f對應區域），左趨勢線偏離，左側交點提取無效；右邊緣線偏離是圖像從左往右亮度增強后逐漸減弱（存在背光區，圖8a右側區域），圖8b右側弧形白色團塊為背光區，其所在位置偏離右邊緣，導致圖8d、8e處理結果為背光區邊緣。

2.2 算法對圖像檢測結果分析

本文對采集具有代表性的309張圖像進行人工擬合最佳導航基準線，通過計算人工擬合基準線與路徑提取算法所得基準線的夾角1、生成準確率ar、每幀圖像算法耗時性能參數進行統計分析，根據文獻[23]可以認為0≤1≤3°檢測結果正確，結果如表1所示。由表1可知，在單一工況（指陰天、晴天、順光和逆光的狀況）條件下進行測試，試驗表明：該算法準確率可達83.4%以上，每張圖像平均耗時低于11.9 s，多工況（噪聲多元疊加，下文相同）條件檢測準確率為45%。但準確率和實時性需要進一步提高。

表1 不同環境下算法性能的評估

針對噪聲疊加環境，試驗內容包含非正常拍攝角度及多種工況條件疊加，結合每個試驗過程分析，造成路徑檢測失敗原因為：1）非正常拍攝角度情況（相機俯角15°～25°范圍為標準，攝像頭前向靠近壟溝中心線），距離圖像左右兩側20個像素范圍內存在未分布有樹干或樹干分布超出這個范圍，導致“行間區域”方法無法分辨目標和噪聲而將樹干區域去掉，在后續處理中無法恢復失真后的邊緣信息，從而造成檢測結果失??；2）當處于表陰天、晴天、順光和逆光工況條件組合情況下，主要存在目標背景對比度模糊，地表凹凸不平形成大面積背光區，其他雜物顏色與樹干接近等問題，這些因素均會在目標分割環節中產生非結構化團塊，導致“趨勢線”選取后無法描述壟溝線性特征，使得提取的邊緣信息錯誤。

2.3 算法檢測視頻結果分析

利用Opencv自帶VideoCapture視頻類，結合本算法處理視頻，分別處理5種不同工況環境中的作業視頻，檢測結果如表2所示。陰天、晴天、順光、逆光視頻幀率為29.9 fps，采用定時器播放，播放間隔為33.4 ms；噪聲多元疊加視頻幀率為24 fps，播放間隔41.7 ms。測試環境為Win7 32位操作系統，處理器AMD，頻率為2.80 GHz，圖像規格均為230×168。針對5種工況環境視頻檢測，結果表明單一工況視視頻動態檢測準確率可達81.3%以上，每幀圖像平均耗時低于1.7 s；噪聲多元疊加條件檢測準確率為42.3%，每幀圖像平均耗時為1.0 s。

表2 算法實際應用性能評估

綜合上述圖片視頻處理效果分析，算法需要提高處理速度，增強算法在多種角度下的自適應性及局部目標識別的靈敏度，盡可能減少大面積團塊的形成，以提高算法抗噪性和實時性，整體上視頻檢測每幀圖像平均耗時低于靜態圖片檢測每幀圖像平均耗時，但是檢測準確率二者比較相近。算法實時性和檢測準確率還有一定的提升空間，是進一步深入研究的重點內容。試驗對比發現，在所有因素完全相同的情況下，算法靜態處理同一幀圖像和視頻動態處理結果存在部分差異，說明算法處理圖像具有一定隨機性，需要進一步探究其成因，以提高算法健壯性和穩定性。

3 結論與討論

本文針對矮化密植棗園紅棗收獲機收獲作業時視覺導航路徑檢測問題進行分析和研究，并針對多種環境條件分析和評估算法準確性和可靠性。

1）通過剖面線分析目標像素分布特性，選用B分量圖進行處理，運用“行閾值”方法分割樹干和背景，使用“行間區域去噪”方法消除行間噪聲，利用灰度“垂直投影”方法和形態學處理提取樹干區域，引入趨勢線描述棗園線性特征，而后參考趨勢線利用點到直線的距離提取樹干與地面的交點，采用最小二乘法擬合生成導航基準線，針對單一工況條件該算法具有一定的魯棒性。

2）選取309張樣本圖像，針對4種單一工況條件（晴天、逆光、順光、陰天）進行測試，試驗表明：該算法準確率可達83.4%以上，每張圖像平均耗時低于11.9 s，噪聲多元疊加條件檢測準確率為45%。

3）針對5種工況環境視頻進行檢測，結果表明，單一工況視視頻動態檢測準確率可達81.3%以上，每幀圖像平均耗時低于1.7 s；噪聲多元疊加條件檢測準確率為42.3%，每幀圖像平均耗時為1.0 s。

后續需要優化算法，提高運算速度和自適應性，增強算法在多工況條件下識別目標的靈敏程度。

[1] 姬長英，周俊. 農業機械導航技術發展分析[J]. 農業機械學報，2014，45(9)：44－54.

Ji Changying, Zhou jun. Current situation of navigation technologies for agricultural machinery[J]. Transactions of the CSAM, 2014, 45(9): 44－54. (in Chinese with English abstract)

[2] 李景彬，陳兵旗，劉陽. 棉花鋪膜播種機導航路線圖像檢測方法[J]. 農業機械學報，2014，45(1)：40－45.

Li Jingbin, Chen Bingqi , Liu Yang. Image detection method of navigation route of cotton plastic filmmulch planter[J]. Transactions of the CSAM, 2014, 45(1): 40－45. (in Chinese with English abstract)

[3] 吳佳藝，楊慶華，鮑官軍，等. 基于機器視覺的林間導航路徑生成算法[J]. 農業機械學報，2009，40(7)：176－179.

Wu Jiayi, Yang Qinghua, Bao Guanjun, et al. Algorithm of path navigation line for robot in forestry environment based on machine vision[J]. Transactions of the CSAM, 2009, 40(7): 176－179. (in Chinese with English abstract)

[4] Barawid J, Oscar C M, et al. Development of an autonomous navigation system using a two-dimensional laser scanner in an orchard application[J]. Biosystems Engineering, 2007, 96: 139－149.

[5] Pawin T, Tofael A, Tomohiro T. Navigation of autonomous tractor for orchards and plantations using a laser range finder: Automatic control of trailer position with tractor[J]. Biosystems Engineering, 2016, 147: 90－103.

[6] Benson E R, Reid J F, Zhang Q. Machine vision-based guidance system for agricultural grain harvesters using cut-edge detection[J]. Biosystems Engineering, 2003, 86(4): 389－398.

[7] Frits K V E, Gerie W A M H, Lambertus A P L, et al. A mobile field robot with vision-based detection of volunteer potato plants in a corn crop[J]. Weed Technology, 2006, 20(4): 853－861.

[8] Patrick F, Tobias F, Karsten B. Detection of field structures for agricultural vehicle guidance[J]. Künstl Intell, 2013, 27: 351－357.

[9] Griepentrog H W, Dühring Jaeger C L, Paraforos D S. Robots for field operations with comprehensive multilayer control[J]. Künstl Intell, 2013, 27: 325－333.

[10] Liu Bin, Liu Gang, Wu Xue. Resarch on machine vison based agricultural automatic guidance system[J]. Computer and Computing Technologies in Agriculture, 2008, 1: 659－666.

[11] Gokhan B. Long distance autonomous trajectory tracking for an orchard vehicle[J]. Industrial Robot, 2013, 40(1): 27－40.

[12] Zhang Tian, Xia Junfang, Wu Gang, et al. Automatic navigation path detection method for tillage machines working on high crop stubble fields based on machine vision[J]. Int J Agric & Biol Eng, 2014, 7(4): 29－37.

[13] Xue Jinlin, Zhang Lei, Grift T E. Variable field-of-view machine vision based row guidance of an agricultural robot[J]. Computers and Electronics in Agriculture, 2012, 84: 85－91.

[14] Rovira-Ma′s F, Zhang Q, Reid J F, et al. Hough-transform- based vision algorithm for crop row detection of an automated agricultural vehicle[J]. Automobile Engineering, 2005, 219: 999－1010.

[15] Keun H C, Sang K H, Sang H H, et al. Morphology-based guidance line extraction for an autonomous weeding robot in paddy fields[J]. Computers and Electronics in Agriculture, 2015, 113: 266－274.

[16] Jiang Haibo, Xiao Yilong, Zhang Yunwei, et al. Curve path detection of unstructured roads for the outdoor robot navigation[J]. Mathematical and Computer Modelling, 2013, 58: 536－544..

[17] Eiji M, Masahiko S, Mikio U. Vision-based navigation system for autonomous transportation vehicle[J]. Precision Agriculture, 2005, 6: 239－254.

[18] Li Nan, Zhang Chunlong, Chen Ziwen, et al. Crop positioning for robotic intra-row weeding based on machine vision[J]. Journal of International Agriculture and Bioengineering, 2015, 8(6): 20－29.

[19] Stürzl W, Grixa I, Mair E, et al. Three-dimensional models of natural environments and the mapping of navigational information[J]. Journal of Comparative Physiology A, 2015, 201: 563－584.

[20] Liu Yang, Chen Bingqi, Detection for weak navigation line for wheat planter based on machine vision[J]. Applied Mechanics and Materials, 2013(246/247): 235－240.

[21] 李景彬，陳兵旗，劉陽，等. 采棉機視覺導航路線圖像檢測方法[J]. 農業工程學報，2013，29(11)：11－19.

Li Jingbin, Chen Bingqi, Liu Yang, et al. Detection for navigation route for cotton harvester based on machine vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2013, 29(11): 11－19. (in Chinese with English abstract)

[22] 張鐵民，莊曉霖. 基于DM642的高地隙小車的田間路徑識別導航系統[J]. 農業工程學報，2015，31(4)：160－167.

Zhang Tiemin, Zhuang Xiaolin. Identification and navigation system of farmland path for high-clearance vehicle based on DM642[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(4): 160－167. (in Chinese with English abstract)

[23] 馮娟，劉剛，司永勝，等. 果園視覺導航基準線生成算法[J]. 農業機械學報，2012，43(7)：185－189，184.

Feng Juan, Liu Gang, Si Yongsheng, et al. Algorithm based on image processing technology to generate navigation directrix in orchard[J]. Transactions of the CSAM, 2012, 43(7): 185－189, 184. (in Chinese with English abstract)

[24] He Bei, Liu Gang, Ji Ying, et al. Auto recognition of navigation path for harvest robot based on machine vision[J]. Springer Berlin Heidelberg, 2011, 344: 138－148.

[25] 王婭利，王青. 綏德縣棗樹矮化密植栽培技術[J]. 現代農業技術，2015(10)：83－84.

[26] 馮國濤. 萬泉北川蘋果優質高效示范園生產經驗[J]. 山西果樹，2012(2)：24－25.

[27] 漆聯全. 新疆紅棗產業的現狀、要求及其發展趨勢[J]. 新疆農業科學，2010(增刊2)：8－12.

Qi Lianquan. The present situation, requirements and development trends of Xinjiang red date industry[J]. Xinjiang Agricultural Science, 2010(Supp.2): 8－12. (in Chinese with English abstract)

[28] 趙曉艷. 棗樹種植及田間管理機械化技術應用效果[J]. 農機使用與維修，2016，3：66－67.

Zhao Xiaoyan. Jujube tree planting and effect of field management mechanization technology application[J]. Use and Maintenance of Agricultural Machinery, 2016, 3: 66－67. (in Chinese with English abstract)

[29] 何潔，孟慶寬，張漫，等. 基于邊緣檢測與掃描濾波的農機導航基準線提取方法[J]. 農業機械學報，2014，45(增刊1)：265－270.

He Jie, Meng Qingkuan, Zhang Man, et al. Crop baseline extraction method for off-road vehicle based on boundary detection and scan-filter[J]. Transactions of the Chinese Society of Agricultural Machinery, 2014, 45(Supp.1): 265－270. (in Chinese with English abstract)

[30] 王新忠，韓旭，毛罕平，等. 基于最小二乘法的溫室番茄壟間視覺導航路徑檢測[J]. 農業機械學報，2012，43(6)：161－166.

Wang Xinzhong, Han Xu, Mao Hanping, et al. Navigation line detection of tomato ridges in greenhouse based on least square method[J]. Transactions of the Chinese Society of Agricultural Machinery, 2012, 43(6): 161－166. (in Chinese with English abstract)

[31] 楊慶華，吳佳藝，鮑官軍，等. 農林環境機器視覺導航路徑生成算法及應用[J]. 農業機械學報，2009，40(3)：147－151.

Yang Qinghua, Wu Jiayi, Bao Guanjun. Algorithms of path guidance line based on computer vision and their applications in agriculture and forestry environment[J]. Transactions of the Chinese Society of Agricultural Machinery, 2009, 40(3): 147－151. (in Chinese with English abstract)

[32] 趙穎，孫群，陳兵旗，等. 基于機器視覺的非結構化道路導航路徑檢測方法[J]. 農業機械學報，2007，38(6)：202－204.

Zhao Ying, Sun Qun, Chen Bingqi, et al. Fast detection of furrows based on machine vision on autonomous mobile robot[J].Transactions of the Chinese Society for Agricultural Machinery, 2007,38(6):202－204. (in Chinese with English abstract)

[33] 馮娟，劉剛，司永勝，等. 果園視覺導航基準線生成算法[J]. 農業機械學報，2012,43(7)：185－189，184.

Fen Juan, Liu Gang , Si Yongsheng, et al. Algorithm based on image processing technology to generate navigation directrix in orchard[J]. Transactions of the Chinese Society for Agricultural Machinery, 2012,43(7): 185－189, 184. (in Chinese with English abstract)

Extraction of visual navigation directrix for harvesting operation in short-stalked and close-planting jujube orchard

Peng Shunzheng1, Kan Za2, Li Jingbin2

(1.,832000,; 2.,,832000,)

An algorithm based on image processing technology was proposed for generating navigation directrix in complex circumstance of short-stalked and close-planting jujube orchard. The hatching method was used to analyze the distribution of target pixels and then proper processing image was obtained. Tree trunk and background were segmented based oncomponent of image which was binarized by threshold of each scan line. By analyzing the distribution of crossing points between tree truck and ground, the chief processing section, or the region of interest (ROI), was defined and chosen from two-fifths of image area below. Then in the light of trunk longitudinal gray scale distribution, tree trunks location was extracted with gray scale vertical projection method and morphology principle by setting a superficial window to dynamically scan ROI. In order to describe line trend in short-stalked and close-planting jujube orchard, trend lines were introduced, which included the right one and the left one in terms of ridge and furrow. To describe linear distribution trait of ridge and furrow, crossing points between tree and ground were obtained by comparing the shortest distance of candidate point to its corresponding trend line with a man-made threshold value. Afterwards, those selected points were classified separately into 2 clusters in terms of their distribution region which was located at right or left part of image longitudinal symmetry axis, with the point set available to fit the border line of ridge separately. The least square method was used for detecting the right and left border lines, and navigation directrix was generated by extracting the center points between 2 border lines. The method of extracting navigation path was searched by analyzing the condition of short-stalked and close-planting jujube orchard under harvesting operation, and the accuracy and reliability of the algorithm were analyzed and evaluated under a variety of environmental conditions. The study of the algorithm was still in the simulation stage and the specific navigation effect of the algorithm was related to the actual navigation operations, so algorithm performance could not fully represent the actual navigation applications. In order to measure the algorithm reliability and real-time parameters, 5 different scene conditions, which included 4 single factor working conditions and one multiple factor working condition, were tested. The experimental results showed that the algorithm could generate navigation directrix accurately and showed a good noise robustness. Under 4 single factor working conditions, the accuracy was more than 81.3%, and the average processing time consumed was less than 11.9 s to each frame image; by video detection, the accuracy was more than 83.4%, and the average processing time consumed was less than 1.7 s to each frame image. Under multiple factor working condition, the accuracy only reached 45% and the average processing time consumed was 9.4 s; by video detection, the accuracy only reached 42.3% and the average processing time consumed was 1.0 s. Therefore, for subsequent tasks, work should be done to improve the real time performance and practicality of the algorithm for various surroundings, so as to enhance the sensitivity of the algorithm under the multi-mode condition. The novelty of this paper is to propose several new methods to solve practical problems. The research provides a reference for autonomous navigation of robot in short-stalked and close-planting jujube orchard.

mechanization; crops; image recognition; jujube orchard; row threshold division; noise elimination between two lines; trend line

10.11975/j.issn.1002-6819.2017.09.006

TP242.6+2

A

1002-6819(2017)-09-0045-08

2016-10-01

2017-04-06

國家重點研發計劃課題（2016YFD07011504）；兵團中青年科技創新領軍人才（2016BC001）；石河子大學杰出青年科技人才培育計劃（2014ZRKXJQ04）

彭順正，貴州興義人，主要從事視覺導航路徑檢測方面的研究。石河子 石河子大學信息科學與技術學院，832000。Email：284486776@qq.com

李景彬，新疆石河子人，教授，主要從事圖像處理與機器視覺方面。石河子 石河子大學機械電氣工程學院，832000。 Email：ljb8095@163.com

彭順正，坎 雜，李景彬. 矮化密植棗園收獲作業視覺導航路徑提取[J]. 農業工程學報，2017，33(9)：45－52. doi：10.11975/j.issn.1002-6819.2017.09.006 http://www.tcsae.org

Peng Shunzheng, Kan Za, Li Jingbin. Extraction of visual navigation directrix for harvesting operation in short-stalked and close-planting jujube orchard[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(9): 45－52. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2017.09.006 http://www.tcsae.org