基于激光雷達的稻麥收獲邊界檢測與自動對齊系統研究

尚業華 王 昊 孟志軍 尹彥鑫 肖躍進 宋正河

(1.中國農業大學工學院, 北京 100083; 2.北京市農林科學院智能裝備技術研究中心, 北京 100097)

0 引言

近年各地小麥、水稻的無人農場正在加緊建設,其中收獲作業智能化是其中重要的環節[1-4]。傳統農機自動駕駛多以基于全球導航衛星系統(Global navigation satellite system,GNSS)的精準定位為主,多用于耕整地和播種等無作物場景[5],而在作物生長至成熟時期后,由于作物枝葉外延、長勢不均,其作物邊界已非規則直線,使用GNSS導航會造成收獲的重漏。故稻麥收獲邊界的實時檢測與自動對齊控制對于提升無人收獲智能化水平,提高收獲作業效率具有重要意義。

目前針對收獲邊界的檢測研究主要有視覺檢測和激光檢測兩大技術路線。在視覺檢測方面又有基于單目視覺、雙目立體視覺等圖像特征的檢測和基于神經網絡學習的檢測方法。文獻[6-15]采用基于直方圖、改進Hough變換、改進平滑度紋理特征等單目圖像特征的稻麥收獲邊界檢測,文獻[16-20]采用雙目相機提出基于顏色空間和深度信息的稻麥收獲邊界導航路徑點的提取方法,文獻[21-22]分別研究了基于視覺U-Net神經網絡的苧麻收獲邊界檢測和基于圖像的弱監督作物區域分割(Weakly supervised crop area segmentation,WSCAS)來識別未收獲水稻邊界?；谝曈X的稻麥收獲邊界檢測在特定條件下可以取得較好的檢測效果,但其受光照變化影響較大、夜間作業受限,不能滿足三夏三秋時節搶收農時、晝夜作業的需求,無法發揮無人作業的效率優勢。

在激光雷達檢測收獲邊界方面,文獻[23-24]采用二維激光雷達在垂直平面內轉動得到三維場信息,提出了基于鄰域均值的微分算法和基于Otsu算法檢測水稻的收獲邊界;文獻[25]采用一階差分法對水稻收獲邊界進行了檢測;文獻[26]采用Y向輪廓特征和Otsu算法研究了玉米的收獲自動對行系統。上述算法研究了基于激光雷達的收獲邊界檢測算法,其檢測精度高,但連接并控制收獲機沿邊界收獲的精度有待進一步提升。

在收獲邊界自動對齊控制方面,文獻[7]基于圖像檢測的邊界信息在簡化的二輪車運動學模型的基礎上設計了模糊PD控制器,文獻[24]根據履帶收獲機轉向模型設計了PI控制器,文獻[26]基于激光雷達和機械式對行傳感器設計了純追蹤模糊控制器,文獻[27]基于GNSS定位信息設計了收獲機純追蹤控制器,文獻[28]基于GNSS定位信息提出了基于粒子群算法的模糊控制方法實現履帶式水稻聯合收獲機的導航?；贕NSS傳感器的導航控制系統可以根據預先規劃的導航路徑結合當前的位置和航向信息計算最優的轉向角度或履帶的差速?；谝曈X或多線激光雷達的收獲邊界檢測方法可以感知近處和遠處多個邊界點[24]或邊界線[29],本研究采用低成本2D激光雷達,通過算法處理每一幀數據可以得到一個邊界點,結合后輪轉向式收獲機的轉向模型,擬采用基于預瞄點位置信息的純路徑跟蹤算法。

針對無人駕駛收獲機在多場景下實時檢測和自動對齊收獲邊界的需求,本文提出基于K-means聚類和Z向中心差分算法的兩種稻麥收獲邊界檢測算法,并對比其檢測效果,將檢測結果輸入基于純路徑跟蹤算法的自動對齊控制系統,實現自動沿邊界無人收獲作業,并驗證其邊界對齊精度。

1 材料與方法

1.1 系統方案與組成

收獲邊界檢測與自動對齊系統由二維激光雷達、陀螺儀、檢測終端、無人駕駛控制終端和電動方向盤組成。收獲邊界檢測與自動對齊系統以激光雷達為主要傳感器,陀螺儀與激光雷達固定在同一支架上輔助進行姿態測量,它們共同安裝在收獲機駕駛室頂部,與割臺的邊界處于同一橫向位置,并向下傾斜,以便掃描到已收獲與未收獲稻麥的輪廓,如圖1所示。

激光雷達檢測的稻麥收獲邊界輪廓點云,通過用戶數據報協議(User datagram protocol,UDP)發送給檢測終端處理;陀螺儀通過RS232接口將姿態信息發送給檢測終端對點云進行校正,以提高邊界檢測的精度;檢測終端為Windows 10操作系統顯示終端,檢測算法用C++語言編寫,融合激光雷達的輪廓點云和陀螺儀的姿態數據計算得到邊界點,并將邊界點位置的橫向偏差通過控制器局域網絡(Controller area network, CAN)總線發送給無人駕駛終端;無人駕駛終端通過控制算法計算出轉向輪轉角并發送給電動方向盤;電動方向盤控制轉向輪轉至相應角度實現收獲機沿收獲邊界自動對齊收獲。系統組成如圖2所示。

圖2 系統組成

1.2 傳感器選型

激光雷達是利用發射和返回的激光束信息得到待檢測目標的距離、速度等信息的傳感器。近幾年隨著自動駕駛技術的發展,激光雷達被廣泛應用于道路車輛的自動駕駛感知。本文應用二維激光雷達檢測稻麥收獲邊界,鑒于農業應用的特殊環境,選用防護等級IP67的室外用激光雷達,同時考慮到動態收獲過程中運動畸變帶來的精度誤差,選用頻率較高的激光雷達來降低運動畸變對精度的影響。

激光雷達的運動畸變是由于激光雷達為旋轉掃描,當搭載激光雷達的車輛運動時,每個激光點都在不同的基準位姿上產生,得到的每個角度的激光數據非瞬時獲得,故整幀雷達因車輛運動而產生畸變。在室內自動導航小車(Automated guided vehicle,AGV)領域消除運動畸變通常通過融合里程計信息進行校正,但在農機實際作業場景下由于輪胎打滑、車輛實際行走誤差大和傳感器融合復雜等因素,不適用于運動畸變校正。本文采用提高激光雷達頻率的方法減少運動畸變,當激光雷達掃描頻率較低時,假設車速為5 km/h,若激光雷達掃描頻率為10 Hz,一幀內第1個點云和最后一個點云的基準位姿在一個掃描周期內已經移動0.13 m,若激光雷達的掃描頻率為40 Hz,則在一個掃描周期內基準位姿移動0.03 m,大大減少了運動畸變引起的誤差。

本文使用SLAMTEC LPX-T1型激光雷達,其主要參數如表1所示。

表1 激光雷達主要參數

由于雷達的姿態變化會對檢測的邊界點坐標造成誤差,故需對激光雷達的檢測點進行姿態校正。本文利用MPU6050型姿態傳感器測量雷達的姿態并進行校正,姿態傳感器與激光雷達固定在同一支架安裝,通過姿態傳感器測量得到雷達俯仰角和橫滾角,采用RS232將姿態信息輸入處理器,根據姿態角和得到的激光點云數據并對照坐標系的旋轉變換關系對測量的雷達點云進行校正。

1.3 稻麥收獲邊界檢測算法

稻麥收獲邊界檢測是基于傳感器得到待收獲稻麥的實時邊界位置信息,本文采用二維激光雷達對其單幀數據應用算法處理得到收獲邊界點的相對位置。算法主要包括感興趣區域選擇、姿態校正與坐標系轉換、濾波和算法計算邊界點等,本文提出并對比基于K-means聚類和基于Z向中心差分兩種收獲邊界檢測算法,算法流程見圖3。

圖3 算法流程圖

1.3.1激光雷達數據預處理

數據預處理環節主要對激光雷達探測到的原始點云數據進行感興趣區域的劃分、坐標系轉換和濾波。

由于本文使用的激光雷達輸出為270°檢測范圍,雷達正前方為0°,左側輸出角度至135°,右側至-135°。在檢測時有大部分區域并不是探測收獲邊界的重點區域,因此為避免其他區域數據干擾和加速后續計算,僅以探測前方為中心,左右劃定一定角度為感興趣區域,如圖4所示,俯視下探的前方區域為收獲邊界感興趣區域。該角度一般根據雷達的安裝位置和左右兩側作物的生長情況確定,在本研究中由于雷達安裝在收獲邊界側,距離待檢測的收獲邊界較近,故設置的感興趣區域角度一般為-30°～30°。

圖4 雷達掃描區域與感興趣區域示意圖

激光雷達掃描的原始數據以激光雷達為中心,以激光掃描平面為坐標平面的極坐標系。本研究以激光雷達為中心建立三維直角坐標系,該坐標系以激光掃描的正前方0°方向為X軸正方向,以該平面內垂直于X軸左側逆時針90°方向為Y軸正方向,以垂直于激光掃描平面XY向上為Z軸正方向,按照右手定則建立三維直角坐標系。在此坐標系內點的坐標轉換計算式為

(1)

式中d——極坐標下探測距離

α——極坐標下探測角度

由于激光雷達安裝時橫滾角和航向角與水平和車身前視方向存在夾角誤差,且雷達安裝位置與割臺側也存在橫向偏差,需對坐標系進行旋轉校正和平移變換,并計算點云在新坐標系下的坐標。激光雷達坐標系示意圖如圖5所示。

圖5 三維坐標系示意圖

圖5中右側橙色區域為未收獲稻麥,黃色區域為已收獲稻麥,激光雷達安裝在收獲機駕駛室上,橫向位置與割臺側邊對齊,以激光雷達為中心建立的直角坐標系為XYZ,雷達正前方為X軸的正方向,左側為Y軸正方向,垂直向上為Z軸正方向,設激光雷達安裝的橫滾角為θroll、俯仰角為θpitch、偏航角為θyaw,雷達相對于割臺下端的安裝高度為H。經過旋轉和平移變換后建立的坐標系為X′Y′Z′,割臺邊緣與收獲邊界的橫向偏差為Loffset。

以雷達安裝位置掃描得到收獲邊界輪廓數據,此數據點位置不變,經過坐標系XYZ轉換到坐標系X′Y′Z′的坐標系變換得到數據點在新坐標系下的坐標值。旋轉變換時從旋轉軸的正方向看去,大拇指指向旋轉軸的正方向,四指彎曲的方向為旋轉正方向,即右手定則,結合旋轉角和位置幾何關系,設平移變換分別沿X軸移動tx、沿Y軸移動ty、沿Z軸移動tz,推導得到坐標系XYZ到坐標系X′Y′Z′橫滾角、俯仰角、航向角和平移變換的矩陣分別為

(2)

(3)

(4)

(5)

設點P在坐標系XYZ下的坐標為(xp,yp,zp),轉換到坐標系X′Y′Z′下的坐標為(x′p,y′p,z′p),則有

(6)

根據上述計算可得已收獲與未收獲的稻麥輪廓點在X′Y′Z′坐標系下的坐標值,多幀掃描后的輪廓點三維圖如圖6所示。

圖6 稻麥輪廓圖

收獲作業過程中,塵土或飛起的破碎秸稈會對收獲邊界的檢測造成干擾,故需對數據進行濾波。目前常用的濾波算法有中值濾波,中值濾波是一種非線性信號處理技術,該方法基于排序統計理論,是一種有效抑制椒鹽噪聲的濾波方法,但在本研究中經過中值濾波后仍會有一些噪點對邊界檢測產生影響。

根據小麥的高度特性和激光雷達檢測的特點,提出一種適用于收獲邊界檢測的Z向閾值濾波方法濾除這些干擾,并與中值濾波效果進行了對比。稻麥成熟收獲時的高度一般為固定的高度范圍,且同一地塊品種間差異不大,而因為收獲作業和風力等環境氣象原因揚起的塵土和飛起的破碎秸稈一般較高。故在高度方向設定閾值,將高于該閾值的點過濾掉即可濾除大部分揚塵及雜物干擾。設中值濾波窗口為3,Z向閾值濾波的閾值為小麥平均高度,取1 m,對比中值濾波與Z向閾值濾波的效果如圖7、8所示。由圖7、8可以看出,Z向閾值濾波優于中值濾波算法,對小麥收獲邊界的檢測有很好的濾波效果。

圖7 中值濾波后的數據

圖8 Z向閾值濾波后的數據

1.3.2基于K-means聚類的收獲邊界檢測算法

聚類算法是指將一個沒有標簽的數據集自動劃分成幾類的方法。K-means聚類是采用距離作為分類指標的迭代型聚類方法。算法給定聚類個數K,隨機選取類中心初始值,以距離平方作為相似度指標使聚類內點的距離最小,并根據類內所有值的均值不斷迭代更新中心值,最終使算法收斂。

令k=2,對YZ方向進行K-means聚類,將點云聚類成已收獲區域和未收獲區域兩類,迭代30次,距離閾值0.25 m,聚類結果如圖9所示。圖中黃色區域為聚類的未收獲區域,綠色區域為聚類的已收獲區域,已收獲區域與未收獲區域的區分可通過Z向高度平均值計算得到,其左右分布可通過橫向位置關系得到,圖中紅色和藍色的標記點為已收獲和未收獲兩個聚類相互靠近的邊界點。

圖9 基于K-means聚類的收獲邊界檢測

1.3.3基于Z向中心差分的收獲邊界檢測算法

本文提出基于Z向中心差分的收獲邊界檢測算法,其對點云坐標Z向的數值求取中間差分,將差分最大值所在的點標記為收獲邊界點。該算法可降低僅兩個相鄰點差分造成的誤差,且不會因步長過大導致過度平滑而損失數據精度。

(7)

由于一幀激光雷達數據的第一個點和最后一個點分別沒有前向數據和后向數據,因此在對首尾數據求取時計算式為

(8)

(9)

根據式(7)～(9)即可得到一幀數據所有點的Z向中心差分。由于已收獲邊界和未收獲邊界的落差較大,故根據Z向中心差分最大值點的位置確定收獲邊界。得到的檢測結果如圖10所示。圖中藍色的點為基于Z向中心差分最大值位置計算的邊界點,以此點為界將點云分為左、右兩部分,再根據兩部分的Z向均值區分已收獲和未收獲區域。

圖10 基于Z向中心差分的收獲邊界檢測

1.4 控制系統設計

純跟蹤控制是一種幾何控制方法,調整參數簡單易于實現,常用于低速和離散點路徑的跟蹤,其對大誤差和離散點路徑的魯棒性非常強[27]。本文檢測得到的收獲邊界為一系列邊界點,且收獲作業轉向角度小,速度低,一般不超過10 km/h,故采用純跟蹤控制方法。試驗機器為輪式收獲機,滿足阿克曼轉向模型,通?？珊喕癁閮奢喿孕熊嚹Ｐ?且收獲機為后輪轉向,其與目標點的關系如圖11所示。

圖11 車輛與目標點的關系

圖11中點A為當前車輛前輪中心位置,點B為激光雷達檢測到的邊界點,可得到點B相對于點A的坐標,L為車輛前后輪軸距,R為轉彎半徑,基于阿克曼轉向原理可求得目標后輪轉角為

(10)

根據純路徑跟蹤算法得到目標后輪轉角為

(11)

式中α(t)——t時刻車輛坐標系下預瞄點的朝向角

ε(t)——預瞄點橫向偏差

ld——預瞄距離

在實際調整時,由于車輛的機械動作與模型會有差異,為達到更好的調試效果增加調整系數k′,即

(12)

計算的轉角信息通過CAN總線發送給電動方向盤,控制轉向輪轉至相應角度,使割臺自動對齊邊界收獲。

2 試驗與結果分析

2.1 基于K-means聚類和Z向中心差分的檢測精度

采集小麥收獲邊界的點云,用兩種算法進行檢測得到邊界點坐標,并采用手工標注的方法標注收獲邊界點的坐標,分別對比兩種算法與手工標注得到的邊界點,得到兩種算法的檢測精度。

將激光雷達看作一個距離相機,采用圖像領域常用的手工標注的方法得到實際邊界點,來對比算法的檢測精度。試驗時將雷達安裝在收獲機駕駛室一側的頂端,共采集103幀數據。標注時將記錄的每幀小麥冠層點云采用Matlab的plot功能畫出,用Data Cursor工具找到收獲邊界,并將邊界坐標記錄在文本文件中。手工標注如圖12所示。

圖12 手工標注邊界點示例

圖13為基于K-means聚類的收獲邊界檢測算法與手工標注實際邊界對比,綠色和黃色點云分別為聚類的未收獲小麥和已收獲小麥,其中紅色圓圈的標注為算法檢測的邊界,藍色圓圈的標注為實際邊界,由圖中可見算法檢測的邊界有較多的點與實際邊界不重合。圖14為每幀數據基于K-means聚類算法與手工標注實際邊界的橫向偏差。由圖14可見,誤差主要集中在未收獲側,且偏差較大的點數較多,橫向偏差平均值為22.24 cm。

圖13 基于K-means聚類檢測的邊界點

圖14 基于K-means聚類檢測的橫向偏差

圖15為基于Z向中心差分法檢測的收獲邊界與手工標注實際邊界的對比,黃色點為麥地點云,紅色圓圈標注點為算法計算的邊界點,藍色圓圈標注點為手工標注實際邊界。由圖15可見,大部分算法計算的邊界點與實際邊界點相近,有個別點計算為已收獲側的點。圖16為每幀數據基于Z向中心差分法與手工標注實際邊界的橫向偏差。由圖16可見,誤差大部分在0附近,僅有個別幾個誤差較大的點,橫向偏差平均值為1.48 cm。

圖15 基于Z向中心差分法檢測的邊界點對比

圖16 基于Z向中心差分法檢測的橫向偏差

對比兩種邊界檢測算法可知,基于Z向中心差分的邊界檢測算法在精度和穩定性上均優于基于K-means聚類的檢測算法。

2.2 自動對齊試驗

為驗證在實際收獲時邊界的自動對齊效果,本研究將收獲邊界檢測算法與控制算法集成并進行了自動對齊試驗。

2.2.1試驗設備及安裝

為提高整個系統自動對齊的精度,安裝雷達時其橫向位置為割臺邊界側,若安裝到中間,測量的邊界點與實際需追蹤的點之間存在半個幅寬的差異,在進行平移時會因為車身航向角與當前邊界線存在的小夾角而產生誤差,幅寬越大誤差越大,故將激光雷達安裝在與割臺邊界同一橫向位置處,同時為保證收獲機往復作業時,能夠根據左、右側的位置對邊界進行檢測并追蹤,故在車輛兩側均安裝一個雷達,安裝后整機如圖17所示。

圖17 安裝后整機

如圖17所示,紅色框內為安裝雷達。安裝高度為3.2 m,安裝方位角為雷達自身坐標系的x軸正方向對準收獲機正前方,下傾角約為28.82°,小麥冠層平均高度約為1 m。陀螺儀與雷達安裝在同一支架上,有相同的位姿,可測量雷達姿態角以便進行補償校正。

應用所述檢測與控制算法開發了收獲邊界檢測系統,系統可實時顯示檢測的點云和算法計算的邊界點,并可設置雷達的安裝參數并校正。系統界面如圖18所示。系統集成收獲機無人駕駛系統安裝如圖19所示。

圖18 系統界面

圖19 無人駕駛系統安裝

2.2.2試驗及精度測試方法

在進行收獲邊界自動對齊系統試驗時,需對邊界的對齊精度進行測試,目前采用的主要有兩種方法:方法1通過在邊界外立標尺,測量標尺與收獲前后邊界的距離,進行多點測量來計算收獲機的邊界對齊誤差[28],如圖20所示,但由于手工測量的點較為稀疏,且存在收獲前后測量點不對應和有夾角的問題,易增大測量誤差。方法2將GNSS定位設備安裝在車身中央測量收獲機的位置[26],由于作業時車身會有旋轉擺動角,而車身定位位置并不改變,如圖21所示,故其測量的位置與實際邊界并不是半個幅寬的差距,需結合實時航向才能推算出割臺邊界坐標,計算較復雜且轉換過程易增大測量誤差。

圖20 測量收獲前后邊界距離法

圖21 車身定位設備推算法

為減小試驗過程中的測量誤差,本研究提出一種采用打點器直接測量邊界的方法,即在收獲前用高精度GNSS接收機連續打點測量小麥邊界,收獲作業時將定位設備中心放置在割臺邊界側,采用自動連續測量模式直接測量割臺邊界實際走過的位置,如圖22所示。

圖22 割臺側實時測量法

試驗采用司南公司的T300型高精度定位GNSS接收機,其測量數據可通過配套APP選擇相應的投影參數轉換為平面坐標,測量時使用自動連續打點模式測量收獲前小麥的邊界和自動對齊收獲作業過程中割臺的邊界位置,如圖23所示。

圖23 測量邊界

2.2.3試驗結果與分析

為測量整個自動對齊系統的精度,于2022年6月在北京小湯山國家精準農業示范基地開展小麥收獲自動對齊田間試驗,試驗時天氣晴朗無風,小麥收獲邊界未有波動。試驗分別對左邊界和右邊界的自動對齊精度進行了測試,試驗場景如圖24所示。

圖24 試驗場景

采用精度檢測方法得到收獲前后邊界和割臺位置數據,采用CGCS2000坐標系和橫軸墨卡托投影將經緯度轉換為平面坐標,為減小測量誤差,在Matlab中采用interp1函數對邊界數據進行線性插值擴增,得到左右邊界位置數據如圖25、26所示。

圖25 左側邊界對齊位置數據

圖26 右側邊界對齊位置數據

由圖25、26可見,割臺左右邊界基本與作物邊界對齊,在測量點處會有較小的誤差,求取小麥邊界和割臺位置兩組數據的對應最小距離,得到每個數據點自動對齊誤差,統計結果如表2所示。

表2 左右邊界自動對齊橫向偏差統計結果

由表2可見,左側邊界橫向偏差最大值、最小值和平均值略大于右側邊界,其原因可能是相較而言左側雷達有微小的安裝校正誤差而導致的整體精度略差。綜合來看,收獲邊界自動對齊橫向偏差平均值為9.18 cm,標準差為2.48 cm。

3 結論

(1)提出了基于Z向中心差分和基于K-means聚類的兩種收獲邊界檢測算法,并根據實測數據對比了其檢測效果,其中基于K-means聚類的收獲邊界檢測橫向偏差平均值為22.24 cm,基于Z向中心差分的邊界檢測橫向偏差平均值為1.48 cm?；赯向中心差分的邊界檢測算法優于基于K-means聚類的邊界檢測算法。

(2)開發了基于激光雷達的稻麥收獲邊界檢測系統,并與控制系統集成開發了收獲機自動對齊系統。

(3)對整個收獲邊界自動對齊控制系統進行了試驗,并提出了基于高精度定位的邊界自動對齊精度測試方法,試驗結果表明收獲邊界自動對齊橫向偏差平均值為9.18 cm,標準差為2.48 cm。