基于機器視覺的工件位姿估算方法研究

彭 靜，田軍委*，張 震，李錦濤

（西安工業大學 機電工程學院，陜西 西安 710021）

引言

機器視覺是人工智能快速發展的一個分支，廣泛應用于工業裝配技術，利用視覺傳感器實時提取工件圖像，將其位姿信息傳至控制系統實現裝配任務。因此裝配過程中對工件的位姿估算結果將直接影響裝配質量，但是位姿計算與機器人本身精度與相機精度都有一定關聯，使位姿估算仍然存在定位精度問題。

為了準確獲取目標位姿，國內外學者對裝配過程中工件位姿做了以下研究：RuiWang 等[1]利用手眼視覺和末端位置姿態預測運動目標的運動狀態。Motta等[2]通過消除圖像徑向失真計算精確的相機校準矩陣，實現姿態估計。Marko ?vaco 等[3]使用微距鏡頭的垂直CCD 攝像機測量位姿，精度好但手動調整姿態耗費時間。Xu 等[4]將圖像的點特征和線特征分別用于位置控制和姿態控制。谷雨等[5]采用圖像矩和單應性矩陣分解得到姿態控制平動和轉動自由度。趙航等[6]通過優化BP 神經網絡的權值和閾值，使機器人末端執行器在更短時間內達到預期位置，但存在神經網絡框架運算量大的問題。

上述研究對姿態的估算測量都取得了較大進展，但也存在依賴外部設備測量的問題，對此本研究提出基于機器視覺的工件位姿估算方法研究，選擇柱形工件為研究對象，在機器視覺輔助下利用機械臂自帶相機采集工件圖像，使用圖像處理技術獲取工件參數，完成目標位姿估算，將工件位姿校正到裝配狀態下的水平狀態。

1 機器視覺下工件位姿估算

位姿包括位置和姿態兩個方面，位置為工件的x、y、z 坐標，姿態為剛體與ox 軸、oy 軸、oz 軸的夾角。對于空間中的目標而言，任何一個點都必須用以上六個參數指定，即 （x,y,z,rx,ry,rz）。剛體在空間中具有六個自由度，則剛體位置可用一個3×1 的平移矩陣來表示，即剛體坐標系中心O'在基坐標系中的位置，即：P= [x y z]T，剛體的姿態可用一個3×3 的旋轉矩陣來表示

機器人學中，用齊次矩陣描述剛體的位置和姿態，其中前3×3 矩陣表示旋轉矩陣，最后一列為平移矩陣，齊次矩陣形式表示為

通過上述理論可知，計算工件位姿4×4 位姿矩陣，本研究擬采用圖像處理算法識別工件端面，提取端面輪廓和最小外接圓，利用輪廓參數與外接圓間的偏轉角度關系實現位姿的評估校正，實現工件的位姿與相機水平正對，具體方法如下。

（1） 使用Baxter 機器人右臂加持工件，左臂相機采集不同腕關節角度下樣本圖像。

（2） 在原圖上獲取工件所在區域的感興趣區域，使用閾值分割算法將目標工件從背景中分離，將工件填充為白色，其余背景填充為黑色，生成二值圖像。

（3） 使用輪廓尋找函數在二值圖輪廓集中尋找最大輪廓，該輪廓即為工件橢圓端面；用最小外接圓算法獲取端面外接圓。

（4） 使用橢圓擬合算法獲取輪廓橢圓上頂點坐標、中心點位置、旋轉方向等特征參數，對應頂點相連構成長短軸，計算長短軸間距離與外接圓之間的偏差。

（5） 通過上述偏差與偏轉角度的關系，將偏轉角度作為補償量，校正工件位置，實現工件位姿校正到水平位置。

2 實驗結果與分析

通過上述分析，搭建本文實驗平臺如下：

（1） 硬件平臺。機器人選取Baxter 仿人型冗余雙臂機器人，控制系統主要用戶計算機、主體計算機、嵌入式控制器和驅動器組成，工件尺寸為軸：25×100；孔：41×80。

（2） 軟件平臺。軟件平臺選擇在Ubuntu（Linux）16.04 下搭建，通訊方式采用訂閱話題和發布消息的方式軟件配置為：Opencv3.4.1、Python3.6，實驗平臺見圖1。

在搭建好的實驗平臺上，使用機械左臂相機采集右臂夾持工件的孔軸圖像，選取腕關節角度依次增大的15 個樣本進行分析，使用圖像處理獲取到外圓輪廓上的四個點，繪制兩點之間連線，樣本處理見圖2。

圖像像素變化見表1，最小外接圓直徑像素穩定后基本不發生變化。圖3 為工件外圓輪廓與正圓的可視化偏差，長軸與圓直徑間偏差較小，整體為下降趨勢，偏差多數小于兩個像素。短軸偏差呈上升趨勢，說明隨著腕關節角度增加，短軸長度不斷減小，偏差不斷增大。則需要將工件調整為短軸逐漸增大的方向，即減小腕關節旋轉角度。

表1 不同角度下工件像素變化

比較不同偏轉角度下樣本末端的位姿與已知狀態的位姿，得出的偏差角度見表2，大致處于實際實驗中腕關節偏轉角度，存在的部分誤差來源于關節弧度角與角度之間的轉換以及機械臂關節的輕微晃動，在一定誤差內滿足校正要求。

表2 偏差角度

將偏差角度輸入機械臂系統，計算出工齊次位姿矩陣為式（3）

依據理論分析和實驗驗證，右臂末端工件位姿實現了從下垂狀態到水平狀態，通過相同原理計算左臂上工件位姿，為式（4）

獲得機械臂狀態見圖4，雙臂實現了水平位姿調整，校正后平行狀態下工件位姿見表3，由于機械臂本身柔性影響，其位姿參數選取小數點后六位數，滿足精度要求。

表3 工件位姿

3 結論

針對目標裝配過程中位姿估算問題，提出一種利用機器視覺下的測算方法，將位姿問題轉化為工件端面參數與端面外接圓之間的偏差問題，使用相機采集圖像，對圖像處理后依據不同樣本下的偏差變化，得出偏差越大時工件隨腕關節偏轉角度就越大。通過對機械臂腕關節角度進行調整實驗校正，最終獲取目標狀態下工件位姿矩陣。