雙目攝像機器視覺工業機器人引導系統研究

翟偉良

（廣州城市理工學院汽車與交通工程學院 廣東 廣州 510000）

0 引言

隨著《中國制造2025》的提出，各大生產型企業均在響應國家的號召，不斷提高生產線自動化水平，工業機器人廣泛應用于生產線的各個角落。大部分工業機器人是通過離線編程或示教的方式進行設定的，對于實現物體抓取或者焊接等工作，現有的動作編程模式具有明顯的局限性，物品只有滿足特定的抓取條件才能進行抓取[1]。隨著機器視覺的發展，從傳統機器視覺發展到雙目機器視覺，工業機器人結合機器視覺增加了工業機器人在生產線上應用的柔性。雙目機器視覺基于視覺差原理可以獲取被測視角下物體的幾何形狀和位置等三維信息，使工業機器人能夠運用視覺實現對目標物體的識別定位和抓取時，不再只局限于特定姿態的物體，而是提高工業機器人的智能化與自動化程度，拓寬工業機器人的應用領域[2]。

1 雙目機器視覺原理

雙目機器視覺基于視覺差原理，通過多幅圖像結合，獲取物體的三維幾何信息。相比于機器視覺，雙目機器視覺獲得的物體信息更為全面，在與工業機器人配合應用中，提供了更多判斷及引導的信息[3]。

通過機器視覺控制工業機器人工作是根據視覺算法所設定的特征信息和目標物體的當前姿態進行判斷，通過判斷結果來引導工業機器人進行相應的操作。根據接收的位姿進行軌跡規劃，并下達對應的運動控制指令，驅動工業機器人進行操作，完成所需要完成的任務。

2 系統組成

本文實現工業機器人能夠通過雙目機器視覺進行自主定位目標工件，并執行抓取、焊接、跟蹤等工作任務。對雙目攝像機器視覺工業機器人引導系統的整體方案進行研究設計，包括實驗平臺的搭建、系統軟硬件選型、控制器開發、系統工作流程的設計與制定、程序開發等工作，如圖1實驗平臺。

圖1 實驗平臺

2.1 整體方案

引導系統主要由雙目視覺模塊與控制執行模塊組成，如圖2所示。

視覺模塊主要由雙目相機與相應的圖像處理軟件組成，用于獲取物體圖像信息以及處理信息；控制執行模塊主要由工業機器人及其控制器組成，用于執行相關動作。兩個模塊之間通過工業以太網在主控計算機進行數據傳輸與通信。以下為兩個模塊具體的介紹。

圖2 系統各模塊之間的關系

2.1.1 視覺模塊

系統采用?？低曤p目相機MV-DB1308-05H型號，該設備配備近紅外激光模塊，結合窄帶通濾光片，抑制環境光干擾的同時提高設備的動態范圍。由實時輸出原始圖、深度圖或體積數據、圖像分析處理軟件、通信接口等組成，表1為MV-DB1308-05H相機相關參數。通過雙目攝像機實時獲取物體的圖像信息，傳輸到計算機中，應用圖像處理軟件進行圖像分析處理，根據要求設置相應參數，篩選出目標所需的特征信息。將經過圖像處理軟件處理后得出的結果，即所需要的目標信息，如尺寸、位置等數據，發送至控制執行模塊。工業機器人控制執行模塊根據圖像處理結果，編譯生成相關位置信息，并生成相應的控制指令，驅動工業機器人進行定位抓取或跟蹤等工作。

表1 MV-DB1308-05H相機相關參數

2.1.2 控制執行模塊

本系統的控制執行模塊選用的是FANUC公司所出產的工業機器人，其型號為R-1000iA_100F關節機器人，包括有工業機器人本體、機器人控制器、示教盒及一些輔助設備組成，搭配了控制器型號為IB30，其主要參數如表2所示。

表2 R-1000iA_100F機器人相關參數

控制執行模塊主要通過接收視覺模塊的處理結果來執行所需要完成的動作任務?？刂茍绦心K收到來自視覺模塊的圖像處理所獲得目標物品的信息，如目標物品的位置、姿態、旋轉角度等特征參數。工業機器人控制器根據所獲得的信息，生成相應的動作指令和運動規劃來控制工業機器人完成相應的任務。

2.2 工作原理與工作流程

引導系統由工控機、R-1000iA_100F機器人本體、IB30機器人控制器、編程示教器、視覺系統和夾手器組成。

引導系統的流程如圖3所示。在系統啟動前，需要在搭建的平臺上通過設置系統環境，確保所有模塊之間的通信正常。系統運行之前，需要進行雙目攝像機標定，得到雙目攝像機——工業機器人坐標映射關系。當系統開始運行時，其傳感器會檢測當前平臺上是否有物品，當檢測到物品時，則觸發雙目攝像機進行圖像采集；雙目攝像機所采集到的圖像將傳送至工控機上，經由視覺處理軟件對圖像進行處理；處理完成的信息將經過降噪處理、特征獲取與模板匹配，計算目標物品相對于雙目攝像機的空間關系，經過坐標變換得到目標相對于工業機器人基坐標系下的位姿[4]。

最后計算機將處理后得到的信息換算成工業機器人的坐標值與向量值發送到工業機器人IB30控制器，工業機器人控制器IB30根據目標物品的坐標信息規劃工業機器人的運動軌跡，工業機器人根據指令完成對應任務。

圖3 系統流程圖

2.3 運動學建模

主要應用Matlab仿真軟件中的Robotics Toolbox工具箱進行機器人坐標變換、機器人運動學和機器人軌跡規劃等方面研究，它里面所含有的相關函數可以實現運動學建模。運用矩陣法進行坐標變換，已知C點在直角坐標系{A}中的坐標，求該點在另一直角坐標系{B}中的坐標，齊次變換矩陣是4×4的方陣，具有如下形式：

3 圖像處理與匹配

引導系統對目標物體被跟蹤抓取的前提是視覺模塊（雙目攝像機）能夠從各種復雜的環境中識別出目標物體，并識別出目標物體的位置與方向。這就需要對目標物體進行背景降噪，分離背景與目標物體，對目標物品關鍵特征進行定性和定量分析。

本引導系統主要是利用SIFT算法對圖像進行處理，將所需的圖像特征信息進行提取和匹配，重點在于對背景的分割與對目標物體特征點提取，實現對目標物品圖像的識別[5]。

3.1 圖像處理流程

引導系統的視覺模塊對目標物體的位置信息進行獲取，并將結果傳送給控制模塊，以完成工業機器人的引導目的。對目標物體的位置信息獲取主要是通過對雙目攝像機所獲取的圖像進行處理，而為了滿足工業生產，本系統的圖像處理算法需要達到較快的處理速度。

根據對目標物體的形態特征進行觀察，通過不斷試驗，反復進行對比，選取合適的算法和特征進行圖像處理，最終確定本系統所使用的圖像處理方案及流程如圖4圖像處理流程所示。

圖4 流程圖像處理

3.2 圖像預處理

圖像預處理是圖像處理的第一步，通過該步驟將圖像部分不需要的特征或者噪聲進行篩選，如圖5所示的圖像預處理對照。圖像預處理去除不需要的特征外，還需要對所需要提取的目標特征進行增強，去除其他特征的干擾，也便于后續目標特征提取。

圖5 圖像預處理對照

3.3 圖像分割

在經過圖像預處理后，需要對圖像進行進一步的細化處理，會根據不同區域的不同特征進行提取，不同的特征提取后把圖像分割為特定的幾個區域，將特征信息進行放大，在不同的區域內去提取出目標特征將更加方便，圖6為特征處理過程。

圖6 特征處理過程

3.4 特征提取

圖像特征提取是在圖像分割后的區域內，將目標特征篩選出來，如目標點、目標輪廓、目標特殊紋理等特征信息，將篩選出來的特征信息轉化為數值特征（特征向量），等待下一步計算。圖7方向向量建立與坐標選擇說明，經過圖像特征提取，可以從大量的圖像數據中剔除與目標無關的冗余信息，獲得所需要的目標特征信息。

圖7 方向向量建立與坐標選擇說明

3.5 目標識別

該步驟根據特征提取的結果，采用圖像匹配等算法識別出感興趣目標并計算其位置與方位的過程，如圖8匹配效果對比所示。這是圖像處理的最后一步，其結果用于后續機器人定位與跟蹤。

4 系統實驗

通過雙目視覺系統的手眼系統進行了手眼標定，確定了機器人末端相對于基坐標系的位姿關系。最后設計機器人抓取軟件，并建立與機器人控制柜的通信連接，運行所編寫的軟件程序，實現機器人對目標工件的識別和抓取。

表3 多次試驗統計

由表3可知，在不同光照的強度下，視覺的識別率為100%，抓取成功率95%以上。結果表明，本引導系統圖像識別率高，系統運行穩定，能夠很好地引導機器人抓取物品，增加了機器人柔性應用。

5 結論

本文設計了雙目攝像機器視覺工業機器人引導系統，通過對系統每個模塊進行設計，最終制定出整體的方案及流程。本文通過搭建數字仿真平臺，對系統進行實驗，建立工業機器人的運動學模型，并進行了工業機器人的運動學建模仿真。在實際作業環境中，雙目攝像機檢測到目標物品后，通過手眼系統標定好的坐標轉換矩陣將目標物品在雙目攝像機的坐標信息變換到機械手的空間坐標系中，然后通過機器人控制器進行運動規劃，計算出各個電機該如何運動，從而控制機器人到達指定位置。結果表明本系統能夠適應更復雜的作業環境，識別準確率更高，可以實現立體物品的檢測。