一種基于工業機器人的三維視覺檢測系統

金路, 張大偉， 梁金華

(上海航天精密機械研究所，上海 201600)

一種基于工業機器人的三維視覺檢測系統

金路, 張大偉， 梁金華

(上海航天精密機械研究所，上海 201600)

檢測技術是現代工業的基礎技術之一，隨著工業制造技術和加工工藝的提高和改進，對自動化程度、檢測內容、檢測效率和精度提出了更高的要求，傳統的檢測工具已經無法滿足現代工業的發展需求。提出了一種基于工業機器人的三維視覺檢測系統，具備較強的柔性，能夠滿足不同檢測內容的需求，是一種新型檢測產品方向，代表了未來測量系統的發展趨勢。

三維視覺； 視覺檢測； 工業機器人

0 引言

現代工業生產中，產品的檢測要求一般是多樣性的，如錯漏裝的檢測，關鍵點的形狀公差，以及位置度的測量等。機器人攜帶視覺傳感器的檢測方式以其非接觸、自動化的特點被普遍采用,國內外對此也有相關的應用研究,包括整體的構架,溫度補償,控制算法等[1～4]。但是錯漏裝檢測和形位公差檢測屬于不同類型的檢測，在視覺檢測領域，對錯漏裝的檢測通常通過平面圖像處理的方法進行錯漏、漏裝的判別，而對形位公差的檢測則通過工件三維點云數據的處理和計算進行。目前主流的檢測方式都不能很好的處理這種復雜的檢測要求，諸如：機器人攜帶工業相機的方式，由于相機不能得到三維數據，僅能進行錯漏裝的檢測，對關鍵點的形位公差無能為力；機器人攜帶線激光器掃描的方式，能有效檢測形位公差，卻很檢測裝配正確與否；機器人同時攜帶線激光器和工業相機的方式能夠同時進行形位公差和錯漏裝的檢測，但是機器人末端攜帶兩個傳感器更容易帶來干涉，傳感器變位時會造成檢測精度的損失，且線激光器依靠機器人提供第三軸坐標的方式使手眼標定非常復雜并且會造成所采集數據的精度損失；雙目視覺的檢測方式往往需要依靠外部設備(如激光跟蹤儀)，或者在被測物體表面貼標記點，來完成系統的全局標定，前者會增加系統對應用場合的限制，后者會給檢測造成不便，且雙目視覺的檢測方式成本會很高。

本文針對現有視覺檢測技術進行零部件裝配和形位公差檢測時的靈活性差、精度不佳、實現復雜、成本高的現狀，提出了一種基于工業機器人的三維視覺檢測系統，用于檢測零部件錯漏裝及關鍵點的形位公差。

1 工作原理

系統構成示意圖，如圖1所示。

圖1 系統構成示意圖

由面激光傳感器、機器人系統、工控機、電控安防系統組成。

面激光傳感器安裝在機器人本體末端，由機器人本體攜帶對機器人本體運動范圍內的被測位置采集工件表面三維數據。面激光器在采集工件表面三維數據的同時還能采集灰度圖像數據。采集所得的工件表面三維數據可用于工件關鍵點形位公差檢測，采集所得的灰度圖像數據可用于工件錯漏裝檢測。

機器人系統包括機器人本體、機器人控制柜、機器人示教器。機器人本體是核心運動機構，用于帶動面激光傳感器以到達工件被檢測位置；機器人控制柜用于機器人本體的伺服控制，機器人控制柜和工控機連接用于傳輸機器人位姿數據；機器人示教器用于機器人編程調試。

工控機連接面激光器、機器人控制柜，用于檢測過程的控制及檢測數據的處理。所述工控機根據檢測計劃啟動檢測過程，控制機器人運動到工件被測位置，通過面激光器采集被測工件表面三維數據及灰度圖像數據，對采集到的數據進行處理和分析得到檢測結果。工控機在PLC給出停止檢測信號時終止檢測過程。

系統還包括工裝夾具，用于夾持被測工件，以及電控安防系統。電控安防系統包括PLC、安全設備。PLC用于機器人系統、工控機、工裝夾具的安全設備(安全光柵、安全門)的協調控制，當安全設備沒有被觸發并且工件裝夾正常的情況下才能允許工控機啟動檢測過程，如果在檢測過程中安全設備被觸發則強制停止正在正在運行的機器人，并告知工控機結束檢測過程。安全設備包括安全光柵、安全門，安全光柵用于人員闖入的檢測，安全門主要留與檢修用。安全設備還包括安全圍欄，為機器人劃分出一片可靠的安全活動空間。

系統軟件安裝在工控機上，具體包括：通信及控制部分，數據處理部分，顯示存儲及統計分析部分。系統軟件模塊圖，如圖2所示。

圖2 系統軟件模塊圖

通信及控制部分完成和面激光器、機器人的通信，通過面激光器采集灰度圖像數據和三維位置數據，并記錄面激光器拍攝時機器人的位置和姿態信息。同時還完成整個檢測過程的協調控制，根據檢測計劃依次控制機器人到達被測位置，在機器人到達被測位置后觸發面激光器采集被測位置數據。這部分軟件還預留了和PLC的接口以方便系統的工業現場應用。系統網絡連接圖，如圖3所示。工控機通過以太網方式和機器人控制柜、面激光器、PLC通信，PLC以IO直連的方式和安全設備(安全光柵、安全門)、工裝夾具、機器人通信。

圖3 系統網絡連接圖

數據處理部分包括標定模塊、坐標轉換模塊、計算模塊。標定模塊計算面激光器坐標系相對于機器人末端工具坐標系的旋轉平移矩陣并完成被測零部件基準的建立；坐標轉換模塊根據標定模塊所求得旋轉和平移矩陣、機器人位置和姿態信息、所建立的基準坐標對面激光器采集到的三維位置數據進行坐標變換，將其從面激光器坐標系下變換到被測零部件坐標系下。計算模塊進一步包括二維圖像處理模塊和三維圖形處理模塊。所二維圖像處理模塊主要通過特征識別的方式進行錯漏裝的檢測，三維圖形處理模塊主要通過點云計算得到形位公差信息。

顯示存儲及統計分析部分負責對檢測結果進行統計分析，并將檢測結果上傳至企業數據庫并通過顯示器實時直觀顯示測量結果，還可以根據用戶需求定制檢測報表。

該系統軟件采用模塊化的思想進行設計，對常用功能包裝成不同的模塊，用戶可根據實際的檢測要求組合調用不同的模塊來完成檢測。對于三維形位公差和裝配的檢測，把零部件的常用檢測按照特征分類。用戶可根據自己的需要調用不同模塊，完成檢測。

2 系統工作流程

系統的具體工作流程為：

2.1 系統標定

用于確定面激光器坐標系和機器人末端工具坐標系的相對關系，具體方法為：

(1)

(2)

(3)

3) 重復A、B過程多次，得到多個類似(3)式的方程，求解方程組可得到Rt；

4) 多次改變機器人位置和姿態，每次測量并擬合球心，并記錄機器人位置姿態得到式(4)。

(4)

至此，激光器所采集到的三維數據可以轉換至機器人世界坐標系下。

2.2 機器人帶動面激光器至被測工件基準位置，面激光器拍攝基準數據，工控機根據所采集數據建立工件基準。

1) 工控機控制機器人運動到第一個被測位置，隨后面激光器采集被測工件表面的三維數據及灰度圖像，工控機同時根據機器人當前的位置和姿態信息，將采集得到的三維數據變換到工件基準坐標系下。

2) 第一個位置掃描完成之后，工控機控制機器人掃描第二個被測位置，并繼續將采集得到的三維數據變換到工件基準坐標系下，如此循環，直至完成所檢測數據采集任務。

3) 完成檢測數據采集后，工控機對工件基準坐標系下的數據進行處理，計算關鍵點的各種形位公差，工控機還對灰度圖像數據進行處理，通過特征提取、識別的方法進行錯漏裝的檢測，給出裝配是否合格的結果。

4) 數據處理完成后，檢測結果將被上傳至數據庫存儲，并生成圖形化的統計報表。

3 應用案例

本文根據某汽車產品的實際檢測案例來分析該系統地具體實施流程和效果。根據實際項目的檢測要求，制定檢測計劃。檢測計劃的制定首先根據檢測要求將被測關鍵點輸產品數模中，然后機器人仿真確認所有被測關鍵點及卡口都能被檢測到，接著根據機器人仿真結果進行離線編程并根據實際產品調整優化機器人路徑并編寫模塊化檢測程序。本實施例的工作流程，如圖4所示。

圖4 系統工作流程圖

針對本實施例中某些僅需要檢測卡扣錯漏裝的被測位置，面激光僅采集灰度圖像數據，某些僅需要檢測形位公差的被測位置，面積廣僅采集工件表面三維數據，對于錯漏裝及形位公差都需要檢測的被測位置，面激光同時采集灰度圖像數據和工件表面三維數據，下述工作流程中不做區別，均描述為面激光器采集數據。

1) 工人裝夾產品，裝夾完畢后退出機器人工作區域。

2) PLC檢查系統狀態，如安全門是否正常關閉、工件有無裝夾、安全光幕有無異物遮擋等，如果所有的安全條件都滿足，則PLC發信號給工控機，通知工控機啟動檢測過程。

3) 機器人帶動面激光器拍攝標準球，確定面激光器坐標系和機器人末端工具坐標系的相對關系，使激光器所采集到的三維數據可以轉換至機器人世界坐標系下，系統標定流程，如圖5所示。

圖5 系統標定流程圖

4) 機器人帶動面激光器至被測工件基準位置，面激光器拍攝基準數據，工控機根據所采集數據建立工件基準。

5) 工控機控制機器人運動到第一個被測位置，隨后面激光器采集被測工件表面的三維數據及灰度圖像，工控機同時根據機器人當前的位置和姿態信息，將采集得到的三維數據變換到工件基準坐標系下。

6) 第一個位置掃描完成之后，工控機控制機器人掃描第二個被測位置，并繼續將采集得到的三維數據變換到工件基準坐標系下，如此循環，直至完成所檢測數據采集任務。

7) 完成檢測數據采集后，工控機對工件基準坐標系下的數據進行處理，計算關鍵點的各種形位公差，工控機還對灰度圖像數據進行處理，通過特征提取、識別的方法進行錯漏裝的檢測，給出裝配是否合格的結果。鑒于本實施例中每種卡口都有一個圓形孔，且大小不同，通過閾值分割發提取該圓孔的輪廓并根據輪廓大小特征進行卡口的識別。

8) 數據處理完成后，檢測結果將被上傳至數據庫存儲，并生成圖形化的統計報表。

9) 在工控機進行數據數據、存儲、統計分析的同時工人卸下完成檢測的產品，并裝夾下一個需要檢測的產品，裝夾完成之后開始下一輪的檢測，如此循環,實現產品100%的生產在線測量。

圖6 測量機器人系統

4 總結

本實施例可在120 s的時間內完成一個工件的所有檢測要求，且錯漏裝檢測無差錯，形位公差的檢測精度如圖7所示,98%的測量精度在0.2 mm以內。

由于面激光可以在機器人不運動的情況下一次性獲取測量范圍內的工件表面三維數據和灰度圖像數據，且不需要額外的輔助設備和標記點，系統可方便簡單地實現汽車部件裝配和形位公差的檢測，成本低，精度較高。

圖7 測量精度的分析圖

系統可擴展性強，柔性強，可經過簡單的模塊編程及機器人路徑編程用于其它產品的檢測。

系統可實現產品的在線檢測，同時可將測量結果上傳至車間網絡甚至工廠網絡，方便信息化管理。

[1] Soren Larsson, J.A.P. Kjellander. Motion control and data capturing for laser scanning with an industrial robot[J]. Robotics and Autonomous Systems, 2006，54: 453-460.

[2] Gong C H, Yuan J X, Ni J. Nongeometric error identification and compensation for robotic system by inverse calibration[J]. International Journal of Machine Tools & Manufacture, 2000, 40(14): 2119-2137.

[3] Eastwood S, Webb P. Compensation of thermal deformation of a hybrid parallel kinematic machine[J]. Robotics and Computer Integrated Manufacturing, 2009, 25(1): 81-90.

[4] 周學才，張啟先.距離誤差模型在機器人精度研究中的應用[J]. 機器人，1995，17(1)：1-6.

3D Machine Vision Measurement System Based on Industrial Robot

Jin Lu, Zhang Dawen, Liang Jinhua

(Shanghai Aerospace Precision Machinery Research Institute, Shanghai 201600, China)

Measurement technology is one of the foundations of modern industrial. The improvement of manufacturing technology needs more automotive, efficient, accurate and intelligent measurement. The traditional measurement tools can’t meet the new requirements. This paper presents a 3D Visual measurement system based on industrial robot. The system has strong flexibility, and can measure different features required. It is a new developing direction for measurement, and represents the future trend of measurement.

3D machine vision; Machine vision measurement; Industrial robot

金路(1987-)，男，學士，高級工程師，研究方向：控制技術與儀器。 張大偉(1983-)，男，工程師，研究方向：型號管理。 梁金華(1977-)，男，學士，高級工程師，研究方向：機械制造。

1007-757X(2017)08-0036-04

TP311

A

2017.01.24)