基于視覺的焊槍空間位姿實時檢測技術

郭吉昌，朱志明，孫博文

（清華大學機械工程系先進成形制造教育部重點實驗室，北京100084）

0 前言

對于空間位置的金屬結構件焊接，除了由焊接電流和電弧電壓決定的線能量外，焊槍相對于待焊點的空間位置和姿態（簡稱位姿）對焊縫成形質量具有重要影響。前者決定了被焊母材的熔化量和焊絲的熔敷量，后者決定了電弧力對熔池液態金屬的作用方向，與重力共同決定了熔池液態金屬的流動行為，進而影響焊縫成形。因此，根據焊接坡口（焊縫）的空間位置和走向，合理設置和控制焊槍相對于待焊點的空間位姿，對保證焊縫成形質量至關重要。對于復雜多變的空間軌跡焊接，或者被焊母材焊接坡口存在加工和安裝誤差以及在焊接過程中因焊接熱輸入而產生局部變形時，需要實時檢測和識別焊槍的空間位姿，進而實現在線調整和控制的研究十分必要，具有重要的工業應用價值。如何實現焊接過程的焊槍空間位姿實時檢測和識別，并實現基于檢測數據和識別結果的焊槍空間位姿閉環控制，是焊接從業者一直以來的努力方向。

視覺傳感是焊接領域檢測和傳感技術的研究前沿以及未來的發展方向。其中，基于激光的掃描式和結構光式視覺傳感器因具有良好的精度和抗干擾能力而得到廣泛應用。掃描式激光視覺傳感器視場深度大，但檢測精度較低；受掃描速度影響，實時性也相對較差；在高精度控制或需要高頻調整的高速跟蹤場合以激光結構光式視覺傳感器的應用為主。根據視覺單元數量的不同，視覺傳感器可分為單目、雙目和多目視覺。根據傳感器光路結構的不同，又可以分為直射-斜接收、斜射-直接收、斜射-斜接收3種結構類型[1]。不同視覺單元數量和光路結構的視覺傳感器各有優缺點，應根據具體應用場合綜合考慮和選擇。

本文簡要介紹了視覺傳感在焊接領域的典型研究和應用，對目前焊槍空間位姿的檢測和控制方法進行了歸納和深入分析，并介紹了提出的基于激光結構光視覺傳感的焊槍空間位姿檢測的最新研究成果和進展，展望了可能應用于焊接領域的視覺傳感器的潛在發展方向。梳理相關技術，以期為焊接過程的焊槍位姿實時檢測和識別研究提供參考和借鑒，為焊縫成形質量控制提供有效方法和依據。

1 視覺傳感在焊接領域的應用

根據是否人為施加主動光源，視覺傳感技術可分為主動視覺和被動視覺兩類。主動視覺因所施加光源具有可控性，在圖像處理上相對更加簡單和便捷，成為視覺傳感器研究和發展的主流。根據使用工況和檢測目標的不同，主動視覺所使用的激光結構光有多種類型，如點陣、雙線、多線、圓形、網格和編碼結構光等。視覺傳感器在焊接領域的研究和應用主要集中在3個方面：焊接坡口檢測與焊縫跟蹤、熔池形貌檢測與焊縫熔透控制、在多層多道焊中用于輔助焊接軌跡規劃。

以視覺傳感器為基礎實現焊接坡口檢測和焊縫跟蹤在焊接領域的研究和應用最多，其技術關鍵在于快速穩定的圖像處理算法和高精度、智能化的控制方法。劉習文[2]將VC++與MATLAB相結合，給出了一種高精度且抗干擾性較強的用于焊接坡口識別的圖像處理算法，整個過程耗時約0.23 s。MDinham等[3]采用基于eye-in-hand的雙目立體被動視覺，實現了窄間隙電弧焊中曲線焊縫的自動識別與定位，并給出了基于霍夫變換的圖像處理算法，其定位精度小于±1 mm。W Shao等[4]使用3個一字線激光器組合而成的平行結構光方案（由2個紅光和1個綠光組成，綠光用于定位，紅光用于檢測和跟蹤），實現了空間曲面窄間隙激光焊接中的接頭檢測和焊縫跟蹤，接頭寬度的檢測誤差不大于0.1mm，焊接工件法線方向的角度誤差小于3°。Y Xu等[5-6]設計了一種新型的基于單目視覺的被動視覺傳感器，通過對檢測圖像進行分區域處理，可穩定且高速地分別獲得焊絲位置、熔池中心、焊縫中心線等參數，其在GTAW和GMAW中的焊縫跟蹤精度分別達到±0.17 mm和±0.3 mm。

基于視覺的熔池表面三維形貌檢測技術主要有結構光三維視覺法、陰影恢復形狀法以及雙目立體視覺法等[7]。Z Wang等[8]以GTAW為研究對象，將激光結構光點陣投射到熔池表面，拍攝獲得熔池表面反射的結構光形成的圖像，通過分析圖像變化，實現熔池表面三維形貌的重塑。該方法的圖像處理較復雜，目前處于研究階段。MLuo等[9]提出了一種基于灰度局部最大梯度的邊界檢測算法，實現了基于綠色激光束視覺傳感的熔池邊界提取和寬度測量。

厚板多層多道焊的焊接軌跡規劃是自動化焊接的關鍵技術之一。利用視覺傳感器輔助進行多層多道焊的焊接軌跡規劃，進而實現伺服控制，是焊接領域研究的前沿與熱點。目前，計算機視覺應用于多層多道焊的研究主要側重于圖像處理，特別是針對多層多道焊圖像的特征點識別及設計快速、有效的圖像處理算法。黎咸西[10]在基于激光結構光視覺傳感的基礎上，設計了比例控制和模糊控制相結合的Fuzzy-P控制器，并進行了針對V型坡口的多層多道焊試驗，跟蹤精度達±0.3 mm。He Y等[11]基于單線結構光的單目視覺傳感器，提出了一種微分多項式擬合的焊縫輪廓特征點提取方法，并給出了基于顯著性的視覺關注模型，能夠檢測出多層多道焊的關鍵位置信息，從而輔助焊槍定位。

2 焊槍空間位姿檢測和控制方法

如前文所述，焊接坡口或焊縫為空間位置時，為了保證焊縫成形質量，焊槍相對于工件待焊點的空間位置和姿態需要進行設置和控制，傳統方法多是在進行焊接軌跡規劃的同時實現焊槍的空間位姿設置和控制。如文獻[12-13]分別提出了適用于現場焊接機器人的綜合軌跡規劃法和基于遞推算法的軌跡規劃方法，解決了箱型鋼結構環縫焊接時存在直角轉角和關節耦合的焊槍姿態調整難題。翟敬梅[14]基于弗萊納－雪列矢量理論，提出了一種雙機器人協同焊接的軌跡優化方法，得到了最優初始焊接點和對應的最優焊接軌跡。然而，在實際焊接過程中，由于存在工件（包括焊接坡口）加工和裝卡誤差、焊接過程的熱變形等導致的焊接坡口或焊縫尺寸變化，使得預設的焊槍空間位姿在很多情況下并不能完全適應實際焊接工況，從而造成生產效率降低、焊縫成形和焊接接頭質量無法全面保證等問題。因此，在焊接生產中，實現焊槍空間位姿的實時檢測和識別，并據此形成閉環控制十分重要。

目前，針對焊接過程中焊槍的空間位姿實時檢測技術研究和應用相對較少，主要集中在3個方向，分別是基于角度傳感器、基于旋轉電弧傳感器和基于多傳感器信息融合。

2.1 角度傳感器

在焊槍上固定或內置角度傳感器（三軸陀螺儀），根據傳感器和焊槍之間固定的相對位置關系，可以獲得焊槍的空間姿態，然后通過空間位姿矩陣變換獲取焊槍相對于熔池的相對位姿。張剛等[15]設計構建了基于MPU6050三軸陀螺儀的焊槍實時姿態傳感系統，建立了慣性測量單元－萬向節－熔池三者間的坐標轉換數學模型，并針對GTAW焊的鎢極空間位置和姿態進行測試。試驗結果顯示，其相對于焊槍自身x、y坐標軸的夾角α和β的測量誤差小于1.2°，與z軸的夾角γ的最大測量誤差為1.05°。W.J.Zhang等[16]通過在焊槍上固定安裝WIMU（無線慣性測量模塊，包含三軸加速度計和三軸陀螺儀）來獲得GTAW焊的焊槍空間姿態，由于其姿態的空間角度通過對陀螺儀角加速度的積分獲得，因此，其零漂移誤差相對較大。

2.2 旋轉電弧傳感器

基于旋轉電弧傳感器的焊槍空間位姿檢測研究和應用相對較多。文獻[17-18]使用旋轉電弧傳感器，在分析傳感器信號與焊槍姿態和弧長之間關系的基礎上，總結出相應的數學模型。Jian Le等[19]將旋轉電弧傳感器應用于船廠矩形角接焊縫的現場機器人焊接，建立了旋轉電弧傳感器和焊槍空間姿態之間的數學關系模型，能夠較好地實現焊縫跟蹤和單一方向的焊槍角度控制。王濤[20]通過優化旋轉電弧的線性周期掃描路徑和原始特征信號的提取區域，提出了一種基于限幅、多周期均值及動態貝葉斯變換和IVT（增量主成分算法）組合的數據降維濾波處理方法，提高了焊槍空間姿態的識別效率和精度。

旋轉電弧傳感器需要對焊槍進行改造，在有限的空間內集成電機、軸承、齒輪等，機械結構復雜，加工和應用成本較高。使用中，需要通過大量試驗建立傳感信號與焊槍姿態的對應關系，因此，精確的數學模型較難建立。在焊縫跟蹤及焊槍高度檢測中，旋轉電弧傳感器的應用較為成熟，精確度較高；針對焊槍空間位姿檢測，目前僅能實現焊槍單向前后擺動的角度檢測，當焊槍存在空間任意姿態擺動時，僅能實現焊槍姿態的識別而不能具體檢測出各方向的擺角。

2.3 多傳感器信息融合

多傳感器信息融合技術主要是在角度傳感器的基礎上融合其他傳感技術，相對于旋轉電弧傳感器復雜的機械結構，該方法僅需對焊槍進行簡單改造。陳仲盛等[21]同時應用三軸陀螺儀、三軸加速度傳感器、光纖傳感器和感應線圈等4種傳感器來獲取焊槍相對于工件的空間姿態（見圖1），其中，感應線圈用于獲取焊絲和工件的交點，即待焊點坐標；光纖傳感器用于檢測焊槍和工件間的距離；焊槍內嵌的三軸陀螺儀和加速度傳感器用于檢測焊槍空間位姿。該方法目前已應用在焊接模擬訓練的焊槍空間姿態檢測中。

張剛等[22-23]綜合使用5線激光結構光和無線姿態傳感器來檢測熔池流態變化特征和焊槍空間姿態的關系（見圖2），以衡量焊工的焊接經驗和水平。結果表明，依據焊槍姿態數據結合熔池流態來衡量或推測焊工技能和經驗是可行的。

圖1 基于多傳感器信息融合的焊槍定位系統

圖2 基于激光結構光視覺和角度傳感器融合的檢測系統

3 基于視覺傳感的焊槍位姿檢測

采用多傳感器信息融合技術獲取焊槍相對于待焊點的空間位姿不僅系統復雜，而且要對焊槍進行改造。對旋轉電弧傳感器的檢測信號進行規律分析進而建立其與焊槍空間姿態之間的數學模型，本質上是一種基于大量試驗的規律總結，其無限逼近的原理決定了無法獲得絕對準確的數學模型。與上述各種焊槍空間姿態檢測方法相比，基于視覺的焊槍空間姿態檢測和識別技術具有更多優勢，如不需要破壞焊槍本體結構，易于實現焊接坡口尺寸檢測、焊縫跟蹤、焊槍空間位姿檢測等多種功能的集成。

3.1 基于視覺的姿態檢測和識別

與二維平面中的目標位置和形狀識別相比，目標的空間姿態識別更加困難。雙目視覺和多目視覺在空間深度信息上的識別優勢也較多地應用于空間目標的姿態檢測。目前，基于視覺的空間姿態識別多集中于圖像處理過程的目標特征提取方法和立體視覺的匹配問題研究。Gao M等[24]將圓弧插補法用于提取單目視覺的目標特征，解決了6自由度機械手的空間定位問題。高春甫等[25]提出了一種區域邊緣線段立體匹配算法并應用于雙目立體視覺，實現了在復雜背景下機械手姿態的識別，識別精度高，相對誤差達到1.7%。

相對于主動視覺法，采用被動視覺進行基于單目視覺的目標特征提取或基于雙目（多目）視覺的立體視覺匹配算法，圖像處理過程相對更加復雜且實時性較差。主動視覺法所采用光源的固有特征可以給圖像處理過程的特征提取帶來便利，使視覺檢測過程更加簡便且實時性較好。激光具有方向性、單色性和相干性好等優點，常被用作主動視覺的外部光源。杜雨馨等[26]以十字激光器與激光標靶為信息源，構建了一套巷道掘進機的機身位姿實時檢測系統；通過分析標靶上十字光線成像特征，建立了掘進機機身位姿空間解算模型；該模型利用機身與十字激光面的空間關系，通過空間矩陣變換得到機身相對于巷道的三軸傾角以及在巷道斷面上的偏離位移，實現了掘進機機身位姿的自動實時檢測。

3.2 基于激光結構光的焊槍空間位姿檢測

目前，利用激光結構光進行目標的空間姿態和形狀檢測多是基于掃描方式。陶威等[27]設計了一種采用單線激光結構光掃描的機器人3D視覺傳感系統，基于激光三角測量原理和MeshLab幾何處理系統，實現了被檢測物的3D形貌實時成像。掃描式視覺傳感器的精度受激光斑點尺寸制約，同時，受掃描速度和圖像處理時間影響，實時性難以滿足實際焊接生產應用要求，多用于焊接接頭和坡口的空間位置及形狀檢測，尚無用于焊槍空間位姿實時檢測的報道。

在針對焊槍空間位姿的檢測中，獲取焊槍相對于待焊點坐標的空間姿態信息更有實際工程應用價值，才能實現對焊接成形質量的有效控制。為此提出了一種新型的基于復合激光結構光的多功能視覺傳感器[28]，其基本結構如圖3所示，采用斜射-直接收式光路結構。

圖3 基于復合激光結構光的新型多功能視覺傳感器

圖3所示的視覺傳感器系統主要由工業CCD相機及廣角鏡頭、微型攝像機、減光和濾光片、十字線激光器、一字線激光器及機械結構件等元器件組成。激光器投射至工件表面的激光線受焊接坡口形狀的影響形成相應的畸變特征，CCD相機獲取包含畸變特征的圖像，通過圖像處理提取特征點的坐標，然后利用傳感器的內部結構參數和組合結構光之間的空間幾何關系。該傳感器能夠實現焊接過程中的焊接坡口截面尺寸檢測、焊縫跟蹤、焊槍高度檢測、焊槍空間位姿檢測、焊接過程監控等多種功能。其檢測算法基于激光結構光在工件表面的形變特征和傳感器的結構設計參數，簡化了使用前和使用中的傳感器標定問題，通過單目視覺和對單幅圖像的處理實現了目標（焊接坡口和焊槍空間位姿）的空間信息檢測，有效解決了單目視覺傳感器在使用過程中存在深度方向信息丟失的問題，同時避免了為彌補深度信息而進行的復雜操作（如激光掃描，被測物移動）或基于多幅圖像的信息比對分析（多目視覺或單目視覺多角度成像），進而有效提高工程應用的實時性。

基于十字線激光器和一字線激光器組合的視覺傳感器實現焊槍空間位姿檢測的前提條件是：焊槍3個空間位姿參數中（焊槍高度h1，前后擺動角度α和左右擺動角度β，如圖4所示），1個參數為確定值，即在1個參數確定的前提下實現對另外2個位姿參數的檢測。為解決此問題，進一步提出了一種基于4條一字線激光組合的視覺傳感器[29]，能夠實現焊槍相對于工件待焊點的空間任意三維位姿參數的檢測，系統結構示意如圖5所示。

圖4 焊槍空間位姿的三自由度分解

圖5 焊槍全空間位姿檢測視覺傳感器

圖5所示的視覺傳感器系統由CCD相機、工業廣角鏡頭、4個一字線激光器、減光及濾光片和相關結構裝配件組成。其中，一字線激光器2-1、2-2和2-3所投射的激光平面相互平行，與工件平面相交分別形成激光線條4、10和9。一字線激光器2-4所投射的激光平面與另外3個激光平面垂直相交，從而在工件坡口內形成激光線11。一字線激光器2-1可提供焊槍空間位姿求解所需的待焊點坐標（由圖像處理獲得的激光線4與激光線11的交點即為待焊點坐標），避免了通過電弧圖像處理提取電弧中心點坐標的問題，優化了圖像處理算法，從而給傳感器引入新的固有參數?；诤附悠驴趯す饩€條形成的畸變特征，通過圖像處理提取出相關特征點，利用傳感器的內部結構參數和組合結構光之間的空間幾何關系并結合待焊點空間坐標，可實現焊槍相對于待焊點的任意空間3個自由度位姿參數的檢測。

視覺傳感器和機器人控制系統結合（見圖4、圖5），可以實現焊接過程的視覺伺服控制。

4 焊槍空間位姿檢測技術展望

Vcsel（垂直腔面發射激光器）是一種新型的半導體激光器，相對于傳統的邊射型半導體激光器，易于實現高密度二維面陣的集成，即在很小的面積內集成數萬個Vcsel陣列，已成功商用于手機的人臉識別功能。其基本原理是由Vcsel芯片投射出數萬個覆蓋人臉的激光點陣（Dot projector），然后由紅外攝像機（Infrared amera）和距離傳感器（Proximity sensor）獲取由物體表面凹凸特征引起的ToF（光飛行時間）改變或結構光畸變的特征，進而由相應的處理算法進行被測物的三維重構。這是一個由Vcsel光源芯片、紅外相機、處理器芯片、3D模型重構算法等技術組成的系統集成模組，所涉及的技術環節和工藝流程較為復雜，目前相關技術被國外壟斷。

基于Vcsel的3D視覺傳感器是目前視覺傳感器研究的前沿[30-32]，其陣列特征、功耗和精度的優勢是未來機器人3D視覺的主要解決方案，也是工業視覺最有潛力的發展和應用方向。相對于以雙目視覺或多目視覺為基礎的多圖像立體特征匹配的圖像處理算法，基于Vcsel的3D視覺傳感具有更高的檢測精度和更好的實時性。因此，隨著計算機視覺的發展，將基于Vcsel的3D視覺傳感器應用于焊接過程的傳感和控制，將會是焊接過程視覺傳感技術具有重要價值的研究和應用方向，可以從根本上改觀目前的視覺傳感器存在的功能不夠全面、體積相對較大、實時性不能保證等狀況。

5 結論

在焊接坡口或焊縫為空間位置和軌跡時，焊槍相對于待焊點的空間位置和姿態的檢測、識別和控制，對于實際焊接生產制造的焊接成形質量控制具有重要意義。目前，在對焊槍空間位姿檢測和識別的方法中，基于旋轉電弧傳感器的檢測方法僅能夠實現單一自由度的焊槍位姿檢測，基于角度傳感器的檢測方法功能比較單一，而基于多傳感器融合的檢測方法往往需要對焊槍或待焊工件進行特殊改造，其工程通用性較差。

基于激光結構光的視覺傳感器具有綜合優勢，能夠實現焊接坡口檢測、焊縫跟蹤、焊槍空間位姿檢測、焊接過程監控等多種功能的集成，同時工程適用性很好?；赩csel的視覺傳感器在檢測算法和精度上的優勢，在焊接視覺傳感中會有很好的發展和應用前景。