基于時延補償機理的工業機器人視覺跟蹤控制系統

張 楊,何新君

（1．上海城建職業學院 機電工程與信息學院，上海 201415；2．上海發那科機器人有限公司 上海發那科技術學院，上海 201906）

1 引言

工業機器人的機器視覺就能夠為工作過程中的機器人獲取并提供圖像，便于分析生產流水線與環境，提高其自主性和穩定性，因此工業機器人的視覺跟蹤控制系統成為了近些年的主要研究內容。

國內有學者作出一定的研究成果。如文獻[1]中，為了解決焊接機器人在工作過程中受到弧光干擾的問題，引入了與焊縫相關的核濾波跟蹤算法，在焊縫跟蹤的過程中保證跟蹤效果實時、精確、可靠。在設計過程中采用大量正負樣本進行訓練，完成高斯核函數空間的映射后進行計算，構建樣本循環矩陣，通過傅里葉變換簡化計算，并在系統中嵌入算法，提高焊接過程中的跟蹤和糾偏的實時性。文獻[2]中首先訓練深度卷積神經網絡，然后去計算視頻圖像中的每個傳輸圖像，得到圖像深度信息以及相關估計，完成機器人在工作區域中目標區域的識別，還能夠對目標的運動跟蹤方向完成標記。文獻[3]中利用顏色特征確定圓形光點，在利用雙目視覺獲取靶點特征圖像，并代入OpenCV技術函數庫中，光流法進行函數匹配后，二值化閾值處理并分割背景與目標，實現了目標的視覺跟蹤定位。以上用于工業機器人的視覺跟蹤控制的系統都在實際應用中取得了良好的效果，但是這些跟蹤控制系統在輸入控制信號后存在滯后響應，由此導致的時間延遲會造成機器人在實際應用中抓取精度較低，因此本文設計一種基于時延補償機理的工業機器人視覺跟蹤控制系統。

2 工業機器人視覺跟蹤控制系統

2.1 硬件設計

對于工業機器人視覺跟蹤控制系統來說，系統中所帶有的攝像機視覺系統是重要的信息獲取工具。通過攝像機采集到目標物體的運動信息，對于工業機器人的識別、抓取是重要的依據。因此在系統的硬件設計中對于攝像機的參數進行標定，能夠給系統提供更可靠的目標信息，對于提高機器人的抓取成功率也有一定幫助[3]。本文的系統在硬件設計中，需要通過一系列的計算對攝像機的外部參數進行標定。標定的依據主要是依靠攝像機、工業機器人各自所在的坐標系之間存在的關系進行研究和確定，兩坐標系之間的關系如下圖所示。

在兩個坐標系相互轉換的過程中，涉及攝像機的內部參數，在忽略由于環境導致的攝像機畸變問題時，參數可以表示為：

上式中，M表示內部參數，u0、v0是圖像中的中心坐標，ax是u方向上的尺度因子，ay是v方向上的尺度因子。在兩坐標的轉換過程中，經過旋轉矩陣的計算，將兩個坐標系的標記結果歸一化[4]，對于攝像機參數的標定有指導意義。至此完成系統中的硬件設計。

2.2 軟件設計

2.2.1 工業機器人運動建模

根據工業機器人的結構和參數，在連桿變化及其運動方程的基礎上，構建機器人的參考坐標系及各關節的坐標系，而其自身具有的獨立坐標軸運動的數量決定了機器人的運動自由度，通常工業機器人采用六個自由度，對精度、速度、穩定性等要求很高。工業機器人的轉動關節和連桿在工作過程中，會涉及相對坐標的變換，例如平移、旋轉、齊次變換等[5]。對于平移和旋轉變換來說，是坐標的整體變換，在此不一一敘述。針對齊次變換來說，假設一組關節點p，且該點存在的直角坐標系中的位置描述寫作下式：

在經過齊次變換后，得到的該關節在齊次坐標系中的坐標描述為：

上式中，a，b，c分別表示坐標系中三條坐標軸上的相應矢量，Trans表示的是坐標系之間的平移齊次變換。對于建立的工業機器人運動模型來說，需要表示出機械臂中運動連桿部分的運動機理以及內在聯系，對于機械臂在運動過程中活動的連桿，其坐標系之間的變換可以視為齊次坐標變換[6]，此時可以通過得到的齊次坐標變換矩陣進行描述。由此，通過一個4×4 的齊次變換矩陣描述了相鄰的兩個連桿之間的關系。

假設齊次坐標變換矩陣A1對工業機器人的第一個連桿進行描述，A2對工業機器人的第二個連桿進行描述，那么第二個連桿在基坐標系中的位姿就可以表示為：

同理，可以推出工業機器人若干個連桿位姿的表示公式，即工業機器人的正運動學公式為：

式中，ALi表示第i個連桿模塊的輸出坐標系相對輸入坐標系的變換矩陣表示第i個關節模塊的輸出坐標系相對輸入坐標系的旋轉變換矩陣；表示第i個關節模塊的輸出坐標系相對輸入坐標系的初始旋轉變換矩陣；φi表示第i個關節在自身坐標系中的運動旋量；qi表示第i個關節模塊輸出坐標系相對輸入坐標系的旋轉角度。公式(6)主要描述了連桿和關節之間相對于極坐標系的位姿計算，根據各連桿模塊和關節模塊的矩陣連乘即可得到運動學正解的指數積公式。

2.2.2 引入時延補償算法

通過上述構建了工業機器人的運動學模型，可通過雙目視覺系統控制運動點的位移、速度和加速度，規劃機器人的運動軌跡，實現工業機器人的作業控制。但在工業機器人視覺跟蹤控制系統中，存在通信過程，不可避免會出現時延問題。網絡時延是影響工業機器人在抓放作業、弧焊和曲面加工作業等方面成功率的主要影響因素。因此，本文提出引入時延補償算法，補償工業機器人關節控制時間，使關節在運動起點到終點的過程能夠平滑過渡[7]。

在當前時刻k之前，工業機器人的關節控制共發生了n次網絡時延，其中最大值和最小值為tmax和tmin，平均時延為，△t表示當前時刻時延tk與平均時延的差值，該差值的最大值和最小值分別為△tmax和△tmin。由此可以推算將區間均勻劃分為l個子區間，將區間[△tmin，△tmax]均勻劃分為m個子區間，經過模糊控制的工業機器人關節控制補償輸出為：

式中，A，B，C表示一定維數的常數矩陣，xk表示當前時刻關節狀態變量，uk表示當前時刻關節控制輸入變量，ri表示第i條模糊規則，i=1，2，…，lm。

該補償算法對于工業機器人這種非線性時變的系統來說，更加適用。

2.2.3 視覺跟蹤控制

在對工業機器人進行模糊時延補償后，能夠以較優越的實時性進行工業機器人控制信號傳輸，在接受控制信號后，需要對信號進行處理，實現機器人視覺跟蹤的控制輸出。

在工業機器人的模糊時延補償中，模糊控制的結構主要是雙輸入單輸出。對于輸入變量來說，一個是參考信號，另一個是輸出信號的變差變化情況。本文設計的工業機器人模糊控制示意圖如圖2所示。

對于偏差以及偏差的變量來說，可以利用其語言值的模糊子集進行表示[8]，其子集為{NB，NM，Z，PM，PB}，得到的工業機器人模糊判斷的規則矩陣為：

在工業機器人視覺跟蹤模糊控制中，為了簡化過程，對于模糊控制器來說，得到模糊輸出量，經過解模糊轉化為清晰量，實現機器人視覺跟蹤的控制輸出。其中，輸入端和輸出端的增益量j設置為3 個，在系統的跟蹤控制過程中，可以對這3 個增益量進行調節來控制隸屬度函數，得到機器人視覺跟蹤控制輸出如下：

式中，wj表示各模糊子集組成元素的權重，w'表示模糊輸出量。

3 系統性能測試

3.1 搭建系統測試環境

為了驗證本文設計的基于時延補償機理的工業機器人視覺跟蹤控制系統在實際應用過程中具有較好的性能，需要搭建合適的系統仿真測試環境，進行抓取試驗驗證。設計的機器人視覺跟蹤控制系統的測試環境主要分為控制部分與交互部分。對于上位交互系統來說，系統架構中主要包括用戶層、應用層和數據庫，并通過不同的實現方式對不同的機器人作業請求進行處理，搭建的系統測試中上位交互結構如下圖所示。

在性能測試實驗中，主要是對機器人的視覺跟蹤控制性能進行測試，跟蹤控制性能可以依靠識別和抓取兩部分進行評價。在識別過程中，主要是發現、識別、測距，設計的識別與定位的物體詳細信息如表1所示：

表1 識別與定位目標信息描述

計算出Hu不變矩和相應的長軸，完成對運動物體的形狀識別和姿態跟蹤。

3.2 性能測試過程設計

在以上的環境和數據參數下，首先進行數據預處理，利用幀間差分法檢測運動物體。在整體的檢測過程中，在識別、測量過程中對不同角度的圖像進行處理。在抓取過程中，當目標運動物體移動出視覺范圍，跟蹤控制系統開始進行抓取，機器人在完成運動物體的測量之后，將得到的運行速度視為初始速度，并沿著相同方向運動，實時獲取目標物體的質心位置與期望位置進行對比，控制工業機器人作出相應的動作，當到達期望圖像的質心位置后進行抓取。為驗證本文系統的性能，在相同實驗環境下，選擇無時延補償的系統進行對比，將結果進行統計和分析。

3.3 實驗結果對比與分析

在上述的實驗環境下，對兩種系統的抓取誤差進行統計，隨機選取相同時間下的兩系統在不同方向上的抓取誤差對比圖，結果如圖4所示。

圖4中，圖(a)為x方向上的實時誤差，圖(b)為y方向上的實時誤差，為了保證實驗的可靠性，兩系統對不同的定位目標分別進行了1 000次抓取試驗，得到的抓取成功次數結果如表2所示。

從表2的性能測試結果可知，本文提出的基于時延補償機理的工業機器人視覺跟蹤控制系統中，由于考慮到了時延補償，因此在抓取過程中的成功率比較穩定，基本能夠維持在910 次以上，但是無時延補償的控制系統中，抓取成功的次數與本文系統相比較少，且性能不穩定。綜上所述，本文設計的基于時延補償機理的工業機器人視覺跟蹤控制系統在提高抓取成功率方面具有一定有效性。

表2 抓取成功次數統計結果

4 結束語

為了解決工業機器人在實際工作過程中的延遲問題，提出了應用于工業機器人視覺跟蹤控制系統的時延模糊補償方法，并對時延補償機理的工業機器人視覺跟蹤控制系統進行了硬件和軟件兩方面的設計。硬件設計中主要通過攝像機與機械臂之間的坐標系關系標定攝像機的外部參數，軟件設計中，對工業機器人的運動情況進行建模，機器人機械臂在運動過程中產生坐標系變換，利用齊次坐標變換矩陣描述機械臂連桿運動位姿，引入模糊時延補償算法來提高控制精度。本文設計的系統取得了一定的研究進展，但是還有很多細節需要進行研究與探討。