基于無標定視覺伺服的激光標記自動跟蹤視頻引伸計控制系統設計

張立見，田秋紅，謝森棟，陳本永

（浙江理工大學精密測量技術實驗室，杭州310018）

基于無標定視覺伺服的激光標記自動跟蹤視頻引伸計控制系統設計

張立見，田秋紅，謝森棟，陳本永

（浙江理工大學精密測量技術實驗室，杭州310018）

本控制系統采用圖像雅克比矩陣在線辨識的方法，建立了激光標記與試件標記的實際距離，即激光標記的跟蹤位移量到圖像空間跟蹤位移量的映射關系，不僅避免現有視頻引伸計的攝像機標定環節，而且實現了激光標記對試件標記的精密全程跟蹤。通過低碳鋼和鑄鐵的拉伸實驗，分別實現跟蹤精度1.8μm/10 mm和0.9μm/ 2.5 mm，驗證了設計的控制系統的有效性和精確性。

視頻引伸計；激光標記；攝像機標定；圖像雅克比矩陣；無標定視覺伺服

0 引 言

光電測量技術的發展及視覺圖像處理技術的不斷完善，為非接觸式視頻引伸計的研制奠定了堅實基礎。視頻引伸計一般在被測試件的上、下端口印制標記，然后在拉伸過程中實時跟蹤上、下兩標記的位移，根據兩者的位移之差計算形變量［1-5］。方菲等［6］提出了寬帶激光掃描技術與線陣CCD成像技術相結合方法實現材料在加載過程中徑縮點位置與徑縮量的在線測量。Zhang Ye-wei等［7］提出了一個固定平面上單攝像機測量模型，采用張正友標定法［8］進行標定，做了半實物實驗驗證了利用相機標定實現視頻引伸計高精度測量的可行性。Fauster等［9］提出了利用激光器產生兩束線結構光射在特制的帶有圓孔標定模板上，采用相應的標定算法實時標定，經圖像處理計算試件的形變量。由于CCD內外參數未知，因此這些方法都需要設計攝像機標定模板和標定算法，且在重復實驗中攝像機位置、焦距等參數會改變，因此需重新標定，這使得測量過程繁瑣復雜且引入誤差。因此，研究無標定技術的高精度視頻引伸計具有重要的實際意義。

無標定技術是指在不預先標定攝像機和被測參數的情況下，直接通過圖像上的系統狀態誤差設計實際控制律，驅動被控對象運動，使系統誤差收斂到一個允許的誤差域內［10］。本文設計了一種基于無標定技術的激光標記自動跟蹤視頻引伸計控制系統，描述了該系統結構和測量原理，采用圖像雅克比矩陣方法［11］，動態建立了實際空間中激光標記的跟蹤位移量到圖像空間跟蹤位移量的映射關系，構建了基于視覺反饋的激光標記自動跟蹤控制算法，并進行實驗驗證。

1 系統結構與測試方法

激光標記自動跟蹤視頻引伸計的系統結構包括激光標記自動跟蹤系統和圖像處理系統，如圖1所示。激光標記自動跟蹤系統由伺服電機、反射五棱鏡、控制器、CCD構成。拉伸實驗中試件所受拉伸力垂直于水平面，因此即使激光標記寬度在每個采樣時刻使激光標記中心點橫坐標產生變化，也不會對試件豎直方向的形變測量產生影響，故控制系統只需根據兩標記中心點的縱坐標之差制定控制律。經圖像處理系統獲得試件標記和激光標記中心點在圖像空間中的像素坐標為（x1，y1）和（x2，y2），縱坐標之差ferror=y1-y2。上位機通過串口通信發送控制指令給控制器，驅動伺服電機旋轉，實現激光標記以相應速度對試件標記的實時跟蹤。由于CCD成像模型是非線性的，導致激光標記與試件標記的實際距離變化到圖像特征距離變化的映射關系也是非線性，可見本控制系統是一個具有未建模動態的非線性系統控制問題。

圖1 激光標記自動跟蹤視頻引伸計的結構

本文設計了基于無標定視覺伺服的激光標記自動跟蹤引伸計控制系統，采用圖像雅克比矩陣在線辨識的方法，建立了實際空間中激光標記的跟蹤位移量到圖像空間跟蹤位移量的映射關系。通過辨識出雅克比矩陣與兩標記中心點像素距離差計算出控制量，控制伺服電機帶動五棱鏡旋轉，實現激光標記對試件標記的實時精密跟蹤，拉伸過程中的激光標記位移量即為試件形變量。

2 激光標記自動跟蹤控制建模

CCD固定在被測試樣標記的正前方，記錄同一平面內激光標記與試件標記的運動軌跡。由于兩者在同一個平面內做二維運動，設激光標記中心點在實際空間坐標系下坐標為（xw，yw，zw），激光標記中心點在x-o-y平面運動空間坐標為p=（xw，yw）。同時定義激光標記中心點在固定攝像機圖像空間坐標fg=（ug，vg）。因此，采用圖像雅克比矩陣建立了激光標記中心點與試件標記中心點的實際距離，即激光標記的跟蹤位移量到圖像空間跟蹤位移量的映射關系：

式中：

J是攝像機觀察激光標記運動的雅克比矩陣，它與激光標記中心點的當前位置和攝像機的內外參數有關。采用針孔模型描述攝像機的成像投影關系［12］，即：

式中：（Xc，Yc，Zc）為激光標記中心點在攝像機坐標系中的坐標，f為CCD的焦距。激光標記實際運動空間坐標到攝像機坐標的變換關系式［13］如下：

由式（1）、（3）、（4）得公式（5）：

式中：（ug，vg）為圖像空間激光標記中心點的橫、縱坐標，f為CCD的焦距，Zc是激光標記在攝像機空間的坐標分量，ri，j（i=1，2，3；j=1，2）為攝像機外參數矩陣成員變量。

可見，在跟蹤過程中激光標記運動會引起Zc，ug，vg的變化，從而J矩陣隨之變化，故需設計J矩陣的在線估計算法。本文采用卡爾曼濾波器實現對J的在線辨識。

定義觀察參數矢量x為一個四維矢量，包含雅克比矩陣J的全部參數，即：

系統狀態方程如下：

式中：ω（k）、ψ（k）分別為狀態噪聲和觀察噪聲，x（k）是系統的狀態變量，z（k）為激光標記相鄰時刻的坐標變化量，作為觀測變量。

建立卡爾曼濾波器遞推公式如下：

式中：R1、R2為噪聲方差陣，取R1=0.8·I4，R2= 0.8·I2，初始值取P（0）=106·I4（In為n維單位矩陣）。K（k+1）為卡爾曼增益混合因數矩陣，Q（k+ 1）為后驗估計協方差矩陣，P（k）為先驗估計協方差矩陣，H（k）為觀測模型矩陣，將真實狀態空間映射成觀測空間。

實驗中，x（k）作為卡爾曼濾波器的狀態輸入。實驗開始前，先記錄激光標記的兩次線性無關的位移量為Δp1、Δp2，然后記下激光標記在圖像空間中的位置變化量為Δf1，Δf2，計算出J矩陣初始值［］：使用?J（0）構成?x（0）。即通過卡爾曼濾波器辨識得出每個采樣時刻的J（k），根據式（1）和圖像處理獲得試件標記與激光標記中心的位置差ferror。因此，求出兩標記在實際運動空間的位置之差：perror=J-1·ferror。根據perror的縱坐標分量控制伺服電機轉速，使激光標記在一個采樣周期內自動跟蹤試件標記至兩者重合。

3 激光標記自動跟蹤控制算法

基于無標定視覺伺服的激光標記自動跟蹤視頻引伸計控制系統如圖2所示。通過上述方法獲得圖像雅克比矩陣，根據CCD的反饋信息利用圖像雅克比矩陣計算控制量，控制伺服電機使激光標記跟蹤至期望位置坐標。跟蹤算法實現步驟如下。

a）通過圖像處理獲得第k與k-1時刻的試件標記的坐標根據公式（9）預估k+1時刻試件標記中心點的圖像坐標f#（k+1）=（u0（k+1），v0（k+ 1）），即為k時刻激光標記的期望坐標。同時獲取當前k時刻激光標記的圖像坐標fg（k）=（ug（k），vg（k）），本系統中兩標記中心點橫坐標對系統誤差沒有影響，故系統誤差可表示為：

b）通過卡爾曼濾波器觀測出兩標記位置關系的雅克比矩陣J（k）。

c）根據公式（1），等式兩邊左乘矩陣J（k）-1，根據公式（10）計算出激光標記實際空間中的位移量。

d）根據公式（11）計算出Perror控制伺服電機轉速，帶動五棱鏡旋轉。使激光標記在試件上掃描Perror位移量，實現激光標記對試樣標記的自動跟蹤。

圖2 激光標記自動跟蹤引伸計的控制系統

4 實驗結果

為了驗證設計的激光標記自動跟蹤視頻引伸計控制系統的可行性，搭建了如圖3所示的實驗裝置。CCD攝像機圖像分辨率ks為被測試件的直徑與試件直徑的像素個數的比值，本實驗中使用材料直徑D=10 mm，經計算得圖像空間中材料直徑所占像素個數為65 pixel，可得CCD的分辨率為ks=0.15 mm/pixel。試驗機為濟南試金集團WOW-100微機控制電子萬能試驗機，伺服電機采用三菱 HFKP13永磁交流伺服電機，通過不同頻率的脈沖串控制其轉速，電子齒輪參數設定為0.4，采用最大分辨率262 144脈沖/r，此時伺服電機的步距角為Δθ =5.5×10-4°。五棱鏡到試件的距離L=50cm，伺服電機轉動一步激光標記在試件上掃描位移為4.7 μm，系統的采樣周期是60 ms。

圖3 激光標記自動跟蹤視頻引伸計實驗系統

實驗前，激光標記和試樣標記中心點不重合，測得兩標記中心點距離大約為10 mm。低碳鋼拉伸實驗中，取根據公式（8）可得雅克比矩陣的初始值：）。因此，初始階段ks的大小會影響圖像雅克比矩陣的準確性，產生跟蹤誤差。但在此后的每個采樣時刻，系統會根據激光標記的跟蹤運動信息，利用卡爾曼濾波器對圖像雅克比矩陣辨識獲得其準確值，由ks帶來的跟蹤誤差在0.6 s內被修正，從而實現激光標記對試件標記的精確跟蹤。

圖像空間中兩標記中心點坐標初始距離差為ferror（0）≈（0，10）T（pixel），取K=0.188激光標記實際空間的跟蹤位移量為：Perror=?J（0）-1·ferror（0）·K≈9.97 mm。在每個采樣周期內，利用卡爾曼濾波器更新雅克比矩陣，然后計算出激光標記實際空間的跟蹤位移量，實現對試件標記的全程精密跟蹤。拉伸過程中，如圖4（b）所示：曲線的第一個跳躍點取K=0.662，第二跳躍點取K=0.532，其它時刻取K=0.26。

圖4 低碳鋼拉伸激光標記跟蹤曲線

如圖4所示，低碳鋼的形變量為10 mm左右；由圖4（a）所示激光標記在初始跟蹤階段產生較小超調；由圖4（b）所示在整個跟蹤過程中除上述超調外其他時刻跟蹤性能良好，激光標記的軌跡與試件標記運動軌跡完全重合；如圖4（c）所示，初始時刻由于要求系統響應速度快，因此會產生0.03 mm左右的超調誤差。跟蹤過程中除低碳鋼屈服和頸縮起始階段曲線波動之外，整個跟蹤過程誤差趨于0，圖像雅克比矩陣的在線估計準確性較高。根據低碳鋼拉伸跟蹤誤差數據、標準差公式，計算出系統跟蹤精度為1.8μm/10 mm。

鑄鐵拉伸實驗中，兩標記中心點距離大約為10 mm，雅克比矩陣的初始值與低碳鋼相同，圖像空間初始系統誤差約為10 pixel。初始時刻取K=0.187，得到的實際跟蹤量約為10 mm。其他時刻取K=0.40。跟蹤曲線如圖5所示。鑄鐵拉伸過程形變量為2.5 mm左右。在初始階段激光標記能夠快速響應跟蹤上試件標記，且沒有明顯超調，整個跟蹤過程兩標記重合。如圖5（c）所示，初始時刻由于要求系統響應速度快，因此會產生0.009 mm左右的超調誤差，整個過程跟蹤誤差趨于0，圖像雅克比矩陣的在線估計準確性較高。根據鑄鐵拉伸跟蹤誤差數據、標準差公式，計算出系統跟蹤精度為0.9μm/2.5 mm。

圖5 鑄鐵拉伸激光標記跟蹤曲線

5 結 論

本文設計并實現了一種基于無標定技術的激光標記自動跟蹤視頻引伸計控制系統。在攝像機參數、試樣標記和激光標記運動與圖像中位置變化的映射關系、以及試件標記的運動軌跡都是未知的情況下，系統采用了卡爾曼濾波器在線辨識圖像雅克比矩陣的方法，實現了激光標記對試樣標記的實時精密全程跟蹤，避免了視頻引伸計需對攝像機在線標定的環節。用低碳鋼和鑄鐵材料的試樣對該控制系統進行了實驗驗證，獲得了試樣拉伸形變量。

構建的激光標記自動跟蹤式視頻引伸計的控制系統，對實現視頻引伸計準確、快捷地測量材料形變量具有重要意義，此外圖像雅克比矩陣需要在線實時更新與求逆，會存在矩陣的奇異性問題。文中通過選取優良的初始值以及適當改變觀測噪聲矩陣的方法，解決了圖像雅克比矩陣的奇異性問題，在以后的研究中將繼續完善與優化，提高整個系統的跟蹤精度和穩定性。

［1］王慶友，于涓匯，郭青德，等.利用線陣CCD非接觸測量材料變形量的方法［J］.光電工程，2002，29（4）：20-24.

［2］張 宇，王一丁，郭樹旭.提高引伸計測量精度的小波去噪方法研究［J］.光電子·激光，2006，17（8）：930-933.

［3］張新潔，謝哲東.用于精密位移測量的視頻引伸計系統的研究［J］.儀器儀表學報，2011，32（6）：61-65.

［4］張英杰.基于視頻圖像的應變精密測量研究［D］.長春：吉林大學，2006：1-64.

［5］門廷武，李新軍，呂曉東.金屬拉伸試驗中基于刻線的非接觸實時應變測量［J］.機械工程與自動化，2007（5）：83-85.

［6］方 菲，王紅平，曹國華.材料拉伸過程頸縮量非接觸檢測方法的研究［J］.長春理工大學學報，2004，27（3）：89-91.

［7］Zhang Y W，Zhou F Q，Wang S.Design and simulation of high-precision video extensometer based on camera calibration［C］//International Conference on Multimedia Technology.Hangzhou，2011：6295-6298.

［8］Zhang Z Y.A flexible new technique for camera calibration［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2000，22（11）：1330-1334.

［9］Fauster E，Schalk P，OLeary P L.Evaluation and calibration methods for the application of a to video-extensometer tensile testing of polymer materials［C］//Conference on Machine Vision Applications in Industrial Inspection XIII，2005，5679：187-198.

［10］郭藍彬.基于圖像雅克比矩陣的無標定工業機器人視覺伺服［D］.西安：西安理工大學，2006：1-51.

［11］Weiss L E.Dynamic sensor-based control of robots with visual feedback［J］.IEEE Journal of Robotics and Automation，1987，RA-3（5）：404-417.

［12］張劍清，潘 勵，王樹根.攝影測量學［M］.武漢：武漢大學出版社，2009：1-303.

［13］徐明飛.攝像機線性標定方法［D］.長春：吉林大學，2009：1-48.

［14］馬建章.移動機器人的目標識別與運動跟蹤［D］.天津：河北工業大學，2007：1-59.

Design of Control System of a Laser Mark Automatic Tracking Video Extensometer Based on Uncalibrated Visual Servoing

ZHANG Li-jian，TIAN Qiu-hong，XIESen-dong，CHEN Ben-yong
（Precision Measurement Laboratory，Zhejiang Sci-Tech University，Hangzhou 310018，China）

This control system uses image Jacobian matrix online identification method to establish the actual distance between laser mark and specimen mark，i.e.the mapping from laser mark tracking displacement to image space tracking displacement，which not only avoids camera calibration link of existing video extensometer，but also realizes whole process precision tracking of specimen mark by laser mark.In low-carbon steel and cast iron tensile tests，tracking precision 1.8μm/10 mm and 0.9μm/2.5 mm have been achieved respectively，which verifies the validity and precision of the designed control system.

video extensometer；laser mark；camera calibration；image Jacobian matrix；uncalibrated visual servoing

TH871

A

（責任編輯：康 鋒）

1673-3851（2014）03-0292-05

2013-12-02

國家自然科學基金項目資助（90923026）；浙江省自然科學基金項目資助（Y1110538）

張立見（1988-），男，山東濟寧人，碩士研究生，研究方向為計算機網絡技術。

田秋紅，電子郵箱：tianqiuhong@zstu.edu.cn