基于多視點和條紋的高反射表面面形測量技術

王志卓，盧榮勝

（合肥工業大學 光電工程學院，合肥 230009）

0 引言

高反射表面三維測量是工業測量的重要組成部分，且隨著汽車組裝、精密拋光、自由曲面加工等行業的不斷發展，對于飛機尾翼、液晶顯示器面板、汽車車身外殼以及擋風玻璃等大尺寸、大曲率工業零件的測量需求愈發強烈［1-4］。但由于其與漫反射物體表面光學特性存在較大差異，傳統的三維測量手段［5-6］難以達到理想的效果。

現階段，高反射表面三維形貌測量手段按照其數據獲取方式不同可分為接觸式測量［5-6］和非接觸式測量［7-8］兩大類。其中接觸式測量方法雖然不受被測物表面光學性質的影響，但往往只能實現單點測量，尤其是對大尺寸三維形貌的測量，測量速度慢、耗時時間長。因此從20 世紀50 年代開始，研究人員開發出一系列非接觸式表面形貌測量方法，其中光學三維測量方法由于其精度高、速度快、無接觸的特點受到眾多科研工作者的推崇。其中，相干法［9-10］利用被測物體表面的形貌變化調制測量光與參考光，令兩者之間產生相位差，形成干涉條紋，解算干涉條紋的相位信息，進而獲取物體表面三維形貌。該方法雖然測量精度高，但是量程小，僅適用于微小尺寸的測量，且測量自由曲面和結構化曲面困難。相位輪廓法［11-12］測量技術成熟，應用范圍廣泛。其主要由投影裝置、被測物體以及CCD 相機組成，采用在被測高反面噴涂顯影劑的方式，將高反射表面轉化為漫反射表面。然而，噴涂的顯影劑使零件表面粗糙度發生了變化并且掩蓋了微小形貌，這無疑降低了精度。而相位偏折法［13-16］作為一種近年來發展起來的高反表面光學測量手段，由于其精度高、敏感性強的優點受到眾多研究人員的青睞。該方法通常使用顯示屏顯示正弦光柵條紋，用相機采集受高反表面反射調制的變形條紋圖像，通過解碼獲得包含被測面形貌信息的像素匹配關系，進而建立測面特征點坐標的數學關系，從而重建輪廓。XIAO Y L［13］利用相移偏折法建立像素匹配與被測面特征點法向量的數學關系，進行了基于單視點的光學反射鏡表面的缺陷檢測。YUAN T［14］、ZHOU T 等［15］采用相關迭代補償算法對高反射表面面形進行了恢復。NGUYEN M［16］通過改進標定算法進一步提高了測量速度。然而，傳統對相位偏折法的研究大多局限在小尺寸、小曲率測量的實驗室場景下，在面對大尺寸、大曲率的工業高反表面測量場景時顯得捉襟見肘。

其主要問題在于：一方面，相位偏折測量系統對結構參數的標定精度有著很高的要求，隨著待測表面尺寸的增加，相機的視場與參考屏幕的尺寸也不可避免地增大，各類誤差對最終標定精度的影響也會隨之增加。對于單視點系統而言，由于鏡面測量是一種離軸配置系統，對幾何校準誤差非常敏感。因此對于高精度測量需要一種高精度且魯棒性好的標定過程，包括相機內參標定和幾何標定，以精確確定屏幕、攝像機和被測表面的相對位置。雖然常規相機標定技術已經較為成熟，但用于識別屏幕和相機之間相對位置的幾何校準仍在研究中。其中KUMAR R K［17］提出利用旋轉矩陣的列向量與物體和鏡像對應點連線所在方向向量的正交性約束，列出線性方程進行求解，每組方程需至少5 幅標定圖像。但是計算的位置參數與真實值有較大誤差，不利于后續的參數優化。TAKAHASHI K［18］基于正交約束從三個鏡像圖像中返回三個三點透視問題（Perspective-three-point Problem，P3P）的唯一解。但是若觀察到參考物體小于某一尺寸，則會得到錯誤解。HESCH J A［19］提出的方法也是從三個鏡像圖像中返回三個P3P 問題的解，但只能通過重新投影誤差評估后，從64 個候選解中選擇一個最優解。XIN L I［20］通過鏡像相機旋轉矩陣之和的SVD 分解來直接估計相機旋轉矩陣，并通過求解一個超定的線性方程組來計算相機平移向量，以最小化物體空間共線性誤差，但是對噪聲較為敏感，算法穩定性差。對此，本文使用一種改進的標定方法：首先通過多次平移液晶顯示器（Liquid Crystal Display，LCD）屏幕上棋盤格圖像以及改變光學平臺上平面鏡傾斜角獲得多組棋盤格圖像，利用張正友標定法［21］獲得鏡像相機內參與外參；其次利用文獻［17］中提出的基于棋盤格圖像間的正交性約束，來確定LCD 屏幕到真實相機的外部參數；最后，針對LCD 屏幕上棋盤格靶點的共平面性添加約束，利用列文伯格-馬爾夸特（Levenberg-marquardt，LM）優化方法獲得真實相機與LCD 屏幕之間外部參數的最優解。

另一方面，由于被測高反表面每一點的法線方向不同，反射方向也不相同，傳統的偏折法測量系統［13-16］很難在一個位置捕捉到受待測物體調制的整體反射光線，尤其對大尺寸、大曲率高反表面進行測量時由于存在投影編碼盲點或視覺盲區，導致測量系統無法一次獲得大范圍的測量結果，從而降低了測量效率。一些研究利用相機間較大的重疊視場，并通過點云配準，也可以基于以上方法達到多視點的效果，但是通過重疊視場擴大的重建范圍有限，且拼接過程耗費時間［22］。TARINI M［23］通過迭代估計某一點的法線和該法線附近點的深度來恢復曲面特征點的絕對坐標，但是需要給定初始深度和法向量。LIU M［24］則提出一種通過投影單幅棋盤格圖像進行鏡面重建的方法，建立參考平面棋盤格靶點三維坐標與棋盤格靶點二維像素坐標的反射對應，參數化鏡面深度，利用多項式擬合鏡面，迭代估計鏡面深度。但是受棋盤格靶點疏密程度限制，無法得到完整連續的點云。本文方法與文獻［23-24］相關，利用相移條紋，在參考平面位姿已知的情況下，通過相位解包裹建立歸一化像平面二維特征點、參考平面三維特征點以及光亮表面反射點之間的密集反射對應，再通過將密集折反射對應關系建模為關于被測面深度的二次多項式，將深度信息作為方程組的解求出，獲得被測面相對于相機的絕對位置坐標初值，最后利用反投影模型建立代價函數并使用LM 算法對其進行約束，獲得精確結果。并通過設置相機陣列，同時從多角度對被側面進行基于絕對坐標的重建，可以有效地在保證局部測量準確度的同時，通過坐標系統一，更快地實現對大尺寸、大曲率高反射面的精確測量。

要組成多視點系統，并統一所有視點的坐標系，還需完成全局標定。通常工業上大部分相機全局標定依賴于相機之間具有較大的公共視場，并通過在重疊視場放置靶標對多相機之間的外參系數進行計算［25］。然而這就制約了系統的整體測量范圍，并限制了多視點系統的靈活性。并且相機的焦點由于鏡面性質在被測面所成的虛像上而不在被測面上，這也為放置靶標帶來了不便。也有學者［26］借助經緯儀等高精度設備構建全局坐標系，確定相機與高精密設備之間的位置關系實現全局標定。這種方法測量精度高，但是高精度設備價格昂貴且操作復雜。文中，由于在各視點進行幾何標定時，各相機均分別通過鏡子間接觀察到唯一的參考平面，并采集圖像，因而通過調整鏡子角度，并保持參考平面靜止，即可利用參考平面的唯一性，在完成各視點幾何標定之后，獲得多視點系統的全局參數初值。同時提出一種優化方法，在完成初步全局標定之后，利用多視點系統拍攝用于標定的標準平面鏡進行重建并拼接，然后利用平面鏡的平面性優化全局參數。

本文利用多視點系統擴大對高反射表面的測量范圍并解決大曲率零件測量的死角問題。提出了一種多視點組合測量的方法，基于絕對點云坐標，將各視點的偏折測量結果拼接起來。同時為了約束系統誤差，提出了改進的單視點系統標定與系統全局標定方法，通過利用一塊標準平面鏡即可完成全部標定，使多視點系統得到精確的測量結果。

1 系統測量原理

將多視點系統中的每一個視點看作一個獨立的測量系統，其原理如圖1（a）。使用LCD 顯示屏作為參考平面，并向被測面投射相移條紋，然后采集反射后的調制圖案，使用倍頻多步相移法求取絕對相位，建立參考平面（屏幕）特征點空間坐標與歸一化成像平面上圖像點之間的密集折返對應關系。根據LIU M 的研究［24］，可以將鏡面上的特征點深度s參數化，通過多項式求解獲得初值。然后把鏡面面型測量轉化為一個優化問題：通過使參考平面上三維特征點與通過鏡面反投影的對應點之間的三維誤差最小，迭代地求解特征點精確深度。

圖1 鏡面點深度測量原理Fig.1 Mirror point depth measurement

圖1（a）中，o為相機坐標系原點，m為LCD 屏幕上棋盤格靶點坐標，p為鏡面反射點坐標，v=(x，y，1)為歸一化像平面坐標，m和v稱為反射對應。l為p處的反射光線，i為入射光線，n為p點處的法向量。設屏幕坐標系到相機坐標系的旋轉矩陣和平移向量分別為R和T。

根據文獻［24］，可以將被測面特征點p相對于相機坐標系原點o的深度s建模為一個偏微分方程組，并通過在已知的圖像平面每一點(x，y)求解該方程組，獲得關于深度s的多項式。

式中，系數D、E和F取決于標定獲得的反射對應關系。一般該方程的兩個解中只存在一個真值，可以將其作為初值。由此即可得到鏡面反射點p與歸一化像平面上點v的關系為

相應地，p點所在的法向量n可表示為

設歸一化圖像點坐標{v1，v1，…，vm}和參考平面上的點坐標{m1，m2，…，mm}已知，反投影原理如圖1（b）。設鏡面上3D 反射點對應于歸一化像平面坐標(xi，yi)T可表述為pi=si(xi，yi，1)T。入射光線方向單位向量為。 反射光線方向單位向量為?，其中令，易知r3表示屏幕坐標系Z軸方向的單位向量（屏幕所在平面的法向量）在相機坐標系中的坐標。T表示相機坐標系相對于屏幕坐標系的平移向量。設反射光線li與LCD 屏幕平面交于點，則可表示為

對于最小化問題式（5），使用LM 優化算法進行迭代計算，獲得精確的鏡面的深度s。將結果帶入式（1），即可獲得被測面在相機坐標系下的局部絕對點云坐標。

為了足夠密集的獲取屏幕像素點與成像平面圖像點之間的對應關系。如圖2 所示，采用具有四步相移的正弦條紋，并通過在屏幕上分別顯示水平和豎直兩個方向相互正交的條紋，實現對屏幕上每個像素點編碼。其同方向上相鄰兩幅條紋圖相位相差為，其數學表達式為

圖2 相位偏折法原理Fig.2 Principle of phase deflection method

式中，n為條紋幅數，分別取1、2、…、4，由式（6）可聯立方程組求解得到

式（7）求解出的相位值被包裹在[ -π，π)之間，稱為相位主值，通過主值相位恢復其絕對相位稱為相位解包裹過程。由于多頻時間相位展開可提高絕對相位解包裹的精度且易于實現［27-28］，因此采用該方法以實現對顯示器像素的編碼。

2 測量系統標定

2.1 單視點標定原理

要達到測量目的，還需先對各單視點相機的內外參進行標定，目前相機內參標定已有較成熟的工業現場標定手段，如張正友標定法［21］，因此本文默認內參已知。外參標定則需要考慮到鏡面測量時，相機往往不能直接觀察到參考平面的問題，作者在之前的工作中［29］，通過使用平面鏡作為輔助器材，使相機間接觀察屏幕上靶點從而完成了相機和LCD 屏的位姿標定。

如圖3，在相機坐標系中，設光學平臺平面為Π，平面鏡表面單位法向量為n，相機坐標系原點C到平面鏡的距離為d，鏡像特征點到平面鏡的距離為t。則基于鏡面反射，實際物點P和虛擬像點P'之間的關系可表示為

圖3 LCD 屏幕標定原理Fig.3 LCD screen calibration principle diagram

式中，R′、T′為鏡像靶點到相機坐標系的旋轉矩陣和平移向量，可通過張正友標定法獲得，R和T分別為屏幕坐標系到相機坐標系的旋轉矩陣和平移向量。一般針孔相機模型為

式中，v=[xy1]T為歸一化像平面坐標，I為三階單位矩陣，PS為屏幕靶點坐標。將式（8）、（9）結合可以得到LCD 屏幕到相機的姿態轉換關系。

根據式（10），至少需采集3 個鏡面反射圖像計算屏幕坐標系到相機坐標系的旋轉矩陣R和平移向量T以及平面鏡參數n、d。通過改變平面鏡傾斜角度，便可以獲得不同位置的鏡面反射圖像。每一組鏡面反射圖像（至少三幅），令j，j'∈{1，2，3}，R'j表示第j個平面鏡位置反射圖像的旋轉矩陣，定義單位矢量mjj'與單位法向量nj和nj'垂直，即可得

式中，α為比例系數。進一步可列出

式中，R'j?R'j′T是一個特殊的正交矩陣，它有2 個復共軛特征值，且其中1 個特征值等于1。所以R'j?R'j'T的特征值為1 對應的特征向量，即mjj'。根據特征向量的叉積性質，可以計算三個平面鏡位置分別對應的單位法向量。

求出對應3 個平面鏡位置的單位法向量后，根據式（8）求解屏幕坐標系到相機坐標系的旋轉矩陣Rj。在無噪聲的理想情況下，分別計算得到的三個旋轉矩陣Rj應該是相等的。但是實際上由于噪聲的影響，三者并不相等。所以需要對旋轉矩陣求平均。

旋轉矩陣平均為

剩余參數[T，d1，d2，d3]T可以根據式（10）構建線性方程組求解，即

式（17）等價于

式中，D為大小9×6 的已知矩陣，c是一個大小9×1 的已知向量。這個線性系統中x的最小二乘解為x=D-1?c。其中D-1為D的廣義逆矩陣。至此，屏幕坐標系到相機坐標系的旋轉矩陣R和平移向量T以及平面鏡參數n、d全部求出。

觀察式（18）易知，線性解通常對噪聲敏感。根據課題組之前的工作［30］，通過同時調整旋轉矩陣R、平移向量T、平面鏡法向量n和相機坐標系原點到平面鏡的距離d，并添加共平面約束，使反投影的重投影誤差最小。如圖4，將LCD 屏幕上棋盤格圖像移動W次，每個棋盤格位置所對應的平面鏡轉動M次（至少3 次）。每個棋盤格共N個特征角點。令R'ji表示第j個位置的棋盤格在第i個平面鏡位置中所成鏡像到相機坐標系的旋轉矩陣。同理，為平移向量，nji表示鏡面法向量，Rj表示第j個棋盤格坐標系到相機坐標系的旋轉矩陣，Tj表示平移向量。dji表示相機坐標系原點到平面鏡的距離。PSk表示棋盤格中第k個特征角點在屏幕坐標系中的坐標，Z軸方向坐標為0。qjik表示相機拍攝第j個位置棋盤格在第i個平面鏡位置中所成鏡像的第k個角點像素坐標，為反投影點坐標。反投影過程可表示為

圖4 標定流程Fig.4 Calibration process

式中，λji表示第j個位置棋盤格在第i個平面鏡位置處的棋盤格鏡像特征點從相機坐標系歸一化到像平面坐標系的非零縮放因子。

式中，z為棋盤格鏡像特征點在相機坐標系下的Z方向坐標，A表示相機內參數矩陣。所以反投影的重投影誤差函數可表示為

由于棋盤格在LCD 屏幕上移動W次，該屏幕可視為標準平面。因此還需添加W個棋盤格圖像之間的共平面約束。Pjk表示第j個位置棋盤格中第k個特征角點在相機坐標系中坐標。

設Perr為MATLAB 平面擬合函數：[fitresult，Perr] = createFit(dx， dy， dz) 的擬合效果評價值，即為平均最小距離誤差。Perr值越小，共平面效果越好。該函數輸入為Pjk。此外，由于棋盤格坐標系與LCD 屏幕坐標系的共平面特性，Rj，j∈{1，...，W}理論上是相等的。所以由式（15）和（16）可計算出平均旋轉矩陣Rav。計算Rj與Rav的誤差Rerr為

Rerr越小，共平面效果越好。同理，在光學平臺上W個傾斜角為零的平面鏡位置之間也具有共平面特性，所以對應的法向量nj1理論上也是相等的。同樣可以計算出平均法向量nav，有

理想情況下Perr=0，Rerr=0，Nerr=0。所以代價函數可視為兩部分組成：重投影誤差項Errpro和共平面約束項(Perr、Rerr、Nerr)。因此，根據拉格朗日乘子法，最后建立等式約束情況下的單視點外參優化目標函數

式中，qjik表示相機拍攝第j個位置棋盤格在第i個平面鏡位置中所成鏡像的第k個角點像素坐標。PSk表示棋盤格中第k個特征角點在屏幕坐標系中的坐標。Rj、Tj、nji、dji為待優化參數。λre、λp、λr、λn分別為Erepro項、Perr項、Rerr項和Nerr項的拉格朗日乘子，也叫罰函數因子。LM 迭代優化求解該最小化問題，獲取最佳外參，確定參考平面與相機間位姿關系。

2.2 全局標定原理

為了使測量范圍更廣，從而引入一個以上的視點時，需進行全局標定，將多個視點統一到一個坐標系下。如圖5（a），使參考平面（LCD 屏幕）靶標保持靜止，在光學平臺上放置一塊鏡子并調整角度，使各無視場重疊相機通過鏡子間接觀察到唯一的參考平面，則可達到與在重疊視場放置靶標同樣的效果。

圖5 全局標定原理Fig.5 Global calibration principle

式中，Pi、Pj分別為屏幕上靶點PS在相機i、j坐標系下坐標，利用2.1 節標定LCD 屏幕的方法，可通過采集不同角度鏡子反射的屏幕靶點圖像獲得。由于參考平面靶標的唯一性，可以利用式（26）求得兩個無視場重疊相機之間的姿態轉換關系Rji和Tji。

以此類推，如圖5（b），多視點系統可分解為若干組雙鏡頭系統，只要保證各視點標定時的屏幕靶標一致，即可逐步完成全局標定。

由于受到噪聲影響，全局標定得到的參數并不能直接使用。以雙相機系統為例，假設Pki、Pkj分別表示棋盤格第個k靶點在i、j號相機坐標系下的坐標，分別表示相機i坐標系向相機j坐標系轉換的旋轉平移矩陣，則基于式（26），Pkj通過相機可以構造誤差函數

利用標準平面鏡的平面性質，使用多視點系統對放置在光學平臺上的標準平面鏡進行測量，理論上任意雙相機系統統一坐標系之后，對拼接后的重建結果使用平面擬合函數，擬合誤差應該為0。據此可以利用該先驗性質建立約束進一步優化全局標定參數，使用MATLAB 平面擬合函數擬合效果評價值作為約束，即

式中，輸入為點云坐標。最后根據拉格朗日乘子法，建立等式約束情況下的全局參數優化目標函數

同理，λt、λc為罰函數因子，LM 法迭代優化求解該最小化問題，獲取最佳全局外參，確定相機間位姿關系。

整個標定過程如圖6。通過利用鏡像靶點進行標定，獲得各視點在鏡像下的外參R′，T′；利用式（13）計算特殊正交矩陣R'j?R'j′T（j=1，…，3）特征值1 對應的特征向量mjj'，然后利用式（14）計算每個棋盤格位置對應的三個平面鏡位置的法向量nj，再通過求解式（8）、（17）得到各視點的真實外參R，T與鏡面參數T，dj；將得到的外參與鏡面參數作為式（15）優化函數的初值，并添加共平面約束進行迭代之后，便能得到精確的外參，從而完成真實相機標定；最后，利用式（26）得到全局外參初值，將各視點統一在唯一坐標系下，并對標準平面鏡進行測量，利用優化函數（29）得到精確的全局參數；在每個視點，重復上述過程，利用式（26）將各視點重建結果統一在某一個主視點下，達成多視點測量的效果。

圖6 標定與測量流程Fig.6 Flowchart of the calibration and measurement

3 實驗結果與分析

為了驗證所提出的標定及測量方法的準確性，設計了多視點視覺系統測量實驗。圖7 展示了整個測量系統的基本結構：光學平臺、標準平面鏡、LCD 顯示屏以及4 組相機。其中LCD 顯示屏的型號為戴爾P1917S，屏幕分辨率為1 280 pixel×1 024 pixel，像元尺寸為0.293 mm×0.293 mm，四個相機的型號為大華A5201MG50，相機的分辨率為1 920 pixel×1 200 pixel，像元尺寸為4.8 μm×4.8 μm。配合Computar 工業鏡頭使用，鏡頭型號為M1620-MPW2。

圖7 多視點測量系統Fig.7 Multi-view measurement system

首先，使用任意相鄰兩組相機對一塊球面半徑為467.5 mm 的球面透鏡進行測量并進行拼接。圖8（a）為無約束的重建結果，可以觀察到明顯的縫隙，這是由于視點幾何標定和全局標定過程中產生的系統誤差引起的，如圖6 所示，該測量系統為線性系統，前期標定過程中的誤差在測量中會成倍放大。圖8（b）為添加約束的重建效果觀察到縫隙消失，重建表面光滑，證明了所提出共面約束的有效性。因此后續試驗均采用添加約束的標定參數。

圖8 平面約束對重建的影響Fig.8 The influence of plane constraint on reconstruction

如圖9，將一塊500 mm×500 mm 尺寸的標準平面鏡和球面半徑為467.5 mm 的球面透鏡分別放在光學平臺上，利用多視點系統對其進行測量，以驗證本方案在大尺寸、大曲率測量場景下的有效性。其中，平面鏡制造工藝為前鍍膜浮法玻璃，面型誤差小于0.002 mm，可視為標準平面，實驗中使用最多4 相機組成的陣列進行測量。與之相比，具有更大曲率的球面透鏡面型精度為四分之一波長（587.6 nm），可視為標準球面鏡，實驗中使用左右相機組成的雙相機陣列進行測量。相機測量視角與結果點云分別如圖9（a）、（c）和（b）、（d）。將獲得的點云數據與理想模型進行擬合，求得均方根誤差（Root Mean Square Error，RMSE）作為測量誤差，其中，4 視點系統平面鏡測量誤差為0.086 mm，雙視點系統球面鏡測量誤差為0.064 mm。

圖9 多視點系統測量結果Fig.9 Measurement results of multi-view system

同時，通過點云處理軟件的表面積量算功能可獲得不同數量視點測量下重建結果的點云表面積。以平面鏡多視點測量為例，其統計結果如表1。

表1 多視點系統平面鏡測量結果Table 1 Plane mirror measurement results of multi-view system

測量結果表明，在大尺寸場景，所提方法通過增加視點數量，使測量范圍相比單視點測量范圍大幅增加，而誤差遞增平緩，在0.1 mm 以內。而在大曲率場景下，整體測量難度提高，但通過視點拼接，本文方法依然達到了較高的精度。

考慮到測量范圍與誤差的均衡，將視點數量固定為4，然后將一塊高度為8.89 mm 的標準量塊放置于光學平臺和被測標準平面之間，使鏡面位置較之前升高。再對升高的鏡面進行測量并擬合，接著利用點到平面距離公式計算兩個擬合鏡面間的平均距離，將其與標準件高度進行比較。兩個鏡面位置的鏡面恢復點云如圖10（b）。

圖10 臺階面測量結果Fig.10 Step surface measurement results

最后，如圖11，經過重復試驗并取平均值，測量量塊高度與實際高度誤差小于0.1 mm，間接驗證了本文測量方法的準確性。

圖11 臺階面測量結果統計Fig.11 Statistics of step surface measurement results

4 結論

本文利用多個相機陣列組合實現了對高反射面面形的便捷性檢測。相對于單相機測量系統，該多視點系統可根據實際情況，靈活設計相機數量和排列方式，尤其在大尺寸、大曲率高反表面測量時，可有效規避盲點并擴大測量范圍。采用了改進的顯示器屏幕標定方法和全局標定方法，利用顯示屏和平面鏡的平面性抑制標定誤差，僅需標定一次，且所需器材僅有一塊標準平面鏡。在所提出的方法中，重建結果精度主要取決于顯示器編碼和系統標定精度，為此可以使用更高分辨率的顯示器和相機系統或更高精度的相移解包裹算法提高測量結果精度。對于透明光學鏡面，非連續性鏡面等特殊測量場景，如何使用所提方法完成高精度的便捷性測量是進一步研究的方向。