基于快速散斑結構光三維重建的在線測量系統

郭繼平，李名兆，周迎春，李阿蒙，張俊杰

（深圳市計量質量檢測研究院，廣東 深圳 508055）

0 引言

隨著制造業數字化、智能化轉型發展，生產線上對運動狀態下產品或工件物體的非接觸表面三維結構尺寸和表面缺陷的高精度快速測量需求日益增多?；谏呓Y構光投影和立體視覺原理的三維成像和測量技術，具有非接觸、速度快、抗環境干擾能力強、適用于運動物體測量等特點，在工業測量領域有著廣闊的應用前景，成為近年來國內外研究的熱點［1-5］。

基于散斑投影的三維重建方法的關鍵步驟是利用數字圖像相關算法搜索查找左右相機采集的散斑圖像的對應點。該步驟計算量大、計算復雜度高、耗時長，成為散斑投影三維重建方法應用于快速在線工業測量的限制因素之一。此外，在鈑金件輥壓成形等典型的連續性制造中，工業產線對產品和工件的質量檢測，需要同時對3D面型輪廓及關鍵表面幾何結構尺寸進行精確快速測量，當前國內缺乏針對性的自主在線測量設備。本文針對上述問題，通過對散斑三維重建算法的優化，提升三維重建計算效率，結合輥壓成形智能制造場景中鈑金件快速檢測需求，研究開發基于快速散斑三維重建的在線測量系統，并通過已校準溯源的測量標準對系統測量數據結果的精度進行了驗證分析。

1 基于快速散斑結構光三維重建的在線測量方法

1.1 散斑結構光三維重建步驟

典型的基于散斑投影的三維重建系統一般由1個投影裝置和2個相機組成，如圖1所示。其基本步驟為：①投影裝置投射散斑結構光至物體表面，左右兩個相機同步采集包含物體表面信息的散斑圖像；②對散斑圖像進行預處理，包括濾波、散斑區域的提取、圖像去畸變等；③對處理后的圖像進行投影校正，并利用數字圖像相關算法搜索得到物體表面點在兩個相機所成圖像中的整像素匹配點對；④利用非線性優化方法計算亞像素匹配點對；⑤基于系統標定數據，利用雙目立體視覺原理計算匹配點對的空間三維坐標，獲得物體表面三維數據。

圖1 散斑投影三維重建示意圖Fig.1 Schematic diagram of speckle projection 3D reconstruction

上述步驟③和④的匹配點對搜索是關鍵步驟，但由于計算量較大，較為耗時，選擇合適的搜索策略和優化算法十分重要，關系到三維重建的精度和效率［6-7］。本文利用二階圖像投影校正算法和優化的亞像素優化算法提升三維數據重建效率。

1.2 二階圖像投影校正

基于散斑投影的三維重建系統中的兩個相機構成雙目立體視覺系統，其中一個相機獲得的散斑圖像特征點位于另一個相機平面對應的極線上。如圖2所示，aL(uL，vL)和aR(uR，vR)是物體表面點A在左右相機所成散斑圖像中的對應點，(ui，vi)(i=L，R)為各自圖像坐標。aL，aR分別落在對應圖像的極線paL，paR上，圖中eL，eR為極點，OL，OR為相機光心。這一性質可用于左右相機散斑圖像對應點的搜索過程，使得數字圖像相關計算搜索從整個圖像區域的二維搜索簡化為沿極線方向的一維搜索，可減少搜索計算時間。通常情況下，極線在圖像中有一定的斜率。直接沿極線進行對應點搜索仍較為耗時，且容易產生誤匹配。為此，可對預處理后的散斑圖像進行投影校正，使得搜索路徑沿u軸方向進行，以進一步提升效率，減少錯誤［8-9］。

圖2 極線搜索及圖像投影校正示意圖Fig.2 Schematic diagram of polar line search and image projective rectification

采用的圖像投影校正方法包括圖像水平線變換校正和共線性變換校正兩個步驟。首先根據式（1）將左右相機圖像極線調整至與u軸平行。

式中：a，b，c為調整系數，可通過已知對應圖像坐標點由最小二乘法解算求出。然后，可根據式（3）完成共線性變換。

通過變換，左右相機圖像共軛極線paL，paR的v坐標調整至相同，散斑圖像的對應點相關搜索僅需沿u軸進行，可大幅提升對應點搜索效率［10］。

1.3 對應點快速搜索

完成上述投影校正變換處理后，通過雙線性插值算法獲得可直接進行數字相關計算的新物體散斑圖像。本文選擇搜索子圖像窗口半寬m為10像素，對左相機子圖像區域IL沿其中心點v坐標在右相機圖像中沿u軸進行相關搜索，并采用基于去均值歸一化互相關函數的相關算法依據式（4）計算相關系數Ci［11］。

式（4）中：fi為IL中第i個子區內像素點對應的灰度值為對應子區圖像度值均值；gi為右相機圖像水平極線上第i個待匹配子區域內像素點的灰度值為該子區圖像灰度均值。當Ci取最大值時對應的子區域即為匹配區域，其中心點即為對應點。

1.4 對應點亞像素優化及三維重建算法

經過上述快速對應點搜索步驟，得到整像素級對應點坐標。為提升散斑重建三維數據精度，需對整像素對應點坐標進行亞像素優化。采用簡化的視差變換模式構造目標函數對整像素對應點坐標進行亞像素優化［10］。首先，利用二階視差變換模式給出對應點坐標的變換關系，如式（5）；同時再構建優化目標函數，如式（6）。其中，uT為左右相機散斑相機子區域圖像水平視差；?u，?v為對應點距子區域圖像中心的圖像坐標偏差。

定義待優化參數為

并由此定義優化目標函數τ（σ），采用Newton-Raphson迭代算法可實現該優化過程求解，其迭代公式為

式中：σ0為初值（可采用整像素對應點坐標參數）；?τ(σ0)為τ（σ）在σ0處的梯度值；??(σ0)為τ（σ）在σ0處的二次偏導。

按照式（8）循環迭代，直至前后兩次結果的差值小于規定閾值，即可得到σ的最優解，并將結果代入式（5），可得到對應點亞像素圖像坐標xi(ui，vi，1)，i=L，R。根據雙目立體視覺原理，將xi帶入式（9）聯立方程即可求得對應點的空間三維坐標。

式中：Mi為相機內參矩陣；Ri，Ti為世界坐標系到相機坐標系的旋轉平移變換矩陣，可通過相機標定預先獲得［12］。

2 實驗驗證與精度分析

根據上述方法，構建基于散斑投影的三維在線測量系統如圖3所示。系統中使用的投影模塊有效像素數為1280 × 800，相機有效像素數為2448 ×2048，幀率為20 fps。直線電機可模擬在線測量工況帶動被測工件運動。

圖3 散斑三維在線測量裝置圖Fig.3 Speckle 3D online measurement system

為驗證本文開發系統的實用性，選取輥壓成形制造工件作為測量對象，模擬流水線運動狀態進行測量實驗，將測量結果與工件設計3D模型進行對比，輸出整體面形誤差及在線檢測中關注的關鍵幾何尺寸。同時為驗證系統測量結果的準確性，采用經校準溯源的臺階標準器進行了測量實驗，給出測量數據的誤差分析結果。

2.1 工件測量實驗結果

應用本文測量系統對如圖4（a）所示的輥壓成形鈑金件進行測量，測量時設置電動馬達帶動工件以1.5 m/min速度運動。圖4（b）和圖4（c）給出了兩個相機采集到的物體散斑圖像和三維重建數據結果。使用本文優化的圖像投影校正和亞像素優化算法，圖像采集及計算處理時間總計約4.6 s。使用優化前的算法重復該實驗過程，圖像采集及計算處理時間總計約8.2 s。由此表明，優化的算法可顯著提高散斑圖像三維重建效率。

圖4 工件三維重建實驗結果Fig.4 3D reconstruction result of workpiece

結合產線對該工件的實際質量檢測需求，使用本文系統軟件分別對工件整體面型輪廓誤差、上下面高度差及平面度進行了測量分析。整體面型輪廓與CAD模型進行自動匹配，得到誤差分布如圖5所示。同時，系統可根據獲得的3D數據計算出工件上下面高度差為54.075 mm，工件上表面平面度為0.530 mm。實驗結果表明本文開發的散斑三維測量系統適用于工件在線測量任務。

圖5 面型輪廓分析結果Fig.5 Measurement results of surface profile

2.2 精度驗證實驗結果

為驗證測量結果的精度，使用圖6（a）所示臺階標準器進行了驗證測量。應用本文系統對該標準器重建的三維數據結果如圖6（b）所示。臺階標準器的臺階面高度、上臺階面平面度經校準溯源，使用本系統軟件測量得到的結果及誤差如表1所示，臺階高和平面度計算時，去除了部分錯誤三維數據點。根據驗證測量結果，本文系統臺階面高度測量誤差為- 0.032 mm，上臺階面平面度測量誤差為0.052 mm（采用最小二乘平面擬合，參與擬合計算的有效數據點數為12681個，擬合標準偏差為0.009 mm）。由實驗結果可知，結構尺寸測量誤差可控制在0.035 mm以內，可滿足工業生產中部分產品或工件的在線測量要求。

表1 數據精度驗證結果Tab.1 Precision verification results mm

圖6 驗證標準器三維重建結果Fig.6 3D reconstruction result of step standard

3 結束語

針對物體表面在線三維測量需求，利用優化的投影校正算法和亞像素優化算法，開發出一種基于散斑結構光投影的三維測量系統，可成功用于鈑金件等產品的在線測量。此次研究開發的系統僅能實現一個視角下的物體表面數據三維重建和測量分析，對于有遮擋關系的復雜物體數據獲取不完整，不能實現對物體全部表面完整數據的獲取和測量，三維數據重建和測量分析過程仍相對耗時。今后仍需對完整物體表面數據獲取、快速實時在線測量算法進行深入研究，進一步提高系統的應用范圍。