基于單目視覺三維恢復算法的微觀形貌原位測量方法研究

安奕同，周平，閆英

（大連理工大學 精密與特種加工教育部重點實驗室，遼寧大連 116024）

0 引言

工件表面的微觀形貌分析一直是機械加工及測量領域研究的熱點，對優化工藝方法、提高工件表面質量發揮著重要作用[1]?，F有的先進測量手段可以獲取工件表面的三維形貌，實現更加直觀的測量結果。例如激光共聚焦顯微鏡能夠利用激光掃描獲取工件表面三維形貌，并對表面進行參數分析[2]。但是這些技術設備不僅造價昂貴，還需要將零件拆卸或分解并在實驗室環境中測量，難以應用于現場檢測和原位測量，始終無法突破對表面微觀形貌原位測量的壁壘[3]。

隨著計算視覺技術的發展，計算機視覺技術在工件表面檢測上的應用也越來越受到關注。計算機視覺技術克服了傳統方法的不足，具有簡單快捷、無接觸、無變形等優點?；趩文恳曈X的SFS（shape from shading，從明暗恢復形狀）方法和光度立體視覺技術是計算機視覺技術在三維形貌恢復的手段，可以獲取工件表面法向量，還可以高精度恢復表面形貌，因而成為機器視覺領域研究熱門。

本研究的目的是將SFS方法和光度立體法應用于工件表面微觀形貌的三維恢復，分析其算法性能，提出一種通過二維圖像進行三維形貌恢復的原位測量方法，為超精密加工在線測量提供新方法。

1 三維重構算法

1.1 Shape from shading

1970年，Horn[4]提出從明暗恢復形狀算法（Shape from shading），最初目的是用于月球表面重建。該方法利用物體表面二維圖像的灰度變化來恢復其表面各點的高度信息，從而實現對零件圖像表面微觀形貌的三維重建。

SFS方法可以劃分成4種類別，包括最小化方法、傳播方法、局部方法和線性方法[5]。為了滿足算法簡單易實現、快速、易收斂的要求，本文采用Tsai-Shah線性方法，詳細介紹具體步驟。

首先將表面梯度進行離散估計。朗伯體表面的反射圖函數如下：

假設初始高度為0，經過10次迭代后表面高度即可收斂平滑，整體算法流程如圖1所示。

圖1 本文SFS算法流程圖

1.2 光度立體技術

1980年，Woodham[6]提出了光度立體法，在保持相機視野不變的情況下，利用不同方向光源，對光源添加約束，令上述問題存在唯一解。光度立體法原理可以描述為：在不同但可控的光照條件下，得到物體表面上同一視點的圖像?；谶@些圖像和物體表面的反射模型，計算物體表面的法向量，然后恢復物體表面的三維形貌。

在恢復過程中，采用了朗伯體反射模型[7]。假設存在n個光源，它們的位置形成一個光源方向矩陣L=[L1，L2…Ln]T（理論上只需要3個方向的光源，但實際上會使用更多數量的光源消除誤差），其中Ln表示第n個光源方向矢量。在n個光源的依次單獨照明下，表面上同一點會得到n個表面亮度I=[I1，I2…In]，其中In表示在第n個光源照明下所得到的表面亮度。如果表面上一點的法 向 量 為N=[n1，n2，n3]T，則朗伯體模型可表示為

使用近點光源校準方法獲得入射光的信息，包括入射光的強度和方向。同時，根據圖像中每個像素點的灰度值，得到每個點的反射亮度，并根據式（8）計算出表面點的法向量，主要步驟如下：

第一步。如圖4所示，使用具有12個圓形均勻分布光源的電子顯微鏡來獲得工件表面的二維圖像。圖2顯示了在12個光源的不同方向照明下的SiC工件表面圖像。

圖2 12個不同方向光源依次照射下獲得的圖像

第二步。計算物體表面的法向量。使用圖2中的圖像，工件表面上一點的法向量可以通過式（8）計算。以此類推，將上述算法應用于圖像的所有像素即可得到工件表面圖像所有點的法向量。

第三步。通過對向量域進行積分獲得表面深度信息。將得到的法向量歸一化，得到工件表面梯度域，最后通過對法向量積分來恢復表面的深度信息。表面深度的計算方法與Agrawal 所提出的方法[8]相同，本文光度立體法流程如圖3所示。

圖3 本文光度立體法流程圖

2 試驗與分析

基于上文提及的微觀形貌原位測量方法，設計了二維圖像采集系統，并將其用于工件表面的檢測，最后比較恢復結果與共聚焦顯微鏡掃描結果，驗證所提方法的準確性。

2.1 圖像采集系統

本文設計了微觀三維形貌的原位測量系統，該系統包括FT-UMS1000電子顯微鏡頭、一個 同 軸 光 源、12 個環形均勻分布的光源，如圖4所示。

圖4 SFS方法（左）及光度立體法（右）試驗方案

系統工作原理為將顯微鏡頭對準所測工件表面并對焦，通過同軸光源照明獲取SFS 算法所需平面圖像；然后關閉同軸光源，依次切換12個光源照明獲得12幅單光源照明下的平面圖像，接下來利用上文提及的恢復算法實現工件表面微觀三維形貌的獲取。

2.2 驗證試驗方案

本文的試驗對象SiC為工件表面，利用SFS算法以及光度立體法對其微觀表面進行三維形貌恢復與特征參數計算，同時利用激光共聚焦顯微鏡（Laser scanning confocal microscopy，LSCM）對同位置進行掃描，以驗證兩種三維形貌恢復方法的準確性。

為了驗證兩種恢復方法對表面三維形貌恢復結果的準確性，本文隨機選擇并標記了兩處特征位置進行重構試驗，同時也保證了兩種方法與LSCM測量的可比性，試驗工件及測量位置如圖5所示。

圖5 SiC工件試驗對象及測量位置

使用兩種方法與LSCM分別得到三維形貌后，分別比較高度圖、特征位置截線及特征點、截線二維參數和三維參數，以驗證兩種方法對表面形貌恢復的準確性。

2.3 試驗結果與分析

將SiC工件分別置于一般環境下電子顯微鏡頭與試驗室環境下的LSCM下，得到了兩個測量位置的二維圖像，如圖6和圖7所示。

圖6 不同手段獲得SiC工件表面測量位置1二維微觀形貌

圖7 不同手段獲得SiC工件表面測量位置2二維微觀形貌

2.3.1 SiC工件表面位置1測量

通過SFS方法和光度立體法分別對采集的二維圖像進行三維重構恢復，并利用LSCM對相同區域進行激光掃描，獲得三維形貌如圖8所示，高度圖如圖9所示。

圖8 不同手段獲得測量位置1三維微觀形貌

通過觀察圖9高度圖，SFS方法得到的三維形貌高度分布一致性較差，光度立體法與LSCM的高度分布基本一致。分別選取高度圖中標記截線處，繪制輪廓曲線，如圖10所示。

圖9 不同手段獲得測量位置1高度圖

通過觀察截線對比圖可知，SFS方法走勢相差較大，故不再詳細進行參數對比；而光度立體法與LSCM截線走勢基本一致，峰谷基本對應；故接下來選擇圖10中光度立體法及LSCM截線上所示兩組對應特征點，定量對比每組特征點之間的高度差、寬度差及絕對誤差，如表1所示。

圖10 不同手段獲得測量位置1截線對比圖

表1 測量位置1截線特征點對比

由表1可知，與LSCM相比，寬度差誤差最大值為9.18 μm，其相對誤差為1.94%，高度差誤差最大值為5.11 μm，其相對誤差為1.63%。

然后使用兩種手段分別獲取截線二維參數并比較，包括算數平均高度Ra、均方根高度Rq、最大峰高度Rp、最大谷深度Rv、最大高度Rz，反映截線高度分布的偏度Rsk、峰度Rku，結果如表2所示。

表2 測量位置1截線二維參數對比

由表2可知，相對于LSCM圖像，光度立體法算術平均高度誤差值為0.310 μm，其相對誤差為13.6%；均方根高度誤差值為0.291 μm，其相對誤差為10.7%;最大高度誤差值為5.282 μm，其相對誤差為32.8%。Rsk都低于0，表明輪廓有較少的凸臺和尖峰；Rku都低于3，截線高度分布均勻。

使用兩方法對圖9測量位置1的三維參數進行獲取和比較，包括算數平均高度Sa、均方根高度Sq、最大峰高Sp、最大谷深Sv、最大高度Sz、反映表面高度分布的偏斜度Ssk、峭度Sku，結果如表3所示。

表3 測量位置1重構圖像三維參數對比

通過觀察表3可知，光度立體法所得表面三維算術平均高度誤差為0.277 μm，其相對誤差為13.2%；三維均方根高度誤差為0.488 μm，其相對誤差為19.6%；最大高度誤差值為5.282 μm，其相對誤差為8.03%。Ssk值都低于0，表示高度分布相對于平均面偏上，與特征位置三維形貌相符；Sku值都低于3，表示形貌高度分布均勻，與特征位置三維形貌相符。

綜上分析，對于SiC工件表面位置1，與LSCM相比，SFS方法重構結果較差；光度立體法三維模型直觀形貌、高度分布、取樣截線走勢均一致較好；各二維參數中，最大高度相對誤差最大，為32.8%，峰度及偏度判斷結果一致。各三維參數中，均方根高度相對誤差最大，為19.6%，偏斜度及峭度判斷結果一致。

2.3.2 SiC工件表面位置2測量

同樣利用SFS方法、光度立體法LSCM分別對測量位置2采集二維圖像；隨后進行三維重構恢復，獲得三維表面形貌，如圖11所示。各方法高度圖如圖12所示，通過觀察可以看出，SFS方法結果依舊不理想，高度分布不一致；光度立體法重構結果較理想，表面紋理、高度分布基本一致，各方法相似位置截線對比如圖13所示。

圖11 不同手段獲得測量位置2三維微觀形貌

圖12 不同手段獲得測量位置2高度圖

由圖13可以觀察到，SFS方法所得截線符合度較差，故考慮不再參與后續參數對比；光度立體法與LSCM所得截線走勢一致，符合度較好。接著選取光度立體法和LSCM截線上兩組對應特征點，并比較每組特征點之間的高度差、寬度差及其絕對誤差，結果如表4所示。

圖13 不同手段獲得測量位置2截線對比圖

表4 測量位置2截線特征點對比

由表4可知，與LSCM相比，寬度差誤差最大值為15.78 μm，其相對誤差為7.33%，高度差誤差最大值為1.44 μm，其相對誤差為27.02%。

接著提取并對比截線的二維參數，包括算數平均高度Ra、均方根高度Rq、最大峰高度Rp、最大谷深度Rv、最大高度Rz，表示截線高度分布的偏度Rsk、峰度Rku，結果如表5所示。

表5 測量位置2截線二維參數對比

由表5可知，相對于LSCM圖像，光度立體法算術平均高度誤差值為0.336 μm，其相對誤差為14.7%；均方根高度誤差值為0.731 μm，其相對誤差為25.3%;最大高度誤差值為1.675 μm，其相對誤差為13.4%。Rsk都低于0，表明輪廓有較少的凸臺和尖峰；Rku都低于3，表明截線高度分布均勻，二維參數結果與直觀觀察相符。

最后對兩種手段測量位置1的三維參數進行提取與對比，包括算數平均高度Sa、均方根高度Sq、最大峰高Sp、最大谷深Sv、最大高度Sz、反映表面高度分布的偏斜度Ssk、峭度Sku，結果如表6所示。

通過觀察表6可知，光度立體法所得表面三維算術平均高度誤差為0.471 μm，其相對誤差為19.4%；三維均方根高度誤差為0.220 μm，其相對誤差為13.5%；最大高度誤差值為1.641 μm，其相對誤差為8.5%。Ssk值都低于0，表示高度分布相對于平均面偏上，與特征位置三維形貌相符；Sku值都低于3，表示形貌高度分布均勻，與特征位置三維形貌相符。

表6 測量位置2重構圖像三維參數對比

綜上分析，對于SiC工件表面位置2，與LSCM 相比，SFS方法重構結果較差；光度立體法三維模型直觀形貌、高度分布、取樣截線走勢均一致較好；各二維參數中，均方根高度相對誤差最大，為25.3%，峰度及偏度判斷結果一致。各三維參數中，算術平均高度相對誤差最大，為19.4%，偏斜度及峭度判斷結果一致。

3 結語

本文將基于單目視覺的SFS方法和光度立體法應用至微觀形貌的原位測量領域，提出了一種通過單目顯微鏡頭采集二維平面圖像恢復三維表面形貌的方法。該方法將SFS方法和光度立體法所得重構結果與激光共聚焦顯微鏡掃描結果比較，包括二維輪廓線、二維表面形貌參數、三維表面形貌參數，結果表明：SFS方法僅靠一張圖像作為輸入，深度信息丟失較多，同時在一般光照環境下，受陰影、噪聲等影響，對SiC工件復雜表面重構結果不理想；光度立體法利用多角度光源拍攝，得到更多表面信息，求解得到更精確的表面法向量，可以獲得較為精確的重構表面。

本文提出的方法能夠應用于機械工件表面微觀形貌的三維重構與參數分析，相比于傳統的工件加工后拆卸并測量的方式，無需拆卸工件，可對工件加工狀況提供及時的反饋，更加節約時間；同時測量設備經濟、體積小，為解決機械零件表面微觀形貌原位檢測與三維分析難題提供了一種新思路。