提高結構光投影輪廓術中三維成像質量的算法研究

董延清，徐永澤，王宴華，李宏升，陳文聰，史 鵬

(青島理工大學 理學院，青島 266525)

近年來，隨著逆向工程和三維成像技術的發展和應用，獲取現實世界物體的三維數據并進行三維成像的方法得到了越來越多的關注和研究。目前的三維成像技術主要分為接觸式和非接觸式兩種，其中接觸式測量雖然有較高的精度，但接觸難免會對被測量物體表面造成損傷，而且受制于被測量物體的尺寸，測量效率也會下降；非接觸式包括全息照相法、散斑干涉法、被動式非相干法和主動式非相干法等，其中主動式非相干法中的結構光投影輪廓術以結構光為載體，利用投影條紋的相位信息來還原物體的三維形貌，因其非接觸、高速度、高準確度等優點，被廣泛應用于逆向工程、醫學影像、三維視覺等領域，隨著工業檢測精度的精細化，其更被應用于孔洞檢驗[1]和工業磨痕檢測[2]等機械、土木工程領域，成為當前最具有發展前景的三維形貌采集和重建技術之一。

正弦結構光三維成像系統需要投影正弦條紋[3]，條紋投影到物體表面后會因物體表面的高度不同而產生相位調制，根據相位差進行相位解包裹等操作便可將物體的高度信息提取出來?；谡医Y構光的傅里葉變換輪廓術(Fourier Transform Profilometry, FTP)采用傅里葉變換法[4-5]，將一幅含有條紋相位差信息的圖像進行傅里葉變換處理，使圖像信息從空間域轉換到頻域，在頻域中進行濾波操作，把含有變形條紋的基頻信息過濾出來，再對其進行傅里葉逆變換、相位解包裹等一系列操作最終得到物體的三維形貌，其中傅里葉變換中的性質對FTP法有一定影響，會產生頻譜混疊、頻譜泄漏等問題，LOHRY等[6]提出利用調制來消除三階諧波的方法提高條紋質量；虞梓豪等[7]提出利用多頻外差法來提高小型物體的細節重建效果。相移輪廓術(Phase Shifting Profilometry, PSP)同樣基于正弦條紋的相位差來計算物體高度，利用物光與參考光之間的有序位移造成相應的光程差變換來計算物體的高度信息。PSP因采用多幅圖像進行相位的解包裹，所以相移條紋的精度會大大影響相位信息的計算準確度，就相移步長的精度問題，ZHANG等[8]提出改進Carré算法來抵抗相位步長不準確引起的誤差。

環境光亦稱為背景光，是指在特定環境中的照明光線，包括自然光線和人造光線，良好的環境光可以起到美化視覺的作用，但在一些特定的成像系統中，環境光的加入會影響成像系統光信息的傳播，甚至可能會將有用信息湮沒在背景光的噪聲中。正弦結構光三維成像系統非接觸的特點，需要將正弦條紋投影到物體表面，利用圖像采集系統進行光信息采集，信息采集過程中會受到各種外界環境光等噪聲的影響，在一定程度上降低了三維物體的成像質量。

關于減少環境光噪聲的算法研究成果較少，本文就正弦結構光投影輪廓術中信息采集的問題進行了詳細討論，分析物體高度信息的計算方法，討論了影響三維成像效果的環境噪聲因素，提出了圖像相減算法和單色通道數據提取算法兩種通過減少環境光噪聲來有效提高三維物體成像質量的方法，并用計算機模擬和實驗驗證了兩種算法的有效性。

P—正弦結構光原始空間周期；θ—斜入射角度；P0—投射接收平面(基準參考面)上的投影空間周期；B—測量物體上的任意一點；b—過B點正弦結構光和相機CCD光軸間的水平距離；L—CCD與基準參考平面的垂直距離；A，C—B點在基準參考平面上的兩個投影點；O—CCD面光軸正射投影點(記為相位O點)

1 正弦結構光三維重建原理

1.1 高度公式

正弦結構光三維成像采集系統一般為單目視覺測量系統[9]，單目系統利用一個電荷耦合原件(Charge Coupled Device，CCD)或相機拍攝圖像，測量圖像上像素點與空間對應點的幾何約束關系，求得三維坐標，計算得到三維物體的高度信息。假定投影系統的光束近似為平面波[10]，模型如圖1所示，一定角度傾斜投影的條紋打在物體表面上，物體的高度對正弦條紋進行相位△φ的調制，與之相對應，相位△φ中便攜帶了物體的高度信息。

圖1 平面波傳輸模型

漫反射物體的高度h(x,y)對相位進行調制后得到的附加相位為

φ(x,y)=2πx/P0+2πh(x,y)/λe，

(1)

式中：λe為等效波長，一個等效波長正好等于引起相位變化量的高度變化。

由于Dc為任意取值，則CCD陣列上任意點的前后兩次相位差有如下關系式：

(2)

(3)

其中式(3)中正弦結構光原始空間周期P，斜入射角度θ，CCD與基準參考平面的垂直距離L，均由實驗系統參數決定，都可以測量得到。φA和φC分別為條紋中同一位置點水平方向上的原相位和投影相位。顯然，當P，L，θ確定時，高度h隨著相位差Δφ=φC-φA增大而增大，呈線性正相關。

1.2 FTP法基本原理

圖像是由離散的像素點[11]構成，對圖像進行二維離散傅里葉變換(Two-Dimensional Discrete Fourie Transform, 2D-DFT)和逆變換等操作求出物體的真實高度[12-13]，具體步驟為：首先對圖像進行傅里葉變換，將圖像從空間域轉換到頻率域，在頻率域中進行特定的窗口濾波，把投影條紋的信息從頻域中提取出來，進行傅里葉逆變換后便可得到條紋的相位差Δφ(x,y)，利用相位差計算并擬合出圖像中物體的真實高度。

在FTP中，當投影的正弦結構光場照射到物體表面時，考慮一維變形條紋強度I分布表示為

I(x)=I0(x)+I1(x)cos[2πv0x+Δφ(x)]，

(4)

式中：I0(x)為背景光強度；I1(x)為條紋的振幅強度(包含反射率信息)；v0為原始的條紋空間頻率。

(5)

進行傅里葉變換后，得到的頻譜強度分布為

(6)

(7)

由式(7)可以得到變形條紋的相位偏移：

(8)

式(8)中，tan-1(…)求出的相位是包裹相位，需要對其進行解包裹；2πv0x為基準平面的相位變化，減去基準平面得到的就是因高度造成的相位偏移差。

1.3 PSP法原理

相移輪廓術通過移動條紋或者物體來移動固定步長的相位，通過相位之間的特定相位差信息將相位中包含的物體高度信息計算出來。

其中四步相移輪廓術的條紋強度公式分別為

(9)

通過聯立以上四個方程可求得相位差：

(10)

從上式中可以看到，通過四個強度求差、商后，最終求解得到不含有振幅強度I1(x)和背景光I0(x)的相位，減去基準平面后得到因高度引起的相位差。

從以上兩種方法中可以看出，條紋投影輪廓術的實現需要先得到精確的條紋相位差信息Δφ(x,y)，通過Δφ(x,y)來計算物體的高度信息，所以條紋的清晰度對最終的三維成像效果有至關重要的影響，當物體表面反光或者顏色與條紋顏色相近時，條紋的清晰度便會被干擾，條紋的相位信息也便無法得到精確的解析，進而影響三維成像效果。如何將條紋的信息精確地提取出來直接關系到最終的三維成像質量。

2 條紋有效信息提取算法

由物體高度公式(3)可以看出，理論上h的求解與相位差Δφ有關，而與背景光I0無關，但在實際情況下，背景光的增強意味著噪聲的增加，背景光會對投影條紋產生疊加。FTP方法進行傅里葉變換后背景信息I0會存在于整個頻譜中，尤其在強背景光時條紋所攜帶的相位差信息Δφ更容易被湮沒在噪聲[14]中無法有效分離；PSP方法因要拍攝多張照片，若這些照片中背景光發生變化會使得I0產生嚴重擾動，影響相位φ(x)的計算，進而影響物體高度的準確還原。下面提出兩種濾除(減少)背景光噪聲的算法。

2.1 圖像相減算法

利用圖像相減算法，將有背景光有投影條紋的圖像和有背景光無投影條紋的圖像數據進行相減[15]，得到的便是兩幅圖像的差異信息，即變形條紋圖，大大提高了條紋有效信息傳輸和接收的準確性。

固定各種環境參數，確保單一變量，背景光下實驗，環境光會與投影出來的條紋產生加權，圖像的整體亮度提高，同時條紋的信息部分被環境光所掩蓋，利用投影條紋圖減去物光光強或者參考光光強，得到一副全新的條紋圖像，實驗中記錄在CCD中的環境光圖像記為U0(x，y)，環境光下加上投影條紋的像素信息記為U1(x，y)，通過圖像相減便可得到投影條紋的振幅變化。

獲得條紋圖像為

(11)

將背景光場減掉，從而只剩下變形條紋的信息，對相減得到的圖像進行FTP或者PSP處理后即可得到物體的三維形貌。

從圖2中可以看出，圖2(b)所示圖像環境光對條紋的對比度影響較大，條紋不清晰，影響最終的三維成像質量；通過圖像相減算法利用圖2(b)-(a)將背景光場數據減掉，得到如圖2(c)所示的物體條紋圖，條紋清晰度大幅提升，有效減小了環境光對條紋清晰度的影響。

圖2 不同情況下的實物條紋(頂視)

2.2 單色通道數據提取算法

相位差的計算依賴于投影條紋的正弦性，正弦性的改變會影響最終的三維成像精度。當外界環境光(白光)較強時，利用儀器投影的條紋可以選定為特定顏色的單色條紋，在利用計算機系統進行處理時，可以利用單色通道數據提取算法[16]將這些條紋較高效率地提取出來，減小環境光中其他波段有色光的影響，從而進一步提高三維成像系統的精度。

幾乎所有的彩色成像設備和彩色顯示設備都采用RGB(紅、綠、藍)三基色，各種顏色由RGB三種顏色通道相互疊加而成，真彩色圖像由R，G，B三個像素層疊加，在RGB彩色空間中，任意彩色光L的配色方稱為

L=r[R]+g[G]+b[B]，

(12)

式中：r[R]，g[G]，b[B]為彩色光L的三基色分量或百分比。

圖像各像素點的不同顏色由R，G，B三基色分量組成，如圖3所示，每個顏色基量的范圍為0～255，共256階亮度，值越大代表所占分量越多，一幅圖像的每個像素點上的色彩可看作由紅、綠、藍三個0～255不同值構成的三層矩陣疊加而成。

圖3 RGB彩色空間

利用計算機系統可以進行單色通道數據提取，將其他顏色的通道進行置零，得到某一顏色通道，從而減小其他顏色通道和外界環境光對條紋信息的干擾。

修正CCD的非線性影響，使用SCMOS05000KPA直接采集投影條紋并利用計算機進行處理，從圖4中的像素和強度值的對應關系可以看出，暗室環境下條紋的對比度最高、正弦性較好，當加入照度為122 lx的環境光時，條紋的對比度下降明顯，條紋信息的質量下降，而當采用單色通道數據提取去處理條紋后，對比度有了很大的提升，說明單色通道數據提取算法較好地提高了條紋有效信息的質量，對后續的高度反演有利。

3 結果分析

3.1 計算機模擬PSP實驗

采用計算機建立的三棱柱模型如圖5(a)所示，對圖5 (a)所示模型圖添加背景光隨機噪聲后分別直接處理和采用上文所提兩種算法處理，最后用四步PSP進行高度反演，經過式(10)計算可以得到包裹相位，隨后進行解包裹操作即可得到如圖5(b)(c)所示的物體三維形貌圖。從圖5(b)(c)可以看出，由于模擬環境光的存在使得PSP處理后條紋的相位失真，最終反演得到的三維模型表面粗糙，模型的成像質量較差，而采用圖像相減算法和單色通道數據提取算法后反演得到的三維模型表面趨于平滑，能有效改善外界環境光對成像質量的影響。

圖5 計算機模擬三棱柱

3.2 FTP實驗驗證

本實驗中，采用圖6所示實驗裝置產生激光正弦結構光條紋[17-18]。點光源發出的綠色激光經過調制和多次菲涅爾衍射傳輸后便可將標準的正弦條紋投影到待測物體P的表面，通過相機采集變形條紋的圖像，利用FTP方法可得到物體的三維形貌輪廓圖。

圖6 FTP法實驗裝置

本實驗采取表面平滑的等腰直角三棱柱(圖7)進行實驗，三棱柱直角底邊近似邊長l=12 mm、高L=20 mm，將圖6裝置產生的正弦條紋投影到三棱柱表面(投影條紋空間頻率約3 lp/mm)，分別對環境光(光強122 lx)下的原始圖像、經圖像相減算法和綠色通道提取算法處理得到的圖像進行FTP法處理，結果如圖8所示，未經過條紋有效信息提取算法處理的含環境光原始圖像在高度反演后三棱柱表面較粗糙，這些起伏點是由于環境光的噪聲產生的，而經過本文提出的算法處理后反演得到的三棱柱表面趨于平滑，三維成像圖的質量有一定程度的提高，成像圖中物體表面的噪聲起伏點明顯減少。

圖7 三棱柱實物

圖8 環境光下實驗物體的三維成像

4 結論

結構光條紋投影輪廓術中變形條紋的有效信息對最終三維成像質量來說至關重要，當拍攝物體處于較強的外界環境光下時，環境光作為噪聲會影響條紋相位差Δφ(x)的準確性，從而降低三維成像質量，因此本文主要研究投影變形條紋有效信息的提取和還原，提出了圖像相減算法和單色通道數據提取兩種后處理算法，可有效地提升物體上變形條紋的清晰度。采用圖像相減算法將背景光信息直接濾除，僅得到更精確的變形條紋圖像數據信息；采用與條紋顏色相同的單色通道數據提取算法，可減少背景噪聲，增加條紋對比度，改善因對比度、正弦性降低造成的影響。通過計算機仿真實驗和激光投影實驗證實了兩種算法的有效性，這為提高結構光投影輪廓術中三維成像質量的研究提供了有益參考。