基于二值條紋的快速高精度三維成像系統的研究

查善盼, 鮑 偉, 徐玉華

(合肥工業大學 電氣與自動化工程學院,安徽 合肥 230009)

三維形貌測量在產品檢測、逆向工程、三維打印、人體測量、人機交互等領域有著廣泛的應用。光學三維成像是目前應用最廣泛的技術之一,分為“被動式”方法和“主動式”方法。采用自然光照明的屬于“被動式”方法,由于只使用2個攝像機,具有硬件配置簡單,系統校準直觀等優點,但是對于表面沒有豐富紋理的物體，其測量精度較低。而“主動式”結構光系統,通過向被測物體投射設計好的結構光圖像,用相機捕獲投影到物體表面的變形光場來克服這一問題。

相移條紋技術是結構光系統中的典型代表,向被測物體投影一組正弦條紋,通過相應的相位展開算法可以對物體的相位信息進行重建。國內外學者在二值條紋測量方面進行了較多的研究工作。文獻[1]提出了投射Ronchi光柵,通過調整合適的離焦程度來生成正弦條紋,為二值條紋離焦投影的三維測量方法奠定了理論基礎;文獻[2]將該理論運用到數字投影儀,由于投影的圖片由8 bit的灰度圖變為1 bit的二值圖,提高了投影的速度,并且解決了非線性gamma的影響;文獻[3]提出了利用脈寬調制(pulse width modulation,PWM)技術在投影儀離焦時產生正弦分布光柵圖像進行三維測量;文獻[4]提出了優化脈沖調制技術(optimal pulse width modulation,OPWM),通過輕微的離焦使得較寬的二值條紋具有高質量的正弦性;文獻[5]提出了新的三角PWM技術(tripolar pulse-width-modulation,TPWM),進一步優化了條紋離焦投影的測量;文獻[6]提出了抖動二值離焦技術,抖動技術可以對高頻和低頻的正弦光柵進行二值化,且不影響其調制度;文獻[7]通過使用一個改進的數字投影儀(digital light processing,DLP)和快速三步移相算法,以40幀/s的速度獲得了實時三維形貌測量;文獻[8]提出了一種只使用4幅投影條紋和1個改進的DLP投影儀以及 FPGA開發板的方法,達到了120幀/s的速度,但其精度相對較低,達到0.527%。

針對三維測量用參考圖進行相位展開[9]中測量速度限制的問題,本文使用離焦投影二值圖片的方法,對測量速度和精度進行改進。本文的技術貢獻如下:

(1) 介紹一種新的三維成像系統,只需投影3幅二值條紋圖和1幅二值散斑圖就可以完成深度測量的方法,只使用4幅二值圖片就實現了快速、高精度的三維成像和形貌測量。

(2) 數字投影儀投影8 bit的灰度圖一般速度在120 幀/s,投影3幅相移條紋圖和1幅二值散斑圖的理論速度不超過40 幀/s。而采用離焦投影儀的方法,在投影儀Lightcrafter 4500上投影二值圖片可以達到4 000 幀/s,投影3幅二值條紋圖和1幅二值散斑圖的方法,在理論上其投影速度可以達到1 000 幀/s。

(3) 在相位展開算法上,本文使用圖形處理單元(graphics processing unit,GPU)對算法進行并行加速計算,在Nvidia GTX1060上進行加速實驗,整個相位展開的速度達到195 幀/s。

1 相位展開原理

1.1 相移法

相移法條紋分析技術是相位恢復最常用的一種方法,通過在被測目標表面投影一組相移條紋圖,利用相機采集的被測目標表面形變的光場計算深度信息。通常需要最少投影3張條紋圖像,投影的條紋圖案數量越多,對測量準確度的改善越大,但是投影條紋的數量越多,所需要的時間越多。

考慮到測量的速度,本文采用的是三步相移法[10-11],其計算過程為：

I2(x,y)=I′(x,y)+I″(x,y)cos(φ(x,y))，

(1)

其中:Ii為第i幅相移圖像的灰度值;I′為平均灰度值;I″為調制灰度值;φ為點P的相位值。相位值φ與投影儀坐標系下X軸上的坐標關系為：

(2)

其中：φ為相位值;xP為對應坐標值；N為條紋數;ω為投影條紋的水平分辨率。當確定了相位值φ,可以得到坐標xP,進而可以利用三角關系得到其深度。

對(1)式進行求解只能得到包裹相位或者范圍在(0,2π)之間的相對相位,即

(3)

由(3)式將相對相位恢復到絕對相位φ，即

φ(x,y)=φ′(x,y)+2Kπ

(4)

其中，k為待確定的條紋序列的周期數。

1.2 參考圖相位展開

本文采用一種利用散斑參考圖進行相位展開的框架[9]。該框架只需投影3幅相移條紋圖和1幅散斑圖就可以實現深度測量。該框架的具體測量是需要首先向參考平面投影3幅相移條紋圖、1幅散斑圖和1幅左邊全白右邊全黑的二值條紋圖,來完成參考平面的相位展開[12]；然后得到參考平面的相對相位圖、絕對相位圖和參考平面的散斑圖。完成準備工作后,接下來進行正式測量,對被測物體投影3幅相移條紋圖和1幅散斑圖。利用相移法可以得到1張當前的相對相位圖,接著利用立體匹配算法對當前參考圖和參考散斑圖進行立體匹配,得到1張稠密視差圖。此外,利用相位約束條件進一步提高匹配的準確度進行相位展開。

2 二值圖案三維成像方法

2.1 二值圖案結構光系統

數字投影儀利用DMD微鏡工作原理,通過控制微鏡開關狀態之間切換的速率控制投影圖片像素的亮度。文獻[9]采用正弦相移條紋圖,圖像為8 bit的灰度圖,用采集到的條紋圖計算相位信息。在一般的商用投影儀上,投影8 bit灰度圖的速度限制在120 幀/s,投影3幅灰度相移條紋圖加上1幅散斑圖,其速度在40 幀/s以內。另外,由于結合使用了相移法,該方法具有精確度高的特點，但缺點是對投影儀的非線性gamma比較敏感,任何非線性效應都會使理想的正弦條紋圖案變形為非正弦的,并引入誤差。由這種非正弦波形引起的相位誤差是測量的主要誤差來源。然而,為了獲取更好的視覺效果,現在的商業DLP投影儀會設置為非線性的,從而使得測量誤差必須進行補償才能獲取較為精確的結果。為了消除投影儀非線性gamma引起的測量誤差,文獻[9]采用常用的“查表法”對非線性誤差進行標定和校正。

針對文獻[9]中存在的不足,本文對該框架進行改進,采用離焦投影二值條紋圖的方案，將投影3幅相移條紋圖和1幅散斑圖的方案改為離焦投影3幅二值條紋圖和1幅二值散斑圖。由于針對1 bit的二值圖投影速度可以突破投影灰度圖速度的限制,在投影儀Lightcrafter 4500上可以將投影速度提升到4 000 幀/s。

投影3幅二值條紋圖和1幅二值散斑圖的理論速度可以達到1 000幀/s,極大地提升了三維測量的速度。通過讓投影儀適當離焦,可以使二值條紋圖離焦近似為正弦條紋圖,既保持了相移法的優點,又消除了非線性gamma的影響,不再需要額外的查表補償,使得測量過程中減少了計算補償校正的時間。本文的方法不但保證了測量的精度,而且極大地提高了測量的速度。

2.2 投影儀離焦生成條紋圖

二值條紋在數學上可以視為一個方波,二值方波的傅里葉級數展開式[13]為：

(5)

(5)式中一階諧波代表理想正弦波,而高階諧波代表方波的詳細特征。在頻域中,由于方波只有奇數次諧波而沒有偶數次諧波,若使用低通濾波器消除或抑制高階諧波,則可以近似理想正弦波。投影儀離焦技術可以對圖像產生平滑效果,因而可以將其建模為高斯濾波器。如果投影儀適當散焦到一定程度,投影的二值圖像將會模糊,從而生成近似正弦條紋圖案。

投影儀離焦投影二值條紋圖時,隨著離焦程度的加深,二值條紋越來越近似正弦條紋,但同時圖像會變得越來越模糊,對比度也會逐漸下降。不同離焦程度下的二值條紋圖及剖面圖如圖1所示。

圖1a～圖1d所示為不同離焦程度下相機采集到的條紋圖像,圖1e～圖1h所示為采集圖像的剖面圖,通過剖面圖可以直觀分析二值圖像離焦投影后正弦化的效果以及圖像對比度的變化。

圖1 不同離焦程度下的二值條紋圖及剖面圖

在同一離焦程度下,不同寬度的二值條紋圖所表現出的正弦性也是不同的。當二值條紋寬度較窄時,所表現出的正弦效果好;當條紋寬度較寬時,正弦性效果較差，如圖2所示。

圖2 不同寬度二值條紋圖及剖面圖

通過上述實驗發現,投影儀不同離焦的程度和條紋圖的寬度均直接影響著二值條紋圖在物體表面投影的正弦化效果,同時隨著離焦程度的增加,條紋圖的對比度不斷地下降。因此,本文采用寬度為9 pixel的二值條紋圖,在投影儀輕度離焦的狀態下,離焦投影的二值條紋有較好的正弦性且相機采集的圖像具有高對比度。

2.3 散斑調優

本文使用的參考圖相位展開框架中,需要向參考平面和被測物體投影設計好的散斑圖案來進行匹配。因為投影儀處于離焦狀態,相機采集的散斑圖案也處于離焦狀態,散斑圖案的質量直接影響匹配的結果，所以需要對散斑圖進行優化設計,以更好地實現散斑匹配。

二值散斑投射到物體表面時,可以有效地對空間信息進行編碼。散斑編碼已經成功應用到許多消費產品中,如Microsoft Kinect V1和iPhone X。本文所使用的散斑圖是根據Kinect里面的散斑進行設計的,具有較強的獨特性和抗干擾能力。實驗中,當散斑的顆粒較小、間距較密集時,離焦投影的結果比較模糊,會影響后續的散斑匹配。當散斑的顆?；蜷g距較大時,又無法對被測物體進行有效地信息編碼,導致匹配不可靠。因此,本文設計了一系列不同顆粒大小和間距的散斑圖用以散斑調優匹配實驗,采用不同密度的散斑圖進行匹配實驗，得到的視差結果如圖3所示。其中:圖3a～圖3d為設計不同顆粒大小的散斑圖;圖3e～圖3h為散斑離焦投影在被測物體的效果圖;圖3i～圖3l為散斑匹配的視差圖。當使用圖3a所示的密集散斑,輕微的離焦就會使得散斑變得非常模糊,如圖3e所示。模糊的散斑無法對被測物體進行有效地信息編碼,散斑匹配無法得到正確的結果,其視差圖中的大衛無法計算出來,如圖3i所示。當根據離焦情況選擇顆粒大小與間距適中的散斑,散斑會均勻清晰地覆蓋在被測物體表面,對被測物體進行有效地編碼,立體匹配會獲得正確的視差圖,如圖3f所示。當散斑變得逐漸稀疏時,散斑編碼丟失的信息也越來越多,立體匹配產生的視差圖中出現越來越多的噪點及錯誤區域,如圖3g、圖3h所示。

圖3 不同顆粒大小的散斑圖

通過一系列實驗發現,在投影儀輕度離焦狀態下,根據離焦情況選擇顆粒大小與間距適中的散斑,可以對被測物體進行有效編碼來獲取被測物體的正確視差圖。

2.4 匹配算法

在本文的三維成像系統中,利用了與文獻[9]類似的一種基于PatchMatch Stere[14-16]的簡化算法進行散斑匹配。原始的算法需要優化隨機的3D平面,使得匹配代價的計算開銷很大,而只需要優化一維視差的簡化的PatchMatch Stereo[15-16]算法被廣泛應用于實時測量的系統中。

本文的PatchMatch算法,將代價函數的計算用Census變換來代替，Census變換通過比對窗口像素與中心像素的大小進行圖像信息的編碼,其優點是對環境光照變化具有較強的魯棒性[17]。本文將中心像素P的灰度值IP替換為整個矩形窗口WP的平均灰度值IP,可以增加代價匹配的魯棒性。在P點的Census變換計算公式為：

(6)

參考散斑圖中的點Q和當前散斑圖中對應點P,它們之間的視差值為d,則P點的匹配代價可以通過漢明距離來計算,公式如下：

C(P,d)=Hamming(Census(P),Census(d))

(7)

最后利用相位約束條件可以提高散斑匹配的精度,即當前散斑圖和參考散斑圖中對應點的相位是相同的。

改進的PatchMatch算法主要由隨機初始化、視差傳播和后處理3個部分組成。利用這3個部分得到目標視差信息,之后利用框架進行相位展開,再利用相機和投影儀的內參矩陣、外參矩陣以及相機、投影儀之間的關系,計算求解出三維空間坐標,得到相應的點云圖。

3 實驗及結果分析

本文采用輕度離焦的數字投影儀，投影分辨率為1 024×768的二值條紋圖和散斑圖。其中二值條紋圖的寬度為9 pixel,散斑圖根據Kinect里面的散斑圖設計,具有較強的獨特性和抗干擾能力。

本文設計的快速高精度三維成像的結構光系統主要包括1個 CCD 相機和1個分辨率為1 024×768 的 DLP 投影儀。結構光系統中基線長度為 196.34 cm,從相機到參考平面的距離為105.4 cm。相機上安裝了1個焦距為8 mm的Computar M0814-MP2鏡頭,相機的分辨率為 640×480。 測試程序采用VS2015編寫,運行在處理器為Intel(R) Core(TM) i5-7300HQ和搭載了圖形處理器為Nvidia GTX1060的計算機上。

(1) 采用本文所設計的三維成像系統去測量1個高度為30 cm、表面幾何形狀復雜的大衛雕像。大衛雕像的重建過程如圖4所示。

圖4 大衛雕像重建過程

(2) 為了驗證本文方法對多個分離物體的有效性,本文測量了2個不同位置相互獨立的大衛雕像,如圖5所示。其中，一個高30cm,距離相機110 cm；另外一個高15 cm,離相機100 cm。。

圖5 分離物體的重建過程

(3) 為了驗證系統對具有多反射率表面物體的有效性,用系統對彩色布進行測量,其重建過程如圖6所示。結果表明本文方法對于復雜紋理物體的測量也是有效的。

圖6 多反射率目標實驗

為了驗證該系統的精確度,本文在距離110 cm處測量了一個光滑的平面板,獲得該平面的點云,將點云數據中的背景部分除去,然后對點云擬合一個平面,平面擬合的均方根誤差為0.27 mm。

在速度上,通過在圖形處理器Nvidia GTX 1060上對PatchMatch相位展開算法進行加速,整個相位展開的速度為195 幀/s。

4 結 論

本文提出了一種基于二值條紋的快速高精度三維重建系統。采用基于參考圖像的相位展開框架,只需要投影4幅二值圖片,即可實現全場三維重建。采用Lightcrafter 4500投影儀,投影4幅二值圖片的理論速度可以達到1 000 幀/s,極大地提升了投影速度。通過在圖形處理器Nvidia GTX 1060上對PatchMatch算法進行加速,相位展開速度為195 幀/s。在精度上,用該方法測量一個光滑平面板的均方根誤差為0.27 mm。本文驗證了基于參考圖像的相位展開框架、離焦投影3幅二值條紋圖片和1幅二值散斑圖實現三維重建方法的有效性。在未來的工作中,將采用高速相機和Lightcrafter搭建高速三維測量系統。