基于數字微鏡器件的自適應高動態范圍成像方法及應用?

馮維 張福民 王惟婧 曲興華

(天津大學,精密測試技術及儀器國家重點實驗室,天津 300072)

基于數字微鏡器件的自適應高動態范圍成像方法及應用?

馮維 張福民?王惟婧 曲興華

(天津大學,精密測試技術及儀器國家重點實驗室,天津 300072)

計算成像,高動態范圍,編碼曝光,數字微鏡器件

1 引 言

在數字圖像中,成像動態范圍表示圖像中包含“最暗”至“最亮”的范圍.相機的動態范圍越大,表示它能同時記錄圖像的明暗部細節越豐富.而在結構光三維掃描測量中,被測物的表面反射特性極大地影響測量效果,被測強反射表面因編碼結構光照射后易產生局部鏡面反射的特性,其反射光強動態范圍遠遠超過普通8 bit工業數字相機的成像動態范圍,引起相機曝光飽和,從而導致其圖像中常伴有高亮光、眩光等光斑現象,淹沒了所要檢測的表面幾何特征信息,引起測量失效或產生較大的測量誤差,其根本原因是光學成像動態范圍帶寬不夠.

為提高成像系統的動態范圍,國內外學者開展了深入的研究.多次曝光法是目前最常用的一種方法,該方法需要數字相機對同一場景設置不同的曝光時間進行多次成像,并將多幅不同曝光量的圖像運用圖像處理算法融合成具有高動態范圍的單幅圖像[1?3].然而,多次曝光法僅適宜靜態物體和穩定環境,并不適用于復雜多變的工業現場.一些學者提出采用多個圖像傳感器同時曝光融合,以實現對動態場景的高動態范圍成像,但這類方法需要多個探測器和精密的光學系統作為支撐,導致其光學系統結構復雜且昂貴[4,5].此外,通過改變圖像傳感器的感光單元結構或尺寸等方法以提高原圖像傳感器探測高動態范圍場景的能力,然而這些硬件方法均需要設計復雜的光電結構與加工工藝,大大增加了生產和制造的難度與成本[6?8].

近年來,新興的計算成像技術進一步拓展了高動態范圍成像的技術手段.計算成像結合了計算機與相機的優勢,通過計算機控制不同類型的空間光調制器(spatial light modulator,SLM)以實現對入射光線的精確調制,從而獲得更加理想的視覺圖像[9].Mannami等[10]和Li等[11,12]采用液晶類SLM,如液晶顯示(liquid crystal display,LCD)和硅基液晶(liquid crystal on silicon,LCoS),以調制入射光線的強度,提高成像系統的動態范圍.這類方法的優勢在于通過液晶類SLM實現對空間光線的調制,使進入相機的入射光強始終處于相機合適的曝光強度內,實現自適應的高動態范圍成像.然而,由于液晶類SLM的光效率低、對比度較低等固有物理特性的限制,影響了其在高動態范圍成像技術中的進一步應用與發展.

與上述解決方法不同,本文基于數字微鏡器件(digital micromirror device,DMD)具有調制入射光線空間信息的特性,借助DMD具有光效率高、對比度高等優勢,提出了一種基于DMD的自適應高動態范圍成像方法,以突破普通數字相機動態范圍的限制:設計與搭建了一套新型的可編程的計算成像系統,并建立其光學系統模型;詳細論述了DMD微鏡與CMOS像素的匹配與映射方法;提出基于DMD的逐像素編碼曝光理論與自適應光強編碼控制算法,以精確有效地調制入射光線強度.實驗表明,本方法能夠擴大成像系統的動態范圍,實現對強反射表面的局部過曝光區域的清晰成像.

2 系統構成及分析

2.1 成像系統的設計

DMD是一種空間光調制器,它是由數百萬個可獨立控制位置狀態的高速數字式微小平面鏡陣列組成.每個微鏡都有三種可能的狀態,即“開”態、“平”態和“關”態,分別對應+12°,0°及?12°的偏轉角,通過二進制脈寬調制技術能精確地實現對微鏡狀態的快速轉換,從而實現對入射光線的灰度調制[13].DMD已經在數字全息、單像素成像、壓縮感知等不同領域得到了廣泛的應用[14?20].

本文設計了一款新型的可編程的計算成像系統——DMD相機,如圖1(a)所示.該成像系統主要由DMD、CMOS圖像探測器、全內反射(total internal re flection,TIR)棱鏡、透鏡組1、透鏡組2和處理器共六個部分組成.DMD作為精密的數字光學開關,被放置于CMOS圖像探測器的成像光路上.當DMD微鏡設置為“開”狀態時,從被測物表面反射的光線能順利通過透鏡組1和TIR棱鏡將高動態場景成像在DMD表面;經過DMD對入射光線編碼調制后,其反射光線以24°偏角再次進入TIR棱鏡內,反射光線因在TIR棱鏡中發生內全反射而改變光線傳播方向,使該光線進入到透鏡組2中,經該成像物鏡會聚后在CMOS圖像探測器上成像.反之,當DMD微鏡設置為“關”狀態時,被測物反射的光線則不能進入CMOS圖像探測器.此外,DMD、CMOS圖像探測器、透鏡組2和處理器構成了一個完整的光電反饋系統.因此,DMD相機能夠決定入射光線能否進入探測器內,實現了在二維空間的可編程成像.

圖1(b)是本實驗中搭建的DMD相機的硬件原型.為達到高速高分辨的成像目標,選用Texas Instruments 0.65 inch DMD為空間光調制器,其物理有效分辨率為1920×1080,微鏡尺寸為7.6μm,并最高可達247幀8 bit灰度圖像顯示.CMOS圖像探測器被固定在一個高精密六維位移臺上,能夠實現對xyz-αβθ共六個方向的微調.TIR棱鏡前置于DMD,它能折疊光路,使成像系統結構更加緊湊.

圖1 基于DMD的計算成像系統 (a)光學原理圖;(b)內部結構圖Fig.1.Computational imaging system based on DMD:(a)Optical principle;(b)hardware prototype.

2.2 基于DMD的自適應高動態范圍成像原理

基于DMD的自適應高動態范圍成像過程如圖2所示.首先,所有的DMD微鏡被設置為“開”狀態,因而被測物的反射光線經DMD編碼調制后可在數字相機中成像;接著,該原始圖像被傳輸至計算機處理,計算原圖像中的亮度分布,利用自適應閾值分割算法判別編碼圖像中是否存在過飽和區域并提取原圖像中的過飽和區域;然后,根據DMD微鏡與CMOS像素的匹配與映射關系,設計自適應光強編碼控制算法生成合適的DMD掩模以精確控制DMD各微鏡的狀態,實現對相應區域入射光線的有效衰減.依次迭代,直至最終獲得的編碼圖像完整清晰,從而達到自適應高動態范圍成像的目標.

圖2 基于DMD的自適應高動態范圍成像過程Fig.2.The processing of adaptive high dynamic range imaging based on DMD.

在DMD相機中,核心成像器件是固態圖像傳感器,其動態范圍通常被定義為

其中,Imax和Imin分別表示圖像傳感器能探測到的最大亮度值和最小亮度值.對于普通8 bit的數字相機,一般設定最小亮度值Imin=1,因此8 bit數字相機的動態范圍為20·lg255=48.13 dB.

DMD作為光學衰減器,主要用于記錄入射光的衰減值.設Tmax和Tmin分別表示DMD微鏡保持“開”狀態的最長時間和最短時間,則DMD相機的動態范圍可以表示為

當用8 bit圖像作為掩模對DMD進行編碼控制時,DMD相機的動態范圍為20·lg(255×255)=96.26 dB.因此,DMD相機的動態范圍遠大于8 bit的普通數字相機,其性能相當于一個非常昂貴的16 bit的圖像傳感器的動態范圍.

2.3 成像系統的光學模型

在由DMD與CMOS組成的線性空間不變的成像系統中,CMOS像平面的一個像點實際是由被測物的物平面上的多個物點疊加而成,這種混合疊加的成像過程可以用數學積分來表達:

式中,(s,t)和(x,y)分別表示物平面和像平面上二維空間坐標;f(s,t)表示被測物的圖像;g(x,y)表示相機采集到的圖像,又稱為降質圖像;h(x,y;s,t)表示該DMD相機的光學傳遞函數(PSF).

光強函數I(x,y)可以表示為像函數g(x,y)與其共軛像函數g?(x,y)的點積的時間平均值:

將(3)式代入(4)式中,光強函數I(x,y)又可表示為

由于從物體表面反射的光線可以看作是非相干平面波,故(5)式可以進一步表示為

設I(x,y,t)對應于M×N像素鄰域內的時空卷積和相機積分時間;M(x,y,t)表示DMD與CMOS之間的調制函數;T表示相機的曝光周期;(x,y)表示DMD平面上的任意一點,其與CMOS像平面上的某一點相對應.因此,DMD相機的實際光強函數V(x,y)可以表示為

(7)式中,M(x,y,t)∈[0,1].當M(x,y,t)=0時,所有的DMD微鏡為“關”態,沒有光線可以進入數字相機的像面成像;當M(x,y,t)=1時,所有的DMD微鏡為“開”態,所有入射光線均可進入數字相機的像面成像.對于普通數字相機,M(x,y,t)=1?(x,y,t).此外,當微鏡未偏轉(即處于“平”態)時,所有DMD微鏡處于水平位置,入射光線均因微鏡反射而偏離數字相機的像面.

3 成像系統的匹配與映射

為了實現DMD對CMOS入射光線的像素級精確控制,必須獲得各DMD微鏡與CMOS像素之間的匹配與映射關系.

3.1 成像系統的匹配

成像系統的匹配是指DMD微鏡與CMOS像素之間的空間頻率的一致性.由于單個DMD微鏡與CMOS像素都非常微小,僅通過微調平臺無法直接消除兩者間的匹配偏差.本文采用莫爾條紋法放大DMD與CMOS的匹配特征,以實現DMD微鏡與CMOS像素的像素級匹配[21].

眾所周知,當兩塊光柵距相等的光柵以相對保持一個較小的夾角θ疊加時,在它們的疊加區域會產生肉眼可見的莫爾條紋,這樣就能把微小的柵距位移變成清晰可見的條紋位移.同理,由于DMD與CMOS都是二維離散抽樣結構,當對它們的微鏡與像素分別做等間隔采樣時,則它們均可被看作是二維光柵.若它們的空間頻率不一致時,就會產生清晰可見的莫爾條紋.基于此原理,可先將DMD掩模設置成周期性條紋光柵圖案,如圖3(a)所示.該條紋圖案在每個周期方向上由4列微鏡組成,且前兩列為“開”狀態,后兩列為“關”狀態,分別用于衡量x,y兩軸向的空間頻率一致性.接著,CMOS相機采集DMD像面的圖像,并以每四列為一個周期進行1/4抽樣,而且每個周期內的第一列CMOS像素值被作為采樣值復制給其同周期內的其他三列,使同周期內的像素灰度值均相同.當DMD微鏡與CMOS像素沒有完全一一對應時,由于相鄰周期的CMOS采樣值不同,在復制插值之后就會出現灰度漸進的周期性的莫爾條紋現象;否則,CMOS圖像探測器采集的圖像中將不會顯示有莫爾條紋.DMD相機初始匹配結果如圖3(b)所示,圖中出現了明暗相間的莫爾條紋,說明DMD與CMOS之間未完全匹配.

圖3DMD與CMOS的匹配結果 (a)DMD匹配掩模;(b)未匹配;(c)已匹配Fig.3.Result of matching between the DMD and the CMOS detector:(a)Matching mask taken by DMD camera;(b)not matched;(c)matched.

實驗中可調整CMOS在xyz-αβθ六維位移臺上的位置來實現DMD微鏡與CMOS像素的匹配,實驗結果如圖3(c)所示,CMOS所采集的掩模圖像中的四個區域均不存在莫爾條紋,圖案亮度較均勻.因此,該DMD相機中已實現了DMD微鏡與CMOS像素的像素級匹配.

3.2 成像系統的映射

根據該成像系統的光路特征可得到其坐標映射等效示意圖,如圖4所示.可知DMD微鏡陣列與CMOS像素陣列的對應關系實際上是一種空間映射關系,兩坐標系間可用三維投影變換矩陣表示.因此,從DMD像面到CMOS像面的像素映射關系可用如下等式:

其中,U和X分別代表DMD像面和CMOS像面對應映射點的齊次坐標,R是一個3×3的非齊次單應矩陣,它可表示為

其中,rij為矩陣R的第i行與第j列相交的元素.設Pd(u,v)和Pc(x,y)分別是DMD像面和CMOS像面上的任意一點,則(9)式可以表示為

因此,當Pd(u,v)和Pc(x,y)坐標均已知時,單應矩陣R可采用直接線性變換(DLT)算法求解[22].

圖4DMD與CMOS相機坐標映射關系的等效示意圖Fig.4.Equivalent schematic diagram of coordinate mapping between DMD and CMOS detector.

事實上,根據本成像系統的特點,DMD微鏡與CMOS像素的標定方法如下.

步驟1DMD顯示棋盤格標定圖案.為了簡便計算,設計一個如圖5(a)所示的4×6的棋盤格陣列,共存在15個角點,且該棋盤格上各角點坐標Pd(u,v)已知.

步驟2CMOS相機采集DMD像面的圖像,如圖5(b)所示.

步驟3運用Harris算法檢測CMOS相機中所采集的圖像中存在的角點坐標Pc(x,y),檢測結果如圖5(c)所示.

步驟4采用DLT算法,由步驟1和步驟3的數據計算即可得到DMD相機的單應矩陣R:

當求解出單應矩陣R后,根據CMOS像面上的任意特征點Pc(x,y)都可用表達式(11)式解出其對應于DMD像面中的微鏡Pd(u,v):

圖5 DMD與CMOS的映射關系 (a)DMD標定圖案;(b)CMOS相機采集的棋盤格圖像;(c)角點檢測結果Fig.5. Mapping relationship between DMD and the CMOS detector:(a)DMD calibration pattern;(b)the calibration pattern captured by CMOS detector;(c)the result of corner detection.

4 自適應高動態范圍成像方法

4.1 基于DMD的逐像素編碼曝光理論

根據DMD的高速偏轉特性,DMD掩模能夠在CMOS的一個曝光積分周期內完成多次狀態轉換.假設DMD相機先后采集不同的場景,N幅不同的DMD掩模Mi依次有序地曝光在一個CMOS相機曝光周期T內,每個DMD掩模的曝光時間為ti,如圖6所示.

圖6 基于DMD的逐像素編碼曝光原理Fig.6.Principle of per-pixel coded exposure based on DMD.

設Mi(x,y,t)表示DMD掩模函數,逐像素編碼曝光函數M(x,y,t)能準確地揭示DMD對入射光線像素級調制過程,其表達式可表示為

此后,一系列的編碼曝光圖像被作為系統輸出而存儲.因此,該編碼曝光圖像不僅保存了DMD相機的分辨率,而且還記錄了原始圖像的時間和空間信息.結合DMD相機的光學模型,逐像素編碼曝光圖像的灰度值函數V′(x,y)可以表示為

若在CMOS相機的一個曝光周期T內,只有一幅DMD掩模被曝光,那么此時DMD被用于調制入射光線的空間信息,以實時衰減入射光線的光強.此時,N=1和ti=T.因而由(13)式可進一步推導出逐像素編碼曝光理論用于高動態范圍成像中的表達公式為

根據DMD的調制函數M(x,y),CMOS相機獲取的圖像灰度值Vhdr(x,y)以及反射曲線D(x),原始高動態場景的實際光強函數Ihdr(x,y)可重構為

4.2 基于DMD的光強編碼控制算法

設計自適應光強控制算法是為了有效地調制各DMD微鏡處于“開”狀態的時間,使入射光強始終處于CMOS相機的最佳響應區域內,從而避免圖像過飽和現象的發生.本文設計了一種自適應光強控制算法用于精確地調制入射光線的強度.

通常情況下,實際場景的入射光強不可預知,因此需要多次迭代以確保CMOS相機獲得的圖像沒有出現過曝光現象.結合2.2節的內容,本文設計的自適應光強編碼控制算法如下.

步驟1初始化.所有的DMD微鏡打開,即M(x,y)=1.此時,CMOS相機獲得場景的原始圖像Io(x,y).

步驟2分割與判別.對于8 bit的CMOS相機,圖像中的像素灰度值超過255意味著圖像中存在過曝光現象.但由于相機采集過程中噪聲是不可避免的,因此像素飽和值Vs應被設定為稍低于255,且該像素飽和值Vs將被用作圖像分割的閾值以判別圖像中的過飽和區域.如果圖像中存在過曝光區域,則進入步驟3;否則,進入步驟5.

步驟3提取與映射.經過圖像分割后,用Sobel算子來檢測圖像的邊緣,從而可以提取出圖像中的過飽和區域Oc(x,y).根據3.2節的方法,DMD掩模所對應的區域Od(u,v)可以表達為

步驟4DMD掩模設計.設DMD掩模的調制函數Mi(u,v)與其對應的CMOS相機圖像Ii(x,y)的關系如下:其中,α和β都是光強衰減因子,Vc是已知較小的均勻亮度值,C是常數且0＜C≤255.

根據(17)式生成新的DMD掩模并導入到DMD中,進入步驟2.

步驟5結束.

因此,所設計的基于DMD的光強編碼控制算法的調制速度是由DMD光強調制函數Mi(u,v)決定的,迭代次數Q可表示為

其中,Q是正整數;num[]是計數函數,I是實際場景的光強值.當I和Vc是固定值時,α和β決定著光強調制函數的迭代次數.在本實驗中,α=0.85,β=0.1和Vc=26=64,C=255.

5 實驗結果與對比分析

強反射表面的三維幾何特征測量一直是光學三維測量研究的熱點,其難點在于被測強反射表面因編碼結構光照射后易導致進入普通工業數字相機的圖像中常常出現局部過曝光現象,影響強反射表面的三維幾何參數測量精度,導致該問題的原因是實際被測表面反射光的動態范圍超過了普通工業數字相機的成像動態范圍.

為解決強反射表面的視覺成像難題,實驗中選用金屬鋁制直角件作為被測對象,且該被測物表面的部分區域經機加工研磨后已達到局部強反射表面的效果.將不同的被測物放置于不同的光照環境下進行實驗,實驗結果如圖7所示.左側第一列圖7(a)是DMD不參與調制時,DMD相機采集的原始圖像.此時,DMD微鏡全部處于“開”狀態,即M(x,y,t)=1,可以將DMD相機看作是傳統的8 bit數字相機.從圖7(a)可以看出,原始圖像中存在明顯的局部無規則的過曝光區域,淹沒了部分原圖像細節信息.根據4.2節所述方法,所得DMD最佳掩模如圖7(b)所示.圖7(c)是經DMD調制后,DMD相機采集的圖像,該圖像中無明顯的過曝光區域.對比圖7(a)和圖7(c),原圖像中的局部過曝光區域的光強經DMD精確調制后有效地衰減,被測強反射表面的幾何特征信息均清晰成像.

圖7 實驗結果 (a)無DMD調制時,DMD相機采集的原始圖像;(b)DMD掩模;(c)經DMD調制后,DMD相機采集的圖像Fig.7.Experimental results:(a)Different images captured by the DMD camera without DMD modulation;(b)DMD masks;(c)different images captured by the DMD camera with DMD modulation.

因灰度直方圖能有效地反映圖像中某種灰度出現的頻率,故可采用灰度直方圖統計圖像中過飽和像素點的分布情況.由于原始場景中有較大范圍的黑色背景,為突出圖像的局部細節特征,僅提取圖7(a)和圖7(c)中灰度級為50—255之間的灰度直方圖,結果如圖8所示.圖8(a)對應的是圖7(a)的灰度直方圖,可以看出有較多像素點灰度級處于200—255區間內,且有部分像素點灰度值達到CMOS相機的飽和灰度值.圖8(b)對應的是圖7(c)的灰度直方圖,可以看出灰度級處于200—255區間內的像素點大大減少,且絕大部分像素點的灰度值都處于CMOS相機的最佳灰度響應區間100—180內.因此,該實驗表明,經DMD調制后,原圖像中存在的局部不規則的過曝光區域的像素值均被調制到相機的理想灰度級區間內,具有更好的圖像質量.

圖8 灰度直方圖對比結果 (a)圖7(a)圖像的灰度直方圖;(b)圖7(c)圖像的灰度直方圖Fig.8.Comparison results of gray histogram:(a)Gray histogram of the image in Fig.7(a);(b)gray histogram of the image in Fig.7(c).

6 結 論

因普通8 bit的數字相機動態范圍有限,在結構光三維掃描測量中難以實現對局部強反射表面的有效成像而引起測量失效,提出一種基于DMD的自適應高動態范圍成像方法.基于DMD具有調制入射光線空間信息的特性,研制了一套可編程的DMD相機,建立了該成像系統的光學模型,并系統地提出基于逐像素編碼曝光的高動態范圍成像理論.設計基于DMD的光強編碼曝光算法,可準確有效控制被測表面各個區域的入射光線強弱,尤其是衰減強反射表面的高光區域的光強,擴大計算成像系統的動態范圍,并自適應量化該高動態范圍成像過程.

實驗結果表明,本文所提方法可實現對局部強反射表面的高動態范圍成像,有效地解決強反射表面的視覺成像難題.同時,對多個不同的被測物的實驗表明,設計的成像系統和方法具有很好的穩定性和可靠性.本研究成果將為從根源上解決強反射表面因局部過曝光造成的三維點云缺失問題提供新的解決思路.

[1]Srikantha A,Sidibé D 2012Signal Process.27 650

[2]Wang C,Tu C 2014Int.J.Signal Process.Image Process.Pattern Recognit.7 217

[3]Gu B,Li W,Wong J,Zhu M,Wang M 2012J.Visual Commun.Image Represent.23 604

[4]Venkataraman K,Jabbi A S,Mullis R H 2015US Patent9 041 829[2015-05-26]

[5]Ward G J,Seetzen H,Heidrich W 2012US Patent8 242 426[2012-08-14]

[6]Brajovic V 2004Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern RecognitionWashington DC,USA,June 2 2004 p189

[7]Lai L W,Lai C H,King Y C 2004IEEE Sens.J.4 122

[8]Ikebe M,Saito K 2007IEEE Sens.J.7 897

[9]Zhou C,Nayar S K 2011IEEE Trans.Image Proc.20 3322

[10]Mannami H,Sagawa R,Mukaigawa Y,Echigo T,Yagi Y 2007J.Visual Commun.Image Represent.18 359

[11]Li X,Sun C,Wang P 2015Opt.Lasers Eng.66 41

[12]Yang Z,Wang P,Li X,Sun C 2014Opt.Lasers Eng.54 31

[13]Dudley D,Duncan W M,Slaughter J 2003Proc.SPIEThe International Society for Optical EngineeringUSA,January 20 2003 Vol.4985

[14]Zhang H,Cao L,Jin G 2017Appl.Opt.56 F138

[15]Cheng J,Gu C,Zhang D,Wang D,Chen S C 2016Opt.Lett.41 1451

[16]Qiao Y,Xu X,Liu T,Pan Y 2015Appl.Opt.54 60

[17]Li M F,Mo X F,Zhao L J,Huo J,Yang R,Li K,Zhang A N 2016Acta Phys.Sin.65 064201(in Chinese)[李明飛,莫小范,趙連潔,霍娟,楊然,李凱,張安寧2016物理學報65 064201]

[18]Feng W,Zhang F,Wang W,Xing W,Qu X 2017Appl.Opt.56 3831

[19]Li L Z,Yao X R,Liu X F,Yu W K,Zhai G J 2014Acta Phys.Sin.63 224201

[20]Feng W,Zhang F,Qu X,Zheng S 2016Sensors16 331[21]Ri S,Fujigaki M,Matui T,Morimoto Y 2006Appl.Opt.45 6940

[22]Mackie C J,Candian A,Huang X,Lee T J,Tielens A 2015J.Chem.Phys.142 244107

Adaptive high-dynamic-range imaging method and its application based on digital micromirror device?

Feng WeiZhang Fu-Min?Wang Wei-Jing Qu Xing-Hua

(State Key Laboratory of Precision Measuring Technology and Instruments,Tianjin University,Tianjin 300072,China)

1 January 2017;revised manuscript

5 June 2017)

In the three-dimensional(3D)scanning measurement based on structured light techniques,the strong reflection surface is easy to produce local specular reflection due to the illumination of the structured light,which will cause the camera to be over-exposed,and therefore the geometry information of strong reflection surface cannot be detected.Since the digital micromirror device(DMD)has the modulating characteristics of the spatial information of incident light,an adaptive high-dynamic-range imaging method based on DMD is proposed to solve the problem of visual imaging of strong reflection surface.Firstly,a novel and computational imaging system is designed and built,and its optical model is also established.Then,the matching and mapping methods between DMD micromirrors and CMOS pixels are described in detail and realized.Meanwhile,we analyze the theory of the high-dynamic-range imaging based on per-pixel coded exposure,and design a coding control algorithm of light intensity to achieve the adaptive precision modulation of the intensity of incident light,so that the incident light in the imaging system is always in appropriate exposure intensity.The experiments show that the method can break through the limited dynamic range of the ordinary digital camera,and accurately control the intensity of incident light in each region of the measured strong reflection surfaces,and thus it can obtain the high-quality images of the local over-exposure area of the strong reflection surface.More importantly,the research will provide a new solution to the problem of 3D point cloud loss caused by local over-exposure of the strong reflection surface.

computational imaging,high dynamic range,coded exposure,digital micromirror device

PACS:42.30.Va,42.30.–d,43.60.Gk,42.79.–eDOI:10.7498/aps.66.234201

*Project supported by the National Natural Science Foundation of China(Grant Nos.51775379,51675380).

?Corresponding author.E-mail:zhangfumin@tju.edu.cn

(2017年1月1日收到;2017年6月5日收到修改稿)

在結構光三維掃描測量中,強反射表面因編碼結構光照射后易產生局部鏡面反射的特性,引起相機曝光飽和,淹沒了所要檢測的表面幾何特征信息.為解決強反射表面的視覺成像難題,基于數字微鏡器件(digital micromirror device,DMD)具有調制入射光線空間信息的特性,本文提出一種基于DMD的自適應高動態范圍成像方法.設計與搭建了一套新型可編程的計算成像系統,建立其光學系統模型,并實現了DMD微鏡與CMOS像素的匹配與映射;分析了基于逐像素編碼曝光的高動態范圍成像原理,并設計了基于DMD的光強編碼控制算法,實現對入射光線強度的自適應精確調制,從而使進入成像系統中的入射光強始終處于相機的合適曝光強度內.實驗表明:該方法突破了普通數字相機的動態范圍限制,能夠精確地控制被測強反射表面各個區域的入射光線強弱,并實現了對強反射表面的局部過曝光區域的清晰成像.該研究成果將為從根源上解決強反射表面因局部過曝光造成的三維點云缺失問題提供重要的解決方案.

10.7498/aps.66.234201

?國家自然科學基金(批準號:51775379,51675380)資助的課題.

?通信作者.E-mail:zhangfumin@tju.edu.cn