飛行時間成像系統的數字仿真技術*

盧純青,劉興潭,武延鵬,楊孟飛

0 引 言

基于連續調制光信號的飛行時間技術是近年來三維成像感知技術的重要發展方向之一，在自動駕駛、SLAM等場景得到逐步應用[1-2].該技術根據幅度調制光信號從光源傳播到場景，經過場景表面反射返回傳感器的時間差實現對照射物面的三維數據感知.飛行時間成像數字仿真技術是研究將上述物理過程建模，對預設的場景條件和傳感器參數建立起可形成實時深度數據集成的數字運行環境，對研究飛行時間傳感器在多種光照條件下的成像性能評估和基于三維數據的機器視覺算法的仿真驗證具有重要的意義.

目前飛行時間成像仿真的實現方法分為基于特定噪聲模型的三維數據仿真[2-3]和基于光信號傳播物理過程的三維數據仿真[4-5]兩大類，其中基于光信號傳播物理過程的三維數據仿真以其數據-參數耦合程度高的特點而具有較大的優勢[7].通過對上述兩類仿真方法的研究，兩類仿真方法為研究傳感器參數集與三維成像之間的耦合關系提供了特定的平臺，但并未考慮環境光與測量數據間的非定常耦合關系，而在本文研究的有關小行星附著降落的應用場景中，當前的環境光照條件是影響著陸敏感器設計中需要重點考慮的關鍵因素之一.因此本文以小行星附著著陸任務需求為背景，研究并建立了帶有環境光照模型的仿真環境，驗證了包括環境光模型的飛行時間成像仿真方法，對于飛行時間成像技術在光照條件下的成像性能的評估具有重要意義和應用前景.

1 飛行時間成像原理

飛行時間傳感器基于光信號從光源傳播到場景，并返回到傳感器的時間t測量距離.設光源是與傳感器位置相同的點光源，光在場景和傳感器之間傳播，則測量距離d為[7]

(1)

幅度調制的飛行時間成像系統的光源發射波長為850 nm±30 nm的光信號，傳感器的像元以電信號作為測量信號s和參考信號g的相關函數[3-4]

(2)

假設光源的驅動信號為調制周期為fmod的正弦函數，則相關函數呈現周期函數的形式，有[3-4]

(3)

a為函數幅值，b為函數偏置量，φ為距離相關的相移量，有[3-4]

(4)

一般使用四象限采樣法對相關函數進行采樣，設采樣值為Ii,則有[3-4]

(5)

通過采樣值計算相移量φ[3-4]

(6)

相關函數的采樣值Di具有二維矩陣的形式，又稱為相位圖.每個像元的采樣值Di由像元電路的兩個讀出信號NA,i和NB,i計算得到[4]

Ii=NA,i-NB,i

(7)

像元接收光信號產生光生電荷后，由參考信號g控制的電場梯度，導致兩個勢阱A和B中的光生電荷分布變化.NA,i和NB,i分別為兩個勢阱讀出的電信號.

2 飛行時間成像物理過程模型

假設調制光源L和傳感器C位于空間中的相同位置，該位置為坐標原點，場景表面的反射模型為紅外波段的朗伯反射，像元的讀出電路模型為雙讀出電路型.

2.1 光源模型

設飛行時間成像的光源為點光源，具有以下3個參數：

1)光源功率PL,物理單位為W；

(8)

對于各向同性光源，立體角ωL為4π.對于具有孔徑角ψL的光源，立體角由球冠的面積得到，在單位球面上的高度h為[8]

(9)

則有[3-4]

(10)

2.2 反射模型

(11)

入射角[8]

(12)

(13)

設A為場景表面無限小的面元，則有[8]

(14)

(15)

場景表面P點的輻照度EP為[8]

(16)

設場景表面為反照率系數ρ∈[0,1]的朗伯體，則P點的輻射出射度為[8]

(17)

由于朗伯輻射體在各方向上的輻射相等，因此[8]

(18)

因此P點到傳感器的輻射LP為[8-9]

(19)

圖1 場景表面反射過程示意圖Fig.1 Schematic diagram of the surface reflection process of the scene

2.3 透鏡模型

漸暈是指由于離軸光線的有效孔徑光闌減小，導致在邊緣視場的光強度衰減的現象.對于飛行時間成像系統，光信號的強度與測量誤差之間呈反比關系，即光強度衰減使距離測量的誤差增大.為了仿真漸暈現象，設傳感器S的光學系統F數為NS，則由輻射LP在傳感器上的輻照度ES由下式表達[14]:

(20)

其中θL的變化區間為[0,90]，在該區間上單調遞減，表明像平面的輻照度ES隨像方視場的增大而衰減.

2.4 傳感器模型

飛行時間成像傳感器可根據系統設計指標進行參數化，形成仿真參數集[13,18-19].

傳感器為W×H的像元陣列，像元面積為AS.假設每個像元接收場景表面P點面元的輻射，則該像元接收的光功率PS為[4]

PS=ES·AS

(21)

其中PS是調制光源的峰值功率，調制信號占空比為50%，因此在積分時間T內像元采集的能量為[4]

(22)

該能量在像元中轉換為電子空穴對，產生光生電荷的數量由量子效率νq和波長λ決定[4]:

(23)

其中?為普朗克常量，c為光速，q為元電荷量.像元產生的光電荷Ntotal由勢阱A和勢阱B收集，電荷數分別為NA和NB,有[4]

Ntotal=NA+NB

(24)

相關函數采樣使用四相采樣法，有[4]

(25)

(26)

其中D為解調對比度，相移φ通過下式計算[4]:

(27)

上述模型通過像元累積的總電荷量計算相移.

2.5 空域超采樣模型

上述物理過程中僅將每個像元和場景表面的某個點對應，實際的物理過程中，每個像元通過光學系統與場景表面的一個區域相對應，該區域的面積與光學系統的焦距相關.當該區域的深度信息不均勻時，在像元接收信號時產生相位混疊，產生飛行像元誤差.

為了對飛行像元誤差進行仿真，在像元陣列的模型中引入空域超采樣[10-11]，將每個像元分為WS×HS個子像元，子像元與場景表面呈理想的小孔成像模型，每個像元的深度計算值為子像元深度計算值的矢量和.

另一方面，由于像元的讀出電路和控制電路包括像元的一部分面積，導致感光面積小于其物理尺寸，即存在填充因子o∈[0,1],因此每個子像元的入射光能量需要考慮填充因子對入射光能量的約束[6].

2.6 時域超采樣模型

當使用四相采樣法時，采樣值Ii組成的4個相位圖均是在同一場景中獲取的，即場景為靜態場景，相對位置和姿態沒有變化.當場景的深度信息在積分時間內產生變化時，將產生運動偽影.在仿真系統中模擬運動偽影需要時域超采樣，將積分時間T分為t個間隔，最終的相位圖是每個子積分時間的相位圖之和.

2.7 灰度-距離誤差模型

灰度誤差是反射光信號幅值的函數，取決于傳感器接收的反射光強度.表現形式為當物體的反射率越低時，傳感器接收到的光信號幅值越小，距離的測量結果誤差越大.因此場景表面的反射性質對測量結果具有較大的影響[15-16].

傳感器接收到的采樣數據I可以計算得到反射信號的幅值A、相位差φd和偏置c.這3個物理量與距離測量的誤差關系為[16]

(28)

(29)

(30)

因此深度測量數據的誤差與信號幅值A有直接的關系，當信號幅值A越大，即反射光信號的信噪比越高，測量誤差越小.當光源的調制頻率確定時，相位差φd和測量距離d呈線性關系，因此測量誤差和信號幅值之間的關系可簡化表達為

(31)

由于信號幅值以模擬量的形式輸出轉換為灰度值數據，在模數轉換的動態范圍內亮度與灰度值呈線性關系，因此式(31)可進一步寫作

(32)

2.8 光信號飽和模型

信號飽和是由于場景同時被飛行時間成像系統的光源和其他光源照明(如太陽、室內照明)，進入像元的光功率較大，導致測量數據的誤差增大甚至錯誤的現象，其來源可分為主動光源飽和、環境光飽和兩大類.出現該現象的機理是由于傳感器像元以勢阱收集光生電荷，可收集的電荷量存在上限值，稱為滿阱電荷量，數學上是光信號與電荷量之間呈非線性關系.當對光信號進行相關采集的勢阱均達到滿阱時，像元電路無法通過參考電壓的值與勢阱間的電荷量差異體現二者的相關性，導致測量結果的錯誤.圖3為像元接收到的包含有背景光的光信號示意圖，背景光信號的數學模型為不隨時間變化的定制，調制光信號隨時間周期性變化，二者線性疊加，當由于背景光信號產生的光生電荷在進行相關信號采集的勢阱中均達到滿阱值時，不存在勢阱之間的信號差，此時入射光信號和參考信號沒有相關性，輸出的距離測量結果等于0.

圖2 環境光的干擾示意圖Fig.2 Schematic diagram of ambient light interference

圖3為同一像元在無環境光干擾和有環境光干擾時的輸出信號對比結果，其中圖3(a)為無環境光照明時像元的輸出信號，圖3(b)為存在環境光照明時像元的輸出信號.圖中的Ua和Ub分別為每個像元內部兩個勢阱的輸出電壓，表征了像元采集的光生電荷量；ΔUab為像元輸出的差分信號，即Ua-Ub.此信號與光源驅動信號進行相關運算，完成相位信息的解算.從圖中可以看出，環境光干擾對輸出信號的干擾體現為每個勢阱輸出信號幅值增大，即共模干擾.由于飛行時間像元的輸出信號為差分形式，因此抑制了由于環境光產生的共模干擾，在勢阱的動態范圍內ΔUab保持不變，不影響像元的測量結果.但是環境光對飛行時間成像的影響體現為像元的動態范圍的衰減，當環境光產生的光生電荷量達到勢阱的滿阱電荷量時

Ua=Ub=Umax

(33)

ΔUab=0

(34)

此時將ΔUab與光源驅動信號進行相關運算，解算的相移量φ等于0，因此輸出的距離信息d也為0.

根據飛行時間測距原理，其測距性能與光信號的強度相關.一般使用調制對比度Km定義為[26]

(35)

其中Imax和Imin分別為傳感器接收的光強度的最大值和最小值.傳感器像元電路將采集的光信號與轉換為模擬信號，光強信號由電信號表征.Imax和Imin轉換為模擬信號電壓和基準電壓之差ΔUmax和ΔUmin.在無環境光時，信號的調制對比度為

(36)

當存在環境光信號時，調制對比度為

(37)

其中Pbackground為環境光在場景表面照明的光功率，Popt為飛行時間成像系統調制光源的光功率.當照明光源光功率為定值時，如果無環境光存在，則

Pbackground=0

(38)

K=KPMD

(39)

當環境光存在時，有

Pbackground>0

(40)

K

(41)

即環境光對場景表面的光強度增大導致光信號的調制對比度衰減.

圖3 存在環境光干擾的像元輸出信號對比圖Fig.3 Pixel output signal comparison chart with ambient light interference

3 仿真算法組成

根據上述飛行時間成像的物理過程，仿真算法可分為成像系統參數模塊、環境光參數模塊、場景參數模塊、場景數據生成模塊和場景數據輸出模塊五個部分.各模塊之間的關系如圖4所示.其中，成像系統參數模塊用于輸入傳感器參數，包括光學系統焦距、像元數、幀率、調制光源波長、調制頻率等；環境光參數模塊用于輸入環境光參數，包括環境光波長、環境光強度、光傳輸過程的衰減系數等；場景參數模塊用于設置場景的三維頂點數據、表面反射模型及反射率；場景數據生成模塊通過渲染器生成傳感器光源照明和環境光共同作用下的場景深度數據；數據輸出模塊將場景深度數據存儲為特定格式，是仿真算法與外部程序的交互接口.

圖4 仿真算法組成框圖Fig.4 Block diagram of simulation algorithm composition

4 仿真參數設計

傳感器參數集以TI公司的飛行時間傳感器為參考[13]，主要參數如表1所示.系統光源和傳感器中心位于空間中的同一位置，并將該點設置為成像系統的坐標系原點，光源的強度分布設定為理想的高斯光源,生成的深度數據均定義在相機坐標系中.

表1 飛行時間成像系統仿真參數集Tab.1 Time-of-flight imaging system simulation parameters set

對于近地軌道的小行星表面，環境光照具有以下4個特點：

(1)來自太陽的能量占環境光的絕大部分，強度為1個太陽常數即1 367 W/m2；

(2)光照形式為平行光；

(3)無大氣衰減；

(4)光線矢量與場景表面法線空間角的變化范圍為0°～180°.

根據上述4個特點，環境光參數的設置如表2所示，分別對環境光的強度、波長、矢量方向和衰減進行了配置.環境光強度的配置范圍為0.0f至10000.0f，對應環境光強度可從0個太陽常數和1個太陽常數之間可調；環境光波長通過光譜矢量表達，表征環境光的光譜分量；光照矢量定義在成像系統坐標系中，為一個單位矢量，表征環境光傳播方向；傳輸衰減為光能量到達場景表面時的損耗比例，設置為0.

5 數字仿真結果

5.1 仿真精度評估

在上述仿真參數集的基礎上，設定場景為余弦輻射體平面，該平面到圖像中心的距離分別為0.5 m、1 m、2.5 m和5 m.圖5～8分別為圖像中心到場景平面的距離分別為上述距離時的三維坐標值和真值.從仿真結果中可以看出，飛行時間成像的測量值在場景深度真值的基礎上疊加噪聲，并且由于照明光源的高斯分布和光學系統漸暈的影響，二維圖像的灰度隨著像方視場的增大而衰減，導致深度信息的隨機誤差增大.在各個測量距離上計算測量距離的均值和均方差如表3所示.

表2 環境光仿真參數集Tab.2 Ambient light parameters set

圖5 0.5 m距離的余弦輻射體平面仿真結果和真值Fig.5 Cosine radiator plane simulation results and ground truth at a distance of 0.5 m

圖6 1 m距離的余弦輻射體平面測量值和真值Fig.6 Cosine radiator plane simulation results and ground truth at a distance of 1 m

圖7 2.5 m距離的余弦輻射體平面測量值和真值Fig.7 Cosine radiator plane simulation results and ground truth at a distance of 2.5 m

根據表3的計算結果，在典型測量距離(0.5、1、2.5、5 (m))上，飛行時間成像的距離測量的均值與理論值較為符合，測量值的均方差不大于0.055，表明在目標為余弦輻射體時，當成像灰度值相同時，飛行時間成像測量值的隨機噪聲與測量距離無關.

表3 典型測量距離余弦輻射平面仿真值的統計結果Tab.3 Statistical results of typical measured distance cosine radiation plane simulation results

5.2 灰度值與距離測量誤差的關系

仿真的二維圖像灰度值和測量精度之間的關系如圖9～12所示.從仿真結果中可以看到，當二維圖像中的像元灰度范圍在210至255時，測量值的方差較為穩定，約為0.1 m，當灰度值低于210時，測量誤差與灰度值之間呈現負相關，當灰度值為70時，測量結果的最大誤差為0.25 m，測量值方差的變化趨勢和理論計算一致.根據上述計算結果，該仿真系統在明確了飛行時間成像系統參數集的前提下，可對成像系統的測量能力進行評估.

圖9 幅度值和測量誤差仿真統計結果(0.5 m)Fig.9 Amplitude value and measurement error simulation statistics (0.5 m)

圖10 幅度值和測量誤差仿真統計結果(1 m)Fig.10 Amplitude value and measurement error simulation statistics (1 m)

圖11 幅度值和測量誤差仿真統計結果(2.5 m)Fig.11 Amplitude values and measurement errors simulation statistics (2.5 m)

圖12 幅度值和測量誤差仿真統計結果(5 m)Fig.12 Amplitude value and measurement error simulation statistics (5 m)

5.3 環境光干擾

包括環境光干擾的飛行時間成像仿真的參數設置如第5節中所述，環境光與成像系統光軸呈45°空間角入射到場景表面.圖13～18表示了環境光對飛行時間成像的干擾情況.當沒有環境光的情況下，成像系統的測量結果僅有隨機噪聲.當環境光功率與成像系統的調制光源功率相等時，場景中受到環境光照射的區域由于多路徑效應導致測量結果的誤差增大.當環境光功率增大至調制光源功率的10倍時，由于光信號飽和導致照射區域中部分像元的測量結果等于0，之后隨著環境光功率的進一步增大，飽和像元數量越多，測量結果中的0值越多.該變化趨勢和理論分析的結果一致.環境光功率和調制光源功率之比與飽和像元數量之間的變化曲線如圖19所示.

圖13 無環境光干擾的場景成像結果Fig.13 Imaging results without ambient light interference

圖14 環境光功率等于1倍調制光源功率的場景成像結果Fig.14 Imaging results with ambient power equal to 1X power of the modulated source

圖20和圖21分別為無環境光干擾的場景和1個太陽常數照射漫反射表面的實際場景成像結果.經過對比可以看出，圖20中的圖像中心區域的漫反射表面沒有環境光時，成像系統可對該區域生成深度數據，當漫反射表面受到1個太陽常數的環境光照射時，由于圖像中心區域的光信號飽和，測量結果為0，即圖21中的黑色區域，與仿真結果的變化情況相同.

圖15 環境光功率等于2倍調制光源功率的場景成像結果Fig.15 Imaging results with ambient power equal to 2X power of the modulated source

圖16 環境光功率等于10倍調制光源功率的場景成像結果Fig.16 Imaging results with ambient power equal to 10X power of the modulated source

圖17 環境光功率等于20倍調制光源功率的場景成像結果Fig.17 Imaging results with ambient power equal to 20X power of the modulated source

圖18 環境光功率等于40倍調制光源功率的場景成像結果Fig.18 Imaging results with ambient power equal to 40X power of the modulated source

圖19 環境光功率比與飽和像元數關系曲線Fig.19 Relationship between ambient light power ratio and saturated pixel number

圖20 無環境光照射的場景成像結果Fig.20 Scene imaging results without ambient light illumination

圖21 單位太陽常數環境光照射的場景成像結果Fig.21 Scene imaging results of 1 solar constant ambient light illumination

5.4 以67P彗星為例的仿真驗證試驗

圖22 67P/Churyumov-Gerasimenko彗星導航相機拍攝圖像Fig.22 67P/Churyumov-Gerasimenko comet image

圖23 灰度數據仿真結果Fig.23 Grayscale simulation results

圖24 距離分布圖的場景三維成像結果Fig.24 3D imaging results (top)and ground truth (bottom)of the range map

對小天體目標進行三維形貌數據遙感的形貌重構進行仿真，生成飛行時間成像系統的仿真測量數據，針對獲取遙感的小天體目標為67P/Churyumov-Gerasimenko彗星，該彗星由歐空局發射的“羅塞塔”號探測器進行探測任務.圖22為探測器搭載的寬視場遙感相機拍攝的灰度圖像.圖23為根據三維激光成像結果生成三維重構模型，使用飛行時間成像系統的仿真參數集對三維重構模型生成深度的測量結果，其高程分布結果如圖24所示.從圖中可以看出，飛行時間三維成像的仿真結果符合被測天體表面的高程分布，由于在仿真過程中融合了飛行時間成像系統的參數，仿真結果同時給出了地貌起伏和陰影等原因產生的測量數據誤差.

6 結 論

本文針對小行星著陸應用需求，研究了飛行時間成像的光傳輸模型，建立了基于環境光照條件的飛行時間成像的數字仿真模型，該模型集成了完善的光源模型、光傳輸模型、場景表面反射模型、傳感器電路模型和傳感器噪聲模型，可根據飛行時間傳感器參數集對預設三維場景的光照條件生成飛行時間成像的數字仿真計算結果，給出包括二維灰度圖像數據和三維深度的高程圖像數據，并具備了完善的環境光條件影響機理模型，進行聯合仿真驗證試驗，獲得了明確的穩定的驗模數據和驗證結果.同時擴充了數字仿真系統的仿真對象的參數集范圍，實現了對傳感器的光源峰值功率、空間分辨率、積分時間、信號讀出時間等主要參數的仿真優化，實現了對環境光影響相關參數的實時動態調整.該系統建立了基于小行星著陸應用數字仿真的研究驗證平臺，對于具有光照條件作用的飛行時間成像系統三維信息獲取和以飛行時間成像系統作為數據源的三維信息算法以及方案的優化研究驗證和評估具有重要的意義.