高行頻混合域TDI累加成像技術研究

梁楠 賀強民 李博 李濤

高行頻混合域TDI累加成像技術研究

梁楠 賀強民 李博 李濤

（北京空間機電研究所，北京 100094）

隨著航天遙感領域高分辨率時間延遲積分成像中行頻的提高，在一個積分時間內入瞳能量逐漸減少，在弱光條件下成像品質下降，需要采用增大積分級數的方法彌補能量的不足?，F有傳統數字域累加勢必會導致疊加引入過多噪聲，而模擬域又受到器件工藝的影響無法實現大級數累加。文章首先提出了一種基于電荷域和數字域混合的累加方式，并闡述了具體成像方案。同時，結合相機在軌成像方式，對混合域累加方式下的信噪比和調制傳遞函數（Modulation Transfer Function，MTF）進行了理論推導。文章最后搭建實驗環境對混合域累加方式下信噪比和MTF進行測試，并與傳統電荷域進行比較，驗證了混合域累加理論的正確性以及實現方法的可行性。根據分析與驗證，文章所提方法有效的解決了單純電荷域與數字域的主要瓶頸，為超高分辨率成像領域提供了有效的解決方案。

高分辨率 混合域時間延遲積分 信噪比 調制傳遞函數 航天遙感

0 引言

TDI（Time Delayed and Integration）技術一直以來在航天遙感領域的應用較為普遍[1]。高分辨率可見光遙感相機為了增強入瞳能量，主要采用TDI掃描方式，通過景物與傳感器之間的相對運動進行疊加成像，從而提高成像品質。然而隨著分辨率的進一步提高，積分時間極具縮短，TDI探測器的單像元尺寸勢必減小。單像元在一個積分時間內入瞳能量成指數倍降低。因此需要探測器具有更加優異的量子效率，以及更大規模的TDI級數累加電路[2]。受限于工藝原因，電荷域TDI探測器的累加級數過大會導致電荷轉移效率的降低，從而使得調制傳遞函數下降。針對上述問題，文獻[3]提出了通過卷簾曝光的面陣器件，以一定時序關系將每行圖像進行數字疊加的級數累加方式。而該方式采用大規模數字累加又會使得大量的量化噪聲、讀出噪聲等得到累加，使得圖像品質并不能按預期增強；圖像動態范圍理論上沒有得到增強，圖像信噪比也提升有限[4]。

基于此種背景下，針對超大規模TDI級數累加成像，本文提出了一種電荷域與數字域共存的大級數累加控制方法，并提出了基于FPGA進行數字累加的實現方式。與傳統累加方式進行對比，通過理論推導分析出混合域級數累加在電荷轉移效率、圖像信噪比方面的優勢。最終，結合實驗室測試，驗證了本文所提出的混合域累加方法的有效性和可實現性。本文所提方法有效的解決了單純電荷域或數字域累加在超高分辨率成像上的主要瓶頸，為后續航天產品提供了高分辨率成像有效的解決方案。

1 超大規模TDI級數累加方法

對于像元尺寸較小的探測器而言，在低電壓驅動環境下，探測器滿阱電荷無法提高到一個較高的量級，因此會使得所成圖像在較高輻亮度下過早飽和，進而影響了圖像的信噪比、動態范圍[5]。另外，由于探測器采用CMOS單層POLY結構，較雙層POLY的CCD工藝在轉移效率上有所減弱，限制了級數的增加。因此超高分辨率相機在弱光成像能力受到了極大的限制[6]。

針對以上兩個限制因素，本文提出了一種混合域級數累加方法。主要思想如下：首先通過多片探測器感光單元分別感光；根據感光區物理位置的不同將感光后的多片數據通過FPGA進行一定緩存，將緩存后的數據進行數字累加。如此實現了多片電荷域累加圖像的數字累加。感光單元數量可根據需求自由調整，結構如圖1所示，其中為感光單元數量。

首先，根據預設的積分時間，生成時間延遲積分電荷轉移時序，控制探測器進行電荷轉移，假設所有感光單元總累加級數為，將總累加數平均分為個感光單元。針對同一景物感光產生的電荷，按列進行累加，將累加后的電荷進行量化并輸出灰度值，得到按TDI掃描方向分時產生的組數字圖像；

其次，根據每一組圖像的物理間隔進行延遲積分操作，將每一組數字圖像延遲特定的時間，該時間由感光區中有效感光區最后一行至下一感光區第一行的間隔決定；圖像延遲時間計算公式（1）為：

式中 Li為第i個子感光區最后一級物理位置；Li+1為第i+1個子感光區第1級物理位置；d為像元尺寸；為積分時間。

圖2 多片感光區累加圖

2 混合域累加參數分析

由于混合域累加方式與原有電荷域累加方式相比，在圖像信噪比、MTF方面有著一定程度的優化[7-8]。因此，本文針對混合域累加原理，結合所述TDI探測器特性對圖像信噪比和MTF分別進行理論推導。下文中的分析均為滿級數下的參數特性。

2.1 信噪比分析

探測器輸出的噪聲包括了暗電流噪聲、光子噪聲、內部鏈路噪聲、相關雙采樣噪聲、放大器噪聲、量化噪聲等。本文將成像條件分為兩種情況，即低端和高端兩種輻照度下情況分別分析[9-10]。

對地觀測成像時，當處于入瞳能量較弱條件下，即低端輻亮度下，圖像所表現出的主要噪聲為暗電流噪聲、電路噪聲，還有部分散粒噪聲?；旌嫌蚶奂臃绞街?，一方面，電荷域累加在不增大電路噪聲與暗電流噪聲的情況下，增加了感光電荷量，因此光子噪聲有所增加[11]；另一方面，多片感光圖像的數字域累加使得信號大小提高了多倍，但對圖像而言，同時也引入了暗電流噪聲、電路噪聲等ADC前的噪聲。這些噪聲由于統計特性獨立，因此累加后的圖像噪聲以均方根的方式遞增[12]。

當入瞳能量較強時，即高端輻亮度下，圖像所表現出的主要噪聲為散粒噪聲。當數字累加時，散粒噪聲的統計特性仍然獨立，因此累加后圖像噪聲水平仍舊以平方和開跟的方式遞增。

2.2 MTF分析

MTF是光學系統成像品質的綜合評價指標。成像系統MTF的高低直接影響到成像品質的好壞：MTF越高，所獲得的遙感圖像的邊緣紋理等細節就越清晰，相反，就會越模糊[14]。

航天遙感成像相機圖像的MTF由靜態MTF和動態MTF兩部分構成。動態MTF影響因素包括大氣湍流導致圖像模糊、光學系統導致圖像模糊、平臺顫振導致的圖像模糊、探測器內部電荷轉移效率所帶來的模糊、探測器運動向離散采樣所帶來的圖像模糊。

本文著重分析混合域累加方式下，探測器內部轉移效率所帶來的圖像模糊、探測器運動向離散采樣所帶來的圖像模糊、以及外部導致的速度失配所帶來的模糊影響。

2.2.1 轉移效率

探測器自身的MTF是較為重要的一項指標，而探測器的靜態MTF主要為電荷轉移效率所決定。對于TDI探測器而言，運動方向的轉移效率均遵循下述公式（4）[15]。

式中 CTE為探測器每轉移一次電荷的轉移效率；當前行所處垂直區位置；為不同行的位置轉移完成所需轉移次數；TDI為轉移累加次數，即級數與隔離行數之和，由于隔離行數較少，后面計算時近似忽略隔離行數。

計算混合域累加轉移效率時，可根據多個感光區先拆分為多個電荷轉移單元，先計算每個電荷轉移單元的轉移效率。再通過下面公式將所有感光區合并計算。

式中 CTE1、CTE2、CTE3、CTE為不同感光區域的轉移效率。代表不同感光區域。

根據上面兩個公式，以=4片感光區為例，假設探測器轉移效率CTE為0.999 7，最大累加級數為512；在全級數成像時垂直方向MTF的優化情況如下。

不考慮工藝限制問題，若成像電路采用單片感光累加512級方式，根據公式取TDI=512，CTE=0.999 7，CTE512=0.926 8。

如果采用4片感光區分別讀出再累加的方式，每一片的級數為128。單片感光區的電荷域128級累加的轉移效率CTE1=0.980 9。根據公式得到4片累加方式下轉移效率為0.953 1。對比一片模式有0.03的提升。若單次轉移效率低于0.999 7，則混合域累加方式的轉移效率提升更為明顯。

2.2.2 失配模糊

對于空間超大視場TDI相機在軌成像時，像面上像點與被測物體間會形成些許速度失配，該速度失配主要由以下兩部分組成。

探測器的離散采樣與像面的失配，該影響因素會導致被采樣景物在很小的移動時間內所產生的改變無法量化，產生混疊。從而導致相機輸出圖像的模糊[16-17]。

對于TDI階積分的TDI相機來說由于速度失配導致的MTF下降公式可以表示為公式（6）：

式中為相機空間采樣頻率即奈奎斯特頻率，=1/(2)；為探測器像元尺寸。

圖3 四項連續轉移時序

以上為探測器自身離散性帶來的MTF下降。在混合累加方式下，由于驅動信號時序在多片感光區均響應一致，因此自身離散性帶來的MTF下降水平與傳統電荷累加方式一致[18]。

對于第二種影響因素，相機在軌狀態下的速度失配帶來的MTF下降，在混合域級數累加方式下進行分析。

分析采用4片感光區方式累加成像，由于每片感光區可認為獨立的探測器，因此可認為兩片感光區邊界處為不感光區。在不感光區與感光區之間所產生的速度失配會較每片感光區內部失配程度大。那么景物與感光區之間的離散所帶來的MTF下降遵循下面公式[19-20]。

式中TDI為成像級數；為一片探測器運動方向尺寸；為一片探測器與另一片探測器非感光范圍。因此當遠小于時，即單片級數遠大于非感光區間隔時，失速帶來的影響在兩種方案間的區別可忽略不計。因此若為固定參數時，當圖像成像級數較少時，帶來影響較大。

綜上，多片感光區混合域級數累加的方法可有效改善大級數累加帶來的轉移效率下降的問題。同時在運動方向上同等失速比下，該方法通過限制兩片感光區間的間隔距離，可將失速帶來的MTF下降控制在非常小的程度。

3 實驗驗證

根據上述理論分析，本文通過在實驗室搭建的成像環境，用以驗證上述分析的正確性。主要驗證傳統電荷域累加與混合域累加在信噪比、MTF參數上的優化是否有效。

3.1 信噪比驗證

搭建實驗環境如下：成像電路放置在均勻光照射下，在某一積分時間條件下，通過改變光源亮度來控制探測器光生電荷數量，從而達到圖像灰度值的變化。

在一片感光區工作模式下，增益為6dB。采集20組圖像繪制其信噪比曲線如圖4（a）。成像模式為兩片感光區混合域累加的情況下，采用同一級數，同一積分時間。為了圖像DN值接近，選取增益為0dB下，圖像信噪比如圖4（b）所示。

圖4 信噪比灰度曲線對比圖

根據圖4（a）可知，一片模式圖像在15 000灰度處，信噪比優于46dB。根據上圖4（b）可知，采用混合域累加產生的圖像在15 000灰度處，信噪比優于49dB。因此可知，采用混合域累加的方式，可以在原有探測器水平基礎上有效的提高圖像信噪比。

3.2 MTF驗證

搭建實驗環境如下：成像電路放置在一標準暗箱內，焦面處安裝數為5.6的光學鏡頭，在鏡頭另一側安裝半徑為20cm圓形滾筒。滾筒轉動方向經光學鏡頭反向后與探測器電荷運動方向一致。拼接時，兩片感光區探測器放置間隔盡可能小。將滾筒與成像電路行頻設置為一致參數后，對滾動靶標進行成像測試。其中靶標為標準ISO-12233，選取所成圖像其中一個斜邊。通過刃邊法分別計算兩種方式MTF，并進行對比測試。

首先測試一片感光模式下64級電荷累加圖像，圖像如下所示。經計算，一片感光模式64級累加后圖像在0.1歸一化頻率處的MTF為0.322，如圖5（a）所示。再測試兩片模式下，每片模式為32級電荷累加，總累加級數與一片感光方式的累加級數相同。再通過FPGA將兩片數字圖像逐級累加。累加后所成圖像如下所示。經計算，兩片感光區混合域累加后圖像在0.1歸一化頻率處的MTF為0.387。如圖5（b）所示。

圖5 MTF曲線對比圖

綜上，根據前后兩張圖分別通過同一位置圖像，采用刃邊法計算MTF，可知由于優化了轉移效率，同時在一定程度上控制探測器與景物的失速比，混合域累加的MTF有所提升，同時根據分析結果，若采用較大規模級數累加，MTF將會有更大幅度提升。

4 結束語

本文首先針對高分辨率成像的特點，提出了一種超大規模級數累加方法：混合域級數累加，并闡述了具體實現方式。更進一步，通過對信噪比、MTF等關鍵成像參數的理論推導，論證了混合域累加方式在實際應用中的優勢。最后，通過實驗室環境下搭建成像測試系統，對所成圖像信噪比和MTF進行了實測。通過實測對比說明，混合域累加有效的改善了超大規模級數成像的電荷轉移效率，同時該方法一定程度上提高了圖像信噪比，對超高分辨率弱光成像品質的提升有著十分顯著的效果。

[1] YU H, QIAN X Y, CHEN S S, et al. A Time-delay-integration CMOS Image Sensor with Pipelined Charge Transfer Architecture[C]//IEEE International Symposium on Circuits and Systems (ISCAS), 2012, Seoul, South Korea.

[2] ZHANG L, LI S, JIN G, et al, Modeling of Satellite Borne TDICCD Pitching Imaging Image Motion Velocity Vector[C]// IEEE International Conference on Automation and Logistics, 2019, Shenyang, China.

[3] 陶淑蘋, 金光. 采用卷簾數字域TDI技術的CMOS成像系統設計[J]. 紅外與激光工程, 2012, 9(16): 2380-2385. TAO Shuping, JIN Guang. Design of CMOS Imaging System Based on Rolling TDI in Digital Domain[J]. Infrared and Laser Engineering, 2012, 9(16): 2380-2385. (in Chinese)

[4] BIGAS M, CABRUJA E, FOREST J, et al. Review of CMOS Image Sensors[J]. Microelectronics Journal, 2006, 37(5): 433-451.

[5] FENG Y, YANG XQ, CHEN XL. Modeling and Simulation of a TDI Line Scan Camera[C]//Instrumentation and Measurement Technology Conference, Colorado, USA, 2003: 446-451.

[6] BURNS P D. Slanted-edge MTF for Digital Camera and Scanner Analysis[C]//Proc. PICS Conference, 2000, Portland or USA.

[7] 聶凱明. CMOS-TDI圖像傳感器研究與芯片實現[D]. 天津: 天津大學, 2014. NIE Kaiming. The Research Chip Implementation of CMOS-TDI Image Sensors[D]. Tianjin: Tianjin University, 2014. (in Chinese)

[8] 于長偉. 低功耗數字域CMOS-TDI圖像傳感器讀出電路研究[D]. 天津: 天津大學, 2016. YU Changwei. The Study of Low Power Digital-domain CMOS-TDI Image Sensor Readout Circuit[D]. Tianjin: Tianjin University, 2016. (in Chinese)

[9] 曲宏松, 張葉, 金光. 基于數字域TDI算法改進面陣CMOS圖像傳感器功能[J]. 光學精密工程, 2010, 8(15): 1896-1898. QU Hongsong, ZHANG Ye, JIN Guang. Improvement of Performance for CMOS Area Image Sensors by TDI Algorithm in Digital Domain[J]. Optics and Precision Engineering, 2010, 8(15): 1896-1898. (in Chinese)

[10] 徐超. 面向TDI 型CMOS 圖像傳感器的有源像素設計與研究[D]. 天津: 天津大學, 2013. XU Chao. Design and Research on Active Pixels of TDI CMOS Image Sensor[D]. Tianjin: Tianjin University, 2013. (in Chinese)

[11] 徐新楠. 高精度TDI CMOS圖像傳感器模擬域累加器研究與設計[D]. 天津: 天津大學, 2012. XU Xinnan. Research and Design of the High Accuracy Analog Accumulator for TDI Image Sensors[D]. Tianjin: Tianjin University, 2012. (in Chinese)

[12] 劉則洵. 時間延遲積分CCD空間相機信噪比的影響因素[J]. 光學精密工程, 2015, 23(7): 1829-1837. LIU Zexun. Influence Factors on SNR of TDICCD Space Camera[J]. Optics and Precision Engineering, 2015, 23(7): 1829-1837. (in Chinese)

[13] FARRIER M G, DYCK R H. A Large Area TDI Image Sensor for Low Light Level Imaging[J]. IEEE Transactions on Electron Devices, 1980, 27(8): 1688-1693.

[14] 智喜洋. TDICCD相機平臺振動所致的MTF空間移變降質[J]. 光學精密工程, 2016, 24(6): 1433-1437. ZHI Xiyang. MTF Space-viriant Blurring Resulted from Platform Vibration of TDICCD Camera[J]. Optics and Precision Engineering, 2016 , 24(6): 1433-1437. (in Chinese)

[15] 丁坤. CMOS圖像傳感器光生電荷轉移效率模擬研究[D]. 哈爾濱: 哈爾濱工程大學, 2015: 8-12. DING Kun. Photo-generated Charge Transfer Efficiency of CMOS Image Sensor Simulation and Research[D]. Harbin: Harbin Engineering University, 2015: 8-12. (in Chinese)

[16] 智喜洋. 衛星振動引起的非規則采樣降質圖像復原方法[J]. 哈爾濱工業大學學報, 2014, 46(9): 9-14. ZHI Xiyang. Restoration Of Irregularly Sampled Image Degradation Due to Satellite Vibrations[J]. Journal of Harbin Institute of Technology, 2014, 45(9): 9-14. (in Chinese)

[17] 齊懷川. 空間光學遙感運動模糊仿真方法研究[J]. 航天返回與遙感, 2010, 31(2): 51-55. QI Huaichuan. The Study about the Means of Simulation for the Motion Blurred of Space Optical Remote Sensing[J]. Spacecraft Recovery &Remote Sensing, 2010, 31(2): 51-55. (in Chinese)

[18] 王浩, 王懷義, 練敏隆. 快速傅里葉變換對刃邊法測量遙感相機MTF的影響[J]. 航天返回與遙感, 2017, 38(1): 61-65. WANG Hao, WANG Huaiyi, LIAN Minlong. Effect of FFT on Knife-edge Measurements of MTF[J]. Spacecraft Recovery &Remote Sensing, 2017, 38(1): 61-65. (in Chinese)

[19] 周川杰, 呂政欣, 產曉冰, 等. 基于刃邊法的星載相機在軌MTF測量精度分析[J]. 航天返回與遙感, 2011, 32(1): 33-37. ZHOU Chuanjie, LU Zhengxin, CHAN Xiaobing, et al. Analysis of On-orbit MTF Estimation for Satellite Optical Sensors with Knife-edge Memod[J]. Spacecraft Recovery&Remote Sensing, 2011, 32(1): 33-37. (in Chinese)

[20] 戴奇燕, 夏德深, 何紅艷, 等. 刀刃法在軌MTF測量性能分析[J]. 航天返回與遙感, 2006, 27(3): 22-27. DAI Qiyan, XIA Deshen, HE Hongyan, et al. Perfonnance Analysis of MTF Measurement Using Edge Method[J]. Spacecraft Recovery&Remote Sensing, 2006, 27(3): 22-27. (in Chinese)

Research on Mixing Domain TDI Accumulation Imaging Technology with High Line Frequency

LIANG Nan HE Qiangmin LI Bo LI Tao

（Beijing Institute of Space Mechanics & Electricity, Beijing 100094, China）

With the increase of the line frequency in high-resolution Time Delay Integration(TDI) imaging in the field of space remote sensing, the camera's input energy is gradually reduced in one integration time, and the camera's imaging ability is reduced under weak illumination. It is necessary to increase the integral number to compensate for the lack of energy. The existed traditional digital domain accumulation methods will inevitably lead to excessive noise introduced by the superposition, and the analog domain is affected by the device process and cannot achieve large-scale accumulation. This paper first proposes an accumulation method based on the mixture of charge domain and digital domain, and describes the specific imaging scheme. At the same time, the paper makes a theoretical analysis on the signal noise ratio (SNR) and modulation transfer function (MTF) in the mixed domain accumulation mode combining with the on-orbit imaging mode of the camera. Finally, the experimental environment is built to test the SNR and MTF in the mixed domain accumulation mode. compared with the traditional charge domain, the correctness of the mixed domain accumulation theory and the feasibility of the implementation method are verified. According to the analysis and verification results, the proposed method effectively solves the main bottleneck in charge domain and digital domain TDI, and provides an effective solution in the high resolution field.

high resolution; mixed-domain time delay integration; signal noise ratio; modulation transfer function; space remote sensing

TN401

A

1009-8518(2020)01-0039-08

10.3969/j.issn.1009-8518.2020.01.005

2019-10-20

航天五院杰出青年人才基金

梁楠, 賀強民, 李博, 等. 高行頻混合域TDI累加成像技術研究[J]. 航天返回與遙感, 2020, 41(1): 39-46.

LIANG Nan, HE Qiangmin, LI Bo, et al. Research on Mixing Domain TDI Accumulation Imaging Technology with High Line Frequency[J]. Spacecraft Recovery & Remote Sensing, 2020, 41(1): 39-46. (in Chinese)

梁楠，男，1985年生，2009年獲北京交通大學自動化專業碩士學位，現在中國空間技術研究院攻讀博士學位，高級工程師。研究方向為高分辨率成像技術。E-mail：ln19@163.com。

（編輯：劉穎）