基于主動位移成像的圖像超分辨率重建

張文雪，羅一涵*，劉雅卿，夏詩燁，趙開元

1 中國科學院光場調控科學技術全國重點實驗室，四川 成都 610209；

2 中國科學院光束控制重點實驗室，四川 成都 610209；

3 中國科學院光電技術研究所，四川 成都 610209；

4 中國科學院大學，北京 100049

1 引 言

高分辨率圖像具有清晰度高、噪聲低、細節分辨能力強等優點，隨著遙感技術、安全監控、醫學圖像分析等對圖像清晰度及細節具有高要求的領域不斷發展，探尋獲得高分辨率圖像的最優方式成為這些領域重點關注的問題。獲得高分辨率圖像的方式有提升相機的硬件質量和超分辨率圖像重建，但提升硬件質量如采用大口徑的透鏡或減小像元尺寸需要巨大的經濟成本，而超分辨率圖像重建技術則不需要在現有成像條件下提升相機的性能，它通過軟件的方式將低分辨率圖像恢復為高分辨率圖像以達到提升圖像分辨率的目的，成本極為低廉。因此，圖像超分辨率重建技術近年來成為了計算機視覺領域研究熱點之一。

圖像超分辨率重建指的是將一幀或者多幀低分辨率圖像恢復成一張高分辨率圖像的技術。根據使用低分辨率圖像的數量可以分為單幀圖像超分辨重建算法和多幀圖像超分辨重建算法。按照算法種類又可以分為基于插值的算法、基于重構的算法和基于深度學習的算法。

其中基于插值的重建算法理論簡單，易于實現，可以達到放大圖像的目的，但原始場景在采樣過程中丟失的高頻細節并沒有被恢復，重建后的圖像存在塊效應。卷積神經網絡被提出后，CNN 網絡在多個領域表現出了優良的特性，通過建立單幅LR 圖像和HR 圖像對，先后提出了基于CNN[1-6]和基于ResNet的網絡[7]和基于GAN 的網絡[8]，當數據集充分，網絡足夠深時，通過網絡訓練映射關系，可以獲得細節分辨力高[9]、放大倍數高的高分辨率圖像，因此，基于深度學習的方法常用于單幀圖像超分辨率重建，適用于不易獲得多幀圖像的場景。但深度學習方法依賴數據集的建立，當面對難以預先建立數據集的場景時，單一的深度學習方法很難針對性地加入先驗知識。隨著超分辨重建技術的發展和廣泛應用，人們發現單幀低分辨率圖像包含的圖像信息少，僅對單張圖片進行超分辨重建難以充分利用場景中的信息，所以圖像超分辨率研究熱點漸漸轉移到多幀圖像超分辨率重建中來，多幀圖像超分辨重建最先由Tsai 和Huang[10]提出，利用多幀低分辨率圖像之間的互補信息來降低噪聲和提升圖像的空間分辨率。其中，圖像間的空域互補信息更容易獲得，于是多幀圖像超分辨重建算法多是基于空域約束的算法?；诳沼蚣s束的算法是建立低分辨率圖像與高分辨率圖像間的退化過程，結合數學計算，通過對約束模型的選擇來逆求解得到高分辨率圖像，代表算法有IBP[11]、MAP[12]和POCS[13]算法。相比深度學習算法，基于空域約束的重建算法可以很方便的針對具體場景加入序列圖像的先驗知識，獲得豐富的圖片信息，因而很適合用于多幀圖像超分辨率重建。

基于以上對于現存算法的分析，在多幀圖像超分辨重建任務中，基于空域約束的圖像超分辨重建算法是表現較為優秀的一種算法，因為它可以很方便地加入先驗知識，利用多幀低分辨率圖像中的互補信息重建恢復出超分辨率圖像。其中，凸集投影法是多幀圖像超分辨重建算法中效果最好的算法之一。凸集投影本質上是一種凸集約束思想，即多個凸約束中總能找到最優的解空間，應用到多幀圖像超分辨重建中，具有方便引入先驗知識的優勢[14-15]，被頻繁用于多幀圖像的超分辨重建中[14-18]。POCS 算法的關鍵點在于對退化模型的構建，近年來已經有研究分別對模糊核估計[19]和低分辨率圖像信息保持[20]方向做出改進，但是POCS 算法存在一個固有缺點，即過于依賴初始幀的估計，初始參考幀的估計很大程度決定了最后的重建結果，若初始幀構造不穩定，則重建結果也會發生變化，所以構造真實有效、穩定的初始幀是本文的重點之一。

主動獲得多幀圖像間互補信息的成像方式之一是亞像素位移成像技術。亞像素位移技術是指主動使獲得的圖像間相差亞像素位移，這種技術被廣泛用于多幀圖像超分辨重建任務中。亞像素位移技術分為亞像元[21]成像技術和微掃描技術。其中，微掃描在1996年被系統性地提出[22]，其主要是采用棱鏡分光和控制壓電陶瓷偏轉實現圖像亞像素位移，可以顯著提升分辨率。在國外被廣泛應用于熱像探測等領域。近年來，隨著我國科學技術的發展，微掃描技術被應用在X射線顯微鏡中[23]，隨后針對無人機對圖像實時性的要求，設計了高速微掃描核心器件[17]，通過四幀連續低分辨率圖像在短時間內獲得一幀高分辨率圖像。微掃描技術被應用于單像素相機超分辨成像[24]、紅外圖像超分辨重建[25]等任務中，實驗證明，微掃描技術可以通過獲得多幀具有亞像素位移的低分辨率圖像來重建獲得高分辨率圖像[18]。近年來，人們嘗試用不同的方法獲取亞像素位移的多幀低分辨率圖像，比如：采用Risley 棱鏡偏轉[25]；基于DMD 的亞細胞模式移位(sub-cell pattern shifting,SCPS)[26]、提出反射式紅外掃描模型[27]；基于圓形編碼孔徑，在采樣過程中更改孔徑大小實現圖像的亞像素位移[28]，重建后的圖像分辨力提高，圖像細節變得清晰。但是這些微掃描方法在獲得圖像的過程中，需要按照固定的掃描方式[14]，在曝光時間內固定相機相面以減少像移[17]，對器件到位精度要求較高或者需要額外新型精密的設備[28]，存在掃描模式固定、對器件實時到位精度要求高和器件制造精度要求高的問題。因此，探索一種對到位精度、掃描模式、器件制造精密程度限制較小的亞像素位移成像技術也是本文關注的問題。

總而言之，POCS 算法因易于加入先驗知識常被用于圖像超分辨率重建，微掃描技術則可以為圖像重建提供有效的先驗知識，但是POCS 算法過于依賴初始參考幀的選擇，而微掃描成像技術又存在掃描模式固定、對器件實時到位精度和制造精度要求高的問題?；谶@個結論啟發，本文設計了一種基于主動位移成像的圖像超分辨重建算法，利用控制相機主動位移獲取圖像序列并記錄精確的位置信息，通過解算、選圖、匹配以及結合POCS 算法迭代修正，最后得到重建圖像。該方法結合了微掃描技術和POCS 算法的優點，構造了穩定真實的初始參考幀，并修正了微掃描技術受掃描模式限制以及對器件到位精度要求高的缺點。本文所提出的方法無需固定的掃描模式，無需額外添加到位精度高的精密設備，可以針對當下場景加入先驗知識，無需針對一類場景單獨構建數據集，具有良好的可泛化性。

2 理論推導

2.1 圖像退化模型

典型的可見光圖像成像過程如圖1 所示，真實場景，即高分辨率圖像(high resolution image,IHR)經過模糊、形變、下采樣和加性噪聲退化為一個低分辨率圖像(low resolution image,ILR)，成像過程可以由式(1)表征，

圖1 圖像退化過程示意圖Fig.1 The image degradation process

其中：D為下采樣矩陣，代表相機的下采樣尺度。B為模糊矩陣，包括光學模糊、運動模糊等，M則為物體運動產生的變換，n代表成像過程中的噪聲，j為圖像幀的序號。為了使得圖像由低分辨率圖像ILR恢復重建為高分辨率圖像IHR，需要反解式(1)所表示的退化過程，使得低分辨率圖像恢復為高分辨率圖像。實際上，反解式(1)是一個病態求解問題。因為真實場景退化為低分辨率圖像的過程不唯一，如果采用單一算法，會使得求解得到的高分辨率圖像不唯一或者求解過程不穩定。所以圖像超分辨率重建的關鍵是引入先驗知識使得反解式(1)的過程變得良態。

2.2 微掃描成像

微掃描成像技術是指在采集圖像期間使相機按照設定的路徑移動，多次采樣獲得同一場景下的多幅圖像，使得多幅圖像間具有亞像素位移的技術。實質上，微掃描技術的多次采樣即為一種過采樣過程，可以恢復因下采樣而失去的信息，也就是說微掃描成像這種技術可以為反解式(1)中D提供先驗知識。

微掃描實現過采樣原理如圖2 所示，原相機所成的像在p1點，相機移動后，所成的像在p2點，因相機移動 ?D而發生的移動映射為 ?d。只要保證 ?d小于一個像素，即可實現圖像上采樣。利用兩幀之間的亞像素信息，即可重建恢復出下采樣而丟失的圖像信息。

圖2 上采樣實現原理圖Fig.2 Schematic diagram of up-sampling based on micro-scanning

圖3 給出了常用的微掃描的掃描方式，以2×2掃描為例，四次掃描獲得四幀亞像素差別的低分辨率圖像，如圖4 左圖所示，若每幀低分辨率圖像由1st中所示1、2、3、4 四個像素組成，而1st、2nd、3rd、4th這四幀低分辨率圖像之間相差0.5 個像素，那么利用圖像與圖像之間的亞像素差別，即可合成圖4 右圖所示的2 倍像素超分辨率的高分辨率圖。

圖3 微掃描的三種方式Fig.3 Three ways of micro-scanning

圖4 2×2 微掃描成像重建原理示意Fig.4 Schematic diagram of reconstruction based on microscanning imaging

基于微掃描成像重建的原理簡單，關鍵的點在于使探測器按照設定的方式移動亞像素位移，控制器件的到位精度和實時性是難點，這在實際應用中就會帶來限制。

2.3 凸集投影法

凸集投影方法(POCS)是一種基于集合的理論方法，認為對LR 圖像建立約束，每一個約束都代表了包含多個可能高分辨率圖像的凸集，當加入多個約束時，多個凸集的交集即為高分辨率圖像重建的結果。凸集投影理論可由式(2)表征，

應用于超分辨重建任務的凸集投影算法理論推導如式(3)：

首先建立LR 圖像與HR 圖像的映射關系式(式(3))，g代表低分辨率圖像，f代表原始圖像，n為噪聲，h為點擴散函數。

計算實際的低分辨率圖像L與通過式(3)獲得的圖像之間的殘差r：

接下來對圖像空域每一個像素點都可以建立式(5)所示的約束式：

其中：T為閾值，(u,v)指圖像的單個像素的點坐標，此處的u和v分別表示像素的橫坐標和縱坐標，當圖像與參考幀的殘差r大于閾值時，對得到的fc對應的像素點進行修正，若殘差在可接受范圍內，則不修正。

實際應用流程總共分為三個部分：構造初始估計圖像、估計LR 間的運動參數、對估計圖像進行迭代后更新以獲取最終的SR 圖像。

凸集投影法較為依賴初始估計，初始估計不同，則最后迭代重建得出的圖像效果可能差別很大。構造參考幀是指對LR 圖像進行插值放大到超分辨率圖像的目標尺寸，以獲得初始估計圖像。常用的插值方法有最近鄰插值、雙線性插值和雙三次插值方法。

隨后對多幀圖像序列進行配準，估計兩幅圖像間的運動參數，運動參數的估計是否準確也將影響最終的重建結果。

綜上分析，在重建圖像時采用POCS 方法可以根據圖像的特點設立不同的約束集，例如對圖像的能量有界性、數據一致性、部分點閾值約束和參考幀約束，為反解式(1)中的矩陣B提供信息，因而可以很方便的加入先驗知識，非常適合用于多幀圖像超分辨率重建任務，但POCS 方法存在一個缺點，即太過于依賴初始參考幀的建立，很大程度上，參考幀的建立決定了最終的重建效果。

3 本文方法

基于2.2 節和2.3 節對微掃描成像和凸集投影法的理論分析，針對微掃描和凸集投影法存在的固有問題，本文提出基于主動位移成像技術的POCS 算法，該算法通過控制相機主動位移獲取圖像序列，同時記錄采樣圖片對應的位置信息，利用解算、選圖、匹配以及結合POCS 算法迭代修正最后得到重建圖像，算法流程概覽如下：

Step1：主動位移成像。

利用主動位移技術采集獲取具有亞像素位移的圖像,獲得所有圖片以及圖片的位置信息，圖片位置信息存放在矩陣Darr中。

Step2：選取潛在信息最完備的圖像作為參考圖像。

選取一幀圖像為參考圖像f0，利用提出的基于主動位移的方法上采樣將f0放大到指定尺度scale 作為初始估計圖像H0。

Step3：計算相對位移矢量，獲取亞像素圖像信息，得到初始估計圖像。

計算所有圖片與參考幀的相對移動矢量，按序號存放到矩陣?Darr中。在?Darr中選取符合重建尺度scale 位移信息的圖片，將有對應亞像素信息的圖片存入網格候選圖片圖像矩陣Clr。

Step5：計算估計圖像與原始低分辨率圖像之間的殘差，迭代更新估計幀的值。

對于單個網格(i,j)，輸入Clr中第(i,j)個元素所包含的所有待選圖片矩陣，將待選圖片矩陣直接復制到初始估計圖像中，當所有的元網格被填滿，則停止循環，形成新的估計圖像Hk。

Step6：獲得最終SR 圖像。

當所有圖片遍歷結束，同時邊緣信息殘差值小于閾值，則迭代結束，得到最終的HR 圖像

所有的算法過程可以由圖5 表示，在之后的小節中，我們將展開敘述每一個步驟的具體過程。

圖5 算法流程圖Fig.5 Flow chart of our algorithm

3.1 主動位移成像

主動位移成像裝置如圖6 所示，其中，藍色部分是相機，黑色部分是主動位移平臺，其中下方部分實現x方向的位移，上方有白色邊框的黑色部分則可以升降實現y方向的位移。主動位移平臺(黑色部分)的隨機位移的同時控制相機采樣，獲取得到n幀低分辨率圖像。

圖6 實驗平臺搭建示意圖Fig.6 Schematic diagram of the experimental setup

多幀低分辨率成像過程中，幀與幀之間存在運動變換。提出的主動位移成像技術，則是通過預先獲取相機位移信息來解出圖像間的位移信息，進而解出M。要獲得相機位置與成像圖像位置之間的矢量關系，在裝置設備時，需要確立這種仿射關系。建立仿射式，將主動位移平臺坐標(ζ,η)與圖像像素坐標(μ,ν)一一精確對應。

需要求解使得下式最優的三個系數κζ、κη、θ：

其中：G代表建立的約束式，當約束式G的值最小時，主動位移平臺坐標與圖像像素坐標對應誤差越小，矩陣R代表的是相機與場景間的相對旋轉，矩陣S代表的是相機與真實像素之間矢量的尺度關系，矩陣T則代表相機像面位置中心與圖像中心的偏移量。P=[ζ,η,1]T代表相機像面所處的位置，p=[μ,v,1]T是圖像所處的位置。雖然式(7)的自由度為3，但對R矩陣求導非常復雜，所以先用泰勒展開式預處理參數θ。通常來說 θ的值較小，對sinθ 和cosθ采用泰勒展開式展開后，重寫式(6):

改寫R矩陣

同時，為了消除位移矩陣T帶來的影響，這里將式(7)改寫為式(9):

為了得到最優的κx、κy、θ，采用牛頓迭代法對式(9)求最優解，獲得主動位移與圖像像素坐標之間的對應移動矢量關系：

主動位移成像技術是受微掃描技術啟發使相機隨機位移對同一場景成像的技術。具體來說，在以往的微掃描成像超分辨重建算法中，需要對同一場景做連續間隔亞像素步長的掃描，對器件的控制精度和到位精度要求非常高。而主動位移成像技術針對減小器件的精度要求做改進，無需按照固定的掃描模式，相鄰幀成像時也無需亞像素步長的移位，只需要移動相機使得第j幀圖像與初始參考幀圖像之間存在亞像素位移即可，不需要相鄰的幀之間相差亞像素。成像原理可由式(10)表示，其中gj代表第j幀圖像，g0代表選取的參考圖像，Dgj代表采樣第j幀圖像時主動位移平臺(相機像面)的位置，F代表式(8)所給出的位置投影映射式。主動位移成像技術不需要j幀圖像與參考圖像只相差亞像素位移，而是容許兩幀圖像之間相差整像素位移，即僅需要成像兩幀圖像位移差對像素1 取余后的 δd<1 即可。因此，主動位移成像可以不嚴格按照圖3 所示的掃描模式來成像，對器件的實時控制到位精度也沒有要求，僅需記錄成像時刻的相機位置。

3.2 選取參考幀

獲得了M幀低分辨率圖像后，需要根據超分尺度S在M幀圖像中選取擁有亞像素信息最多的圖像作為參考幀。選圖流程如圖6 中藍色框所示。

如圖5 所示，根據像素與像素之間存在亞像素的理論，若超分尺度為S，則其他圖像相對參考幀的位移為Vi：

其中：i為整數，且0 ≤i

圖7 選圖過程示意。左：多幀圖像序列，右：完備亞像素信息網格Fig.7 Schematic diagram of selection module.Left: Image sequence;Right: An image grid with complete sub-pixel information

3.3 獲得初始估計圖像

不同于傳統方法給出的直接線性上采樣，本文提出一種新的上采樣方法。根據3.2 節，我們獲得了具有完備亞像素信息的參考幀以及對應的LR 圖像。接下來需要結合圖像信息獲得初始估計圖像。如圖8(a)所示，(i～iv)圖中的橙色、黃色、藍色和綠色代表感興趣區域，而紫色部分代表參考幀的感興趣區域位置，一共給出4 種相對位移模式。其他有色區域代表感興趣區域位移后所在的位置，兩個有色區域重合部分則是我們需要提取的信息。

圖8 四種位移情況。(a)四種可能的位移情況；(b) 四種整像素位移模式Fig.8 Four cases of displacement.(a) Four possible cases of pixel shift;(b) Four modes of integer pixel shift

圖9 四種位移模式下提取信息Fig.9 Schematic diagrams of information extraction in four integer pixel shift cases

在式(11)中，除了亞像素位移i/S外，還有整像素位移K,在匹配復制信息的時候，當K取值不同時(圖8(b))，需要采用不同的策略。對于四種整像素位移模式，設采樣的低分辨率圖像尺度為M×N，獲取信息的方式可以由式(12)描述，其中括號內的內容代表對圖像的像素訪問范圍。例如f(M:Ky,N:Kx)代表從圖像左上角開始從上往下第M行到第Ky行從左到右第N列到第Kx列所包含的像素；當行數的值為負數時，則代表從下往上數；列數的值為負數時，代表從右往左數，提取到的信息如圖 9 所示。經歷圖5 綠色框所示的以式(12)為理論支持的匹配插值后，參考幀f0形成初始估計圖像H0。易得，3.2 和3.3 節的過程后，圖像序列已完成亞像素級精確配準，無需再加入其他的配準算法，省去了運動配準所需的時間。

3.4 迭代獲取超分辨重建結果

如圖5 中橘色框所示，獲得了初始圖像H0后，需要對H0迭代更新，以獲得最終的高分辨率圖像。針對低分辨率圖像通常噪聲較大的特點，我們采用空域去噪算法對圖像建立約束，圖像迭代更新方式可以由式(13)表征。

如圖10 所示，同一像素點精確配準后(圖10(a))，抽取多幅圖像中的同一位置像素，并對單一像素空域去噪，若同一位置點的像素出現異常(圖10(b)紅圈)，表征為增量異常，對于增量?Hiter(i,j)采用可接受的閾值來更新，如式(13)所示，循環更新迭代，最后獲得重建的高分辨率圖像。

圖10 單點去噪更新模塊示意。(a) 匹配多張圖像的同一像素點；(b) 同點的像素值及噪點(紅圈)Fig.10 Schematic diagram of denoise module.(a) Schematic of matching same pixel of multiple images;(b) Pixel value and noise points (red circle) of same pixels

4 實驗結果

4.1 實驗平臺裝置

本文提出的基于主動位移成像的圖像超分辨重建算法實驗裝置如圖11 所示。實驗裝置主要由一個控制平臺、一個主動位移平臺和一個相機組成，其中主動位移平臺可以實現x,y軸方向的移動，帶動相機向x,y軸方向移動，同時記錄位移，記錄精度為0.1 μm。本次實驗采用SCMOS 相機PCO.edge4.2，像元大小為6.5 μm，相機與目標距離為0.7 m 整體實驗裝置非常簡單，為了驗證確實獲取了最優的相機像面與圖像像素間的仿射關系，證明實驗具有可行性。設計像面-像素采樣驗證實驗，分別在25 個點位獲取同一場景的點圖(圖12)，將相機位置P帶入式(8)中，獲得像素位置理論解,與實際的點位置p相比較。

圖11 主動位移成像的實驗裝置實景搭建Fig.11 Experiment sets of the active displacement imaging method

圖12 實驗采樣相機位置圖Fig.12 Camera position (red point)

對比結果如圖13 所示，其中紅色‘+’字標注的為實際的位置p，藍色‘x’字為相機位置P通過式(8)求出的位置，可以看到25 個相機運動點位都精確對應到了實際成像圖像的每一個點上。其中，差別均小于0.01 個像素，最大差別為0.009 個像素(圖13(b)紅色圓圈標出)，代表即使當超分尺度為5 時，精度仍然符合要求,可以達到亞像素精度條件。實驗結果證明，實驗裝置和式(8)理論上具有實現基于主動位移成像的圖像超分辨重建的基礎條件。

圖13 驗證對比結果。(a) 25 點對比結果；(b) 25 點對比誤差Fig.13 Comparison result between ground truth and calculation.(a) Comparison result at 25 points;(b) Comparison of error at 25 points

4.2 評價指標

圖像的評價指標按照有無參考圖像分為無參考評價指標和全參考評價指標。

當沒有原始高分辨率圖像時，超分辨重建算法常用圖像的梯度來評價重建后的圖像是否具有更多的細節信息。常用的梯度評價指標是圖像平均梯度(Grad)，

其中：g(u,v)代表圖像(u,v)位置的像素值，Gradx代表圖像在x方向上的梯度，Grady代表圖像在y方向上的梯度，G越大，代表圖像邊緣細節特征越多。

當有參考圖像時，則常用PSNR 和SSIM[29]來評價重建結果與原圖的相似程度。其中PSNR 是由均方誤差(mean-square error,MSE)來獲得的，MSE 則是評價SR 圖與真實圖像H之間像素值的差異，由式(15)給出：

其中：M、N代表圖像的行列數，H(u,v)(u,v) 分別代表真實的HR 圖像和重建獲得的SR 圖像在(u,v)處的像素值，MSE 越小則代表重建的圖像與真實圖像灰度值相差越小，與真實圖像越接近。PSNR 的定義式表明，PSNR 越大，重建圖像與真實圖像在灰度上越相似。

SSIM 代表與原圖的結構相似程度，由式(16)表征，

其中：H,分別代表真實的HR 圖像和重建獲得的SR 圖像，μ代表圖像的均值，σ代表圖像的標準差，HR 和SR 圖像的協方差由表示，C1和C2為常數，是為了避免SSIM 分母為零。SSIM 從圖像的亮度、對比度、結構三個方面來評價兩幅圖之間的相似性，范圍為(0,1)，值越高代表重建得到的圖像與原圖越相似。

4.3 實驗結果

首先，我們對標準分辨率靶成像，來驗證我們的方法能夠提升圖像分辨率，通常來說直接用肉眼讀取分辨率靶的方法非常簡單且直觀，但是這種方法容易受主觀因素的影響，因此，我們使用調制傳遞函數(MTF，Modulation transfer function)這個指標來考量圖像的分辨率。如圖14 所示，圖14(a)為成像得到的低分辨率圖。圖14(b-d)三圖分別是使用基于POCS的方法MFPOCS[20]、基于CNN 的方法ACNet[6]以及本文方法重建圖像得到的結果。

圖14 不同方法對分辨率靶進行x4 重建得到的結果。(a) MFPOCS[20]；(b) ACNet[6]；(c) OursFig.14 Super-resolution reconstruct results of different algorithms at scale of 4.(a) MFPOCS[20];(b) ACNet[6];(c) Ours

我們抽取紅框所示的區域，使用MTF 指標對圖像的空間分辨率進行評價，評價結果如圖15 所示，其中縱坐標所示數值單位是l p/mm，數值越高，代表空間分辨率越高?？梢钥吹?，使用本文方法重建得到圖像的空間分辨率高于用傳統線性方法、MFPOCS[20]、ACNet[6]重建得到的圖像，證明本文方法對圖像空間分辨率提升具有一定的提升力。

圖15 不同方法重建不同尺度下的MTF 折線圖Fig.15 MTF curves of different algorithms at different scales

然后，為了驗證本文提出算法對重建圖像質量確有提升，本文分別使用文獻[20]提出的MFPOCS 方法、最近提出的基于CNN 網絡的超分辨率重建深度學習方法以及本文方法對自制的簡單圖(圖16(a))、復雜圖(圖16(b))和熊貓圖(圖16(c))進行了重建實驗，其中復雜圖擁有較多的彎曲曲線以及橫向和豎向的紋理，可以用于檢驗算法對圖像細節的重建能力。

圖16 原圖及相應的感興趣區域(紅框)。(a) 簡單圖；(b) 復雜圖；(c)熊貓圖Fig.16 Original pictures and their ROI (red rectangle).(a) Simple image;(b) Complex image;(c) Panda image

4.3.1 基于主動位移成像的圖像初始幀估計

注意到通常的POCS 算法都是將低分辨率圖像簡單插值，這樣會導致初始估計不準確，像素間的信息不充足，導致上采樣得到的圖像模糊。圖17 可以看到最近鄰插值算法有很嚴重的塊效應，雙三次線性插值算法重建得到的結果中圖像邊緣存在鋸齒效應，本算法得到的結果在精度上的改進清晰可見。相比傳統插值方法，本文提出的亞像素插值方法擁有更好的邊緣細節信息，有利于后續的凸集投影計算。

圖17 基于主動位移插值與傳統插值方法對比(4×倍)。(a) Ground truth；(b) Ours；(c) Linear；(d) BicubicFig.17 Comparison of the traditional interpolation and our interpolation at 4 times.(a) Ground truth;(b) Ours;(c) Linear;(d) Bicubic

4.3.2 超分辨重建結果

圖18 黃框是改進的 POCS 算法 MFPOCS[20]對圖16(a)的重建結果，圖19 黃框則是對應的感興趣區域的重建結果，從左到右依次是 2 至 5 倍超分辨率?？梢钥吹疆敵殖叨葹? 時，MFPOCS 算法重建效果非常好,但隨著超分尺度的增加，MFPOCS 算法出現了邊緣震蕩效應。這是因為POCS 算法依賴初始估計，若保證初始估計幀的優良選取，重建效果將會變得更好。如圖17 所示，本文保證了初始參考幀的的優良選取，為了驗證重建效果是否會因初始幀的優良選取而變好。根據圖5 所示的算法流程，對簡單圖進行基于主動位移成像的超分辨重建。如圖19 紅框所示，可以看到超分尺度為5 時，依然可以維持較好的邊緣細節。與MFPOCS[20]方法(黃框)和ACNet[6]方法(綠框)對比，當超分尺度為5 時，本文提出的方法邊緣毛刺現象明顯改善，重建效果有明顯提升。

圖18 對簡單圖進行不同尺度超分辨率重建得到的結果：MFPOCS[20]方法(黃框)；ACNet[6]方法(綠框)；本文方法(紅框)Fig.18 Super-resolution reconstruction results of simple image at different scales using the algorithms of MFPOCS[20](yellow rectangle),ACNet[6] (green rectangle) and ours (red rectangle)

圖19 對簡單圖感興趣區域的超分辨重建結果：MFPOCS[20]方法(黃框)；ACNet[6]方法(綠框)；本文方法(紅框)Fig.19 Super-resolution reconstruction results of ROI of simple image at different scales using the algorithm of MFPOCS[20] (yellow rectangle),ACNet[6] (green rectangle) and ours (red rectangle)

為了使得效果更加明顯，我們采用自制復雜圖這類細節和邊緣較多的圖像作為目標圖像，分別用最近的基于POCS 的方法MFPOCS[20]、最近的基于CNN網絡的方法ACNet[6]及本文方法進行超分辨率重建。

圖18、圖20 和圖21 分別是應用MFPOCS[20](黃框)、ACNet[6]方法(綠框)以及本文方法(紅框)對圖16(a-c)的重建結果，從左到右依次是2 至5 倍超分辨率。抽取出感興趣區域后(圖19、圖22 和圖23)可以看到，在超分尺度為2 時，MFPOCS[20]、ACNet[6]方法與本文方法相比，人眼看不出重建結果的區別，但是隨著超分辨倍數的增加，ACNet[6]方法重建結果變得越來越平滑，至4 倍超分辨率時，ACNet的圖像邊緣細節模糊(圖22(b)從上往下第二幅圖)，本文方法相比于ACNet 方法重建結果邊緣保持效果較好。人眼視覺感知下，對圖像質量的評價受到主觀因素的影響，各算法重建結果存在不確定性。因此，我們需要對圖像采用客觀評價指標來評價。

圖20 對自制復雜圖進行不同尺度超分辨率重建得到的結果：MFPOCS[20]方法(黃框)；ACNet[6]方法(綠框)；本文方法(紅框)Fig.20 Super-resolution results of the complex image using the algorithms of MFPOCS[20] (yellow rectangle),ACNet[6] (green rectangle) and ours (red rectangle)

圖21 熊貓圖重建結果：MFPOCS[20]方法(黃框)；ACNet[6]方法(綠框)；本文方法(紅框)Fig.21 Super-resolution reconstruction results of panda image at different scales using the algorithms of MFPOCS[20](yellow rectangle),ACNet[6](green rectangle) and ours (red rectangle)

圖22 復雜圖感興趣區域重建結果：MFPOCS[20]方法(黃框)；ACNet[6]方法(綠框)；本文方法(紅框)Fig.22 Super-resolution reconstruction results of the complex image at different scales using the algorithms of MFPOCS[20] (yellow rectangle),ACNet[6] (green rectangle) and ours (red rectangle)

4.3.3 結果圖像客觀質量評價

為了更客觀地評價圖像重建后的質量，利用PSNR、SSIM 和平均梯度三個指標對得到的重建結果圖像做客觀質量評價。

對比不同尺度下的結構相似性(表1)，結構相似性從圖片的亮度、結構和對比度三個方面來評價兩張圖片的相似性?？梢钥吹?，本文方法在重建簡單圖和復雜圖這兩類圖時，得到的超分辨圖像結構相似性值都高于最近提出的MFPOCS 方法[20]和基于CNN 的深度學習算法ACNet[6]，證明本文方法重建得到的圖像在亮度、對比度和結構三個方面都更接近原圖。對比PSNR，由表2 可知，本文方法重建結果的PSNR優于最近提出的基于POCS 的重建方法MFPOCS[20]，與最近的基于CNN 的深度學習算法ACNet[6]方法相比呈現有競爭力的結果，代表本文方法重建得到的超分辨圖像失真程度小于最近提出的MFPOCS 方法并與基于CNN 的深度學習算法ACNet[6]保持圖像的能力相當，并且，即使超分尺度為5，圖像的失真程度仍然可以接受，本文算法的圖像降質不與尺度的增大呈相關關系，這是因為本文算法中的選圖模塊會根據尺度的不同選擇不同的重建圖像，即對于不同尺度的重建圖像，提供亞像素互補信息的低分辨率圖像不同，低分辨率圖像的數量也不同，因此，圖像的重建質量不會隨著尺度的增加而變差。除此之外，多幀圖像超分辨重建本質上是將多幀圖像包含的信息結合起來，采用平均梯度來評價圖像是否具有更多的信息和更豐富的細節。結合表3 所示的平均梯度對比結果和圖22 可知，隨著圖像的超分尺度增高，圖像的平均梯度所代表的圖像細節變得越來越平滑，最近提出的MFPOCS 方法[20]相對于線性插值和雙三次插值超分而言較好地保持了圖像細節信息，但本文提出的改進方法相比MFPOCS，保持細節的能力更強，梯度細節保持能力提升18%?；贑NN 的方法較好地保持了圖像細節，但是在人眼視覺感知評價下，本文方法能保持更微小的圖像細節。

表1 三種算法重建結果的SSIM 對比Table 1 SSIM of three algorithms

表2 三種算法重建結果的PSNR 對比Table 2 PSNR of three algorithms

表3 三種算法重建結果的平均梯度對比Table 3 Mean gradient of three algorithms

結果表明，本文提出的基于主動位移技術的超分辨重建方法：

1) 在PSNR、SSIM、圖像平均梯度指標上，優于最近提出的基于POCS 的算法MFPOCS；與最近提出的基于CNN 的深度學習方法ACNet 相比具有競爭力；

2) 提供了更準確的初始參考幀，提升重建結果質量；

3) 在重建超分辨圖像的同時，本文方法也可以提升圖像質量，并有人眼可見的效果。

5 結 論

本文提出了一種基于主動位移的超分辨重建技術，該技術通過相機主動位移獲取多幀具有亞像素信息的圖像，使用這些亞像素信息重建得到2 至5 倍的超分辨率圖像。另外，提出的主動位移技術無需特定的掃描方式和極高的實時到位精度，解決了微掃描成像技術的一大難點，并且能夠通過選圖和解算構造穩定高質量的初始估計幀，規避了POCS 方法的固有缺點。在人類主觀視覺感知系統上，對比經典插值超分辨重建算法有明顯的分辨力提升。在PSNR、SSIM 和平均梯度等客觀評價指標上，優于最近提出的MFPOCS 算法，具有良好的梯度細節保持能力。本文算法無需預先建立數據集來訓練網絡，只需要裝置設備時獲取參數，具有應用于多種真實場景的潛力。但本文所提的方法并未驗證當目標圖像光照不均勻或噪聲劇烈時的算法重建效果。未來的工作將聚焦于提升對光照不均勻圖像重建的魯棒性、低照度圖像空域去噪[30]，弱離焦修正[31]以及與現有的深度學習方法耦合等方面。