基于上下文特征提取的邊緣生成三階段圖像修復算法

芮志超，郭艷艷

（山西大學 物理電子工程學院，山西 太原 030006）

0 引言

由于圖像在傳輸和獲取過程中受到人為或環境的影響會導致圖像信息丟失，需要對圖像進行修復處理，增強其視覺效果。傳統圖像修復是根據圖像樣本相似度、結構紋理一致性等方法，結合數學、物理理論構建算法模型修復破損圖像，主要包括基于擴散的方法［1］和基于補丁的方法［2-3］。但是，傳統的修復算法只能基于已有區域的信息來填充未知區域，未出現在已知區域的內容無法預知填充。

近年來，深度卷積網絡和生成式對抗網絡已被大量應用到圖像修復中［4-6］。Pathak D等［7］在2016年提出了上下文編碼器，該算法通過構建一個編碼器-解碼器結構完成缺損圖像的編解碼工作，并添加判別損失完成圖像的精細修復，但該算法只能修復簡單結構的破損圖像，對于人臉圖像修復遠遠不足；Yu J等［8］在2019年提出利用門控卷積層替代傳統卷積層，解決了傳統卷積層將圖像所有像素視為有效像素的缺點，該算法只適用于規則掩膜，而對于自由掩膜而言，圖像修復效果差；Nazeri K等［9］在2019年提出一種Edge-Connection模型，通過設計額外的輔助網絡，利用缺損區域邊緣信息輔助圖像修復；Guo X等［10］在2021年提出了一種結構約束紋理合成和紋理引導結構重建的耦合網絡來完成整個修復過程，并設計了雙向門控特征融合模塊來實現結構和紋理信息的融合。

綜上所述，現有修復人臉圖像的算法可以劃分為單階段修復模型、漸進式兩階段模型和基于結構先驗或者語義先驗約束的圖像修復模型。單階段修復模型在修復背景復雜、紋理精細的圖像時，容易產生模糊的紋理細節；漸進式兩階段模型雖然能生成紋理細節，但是圖像整體的結構會發生扭曲；而基于結構先驗或者語義先驗約束的圖像修復模型，結構與語義一致性有了保障，但修復圖像紋理細節不貼近真實圖像。

針對上述問題，本文提出了一種基于上下文特征提取的邊緣生成三階段的圖像修復算法。首先，算法利用破損圖像的上下文特征進行初步修復，并對初修復結果的邊緣進行重建；然后，將重建后的邊緣結構以及初修復結果一起作為先驗信息，來約束最后階段的精修復過程。并且，在邊緣修復網絡和精修復網絡中加入Res2net模塊［11］和自注意力機制，提取多尺度特征以提升網絡的表征能力，自適應計算遠距離特征之間的依賴關系以解決圖像修復區域和未缺失區域的邊界銜接問題。

1 系統模型

如圖1 所示，系統主要采用生成式對抗網絡框架［12］。該架構由生成器和鑒別器組成，生成器部分主要包含3個網絡結構：粗修復網絡、邊緣修復網絡、精修復網絡。鑒別器采用補丁鑒別器［8，13］。

圖1 三階段修復算法結構圖Fig.1 Structure diagram of three-stage inpainting algorithm

1.1 粗修復網絡

為了能初步重建大面積不規則的缺失區域，粗修復網絡結構參考文獻［8］中的架構，由13 個普通卷積層和4 個空洞卷積層組成，其中普通卷積層包含兩層卷積核大小為3，步長為2的下采樣層，兩層步長為1/2 的上采樣層，上采樣通過結合下采樣中提取的各層信息，還原圖像缺失區域；而4層空洞卷積層的空洞率大小分別為2，4，8，16，目的是為了擴大卷積核的感受野，提升網絡性能。粗修復網絡結構見表1 所示。

表1 粗修復網絡結構Tab.1 Coarse inpainting network structure

用Igt代表原始圖像，表示破損圖片，M為隨機生成的自由掩模（缺失部分為1，背景為0），粗修復網絡Gc生成的修復結果為

1.2 邊緣修復網絡

利用canny 算子對粗修復網絡Gc輸出的結果進行邊緣提取得到Bcanny，將Bcanny和自由掩模M輸入到邊緣修復網絡Ge中。

邊緣修復網絡由13個普通卷積層、4個Res2net層和4個自注意力機制層組成［14］，其中普通卷積層的結構與粗修復網絡相同。Res2net層［15-16］以分層的方式表示多尺度特征，輸出包含不同感受野大小的組合，該組合結構擴大感受野大小的同時，有效解決網格偽影現象；而自注意力機制通過自適應調節目標特征與周圍特征相關性權重的方式加強特征之間的聯系，以保證前景和背景的一致性。邊緣修復網絡結構見表2 所示。

表2 邊緣修復網絡結構Tab.2 Edge inpainting network structure

邊緣修復網絡Ge輸出邊緣預測結果為

1.3 精修復網絡

精修復網絡結構基于U-net 架構［17］，由13 個普通卷積層、4 個Res2net 層、4 個自注意力機制層組成，通過跳躍連接將編碼器特征直接傳輸到解碼器中。其中普通卷積層與粗修復網絡中的結構相同，Res2net層、自注意力機制層與邊緣修復網絡中的結構相同；增加的跳躍連接結構將一些低維特征直接傳遞到后面的卷積層中，減少了特征損失。精修復網絡結構見表3 所示。

表3 精修復網絡結構Tab.3 Refinement inpainting network structure

將粗修復結果ICpre、邊緣修復結果Bpre和自由掩模M共同輸入到精修復網絡中。精修復網絡Gr的輸入分別為

1.4 損失函數

粗修復網絡Gc、邊緣修復網絡Ge和精修復網絡Gr的損失函數分別為

聯合損失函數定義為

鑒別器將生成的圖像以及原圖作為輸入，并判斷輸入的生成圖像是真是假。通過最大化鑒別器對抗損失訓練網絡，其中鑒別器D對抗損失定義為

2 實驗與分析

實驗配置為：64 位Windows 10 操作系統，Nvidia GeForce RTX 2080Ti，實驗框架采用TensorFlow深度學習框架，編程語言使用python3.6。本文采用Celeba-HQ人臉數據集進行訓練和測試，訓練集包含20 000張256*256大小的人臉圖像，測試集包含1 000張人臉圖像。在訓練階段，本文算法的訓練時間為62 h。在測試階段，共耗時30 min 12 s 完成測試，平均每張圖像需耗時1.812 s 完成修復。

為了驗證本文算法的有效性，將本文算法與PatchMatch 算 法［2］、Deepfill-v1 算 法［8］、Edge-Connect 算法［9］和CTSDG 算法［10］進行對比實驗，以主觀視覺對比和客觀指標分析兩種評價方法進行實驗對比分析。

2.1 主觀評價

主觀實驗對比如圖2 所示。其中第1，2行表示破損程度為[10%,20%)的實驗對比圖，第3，4 行表示破損程度為[20%,30%)的實驗對比圖，第5，6 行表示破損程度為[30%,40%)的實驗對比圖，第7，8 行表示破損程度為[40%,50%)的實驗對比圖。

圖2 Celeba-HQ測試集實驗結果Fig.2 Celeba-HQ test set experimental results

圖2 中從左到右每一列分別表示原始破損圖片，PatchMatch 算法、Deepfill-v1 算法、Edge-Connect 算法、CTSDG 算法，本文算法修復后的圖片以及原始圖像。

從修復對比圖中第2 列可以看出，Patch-Match 算法在處理小規模缺失圖像時，具有良好的性能表現，但隨著破損區域規模的增大，該算法會產生扭曲的結構和大面積的偽影，原因在于該算法僅能利用周圍已知區域來填充未知區域，當缺失部分較大時，存在的已知信息不足以修復完整的圖像。從修復對比圖中第3 列可以看出，Deepfill-v1 算法修復區域出現結構扭曲的現象，原因在于Deepfill-v1 算法只關注紋理修復，沒有考慮結構的問題。從修復對比圖中第4 列第3，4 行可以看出，修復結果產生了模糊的眼眶結構，原因在于Edge-Connect 算法會生成混合的邊緣，通過使用邊緣結構先驗可能會導致錯誤的紋理結構。從修復對比圖中的第4 列第7，8 行可以看出，CTSDG 算法修復結果中臉頰部分明顯存在色彩鮮艷度缺失的問題，原因在于CTSDG 算法未注重缺失部分的色彩修復。相比于PatchMatch算法、Deepfill-v1 算法、Edge-Connect 算法和CTSDG 算法，本文算法得到了更好的圖像細節與邊緣，更接近于真實圖像。

2.2 客觀評價

本文使用峰值信噪比（Peak Signal to Noise Ratio，PSNR）和結構相似性（Structural Similarity，SSIM）定量評估5 種模型的修復結果。PSNR值越大，代表圖像的失真越少；SSIM 指標值越大，代表和原始圖像的差距越小，即修復結果圖像質量越好。在相同破損程度的情況下，本文提出的修復算法的性能優于其他 4 種圖像修復算法，如表4 所示。

表4 各算法在Celeba-HQ測試集性能指標Tab.4 Celeba-HQ test set indicators of every algorithm

2.3 消融實驗

為了說明本文所提網絡各模塊的有效性和必要性，對其進行消融實驗，主要包括有無Res2net模塊對比實驗和有無自注意力機制對比實驗。隨機選取Celeba-HQ 數據集中的兩幅圖進行消融實驗對比，并進行主觀與客觀指標評價。

圖3 為消融實驗的主觀實驗結果，如圖3（b）中所示，在缺少Res2net 模塊的情況下，恢復的人臉圖像紋理、細節特征不清晰；由圖3（c）可知，缺少自注意力機制將導致修復區域與已知區域缺乏一致性，出現前景與背景不融洽的現象。

圖3 消融實現主觀實驗結果Fig.3 Subjective results of ablation experiments

表5 數據表明本文算法在缺少Res2net 模塊情況下，PSNR 指標下降2.94%，SSIM 指標下降2.45%；在缺少自注意力機制情況下，PSNR指標下降3.32%，SSIM 指標下降1.79%。由此證明算法中加入Res2net 模塊和自注意力機制會使修復圖像的質量更好。

表5 消融實驗客觀指標對比表Tab.5 Ablation experiment objective index comparison table

3 結束語

針對人臉圖像的特征復雜多樣，細節和結構特征難以恢復等問題，提出了一種基于上下文特征提取的邊緣生成三階段的圖像修復算法。首先，將待修復圖像輸入到粗修復網絡中，對圖像缺損部分進行初步修復；然后，將初修復結果所提供的邊緣結構作為邊緣修復網絡的輸入，完成邊緣結構的細節重建；最后，將初修復結果和重建的邊緣結構一起輸入到精修復網絡，共同約束圖像的精修復過程，并在邊緣修復網絡和精修復網絡中加入Res2net 模塊、自注意力機制，增強了網絡對于有限特征的提取能力，改善了圖像目標區域與周圍區域邊界不連貫的問題。通過與4 種現有的修復方法在主觀、客觀方面的實驗對比分析，本文所提算法修復的人臉圖像，在SSIM 和PSNR 性能指標上優于現有算法，且在邊緣細節的恢復中有著更好的視覺效果。