基于即插即用框架的脈沖噪聲圖像復原算法

梅金金

（阜陽師范大學 數學與統計學院，安徽 阜陽 236037）

引言

圖像復原是圖像處理研究中不可或缺的一個步驟，被廣泛地應用于計算機視覺處理、壓縮感知、醫學成像和高光譜遙感成像等諸多領域。圖像在采集和傳輸過程中經常會出現一定的模糊、失真以及受到各類噪聲的污染，這就導致圖像的清晰度受到嚴重的影響。近年來，很多學者提出了經典的圖像復原算法。比如，Tikhonov 正則化模型可以有效地去除圖片的噪聲，但是隨著去噪效果逐漸增強，會導致圖片的邊緣信息越來越模糊[1]。為了在去除噪聲的同時保留圖像的邊緣信息，基于全變分（Total Variation,簡稱TV）的ROF模型引起了廣大學者的關注，但復原圖像中出現一定程度的階梯效應[2]。為抑制去噪圖像中的階梯效應，學者在TV 正則的基礎上進行改進，陸續提出了高階全變分（Higher Degree Total Variation，簡稱HOTV）[3]、廣義全變分（Total Generalized Variation，簡稱TGV）[4]、非局部全變分(Nonlocal Total Variation，NLTV)[5]、分數階全變分（Fractional Order Total Variation，簡稱FOTV）[6]與交疊組合稀疏高階全變分（Overlapping Group Sparsity Total Variation，簡稱OGSTV）[7]等。這些正則化方法在一定程度上抑制了TV 所引起的階梯效應，但圖像復原算法還有進一步提升的空間。Kostadin 等人根據圖像塊之間的相似性，結合空域思想和轉換變換的方法提出BM3D 算法，以此來提升圖像的去噪復原效果[8]。Gu 等人提出的加權核范數最小化方法（簡稱WNNM），結合矩陣奇異值稀疏性與核范數權重，有效利用測試圖像的相似結構，但算法運行需要耗費大量的時間[9]。Zhang 等人結合卷積神經網絡方法提出將噪聲圖作為網絡輸入的FFDNet 算法，其訓練時間短、迭代次數小，而且能處理不同噪聲水平及空間變化的噪聲[10]。

因此，根據以上各類去噪算法的優勢，我們提出一個新的基于Lp 保真項的數學優化模型[11]，能夠保證在去除脈沖噪聲的同時更多地保留圖像的細節信息。同時，結合即插即用算法框架的特點[12,13]，利用變量分離算法將目標函數解耦為保真項與正則項，為利用基于FFDNet 去噪器提供了可能性。然后，應用交替方向迭代算法求解所提出的數學模型，并對算法進行加速處理。數值上，與L1 保真項的模型算法相比，改進方法獲得的復原圖像視覺效果更好，在量化指標上也具有一定的優勢。

1 脈沖噪聲

針對脈沖噪聲下的圖像復原問題，圖像退化模型可以表示為

其中f∈Rmn為模糊圖像，u∈Rmn為原始圖像，K為模糊算子，N(·)為脈沖噪聲。這類噪聲包含椒鹽噪聲和隨機值噪聲，具體如表1 所示。

表1 脈沖噪聲類型

其中fmin，fmax表示退化圖像f所有像素值的最小值與最大值，θ是均值等于0 服從正態分布的隨機變量。

2 模型建立

近年來，學者們已經開始廣泛關注脈沖噪聲下的圖像復原問題。研究表明，L2 范數下的保真項會使得復原圖像中出現大量的偽同心圓，不適用于消除脈沖噪聲。L1 范數下的保真項符合脈沖噪聲的統計學特性，可以很好地抑制脈沖噪聲。因此，在文獻[14]中，Nikolova 等人結合TV正則項和L1 數據保真項提出一種新的凸優化模型，其離散形式表示如下：

其中‖ ‖·1表示向量1 范數，?表示梯度算子，‖ ?u‖1表示TV 的離散形式，μ＞0 表示正則參數，起到調節TV 正則項與L1 數據保真項的作用。同時，我們把上面的模型簡稱為L1TV 模型。在文獻[15]中，利用Lp 非凸保真項解決稀疏信號復原與矩陣補全問題，驗證Lp 保真項比L1 保真項的復原結果更好。

因此，為了利用圖像的相似性和神經網絡方法，提高圖像的復原效果，我們提出了一種新的去除脈沖噪聲的數學優化模型：

其中Re(u)表示隱式的去噪器，可以應用KSVD[16]，non-local means[17,18]，BM3D[8]，WNNM[9]，FFDNet[10]等去噪器。

3 模型求解

根據非凸問題下ADMM 算法[19]的收斂性質和即插即用算法框架[12,13]的優點，我們考慮利用該算法求解模型（3）。首先，引入兩個新的變量v,z∈Rmn，將（3）式轉化為如下離散約束非凸模型：

令λ1為約束條件v=u的Lagrange 乘子，λ2為約束條件z=Ku-f的Lagrange 乘子，則可得到共增廣的Lagrange 函數：

其中β1,β2是大于0 的罰參數。因此，求解的數學模型（3）式的ADMM 算法歸納總結如下：

為計算v-子問題，我們考慮利用基于學習的隱式去噪器，具體計算公式表示如下：

其中D(·)為去噪器算子。為了深度提取圖像的特征信息，同時考慮到運行時間和計算的復雜度，我們在數值實驗中僅采用BM3D[8]和FFDNet算法[10]進行去噪處理。

同時，對于z-子問題，令tk=(Kuk-f)-，則上述問題可寫為

上述問題是一個Lp 范數優化問題，它的極小值點可以利用Lp 范數的近端算子[15]表示，具體計算公式為：

針對u-子問題，我們求解它的Euler-Lagrange 方程，即

經過簡單的整理后，上述方程可轉化為

在周期邊界條件下，考慮利用快速傅里葉變換求解，即：

其中F,F-1分別表示快速傅里葉變換與逆傅里葉變換。

為進一步加快算法的收斂速度，我們考慮利用FISTA 算法[20,21]對z-子問題加速。結合上述三個子問題的計算，加速的PnP-Lp 算法可以詳細整理如下：

4 數值實驗

本文通過一些數值實驗展示所提出的數學模型與算法在去除脈沖噪聲的有效性。以灰度圖像Boat 為測試圖像（如圖1 所示），像素值均映射到數值范圍[0,1]。同時，為了驗證所提出模型去除脈沖噪聲的有效性，我們將基于Lp 保真項的算法PnPBM3D-lp、PnPFFDNet-lp 與基于L1 保真項的算法PnPBM3D-l1、PnPFFDNet-l1 做對比。數值實驗是在Matlab R2021a 的編程環境、CPU2.80 GHz Inter Core 處理器和內存為8GB 的臺式計算機。

圖1 測試圖像

在實驗過程中，為客觀評估復原圖像的質量，我們考慮如下兩個度量標準：峰值信噪比（Peak Signal-to-Noise Ratio，簡稱PSNR）和結構相似度（Structural Similarity Index Measurement，簡 稱SSIM）[22]。峰值信噪比的計算公式表示如下：

其中μu,σu是原始圖像u的均值和標準差，μuˉ,σuˉ是復原圖像-u的均值和標準差，c1,c2是大于0 的常數，σu-u是u與uˉ的協方差。當結構相似度越趨向等于1，說明復原圖像與原始圖越相似。

對于算法2，設置參數在0 到1 范圍之內，參數μ，β1，β2的選擇對復原結果有著很大的影響。為獲得更好的圖像復原結果，獲得最大的PSNR 值，手動調整參數μ，β1，β2。對于z-子問題，涉及到計算變量的牛頓內迭代算法，將其迭代次數設為5。對于算法的收斂性，以30%的椒鹽噪聲、高斯模糊下的退化圖像為實驗對象，給出這四個算法的PSNR 值與復原結果的相對誤差隨著迭代次數變化的曲線圖，其中復原圖像的相對誤差計算公式表示如下：

根據圖2 所示，這四種算法的PSNR 值整體上呈現遞增趨勢，在迭代次數達到30 次時逐漸趨向于平緩。再考慮到算法所需要的CPU 時間，所有算法的迭代次數均設為30。同時，隨著算法迭代次數的增加，復原圖像的相對誤差逐漸降低直至趨于穩定，這說明算法在數值實驗上是收斂的。

圖2 四種算法的PSNR 與ReErr 曲線圖

在數值實驗中，灰度圖“Boat”是被高斯核模糊，同時受到椒鹽噪聲或隨機值噪聲的污染，其中高斯模糊核的標準差為5，大小為7×7，脈沖噪聲的水平分別為30%，40%與50%。表2 和表3 分別是椒鹽噪聲與隨機值噪聲下四種算法得到的復原圖像的PSNR 值與SSIM 值。通過對比數值結果，與L1 模型相比，本文提出的基于Lp 保真項的模型獲得更高的PSNR 值與SSIM 值。同時，因為BM3D 或FFDNet 去噪器的作用，圖像復原的數值結果提升得非常明顯。

表2 標準差為5、大小為7×7 的高斯模糊核椒鹽噪聲下的復原結果

表3 標準差為5、大小為7×7 的高斯模糊核隨機值噪聲下的復原結果

為了更好地呈現復原圖像的效果，圖3 和圖4給出了椒鹽噪聲與隨機值噪聲下的噪聲圖像與四種算法獲得的復原圖像。通過觀察，我們發現基于Lp 保真項的算法在視覺效果上顯得更清晰，能夠盡可能多地保留圖像的紋理和細節，同時很好地去除脈沖噪聲。

圖3 標準差為5、大小為7×7 的高斯模糊核椒鹽噪聲下的復原圖像

圖4 標準差為5、大小為7×7 的高斯模糊核隨機值噪聲下的復原圖像

5 結束語

本文以基于學習的去噪器為正則項，提出了基于Lp 保真項的脈沖噪聲模型。在數值計算上，結合即插即用框架，利用ADMM 算法將優化模型分解為三個子問題。針對子問題，依次應用FFDNet 算法、Lp 近端加速算法與快速傅里葉變換進行求解。經過數值實驗對比，與其他脈沖噪聲模型相比，所提出的模型獲得的PSNR 與SSIM 值都有一定程度的提升。所提出模型得到的復原圖像在視覺效果上更清晰，保留了圖像中大量的細節和紋理，且去噪效果顯著，有效提升了復原圖像的質量。但是，由于即插即用(PnP)框架與Lp 保真項的非凸性，所提出算法在理論上的收斂性還無法保證，這也是我們進一步討論和研究的問題。