自適應非局部3維全變分彩色圖像去噪

李瀟瑤，王煉紅，周怡聰，章兢

1.湖南大學電氣與信息工程學院，長沙 410082； 2.澳門大學電腦與資訊科學系，澳門 999078

0 引 言

圖像去噪的目的是在消除噪聲的同時最大程度地保留圖像細節信息。圖像在采集、傳輸和存儲過程中經常受到噪聲污染，導致圖像質量降低，甚至影響圖像增強(李健 等，2021)、識別(賀敏雪 等，2021)、分類(尹紅 等，2019)和分割(江宗康 等，2020)等后續處理工作。因此，圖像去噪是一項非常重要的圖像預處理工作。

濾除高斯噪聲，常見的空間域算法是基于變分法的去噪模型，可以通過最小化能量函數達到平滑圖像的目的。Rudin等人(1992)提出一種非線性濾波算法，即全變分算法(total variation，TV)，可以通過減小噪聲圖像的絕對梯度的積分來濾除噪聲。Goldstein和Osher(2009)利用分裂Bregman快速算法提出了各向異性全變分和各項同性全變分。Adam和Paramesran(2019)為了更好地平衡消除階梯效應和保留邊緣信息之間的關系，提出一種結合重疊群稀疏和混合非凸高階全變分模型(hybrid non-convex higher order TV with overlapping group sparsity，HNHOTV-OGS)。Parisott等人(2020)設計了一種高階方向性全變分(total direction variation，TDV)，在高階梯度中加入各項異性方向信息。然而，由于全變分完全依賴于圖像的局部特征，在邊緣部分或梯度較大處容易受到噪聲干擾而丟失細節信息，從而產生階梯效應。

針對局部濾波這一缺點，Buades等人(2005)提出了非局部均值算法(non-local means，NLM)，主要思想是將圖像塊作為一個處理單元，計算中心圖像塊與所有鄰域圖像塊之間的相似性權重，最后得到的去噪圖像塊即鄰域圖像塊的加權平均值。在NLM算法取得顯著成效后，人們對基于圖像塊的非局部去噪算法進行改進。例如，將全變分與非局部相似性相結合，Gilboa和Osher(2007)提出了非局部全變分(non-local total variation，NLTV)，Liu等人(2014)設計了非局部廣義相對全變分(non-local version of the generalized relative TV，NLGRTV)，Li等人(2017)設計了正則化非局部全變分(regularized non-local total variation，RNLTV)，Wang等人(2019)提出了基于結構相似性的非局部全變分。不同于局部全變分模型僅通過圖像像素灰度值的變化來除噪，這類非局部全變分算法利用了鄰域內圖像塊結構的相似性，可以更好地保留圖像的細節信息。

值得注意的是，現有許多去噪算法原本是針對灰度圖像提出的，在處理彩色圖像時只是簡單地對3個顏色分量進行單獨去噪。此外，大部分去噪算法忽略了真實噪聲在圖像不同區域內的分布差異，而是簡單假定整幅圖像的噪聲強度是均勻的，并設置同樣的參數，導致這些算法在每個顏色分量和每個圖像塊上，甚至每次迭代中的去噪強度都是一樣的，從而造成過平滑和欠平滑共存現象。

為了解決以上問題，本文提出一種自適應非局部3維全變分(adaptive non-local 3D total variation，ANL3DTV)去噪模型，利用一種非局部3維全變分正則項來捕獲圖像塊內和塊間的相關性信息，同時引入一個自適應權重矩陣，根據每次迭代后去噪圖像中殘留噪聲的特征，調整算法在不同顏色分量和不同圖像塊上的去噪強度。本文從數學上對ANL3DTV模型進行推導求解，分析該模型的收斂性，最后通過仿真去噪實驗驗證了算法的有效性。

1 原理與方法

1.1 非局部均值算法

(1)

(2)

1.2 全變分模型

全變分去噪模型(Rudin等，1992)可以表示為

(3)

(4)

(5)

1.3 非局部全變分模型

已知噪聲圖像Y∈RM×N，即Y是大小為M×N的實數矩陣，非局部全變分的去噪模型可以表示(Gilboa和Osher，2009；Lou等，2010)為

(6)

(7)

(8)

(9)

式中，xi和xj分別表示X的第i個和第j個像素值，Ω={1,2,…,M}×{1,2,…,N}。

2 本文去噪算法

2.1 去噪模型

ANL3DTV算法的主要思想是通過計算彩色圖像塊內的局部梯度和圖像塊間的非局部梯度，并利用不同圖像塊和顏色分量上的噪聲強度差異，最終實現自適應去噪。ANL3DTV去噪算法流程如圖1所示，具體如下：

1)將給定的噪聲圖像Y分成K個相互重疊的圖像塊，每個圖像塊大小為p×p×3，然后依次以每個圖像塊為中心圖像塊，在對應的搜索窗內找到前m個與中心圖像塊最相似的鄰域圖像塊，并構成圖像塊組。

2)將圖像塊組中的每個彩色圖像塊拉直成長度為3p2列向量，得到一個2維矩陣Yi∈R3p2×m。

3)對Yi進行去噪，得到去噪后的2維矩陣Xi∈R3p2×m。

4)將所有去噪后的Xi返回至原始位置，并對重疊區域進行加權平均，得到最終的去噪圖像X。

步驟3)中，對Yi進行去噪的ANL3DTV算法的去噪模型為

(10)

wij=[wij,RIp2×1;wij,GIp2×1;wij,BIp2×1]

(11)

(12)

(13)

式中，yij=[yij,R,yij,G,yij,B]、xij=[xij,R,xij,G,xij,B]和wij分別為Yi、Xi和Wi的第j個列向量，yij,c,xij,c,Ip2×1∈Rp2×1，Ip2×1是一個全1列向量，[σR,σG,σB]是彩色圖像的3個顏色分量上的噪聲強度，這里為噪聲標準差。

圖1 ANL3DTV去噪算法流程圖Fig.1 The flowchart of color image denoising using ANL3DTV

2.2 模型求解

為了求解ANL3DTV去噪模型，引入輔助變量H，得到式(10)的增廣拉格朗日函數，具體為

(14)

式中

(15)

式中，Φ是增廣拉格朗日乘子，β是懲罰因子。然后，利用交替方向乘子法求解式(12)，即先優化一個變量，同時固定其他變量，交替進行，直至收斂。初始化相關變量，第t+1次迭代計算過程如下：

1)求解Xi。

關于Xi的優化模型為

(16)

(17)

2)求解H。

關于H的優化模型為

(18)

計算為

(19)

式中，Sα(b)=sign(b)·max(|b|-α,0),sign為符號函數。

3)求解Φ。

(20)

4)求解β。

β(t+1)=τβ(t)

(21)

2.3 收斂性分析

(22)

證明 首先，利用式(18)和式(19)得到

(23)

所以，{Φ(t)}是有上界的，從而可以推出{Φ(t+1)-Φ(t)}也是有上界的。

因為Θ(t+1)是函數(Θ;Φ(t),β(t))的全局最優解，所以有(Θ(t+1);Φ(t),β(t))≤(Θ(t);Φ(t),β(t))。

令a為序列{Φ(t+1)-Φ(t)}的上界，可得

(24)

然后，利用強凸函數的定義和性質(Boyd和Vandenberghe，2013)可得，存在ai>0(i=1,2)使以下不等式成立。即

(25)

由于(Θ;Φ,β)≥0，并且序列{Φ(t)}是有上界的，可得

(26)

(27)

3 實驗結果與分析

3.1 實驗設置

為了測試ANL3DTV算法的去噪效果，與TV、TDV、NLTV、RNLTV、NLGRTV和HNHOTV-OGS等算法進行對比。軟件平臺采用MATLAB R2016b，硬件平臺采用Intel Core (TM) i7-7700U CPU處理器，16 GB內存，Windows 10操作系統。測試數據為從TID2013(tampere image database 2013)數據庫(Ponomarenko等，2013)和一些常用的測試圖像(例如Lena、Peppers、Baboon等)中隨機選取的20幅尺寸為341 × 256像素和256 × 256像素的彩色圖像，并用兩種方式給這些圖像添加高斯噪聲。第1種噪聲情況是給整幅圖像添加同一強度的高斯噪聲，σ為10、30和50；第2種噪聲情況是給圖像的3個顏色通道添加不一樣強度的高斯噪聲，[σR,σG,σB]為[5, 15, 10]、[40, 50, 30]、[5, 40, 15]和[40, 5, 25]。定量評價指標采用峰值信噪比(peak signal-to-noise ratio，PSNR)和結構相似性(structural similarity，SSIM)。ANL3DTV算法中圖像塊邊長p為7，相似塊數量m為60，參數τ為1.5。對比算法按相關文獻進行參數設置。

3.2 實驗結果

表1列出了第1種噪聲情況下ANL3DTV和對比算法在測試數據集上的平均PSNR和平均SSIM結果。由表1可知，當σ為10、30和50時，ANL3DTV的PSNR分別為32.33 dB、26.92 dB和24.57 dB，SSIM分別為92.99%、81.68%和73.57%。ANL3DTV在3種噪聲強度下的平均PSNR和平均SSIM分別比TV高出1.22 dB和3.45%，比TDV高出0.40 dB和0.92%，比NLTV高出0.33 dB和0.95%，比RNLTV高出0.61 dB和1.14%，比NLGRTV高出1.06 dB和2.39%，比HNHOTV-OGS高出0.16 dB和0.12%。

表1 第1種噪聲情況下的平均PSNR和平均SSIMTable 1 The average PSNR and average SSIM in the first noise case

表2列出了第2種噪聲情況下ANL3DTV和對比算法在測試數據集上的平均PSNR和平均SSIM結果。由表2可知，當[σR,σG,σB]為[5, 15, 10]、[40, 50, 30]、[5, 40, 15]和[40, 5, 25]時，ANL3DTV的PSNR結果分別為31.62 dB、24.49 dB、27.47 dB和26.81 dB，SSIM分別為92.88%、73.02%、85.94% 和81.00%。ANL3DTVw為式(10)中的保真項內去掉權重矩陣Wi時得到的算法?？梢钥闯?，添加權重矩陣Wi后，ANL3DTV的平均PSNR和平均SSIM分別比ANL3DTVw提升了0.89 dB和3.01%。ANL3DTV在4種噪聲情況下的平均PSNR和平均SSIM結果分別比TV高出1.32 dB和3.02%，比TDV高出1.76 dB和6.13%，比NLTV高出0.29 dB和0.19%,比HNHOTV-OGS高出0.55 dB和0.71%。

表2 第2種噪聲情況下的平均PSNR和平均SSIMTable 2 The average PSNR and average SSIM in the second noise case

圖2展示了噪聲強度為σ=50時ANL3DTV與其他對比算法的去噪視覺效果。從放大的細節圖可以看出，TV、TDV、RNLTV和NLGRTV過度平滑了圖像的結構，尤其是NLGRTV，幾乎完全丟失了百葉窗的結構信息。雖然NLTV和HNHOTV-OGS保留了相對較多的細節信息，但是NLTV引入了大量明顯的偽影，HNHOTV-OGS也受到強噪聲的影響，誤將噪聲當做有用的邊緣信息保留了下來。相比之下，ANL3DTV僅丟失了很少的細節，而且更有效地濾除了噪聲。

圖2 噪聲強度σ=50時的去噪圖像Fig.2 The denoised results when σ=50((a)clean image；(b) TV；(c) TDV；(d) HNHOTV-OGS；(e) RNLTV；(f) NLGRTV；(g) NLTV；(h) ANL3DTV(ours))

圖3和圖4分別展示了噪聲強度[σR,σG,σB]為[5, 15, 10]和[40, 5, 25]時ANL3DTV與對比算法的去噪視覺效果?？梢钥闯?，TV、TDV、HNHOTV-OGS和NLTV丟失了較多的圖像細節。例如水面上的波紋、白墻上的文字和屋頂的瓦片等。在圖4(a)中，可以看到黃色墻面上有3條很細的電線，在ANL3DTV的去噪圖像中還能隱約看出，而在對比算法的去噪圖像中均完全消失。

圖3 噪聲強度[σR, σG, σB]=[5, 15, 10]時的去噪圖像Fig.3 The denoised results when [σR, σG, σB]=[5, 15, 10]((a) clean image；(b) TV；(c) TDV；(d) HNHOTV-OGS；(e) NLTV；(f) ANL3DTV(ours))

圖4 噪聲強度[σR, σG, σB]=[40, 5, 25]時的去噪圖像Fig.4 The denoised results when [σR, σG, σB]=[40, 5, 25]((a) clean image；(b) TV；(c) TDV；(d) HNHOTV-OGS；(e) NLTV；(f) ANL3DTV(ours))

圖5 加噪前后圖像的梯度直方圖Fig.5 Gradient histograms of clean and noisy images((a) σ= 10；(b) [σR, σG, σB]=[5, 40, 15])

圖6顯示了噪聲強度σ=10和σ=[5, 40, 15]時NLTV、HNHOTV-OGS和ANL3DTV等3種算法獲得的去噪圖像的梯度分布圖?？梢钥闯?，隨著噪聲強度σ的增加，NLTV和HNHOTV-OGS過度估計接近零梯度的像素數目，丟失了大量邊緣信息。尤其在[σR,σG,σB]=[5, 40, 15]時，NLTV和HNHOTV-OGS的梯度分布曲線明顯向左偏移。相比之下，ANL3DTV在兩種噪聲強度下的梯度分布都更接近未加噪圖像。實驗表明，ANL3DTV在保持圖像紋理方面表現更佳，并且對噪聲更魯棒。

圖6 去噪圖像的梯度直方圖Fig.6 Gradient histograms of denoised images((a) σ=10；(b) [σR, σG, σB]=[5, 40, 15])

3.3 模型分析

ANL3DTV中需要調試的參數為正則化參數λ和懲罰因子β。圖7顯示了噪聲強度σ= 50時不同參數值對去噪后的PSNR和SSIM的影響。由圖7可知，當λ∈(0.07, 0.1]，β∈(0.07, 0.1]時，ANL3DTV得到最優的PSNR和SSIM值。對于其他噪聲強度，使用類似方法選擇得到參數設置。在第1種噪聲情況下，當σ為10、30和50時，λ的取值范圍分別為(0.01, 0.07]、(0.04, 0.1]和(0.07, 0.1]，β的取值范圍分別為(0.5, 1]、(0.07, 0.1]和(0.07, 0.1]。在第2種噪聲情況下，當[σR,σG,σB]為[5, 15, 10]、[40, 50, 30]、[5, 40, 15]和[40, 5, 25]時，λ的取值范圍分別為(0.01, 0.07]、(0.001, 0.007]、(0.004, 0.007]和(0.007, 0.01]，β的取值范圍分別為(0.01, 0.04]、(0.07, 0.1]、(0.04, 0.1]和(0.04, 0.1]。

圖7 不同參數對ANL3DTV的PSNR和SSIM值的影響Fig.7 PSNR and SSIM results of ANL3DTV with different parameters((a) λ；(b) β)

圖8展示了噪聲強度σ=50時，ANL3DTV的PSNR隨迭代次數t增多的變化曲線?？梢钥闯?，當t>40時，PSNR趨于穩定。實驗結果表明，ANL3DTV具有良好的收斂性。

圖8 ANL3DTV的PSNR隨迭代次數t增加的變化情況Fig.8 PSNR of ANL3DTV versus iteration number t

ANL3DTV和對比算法在341×256像素圖像上的平均運行時間如表3所示?？梢钥闯?，TV所需時間最短，RNLTV和ANL3DTV所需時間相對較長。主要是因為ANL3DTV需要為每一個圖像塊搜索相應的非局部相似圖像塊，并計算3維全變分，而TV只需處理像素的局部梯度信息。

4 結 論

針對現有許多彩色圖像去噪算法未充分利用彩色圖像的非局部和局部相似性信息，并且忽略真實噪聲在不同圖像塊和顏色分量間的分布差異，提出了一種自適應非局部3維全變分(ANL3DTV)去噪算法。ANL3DTV利用一個非局部3維全變分正則項捕獲彩色圖像塊內和塊間的梯度信息，同時引入一個自適應權重矩陣，可以根據噪聲強度的變化來調節算法在不同圖像塊和不同顏色分量上的去噪強度。實驗從定量評價和視覺效果兩個方面比較ANL3DTV與6個基于全變分的算法在不同高斯噪聲強度下的去噪性能。結果表明，相較于對比算法，ANL3DTV在PSNR和SSIM指標上分別增加了0.16-1.76 dB和0.12%-6.13%。同時，ANL3DTV提升了去噪視覺效果，對噪聲變化具有更強的魯棒性。

表3 不同算法的運行時間Table 3 The run time of different methods

由于ANL3DTV在搜索相似性圖像塊時耗費時間相對較長，因此不利于算法拓展至實時應用。另外，雖然ANL3DTV在去除高斯噪聲上取得了令人滿意的結果，但對于非高斯噪聲的處理存在局限性。在后續工作中，針對彩色圖像混合噪聲的分布特點，將考慮彩色圖像空間的幾何結構特征，結合一些較先進的圖像處理技術，對相似性測量方式和去噪模型進行優化，進一步提升算法的綜合性能。