基于生成對抗網絡的圖像真實噪聲去除算法

江巨浪，嚴華鋒，劉國明

（安慶師范大學 電子工程與智能制造學院，安徽 安慶 246133）

數字圖像的獲取或傳輸過程不可避免地受到噪聲干擾，從而影響圖像的視覺質量及圖像處理的后續任務。研究如何從受到噪聲干擾的圖像中恢復原始信息無疑具有重要意義[1]。圖像去噪方法通?？煞譃閮纱箢?，即基于圖像先驗的傳統去噪方法和基于深度學習的去噪方法。前者是基于噪聲的統計信息并通過設計濾波器來實現去噪，如中值濾波器、均值濾波器以及其眾多的改進算法。上述濾波器模型僅考慮噪聲統計特性，而忽視了圖像自身結構和卷積核的尺寸選擇對保留圖像特征的重要影響[2]。塊匹配三維濾波（Block-matching and 3D filter,BM3D）技術是一種有代表性的傳統圖像降噪算法[3]，在保留圖像細節特征上性能較好，但計算復雜度較高?；谏疃葘W習的去噪方法，一般是通過利用成對的訓練集訓練網絡，并學習噪聲圖像與去噪圖像間的映射關系以實現去噪[4]。近年來，基于深度卷積神經網絡的方法取得了較傳統方法更好的去噪效果。DnCNN（Denoising convolutional neural network）是一個經典的高斯噪聲去噪網絡模型，其通過引入殘差思想來提升網絡收斂速度并解決梯度消失的問題[5]。FFDNe（tFast and flexible denoising convolutional neural network）是一種快速與靈活的去噪網絡模型，其對于圖像的噪聲水平與空間復雜變化有著良好的適應性[6]?；趥鹘y濾波器和特征學習的去噪方法，大多數是以仿真噪聲為研究對象。自然圖像中的真實噪聲與仿真噪聲存在較大差異，因此基于仿真噪聲設計的網絡在去除真實噪聲上效果并不理想。為去除圖像真實噪聲，XU等先后提出了一個在加權核范數最小化框架下真實彩色圖像去噪的多通道優化模型（Multi-channel weighted nuclear norm minimization,MCWNNM）[7]，和基于三邊加權稀疏編碼方案的真實圖像去噪算法（Trilateral weighted sparse coding,TWSC）[8]。然而，真實噪聲圖像與干凈圖像的配對訓練集難以獲取，使得針對真實噪聲去除的深度學習方法難以取得實效。GUO 等提出了卷積盲去噪網絡（Convolutional blind denoising network,CBDNet），其由噪聲估計和噪聲去除兩個子網絡組成，采用人工合成噪聲和真實噪聲的圖片進行聯合訓練，在一定程度上提高了網絡泛化能力[9]。蔡鑫鑫等提出了一種結構保持生成對抗網絡模型，能夠有效去除頻域光學相干斷層掃描（SD-OCT）中的散斑噪聲[10]。本文針對去除真實圖像噪聲的實際需要，提出了一種基于生成對抗網絡的圖像真實噪聲去除算法，以進一步提高算法去噪性能。該算法采用真實噪聲圖像訓練集，并利用博弈思想來訓練網絡模型。實驗結果表明，該算法去除真實圖像噪聲的性能要優于其他同類算法。

1 算法描述

本文算法將生成網絡Gα與判別器網絡Dα進行聯合訓練，網絡架構如圖1所示。生成器Gα將含噪圖像作為輸入，并輸出去噪圖像。判別器Dα以原始圖像和去噪圖像為輸入，而輸出是位于[0,1]的一個數值，用于表征去噪圖像與原始圖像之間的相似概率。將Gα與Dα聯合訓練可以在提高Gα去噪性能的同時，保留圖像細節，同時Gα能在與Dα的博弈中解決丟失高頻特征的問題。此外，本文還設計了一個增強網絡Gγ，其以Gα的輸出圖像作為輸入，可使生成的圖像有更高的去噪性能與視覺質量。

1.1 生成網絡

算法性能的優劣在較大程度上依賴于生成網絡設計[11]。本文利用U-net 和殘差密集塊（Residual dense block,RDB）來構建生成網絡，其結構如圖2 所示，其中，參數k、n和s分別表示卷積核的尺寸、濾波器個數以及步長。U-net是一種具有編/解碼的全卷積神經網絡，與普通的編/解碼結構相比，其能通過跳躍連接將提取到的特征圖進行拼接，從而保留像素級的細節信息[12]。RDB 是一種通過密集連接卷積層來提取豐富局部特征的網絡結構[13]。生成器網絡由結構相同的上下兩層卷積神經網絡所構成，有利于提取更豐富的圖像結構特征，而編/解碼器通過對稱卷積使得含噪圖像和去噪圖像的維度相同。RDB結構采用四個級聯方式，最后一層卷積核尺寸為1*1，另外三層的卷積核大小為3*3，卷積步長設置為1，在各卷積層后接ReLU激活函數。

圖2 生成網絡Gα的結構圖

1.2 判別網絡

判別器網絡Dα用于判別樣本是來自真實數據還是生成網絡，其通過將結果反饋給生成器以改善去噪性能[14]。判別器以生成器所生成的去噪圖像和原始圖像為輸入，而輸出為兩幅圖像的相似度。判別器網絡也是基于RDB設計的。RDB能夠自適應地保留低頻和高頻特征，有助于Dα判別原始圖像和生成圖像的相似度。判別器結構如圖3所示，采用4個RDBSN模塊級聯以充分提取圖像的細節特征，其中，RDBSN 模塊最后一層卷積核的尺寸為1*1，其他層卷積核尺寸為3*3，步長設置為2 以加快網絡速度。濾波器個數依次為64、128、256 和512。為了提高判別器穩定性，在每一個卷積層后通過SN（Spectral normalization）對網絡權值進行歸一化處理[15]。最后一層為sigmoid層，其輸出值越接近于1，則表明其生成的圖像與原始圖像的相似度越高。

圖3 判別網絡Dα的結構

1.3 增強網絡

增強網絡Gγ通過三級生成網絡Gα級聯結構來獲得更好的圖像特征信息融合，其通過跳躍連接加速了網絡收斂速度。當生成網絡Gα與判別器網絡Dα的聯合訓練結束后，可通過增強網絡Gγ以得到最終圖像去噪結果。Gγ是端到端的神經網絡，能夠進一步提升生成網絡Gα所輸出的去噪圖像質量。

圖4 增強網絡Gγ的結構

2 實驗結果與分析

采用包含真實噪聲的圖像數據集FMD和RENOIR作為訓練集。其中，FMD數據集包含240幅自然圖像[16]，RENOIR數據集包含220幅圖像[17]，所采用的圖像均具有豐富的紋理和邊緣特征。在訓練過程中，訓練集的圖像被隨機裁剪為512×512 大小，網絡的初始學習率為0.001，迭代次數上限設置為10 000，批處理大小為64，采用Adam 算法以更新梯度，并使用學習率衰減。實驗平臺是Windows10、GPU為NVIDIA GeForce RTX 3050 Ti，軟件環境是基于Python3.6、CUDA9.0和Pytorch1.0。分別使用SIDD 與DND 兩種真實圖像噪聲的公開數據集對所提算法的性能進行測試。SIDD 數據集是由PLOTZ等使用5種智能手機拍攝了多種場景在不同光照條件下的帶噪聲圖像集，并提供了部分對應的“無噪聲”真實影像[18]。DND數據集是TOBIAS等用不同傳感器尺寸的消費級相機所捕獲的50幅真實噪聲圖像集，并包含對應的參考圖像[19]。為了檢測本文算法的性能優勢，從近期相關文獻中選擇了適用于處理廣泛噪聲水平的FFDNet算法[6]，以及針對去除圖像真實噪聲的MC-WNNM[7]、TWSC[8]、CBDNet[9]三種典型算法作為對比，用于進行圖像去噪性能的比較與分析。

2.1 主觀評價

圖4（a）為選自DND 數據集的一幅含真實噪聲的原圖像，圖4（b～f）為不同算法的去噪效果。由于FFDNet 不是基于圖像真實噪聲訓練的去噪網絡，該算法的去噪效果相對較差，有明顯噪聲殘留且邊緣保持能力不佳。MCWNNM 與TWSC 兩種算法都是基于去除真實圖像噪聲而提出的。其中，由于MCWNNM依賴于圖像先驗知識且缺乏特征重建結構，圖4（c）在視覺上存在少量的噪聲遺留和圖像細節丟失。由于TWSC采用權值矩陣來表征真實噪聲和圖像先驗的統計量，故圖4（d）的去噪效果優于MCWNNM。CBDNet采用真實噪聲與干凈圖像配對來訓練卷積盲去噪網絡，使其對噪聲的去除能力有進一步提升，這體現在圖4（e）的去噪結果比前幾種算法有更少的噪聲殘留。觀察本文算法的去噪結果，可以看出圖4（f）對圖像真實噪聲的清除效果良好，能夠使圖像邊緣與細節信息得到有效恢復，明顯提高了圖像細節的可見性，處理后的圖像具有令人滿意的視覺質量。

圖4 圖像真實噪聲的去噪效果。（a）含噪聲原圖像；（b）FFDNet；（c）MCWNNM；（d）TWSC；（e）CBDNet；（f）本文算法

2.2 客觀評價

采用峰值信噪比（Peak signal to noise ratio,PSNR）和結構相似度（Structural similarity index measurement,SSIM）作為算法性能的評價指標。去噪測試圖像分別選用了DND數據集中50對真實噪聲圖像和參考圖像，以及SIDD數據集中160幅噪聲圖像與參考圖像。采用本文算法與對比算法分別處理以上兩個數據集，獲得的PSNR和SSIM性能指標平均值如表1所示。一般來說，PSNR值越大，表明噪聲抑制效果越好；SSIM 值越大，表明圖像的邊緣結構恢復效果越好。按照PSNR 與SSIM 的數值從小到大次序，對應算法依次為FFDNet、MC-WNNM、TWSC、CBDNet與本文算法。其中，在DND數據集的PSNR評價指標上，本文算法較其他四種算法和提高了13.73%、4.84%、3.32% 與2.94%，在SIDD 數據集的測試結果中分別提高了56.41%、50.16%、17.89% 和15.98%。在DND 數據集SSIM 評價指標上，本文算法較其他四種算法提高了12.77%、2.17%、1.40 和1.29%，在SIDD數據集中分別提高了50.34%、14.40%、8.03%和7.92%。結果表明，本文算法在兩項去噪性能參數上均明顯優于其他同類算法，這與圖4的主觀評價結論相吻合。

3 結論

針對真實圖像噪聲的去噪需要，本文提出了一種基于生成對抗網絡的圖像噪聲去除算法。該算法利用殘差密集塊來提取與融合圖像特征，可保留更多的圖像信息。通過生成網絡與判別網絡的聯合訓練以實現圖像去噪，最后使用增強網絡來進一步提升圖像質量。同時采用含真實噪聲的圖像以進行去噪測試實驗，并與FFDNet、MCWNNM、TWSC和CBDNet四種算法進行對比，結果表明本文算法用于去除圖像真實噪聲能夠獲得更高的PSNR和SSIM值，且輸出圖像有更高的視覺質量。