基于卷積神經網絡的多尺度特征融合去噪算法?

許 雪 郭業才 李 晨

（1.南京信息工程大學電子與信息工程學院 南京 210044）（2.無錫學院電子信息學院 無錫 214105）

1 引言

圖像去噪是計算機視覺中的一項重要工作，在圖像采集過程中，由于成像環境和設備的限制，噪聲常常是不可避免的。因此，去除噪聲是必不可少的一步，不僅對視覺質量，而且對其他計算機視覺任務也是如此。傳統的去噪方法有利用自然圖像的先驗信息進行圖像去噪［1～2］，應用優化算法迭代求解模型［3～4］也被眾多學者提出。然而，這些方法耗時較長，不能有效去除噪聲。隨著深度學習的興起，卷積神經網絡（CNN）被應用于圖像去噪任務，并取得了高質量的效果，比如DnCNN［5］、FFDNet［6］、IRCNN［7］等算法。另一方面，早期的研究噪聲假設是獨立、均勻分布的，加性高斯白噪聲（Additive White Gaussian Noise，AWGN）是一種常用的合成噪聲，人們現在意識到，噪聲以更復雜的形式呈現，它們具有空間變異和信道依賴性。因此，最近的一些工作在真實圖像去噪方面取得了進展，XU 等提出的GIDNet［8］提出一種外部先驗引導內部先驗學習的方法；Zhou 等提出的PD［9］去噪網絡，僅使用與合成像素無關的噪聲數據進行訓練，訓練出的模型可以適應真實噪聲；CBDNet［10］中作者根據圖像處理芯片ISP 的工作原理和異方差高斯噪聲提出了一種噪聲模型。

但仍有一些問題有待解決，部分網絡對真實噪聲進行去噪任務后，得到的圖像中仍有大量噪聲殘留，或者存在去噪后的圖像過于平滑，細節丟失嚴重等問題，依舊得不到較好的視覺效果。從以往的研究中發現，多尺度的特征提取和融合可以改善以上問題，所以本文提出一種基于卷積神經網絡的多尺度特征融合去噪算法，漸進式的訓練分層融合的特征，跨尺度的捕獲特征之間的聯系，還將具有空洞卷積的U-Net［11］加入每一個分層之中，擴大感受野，且不增加額外的參數，減少了圖像細節的丟失和不必要的計算成本。

2 網絡設計

通過對文獻［12］和文獻［13］的學習，本文提出的算法結構主要由密集殘差塊DCR 和具有空洞卷積的D-UNet 組成，算法結構如圖1 所示。噪聲圖像xi作為網絡輸入，去噪后的干凈圖像yi作為網絡的輸出，Conv卷積核大小為3×3，輸入噪聲圖像xi經過池化操作得到4 個大小不同的分層，分別是256×256、128×128、64×64 和32×32，表示為（a=1,2,3,4），為第1層的輸入，經過卷積層之后得到淺層特征（a=1,2,3,4），為第1 層的淺層特征，再依次經過DCR 塊與D-UNet 后得到第1 個分層特征，第1 個分層特征經過上采樣Upsampling后得到F1，表示為

圖1 本文算法結構圖

其中HDCR表示DCR 塊的復合函數操作，HD-UNet表示D-UNet的復合函數操作。

此時F1特征圖大小與第2 層的特征圖大小一樣，將F1融合到第2個分層中得到，這樣設計可以跨尺度的捕獲特征之間的聯系，充分利用先前的特征。

則第2個分層特征F2可以表示為

其中HDCR,2表示D-UNet 前面未被使用過得2 個DCR塊操作。

以此類推出F3，在第4 分層中，所有的DCR 塊操作結束之后，當前特征與進行第一次殘差學習得到特征F4，再與網絡輸入的噪聲圖像xi進行雙殘差學習得到最終的輸出結果yi。兩次殘差學習避免了梯度消失問題，兩次殘差學習之間的卷積層增強了第一次殘差學習后的特征。

2.1 DCR

DCR塊是密集連接殘差塊，在本文的算法中主要提取池化后每一分層的特征，每兩個卷積層組成一個DCR 塊，可充分提取層次空間特征，每一個特征圖之間密集連接起來，不僅保留了先前的特征還保存了局部密集特征，其中局部特征融合LFF可以減少特征數量，局部殘差學習LRL提高網絡表達能力和性能，DCR塊內部結構如圖2所示。

圖2 DCR塊內部結構

由圖2可知，Fi-1和Fi作為第i個DCR模塊的輸入和輸出，其中第i個DCR模塊的第m個卷積層的輸出可以表示為

其中，σ表示激活函數，Wi,m表示第m個卷積層的權重。

無需BN和池化，每兩個卷積層組成一個塊，再將前面各塊的輸出和當前塊的輸出連接起來一起作為下一個塊的輸入，其中每個卷積層后面只有一個PReLU，更有利于特征的保留，用局部融合特征融合前面的DCR 塊和當前DCR 塊中的卷積層，將第i-1 個DCR 的特征直接連接到第i個DCR 上，局部融合特征描述為

其中，M=6，Concat表示特征拼接層。

2.2 D-UNet

D-UNet 的輸入為各分層的上一個DCR 塊的輸出，D-UNet 具有4 層編碼結構、4 層解碼結構和兩個1×1 卷積層，來計算原始輸入與最后輸出的特征。每個編碼層具有兩個卷積核大小為3×3 的卷積層用來提取尺度特征，上一個編碼層經過2×2的池化層后，數通道數相應擴大2 倍，以減少從一層到另一層的信息丟失。如圖3 所示，第一個編碼層的通道數為32，第二個編碼層的通道數為64。在編碼器和解碼器之間的最小尺度中引入空洞卷積塊，在不改變分辨率的情況下進一步增加感受野。

圖3 D-UNet內部結構

每個解碼層具有兩個卷積層，與編碼器的卷積層一樣，卷積核大小為3×3。每兩個解碼層中間有一個上采樣因子為2 的卷積層，每次上采樣之后通道數相應縮小2 倍。如圖3 所示，第一個解碼層的通道數為256，第二個解碼層的通道數為128。為了進一步防止信息丟失，解碼層同時與對應特征圖大小一樣的編碼層相連接，也充分利用了先前的特征信息。最后通過1×1 層卷積得到DU-Net 的輸出，除了該層卷積之外，其他卷積層的激活函數均為LReLU，該激活函數在不引入大量額外參數的情況下增加了模型的靈活性。

多尺度信息對于圖像去噪任務非常重要。因此，網絡中經常采用下采樣操作。但是當空間分辨率太小時，圖像結構被破壞，信息丟失，不利于特征的重建。為了在不進一步降低空間分辨率的情況下增加感受野并捕獲多尺度信息，本文設置在編碼器和解碼器之間的最小尺度中引入空洞卷積塊。與空間金字塔池化［14］相反，空洞卷積塊使用具有不同膨脹率的幾個膨脹卷積，而不是下采樣。如圖4所示，它可以在不增加參數數量或不損壞結構的情況下擴大感受野。然后將不同感受野提取的特征進行融合，四個擴張率分別設置為1、2、3 和4。為了進一步簡化操作并減少運行時間，首先使用1×1卷積來壓縮特征通道。壓縮比設置為4。在融合設置中，采用1×1 卷積使輸出通道數與原始輸入特征的通道數大小相等，并在輸入和輸出特征之間采用局部殘差連接以防止信息阻塞。

圖4 Dilated Conv內部結構圖

本文采用l1損失函數，給定一批訓練圖像對的數量為N，即，目標是使經過網絡后的去噪圖像與原始干凈圖像更為接近，l1損失函數表示為

其中，xi是輸入的噪聲圖像，yi是原始干凈圖像，W表示所有參數的集合。

3 實驗結果與分析

3.1 數據集與參數設置

使用SIDD［15］數據集進行真實噪聲圖像去噪模型訓練，該數據集的訓練集包含200 對干凈圖像和噪聲圖像，將其隨意分割成256×256 的圖像塊，得到48000 對圖像用于網絡訓練，驗證集1280 張圖像?？偣策M行4000 次迭代，學習速率最初設置為10-4，2000 次迭代之后，每過500 次迭代將學習速率減半進行微調。采用β1=0.9，β2=0.999 的Adam［16］優化器對模型進行優化。在真實噪聲圖像數據集SIDD、DND［17］和NC12［18］進行測試。NC12 包括12 幅噪聲圖像，真實干凈的圖像無法獲取，本文只提供其去噪結果圖進行視覺比較。

該網絡在Python3.6，Pytorch［19］1.7.1 框架中實現，并用英偉達GeForce GTX 1080 Ti進行訓練。本文采用峰值信噪比PSNR（Peak Signal to Noise Ratio）和結構相似性SSIM（Structural Similarity）［20］對改進后算法的去噪結果進行分析。

3.2 實驗結果

為了驗證提出算法在真實噪聲圖像上的去噪效果，將其與BM3D［21］、FFDNet［6］、NC［18］、CBDNet［10］和PD［9］和AINDNet［22］卷積神經網絡去噪算法進行對比實驗，本文在SIDD、DND 和NC12 三個真實數據集上進行可視化結果對比，圖5、圖6 和圖7 分別為以上對比算法與本文提出算法的去噪結果圖。

圖5 在數據集DND上的去噪結果對比

圖6 在數據集SIDD上的去噪結果對比

圖7 在數據集NC12上的去噪結果對比

各個算法在DND 和SIDD 數據集上的去噪效果如圖5 和圖6 所示，BM3D、NC、CBDNet 和PD 算法去噪后的圖像中仍有或多或少的噪聲殘留。如圖7 所示，FFDNet 在SIDD 數據集上的表現過于平滑，細節丟失嚴重，AINDNet 在對噪聲進行處理時會腐蝕邊緣，產生偽影。而本文的算法可以有效地去除平滑區域的噪聲，保留清晰的細節。圖8 為智能手機拍攝的夜晚圖片，智能手機相比專業相機來說，在成像時會產生更多的噪聲，可以看出，BM3D與FFDNet 算法的結果圖中細節模糊，其他算法都有噪聲殘留，相比較而言，本文算法的去噪效果依舊優于對比算法。

圖8 智能手機拍攝的圖像

由于NC12 數據集的干凈圖像無法獲得，所以本文只提供在數據集DND 和SIDD 上的PSNR 和SSIM值。如表1所示，選取的對比算法既有傳統去噪算法，又有近幾年基于深度學習的優秀算法，所有對比算法的PSNR 和SSIM 值都從數據集的官方網站上獲得，可以看出本文算法的評價指標值均高于對比算法。

表1 各種算法在DND和SIDD數據集上的PSNR/dB和SSIM值對比

4 結語

本文提出了一種基于卷積神經網絡的多尺度特征融合去噪算法，該算法首先對輸入使用池化操作得到分層，經過密集連接殘差塊DCR 提取分層特征，再利用具有空洞卷積的U-Net對提取到的分層特征進行處理，空洞卷積在不改變圖像分辨率的前提下新一步擴大感受野，有助于從先前網絡提取的特征中去除噪聲，再將分層特征進行上采樣后反饋到下一分層中進行漸進訓練，靈活的運用圖像的全部特征，保留更多的圖像細節，得到較好的去噪效果。