采用多通道淺層CNN 構建的多降噪器最優組合模型

徐少平 林珍玉 陳孝國 李芬 楊曉輝

圖像在獲取、存儲和傳輸過程中,外界干擾或 設備固有缺陷會使圖像受到不同程度的噪聲干擾[1-3].這些噪聲(常被假設為高斯白噪聲)會導致圖像中紋理邊緣細節被破壞,使得圖像質量下降[4-5].早期,研究者通常采用高/低通濾波器處理噪聲圖像,利用相鄰像素點亮度值的線性、非線性組合,實現對中心像素點的最佳估計,以達到去除噪聲的目的.這種方法實現簡單、執行效率高,然而由于在降噪過程中未充分考慮圖像局部結構特點,會導致降噪后的圖像邊緣細節被模糊甚至丟失.2005 年,Buades等[6]提出了具有里程碑意義的非局部均值(Non local means,NLM)降噪算法.NLM 降噪算法基于自然圖像中具有大量重復的局部結構性質,即所謂的非局部自相似性(Nonlocal self-similarity,NSS),獲得了比濾波類降噪算法更好的降噪效果.但是由于需要在圖像內大量搜索與待復原圖塊相似的圖塊以提高降噪效果,因此導致NLM 降噪算法的執行時間較長.2007 年,Dabov等[7]提出一種BM3D (Block matching and 3D-filtering)降噪算法.該算法充分利用圖像的NSS 和稀疏特性,采用圖塊堆疊和協同濾波技術實現了降噪效果和執行效率之間的較好平衡.因其良好的綜合性能,BM3D降噪算法常被研究者們列為基準對比算法.近十年來,研究者們為進一步提高降噪效果,多利用關于自然的某種先驗知識構建目標函數,通過求解目標函數的最優解來達到降噪目的.依據所使用的自然圖像先驗知識的不同,基于稀疏表示[8-10]和基于低秩最小化[11-14]的圖像降噪算法被相繼提出,比較經典的工作有2013 年提出的NCSR (Non-local centralized sparse representation)[8],2014 年提出的WNNM (Weighted nuclear norm minimization)[11]等.雖然這些降噪算法的降噪效果優于BM3D 降噪算法,但最優目標函數值的求解通常以復雜的迭代優化過程實現,使得算法的時間復雜度非常高.

近年來,深度學習技術因其強大的特征學習和非線性映射能力在圖像降噪領域取得巨大成功[15-23],其中尤以基于深度卷積神經網絡(Deep convolutional neural network,DCNN)構建的降噪模型發展迅速[22-25].較典型的工作有:2017 年提出的DnCNN(Denoising convolutional neural network)[22],2018年提出的FFDNet (Fast and flexible denoising convolutional neural network)[23]等.在大量噪聲圖像–無失真圖像訓練數據集上,基于DCNN 構建的降噪模型以網絡輸出圖像與原始無失真圖像之間的Loss 函數最小值為目標驅動,學習并調整DCNN模型中的網絡參數完成圖像降噪任務.基于DCNN的降噪模型依賴網絡結構隱式地學習圖像中先驗知識,展現出強大的圖像先驗知識建模能力(非線性映射能力),能夠避免基于稀疏和低秩模型等優化降噪模型中構建目標函數困難的問題,進一步提高了復原圖像的質量.此外,受高性能圖形處理單元(Graphic processing unit,GPU)并行計算技術的支持,基于DCNN 進行圖像降噪能夠獲得極高的執行效率.然而,這類本質上基于數據驅動的降噪模型,其降噪性能也同時受所采用技術路線內在固有特性的制約,即必須保證待降噪圖像與用于訓練模型的圖像集合在受噪聲干擾程度上是近似的,才能獲得最佳的降噪效果,存在數據依賴缺陷[4].

圖像降噪作為圖像處理領域的基礎性問題,追求更好的圖像復原效果(更高的圖像質量)一直是推動研究者研究新型降噪算法的動力.迄今為止,雖然已提出了很多不同類型的圖像降噪算法,并且在降噪效果上不斷改進,但提升幅度越來越小.而且,目前很難找到某個單一降噪算法能夠對各種不同圖像內容、不同程度的噪聲圖像都能獲得較好的降噪效果[2].例如,BM3D、NCSR、WNNM 等算法對于含有豐富紋理細節的自然圖像可以獲得比較好的降噪效果,但對于無太多重復性局部結構內容的自然圖像則表現不佳;而DnCNN、FFDNet 等基于深度學習的降噪模型則能在無太多重復性局部結構圖像上獲得較好的降噪效果,但也要求待降噪圖像與訓練降噪模型所用圖像集合中的圖像存在類似結構.Chatterjee等[26]對主流降噪算法的降噪效果所能達到的極限展開了研究,其研究結果表明目前各個降噪算法的降噪性能雖然在不斷改進,但是離理論上的極限值尚有一定距離.換言之,各個降噪算法的降噪效果仍有較大改進空間.然而,目前僅依靠單個降噪算法對降噪效果的提升越來越困難.

最近,Choi等[2]提出一種被稱為一致性神經網絡(Consensus neural network,CsNet)的最優組合模型,該模型采用將多個降噪算法(降噪器)輸出的降噪后圖像進行優化組合(融合)的方式,實現了降噪效果較大幅度的提升.具體而言,CsNet 模型首先利用MSE (Mean square error)估計器來估計各個降噪器輸出圖像關于無失真圖像的MSE 估計值,通過求解凸優化問題確定各個降噪器輸出圖像在組合圖像中所占的最優權重值;然后采用加權組合的方式,將各個降噪器輸出圖像加權融合為一張初步優化圖像;在此基礎上,CsNet 模型再通過圖像質量提升(Booster)模塊對初步優化圖像的圖像質量進行多次級聯提升.雖然CsNet 模型實現了圖像降噪效果的提升,但是初步融合階段對多個降噪器輸出圖像所設置的權重值是針對整張圖像(所有像素點的權重值完全相同),加權處理的粒度非常粗糙(未考慮圖像局部細節各種復雜的變化結構模式),導致其初步優化圖像的圖像質量并不高.因此CsNet組合優化模型需要多次使用Booster 模塊對圖像質量進行級聯提升,才能達到令人滿意的降噪效果.這使得CsNet 組合優化模型設計、訓練的復雜度非常高,導致執行時間比較長.

受CsNet 模型啟發,本文提出一種新的基于多通道淺層CNN (Multi-channel shallow convolutional neural network,MSCNN)構建的多降噪器最優組合(Optimal combination of image denoisers,OCID)模型.與CsNet 組合優化模型的實現策略不同,OCID 模型沒有顯式的權重值設置過程,也無需后期的圖像質量提升過程,而是將CsNet 模型中的優化組合和圖像質量提升兩個模塊有機集成到MSCNN 模型中,利用多通道網絡結構直接接收由多個降噪器獲得的輸出圖像.采用殘差學習技術提升圖像質量,經過模型處理后直接獲得殘差圖像,將多個降噪器輸出圖像的均值圖像減去殘差圖像即可得到優化組合后的圖像.

1 相關工作

1.1 CsNet 模型

圖1 給出了CsNet 多降噪器最優組合模型的架構圖.對于給定的噪聲圖像y,假定有k個降噪算法(降噪器)D1,D2,···,Dk可用,利用這些降噪器對噪聲圖像y進行降噪可獲得降噪后圖像{z1,z2,···,zk}. 利用MSE 估計器M來估計各個降噪算法輸出圖像關于無失真圖像的最小均方誤差(MSE),然后通過求解凸優化問題來確定各個降噪器輸出圖像的最優權重w1,w2,···,wk.這樣可以獲得初步優化圖像

圖1 文獻[2]中提出的CsNet 模型架構圖Fig.1 The architecture of CsNet model proposed in reference [2]

1.2 存在問題

CsNet 模型在降噪過程中,首先利用MSE 估計器對各個降噪器降噪后的圖像關于原始無失真圖像的MSE 值進行估計,在得到各降噪器的MSE 值之后,通過Solver 求解一個凸優化問題來確定各個降噪后圖像{z1,z2,···,zk}的最優權重w1,w2,···,wk.但是這些權重值是針對整個噪聲圖像進行設置的(每個像素點的加權系數值均相同,加權粒度是像素級),沒有考慮圖像中不同局部區域內的圖像結構對最終融合結果的影響,導致其降噪效果一般.所以,CsNet 模型需要使用Booster 模塊對初步優化圖像進行再次優化增強,而且需要多次執行增強過程才能獲得較優的降噪效果.總體而言,盡管CsNet 模型充分利用了多個降噪器D1,D2,···,Dk互補性的信息,所獲得的輸出圖像能得到一定的質量提升,但是實現過程比較復雜,導致其算法執行時間長,圖像質量提升幅度也受到一定的限制.

2 OCID 模型

2.1 基本思想

近年來,CNN 由于具有強大的非線性映射能力,被研究者們廣泛應用于圖像處理領域并取得了巨大的成功.受CsNet 模型通過組合優化多個降噪器輸出(降噪后)圖像從而提升降噪效果的思想啟發,為獲得更好的圖像降噪效果,本文提出一種基于MSCNN的OCID 模型.所提出的OCID 模型試圖采用多通道CNN 技術同時接收由若干個降噪器D1,D2,···,Dk對給定噪聲圖像y進行降噪后的圖像{z1,z2,···,zk},充分利用CNN 所具有的局部連接和共享權重特性,更為合理地設置融合權重.改在圖塊粒度上完成初步降噪圖像{z1,z2,···,zk}的優化融合,以獲得更好的圖像降噪效果.同時,采用淺層的網絡結構,試圖顯著提高組合優化模型的執行效率.

2.2 多通道融合網絡模型

本文提出的OCID 模型如圖2 所示.OCID 模型的網絡核心結構與主流的DCNN 類似[22],主要區別有:

圖2 多通道神經網絡OCID 模型架構Fig.2 The architecture of OCID model with multi-channel neural network

1)采用淺層結構.它的深度僅有d=3 層.第1層(Conv+ReLU)使用64 個大小為3×3× n的濾波器對輸入圖像執行局部加權組合,然后通過ReLU[27]激活函數輸出64 個特征映射圖;第2 層(Conv+BN+ReLU)使用64 個大小為3×3×1的濾波器,在第1 層的基礎上增加了BN[28]操作,以緩解SGD (Stochastic gradient descent)訓練算法產生的內部協變量轉移現象;第3 層(Conv)只用了一個卷積層重構殘差圖像.與主流的DCNN 相比,本文的Conv+BN+ReLU 結構僅重復一次.表1、表2列出了使用不同重復次數的Conv+BN +ReLU 網絡層的實驗數據,實驗數據表明使用多層結構并不能使降噪效果得到顯著提升,反而會增加執行時間,故本文僅重復一次.

表1 不同網絡層數下的MSCNN 模型在10 張常用圖像上的PSNR 均值(dB)Table 1 PSNR performance of different MSCNN models on 10 commonly used images (dB)

表2 不同網絡層數下的MSCNN 模型在10 張常用圖像上的平均執行時間(s)Table 2 Execution time performance of different MSCNN models on 10 commonly used images (s)

2)多通道的輸入結構.由于OCID 模型的主要任務是將多個降噪算法的輸出圖像融合為一張圖像質量更高的圖像,故與一般的DCNN 模型不同,采用了多通道的輸入結構.這樣,就可以利用多個降噪器D1,D2,···,Dk分別對給定噪聲圖像y進行降噪,得到多張初步降噪圖像{z1,z2,···,zk},然后將圖像集{z1,z2,···,zk}連接后同時輸入網絡.

3)殘差圖像的構成方式不同.為提高網絡的映射能力,許多DCNN的輸出并不是無失真圖像而是殘差圖像.假定噪聲圖像的定義為

其中,y為噪聲圖像,x為原始無失真圖像,n為噪聲.為提高預測效果,DCNN 利用殘差學習[29]訓練網絡模型R(y)≈n,模型的輸出為殘差圖像.根據式(4)即可得到關于原始無失真圖像x=y-R(y)的最佳估計.在訓練模型的過程中,期望殘差圖像與預測殘差圖像之間的均方誤差(MSE)為

所提出的OCID 模型本質上是基于MSCNN的多通道優化組合模型,即利用淺層CNN 對輸入的多張圖像進行融合.該模型一旦訓練完成,在使用時無需用戶設置任何參數,所提出的MSCNN 中網絡參數的作用相當于一步實現了CsNet 模型中的加權和Booster 兩個模塊的功能.由于OCID 模型采用MSCNN 結構,使得其在提升降噪效果和執行效率之間達到較好的平衡.相較于CsNet 模型,OCID 模型具有顯著優勢.

2.3 網絡訓練

為訓練所提出的OCID 模型,可對原始無失真圖像添加各個級別的高斯噪聲獲得噪聲圖像集合.對于噪聲圖像集合中的每一張噪聲圖像,利用多個降噪器獲得初步降噪圖像{z1,z2,···,zk}及其均值圖像 ˉz,將均值圖像減去該噪聲圖像所對應的無失真圖像獲得殘差圖像R(y),即可準備好用于訓練模型的輸入與輸出訓練數據對.具體而言,從BSD數據庫[30]中隨機選取100 張圖像,并對這100 張圖像依次分別加上噪聲水平值σ范圍為[5,60],間隔為5的高斯噪聲,將這1 200 條記錄Y={y1,y2,···,yj},j=1 200利用多個基準降噪器分別進行降噪,可得其初步降噪后圖像將多個降噪算法得到的降噪后圖像的均值圖像和相應的殘差圖像組成的訓練數據對輸入MSCNN 模型中進行訓練.本文采用SGD 算法完成模型的訓練.需要說明的是,網絡模型實際訓練是在圖塊級別上進行的.網絡訓練所采用的參數為:輸入圖塊大小為40 × 40 像素,學習率為0.0001,動量為0.9,批量訓練樣本大小為128.

2.4 多通道模型網絡層數分析

為確定OCID 模型的最佳網絡深度,分別構建核心網絡層Conv+BN+ReLU 重復次數為1 次、3 次、5 次、7 次、9 次、11 次、13 次和15 次的網絡模型.通過訓練σ為20、40、60 時的降噪模型,以BM3D 和DnCNN 作為基礎降噪器,并使用圖3中的常用圖像來測試網絡層數對圖像質量提升效果以及相應執行效率的影響.這里僅以BM3D和DnCNN 組合模式為例,其他降噪器組合模式結論與該組合模式相同(限于篇幅,不再給出其他組合模式下的實驗數據).如表1 所示,通過對比PSNR(Peak signal to noise ratio)指標可以看出,隨著CNN 網絡層數的增加,OCID 模型的降噪效果僅在高水平噪聲條件下會有小幅度提升.總體而言,核心網絡層Conv+BN+ReLU 重復1 次就可達到比較好的降噪效果.而由表2 可知,隨著網絡層數的增加,模型的執行時間(在CPU 環境下測得)顯著增加.故綜合考慮圖像質量提升效果和執行效率,本文將Conv+BN+ReLU 層重復次數設置為1,所提出的OCID 模型為MSCNN.

圖3 各類文獻中常用的圖像集合Fig.3 Commonly used images in the literature

2.5 降噪器組合分析

所提出的OCID 模型允許輸入多個不同的初步降噪圖像,而目前已提出的降噪算法非常多,因此具體使用哪些降噪算法作為降噪器以及它們之間的組合搭配模式是非常值得研究的問題.為確定各降噪器的最佳組合模式,選擇BM3D[7]、NCSR[8]、WNNM[11]、DnCNN[22]和FFDNet[23]5 種有代表性的降噪算法進行研究,它們分別主要是基于NLM、稀疏表示、低秩和深度學習技術實現的主流降噪算法,各自的降噪效果在各類降噪算法中都是比較突出的.故從它們中能挑出2～5 種降噪算法作為降噪器使用.實驗數據表明,采用含4 種、5 種降噪算法的組合模式并不能顯著提升降噪效果(限于篇幅,不再給出實驗數據),本文僅給出含2 種、3 種降噪算法組合模式的實驗數據,所有可能的組合模式如表3所示.從BSD 紋理圖像集中選取50 張圖像對各種組合模式下的降噪效果分別進行測試,以在50 張圖像上所獲得的PSNR 均值作為評價提升效果好壞的標準,實驗數據列在表4、表5 中.從表4、表5中可知:在含2 種降噪器的組合模式中,降噪效果最好的是Case 3 (FFDNet+NCSR),其PSNR均值為29.56 dB;在含3 種降噪器的組合模式中,降噪效果最好的是Case 11 (BM3D+DnCNN +NCSR),其PSNR 均值為29.86 dB.理論上,組合模式中含降噪器的個數越多,其降噪效果可能越好.但在實際測試過程中,對比表4、表5 中的PSNR均值可以看出,3 種降噪器組合模式的平均降噪效果僅比2 種降噪器組合模式好一點,提升幅度并不是很大.

表3 2 種和3 種降噪器組合模式列表Table 3 List of combination of 2 and 3 denoisers

表4 2 種降噪器組合模式在50 張紋理圖像集上所獲得的PSNR 均值(dB)Table 4 Performance comparison of two denoisersin terms of PSNR on 50 texture images (dB)

表5 3 種降噪器組合模式的50 張紋理圖像集上所獲得的PSNR 均值(dB)Table 5 Performance comparison of three denoisers on 50 texture images (dB)

表6、表7 分別為2 種降噪器融合和3 種降噪器融合下的50 張紋理圖像集上平均執行時間.從表6、表7 中的數據可以看出,在含2 種降噪器的組合模式中,Case 6 (BM3D+DnCNN)的執行時間最短,其平均執行時間為5.28 s,與執行時間最長的Case 10 (NCSR+WNNM)相比,執行時間相差約200 倍,其主因是NCSR 算法執行時間過長.而在含3 種降噪器的組合模式中,Case 13 (BM3D +DnCNN+FFDNet)的執行時間最短,平均執行時間為21.81 s.結合表4、表5 可以得出,使用3 種降噪器組合與2 種降噪器組合分別降噪后的PSNR值相差不大,但需要花費更長的執行時間.

2.6 組合方案選擇

綜合考慮降噪效果和執行效率兩方面性能,本文選用BM3D 和DnCNN 2 個降噪算法作為OCID模型的基礎降噪器(即組合模式Case 6).其原因如下:

1)降噪算法作為各類后繼圖像處理任務的預處理模塊,首要考慮的是其執行效率,以保證整個圖像處理系統的整體性能.在目前所提出的具有代表性的算法中,BM3D 和DnCNN的執行效率均排在前列,降噪效果表現最好的NCSR 算法因其過長的執行時間未作為OCID 模型的降噪器.需要說明的是,表6、表7 中的實驗數據均是在CPU 環境下獲得的.文獻[31]提出一種將BM3D 算法卷積網絡化的實現方法,即BM3D-Net 模型.如此,BM3D-Net 和DnCNN 均可以利用GPU 實現加速,其在GPU 上執行時間為150 ms 左右,能達到實時的要求.

表6 2 種降噪器融合下的50 張紋理圖像集上的平均執行時間(s)Table 6 Execution time of two denoisers on 50 texture images (s)

表7 3 種降噪器融合下的50 張紋理圖像集上的平均執行時間(s)Table 7 Execution time of three denoisers on 50 texture images (s)

2)在保證降噪算法執行效率的同時還要保證算法的降噪效果.BM3D 算法對具有較多重復結構的自然圖像能得到很好的降噪效果,對重復細節內容不多的圖像其降噪性能會受到一定的影響.而DnCNN 是一種基于深度學習的降噪算法,即便是圖像中無較多重復結構,只要是訓練圖像集合中存在的結構模式,DnCNN 算法就可獲得較好的降噪效果.因此BM3D 與DnCNN 組合后可形成最佳的優勢互補.第3 節對比實驗中,OCID 最優組合模型所列出的實驗數據均是采用BM3D+DnCNN組合模式獲得的.

3 實驗與分析

3.1 測試環境

為驗證所提出的基于MSCNN的OCID 模型對降噪效果的提升作用,選取采用不同代表性技術路線實現的BM3D[7]、NCSR[8]、WNNM[11]、DnCNN[22]、FFDNet[23]、RedNet[32]、VDNet[33]、TWSC[34]和CsNet[2](主要將文獻[2]中第三組實驗與OCID 模型進行比較)共9 種降噪算法作為對比算法.測試圖像數據集包含常用圖像集、BSD 紋理圖像集[30]、DIV2K 圖像集[35]和Waterloo 圖像集[36].其中,常用圖像集包含各種文獻中常出現的10 張公知圖像,如圖3 所示;BSD 紋理圖像集是從BSD數據庫中隨機抽取50 張圖像構成(不同于訓練時所使用的圖像),其中10 張有代表性的圖像如圖4所示;DIV2K 圖像集是廣泛使用的超分辨率測試圖像數據集,該數據集中圖像的空間分辨率較高,從中隨機選取50 張圖像用于測試;Waterloo 圖像集是用于圖像質量評價算法測試的圖像庫,其圖像內容主題較為廣泛,從中隨機選取50 張圖像用于測試.所有的實驗都是在統一環境下(硬件平臺為Inter (R)Core (TM)i7-3 770 CPU @ 3.40GHz 16 GB RAM,GPU NVIDIA Quadro M4000;軟件環境為Win10 操作系統,MATLAB R2017b,Python 3.7)完成的.

圖4 BSD 測試圖像集合中有代表性的10 張圖像Fig.4 Ten representative images on BSD database

3.2 單個圖像上的性能比較

首先,為驗證所提出的OCID 模型對降噪效果的提升作用,對Lena 圖像添加不同噪聲水平值的高斯噪聲,用各種參與對比的降噪算法對噪聲圖像進行降噪,并計算降噪后圖像的PSNR 值和SSIM(Structural similarity)值,實驗數據見表8、表9.由表8、表9 可知,所提出的OCID 模型在各個噪聲水平值時兩種評價指標均為最高,比單個BM3D和DnCNN 降噪算法提升了很多.這表明OCID 模型能將原本弱于FFDNet、VDNet的BM3D 和DnCNN 2 個算法的優勢進行有效組合,其降噪效果比當前主流的FFDNet、VDNet 降噪算法要好,組合后的優勢明顯.

表8 各算法在Lena 圖像上所獲得的PSNR 值(dB)Table 8 Performance comparison of the competing algorithms in terms of PSNR on Lena image (dB)

表9 各算法在Lena 圖像上所獲得的SSIM值Table 9 Performance comparison of the competing algorithms in terms of SSIM on Lena image

然后,為更加直觀地比較所提出的OCID 模型的降噪效果,利用各個對比算法對施加了σ=30 高斯噪聲后的Boat 噪聲圖像進行降噪,并計算各降噪后圖像相應的PSNR 值.圖像整體降噪及對應的局部放大區域(右下角矩形框)的視覺效果如圖5所示.由圖5 可知,基于圖像自相似、稀疏和低秩特性構建的BM3D、NCSR 和WNNM 算法在處理像Boat 這類缺乏重復內容的自然圖像時能力較弱,而基于深度學習構建的DnCNN、FFDNet 和VDNet算法則相對更具優勢,這是因為這類算法可以利用在訓練圖像集上學習的先驗知識更好地完成降噪.通過比較PSNR 值可以發現,OCID 模型比CsNet模型高出0.6 dB,圖像質量提升明顯.另外,通過局部放大區域的細節可以發現,雖然用BM3D 算法處理后圖像的圖像質量比較差,模糊程度比較嚴重,但是一旦它與用DnCNN 算法處理的圖像組合后,所獲得的圖像(即用OCID 模型獲得的圖5(l))便具有了更好的降噪效果.圖5(l)的PSNR 值顯著優于圖5(g)和圖5(c),并且比降噪性能較好的單個VDNet 算法還要高0.6 dB.在視覺感覺上,圖5(l)中船尾部“纜繩”的邊緣細節保護得比較好.這說明OCID 模型充分利用了降噪能力相對較弱的BM3D 和DnCNN 2 個算法各自互補性的優勢,獲得了更好的降噪效果.

圖5 各算法在Boat 圖像上降噪效果對比Fig.5 Denoising effect comparison of the competing algorithms on Boat image

3.3 圖像數據集整體性能比較

為進一步驗證所提出的OCID 模型對降噪效果提升作用的穩定性和魯棒性,在常用圖像集、BSD紋理圖像集、DIV2K 圖像集和Waterloo 圖像集上與當前主流降噪算法進行對比測試,以各個算法所獲得性能指標的平均值作為衡量算法優劣的標準.

首先,對圖3 所示的10 幅常用圖像分別添加噪聲水平值σ為 10、20、30、40、50、60的高斯噪聲,表10、表11 列出了各對比算法在PSNR 和SSIM兩個指標上的實驗數據.由表10 可知,FFDNet 作為近年提出的一種降噪性能非常不錯的基于深度學習構建的降噪算法,它的降噪性能雖比其他主流算法要好,但是優勢不多(在PSNR 指標上,最多比WNNM 高0.24 dB),某些噪聲水平值時的測試結果還要差一些.而OCID 組合模型所獲得的PSNR指標值最高且很穩定,比FFDNet 降噪器的性能指標高0.7 dB～1.6 dB.這說明將多個降噪器的輸出圖像經OCID 模型優化組合后,比單個降噪器輸出的圖像在圖像質量上確實提升不少.與CsNet 模型相比,OCID 組合模型在PSNR 指標上提高了0.6 dB～1.8 dB.此外,OCID 組合模型在SSIM 指標上的對比數據也是最優的.需要特別指出的是,盡管OCID組合模型所使用的BM3D 和DnCNN 降噪器,單個的降噪效果并不是最優的,但是經過優化組合后卻可以獲得非常大的改進.這說明OCID 組合模型能夠有效結合BM3D 和DnCNN 2 種降噪算法輸出圖像中互補性的局部結構化信息,從而能顯著提升降噪效果.

表10 各算法在10 張常用圖像上所獲得的PSNR 均值(dB)Table 10 Performance comparison of the competing algorithms in terms of PSNR on 10 commonly used images (dB)

表11 各算法在10 張常用圖像上所獲得的SSIM 均值Table 11 Performance comparison of the competing algorithms in terms of SSIM on 10 commonly used images

其次,為對比各算法在圖像細節內容更為復雜圖像上的降噪效果,在BSD 紋理圖像集上完成測試.表12 給出了各個算法在BSD 紋理圖像集上的測試結果(限于篇幅,僅給出PSNR 指標數據).由表12 可知,雖然相較于表10 中的數據,所提出的OCID 模型的降噪效果有所下降(因處理的圖像內容更加困難導致),但其性能仍然是所有參與比較的算法中最好的,比單一FFDNet 算法的降噪效果有顯著提升,提升幅度在0.4 dB～1.4 dB 之間,提升量非?？捎^.OCID 模型所獲得的PSNR 指標較CsNet 模型提升了0.5 dB～1.3 dB.OCID 模型使用的基本降噪器是BM3D 和DnCNN,單一BM3D和DnCNN 降噪算法的降噪效果均不是最優,但是將兩者同時輸入到OCID 組合模型后,卻能在降噪質量上有顯著提升.這說明OCID 組合模型能充分利用兩種降噪算法輸出圖像各自的互補性優勢,從而獲得更好的降噪效果.

表12 各算法在BSD 紋理圖像集上所獲得的PSNR 均值(dB)Table 12 Performance comparison of the competing algorithms in terms of PSNR on BSD database (dB)

再次,為測試OCID 模型能否較好地應用于高分辨率圖像的降噪,使用50 張DIV2K 超分辨率圖像進行測試,各個對比算法所獲得的PSNR 均值見表13.由表13 可知,在所有參與對比的算法中,所提出的OCID 模型的PSNR 指標排名仍然是第一,比CsNet 模型的PSNR 值提高了0.4 dB～1.3 dB,表明所提出的OCID 模型在處理高分辨率圖像時仍然具有顯著的降噪提升效果.

表13 各算法DIV2K 圖像集上所獲得的PSNR 均值(dB)Table 13 Performance comparison of the competing algorithms in terms of PSNR on DIV2K database (dB)

最后,為測試各對比算法處理不同圖像主題內容時的降噪能力,在圖像主題內容更為豐富的Waterloo 圖像質量評價測試圖像集上完成測試,測試結果見表14.由表14 可知,在各個噪聲水平值下,所提出的OCID 模型的PSNR 指標值均為最佳,再次展現出所提出的OCID 模型在降噪效果提升方面的優勢,其對不同的圖像主題內容均具有很好的普適性.

表14 各算法在Waterloo 圖像集上所獲得的PSNR 均值(dB)Table 14 Performance comparison of the competing algorithms in terms of PSNR on Waterloo database (dB)

3.4 執行效率

所提出的OCID 模型與CsNet 模型一樣,均是利用多個降噪算法作為初步降噪器,將它們輸出的圖像經優化組合后實現更好的降噪效果,故與單一降噪算法相比它們的執行時間均會顯著增加,這里不再給出具體實驗數據.相對而言,OCID 模型僅使用BM3D 和DnCNN 2 個算法作為初步降噪器,而CsNet 則使用了BM3D、DnCNN、REDNet 和FFDNet 4 個算法作為降噪器,故OCID 模型在初步降噪階段的執行時間比CsNet 模型要短.為比較OCID 與CsNet 兩個模型在融合階段的執行效率,分別利用兩個模型處理具有不同噪聲水平值,大小為512 × 512 像素的Lena 噪聲圖像,執行10 次,并記錄各自在融合階段的平均執行時間(在GPU環境下測得)于表15.由表15 可知,在融合階段,OCID模型的執行時間具有顯著優勢.其原因在于,OCID模型僅采用了結構極為簡單的淺層CNN 結構(僅含三層卷積層)實現圖像融合,且得到GPU 硬件支持,使得其運行時間可以滿足實時應用的要求.而CsNet 模型的融合過程則使用了網絡結構非常復雜的MSE 估計器和Booster 模塊,網絡深度更深,且Booster 模塊還需要迭代多次執行才能獲得最佳的圖像質量,所以即使在GPU 硬件執行條件下,其執行時間仍遠遠長于OCID 模型.

總之,結合表10～表15 所列數據,OCID 模型在保證獲得更好降噪效果的同時最大限度地降低了對計算資源的需求,綜合性能更優.

表15 CsNet 與OCID 模型在融合階段的執行時間對比(ms)Table 15 Execution timein fusion stage of CsNet and OCID model (ms)

4 結論

受Choi等[2]組合多個降噪器提升單一降噪算法降噪效果思想的啟發,本文提出一種基于MSCNN的OCID 模型.對于給定的噪聲圖像,該模型首先利用多個降噪器對其進行降噪以獲得多個初步降噪圖像,然后由預訓練的MSCNN 模型接收這些初步降噪圖像并自動完成最優組合(融合),高質量輸出優化后的降噪圖像.與Choi 等提出的CsNet 組合模型相比,本文所提出的OCID 模型結構更為簡單,圖像質量提升更為明顯,且執行效率更高.需要說明的是,目前OCID 模型使用BM3D 與DnCNN 2種降噪算法作為基本降噪器,而經典BM3D 算法并沒有使用GPU 硬件加速能力,這在一定程度上降低了OCID 模型整體的執行效率.未來可將BM3D算法用CNN 卷積化技術實現[31],這樣OCID 模型在初步降噪和圖像融合兩個階段均可以利用GPU硬件加速能力,可實現實時降噪,這將會使OCID模型較現有的單一降噪算法在降噪效果和執行效率兩個方面均具有顯著優勢.