改進的Darknet噪聲圖像分類網絡

周 旭， 楊 靜， 張秀華， 溥 江

(1.貴州大學,a.機械工程學院; b.現代制造技術教育部重點實驗室，貴陽 550000； 2.貴州民族大學機械電子工程學院，貴陽 550000)

0 引言

圖像采集時容易產生噪聲，帶有噪聲的圖像會降低原有圖像質量，影響后續圖像處理結果。為去除圖像噪聲，研究者們提出了濾波[1-2]、稀疏[3-4]、低秩[5]等傳統降噪方法和DnCNN[6]，U-net[7-8]等深度學習降噪方法，盡管這些降噪方法在某種程度上解決了圖像降噪問題，但噪聲類別需專業人員識別或提前設定或用傳統低效分類方法的缺陷也是顯而易見的，這降低了整個圖像處理過程的效率，因此有必要改善噪聲圖像分類現狀。

為了對噪聲圖像進行分類，楊冰等[9]采用總間隔v最小類內方差支持向量機(TM-v-MCV-SVMs)用于人臉噪聲圖像分類，盡管該算法對于人臉噪聲圖像的分類效果要好于最小類內方差支持向量機(MCVSVMs)和總間隔v-支持向量機(TM-v-SVM)，但SVM固有的依賴參數和核函數選擇的缺點使其自適應能力不強，無法企及深度學習強大的數據擬合和參數自適應能力。SIMONYAN等[10]采用深層小卷積核(3×3)的思想搭建圖像特征提取網絡用于圖像分類，深層小卷積核的引入提高了網絡特征提取精度，該網絡在2014年ImageNet比賽中獲得分類第二名，但網絡訓練時由于網絡深度加深反向傳播權值更新時梯度容易消失。文獻[11]采用殘差學習思想，將卷積層的輸入和輸出信息跳躍連接構成一個殘差塊，這種方式可在網絡反向傳播時直接將梯度值通過殘差網絡傳遞到卷積層輸入位置而跳過殘差塊內的卷積層，有效避免了網絡反向傳播時梯度消失情況，因而能夠把圖像分類網絡深度增加至152層，網絡能夠提取到深層特征信息，該網絡在2015年的ILSVRC-2015分類競賽中贏得第一名，雖然殘差學習解決了深層卷積神經網絡梯度消失問題，使得構建深層卷積神經網絡的想法得以實現，網絡也能提取到深層特征信息，但是網絡加深后也隨之丟失了淺層特征信息。文獻[12]在圖像分類網絡中引入passthrough層將網絡提取的淺層特征信息與深層特征信息融合，避免淺層特征信息丟失，從而提高了圖像分類準確率。

傳統SVM噪聲圖像分類方法依賴于參數和核函數選擇，網絡自適應能力不強。卷積網絡雖然自適應能力強，且經逐步優化后網絡分類準確率已達到應用程度，但以往的卷積神經網絡都未用于噪聲圖像分類。本文結合以上各深度學習圖像分類網絡優點提出利用殘差學習、Dropout[13]和正則化改進的Darknet噪聲圖像分類網絡，實現噪聲圖像自動分類，解決傳統噪聲圖像分類方法性能不足的問題。

1 噪聲圖像分類方法

用于圖像分類的卷積神經網絡眾多，需要選擇一種最優的分類網絡作為噪聲圖像分類的原始網絡。對LeNet，AlexNet，VGG以及原始Darknet19這4個分類網絡實驗對比后得出，在不改進網絡結構的情況下，Darknet19網絡對于噪聲圖像分類的準確率最高。

1.1 改進的Darknet19網絡

Darknet19為YOLOv2的主干網絡，主要用于圖像識別。去掉網絡1×1卷積輸出層，將第19層卷積核數量改為4，同時在網絡最后加上Softmax層，可實現圖像分類功能。其網絡結構如圖1所示。

圖1 Darknet19 分類網絡結構Fig.1 Diagram of Darknet19 classification network注：Conv為卷積層；Pool為最大池化層；Shortcut為數據引出層；Concat為特征融合層；Global為全局池化層；Softmax表示將輸出轉化為概率。

Darknet19由19層卷積層組成，前面2個卷積層后分別接有最大池化層，中間6個卷積層中每3個卷積層后接1個最大池化層，最后11個卷積層里前5個卷積層后接1個卷積層，池化層可避免網絡過擬合同時也可對特征圖進行降維，后6個卷積層后接1個全局池化層和1個Softmax層，Softmax層主要將輸出值轉換為0～1之間的概率值。網絡卷積層的卷積核數量由32開始，按倍數依次增加至1024個，可使網絡提取到的特征信息變多。同時，將網絡的第13層輸出和第18層輸出通過passthrough層相連，使得網絡在提取深層特征信息時不會丟失淺層特征圖信息。

由于原始Darknet19網絡對噪聲圖像的分類效果不佳，因此對Darknet19網絡進行了改進，改進后的網絡結構如圖2所示，主要改進點在以下兩個方面。

圖2 改進Darknet網絡結構Fig.2 Diagram of the improved Darknet network

1) 增加了Dropout層(即丟棄層)。Darknet19網絡的passthrough層輸出特征圖維度為8×8×3072，網絡參數過多，為此，在此passthrough層和第19層卷積層間增加了1個丟棄率為0.5的Dropout層，其次分別在第6，7，8層卷積層后增加了1個丟棄率為0.5的Dropout層，避免網絡過擬合。另外，為避免網絡過擬合，卷積層中也加入了L2正則化。

Dropout[13]丟棄機制是在網絡每個循環訓練時隨機丟棄卷積神經網絡的部分神經元，使其不參與網絡訓練和權值更新，而在網絡訓練結束后參與網絡預測的一種方法。由于網絡訓練時每個循環丟棄的神經元不同，故網絡實際上可以訓練多個結構類似而神經元不同的網絡以抑制網絡過擬合。Dropout原理結構如圖3所示。

圖3 Dropout原理結構圖Fig.3 Schematic diagram of Dropout

2) 增加了殘差網絡。Darknet19網絡共有19層卷積層，網絡相對較深，為避免反向傳播權值更新時梯度消失，引入殘差網絡，將第10層和第11層、第12層和第13層、第15層和第16層、第17層和第18層分別作為殘差塊。

殘差網絡[11]就是用一條通道將卷積層輸入和輸出直接相連，通道和被連接卷積層共同構成殘差塊如圖4所示。

圖4 殘差網絡 Fig.4 Residual network

注：x為卷積層輸入；F(x)為卷積層替代函數；H(x)為殘差塊輸出。

殘差網絡輸出可表示為

xk+1=xk+F(xk,wk)

(1)

式中：xk為卷積層輸入；F(xk,wk)為卷積層；wk為卷積層中的權值。

對式(1)迭代后有

(2)

反向傳播[14]時對式(2)求導可得

(3)

1.2 網絡噪聲圖像分類結果

為了驗證改進Darknet19網絡噪聲圖像分類準確性，本文在Cifar-10公開數據集[15]上人為添加噪聲后進行了噪聲圖像分類實驗。結果表明，在Cifar-10數據集上改進的Darknet19網絡對彩色噪聲圖像和黑白噪聲圖像分類準確率均可達到0.904，其對彩色噪聲圖像分類準確率較原始Darknet19網絡提高了近3%，黑白噪聲圖像分類準確率較原始Darknet19網絡提高了5%。改進的Darknet19網絡噪聲圖像分類效果優異。

1.3 網絡損失函數

用改進的Darknet19網絡對噪聲圖像分類采用有監督學習方式。在有監督學習中，網絡首先對一張訓練集圖片預測一個輸出分類，再將這個輸出分類與訓練集標簽對比，得到預測值與真實標簽值差異，然后通過反向求導逐步更新網絡權值，使網絡預測輸出與訓練集標簽無限接近。因此，Darknet網絡需定義網絡輸出預測值與訓練集標簽真實值的差異關系函數即損失函數，同時也要選擇反向求導時權值更新方法即優化方法。本文選用均方差(MSE)函數[16]計算網絡預測值與訓練集標簽值差異，反向求導權值更新方法采用一般梯度下降優化方法。

2 實驗與結果分析

本文實驗詳細程序運行環境如表1所示。

表1 程序運行環境Table 1 Program running environment

2.1 數據集

本文從Cifar-10數據集取20 000張36像素×36像素大小的彩色圖像，經128×128維尺寸變換后均分成4組圖片存儲，再對4組圖片分別添加高斯噪聲、泊松噪聲、鹽噪聲和斑點噪聲如圖5所示，接著從每組取出100張圖片地址并打亂，然后從地址里提取圖片并按噪聲類別對每張圖片進行One-hot編碼以作為測試集，同理，每組取100張圖片經編碼后作為驗證集，剩下的圖片經One-hot編碼后作為訓練集，最后將訓練集、驗證集和測試集制作成一個npz文件，用于網絡訓練、驗證和測試。另外，對BSD100數據集分別添加高斯噪聲、泊松噪聲、鹽噪聲和斑點噪聲，如圖6所示，接著進行One-hot編碼后制作成BSD100測試集，用于網絡圖像分類準確率測試?；叶葓D像測試集的制作也與彩色圖像測試集類似。

圖5 Cifar-10圖片噪聲類型Fig.5 Cifar-10 image noise types

圖6 BSD100圖片噪聲類型Fig.6 BSD100 image noise types

此外，用4組相同圖片的BSD100數據集按組分別添加高斯噪聲、泊松噪聲、鹽噪聲、斑點噪聲后制作成4個彩色圖像測試集，同理制作4個BSD100灰度圖像測試集、4個100張相同圖片的Cifar-10彩色圖像測試集和灰度圖像測試集，共16個用于測試噪聲對網絡分類準確率影響的單噪聲圖片測試集。

2.2 實驗設置

本文共設置了6組對比實驗，分別對LeNet,AlexNet,VGG以及原始Darknet19,加Dropout的Darknet，加Dropout和殘差的Darknet網絡進行了網絡訓練、驗證和測試，以比較不同模型在不同數據集上的彩色和灰度圖像分類準確率。

從訓練完后的網絡在Cifar-10和BSD100測試集上的測試準確率可知，在LeNet，AlexNet，VGG和原始Darknet19這4個網絡模型中，Darknet19網絡在兩種數據集上對彩色和灰度圖像的分類準確率最高，在Cifar-10測試集上的彩色和灰度圖像分類準確率分別為0.878和0.854，在BSD100測試集上的彩色和灰度圖像分類準確率分別為0.68和0.56。LeNet網絡在兩種數據集上的分類準確率最低，在Cifar-10測試集上的彩色和灰度圖像分類準確率分別低于Darknet19網絡0.476和0.44，在BSD100測試集上的彩色和灰度圖像分類準確率更是分別低至0.31和0.25。在Cifar-10和BSD100測試集上的分類準確率如表2所示。

表2 Cifar-10/BSD100測試集上的噪聲圖像分類準確率Table 2 Classification accuracy of noise image onCifar-10/BSD100 test sets

Darknet19和LeNet兩種網絡的分類準確率差異較大，造成這種現象的原因，一方面是LeNet網絡卷積層少無法學習噪聲圖像深層特征信息，另一方面是卷積層的卷積核數量少無法提取更多的圖像特征。此外，同種網絡對不同數據集的分類準確率差距同樣較明顯，這主要是因為采用Cifar-10數據集制作的測試集圖片數量多達1000張，而采用BSD100制作的測試集圖片只有100張，測試集樣本少發生分類不準確的偶然情況增多。

由于4個網絡中Darknet19分類準確率最高，因此，本文選擇Darknet19網絡作為基礎網絡進行改進，分別對網絡增加Dropout和殘差塊。相對于原始網絡，在增加Dropout后網絡在Cifar-10測試集上的彩色和灰度圖像分類準確率分別提高了0.01和0.032。在增加Dropout的基礎上再增加殘差網絡后在Cifar-10測試集上的彩色和灰度圖像分類準確率均增加至0.904，在BSD100測試集上的彩色和灰度圖像分類準確率分別改善了5%和6%。由測試集上的分類準確率可以看出， Darknet19網絡加入Dropout和殘差網絡后分類準確率改善較為明顯。網絡在Cifar-10和BSD100測試集上的分類準確率如表3所示。

表3 改進網絡在Cifar-10/BSD100測試集上的噪聲圖像分類準確率Table 3 Classification accuracy of noise image on Cifar-10/BSD100 test sets by the improved networks

為分析彩色和灰度圖像的不同類型噪聲對網絡分類準確率的影響，用制作的16個單噪聲圖片測試集對4種網絡分類準確率做64組對比實驗，其結果見表4、表5。

由表4可知，LeNet和改進Darknet19網絡在對BSD100彩色噪聲圖像分類時泊松噪聲對網絡分類準確率影響最大，高斯噪聲影響最小。AlexNet和VGG網絡對BSD100彩色噪聲圖像分類時鹽噪聲對分類準確率影響最大，高斯噪聲影響最小。對于Cifar-10彩色圖像數據集，鹽噪聲對LeNet，AlexNet，VGG網絡的分類準確率影響最大，泊松噪聲對改進Darknet19網絡分類準確率影響最大，高斯噪聲對AlexNet和VGG網絡分類準確率影響最小，泊松噪聲對LeNet網絡分類準確率影響最小，鹽噪聲對改進Darknet19網絡分類準確率影響最小。對比表4、表5可知，兩種數據集的不同噪聲類型灰度圖像對4種網絡分類準確率的最大和最小影響與彩色數據集類似。

表4 4種網絡對Cifar-10/BSD100彩色噪聲圖像的分類準確率Table 4 Classification accuracy of Cifar-10/BSD100color noise images by four networks

表5 4種網絡對Cifar-10/BSD100灰度噪聲圖像的分類準確率Table 5 Classification accuracy of Cifar-10/BSD100 grey noise images by four networks

3 結束語

本文研究了將卷積神經網絡用于噪聲圖像分類的問題，并將Dropout和殘差網絡用于Darknet19網絡優化改進。對4種深度學習分類算法經Cifar-10數據集訓練后，并用Cifar-10和BSD100測試集測試得出，改進的Darknet19網絡分類準確率最高，該噪聲圖像分類網絡能有效改善現有依靠專業人員手工分類和傳統SVM分類算法效率低的問題。同時，通過64組對比實驗分析了不同噪聲類型對網絡分類準確率的影響問題。由于現有噪聲圖像訓練集都是依靠算法人為增加高斯噪聲、泊松噪聲、鹽噪聲和斑點噪聲，未能采集生活場景中的真實噪聲圖像用于網絡訓練和測試。因此，接下來的研究任務主要集中于解決生活場景中的噪聲圖像分類問題，用噪聲圖像分類網絡解決現實問題。