多尺度深度CNN的糖尿病視網膜病變分類

李軒屹，朱曉軍

(太原理工大學 信息與計算機學院，山西 太原 030024)

0 引 言

糖尿病視網膜病變(DR)是全球致盲性疾病中發病率最高的。據國際糖尿病聯盟(IDF)分析研究[1]，糖尿病病齡超過10年，視網膜病變幾率高達60%，因此對眼底圖像的DR嚴重程度進行準確分類是當前研究重點。

隨著深度學習的發展，卷積神經網絡已被廣泛應用于醫療領域的圖像分類。Yu等[2]首先預處理數據集突出DR的跡象，使用卷積網絡提取圖像特征，最后使用提升樹算法做預測。Sharma等[3]提出一種深度的CNN結構，對不同糖尿病視網膜病變數據集進行分類，得到了較好的分類準確率。Wan等[4]使用遷移學習與超參數優化，分別在4種經典網絡上進行分類預測，結果驗證遷移學習對DR分類效果更好。李等[5]提出在AlexNet基礎上，在卷積層后引入批量歸一化層并使用熱度圖對圖像進行特征分析，結果表明充分提取視網膜質特征可以提升準確率。

利用神經網絡進行分類時，根據圖像表達出的不同特征劃分為不同的類別。使用卷積層對視網膜圖像特征提取時，不同卷積層提取到的特征是不同的，前人使用固定分辨率圖像與單層特征對網絡模型進行訓練，沒有充分利用不同特征信息訓練網絡。因此本文提出一種輸入多分辨率圖像融合多層特征的多尺度ResNext網絡模型對糖尿病視網膜病變(DR)的嚴重程度進行分類。

1 方 法

針對前研究者對DR嚴重程度分類的不足，本文使用多分辨率眼底圖像作為輸入層數據，將多層特征通過加權融合方式作為全連接層的學習特征。使用遷移學習的方法對模型超參數進行初始化，以加快網絡收斂并減少過擬合的發生。

1.1 多尺度方法

1.1.1 多分辨率圖像輸入

向網絡輸入不同分辨率眼底圖像作為訓練數據，卷積層使用卷積核提取眼底圖像特征時，不同分辨率圖像所表達出的特征信息是不同的。卷積層在提取同一眼底照片的高分辨率圖像特征時，可以提取到更多的紋理、顏色等細節性特征。而在提取相對低分辨率圖像的特征時，則可以提取到相對高分辨率圖像紋理特征的語義特征信息。在訓練網絡時，多類型特征可以使網絡學習到更全面的眼底圖像信息，從而提高DR病理圖像分類準確率。

本文采用多分辨率圖像作為輸入層數據，受限于全連接層特征神經元個數，采用空間金字塔池化(SPP)[6]方式對特征圖進行特征選擇，通過該方法可以提取到固定數目的特征，從而使網絡可以提取多分辨率圖像的特征進行訓練。SPP池化與傳統池化方法相似，通過設置多種池化窗口大小與移動步長，采用平均值算法選擇特征。本文將經過池化后得到的特征圖大小設置為：3×3、2×2、1×1。假設特征圖大小為m×m，池化窗口大小為win=m/n，滑動步長為str=m/n，其中n=1，2，3。SPP池化結構圖如圖1所示。

圖1 空間金字塔池化

如圖1所示，我們將特征層提取出的每一個特征圖經過SPP池化后，可以得到9+4+1=14維的特征神經元，任意大小特征圖經過池化后都形成14×1024-d特征神經元用于訓練全連接層。

1.1.2 多層特征融合

傳統算法使用卷積神經網絡對視網膜病理圖像進行分類時，僅用高卷積層特征來訓練全連接層網絡。神經網絡模型中不同特征層反應圖像的不同特征信息，網絡的淺層特征圖分辨率高且局部視野小，可以提取到圖像的紋理特征，實驗結果表明細節性特征在一定程度上可以提高分類的精度[7]。網絡的高層特征圖分辨率低但具有高視野，從而可以提取到圖像的語義特征信息。圖像分類的準確度取決于特征的選取，本文充分利用不同層所表達的特征信息，采用融合多層特征的方式[8]，將深層特征與淺層特征進行融合，進一步挖掘出圖像信息，從而提取到更豐富的紋理信息，同時針對圖像的各種變化，又可以得到具有較好的魯棒性的特征，實現特征的優勢互補，以提高分類的準確率[9]。圖2為網絡不同卷積層特征，從圖2中可以看出淺層特征圖突出眼底圖像的特征信息，深層特征圖更突出語義信息。

圖2 不同卷積層特征

直接將不同層特征進行融合不能達到好的融合效果，因此基于不同特征層分類準確率的不同，本文將不同特征層根據分類準確率進行加權融合。結合FPN網絡融合思想，由于不同層特征維度不同，所以采用最近鄰方法將高層特征圖進行上采樣，使其與低層特征圖有相同的維度。將網絡模型中的卷積層劃分為5部分，由于第一卷積層特征信息復雜，融合時不考慮融合該層特征。通過實驗測試以得到不同層的分類準確率作為融合權重，通常情況下認為，準確率越高，說明該層特征有較高的分類信息，所以準確率越高該層的融合權重越大。加權融合方法如圖3所示，其中每個卷積層提取出的特征圖為Ci，準確率為ai，特征權重為wi+(i+1)，其中i=2,3,4,5。

圖3 加權融合

首先將每一層特征經過1×1卷積層，使不同層具有相同的特征圖維度。其次將特征圖C5進行上采樣操作以達到相同維度。根據分類準確率得到第五層與第四層的融合權重分別為w5-4與w4-5，如式(1)所示。根據權重將兩層特征進行加權融合，為了消除上采樣后融合產生的特征混疊效應，使用3×3卷積再提取特征得到p4，如式(2)所示。其余層采用類似的方式進行融合分別得到p3與p2。將融合后的特征圖采用concat 融合方式進行合并，最后使用SPP池化進行特征選擇得到特征F，如式(3)所示

(1)

p4=Conv3×3(w5-4×p5+w4-5×C4)

(2)

F=spp(concat(p5+p4+p3+p2))

(3)

1.2 遷移學習

缺乏標記數據是使用卷積神經網絡預測醫療領域疾病時所面臨的一大難題。訓練卷積神經網絡時，訓練集過小極易導致過擬合現象的發生，導致網絡模型不收斂，進而不能達到預期的分類效果。為了解決醫療數據少的問題，相關學者提出在使用卷積神經網絡處理醫療領域問題時，采用遷移學習的方法來解決因訓練集過小導致的模型不收斂或泛化能力差的問題。

本文使用遷移學習的方法，對模型超參數進行初始化?；诜诸悢祿南嗨菩?，提取使用ResNext網絡模型參數，作為本文模型的初始化參數。將靠近輸入層的卷積層學習率設為0，不再更新低卷積層參數，僅對之后的卷積層與全連接層訓練學習，以加快模型收斂并減少過擬合發生。

1.3 ResNext網絡

使用卷積神經網絡在圖像領域預測分類時，網絡越深，可以提取到的特征信息越精確，進而提高分類準確率。但實驗發現經典VGG網絡模型隨著網絡的加深，分類準確率不變甚至會下降，一部分原因是出現了梯度爆炸，但主要原因是網絡退化。隨后何愷明等使用殘差網絡[10]來解決網絡退化問題，當網絡某層出現退化時，對該層做恒等變換映射H(x)=F(x)+x，使網絡退回卷積前的狀態。例如出現退化則F(x)=0，則恒等變換后為H(x)=x。恒等變換如圖4所示。

圖4 殘差網絡恒等變換

隨后何愷明團隊提出了基于殘差網絡的變形網絡—ResNext網絡[11]。此網絡通過在殘差網絡中加入獨立路徑即“基數”(Cardinality)的超參數，來增加網絡的維度。文獻[11]實驗證明，通過增加“基數”來拓寬網絡維度比傳統的增加網絡深度或寬度的方法更有效。網絡結構中基數采用分組卷積的思想，將多層特征圖分成不同組分別進行卷積操作，最后將卷積后的結果進行合并。而分組卷積為將輸入向量x通過T(x) 函數投影到一個低維空間，并對低維表示特征進行變換即卷積特征提取，其中不同組的Ti(x) 具有相同的拓撲結構，最后將不同組的特征結果進行聚合。如式(4)所示，其中x表示特征圖、T(x) 為降維變換函數、C表示分組數、y為輸出值。實驗結果表明50層ResNext與100層殘差網絡在參數個數相同，且計算量僅有一半的情況下分類準確率更高。分組聚合變換如圖5所示

圖5 分組聚合變換

(4)

2 模型設計

2.1 網絡模型

神經網絡主要由輸入層、卷積層、激活函數、池化層、全連接層構成。輸入層用來向網絡輸入訓練的圖像數據。卷積層通過滑動濾波器提取特征，本文使用7×7、3×3、1×1這3種濾波器進行特征提取。將每層輸出數據使用激活函數進行非線性化，以更準確表達圖像信息。池化層對特征圖進行壓縮只提取顯著特征以降低模型參數，降低模型的過擬合。全連接層將卷積層學到的分布式特征映射到樣本的標記空間，將結果使用softmax交叉熵損失函數進行分類損失評估。網絡結構如圖6所示。

圖6 網絡結構

2.2 詳細流程

對網絡模型進行訓練，如圖6所示訓練過程如下：

(1)將預處理后眼底圖像輸入網絡模型。

(2)第一階段將輸入圖像使用7×7大視野卷積核進行特征提取，再使用最大池化方法降低網絡參數。

(3)第二階段至第五階段卷積采取分組形式進行特征提取，每個階段中用多個小卷積核實現大卷積核的感受野。

(4)每次卷積后數據分布會發生變化，分布的不斷變化會造成網絡訓練精度的損失。每次卷積操作后對每一維數據進行批量歸一化。歸一為均值為0、方差為1的數據分布，以加快模型收斂速度。

(5)為了使網絡表達能力更強，在批量歸一化后加入激活函數來表達更近似圖像信息。本文使用LeakyRelu 函數激活網絡中的神經元，其函數給負值神經元賦予一個非零斜率α，這樣可以激活Relu 函數無法激活的負值神經元。如式(5)所示

(5)

(6)將多層特征進行加權融合，融合后使用SPP池化進行特征選擇，最后輸入全連接層進行學習。

(7)最后使用softmax 交叉熵損失函數對模型分類效果進行評估。首先使用softmax函數計算出全連接層輸出不同類別的概率值p(m|x)。如式(6)所示。然后根據概率值使用交叉熵損失函數計算得到損失值。如式(7)所示

(6)

(7)

3 實 驗

3.1 數據集

3.1.1 數據集簡介

本實驗數據來源于kaggle社區競賽的EYEPACS數據集，該數據集包含35 126張由專業眼科醫生診斷為不同嚴重程度的高分辨率視網膜圖片，其嚴重程度分為，如圖7所示：圖7(a)正常、圖7(b)輕度DR、圖7(c)中度DR、圖7(d)嚴重DR和圖7(e)增殖性DR這5大類。

圖7 眼底五分類

在醫療領域，使用卷積神經網絡進行多分類時，分類類別的數量與圖像質量對分類準確率有較大影響。該數據集中不同類別的視網膜圖像數據量嚴重失衡，正常數據量是患病數據量的30多倍。見表1。而且眼底圖像在采集過程中受環境影響會產生噪聲，導致網絡模型收斂速度較慢，以至于達不到預期目標。

表1 不同類別數據量

3.1.2 數據預處理

針對視網膜圖像樣本數量失衡和圖像噪聲問題，在輸入網絡前對圖像進行預處理操作。數據預處理如下：

(1)受采集環境影響，會采集到部分黑或全黑的眼底圖像，這些數據對訓練網絡沒有意義，將這些數據刪除。如圖8(a)所示。

(2)去除眼底視網膜圖像周圍黑邊。如圖8(b)所示。

(3)對圖像進行歸一化處理，以減小光線不均勻造成的干擾。如圖8(c)所示。

(4)對圖像進行直方圖均衡化處理，即對圖像進行線性拉伸，重新分配圖像像素元值，減少光線引起的噪聲，使圖像表現出具有的最大特征信息。如圖8(d)所示。

(5)由于每種類別數據量的失衡，采用數據增強方法增加負樣本數量。主要通過旋轉(90°、180°、270°)圖像、翻轉數據、平移的方法來增加負樣本數量。使每種類別數量基本相同，從而解決樣本數量失衡問題。如圖8(e)、圖8(f)所示。

圖8 數據預處理對比

(6)為了減少模擬實驗的計算量，將訓練數據的分辨率大小調整為512×512與256×256，其中256×256通過縮放512×512方式得到。

3.2 實驗設置

將預處理后的數據進行劃分，將80%的數據作為訓練集用于訓練網絡與參數學習，并在訓練過程中采取5倍交叉驗證驗證網絡在訓練過程中是否發生過擬合。20%的數據作為測試集用于測試模型的識別與泛化能力。使用不同分辨率圖像交替訓練網絡100個周期，反饋學習對模型參數進行調優時，使用小學習率的SGD算法對網絡進行調優。

本文設置兩組對比實驗。第一組實驗：為了驗證聚集殘差網絡(ResNext)和多尺度ResNext網絡分類效果，在相同環境下使用相同數據集分別對網絡進行訓練對比。第二組實驗為多尺度ResNext網絡與傳統經典DR分類方法進行對比。

3.3 實驗結果與分析

3.3.1 評價指標

參考相關領域研究者文獻，本文通過分類準確率(ACC)、AUC值、特異性(Specicity)與靈敏度(Sensiti-vity)對模型分類效果進行評估?；诙喾诸惸Ｐ?，定義在統計真陽性(TP)、假陽性(FP)、真陰性(TN)和假陰性(FN)時，當輸入無DR眼底圖片時，模型分類為正常時則為真陽性，分類為其它類別時則為假陽性。當輸入一個患有DR眼底圖片時，模型分類為患有DR的為真陰性，分類為正常時為假陰性。統計如式(8)～式(10)所示

(8)

(9)

(10)

3.3.2 實驗結果

實驗一：

為了驗證多尺度網絡分類的有效性，選擇在相同的環境下，使用相同的數據集分別對兩種方法進行模擬實驗。從圖9中可以看出，由于本文使用遷移學習對模型參數進行初始化，初始準確率是高于殘差網絡的。本文模型收斂速度在前期沒有殘差網絡收斂速度快，隨后收斂速度逐漸加快。兩條曲線總體都朝著收斂方向上升。通過數據增強技術增加數據量，經過測試沒有發生過擬合。

圖9 實驗對比

實驗二：

為了評估本文的多尺度ResNext網絡模型分類的有效性，本文與使用相同數據集的經典方法進行比較。見表2，在分類準確率上本文方法是最好的，并且在特異性與靈敏度上都超過0.9，有更好的平衡性。表明多尺度ResNext網絡模型的分類性能優于傳統的經典算法。

表2 與4個經典方法的結果對比

4 結束語

糖尿病視網膜病變是糖尿病患者發生在眼部的一種并發癥疾病，如果在早期不給予治療極易導致失明。由于醫療水平與眼科醫生數量的限制，使用計算機輔助醫生進行準確診斷極其重要。本文提出使用多尺度卷積神經網絡和遷移學習，對眼底照片中患有糖尿病視網膜病變的嚴重程度進行分類。使用卷積神經網絡進行分類時，特征的自動提取減少了人工提取特征的誤差。模型使用遷移學習方法對模型參數進行初始化，加快了模型收斂速度。本文充分考慮深淺層特征的特點，使用多尺度特征用于網絡的學習以達到更好的分類效果。實驗中分類準確率最好結果為96.98%，其表明多尺度卷積神經網絡對眼底圖像患有DR的嚴重程度分類效果有所提升。

后續工作將采用多種卷積網絡共同決策的集成方法進行分類預測。在對DR分類時，由于類間差異性小，考慮加入注意力機制方法，提取特征時可以不斷地聚焦于最具辨別性區域從而提高分類的準確性。