融合深度殘差結構的Dense-UNet腦腫瘤分割

王 瑩，朱家明，徐婷宜，宋 梟

(揚州大學 信息工程學院，江蘇 揚州 225009)

0 引言

醫學圖像分割是醫學圖像處理分析的重要環節，旨在分割出某些特定的區域，是臨床醫療和病理研究的可靠依據，例如器官分割、腫瘤分割等。腫瘤分割由于個體間形狀、紋理等差異大，難以用直接匹配的方式找到它們之間的共性[1]。與自然圖像分割相比，腦腫瘤分割的限制在于圖像采集過程中的技術限制和不可控因素造成的偽影和噪聲。磁共振成像(Magnetic Resonance Imaging,MRI)是根據人體內部在不同環境下釋放的能量衰減，并由電磁波獲取構建圖像，相比于計算機斷層掃描(Computed Tomography，CT)成像,腦部MRI圖像的對比度更高[2]，并且保證了相鄰切片之間腦組織的信息連續性，使得三維卷積可以同時整合矢狀面、軸面和冠狀面的信息，為深度學習實現醫學圖像分割提供了可能[3]。但腦部腫瘤MRI中,通常是根據成像的像素灰度變化區分腫瘤邊界與其他正常組織，醫生很難通過肉眼判斷出圖像上是灰度級漸變區域還是邊界雙輪廓范圍[4]。

二維腦部腫瘤傳統分割方式雖然取得了不錯的成績，但在分割過程中需要人工干預，導致分割效率不高。近年來，卷積神經網絡在醫學圖像分割中被廣泛應用，Pereira等[5]提出了基于卷積神經網絡的腦部腫瘤分割，在分割過程中不需要人為輔助，可以直接進行特征提取。Simonyan等[6]使用3×3的小卷積核來構建更深的卷積網絡，通過堆疊更多的卷積層獲得與大核卷積相同的感知域。Vittikop等[7]將UNet用于MRI腦部圖像分割，并結合高分辨率圖像和類識別信息，使分割結果達到了較高的水平。Mckinley等[8]使用擴張卷積增加感受域，使梯度可以很容易地傳遞到深層網絡。Wang等[9]研究了測試時間增加技術，通過測試不同的網絡結構證明了它可以提高腦腫瘤分割的整體性能。

以上提出的分割方法在特征提取過程中多以單一尺寸的卷積操作為主，且對圖像特征直接拼接，使得信息冗余，各層之間聯系不夠緊密，難以獲得上下文信息，導致在面對復雜的腦部腫瘤分割情況時特征提取不準確。針對上述方法單一連接造成的過擬合等問題，本文將UNet的跳躍連接改為密集連接，加強淺層網絡和深層網絡的特征融合，加快網絡的收斂速度。同時，采用含有注意力機制和軟閾值化函數的深度殘差網絡作為Dense-UNet子模塊[10]，解決了MRI圖像中不可避免地出現運動偽影和噪聲等現象[11]，提高了分割精度。

1 相關算法

1.1 密集跳躍連接

跳躍連接(DenseNet)有助于恢復完整空間分辨率的能力，從而使全卷積的方法適用于語義分割[12]。傳統的L層神經網絡只有L個連接，DenseNet的結構則有L×(L+1)/2個連接，每層都和前面的所有層進行連接。對于每個圖層，所有前面圖層的要素圖都被視為單獨的輸入，而它們自己的要素圖則作為輸入傳遞給所有后續圖層。因此，DenseNet的正向傳播還包括跨層連接：

xl=Hl([x0,x1,…,xl]),

(1)

式中，Hl為l層的非線性變換；[x0,x1,…,xl]為所有先前層的輸出的串聯。將跨層連接應用到UNet網絡中來剔除冗余的特征從而減少參數量，且低級特征和高級特征之間的信息流使網絡獲得了更好的性能。DenseNet解決了深度學習梯度消失問題，加強了特征的連接和傳播，減少重復使用特征和計算量，提高了網絡效率[13]，其結構如圖1所示。

圖1 密集跳躍連接結構Fig.1 Structure of dense skip connections

1.2 標準化層

批量歸一化(Batch Normalization，BN)加速了模型訓練，提升了模型效果[14]。由于在訓練批次的基礎上進行中間統計量計算，會使得BN層在訓練過程中過分依賴訓練批次，導致標準化，使訓練和測試結果產生偏差。批次較小時，模型訓練效果差。訓練模型受限于硬件設備，難以采用較大的訓練批次。

本文采用Filter Denseponse Normalization (FRN)作為標準化層[15]，FRN層包含歸一化層和激活層，其結構如圖2所示。該結構消除了模型訓練時對訓練批次的依賴，而且對于較大的模型性能有較大優勢。在訓練模型的過程中，FRN層之后需要進行平移與縮放。本文采用閾值化激活函數TLU，不僅消除去均值后結果任意偏移0值情況，還避免FRN后接ReLU激活層產生更多0值現象，其表達式為：

z=max(y,τ)=ReLU(y-τ)+t，

(2)

式中，y,τ是2個輸入；t是一個可學習的參數。閾值化函數結構如圖2所示。

圖2 閾值化激活函數結構Fig.2 Structure of the thresholding activation function

若輸入B={x1,x2,…,xm}是尺寸為m的小批量處理上的x值[16]，則小批量的平均值及小批量的方差為：

(3)

(4)

其歸一化為：

(5)

式中，ε為常數。

輸出yi為：

(6)

式中，γ,β為學習得來的權重參數。

2 本文模型

2.1 殘差模塊

本文使用的深度殘差網絡是在原有的殘差網絡中融入了軟閾值函數和注意力機制，其原理是通過注意力機制注意到不必要的特征，利用軟閾值函數將其置0，這種方式有助于神經網絡從圖像中提取有效特征[17]。

軟閾值化是選定某個閾值，該閾值應大于0且小于等于輸入的最大值，否則輸出會全部為0。將圖像中絕對值與其進行對比，將絕對值小于該閾值特征置0，則剩余特征值向0收縮[18]，表示為：

(7)

對其求導為：

(8)

由式(7)可知，軟閾值化的導數非0即1，幫助網絡消除噪聲影響的同時，減小了模型訓練的梯度消失和梯度彌散。

本文將SENet注意力機制融入到殘差網絡中來增加網絡的權重。它通過一個小型網絡得到一組權重，再將此權重與各個通道的特征值相乘來改變特征的大小。簡單來說就是先評估各個特征通道的重要程度，然后根據其重要程度賦予各個特征不同的權重，使得每個樣本的權值系數都是根據網絡學習得到的，所以每個樣本都有自己獨特的權值系數,其結構如圖3所示。

圖3 注意力機制結構Fig.3 Structure of attention mechanism

2.2 殘差收縮網絡

本文采用了多層殘差，每層中包含一個3×3的卷積層、一個標準化層和一個激活函數。本文在原來DenseNet的基礎上添加了注意力機制和軟閾值函數，提高了特征采集率，有效地防止了網絡退化,其結構如圖4所示。

圖4 改進殘差模塊結構Fig.4 Improved residual module structure

2.3 分割網絡

本文將原始卷積模塊改進為殘差模塊和密集跳躍連接，采用端對端的網絡結構[19]。編碼器由多個殘差模塊和最大池化層組成，用于提取特征和降維[20]。每個殘差塊包含2個3×3的卷積層、2個FRN、1個注意力機制、1個軟閾值函數和2個TLU連接。最大池化層為2×2，對特定維度進行池化。跳躍連接改進為密集跳躍連接，其中包括長連接和短連接。長連接連接同一行首尾的殘差塊，短連接連接同一行中間部分的殘差塊。密集跳躍連接能防止訓練過程中特征的丟失，也有助于深層信息和淺層信息的融合。解碼器部分由殘差塊和上采樣層組成，卷積塊和編碼器相同，用于圖像的重建和尺度恢復。上采樣層的尺寸也為2×2，可當成是最大池化層的反變換。最后使用1×1的卷積層，將向量映射到所需的類。網絡結構如圖5所示。

圖5 網絡結構Fig.5 Network structure

本文改進的網絡結構改進了殘差模塊，解決了傳統網絡的網絡退化問題，有助于抑制噪聲提取圖像特征。跳躍連接改為密集跳躍連接有助于淺層信息和深層信息的傳遞，減小編碼路徑和解碼路徑特征語義之間的差距，使神經網絡的設計具有更少的參數，防止性能降低。腦腫瘤圖像分割流程如下。

腦腫瘤MRI分割流程輸入:BraTS2018數據集D,遮罩數組M,輸入圖像為x(i,j)in,i表示行,j表示列,語義分割標定xseg,φ表示下采樣,φ-1表示上采樣,學習率α=10-3輸出:腦腫瘤分割圖等流程:1.從數據集D中隨機提取樣本圖片xex,對圖片進行數據增強,大小設定為160 pixel×160 pixel,獲得輸入樣本x(i,j)in2.把x(i,j)in作為輸入,送入含有注意力機制和軟閾值化函數的殘差塊,獲得不同尺寸的輸出x(i,j)out3.對每1行第1個模塊先實行下采樣,再進行上采樣輸出為x(i,1)out=φ-1φ(x(i-1,1)out)[],i>14.當 i>1,j>1時,x(i,j)out=φ-1(x(i,j)in)5.對于整體網絡來說x(i,j)in=x(i,j-1)out+x(i,j-2)out+…+x(i,j-n)out+x(i+1,j-1)out,(n

3 實驗分析

3.1 實驗數據及環境

本文使用BraTS2018中的部分數據集，該數據集包含245名高級別膠質瘤(HGG)患者MRI圖像和80名低級別膠質瘤(LGG)患者的MRI圖像，每名患者包含配準后的4種模態分割和真實分割的標簽圖像，每個模態和真實分割標簽大小均為240 pixel×240 pixel×155 pixel。每組數據均有4個標簽分別為增強腫瘤、水腫、壞死和背景。將實驗數據集進行剪裁、統一化和剔除無病灶切片等預處理之后，圖像的尺寸為160 pixel×160 pixel，并用翻轉、旋轉和添加噪聲等方式進行數據增強。本文用k折交叉驗證避免數據偏差，將180名HGG患者圖像和65名LGG患者圖像作為訓練樣本，65名HGG患者圖像和15名LGG患者圖像作為驗證樣本。為了評估的目的，注釋被合并成3個二元子區域，包括全腫瘤區域(WT)、腫瘤核心區域(TC)和增強腫瘤區域(ET)。腦腫瘤部分數據集如圖6所示。

本實驗在個人計算機Windows10操作系統上搭建實驗平臺，使用PyTorch框架訓練網絡。訓練進行了80個時期，最小批次為8。學習率為0.000 1，采用Adam優化算法,在解碼階段使用批量隨機梯度下降法優化。

(a) FLair圖像

(c) T1ce圖像

(d) T2圖像

(e) 真實標簽圖像

3.2 評價指標

本文用Dice系數、陽性預測值(PPV)、敏感度(Sensitivity)和Hausdorff距離作為評價指標。Dice,PPV和Sensitivity用來評估真實值和預測結果二者內部填充像素的重疊情況，表示為：

(9)

(10)

(11)

式中，TP為真陽性；TN為真陰性；FP為假陽性；FN為假陰性。

Hausdorff距離用來計算真實邊界值和預測區域邊界的距離：

Haus(T,P)=max[supt∈Tinfp∈Pd(t,p),supp∈Pinft∈Td(t,p)],

(12)

式中，sup代表上確界；inf代表下確界；T為人工標注的腫瘤區域；t為在T上的點；P為預測的腫瘤區域；p為在P上的點；d(t,p)表示用來計算兩點之間距離的函數。

3.3 結果分析

網絡訓練輸出為每一位患者的分割圖，包含整體腫瘤區域、壞死區域、增強腫瘤區域和背景區域4類分割標簽。HGG分割圖如圖7所示，LGG患者分割圖如圖8所示。

(a) FLair

(b) T1

(c) T1ce

(d) T2

(e) UNet

(f) Dense-UNet

(g) 本文

(h) 真實

(a) FLair

(b) T1

(c) T1ce

(d) T2

(e) UNet

(f) Dense-UNet

(g) 本文

(h) 真實

從圖7和圖8中可以看出,UNet網絡能實現分割背景和分割任務的要求，但壞死區域存在被增強區域覆蓋的現象，整體腫瘤區域邊緣模糊，有部分腫瘤區域分割錯誤，還有一些孤立的散點，分割效果一般。Dense-UNet分割效果比UNet效果要好，邊緣部分分割效果明顯比UNet分割更精細，錯誤分割率降低，但是增強區仍有部分粘連，而且存在一些過分分割現象。本文模型的分割效果接近真實分割，整體腫瘤區域較為完整地從背景區域分割出來。腫瘤中間的壞死區域與增強區域和水腫區域不存在粘連情況，特征信息也未丟失，能有效地分出邊界區域。在最難分割的增強區域能夠分割出點狀、不連續和肉眼難以分割的細小腫瘤。3種模型分割的評估結果如表1所示。

表1 3種模型腫瘤分割結果評價指標

由表1可以看出，Dense-UNet的分割性能指標較原有的UNet模型均有所提高，這由于Dense-UNet網絡中具有密集結構，所以網絡結構更加深入聯合性更強，總體分割效果明顯優于UNet網絡。Dice和PPV中WT，TC和ET值均有較小范圍的提升，而Sensitivity中整個WT和ET的值基本沒變，說明仍有信息特征在分割過程中丟失，分割效果仍然不佳。在Hausdorff中，評價指標數值逐漸變小，說明真實邊界與預測邊界的距離縮小。本文算法在分割性能指標Dice，PPV和Sensitivity下的WT和TC較Dense-UNet分別提高0.01，0.02，0.03左右，ET分別提高0.02，0.08，0.05左右。Hausdorff評價指標下的3個指標均減小0.1左右，說明本文在各項性能上都有明顯的進步。本文網絡在Dense-UNet的基礎上將編碼器和解碼器部分改為深度殘差模塊，使得網絡退化問題消失，在分割過程中網絡能充分提取特征信息并完整恢復。密集跳躍連接有助于減少信息丟失問題，上下文信息的傳輸更密切。分割結果顯示WT,TC和ET的Dice評分分別為0.846,0.813,0.804，在準確率和敏感度方面也明顯優于其他算法。

圖9選取了圖像中血管的分叉處和細小血管的局部區域進行放大對比，虛線框為本節算法對微小血管分割的對比情況。將本節分割結果圖9(d),(h)和真實分割圖像(a),(e)，UNet分割圖像(b),(f)以及Dense-UNet分割圖像(c),(g)進行對比。

(a) 真實分割

(b) UNet分割

(c) Dense-UNet分割

(d) 本章分割

(e) 真實分割細節

(f) UNet分割細節

(g) Dense-UNet分割細節

(h) 本章分割細節

由圖9可直觀看出，原始的UNet分割不同區域時邊界模糊，整個WT，ET兩部分區域粘連，邊界平滑分割不精確；Dense-UNet基本能把不同目標區域劃分開，但仍存在區域識別錯誤現象，將背景區域識別為WT，在臨床診斷中會有很大的影響；而本小節算法分割的圖像，WT,TC和ET三部分清晰分明，與手動分割結果大致相似，輪廓相對較為清晰，具有良好的分割效果。

為了進一步表現本文算法的優越性，將本文算法與其他方法比較，如表2所示。

表2 不同腫瘤的分割評價指標

其中,Dice指標結果達到0.846 3,0.813 0,0.804 2,Hausdorff指標結果達到2.544 8，1.607 7，2.646 9。與其他方法相比，Dice指標提高了0.01～0.7，Hausdorff降低了0.1～0.8，整體分割性能較好。

4 結束語

本文在3種不同形式的UNet結構上進行實驗對比研究，發現UNet網絡分割過程中出現上下文信息缺失，于是在網絡中加入密集跳躍連接，完整提取了上下文信息并將信息還原[21]。將深度殘差收縮結構融入到Dense-UNet網絡中,從而改善了原來結構存在的過擬合情況[22]。從實驗結果可知，本文提出的網絡在分割過程中識別度更加準確，泛化能力也更強，能較為準確地進行圖像分割工作。但同時本文算法的計算量較大，檢測時間比較長，還需要進一步提高訓練速度。