基于3D全卷積網絡的腹部動脈CTA分割算法

紀玲玉,高永彬,趙呈陸,湯先華,徐凱成,徐嘉誠

(上海工程技術大學 電子電氣工程學院,上海 201620)

胃癌是我國最常見的腫瘤之一。我國的胃癌發病率及死亡率僅次于肝癌。進展期胃癌常伴有區域淋巴結受累，并且陽性淋巴結數目影響患者的生存率，因此手術后對淋巴結的清掃已成為治療的重要環節[1]。然而，胃癌進展期的淋巴結大多附著在動脈血管周圍，手術前需要判斷淋巴結和血管是否有浸潤、神經受侵的情況。當患者淋巴結腫大融合成塊，并且包裹在腹部動脈血管周圍時，如果仍采用手術治療，患者將面臨較大的風險，甚至有生命危險，因此對動脈血管進行精準分割就顯得尤為重要。目前針對胃癌淋巴結周圍動脈血管的研究甚少，主要是因為腹部動脈血管分支繁多，紋理信息弱，組織間粘連情況復雜。少數研究采用的是傳統方法，例如基于邊緣的分割方法、基于區域的分割方法、基于水平集的分割方法等[2-3]。然而，傳統的分割方法耗時耗力且分割精度低。近年來，深度學習的方法逐漸被應用到醫學圖像分割中，其中卷積神經網絡(Convolutional Neural Network，CNN)在圖像分割和檢測中獲得了較好的應用效果。與傳統方法不同的是，深度學習可以從大量的訓練數據中自動學習目標的外觀模型及內部特征，并用學習到的特征進行預測[4]。為了提高動脈血管分割精度，本文采用卷積神經網絡的方法進行腹部動脈血管的分割。

1 相關工作

圖像分割是圖像分析和處理的關鍵一步，是計算機視覺的基礎。所謂圖像分割是指根據灰度、彩色、空間紋理、幾何形狀等特征把圖像劃分成若干個互不相交的區域，使得這些特征在同一區域內表現出一致性或相似性，而在不同區域間表現出明顯的不同。目前圖像分割方法大多是傳統分割方法和深度學習的方法。傳統方法的分割主要是基于水平集方法以及基于模型和統計學的方法：文獻[5]利用水平集的方法對MR圖像的大腸癌進行分割；文獻[6]利用水平集方法對醫學圖像進行分割和測量；文獻[7]利用主動輪廓模型和卡爾曼濾波器進行血管分割和跟蹤。這些方法的缺點是需要先驗知識進行輪廓的初始化才能達到分割效果，分割精度較低。

近年來，伴隨著卷積神經網絡在語義分割方面的應用，各種變體網絡被逐漸應用到醫學圖像分割領域。CNN是神經網絡的一個分支，由許多層組成，每一層執行特定的操作，例如卷積、池化、損失計算等。通過改變網絡深度和卷積層數，相繼出現了AlexNet[8]、VGGNet[9]、GoogleNet[10]和ResNet[11]等網絡。與普通圖像相比，醫學圖像的結構更加復雜，分割目標也更小，導致上述早期網絡不能實現較好的分割效果。文獻[12]提出了全卷積網絡(Fully Convolutional Network，FCN)。FCN舍棄了全連接層(Full Connection Layer，FC)，全部用卷積層構建網絡，通過使用轉置卷積以及不同層次特征融合的策略，使得網絡輸出為輸入圖像的預測掩碼，大幅度提高了效率和精度。文獻[13]在FCN網絡的基礎上加入了跳躍連接(U-Net)，將下采樣和上采樣相連接，有效縮小編碼器和解碼器的特征圖之間可能存在語義差距。U-Net網絡是首次成功應用在醫學圖像分割的卷積神經網絡，之后的醫學圖像分割網絡都是在U-Net的基礎上進行不同形式的改進。H-DenseUNet網絡[14]利用殘差網絡(Residual Network，ResNet)[15]的思想進行CT圖像上肝臟腫瘤的分割，有效利用了空間信息，減少了計算成本。Y-Net網絡[16]與U-Net網絡不同，其多了一個編碼器，并且一個編碼器采用了預訓練好的VGG19權值。文獻[17]在U-Net的基礎上加入了注意力模塊和空洞金字塔池來提升腺體細胞圖像分割精度。由于普通的二維卷積不能有效地利用圖像的時序信息，因此研究人員在二維卷積網絡中引入了遞歸神經網絡(Recurrent Neural Networks，RNN)的改進版-長短時間記憶(Long Short-Term Memory，LSTM)。LSTM主要處理圖像序列中時序信息，通過引入自環(Self-Loops)使得梯度流能夠長期保存。文獻[18]將FCN和RNN相結合應用于醫學圖像分割，將空間信息和時間信息結合到分割任務中。

盡管改進版的二維U-Net有良好的分割性能，但大多數醫學成像方式是計算機斷層掃描(Computed Tomography，CT)或磁共振成像(Magnetic Resonance Imaging，MRI)，它們通常是3D體積形式。利用二維卷積很可能丟失三維空間信息，因此許多改進的3D FCN網絡被應用于三維醫學圖像分割。文獻[19]使用3DUNet進行冠狀動脈血管分割。3DUNet是UNet的一個簡單擴展，被應用于三維圖像分割。相比于UNet，3DUNet僅用了3次下采樣操作，在每個卷積層后使用了批量歸一化。文獻[20]提出將VNet網絡用于MR圖像的前列腺分割。VNet與UNet類似，不同之處是VNet網絡的每層卷積之間進行了殘差連接，使網絡可以更好地收斂。Dense-VNet網絡[21]利用密集鏈接塊代替卷積層，緩解了梯度消失問題，加強了特征傳播，鼓勵特征復用，減少了參數量。近期，分段級聯式網絡被許多人提出。文獻[22]提出了腹部多器官分割與器官注意網絡及統計融合的方法。該算法分為兩個階段，第1階段進行網絡訓練得到概率圖，將得到的概率圖作為第2階段網絡輸入的補充，并且加入了輔助監督和反向連接，最后用多視圖模型EM算法融合。文獻[23]在3D FCN上使用多尺度金字塔和上下文思想進行腹部多器官的分割。上下文的思想主要是把前一個3D UNet的輸出融合到下一個3D UNet的輸入中，然后進行一次迭代。文獻[24]提出基于遷移學習的腹部多器官CT自動分割的深度學習方法。該方法由3個階段組成：在第1階段根據概率地圖集估計器官的大致位置；在第2階段中，將已經訓練的3D UNet應用于聚焦點；在第3階段中，采用后處理的方法清除碎片。文獻[25]利用級聯VNet分割腦腫瘤。任務分成兩個階段：第1階段主要是生成腫瘤掩碼，在生成掩碼之前加入形態濾波，去除邊緣噪聲；第2階段分成4分類，主要目的是分割出腫瘤。將第1個網絡分割的掩碼以及原始訓練集投入此網絡訓練，得到腫瘤分割。文獻[26]提出兩階段胰腺分割方法。第1階段位粗分割階段，用3D UNet進行了降采樣三維體。利用基于分割與定位之間的緊密關系，獲得粗尺度的分割掩碼后提取胰腺候選區域。然后，從估算的標簽中提取覆蓋胰腺的候選區域；第2階段為精細分割，用另一個3D UNet在第1階段生成的候選區域上進行訓練。

盡管已有一系列的血管分割方法被提出，但是針對胃癌受累淋巴結周圍動脈血管的分割方法較少，并且已有方法的分割效果欠佳。本文提出基于改進3D FCN的腹部動脈血管分割方法。該方法在網絡編碼路徑上構造多尺度的輸入，形成不同層次的感受野，并對側輸入卷積后的圖像與下采樣卷積后的圖像進行了融合，擴寬解碼路徑的信息量。隨著網絡不斷的卷積和池化，高層語義信息越來越少，本文將密集擴張卷積與通道注意模塊進行融合應用到三維網絡，更好地提取了高層特征信息。與傳統分割方法相比，使用三維卷積進行胃癌受累淋巴結周圍動脈血管的分割可以有效利用3D卷積分割的時序性，避免CT圖像幀與幀之間信息的丟失，提升了動脈血管分割精度。

2 方法設計

實驗的整體架構流程圖如圖1所示，其中虛線C表示融合操作，SED表示密集擴張卷積與通道注意力融合的模塊。網絡架構包括：(1)基礎網絡3D FCN；(2)多尺度輸入的融合操作；(3)密集擴張卷積和通道注意力的融合模塊。為了形成不同層次的感受野，獲取更多特征信息，本文采用平均池化對圖像進行自然降采樣，在編碼路徑中構造多尺度的輸入。為了更好地捕獲高層特征信息，本文在網絡中嵌入了SED。實驗的整體訓練過程為：將處理后的原始數據和標注數據送入網絡進行訓練，得到訓練好權重的網絡模型。然后，將測試集送入訓練好權重的網絡模型中進行預測，得到預測結果圖。

圖1 實驗整體架構圖Figure 1.Diagram of the overall experiment architecture

2.1 三維全卷積網絡

三維全卷積網絡結構如圖2所示，該網絡丟棄了傳統全卷積網絡的全連接層，并且采用了編碼器與解碼器的相連接的結構模式。與3DUNet類似，該網絡由收縮路徑和擴展路徑組成。不同之處在于該網絡每層卷積之間加入了殘差連接，用以防止網絡過擬合。整個架構通過4次下采樣和4次上采樣進行網絡分割，其中下采樣操作逐漸減少圖像的空間維度，而上采樣操作逐步修復物體的細節和空間維度。網絡中每層包含1～3個卷積，每個卷積核的大小為5×5×5，步長為1。下采樣和上采樣部分采用卷積核大小2×2×2和步長為2的卷積操作。為了解決網絡層數過多導致網絡泛化能力變差的問題，本文在每個卷積層之前加入PReLU激活函數和批量歸一化層。網絡在編碼和解碼部分加入殘差來提高網絡的性能。本文在網絡中加入了激活函數，使得網絡具有非線性映射的學習能力。為了使輸出卷積大小與輸入相同，最后一個卷積層使用1×1×1大小的卷積核。最后，通過應用Sigmoid激活函數將輸出轉換為前景和背景區域的概率值。本研究選用PReLU激活函數，其與ReLU函數相比具有更快的收斂速度，且能解決ReLU存在的神經元“壞死”情況。PReLU激活函數定義為

(1)

圖2 三維全卷積網絡的基礎結構Figure 2. Basic structure of 3D full convolutional network

其中，x表示輸入，訓練參數a學習控制x負數部分。

本文使用Dice loss系數作為損失函數。Dice函數能夠處理數據不均衡的問題，尤其在醫學圖像分割中有良好的分割性能。函數表達式如下

(2)

式中，N表示體素的總數量；i表示第1個體素；p表示預測的結果；g表示金標準(Ground-Truth，GT)。

2.2 多尺度特征提取

CNN卷積核的大小反映了感受野的范圍，加大卷積核的同時也增加了學習參數的數目。傳統卷積神經網絡的池化層有助于縮小圖像的尺寸和增加特征圖像的步長。然而，池化層會導致圖像細節丟失和小目標的不完整分割，且容易產生分割斷裂的現象。為了解決這些問題，文獻[27]提出擴張卷積方法，在不增加附加參數的情況下擴大感受野，從而保留了多尺度特征和細節信息。擴張卷積是一種帶孔的卷積，它能夠通過控制擴張率r來改變輸出特征映射的分辨率。對應于輸出特征層上y的每個像素i，擴張卷積的過程如下

(3)

其中，w是卷積核；k是卷積核大??；x是卷積輸入；r膨脹率決定了輸入信號的采樣間隔，代表了在輸入特征層中引入了r-1個孔，通過調整r可以自適應調整感受野大小。將卷積核大小為3×3×3的卷積層的膨脹率設置為1。隨著網絡模型分層深度的增加，圖像的細節信息會變得模糊。同時，網絡趨于復雜，會產生過擬合等問題。為了簡化網絡模型并保留多尺度目標特征和細節信息，本文提出了一種基于擴張卷積的網絡模型—密集擴張卷積[28]，如圖3所示。該模塊類似于Inception-ResNet[29]，利用帶有不同空洞率的多個卷積塊進行級聯，卷積核的大小為3×3×3，空洞率分別為1、3、5。在每個分支的卷積塊后進行了1×1×1的降低維度操作。該模塊能夠提取不同大小目標的特征信息。

圖3 密集擴張卷積塊Figure 3. Dense dilation convolution block

2.3 融入通道注意的多尺度特征提取

卷積神經網絡建立在卷積運算的基礎上，通過融合局部感受野內的空間信息和通道信息來提取特征信息。為了提高網絡的分割性能，許多現有的工作已經證實了強空間編碼的優勢。充分利用通道之間的關系可提取更多高層語義特征。文獻[30]專注于通道信息，提出了一種新穎的網絡架構單元“擠壓-提取”(Squeeze-and-Excitation，SE)，如圖4所示，其中FC1和FC2表示全連接層。該模塊通過建模通道之間的相互依賴關系，自適應地重新校準通道式的特征響應。

圖4 通道注意力模塊Figure 4. Channel attention module

SE模塊由3部分組成。利用通道特征的相互依賴關系的操作如下：

(1)擠壓(Squeeze)操作。順著空間維度進行特征壓縮，將每個二維的特征通道變成一個實數，這個實數某種程度上具有全局的感受野，并且輸出的維度和輸入的特征通道數相匹配。它表征著在特征通道上響應的全局分布，且使得靠近輸入的層也可以獲得全局的感受野。通過全局平均池化生成通道統計Zc，計算式為

(4)

其中，H×W表示特征的空間維度；c表示通道數；

(2)提取(Excitation)操作。提取操作類似于循環神經網絡中門的機制，通過參數w來為每個特征通道生成權重。其中參數w被學習用來顯式地建模特征通道間的相關性，其計算式為

sc=σ(W2δ(W1Zc))

(5)

(3)校正權值操作。該操作將上一步操作輸出的權重看做經過特征選擇后的每個特征通道的權重，然后通過乘法逐通道加權到先前的特征上，完成在通道維度上對原始特征的重標定，表達式如下

Xc=Fscale(fc,sc)

(6)

式中，X=[x1,x2，…，xc]；Fscale(fc,sc)表示sc和fc之間的通道相乘；fc表示輸入的特征圖。

由于密集擴張卷積中采用了大量通道來豐富語義特征的表達。受文獻[30]的影響，本文將密集擴張卷積與通道注意力模塊進行融合(簡稱SEC模塊)，如圖5所示。該操作可使密集擴張卷積更好地利用通道之間的關系，提取更多高層特征信息。本文在密集擴張卷積模塊的分類層上添加了監控信號，因此分類層上特征的每個通道都可以看作是一個特定的類響應，對聚合的多尺度特征進行特征重新校準。

圖5 融入通道注意的多尺度特征提取模塊Figure 5. Multi-scale feature extraction module with channel attention

3 實驗結果和分析

3.1 實驗數據

實驗所使用的數據均來至于上海市長征醫院。本文共使用50個實例數據，每個實例數據都包含了人體的整個腹部區域，且均為經過血管造影劑進行增強掃描后的圖像。實驗采用門脈期的動脈血管數據作為訓練集和測試集，此期每個病人的CT包括40～50張切片。原始CT圖像的大小是512×512，由于運行內存限制，將原始數據處理成256×256大小。本文對CT數據進行了預處理，將每個病人32張CT切片壓縮成一個mhd和raw格式文件。實驗采用40個實例1 280張圖像作為訓練集來訓練網絡權重，采用10個實例320張圖像作為測試集來預測實驗結果。本實驗的金標準(GT)是由多個專家對CT原數據圖像進行多次人工標記得到的平均結果。圖6顯示了不同病人動脈血管某一切片在CT圖像上的表現，左側數字(1)和(2)表示行號。圖6(a)～6(c)表示只出現主動脈的切片；圖6(d)～6(f)表示出現主動脈及其分支血管的切片，圖中箭頭指向血管。

圖6 不同病人CT動脈血管圖像Figure 6. Arteries CT images of different patients

3.2 實驗設置

實驗采用Python3編程語言，并采用Keras庫來實現模型。本文使用Ubuntu16.04系統和1個NVIDIA GPU(NVIDIA GTX1080Ti)作為訓練和測試平臺，采用Adam算法來優化網絡參數。訓練中，將epoch設置為500，將batch_size設置為1，初始學習率為0.000 01。

3.3 實驗評估

本文采用準確率(Accuracy，ACC)、特異性(Specificity，SP)、靈敏度(Sensitivity，SE)、Dice相似系數[31](Dice Similarity Coefficient，DSC)作為評估指標來評估腹部動脈血管的分割性能。ACC表示正確分類動脈血管和非動脈血管像素占整個圖像總像素的百分比。SP表示所有真正的非動脈血管像素中正確分類的非動脈血管像素的百分比。Sen表示正確分類動脈血管像素占真實動脈血管像素的百分比。上述指標的計算式如下

(7)

(8)

(9)

(10)

其中，TP表示真陽性；TN表示真陰性；FP表示假陽性；FN表示假陰性；G表示金標準(GT)；P表示預測的分割結果。

表1顯示了不同算法的分割結果。從表中可以看出，針對腹部動脈血管分割，本文所提方法在評估指標ACC、SP、SE和DSC上分別達到了99.97%、99.93%、81.20%和84.77%。與3DUNet相比，本文所提方法在各項指標中均有提升，特別是在SE和DSC上分別提升2.85%和3.79%。與AG-Vnet相比，本文方法得到的SE和DSC值分別提升了0.92%和1.30%。為了更清晰地觀察分割結果，圖7給出了不同方法分割結果的可視化效果圖，(1)～(5)行分別表示病人動脈血管的不同切片，第(1)行只包含主動脈，未出現動脈分支，剩余行包含主動脈和細小動脈分支。圖7(a)表示原始圖像的金標準，其余列分別表示不同算法的分割結果。圖7(b)表示使用3DUNet算法對腹部動脈血管的分割。圖7(c)表示使用VNet算法的分割結果。圖7(d)表示融入通道注意模塊的VNet算法的分割結果。圖7(e)表示加入注意力機制(Attention，AG)[32]的VNet算法分割結果。圖7(f)表示本文所提方法的分割結果。從圖7可以看出，其他方法分割的動脈血管存在多分(非血管部分被當作血管分割)和漏分(血管部分沒有被有效分割)的現象較多，而所提方法對動脈血管多分和漏分的現象相對較少。為了更直觀地進行血管細節對比，圖中使用虛線方框強調了血管分割的細節部分。

表1 不同算法在腹部動脈血管的分割結果

圖7 不同方法不同病人血管分割結果Figure 7. Results of patients vessel segmentation with different methods

為了便于判斷胃癌受累淋巴結與周圍動脈血管的關系，本文對分割出的血管使用醫學重建工具進行重建。重建出來的血管能夠更加細致地描繪血管的形態，并且對醫生進行三維虛擬手術有重要的作用，可以輔助修正手術規劃，提高手術的效率和成功率。圖8展現了不同病人的血管重建效果，圖8(a)～圖8(d)分別表示不同病人的血管。

圖8 腹部血管重建結果圖Figure 8. Abdominal vascular reconstruction results

4 結束語

本文針對胃癌受累淋巴結周圍動脈血管分割精度低、易斷裂的問題，提出一種基于3D卷積網絡的動脈血管分割算法。該算法通過調整網絡架構來提升分割性能，首先構造多尺度輸入，形成不同感受野，捕獲更多特性信息；然后，將密集擴張卷積運用到3D網絡來捕獲不同尺寸的血管特征；最后，利用密集擴張卷積與通道注意的融合，獲取高層特征信息，使血管分割更加精準。與其他分割算法相比，本文所提方法能夠提高腹部血管分割精度，具有一定的可行性。