基于U-Net改進的肺結節3D分割網絡

夏家權

（福州大學 先進制造學院，福建 福州 350108）

0 引 言

肺癌是最具侵襲性的癌癥之一，其5年生存率僅為19%[1]。肺癌也是發達國家和發展中國家男性殘疾調整生命年的主要原因[2]。由于空氣污染和高吸煙率，巴西、俄羅斯、印度、中國和南非的肺癌發病率和死亡率正在上升[3]。肺結節的早期發現和診斷可以大大降低肺癌的死亡率。雖然晚期肺癌患者的生存率較低，但Ⅰ期肺癌的10年生存率高達75%。因此，肺癌的檢測、診斷和早期治療對患者的生存至關重要。胸部螺旋計算機斷層成像（Computer Tomography，CT）篩查作為一種無創方法，是肺癌檢測的有效手段[4]。結節的CT圖像特征可以幫助放射科醫師評估惡性結節的風險。由于形態學、紋理或灰度特征的定量測量容易受到周圍環境的干擾，因此有必要進行精確的結節邊緣分割。一種具有健壯性且準確的自動肺結節分割方法在避免煩瑣的人工處理和減少觀察者之間的差異方面具有臨床意義。

肺結節分割方法大體上可分為傳統方法和深度學習方法。傳統方法中，有REN H[5]等人提出改進的區域生長方法，只需給定一個坐標點，通過評估周圍像素與該點的相似性判斷生長條件，當連續切片中目標區域的平均CT值滿足一定條件時，自動分割后一張切片內的結節。但在多條血管貫穿結節等復雜情況下，該方法會造成欠分割。FARHANGI M M[6]等將結節的先驗形狀表示為訓練形狀的稀疏線性組合，集成到level set[7]目標函數中實現了結節3D分割。該方法普適性較好，但函數的非自動初始化差強人意。肺結節內部密度不均勻，外部形態多樣化為其分割帶來了困難，且部分結節與血管、胸膜等結構粘連，更增加了其分割難度，以致目前仍缺乏能適用于所有類型結節分割的傳統方法。

相較于傳統的圖像分割算法，基于深度學習的圖像分割方法可以適應復雜多變的環境，在各種場景的圖像分割任務中表現出了更高的精度和健壯性。深度學習方法中，SONG J[8]等提出了一種基于WGAN-GP[9]的肺結節分割模型，使用修改后的WGAN-GP作為生成網絡，結合Faster-RCNN[10]剔除假陽性，在LIDC數據集中取得82.05%的肺實質尺度結節分割精度，但該方法對GGN分割效果仍然欠佳。NI Y[11]等提出兩階段分割方法，第一階段使用3D分割網絡進行結節定位，第二階段基于多視圖的2.5D網絡進行精分割，在公共數據集LIDCIDRI上的肺實質尺度結節分割Dice相似系數（Dice Similarity Cofficient，DSC）為83.1%。WANG S[12]等提出了一種基于邊緣增強的雙路徑肺結節分割模型。該模型由全局路徑、邊緣路徑和特征聚合模塊組成。其中，邊緣路徑引入邊緣檢測算子構建肺結節邊緣增強數據集，提高了數據集利用率，同時提供了更多目標病灶邊界的先驗知識；最后設計特征聚合模塊，融合兩條路徑的輸出，得到最終的分割結果。該模型在公共數據集LIDC-IDRI上的結節尺度分割平均DSC為89.86%。對于使用深度學習進行肺結節分割，一方面，所使用的網絡模型對肺結節進行分割的過程中網絡模型中超參數的設置方式有待改進；另一方面，對于結節的分割效果，尤其是基于CT的端到端全自動分割效果仍有很大提升空間。此外，結節異質性強導致不同類型的結節分割效果差距大，如空洞型結節、磨玻璃結節及與其他組織有粘連的結節分割效果普遍不佳[13]。

盡管以上這些工作通過引入先進的模塊和復雜的結構來提高對新冠病灶的分割精度，并且在各自的數據集上表現優于傳統模型，但是，由于肺結節的大小、分布和結節內部的異質性，很容易導致邊界過度分割或欠分割。本文提出的方法可以有效地解決肺結節邊界分割不清的問題。本文的主要工作如下。

（1）在3D U-Net[14]的基礎上提出全局注意力上采樣模塊（Global Attention Upsample，GAU）。GAU是一種基于注意力的高效解碼器，用于融合低分辨率和高分辨率的信息，通過global average pooling操作，GAU可以提取深層全局信息，對淺層特征進行加權處理。GAU模塊不僅能高效地適應不同尺度的特征映射，而且能以簡單的方式為淺層特征的映射提供指導信息。

（2）添加了門單元注意力（Gateunit）。門單元集成了多尺度特征和編解碼特征，但空間信息在編碼器自上而下的結構中會逐步丟失。為了防止信息丟失，本文采用一種空間注意力機制來逐步抑制不同特征尺度的不相關背景信息，并能將注意力集中在前景中。

（3）通過結合U-Net結構、多尺度特征提取、GAU以及Gateunit，本文構建的網絡的整體結構仍然保持著U型的形狀。

1 方 法

因計算機圖形處理器（Graphics Processing Unit，GPU）顯存限制，本方法需要對輸入網絡的CT圖像進行裁剪，裁剪后為32×32×32的立方體，最后輸出時，再進行拼接，形成完整模型結果。

本文提出的模型結構由編碼器和解碼器構成，如圖1所示，分別使用了不同模塊來構建網絡。通過結合U-Net結構、多尺度特征提取、GAU及Gateunit，構建網絡的整體結構，仍然保持著U形結構。編碼器模塊逐漸降低特征圖的分辨率，捕捉深層次的語義信息，同時對輸入進行三維池化和多尺度特征提取，并與編碼中自上而下的特征輸入Gateunit中，作為編碼器中新的輸入特征，可以提高分割性能，也不會增加太多的計算成本。新的輸入特征輸入GAU中，融合了淺層特征與深層特征的GAU與解碼器模塊則一步步地恢復空間信息。

圖1 模型結構圖

1.1 多尺度特征提取

為了綜合考慮局部信息與全局信息，本文使用膨脹卷積來捕捉輸入圖像的多尺度特征。在該模塊中，分別使用膨脹率為1、2、3的卷積來捕捉多尺度信息，輸出特征圖數量為n，膨脹率為2和3的卷積用于擴大感受野。在批量歸一化和ReLU激活操作后，將它們的輸出連接起來，用3n個大小為3×3×3的卷積核來融合多尺度信息，輸出特征圖數量為n，將融合后的多尺度特征與淺層特征相加。

1.2 全局注意力上采樣模塊

GAU是一種基于注意力的高效解碼器，用于融合低分辨率和高分辨率的信息。通過global average pooling操作，GAU可以提取深層全局信息對淺層特征進行加權處理。因為相比于淺層特征，深層特征具有更加豐富的語義信息，可以為淺層特征提供指導。在所示模塊中，對淺層特征進行3×3×3卷積運算，以減少特征圖中的通道數量。由深層特征產生的全局信息依次經過1×1×1卷積、批量歸一化和非線性處理，然后與淺層特征相乘。最后，深層特征被添加到加權的淺層特征中，并進行逐步的上采樣過程。GAU模塊不僅能高效地適應不同尺度的特征映射，而且能以簡單的方式為淺層特征的映射提供指導信息。

1.3 門單元注意力

門單元集成了多尺度特征和編解碼特征，但空間信息在編碼器自上而下的結構中會逐步丟失。為了防止信息丟失，本文采用一種空間注意力機制來逐步抑制不同特征尺度的不相關背景信息，并能將注意力集中在前景中。

1.4 損失函數

Dice系數是一種集合相似度度量函數，通常用于計算兩個樣本的相似度，取值為[0，1]，在圖像處理過程中一般用在評估區域重疊狀況，可用于評價模型分割性能。Dice系數越靠近1，代表分割結果與金標準越接近，說明分割效果越好。Dice Loss為1減去Dice系數。作為損失函數，Dice Loss越靠近0，代表模型的分割性能越好。經過smoothing系數加權的Dice Loss，以下簡稱Ld，可避免計算過程中分母為0的情況，并可以減少訓練過程中的過擬合。Ld的計算公式為

式中：A代表分割結果為陽性的區域，B代表分割金標準中為陽性的區域，S為平滑系數。

使用Ld作為模型損失函數，當出現分割的前景區域過小時，過小的分割誤差會導致Ld出現巨大幅度改變，給訓練過程帶來極大的不穩定性。常用的交叉熵損失函數LCE的計算公式為

在肺結節分割任務中，交叉熵損失會使模型對背景部分產生更多的關注，因為相較于前景，背景區域大許多，對學習效率十分不利，將導致模型不收斂。本文使用Ld和LCE的聯合函數L作為模型的總損失函數。

式中：λ代表Ld和LCE的占比，本文取λ=0.5。

1.5 評價指標

為了評價模型預測結果的好壞，本文采用Dice系數D作為訓練的評價指標，其計算公式為

此外，為了更好地對預測結果進行評價，本文還引入了參數Precision（P），表示在模型預測是Positive的所有結果中，預測正確的比重；Recall（R），表示所有樣本的正例中，模型被預測正確的比重。

2 實 驗

2.1 實驗環境與數據集

本文的實驗使用Tesla V100服務器顯卡進行訓練，所使用的深度學習框架為Pytorch 3.6。所有的實驗都在此環境下進行訓練。

本文選用公開的LIDC-IDRI（The Lung Image Database Consortium）數據集。該數據集有1 018例CT，排除了截面厚度為3 mm以上的病例以及其他質量較差的病例，最后篩選出888例可供使用的病例。

實驗的對比網絡模型采用了U-Net、SegNet和Attention U-Net的3D結構模型。本文使用相同的裁剪與縫合方法，將888例數據中的700例作為訓練集，88例作為驗證集，100例作為測試集，初試學習率均為0.001，訓練輪數為200 epoch。

2.2 肺實質尺度下的結節分割實驗

表1為肺結節分割實驗的相關數據。其中，DICE、P、R指標均為各模型下進行5次實驗后所取的平均值。

表1 肺實質尺度上的對比模型分割數據

實驗中，模型輸入均為32×32×32的結節立方體，由一副完整的CT裁剪而來。其中所有結節立方體均含有結節體素。

2.3 實驗結果分析

圖2為肺結節分割實驗中，模型輸入、結節標簽、對比模型分割結果和本文所提出GMUNet的分割結果圖。因為肺結節占整副CT的比例很小，故放大結節區域作為對比顯示，均取縫合后的結節中心Z軸切片展示。從第一組圖可以看到，對于直徑較小的結節，由于前背景不平衡過大，U-Net、SegNet、Attention U-Net模型均對結節有欠分割或過分割現象，本文模型所預測的輪廓模型最接近真實標簽。第二組圖，結節直徑較大，此種情況對分割模型的邊緣計算性能有很高要求?？梢钥吹?，U-Net對于結節左上方的細長突出部分分割不準確，欠分割；SegNet、Attention U-Net則在結節下方過分割，且結節邊緣有明顯的畸變；本文提出的模型不僅準確分割出了結節左上細長部分，且對結節輪廓保持了較好的分割性能。第三、四組圖分別是血管粘連型結節與空洞型結節，本文模型以及所對比模型均未對血管以及空洞部分進行過分割，可以看出，3D模型有效地利用了結節的空間信息，做出了準確分割，并且可以很明顯看出，本文提出的模型最接近于結節標簽。

圖2 肺結節輪廓分割結果圖

通過實驗可以看出，本文結合U-Net結構、多尺度特征提取、GAU及Gateunit，捕捉深層次的語義信息，同時對輸入進行三維池化和多尺度特征提取，結合3D模型結構，對結節的空間信息進行了充分利用，顯著提高分割了性能。

3 結 語

本文基于改進的3D U-Net提出了肺結節分割的3D網絡模型，采用了多尺度的特征方法以綜合考慮局部信息和全局信息，所添加的全局注意力上采樣模塊能夠最大限度地適應不同尺寸的特征映射；解決了空間信息在編碼器自上而下的結構中會逐步丟失的問題，采用一種空間注意力機制來逐步抑制不同特征尺度的不相關背景信息，將注意力集中在前景之中。通過實驗數據與對比圖可以發現，所提出的模型對小尺寸結節、大尺寸結節、血管粘連型結節、空洞型結節的分割表現都優于其他對比模型，取得了更好的精度，證明了所提方法的有效性。