基于深層多尺度聚合3D U-Net 的腎臟與腎腫瘤分割方法

張 芳，郝思敏，耿 磊

（1.天津工業大學生命科學學院，天津 300387；2.天津工業大學電子與信息工程學院，天津 300387；3.天津工業大學天津市光電檢測技術與系統重點實驗室，天津 300387）

腎臟是泌尿系統中至關重要的器官之一，腎腫瘤是一種常見的癌癥，是泌尿生殖道癌癥中死亡率最高的癌癥之一。CT 圖像能夠準確地呈現腎臟組織和病變組織位置及形態的詳細特征，常作為醫生初步診斷以及后續決策的重要依據。腎腫瘤的內部組織情況復雜、紋理以及位置變化多端，導致臨床診斷難度大，腎腫瘤切除手術難度高，操作過程復雜。醫生要制定最佳手術方案，需要清楚地掌握腎臟以及腎腫瘤的位置信息、病變組織的形態大小、邊緣信息等。目前臨床中主要依靠醫生人工標定腎臟與腎腫瘤的位置并測量腫瘤大小，由于醫生臨床經驗不同，存在一定的主觀性，常導致診斷結果不唯一。除此之外，腎臟和病灶的識別也是影像科醫生的日常工作，尤其是在體檢和篩查中，醫生的工作量大，耗時費力。因此實現腎臟和腎腫瘤的自動化準確分割至關重要。

近幾年，國內外學者對于CT 圖像中腎臟和腎腫瘤分割進行了大量探索研究，主要分為兩類：一類是基于傳統圖像處理的分割方法[1-2]；另一類是基于深度學習的分割方法[3-6]。傳統方法是指利用先驗知識以及圖像信息進行圖像分割?；趥鹘y圖像處理的腎臟和腎腫瘤分割方法主要包括3 類：基于區域的分割方法[7]、基于先驗知識模型的分割方法[8]和基于可變形模型的分割方法[9]。傳統圖像處理方法分割腎臟時大多需要人工干預，難以滿足實際的醫療需要。深度卷積神經網絡是一種具有表征學習能力的運算方法，能夠在不需要人工干預的情況下進行自主學習并提取目標特征。深度卷積神經網絡通過學習腎臟和腎腫瘤的深層特征，更好地自動分割出腎臟和腎腫瘤。許多研究人員構建了新的解決方案，Zhao 等[10]提出PSPNet 架構，利用金字塔池化模塊（pyramid pooling module，PPM）將多尺度特征與不同區域的上下文關聯信息相結合，對腎臟和腎腫瘤的分割取得了良好的效果。Yang 等[11]將基本的3D 多模態完全卷積網絡（FCN）和金字塔池化模塊相結合，實現了腎臟和腎腫瘤的同步分割。Cicek 等[12]提出3D U-Net 架構，將U-Net 網絡中的2D 卷積全部替換為3D 卷積，輸入網絡的數據也從二維數據變為三維數據，CT 切片之間的空間信息得以保留。在此之后，Yu 等[13]又進一步提出了3D Res-U-Net 模型，采用在3D U-Net 收縮路徑和擴展路徑中使用殘差模塊的方法提高特征提取能力。Isensee 等[14]提出了基于2D UNet 和3D U-Net 的自適應框架nnU-Net，把重心放在預處理、訓練和后處理等工作上，在多個數據集上取得了不錯的分割效果。Zhao 等[15]提出的MSS U-Net 在基于nnU-Net 的每個解碼層中引入了多尺度監督方案。

以上方法雖然獲得了分割結果，但仍然存在以下問題：①腎臟和腎腫瘤與相鄰的器官和組織之間邊界模糊且CT 值接近，難以區分，造成部分邊界分割不準確；②個體差異導致每個患者的腎臟形狀、大小、位置情況都不盡相同，分割結果不精確；③腎臟和腎腫瘤的尺度相差懸殊，對部分小尺度腎腫瘤分割效果欠佳。此外，深度學習方法非常依賴于訓練數據，如何在數據量較少或數據量不平衡時提高模型的分割效果，也具有重要的研究意義。針對這些問題，本文提出了深層多尺度聚合（DMSA，deep multi-scale aggregation）3D U-Net 網絡分割模型。

1 研究方法

1.1 腎臟和腎腫瘤自動分割方法流程

針對腎臟和腎腫瘤的分割難點，本文提出了一種腎臟和腎腫瘤自動分割方法，整體框圖如圖1 所示。

圖1 腎臟和腎腫瘤CT 圖像分割整體框圖Fig.1 Overall block diagram of CT image segmentation of kidney and renal tumor

首先，針對目標與周圍組織難以區分、分割結果容易受周圍器官組織影響的問題，本文對數據集進行了重采樣、CT 值截斷和z-score 標準化等一系列數據預處理操作，增強CT 圖像中腎臟和腎腫瘤的特征，削弱周圍組織器官的特征，降低其對腎臟和腎腫瘤分割結果的影響。其次，針對數據量少的問題，本文對訓練集進行隨機仿射變換和隨機彈性變換增強數據，使得訓練集擴增為原來的近10 倍，為網絡學習提供了更加多樣化的訓練集，提高模型的泛化能力，增強模型的分割精度。最后，針對部分目標尺度較小、邊緣復雜的分割難點，本文采用了基于3D U-Net、U-Net++[16]和U-Net3+[17]改進的深層多尺度聚合（DMSA）3D U-Net網絡模型，利用嵌套不同尺度的3D U-Net 和相鄰節點之間的短連接來共享多尺度特征，還在解碼器層的每個節點上融合了同樣來自解碼器層的較大尺度的特征圖，增強了網絡模型對于較小目標的細節特征提取能力，使得小尺度腎腫瘤邊緣得到良好分割。

1.2 數據預處理和數據增強

數據集預處理包括以下3 個步驟：①重采樣，即在數據預處理中將所有樣本中z方向的層厚距和x、y方向的層間距全部調整為（3.22 mm、1.62 mm、1.62 mm），在分割網絡模型中所有樣本的空間分辨率保持不變。②CT 值截斷[18]，即為了增強腎臟和腎腫瘤的特征，減小周圍組織器官對分割任務的干擾，經反復實驗確定截斷閾值，將每個樣例序列圖像的CT 值限制在[-200，400]的范圍內。③z-score 標準化，即用圖像中每個像素的灰度值減去腎臟區域的灰度均值再除以腎臟區域的灰度方差，數據樣本的CT 值都進行規范化方便后續處理。

將數據集劃分為訓練集、驗證集和測試集，為了避免實驗過程中數據量過小導致的模型泛化能力較低，采用隨機仿射變換和隨機彈性變換的方法，對訓練集進行擴充，提高訓練樣本的多樣性。驗證集和測試集是檢驗模型性能的數據集，不能改變其原始的數據分布特征，因此不對驗證集和測試集進行數據增強。

1.3 基于DMSA 3D U-Net 的腎臟與腎腫瘤分割網絡

現有的網絡對于部分形態差異較小、腎臟及腎腫瘤邊緣清晰的CT 圖像分割效果較好，但是對于特征分布復雜且尺度較小的腎腫瘤以及腫瘤邊緣分割效果不佳，這是由于網絡在訓練過程中學習到的腎臟和腎腫瘤的細節特征不夠豐富，導致錯過小尺度腎腫瘤和精細的邊緣信息。U-Net++網絡采用大量的密集跳躍連接將不同層級中尺度相同的特征圖進行特征共享，相鄰節點之間的語義信息相差較小，易于融合，但編碼器層與解碼器層之間的特征信息隨著中間節點數的增加，語義信息差異逐漸累加，無法實現充分融合。U-Net3+網絡通過全尺度的跳躍連接將解碼器層各節點與來自編碼器的小尺度和等尺度特征映射以及來自解碼器的大尺度特征映射直接融合，盡管在一定程度上探索了全尺度的特征信息，但解碼器層的特征圖與來自編碼器的不同尺度的特征圖仍然存在差異，無法充分融合，全尺度信息沒有得到充分利用。針對上述情況，本文基于U-Net++和U-Net3+提出了深層多尺度聚合（DMSA）3D U-Net 網絡，結構示意圖如圖2 所示。

圖2 DMSA 3D U-Net 網絡結構示意圖Fig.2 Schematic diagram of DMSA 3D U-Net network structure

圖2 中，DMSA 3D U-Net 網絡結構中所有節點之間的黑色虛線短箭頭為跳躍連接，該連接為數據前饋過程，僅進行特征共享；黃色箭頭為池化下采樣，其步長為2；綠色剪頭表示對輸入圖像先進行大小為3×3、步長為1 的卷積操作，然后經過ReLU 激活函數處理的過程；紅色箭頭代表DMSA 3D U-Net 網絡相比于U-Net++網絡新增的步長為2 的下采樣操作；紫色箭頭表示步長為2 的上采樣操作；黑色長虛線箭頭表示解碼器之間和不同深度U-Net 輸出之間的全尺度跳躍連接。該網絡基于U-Net++和U-Net3+在3 個方面做出改進：①增加了4 個3D U-Net 子網絡的嵌套，如圖2 中黃色三角和綠色三角部分所示，利用嵌套不同層級的3D U-Net 確定分割任務的最佳深度，促進各3D U-Net 子網絡之間的特征共享，對提取到的不同尺度的特征進行壓縮和還原，進一步獲取多尺度特征；②利用短連接替換傳統U-Net 中的跳躍連接，消除網絡對于跳躍連接限制的同時，減小參數量；③利用跳躍連接使每個解碼器層獲得來自解碼器層更大尺度的特征圖，充分融合解碼器層的多尺度特征信息。

本文設計的網絡結構具有以下特點：

（1）保留U-Net++的優勢，針對不同的數據集或者分割任務進行最佳深度匹配，提升網絡運行效率；改進的跳躍連接在解碼器上實現了靈活的特征融合，緩解了對跳躍連接的限制；共享部分編碼器，簡化了網絡結構，提高了網絡運行效率。

（2）保留U-Net3+優勢，將每個解碼器層融合了來自解碼器的較大尺度的特征圖，促進特征共享，獲得多尺度特征信息。

（3）在U-Net++基礎上增加的下采樣操作，進一步提取了目標的抽象特征，多個3D U-Net 子網絡的嵌入促進了編碼器層和解碼器層的特征共享，有利于網絡掌握目標更細節的特征信息。

（4）將U-Net3+內部編碼器和解碼器之間聯系各個尺度特征圖的跳躍連接，替換為密集短連接，相鄰節點之間的特征共享易于不同尺度且攜帶不同語義信息的特征圖的特征共享，能夠充分利用多尺度特征信息，進一步促進特征融合。

上述優勢可以充分利用多尺度信息，提升網絡對于尺度較小、邊緣復雜的腎腫瘤的分割力。

2 實驗結果分析

2.1 實驗數據

本文使用的數據集是KiTS19 公開數據集[19]，該數據集共有210 例樣本以及所對應的樣本金標準，隨機抽取168 例樣本作為訓練集、21 例樣本作為驗證集，另有21 例樣本構成測試集。在經過上文所提的數據增強后，訓練集樣本數量擴充至1 180 例，驗證集和測試集保持不變。數據集裁剪成大小為（32，128，128）的格式后輸入網絡。以下實驗所用數據都源于該數據集。

2.2 評價指標

本文的任務是在三維CT 掃描圖像中分割腎臟和腎腫瘤，采用醫學圖像分割中最常用的評價指標Dice相似性系數（Dice similarity coefficient）[20]對本文方法的分割性能進行評價。

Dice 系數是集合相似度度量函數，常用于計算2個樣本的相似度，其定義如下：

式中：P為網絡模型預測輸出的腎臟和腎腫瘤分割結果；G為真實的腎臟和腎腫瘤區域；P和G的交集為正確分割區域。該評價指標越高表示模型的分割效果越好。

2.3 實驗環境及超參數配置

本文實驗中硬件配置包括：①CPU 為Intel i7-10700k@3.8GHz；②GPU 為NVIDIAGeForceGTX3060-Ti；③操作系統為Windows10 操作系統；④深度學習框架為Pytorch1.8.1+cuda11.1；⑤圖像預處理庫為MONAI。網絡在訓練過程中采用Adam 優化算法，初始學習率設置為0.001，并采用ReduceLROnPlateau 學習率自動衰減，Patience 設為50，表示當Loss 在連續50個Epoch 中均未下降時，則學習率自動減小為原來的1/10。batch size 設為4。

2.4 實驗結果分析

圖3 為腎臟和腎腫瘤分割效果圖。

圖3 DMSA 3D U-Net 網絡分割腎臟和腎腫瘤Fig.3 Segmentation of kidney and renal tumors by DMSA 3D U-Net network

由圖3 可見，DMSA 3D U-Net 網絡能夠準確地分割出腎臟和腎腫瘤的形狀特征。圖4 為DMSA 3D U-Net網絡訓練過程中損失函數隨迭代次數的曲線變化圖。

圖4 DMSA 3D U-Net 的Dice、Loss 曲線Fig.4 Dice and Loss curves of DMSA 3D U-Net

從圖4 中的準確率曲線可以看出，網絡對腎腫瘤分割的準確率隨著Epoch 數量增加而逐步提升，最終趨于穩定。從損失曲線可以看出，網絡的損失下降較快，并且最終趨于穩定狀態。

2.4.1 與經典網絡實驗結果對比

為進一步評估本文網絡的性能，將本文網絡與U-Net、2D PSPNet、3D U-Net 、3D FCN_PPM[21]、3D UNet++和3D U-Net3+網絡進行比較。表1 展示了不同網絡模型在測試集上的Dice 系數，由表1 可以看出，本文提出的網絡分割性能最佳。

表1 經典網絡的分割評價指標Tab.1 Segmentation evaluation indexes of classical network

圖5 為上述幾種網絡和本文提出的DMSA 3D UNet 網絡的腎臟和腎腫瘤分割結果對比圖。

圖5 腎臟和腎腫瘤分割結果圖Fig.5 Segmentation results of kidney and renal tumor

圖5（a）為腎臟和腎腫瘤的3D 重建圖，圖5（b）為矢狀面，圖5（c）為橫斷面，圖5（d）為冠狀面。由圖5可以看出，在3D U-Net 網絡和3D FCN_PPM 網絡的分割結果中，腎臟外圍出現了極小一部分誤分割的紅色區域，并且分割得到的腎臟表面有明顯凸起，腎腫瘤分割結果偏大。3D U-Net++網絡的分割結果在右邊腎臟頂部出現明顯的缺口，腎腫瘤分割結果偏大。3D U-Net3+網絡的分割結果在右邊腎臟頂部有較小的缺口且腎臟表面凸起，腎腫瘤分割結果偏大且腫瘤表面存在不同于金標準的凸起部分。本文提出的DMSA 3D U-Net 網絡對特征分布復雜的腎腫瘤目標分割效果最好，分割結果最接近圖5 中的金標準。

實驗結果表明，由于3D 網絡進一步利用了空間信息，所以3D 網絡模型的準確率高于2D 網絡模型，分割精度得到提升。在所有的3D 網絡分割模型中，對腎腫瘤分割精度差異較大，相比之下本文設計DMSA 3D U-Net 的網絡對腎臟以及腎腫瘤的分割結果都最接近于金標準，平均準確率較高，尤其是對腎腫瘤分割精度提升最為明顯，說明該網絡可以充分優化參數，精確分割出腎臟和腎腫瘤。

2.4.2 將U-Net 與不同模塊結合的實驗結果對比

最后，對比了在2D 或3D U-Net 網絡上加入不同模塊的分割效果。將本文提出的網絡結構與Attention-U-Net[22]、3D ResU-Net 網絡進行比較，實驗結果如表2 所示。

表2 U-Net 與不同模塊結合網絡分割評價指標表Tab.2 Segmentation evaluation index table of U-Net combined with different modules

由表2 可以看出，本文提出的DMSA 3D U-Net 網絡對腎臟和腎腫瘤的分割準確率最高。

腎臟和腎腫瘤尺度相差懸殊，通過對數據集中腎臟和腎腫瘤的分析發現，腎臟區域的平均像素數在5 200 左右，部分樣本中腎腫瘤要比腎臟小得多，再加上腎腫瘤數量和位置不確定，模型訓練難度較高。為了進一步展示本文方法對邊緣復雜以及小尺度的腎腫瘤的分割性能。圖6 和圖7 分別展示對邊緣復雜的腎腫瘤和小尺度腎腫瘤的處理效果。為更清晰地比較分割結果的細節，每個分割結果包含3D 建模正面和俯視2 個視角。

圖6 腎臟和邊緣復雜腎腫瘤分割結果3D 建模Fig.6 3D modeling of the segmentation results of kidney and marginal complex renal tumor

圖7 腎臟和小尺度腎腫瘤分割結果3D 建模Fig.7 3D modeling of the segmentation results of kidney and small-scale renal tumor

由圖6 可見，3 種模型均可以初步定位出腎臟和腎腫瘤的位置及邊緣信息，但Attention-U-Net 和3D ResU-Net 網絡分割的腎腫瘤不完整且伴有缺口。例如Attention-U-Net 中左腎出現了腎腫瘤錯誤預測，3D ResU-Net 網絡分割中右腎的左上方出現與其他區域不連通的腎腫瘤部分，誤分割明顯。而本文提出的DMSA 3D U-Net 網絡的分割結果與金標準最接近，說明DMSA 3D U-Net 網絡對于邊緣復雜的腎腫瘤分割效果最好。

圖7 中，因腎臟尺度較大，所以分割難度較小，3種網絡均得到了較好的腎臟分割效果。而對于小尺度的腎腫瘤部分，Attention-U-Net 和3D ResU-Net 網絡分割出的腎腫瘤明顯大于圖7 中的腎腫瘤金標準，還出現了腎腫瘤與腎臟粘連現象，分割效果不佳，如Attention-U-Net 網絡的分割結果和3D ResU-Net 網絡分割效果所示。相比而言，DMSA 3D U-Net 網絡對腎腫瘤的大小、邊緣分割較為精確，分割效果良好，如3D ResU-Net 網絡分割效果所示。實驗表明，與其他網絡相比，DMSA 3D U-Net 網絡對于小尺度腎腫瘤的分割效果較好。

以上實驗結果充分體現了本文提出的DMSA 3D U-Net 網絡的有效性，通過提取多尺度的特征信息并進行融合，可以更好地識別目標的細節特征，說明本文所提出方法適用于三維CT 圖像的腎臟和腎腫瘤分割任務。

3 結 論

提出了一種基于深層多尺度聚合3D U-Net 網絡的腎臟與腎腫瘤自動分割方法。通過嵌套不同深度的3D U-Net，通過相鄰節點短連接的方式進行特征融合。各層級3D U-Net 子網絡的輸出以及解碼器層均采用跳躍連接，將不同尺度的特征圖拼接融合，進一步增強模型對于細節特征的提取能力。實驗結果表明，DMSA 3D U-Net 網絡能夠有效解決小腫瘤漏診和大腫瘤欠分割的問題，在邊緣復雜、小尺度腎腫瘤等多種困難樣本中分割效果良好。在KiTS19 公開數據集上進行評估，DMSA 3D U-Net 網絡對腎臟分割的Dice系數為0.968 2，對腫瘤分割的Dice 系數為0.790 8。