自適應模態融合雙編碼器MRI腦腫瘤分割網絡

張奕涵，柏正堯，尤逸琳，李澤鍇

云南大學信息學院，昆明 650500

0 引言

腦膠質瘤是一種常見的、死亡率較高的原發性顱腦腫瘤，嚴重危害患者的生命健康。腦膠質瘤按照其在病理學上的惡性程度可以分為低級別膠質瘤（low-grade gliomas，LGG）和高級別膠質瘤（highgrade gliomas，HGG），低級別膠質瘤為分化良好的膠質瘤，患者預后較好；高級別膠質瘤為惡性腫瘤，患者生存率較差。作為常見的原發性腦腫瘤，早期及時發現及治療對患者的身體健康至關重要。由于不同級別的膠質瘤伴隨不同程度的水腫和壞死，且存在腫瘤與健康組織之間邊界模糊、腫瘤大小不一等問題，導致醫生難以準確識別病變區域，從而嚴重阻礙手術進程。對異常的病變腫瘤進行準確的檢測和分割，再制定對應的治療方案，將極大地改善手術質量（Mallick 等，2019）。然而，手動分割腫瘤區域耗時耗力，且不同醫生分割的結果也存在差異。因此，亟需一種自動分割技術以提高效率和分割精度。傳統的MRI（magnetic resonance imaging）圖像分割方法包括監督學習、無監督學習、半監督學習等機器學習方法，如馬爾可夫隨機場（Markov random field，MRF）、高斯混 合模型（Gaussian mixture model，GMM）（Zhang 等，2017）、支持向量機（support vector machine，SVM）（Thillaikkarasi 和Saravanan，2019）、K-均值聚類等方法常用于腦腫瘤分割，但是這些方法具有很大的局限性。隨著深度學習的不斷發展，卷積神經網絡（convolutional neural network，CNN）已被證明在圖像處理領域有著極大的潛力（Krizhevsky等，2012），基于深度學習的醫學圖像分割方法已成為目前的主流方法（Feng 等，2019）。Havaei 等人（2017）提出了卷積神經網絡進行腦腫瘤分割，通過滑動濾波器窗口結合局部和全局特征對每個像素的標簽進行預測。為降低計算成本，Long 等人（2015）基于CNN 提出了具有1 × 1 卷積核的全卷積網絡（fully convolutional network，FCN）。二維和三維網絡是目前醫學影像分割領域中常用的深度學習網絡結構，它們在多模態MRI 腦腫瘤圖像分割中也得到了廣泛的應用。二維卷積神經網絡常用于處理多張切片 的MRI 圖像序 列，如U-Net（Ronneberger 等，2015）、SegNet（Badrinarayanan 等，2017）、DeepMedic（Kamnitsas 等，2017）等模型，這些模型通過編碼—解碼框架并使用跳躍連接來保留圖像中的細節信息和空間信息。然而，二維卷積神經網絡往往會忽略圖像中的體素信息，因此在處理具有空間信息的三維圖像時，三維卷積神經網絡受到了越來越多的關注。與二維卷積神經網絡相比，三維卷積神經網絡能夠更好地利用圖像中的三維信息，從而取得更好的性能。例如，3D U-Net（?i?ek 等，2016）是一種流行的三維卷積神經網絡模型，它使用編碼器—解碼器框架來進行圖像分割，并使用跳躍連接來保留圖像中的細節和空間信息。此外，Milletari 等人（2016）針對三維圖像提出了V-Net，相當于在U-Net基礎上引入了殘差塊。但是，這些模型都存在一些缺點，如二維網絡雖然參數量小且可以捕捉到局部的特征信息但無法有效地處理醫學圖像中的深層信息，而三維網絡能夠同時處理空間和時間信息，但是其計算成本較高，需要更多的存儲空間和計算資源，這在實際應用中會帶來不小的挑戰。因此，平衡二維和三維網絡的優缺點，提高醫學圖像的診斷精度和計算效率成為當前醫學圖像分割領域的首要任務。為了緩解內存占用率高和計算成本高等問題，Chandra 等人（2018）提出了一種名為CA3D（contextaware 3D CNNs）的輕量級網絡，旨在提高腦腫瘤分割的計算效率，該模型使用上下文感知塊在空間和通道方向上進行特征融合，此外使用局部特征下采樣減少特征圖的尺寸及計算量。為了有效提取不同通道之間的關聯信息，Chen 等人（2019）提出一種多纖維網絡結構DMF-Net（dilated multi-fiber network），該網絡可以利用時間和空間信息，有效捕捉多類特征。Nuechterlein 和Mehta（2018）提出了一種輕量級網絡架構3D-ESPNet，通過引入ESP（efficient spatial pyramid of dilated convolutions for semantic segmentation）模塊，可以大幅減少網絡參數量，同時不降低模型精度。Hu 等人（2019）提出的MCC-Net（multicascaded convolutional neural network）通過引入條件隨機場（conditional random field，CRF）對CNN 的輸出進行后處理來優化分割結果，相比于復雜的網絡結構，MCC-Net 結構簡單。Qiu 等人（2021）提出的3D EMSU-Net 采用多級并行膨脹卷積和空間注意力機制有效提取多尺度特征，并且具有較低的計算和內存開銷。

多模態腦腫瘤病變圖像中的異常組織往往是大小、形狀不一的，在腦腫瘤分割任務中，對病灶區域進行精細、準確的分割成為目前研究的難點。多模態腦腫瘤圖像中的多模態這一特點有助于進行更好的分割。不同模態圖像間存在互補的信息，但直接將多種模態進行拼接作為編碼器的輸入可能使不同模態之間的信息不能充分交互，且網絡不易關注到有用的腫瘤信息，模態融合策略對得到精確的分割結果起著重要作用。一般的網絡架構分為基于單編碼器和基于多模型和編碼器的模型（Zhou 等，2019），當前大多數模型通常使用單編碼器對圖像進行處理，基于單編碼器的方法直接將不同的多模態圖像以通道的方式集成到輸入中，無法充分利用不同模態間的互補信息，影響分割結果的準確性。因此，受到D-UNet（Zhou 等，2021）的網絡結構的啟發，針對目前大多數網絡直接將4 種模態拼接作為網絡的輸入，使網絡計算重復冗余的信息導致推理速度變慢和效率變低等問題，本文提出了一種具有雙層編碼器的模型，允許多個編碼器分別提取兩組特征信息，并使用特定的融合策略將它們融合，以強調對分割任務有用的信息。然后，將部分卷積塊替換為擴張多纖維模塊，在模型參數量較少的前提下捕獲多尺度特征。此外，模型上采樣過程會損失一些邊緣細節特征，為了保留細節信息，在解碼部分引入注意力門控來進一步優化特征的提取和融合。實驗結果表明，與原始的3D U-Net、V-Net及DMF-Net相比，該模型在多個腦腫瘤數據集上取得了更加優越的分割性能。

總體來說，本文做出了以下貢獻：1）提出了推理速度較快、參數量較少的自適應模態融合雙編碼器網絡。其中上層子網絡引入了擴張多纖維模塊及注意力門控，通過使用擴張多纖維模塊減少模型的參數量，加入注意力門控使網絡更關注小腫瘤圖像特征信息，對多模態圖像數據進行推理時更專注有用的信息，減少對重復信息的關注。2）提出了一種新的自適應多模態特征融合模塊，對兩部分編碼器輸出的特征進行有效融合。該模塊利用跨模態的交互注意力機制增強不同模態間的信息交互和融合能力。3）在BraTS2018、BraTS2019 和BraTS2020 數據集上進行實驗，將分割結果與基線模型以及其他先進方法進行對比，證明本文提出的自適應模態融合雙編碼器網絡在多模態腦腫瘤圖像分割任務中的有效性。

1 網絡結構及方法

1.1 D3D-Net結構

基于現有的常用深度神經網絡基準模型，本文提出了一種具有雙編碼器結構的雙層3D 融合網絡D3D-Net，如圖1 所示。該網絡使用雙編碼器結構對兩組模態圖像進行編碼，充分挖掘不同模態對的組內和組間特征信息，以保留不同模態圖像的特有信息，將4 個模態分為兩組，兩組模態信息不同且互補，分別通過上下兩層子網絡提取腦腫瘤特征信息，再通過融合模塊凸顯有用的信息。

圖1 本文網絡結構圖Fig.1 Structure of the proposed network

該網絡結構主要由3 部分組成：編碼器模塊、特征融合模塊和解碼器模塊。D3D-Net 分為兩個子網絡，上層子網絡在編碼和解碼部分應用了擴張多纖維模塊，擴張多纖維模塊能夠處理遠距離及全局信息，且可以在不增加參數量的情況下擴大感受野大小，還可以有效減少模型的參數量，提高模型的訓練速度和效率。此外，在解碼器上采樣部分引入了注意力門控，注意力門控可過濾跳躍連接傳遞的特征，幫助模型更加關注重要特征區域，更好地捕捉小腫瘤病灶區域的細節信息，從而提高分割精度。下層子網絡采用卷積神經網絡作為編碼器對圖像進行特征提取，使用3 次卷積層并使用最大池化降低特征圖的尺寸，從而加快網絡的訓練速度。此外，由于網絡早期提取特征的能力較好，且隨著網絡的深入，可訓練的參數將會增大，所以兩次特征融合均位于編碼階段，以實現組內和組間的信息融合。自適應特征融合模塊的作用是將來自上、下兩層子網絡的特征進行融合，在編碼階段融合兩次可以將不同編碼器提取的特征進行更細致、更全面的融合。

1.2 擴張多纖維模塊

2D 處理方法忽略了3D 圖像空間上下文之間的關系，而3D 模型中3D 卷積是在整個通道上進行操作的，計算成本高，計算復雜度呈指數上升。因此，在參數量較低的情況下提高分割精度是本文的研究目標。

卷積網絡達到一定規模時，標準卷積在通道和空間維度會存在冗余，解決冗余問題可極大地減少訓練和推理的計算開銷。分組卷積最早應用在Krizhevsky 等人（2012）的論文中，能夠以訓練精度小幅下降為代價大大減少模型的參數量，但簡單地將普通卷積分離為多個組卷積會影響多通道之間的信息交互能力，從而損害模型的學習能力。為了改善通道間的信息交流能力，Chen 等人（2018）提出了擴張多纖維模塊。如圖2 所示，擴張多纖維模塊將多路復用器用于多個纖維之間以促進信息交換，并且使用擴張多纖維單元捕獲多尺度空間相關性。同時，擴張多纖維模塊將原始的多纖維模塊中的3 × 3 × 3卷積塊替換為3 個3 × 3 × 3 的擴張纖維，3 個擴張纖維由3 個有著不同擴張率d的擴張卷積分支組成，3個分支被分配了3個不同的權重，最后的輸出為加權相加，這種加權策略有助于從不同視野中選擇最有價值的信息。為促進各纖維間的信息交互，使用包含1 × 1 × 1 卷積的多路復用器，用于不同纖維之間。此外，使用殘差連接允許信息從較低層傳遞到較高層，增強學習能力而無需額外的參數。

圖2 擴張多纖維模塊Fig.2 Dilated multi-fiber module

DMF-Net證明了擴張多纖維模塊在提高網絡性能和降低參數量方面的有效性，因此，本文使用擴張多纖維模塊，以實現多尺度表示，在瓶頸部分和解碼器中使用多纖維模塊還原到原始圖像大小，并輸出最終的分割結果。

1.3 自適應特征融合模塊

由于腦腫瘤MR 圖像正、負樣本像素間存在著極大的不平衡問題，訓練時會關注無用的信息，因此需要引入注意力機制關注有用的特征信息。主流的注意力機制有通道注意力、空間注意力和融合了空間和通道的注意力機制。Hu 等人（2018）提出了基于壓縮激勵的SE（squeeze-and-excitation）模塊，該模塊能夠自適應地學習通道間的關系，提高網絡的表達能力。它由兩個步驟組成：壓縮（squeeze）和激勵（excitation）。在壓縮階段，SE 模塊通過全局平均池化來對每個通道的特征進行壓縮，得到一個長度為1 的向量，表示該通道在全局特征中的重要性。這個向量可以看做是對所有特征進行的加權平均，其中權重是通過平均池化得到的。在激勵階段，SE 模塊使用一個兩層的全連接網絡，對每個通道的重要性進行映射，得到一個激勵向量，這個激勵向量可以看做是一種通道權重。最后，在使用SE 模塊的卷積層中，每個通道的特征都會乘以其對應的通道權重，從而強化重要的特征，抑制不重要的特征。SE 模塊可以自適應地對每個通道進行加權，從而提高網絡的表達能力和泛化能力。但是，SE 注意力模塊的作用是對卷積神經網絡的通道進行加權，在多模態三維腦腫瘤圖像分割中，不同模態之間的差異很大，而SE 注意力模塊只能對有限數量的通道進行加權，可能無法充分利用不同模態之間的信息。此外，腦腫瘤圖像是三維圖像，SE 注意力模塊只考慮到了通道的信息編碼，而忽略了圖像的空間位置特性。為解決這一問題，Woo 等人（2018）提出了一種結合通道注意力和空間注意力機制的CBAM（convolutional block attention module）模塊，旨在提高卷積神經網絡對目標特征的關注能力。與SE 注意力模塊類似，CBAM 也可以用于三維數據的分割任務，但也存在一些弊端，例如參數數量過多、訓練過程易出現梯度爆炸或梯度消失等問題。為減少參數量，Wang等人（2020）提出了輕量級的注意力模塊ECA（efficient channel attention），相比SE 模塊和CBAM 模塊，ECA模塊在保持通道關聯性的同時，不會忽略空間位置特征的信息。此外，ECA 模塊相對于SE 模塊和CBAM 模塊計算復雜度更低，具有更高的運行效率。具體而言，如圖3所示，上一層的χ特征圖作為輸入，對χ做全局平均池化得到1 × 1 ×C的向量g(χ)，計算過程為

圖3 ECA模塊Fig.3 ECA module

式中，W和H分別代表特征圖的寬度和高度，χij表示特征圖的像素點。

得到g(χ)后，可以獲取每個通道的權重，具體為

式中，ωi為第i個通道的權重，yi為第i個通道的特征為yi的第i通道的第j個相鄰通道的特征，σ為激活函數為k個相鄰通道的集合。

然后，與大小為k的卷積核進行一維卷積，具體為

式中，Conv1D為一維卷積，經過卷積使得每層的通道與相鄰層的通道進行信息交互。k的大小由自適應得出，具體為

式中，取γ=2，b=1，k=5，C代表特征通道數，odd表示取奇數。

將輸入的特征圖χ與處理好的特征圖權重相乘，權重即可加在特征圖上。

本文選擇ECA 模塊作為自適應特征融合模塊的基礎模塊，以實現兩組模態的組內信息交互。由于網絡早期提取信息的能力較強，所以在編碼器部分設置兩個自適應特征融合模塊（adaptive feature fusion，AFF），如圖4所示，該模塊通過對特征通道進行注意力加權激活不同通道間的聯系，然后通過殘差連接對特征進行重用，最后將經過加權的兩組特征相加輸入到下一個模塊中。

圖4 自適應特征融合模塊Fig.4 Adaptive feature fusion module

具體而言，AFF 模塊分為殘差通道注意模塊和特征融合模塊。其中，x1和x2分別表示來自上下兩層子網絡的特征圖，特征圖尺寸為64 × 64 × 64 ×64。兩組特征圖分別輸入殘差通道注意模塊進行組內信息交互，使用殘差連接將輸入特征圖與加權特征圖相加進行特征重用，具體計算為

式中，?表示矩陣乘法，Δ 表示自適應平均池化，Conv表示卷積操作，σ表示sigmoid 函數，R表示殘差連接。f1表示第1 個分支輸出結果，f2表示第2 個分支輸出結果，y表示最終的融和結果。

1.4 注意力門控

醫學圖像分割中，不同患者的腫瘤形狀和大小差異較大時需要多級級聯CNN 提取感興趣的區域并對該區域進行密集預測，但這種方法會產生冗余的計算量和模型參數。Oktay 等人（2018）提出的新型注意力門控可用于密集標簽預測，該模塊可自動學習不同大小、形狀的目標結構，會使注意力系數更加凸顯局部區域特征，著重顯示對任務有用的特征。此外，加入該模塊不會產生額外的計算開銷，也不需要大量的模型參數。注意力門控的具體結構如圖5所示。

圖5 注意力門控Fig.5 Attention gate

g與xl并行操作，將g和xl分別通過Wg和Wx（對g進行上采樣或對xl進行下采樣），將兩支路輸出相加，然后依次通過ReLU 操作、ψ操作、sigmoid 操作，通過重采樣得到注意力權重α，最后將注意力權重α與xl相乘得到。

1.5 損失函數

醫學圖像分割任務中存在類別不平衡的問題，本文使用廣義骰子損失函數（generalized dice loss，GDL）能夠有效解決這個問題，通過對不同類別的權重進行自適應調整，使得每個類別的影響更加均勻，其計算過程為

式中，wk表示第k個類別的權重，yi，k和pi，k分別表示第i個樣本屬于第k個類別的真實標簽和模型預測結果。在多分類問題中，yi，k通常使用one-hot編碼表示，即第i個樣本屬于第k個類別時為1，否則為0。

2 實 驗

本文模型的深度學習框架基于Pytorch，硬件環境為24 GB 顯存的NVIDIA GeForce RTX 3090，實驗環境為Ubuntu20.04 LTS64 位操作系統。模型訓練周期為300 個epoch，批大小為6，訓練時間為20 h。本文采用初始學習率為0.001 的Adam 優化器，使用L2 范數對模型正則化，權重衰減為10-5，防止過擬合，提高模型的泛化能力。

2.1 數據集

本文使用國際醫學圖像計算和計算機輔助干預協 會（Medical Image Computing and Computer Assisted Intervention Society，MICCAI）多模態腦腫瘤分割挑戰賽的BraTS2018（brain tumor segmentation 2018）、BraTS2019和BraTS2020數據集。這3個數據集包含了來自多個醫院的磁共振成像（MRI）數據，包含T1 加權、T1 加權對比增強、T2 加權和FLAIR（fluid-attenuated inversion recovery）圖像（Zhou 等，2019）。每個病例都由4 種模態的MRI 圖像組成，并附帶有腫瘤分割標簽，其中包含4 種不同的組織類別：壞死區、水腫區、非增強腫瘤和增強腫瘤。

BraTS2018 數據集包含285 個病例，每個病例圖像尺寸為240 × 240 × 155 像素，其中包括210 個高級膠質瘤病例、75 個低級膠質瘤病例。驗證集包含66個病例，不含人工分割標簽。

BraTS2019 數據集在BraTS2018 數據集的基礎上增加了49 例HGG 病例和1 例LGG 病例，本文將BraTS2018 數據集作為訓練集，將增加的50 組數據集作為測試集。BraTS2020 數據集包含369 個訓練集病例和125個驗證集病例。分割標簽包括壞疽區、浮腫區、腫瘤增強區，分割任務是由嵌套標簽形成的3個子區域，分別為整個腫瘤（whole tumor，WT）、增強腫瘤（enhancing tumor，ET）和腫瘤核心（tumor core，TC）。其中，WT 包含壞死區、浮腫區和腫瘤增強區，ET包含腫瘤增強區，TC包含壞死區和腫瘤增強區。

兩個數據集圖像類型是nii 格式，需通過軟件ITK-SNAP 讀取nii 文件。4 種模態及標簽的可視化結果如圖6所示。

圖6 腦腫瘤MRI 4種模態及標簽圖像Fig.6 Four modes and labels of MRI images of brain tumors（（a）T1；（b）T1CE；（c）T2；（d）FLAIR；（e）ground truth）

2.2 數據預處理

由于不同模態不同病例圖像大小、形態和位置有差異，且原始圖像有很多無用的背景信息不利于進行推理，所以對圖像進行修正減少冗余信息，從而降低圖像占用顯存的數據預處理操作是有必要的。通過可視化腦腫瘤圖像可以發現，腦部圖像約占整個MRI圖像尺寸的2/3，原始圖像包含大量不含腫瘤的無用背景信息，所以在分割前，將原始數據從240 × 240 × 555 體素剪裁到128 × 128 × 128 體素，從而減少無用背景信息降低計算量，剪裁后的圖像作為模型的輸入。此外，使用了以下數據增強技術：1）在軸面、冠狀面、矢狀面隨機翻轉概率為0.5；2）角度在［-10°，+10°］之間進行隨機旋轉；3）隨機強度偏移在［-0.1，0.1］之間，縮放在［0.9，1.1］之間。

2.3 評價指標

為了評估網絡的性能，采用Dice 系數（Dice coefficient）和Hausdorff距離（Hausdorff distance，HD）作為評價指標，對預測結果的好壞進行評估。

Dice 系數是一種集合相似度度量函數，用于計算兩個樣本的相似程度，分割結果最好值為1，最差值為0。

豪斯多夫距離是描述空間中任意兩個集合之間相似程度的一種量度。豪斯多夫距離越小，表示分割效果越好。HD_95 是將HD 值乘以95%以消除離群值對結果的影響。

2.4 實驗結果

基于BraTS2018 數據集進行實驗，在BraTS2018訓練集上進行模型訓練，使用訓練好的模型對BraTS2018 驗證集進行模型驗證，并將分割實驗結果提交至CBICA（Center for Biomedical Image Computing and Analytics）圖像處理官方在線網站得到Dice和HD95等分割評價指標。

為了驗證不同模態組合對網絡的影響，將FLAIR、T1、T1CE、T2 四種模態分別記為1、2、3、4。上層子網絡輸入模態為FLAIR 和T1，下層子網絡輸入模態為T1CE和T2的組合，記為D3D-Net1。同理，得到其他5 個對比網絡。為了選擇最優的模態組合，將6 個網絡分別進行訓練和驗證，最終采用上層子網絡輸入為T1CE 和T2、下層子網絡輸入為FLAIR和T1的D3D-Net1作為最終的模型。

6 組網絡及其他基準網絡在同樣實驗環境下在BraTS2018驗證集上的分割結果如表1所示。由表1可知，本文提出的各種組合的D3D-Net 模型在與基準模型的對比實驗中表現出最佳的性能，根據分割指標，模型在增強腫瘤、整個腫瘤和腫瘤核心的Dice值分別達到了79.7%，89.5%，83.3%。與3D U-Net相比，分別提升了3.6%，1.0%，11.5%；與V-Net 相比，提升了3.0%，0.4%，2.3%；與DMF-Net 相比，提升了2.2%，0.2%，0.1%。所提出的網絡在增強腫瘤部分提升的程度較大，也證明了網絡在小目標分割方面的有效性。

表1 在BraTS2018驗證集上的分割結果對比Table 1 Segmentation results of BraTS2018 validation set

具有分割分數分布特征的箱圖如圖7 所示，描繪了增強腫瘤、整個腫瘤和腫瘤核心之間Dice 值和HD_95 距離的分布及樣本個體值，由于部分腫瘤圖像沒有增強腫瘤和腫瘤核心部分，所以這部分樣例的增強腫瘤和腫瘤核心的Dice 值為0，除了這部分特殊的樣例和少數樣例，D3D-Net對于所有這3組中的大多數對象都表現良好。少數樣例的Dice 值較低可能是分割的腫瘤圖像過小所導致的。

圖7 ET、WT和TC數據組上的Dice和HD_95性能箱圖Fig.7 The boxplot of the performance of Dice and HD_95 on the data groups of ET，WT and TC

2.5 消融實驗

為了證明雙層網絡比單層網絡更有效，本文基于BraTS2018 數據集對不同的網絡結構進行實驗。實驗分為4 組，a 組網絡結構為單層的DMF-Net 網絡；b 組網絡結構為沒有注意力門控的雙層網絡；c 組網絡結構為加入注意力門控的DMF-Net 網絡；d組網絡結構為本文提出的D3D-Net。

實驗結果如表2 所示，通過對比a、b 兩組，可以發現雙層網絡結構各個子腫瘤區域的分割精度整體要優于單層網絡結構，雖然b 組腫瘤核心部分的分割精度略低于a 組，但是其增強腫瘤和腫瘤核心的豪斯多夫距離要遠低于a 組，證明了雙層網絡比單層網絡更有效。通過對比a、c 和b、c，可證明注意力門控在單層和雙層網絡的有效性。此外，由c、d 兩組數據可證明本文提出的自適應模態融合雙編碼器網絡的有效性。雖然d 組的豪斯多夫距離略高于c 組，但是d 組的分割精度要優于c 組，也證明了本文提出的方法對分割精度的提升有積極作用。

表2 網絡結構消融實驗結果Table 2 Results of network structure ablation experiment

此外，為了證明本文提出的自適應特征融合模塊的有效性，使用幾種不同的融合策略進行實驗。融合策略如圖8所示，分別為直接相加融合、僅有通道注意的融合和有殘差結構的通道注意融合，實驗結果如表3所示。與直接將輸入模態進行相加和不含殘差結構的通道注意融合策略相比，包含殘差連接的通道注意融合AFF模塊分割結果的Dice值有著明顯的提高，與直接相加的融合策略相比，增強腫瘤、整個腫瘤和腫瘤核心分別提升了0.6%、0.1%、0.2%，證明了殘差連接能夠重用特征和引入注意力機制的有效性。

表3 不同融合策略的影響Table 3 Impact of different fusion strategies

圖8 3種不同的模態融合策略Fig.8 Three different modal fusion strategies（（a）addition；（b）channel attention fusion；（c）AFF）

2.6 對比實驗

為了證明本文所提出網絡的先進性，將提出的網絡與其他先進網絡，如3D ESP-Net（Nuechterlein等，2018）、3D EMS-UNet（Qiu 等，2021）、CSPU-Net（夏峰 等，2022）等網絡進行了比較。對比實驗的結果如表4 所示，可以看出，與其他幾種先進方法相比，本文網絡在幾個腫瘤子區域的分割精度指標都取得了最優的結果，各子區域的HD_95 值也較小。與其他模型分割結果相比，分割精度指標最少分別提升了1.8%，0.1% 和0.2%，最多分別提升了7.9%，2.3%和8.5%。這些實驗結果表明本文提出的網絡具有先進性。

表4 在BraTS2018驗證集上的分割結果與其他先進方法對比Table 4 Comparison of segmentation results on BraTS2018 validation set with other advanced methods

2.7 可視化及有效性分析

為了進一步證明本文提出的網絡的有效性，在BraTS2019 數據集和BraTS2020 數據集上進行了實驗。BraTS2019 數據集在BraTS2018 數據集的基礎上增加了49 例HGG 病例和1 例LGG 病例，本文將BraTS2018 數據集作為訓練集，將增加的50 組數據集作為測試集，不同模型的分割結果如表5所示。

表5 在BraTS2019 50例數據集上的分割結果對比Table 5 Segmentation results of BraTS2019 50 samples

BraTS2020 訓練集包含369 個病例，驗證集包含125 個病例。五折交叉驗證實驗將數據集隨機分成5 份，不重復地取其中1 份作為測試集，其他4 份作為訓練集，以更全面地評估模型，五折交叉驗證結果如表6所示。

表6 在BraTS2020數據集上的五折交叉驗證Table 6 Five fold cross validation results on BraTS2020

此外，為了讓被評估的模型結果更加準確可信，在BraTS2020 驗證集上進行了實驗，驗證集的分割結果如表7 所示，與其他基準網絡相比，本文提出的D3D-Net 模型在3 個分割子區域的分割精度分別為78.2%、87.3%、83.8%。與DMF-Net 相比，增強腫瘤、整體腫瘤和腫瘤核心的分割精度分別提升了2.4%，0.8%，2.5%。

表7 在BraTS2020驗證集上的分割結果對比Table 7 Segmentation results of BraTS2020 validation set

圖9 是幾種不同的分割方法對腦腫瘤分割的可視化結果。圖9（a）—（h）分別表示4種模態圖像、分割掩碼（標簽）、本文提出方法的分割結果、3D U-Net分割結果和DMF-Net 分割結果。其中，紅色代表非增強腫瘤及壞死腫瘤，綠色代表腫瘤附近的水腫區域，藍色代表增強型腫瘤。從5 組不同病例圖像的分割結果可以明顯看出，相比于3D U-Net 和DMFNet 的分割結果，本文提出的D3D-Net 模型分割的3 個子區域與手動標注的標簽更加接近，尤其是小病灶及腫瘤核心的分割效果較好。

圖9 各模態、標簽及不同模型分割結果對比Fig.9 Comparison of modalities，labels and segmentation results of different models（（a）T1；（b）T1CE；（c）T2；（d）FLAIR；（e）label；（f）ours；（g）3D U-Net；（h）DMF-Net）

3 結論

本文針對大多數單編碼器網絡存在的特征融合不充分等問題，提出了一種自適應模態融合雙編碼器結構——D3D-Net，通過使用特定的融合策略將兩組特征信息融合，有效地強調了對分割任務有用的信息。同時，通過使用擴張多纖維模塊替換部分卷積塊，該模型在參數量較少的情況下成功地捕獲了多尺度特征。另外，在解碼部分引入注意力門控，進一步優化了特征的提取和融合，從而成功地保留了一定的邊緣細節特征。為了證明本文提出方法的有效性，使用BraTS2018、BraTS2019 和BraTS2020 數據集進行實驗。實驗結果表明，該模型在多個腦腫瘤數據集上的分割性能顯著優于3D U-Net、V-Net、DMF-Net等網絡，在增強腫瘤、整體腫瘤和腫瘤核心的分割精度上有較顯著的提升。因此，該模型在醫學影像分割任務中具有良好的應用前景。

雖然本文提出的網絡具有較好的分割效果，但仍存在一些問題：首先，本文只使用了雙層編碼器提取兩組模態信息，但是在實際的醫學影像分割任務中，4 種模態的圖像通常具有不同的特征信息。其次，雖然本文提出的是參數量較少的輕量化模型，但是由于模型是雙編碼器結構，因此在訓練時占用顯存較大。后續工作可以考慮如何更好地充分利用多模態圖像的特征信息以及如何減少模型的計算復雜度。此外，對小腫瘤邊緣信息提取的準確性的提高有待進一步研究。