基于注意力機制的腰椎間盤突出患者多裂肌分割方法

李 夏,胡 巍,王子民,賀澤華,周 悅,關挺強,郭 欣

(1.桂林電子科技大學 計算機與信息安全學院,廣西 桂林 541000; 2.桂林市人民醫院 脊柱骨病外科,廣西 桂林 541000)

0 引 言

腰椎間盤突出癥(LDH:Lumbar Disc Herniation)是一種常見的脊柱疾病。當椎間盤長期受力時,位于椎間盤中心的膠質髓核會向椎管方向移動,壓迫神經根,從而引起腰椎間盤突出。LDH與脊柱穩定有很大關系[1],椎旁肌在保持腰椎正常功能和穩定性方面發揮關鍵作用。其中多裂肌作為腰椎椎旁肌群中最大且最內側的肌肉,通過維持脊柱之間的平衡保持脊柱節段的穩定性。研究表明,與健康人相比,LDH患者出現了多裂肌萎縮和脂肪浸潤的情況[2-4]。目前,醫生診斷方法是通過分析多裂肌核磁共振(MRI:Magnetic Resonance Imaging)圖像中的病變部位即多裂肌中脂肪浸潤部位診斷病情。LDH自動分析的關鍵步驟是能精確分割腰椎軸向MRI圖像中的多裂肌脂肪浸潤部位。

2016年,Cunningham等[5]開發了一種方法,可使用超聲波實時分割出5塊雙側頸部肌肉和脊柱。2018年,Xiao等[6]構建了一個群體平均MRI圖譜,用于處理和評估腰椎椎旁肌的圖像。但隨著圖像數量增加,手動分割圖像的內部可靠性降低,傳統方法無法準確地分割出目標區域。

近年來,卷積神經網絡在CT(Computed Tomography)、MRI等方面的應用越來越廣泛,并成為計算機視覺研究的首選技術。Imran等[7]提出了漸進式對抗式語義分割模型,用于糖尿病、視網膜病變和胸部X射線3個數據集的分割。Amir等[8]通過CNN(Convolutional Neural Networks)框架對脊柱腰椎MRI和椎間盤體積病理區域進行放射學分級。Han等[9]提出了循環生成對抗網絡,用于自動分割和分類磁共振成像中的椎間盤、椎骨和神經孔。Kafri等[10]提出SegNet網絡,對腰椎MRI進行語義分割從而檢測腰椎管狹窄。Gu等[11]提出CE-Net(Context Encoder Network)網絡,該網絡融合了多尺度信息,有效地提高了分割效果。趙梓淇等[12]提出使用U-Net網絡對肺結節分割。Tang等[13]開發了一種雙重緊密連接的U形神經網絡對CT圖像中的椎管、硬膜囊和椎體進行分割,幫助診斷腰椎管狹窄癥。Su等[14]提出了多尺度U-Net用于醫學圖像分割。Gao等[15]提出UTNet(U-shape Hybrid Transformer Network),該模型將自注意力集成到卷積神經網絡中,用于增強醫學圖像分割。孫暉等[16]采用SegNet網絡和基于SVM(Support Vector Machine)的圖像分割兩種方法,實現了眼角膜圖像的自動提取。王雪[17]提出基于U-Net的多尺度和多維度特征融合的皮膚病變分割方法。雖然人們已經提出許多基于U-Net方法,但網絡的連續池化和卷積操作會導致部分空間信息丟失,難以提取更多的特征,致使分割精確度較低。

在分割多裂肌的脂肪浸潤部分時,存在以下技術難題:1) 目標和周圍結構之間的邊界通常不夠清晰; 2) 多裂肌的形狀變化很大,患者之間甚至患者的每個脊柱水平都有顯著變化; 3) 原始圖像數量較少。為解決腰椎間盤突出病人的多裂肌分割問題,筆者提出一種基于注意力機制進行多裂肌分割的方法(AMUNet:Attentional Mechanism U-Net)。該網絡利用了編碼器-解碼器的結構,引入注意力機制(AM:Attention Mechanism)[18]模塊和空洞空間卷積池化金字塔(ASPP:Atrous Spatial Pyramid Pooling)[19]模塊。

筆者主要貢獻包括:1) 基于U-Net[20]網絡,引入了注意力機制模塊,利用注意機制增加了表現力,更加關注多裂肌的特征并抑制不必要的特征和噪音,有效地幫助信息在網絡中流動; 2) 引入空洞空間卷積池化金字塔模塊,該模塊將不同大小的空洞卷積核堆疊,可以有效地提取不同尺度的信息。

1 基于注意力機制的腰椎間盤突出患者多裂肌分割

1.1 AMUNet算法

基于注意力機制的腰椎間盤突出患者多裂肌分割算法(AMUNet),其整體結構如圖1所示。該模型首先以U-Net作為骨干網絡,然后在編碼器和解碼器的基本單位中引入注意力機制模塊提取深層特征,最后在特征提取后引入空洞空間卷積池化金字塔(ASPP),該模塊將大小不同的空洞卷積核疊加,捕獲豐富的上下文信息。

圖1 網絡結構圖

1.1.1 注意力機制模塊

注意力機制解決了池化操作導致的圖像信息丟失、分割精度低等問題。注意力機制模塊由通道和空間注意力模塊組成。該模塊利用位置和通道的加權方式,從圖像的通道和空間兩個維度獲取注意力特征圖。然后,其將注意力與輸入特征圖進行逐元素相乘,以實現自適應特征優化。由于注意力機制模塊更加注重多裂肌的特征并對多余的特征和噪音進行抑制,從而有效地促進信息的傳遞。同時該模塊可以獲得更豐富的上下文相關性信息。注意力機制模塊結構如圖2所示。

圖2 注意力機制結構

假設輸入的特征圖為I∈RC×H×W,其中C、H、W分別表示特征圖的通道數、高度和寬度。首先將輸入特征圖輸入到通道注意力模塊,獲得通道注意力特征圖MC∈RC×1×1,將輸入特征圖和通道注意力特征圖相乘得到中間特征圖I′∈RC×H×W。然后將中間特征圖I′∈RC×H×W輸入到空間注意力模塊,得到空間注意力特征圖MS∈RC×1×1。最后將中間特征圖和空間注意力特征圖相乘,得到包含通道和空間注意力的特征圖I″∈RC×H×W。具體計算方法如下:

通道注意力模塊可以關注不同通道之間的特征關系,通過學習自動獲取每個通道間的重要特征信息。其模塊結構如圖3所示。首先,對輸入特征圖I∈RC×H×W通過最大池化和平均池化操作,進行維度壓縮,然后將通過多層感知器得到的特征圖進行基于元素的疊加運算,再經過sigmoid函數,生成最終的帶權重的通道注意力特征圖MC∈RC×1×1。通過將該向量與原始的特征圖相乘,可將注意力向量應用于特征圖中的每個通道,從而增強相關通道之間的表示能力,提高網絡的判別能力。通道注意力機制的計算方法如下:

圖3 通道注意力機制結構

(3)

空間注意力模塊可以關注不同空間之間的特征關系,獲取不同空間的特征。其模塊結構如圖4所示。首先對輸入特征圖I′∈RC×H×W進行最大池化和平均池化操作,提取不同大小的空間特征,然后將得到的兩個特征圖做concat操作,接著進行一次卷積運算將特征圖降維為1個通道。最后通過sigmoid函數,得到含有權重的空間注意力特征圖MS(I)∈R1×H×W?？臻g注意力機制的計算方法如下:

圖4 空間注意力機制結構

(4)

1.1.2 空洞空間卷積池化金字塔

在圖像分割過程中池化操作會丟失信息,而空洞卷積在不丟失圖像信息情況下擴大了感受野,有效聚合上下文信息?？斩淳矸e有一個新的參數,稱為擴張率,當設置不同擴張率,有不同的感受野,從而獲得多尺度信息。文中在編碼階段和解碼階段中間引入了空洞空間卷積池化金字塔模塊。該模塊的結構如圖5所示。該模塊由多個不同擴張率的空洞卷積并行組成,擴張率分別為6、12、18和24。這些卷積層可在不同尺度下捕獲圖像的特征,從而使網絡能理解不同尺度下的信息。然后將多個擴張率的特征圖級聯在一起,進一步提高了模型的感受野和語義信息。最后,級聯的特征圖通過一系列卷積層融合和壓縮,生成最終的分割結果。

圖5 空洞空間卷積池化金字塔結構

1.2 損失函數

文中的損失函數為Dice Loss,該函數計算方法如下:

(5)

其中pi表示預測分割的第i個像素,gi表示ground truth的第i個像素。

2 仿真實驗

2.1 數據集

通過收集醫院腰椎間盤突出患者的腰椎MRI圖像得到原始數據集。該數據集包含311名腰間盤突出患者的腰椎MRI圖像,突出的腰間盤位于L4-L5腰椎區域。由于圖像來自不同時期和不同設備,數據不一致,因此對圖像做預處理操作。第1步,將所有圖像的分辨率統一到224×224像素。第2步,為使實驗中使用的數據更加可靠,刪除模糊不清楚圖像。第3步,由于患者在拍攝過程中的不規則運動會導致圖像模糊,圖像中出現較多的噪聲干擾,通過高斯濾波器減少圖像噪聲。第4步,多裂肌和周圍肌肉的灰度值相差較小,對圖像進行自適應直方圖均衡化,增強圖像的對比度,使分割更易于觀察。第5步,通過鏡像和旋轉圖像,得到1 244張的數據集。其中984張用于訓練,108張用于驗證,152張用于測試。數據集預處理結果如圖6所示,圖6a是原始MRI圖像剪裁后的圖像,圖6b是經過高斯濾波、自適應直方圖均衡化處理后的效果圖,圖6c是經過鏡像處理的圖像。

2.2 實驗設置

實驗程序是基于Pytorch框架實現的,操作系統為Ubuntu 16.04 64。該模型的優化器為Adam,參數β1為0.9、β2為0.999,ε為1×10-8。Batch size為4,初始學習率為1×10-3,學習率每30個epoch衰減10倍,共計120個epoch。

以在脊柱多裂肌數據集測試集上的分割結果作為評價標準。為評估不同方法的分割性能,文中采用的評價指標為:Dice系數(DSC:Dice Similariy Coefficient)、Jaccard相似系數(JAC:Jaccard Index)和豪斯多夫距離(HD:Hausdorff Distance)。DSC衡量預測結果和標簽之間的相似性,DSC值越大,相似性就越高。JAC用于比較樣本之間重疊程度的指標,JAC數值越大,樣本之間的重疊程度越高。HD是描述兩組點集之間相似程度的量度,因此HD對邊界分割非常敏感。HD值越小,網絡性能越好。評價指標的計算方法如下:

1) DSC的計算公式:

(6)

2) JAC的計算公式:

(7)

3) HD的計算公式:

DHD(p,g)=max(h(p,g),h(g,p)),

(8)

(9)

(10)

其中p表示預測分割的像素集,g表示ground truth的像素集。

2.3 實驗結果與分析

2.3.1 對比實驗

該組實驗為筆者方法與其他方法進行對比分析,表1是該組實驗結果,相較于U-Net算法[20],筆者方法在DSC上提升7.8%,在JAC上提升了10.1%,在HD上下降了69.5%。相較于CE-Net[11],筆者方法在DSC上提升9.9%,在JAC上提升了12.5%,在HD上下降了66.7%。相較于MSU-Net[14],筆者方法在DSC上提升0.5%,在JAC上提升了0.9%,在HD上下降了29.7%。實驗結果表明,筆者方法的分割精度優于大多數現有方法。

表1 不同算法的指標對比

該組實驗的可視化結果如圖7所示。Input是腰椎原始圖像,Ground truth是多裂肌中脂肪浸潤部分的標簽,然后依次是U-Net、CE-Net、筆者方法對脂肪浸潤部分的預測結果。實驗結果表明,筆者方法優于現有的大部分網絡框架,通過對分割可視化結果進行分析和比較,筆者方法能更準確地區分多裂肌的脂肪浸潤部分。

圖7 不同方法的分割結果對比

Grad-CAM(Gradient-weighted Class Activation Mapping)[23]通過計算最后一個卷積層中每個特征圖對圖片類別的權重,然后將這些權重與最后一個卷積層的特征圖相乘并求和,最后把加權和的特征圖映射到原始圖片中,生成熱力圖(Heatmap)。通過熱力圖可以顯示圖像中預測的重要區域,深灰色部分代表模型重點關注的特征區域。本組實驗通過Grad-CAM生成了熱力圖,如圖8所示,將生成的熱力圖與Ground truth進行比較,文中網絡能較準確地定位分割目標。

2.3.2 消融實驗

該組實驗是針對注意力機制模塊(AM)對實驗的影響分析,分別在編碼器(Encoder)中引入AM,解碼器(Decoder)中引入AM,在編碼器-解碼器(Encoder-Decoder)中同時引入AM。表2是該組實驗的結果。實驗數據表明,在編碼器-解碼器(Encoder-Decoder)中同時引入AM,此方法分割精度較高。

表2 注意力機制模塊在網絡不同位置的指標對比

該組實驗是針對各模塊對實驗的影響分析。在編碼器-解碼器中分別引入AM模塊和ASPP模塊,然后進行了相應的訓練和測試。表3是本組實驗結果。實驗數據表明,在U-Net基礎上添加了AM模塊和ASPP模塊后,筆者方法在DSC上提升7.8%,在JAC上提升了10.1%,在HD下降了69.5%,這表明該策略能有效提高模型的分割性能。

表3 各模塊在測試集上的指標對比

2.3.3 推理時間對比實驗

該組實驗是在筆者方法與U-Net[20]檢測單張圖片的推理時間分析。筆者方法檢測單張圖片的時間為1.329 s,如表4所示。由于筆者方法添加了AM模塊和ASPP模塊,因此在推理時間方面相較于U-Net[20]網絡會有所增加,但在分割效果方面有了顯著提升。

表4 UNet和筆者方法檢測單張圖片的推理時間對比

3 結 語

筆者提出了基于注意力機制的腰椎間盤突出患者多裂肌分割方法。該網絡利用注意力機制更加關注多裂肌中病灶的特征,過濾掉無用的信息,從而提高的分割精度。同時在特征提取后使用空洞空間卷積池化金字塔模塊,增加了感受野,從而更好地融合上下文信息,以提升網絡模型的性能。最后,在腰椎間盤突出患者多裂肌的MRI數據集上進行了實驗,實驗結果表明,筆者模型具有更好的性能,提高了多裂肌脂肪浸潤部位的分割精度。