基于U-net改進的臂叢神經超聲圖像分割方法

王傳濤,劉思宇,張錦華,蔡昊軒

(1.北京建筑大學 機電與車輛工程學院,北京 102616;2.北京建筑安全監測工程技術研究中心,北京 102616)

臂叢神經阻滯麻醉的關鍵步驟在于識別臂叢神經結構,準確地分割臂叢神經不僅可以在臨床手術中輔助醫生對病人進行快速準確的區域麻醉,降低對醫生的臨床經驗要求,減輕醫生的工作量,而且具有減輕患者術后疼痛,加快患者術后恢復等優勢。超聲(Ultrasound,US)因其無創、實時、無放射性損害和低價等特點,已經成為臨床上識別臂叢神經結構的重要手段。在超聲圖像采集過程中,由于成像原理的局限性以及設備的擾動性,圖像中容易產生大量噪聲,從而造成醫生對神經結構的位置信息不敏感。因此,準確地分割臂叢神經超聲圖像有助于提高醫生的工作效率。傳統的分割方法大多通過圖像間的灰度值差異、邊緣信息的連續性等特征進行分割,針對超聲圖像中的神經分割問題,García等[1]提出了一種基于斑點去除和貝葉斯形狀模型的分割方法,非局部均值濾波器能夠在保留神經結構邊緣信息的同時去除噪聲。Giraldo等[2]提出一種基于非參數貝葉斯分層聚類的神經分割方法,該方法將無限高斯混合模型(iGMM)和層次聚類(HC)相結合,起到重點分割感興趣區域和提高信息可理解性的作用。González等[3]提出了一種用于神經結構的半自動分割方法,其中非線性小波變換用于特征提取,分類階段采用高斯過程分類器。上述傳統分割方法大多需要醫生手動干預,且針對含有大量噪聲、神經結構形態不一的臂叢神經超聲圖像容易出現過分割、欠分割的現象。

近年來,基于深度學習的圖像分割方法以其省時、省力且具有較高普適性的特點被廣泛關注[4-6],其中Ronneberger等[7]提出的U-net網絡模型因其獨特的編碼器—解碼器結構在醫學圖像分割領域取得了不錯的效果。相較于傳統的圖像分割方法,基于深度學習的方法通過對圖像不斷進行卷積操作以達到有效提取圖像中多層次特征信息的目的,從而提高分割精度,且將圖片輸入訓練好的模型中可直接得到分割結果,不需要耗費醫生大量的精力。為了進一步提升分割精度,大量學者基于U-net網絡模型設計出了新的架構,Zhou等[8]為了減少編碼器與解碼器之間的特征圖差異,提出了U-net++網絡模型,在網絡中重新設計了跳躍連接結構,并增加了可對不同分割任務進行剪枝的深度監督,實驗結果表明其分割效果確實優于U-net。Oktay等[9]提出的Attention U-net在U-net的編碼器和解碼器之間添加了集成注意力門(AGs),其可以在突出局部區域特征的同時抑制不相關區域的特征信息,有效地提升了分割精度。Ibtehaz等[10]通過將ResNet中的殘差思想與U-net相結合提出了MultiResUNet,為了增強U-net的多分辨率分析能力,使用MultiRes模塊替代了卷積操作,取得了不錯的分割效果。Chen等[11]提出的TransUNet將Transformer和U-Net的優點相結合,不僅可以較好地提取全局語義信息,還可以有效利用CNN獲取到的低層細節信息進行精確定位。上述基于U-net網絡模型改進的深度學習分割方法雖然在特定訓練任務中提升了分割精度,但是普遍存在模型復雜度高、訓練速度慢的問題,同時臂叢神經結構在超聲圖像中具有占比較小、位置信息不同和形態不一的特征,進一步增加了分割的難度。因此,筆者基于注意力機制和空洞卷積對U-net網絡模型進行改進,提出了一種新的網絡模型用于自動分割臂叢神經超聲圖像,該模型主要有3個創新點:1) 在U-net編碼器的卷積和下采樣操作連接中引入通道注意力機制,賦予分割目標更高的權重,增強網絡對淺層特征的提取能力;2) 在編碼器與解碼器之間的跳躍連接中引入空洞空間金字塔池化模塊,使網絡可以有效提取神經結構的多尺度特征信息,提高模型的分割精度;3) 在不顯著增加參數量的情況下,模型的復雜度和推測時間都得到了提升。

1 網絡模型

1.1 改進后的U-net網絡模型整體框架

針對臂叢神經超聲圖像分割目標不明顯、噪聲多和邊緣不清晰的難題,提出了一種基于注意力機制和空洞空間金字塔池化模塊的深度卷積神經網絡模型,圖1給出了該模型的整體框架,該模型以U-net為主干網絡,包含編碼器、注意力模塊、空洞空間金字塔池化模塊和解碼器4個部分。在得到臂叢神經超聲圖像后先對其進行數據增強操作,避免因數據量少限制分割精度的提升,在不失真的情況下將超聲圖像尺寸統一改為256×256,并將灰度圖像輸入到模型中。在編碼器中先對圖像進行兩次卷積,再將卷積得到的特征圖輸入到注意力機制模塊中,以增加分割目標的權重,經過注意力模塊后進行下采樣操作,起到縮小圖像分辨率并保留關鍵信息的作用。在模型本身的跳躍連接中,首先把經過注意力模塊后得到的特征圖輸入空洞空間金字塔池化(ASPP)模塊,再將輸出得到的特征圖復制到對應的解碼器中進行通道上的拼接,這樣可以有效地將編碼器中的淺層特征和解碼器中的深層特征結合并融合神經結構的多尺度信息。在解碼器中先對卷積后輸出的特征圖采取上采樣操作以恢復圖像分辨率,然后將經過上采樣和改進后跳躍連接得到的拼接圖進行兩次卷積操作,在解碼器的最后一步利用1×1的卷積調整特征圖的通道數,通過Sigmoid激活函數轉換特征圖中的像素值,最終通過Dice損失函數實現臂叢神經超聲圖像的掩膜分割。

圖1 基于U-net改進的網絡模型結構圖Fig.1 Structure diagram of the improved network model based on U-net

1.2 注意力機制模塊

為了解決U-Net網絡模型在卷積層提取特征信息時將超聲圖片中的噪聲和無用信息傳遞到下一個卷積層的問題,筆者在模型中引入了通道注意力機制模塊。隨著SENet[12]的提出,近年來有不少學者將注意力模塊添加到所設計的主干網絡中。實驗證明:添加注意力模塊確實可以顯著提升模型的精度,然而不可避免地會增加網絡模型的參數量及復雜度。因此,筆者將Wang等[13]提出的高效通道注意力網絡(ECA-Net)作為注意力模塊,ECA-Net可以看作是對SENet的一種改進,該方法提出了一種不降維的局部跨通道交互策略,利用一維卷積進行適當的跨通道交互可以在保持性能的同時降低模型的復雜度。圖2為ECA-Net通道注意力模塊的網絡結構圖,其中H為特征張量的高,W為特征張量的寬,C為特征張量的通道數。首先,基于每個通道對輸入的特征張量進行全局平均池化;然后,利用1D卷積提取池化得到特征序列,特征序列經過sigmoid激活函數得到每個通道的權值;最后,與輸入的特征張量相乘,得到通道注意力模塊的輸出。在ECA-Net中獲取所有通道的依賴關系是低效和不必要的,而卷積具有良好的跨通道信息獲取能力,因此ECA模塊用1D卷積替換了SENet中的兩次全連接。實驗結果表明:在嵌入U-net網絡模型后,ECA模塊的性能得到了顯著提升。

圖2 高效通道注意力模塊Fig.2 Efficient channel attention module

1.3 空洞空間金字塔池化模塊

由于超聲設備在圖像采集過程中設置的參數不同、手法不同,且根據臂叢神經超聲圖像的標簽數據可以看出臂叢神經結構的大小不一,形態各異,這導致網絡模型不能有效地提取特征信息,進而不能達到理想的分割精度。為了解決上述問題,筆者在模型中加入了空洞空間金字塔池化(Atrous spatial pyramid pooling,ASPP)[14]模塊,該模塊通過不同膨脹率的空洞卷積和全局平均池化來實現超聲圖像中不同尺度的特征信息提取,能有效地提升分割性能,圖3為ASPP模塊的結構示意圖。由圖3可知ASPP模塊的第1步需要由5個卷積層并行操作:第1個卷積層使用1×1的卷積核對輸入的特征圖進行卷積運算,經過批量歸一化處理后得到輸出特征圖;第2～4個卷積層讓輸入的特征圖分別通過膨脹率為6,12,18且卷積核大小為3×3的空洞卷積,空洞卷積可以在不改變卷積核大小的情況下擴大感受野,從而對特征信息進行更多的提取,經過批量歸一化處理得到輸出特征圖;第5個卷積層首先要縮小原始圖像的尺寸,以便獲得全局的上下文信息,然后對輸入特征圖的各個通道進行全局平均池化,接著通過1×1的卷積構成新的特征圖,卷積后同樣進行批量歸一化處理,最后利用雙線性插值法對圖像尺寸進行還原。在5個并行卷積層操作完成后,首先對每個卷積層得到的輸出特征圖進行拼接,以增加不同尺度特征圖之間的相關性,因為是在通道維度上對特征圖進行拼接,所以得到的通道維數是原特征圖的5倍;然后利用1×1的卷積對得到的特征圖進行降維;最后經過批量歸一化操作得到ASPP模塊輸出的特征圖。

圖3 空洞空間金字塔池化模塊Fig.3 Atrous spatial pyramid pooling module

2 實驗與分析

2.1 實驗數據及參數設置

使用超聲神經分割競賽中的臂叢神經超聲圖像作為數據集,該競賽在2016年由Kaggle平臺發布[15],共有5 635張超聲圖像原圖及5 635張專家標注的標簽圖像,將數據集按照9∶1的比例劃分為訓練集和測試集。由于樣本數量受到限制,為了使訓練樣本覆蓋更多的目標特征,筆者采用數據增強技術,包括水平、垂直翻轉和隨機縮放。

本實驗的硬件環境為NVIDIA GeForce RTX 3090顯卡,操作系統為Windows 11,編程語言為Python 3.8,所有程序均在Pytorch框架下實現,實驗中所有的配置都相同,具體的網絡參數設置如下:輸入的圖像尺寸為256×256,迭代次數為100,Batch_size大小為8,初始學習率為0.000 1,優化器選用Adam(Adaptive moment estimation)。

2.2 評價指標

本實驗采用戴斯相似性系數(Dice similarity coefficient,Dice),交并比(Intersection over union,IoU)、精確率(Precision)和召回率(Recall)作為臂叢神經超聲圖像分割方法的評價指標,并與SegNet[16],U-Net,U-net++進行比較。評價指標的具體定義如下:

對于超聲圖像的分割問題,最終分割結果是把目標區域和背景區域進行劃分,也可以看作是二分類問題,其中,被正確預測為神經結構的像素個數稱為真陽性(True positive,TP),被正確預測為背景區域的像素個數稱為真陰性(True negative,TN),被錯誤預測為神經結構的像素個數稱為假陽性(False positive,FP),被錯誤預測為背景區域的像素個數稱為假陰性(False negative,FN)。

1) 精確率(Precision,P)。精確率是指預測為神經結構的像素個數中有多少被正確預測,其計算式為

(1)

2) 召回率(Recall,R)。召回率是指原始神經結構的像素個數中有多少被預測正確,其計算式為

(2)

3) 戴斯相似性系數(Dice similarity coefficient,Dice)。Dice是評估兩個區域相似度的函數,在本實驗中,表示模型分割的區域與專家標注區域的重疊率,其范圍為[0,1],其計算式為

(3)

4) 交并比(Intersection over union,IoU)。IoU通過神經結構像素的真實值和預測值的交集與并集的比值來評估模型的分割性能,其范圍為[0,1],其計算式為

(4)

式中:Vseg為預測區域;Vgt為真實區域。

2.3 分割結果與分析

為了驗證筆者模型的分割性能,與當下主流的Segnet,U-net和U-net++網絡模型進行比較,圖4展示了4種網絡模型得到的分割結果,其中圖4(a)為臂叢神經超聲圖像的原圖,圖4(b)為專家標注的金標準圖,圖4(c)為筆者模型得到的預測圖,圖4(d～f)依次為Segnet,U-net和U-net++網絡模型得到的預測圖。由圖4可知:Segnet網絡模型預測圖的邊緣較粗糙,U-net和U-net++網絡模型預測圖都出現了嚴重的過分割、欠分割現象,而筆者模型得到的預測圖與專家標注的金標準中神經結構的形狀更加類似且邊緣更加平滑。這說明在編碼器中加入注意力模塊可以有效地抑制隨著網絡深度的增加而造成的信息丟失,并且對網絡淺層提取到的邊緣信息賦予更高的權重。此外,臂叢神經結構在位置信息、尺寸上都存在著差異,而U-net,U-net++和Segnet網絡模型中僅使用了單一尺寸的卷積核對特征圖進行卷積操作,這樣無法獲得分割目標的多尺度信息。因此,筆者在U-net網絡模型的跳躍連接中添加了ASPP模塊,通過設置不同膨脹率的空洞卷積實現對臂叢神經結構不同尺寸特征的信息提取,并將融合的特征圖傳遞到解碼器部分,與解碼器上采樣后得到的特征圖進行拼接。

圖4 不同模型分割效果圖Fig.4 Segmentation effect diagram of different models

為了證實筆者模型確實存在最優的效果,使用不同的評價指標與Segnet,U-net和U-net++網絡模型進行對比實驗,分割結果如表1所示。

表1 不同模型的分割結果對比

由表1可知:筆者模型在精確率、召回率、Dice和IoU這4個評價指標上的分割結果均優于Segnet,U-net和U-net++。與本實驗所用的主干網絡U-net相比,筆者模型在精確率上提高了11.27%,召回率上提高了5.61%,Dice上提高了9.72%,IoU上提高了9.03%。一方面,說明在U-net網絡模型編碼器部分引入ECA-Net通道注意力模塊,可以在卷積操作提取特征的基礎上進一步加強模型對邊緣特征的學習能力并賦予分割目標更高的權重;另一方面,對比U-net和U-net++網絡模型可知,單純的跳躍連接操作并不能顯著提升模型的分割性能,筆者在跳躍連接中引入ASPP模塊,能將深層特征與淺層特征有效地拼接,并融合多尺度信息,從分割結果來看,分割精度得到了進一步提升。

為進一步證明筆者模型相較于其他主流的網絡模型更具有優勢性,選用單張圖片的預測時間作為衡量模型實時性的指標,參數量和計算量作為衡量模型復雜度的指標,結果如表2所示。由表2可知:筆者模型對于單張圖像的平均預測時間為25 ms,僅比U-net增加2 ms,雖然模型的復雜度高于U-net,但是模型的精度得到了較大提升;與另外兩種分割網絡模型相比,筆者模型的實時性和復雜度均相對較優。

表2 不同模型的實時性和復雜度對比

3 結 論

提出了一種基于U-net改進的臂叢神經超聲圖像分割方法,其利用高效通道注意力(ECA-Net)機制抑制U-net編碼器中的無關信息并且增加目標通道的權重,通過與空洞空間金字塔池化(ASPP)模塊相結合,提高分割網絡對不同尺寸臂叢神經結構的特征提取能力。實驗結果表明:筆者模型較其他方法在神經結構的欠分割和過分割處理方面的綜合能力更強,與基于U-net改進的模型U-net++相比,不僅能夠降低模型的復雜度,而且具有更優的分割精度和實時性。如何在不降低模型分割精度的情況下減少模型中的網絡參數,使其能夠真正應用到實踐中輔助醫生診斷是下一步的研究方向。