基于循環顯著性校準網絡的胰腺分割方法

邱成健 劉青山 宋余慶 劉哲

胰腺癌具有侵襲性強、轉移早、惡性程度高、發展較快、預后較差等特征,根據美國癌癥協會報道,其5 年生存率低于10%,死亡率非常高[1].胰腺癌已成為嚴重威脅人類健康的重要疾病,并對臨床醫學構成巨大挑戰.胰腺的準確分割對胰腺癌檢測識別等任務起著至關重要的作用.胰腺處于人體后腹部的解剖位置,其臟器影像常被遮擋不易識別,且其形狀和空間位置多變,在腹部CT 圖像中所占比例較小,其準確分割問題亟待解決.

近年來,由于深度神經網絡的發展以及全卷積網絡(Fully convolutional network,FCN)[2]的出現,醫學圖像分割準確率取得了較大提升.針對不同患者間胰腺形態差異性較大的解剖特征,基于單階段深度學習分割算法極易受其較大背景區域影響,導致分割準確率下降.現階段常用解決方法是基于由粗到細的分割算法[3-6],通過粗分割階段輸出掩碼進行定位,只保留胰腺及其周圍部分區域作為細分割階段網絡輸入,減小背景區域對目標區域影響,提高分割精度.由粗到細的分割算法雖然減少了腹部影像背景區域對目標區域的干擾,但是針對形態和空間位置多變的胰腺小器官增強前景區域同樣重要.同時粗分割階段僅保留了定位框的位置信息,卻丟失了胰腺輸出分割掩碼的先驗特征信息,從而細分割階段缺少粗分割階段上下文信息,有時會獲得相比粗分割階段更差的分割結果,如圖1 所示.此外,由于在CT 影像中胰腺與鄰近器官密度較為接近、組織重疊部分界限分辨困難,未合理利用相鄰切片預測分割掩碼上下文信息常導致誤分割現象,如圖2 所示.結合相鄰預測分割掩碼容易看出,中間切片存在誤分割區域(紅色部分),合理利用預測分割掩碼切片上下文信息能夠校準誤分割區域.

圖1 粗細分割存在問題示例Fig.1 A failure case of the coarse-to-fine pancreas segmentation approach

圖2 誤分割示例Fig.2 An example of false segmentation

針對胰腺細分割階段缺少粗分割階段上下文信息的問題,文獻[3]提出了固定點的分割方法.訓練階段使用胰腺標注數據訓練粗分割網絡,然后使用粗分割網絡的預測結果對原CT 圖像進行定位、剪裁,只保留胰腺及其周圍部分區域作為細分割網絡輸入,通過反向傳播,優化細分割結果.測試階段,固定細分割網絡參數,使用細分割網絡預測掩碼獲得定位框并剪裁CT 圖像,再次輸入細分割網絡,迭代此過程獲得優化的分割掩碼,以此緩解缺少階段上下文信息的問題.但是此分割方法本質上僅循環利用細分割定位框的位置信息,缺少對分割掩碼的循環利用,缺少聯合訓練,導致分割效果提升有限.

針對如何合理利用切片上下文信息解決胰腺與鄰近器官密度較為接近、組織重疊部分界限分辨困難導致的誤分割問題,研究者提出了利用卷積長短期記憶網絡(Convolutional long short-term memory,CLSTM)[7]和三維分割網絡的方法[8-10].文獻[8] 將相鄰CT 切片輸入到卷積門控循環單元(Convolutional gated recurrent units,CGRU)[11],使當前隱藏層輸出信息融合到下一時序隱藏層中,通過前向傳播,當前隱藏層可獲得融合之前切片上下文信息的輸出表示.文獻[9]通過雙向卷積循環神經網絡,同時利用當前層前后切片上下文信息進行胰腺分割.但是目前大多數基于卷積循環神經網絡的分割方法在利用切片上下文信息時,只能按照輸入切片順序、逆序或結合順序和逆序的方式.這些方式嚴重依賴輸入序列順序,并且相隔越遠的切片在前向傳播過程中能夠共享的上下文信息越少.與前述方法不同,文獻[10]將鄰近切片輸入三維卷積神經網絡,有效利用切片上下文信息,改善了分割結果.但基于三維卷積神經網絡的分割方法,受限于三維訓練數據量過少和顯存消耗過大,大多數方法是基于局部三維塊的分割.雖然局部塊中切片上下文信息得到了合理利用,但是全局三維信息卻缺乏連續性,導致分割掩碼存在過多噪點.相比于三維圖像分割方法需要解決三維圖像數據量過少及參數量過多帶來的顯存問題,基于卷積循環神經網絡的二維圖像分割方法存在的問題可以通過設計算法解決.

根據以上分析,本文針對現有基于由粗到細的二維胰腺分割方法中存在的問題,設計了循環顯著性校準網絡,其結合更多的階段上下文信息和切片上下文信息.通過設計的卷積自注意力校準模塊跨順序利用切片上下文信息校準每一階段的胰腺分割掩碼,循環使用前一階段的胰腺分割掩碼定位目標區域,增強當前階段的網絡輸入,完成分割任務的聯合優化.提出的方法在公開數據集上進行了實驗驗證,結果表明其有效地解決了上述胰腺分割任務中存在的問題.本文的主要貢獻如下:

1)提出循環顯著性校準網絡,循環利用前一階段胰腺分割掩碼顯著性增強當前階段胰腺區域特征,通過聯合訓練獲取更多的階段上下文信息.

2)設計了卷積自注意力模塊,使得胰腺所有輸入切片預測分割掩碼之間可以平行地進行跨順序上下文信息互監督,校準預測分割掩碼.

3)在NIH (National institutes of health)和MSD (Medical segmentation decathlon)胰腺數據集進行了大量實驗,實驗結果驗證了提出方法的有效性及先進性.

1 相關工作

由粗到細的兩階段分割方法.由粗到細的兩階段分割方法主要分為兩類:基于傳統算法和基于深度學習的方法.前者主要使用如超像素、圖譜等傳統算法獲得粗分割結果,再通過隨機森林、Graphcut 等方法獲得細分割結果[12-13];后者主要是基于深度學習的粗細分割方法[14],基于數據驅動、自動化學習模型參數,進行像素級別分類,因其高精度和穩定性,逐漸取代傳統由粗到細的分割方法.

基于深度學習的粗細分割方法在粗分割訓練階段,輸入CT 切片MC,經過粗分割卷積神經網絡f(MC,θC),預測結果記為NC,與真實標簽(Ground truth)Y進行損失計算,通過反向傳播優化粗分割結果.在細分割訓練階段,針對粗分割網絡預測結果,使用最小外接矩形算法獲得胰腺位置坐標(px,py,w,h),對CT 輸入MC進行剪裁,獲得感興趣區域MF作為細分割網絡f(MF,θF)的輸入;獲得細分割網絡輸出預測結果NF并還原圖像大小,記為Y P,與真實標簽(Ground truth)Y進行損失計算,通過反向傳播優化細分割結果.其中,上標參數C、F分別表示粗分割階段和細分割階段; (px,py),w,h分別表示外接矩形框的左上角坐標,寬和高;θC,θF分別表示粗、細分割網絡參數.

在測試階段,將CT 切片輸入訓練好的粗細分割網絡即可獲得測試結果.粗細分割方法中使用的網絡主要是基于UNet[15],FCN[2]以及基于這兩個基礎結構的改進網絡.本文在粗細分割方法的基礎上針對胰腺解剖性質提出基于循環顯著性校準網絡的胰腺分割方法,均使用UNet[15]作為基礎骨干網絡.

胰腺分割方法.傳統醫學圖像分割常用方法有水平集[16]、混合概率圖模型[17]和活動輪廓模型[18]等.隨著深度學習的發展,基于卷積神經網絡(Convolutional neural network,CNN)的分割方法由于其較高的精確度和較好的泛化性逐漸取代傳統方法.目前大多數基于深度學習的胰腺分割方法核心思想來源于FCN[2],FCN 改進了卷積神經網絡,用卷積層替代最后的全連接層,同時將淺層語義特征通過上采樣與深層特征相融合,補充分割目標的位置信息,提高了分割準確率.另一種常用于胰腺分割的方法采用“編碼器-解碼器”結構[15],編碼器負責逐層提取漸進的高級語義特征,解碼器通過反卷積或上采樣的方法逐層恢復圖像分辨率至原圖大小,同一層次編碼器和解碼器通過跳躍結構相連接.

由于胰腺形狀、大小和位置多變,上述單個階段基于FCN 或“編碼器-解碼器”結構的分割網絡難以獲得準確分割結果.文獻[3]首先提出了基于卷積神經網絡由粗到細的兩階段分割算法,使用粗分割掩碼的位置信息剪裁細分割階段網絡的輸入,減小背景區域對胰腺區域分割的影響.相比于文獻[3],文獻[19]更進一步,在使用由粗到細的兩階段分割算法的同時,通過設計輕量化模塊減少了粗細分割階段模型的參數;而文獻[20]則直接以中心點為基礎剪裁圖像作為細分割網絡的輸入.文獻[21]利用肝臟、脾臟和腎臟的位置信息定位胰腺器官,這不同于上述直接通過粗分割定位胰腺器官的方法.文獻[22]提出基于由下至上的方法,首先使用超像素分塊進行粗分割,然后基于超像素塊集成分割結果.文獻[23]使用最大池化方法融合CT 切片三個軸信息,獲取候選區域,在候選區域中從邊緣至內部聚合分割結果.文獻[24]提出基于圖譜的粗細分割方法,改善了分割結果.近來,文獻[25]提出了一種基于強化學習的兩階段分割算法.首先,使用DQN (Deep Q network)回歸胰腺坐標位置,剪裁只保留胰腺及其周圍部分區域;然后,細分割階段使用可行變卷積網絡獲得分割結果.

以上方法均取得了較為準確的分割結果,但是將胰腺分割粗細兩階段分開訓練,細分割階段缺少粗分割階段上下文信息的問題,依然難以用有效的方式處理.文獻[3]在測試階段使用固定點算法,固定細分割模型參數,循環利用當前階段預測分割掩碼獲取定位框位置信息作為下一階段輸入的先驗,以此達到使用之前階段上下文信息的效果.此方法本質上只迭代使用細分割定位框位置信息,缺乏粗分割輸出分割掩碼的有效利用.

合理使用切片上下文信息解決胰腺誤分割,同樣至關重要.文獻[8,26]首先使用卷積神經網絡提取特征,然后利用卷積長短期記憶網絡[7]提取切片上下文信息分割胰腺,但切片上下文信息不能夠跨順序、平行化共享,并且前向傳播存在信息丟失的問題.文獻[27]使用對抗學習思想,分別使用兩個判別器約束主分割網絡,捕獲空間語義信息和切片上下文信息,但對抗網絡的不穩定性使得訓練和測試結果波動性較大.文獻[28]使用相鄰切片局部塊作為輸入,編碼器部分使用三維卷積以遞進的方式逐層融合切片上下文信息,解碼器部分使用二維轉置卷積輸出中間切片分割掩碼.由于CT 切片之間層厚和層間距的差異性,且局部塊輸入未使用任何插值方法,捕捉到的三維切片上下文信息具有不一致性和局部性.文獻[10,29-30]使用三維分割方法獲取切片上下文信息,受限于顯存和三維數據量,全局三維信息缺乏連續性.

針對現有胰腺分割方法中缺少階段上下文信息的問題,以及在使用循環卷積神經網絡分割胰腺的過程中,利用相鄰切片上下文信息存在順序依賴并且隨著相鄰切片間隔距離的增加導致全局信息正相關減少的問題,本文提出了一種循環利用階段上下文信息和切片上下文信息的二維胰腺圖像分割網絡.首先,將相鄰CT 切片作為粗分割網絡輸入,獲得粗分割掩碼;然后,通過最小矩形框算法對獲得的粗分割掩碼進行胰腺區域坐標定位;接著,使用粗分割掩碼作為權重增強細分割階段輸入切片的胰腺區域特征,獲取細分割掩碼,細分割掩碼以同樣的方式增強下一階段分割網絡的輸入;最后,循環迭代上述過程直到達到指定停止條件.通過此方法,有效降低了分割平均誤差,提高了分割方法的穩定性.

2 本文方法

針對當前由粗到細的兩階段胰腺分割算法利用階段上下文信息和切片上下文信息存在的問題,本文提出了循環顯著性校準網絡.其采用UNet 和卷積自注意力校準模塊作為骨干網絡,接受相鄰橫斷位胰腺CT 切片輸入;當前階段卷積自注意力校準模塊利用切片上下文信息校準UNet 輸出掩碼的同時,利用自身輸出掩碼顯著性增強下一階段UNet網絡輸入;循環UNet 和卷積自注意力校準模塊,聯合階段上下文信息和切片上下文信息提升分割性能,整體網絡架構如圖3 所示.

圖3 循環顯著性校準網絡Fig.3 Recurrent saliency calibration network

2.1 循環顯著性校準網絡

本文聚焦于聯合階段間和胰腺序列圖像切片上下文信息提升分割準確率.為了合理利用當前階段胰腺分割掩碼的位置和形狀等先驗信息,顯著增強下一階段分割網絡的輸入;同時,通過平行、跨順序直接利用相鄰切片分割掩碼改善自身明顯誤分割現象,提出循環顯著性校準網絡,其分割迭代過程如圖4 所示.循環顯著性指每個階段的校準分割掩碼P經增強模塊g(P,φ)特征提取后獲得像素矩陣,此像素矩陣為胰腺前景相關矩陣.使用此像素矩陣和下一階段輸入圖像M進行像素對像素相乘,顯著增強胰腺區域,抑制背景區域.

選擇UNet 基礎分割網絡模型f(·,θ)作為骨干網絡,該模型的輸入為胰腺的相鄰CT 切片,記為X,通過基礎分割網絡模型推斷出輸出掩碼N.由于胰腺與鄰近器官密度較為接近、組織重疊部分界限分辨困難,容易導致基礎分割網絡出現誤分割現象.因此,本文基于切片上下文信息設計了卷積自注意力校準模塊a(·,η),校準基礎分割網絡輸出的分割掩碼N,卷積自注意力校準模塊的輸出表示為P;為了能夠獲取更加準確的胰腺位置,設置了固定分割掩碼像素閾值0.5,來二值化P,其輸出表示如式(1)所示.

其中,i、j為分割掩碼中像素值位置坐標.

通過對式(1)的輸出Z應用最小矩形框算法獲得包圍胰腺分割掩碼框的位置坐標 (px,py,w,h),位置坐標獲得過程如圖5 所示.其中,藍色框為單個連通區域分割結果的定位,綠色框為整合多段分割結果的定位.

圖5 基于最小矩形框的定位過程Fig.5 The process of localization based on minimum rectangle algorithm

為改善下一階段分割過程中缺少當前階段上下文信息的問題,使用校準模塊輸出分割掩碼P作為潛在變量輸入到顯著性增強模塊g(P,φ),提取特征概率作為下一階段分割網絡輸入X的先驗空間權重,并結合上述定位坐標 (px,py,w,h)增強并縮小下一階段網絡的輸入,顯著減小背景區域對分割的影響.對于在整個腹部圖像中區域占比較小,形狀和位置多變的胰腺器官來說,此過程極為重要,其顯著增強了胰腺區域,弱化了不相關區域.過程如式(2)所示.

其中,M為增強并縮小的下一階段輸入;?表示對應像素點相乘;Crop 表示利用定位坐標(px,py,w,h)對各階段輸入做剪裁.θ,η,φ為相應模塊共享網絡參數.

圖4 右圖是圖4 左圖的展開形式,其中M0作為胰腺初始輸入圖像和X相同,其大小遠大于其他階段的網絡輸入Mt(t ＞0),所以第一次粗分割階段和其余分割階段網絡參數θ應加以區分,分別使用θC和θF表示.在循環迭代過程中,由于各分割階段輸入X不變,并且輸入X需與顯著性增強模塊g(P,φ)輸出作逐像素相乘,為了保持g(P,φ)是一個輸入輸出同大小的模塊,設置卷積核大小為3×3,步長為1,填充為1.

圖4 迭代過程Fig.4 Iteration process

整個循環迭代分割過程如式(3)所示.

根據以上分析可以看出,整個網絡運算過程是可微的,結合所有階段損失函數進行聯合訓練.本文采用DSC (Dice-S?rensen coefficient)作為損失函數,如式(4)所示.

其中,Y是真實標簽,P為各階段預測分割掩碼.

結合各階段分割網絡和卷積自注意力校準模塊,DSC 聯合損失函數如式(5)所示.

其中,T為循環分割次數停止閾值.由于粗分割階段和其余分割階段胰腺切片輸入大小不一致,粗分割階段主要用于獲取胰腺的初步定位和粗分割掩碼,故設置較小的權重參數,且滿足3λ0=λ1=λ2=···=λT=3/(3T+1).

2.2 卷積自注意力校準模塊

針對胰腺與鄰近器官密度較為接近、組織重疊部分界限分辨困難而導致的誤分割問題,本文提出在循環顯著性校準網絡每個分割階段嵌入卷積自注意力校準模塊,其合理利用切片上下文信息校準胰腺相鄰切片誤分割區域.

本文設計的卷積自注意力校準模塊基于自注意力機制[31].自注意力機制在處理序列信息輸入時,能夠跨順序、平行化地與序列輸入中其他時間點輸入進行直接交互.但由于自注意力機制使用的線性變換忽略了圖像像素之間的空間關系,本文提出卷積自注意力校準模塊,使用卷積操作替換線性變換.卷積自注意力校準模塊如圖6 左圖所示(圖中以批次大小3 為例),圖6 右圖為圖6 左圖中獲得單張校準分割掩碼的計算過程,其余兩張切片校準分割掩碼獲得過程計算方式類似,圖中P表示預測分割掩碼的熱力圖顯示,中間是顏色條，其取值范圍在[0,1.0]之間.為了描述和解釋的方便,將卷積自注意力校準模塊中所有標量以向量或者矩陣的形式表示如下.

圖6 卷積自注意力校準模塊網絡圖Fig.6 Network of convolution self-attention calibration module

其中,Nt為分割網絡f(Mt,θ)輸出的相鄰分割掩碼;Q為查詢特征向量;K,V為鍵值對特征向量;B為相似度度量矩陣;C為像素權重矩陣;Pt為校準模塊輸出掩碼.

為了提取多樣性的特征表示,首先將相鄰分割掩碼Nt中的每一個元素分別通過 3×3 卷積,獲得輸出α1,α2,α3; 然后將輸出特征α1分別通過3 個不同的1×1卷積,獲得的查詢特征向量q1和鍵值對特征向量k1,v1;輸出特征α2,α3以與α1相同的方式獲得 (q2,k2,v2)和 (q3,k3,v3),其中所有3×3 和 1×1 卷積都保持輸出和輸入大小一致.下面通過Q、K、V來表示輸出掩碼Pt獲得的過程,如式(6)～式(8).

B為Nt中的每個元素的特征查詢向量分別與其他元素的鍵向量作相似度度量獲得的矩陣,表示其他元素對當前元素的影響程度,這里相似度度量是像素對像素的乘法操作,dk為鍵向量維度.C通過 s oftmax 函數對相似度度量矩陣進行歸一化,dim=-2表示對倒數第二個維度進行歸一化;獲得像素權重矩陣以后,與Nt中的每個元素的值向量v像素對像素相乘,再進行融合獲得最終輸出表示Pt.分別用式(9)～式(15)表示詳細計算過程,其中卷積操作都擁有不同的參數.

3 實驗結果與分析項

3.1 數據集及預處理

本文實驗使用NIH[22]胰腺分割數據集和MSD[32]胰腺分割數據集.NIH 數據集總共包含82位受試者的CT 樣本,每位受試者樣本中CT 切片數量最少181 張,最多466 張,每一張切片大小為512×512像素,切片厚度在0.5 mm 到1.0 mm 之間;MSD數據集總共包含281 位受試者的CT 樣本,每位受試者樣本中CT 切片數量在37 到751 之間,每一張切片大小為 5 12×512 像素.

在本文實驗中,所有CT 切片的HU (Housefield unit)值根據統計結果被限制在 [-120,340],并把CT 切片及其對應標簽歸一化到[0,1]之間,同時隨機做 [-15°,15°] 隨機旋轉.

3.2 實驗方法細節及評價指標

實驗使用Pytorch 1.2.0 版本,在Ubuntu 16.04 操作系統的2 塊RTX 2080ti 獨立顯卡進行訓練,訓練時批次大小設置為3,使用ReLU[33]作為激活函數,Adam[34]作為優化方法,學習率lr=1.0×10-4,受限于顯存大小,訓練階段最大迭代次數T設置為4.實驗使用4 折交叉驗證方法確保結果的魯棒性.數據集被平均分為4 份,每次選擇其中的3 份作為訓練集,另1 份作為驗證集.共實驗4 次,計算平均DSC 準確率,作為最終結果.

訓練過程.訓練過程中需要通過反向傳播算法最小化損失函數(式(5)).值得注意的是:訓練過程前期,由于網絡參數的隨機初始化,各階段產生了錯誤分割掩碼,所以訓練初始階段使用標準標簽作為上下文先驗,增強并剪裁下一分割階段網絡的輸入.

測試過程.測試過程和訓練過程不同,測試階段缺少標準標簽,所以使用各階段分割掩碼作為先驗信息,增強并縮小下一階段的輸入;同樣,測試過程中不需要優化參數,對于中間結果可以丟棄,所以迭代次數的閾值不再限于GPU 顯存,理論上可以無上界.本文設定測試的循環分割次數停止閾值T為6,因為實驗的觀察結果表明,當迭代次數較大時分割準確率提升有限.

實驗采用DSC 作為評價指標,如式(16)所示,真實標簽和分割掩碼交集的兩倍與真實標簽和分割掩碼并集的比值.其中,Y是真實標簽,P為預測分割掩碼.

3.3 實驗對比分析

本節基于公開數據集(NIH 和MSD)設置不同實驗對照組,驗證基于循環顯著性校準網絡的胰腺分割方法.主要分為5 部分:1)階段上下文信息有效性分析;2)切片上下文信息有效性分析;3)結合階段上下文信息和切片上下文信息的循環顯著性校準網絡有效性分析;4)輸入切片數目對分割結果的影響;5)網絡模型參數量及時間消耗.

3.3.1 階段上下文信息有效性分析

本節對比實驗展示階段上下文信息對于分割性能的影響,分別進行了兩部分實驗.

1)針對粗細分割分開訓練、粗細分割聯合訓練以及循環顯著性網絡聯合訓練進行對比實驗.粗細分割聯合訓練以及循環顯著性網絡聯合訓練都使用了顯著性增強模塊利用階段上下文信息,其中每一分割階段都去掉了卷積自注意力校準模塊.實驗結果如表1 所示.其中粗細分割聯合訓練相比于粗細分割分開訓練在兩個數據集上都展示了更高的平均分割準確率和更低的標準差,其主要因為顯著性增強模塊顯著性增強胰腺區域并聯合粗細分割階段上下文信息進行聯合優化;而循環顯著性網絡聯合訓練相比于粗細分割聯合訓練帶來的分割效果提升,來源于使用更多的階段上下文信息聯合訓練.由上述分析可知,更多的階段上下文信息對于胰腺分割準確率提升有重要貢獻.

表1 粗細分割分開訓練、聯合訓練和循環顯著性聯合訓練分割結果Table 1 Segmentation of coarse-to-fine separate training,joint training and recurrent saliency joint training

2)針對循環顯著性網絡測試階段進行分析,如表2 所示.隨著第1 次迭代,在NIH 數據集上,胰腺的平均DSC 準確率從76.81%上升到84.89%,標準差從9.68%降到5.14%;在MSD 數據集上,胰腺的平均DSC 準確率從73.46%上升到81.67%,標準差從11.73%降到8.05%.由于粗分割階段分割掩碼上下文信息的引入,平均DSC 準確率和穩定性都有較大的提升.但是,后續迭代過程中,由于分割掩碼先驗信息對于較準確分割結果作用的減少,在兩個數據集上平均DSC 準確率和標準差僅僅小幅度上升和下降;但對于最小DSC 分割準確率提升明顯,分別從40.12%上升到最高的62.82%、47.76%上升到最高的64.47%,有效提升了胰腺分割困難樣本的DSC 分割準確率.

表2 循環顯著性網絡測試結果Table 2 Test results of recurrent saliency network segmentation

3.3.2 切片上下文信息有效性分析

本節對比實驗展示切片上下文信息對于胰腺分割性能的影響,分別進行了兩部分實驗.

1)針對粗細分割以及循環顯著性網絡聯合訓練在添加和未添加卷積自注意力校準模塊利用切片上下文信息情況下,進行實驗結果分析,如表3 所示.相對于未添加卷積自注意力校準模塊的粗細分割聯合訓練,添加了卷積自注意力校準模塊的粗細分割聯合訓練在NIH 數據集上,胰腺平均DSC 準確率提升了1.64%,標準差下降了0.40%;在MSD數據集上,胰腺平均DSC 準確率提升了1.29%,標準差下降了0.88%.在兩個數據集上,胰腺最小DSC 分割準確率也有所上升.同樣,循環顯著性網絡聯合訓練在添加卷積自注意力校準模塊(本文方法)時,相比于未添加卷積自注意力校準模塊,其分割性能在分割準確率和穩定性上均提升明顯.由此可以看出,卷積自注意力校準模塊能夠利用切片上下文信息改善胰腺分割結果.

表3 添加校準模塊結果對比Table 3 Comparison results of adding calibration module

2)針對本文方法中校準模塊分別基于卷積自注意力或者基于卷積循環神經網絡在分割胰腺時進行實驗對比,如表4 所示.將本文方法框架中卷積自注意力校準模塊分別換成單層卷積長短期記憶循環神經網絡(CLSTM)[7]、單層卷積門控單元(ConvGRU)[11]和單層軌跡門控循環單元(TrajGRU)[35]等卷積循環神經網絡,進行實驗對比.從兩個數據集的實驗結果可以看出,基于卷積自注意力的校準模塊不管是在胰腺平均DSC 分割準確率、標準差或者最大、最小分割準確率上都要好于部分基于卷積循環神經網絡的校準模塊[7,11,35].

表4 胰腺分割基于CLSTM 和自注意力結果對比Table 4 Comparison results based on CLSTM and self-attention mechanism in pancreas segmentation

3.3.3 循環顯著性校準網絡有效性分析

為進一步說明本文所提方法在胰腺分割方法中的優勢,本文方法與當前具有代表性的方法進行了比較.

NIH 胰腺數據集上實驗結果如表5 所示,本文方法與其他具有代表性的胰腺基準分割方法進行了比較.相比于其他二維胰腺分割方法[3,19-23,26,36],在以下兩方面改進:1)聯合訓練利用更多的階段上下文信息;2)使用卷積自注意力校準模塊校準每一階段胰腺分割掩碼.平均DSC 分割準確率從最高的85.40%提升到87.11%,顯著改善了胰腺平均分割結果;最大分割準確率從最高的91.46% 上升到92.57%.相比于三維胰腺分割方法[5,10,29-30,37],本文提出的卷積自注意力校準模塊充分利用切片上下文信息,顯著減少參數量(GPU 顯存消耗)的同時,達到三維分割同等效果,提高了運算效率,并且將胰腺平均分割準確率從最高的86.19%提升到87.11%,最大分割準確率從最高的91.90%上升到92.57%.

表5 NIH 數據集上不同分割方法結果比較(“——”表示文獻中缺少參數說明)Table 5 Comparison of different segmentation methods on NIH dataset (“——” indicates a lack of reference in the literature)

MSD 胰腺數據集上實驗結果如表6 所示,本文方法與具有代表性的胰腺基準分割方法進行了比較.相比于二維分割方法[28],平均DSC 分割準確率從84.71%提升到85.13%,標準差從7.13% 降到5.17%,顯著提升了胰腺分割方法的穩定性;最小分割準確率從58.62% 上升到68.24%,提高了困難樣本的分割準確率.相比于三維胰腺分割方法[38-40],平均DSC 分割準確率從最高的84.22%提升到85.13%;最大和最小分割準確率均有所提升.

表6 MSD 數據集上不同分割方法結果比較Table 6 Comparison of different segmentation methods on MSD dataset

本文方法在NIH 及MSD 胰腺數據集上箱線圖如圖7 所示.本文對部分結果進行了展示,如圖8、圖9 所示.選取了5 個受試者樣本,同一行為同一個受試者不同切片的胰腺分割結果.藍色實線代表預測結果,紅色實線代表真實標簽.從圖中可以看出,本文方法分割結果和真實標簽非常接近.

圖7 本文方法在NIH 數據集及MSD 數據集上箱線圖Fig.7 Box plot of the method in this paper on NIH dataset and MSD dataset

圖8 NIH 數據集分割結果對比Fig.8 Comparison of segmentation results on NIH dataset

圖9 MSD 數據集分割結果對比Fig.9 Comparison of segmentation results on MSD dataset

3.3.4 輸入切片數目對分割結果的影響

為進一步說明胰腺輸入切片數目對本文方法的影響,將切片數目輸入分別設置為3、5、7 進行實驗比較,如表7 和表8 所示.隨著胰腺輸入切片數目的增加,平均DSC 分割準確率和最大DSC 分割準確率均有小幅度提升,最小DSC 分割準確率提升更為明顯.可以看出,增加切片數目對于分割困難樣本具有較大的幫助.對于胰腺器官邊界模糊的困難樣本、胰腺周圍脂肪與十二指腸灰度分布較為接近的困難樣本以及切片中分割目標較小的困難樣本,結合更多的切片數目能夠明顯提升目標分割精度.

表7 NIH 數據集不同網絡輸入切片數目分割結果比較Table 7 Comparison of the segmentation of different network input slices on NIH dataset

表8 MSD 數據集不同網絡輸入切片數目分割結果比較Table 8 Comparison of the segmentation of different network input slices on MSD dataset

3.3.5 網絡參數量及時間消耗

本文使用UNet 作為基礎骨干網絡,除粗分割階段,后續分割階段共享網絡參數,減少了參數量.相比于FCN[2]經典分割網絡,提出的分割模型具有更少的參數量,如表9 所示.雖然相比于單階段的UNet[15],3D UNet[41],AttentionUNet[42]和UNet++[43]等分割網絡,參數量有所增加,但是單階段的分割方法分割精度較低;相比于Fix-point[3]使用FCN 作為骨干網絡并且利用三個軸狀面分別訓練模型分割胰腺,本文參數量顯著減少;相比于GGPFN[28],雖然參數量有所增加,但是分割精度有所提升.

表9 不同分割方法參數量比較Table 9 Comparison of the number of parameters of different segmentation methods

文獻[44]使用胰腺器官的三個軸狀面作為輸入訓練模型,并且分割階段使用額外兩個模型融合視覺特征,增加了時間消耗,如表10 所示.文獻[23]在三個軸狀面上分別進行定位、分割,在Titan X(12 GB)GPU 上訓練了9～12 個小時.文獻[22]使用由下至上的方法,首先使用超像素分塊,然后基于超像素分塊集成分割結果,每個階段分開訓練.而本文胰腺分割方法使用端到端的訓練方法,降低了每個病例的平均測試時間.文獻[3]使用固定點方法,分別使用三個FCN 訓練胰腺的三個軸狀面輸入圖像,循環使用細分割掩碼位置信息優化分割掩碼,顯著增加了時間消耗.相比于上述方法,本文胰腺分割方法雖然增加了循環顯著性模塊和校準模塊,但循環顯著性模塊和校準模塊設計簡單并且基于矩陣運算,運算時間增加不明顯,并且本文方法僅基于橫斷面作為輸入,使用UNet[14]而非FCN[2]作為分割骨干網絡,顯著減少參數量及前饋傳播時間.相比于文獻[36]基于循環卷積神經網絡使用多切片作為輸入,本文方法訓練及測試時間有所增加,但分割精確度提升明顯.

表10 不同分割方法時間消耗比較(“——”表示文獻中缺少參數說明)Table 10 Comparison of time consumption of different segmentation methods (“——” indicates a lack of reference in the literature)

4 總結與展望

針對胰腺分割面臨的問題,本文提出了基于循環顯著性校準網絡的胰腺分割方法.其主要貢獻在于:1)利用更多的階段上下文信息聯合訓練,改善了傳統由粗到細胰腺分割方法僅使用粗分割階段輸出掩碼定位框坐標信息作為細分割網絡輸入的先驗,導致缺少階段上下文信息的問題;2)使用卷積自注意力校準模塊跨順序、平行化利用相鄰切片上下文信息的同時,自動校準每一分割階段輸出掩碼,解決了胰腺與鄰近器官密度較為接近、組織重疊部分界限分辨困難導致的誤分割問題.和其他胰腺分割方法相比,本文方法顯著提高了樣本平均DSC分割準確率并改善了困難樣本分割結果.本文方法可用于輔助醫療診斷,后續研究將考慮如何進一步利用更多的階段上下文信息及切片上下文信息改善分割結果的同時,使用模型蒸餾方法輕量化模型框架.