基于極坐標變換和深度學習的腔鏡圖像氣泡分割方法研究

周 陽，顧 偉，張 杰，戴 偉，李大永，胡 潔，胡袁哲*

（1.上海市胸科醫院/上海交通大學醫學院附屬胸科醫院采購中心，上海 200030；2.上海市胸科醫院/上海交通大學醫學院附屬胸科醫院胸外科，上海 200030；3.上海交通大學機械與動力工程學院，上海 200240）

0 引言

腔鏡手術以其適應性廣、創傷小、康復快等優點，在胸外科、普外科、婦科等疾病的診治中得到了廣泛的應用[1-2]。如在宮腔鏡電切手術中，需借助膨宮壓力、膨宮介質來建立手術操作中清晰的視野，并使用電切能量切除異常組織。然而，在手術期間，室內的空氣[3]和高頻電刀的汽化產物[4]會通過暴露的子宮靜脈進入體內循環，從而產生大量氣泡。這些連續的小氣泡或單個大氣泡極易遮擋手術視野，增加手術難度，且容易導致氣體栓塞等嚴重并發癥[5-6]。

鑒于宮腔鏡電切手術的工作原理，氣泡的產生無法避免。為確保子宮內的氣泡保持在最低限度，通常使用連續的流入和流出系統從宮腔中排空氣泡和其他碎屑[2]。然而，現有的腔鏡儀器沒有自動氣泡清除裝置，外科醫生需要暫停手術，反復插入和取出器械，以手動清除氣泡。手動清除氣泡的過程需要外科醫生根據經驗調整流入和流出系統，其不僅作用受限，還會影響宮內壓的穩定性。因此，迫切需要找到一種實時自動去除氣泡的方法，縮短氣泡在子宮腔內的停留時間。該方法應能保持手術視野清晰，同時有效避免腔鏡手術導致的并發癥。

計算機視覺技術為解決腔鏡手術期間的氣泡問題提供了一種可行的方案，其能分割提取內窺鏡圖像中的氣泡并統計分布模式，以此輔助醫生診斷并推動后續的自動氣泡去除裝置的開發。為獲得氣泡的尺寸分布，需要借助醫學圖像分割技術從腔鏡圖像中分割得到氣泡區域。但是準確提取腔鏡圖像中的氣泡區域仍是一項艱巨的任務。腔鏡圖像中氣泡的邊緣模糊不易檢測是由于氣泡區域和背景比較相似導致其對比度較弱，并且不同圖像間氣泡大小和數量變化巨大而導致氣泡分割的精確度有待提升。傳統的圖像分割技術[7]一般基于閾值方法，但在實際應用中很難選擇合適的閾值。Vincent 等[8]提出了標記控制的分水嶺分割算法，通常需要獲得不同區域的種子點，以避免過度分割。Zhang 等[9]提出了一種基于最佳標記的分水嶺分割算法，用于測量泡沫圖像中的氣泡大小分布。這些傳統圖像分割技術過于依賴參數選擇和研究人員的經驗，其準確性和魯棒性十分有限。

隨著深度學習的快速發展，基于卷積神經網絡的端對端圖像分割方法在語義分割領域取得了很大的成功。其中，U-Net[10]是醫學圖像分割任務中較為流行的深度學習模型。U-Net 是一種編碼器-解碼器架構，并把編碼器提取的特征跳躍連接到對稱的解碼器上，從而實現高維語義信息和低維邊緣細節信息的融合。由于U-Net 在小數據集上的良好性能，其被廣泛應用于醫學圖像分割[11-15]。針對研究問題的特異性，U-Net 模型在實踐中不斷得到發展和改進。Zhou 等[12]提出了一種嵌套的U-Net++模型，通過逐步融合編碼器和解碼器的特征，減少融合對象的語義信息差異，獲得比原始的U-Net 更加精確的醫學圖像分割結果。針對U-Net 網絡中各個尺度信息之間融合不足的問題，Huang 等[13]提出了一種全尺度跨越連接的U-Net 3+，每個解碼器都融合了所有尺度編碼器的信息，進一步提升了網絡對于細粒度問題的學習能力。周鑫等[15]在U-Net 中加入了形狀特征提取層，回歸得到細胞的幾何信息并納入損失函數，從而實現對相鄰粘連細胞的有效分割。

近年來，極坐標變換被引入到深度學習中以提升網絡對空間變換的泛化能力[16]或進行數據增強[17]。此外，其還應用于分割生物醫學圖像中形狀近似橢圓的物體[18-19]，例如各類器官、息肉、心臟脂肪組織等其他結構。Esteves 等[16]訓練了一個端對端的神經網絡，該網絡能預測極坐標變換的原點，并將圖像轉換到極坐標系進行分類，具備對平移、旋轉和縮放的魯棒特性。此外，Bencevic 等[19]提出了一種包含2 個神經網絡的級聯模型，先使用U-Net 模型粗略地分割圖像以獲取極坐標變換的原點，再使用另一個U-Net模型將圖像轉換到極坐標系中進行最終預測。實驗結果表明該方法在對主動脈、息肉、血管和肝臟的分割任務中均表現出優異的性能。本文研究的腔鏡氣泡在圖像中通常以單個大氣泡或者連續密集的小氣泡分布，亦屬于橢圓形狀目標識別的范疇。

針對腔鏡手術中氣泡邊緣模糊、數量形態浮動較大所造成的圖像分割困難以及氣泡本身近似橢圓形的特征，本文提出一種基于極坐標變換和深度學習的腔鏡圖像氣泡分割方法。

1 腔鏡氣泡分割模型的設計

1.1 數據集的選取與分析

本研究選用一組腔鏡圖像數據集來訓練和驗證所提出的網絡模型。數據集圖像來源于腔鏡手術中Olympus ESG-400 超聲高頻電刀獲取的視頻，而后由專業的影像醫生從視頻中提取圖像并手工標注氣泡區域。腔鏡圖像數據集由1 385 張尺寸為288×352像素的腔鏡氣泡圖像和對應的氣泡區域標注圖像構成。圖1 顯示了腔鏡數據集的樣本示例，該分割問題為二分類問題，白色部分為氣泡區域，黑色部分為非氣泡區域。圖像中的氣泡在形狀、外觀和大小上有很大差異。同時，圖像中前景和背景的對比度不明顯，氣泡分布密集，邊緣較弱，不易檢測。上述因素的綜合影響使腔鏡氣泡分割任務極具挑戰性。

圖1 腔鏡數據集樣本示例

1.2 圖像的極坐標變換

圖像通常呈現在笛卡爾坐標系中，此時像素沿x軸和y軸排列。在極坐標系中圖像也可由2 個坐標軸表示：（1）徑向坐標軸ρ，表示點與極坐標變換原點的距離；（2）角坐標軸?，表示點與參考方向之間的旋轉角度。

給定H（高度）×W（寬度）像素的輸入圖像I（x，y），將其轉換到極坐標系并記作I'（ρ，?），轉換公式為

式中，（xc，yc）為極坐標變換原點。為保持極坐標變換前后相同的圖像尺寸，對（ρ，?）進行線性縮放，具體公式如下：

圖2 展示了包含單個氣泡的標注圖像經過極坐標變換的結果和上述算法的過程。極坐標系下對于類橢圓形對象（例如氣泡）的分割具有以下優勢：（1）當每個對象以自身質心為極坐標原點進行極坐標變換后始終處于圖像的左邊緣，因而網絡不需要學習目標的定位問題。（2）極坐標變換對于分割橢圓形的對象可以降低模型的復雜度。在笛卡爾坐標系中，橢圓形的決策邊界至少需要4 個維度的函數建模。當轉換為極坐標時，笛卡爾坐標系中的橢圓將轉變為曲線。極坐標下的橢圓形對象的決策邊界得到了相對簡化，分割模型復雜度也有所降低。（3）由于極坐標變換中最大變換半徑的限制，單連通域極坐標變換后的氣泡存在表征不足的潛在問題?？紤]到腔鏡氣泡圖像中通常包含多個連通域，預測過程中對于每個連通域的質心分別進行極坐標變換，而后分割預測并綜合預測結果，以過采樣的方式實現氣泡的充分表征。

圖2 極坐標變換示意圖

1.3 基于極坐標變換的級聯U-Net 模型

針對腔鏡氣泡形狀類似橢圓形、數量與形態浮動大、邊緣模糊的特點，本文提出了一種基于極坐標變換的級聯U-Net 模型進行腔鏡氣泡分割，算法框架如圖3 所示。級聯U-Net 模型包含了2 個U-Net網絡，即笛卡爾坐標系下的U-Net 網絡和極坐標系下的U-Net 網絡，兩者分別使用2 個坐標系下的數據集進行訓練。其中，極坐標系下的訓練數據由笛卡爾坐標系下圖像以標注圖像的氣泡區域總體質心為原點經極坐標變換得到。

圖3 基于極坐標變換的級聯U-Net 模型的算法框架

獲取極坐標變換原點是極坐標系U-Net 網絡分割圖像的先決條件。首先，笛卡爾坐標系下的U-Net網絡被用于氣泡的初步分割。而后，對于分割結果進行連通域分析，計算每個連通域的質心坐標和氣泡區域的總體質心坐標。以這些質心為原點分別將圖像變換到極坐標系下，并輸入極坐標系下的U-Net網絡中進行預測，再將預測結果以相同的原點逆變換回笛卡爾坐標系。其中，氣泡的初步分割并不要求精確完整，只需保證每個連通域的質心位于氣泡內部。鑒于腔鏡中的氣泡分布密集連續的特征，即使初步分割中存在遺漏的氣泡，也能在附近連通域質心為原點的極坐標變換中得到較精確的預測。

根據極坐標變換原點的不同，極坐標系U-Net網絡一般會輸出多張分割預測圖像，為獲得最終的預測結果需要對各個輸出進行融合。對不同的極坐標變換原點，網絡對于目標的預測表現差異較大。如文獻[18]所述，極坐標網絡通常在包含極坐標原點的對象上表現最好，而在預測圖像中的其他對象時表現較差。因此，對于每個像素位置采用加權求和的方式得到最終的預測結果，并對連通域質心施加較大的權重。假設腔鏡氣泡圖像初步分割得到n 個連通域，經變換后得到的預測圖像記作Pi（Pi為H×W 的逐像素預測結果，i=1，2，…，n），連通域的總體質心對應的預測圖像記作Pn+1，則最終預測的氣泡分割圖像Pfinal的計算公式如下：

本文使用的U-Net 網絡結構如圖4 所示，由對稱的編碼器和解碼器組成。每個編碼器使用卷積模塊提取特征，而后用最大值池化壓縮特征維度。解碼器中的卷積模塊作用相同，同時采用轉置卷積的方式進行上采樣。在編碼過程中，隨著卷積和池化的操作不斷提取特征并壓縮維度，單個3×3 的卷積核在原始圖像中的感知視野越來越大?？拷斎氲木幋a器所提取的特征稱為淺層特征，包含邊緣細節信息；靠近瓶頸層的編碼器提取的特征稱為深層特征，包含語義信息，但是丟失的邊緣細節信息也越來越多。以跳躍連接（本文使用拼接的方式）的方式將淺層的信息傳遞到更深的網絡，有利于網絡把握語義特征的同時更好地學習邊緣細節。

圖4 U-Net 網絡結構

腔鏡圖像中氣泡的分割被視為一個逐像素分類問題。本文采用Dice 損失函數來監督極坐標系和笛卡爾坐標系下U-Net 網絡的學習，其計算公式如下：

式中，X 和Y 分別對應預測分割圖像和真實分割圖像；λ 為平滑系數，設置為1。

1.4 模型評估標準

本研究中，將Dice 系數和平均交并比（mean intersection over union，mIoU）作為評估模型對氣泡分割效果的主要指標。對于二分類問題，正確預測的氣泡區域定義為真陽性（true positive，TP），實際屬于氣泡但被預測為非氣泡的區域定義為假陰性（false negative，FN），正確預測的非氣泡區域定義為真陰性（true negative，TN），實際屬于非氣泡但被預測為氣泡的區域定義為假陽性（false positive，FP）。

Dice 系數反映了預測結果和目標之間的相似性，計算公式為

平均交并比mIoU 是每一類對象預測結果和實際目標交并比的平均，數值越接近1 則兩者相似程度越高。對于二分類問題，計算公式為

同時，使用精確率（precision，Pre）和召回率（recall，Rec）作為評估分割效果的輔助指標。精確率反映了預測為正的樣本中正確的比例，其具體定義為

召回率反映的是原始正樣本中被正確預測的比例，計算公式為

1.5 模型訓練

為檢驗模型的準確性和魯棒性，將所提出的級聯模型在腔鏡圖像數據集上采用五折交叉驗證的實驗方法。具體如下：先將腔鏡圖像數據集等分為5 個子集；然后在每次實驗中，將1 個子集作為測試集，其余4 個子集作為訓練集，重復實驗5 次，使得每個子集均有機會作為測試集。該模型需要在笛卡爾坐標系和極坐標系分別訓練和測試U-Net 網絡。在笛卡爾坐標系U-Net 網絡的訓練階段，首先預處理圖像，將原始的氣泡圖像歸一化到[-0.5，0.5]，對應的標注圖像則歸一化到[0，1]。對極坐標系U-Net 網絡的訓練過程中，還需要將數據集中的圖像轉移到極坐標系下。根據標注圖像可計算出氣泡區域的總體質心坐標，添加隨機偏移量后將其作為極坐標變換的原點。在每個訓練周期中，質心坐標有30%的概率沿任意方向移動-3~3 個像素，這增加了網絡推理過程中對不準確原點預測的魯棒性。以偏移后的質心坐標為原點進行極坐標變換，將笛卡爾坐標系的氣泡圖像和標注圖像均轉換到極坐標系作為訓練極坐標系U-Net 網絡的數據集。其中極坐標變換可以通過OpenCV 庫中的函數實現。

對于2 個坐標系的網絡均采用正態分布隨機初始化網絡參數，而后從零開始各訓練100 個周期，批次大小設置為8。在網絡學習過程中采用Adam 優化器，初始學習率設置為10-3，權重衰減設置為10-6。所提出的網絡模型基于Pytorch 框架實現，使用NVIDIA 3080 Ti 顯卡進行加速。

2 實驗結果與分析

為驗證本文方法的有效性，將提出的基于極坐標變換的級聯U-Net 模型與笛卡爾坐標系下的U-Net模型、Chen 等[20]提出的深度輪廓感知模型（deep contour-aware network，DCAN）和Wang 等[21]提出的邊緣感知網絡（edge-aware network，EAN）模型在腔鏡氣泡分割任務上進行橫向比較。

表1 對比了4 種模型在相同的訓練參數下對于氣泡分割的表現。DCAN 和EAN 模型對腔鏡氣泡的分割效果相比U-Net 模型在主要評價指標Dice 和mIoU 上略微占優，Dice 系數提升1%左右而mIoU的提升小于0.5%。但是本文提出的級聯U-Net 模型在各個指標上均顯著優于其他模型，其中Dice 系數相較U-Net 提高約4.0%，而mIoU 提升約5.9%，輔助評價精確率和召回率也明顯優于其他模型。在評價指標上的定量比較說明了本文方法對腔鏡氣泡分割的精確性和魯棒性。

表1 各類模型對腔鏡氣泡分割的性能比較

圖5 展示了氣泡分割的可視化結果。由圖可見，由于腔鏡中的氣泡存在邊緣模糊、與背景相近及數量與大小浮動較大等特征，U-Net 模型對于氣泡的分割存在形狀不準確、數量有遺漏、邊緣不清晰等缺陷。本文方法的分割結果與真實值更為接近，每個氣泡的形狀也更加相似。但是本文提出的極坐標變換方法受限于最大變換半徑，對于遠離氣泡區域整體質心的微小氣泡很容易出現預測遺漏的問題，因此更加適合于連續、集中的氣泡預測。

圖5 氣泡分割結果的可視化

3 結語

本文提出了一種基于極坐標變換的級聯U-Net架構，用于準確分割腔鏡圖像中的氣泡。鑒于氣泡形狀接近橢圓形，極坐標下的氣泡表征具有無需定位、決策邊界簡化和模型復雜度降低的優勢。該方法首先使用笛卡爾坐標系下的U-Net 初步分割氣泡并確定極坐標變換的原點。隨后，圖像以初步分割得到的每個連通域的質心和氣泡區域的總體質心為原點分別轉換到極坐標系下，輸入極坐標U-Net 進行預測。最終預測結果為各個質心極坐標變換后分割結果的加權求和，并對氣泡區域總體質心予以更高的權重。與其他模型的對比結果表明，本文所提出的方法在腔鏡氣泡分割的各項指標上均有較高的精度，有效提高了氣泡分割的質量。

需要指出的是，本文提出的氣泡分割模型存在一定的局限性。極坐標網絡對包含極坐標原點的目標分割效果最優，而對遠離原點的目標性能較差，同時氣泡表征還受限于極坐標變換的最大變換半徑。對連續、集中的氣泡，由于其接近各自的極坐標變換原點，每個連通域單獨預測結果在加權求和后具備過采樣的特性，分割較為精確。然而，對遠離氣泡區域整體質心的孤立氣泡分割則易出現遺漏的問題。因此，如何提升極坐標網絡對于遠離變換原點目標的表現以及突破最大變換半徑帶來的感受野的局限性，是下一步研究的重點?？傮w而言，該方法能實現腔鏡氣泡的精確分割，為腔鏡手術中氣泡自動去除裝置的設計提供了重要的參考，并在其他類似橢圓物體的分割上具有較大的應用價值。