基于深度學習的醫學圖像分割技術研究進展

閆 超，孫占全，田恩剛，趙楊洋，范小燕

(上海理工大學 光電信息與計算機工程學院，上海200093)

隨著醫療科學技術的快速發展，醫學影像已成為醫生了解、分析病情的重要參考信息，在診斷疾病、評估治療等方面發揮著重要作用。全球醫學影像信息量在全世界信息總量中占20%以上[1]。醫學領域形成了不同的醫學成像技術，包括計算機斷層掃描(Computer Tomography，CT)、核磁共振成像(Magnetic Resonance Image，MRI)和超聲成像等。醫學圖像分割是從醫學影像中識別病變器官的像素點，旨在獲取這些病變部位的信息特征，在醫學圖像分析任務中具有一定的技術難度[2]。醫學圖像分割方法在發展的過程中形成了不同的分割算法，包括：基于灰度閾值的分割算法、基于邊緣檢測的分割算法、基于區域的分水嶺分割算法以及結合特定理論的分割算法等[3]。

隨著計算機硬件性能的迅速提高，深度學習方法應運而生，在圖像處理任務中展現出強大能力。深度學習的本質是將大量數據樣本輸入構建的多層機器學習模型之中，學習對象的特征信息，最終提高分類精度[4]?；谏疃葘W習的圖像處理技術優勢明顯，已成為研究熱點之一。Shen等人總結了各種醫學圖像分析方法[5]。微軟團隊He等人提出了殘差網絡架構，有效地解決了神經網絡梯度彌散的問題[6]。Prathiba等融合多種網絡結構，構造出的深度殘差全卷積網絡(Fully Convolutional Residual Network，FCRN)，在皮膚鏡圖像中自動分割黑色素瘤效果顯著[7]。文獻[8]總結了深度學習在醫學圖像分割、檢測、分類、配準、檢索等多個方面的研究[8]。本文主要探討深度學習醫學圖像分割技術在腦組織、肺部和血管等分割任務之中的應用，分析了目前基于深度學習的醫學圖像分割技術面臨的問題和應對策略，并對今后的發展方向進行了展望。

1 醫學圖像的種類和特點

醫學圖像是指為了方便醫學研究，對人體器官以非侵入方式掃描照射所取得的內部組織影像。在醫學成像系統中，按照成像設備和成像機理的不同可以將醫學圖像分為CT圖像、MRI圖像及超聲成像等。

1.1 電子計算機斷層掃描圖像

電子計算機斷層掃描的原理是利用高靈敏度的探測器和精準的射線對人體器官組織按照一定厚度的斷截面進行分層掃描，將得到的電信號經過模數轉換器轉換為可以被計算機識別的數字信號。在圖像處理過程中，將選定層面分成若干個體積相同的長方體，即體素[9]。CT圖像可以根據人體器官組織對射線吸收能力的不同，通過不同灰度等級顯示人體器官組織密度的高低。但CT 圖像無法提供清晰的軟組織和病灶影像，具有一定的局限性。

1.2 MRI圖像

磁共振成像，又名核磁共振成像。核磁共振成像與其它斷層成像技術都能夠再現各種物理量的分布特征信息。相比CT，磁共振成像能更好地可視化，更精確地定位和區分腫瘤和正常軟組織器官。動態對比度增強MRI 具有非侵入方式評價整個腫瘤區域的能力，已應用于腫瘤學相關領域[10]。核磁共振成像的空間分辨率可以達到亞毫米級別，能夠提供非常清晰的人體軟組織解剖結構和病灶影像。但其缺點在于無法獲取骨性組織影像，自動分析技術也有一定的困難。

1.3 超聲圖像

超聲成像的工作原理是通過超聲束對人體進行照射掃描，利用掃描之后產生的信號重現人體器官組織影像。三維成像、超聲生物顯微鏡、穿透式超聲成像等進一步豐富了超聲成像技術。超聲成像可確定人體器官組織的位置、大小、形態以及病灶的范圍和物理性質[11]；超聲成像還可以提供身體組織的解剖圖像，鑒別胎兒發育是否正常，被廣泛地應用于消化系統、泌尿系統、心血管系統疾病的診斷中，已成為一種非常重要的醫學成像技術。

除了以上幾種常用的醫學圖像，還有很多其他的醫學圖像，例如病理光學顯微鏡、正電子發射計算機斷層顯像等。這些圖像彼此之間各有優勢，相互補充，在疾病的診斷和病灶區域的治療方面發揮了重要的作用。

2 基于深度學習的圖像分割算法

傳統神經網絡進行圖像分割的策略為將逐個像素及其鄰域輸入到卷積神經網絡中進行訓練和預測。這種方式的弊端在于需要很大的存儲開銷，不僅計算量大、效率低下，而且鄰域的大小限制了感受野的范圍，降低了特征提取能力。針對這個問題，加州大學伯克利分校的Long等人提出將全卷積網絡(Fully Convolutional Network，FCN)用于圖像分割[12]。該網絡以AlexNet[13]網絡結構為基礎，將全連接層全部轉化為卷積層，通過上采樣的方式增加特征圖的維度。全卷積網絡的創新在于樣本圖片尺寸不再受到限制，適用性更加廣泛，減少了冗余結構，運行效率更加高效。但是該方法的缺點在于圖像細節信息會有所丟失，分割精度有待進一步提高。Ronneberger等在FCN 思想的基礎上，提出U-net網絡架構[14]。該網絡結構由編碼階段和解碼階段組成，在編碼過程中，下采樣圖像提取圖片特征；解碼過程中，對圖片進行上采樣，以便逐步恢復圖片的大小。編碼階段連續的卷積核和池化操作丟失了圖片的部分特征信息，但是在解碼階段上采樣之后的特征圖與跳躍連接的前端信息相融合，豐富了圖像的細節特征，已應用在對神經元、細胞瘤和HeLa細胞的醫學圖像分割任務中。在此之后，Milletari等提出了一個專為3D 醫學圖像分割設計的改進型U-net，稱之為V-net。該模型采用3D 卷積技術和置信度分割指標，使之更適用于醫學圖像分割[15]。2018年，Zhou等人對U-net網絡結構進行了創新，提出U-net++網絡結構[16]。相對于原來的U-net網絡，U-net++把U-net網絡結構的前4層連接在一起，通過特征疊加的方式整合，讓網絡自身去學習不同深度的特征權重。U-Net的變體被用于不同的醫學圖像分割任務中，然而多次池化和跨度卷積操作降低了圖像的特征分辨率，學習的特征表達更為抽象，不利于需要詳細空間信息的密集預測任務。

Gu等人于2019年提出一種上下文編碼網絡CE-Net(Context Encoder Network)用于2D醫學圖像分割。該網絡捕獲更多高級信息并保留空間信息特征[17]。該網絡包含3個模塊：特征編碼模塊、上下文提取模塊和特征解碼模塊。特征編碼模塊使用預先訓練好的殘差網絡作為固定特征提取器，利用遷移學習將預訓練權重加載到網絡之中，可以加速網絡訓練過程，并通過微調的方式進一步優化結構參數。上下文提取模塊由密集空洞卷積和殘差多尺度池化組成?？斩淳矸e模塊用來提取圖像豐富的特征表達，多尺度池化模塊用來進一步獲取上下文信息，二者結合可以捕獲更多抽象特征并保留更多空間信息，提高醫學圖像分割的性能。CE-Net網絡結構在視神經盤、視網膜血管、肺部、細胞輪廓等多個醫學圖像分割任務中取得了良好的分割結果。

由表1可以看出，在深度學習分割技術的發展過程中涌現出了很多經典的卷積神經網絡框架，這些高效的網絡模型相互借鑒，融合了多尺度信息，可對卷積神經網絡的寬度和深度層面進行探索，分別形成了Inception結構和殘差網絡結構。網絡結構朝著更豐富、更準確方向發展的同時，也有不少團隊致力于精簡網絡結構，通過加深特征融合，減少計算復雜度，避免不必要的內存消耗，提高了圖像的分割精度。

表1 深度學習分割網絡框架

3 深度學習在醫學圖像分割上的應用

3.1 腦組織分割

臨床上腦部區域的分割任務難點主要在于：(1)正確劃分腦部和非腦部在圖像中的分布。核磁共振圖像中，噪音等因素會影響圖像各部位的亮度，因此將腦與頭骨分割開來有一定的挑戰性；(2)確定MRI合適的掃描時間。掃描時間越長，得到的圖片分辨率越高，更有利于對病情的了解和分析。但是長時間的掃描輻射對病人的身體健康有一定的危害；(3)降噪尺度的把握。采用技術手段降噪的同時會使得原圖中的細節信息大量丟失，不利于疾病診斷。常見的解決思路分別為：(1)通過背景體元移除來對MRI圖像進行預處理，降低腦部區域分割的技術難度；(2)根據病人病情和不同醫療設備的特點，在獲取較為清晰圖像的基礎上減少掃描時間；(3)將Fuzzy C-Means算法與馬爾科夫隨機場結合提升分割精度，根據對圖像質量不同的要求標準，找到合適的平衡點。采用智能調強放療技術對腦腫瘤進行治療時，需要對周圍的腦部結構做好穩定可靠的保護措施。上海交通大學Cui等提出了一種基于圖像塊的方法可以使用卷積神經網絡自動對腦MRI進行分割，在丘腦、側腦室的分割任務中分割準確率高達90%[22]。Moeskops等通過融合不同尺度卷積神經網絡的方法對腦部組織進行分割，在8個組織分類結果上表現突出，在五個不同年齡段的數據集上進行測試，分割結果的置信度系數分別為0.87、0.82、0.84、0.86 和0.91[23]。Zhang等提出基于提取圖像塊的卷積神經網絡算法，采用嬰兒T1、T2和部分各向異性圖像分割正常腦結構[24]。研究結果表明，卷積神經網絡算法比支持向量機和隨機森林的嬰兒腦組織分割方法更加有效。Nie等提出使用3D全卷積神經網絡分割嬰兒大腦圖像，使用全卷積網絡進行端到端的訓練，減少了網絡學習時間[25]。

3.2 肺部分割

近年來，肺癌已經成為世界上死亡率和發病率最高的癌癥之一。肺癌早期表現形式主要是肺結節，準確快速地對肺結節進行檢測、分割、診斷是提升患者生存幾率的關鍵。臨床上一般使用CT技術獲取患者胸腔內的肺部圖像，圖像包含背景、肺部、血管、脂肪等部分。為了更好地分析圖像，要先對圖像進行預處理，把圖像中的像素值轉化為CT值，并進行歸一化操作。如果圖像數據集較少，可以將原來的圖像進行縮放、旋轉、變形，通過數據增強的方法來擴大數據集，防止模型過擬合。把預處理之后的肺部圖像與肺部標簽輸入網絡模型中進行訓練。Cheng等使用堆棧式去噪自編碼算法分割肺結節，不僅證明了該算法比傳統方法精度更高，而且擴大了堆棧式去噪自編碼算法在醫學圖像的適用范圍[26]。Liauchuk等利用GoogLeNet網絡檢測肺結節，發現基于卷積神經網絡檢測病灶的ROC(Receiver Operating Characteristic)面積僅為0.969，而傳統的基于特征提取方法的ROC面積為0.895[27]。在對肺部磨玻璃結節的處理上，Zhou等結合了似然圖方法和基于肺部磨玻璃結節紋理的非參數密度估計，并且對Hessian矩陣進行特征分析，最終實現對GGO(Ground Glass Opacity)的分割[28]。

3.3 血管分割

血管分割是醫學圖像中難度較大的分割任務。目前沒有任何一種算法能夠適用于不同成像方式的血管分割任務，也沒有任何一種算法能夠適用于人體不同部位血管的分割任務?；谏疃葘W習神經網絡的分割方法相對于基于數學形態學的方法、基于邊緣檢測的方法和基于閾值的方法的優勢在于可以自動提取圖像信息特征，反復迭代優化，而且在訓練的過程中能夠使用網絡的非線性特性進行邊界分割。但該方法的局限性在于當面臨新的圖像特征時，要對網絡模型重新進行訓練，調參過程比較復雜。Nasr-Esfahani等提出基于圖像塊的卷積神經網絡從X光血管造影圖像中提取血管[29]。Wu等人利用卷積神經網絡學習目標的特征信息，識別血管組織結構，通過融合廣義概率跟蹤框架來提取整個眼底血管連接樹[30]。Liskowski以監督學習算法為基礎，利用卷積神經網絡提取抽象特征，首創眼底血管分割技術。該方法通過使用公共數據集進行預先訓練和微調訓練的方法，使得ROC達到0.99，準確率達到了0.97，大大提高了網絡性能[31]。Wang提出了一個綜合卷積神經網絡和隨機森林的監督方法來解決視網膜血管病變分割的問題[32]。在這些方法中，大多數采用監督深度學習的方法提取特征，再結合其他已有技術和分類器來保證分割的準確性。

4 結束語

本文從醫學影像技術、圖像分割算法、醫學圖像分割的具體應用3個方面總結了基于深度學習的醫學圖像分割技術迅速發展的過程?？梢钥闯?，該技術在取得一定突破的同時也面臨著如下問題：(1)缺少高質量的數據。深層神經網絡通常需要大量帶注釋的示例來執行培訓任務。在醫學圖像處理中，收集龐大的病例注釋數據集往往是一項非常艱巨的任務；(2)由于圖像重建方法和醫學成像設備的不同，可能會導致偏移場不一致和灰度不均勻等問題；(3)不同成像原理的醫學圖像數據僅能反映人體特定的信息，而不能反映全面綜合的信息特征。

基于以上問題，深度學習醫學圖像分割技術發展方向主要集中為以下幾點：(1)通過數據增強來擴充圖像數據；采用遷移學習方法將大數據集預訓練和目標數據集微調相結合；采用弱監督學習方式，有效結合無監督預訓練和監督學習的優點；(2)可以采用批規范化、正則化、Dropout來改善灰度不均勻等問題；(3)利用不同影像之間信息互補的特點，融合多模態醫學影像，從而提高分析的準確性。隨著計算機技術的進一步提高以及深度學習算法不斷地優化和創新，基于深度學習的醫學圖像分割技術擁有巨大的發展潛力，將被更加廣泛地應用于醫學研究的各個領域，產生更為深遠的影響。