一種在MR圖像中進行腦膠質瘤檢測和病灶分割的方法

陳 皓 李 廣 劉 洋 強永乾

①(西安郵電大學計算機學院 西安 710121)

②(陜西省網絡數據分析與智能處理重點實驗室 西安 710121)

③(西安交通大學第一附屬醫院 西安 710061)

1 引言

腦膠質瘤是一種常見的，致死率較高的腦部腫瘤[1]，呈彌漫、浸潤性生長，腫瘤邊界不清晰。此外，腦膠質瘤生長速度快，初發時沒有明顯的臨床癥狀，但是病情進展較快，大約只有5%的腦膠質瘤患者具有5年以上的生存期[2]，這使得對腦膠質瘤的早期檢測及病灶形態識別在臨床診斷和治療方案的選擇中具有價值。磁共振成像(Magnetic Resonance Imaging, MRI)是目前主要的腦膠質瘤診斷工具。MRI能夠無創地對腦組織進行成像，為臨床提供病灶的定位和定性信息。目前主要依靠醫師肉眼對MR圖像中的腫瘤組織進行識別，需時長效率低，且目前國內各大醫院影像診斷經驗豐富的醫師相對比較缺乏。因此，利用機器學習技術來幫助醫師降低工作強度，同時提高醫學影像中腫瘤的識別效率和病灶分割準確率就具有了較高的臨床應用價值。

傳統的腦膠質瘤檢測方法大都采用一種基于特征進行分類的思想。如Sachdeva等人[3]在每個圖像的感興趣區域中選擇紋理、強度和局部二值模式特征，采用PCA進行降維并使用人工神經網絡進行腦膠質瘤檢測。Soltaninejad等人[4]將預處理后的圖像劃分成尺寸和強度值大致類似的不規則補丁，對每個補丁計算特征，并采用極端隨機樹對腫瘤圖像和非腫瘤圖像進行分類。Song等人[5]從圖像中提取灰度共生矩陣、定向梯度直方圖、局部二值模式和強度等混合特征，并通過核支持向量機進行腦膠質瘤檢測。上述方法中往往引入了濾波器或者使用了單一的特征集合，濾波器可能導致分類器分類性能不佳[5]，同時單一特征集合無法提供足夠的信息，導致訓練模型存在欠擬合的風險。隨著深度學習技術的發展，基于CNN的方法在腫瘤檢測中也得到了廣泛的應用。Cao等人[6]采用深度學習方法在超聲圖像中進行乳腺腫瘤的檢測。Shkolyar等人[7]提出了CystoNet用于膀胱腫瘤檢測。?zyurt等人[8]基于具有超分辨率的模糊C均值和極限學習機提出了一種卷積神經網絡模型用于腦腫瘤檢測?；贑NN的腫瘤檢測方法步驟簡潔，省去了手動提取特征的步驟，結合CNN自身的優勢，相比傳統檢測方法提高了腫瘤檢測的效率。

與此同時，基于CNN的醫學圖像分割方法也取得了顯著成果。Kumar等人[9]通過全卷積網絡進行腦膠質瘤的分割和分類。Zhao等人[10]將全卷積網絡和條件隨機場整合到一個框架中用于腦膠質瘤分割。Yang等人[11]提出了一種基于U-Net的自動化腦膠質瘤分割方法。CNN的優勢在于它可以自然地從MR圖像中進行特征提取，并將這些特征組合后用于腦膠質瘤分割。雖然基于深度學習的分割方法非常有效，但是這類方法包含大量超參數和顯著的內存與計算需求。更重要的是CNN類方法對圖像中一定范圍內的紋理特征更為敏感，對紋理較模糊的組織邊界區域則不易實現多種組織的分類。此外，基于集成學習(Ensemble Learning, EL)的方法也有了進一步的發展。Amiri等人[12]提出了一種基于樹的集成分類器用于自動化的腦膠質瘤分割。Mudgal等人[13]基于XGBoost模型開發了一個自動化腦膠質瘤分割系統。隨機森林比其它常見的機器學習方法具有更高的預測精度[14]，Rajagopal等人[15]使用優化的蟻群特征訓練了一個權重隨機森林分類器用于腦膠質瘤的檢測和分割。隨機森林等集成學習方法在處理具有高維特征的多分類問題時具有天然的優勢。但這類方法的結果與特征提取的數量和質量密切相關。而且上述方法所使用的特征集結構和提取方法依然單一。

顯然，特征集的質量對組織分類和邊界分割的結果有直接影響。在處理與醫學圖像相關的問題時，現有的方法大都使用影像組學特征。如Cho等人[16]基于直方圖、形狀和灰度共生矩陣提取影像組學特征進行腦膠質瘤的良惡性分類。Chaddad等人[17]提出了一組新穎的影像組學特征，通過聯合強度矩陣將標準灰度共生矩陣推廣到多序列圖像中進行腦膠質瘤患者的生存期預測。影像組學特征能夠表達圖像中的隱藏信息并進行量化，但是影像組學特征對圖像全局信息表達能力不足，同時過濾噪聲能力較弱，如在計算影像組學特征時對包含偽影、空腔和骨頭等結構的信息需要進行特殊處理。CNN本身就是一個性能優良的特征提取器，并能夠獲得全局性的高階特征，如羅會蘭等人[18]利用帶擴張卷積的深度殘差網絡進行特征提取。Kido等人[19]通過局部區域的CNN特征進行肺部異常檢測。CNN可以通過多層非線性機制自動地獲得高階抽象特征，這類特征對物體的位置和大小等不敏感。但是通過卷積得到的特征圖分辨率較低，且丟失了原圖中很多底層的細節信息。綜上可見，任何一類特征提取方式都有其優勢和局限性。

以CNN為基礎的方法能夠直接從圖像中獲得信息用于決策，在處理醫學圖像時，這種端到端的處理模式具有相對較高的計算效率，但是這類方法在前向傳播時通常需要相對較大的存儲和計算資源；EL類方法的可解釋性相對較強且基于像素分類的分割過程具有更好的圖像細節識別能力，但對特征提取的質量和數量依賴度高。顯然，在單一的計算模式下很難同時突出處理的效率和準確率。為了更有效地平衡二者間的關系，本文提出了一種兩階段計算方法，首先采用CNN模型從海量的圖像中快速篩查出包含病灶的圖像，再通過像素級的集成分類過程對病灶區域進行精細化分割。本文的主要貢獻包括：

(1) 設計了一個輕量級的卷積神經網絡(LocNet)在大量MR圖像中實現包含腦膠質瘤圖像的快速篩檢和大致定位。LocNet提高了整體計算速度，輕量化的網絡設計降低了對計算資源的要求，為實際應用提供了條件。此外，腫瘤的大致定位也有助于縮小腫瘤組織邊界分割的計算范圍。

(2) 嘗試從影像組學和CNN兩個角度分別提取特征，再通過特征融合來構造表達更為豐富的特征向量集合。

(3) 針對腫瘤和正常組織相互浸潤的邊界區域，在提取此區域中像素點的特征時，提取以目標像素點為中心的一個較小鄰域內的信息來構成此像素點的特征向量。通過考量像素點及其鄰域的相互關聯性，實現了對邊界較為模糊區域的病灶分類及邊界分割。

本文的主要內容組織如下：第2節詳細介紹本文提出的兩階段腦膠質瘤檢測和分割方法；第3節進行實驗并對實驗結果進行分析；第4節是對本文工作的總結。

2 本文方法

本研究認為有效解決在MR圖像中檢測腦膠質瘤并進行病灶組織分割的關鍵在于平衡整體計算效率和分割準確率間的關系。前述相關研究顯示，基于CNN的相關方法具有更高的計算效率，而基于集成學習的相關方法則具有更佳的模糊分類性能。針對這一規律，本文提出了一種兩階段計算方法，其主要流程如圖1所示。在第1階段中，首先對輸入的MR圖像進行網格化處理，并利用一個輕量級的網絡(LocNet)快速檢測每個網格中是否存在腫瘤組織。這一過程也同時實現了腫瘤的大體定位；在第2階段中，首先融合影像組學特征和CNN提取的高階抽象特征構造表達更有效的特征集，再基于該特征集通過集成學習方法來實現不同病灶組織邊界的分 割。

2.1 基于LocNet的腫瘤檢測和大體定位

為了提高腫瘤檢測及定位速度，本文先將MR圖像進行網格化處理，再依次將網格輸入LocNet進行識別計算及分類標記。其流程如圖1中藍色虛線框所示。該方法共有3個步驟，具體步驟為：

步驟1 MR圖像包含Flair, T1, T1增強(T1+c)和T2 4個圖像序列。首先對MR圖像進行網格化處理，將Flair, T1, T1+c和T2劃分成大小為gl×gl的網格。

步驟2 采用 gl/2為步長在網格圖像中進行遍歷，將每次的遍歷結果輸入LocNet，則輸入LocNet的子圖集合可表示為

其中每個子圖的大小均為 gl×gl，n為輸入LocNet的子圖集合數量。

步驟3 將 Pi輸入LocNet計算并輸出其所屬類別 cl。 cl為1表示存在腫瘤組織，否則為0。在檢測過程中采用與MR圖像網格化結構相同的矩陣Mask 記錄每個Pi的標記信息其中， loc(Pi) 表示LocNet對Pi進行分類的結果。MaskPi的標記結果將在邊界分割中使用。

圖1 兩階段計算方法

為對網格化的MR圖像進行處理，LocNet采用了一種雙通道結構，如圖2所示，具體信息如下：

(1) LocNet結構。兩個通道的輸入均為4×gl×gl。通道A由13×13的卷積核和丟棄率為0.5的Dropout層組成，使用大的卷積核保證模型具有大的感受野，獲得豐富的圖像信息。通道B由典型的網絡結構組成，通道B使用了多個小的卷積核，以保證模型能夠獲得圖像的細節信息。在融合通道中，首先將通道A和通道B得到的特征圖進行合并，然后通過卷積層和全連接層進行特征圖融合，最終得到分類結果。

(2) 訓練細節。訓練LocNet時，根據訓練數據集中的Ground-Truth將MR圖像劃分為腫瘤區域和非腫瘤區域。隨機地從腫瘤區域和非腫瘤區域中采樣4×gl×gl的矩形塊作為訓練樣本，并給訓練樣本加上相應的標簽。訓練時取批訓練樣本數為16，訓練輪次為20，使用Adam優化器，其學習率為0.005，衰減系數為0.1，動量為0.9。在訓練集中隨機采樣1500張大小為 4 ×gl×gl的正樣本和負樣本，在上述 參數下的訓練準確率為0.988。

2.2 多類別病灶組織分割

在 M ask 記錄的基礎上，對標記為1的網格區域進行合并，并在該區域內進行病灶組織分類及邊界分 割。

2.2.1 多維特征提取

為了提高特征集的有效性，本文采用了一種多層次特征提取方法。該方法主要有4個步驟，具體內容如下：

步驟 1 在Flair, T1, T1+c和T2中分別進行影像組學特征提取，所提取的影像組學特征包括1階統計特征(如均值、標準差、峰度和偏度等15維特征)和2階紋理特征(如灰度共生矩陣、局部二值模式和方向梯度直方圖等89維特征)共104維，記為fFla, fT1, fT1c和fT2。

步驟 2 將Flair, T1, T1+c和T2組合成4通道圖像，通過CNN特征提取器完成MR圖像的高階特征提取。如圖3所示，本文所采用的特征提取器使用了文獻[20]中的CNN結構，該特征提取器專為小的局部圖像區域的特征提取所設計。此步驟共提取了128維CNN特征。

步驟 3 將4個圖像序列上提取的影像組學特征進行合并，如式(3)所示

合并影像組學特征和CNN特征形成一個544維的特征集F，可表示為

步驟 4 特征選擇。采用L1正則化Lasso對 F進行 特征處理，產生了一個298維的特征集F′，見圖4。

2.2.2 病灶組織分類和邊界分割

在集成學習方法中，病灶組織分割問題被轉化為像素的特征分類問題。針對不同組織相互浸潤的邊界區域，確定像素點的歸屬是一個模糊分類問題。本文提出的方法是考慮目標像素點與其鄰域之間的關聯性來產生特征向量，這種方式可產生信息更為豐富的特征向量，相比于單獨的像素點特征或針對整張圖像產生的特征信息，更有利于對邊界較為模糊的組織間進行分類和邊界分割。

圖2 LocNet模型結構

圖3 CNN特征提取

圖4 特征的多層次融合約簡

這一過程的具體流程如圖5所示。首先，合并2.1節中M ask上標記為1的連通區域，記錄每個合并區域的邊界坐標(腫瘤區域粗定位結果)。若M ask記錄中存在k個合并區域，則第i個區域的邊界坐標集合可表示為

此過程中的集成分類器采用了XGBoost。其訓練過程為：針對腫瘤周圍水腫區域、腫瘤非增強區域、腫瘤增強區域和正常組織4種類別各提取了1000例數據，每例數據包含298維特征向量和1維類別標簽。訓練后得到的模型中包含了125棵基礎樹模型，每棵樹的最大深度為6，葉節點允許的最小樣本數為10，訓練準確率為0.928。

算法1 病灶組織分類和邊界分割

輸入：{Li}

輸出：Seg

1. 初始化已遍歷坐標點集合Ω =?；

2. for待計算區域的像素點下標j :=1,2,···,m do

3. 根據下標 j 從Li中獲取第j 個坐標點(xi,j,yi,j)；

4. for 搜索方向的下標t :=1,2,···,8 do

5. 根據t 從 D中 獲取遍歷方向θt;

6. while 搜索的像素點在腦區內 do

14. 結束本次while循環，從下一個方向繼續搜索；

15. end if

16. end if

17. end while

18. end for 19. end for

3 實驗

圖5 病灶組織分類與邊界分割

使用Brain Tumor Segmentation Challenge 2017(BraTS2017)數據集[21]對所提出的兩階段計算方法進行驗證。BraTS2017數據集包含了285例經過手術證實的腦膠質瘤患者，每例患者包含T1, T2,Flair和T1增強(T1+c)4組序列的圖像，每組序列的圖像包含155張大小為 2 40×240的斷層圖像。同時針對每例患者還提供了醫師的手工標注(Ground-Truth)，每個腫瘤被標注為腫瘤周圍水腫區域(標簽2)、腫瘤非增強區域(標簽1)和腫瘤增強區域(標簽4)3個類別。在實驗驗證時，用3種標簽的組合結果進行評估，分別為整體腫瘤區(Whole Tumor,WT)(包含了標簽1、標簽2和標簽4)、腫瘤核(Tumor Core, TC)(包含了標簽1和標簽4)和腫瘤增強區(Enhancing Tumor, ET)(包含了標簽4)。

本文所采用的實驗環境為Inter? Core(i5)2.3 GHz CPU, 8 GB RAM和英偉達DGX-1(包含了8塊Tesla V100 GPU)(128 GB RAM)，搭建LocNet模型時使用的框架為Keras2.2.4，實驗所有的代碼使用Python3.6實現。此外，實驗中腫瘤檢測階段的網格大小為gl=26，精細化分割階段的采樣鄰域大小gs=10。

從原始數據集中生成10000組MR圖像，每組MR圖像包含Flair, T1, T1+c, T2和Ground-Truth等5個部分。采用5折交叉驗證對模型效果進行評估。為了對分割結果進行量化評價，本文使用Dice系數、靈敏度和特異性(Specificity)來衡量分割結果 的優劣性。

3.1 實驗統計結果

表1為實驗獲得的Dice系數、靈敏度和特異性等指標的統計結果。由表1可以看出，針對WT,TC和ET區域，Dice系數、靈敏度和特異性3個指標的平均值均在0.8以上，其中，特異性的結果最好，平均值均接近1并且其標準差都小于0.01，表明分割結果的誤檢率低。同時，結合均值和標準差可以發現本文方法的分割結果較為穩定，8個評價指標的離散程低于0.1，表明本文提出的方法能夠完成精細化的腫瘤分割任務。

圖6是采用本文所提出的方法進行腫瘤精細化分割的部分結果，圖6(a)-圖6(d)為4個典型病例，分別代表了不同大小、形狀和位置的腫瘤。圖中的第1列和第2列是原始的Flair和T1+c圖像，第3列為Ground-Truth，第4列為本文方法的分割結果。將本文方法的分割結果和Ground-Truth進行比較，在圖6(a)-圖6(d)中可以發現本文方法已能較準確地分割出3類腫瘤組織和彼此的邊界，清晰地刻畫出腫瘤輪廓和位置。此外，如圖6(b)所示，本文方法可將腫瘤內部組織的壞死區域(腫瘤中的孔洞部分)很好地分割出來?？梢暬Y果表明，針對不同形態的病例，本文提出的分割方法都具有較好的效果。

3.2 實驗結果對比

將本文的方法與近些年提出的一些典型方法進行對比，如表2所示。其中，Chen等人[22]構建了一種基于圖像塊的13層卷積神經網絡用于腦膠質瘤分割。Wang等人[23]提出了一個級聯的全卷積網絡，將多分類問題分解為3個二分類網絡。Islam等人[24]將Flair, T1和T1+c輸入到VGG-16中提取像素的描述符并送入多層感知機進行非線性優化。Zhou等人[25]提出了一種基于補丁的卷積神經網絡對腦區的所有像素進行分類，并通過條件隨機場優化分割結果。

從表2中可看出本方法對ET的分割結果均優于其它方法，說明本文提出的方法可以有效識別腫瘤增強區。本方法在WT和TC上的平均Dice系數分別為0.882和0.846，優于文獻[22]和文獻[25]，表明本文的方法可以較為準確地分割出腫瘤輪廓。本方法在WT和TC上的平均靈敏度系數分別為0.922和0.904，優于文獻[22]、文獻[23]和文獻[24]，說明本文提出的方法具有較低的漏檢率。文獻[24]中采用了一種像素級的分類方法對圖像中的4種腫瘤組織進行分類，這種方法有助于提高整體識別精度，但

是對每個像素進行特征提取時需要較大的計算開銷。本文的方法在LocNet產生的可疑區域中進行像素分類，這種方法在TC和ET上取得了較好的效果。尤其當需要處理的圖像較多時，在保證一定準確率的同時可以顯著提高整體效率。但代價是LocNet在僅含極少量瘤周水腫組織的邊界區域存在一定的識別誤差，導致疑似區域未覆蓋少量腫瘤組織的邊界區域，一定程度上影響了WT的評分結果。

表1 實驗統計結果

圖6 典型病例分割結果

表2 實驗結果對比

同時，本文采用雷達圖將本文方法和文獻[22-25]中的方法進行整體比較。如圖7所示，從圖中可以看出，本文提出的方法雖然在個別指標上并沒有達到最佳，比如在Dice-WT和Dice-TC上略低于文獻[24]，但是綜合9個指標的評價結果來看，本文提出的方法在圖7中所占的面積最大，說明本文提出方法的整體效果優于上述方法。

另外，為了驗證本方法對計算效率和準確率的平衡效果，采用隨機森林(RF)、XGBoost和U-Net進行了對比實驗，并將上述方法的計算效率和準確率與本文方法進行了比較。從表3中可以看出，基于U-Net對圖像進行整體分割所需的計算時間最短，但是分割精度相較其它方法整體較低。相反，由于RF和XGBoost采用和本文方法相同的特征向量，其分割準確率只略低于本文的方法，但其整體需時明顯更長。顯然，本文的方法在分割效率和分割精度之間達到了更佳的平衡。

3.3 討論

3.3.1 特征結構效果分析

為了衡量影像組學特征與CNN特征的融合效果，本文分別對416維影像組學特征(Radiomics)、128維CNN特征(CNN)和298維融合特征(CNN +Radiomics)進行聚類，并采用調整互信息(Adjusted-Mutual-Information, AMI)、均一性(Homogeneity)和V-Measure系數評價聚類結果，其中，3種評價系數都采用真實標簽進行計算，評價系數的數值越大表明聚類效果越好。如圖8所示表示3組特征集的聚類結果，其中0, 1, 2和4分別表示正常組織、水腫、非增強和增強區域。表4表示對3組聚類效果的評價結果。結合圖8和表4的結果可以發現，融合后的特征集合聚類效果更加明顯，不同類簇之間的邊界清晰并且同一類簇內聚性高，同時從聚類評價指標中也可以看出融合特征集合的AMI、均一性和V-Measure分別為0.4796, 0.4798和0.4816，均高于其它兩個單一特征集合的聚類結果。實驗表明融合后的特征集合能夠提高不同病灶組織的區分性。

3.3.2 特征規模效果分析

為了觀察特征集約簡效果對分類準確率的影響，本文設置了不同閾值來產生不同結構的特征集。實驗結果如圖9所示。從圖9中可以看出，在整個閾值跨度內，特征維度越高，模型分類準確率整體相對越高。但當閾值在0～0.3范圍內時，特征維度的增加會使分類準確率略有下降。雖然，特征維度越高，特征集合包含的有效特征越多，越有利于分類器做決策。但是，部分特征的干擾也會導致模型準確率的降低?？梢?，特征選擇對保證模型準確率具有很大的積極作用。

3.3.3 網格大小與運算效率和準確率的關系

圖7 分割結果對比圖

表3 實驗效率對比

圖8 3組特征集合聚類結果

表4 3組特征聚類結果的評價結果

在腫瘤檢查階段，網格的大小 gl是一個影響檢測速度和定位精度的關鍵參數。如果 gl選取過小，則整個網格中包含的有效信息太少，對周圍信息的感知不夠，無法準確地區分腫瘤和非腫瘤區域。相反， gl選取越大則網格內包含的信息越多，混入噪聲的概率也就越大，這并不利于準確識別腫瘤。同時，網格的大小對檢測速度也有一定的影響， gl越小，整張圖像所劃分成的網格數量越大，計算次數也就越多，反之亦然。圖10表示網格大小對定位速度和準確率的影響，其中定位準確率采用定位框和實際腫瘤區域的Dice系數衡量。從中可以發現，網格越大，需時越少，但檢查精度越低，反之亦然。通過對網格的大小進行搜索，當網格大小gl=26時模 型的定位速度和準確率相對較優。

3.3.4 采樣鄰域大小與運算效率和準確率的關系

采樣鄰域的大小 gs直接影響特征提取的結果，而特征決定了最終的分割結果。如果gs過大，則鄰域中包含過多其它組織，導致特征提取結果不準確，增加分類誤差。如果 gs過小，鄰域中提取的特征信息量不足，不具有普遍的統計意義。同時gs的大小也會對計算量產生影響。 gs越大鄰域中包含的像素點也就越多，提取特征時計算量也就越大，反之亦然。如圖11所示為 gs對分割結果和計算量的影響，其中分割結果為WT, TC和EC三者的平均Dice系數，計算量采用針對鄰域進行特征提取、特征組合、特征選擇和分類所用的時間進行衡量。從圖11可以發現，隨著鄰域的增大，特征提取和融合所需要的時間逐步增大，分割結果的Dice系數先增大再逐漸降低，當采樣鄰域大小在10左右時分割效果最好，既保證了鄰域中提取特征的有效性，又保證了特征提取、融合和篩選所用時間相對較優。

圖9 不同特征數量對分類準確率的影響

圖10 網格大小對定位結果的影響

圖11 鄰域大小對精細化分割的影響

4 結束語

為了平衡腦膠質瘤識別和病灶分割中的效率與準確率，本文提出了一種兩階段計算方法。首先，對多序列MR圖像進行網格化處理，再利用LocNet進行識別運算。相比于傳統方法，本文提出的方法可以顯著提高腫瘤識別效率，在處理大規模MR圖像時具有一定實用性。在組織分割階段，LocNet實現了腫瘤的大致定位，有效壓縮了分割計算的范圍。同時將影像組學特征和CNN特征進行融合，生成了更為精簡有效的特征集?；谠撎卣骷募蓪W習過程提高了整體的病灶組織分類和邊界分割準確率。為驗證此方法，在BraTS2017數據集上進行測試，同時與近年相關文獻中的算法進行了對比。結果顯示，本文所提出的方法具有較高的整體準確率。最后，討論了本文所采用的特征融合和選擇方法以及兩個重要參數的選取與計算效率和準確率間的關系。