基于多序列MRI 影像組學與深度遷移學習特征的腦膠質瘤分級預測研究

劉志鵬，降建新，吳琪煒，周 炎，卞雪峰，朱銀杏

1南京醫科大學附屬泰州人民醫院信息處，2神經外科，3影像科，江蘇 泰州 225300；4南京醫科大學泰州臨床醫學院，江蘇泰州 225300

腦膠質瘤是一類腦部常見的惡性腫瘤，年發病率為6/10 萬～10/10 萬［1］，約占成人中樞神經系統（central nervous system，CNS）惡性腫瘤的75%［2］，嚴重危害人類的身體健康。根據腦膠質瘤組織學檢查的增殖程度、有絲分裂指數和壞死水平，可將其分為Ⅰ～Ⅳ級，其中Ⅰ、Ⅱ級為低級別膠質瘤（lowgrade glioma，LGG），手術易切除，Ⅲ、Ⅳ級為高級別膠質瘤（high-grade glioma，HGG），多預后不良［3-4］。LGG 占成人CNS 原發惡性腫瘤的6%，總生存期約7 年，但Ⅱ級LGG經常復發并最終發展為HGG［5］。因此，術前無創準確地預測膠質瘤分級，對腦膠質瘤患者手術方案的制定和后續治療計劃的實施具有重要意義。目前用于診斷膠質瘤的成像技術主要為磁共振成像（magnetic resonance imaging，MRI），常見的MRI 序列包括T1、T2、T1c 和Flair，這些序列分別從不同維度檢測腦部腫瘤和其他神經系統疾病。然而單一序列圖像無法全面展現腦膠質瘤的全部區域，可能會導致腦膠質瘤信息的丟失。因此，臨床醫生通常需要結合不同序列圖像來綜合分析腦膠質瘤的位置和形狀，以更好地診斷和治療。

目前腦膠質瘤的術前分級主要依賴影像科醫生的主觀判斷，缺乏客觀性。此外，在常規影像檢查中，有些細節人工難以識別，因此尋找一種客觀、穩定、可靠的分類方法至關重要［6］。在此形勢下，影像組學應運而生。影像組學可以深入分析影像圖片中肉眼無法識別的腫瘤特征以獲取更多信息，結合臨床信息通過統計學或機器學習（machine learning，ML）的方法進行分析，可以揭露更多關于腫瘤的組織學特征、進展、甚至總生存率等方面的信息。傳統的影像組學需要人工提取圖像特征，深度學習（deep learning，DL）可以通過卷積神經網絡（convolutional neural network，CNN）進行特征提取，但這需要許多數據集來理解數據之間的潛在關系［7］。深度遷移學習（deep transfer learning，DTL）是一種采用預訓練的DL 網絡，并對其進行微調以學習新任務的過程，便于深度學習影像組學（deep learning radiomics，DLR）在小型數據集中應用［8］，這一策略近年來已成為研究熱點［9-10］。目前，膠質瘤術前分級預測方面應用手工影像組學（hand-crafted radiomic，HCR）技術的研究較多，但這類研究多集中在單獨或兩個序列的MRI 圖像［11］，且基于多序列MRI 的DLR 模型預測腦膠質瘤分級的研究少有報道。因此，本研究旨在結合DTL 和影像組學技術，提出一種基于多序列MRI的DLR特征的輔助診斷策略，實現腦膠質瘤的術前分級預測。

1 資料和方法

1.1 資料

本研究的影像數據均來自MICCAI 網站上BraTS2019數據集［12］，本研究使用了其中332例患者的影像數據，包括有258 例HGG 數據，74 例LGG 數據。隨機抽取30 例HGG 和8 例LGG 作為測試集使用，其余294 例數據作為訓練集和驗證集使用。構建及驗證分級預測模型的流程圖見圖1。每位患者均接受了4 種MRI 序列掃描，即T1、T2、T1c 和Flair 序列。4 個序列的原始圖像和感興趣區域（region of interest，ROI）的圖像顯示如圖2所示。

圖1 構建及驗證分級預測模型的流程圖Figure 1 A flow chart of the building and validating the hierarchical prediction model

圖2 多序列MRI影像圖片Figure 2 Multi-sequence MRI images

將所有數據集內的膠質瘤圖像去除顱骨，由經驗豐富的神經影像科醫生手工分割勾畫ROI，ROI包括壞死區域、增強腫瘤區域、非增強腫瘤區域和水腫區域。在手動分割后，使用SimpleITK 軟件包（www.simpleitk.org）對所有MRI 進行N4 偏置場校正，對圖像進行預處理以減少數據采集的影響。

1.2 方法

1.2.1 特征提取

HCR 特征提?。菏褂肞yradiomics 軟件包（https：//pypi.org/project/pyradiomics）從T1、T2、T1c和Flair 4個序列的感興趣區域體積（volume of interest，VOI）中分別提取HCR特征。HCR特征包括一階特征、形態特征、灰度共生矩陣（gray level co-occurrence matrix，GLCM）、灰度游程矩陣（gray level run length matrix，GLRLM）、灰度尺寸區域矩陣（gray level size zone matrix，GLSZM）、灰度相依矩陣（gray level dependence matrix，GLDM）和灰度區域大小矩陣（neighborhood gray-tone difference matrix，NGTDM）特征。

DTL特征提?。涸谔崛TL特征之前，選擇上述4 個序列中各自具有最大矢狀面積的ROI 進行裁剪，將輸入圖像重采樣為224×224 單位大小。選擇在ImageNet（http：//www.image-net.org）上預訓練的ResNet50 作為本研究遷移學習模型的基本模型，它集成了殘差學習，以避免深度網絡中的梯度分散和準確性降低，提高網絡效率、準確性和執行速度。最終在最后一層全連接層提取DTL特征。以上過程均在Python 3.7平臺上使用Tensorflow深度學習庫完成。

1.2.2 特征選擇

將得到的所有特征進行Z-score 歸一化處理。為防止過擬合，本研究采用多步特征選擇方法選擇最佳特征。第一步，采用Spearman相關系數法對所有影像組學特征進行排序分析。采用Spearman相關檢驗考察個體特征之間的內在線性相關。相關系數絕對值越大，相關性越強，對于線性相關系數≥0.95的特征只保留一個。第二步，分別采用最大相關最小冗余（max-relevance and min-redundancy，mRMR）、基于支持向量機的遞歸特征消除（support vector machine-recursive feature elimination，SVM-RFE）、基于隨機森林的遞歸特征消除（random forest recursive feature elimination，RF-RFE）3 種方法篩選出影響力排名前10的特征子集。

1.2.3 特征融合

特征融合技術是使用多個給定的特征集生成一個新的組合特征集，不同特征子集之間優點互補，有利于后續的分類任務。首先，對每個序列的HCR 和DTL 特征進行融合，生成DLR 特征集，故后續每個序列的研究為HCR、DTL 和DLR 3 種特征集。其次，由于不同序列的影像數據捕獲的重點信息不同，將上述4種序列的特征子集進行融合，融合方式分別為：隨機2種序列融合、隨機3種序列融合以及4 種序列全部融合。特征融合過程如圖3 所示，最終有15種影像序列融合方式。

圖3 特征融合過程Figure 3 The fusion process of features

1.2.4 分類模型構建

在特征選擇和融合后，分別使用每個特征子集構建ML 分類模型，本研究使用了支持向量機（support vector machine，SVM）、邏輯回歸（logistic regression，LR）、隨機森林（random forest，RF）、XGBoost、決策樹（decision tree，DT）、K 近鄰（K-nearest neighbors，KNN）、樸素貝葉斯（naive bayes，NB）這7 種常見的ML 模型，模型由Python Scikit-learn 實現，并對其在腦膠質瘤分級預測中的性能進行比較。為了防止過擬合，采用五折交叉驗證來評估模型的分類性能和泛化能力，將其中4 份作為訓練集，1 份作為驗證集。在進行模型訓練過程中，采用網格搜索法選取最佳的超參數值。

1.3 統計學方法

本研究均在Python 3.7（https：//www.python.org）上實現。采用Spearman 相關系數法對所有影像組學特征進行排序及相關性分析。分別采用mRMR、SVM-RFE、RF-RFE 方法篩選出影響力排名前10 的特征子集。使用受試者工作特征曲線下面積（area under curve，AUC）評分用于測試預測模型的性能。在模型構建過程中計算約登指數（Youden index，YI）評價診斷精度，并將其整合到準確度（accuracy，ACC）、靈敏度（sensitivity，SEN）和特異度（specificity，SPE）的計算中來進一步評估模型功效。使用Python 中的SHAP 包來顯示每個特征重要性之間的關系。對最佳模型特征重要性進行量化以及個體特征影響進行歸因分析。

2 結果

2.1 特征選擇和特征融合

從T1、T2、T1c、Flair序列分別提取1 321個HCR特征和1 000個DTL特征。經過Spearman相關系數法篩選出的HCR 和DTL 特征數量如表1 所示。隨后，分別采用mRMR、SVM-RFE、RF-RFE 3種篩選方法對上述篩選出的特征進一步選出排名前10 的特征（表1）。15種影像序列融合方式中，每種序列融合方式均包含3 種篩選方法下的3 種特征組合方式，即9 個特征子集，最終生成135種特征融合子集。

表1 特征篩選結果Table 1 Results of the selected features（n）

2.2 腦膠質瘤分級模型的構建和比較

2.2.1 單序列分析

本研究主要包括4 個序列（15 種序列融合方式）、3 種特征和3 種特征篩選方法，因此對上述這135 個特征融合子集分別通過7 種ML 分類器進行建模。此外還對HCR、DTL 和DLR 這3 種特征提取方法進行比較，4 個單序列數據集的性能分析結果顯示，在4個序列中，與HCR和DTL相比，DLR作為輸入特征建模時，實驗結果更具有競爭力（表2）。

表2 單序列驗證集實驗結果匯總Table 2 The summary of single sequence in verification sets

2.2.2 多序列分析

單序列分析結果顯示，基于DLR 特征構建的ML 模型具有較高的分級預測效能，因此在多序列建模中使用DLR 特征集進行后續實驗分析。對各模型特征篩選方法和分類器的預測性能進行比較，并對11種多序列的最優實驗結果進行整理，結果顯示，使用T2+T1c+Flair 序列組合，且基于SVM-RFE的特征篩選方法和SVM 分類器的模型獲得最好的預測效果（圖4A、B）：在驗證集上，AUC 達到0.996（95%CI：0.991～1.000），YI、ACC、SEN、SPE 分別為0.920、0.976、0.988 和0.932。五折交叉驗證結果顯示該模型具有較高的穩定性（圖4C）。

圖4 DLR特征實驗結果Figure 4 The results of DLR features

2.2.3 模型驗證

使用30 例未參與訓練的測試數據集進行最終模型分類效能的驗證。在測試集上，AUC值為0.986（圖4D）、ACC為0.921、SEN為0.933、SPE為0.875。

2.3 模型臨床獲益和可解釋性

使用SHAP算法獲得各序列的每個DLR預測特征的權重，并按重要性排序列出前20 的特征。SHAP 值表示每個特征對最終預測的貢獻，Flair 序列的特征貢獻較大，其次為T2及T1c序列（圖5）；同時，排名前20的特征中，HCR和DTL特征均有貢獻。

圖5 SHAP特征權重分布蜂圖（A）及權重均值直方圖（B）Figure 5 SHAP feature weight distribution swarm plot（A）and weight mean histogram（B）

3 討論

由于侵襲性和浸潤性不同，腦膠質瘤的分級直接影響治療方案及患者預后［13］。因此，術前無創準確地預測膠質瘤分級，對制定手術方案和實施后續治療計劃具有重要意義。本研究建立基于多序列MRI 的HCR 和DTL 特征的ML 模型，其中最優的模型在訓練集和驗證集均能有效預測腦膠質瘤的高低分級，通過決策曲線篩選出獲益率最高的特征，并對模型進行了歸因分析，表明該模型在腦膠質瘤分級預測中具有巨大應用潛能。

MRI成像技術具有分辨率高、軟組織結構清晰、無輻射等優點，根據不同的成像條件，不同的MRI序列反映不同的腫瘤組織特征并互相補充，是診斷腦膠質瘤可信度極高的成像技術［14］。T1 序列可以顯示組織的形態和大小，T1c 序列是T1 序列的一種增強版本，通過注射對比劑來增強腫瘤和血管等組織的成像效果，在檢測腦部腫瘤和血管病變等方面更具優勢。T2 序列更適合顯示組織的水含量和炎癥程度，Flair 序列是一種增強的T2 序列，可以顯示炎癥和腫瘤周圍的水腫區域，對于檢測腦部腫瘤具有很高的診斷價值。因此本研究對多序列（T1、T2、T1c和Flair）的MRI進行了研究。通過隨機2種序列融合、隨機3 種序列融合以及4 種序列全部融合的方法，最終產生15種影像序列融合方式。

影像組學通常指以高通量方式從成像圖像中提取大量圖像信息，以實現腫瘤分割、特征提取和模型構建［15］。然而，影像組學分析需要手動描繪ROI以實現腫瘤分割，這可能影響特征值的提?。?6］。DL已經廣泛應用于醫學影像領域，因此本研究首先比較了HCR 特征、DTL 特征和兩者組合的DLR 特征，結果表明DLR 作為輸入特征建模時，表現出具有競爭力的分類效能。同樣，在多數研究中，基于DLR特征構建的ML模型均表現出最優效能［17-18］。

為了探索適合腦膠質瘤分級預測的最佳ML模型，本研究采用3 種特征篩選方法和7 種ML 算法，最終每種特征均各自構建了15 個序列共135 種ML模型，并對每種模型的性能進行評估，以選出最優的模型組合。RFE通過迭代訓練ML模型，每輪訓練后，將權重（或系數）最小的特征進行剔除，直到得到最優特征子集［19］，本研究顯示，采用SVM-RFE法篩選特征后，T2+T1c+Flair 序列組合的SVM 分類器模型效能最優。SVM 是一種常用的ML 二元分類算法，Siakallis等［20］在HGG監測中提出了一種結合MRI特征的SVM 分類器，可以提高分類性能，優于放射科醫生的分類。既往采用SVM 分類器預測腦膠質瘤分級的研究，均取得了較好的效能。Chen 等［21］回顧性分析了220 例HGG 患者和54 例LGG 患者的MRI圖像，SVM構建的膠質瘤分級預測模型準確率為91.27%。Tian 等［15］收集了153 例膠質瘤患者（42 例LGG 和111 例HGG）的術前MRI 圖像。他們從多個序列（T1、T2、ADC、T1c 和3D -動脈自旋標記）中提取放射組學特征，并使用SVM 分類器進行分級預測，多模態MRI 模型的AUC 和準確率分別為0.987和96.8%。本研究最優模型在訓練組和驗證組中的性能類似，在驗證集上，AUC 達到0.996，準確率為97.6%，均能較好預測腦膠質瘤分級，具有良好的魯棒性，優于Tian等［15］的模型。

通過DL 方法提取的DLR 特征很難解釋，不可解釋性會阻礙其在膠質瘤臨床實踐中的應用。SHAP 值用于評估預測模型中每個特征的貢獻，這是解釋ML 模型的最先進方法。這種方法源于博弈論的Shapley 值，它量化了每個參與者對結果的貢獻［22］。因此本研究采用SHAP法對模型的特征進行解釋，可以發現，貢獻較大的特征來自Flair 序列最多，其次為T2及T1c序列，這與上述T2+T1c+Flair序列融合為最優模型的結果相符。

本研究構建的最優模型在準確性和臨床實用性上都有一定優勢，但仍有一些局限。首先，本研究使用的數據均為小樣本公共數據集，缺少對應的外部數據集進行驗證，所以模型的泛化能力無法驗證。未來應繼續擴大樣本量，進一步收集多個醫療機構的高質量數據，整理形成多中心的大樣本數據集進行研究。其次，本研究僅用了4 種常規MRI 序列對腦膠質瘤的高、低級別進行分類預測，應用范圍相對局限，后續還應結合更多序列進行研究。其他組學內容也應納入研究，如病理組學、基因組學等，分類也應更加深入。最后，基因突變和生存周期預測的研究未來仍需進一步探索。

綜上所述，基于MRI 的DLR 模型可有效預測腦膠質瘤腫瘤分級，其中T2+T1c+Flair序列組合，且基于SVM-RFE 的特征篩選方法和SVM分類器的模型獲得最好效果，可為腦膠質瘤患者術前預測分級，制定個體化的診療方案提供有力支持。