基于深度學習的多模態融合的臨床應用*

李伊寧 王弘熠 王天任 柳 岸 趙 爽 康 健

1 中南大學湘雅醫學院，湖南省長沙市 410013；2 中南大學湘雅三醫院；3 中南大學湘雅醫院皮膚科

近年來，基于深度學習的多模態融合技術進展迅速，它將不同模態的大量數據相互融合，利用深度學習充分顯示數據之間互補的優點，擺脫單一數據中時間和空間的局限性，以便了解疾病的綜合信息，保障醫生決策的可靠性。

1 多模態和深度學習

所謂模態，是指人接受信息的特定方式。模態起源于人機交互領域，被定義為在特定物理媒介上信息的表示方式，如：文本、圖像、聲音等。醫學領域常指其為不同來源的醫學信息，如影像信息、病史信息、生化結果等。以往人工智能輔助醫療系統開發思路常是單模態的，通過分析單一類型的數據，建立從數據到結果的映射，從而具備所謂“智能”。然而目前常用的檢查數據長期以來各自獨立，單純分析某種類型的醫學數據只能得到疾病某一個方面或層次的信息，因此具有較大局限性，不能評估疾病的全局狀況，這極大限制了人工智能的醫療應用。單模態面臨的困難正是多模態融合的強項。多模態融合技術是指機器從文本、圖像、語音和視頻等領域獲取信息實現轉換與融合以提升模型性能的方法。例如PET提供有關病變部位定量代謝信息，CT則可提供病變解剖結構信息?；诙叩哪B融合打破二者固有的數據壁壘，利用特定的系列算法對采集到的數據進行處理，如此可同時從功能和結構方面刻畫當前病變，為下一步的臨床決策提供充分的參考。因此，運用多模態融合綜合分析各種類型的醫學數據才是人工智能診斷應用的關鍵，也是診斷病情的可靠手段。深度學習是一種以神經網絡為架構對數據進行表征學習的算法，是對于新產生的多模態融合數據的利用和解讀的有力工具?；谏疃葘W習的多模態融合可運用多個隱含層的深度神經網絡來完成多模態學習任務[1]。已有大量將深度學習用于醫學數據處理的成功案例，如疾病診斷，腫瘤分割、預后等。

2 多模態融合在腫瘤中的應用

2.1 腦腫瘤 在MRI上對腦腫瘤進行識別是臨床傳統方法中手術定位、建立腫瘤模型的基礎[2]。然而不同MRI展示的病變部位有差異，反映了不同角度的腫瘤特點。羅蔓等[3]提出了一種基于多模態三維卷積神經網絡的MRI腦腫瘤分割方法，充分利用多張MRI之間的互補關系和三維結構空間之間的幾何特點，判斷腦腫瘤位置的靈敏度可達90%以上。除了識別，多模態融合技術對于腦腫瘤患者的分級同樣具有意義。Fangyan Ye等[4]通過輸入多種能夠提供腫瘤不同信息的不同MRI圖片，直接將三維卷積核應用于MRI圖像，通過矢狀、軸向和冠狀方向上的差別，這為腦腫瘤良惡性分類打下基礎。

2.2 乳腺癌 乳腺癌已成為女性最常見的惡性腫瘤。惡性乳腺癌的高發與早期篩查技術水平較低相關。Muxuan Liang等[5]提出了一個多模態深度信念學習網絡，在該模型中基因表達、DNA甲基化、藥物反應等數據首先被編碼到多層隱藏變量中，然后使用一個聯合潛在模型融合來自輸入的多模態的共同特征，最后對癌癥患者進行聚類。該種方法在乳腺癌相關基因組學的研究過程中具有較好應用前景。

組學、病理圖像等數據均與乳腺癌患者的預后息息相關。孫冬冬[6]提出了融合組學數據與病理圖像的深度神經網絡生存期預測方法，該方法以混合網絡為結構，分別處理乳腺的基因表達、拷貝數異常等組學數據和乳腺的病理圖片，最終進行決策級融合，并對乳腺癌生存期預測取得了高于80%的準確率。

2.3 其他腫瘤 多發性骨髓瘤(Multiple myeloma，MM)是淋巴造血系統一種常見的惡性腫瘤，以多灶性骨骼受累為主要特征。傳統的X射線掃描只有在病灶周圍骨小梁丟失30%以上時才顯示病變，而PET-CT可檢測到傳統方法無法檢測到的微小病變，但由于主觀判別標準不同，對MM的鑒別仍然很容易出錯。Lina Xu等[7]提出了一種級聯兩個單一的神經網絡形成復合網絡的方法。第一個網絡只輸入容積CT數據以學習骨的解剖學特征，第二個網絡輸入PET-CT和第一個網絡的輸出。該方法取得了73.5%的準確率。不過與單模態網絡相比，復合網絡需要更多計算量，但檢測性能卻只有小幅提高。

不同亞型的橫紋肌肉瘤患者預后相差極大，因此區分腺泡狀橫紋肌肉瘤和胚胎性橫紋肌肉瘤尤為重要。Imon Banerjee等[8]開發了一個與遷移學習結合的深度學習框架，通過融合多參數MRI以區分上述兩種亞型。PET圖像上18F-FDG的攝取代表腫瘤新陳代謝，MRI圖像上受限制的擴散程度代表腫瘤細胞密度，這些都與橫紋肌肉瘤預后信息相關。這種方法的平均交叉驗證準確度達到了85%。

3 多模態融合的其他應用

3.1 癲癇 傳統的癲癇病診斷依據患者的出生史、既往史和發病表現等。醫生在診斷時具有較強的主觀性，需要耗費較長時間綜合判斷病情，有可能延誤患者診斷時機，造成不必要的二次傷害。鐘霽媛等[9]融合了磁共振掃描序列中的時序特征和圖像特征用于顳葉內側癲癇的診斷。該方法可達到 92.3%的準確率，顯著縮短了傳統鑒別診斷(對受試者的腦電波進行24h以上的監測)所需的時間。

癲癇不定時發作的特點降低患者的生存質量，還給臨床治療工作帶來困難。Parikshat Sirpal等[10]利用具有長短時記憶單元的深度遞歸神經網絡模型，通過輸入患者的腦電圖—功能性近紅外光譜多模態數據預測患者癲癇的發作。這一項技術提示未來甚至可以根據患者就診時的檢查數據預測患者發病時間，從而針對性地設計保護性治療措施，大幅改善癲癇患者的社會適應和健康管理能力。

3.2 腦功能評估 病歷信息和神經影像信息在帕金森等退行性病變中是十分重要的評估參考資料，而多模態融合技術正可以將二者融合。例如Xi Zhang等[11]設計了一種基于記憶的圖像卷積神經網絡，該網絡的提取部分用于從患者大腦神經影像中提取有用信息，而記憶部分則負責從患者的病歷信息中獲取有用信息。兩種信息通過網絡結構在圖像采集的對應時間點融合，可推斷疾病發展狀態。而Sergey等[12]則在深度學習中利用注意力機制的最新進展來提取大腦多模態數據中的非線性關系。他們提出了基于翻譯的融合模型。該模型針對兩種MRI信息設計，其中SMRI可提供有關大腦組織類型信息而fMRI可提供大腦網絡之間的結構連通性信息。運用該模型進行了基于健康人群和精神分裂者的腦功能評估，結果顯示二者在顳葉等幾個關鍵區域存在明顯的群體差異，符合以往的醫學研究結果。

3.3 預后評估 醫患雙方在疾病診療的互動中繞不開對預后的探討。多模態技術規避了傳統算法局限性所給出的答案更具有參考價值。比如Anika Cheerla等[13]開發了一種無監督學習編碼器用于腫瘤預后取得了較單模態更優的效果。該方法將病理圖片、臨床數據、mRNA表達數據、miRNA表達數據這四種數據模式壓縮成一個單一的特征向量，針對每一種數據類型的特點選擇不同的編碼方法，最后利用深度無監督表示學習進行預測。而Hongming Li等[14]提出一種通過在比例風險模型中使用深度學習網絡優化成像特征來建立直腸癌患者生存回歸模型的方法。在深度學習模型中，通過數據驅動的方式在三維卷積層融合腫瘤的PET、CT圖像數據，并提取特征信息來捕獲放射圖像數據和生存信息之間的復雜關系。

4 改進

多模態研究的常見挑戰是缺失數據。由于醫療數據共享不暢或疾病譜固有的特點，實際上很難擁有所需的全部種類的多模態數據。例如，在臨床實踐中，PET的花費較高并且部分患者擔心放射性暴露。因此，患者大多都愿意接受MRI掃描而部分接受PET。在ANDI數據庫中，所有821位受試者都有MRI數據，而進行PET者卻不到一半。一方面，若將缺失PET數據患者的數據從訓練集中除去，訓練集的規模將會大大縮小，得到結果的可靠度將大打折扣。另一方面如果強行使用殘缺的數據訓練多模態模型，可能誤導模型產生過擬合效應，不具備臨床價值。

生成式對抗網絡(GAN)由一個生成器和一個判別器構成。生成器根據輸入的樣本數據分布，生成新的數據分布，并盡量接近真實數據分布。判別器的作用則是判別輸入數據是來自真實數據還是生成器生成的數據[15]。利用GAN可補充缺失的數據，部分克服數據集分布不平衡的難題。如針對上述情況設計一種生成對抗網絡，學習MRI和PET之間的雙向映射，然后可以根據對應的MRI掃描合成丟失的PET圖像。

本文綜述了基于深度學習的多模態融合技術在腦腫瘤、乳腺癌、癲癇等方面的臨床應用進展?；谏疃葘W習的多模態融合技術能夠對臨床相關的多模態數據進行整合，綜合分析，從不同方面更加全面、深刻地了解、認識疾病，以達到診斷、分類、預后判斷的目的。隨著各種成像技術的不斷發展，在臨床上大規模應用基于深度學習的多模態融合技術已經成為大勢所趨，這同時也為人工智能、深度學習在醫學領域中的應用提供了方向。