急性缺血性腦卒中CT生成MRI算法
——基于影像組學的邊緣感知擴散GAN

張美美,秦品樂,柴 銳,曾建潮,翟雙姣

(中北大學 計算機科學與技術學院,山西 太原 030051)

0 引 言

腦卒中是一種高發病率、高死亡率和高致殘率的腦血管疾病[1-2]。急性缺血性腦卒中,又被稱為腦梗塞,其病變在CT上不明顯,需要進一步通過核磁共振成像(MRI)進行確診[3]。然而,當患者體內存在金屬物品或患有幽閉恐懼癥等特殊情況時,患者無法進行MRI檢查,這會影響醫生的診斷和患者的預后效果。若能從患者的CT轉換為MRI,通過生成的MRI與原始CT的結合,將有望幫助醫生更準確地評估患者的病情,為制定個體化治療方案提供更多的參考依據。

隨著深度學習的發展,醫學跨模態圖像生成取得顯著效果。Li等[4]利用多種深度學習方法從腦部CT生成MRI。Hu等[5]用急性缺血性腦卒中患者的醫學影像建立了從CT生成MRI的生成對抗網絡(Generative Adversarial Networks,GAN),并利用生成的MRI完成后續病灶檢測任務。Jin等[6]通過CycleGAN實現了未配對數據集從CT到MRI的跨模態生成。Yu等[7]通過改進生成器與鑒別器實現MRI的生成。然而,GAN訓練不穩定,容易模式崩潰。最近提出的擴散模型在醫學影像跨模態領域中可以生成與GAN接近的高質量圖像。Lyu等[8]通過擴散模型實現了從MRI到CT的模態轉換。Meng等[9]基于SDE提出UMM-CSGM,生成缺失模態的醫學圖像。然而,擴散模型采樣速度慢。Wang等[10]將擴散模型與GAN相結合,同時解決了兩者面臨的問題。目前擴散GAN在醫學圖像跨模態轉換中也有了初步的應用。?zbey等[11]基于擴散GAN提出了一種對抗擴散模型Syndiff,實現多模態醫學影像轉換。由于MRI對腦部軟組織表現更為敏感,因此在MRI中邊緣反映了局部強度的變化,顯示了不同組織之間的界限,為臨床診斷提供了重要信息。在急性缺血性腦卒中患者的MRI中,邊緣信息對于區分病變與正常組織至關重要,有助于更準確地描繪異常區域的輪廓。

此外,急性缺血性腦卒中CT中缺少病灶信息,從CT生成MRI為從低信息量圖像生成高信息量圖像問題;研究表明[12-13],影像組學可以區分急性缺血性腦卒中CT上的病灶與其對稱區域,因此通過影像組學在CT上劃分病灶輔助MRI的生成是可行的。然而,僅將單個特征作為在患者CT上劃分病灶的依據不具備魯棒性。

受擴散GAN在醫學圖像合成中取得成功的啟發,該文提出基于影像組學的邊緣感知擴散GAN,急性缺血性腦卒中CT生成MRI算法。針對邊緣不清晰問題,提出邊緣感知擴散GAN。針對單個特征不具備魯棒性的問題,通過組學模塊引入基坐標從患者CT的病灶上提取多維影像組學特征。通過實驗分析,該方法生成的MRI在病灶定位和圖像質量方面優于現有方法。

主要貢獻總結如下：

(1)提出了基于影像組學的邊緣感知擴散GAN急性缺血性腦卒中CT生成MRI算法,解決了CT生成的MRI缺乏病灶信息以及邊緣不清晰等問題。

(2)引入基坐標從患者CT的病灶上提取多維影像組學特征,解決了單個特征缺乏魯棒性的問題;同時,提出基于擴散GAN的邊緣感知擴散GAN模型,分別從圖像紋理與邊緣約束生成MRI,提升了生成MRI的主觀效果。

(3)在ISLE2018挑戰賽數據集上的實驗結果表明,生成的MRI在PSNR、SSIM和PCC等指標上都優于Syndiff、CycleGAN、Respix2pix等醫學圖像跨模態方法。

1 相關工作

1.1 影像組學

影像組學是由荷蘭學者Lambin于2012年提出的一種計算機輔助過程,從醫學圖像中提取大量包括形狀、強度和紋理的定量特征[14],其中對高階紋理特征的研究最為廣泛[15-16]。

影像組學在腦卒中診斷、治療和預后方面有廣泛的應用。急性缺血性腦卒中在CT上缺乏明顯的表征,但通過影像組學能發現梗死區域與正常組織之間的差異。Sikio等[17]發現提取影像組學特征,可以揭示缺血性病變的結構變化。通過對老年人的腦組織數據進行影像組學特征分析,能夠識別既往腦卒中病變,相關模型的AUC超過0.7[18]。

1.2 擴散生成對抗網絡

目前,基于GANs與擴散模型在醫學圖像生成領域得到了廣泛應用。Nie等[19]提出了基于GANs的3DGAN,能夠從MRI生成CT圖像。曹國剛等[20]實現了在未配對數據集上從MRI生成CT,但生成的CT存在偏差。侯冰震等[21]在CycleGAN的基礎上同時引入了邊緣感知損失函數和密集網絡,實現了MRI到CT的合成。Ben-Cohen等[22]將cGANs與全卷積神經網絡相結合,從CT生成PET,降低了漏檢率。Armanious等[23]將對抗網絡與非對抗損失相結合提出了MedGAN,用于CT和PET的相互轉換。Pinaya等[24]基于擴散模型生成具有特定條件的MRI,從中檢測并分割大腦中的異常區域。然而,多數研究集中在從高信息圖像到低信息圖像的生成。

1.3 影像組學與生成模型結合的應用

目前已有部分研究將影像組學與GAN結合以解決醫學領域中的難題。馮二燕等[13]將CT上提取的組學特征作為先驗輸入到GAN中,實現了從CT到MRI的模態轉換。Duan等[25]在肝硬化患者分級任務中使用了結合GAN模型和影像組學的方法,其AUC大于0.8。Pan等[26]在GAN的中間步驟引入了影像組學特征,使生成的數據更接近真實肺部病變。Chen等[27]從原始CT和生成CT中提取組學特征,建立生成全劑量CT圖像的模型,用于肺癌診斷與生存預測。

2 文中方法

擴散模型前向過程加入噪聲的過程容易破壞圖像的結構信息。同時,急性缺血性腦卒中CT病灶不明顯,從CT生成MRI具有挑戰性。因此,該文提出一種急性缺血性腦卒中CT到MRI的跨模態生成算法,基于組學的邊緣感知擴散GAN。

文中算法的總體結構如圖1所示,由影像組學模塊(圖1(a))和邊緣感知擴散GAN模塊(圖1(b))組成。首先,在已知病灶的CT/MRI數據集的CT病灶部位提取多維組學特征組。然后,在邊緣感知擴散GAN中通過多維組學特征在CT上劃分病灶候選區。最后將病灶候選區可視化的特征圖與CT結合輸入生成器,兩個鑒別器約束生成器,使模型生成的MRI更加真實。

圖1 總體結構

2.1 組學模塊

急性缺血性腦卒中病灶在CT上的病灶無法利用組學特征準確地分割出來。但對比CT上不同區域的組學特征值差異可得出病灶的位置[13]。然而,利用單個組學特征來劃分病灶缺乏魯棒性。因此,文中組學模塊首先將真實病灶作為ROI在CT上提取特征,再將特征映射到特征空間,篩選出多維影像組學特征組,最后在生成MRI時利用這組特征在CT上選擇出病灶候選區域。

2.1.1 特征提取

將真實病灶作為ROI在CT上使用PyRadiomics (version 3.0.1, https：//pyradiomics.readthedocs.io/)提取影像組學特征。共提取出病灶的組學特征1 325個,去除無用特征,最終得到1 288個特征。

2.1.2 特征篩選

在坐標系中,“基坐標”代表其他點或向量。該文將所有特征映射到一個坐標系下,通過特征分析,提取出能表示其他特征的多維影像組學特征組。首先,通過信息增益篩選出重要特征;其次,計算剩余特征的相關性并分組;最后,每組選一個特征,組成多維影像組學特征組。

信息增益篩選：分別計算提取到的所有組學特征的信息增益,即在給定組學特征時,不確定性減少的值。組學特征的信息增益越大表示特征越重要。其中,信息增益大于0.4的組學特征共有10個,如表1所示。

相關性分析：通過篩選后,計算剩余特征兩兩間的皮爾遜相關系數,篩選出線性相關性最弱的特征作為在CT上選擇候選區域的依據。相關系數的計算公式如下：

(1)

圖2 組學特征相關性熱力圖

多維影像組學特征組選?。旱谝唤M中F1的信息增益最大,因此從第一組中選擇F1;第二組中ρF1F6=0.22,相關性極弱,因此從第二組中選擇F6;第三組中選擇F10;最終選擇這三個特征作為多維影像組學特征組。

2.1.3 病灶候選區

影像組學特征在患者的CT上病灶與非病灶位置有明顯差異,通過多尺度錨框的方法在CT上可以劃分病灶候選區域。將CT分為四個區域,分別提取對應區域的組學特征,并計算區域對應的特征值Fvalue,公式如下所示：

Fvalue=αF1+βF6+γF10

(2)

其中,α,β和γ為比例系數,由多維組學特征對應的信息增益歸一化后得出。由于病灶與正常組織在CT上的差異明顯,因此當某區域特征值與其他三個區域差異明顯時表示該區域內包含病灶。在該區域內生成多個尺度在0.15～0.8之間的錨框,分別計算各個錨框的特征值,并計算各個錨框特征值的差異,選出差異最大的錨框作為病灶候選區。區域之間的特征差異性使用方差進行量化。

2.2 邊緣感知擴散GAN

邊緣感知擴散GAN模塊中包括1個生成器和2個鑒別器。鑒別器D為生成圖像與真實圖像中加入隨機噪聲,穩定模型訓練。加噪過程如圖1(b)的Forward Process。鑒別器DEdge獲取真實邊緣圖與生成邊緣圖,約束生成圖像的邊緣。

2.2.1 生成器

利用多維組學特征組從CT上劃分病灶候選區并可視化后得到病灶特征圖fmap。生成器將CT和特征圖fmap作為輸入,生成sMRI0,用公式表達為：

sMRI0=G(MRIt,fmap,CT,t)

(3)

其中,MRIt表示第t步帶噪MRI,fmap表示病灶候選區域可視化的特征圖,CT為源圖像,t為時間指數。生成器使用UNet[28]結構,由6個下采樣塊與6個上采樣塊組成。如圖1(b)所示,下采樣塊由3個殘差塊與1個3×3卷積塊組成,上采樣塊則由4個殘差塊組成;時間t通過32維正弦位置編碼(Time embedding)[29]后經過兩層全連接(linear)層[30]后加入到殘差塊中。

2.2.2 鑒別器

鑒別器D區分sMRIt-k與MRIt-k。公式表達為：D({sMRIt-k|MRIt-k},MRIt,t),其中輸入為時間指數t,真實MRI在t-k步的MRIt-k,如圖1(b)前向過程所示,生成MRI在t-k步的sMRIt-k～q(sMRIt-k|MRIt,sMRI0)。其網絡結構如圖1(b)中D所示,由6個下采樣塊組成。

2.2.3 邊緣感知鑒別器

通過對圖像進行卷積,得到邊緣圖sMRIEdge與MRIEdge。kx與ky分別檢測圖像中的水平與垂直邊緣,對圖像卷積后生成對應x方向和y方向的邊緣映射。最后將兩個邊緣映射合并為最終的邊緣圖S(Image),用×表示卷積操作,公式如下：

(4)

邊緣感知鑒別器區分sMRIEdge與MRIEdge,公式化為：DEdge(S(sMRI0)|S(MRI))。網絡結構如圖1(b)中D_Edge所示,由一層卷積網絡以及6個下采樣塊組成。

2.3 損失函數

該文提出邊緣感知擴散GAN,模型總體損失函數Ltotal如式12所示,由對抗損失與非對抗損失組成,其中對抗損失如式9所示：

LG=EsMRIt-k～q(sMRIt-k)log[1-D(sMRIt-k)]

(5)

LD=-EMRIt-k～q(MRIt-k)logD(MRIt-k)-
EsMRIt-k～q(sMRIt-k)log[1-D(sMRIt-k)]

(6)

(7)

(8)

(9)

其中,G表示生成器,D表示鑒別器,DEdge表示邊緣感知鑒別器,E表示隨機變量概率分布的期望,t～U({0,k,…,T}),λEdge為邊緣感知鑒別器損失的平衡系數。為了讓生成MRI與真實MRI更接近,引入L1損失約束圖像像素。L1損失如下：

L1=EMRI,sMRI0～q(MRI,sMRI0)‖MRI-sMRI0‖1

(10)

其中,‖·‖1表示l1范數。為了學習到MRI圖像上更多的邊緣信息,使生成的MRI在邊緣上更加接近于真實MRI,引入梯度損失LGDL。公式如下：

LGDL=EMRI,sMRI0～q(MRI,sMRI0)‖?MRI-?sMRI0‖1

(11)

其中,?MRI與?sMRI0分別表示真實MRI與生成MRI的梯度信息。

模型總體損失函數Ltotal由對抗損失函數LAdv、全局損失函數L1以及梯度損失函數LGDL組成。定義如下：

Ltotal=LAdv+λ1L1+λ2LGDL

(12)

其中,λ1,λ2為損失函數的加權系數。

3 實驗結果與分析

3.1 數據集與實驗設置

在ISLES2018數據集上進行實驗,包括103例急性腦卒中患者的信息?；颊哂谌毖阅X卒中發作后8小時內接受CT灌注成像(CTP)和3小時內的彌散加權成像(DWI)模態的MRI檢查。訓練集包含63個病例,包括原始CT、4張CTP參數圖、DWI及醫生標記的病變標簽。測試集包含40例患者,無DWI和病變標簽。實驗使用CT和MRI配對數據及專家標記的病灶,按6∶2∶2比例分為訓練集、驗證集和測試集。

實驗基于Python 3.8.10和PyTorch 1.12.1框架進行,在一臺配備有Intel Xeon E5 2620 v4處理器、128 GB內存和4臺Tesla V100顯卡(每個顯卡有32 GB顯存)的64位Ubuntu NVIDIA Station服務器上進行了模型訓練。模型訓練500個epoch,輸入輸出圖像的大小為256×256,采用Adam優化器,學習率設置為10-4,其中T為1 000,步長k為250,噪聲方差的上下界分別為0.1和20。

3.2 評價指標

為了定量評估算法生成的圖像質量,采用峰值信噪比(PSNR)、結構相似性指數(SSIM)和Pearson相關系數(PCC)。PSNR通過比較生成圖像和真實圖像之間的像素誤差的全局大小來度量圖像質量。SSIM是反映了生成MRI圖像與真實MRI的結構相似性程度。最后,PCC用于衡量生成MRI與真實MRI之間的相關性。

3.3 對比實驗

本節評估了急性缺血性腦卒中CT生成MRI算法的性能,對Syndiff[11]、CycleGAN[6]、Respix2pix[13]與文中方法進行定量實驗,如表2所示。文中方法在圖像質量和腦部結構相似度方面表現優秀。圖3將生成的結果、對應的邊緣圖與差異圖作為可視化結果進行定性實驗。圖3顯示Ours-sMRI與Respix2pix-sMRI均包含病灶高亮細節,但Respix2pix中存在錯誤邊緣,表明文中方法能夠生成高質量的MRI圖像,并具有優秀的細節表現。

表2 對比實驗定量分析

圖3 對比實驗可視化結果

為了驗證文中方法在病灶上的優勢,分別比較Respix2pix-sMRI與Ours-sMRI的病灶區域,三名影像科醫生標記Ours-sMRI與Respix2pix-sMRI的病灶,圖4為分割結果。其中,Ours-sMRI的表現最優,對應的DICE系數比Respix2pix-sMRI的高。

圖4 病灶區域繪制

綜上所述,文中方法生成的MRI經過定量與定性分析均獲得了最佳的結果。表明文中方法生成MRI不僅在關鍵病理信息上有優秀的表現,同時生成圖像的結構信息與邊緣上也與真實MRI更為近似。

3.4 消融實驗

本節分別通過定量分析與定性分析,驗證組學模塊和邊緣感知鑒別器的有效性。定量評估結果如表3所示,Without D and R表示去除邊緣感知鑒別器與組學模塊后的模型;Without R表示去除組學模塊后的模型;Without D表示去除邊緣感知鑒別器后的模型;Ours表示文中方法的模型。定性分析結果如圖5所示,分別展示了四種方法對應的sMRI及其病灶區域細節放大圖,方框表示病灶區域。

表3 消融實驗定量分析

圖5 消融實驗可視化結果

3.4.1 影像組學模塊有效性驗證

組學模塊作為本模型中提供病灶先驗的模塊,加入組學模塊后生成的MRI中應該顯示病灶。圖5中Without R-sMRI的方框內沒有病灶,而Without D-sMRI與Ours-sMRI的方框內均有明顯高亮。生成的MRI中有高亮病灶,且位置正確。同時,在定量實驗中,當去掉組學模塊后,PCC指數有明顯下降,表示生成MRI與真實MRI之間的相關性下降。

3.4.2 邊緣感知鑒別器的有效性驗證

邊緣感知鑒別器主要對生成圖像的邊緣梯度進行約束,使生成的MRI有更真實的邊緣梯度。圖5中,Without D-sMRI中雖然有明顯的病灶信息,但是出現了不正確的邊緣,圖像存在偽影;加入邊緣感知鑒別器后的圖像則展現出了自然的梯度,整體圖像更加真實。

綜上所述,文中模型生成的圖像與真實MRI差異很小,病灶明顯,病灶位置正確,病灶形狀相似,這是由于組學模塊與邊緣感知鑒別器分別突出病灶區域和生成MRI的邊緣梯度,使生成MRI與真實MRI相似。

3.5 醫生陽性/陰性鑒別

三名分別有10年、5年和3年的放射科經驗的醫生分別對五種情況進行陽性/陰性鑒別。陽性表示發現腦卒中病變,陰性表示未發現腦卒中病變。使用Accuracy公式計算在三種情況下的準確率。

(13)

其中,TP與TN表示陽性陰性分類正確的樣本個數,FP與FN表示陽性陰性分類錯誤的樣本個數。醫生判斷得出的準確率如表4所示,文中生成的MRI與CT結合后急性缺血性腦卒中檢出率有了明顯提升。

表4 陽性/陰性判別準確率 %

4 結束語

該文提出了基于影像組學的邊緣感知擴散GAN,旨在解決急性缺血性腦卒中CT到MRI的跨模態生成問題。該算法提取CT中的組學特征,并在病灶候選區域進行可視化輔助患者的CT生成MRI,為不適用的MRI患者提供新的診斷方法。實驗結果表明,加入邊緣感知鑒別器,使生成的MRI整體邊緣過渡更為自然。生成的MRI能夠清晰顯示病變,為醫生的診斷治療提供了有力參考。然而,由于急性缺血性腦卒中數據有限,需要進一步測試模型的有效性和魯棒性。