基于MD-CGAN的腦部腫瘤圖像生成方法研究

何敏 邱圓 易小平 郭暢宇

摘要：深度學習已廣泛用于腦部磁共振（MR）圖像分析中，但腦部腫瘤MR圖像樣本不足會嚴重影響深度學習模型的性能.提出基于多鑒別器循環一致性生成對抗網絡（MD-CGAN）的樣本生成方法.利用所提出的MD-CGAN生成腦部腫瘤病理區域圖像，將生成的腦部腫瘤病理區域圖像覆蓋腦部正常圖像子區域，合成得到腦部腫瘤MR圖像.MD-CGAN引入的雙對抗損失避免了模型崩塌問題的產生，引入的循環一致性損失函數可以保證腦部正常子區域圖像生成腦部腫瘤病理區域圖像，從而使得MD-CGAN生成的圖像具有高質量和多樣性.以FID值作為評價指標，利用本文提出的MD-CGAN與近幾年較經典的生成網絡生成腦部腫瘤病理區域圖像并計算FID值.實驗結果表明，本文所提出網絡的FID值比SAGAN、StyleGAN和Style- GAN2的值分別低26.43%、21.91%、12.78%.為進一步驗證本文方法的有效性，利用生成的腦部腫瘤圖像擴充樣本，并依托擴充前后的樣本集進行腦部腫瘤分割網絡訓練.實驗表明，樣本擴充后的分割網絡性能更優異.本文方法生成的腦部腫瘤MR圖像質量高、多樣性強，這些樣本可代替真實樣本參與模型的訓練，從而有效解決腦部腫瘤MR圖像訓練樣本不足的問題.

關鍵詞：深度學習；磁共振圖像；樣本擴充；生成對抗網絡

中圖分類號：TP391文獻標志碼：A

Research on Brain Tumor Image Generation Method Based on MD-CGAN

HE Min1，QIU Yuan1，YI Xiaoping2，GUO Changyu1

（1. College of Electrical and Information Engineering，Hunan University，Changsha 410082，China；2. Xiangya Hospital of Central South University，Changsha 410031，China）

Abstract：The samples are insufficient due to the difficulty of obtaining real brain tumor MR images，which seriously affects the performance of deep learning models. Therefore，a sample generation method based on the Multiple Discriminator Cycle-consistent Generative Adversarial Network （MD-CGAN）is proposed in this paper. Firstly，the MD-CGAN model is used to generate brain tumor pathological region images，and then these pathological region images are overlaid with the normal sub-regions of brain images to synthesize brain tumor MR images. Among them，the double adversarial loss introduced by MD-CGAN avoids the problem of model collapse，and the cycle consistency loss function introduced can ensure that the normal brain sub-region images generate the pathological region imagesof brain tumors，so that the images generated by MD-CGAN have high quality and diversity. Taking the Frechet Inception Distance（FID）as the evaluation index，the MD-CGAN proposed in this paper and the more classic generative networks in recent years are used to generate the images of brain tumor pathological regions and calculate the FID value. The experimental results show that the FID of our MD-CGAN is 26.43%，21.91%，and 12.78% lower than those of SAGAN，StyleGAN，and StyleGAN2，respectively. To further demonstrate the effectiveness of our proposed method，we use the generated brain tumor images to expand the training set and then train the segmentation models on this expanded dataset. The experimental results show that the performance of segmentation networks trained on the expanded dataset is better. Based on the above experimental results，it can be concluded that the brain tumor MR images generated by our proposed method have high quality and rich diversity. These samples can be used to expand the training set and effectively solve the problem that brain tumor MR images are insufficient.

Key words：deep learning；magnetic resonance imaging；sample expansion；Generative Adversarial Networks （GAN）

腦腫瘤是一種常見的腦部疾病，發病率及死亡率均較高，嚴重威脅著人類的健康.目前，對于腦腫瘤的診斷，主要還是依靠醫生對腦部磁共振（Magnetic Resonance，MR）圖像進行分析來完成，需要耗費大量的時間、精力，且易受主觀因素影響.

近年來，隨著深度學習理論的發展，人工智能輔助的醫學圖像識別診斷技術在醫學領域得以應用，因此，采用深度學習輔助的診斷技術來進行腦腫瘤診斷的方法也引起了廣泛的關注.然而，基于醫學圖像隱私保護的特點，患者腦腫瘤圖像獲取難度大，導致樣本數量嚴重不足，影響深度學習模型對腦腫瘤圖像輔助診斷的效果[1].為解決腦腫瘤圖像樣本不足的問題，行之有效的方法是生成病理圖像進行樣本擴充[2].因此，研究圖像生成方法，生成高質量、豐富多樣性的腦腫瘤醫學圖像具有十分重要的意義.

目前，用于圖像生成的方法主要包括兩大類：一是傳統方法，如旋轉、平移、翻轉等.在本質上并未對圖像核心內容進行改變且生成的圖像高度類似，容易使深度學習模型過擬合，該類方法并不適用于對醫學圖像進行擴充.二是基于深度學習的方法，如變分自編碼器（Variational Auto-Encoder，VAE）6和Goodfellow等人提出的生成對抗網絡（Generative Adversarial Networks，GAN）[4].VAE是一種將輸入的隨機噪聲映射為生成數據的圖像生成模型，主要由編碼器和解碼器組成.由于VAE生成的圖像與原圖的分布較接近，樣式比較單一且質量不高，因此，該模型也不適用于對醫學圖像進行擴充.GAN是近幾年應用廣泛的圖像生成模型，由一個生成器和一個判別器組成，生成器生成新的圖像，判別器判別生成圖像的真（真實的）假（生成的），兩者通過相互博弈不斷提高各自的能力，從而達到一種均衡狀態.然而，GAN在訓練過程中存在模型易崩塌，難以收斂等問題，這會導致生成的圖像質量差且多樣性不足.為了解決這些問題，近年來，GAN的一些變體GANs被提出.Radford等人[5]提出深度卷積生成對抗網絡（Deep Convolutional Generative Adversarial Networks，DCGAN），加入了卷積層來代替全連接層，用以增強訓練過程的穩定性，但是這種方法不能從根本上解決模型不穩定的問題，生成器G和判別器D仍然較難達到平衡狀態.Zhu等人[6]提出循環生成對抗網絡（Cycle-consistent Generative Adversarial Networks，CycleGAN），能將一個圖像域轉換生成到另外一個圖像域，但這種轉換通常是不穩定的.Nguyen等人[7]提出的雙鑒別器生成對抗網絡（Dual Discriminator Generative Adversarial Networks，D2GAN）有兩個鑒別器，這兩個鑒別器仍然與一個生成器進行極大極小的博弈，一個鑒別器會給予真實圖像高分數，而另外一個鑒別器卻給予生成圖像高分數，在一定程度上提高了生成圖像的多樣性.Zhang等人[8]提出的自注意力生成對抗網絡（Self-Attention Generative Adversarial Networks，SAGAN）將自注意力層加入生成器和鑒別器中，使得生成模型更易學習到圖像全局特征之間的依賴關系，提高生成圖像的多樣性，但其計算負擔較大.Karras等人提出的StyleGAN[9]重新設計了生成器的網絡結構，但由于生成的圖像伴有偽影，故在2020年又提出了StyleGAN2[10]，用于人臉圖像生成效果優異.上述GANs雖在自然場景圖像和人臉圖像生成中表現良好，但面對樣本嚴重不足，且病理區域形狀、大小、位置等復雜多變的腦腫瘤病理圖像，其生成效果難以滿足醫學圖像智能診斷的需求.

基于上述問題，本文提出多鑒別器循環一致性生成對抗網絡（Multiple Discriminator Cycle-consistent Generative Adversarial Network，MD-CGAN）生成腦腫瘤病理區域圖像，而后將其與腦部正常圖像合成即可得到腦部腫瘤圖像，從而解決腦腫瘤圖像樣本不足的問題.實驗結果證明了所提方法的有效性和可靠性.

1腦腫瘤圖像生成方法

1.1腦腫瘤圖像生成方法流程框架

基于MD-CGAN的腦腫瘤圖像生成方法框圖如圖1所示.

1）腦腫瘤病理區域圖像生成：通過MD-CGAN 將腦部正常圖像子區域轉換生成腦腫瘤病理區域圖像.

2）腦腫瘤圖像合成：利用所生成的腦腫瘤病理區域圖像覆蓋腦部正常圖像中的子區域，合成得到腦腫瘤圖像.

1.2腫瘤病理區域圖像生成

為了生成腦腫瘤圖像，首先利用MD-CGAN生成腦腫瘤病理區域圖像.MD-CGAN結構包括2個生成器G和F，4個鑒別器DX1、DX2、DY1和DY2，2個生成器共享相同的網絡參數，4個鑒別器共享相同的網絡參數.MD-CGAN結構如圖2所示，生成器和鑒別器的網絡參數配置如表1所示.

生成器G用來生成假的腦腫瘤病理區域圖G（g），生成器F用來生成假的腦部正常圖像子區域F（b）.鑒別器DX1和DX2用來區分腦部正常圖像子區域圖像的真假，鑒別器DY1和DY2用來區分腦腫瘤病理區域圖像的真假.特別地，鑒別器DX1和DY1給予真實圖像高分數，對于生成圖像則給予低分數；而鑒別器DX2和DY2則恰恰相反.

所提圖像生成模型目標函數包括雙對抗損失（Dual Adversarial Loss）[7]函數和循環一致性損失（Cycle Consistency Loss）[6]函數.

1）對于生成器G，鑒別器DY1和DY2，雙對抗損失可表示為：

L_dual（G；DY₁；DY₂；g；b）=L_gan（G；DY₁；g；b）+λ₁L_gan2（G；DY₂；g；b）（1）

式中：g代表真實正常區域子圖像域；b代表真實病理區域圖像域；λ₁用來控制圖像間相似度和多樣性的相對重要性；L_gan與原始GAN網絡目標函數相同.L_gan2定義如下：

相似地，對于生成器F，鑒別器DX1和DX2，可得雙對抗損失函數為：

L_dual（F；DX₁；DX₂；b；g）=L_gan（F；DX₁；b；g）+λ₁L_gan2（F；DX₂；b；g）（3）

2）循環一致性損失主要用于保證通過正常區域圖像來生成病理區域圖像.定義如下：

這里，對于生成器G，損失函數希望生成圖像G（g）的重建圖像F（G（g））接近于真實腦部正常圖像子區域圖像g.而對于生成器F，則希望生成圖像F（b）的重建圖像G（F（b））接近真實腦腫瘤病理區域圖像b.

需要特別說明的是，雙對抗損失結合了KL散度和反向KL散度的差異，生成一個目標函數；然后利用這些分支的互補統計特性捕捉分散預估密度，使得模型達到納什平衡，從而避免了模型崩塌，保證網絡生成的腦腫瘤病理區域圖像的質量和多樣性.循環一致性損失可以保證兩個領域的圖像建立一個一對一的映射，而不是多對一的映射.通過這種方式，所提出的生成模型可以更全面地學習到腦腫瘤的特征.同時，無腫瘤的腦部正常子區域圖像可以被逐一映射為有腫瘤的腦腫瘤病理區域圖像.因此，循環一致性損失使得MD-CGAN能夠利用無腫瘤的腦部正常圖像子區域生成有腫瘤的腦腫瘤病理區域圖像.

3）依據前述內容，所提生成網絡模型（MDCGAN）的總體目標損失函數如下：

L_MD-CGAN=L_dual（G；DY₁；DY₂；g；b）+L_dual（F；DX₁；DX₂；b；g）+λL_cyc（G，F）

式中：λ用來控制雙對抗損失和循環一致性損失的相對重要性.最終優化實現目標見式（6）.

本網絡模型類似于原始GAN，采用折中訓練的方式來更新G、DY1和DY2以及F、DX1和DX2.

1.3腦腫瘤圖像合成

通過MD-CGAN模型生成得到腦腫瘤病理區域圖像后，腦腫瘤圖像可以通過以下步驟得到.

1）將生成的腦腫瘤病理區域圖像中腫瘤部分截取成新的圖像，創建截取的腦腫瘤病理區域圖像和腦部正常圖像數據集.

2）依據圖像邊緣紋理特征的相似性，將截取的腦腫瘤病理區域圖像與腦部正常圖像標記匹配.

3）利用截取的腦腫瘤病理區域圖像覆蓋與其所匹配的腦部正常圖像的子區域，從而合成得到腦腫瘤圖像.

2實驗結果與分析

2.1實驗數據

本文的腦部MR圖像數據樣本來自中南大學湘雅醫院.數據通過磁共振成像儀采集自122位高級別膠質瘤病人，每位病人的數據包括T1、T1加權和T2模態，包含腦部腫瘤圖像和正常腦部圖像.在進行實驗之前，對所持的腦部MR圖像數據進行偏置場校正以及標準化等預處理.

獲取的腦部MR圖像數據集樣本包含腦部腫瘤圖像和正常圖像，其中，腦部正常圖像約7 000 張，含腫瘤的腦部腫瘤圖像約800張，經篩選后選其中的1 000張腦部正常圖像和500張腦腫瘤圖像作為實驗數據，并對500張腦腫瘤圖像進行手工分割標簽（Ground Truth）制作.部分圖像樣本示例如圖3所示.圖3（a）為含有腫瘤的腦部病理圖像樣本，圖3（b）為腦部正常圖像樣本.

2.2腦腫瘤病理區域圖像生成及實驗對比

1）本文實驗環境配置為Ubuntu16.04操作系統，NVIDIA RTX 2080Ti GPU，Intel Core i7-7820X CPU@ 3.50 GHzX12，Python 3.7，TensorFlow 1.14.0.

對于所提圖像生成模型MD-CGAN的訓練，將λ設置為10，λ₁設置為0.2，優化器采用Adam[11]，Batchsize設置為4.總的訓練周期為300 epochs，其中，對于前150 epochs，學習率為0.000 2，在后150 epochs 中，學習率按照線性衰減逐漸衰減為0.

2）腦腫瘤圖像生成結果：圖4為MD-CGAN模型生成的腦腫瘤病理區域圖像和合成的腦腫瘤圖像.由圖4可知，所生成的圖像具有良好的質量和豐富的多樣性.同時，生成的腦腫瘤圖像與真實腦腫瘤圖像具有高度相似性.因此，本文所提方法對于腦腫瘤圖像生成具有良好的性能.

3）不同圖像生成方法對比：腦腫瘤病理區域圖像生成是本文所提腦腫瘤圖像生成方法的核心.因此，將本文所提腦腫瘤病理區域圖像生成模型MD- CGAN與近幾年典型的圖像生成模型SAGAN、Style- GAN和StyleGAN2進行對比，即分別用MD-CGAN、SAGAN、StyleGAN和StyleGAN2網絡模型生成腦腫瘤病理區域圖像，以驗證MD-CGAN模型的有效性和優越性.圖5為SAGAN、StyleGAN、StyleGAN2和MD-CGAN模型生成的腦腫瘤病理區域圖像.

由圖5（a）可知，SAGAN模型生成的腦腫瘤病理區域的形狀等特征較類似，且圖像質量不高.由圖5（b）可知，StyleGAN模型生成的腦腫瘤病理區域圖像伴有偽影，不符合真實腦腫瘤病理區域圖像的特征分布.由圖5（c）可知，StyleGAN2模型生成的腦腫瘤病理區域圖像邊界不夠清晰.由圖5（d）可知，MD- CGAN模型生成的腦腫瘤病理區域圖像清晰且形態各異.由此可知，本文提出的MD-CGAN模型生成的腦腫瘤病理區域圖像具有更高的質量和豐富的多樣性.

為了進一步證明本文所提圖像生成模型的優越性，采用Frechet Inception Distance （FID）[12]作為定量分析的評價指標.

式中：μ_r、μ_g和∑_r、∑_g分別表示真實和生成的病理圖像的特征均值和方差.即用真實圖像與生成圖像提取特征向量后的均值和協方差的距離來評價，當生成圖片和真實圖片特征越相近時，均值之差的平方越小，協方差也越小，則FID值也越小，生成的圖像質量越高.

表2為不同模型生成的病理區域圖像FID值對比.由表2可知，本文所提MD-CGAN模型圖像生成模型取得了最小的FID值，生成的腦腫瘤區域圖像的FID值相比于SAGAN、StyleGAN和StyleGAN2的值分別降低26.43%、21.91%、12.78%.由此可知，本文所提模型MD-CGAN性能更優異.

本文所提模型有效結合了雙對抗損失和循環一致性損失，雙對抗損失有效抑制了腦腫瘤病理區域圖像生成模型的崩塌問題，確保生成圖像的質量；循環一致性損失確保了利用腦部正常圖像子區域生成腦腫瘤病理區域圖像的可能性和可靠性，解決了腦腫瘤圖像樣本不充足的問題.

2.3生成的腦腫瘤病理圖像用于樣本擴充

為了進一步驗證本文所提腦腫瘤圖像生成方法的有效性，采用生成的腦部腫瘤圖像對原始數據集進行擴充，利用擴充前后的數據集分別訓練腦部腫瘤分割網絡模型，以驗證生成的圖像對模型性能的改善作用.采用U-Net[13]、ResUNet[14]、U-Net++[15]分割網絡進行腦部腫瘤分割實驗，先用原始的300張腦部腫瘤圖像訓練這3種分割網絡；而后將生成的328張腦腫瘤圖像加入原始數據集中，并用擴充后的數據集訓練這3種分割網絡；最后分別用相同的200 張原始腦腫瘤圖像進行分割性能測試，以Dice相似性系數（Dice Similarity Coefficient，DSC）和相對改善率（Relative Improvement，IMP）作為評價指標.表3 為用于分割實驗的腦部腫瘤圖像樣本分布，表4和表5分別為樣本擴充前后腦部腫瘤分割性能訓練結果和測試結果對比.

從表4可以看出，在樣本擴充后的數據集上訓練的U-Net分割模型的Dice相似性系數比在樣本擴充前數據集上的高0.26%；在樣本擴充后的數據集上訓練的ResUNet分割模型的Dice相似性系數比在樣本擴充前數據集上的高0.62%；在樣本擴充后的數據集上訓練的U-Net++分割模型的Dice相似性系數比在樣本擴充前數據集上的高3.77%.由表5可知，在樣本擴充后的數據集上測試的U-Net、ResUNet、U- Net++分割模型的Dice相似性系數比在樣本擴充前數據集上的精度分別高3.89%、17.88%、1.46%.

從表4和表5可以看出，利用本文所提方法生成的腦部腫瘤圖像擴充數據集對分割模型的訓練和測試精度都具有改善作用，更有力地證明了本文所提腦腫瘤圖像生成方法的有效性，可用于腦腫瘤圖像數據樣本的擴充.

3結論

本文提出一種新的腦腫瘤圖像生成方法.首先，利用所提出的多鑒別器循環一致性生成對抗網絡（MD-CGAN）生成腦腫瘤病理區域圖像；然后利用生成的腦腫瘤病理區域圖像覆蓋腦部正常圖像中的子區域從而最終合成得到腦腫瘤圖像.將本文所提MD-CGAN模型與近幾年較經典的SAGAN、Style- GAN和StyleGAN2模型所生成腦腫瘤病理區域圖像進行對比分析，通過計算得出MD-CGAN模型的FID值最低，證明了所提模型在保證模型穩定性的同時，能夠生成高質量的腦腫瘤病理區域圖像.為了進一步驗證所生成的腦腫瘤圖像的有效性，進行了腦部腫瘤圖像分割實驗，分別用原始的和擴充數據樣本后的腦腫瘤圖像數據集進行腦部腫瘤分割.實驗結果表明，U-Net、ResUNet、U-Net++分割模型在擴充樣本后的訓練和測試分割結果Dice相似性系數都比擴充前的高，由此進一步證明本文所提方法生成的腦腫瘤圖像具有豐富的多樣性，能夠有效且可靠地擴充腦腫瘤圖像數據集.

參考文獻

[1] SHIN H C，TENENHOLTZ N A，ROGERS J K，et al. Medical image synthesis for data augmentation and anonymization using generative adversarial netwrorks [C]//International Workshop on Simulation and Synthesis in Medical Imaging. Granada：MICCAI，2018：1-11.

[2] POKA K B，SZEMENYEI M. Data augmentation powered by generative adversarial networks [C]//2020 23rd International Symposium on Measurement and Control in Robotics （ISMCR）. Budapest：IEEE，2020：1-5.

[3] CHUQUICUSMA M J M，HUSSEIN S，BURT J，et al. How to fool radiologists with generative adversarial networks？a visual Turing test for lung cancer diagnosis[C]//2018 IEEE 15th International Symposium on Biomedical Imaging（ISBI 2018）. Washington DC：IEEE，2018：240-244.

[4]GOODFELLOWI，POUGET-ABADIEJ，MIRZAM，et al. Generative adversarial networks [EB/OL].（2014-06-10）[2021-12- 01]. https：//arxiv.org/abs/1406.2661.

[5] RADFORD A，METZ L，CHINTALA S. Unsupervised representation learning with deep convolutional generative adversarial networks [EB/OL].（2015-11-19）[2021-12-01]. https：//arxiv.org/ abs/1511.06434v2.

[6] ZHU J Y，PARK T，ISOLA P，et al. Unpaired image-to-image translation using cycle-consistent adversarial networks[C]//Proceedings of the IEEE International Conference on Computer Vision. NewYork：IEEE，2017：2223-2232.

[7] NGUYEN T，LE T，VU H，et al. Dual discriminator generative adversarial nets [EB/OL].（2017-09-12）[2021-12-01]. https：//arxiv.org/abs/1709.03831.

[8] ZHANG H，GOODFELLOW I，METAXAS D，et al. Self-attention generative adversarial networks [C]//International conference on Machine Learning. Taiyuan：PMLR，2019：7354-7363.

[9] KARRAS T，LAINE S，AILA T. A style-based generator architecture for generative adversarial networks[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach：IEEE，2019：4401-4410.

[10] KARRAS T，LAINE S，AITTALA M，et al. Analyzing and improving the image quality of StyleGAN [C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Washington DC：IEEE，2020：8110-8119.

[11] KINGMA D P，BA J. Adam：a method for stochastic optimization [EB/OL].（2014-12-22）[2021-12-01]. https：//arxiv.org/abs/1412.6980.

[12] BYNAGARI N B. GANs trained by a two time-scale update rule converge to a local nash equilibrium[J]. Asian Journal of Applied Science and Engineering，2019，8：25-34.

[13] RONNEBERGER O，FISCHER P，BROX T. U-net：convolutional networks for biomedical image segmentation [C]//International Conference on Medical Image Computing and Computer-Assisted Intervention. Munich：MICCAI，2015：234-241.

[14] DIAKOGIANNIS F I，WALDNER F，CACCETTA P，et al. ResUNet-a：a deep learning framework for semantic segmentation of remotely sensed data[J]. ISPRS Journal of Photogrammetry and Remote Sensing，2020，162：94-114.

[15] ZHOU Z W，SIDDIQUEE M M R，TAJBAKHSH N，et al. U- Net++：redesigning skip connections to exploit multiscale features in image segmentation[J]. IEEE Transactions on Medical Imaging，2020，39（6）：1856-1867.