U3+GAN: 基于U-Net3+融合GAN方法對眼底視網膜血管分割的研究

孫順旺

摘要：在眼部疾病的自動檢測中，視網膜眼底血管分割是不可缺少的一環。視網膜血管結構復雜，粗細血管交織縱橫，特別是在沉積物和病變區域，能否高精度地分割視網膜血管的宏觀和微觀結構對疾病的判定和治療起著關鍵的作用。本文提出了一種多尺度對抗生成分割網絡模型，用于更加準確的分割視網膜眼底血管。網絡的生成器為U-Net3+網絡結構，在進行低級語義和高級語義提取后，分別輸入兩個自編碼鑒別器以更好地捕獲細粒度的細節和粗粒度的語義，并更加精準的進行微小的毛細血管分割。作為生成性對抗網絡，生成器和鑒別器在不斷的迭代過程中，可以更好的保存像素級別的宏、微觀血管分割結果。在公共數據集 DRIVE上，我們對網絡進行了定量評估，并與最新的研究成果進行了比較。該網絡能有效地實現難以捉摸的血管分割，在特異性、準確率和精確率方面都在比較高的水平。U3+GAN架構的性能和計算效率在臨床視網膜血管分割應用存在巨大的潛力。

關鍵詞：眼底視網膜血管分割、深度學習、多尺度對抗網絡、U-Net3+、醫學影像分析

引言

近年來，隨著電子設備的普及，伴隨而來的也有越來越多的眼部疾病，視網膜血管提供了豐富的幾何特征，如血管直徑、分支和分布關系等。這些特征反映臨床病理，可以用于診斷高血壓、糖尿病視網膜病變、黃斑水腫和巨細胞病毒性視網膜炎（Cytomegalovirus Retinitis[1]） [2，3]。但是，通過手工分割血管耗時耗力，血管自動分割在醫學診斷過程中起著越來越重要的作用。在深度圖像處理浪潮中，相比傳統自動分割算法，深度學習有很大優勢，在改善血管分割性能方面也有了新的提升，基于深度圖像的眼底血管分割的應用，在臨床方面有很好的應用場景，吸引著許多科研人員的關注。

迄今，已經出現了許多機器學習在眼底視網膜血管分割方面的應用，主流的方法包括K近鄰分類器（KNN）與支持向量機（SVM），其大多數都是基于手工分類的方。像這樣的經典機械學習分類方法只能針對特定場景進行設定分類模型，不能學習新的特征，在適應新的眼底圖片的性能上，泛化能力較差。近些年來，基于U-Net的網絡架構的視網膜血管分割應用比較廣泛。U-Net 由捕獲上下文信息的編碼器和實現精確定位的解碼器組成，因此也衍生出許多作品，如Deformable-UNet， IterNet和最近的SA-UNet等等。這些架構在宏觀分割上可以取得更好的效果，然而，在提升更高精度和細小分割時，他們的效果不太理想。最近，李蘭蘭等人的相關研究表明GAN系列架構用于視網膜血管分割是很好的選擇。

GAN網絡是由生成器（G網絡）與鑒別器（D網絡）組成，G和D構成了一個動態的“博弈過程”。在圖像分割領域，GAN網絡模型的G網絡用來分割，而D網絡用來進行對G網絡生成出的分割圖片進行鑒別校正。本文提出一種新的GAN網絡模型來進行眼底血管的分割，網絡的主要基于圖1的RV-GAN[2]架構。在此基礎上，我們改變了生成器（G網絡）的整體架構，并采用最新的分割網絡U-Net3+[15]作為基礎的G網絡，同時，我們保留了RV-GAN的多尺度鑒別器（D網絡）以及Loss損失函數，我們把此網絡命名為“U3+GAN”（如圖2 RV-GAN網絡結構）。此網絡結構既保證了U網絡宏觀上血管分割的精度，也可以讓GAN架構實現更細致、更高精度的微小血管分割。

本文章的主要工作總結如下：首先，我們提出了一種深度對抗網絡模型，利用對抗原則通過D網絡進行監督篩選，以此增強G網絡（即U-Net3+[15]）的分割能力，并且D網絡是基于多尺度輸入融合的兩個U型網絡組成，它與G網絡同為U形結構，形成了一個對稱結構，使G網絡和D網絡擁有同等對抗的能力，從而使G網絡可以更加細致地分割血管細節，提高對細小血管的分割精度。其次，U3+GAN利用U-Net3+的網絡全尺度融合架構，其G網絡可以提取出大量細粒度的細節和粗粒度的語義，隨后傳入到D網絡之中進行細致的多尺度鑒別，通過匹配相應的加權損失函數，進行梯度下降，降低損失并提高精度。最后，我們通過大量的實驗，驗證了網絡的有效性。

1方法

本文從最近的眼底視網膜血管分割研究中，受到V-GAN、RV-GAN和U-Net3+的啟發，我們通過融合了U-Net3+與RV-GAN的網絡模型，提出了一種新的U3+GAN架構。在本小結中，我們將重點介紹此方案的一些實現細節，如圖2，我們的GAN網絡模型有兩個主干網絡，分別為生成分割圖像的G網絡（Generator）和擁有鑒別監督功能的D網絡（Discriminator）。G網絡基于U-Net3+框架實現，D網絡基于RV-GAN的多尺度編解碼U形D網絡來實現，我們將他們組合并加以改進，獲得了很好的分割結果。

1.1生成器（G網絡）

U-Net3+提出了全尺度跳躍連接，使每一個解碼器都融合了來自編碼器中的小尺度，同尺度以及大尺度的特征圖，從而獲得全尺度下的細粒度語義和粗粒度語義。

如圖3（來自U-Net3+）所示，第三層解碼器是由底層解碼器（Decoder）的特征圖和所有的編碼器（Encoder）特征圖融合而成，在中間部分，此網絡做了最大池化縮小編碼器和的特征圖分辨率，編碼器最下兩層和的特征圖通過雙線性插值上采用，從而擴大分辨率。在統一了特征圖分辨率之后，它又進行了U-Net式的通道維度拼接融合，得到了320個通道的特征圖，最后通過33卷積、BN和ReLU操作的得到了的圖像。

在研究醫學影像分割方面，U-Net3+引入了深度監督（Deep supervision）和特定的損失函數，精細的捕獲大尺度和精細結構的界限;并結合如圖4的分類指導模塊（CGM）限制了過度分割，很大程度提升了分割的性能。在訓練時候U-Net3+比U-Net++擁有更少的參數，在此諸多優點的基礎上，我們參考V-GAN中以U-Net架構實現G網絡，使用U-Net3+網絡作為我們GAN網絡模型的生成器（G網絡），因此它擁有全尺度融合的特點，不但可以通過編碼器提取一些局部微小的血管特征，例如：微小分支，微型毛細血管和堵塞信息等，也可以通過解碼器學習到全局的粗粒度語，例如：動脈血管，靜脈血管大體位置與結構。

1.2鑒別器（D網絡）

對于D網絡，為了使生成器具有更精準的提取信息能力，我們結合RV-GAN提出的多尺度U型的鑒別器，這樣使U3+GAN既具有了多尺度融合信息的特點，也具備了和G網絡有同等對抗能力的U型網絡。在D網絡輸入的圖像中，我們分別將G網絡生成的高層語義信息及較低層的特征信息傳入D網絡的兩個鑒別器當中。對于傳入的底層信息我們通過MaxPooling2D模塊進行下采樣縮小圖像分辨率，更好的提取底層信息，然后通過3X3卷積濾波模塊，最后通過Activation模塊進行tanh處理得到底層D網絡的輸入圖片，用于幫助對抗網絡的學習訓練。我們將這兩個鑒別器分別定義為和，如圖2中的Discriminator架構部分所示。

1.3整體和局部損失函數

在鑒別器網絡中，我們發現RV-GAN基于Patch-GAN[16]提出的多尺度編解碼鑒別器的損失有很多優點，為此我們根據他們的不同編解碼損失構建了自己的D網絡損失函數，每一個編碼器和解碼器提取出來的特征，都有一定的權重，介于[0：1]之間，并且總和為1，通過公式（1）和公式（2）進行計算。

2實驗（Experiments）

2.1 數據集

我們的模型是基于TensorFlow2.0來實現的，數據集為DRIVE[19]，圖像尺寸為TIF（565，584）。依據RV-GAN對數據集的處理方法，我們使用數據集中的每 5 倍交叉驗證來訓練U3+GAN 網絡。并使用重疊的圖像補丁，步幅為 32，圖像大小為（128，128），用于訓練學習和驗證。最后，我們得到了來自DRIVE 數據集16 張圖片尺寸為（20，20）的 4200張圖片，DRIVE 數據集帶有用于測試圖像的官方 FoV 掩碼，使得實驗效率更高。

2.2? 超參數設置

對于U3+GAN訓練，我們使用Hinge loss[17，18]。我們選擇了=0.5和=0.5（公式（1），公式（2））、 =10（公式（5）），=10（公式（6）），=10（公式（7）），并使用學習速率 = 0.0002，?= 0.5 和，?= 0.999為Adam 優化器 [20]。對生成器和鑒別器進行 100 次迭代，批量大小為8的訓練。最后，我們在 RTX2070 GPU 上訓練U3+GAN模型，耗時36個小時。

2.3 評價指標

以二分類為例，評價指標如表1所示：

在表2中，我們和近年來一些較好的架構進行了比較，從較早的Azzopardi[21]等人提出的分割模型，到現在YANG[28]提出的級聯結構+多任務分割+融合網絡模型，在多種指標的對比中，我們在SP、PR、ACC上面獲得了較好的性能。雖然我們SE指標較低，分數為0.7025，但是在SP指標上我們獲得了0.9918的分數，已經領先了現有的大部分架構。GAN 網絡的鑒別器可以鑒別生成器生成的分割圖片與真實圖片的不同，和其他的U型網絡相比多了一個校正錯誤的老師，所以會表現出更好的性能，因此我們認為將GAN架構的網絡用在眼底視網膜血管分割上是很有潛力的研究方向。

如上圖5、6所示，我們的模型與不同的網絡進行了對比，圖5中，局部圖片為使用32步重疊補丁的第69與104步圖片;圖6中局部圖片為相同步重疊補丁的35與100步圖片，圖片大小為（128，128）。從上兩圖中可以看出，對于單獨的編解碼U-Net模型（U-Net模型來自Github），U-Net提取的信息比較粗糙，雖然宏觀上可以較好的分割視網膜血管，但是在局部更加細微的結構上分割的比較模糊，并且帶有很多的噪音。對于SA-UNet來說，在細節的分割方面出現了比金標準更多的毛細血管分支，并且血管交織部分并沒有精細的分割出來。而GAN網絡具有更加優異的表現，GAN網絡擁有一個鑒別器，可以更好的校驗生成器的分割結果，在圖的GAN分割圖中，可以看出我們的表現與RV-GAN網絡架構不相上下。另外由于本文的G網絡結合了U-Net3+全尺度融合的方法，可以更好的提取粗粒度的宏觀特征與細粒度的微觀細節特征，所以此網絡相對擁有更好的分割準確率，相比U-Net的架構，我們對于毛細血管與動脈的粗血管有更精準的分割，比如分支、重疊、連續細小的部分血管。本文結構與RV-GAN在測試集（圖5）上分割結果上相差不大，僅有一些細小的分支血管沒有分割清晰;并且我們發現RV-GAN返回原來的訓練集上測試，反而結果沒有預期的精確，在圖7中的最后兩幅分割圖，我們可以看出在一些細小的分支結構和連續毛細血管，RV-GAN均出現了未分割與分割間斷的情況，U3+GAN具有一定的優勢性。綜合各項評價指標，結果表明本文的U3+GAN模型能夠更好地提取毛細血管和樹狀結構，并且對于宏觀粗血管也可以更精準的分割，其分割結果比其他模型更為理想。

3結論

在這項工作中，我們提出了一種基于GAN框架的視網膜眼底血管分割的方法，該方法結合了U-Net3+和RVGAN的多尺度D網絡以更好地捕獲細粒度的細節和粗粒度的語義。實驗結果表明，此模型網絡可以更精準的分割眼底視網膜血管，在SP、PR、ACC的指標上獲得了更高的得分。在研究中我們發現，針對GAN架構網絡結合對Loss函數的改進在圖像分割領域擁有更大的潛力。最后，為了更有效的將這種框架應用到視網膜血管分割的實驗中，我們希望可以讓此框架可以拓展到其他數據集中，并且可以用來分割眼底視網膜產生的異物與病變區域。

參考文獻

[1]Son J ，? Park S J ，? Jung K H . Retinal Vessel Segmentation in Fundoscopic Images with Generative Adversarial Networks[J].? 2017.

[2]Kamran S A ，? Hossain K F ，? Tavakkoli A ， et al. RV-GAN： Segmenting Retinal Vascular Structure in Fundus Photographs using a Novel Multi-scale Generative Adversarial Network[J]. arXiv e-prints， 2021.

[3]Chen C， Chuah JH， Raza A， Wang Y. Retinal vessel segmentation using deep learning： a review. IEEE Access. 2021 Aug 3.

[4]Soares JV， Leandro JJ， Cesar RM， Jelinek HF， Cree MJ. Retinal vessel segmentation using the 2-D Gabor wavelet and supervised classification. IEEE Transactions on medical Imaging. 2006 Aug 21;25（9）：1214-22.

[5]李蘭蘭， 張孝輝， 牛得草， 胡益煌， 趙鐵松， 王大彪. 深度學習在視網膜血管分割上的研究進展. 計算機科學與探索. 2021 Jun 17;15（11）：2063-76.