基于循環生成對抗網絡的低質量眼底圖像增強效果評估

周雪婷楊衛華 華驍 游齊靖孫晶沈建新萬程

1南京航空航天大學電子信息工程學院 211106；2南京醫科大學附屬眼科醫院眼科 人工智能大數據實驗室 210001；3南京星程智能有限公司 210046

彩色眼底圖像廣泛用于糖尿病視網膜病變(diabetic retinopathy，DR)、青光眼等疾病的篩查和診斷[1-3]。低質量的眼底圖像無法清楚展示視網膜血管、視杯、視盤異常等疾病診斷所需的關鍵信息，容易造成醫生和計算機輔助診斷(computer-aided diagnosis，CAD)系統的漏診，甚至誤診[4]。目前采集的眼底圖像數據集中，因質量差而影響醫學診斷的圖像占比超過1/4[5]；從基層醫院上傳至云平臺的眼底圖像中低質量圖像占比近1/2[6]。對低質量眼底圖像進行分析發現，模糊、曝光不足和曝光過度是3個主要原因[7]。除規范眼底照相采集流程外，智能眼科專家一直嘗試對眼底圖像進行增強，通過技術手段提高圖像的清晰度、亮度和對比度，進而降低后續的誤診率并提高CAD系統的準確率。目前主要采用基于直方圖的方法增強眼底圖像?；谥狈綀D的方法可分為3類：一是采用直方圖均衡化，通過增加最大和最小像素之間的差值來增強圖像[8]；二是通過伽馬矯正得到亮度增益矩陣，再利用限制對比度自適應直方圖均衡化(contrast limited adaptive histogram equalization，CLAHE)增強亮度通道的對比度[9]；三是對模糊直方圖預處理，去除眼底圖像的不均勻光照[10]?；谥狈綀D算法的本質是提高圖像對比度并使灰度分布均勻，因此顏色過渡時會失真，視覺效果不佳。動態直方圖均衡化(dynamic histogram equalization，DHE)根據局部最小值對圖像直方圖進行分割，并為每個分割分配特定的灰度范圍，然后分別進行均衡，以保留更多細節信息[11]。帶色彩恢復的多尺度Retinex(multi-scale Retinex with color restoration，MSRCR)是一種基于Retinex理論的圖像增強算法，可以提高圖像銳度并控制動態參數實現色度調節[12]；但由于眼底圖像背景和前景明暗差別較大，經過對數處理的像素會超出可顯示范圍，上述方法仍易造成色彩失真。為克服傳統眼底圖像增強方法中視覺效果不佳、細節丟失、色彩失真等缺陷，解決低質量眼底圖像無法用于醫學診斷的問題，本研究擬通過構建循環生成對抗網絡(cycle-constraint adversarial network，CycleGAN)[13]，提出一種基于深度學習的眼底圖像增強算法，對模糊、曝光不足、曝光過度等低質量眼底圖像進行增強。

1 材料與方法

1.1 材料

采用來自Kaggle DR檢測競賽的EyePACS公開數據集[14]。EyePACS數據集包含88 702張彩色眼底圖像，其中35 126張為訓練集，53 576張為測試集，每張圖像均有專業醫生評定的DR患病標簽。該數據集包含大量不可用于醫生臨床分析或智能設備診斷的低質量眼底圖像，主要包含模糊、曝光不足和曝光過度3種類型(圖1)。在EyePACS數據集中分別選取700張高質量和700張低質量眼底圖像作為圖像增強實驗的數據集，其中訓練集中選取高質量和低質量眼底圖像各500張，測試集中選取高質量和低質量眼底圖像各200張。

圖1 高/低質量眼底圖像示例 A：高質量圖像 B：模糊圖像 C：曝光不足圖像 D：曝光過度圖像Figure 1 Examples of high/low-quality fundus images A:High-quality image B:Blurred image C:Underexposed image D:Overexposed image

1.2 方法

1.2.1眼底圖像的預處理 由于數據集中圖像分辨率不同且為矩形，因此需要對圖像進行裁剪及縮放等歸一化預處理。具體步驟如下：(1)以眼底圖像的高作為邊長，裁去矩形圖像左右兩邊多余的黑色背景部分，保留正方形眼底圖像(圖2A，B)；(2)若圖像的高小于眼底圖像圓形區域的直徑，則先裁剪為直徑×高的矩形區域，再在矩形區域的上下兩側補充黑邊使之成為直徑×直徑的正方形眼底圖像(圖2C，D)；(3)將正方形眼底圖像尺寸統一縮放為分辨率512×512。

圖2 眼底圖像預處理結果 A：眼底圖像原圖 圖像圓形區域直徑小于圖像高度 B：圖A的裁剪和縮放 C：眼底圖像原圖 圓形區域直徑大于圖像高度 D：圖C的裁剪和縮放Figure 2 Preprocessed fundus images A:Original fundus image The diameter of the circular region was smaller than the image height B:Cropped and scaled image A C:Original fundus image The diameter of the circular region was larger than the image height D:Cropped and scaled image C

1.2.2生成模型的構建 生成模型是一個神經網絡，包括下采樣模塊、特征整理模塊和上采樣模塊3個部分。下采樣模塊由3層卷積構建，輸出通道數分別為32、64和128；卷積核尺寸分別為7×7、3×3和3×3；步長均為1，在每層卷積操作之后執行歸一化并使用ReLU激活函數解決訓練過程中的梯度消失現象。特征整理模塊包括9個卷積層，每層卷積分別進行2次3×3的卷積和歸一化操作，將輸出與該層的輸入融合后作為下一層卷積的輸入；每次卷積操作的步長均為1，輸出通道數均為128。上采樣模塊先進行2次轉置卷積，卷積核尺寸為3×3，步長為2，輸出通道分別設置為64和32，再進行卷積核尺寸為7×7，步長為1的卷積，最后使用tanh激活函數增強網絡的擬合能力(圖3)。

圖3 生成模型的網絡結構Figure 3 The network structure of generative model

1.2.3判別模型的構建 判別模型由4個卷積層和1個輸出層構成。卷積層均使用尺寸為4×4的卷積核，輸出通道數分別為64、128、256和512；步長分別為2、2、2和1；第1層不使用歸一化，后3層卷積均進行歸一化操作。輸出層進行4×4的卷積，卷積方式采用SAME，即卷積前后的特征圖保持大小不變，輸出層的步長和通道數均為1，對于輸入大小為512×512×3的3通道彩色眼底圖像，判別網絡輸出大小為64×64(圖4)。

圖4 判別模型的網絡結構Figure 4 The network structure of discriminative model

1.2.4CycleGAN的構建 采用2個生成模型和2個判別模型構建CycleGAN。生成模型GA2B根據低質量圖像生成對應的高質量圖像，生成模型GB2A與其相反；判別模型DA和DB分別用于判斷輸入的低質量圖像和高質量圖像是原始圖像還是生成圖像并輸出概率值。在CycleGAN中，低質量眼底圖像通過生成模型GA2B生成增強后的高質量眼底圖像，繼而輸入判別模型DB進行判別；同樣地，高質量圖像通過生成模型GB2A生成低質量眼底圖像，繼而進入DA判別模型(圖5)。在網絡訓練過程中，生成模型和判別模型相互博弈，逐步提高生成器的圖像生成能力和判別器的真假鑒別能力，生成的圖像越來越接近真實圖像的特征，判別模型的判別能力也越來越強。

圖5 基于CycleGAN的眼底圖像增強算法流程圖Figure 5 Fundus image enhancement algorithm flowchart based on CycleGAN

本研究采用Tensorflow深度學習框架，設置訓練輪數為200，生成器和判別器的學習率均為2×10-4，采用Adam優化器。軟件配置：Tensorflow-GPU 1.11.0，keras 2.2.4，numpy 1.19.2，opencv 3.4.2.16。硬件配置：CPU為E5-1620，GPU為NVIDIA GeForce GTX 1080，內存16 GB，顯存8 GB。

1.2.5評價指標 對測試集低質量眼底圖像原圖經本研究提出的算法與CLAHE、DHE、MSRCR算法增強的圖像進行視覺定性評估，同時引入清晰度、BRISQUE[16]、色度、飽和度作為眼底圖像增強網絡的定量評估指標。清晰度是評價圖像質量的基本指標。BRISQUE是一種基于空域特征的評價指標，利用支持向量機學習圖像的相關性特征和廣義高斯分布特征，訓練質量分數與圖像的回歸模型，從而得出圖像的質量分數。色度是色調飽和值(Hue-Saturation-Value，HSV)模型中的一個屬性，色度值越高代表圖像的色調越飽滿、色彩越豐富。飽和度是HSV模型的另一個屬性，飽和度越高則圖像越明亮，反之則圖像的色彩越暗淡。對于色度和飽和度越高的圖像，人體視覺觀感越好。

1.2.6DR診斷網絡的構建 采用Inception-ResnetV2網絡[15]作為DR診斷模塊，對增強前后的眼底圖像進行DR疾病的診斷。采用ImageNet預訓練的模型初始化網絡參數，再用EyePACS數據集訓練網絡。分別用測試集中低質量原圖及各方法增強后的眼底圖像作為DR測試集進行DR診斷。

2 結果

2.1 增強圖像定性評估

不同算法對模糊眼底圖像的增強結果如圖6所示。CLAHE算法提高了圖像的對比度，血管紋路清晰，但血管變粗、顏色棕紅影響了臨床上對疾病的診斷，并且圖像中存在大塊暗色區域，照度不均勻，視覺效果不佳。DHE算法提高了原圖的亮度，但對清晰度無明顯提升，難以分辨視盤邊緣。MSRCR算法產生的圖像顏色偏白，色彩失真嚴重，亮度高且對比度低，無法清晰展示眼底信息。CycleGAN算法的視覺效果最佳，提高了原圖的對比度、亮度及視覺分辨率，視盤邊緣及內部血管交叉處都得以清晰地顯現，血管末梢及微小血管的可見度較原圖更高。

圖6 不同算法對模糊圖像增強結果 A：原圖 B：CLAHE算法增強圖 C：DHE算法增強圖 D：MSRCR算法增強圖 E：CycleGAN算法增強圖Figure 6 Results of blurry image enhanced by different algorithms A:Original image B:CLAHE enhanced image C:DHE enhanced image D:MSRCR enhanced image E:CycleGAN enhanced image

曝光不足的眼底圖像整體亮度、對比度和眼底信息可見度低，圖7為不同算法對曝光不足眼底圖像的增強結果。CLAHE算法增強的圖像明暗分布不均，血管為黑色，整體顏色不自然。DHE算法增強的圖像視盤區域呈橘色，黃斑區域呈黑青色，對低光照區域增強效果不理想；MSRCR算法使圖像產生藍色調，色差嚴重，同時圖像對比度低，對圖像的增強效果不明顯。CycleGAN算法提高了圖像的亮度和對比度；圖像照度均勻，視盤周圍的細小血管、血管末梢的紋理均能清晰地顯示；同時該算法對色彩進行了還原，圖像整體偏紅色調，更符合眼底實際情況。

圖7 不同算法對曝光不足圖像增強結果 A：原圖 B：CLAHE算法增強圖 C：DHE算法增強圖 D：MSRCR算法增強圖 E：CycleGAN算法增強圖Figure 7 Results of underexposed image enhanced by different algorithms A:Original image B:CLAHE enhanced image C:DHE enhanced image D:MSRCR enhanced image E:CycleGAN enhanced image

曝光過度的眼底圖像亮度高、對比度低且圖像泛白，圖8為不同算法對曝光過度眼底圖像的增強結果。CLAHE算法提高了圖像對比度但對圖像增強過度，且亮度分布不均。DHE算法在眼底圖像周邊產生灰色陰影，遮蓋了此區域的眼底情況。MSRCR算法進一步提高了圖像亮度，導致圖像紋理可見度更低，該算法不適用于曝光過度圖像的增強。CycleGAN算法增強后圖像顏色有一定的恢復，消除了原圖中的白色光環，亮度分布均勻，原圖中心亮斑處的細小血管也可清晰展示。

圖8 不同算法對曝光過度圖像增強結果 A：原圖 B：CLAHE算法增強圖 C：DHE算法增強圖 D：MSRCR算法增強圖 E：CycleGAN算法增強圖Figure 8 Results of overexposed image enhanced by different algorithms A:Original image B:CLAHE enhanced image C:DHE enhanced image D:MSRCR enhanced image E:CycleGAN enhanced image

2.2 增強圖像定量評估

增強后的眼底圖像清晰度均得到提高。CLAHE算法增強的圖像清晰度高達155.34，其次為CycleGAN算法的61.75。在BRISQUE質量分數評估指標中，采用CycleGAN算法增強后的圖像取得最大值，即圖像質量最優，而其他算法增強后的BRISQUE質量分數均低于原圖。CycleGAN算法的BRISQUE質量分數分別比CLAHE、DHE和MSRCR算法高出10.2%、7.3%和10.0%。對于色度指標，CycleGAN在4種增強算法中取得最大值103.03，CLAHE、DHE和MSRCR算法的色度值分別比原圖降低18.66、7.47和8.31。在飽和度指標中，原圖的飽和度為158.26，CycleGAN和MSRCR算法均有良好表現，其中CycleGAN增強后的圖像飽和度以0.08的優勢在該指標中取得最優值(表1)。DHE算法處理圖像速度最慢，每增強100張圖像需要4 711 s，平均每張圖像耗費47.11 s，在處理圖像時有明顯的等待時間；CLAHE、MSRCR和CycleGAN算法增強100張圖像分別耗費5、101和35 s。

表1 增強圖像定量評估結果Table 1 Quantitative evaluation results of enhanced images圖像增強方法圖片數(張)清晰度[M(Q1,Q3)]BRISQUE(mean±SD)色度(mean±SD)飽和度(mean±SD)原圖2007.81(5.94,13.05)0.556±0.067106.47±7.34158.26±51.34CLAHE200155.34(104.93,236.82)0.518±0.14587.81±6.0687.96±30.50DHE20016.24(7.71,39.33)0.532±0.14799.00±7.09112.56±48.86MSRCR2005.59(3.61,8.94)0.519±0.07198.16±20.59123.16±45.82Cy-cleGAN20061.75(49.30,75.69)0.571±0.095103.03±3.58123.24±41.40 注:CLAHE:限制對比度自適應直方圖;DHE:動態直方圖均衡化;MSRCR:帶色彩恢復的多尺度Retinex;CycleGAN:循環生成對抗網絡 Note:CLAHE:contrast limited adaptive histogram equalization;DHE:dynamic histogram equalization;MSRCR:multi-scale Retinex with color restoration;CycleGAN:cycle-constraint adversarial network

2.3 增強圖像DR診斷效果

增強前后的眼底圖像在DR診斷應用中的準確率如表2所示。對原圖進行診斷的準確率和特異度分別為93.00%和96.70%。DHE算法增強的圖像在診斷應用中表現不佳，準確率和特異度較原圖均有所下降。MSRCR算法增強圖在診斷準確度上較原圖有所提高，但在特異度上有下降。CLAHE和CycleGAN算法增強后的圖像在診斷準確率和特異度上均得到提升，其中CycleGAN算法增強的圖像取得最優值。

表2 增強圖像DR診斷結果(%)Table 2 DR diagnosis results of enhanced images (%)原圖CLAHEDHEMSRCRCycleGAN準確率93.0095.7588.7594.0096.75特異度96.7098.4892.3995.9199.60 注:DR:糖尿病視網膜病變;CLAHE:限制對比度自適應直方圖;DHE:動態直方圖均衡化;MSRCR:帶色彩恢復的多尺度Retinex;Cy-cleGAN:循環生成對抗網絡 Note:DR:diabetic retinopathy;CLAHE:contrast limited adaptive histo-gram equalization;DHE:dynamic histogram equalization;MSRCR:multi-scale Retinex with color restoration;CycleGAN:cycle-constraint adversarial network

3 討論

彩色眼底圖像是篩查、診斷眼科疾病常用的影像資料，通常由眼底照相機拍攝。由于在圖像的獲取過程中存在拍攝環境不佳、設備參數設置錯誤等客觀因素及醫務人員操作不當、患者配合度不高等主觀因素，現有的眼底圖像數據庫中存在大量低質量的眼底圖像。這些低質量眼底圖像不利于眼科醫生和CAD系統進行分析。臨床眼底照相采集過程中，一些患者由于存在屈光介質混濁，如白內障、玻璃體混濁及角膜斑翳等，也無法獲取清晰的視網膜圖像。因此，增強低質量眼底圖像使其清晰地展示眼底情況對眼科疾病的臨床診斷和基于數據庫的眼科AI輔助診斷都非常重要。

與其他深度學習網絡不同，本研究構建的CycleGAN網絡是一種依靠數據驅動的弱監督卷積神經網絡。眼底相同拍攝角度的高/低質量配對圖像的采集難度大、周期長，因此目前研究多采用非配對的高/低質量眼底圖像數據。本研究中CycleGAN的訓練集只需相同數量的低質量圖像集和高質量圖像集，但兩者無需一一匹配，避開了深度學習網絡配對數據難以獲得的問題。

在眼底圖像增強的應用中，傳統圖像增強算法所獲得的圖像視覺效果較差或只擅長單一類型低質量眼底圖像的增強。CLAHE增強的圖像取得異常高的清晰度是灰度梯度劇烈變化所致，且顏色過渡不自然、明暗分界線明顯；DHE算法增強曝光不足圖像時色彩嚴重失真；MSRCR算法增強后的圖像普遍亮度偏高，對曝光過度圖像沒有增強效果反而降低了眼底信息的可見度。傳統算法通過提高亮度和對比度達到圖像增強的效果，不能對圖像的色彩有較好的調節。然而在對彩色眼底圖像的分析中，背景色彩對眼病的診斷至關重要。CycleGAN網絡在訓練過程中學習低質量和高質量眼底圖像的特征，如亮度、對比度、清晰度和色彩信息。在定量評估中，CycleGAN增強的圖像色度和飽和度雖低于原圖，但與其他增強算法相比已最大程度地保留了圖像的色彩信息。本研究提出的增強算法對眼底圖像有色彩增強的能力，可對色彩失真的圖像進行顏色矯正，這是其他增強算法所不具備的。

與其他眼底圖像增強算法相比，CycleGAN對低質量眼底圖像的增強效果最好，增強后的眼底圖像不僅可以更清晰地顯示血管、視杯、視盤等關鍵診斷部位，而且不破壞原圖像的結構特征。采用CycleGAN增強低質量眼底圖像可以提高現有眼底圖像數據庫中圖像的可診斷率。與原圖和其他算法增強后的圖像相比，CycleGAN增強后的高質量眼底圖像DR診斷準確率和特異度分別達到最優值。CycleGAN增強的眼底圖像可直接用于醫生臨床診斷，并有效提高CAD系統診斷的準確率。

本研究提出的CycleGAN算法是一個端對端的圖像增強網絡，能夠同時增強模糊、曝光不足、曝光過度等低質量類型的圖像，平均處理1張圖像只需0.35 s，具有實時性和高效性，并可用在CAD系統前端。然而，本研究仍然存在可改進的地方，如在生成模型中引入注意力機制提高網絡的特征提取能力，加強圖像的細節信息等，同時可以在圖像增強處理之前加入分類網絡，先對圖像進行質量分類再進行圖像增強。

利益沖突所有作者均聲明不存在任何利益沖突