基于ResNet50-OC模型的彩色眼底照片質量多分類方法效果評估

萬程 周雪婷 游齊靖 沈建新 俞秋麗

1南京航空航天大學電子信息工程學院 211106；2南京醫科大學第二附屬醫院眼科 210003

通過眼底圖像篩查糖尿病視網膜病變(diabetic retinopathy，DR)等常見眼底疾病是基本且有效的方法[1-2]。隨著計算機輔助診斷(computer-aided diagnosis，CAD)技術的成熟和便攜式眼底照相機的普及，許多智能眼病診斷系統已應用于各類眼底疾病的篩查[3-5]。彩色眼底照片質量是眼底疾病篩查過程中的重要因素，低質量眼底照片會導致診斷系統的漏診，甚至誤診。目前，對于眼底圖像的質量分類均為優劣二分類[6-7]。據調查，在眼底圖像數據庫中有超過25%的圖像因質量差而不能進行醫學診斷[8]；而在遠程醫療中通過眼底照相機拍攝并上傳至閱片平臺的圖像有近一半質量差[9]。臨床中低質量眼底圖像主要分為曝光不足、曝光過度、邊緣模糊和鏡頭反光4種類型。曝光不足彩色眼底照片的整體亮度低、難以識別血管及病灶；曝光過度眼底圖像的對比度低、白色調嚴重；邊緣模糊眼底圖像的分辨率低、血管及視盤邊界不清晰；鏡頭反光眼底圖像有光斑，影響病變部位的診斷。與圖像質量二分類相比，圖像質量多分類使醫生進一步明確低質量圖像的類型，對后期及時修正拍攝錯誤并提高眼底圖像質量有重要的指導意義，同時也為CAD提供質量可控的圖像，提高疾病篩查的準確率。因此，眼底圖像的質量優劣二分類已經不能滿足目前CAD的要求，對圖像質量進行多分類是必要且緊迫的任務。傳統眼底圖像質量分類方法主要參考2類參數：一是通用圖像質量參數，如對比度、清晰度等；二是結構性質量參數，如視盤和黃斑的可見度等[6-7,10-11]。傳統圖像質量分類方法需要進行復雜且容易出錯的解剖標志分割，并不能夠反映影響圖像質量的各種因素。近幾年來，深度學習方法因其更高的準確性以及更好的魯棒性被廣泛應用于眼底圖像分類。本研究擬設計一種基于深度學習的彩色眼底照片質量多分類方法，并對其效率進行評估。

1 材料與方法

1.1 材料

納入EyePACS[12]數據集和PD(proprietary dataset)數據集的彩色眼底照片。EyePACS數據集是Kaggle在2015年舉辦的一個機器學習競賽中使用的數據集，旨在為DR等級分類設計一種全面的眼底圖像診斷系統，包含88 702張彩色眼底照片，其中訓練集35 126張圖像，測試集53 576張圖像，圖像的分辨率為433×289～5 184×3 456，圖像拍攝質量差異較大。PD數據集由南京醫科大學附屬明基醫院于2018年7月收集的眼底照片構成，圖像分辨率為1 620×1 444像素。臨床醫生根據眼底圖像的成像質量將其大致分為質量較好、曝光不足、曝光過度、邊緣模糊和鏡頭反光5類(圖1)。在多分類任務中，訓練數量少的類別很難具有代表性，無法獲得準確的分類結果。為使每一類數據都被充分考察，采用均衡數據訓練多分類網絡。在訓練集中，每個類別包含1 000張圖像，其中800張選自EyePACS數據集，200張選自PD數據集。在測試集中，每個類別包含500張圖像，其中400張選自EyePACS數據集，100張選自PD數據集。訓練集總計5 000張圖像，測試集總計2 500張圖像。數據集和訓練集中眼底圖像均由專業醫生篩選足夠數量并標注圖像質量等級標簽。將同時具有多種分類特征的彩色眼底照片分至多個對應類別進行訓練。

圖1 彩色眼底照片質量分類 A：質量較好 B：曝光不足 C：曝光過度 D：邊緣模糊 E：鏡頭反光Figure 1 Quality classification of color fundus photograph A:High quality B:Underexposure C:Overexposure D:Blurred edges E:Lens flare

1.2 方法

原始彩色眼底照片經過預處理后輸入卷積神經網絡(convolutional neural network，CNN)，網絡輸出眼底照片質量的5分類預測結果。首先，將數據集中的彩色眼底照片進行歸一化處理和數據擴增操作；然后，使用遷移學習的方法訓練主流CNN(VGG[13]、GoogLeNet[14]、ResNet[15]、DenseNet[16])對訓練集圖像進行質量分類，并從中選出分類性能最優的模型。在此基礎上結合One-Cycle策略，使用先增再降的學習率訓練網絡，由此提出ResNet50-OC網絡。最后，將經典CNN與ResNet50-OC網絡的分類準確率、Micro F1值以及訓練輪數進行對比?；谏疃葘W習的彩色眼底照片質量分類系統總體框架如圖2所示。

圖2 基于深度學習的彩色眼底照片質量分類流程圖 CNN：卷積神經網絡Figure 2 Flow chart for color fundus photograph quality classification based on deep learning CNN:convolutional neural network

1.2.1眼底圖像預處理 (1)歸一化處理 圖像輸入CNN之前需對其尺寸進行歸一化：①對不同眼底圖像分別選取適當閾值(5～10)進行二值化，獲得圖像中的圓形區域半徑R；②對眼底圖像進行裁剪，得到一個以圓形區域圓心為中心、邊長為2R的正方形圖像；③將得到的正方形眼底圖像統一縮放至512×512分辨率(圖3A，B)。(2)數據擴增 數據擴增采用以下任意2種方法的組合：①對圖像隨機進行水平和垂直方向的翻轉；②對圖像進行隨機角度旋轉，旋轉后的留白部分使用黑色像素點代替；③將圖像隨機放大1～1.1倍，再在放大的圖像中隨機裁取原始圖像大小的區域；④使用對數函數調整眼底圖像的亮度(圖3C)。對于上下被截斷的不完整眼底圖像，可先將裁減部分以黑色填充，再進行與完整眼底圖像相同的裁剪縮放及數據擴增(圖3D～F)。

圖3 眼底圖像預處理結果 A：完整眼底圖像原圖 B：圖A裁剪和縮放 C：圖B放大和旋轉 D：不完整眼底圖像原圖 E：圖D裁剪和縮放 F：圖E翻轉和亮度調整Figure 3 Color fundus photograph preprocessing results A:Complete original fundus imageB:Cropped and scaled image A C:Scaled and rotated image B D:Incomplete original fundus image E:Cropped and scaled image D F:Flipped image E with brightness adjusted

1.2.2遷移學習 把主流CNN用于眼底照片質量多分類任務，不同的網絡模型均使用ImageNet數據集上對應的預訓練權重對其進行參數初始化。訓練過程中采用學習率區間對網絡進行微調操作，即對網絡初始層采用較低的學習率，對網絡輸出全連接層采用較高的學習率[17]。

1.2.3分類模型的選擇 權衡網絡模型分類的準確性、模型參數數量和計算復雜度選擇最適合的眼底照片質量分類網絡模型。選擇5種在當前分類任務中表現良好的網絡模型(VGG19、Inception-Resnet-V2、ResNet34、ResNet50、DenseNet)進行對比實驗。采用預訓練模型對訓練集圖像進行分類，且對輸入不同CNN模型的訓練圖像都進行相同的預處理和數據擴增，即在搭載4塊具有NVIDIA TITAN Xp的工作站上用PyTorch框架進行所有訓練和測試，每塊NVIDIA TITAN Xp顯卡具有12 GB GPU顯存。

1.2.4One-Cycle策略 采用One-Cycle策略[18]對ResNet50分類模型進行訓練，訓練過程中的最大學習率通過Learning Rate Finder[19]方法獲得，從初始的小學習率開始訓練，每個小批次后指數級提高學習率，直到網絡訓練過程的損失函數開始爆炸，選取損失函數爆炸前下降斜率最大的點作為最大學習率。在One-Cycle策略的最后階段，再將學習率緩緩減小到0，同時使動量的變化與學習率的變化相反，即在增加學習率的同時減少動量，在減少學習率的同時增加動量(圖4)。

圖4 學習率及動量隨迭代次數變化示例 A：學習率的變化 B：動量的變化Figure 4 Examples of learning rate and momentum changing with the number of iterations A:Changes in the learning rate B:Changes in the momentum

2 結果

2.1 各CNN模型對眼底照片質量分類的效果

眼底照片質量五分類任務中，ResNet50網絡準確率和Micro F1值均最高，分別為98.76%和98.78%，均高于其他4種CNN模型(表1)。因此選擇ResNet50作為本次彩色眼底照片質量分類研究的主網絡。

表1 不同CNN模型在彩色眼底照片質量五分類任務中的效果(%)Table 1 Results of different CNN models in classification tasks of five types of color fundus photograph quality(%)CNN模型方法準確率Micro F1VGG1993.1593.22InceptionResnet-V297.1197.23ResNet3496.5396.56ResNet5098.7698.78DenseNet96.9997.01 注:CNN:卷積神經網絡 Note:CNN:convolutional neural network

2.2 ResNet50-OC和ResNet50網絡分類效果評估

ResNet50網絡在50輪訓練后準確率為98.76%，Micro F1值為98.78%。引入One-Cycle策略的ResNet50-OC網絡15輪訓練后準確率達98.77%，稍高于ResNet50網絡，Micro F1值與ResNet50網絡相同(表2)。

表2 ResNet50-OC和ResNet50網絡分類效果Table 2 Classification results of ResNet50-OC and ResNet50 networks分類模型方法Epoch(輪數)準確率(%)Micro F1(%)ResNet505098.7698.78ResNet50-OC1598.7798.78

3 討論

彩色眼底照片是篩查和診斷眼底疾病的關鍵，診斷的效果在很大程度上取決于圖像的質量。本研究采用深度學習ResNet50-OC模型實現對彩色眼底照片的質量分類。質量較好的圖像可以直接用于醫生或眼科智能診斷系統進行疾病篩查、病種分類、病變分級等醫學診斷。對部分低質量類型的圖像進行對應處理可提高圖像質量，從而獲得能夠診斷的圖像，如提高曝光不足圖像的亮度和對比度，降低曝光過度圖像的亮度并提高其對比度，對邊緣模糊的圖像進行銳化處理；對于嚴重影響質量的圖像，如屈光介質混濁導致的眼底圖片模糊、部分病灶區域被鏡頭反光光斑覆蓋的圖像，需及時反饋醫師進行重新拍攝。通過本研究的彩色眼底照片質量多分類反饋信息，醫生可即時掌握照片質量信息，根據低質量照片的分類對眼底照相機操作和設置做出調整，避免更多低質量眼底照片的產生，有效提高圖像的質量和診斷效率，對缺乏高性能智能診斷系統的基層醫院有重要意義。在CAD系統前可以引入彩色眼底照片質量多分類網絡并對不同質量的照片進行相應的預處理。將預處理后的眼底照片送入CAD進行診斷可以排除照片質量對診斷的干擾，提高診斷的準確率，降低漏診率和誤診率。

本研究使用的深度學習方法可以在深層的CNN中提取圖像潛在的高級特征，避免了傳統方法中結構特征的手工設計。本研究對比當前深度學習主流分類網絡，最終選擇準確率和Micro F1表現優越的ResNet50作為眼底圖像質量五分類網絡。本研究采用遷移學習方法把預訓練的網絡參數用于本研究中模型訓練的初始化，避免了大量標記工作的同時使分類模型具有更優越的性能。在深度學習網絡模型的訓練過程中，學習率、動量和權重衰減率是至關重要的超參數。本研究采用One-Cycle策略在訓練過程中使用先升再降的學習率。對比引入One-Cycle策略前后ResNet50網絡，即ResNet50和ResNet50-OC的訓練過程，可以看到One-Cycle策略大大加快了網絡的訓練速度。

本研究選擇的網絡和使用方法仍存在許多可以改進的地方。我們接下來可以嘗試使用更加簡潔的網絡框架，如MobilNet等輕量級模型，在保障分類準確率的同時大幅度降低模型運行的硬件成本，使分類模型可以更加廣泛地應用到各種不同的設備上，包括但不限于手持眼底照相機等便攜設備。我們還可以嘗試更多的訓練參數調節技巧，在加速網絡訓練的同時嘗試提高網絡的分類性能，得到各方面更優的眼底圖像多分類模型。

綜上所述，本研究提出了一種CNN的彩色眼底照片質量五分類方法。本研究以遷移學習方法為基礎，用ResNet50網絡實現圖像的五分類并在準確率和Micro F1指標上取得了優越的表現，并在訓練過程中引入One-Cycle策略、切片學習率等方法通過修改學習率、動量和權重衰減率等因素得到最適于眼底圖像質量分類的ResNet50-OC網絡模型。實驗結果驗證了使用One-Cycle策略優化的網絡模型在訓練過程中可以更快達到擬合，且在分類性能上表現更優，能夠更加準確地對眼底圖像的質量做出分類。然而，本研究仍然存在一些不足之處，如根據單次實驗結果選擇模型具有一定的不確定性，后期可以嘗試多次實驗得出95%的置信區間或設置隨機數生成器使同樣數據訓練同一網絡時得到穩定的結果。

利益沖突所有作者均聲明不存在任何利益沖突