基于深度學習的角膜活體共聚焦顯微鏡圖像輔助識別系統的構建及應用

顏瑜琳 蔣維艷 程思敏 周奕文 于薏 鄭碧清 楊燕寧

1武漢大學人民醫院眼科中心,武漢 430060;2武漢大學資源與環境學院,武漢 430079

角膜作為視覺形成的第一步,其透明度及屈光率可使光線折射進入眼內并聚焦于視網膜上,故角膜各層次的結構及功能損傷可導致視力下降,甚至致盲[1]。角膜疾病,如顆粒狀角膜營養不良、Fuchs角膜內皮營養不良等可主要損害角膜單一層次,而感染性角膜炎、角膜機械性損傷及眼化學傷等則可造成多層次,甚至全層角膜損傷[2]。同時,糖尿病及類風濕性關節炎等全身疾病亦可對角膜造成影響[3]?；铙w共聚焦顯微鏡(invivoconfocal microscopy,IVCM)作為一種非入侵性的成像工具,可從細胞層面觀測角膜及其在病理狀態下的結構變化,擁有實時、無創、可反復檢查及高分辨率等優點[4],對多種角膜疾病的臨床診斷具有重要參考價值,臨床應用已日漸廣泛。對角膜微觀結構變化進行監測也有助于優化角膜病的針對性管理及評估患者全身疾病預后[5-6]。但在實際工作中,由于IVCM鏡頭單次可拍攝面積較小(400 μm×400 μm),詳細評估角膜時需采集大量圖像,人工分析非常費時費力并不可避免具有主觀性[7],且IVCM閱片也對醫師的經驗及相關專業知識具有一定要求,醫師常常需要一定的培訓周期才能區分角膜各層次形態及判斷其是否正常。早期診斷對于角膜疾病的精準治療及預防角膜盲均有重要意義[8],據世界衛生組織統計,約80%的角膜盲可避免,而目前全球發達國家及發展中國家的眼科醫師均存在短缺情況[9],提高角膜圖像閱片時的準確度以及診斷效率,可為臨床及科研工作減負、提高醫師工作效率并有望給予更多角膜病患者快速準確的診療。人工智能(artificial intelligence,AI)的不斷進步正在改變各個醫學領域的篩查、診斷及治療方式[10],AI在眼科疾病中的應用也在過去10年中有著顯著發展。目前,AI在輔助IVCM圖像中對角膜上皮細胞、角膜神經、角膜內皮細胞、真菌菌絲、樹突狀細胞及炎性細胞等多種結構的分割、量化及鑒別方面都取得了重大突破[11-14],其閱片速度及準確度均表現出優秀的性能,然而目前尚無對于角膜層次判斷及識別角膜圖像正/異常的相關研究。本研究擬構建AI輔助下IVCM圖像的自動診斷模型,探討其在臨床應用中的效能及用于角膜疾病智能篩查的可行性。

1 資料與方法

1.1 一般資料

1.1.1IVCM圖像來源 采用診斷試驗研究方法,收集2021年5月至2022年9月于武漢大學人民醫院眼科中心及武漢大學中南醫院進行IVCM檢查(HRT Ⅲ/RCM,德國Heidelberg Engineering公司)患者的角膜圖像。所有病例均來源于醫院信息系統,所有IVCM圖像均由工作經驗超過15年的資深眼科IVCM檢查醫師經嚴格規范操作后采集,圖像進行匿名處理后再用于標記及模型訓練。本研究遵循《赫爾辛基宣言》,研究方案經武漢大學人民醫院倫理委員會審核(批文號:WDRY2021-K148)。

1.2 方法

1.2.1IVCM圖像篩選、預處理及分類 共納入武漢大學人民醫院眼科中心246例患者17 675張及武漢大學中南醫院85例患者1 185張IVCM圖像。圖像先經角膜專業高年資醫師篩選,分為清晰的高質量圖像及因過曝、光線不足、對焦不清晰、拍攝模糊或接觸不佳等情況所致低質量圖像。高質量圖像經光學字符識別提取深度信息,先統一轉換為384像素×384像素大小再進行分類。依據2014年版《活體角膜激光共聚焦顯微鏡圖譜》和2021年版《眼表活體共聚焦顯微鏡圖譜》,同時參考2名臨床經驗超過20年的角膜醫師意見,制定如下分類標準:(1)正常圖像標準 正常上皮層圖像為視野內出現的上皮細胞均結構完整,形態清晰,密度均勻;正常前彈力層圖像背景為均質中度反光,可見粗細、彎曲度及密度適中的高反光神經纖維;正?；|層圖像為無特征暗反光背景及邊界清晰的基質細胞核,可見少量粗大高反光基質神經;正常內皮層圖像為排列規則的均勻5～7邊形細胞,細胞邊界清晰。(2)異常圖像標準 異常上皮層圖像可見上皮細胞水腫、結構不清、間隙增大和/或出現炎性細胞等;異常前彈力層圖像中可見明顯的神經纖維迂曲、變細及密度降低,有10個以上未活化的朗格漢斯細胞、有1個及以上活化的朗格漢斯細胞和/或橢圓形炎性細胞等;異?；|層圖像可見基質細胞腫脹、活化、松針樣高反光瘢痕及出現阿米巴包囊、真菌菌絲、真菌孢子、新生血管等異常結構;異常內皮細胞圖像可見內皮細胞腫脹、變性、營養不良及任意角膜后沉積物等。該標準主要是為了提高靈敏度以盡可能多篩選出異常圖像。圖像首先由角膜專業高年資醫師參照分類標準依圖像特征分為正常及異常圖像,然后分別依角膜層次分類為上皮層、前彈力層、基質層及內皮層。后彈力層因其厚度極薄并與角膜內皮細胞貼附緊密,故所收集圖像較少,并且其臨床意義相對有限,目前相關研究多集中于角膜移植領域,故不參與訓練。將分類后圖像劃分為訓練集、內部測試集、外部測試集及驗證集,不同數據集分類詳情見表1,納入病例的臨床診斷及對應例數見表2。

表2 納入病例的臨床診斷及對應數量Table 2 Clinical diagnosis and number of included cases

1.2.2角膜IVCM圖像自動診斷模型建立 團隊既往曾進行其他眼科圖像的AI分類研究,經探索發現Res-Net-50作為目前穩定、簡潔且高效的殘差學習架構,十分適用于眼科圖像分類,故本研究沿用了基于Res-Net-50的深度學習網絡模型進行圖像分類訓練,使用Early Stopping、Drop out以及數據集擴增來降低過擬合風險。具有4個NVIDIA Geforce GTX 2080(GPU內存8GB)的服務器被用于訓練模型,計算機算法使用Python(3.6.5版)編寫,開源TensorFlow庫(1.12.2版)和Keras庫(2.2.5版)作為后端。

研究初期有針對層次及正/異常分類在模型中的順序進行探索,依據模型時效性及準確度,最終建立模型訓練流程如下:(1)深度卷積網絡1(deep convolutional neural network 1,DCNN1) 將圖像分為高質量圖像與低質量圖像;(2)DCNN2 對高質量圖像進行識別,將其分類為正常及異常圖像;(3)DCNN3、DCNN4、DCNN5及DCNN6 由DCNN3及DCNN4分別將正常及異常圖像分類為上皮/內皮層、前彈力層及基質層;再由DCNN5及DCNN6分別將正常及異常的上皮/內皮層圖像分類為上皮層及內皮層圖像。整體流程設計符合眼科模型建立的倫理要求[15]。詳細模型訓練流程見圖1。

圖1 模型訓練流程圖 DCNN:深度卷積網絡Figure 1 Flow chart of model training DCNN:deep convolutional neural network

1.2.3評價指標

1.2.3.1模型準確性驗證 1個內部測試的數據集(武漢大學人民醫院)及1個外部測試的數據集(武漢大學中南醫院)被用于評估模型的性能。采用準確度、特異度、敏感度、受試者工作特征曲線(receiver operating characteristic curve,ROC)、ROC曲線下面積(area under curve,AUC)、陽性預測值(positive predictive value,PPV)和陰性預測值(negative predictive value,NPV)評估模型準確性。

1.2.3.2角膜IVCM圖像診斷人機大賽 模型訓練完成后,另選取獨立于機器訓練集及測試集的圖像360張,邀請3位擁有10年以上工作經驗的角膜專業高年資醫師參與人機大賽。3位醫師分別獨立對圖像表現正常/異常及圖像層次進行診斷,并在測試中由同一名研究人員記錄耗時,同時圖像經模型重復評估3次獲得相應的模型準確度及用時,最后比較3位醫師及模型評估結果的準確性及評估用時。

1.2.3.3模型輔助低年資醫師閱片 使用與人機大賽同一批圖片,另邀請8位未經過IVCM培訓且臨床經驗少于3年的眼科醫師分別在無機器輔助及有機器輔助(圖像先由計算機進行評估并以標簽形式顯示結果)的情況下獨立對360張圖片進行診斷并記錄結果,比較2次評估的準確度。

1.3 統計學方法

2 結果

2.1 模型識別準確性驗證

(1)計算機模型DCNN1在內部測試集中對高質量圖像分類識別的準確度為0.954,敏感度為0.960,特異度為0.940,PPV為0.983,NPV為0.860。(2)DCNN2在內部測試集中對異常圖像分類識別的準確度為0.916,敏感度為0.910,特異度為0.921,PPV為0.917,NPV為0.915;在外部測試集中準確度為0.896,敏感度為0.945,特異度為0.847,PPV為0.862,NPV為0.938。(3)DCNN3在內部測試集中對正常圖像層次識別的總體準確度為0.983,其中對上皮/內皮層識別的準確度為1.000,對前彈力層識別的準確度為0.958,對基質層識別的準確度為0.986;在外部測試集中對正常圖像層次識別的總體準確度為0.988,其中對上皮/內皮層識別的準確度為1.000,對前彈力層識別的準確度為0.962,對基質層識別的準確度為0.993。(4)DCNN4在內部測試集中對異常圖像層次識別的總體準確度為0.925,其中對上皮/內皮層識別的準確度為0.909,對前彈力層識別的準確度為0.900,對基質層識別的準確度為0.985;在外部測試集中對異常圖像層次識別的總體準確度為0.929,其中對上皮/內皮層識別的準確度為0.916,對前彈力層識別的準確度為0.893,對基質層識別的準確度為0.988。(5)DCNN5及DCNN6對正常及異常圖像上皮及內皮層識別的準確度在內部及外部測試集中均為1.000。DCNN1和DCNN2對圖像高/低質量及正/異常分類的混淆矩陣及ROC曲線見圖2;DCNN3、DCNN4、DCNN5和DCNN6對圖像層次識別的混淆矩陣見圖3。

圖2 DCNN1、DCNN2和DCNN3模型的混淆矩陣及ROC曲線 A:DCNN1模型(內部測試)混淆矩陣 B:DCNN2模型(內部測試)混淆矩陣 C:DCNN3模型(內部測試)混淆矩陣 D:DCNN1模型(內部測試)ROC曲線 AUC=0.989 E:DCNN2模型(內部測試)ROC曲線 AUC=0.968 F:DCNN2模型(外部測試)ROC曲線 AUC=0.970 ROC:受試者工作特征曲線Figure 2 Confusion matrix diagrams and ROC curve of DCNN1,DCNN2 and DCNN3 models A:Confusion matrix diagram of DCNN1 (Internal test) B:Confusion matrix diagram of DCNN2 (Internal test) C:Confusion matrix diagram of DCNN3 (Internal test) D:ROC curve of DCNN1 (Internal test) AUC=0.989 E:ROC curve of DCNN2 (Internal test) AUC=0.968 F:ROC curve of DCNN2 (External test) AUC=0.970 ROC:receiver operating characteristic curve

圖3 DCNN3、DCNN4、DCNN5和DCNN6模型的混淆矩陣 A:DCNN3模型(內部測試) B:DCNN4模型(內部測試) C:DCNN5模型(內部測試) D:DCNN6模型(內部測試) E:DCNN3模型(外部測試) F:DCNN4模型(外部測試) G:DCNN5模型(外部測試) H:DCNN6模型(外部測試)Figure 3 Confusion matrix diagrams of DCNN3,DCNN4,DCNN5 and DCNN6 models A:DCNN3 (Internal test) B:DCNN4 (Internal test) C:DCNN5 (Internal test) D:DCNN6 (Internal test) E:DCNN3 (External test) F:DCNN4 (External test) G:DCNN5 (External test) H:DCNN6 (External test)

2.2 人機診斷準確度比較

針對360張獨立測試圖像,模型及高年資醫師對正常及異常圖像分類識別的平均準確度分別為0.922±0.000和0.916±0.008,對圖像層次識別的平均準確度分別為0.956±0.000和0.951±0.005,總體準確度分別為0.878±0.000和0.881±0.009。模型在正常/異常判斷、層次識別及總體診斷的準確度均與3名高年資醫師相近,差異均無統計學意義(t=0.749,P=0.495;t=1.487,P=0.300;t=-0.498,P=0.645)。高年資醫師用時最短為3 155 s,平均8.764 s/張;最長用時3 491 s,平均9.697 s/張;模型評估用時11 s,平均0.031 s/張,評估速度遠高于高年資醫師,約為其300倍(表3)。

表3 人機識別IVCM角膜圖像的準確度及用時比較Table 3 Comparison of accuracy and time of identifying corneal IVCM images between the model and ophthalmologists

2.3 模型輔助前后低年資醫師診斷準確度比較

低年資醫師經機器輔助后對圖像正/異常及層次診斷的總體平均準確度為0.816±0.043,明顯高于模型輔助前的0.669±0.061,差異有統計學意義(t=6.304,P<0.001)(圖4)。

圖4 模型輔助前后低年資醫師圖像診斷準確度比較Figure 4 Comparison of imaging diagnosis accuracy of trainees between without and with model assistance

3 討論

本研究利用2個三分類及4個二分類模型對9種IVCM圖像(低質量圖像及高質量的正常上皮、異常上皮、正常前彈力層、異常前彈力層、正?；|、異?；|、正常內皮、異常內皮)進行識別診斷。首先利用DCNN1進行高質量圖像篩選;利用DCNN2進行正常及異常角膜圖像識別;利用DCNN3、DCNN5進行正常角膜圖像的層次識別;利用DCNN4、DCNN6進行異常角膜圖像的層次識別。同時,雖然該網絡為針對單張圖片而非單個患者的診斷識別,實際臨床操作中檢查者會為每例患者采集幾十到幾百張不等的圖片,只要將單個患者全部圖像輸入模型即可獲得所采集圖像的正/異常及層次識別結果,從而得到針對該患者IVCM檢查的整體診斷。

近年來,深度學習技術已被廣泛應用于眼科疾病的診斷、鑒別及防治[16-19],美國食品藥品監督管理局也于2018年批準了首個基于AI的糖尿病視網膜病變自主診斷工具[20]。同時,機器學習在對裂隙燈顯微鏡圖像、眼前節光學相干斷層掃描(optical coherence tomography,OCT)、黃斑OCT及眼底造影等多種眼科前后節圖像進行診斷、分割、量化及計算中均獲得了令人矚目的成果[10,21-22],如利用卷積神經網絡構建了眼科B型超聲的玻璃體視網膜疾病輔助診斷系統、基于深度學習的活動性角膜感染及角膜瘢痕區分模型等[23-24]。在IVCM識圖領域,目前也有相關研究發現AI可輔助角膜神經的量化與分割、神經纖維曲率分級、神經纖維與樹突狀細胞及真菌菌絲鑒別、活化樹突狀細胞與炎性細胞的識別及角膜內皮細胞分割與形態參數評估等[7,13,25-26],充分說明深度學習適用于輔助IVCM圖像進行多種結構識別。但現有研究多圍繞單一層次的角膜圖像或部分具體組織展開,而角膜由多個層次構成,因此開發一個適用范圍更廣并能全面評估角膜圖像的輔助識圖模型有利于彌補這一研究領域的空白。

Res-Net-50是一種具有計算負擔小、易優化等優點的殘差學習框架,是基于現有深度網絡訓練基礎上提出的,其包含1個全連接層和49個卷積層的優秀殘差網絡模型,可用來解決退化和梯度問題[23]。本研究中采用Res-Net-50創建了基于6個深度神經網絡的機器模型用于觀察AI在篩選高質量圖像、診斷正常/異常圖像及識別角膜層次方面的能力,結果表明該模型在過濾低質量圖像及識別圖像表現正/異常方面具有較好的準確度、特異度及敏感度,并在區分角膜上皮層、前彈力層、基質層及內皮層4個層次上具有很高的診斷效能。人機比賽證明該模型具有與高年資角膜專家相當的準確度且識別速度遠高于高年資醫師,約為其300倍。同時,低年資醫師在經模型輔助后對IVCM圖像識別的準確度明顯提高,其中部分低年資醫師的診斷準確度甚至接近高年資醫師。上述結果表明,該模型在輔助評估IVCM圖像中具有巨大的應用潛力,并有望助力實際臨床科研工作中大批量圖像的篩查分類,便于眼科醫師快速集中地查看患者的異常圖像或統一獲取研究所需特定層次及類型的圖像。

本研究仍存在一定的局限性。首先,由于模型針對圖像的識別結果是定性的,對實際異常的特征,如上皮層炎性細胞、基質層菌絲及內皮層角膜后沉著物等并不能進一步做定量或分級評估,本課題組計劃在下一步研究中擴大訓練的樣本量,嘗試針對不同異常特征進行分割識別。其次,雖然本研究已盡可能多地納入臨床角膜疾病的圖像,但由于數據來源均為固定時間內的回顧性收集,仍有臨床較少見的角膜疾病未能納入;同時,模型訓練依賴足夠的樣本數據,而部分納入研究的疾病圖像數量相對有限,不足以針對異常圖像做進一步的病種識別,對于此問題,本課題組擬后期聯合多家醫院以建立病種更多、樣本量更大的數據庫用于模型訓練優化,可綜合分析患者各層次IVCM圖像表現,增加對疾病病種的識別同時提高模型識別精度,以期將AI技術更好地應用于臨床及科研,利于眼科智能醫療的普及。

綜上,本研究開發了基于深度學習的角膜IVCM圖像智能診斷模型,結果表明其擁有較高的準確度、特異度及敏感度,可輔助臨床醫師更快、更好地識別角膜IVCM圖像。該模型有利于減輕人工閱片及診斷的工作量,后續有望結合移動終端幫助臨床經驗較少或角膜專業醫師缺乏的社區和基層醫院學習、識別角膜疾病的IVCM圖像,也有助于針對大批量患者角膜疾病的篩查及獲取研究所需特定角膜層次圖像。

利益沖突所有作者均聲明不存在利益沖突

作者貢獻聲明顏瑜琳:設計試驗、實施研究、采集數據、分析/解釋數據、文章撰寫;蔣維艷:實施研究、采集數據、分析數據;程思敏:實施研究、采集數據;周奕文、于薏:設計試驗、實施研究、采集數據;鄭碧清:參與人工智能模型搭建及測試;楊燕寧:參與試驗設計、文章審閱及定稿