基于深度學習的肺炎圖像目標檢測

何 迪 劉立新 劉玉杰 熊 豐 齊美捷 張周鋒

1（西安電子科技大學光電工程學院，西安 710071）

2（中國科學院西安精密機械研究所中國科學院光譜成像重點實驗室， 西安 710119）

引言

肺炎是一種可能由細菌、病毒或真菌等病原體引起的肺部炎癥，在兒童與老人中的致死率極高，也是美國十大死亡原因之一［1］。2019年底新冠肺炎的出現以及隨后的全球爆發更是給人民生命安全和身體健康帶來了巨大威脅［2］，因此肺炎的診斷和治療也日益受到人們的關注與重視。

肺部X 光片是肺炎診斷的重要方法之一。肺炎在X 光圖像上通常表現為肺部不透明度增加，然而肺部的其他疾病，如肺水腫、胸腔積液等，在X 光圖像上同樣呈現出不透明的區域，會對肺炎診斷造成干擾。所以，正確解釋影像信息始終是醫生面臨的主要挑戰，需要有經驗的放射科醫生才能進行診斷確認。對于缺乏經驗的醫生，其決定存在相當大的主觀不一致，還需要通過血液檢測、細菌分析等復雜檢測流程才能夠精確判定。在中國，每年病理醫生人數的增長速率僅為4%，專業放射科醫生增長率更低。但是隨著近些年醫療數據的爆發式增長，專業放射科醫生的數量供不應求，導致在診斷環節會造成病人診斷不及時，誤診、漏診等問題，耽誤患者治療的最佳時間。因此迫切需要研究并開發新方法，幫助提供計算機輔助診斷，以提高肺炎診斷的準確率并降低肺炎相關的死亡率。

深度學習［3］能夠模仿人腦的機制來解釋數據，且在數據量龐大的情況下，可以有效解決傳統機器學習中算法準確率低以及模型泛化能力差等問題，因此在醫學圖像處理中得到了廣泛應用。卷積神經網絡（convolutional neural networks， CNNs）是深度學習中最為重要的模型之一，在肺炎圖像分類以及目標檢測方面顯現出優越的性能［4-8］。馬書浩等［6］提出了一種基于YOLOv3 改進的多分枝YOLO 肺炎檢測算法。該算法在實驗數據集上的檢測準確率高于單發多框探測器（single shot multibox detector，SSD）、YOLOv3 及更快速區域卷積神經網絡（faster region-based convolutional neural network， faster-RCNN）等算法，但還存在誤檢、漏檢、定位偏差大的問題。Nurmaini 等［7］提出了具有Faster-RCNN 結構的卷積神經網絡來檢測新冠病毒（SARS-CoV-2）感染病灶，解決逆轉錄聚合酶鏈反應檢測結果假陰性率高的問題，提高了檢測靈敏度。Dharani 等［8］利用faster-RCNN 模型來輔助臨床醫生診斷肺炎，將樣本中不清楚或可能與其他疾病混淆的肺部X 光圖像進行識別，以實現更好的診斷和降低錯誤率；結果表明，faster-RCNN_inception_coco 模型相較于其他模型具有更高的預測精度，有助于分析和診斷肺炎。

本研究首先將SSD 和faster-RCNN 這兩種典型目標檢測算法用于肺炎病灶區域檢測；然后在原有faster-RCNN 的網絡結構基礎上引入特征金子塔網絡（feature pyramid network， FPN），對faster-RCNN網絡模型進行優化，來更好地解決不同類型病灶區域識別的問題。

1 材料與方法

1.1 實驗環境與肺炎圖像數據集

實驗中所使用硬件設備與軟件環境具體配置如表1 所示。硬件設備主要為Dell T3630 圖形工作站，其中處理器型號為i7-8700，它包含6 個內核和12 個邏輯處理器，運行內存大小為32 GB；顯卡型號為RTX 2080。軟件環境主要為： 操作系統Windows10、 Anaconda 環境、谷歌開源的Tensorflow［9-10］、Python 版本、顯卡驅動庫CUDA 以及GPU 加速庫Cudnn。

表1 實驗環境配置Tab.1 Description of experimental environment

實驗數據集由Kaggle 提供，來源于北美放射協會及醫療人工智能（artificial intelligence，AI）平臺合作開發的26 684 張帶標簽肺部X 光圖像，具體包括8 539 張患有肺炎的X 光圖像、10 407 張患有其他病癥的肺部X 光圖像，7 738 張正常肺部X 光圖像。圖1 所示為從數據集中隨機選取的肺部X 光圖像的例子，圖1（a）為沒有肺部疾病的正常X 光圖像，標記為Normal；圖1（b）中的兩張X 光圖像患有肺部疾病，但是不屬于肺炎，標記為No Lung；圖1（c）中的兩張X 光圖像來自肺炎患者，左圖具有單處病灶，右圖具有兩處病灶，標記為Lung。

圖1 肺部X 光圖像。（a）正常肺部圖像；（b）肺部其他病癥圖像；（c）肺炎圖像Fig.1 Lung X-ray images. （a） Normal lung images；（b） Other lung disease images； （c） Pneumonia images

1.2 數據預處理

圖2 所示為基于深度學習的肺炎圖像目標檢測數據處理流程，其中圖像預處理［［11］是圖像輸入模型訓練前必不可少的一環。來自Kaggle 數據集的原始X 光圖像首先經過圖像預處理操作，包括圖像縮放變換、線性變換以及對比度增強等步驟，轉換為具有合適尺寸和高對比度的圖像，然后輸入深度學習模型進行分類及目標檢測。圖2 中展示了原始X 光圖像依次經過各步預處理后所對應的輸出效果。

圖2 數據處理流程Fig.2 Flow chart of data processing

1）圖像縮放變換

肺部X 光圖像的分辨率在不同的數據集中大小并不統一。利用雙線性插值算法［12］，對原始X 光圖像進行縮放變換，以滿足深度學習模型中對于輸入圖像分辨率的要求。經過處理后的圖像整體尺寸相對縮小，但保留了圖像的主要特征，同時縮短了模型的訓練時間。所要使用的VGG 和ResNet 網絡要求的圖片輸入尺寸為224×224，因此原始X 光圖像經過調整之后的尺寸均變成224×224。

2）圖像線性變換

圖像的線性變換操作通常包括平移和旋轉。旋轉是指將圖像以原點為中心軸旋轉若干角度。平移則是將圖像的所有像素沿X、Y 方向移動若干距離。肺部X 光圖像經過旋轉和平移操作后，可以增強深度學習模型對肺部圖像位置與方向的敏感程度。為了更好地實現數據增強效果，可通過設定隨機種子的方式對輸入的X 光圖像進行旋轉和平移操作。

3）圖像對比度增強

圖像對比度增強［13-14］可以實現對肺炎病灶區域的特征增強，提高模型對肺炎圖像的識別能力和檢測精度。采用限制對比度自適應直方圖均衡（contrast limited adaptive histogram equalization，CLAHE）算法對經圖像線性變換后的肺部X 光圖像進行處理。CLAHE 算法通過限制局部直方圖的高度來限制局部對比度的增強幅度，從而限制噪聲的放大及局部對比度的過增強，因此它不僅能夠更好地改善圖像對比度，而且解決了局部特征不夠清晰的問題。由圖2 可見，經對比度增強處理后的肺部X 光圖像特征更加突出。

1.3 肺炎檢測卷積神經網絡模型

1.3.1 目標檢測模型

卷積神經網絡廣泛應用于醫學圖像中的分類或目標檢測等問題，在大規模圖像處理中具有出色的表現。目前目標檢測算法模型主要分為兩種，即one-stage 和two-stage。

如圖3 所示，one-stage 目標檢測算法流程較為簡單，通過卷積神經網絡對輸入的圖像直接進行特征提取，而后基于回歸思想實現結果輸出。圖4 為two-stage 目標檢測算法的工作原理流程。相對于圖3 而言，在輸入圖像完成卷積神經網絡網絡特征提取后，又增加了一部分檢測流程，并且增加的部分與one-stage 過程類似，生成感興趣的區域（region of interest， ROI），其中包含預測的位置信息及前景的概率；然后對生成的感興趣的區域進行進一步位置的修正和物體所屬類別的概率值判定，完成最終的檢測。

圖3 One-stage 目標檢測算法示意Fig.3 Schematic diagram of one-stage object detection algorithm

圖4 Two-stage 目標檢測算法Fig.4 Schematic diagram of two-stage object detection algorithm

采用SSD［15-16］、faster-RCNN［17］和faster-RCNN優化模型，對肺部X 光圖像實現肺炎病灶區域檢測。其中，SSD 為one-stage 算法，faster-RCNN 及其優化模型為two-stage 算法。

1.3.2 特征提取網絡

VGG 和ResNet 是兩種常用的特征提取網絡，它們都包含卷積、池化、全連接和SoftMax 操作。相較于VGG 而言，ResNet 增加了JumpPoint 操作。ResNet 網絡通過使用特殊的跳躍連接和大批量歸一化處理操作，具有更強的圖像特征抽象能力。SSD 模型和faster-RCNN 模型均采用VGG16 作為特征提取網絡，而faster-RCNN 優化模型則采用ResNet 網絡，對肺部X 光圖像實現特征提取。

目標檢測算法模型在對輸入圖像進行特征選取時主要有四種思路，如圖5 所示。圖5（a）首先將輸入的肺部X 光圖像進行不同尺度的縮放操作，然后分別進行特征圖提取，最終對生成的特征圖像完成結果預測任務。該方式增加了目標檢測模型的計算量，不符合實際生產中的要求。圖5（b）的特征提取思路與faster-RCNN 思路一致，整個特征提取網絡僅采用最后一層的輸出結果輸入到后續目標檢測模型。圖5（c）與SSD 模型的設計一致，在特征提取網絡內選取若干個不同大小的特征圖輸入到目標檢測模型。

圖5 目標檢測算法特征提取示意。（a） 多尺度圖像輸入；（b） 單一圖像特征輸入；（c） 多圖像特征輸入；（d） 多圖像特征融合輸入Fig.5 Schematic diagram of feature extraction of object detection algorithm. （a） Multi-scale image input； （b）Single image feature input； （c） Multiple image feature input； （d） Multiple image feature fusion input

綜合上述，3 種特征提取網絡的設計思路，利用上采樣操作，使相鄰的特征圖進行融合，將高層特征與低層特征融合處理后輸入到后續模型，如圖5（d）所示。采用這種方式對原圖像進行處理時，更容易檢測到較小的區域，而且不增加計算復雜度。這種特征設計稱為特征金子塔網絡（feature pyramid network， FPN）［18-19］。Faster-RCNN 優化模型即采用該設計，同時在應用FPN 網絡的基礎上，將faster-RCNN 中使用的VGG16 模型替換為ResNet 網絡。

2 結果

2.1 SSD 模型

在SSD 模型訓練過程中，模型整體的損失值變化曲線如圖6 所示。曲線在繪制的過程中程序進行了平滑處理，平滑率設定為0.2。由圖可見，損失值開始時驟然下降，而后緩慢下降。在迭代30 000 次后，損失值在4.5 上下波動，而后趨于平穩。在迭代50 000 次時，損失值接近4.0，損失函數曲線降到最低。該曲線表明，隨著訓練次數的增加損失值整體呈下降趨勢。

圖6 SSD 模型損失函數變化曲線Fig.6 Loss function change curve of SSD model

利用訓練后的SSD 模型對抽取的肺炎X 光圖像進行測試。由于樣本數據集中每張肺部X 光圖像可能存在的病灶區域不超過兩處，因此將從單處病灶區域的樣本數據和兩處病灶區域的樣本數據各抽取一張進行測試，目標檢測結果分別如圖7（a）和（b）所示。圖中左側為輸入的樣本圖像，右側為SSD模型輸出的目標檢測結果，包括對于病灶區域的框定位置，以及框定區域所患肺炎的概率大??；并且通過預測位置與真實標記位置，可以計算得到兩者交并比，記為回歸精度，如表2 所示。對于單處病灶檢測，SSD 輸出的目標檢測結果為85%的概率判定該處為病灶區域，預測位置與真實標記位置的交并比為60.0%。對于兩處病灶檢測，SSD 輸出的目標檢測結果分別為88%和86%的概率判定該處為病灶區域，預測位置與真實標記位置的交并比分別為68.5%和66.8%。

表2 SSD 模型預測病灶區域結果Tab.2 Results of the prediction position of lesion areas of SSD model

圖7 SSD 模型預測病灶區域結果（方框表示預測為病灶的區域）。（a）單處病灶；（b）兩處病灶Fig.7 The prediction results of lesion areas of SSD model （Boxes indicate areas predicted to be lesions.）.（a） Single lesion area； （b） Two lesion areas

為了對模型性能進行綜合評估，選取500 張肺部X 光圖像進行測試，其中包括無病灶區域的X 光圖像50 張，單個病灶區域的X 光圖像150 張，兩處病灶區域的X 光圖像300 張。目標檢測結果列于表3，可知SSD 模型的最高和最低分類準確率分別為89.0%和79.0%，平均分類準確率為86.6%；最高和最低回歸精度分別為70.4%和58.3%，平均回歸精度為67.4%。從這兩項指標可以看出，SSD 雖然基本能夠完成對病灶區域進行檢測的任務，但是效果不太理想，誤檢病灶區域個數達到11 個。通過對誤檢病灶區域所在的圖像進行分析，發現該11 處誤檢病灶區域均是未患有肺炎，但存在其他肺部疾病的肺部X 光圖像。該類圖像會對目標檢測模型的檢測產生一定難度，因此可以把誤檢病灶區域數作為目標檢測模型的一個評估指標，能夠更全面地評測該目標檢測模型的好壞。

表3 SSD 模型性能評測Tab.3 Performance evaluation of SSD model

2.2 Faster-RCNN 模型

在faster-RCNN 模型訓練過程中，模型整體的損失值變化曲線如圖8 所示。圖中損失值在開始時波動幅度較大，而后緩慢下降。在迭代10 000次后，損失值在1.0 上下波動，趨于平穩。在迭代50 000次時，損失函數曲線降到最低。該曲線表明，相比于SSD 模型，faster-RCNN 模型迭代較少的次數損失值便可趨于穩定，且損失值較小。

圖8 Faster-RCNN 模型損失函數變化曲線Fig.8 Loss function change curve of faster-RCNN model

利用訓練后的faster-RCNN 模型對抽取的肺部X 光圖像進行測試。單處病灶和兩處病灶樣本的目標檢測結果分別如圖9（a）和（b）所示。在這兩種情況下，預測位置與真實標記位置如表4 所示。對于單處病灶檢測，faster-RCNN 輸出的目標檢測結果為91%的概率判定該處為病灶區域，預測位置與真實標記位置的交并比為72.9%。對于兩處病灶檢測，faster-RCNN 輸出的目標檢測結果分別為89%和92%的概率判定該處為病灶區域，預測位置與真實標記位置的交并比分別為74.5%和74.3%。

圖9 Faster-RCNN 模型預測病灶區域結果（方框表示預測為病灶的區域）。（a）單處病灶；（b）兩處病灶Fig.9 The prediction results of lesion areas of faster-RCNN model （ Boxes indicate areas predicted to be lesions.）. （a） Single lesion area；（b） Two lesion areas

表4 Faster-RCNN 預測病灶區域結果Tab.4 Results of the prediction position of lesion areas of faster-RCNN model

選取同樣的500 張肺部X 光圖像，利用faster-RCNN 模型進行測試。根據表5 所示結果可知，faster-RCNN 模型的最高和最低分類準確率分別為92.0%和88.0%，平均分類準確率為90.2%；最高和最低回歸精度分別為75.9%和70.3%，平均回歸精度為74.6%。從這兩項指標可以看出，faster-RCNN能夠完成對病灶區域進行檢測的任務，各項指標相對于SSD 模型而言均有所提升。此外，faster-RCNN誤檢病灶區域個數為3 個，少于SSD 誤檢的數量。

表5 Faster-RCNN 模型性能評測Tab.5 Performance evaluation of faster-RCNN model

2.3 Faster-RCNN 優化模型

在faster-RCNN 優化模型訓練過程中，模型整體的損失值變化曲線如圖10 所示。由圖可見，從開始到50 000 次的訓練過程中，損失值一直在1.0 上下浮動，但是浮動范圍上下沒有超過0.5。當訓練完畢時，損失值接近1.0。該曲線表明該模型損失值在訓練過程中能快速達到一個穩定的狀態。

圖10 Faster-RCNN 優化模型損失函數變化曲線Fig.10 Loss function change curve of faster-RCNN optimization model

利用訓練后的faster-RCNN 優化模型對抽取的肺炎X 光圖像進行測試。單處病灶和兩處病灶樣本的目標檢測結果分別如圖11（a）和（b）所示。在這兩種情況下，預測位置與真實標記位置如表6所示。

表6 Faster-RCNN 優化模型預測病灶區域結果Tab.6 Results of the prediction position of lesion areas of Faster-RCNN optimization model

圖11 Faster-RCNN 優化模型預測病灶區域結果（方框表示預測為病灶的區域）。（a）單處病灶；（b）兩處病灶Fig.11 The prediction results of lesion areas of faster-RCNN optimization model （Boxes indicate areas predicted to be lesions.）. （a） Single lesion area； （b） Two lesion areas

對于單處病灶檢測，faster-RCNN 優化模型輸出的目標檢測結果為93%的概率判定該處為病灶區域，預測位置與真實標記位置的交并比為74.8%。對于兩處病灶檢測，faster-RCNN 優化模型輸出的目標檢測結果分別為90%和94%的概率判定該處為病灶區域，預測位置與真實標記位置的交并比分別為79.0%和78.1%。選取同樣的500 張肺部X 光圖像，利用faster-RCNN優化模型進行測試。根據表7 所示結果可知，faster-RCNN 優化模型的最高和最低分類準確率分別為96.0%和90.0%，平均分類準確率為93.7%；最高和最低回歸精度分別為83.2%和74.5%，平均回歸精度為79.8%。從這兩項指標可以看出，相對于另外兩個模型而言，faster-RCNN 優化模型的目標檢測效果有著顯著提升，并且誤檢病灶區域數為0，因此faster-RCNN 優化模型可選用為肺炎圖像目標檢測的應用模型。

表7 Faster-RCNN 優化模型性能評測Tab.7 Performance evaluation of faster-RCNN optimization model

此外，對該模型的運行速度進行了評測。通過對500 張測試圖像進行檢測，結果顯示平均每張測試圖像檢測用時約216 ms，可滿足實際應用需求。

3 討論

SSD 和faster-RCNN 是近年來實現目標檢測的常用CNN 模型［6-8，20-21］。SSD 基于MultiBox 的思想，在不同特征尺度上預測不同尺度的目標，可全面提升檢測精度［15］。Faster-RCNN 采用區域候選網絡（region proposal network， RPN）解決了目標的區域推薦問題，能極大提升檢測框的生成速度［17］。本研究構建了3 種圖像目標檢測模型，SSD、faster-RCNN和faster-RCNN 優化模型，以實現對肺部X 光圖像的病灶區域檢測。其中faster-RCNN 優化模型是在faster-RCNN 的網絡結構基礎上引入FPN，并將特征提取網絡VGG16 替換為ResNet 網絡實現的。

肺炎的病灶大小、形狀和位置變化很大［22］，邊界通常非常模糊，導致檢測難度很大，因此提高檢測精度是一個主要的研究問題，這取決于數據預處理、模型選用、訓練和測試等各個環節，并通過多種性能指標，如損失函數、準確率、回歸精度和誤檢病灶數等來綜合表征評定。在數據集的處理過程中，采用多種方法對原始肺部X 光圖像進行數據增強，主要包括圖像縮放變換、線性變換以及對比度增強等步驟，從而調整圖像尺寸，改善圖像效果，突出圖像特征，以增強深度學習模型的魯棒性和泛化能力，提高檢測精度。

損失函數有助于優化神經網絡的參數。本研究分析了3 種模型的損失函數隨模型訓練次數的變化情況。由各模型的損失函數曲線可知，隨著訓練次數的增加損失值均下降；Faster-RCNN 模型相比于SSD 模型損失值下降更快，迭代較少的次數便可趨于穩定，且損失值較??；Faster-RCNN 優化模型從開始訓練，損失值一直在1.0 上下浮動，可快速達到穩定狀態。

為了評估深度學習模型的性能，首先分別利用訓練后的3 種模型對抽取的肺炎X 光圖像進行測試，得到了單處病灶和兩處病灶的框定位置及框定區域所患肺炎的概率大小，根據預測位置與真實標記位置可以計算得到回歸精度。通過比較可知，無論對于單處病灶還是兩處病灶，faster-RCNN 優化模型的回歸精度高于faster-RCNN 模型，且二者均高于SSD 模型。然后，分別利用3 種模型對選取的500張肺部X 光圖像進行目標檢測，由所獲得的分類準確率、回歸精度和誤檢病灶數結果可知，faster-RCNN 優化模型的綜合性能均優于另外兩種模型。此外，faster-RCNN 優化模型對X 光圖像的測試速度很快，這表明了其在肺炎圖像目標檢測實際應用中的可行性和潛力。

本研究采取的深度學習方法框架并不僅限于肺部X 光圖像，未來可在其他疾病的目標檢測研究中進行嘗試，以驗證其普適性；并期望進一步提高模型的檢測精度和速度，將其應用于臨床疾病的實時檢測和診斷。

4 結論

本研究使用SSD、faster-RCNN 和faster-RCNN優化模型3 種目標檢測模型完成對肺部X 光圖像的病灶區域檢測任務，通過在損失函數、分類準確率、回歸精度、誤檢病灶區域數等方面對模型性能進行分析可知，faster-RCNN 優化模型可快速達到穩定，平均分類準確率達到93.7%，平均回歸精度為79.8%，且誤檢病灶數為0，性能指標均優于其他兩種模型。因此faster-RCNN 優化模型可幫助醫生進行準確高效的X 光圖像肺炎病灶檢測，并有可能應用于其他醫學圖像的目標檢測，在實際的醫療領域中具有廣泛的應用前景。