深度學習在骨折診斷中的應用綜述

哈里旦木·阿布都克里木，馮 珂，史亞慶，尼合買提·阿布都克力木，阿布都克力木·阿布力孜

1.新疆財經大學信息管理學院，烏魯木齊 830012

2.伊犁州友誼醫院骨外一科，新疆 伊寧 835000

骨折是現代社會生活中的常見疾病，打鬧、摔倒、車禍等原因都可能導致其發生。骨折發生后主要伴隨肢體變形、腫脹、異常運動等典型表現，情形嚴重時甚至引發休克。骨折傷后遭到誤診漏診，往往會錯過最佳治療時間，造成病情的惡化，使得受傷肢體不能最大限度地恢復其功能，甚至導致患者殘疾或死亡。因此，對疑似骨折進行及時準確的診斷，予以適當治療極其重要。及時的診斷可以避免更嚴重后果的產生，準確的處理能夠最大限度地恢復骨骼功能。然而，即使是經驗十分豐富的醫生，誤診漏診現象也不可避免。當下，骨折診斷主要依據患者病史、臨床表現和影像進行。隨著醫學影像技術的發展、影像需求的增加和影像數據的日益豐富，臨床醫生閱片的工作強度也在與日俱增。閱片疲勞、經驗不足、水平有限等原因都會造成誤診漏診。因此，使用深度學習輔助醫生進行骨折診斷成為當下一大研究熱點。

深度學習是機器學習的分支，利用多層次神經網絡處理和解釋復雜數據，從而實現自動化特征提取和模式識別，是一種重要的人工智能方法。通過大規模數據訓練和模型參數優化，深度學習模型可以取得更高的準確性和泛化能力。近年來深度學習發展迅速，2012 年，Hinton 研究小組應用多層卷積神經網絡（convolutional neural network，CNN）結構進行圖像識別，將ⅠmageNet評測中的分類錯誤率降低到15.3%[1]。2017 年，Olczak等[2]首次將深度學習應用于骨骼X 射線（X-Ray），在腕部和踝部影像中診斷是否存在骨折，準確率達到83%，表明深度學習適用于在X射線中診斷骨折。2022年，劉士遠教授在《中國醫學影像人工智能發展報告（2021—2022）》中指出，應用人工智能進行病灶自動檢出是臨床最具價值的功能，但報告顯示當前骨關節相關人工智能軟件在影像科室輔助診斷中僅占比6.8%，骨折輔助診斷系統具有較大發展潛力。

近年來，深度學習輔助骨折診斷主要利用深度學習模型對影像進行分類、檢測和分割，確定影像中是否存在異常，判斷屬于何種骨折類型，定位骨折發生位置，標注疑似骨折區域等，為醫生診斷提供輔助意見。深度學習模型通過嚴格的性能測試后方可用于輔助診斷系統開發，并根據臨床反饋不斷更新。深度學習在骨折診斷中的應用流程如圖1 所示。由于醫學影像具有不同特點，且人體骨骼結構復雜，因此，目前已有的研究大多針對各骨折部位訓練不同的深度學習模型，如橈骨、腕骨、肋骨、髖部等部位的骨折檢測和分類。近年來，深度學習輔助骨折診斷已取得一定的研究成果，Dankelman等[3]對使用CNN 檢測和分類骨折的17 篇文獻進行分析，其中10 篇文獻表明輔助診斷方法可以提高臨床診斷準確性。有關深度學習在骨折診斷中應用的研究逐漸得到廣泛關注[4-7]。

圖1 深度學習在骨折診斷中的應用流程Fig.1 Application process of deep learning in fracture diagnosis

圍繞深度學習在骨折診斷中的應用流程，本文首先介紹骨折影像；匯總相關的影像數據集；然后對文獻中涉及的深度學習方法進行描述與分析；結合不同方法，對其在各類骨折診斷中的研究及應用現狀進行描述；接著對骨折輔助診斷系統進行介紹；對領域內存在的一些挑戰進行討論并提出展望；最后進行總結。

1 骨折影像

骨折影像是通過醫學影像技術獲得的用于顯示骨骼結構損傷情況的影像，包含骨折位置、嚴重程度、骨折線形態等信息。隨著醫學影像技術的發展和影像設備的多樣化，X射線、計算機斷層掃描（computed tomography，CT）和磁共振成像（magnetic resonance imaging，MRⅠ）等影像成為大多數醫學影像數據的來源和病灶識別的手段，是臨床醫生判斷和定位骨折時的必要依據。通過觀察骨折影像對患者病情進行診斷，需要臨床醫生具有較長時間的知識學習和豐富的經驗積累。但即使是經驗豐富的醫生，在診斷過程中也存在漏診誤診的可能[8]。因此，在進行骨折診斷時臨床醫生需謹慎、細致地閱讀影像，結合患者的臨床癥狀做出準確的診斷。然而閱讀大量影像容易造成醫生閱片疲勞，導致診斷失誤。深度學習輔助骨折診斷可以減輕臨床醫生的閱片壓力，減少診斷過程中的漏診誤診。

為保證深度學習輔助診斷模型具有較高的準確率和可靠性，使用高質量影像數據集進行模型訓練至關重要。高質量影像數據集中應包含大量的骨折影像，涵蓋各種類型和層次的骨折。此外，數據集的標注也需精確全面，以保證模型可以準確地學習和識別骨折。然而，大量的影像數據分散在各個醫院和研究機構，由于隱私、倫理等原因，不易進行高效地收集。醫學影像設備機型繁多、參數各異，影像數據格式多樣，難以進行統一的處理。此外，與自然圖像相比，醫學影像一般含有較多噪聲和偽影。因此，影像數據不易進行大規模的收集和處理，收集到的影像常存在涉及患者隱私、數據量不足、成像不清晰等問題，影像中骨折區域的標注存在困難。

對影像進行相關處理可以提高影像質量和數據集規模，使其更適用于深度學習任務。常用的影像處理方法有數據脫敏、數據標注和數據增強。為保護患者隱私，在相關機構收集影像數據后首先應進行脫敏操作，去除影像中的患者身份信息，如：姓名、照片、身份證號等。除人工去除敏感信息外，一些現有軟件也可完成脫敏操作，如RⅠAS 軟件[9]。脫敏完成后，需要對影像進行人工標注以形成可用的數據集。影像數據標注需要經驗豐富的醫生對影像進行注釋，數據集的正確標注是模型取得理想預測效果的前提。輔助醫生進行影像標注的軟件有很多，每款軟件都有其特點，表1 中列出常用影像標注軟件。針對影像數據量少以及各類影像數量不平衡等問題，通常采用數據增強方法對數據集進行擴充。醫學影像處理中常用的數據增強方法主要包括以下三種：（1）幾何變換。如圖像裁剪、左右平移、大小縮放等。（2）顏色變換。如添加噪聲、對比度調整等。（3）深度生成模型。如生成對抗網絡模型[10]（generative adversarial network，GAN）及Diffusion模型[11]。

表1 常用影像標注軟件Table 1 Common image annotation software

2 數據集

應用大規模數據集進行訓練時，深度學習模型通常具有更好表現。在深度學習應用于骨折診斷的研究中，絕大多數研究者選擇與相關機構合作，例如與醫院合作收集影像，尋求專家幫助進行影像的標注以建立數據集等。然而，通過與相關機構合作獲取的數據集規模通常較小，Federer 等人[12]的研究發現，31%的文獻涉及患者數量少于100人，最小的數據集僅包含4名患者，涉及患者的中位數是250人。因此，研究者通常選擇使用數據增強操作以增加數據集規模。其中，應用最多的數據增強方式是幾何變換。比如對腕部X射線進行水平翻轉、不同尺度的旋轉、剪切和縮放[13-15]，對髖部X射線進行平移、旋轉和剪切[16-21]，或者對胸部X 射線進行翻轉、旋轉和裁剪[22]等。有研究同時涉及到幾何變換和顏色變換類數據增強，如對踝關節X射線進行隨機旋轉、翻轉、亮度和對比度調整[23]等。Rama等[24]對原始數據集進行9種幾何變換和顏色變換數據增強操作，實驗結果表明使用數據增強后的數據集訓練的深度學習模型具有更佳性能。部分研究不涉及某些數據增強操作，如不采用剪切、增加噪聲等操作生成新影像[25]，以防止錯誤分類。此外，使用深度生成模型進行數據增強也逐漸受到研究者關注。Mutasa等[26]使用GAN模型對訓練集進行數據增強操作，經數據增強后模型的精度得到明顯提高，先進的數據增強技術可以減輕數據集規模小對深度學習模型帶來的限制。對于醫學影像亮度低、對比度差、病灶邊界不清晰等問題，數據增強手段可以增加影像的對比度，降低影像的噪聲，突出對于訓練模型更有用的特征，以更好地進行分類、檢測和分割任務[27]。此外，數據增強可用于避免模型過擬合[14，17-18]。

此外，一些骨折相關的公開數據集得到研究者廣泛關注。如：5K+ CT Ⅰmages on Fractured Limbs 數據集[28]、MURA數據集[29]、RibFrac數據集[30]等，表2對相關的骨折影像數據集進行介紹。

表2 骨折影像數據集Table 2 Fracture imaging dataset

3 基于深度學習的骨折診斷方法

充分學習臨床高級醫生的豐富經驗以訓練輔助診斷模型，能夠為缺乏經驗的普通醫生提供可靠的輔助意見，減少因經驗不足造成的誤診漏診，緩解臨床醫生閱片壓力。目前，基于深度學習的骨折診斷方法主要采用圖像分類模型、目標檢測模型和圖像分割模型進行骨折影像檢測和分類。

3.1 圖像分類模型

基于深度學習的骨折分類普遍采用經典的圖像分類模型進行，利用圖像分類模型可以檢測影像中是否存在骨折以及對具體的骨折類型進行分類，如按照2018版AO/OTA 分型[31]和Garden 分型[32]等標準進骨折類別劃分。圖像分類通常借助卷積神經網絡模型完成。自AlexNet[1]在2012 年被提出后，以CNN 為代表深度學習開始在圖像分類研究中得到廣泛應用。在骨折診斷領域，研究者多選擇采用CNN模型檢測和分類不同骨折，如Kim等[13]基于預訓練的Ⅰnception v3模型檢測腕部骨折，Urakawa 等[17]訓練VGG16 模型檢測股骨轉子間骨折，此外還有髖部骨折[16，19]、肱骨近端骨折[33]、股骨近端骨折[34]、橈骨遠端骨折[35]、椎體骨折[36-37]等的檢測和分類。

基于CNN 進行圖像分類的模型有很多，主要包括從AlexNet 開始不斷加深網絡深度的VGG-Net[38]、GoogLeNet[39]、ResNet[40]和ResNeXt[41]等模型，從GoogLeNet開始不斷增加網絡寬度的Ⅰnception系列，通過特征處理提升網絡性能的DenseNet[42]和EfficientNet[43]等模型?；贑NN 模型的深度學習輔助骨折分類研究中，影像經卷積層提取低層到高層的特征，在池化層對輸出特征圖執行下采樣操作。對影像進行多層卷積和池化操作，最后將特征圖被送入全連接層進行類別判斷，輸出最終分類結果。如圖2為CNN網絡基礎結構示例。

圖2 CNN網絡示例Fig.2 CNN network example

CNN 模型在影像分類任務中已取得廣泛應用，2020年，自然語言處理領域火爆的Transformer[44]模型結構被引入計算機視覺領域，Vision Transformer（ViT）[45]、Swin Transformer[46]等模型開始在圖像分類任務中展現其優異性能，ViT 模型結構如圖3 所示。Tanzi 等[47]首次將ViT 架構應用于股骨近端骨折分類，模型選擇Large-16配置并使用注意力圖可視化圖像中相關區域，與Ⅰnception v3 和分層CNN 模型相比，ViT 的分類準確率提高了25%，優于CNN模型。

圖3 Vision Transformer模型結構Fig.3 Vision Transformer model structure

伴隨著圖像分類模型的發展，其提取特征信息的能力不斷優化，在分類任務中的性能也不斷刷新。近年來，研究人員利用圖像分類模型進行骨折檢測和分類取得了較好進展。Lindsey 等[48]的研究表明，對于疑似骨折，經訓練的深度神經網絡可以顯著改善臨床醫生的診斷準確性，從而為病患確診、及時治療和預后處理帶來實質性的改善。ⅠCCV（Ⅰnternational Conference on Computer Vision）、CVPR（ⅠEEE Conference on Computer Vision and Pattern Recognition）、MⅠCCAⅠ（Ⅰnternational Conference on Medical Ⅰmage Computing and Computer Assisted Ⅰntervention）等會議中應用于視覺任務的深度神經網絡架構不斷迭代和更新，為圖像分類模型應用于骨折診斷提供了研究基礎。骨折影像數據集的規模和影像標注的準確性影響圖像分類模型的訓練效果，應用高質量標簽和大規模數據集訓練的模型通常效果更佳。

3.2 目標檢測模型

在醫學影像分析中，目標檢測指對影像中的病灶區域進行定位和識別，對疑似骨折位置進行標注，為醫生提供可靠的輔助意見，降低因缺乏經驗或閱片疲勞帶來的影響。目標檢測模型可以分為雙階段和單階段兩種類型，其結構如圖4所示。模型首先使用特征提取網絡進行特征提取，后續操作依據提取到的特征圖進行，特征提取網絡一般采用各圖像分類模型。

雙階段目標檢測模型在第一階段對影像中的骨折區域進行識別，提取出感興趣區域（region of interest，ROⅠ）候選框，在第二階段通過分類模型檢測和分類ROⅠ中的骨折，最終模型輸出骨折區域邊界框以及具體分類結果。雙階段模型通常精度較高，但速度較慢。骨折檢測領域常用的雙階段目標檢測模型為Faster R-CNN[49]，模型結構如圖5 所示。骨折影像中的骨折線尺寸通常很小且難以檢測，明確ROⅠ可以使模型在進行骨折分類時專注于相關的解剖區域，避免影像中冗余信息或噪聲的干擾，與直接使用整幅影像進行骨折檢測和分類相比性能通常更好。Yahalomi 等[25]訓練Faster R-CNN 模型檢測和定位橈骨遠端骨折，模型準確率遠高于放射科醫生的平均水平，且為罕見疾病的檢測提供了可能。Chen等[50]訓練Faster R-CNN的模型進行胸腰椎骨折分類，對于ABC 型分類，模型的總體準確率較高。Liu 等[21]訓練Faster R-CNN 模型檢測和定位股骨轉子間骨折，與骨科主治醫師相比，模型檢測性能更好，且耗時更短。目標檢測模型常搭配不同的圖像分類模型作為分類器進行使用，例如原始Faster R-CNN 使用VGG 16 進行圖像分類，Gan 等[51]使用Ⅰnception v4 作為Faster R-CNN的分類器對是否存在骨折進行判斷。

圖5 Faster R-CNN模型結構Fig.5 Faster R-CNN model structure

單階段目標檢測模型使用一次過程對影像進行分類和定位，相比之下速度更快。骨折檢測研究中常用的單階段目標檢測模型有RetinaNet[52]和YOLO 系列等，例如YOLO v3[53]、YOLO v5[54]以及YOLO v8（https：//github.com/ultralytics/ultralytics）。如Krogue 等[55]訓練RetinaNet模型，采用DenseNet169作為分類網絡自動檢測、定位和分類髖部骨折；Li等[56]訓練YOLO v3模型自動檢測椎體骨折；Gasmi等[57]訓練基于RetinaNet架構改進的Rayvolve 模型檢測和定位兒童四肢骨折。單階段目標檢測模型適用于進行實時目標檢測，檢測速度快。使用單階段目標檢測算法輔助醫生進行骨折檢測，可以極大地降低因未及時檢測出骨折造成的不良影響。

除了單獨的模型之外，一些已集成完備的開源平臺同樣可以為骨折診斷領域的目標檢測提供幫助。較常使用的有FaceBook 發布的Detectron2（https：//github.com/facebookresearch/detectron2）和商湯科技發布的MMDetection（https：//github.com/open-mmlab/mmdetection）。目標檢測模型在不規則病灶檢出中有較好的能力，然而其訓練過程需大規模高質量數據集，訓練數據需進行像素級注釋，提供邊界框，因此標注成本較高。此外，模型在小目標檢測中常會發生遺漏，不能檢測到所有病灶。

3.3 圖像分割模型

醫學影像分割可被視為對影像中每個像素進行分類的過程。通過影像分割可以定位影像中的病灶區域，明確病灶形態，排除影像中冗余信息的干擾，為進行影像檢測和分類任務縮小檢測區域，提高骨折診斷效率。圖像分割模型的訓練需要使用具有像素級注釋的骨折影像，模型為影像中每個像素生成一個是否存在骨折的概率，依據概率自動分割出所需目標。利用圖像分割模型進行骨折病灶區域的提取并生成分割圖后，可以精確地指出在像素級別上使用哪些特征進行骨折檢測和分類。這種方法具有一定的可解釋性，不須借助其他可解釋性方案。目前較常使用的圖像分割模型有全卷積網絡（fully convolutional networks，FCNs）[58]、U-Net[59]和Mask R-CNN[60]等。如Anttila等[61]訓練基于U-Net的分割模型檢測橈骨遠端骨折，模型為影像中每個像素點生成是否存在骨折的概率，可以正確識別96.7%的骨折。Joshi等[62]對Mask R-CNN架構進行修改，主干網絡采用特征金字塔網絡（feature pyramid network，FPN），并使用改進的ROⅠAlign 精準裁剪ROⅠ，以此對X 射線中的腕部骨折進行檢測和分割。

U-Net采用編碼器-解碼器結構，模型左側通過卷積和池化操作對圖像進行特征提取，右側通過上采樣和跳層連接得到與輸入尺寸相同的特征圖，對像素點進行分類實現圖像分割。U-Net網絡示例如圖6所示。

圖6 U-Net網絡示例Fig.6 U-Net network example

Mask R-CNN 同時進行目標檢測和分割，模型在Faster R-CNN 基礎上增加了一個用于像素級目標實例分割的并行分支，使用ROⅠalign 層代替ROⅠ池化層。作為對Faster R-CNN的擴展，模型準確率更高，結構如圖7 所示。由于不同個體、不同部位、不同時刻得到的骨折影像各異，且骨折線細小、病灶邊緣不清晰，因此骨折影像分割任務面臨一定的挑戰。

圖7 Mask R-CNN模型結構Fig.7 Mask R-CNN model structure

3.4 小結

利用高質量的骨折影像數據集訓練模型，進行是否存在骨折或者存在何種類型骨折的判斷，可以幫助醫生完成對影像的初步篩選，進而對存在骨折的影像重點關注，降低骨折漏診的可能。然而，數據集的大小和質量、醫生標注的正確性、模型的可解釋性等均會對模型性能產生影響。表3中對各方法的優勢、局限等進行比較。

表3 深度學習輔助診斷方法Table 3 Deep learning assisted diagnostic methods

4 深度學習在各類骨折診斷中的應用

由于高質量骨折影像數據集的建立存在一定困難，以及醫生對于影像的標注具有主觀性，不存在完全統一的標準，因此，開發出適用于各種類型影像和不同部位骨折的通用深度學習模型進行骨折檢測和分類相對困難，基于深度學習的骨折診斷研究通常針對具體骨折類型展開。由于骨骼結構的復雜性，本節按照上肢骨折、下肢骨折、肋骨骨折、椎體骨折及疑難骨折進行分類，在各類型骨折診斷任務中對深度學習方法的具體應用進行詳細介紹。

4.1 在上肢骨折診斷中的應用

上肢骨主要包括橈骨、尺骨、肱骨等，是極易發生骨折的部位。上肢骨折會造成前臂和手的活動范圍受限，引起前臂疼痛、腫脹、畸形等。上肢骨折漏診占所有漏診骨折的43%～48%，特別是在腕部的X射線中[63]。因此上肢骨折的準確檢出和及時治療具有非常重要的社會意義。

除了直接應用圖像分類模型實現骨折檢測和分類外，楊鋒等[64]基于遷移學習思想設計了自動分型系統DRF-Net 進行橈骨遠端骨折分類，模型可以達到84.2%的準確率，優于AlexNet 和ResNet50 等圖像分類模型，具有一定的泛化能力。在X 射線中，不同腕部骨折的基本區別是紋理特征。為更好地了解腕部組織的實際紋理特征，Jabbar 等[14]設計基于殘差網絡的模型RN-21CNN進行骨折檢測，與圖像分類模型Ⅰnception v3、VGG16、VGG19和ResNet50相比，RN-21CNN在的檢測性能更好。

上肢骨折輔助診斷中最常用的目標檢測模型為雙階段模型Faster R-CNN，研究者多對其進行改進以提高檢測性能。Thian等[15]將Faster R-CNN模型的主干網絡替換為Ⅰnception ResNet v2，模型能夠以高靈敏度檢測和定位腕部X 射線中的橈骨和尺骨骨折。楊鋒[65]將Faster R-CNN 模型的主干網絡替換為ResNet101，模型在橈骨遠端骨折分類中的準確率達到88.07%。楊昆等[66]在Faster R-CNN 模型中加入導向錨定以生成更精確的邊界框，并將主干網絡替換為ResNet101，模型在檢測掌指骨骨折時可以達到69.3%的檢測精度。此外，為開發出最兼容的腕部骨折檢測模型，Hardala等[27]基于目標檢測平臺MMDetection 實現了26 種不同的骨折檢測模型，包括有無數據增強的20 種目標檢測模型，5 種不同的集成模型，以及提出的腕部骨折檢測模型WFD-C，WFD-C 模型實現了最佳的檢測效果。Min 等[67]使用兩階段集成深度學習框架在腕部X 射線中自動區分關節內和關節外橈骨遠端骨折，模型首先使用YOLO v5網絡的集成模型定位橈骨遠端感興趣區域，然后使用EfficientNet-B3 網絡的集成模型將影像分類為關節內和關節外骨折。與使用ResNet18、DenseNet169、Swin Transformer 和EfficientNet-B0、B1、B2、B4 的兩階段分類框架相比，模型性能更佳。Ju 等[68]基于YOLO v8 模型在兒童腕部X射線中進行骨折檢測，并采用調整圖像亮度和對比度等數據增強手段提高其性能，模型在骨折檢測中的表現優于YOLO v5 和未采用數據增強的YOLO v8 模型，并基于此開發了檢測兒童腕部骨折的應用程序，輔助臨床醫生解讀腕部X射線。

如表4，對深度學習在上肢骨折診斷中應用的文獻進行了梳理。

表4 深度學習在上肢骨折診斷中的應用Table 4 Application of deep learning in upper limb fracture diagnosis

4.2 在下肢骨折診斷中的應用

下肢骨折會影響人的行動，造成生活困難。常見的下肢骨折主要有髖部骨折和足踝骨折等，髖部骨折一般指股骨轉子間骨折、骨盆骨折以及股骨頸骨折，約占骨科手術患者的20%，是我國老年人群發病率最高的骨折類型，下肢骨折漏診率與上肢骨折相似[6]，急需引起社會的關注。

近年來，改進圖像分類模型進行下肢骨折診斷的研究取得了較多成果。Urakawa 等[17]訓練VGG16 模型檢測股骨轉子間骨折，使用數據增強、L2正則化和提前停止三種策略避免模型對訓練集的過擬合，準確率超過了臨床骨科醫生。Bae 等[20]在ResNet18 模型中添加注意力模塊CBAM++進行股骨頸骨折檢測，模型性能得到提升，并通過Grad-CAM[69]提供可視化結果。Beyaz等[70]在檢測股骨頸骨折的研究中加入遺傳算法來優化模型所用架構的超參數，隨著遺傳算法的加入，模型的準確率由77.7%增加至79.3%，分類性能得到提升。Cheng等[71]結合DenseNet、點監督和FPN，開發了首個在骨盆X 射線中識別各類骨折的深度學習模型PelviXNet，模型在檢測骨盆和髖部骨折時表現與臨床醫生相當，且能夠對醫生誤診的骨折進行檢出。Ashkani-Esfahani 等[72]比較Ⅰnception v3 和ResNet50 模型對不同類型踝關節骨折的檢測性能，Ⅰnception v3可以檢測到98.6%的隱匿性踝關節骨折，整體性能優于ResNet50。此外，部分研究者對影響模型性能的因素進行探究。Kitamura 等[23]訓練Ⅰnception v3、ResNet 和Xception 等5 種不同的CNN模型并對其進行集成，對于單個病例的全部3個視圖，集成模型準確率為81%，在數據集規模較小的情況下，多視圖補充信息提高了模型的準確率。Adams等[18]比較AlexNet和GoogLeNet在不同規模的髖部X射線數據集中檢測股骨頸骨折的準確性，隨著數據集的增大，AlexNet和GoogleNet的準確率分別從81.9%和88.1%提高到89.4%和94.4%。Olczak 等[73]根據2018 版AO/OTA標準將踝關節骨折分為A、B、C 3 種類型，基于改進的ResNet 架構進行踝關節骨折具體類型分類。由于A 型骨折樣本量不足，模型無法充分學習A 型骨折的特征，因此A型踝關節骨折的檢測性能最差。

關于使用分割模型輔助骨折診斷，首先訓練CNN模型對影像中的股骨頸區域進行定位和分割，然后使用分類模型對分割圖進行分類。Prijs 等[74]同樣采用兩階段模型，第一階段CNN用于篩選難以識別的骨折，基于選擇出的影像訓練第二階段的模型Mask R-CNN，以此對踝關節骨折進行分類、檢測和分割。在包含不確定病例的外部驗證集中，模型準確率為89%。

如表5，對深度學習在下肢骨折診斷中應用的文獻進行了梳理。

表5 深度學習在下肢骨折診斷中的應用Table 5 Application of deep learning in lower limb fracture diagnosis

4.3 在肋骨骨折診斷中的應用

肋骨骨折是胸部受創后最常見的損傷，多與車禍、暴力等事件有關，肋骨骨折的死亡率高達20%～50%，急需先進手段輔助診斷[75]。采用CT作為依據進行診斷可以提高骨折檢出率，減少漏診和誤診[76]。然而評估大量CT 以檢測肋骨骨折是一項細致且耗時的工作，可能導致患者無法獲得及時有效的治療，從而引發肺部感染等各種并發癥。因此，及時準確地對肋骨骨折做出診斷具有顯著意義。

在肋骨骨折檢測研究中，Weikert 等[77]訓練兩階段DCNN模型檢測急性和慢性肋骨骨折，模型首先使用基于ResNet的3D DCNN篩選疑似骨折區域，然后對疑似區域進行分析得到最終輸出，可以檢測到書面CT 報告中未提及的急性肋骨骨折，減少漏診誤診。此外，研究者多采用目標檢測模型Faster R-CNN進行肋骨骨折檢測。Zhou 等[78]研究表明，Faster R-CNN 在肋骨骨折檢測和分類中的性能優于YOLO v3，因此研究中選擇Faster R-CNN 模型進行輔助診斷，并輸出具有一定可解釋性的結構化報告，在模型輔助下，放射科醫生的診斷準確率提高了10.8%。Zhang 等[79]利用由Foveal 網絡和Faster R-CNN組成的自動肋骨骨折檢測模型輔助放射科醫生閱讀CT，模型輔助下，肋骨骨折檢出率可以增加4.8%～6.1%。

在使用圖像分割模型輔助肋骨骨折檢測的研究中，Jin 等[30]構建3D U-Net 深度學習模型FracNet，利用RibFrac 數據集訓練模型以檢測和分割肋骨骨折，模型輔助下臨床醫生的診斷時間減少了86%，且具有更高的診斷準確率。Yao 等[80]構建三步肋骨骨折檢測模型，模型首先采用U-Net 對胸部CT 進行分割，然后在影像中定位肋骨位置以排除鄰近骨骼的干擾，最后采用3D DenseNet 模型對肋骨骨折進行分類。對于只有很少異常像素點的細小骨折模型也具有較好性能，能夠以86.9%的精確率檢測骨折。Lin 等[22]基于DCNN 模型進行肋骨骨折定位和診斷，首先使用改進的V-Net網絡在預處理后的CT中進行肋骨區域分割，然后使用VRN-Net進行關鍵點檢測，結合關鍵點框定肋骨骨折位置，最終輸出骨折類別和定位框，模型可以自動標記骨折位置，減輕醫生手動定位的負擔。

如表6，對深度學習在肋骨骨折診斷中應用的部分文獻進行了梳理。

表6 深度學習在肋骨骨折診斷中的應用Table 6 Application of deep learning in rib fracture diagnosis

4.4 在椎體骨折診斷中的應用

椎體骨折是一類脊柱骨折，常見于青壯年男性，發病率隨年齡的增大而增加。雖然椎體骨折發病率較高，但因癥狀較輕而往往不被察覺，如僅引起輕微的疼痛。除非專門進行椎體骨折檢查，在其他部位拍攝的影像中較難對椎體骨折進行識別[81]。因此，醫生在診斷椎體骨折時應保持警惕。

關于圖像分類模型，劉珂等[82]將脊柱矢狀位CT 中的病變椎體手動標記為ROⅠ并生成邊界框，輸入基于ResNet50 的深度學習模型中檢測是否存在脊柱良惡性壓縮骨折，分類準確率為88%。近些年來，采用目標檢測模型進行椎體骨折輔助診斷受到較多研究者的關注。Sha等[83]基于改進的YOLO v3模型在CT中檢測和定位椎體骨折，使用病灶邊界框維度聚類對CT 進行多尺度變換，以提高病灶檢測準確率，模型平均精度達到73.63%。Li等[56]開發椎體骨折自動檢測模型，模型由三部分組成，分別是用于檢測椎體骨折的YOLO v3 網絡部分、自動數據預處理部分和進行椎體骨折分類的集成模型部分，診斷過程只需發送影像至模型和點擊查看結果，整個過程耗時90秒，診斷性能優異。Chen等[50]訓練基于Faster R-CNN 的模型進行胸腰椎骨折分類，對于ABC型分類，模型的總體準確率為86.4%，可以用于CT中胸腰椎骨折的輔助診斷。

如表7，對深度學習在椎體骨折診斷中應用的文獻進行了梳理。

表7 深度學習在椎體骨折診斷中的應用Table 7 Application of deep learning in vertebral fracture diagnosis

4.5 在疑難骨折診斷中的應用

疑難骨折是指因骨折線不明顯、骨折類型不明確、骨折位置復雜或危險等因素，導致診斷過程存在一定困難的骨折。深度學習可以幫助醫生在影像不清晰的情況下發現骨折線，檢測到細微骨折或復雜骨折，解決因醫生經驗不足造成的漏診誤診問題，降低醫療事故發生的風險。

在細微骨折檢出中，模型輔助閱片的骨折檢出率優于醫生獨立閱片[84]。撕脫性骨折通常發生在關節附近，由于肌肉或韌帶牽拉導致，不易被察覺。對于三角骨和脛骨撕脫性骨折，Ren 等[85]訓練兩階段DCNN 進行骨折檢測，模型首先在影像中定位出ROⅠ，之后利用分類網絡對ROⅠ進行分類，在ROⅠ中進行操作可以改善細微骨折的檢測性能。下頜骨處解剖結構復雜，骨折線較小，Wang等[86]訓練U-Net模型進行下頜骨亞區的分割，在覆蓋范圍較大的面部CT 提取9 個解剖區域的圖像塊，之后在各個圖像塊上應用ResNet 模型進行骨折線檢測，9 個子區域中下頜骨骨折檢測的準確率為93.87%～98.28%。鼻部骨折是另一種常見的面部骨折，鼻部體積較小，解剖結構細微，Nam 等[87]訓練深度學習模型檢測鼻部骨折，采用EfficientNet-B7 模型在每個視圖中進行特征提取，將特征送入多層感知機進行分類，模型表現與臨床放射科醫生相當，此外模型使用Grad-CAM進行可視化，增加了可解釋性。陶建華等[88]基于2.5D特征金字塔網絡[89]進行鼻部骨折定位，建立人工智能輔助檢測模型，模型輔助下低年資醫生的鼻部骨折檢出率得到提升。

由于受傷位置的特殊性和治療過程的復雜性，遠端骨折、關節周圍骨折、骨盆骨折、脊柱骨折等本質也是一類疑難骨折。Duron 等[90]采用排除明顯骨折的數據集，基于Detectron2平臺訓練模型，檢測和定位不易被觀察的附肢骨折，模型輔助下臨床醫生的診斷靈敏度提高了8.7%。Raisuddin等[91]設計腕部骨折診斷模型DeepWrist，在一般案例腕部X射線中進行訓練后，模型在一般案例測試集中性能優異，在需CT 進一步確認的疑難骨折數據集中進行測試時，模型表現不佳。對于需使用CT 進一步確認的疑難骨折，其延長了確診時間，加重了患者的痛苦。

對骨折進行手術治療時，醫生通常會采用切開復位和固定的方式，因此，在術后病人拍攝的醫學影像中通常會涉及到金屬、石膏等硬件的識別，影響醫生閱片。Kitamura等[92]訓練基于DenseNet121的模型自動識別骨盆X 射線中的骨折位置和硬件，并檢測骨盆和髖臼骨折。此外，文獻[35]和文獻[55]均涉及植入物檢測。Ren等[93]對11篇包含骨科植入物分類的文獻進行分析，文獻中模型的總體精度在0.804～1.000 之間，與外科醫生的表現相類似。深度學習在植入物識別方面能夠為醫生提供極大幫助。

如表8，對深度學習在疑難骨折診斷中應用的文獻進行了梳理。

表8 深度學習在疑難骨折診斷中的應用Table 8 Application of deep learning in difficult fracture diagnosis

4.6 小結

深度學習在各類骨折診斷中已取得諸多先進成果，表4到表8中對不同骨折診斷中應用各類深度學習方法的文獻進行了總結。結合表4 到表8，本節對深度學習方法在各類骨折診斷中的具體應用進行了介紹。其中，圖像分類模型關注整幅影像，通過影像分類實現各類骨折的自動識別，具有較高的準確率和穩定性，可以加快醫生的診斷速度，但圖像分類模型無法提供骨折位置和骨折線形狀等詳細信息。通過圖像分類模型輔助骨折診斷思路簡單，在各表中占比最大，應用最廣泛。目標檢測模型可以同時獲得骨折的位置和類別信息，更便于臨床醫生進行骨折診斷。但目標檢測模型在處理大規模數據時需要更多的計算時間和資源，對不常見骨折類型或細微骨折辨識能力較弱。結合各表格可知，骨折診斷研究中應用的目標檢測模型較為固定。對于同一目標檢測模型，研究者多通過使用不同的圖像分類模型作為主干網絡或分類器，以不斷提升模型性能。圖像分割模型可以提供更詳細的骨折輪廓和解剖結構信息，幫助醫生了解骨折的范圍和嚴重程度。圖像分割模型在骨折診斷中更多作為輔助模型與圖像分類模型共同使用，在分割圖中繼續應用圖像分類模型可以實現更好的檢測效果。但圖像分割模型在處理復雜場景時存在挑戰，如多個骨折間重疊或遮擋。觀察表格可以發現，骨折診斷研究中圖像分割模型的應用較少，有待研究者深入探討。

5 骨折輔助診斷系統

骨折輔助診斷系統主要由深度學習模型、用戶界面、影像處理模塊和可視化模塊組成。為確保輔助診斷模型的準確性和魯棒性，訓練完成的深度學習模型需要進行充分的驗證和測試，根據測試結果優化模型參數或更改模型架構以提升其性能。模型性能達到預定標準后，可以將其部署到用戶友好的系統中，并根據醫生和臨床需求進一步完善系統功能。在骨折輔助診斷系統中，輸入系統的患者影像經影像處理模塊進行預處理后送入深度學習模型中。系統根據模型的預測結果提供相關的診斷信息，并對模型預測結果進行可視化呈現給臨床醫生。

骨折輔助診斷系統的應用需在真實臨床環境中進行嚴格的驗證，并根據用戶反饋不斷優化和改進，以滿足醫生和患者的需求，確保其在真實的醫療環境中具備足夠的安全性和有效性。目前，基于深度學習的骨折輔助診斷系統開發已取得一定的成果，如Tomita等[94]設計自動骨折評估系統，在胸部、腹部和盆腔CT影像中附帶檢查患者是否存在骨質疏松性椎體骨折。Arpitha 等[95]提出計算機輔助診斷系統，在影像中對腰椎區域進行檢測、標記和分割，并進一步地判斷該患者是否患有良、惡性脊柱壓縮性骨折等。近年來骨折輔助診斷產品也逐漸獲批上市，部分研究者對不同產品的性能進行評估，如劉想等[96]采用上海聯影智能的uAⅠ-BoneCare 骨折輔助檢測系統在CT 影像中檢測肋骨骨折，對肋骨骨折的不同分型進行分類[97]；吳育鑫等[98]和張倩等[99]采用推想醫療科技的ⅠnferRead DR Chest在DR胸片中檢測肋骨骨折；譚輝等[100]采用推想醫療科技的Ⅰnfer Read CT Bone Research 診斷急性肋骨骨折；朱雅茹等[101]采用依圖醫療開發的輔助診斷系統對肋骨骨折病灶處進行分割、識別和標注，輔助醫生進行診斷。此外，在X射線中檢測骨折的OsteoDetect、FractureDetect 和BoneView 軟件[102]也受到廣泛關注。

在骨折輔助診斷系統的幫助下，具有不同經驗的臨床醫生之間閱片一致性得到提升，彌補了臨床醫生經驗不足的缺點，縮短了診斷時間，提高了診斷效率和質量。ⅠDC統計數據顯示，到2025年醫療行業將占人工智能應用市場的五分之一[103]，深度學習應用于骨折診斷具有巨大發展潛力，有望在未來成為醫療健康領域的重要支撐技術。但骨折輔助診斷系統仍然不能完全替代醫生診斷，僅可用于提供輔助診斷意見。

6 挑戰與展望

深度學習輔助骨折診斷的研究已經取得了令人滿意的進展，可以彌補各級骨科醫生臨床經驗的不足。盡管如此，其訓練和應用仍存在諸多挑戰。

（1）數據集不足。由于骨折影像數據集規模相對較小，類別不平衡，諸多先進的監督模型無法在骨折診斷中應用。雖然各類數據增強或微調手段對模型的性能有一定改善，但如何緩解數據集不足問題對模型性能帶來的影響仍值得深入研究。

（2）可遷移性不強。在與訓練環境不同的臨床環境中進行性能測試時，模型性能往往會下降。目前大多研究使用特定數據集提高模型可遷移性，然而收集不同臨床環境中的特定數據集進行模型訓練成本高昂，不切實際。因此，需要從數據、模型結構、訓練方法等方面，深入研究如何優化特定環境下的模型性能，進而提高模型的可遷移性。

（3）可解釋性不足。目前對于模型可解釋性的研究較少，研究多通過熱力圖、類激活圖等可視化方法增強模型的可解釋性，幫助醫生快速了解病灶，定位骨折位置，但是這些方法僅僅是對模型預測結果的表面解釋，無法完全揭示模型的決策過程和內部機制。因此，深度學習輔助骨折診斷模型的可解釋性是該領域的一大挑戰，仍需深入研究。

（4）應用范圍有限。醫療機構通常不會根據骨骼部位和影像類型對骨科醫生進行職責細分，但骨科醫生需要對任意部位的影像做出迅速判斷?，F有的研究大多針對特定類型的骨折和影像，未涉及到所有骨折部位。此外，骨科醫生進行骨折診斷時往往需要結合患者病史、臨床檢查等信息，目前開發的模型主要針對單一影像類型。因此需要設計和開發多模態骨折診斷模型，覆蓋更多類型的骨折，提高診斷精度。

針對上述討論，在深度學習輔助骨折診斷的未來研究中提出以下幾點展望。

（1）建立高質量的多源骨折影像數據集。當下骨折影像數據的存儲越來越系統和完備，為收集來自不同機構或不同臨床環境的多源影像數據建立了基礎。建立高質量多源骨折影像數據集有利于提高深度學習模型的性能，促進更多先進模型應用于骨折診斷研究。

（2）利用生成式模型進行數據增強。采用先進的圖像生成技術進行數據增強可以有效擴充骨折影像數據集規模，提高模型的泛化性。近期，Diffusion 模型在圖像生成任務中展示出強大的性能。利用Diffusion 模型進行醫學影像生成可以緩解數據集的匱乏，進而與影像檢測、分類、分割等各任務相結合。

（3）研究基于Transformer 的模型在骨折輔助診斷中的應用。與CNN 模型相比，Vision Transformer 等基于Transformer的模型在訓練時往往需要更大的數據集和更長的預訓練時間，但此類模型已在圖像檢測和分類任務中展現出優于CNN 的性能，使用基于Transformer的模型輔助骨折診斷有待深入研究。

（4）應用自監督和無監督方法。自監督和無監督方法是深度學習中重要的范式，能夠有效降低深度學習模型對標注數據集的依賴，提升模型的可遷移性。探討其作為新架構在骨折輔助診斷中應用的研究有待進行。

（5）研究深度學習輔助骨折診斷模型的可解釋性。深度學習模型的可解釋性有助于醫生更好地理解模型診斷結果，做出更合理的判斷。同時可以提高公眾對于輔助診斷模型的信任度和接受度，促進深度學習輔助診斷系統的開發和應用。

（6）開發多模態輔助診斷模型。進一步研究適合不同身體部位、接收不同類型影像、病例、臨床信息等多模態數據作為輸入的骨折輔助診斷方法，為醫生提供更好的輔助診斷工具，幫助醫生進行更精準化的診斷，進一步提高醫療服務質量。

7 結語

為減少骨折診斷中漏診誤診的發生，最大限度保障患者的生命健康安全，近年來，深度學習在骨折診斷領域得到了快速發展。本文首先介紹骨折影像及相關數據集，對國內外有關深度學習在骨折診斷領域應用的文獻進行歸納，將基于深度學習的骨折診斷方法分為圖像分類模型、目標檢測模型和圖像分割模型三類。訓練圖像分類模型和目標檢測模型在影像中進行骨折的檢測和分類，是近年來關注最多的研究方法。圖像分類模型將影像結構化為某一特定類別，思路相對簡單，直接給出該影像是否存在骨折或存在何種骨折，缺點是無法提供骨折線位置和形態等具體信息。目標檢測模型可以同時獲取影像中骨折的位置和類別，通過替換主干網絡和分類網絡可對模型進行不同程度的改進，輸出的檢測結果更加直觀，便于臨床醫生直接使用。圖像分割模型首先生成影像的分割圖，在分割圖中進一步進行骨折的檢測和定位，輸出結果更準確，包含更豐富的解剖和輪廓結構信息，近年來逐漸受到關注。然后，基于三類不同的深度學習方法對其在骨折診斷領域的具體應用進行了詳細介紹，并概述了骨折輔助診斷系統的構成和開發。通過對已有方法和文獻的分析，對深度學習在骨折診斷領域存在的挑戰進行討論，并指出未來的發展展望。

深度學習在骨折診斷領域已取得豐富的研究成果，模型性能可與經驗豐富的臨床醫生相當，并實現了輔助診斷系統的開發。然而深度學習方法在骨折診斷中的應用仍面臨數據集不足、可遷移性不強等諸多挑戰，有較大的提升空間，需要學者們進一步研究和創新。