改良Transformer模型應用于乳腺結節超聲報告自主生成的可行性研究

王 怡 周鑫儀 徐黎明 鄧 丹 冉海濤

女性乳腺癌已成為全球最常見的癌癥之一，早期篩查可有效降低其死亡率［1-2］。超聲因具有成本低、操作便捷、無輻射等優點，目前已成為篩查乳腺癌的重要工具。但是超聲診斷具有一定主觀性，故解決乳腺癌篩查中的巨大工作量，并提高診斷準確率，減少漏誤診，成為超聲醫師面臨的一項重大挑戰。人工智能和深度學習在提高乳腺癌篩查效率和準確性方面具有巨大潛力。圖像描述的深度學習方法能夠將計算機視覺與自然語言處理相結合，生成描述圖像內容的文本信息。圖像描述在自然圖像領域已取得了較大的研究進展，這一技術目前逐漸運用于醫學領域，使醫學圖像描述模型得以設計和實現。本研究首次將改良Transformer模型［3］應用于乳腺結節超聲報告自主生成，并對其可行性進行初步探討。

資料與方法

一、研究對象

選取2021 年6 月至2022 年10 月我院經手術病理證實的乳腺結節患者832例，均為女性，年齡11～85 歲，平均（42.4±13.6）歲；共1284 個結節，其中良性984 個，包括纖維腺瘤590 個、腺病199 個、囊腫12 個、其他良性疾病183個；惡性300個，包括浸潤癌253個、原位癌24 個，其他惡性腫瘤23 個；BI-RADS 2 類13 個、3 類592個、4A類379個、4B類117個、4C類127個、5類56個；結節最大徑2～100 mm，中位數13（12）mm；共獲得乳腺結節二維超聲圖像1284 張，均以JPG 格式存儲（圖像質量＞30 kb）。圖像納入標準：①圖像清晰，結節可識別；②每張圖像中僅包含1個結節。排除標準：①未完整包含目標結節；②結節顯示不清晰，不可分辨。為避免不同超聲模式下圖像質量不同所造成的偏倚，本研究僅納入二維超聲圖像。本研究經我院醫學倫理委員會批準，為回顧性研究故免除患者知情同意。

二、儀器與方法

1.數據集采集：使用Philips EPIQ7、EPIQ7C及邁瑞Resona 7T 等彩色多普勒超聲診斷儀，M12L、ML615、L125、L175 線陣探頭，頻率5～17 MHz?；颊呷⊙雠P位，充分暴露胸部，獲取乳腺二維超聲圖像，記錄結節大小、形態等基本特征。收集整理超聲圖像和相應的文本報告構建乳腺結節數據集，為了保證人工智能模型能夠更好地讀取目標結節的文字描述，分別由具有3年和5年工作經驗的超聲醫師對報告進行規范整理，并從邊界、邊緣、方向、內部回聲、后方回聲特點、鈣化及提示診斷等方面對每個乳腺結節進行描述；此外，其他具有判斷結節性質的個性化描述也將記錄在報告中。為了方便引用，本研究將這一數據集命名BND。BND 數據集中乳腺結節圖像及對應的報告描述見圖1。為了評估模型在其他組織中的性能，本研究引入了LGK 數據集［4］。LGK 為來自中國重慶市三級甲等醫院的超聲數據集，包含6000多張超聲圖像及相應的診斷報告，涵蓋了肝臟、膽囊和腎臟3類臟器的正?；虿∽冑Y料。所有圖像的大小均調整為360×360像素。

圖1 BND數據集中乳腺結節超聲圖像、報告描述及病理結果

2. 研究方法：本研究基于Meshed-Memory Transformer［3］，改良Transformer 模型框架圖如圖2 所示，將超聲圖像作為輸入，經過級聯編碼器-解碼器結構，最終輸出對應的診斷報告。為了使模型重點關注圖像病灶區域，特引入自注意力機制。具體而言，編碼器負責對輸入圖像中的區域進行處理，解碼器從每個編碼層的輸出讀取，逐字生成診斷報告。由于自注意力機制不能建立圖像區域之間關系的先驗知識模型，為了克服這一局限性，本研究利用記憶增強注意算子，同時擴展自注意力機制中的鍵和關鍵值，從而編碼先驗信息。在視覺編碼器中，圖像區域之間的關系是利用所學的先驗知識以多層級的方式進行編碼，而先驗知識則通過持久的記憶向量進行建模。解碼器以先前生成的字和區域編碼為條件，并負責生成輸出標題的下一個標記。具體步驟為：①將每個標準切面圖像特征重塑為一系列平坦的塊，得到一個塊序列；②在每個塊序列中拼接一個可學習塊拼接作為圖像表示；③將可學習的一維位置信息添加到塊序列中以保存位置信息；④將獲得的塊序列作為編碼器的輸入進行特征識別；⑤解碼器從每個編碼層的輸出中讀取，并逐字生成輸出字幕。

圖2 改良Transfomer模型框架圖

3.實施細則：遵循圖像描述的實踐標準，使用詞級交叉熵損失（XE）預先訓練模型，并使用強化學習對序列生成進行微調。當使用XE 進行訓練時，模型在給定先前真實單詞的情況下預測下一個標記，在這種情況下可以立即獲取解碼器的輸入序列，并且一次性完成整個輸出序列的計算，隨著時間的推移并行化所有操作。數據集按7∶1∶2 的比例隨機分為訓練集、驗證集及測試集，訓練集用于優化模型中的可學習參數，驗證集用于調整超參數并選擇最佳模型，測試集用于評估使用驗證集選擇的模型性能。

所有試驗均在Intel（R）Xeon（R）Gold6148 CPU 上進行，共有20個內核和8個Tesla V100-SXM2 GPU，使用相同的設置以確保公正性和客觀性。為了訓練模型，本研究使用Adam 優化器（β1，β2）=（0.9，0.99）。初始學習率設置為10-4。C-GAN 中有2 個超參數。本研究直接計算最優參數并搜索帕累托最優以節省時間，減少人工。

三、評估標準

為了驗證改良Transformer 模型的有效性，本研究將其與目前最優秀的幾種隱算數方法包括Ensemble Model［5］、SSD［6］、R-FCN［7］、TieNet［8］、Kerp［9］、VTI［10］、RNCM［11］進行比較。選擇自然語言生成指標BLEU［12］評分評估各模型性能。BLEU 可以分析生成句與參考句之間的n-gram 相關性。每個超聲圖像對應一個參考句，使用BLEU-1、BLEU-2、BLEU-3 和BLEU-4 評分分別表示試驗中1-gram、2-gram、3-gram 和4-gram的相關性。

結果

一、不同模型在BND 數據集中BLEU-1～BLEU-4評分比較

Ensemble Model、SSD、R-FCN 和改良Transformer模型用于BND 數據集中BLEU-1～BLEU-4評分見表1，其中改良Transformer 模型的BLEU-1～BLEU-4 評分均高于其他三種模型。

表1 不同模型在BND 數據集中BLEU-1～BLEU-4評分

二、不同模型在LGK 數據集中BLEU-1～BLEU-4評分比較

TieNet、Kerp、VTI、RNCM 和改良Transformer 模型用于LGK 數據集中BLEU-1～BLEU-4 評分見表2，其中RNCM 模型的BLEU-1 評分最高，VTI 模型的BLEU-2、BLEU-3中評分最高，Kerp模型的BLEU-4評分最高，改良Transformer 模型的BLEU-1～BLEU-4 評分均較高。

表2 不同模型在LGK 數據集中BLEU-1～BLEU-4評分

三、生成超聲報告結果展示

改良Transformer 模型在BND 數據集中可以生成描述乳腺結節超聲特征的文字報告，在LGK 數據集中可以識別病灶部位并診斷疾病類型。生成報告與臨床報告見圖3，4。

圖3 改良Transformer模型在BND數據集中生成的報告案例展示

圖4 改良Transformer模型在LGK數據集中生成的報告案例展示

討論

計算機輔助診斷（computer-aided diagnosis，CAD）技術已成熟運用于臨床工作當中，傳統的CAD 是基于指定的特征匹配識別可疑病灶的算法，其局限性是需要程序員指定惡性腫瘤的特征，這是一個繁瑣且主觀的過程，同時采用人工指定的數學公式難以捕捉人類識別乳腺癌的所有跡象，新一代人工智能算法的引入克服了這一局限［13］。新一代深度學習算法可以從醫學圖像中提取特征，并能更準確和快速地執行分類、檢測、分割及可視化任務［14-16］，這一過程是客觀和數據驅動的，因此較傳統方法具有更高的性能。為了對圖像做出更全面、詳細的分析，各研究開始聚焦圖像描述領域。圖像描述模型是通過識別圖像并提取圖像特征，在識別目標之間的關系后生成文本描述，即有序形式的單詞序列。圖像分類和分割雖在語義層面取得了一定進展，但對醫學圖像的理解較為片面，與上述任務相比，超聲圖像報告生成更加困難，因為描述不僅要識別圖像中包含的對象，還要分析這些對象之間的關系和屬性［5］。目前圖像描述的主流方式是基于神經網絡的編碼器-解碼器模式。編碼器主要為具有獲取圖像特征的卷積神經網絡（convolution neural network，CNN），如RCNN、FCN等；然后利用解碼器，如循環神經網絡（recurrent neural network，RNN）或長短期記憶網絡（long short term memory，LSTM）生成圖片中的語義描述。Zeng等［4］提出了一種基于區域檢測的超聲圖像字幕生成方法，該方法利用Faster RCNN 同時執行區域檢測和圖像編碼任務，然后利用LSTM 對編碼向量進行解碼，并生成超聲圖像中疾病的注釋文本信息，明顯提高了工作效率。但是基于RNN 和CNN模型的表示能力和順序性有限。2017 年，谷歌提出了Transformer 模型［17］，該模型基于自注意力機制，摒棄卷積和池化等網絡架構，可以實現輸入和輸出的全局依賴關系，具有更高的并行化能力，使模型訓練達到突出效果［18］?；赥ransformer 的體系結構代表了序列建模任務的最新進展，但標準Transformer 模型在圖像描述多模態環境中的適用性仍待進一步研究，圖像描述的多模態特性需特定的體系結構，為了解決這一問題，Cornia 等［3］以Transformer 為靈感，并總結了以往所有圖像描述算法相關的2 個關鍵亮點：①圖像區域及其關系采用多級方式編碼，對這些關系建模時采用持久性記憶向量來學習和編碼先驗知識；②語句的生成采用多層結構，這一過程通過學習門控機制實現，其可以在每個階段對多層級的貢獻進行加權。由此創建了編碼器層與解碼器層之間的網狀連接模式，這種連接模式在其他完全注意力機制中前所未有，并將其命名為“Meshed-Memory Transformer”，其在COCO數據集中的測試獲得了在線排行第一的成績。因此，本研究擬將這種改良Transformer 模型運用于乳腺結節超聲報告自主生成，并對其可行性進行初步探討。

為了構建更類似于實際臨床超聲報告的數據集，本研究對乳腺結節的超聲特征描述進行了細化，生成報告中包含了對乳腺結節邊界、邊緣、內部回聲等表現的描述，對比LGK 數據集中比較單一的疾病特征及種類，乳腺結節具有更復雜多變的超聲表現，結節的正確識別需更深刻的機器理解。根據兩組數據集的特點，為了公平比較，篩選TieNet、Kerp、VTI、RNCM 模型作為LGK 數據集的比較方法。在BND 數據集中，改良Transformer 模型的BLEU-1～BLEU-4 評分均高于其他模型，其中BLEU-1、BLEU-2 評分均＞0.4 分，說明圖像報告中的詞匯能夠較好地重現，可以評價為高質量的翻譯。LGK 數據集中，改良Transformer模型均獲得較好的BLEU評分，且BLEU-2～BLEU-4 評分均較穩定。BLEU-1 評分最高的是RNCM 模型，該種模型利用CNN/RNN 模型，通過循環級聯模型從圖像和報告中挖掘和預測標簽，然而該方法運算較為繁瑣，且在n-gram（n＞1）相關性評估中評分均不高。通過具體分析生成的報告，并與原數據集中的報告進行對比分析，總結生成報告的一般情況如下：在BND 數據集中，報告對乳腺結節進行了詳盡的描述，句子一般較長，通過對生成結果進行分析發現改良Transformer 模型對乳腺病灶的常規描述較為全面，能夠準確定位結節，并對結節的回聲、邊界、邊緣等進行較為準確的判斷，對于典型的結節能夠給出準確的診斷。而對于一些個性化描述，如“內可見細小點狀弱回聲”，生成報告中僅描述為“弱回聲”，這可能與數據集中個別特征描述數據較少，未能達到充分訓練有關。針對類似問題，Najdenkoska 等［10］對影像圖進行概率建模來改善解釋過程中存在的多樣性和不確定性，以解決確定性編碼器-解碼器模型傾向于過擬合數據而產生一般結果，這種方法在本研究LGK 數據集中的BLEU-2、BLEU-3 評分也最高。本研究有1 份臨床報告中對病灶的描述為“混合回聲”，而生成報告中則為“低回聲”，這可能與超聲的動態掃查有關，一些在圖像中表現為低回聲的病灶，在進行探頭加壓等操作后會發現其具有液體成分，僅通過靜態圖片分析難以辨別。實時動態掃查是超聲檢查區別于其他影像學檢查方法的重要優勢，但動態圖像的分析必將進一步增大運算負荷，這也是人工智能運用于超聲圖像領域所面臨的一項巨大挑戰。

LGK 數據集涵蓋了肝臟、膽囊和腎臟的正?；虍惓D像，對應的描述簡潔明了，字符較短，如“正常肝臟”“膽囊結石”“膽囊壁稍高回聲，膽囊息肉樣病變”。通過人工分析發現，生成報告能夠準確地識別臟器并給出相應疾病診斷，但也存在部分報告對疾病識別錯誤，如將“膽囊結石”識別為“膽囊息肉樣病變”，或者部位識別缺失，如“正常膽囊”僅給出“正?！钡那闆r。

本研究的局限性：①為單中心研究，樣本量較小，且因乳腺結節疾病種類偏倚，使得部分樣本訓練不足，如傾向于良性的BI-RADS 3 類結節占整個數據集的46.1%，病理結果證實為纖維腺瘤的結節占該數據集的45.9%，而其他惡性結節僅占1.7%，模型對這部分小樣本量結節的診斷性能有待改進，待今后收集更多少見結節數據，進一步提升模型的診斷性能；②為回顧性研究，超聲報告的規范設計受限，待今后更大樣本量的前瞻性試驗的開展；③采用的改良Transformer模型中未加入分類模塊，無法對結節進行有效分類，故本研究未納入BI-RADS 分類，因此無法對生成報告與臨床報告的一致性和準確性做出詳細的統計學分析。

綜上所述，本研究首次將改良Transformer 模型用于乳腺結節超聲報告自主生成，其能夠應對圖像多模態特性，準確識別乳腺結節，并生成反映乳腺結節超聲特征的文字描述，同時該模型具有良好的泛化性能。自主報告生成模型可以幫助超聲醫師快速診斷疾病，減少疾病篩查的工作量。從長遠來看，可能在一定程度上改變超聲醫師工作模式，推動檢查技師和診斷醫師崗位細化，實現超聲檢查與診斷的分離，改善超聲醫師工作現狀。