基于乳腺超聲視頻流和自監督對比學習的腫瘤良惡性分類系統

唐蘊芯 ,廖 梅 ,張艷玲* ,張 建,4* ,陳 皓 ,王 煒,4*

（1.南京大學物理學院，南京，210093；2.中山大學附屬第三醫院超聲科，廣州，510630；3.杭州精康科技，杭州，310000；4.南京大學腦科學研究院，南京，210093）

作為最常用的成像模態之一，超聲（Ultrasound，US）是臨床上不可或缺的掃查與診斷工具，具有無損傷、無放射性、低成本等優點.在當前的臨床實踐中，醫學超聲在各個專業科室得到了應用，如心電圖、乳腺超聲、腹部超聲、經直腸超聲、心血管超聲以及產前診斷超聲，尤其廣泛應用于婦產科［1］.一次高質量的超聲成像診斷，不僅要求超聲圖像包含的噪聲和偽影少，還要求機器操作者和診斷醫生具有豐富的臨床經驗.近年來，為了減輕醫生負擔，獲得更客觀、更準確和更高時效性的診斷，人們致力于開發先進的自動化超聲圖像識別方法作為醫生的輔助工具.

深度學習（Deep Learning，DL）是機器學習的一個分支，是一種表征學習方法，能直接從原始數據自動學習不同層次的抽象特征，被廣泛應用于計算機自動圖像識別領域，如分割、分類、目標檢測等等，也包含醫療影像的自動化識別.醫療影像包括CT（Computed Tomography）影片、醫學超聲圖像、核醫學成像、核磁共振成像等，針對特定疾病的診斷算法層出不窮，常見的有肺結核［2-3］、肺結節［4-5］、乳腺結節［6-7］和乳腺癌［8-9］等.目前在圖像自動識別領域中常用的深度學習網絡有兩種，一種是深度卷積神經網絡（Convolutional Neural Networks，CNN），另一種是新興代表ViT（Vision Transformer）［10］，但這些深度網絡的參數量都非常大，一般以百萬（Mega，M）或十億（Giga，G）為單位，這要求用于訓練網絡的數據量要足夠大，否則深度學習網絡會出現過擬合現象，影響模型性能.然而，目前在乳腺超聲領域上，公開的有標簽數據集只有BUSI，DatasetB 和BUSIS.其中，BUSI 數據集［11］由Al-Dhabyani 團隊從600個病人中采集，包含133 張無腫瘤圖像、437 張惡性腫瘤圖像和210 張良性腫瘤圖像，圖像平均像素為500×500；DatasetB 數據集［12］來自西班牙薩巴德爾Parc Tauli 公司的UDIAT 診斷中心，一共有163 張圖像，其中良性110 張，惡性53 張；BUSIS 數據集［13］由哈爾濱醫科大學附屬第二醫院、青島大學附屬醫院和河北醫科大學第二醫院使用多種超聲設備采集，從26～78 歲女性中采集到562 張乳腺超聲圖像.乳腺超聲數據集的嚴重稀缺，給乳腺腫瘤自動識別任務帶來巨大的挑戰.

為了解決上述問題，本文采用自監督對比學習［14-15］和遷移學習［16-17］兩種技術，將訓練分為預訓練和微調階段.和監督學習相比，自監督學習具有無須標注訓練樣本的優勢，能保證大量訓練數據的低成本獲取，結合大容量的深度學習模型可以發揮巨大的潛力.本文在預訓練階段利用自監督對比學習，從一個無標簽的乳腺超聲視頻數據集中學習通用性知識，再將其遷移到下游的乳腺病變良惡性分類任務中.首先，構建一個無標簽乳腺超聲視頻數據集，包含來自200 位病人的1360 個乳腺超聲掃描視頻，視頻長度為8～10 s，從中選出11805 例目標樣本圖片，并對每個目標樣本動態生成相應的正樣本和負樣本.將上述樣本用于對比學習訓練一個三胞胎網絡.在預訓練階段，提出多近鄰采樣及平均化方法來擴充正樣本數量，并基于Hard Negative Mining 和Hard Positive Mining 構建對比損失函數Hard Triplet Loss 以挑選困難正負樣本，加快模型收斂.預訓練完成后，把網絡參數遷移到下游的乳腺腫瘤分類任務中，針對一個小的人工標注數據集進行微調.最后報告模型分類性能，并和基于ImageNet的遷移學習模型和其他SOTA（State-of-The-Art）模型進行了比較.

1 自監督對比學習網絡模型

本文提出的模型包括兩個部分，如圖1 所示.虛線上部是一個三胞胎網絡（Triplet Network），負責利用視頻相鄰幀進行預訓練.預訓練過程中，通過優化卷積網絡，使相似樣本對應的特征在特征空間具有較近的距離，不相似樣本的距離較遠.虛線下部是一分類網絡，其卷積網絡部分與三胞胎網絡共享參數，負責對預訓練后的模型進行微調.

圖1 三胞胎模型的預訓練（上半部分）與微調（下半部分）Fig.1 The pretraining (upper part) and finetuning (lower part) of Triplet Network

1.1 自監督對比學習模型及遷移學習

1.1.1 三胞胎網絡Triplet Network采用三胞胎網絡（Triplet Network），其輸入分別是目標樣本X、正樣本X+和負樣本X-，其中，目標樣本X是從乳腺超聲視頻中任意截取的一幀，正樣本X+是目標樣本X的相鄰幀，負樣本X-一般來自不同視頻.目標樣本和正負樣本共同組成一個訓練批次的預訓練樣本集，將其輸入三胞胎網絡，提取圖像的特征，最后輸出1024 維特征向量f(X+)，f(X)和f(X-).如圖1 所示，這些特征向量對應1024維特征空間中的特征點.

三胞胎網絡本質上是三個共享參數的深度卷積網絡.其中，深度卷積網絡采用密集型網絡DenseNet［18］，包括一個7×7 的卷積層、一個3×3 的池化層和四個Dense Block，相鄰兩個Dense Block 之間插入Transition Layer，最后是全局平均池化和Softmax 分類器.按神經網絡的層數可以分為DenseNet121，DenseNet161，DenseNet169和DenseNet201 等.

1.1.2 損失函數優化預訓練的基本思想為在特征空間中減小目標樣本點與正樣本點的距離，加大目標樣本點與負樣本點的距離.基于此優化目標，本文采用兩種損失函數并進行了比較.一種是目前常用的InfoNCE Loss，另一種是本文新發展的Hard Triplet Loss.

InfoNCE Loss 是一種比較常用的解決多分類問題的對比學習損失函數［19-20］，由解決二分類問題NCE Loss（Noise Contrastive Estimation）損失函數演變而來［21］.InfoNCE Loss 的計算如下［19］：

其中，τ是溫度超參數，控制模型對負樣本的區分度；Cosine(·)是余弦相似度，分別計算目標樣本與正負樣本特征向量的相似性；P，K分別是正、負樣本的總數；分子表示目標樣本和所有正樣本特征向量相似度的總和，分母表示目標樣本和所有正負樣本相似度的總和.目標樣本和正樣本的相似度越大，和負樣本的相似度越小，InfoNCE Loss 就越小，表明預訓練越好.

經典的Triplet Loss 定義如下：

其中，M是自定義優化閾值，M≥0；D(·)是特征距離，比較M值與正負樣本之間特征距離大小.當D(f(X)，f(X-))-D(f(X)，f(X+))≥M，正負樣本的特征距離大于自定義的閾值M，Triplet Loss=0，則模型不需要梯度下降、更新參數；當D(f(X)，f(X-))-D(f(X)，f(X+))＜M，正負樣本的特征距離小于自定義的閾值M，Triplet Loss ＞0，則Triplet Loss 通過懲罰進一步減小目標樣本點和正樣本點的距離，加大目標樣本點與負樣本點的距離.本文采用的特征距離是余弦相似度距離，定義如下：

對于對比學習，每次訓練選取的正負樣本越多，模型的泛化性就越強［19，22］，但一次性把大量圖像輸入三胞胎網絡，對所有圖像計算對比損失，進行梯度下降、更新參數，對機器的存儲和計算要求很高，模型的收斂速度會非常慢.因此，本文在式（2）的基礎上發展了Hard Negative Mining 和Hard Positive Mining.

如圖1 所示，每個樣本經過深度網絡被映射到1024 維特征空間上后，困難的正負樣本被挑選出來參與訓練.具體地，選擇距離目標樣本最遠的P個正樣本以及距離最近的K個負樣本進行訓練，構建新的對比損失函數Hard Triplet Loss：

其中，W是預訓練模型權重，λ是L2正則化系數；，代表困難正樣本均值點.

計算每個困難負樣本與Mean+的Triplet Loss，Hard Triplet Loss 是這些困難樣本的Triplet Loss 的平均.本文中M=0.5，P=K=3，λ=0.0005，為了提高預訓練模型的泛化性能，使用帶動量的隨機梯度下降方法，并使用余弦退火方法平緩下降學習率，下降周期為200，最小學習率eta_min 限制為0.0005.

1.2 參數遷移后微調將預訓練得到的深度學習網絡遷移到下游的乳腺超聲腫瘤良惡性分類任務中.網絡的微調過程具體為：固定前面網絡層參數不變，優化后面部分層參數，并為模型添加一個新的全連接層和Softmax 層，最后輸出判斷為良性、惡性的概率.

2 數據集及訓練方法

2.1 預訓練數據集與SYU 數據集進行微調和測試的數據集包括一個預訓練數據集和一個來自中山大學附屬第三醫院（中大三院）的SYU 數據集.其中，預訓練數據集包含目標樣本數據集、正樣本數據集和負樣本數據集.具體如表1 所示.

表1 預訓練數據集和SYU 數據集的相關信息Table 1 Statistics of pre-training datasets and SYU datasets

2.1.1 目標樣本數據集如表1 所示，目標樣本數據集從200 個病人的1360 個乳腺超聲視頻中構建.目標樣本數據集構建步驟如下.

(1)首先，從每個病人的每個視頻中每隔五幀截取一張圖像，再利用我們之前工作得到的一個DenseUNet 模型［23］來判斷截取的圖像有無腫瘤.

(2)判斷為有腫瘤的圖像暫時保留，待同一個視頻里面有腫瘤的圖像全部篩選完畢，對比所有相鄰的圖像，調用skimage 庫的structural_similarity 方法計算相鄰兩張圖像的相似度.相似度大于0.35 則保存兩張圖像，相似度小于0.35 則拋棄后一時刻的圖像.不斷重復步驟(2)，直到同一個視頻里面所有圖像的相似度都大于0.35.

(3)所有視頻得到的圖像共同構成一個目標樣本數據集，共11805 張，經預處理后統一尺寸為224像素×224像素.圖2 展示了目標樣本數據集中同一視頻相鄰的三張圖像、來自相同病人不同視頻的三張圖像以及來自不同病人不同視頻的五張圖像.

圖2 目標樣本數據集和SYU 數據集的部分乳腺超聲圖像Fig.2 Examples of breast ultrasound images from target sample dataset and SYU dataset

2.1.2 正負樣本數據集如表1 所示，正負樣本數據集根據目標樣本數據集動態生成.具體步驟為：以目標樣本為錨點，從相鄰幀選取正樣本，從不同病人不同視頻隨機選取負樣本.不考慮從相同病人的其他視頻選取負樣本，原因是相同病人不同視頻拍攝的腫瘤相同，拍攝角度和腫瘤呈現的形態雖然不同，但特征信息相似.

數據增強是一種常見的數據擴增技術，可以對現有數據應用一組變換來生成新樣本，如平移、旋轉、變形、縮放、顏色空間變換、裁剪等等，目標是生成更多樣本以創建更大的數據集.一般地，在對比學習中，大量正樣本可通過數據增強生成，但乳腺超聲圖像對數據增強操作十分敏感，除了小角度旋轉和左右翻轉操作，其他數據增強的手段均會破壞腫瘤關鍵的特征信息.為了提高正樣本的數量，保證正樣本的采樣質量，本文提出多近鄰采樣及平均化方法，具體如圖3 所示.

圖3 正負樣本的采樣過程Fig.3 Positives and negatives sampling

多近鄰采樣及平均化方法如下.

（1）以目標樣本為錨點，找到左右相鄰n幀、2n幀等間隔的圖像，對目標樣本和相鄰幀進行小角度旋轉和左右翻轉操作，即圖3 中的AUG1 和AUG2，相鄰幀與AUG1，AUG2 組成第一批次正樣本.

（2）對第一批次中的相鄰幀做均值化處理.均值化處理能進一步突出腫瘤的關鍵特征，也能去除殘留的噪聲.這些相鄰幀均值化圖像加上其數據擴增圖像組成第二批次正樣本，如圖3 中相鄰幀均值化+AUG1+AUG2 所示.

（3）對第二批次均值化圖像進行二次均值化，并進行數據擴增，得到第三批次正樣本，如圖3 中相鄰幀二次均值化+AUG1+AUG2 所示.

由此得到的正樣本一共是16 個，如表1 所示，1 個目標樣本、16 個正樣本和111 個隨機采樣的負樣本組成一個批次進行訓練，規定一個批次的樣本數是2 的指數，如64，128 等.預訓練過程中正負樣本采樣總量分別是188880 和1310355 個.間隔單位n=5，相鄰幀間隔取5，10，15.

2.1.3 SYU 數據集如表1 所示，SYU 數據集來自中大三院［23-24］，包括400 張乳腺超聲圖像，其中175 張良性，225 張惡性，經預處理后統一尺寸為224像素×224像素.按照五折交叉驗證方法把SYU 數據集隨機分成兩個獨立的微調數據集和測試數據集，微調數據集含乳腺超聲圖像320張，測試數據集含乳腺超聲圖像80 張.圖2 展示了SYU 數據集的部分乳腺超聲圖像.

2.1.4 ImageNet 數據集ImageNet 是一個用于計算機視覺識別研究的大型可視化數據集，由斯坦福大學李飛飛教授帶領創建［25］，包含14197122張圖像和21841 個Synset 索引，常用作評估圖像分類算法性能的基準.基于ImageNet 數據集，目前已有一大批有監督的預訓練模型，如ResNet，DenseNet，GoogleNet 等，這些模型提高了圖像分類［26-27］、目標檢測［28-29］、圖像分割［30］、圖像描述［31-32］等多種任務的性能.

2.2 數據預處理采用模糊增強和雙邊濾波兩種數據預處理方法來降低噪聲，增強信噪比.其中，模糊增強利用大津法（OTSU）［33］生成二值化圖像，增強腫瘤邊緣特征；雙邊濾波采用加權平均去掉原圖尖銳噪聲，保留腫瘤的邊界.但這兩種數據增強均會丟失或削弱腫瘤的有用信息，因此原始圖像也予以保留.將原始圖像和兩種數據增強的圖像在通道維度上堆疊在一起，組成三通道圖片輸入模型.

2.3 模型的訓練及評估訓練了四個分別以DenseNet121，DenseNet161，DenseNet169 和DenseNet201［18］為骨架的三胞胎網絡.在預訓 練階段，輸入圖像的尺寸統一為224 像素×224 像素，數值歸一化到0～1；網絡采用帶動量的隨機梯度下降作為權值更新算法，初始學習率均為1×10-3；使用余弦退火方法平緩下降學習率，下降周期為200，最小學習率eta_min 限制為0.0005.預訓練一共包含200 個epoch，每個epoch依次從11805 張圖像中選出目標樣本，通過多近鄰采樣及平均化方法得到每個目標樣本對應的正樣本數據集，從不同病人視頻中隨機挑選負樣本集，把目標樣本、正負樣本數據集組成一個訓練批次，輸入三胞胎網絡中完成一次迭代訓練.實驗規定一個epoch 對預訓練數據集里所有圖像完成一次迭代訓練.預訓練結束后，保留對比損失最小的模型參數，把最優參數遷移到下游乳腺腫瘤良惡性分類任務中，在三胞胎網絡后面加入新的全連接層和Softmax 輸出分類結果.微調時凍結網絡前面層的參數，解凍Dense Block3 和Dense Block4 的部分參數［18］，在SYU 數據集上進行五折交叉驗證.

采用機器學習領域常用的評估指標：受試者操作特征曲線下面積（Area Under Curve，AUC）、靈敏度（Sensitivity）和特異度（Specificity）.靈敏度和特異度的計算如下：

其中，TP表示將陽性樣本預測為陽性，TN表示將陰性樣本預測為陰性，FN表示將陽性樣本預測為陰性，FP表示將陰性樣本預測為陽性.

3 結果與討論

3.1 兩種損失函數結果對比對比預訓練損失函數分別為InfoNCE Loss 和Hard Triplet Loss 的三胞胎網絡在下游分類任務的分類結果.使用AUC作為模型分類結果的評估指標，在SYU 測試集腫瘤良惡性分類任務上進行計算.AUC越高，算法的分類性能越好.如圖4 所示，無論以哪個卷積網絡為框架，以Hard Triplet Loss 作為預訓練損失函數，其分類結果都比InfoNCE Loss 更好.

圖4 四種預訓練模型在四種DenseNet 框架下的AUC 對比Fig.4 AUC of four pre-trained models with four DenseNet as backbones

具體的評價結果如表2 所示，表中黑體字表示性能最優.由表可得，與損失函數為InfoNCE Loss 的預訓練模型相比，損失函數為Hard Triplet Loss 的預訓練模型的AUC提升2%～4%，靈敏度和特異度提升2%～6%.可見本文構建的Hard Triplet Loss 在視頻相鄰幀對比學習任務上的表現比InfoNCE Loss 更出色.

表2 四種預訓練模型在四種DenseNet 框架下的實驗結果對比Table 2 Experimental results of four pre-trained models with four DenseNets as backbone

3.2 三胞胎網絡、ImageNet 預訓練模型和隨機初始化模型的對比為了評估三胞胎網絡的預訓練性能，對比了三種模型.模型1，基于三胞胎網絡和視頻流進行預訓練，利用表1 所示的微調數據集進行微調，再用得到的結果在測試集進行測試，計算各種指標.模型2，基于四種DenseNet 框架的ImageNet 預訓練模型，微調和測試同模型1.模型3，使用隨機初始化模型，微調和測試同模型1.

使用AUC作為模型分類性能的評估指標，在SYU 測試集腫瘤良惡性分類任務上進行計算，AUC越高，算法的分類性能越好.需要強調的是，實驗挑選的是四種沒有經過特殊方法訓練的ImageNet 預訓練模型.對比結果亦如圖4 所示.由圖可見，和ImageNet 預訓練模型及隨機初始化模型相比，三胞胎模型的分類性能更好，尤其是以Hard Triplet Loss 為對比損失函數的三胞胎模型，分類性能大幅領先.ImageNet 預訓練模型分類的性能甚至比隨機初始化模型還要差，在DenseNet161 框架上，ImageNet 預訓練模型的AUC僅比隨機初始化模型高0.1%，在其余三種框架上，ImageNet 預訓練后的分類表現均不如隨機初始化模型.

具體的評估結果亦如表2 所示，表中黑體字表示性能最優.

首先，損失函數為Hard Triplet Loss 的三胞胎網絡的AUC比ImageNet 預訓練模型提高4%～9%，靈敏度和特異度提升9%～10%，充分證明三胞胎網絡在預訓練階段捕捉的腫瘤特征比ImageNet 預訓練模型捕捉的特征更符合乳腺超聲腫瘤分類任務的要求.再者，和隨機初始化模型相比，ImageNet 預訓練模型的AUC平均下降2.1%，靈敏度和特異度平均下降4.1%，證明ImageNet 預訓練模型誤導了下游分類任務.這可能因為ImageNet 數據集是自然圖像，與乳腺超聲圖像特征之間的差距較大，ImageNet 預訓練模型捕捉的特征不能充分反映腫瘤的信息.由表2 還可以看到，損失函數為Hard Triplet Loss 的三胞胎網絡在SYU 數據集上有優異的分類性能.以Hard Triplet Loss 為損失函數的四種卷積網絡三胞胎模型，AUC均大于0.93，靈敏度和特異度均超過0.87，尤其在DenseNet-169 卷積網絡上，AUC達0.952，靈敏度和特異度均達0.89.需要強調的是，預訓練數據集和SYU 數據集是兩個獨立的數據集，在跨數據集遷移后，三胞胎網絡分類的性能表現仍然很突出，證明本文模型的泛化性能強，分類性能優異.

3.3 與其他基于ImageNet 的SOTA 預訓練模型的對比為了進一步證明三胞胎網絡的分類性能，挑選最先進的三種ImageNet 預訓練模型［34］，分別是MoCo-v2，BYOL 和SwAV 來進行對比實驗，它們采用的是和本文不同的骨架網絡.把這些預訓練好的模型遷移到SYU 數據集上進行微調和測試，并和前文DenseNet161-ImageNet 預訓練模型和DenseNet169-三胞胎網絡（使用Hard Triplet Loss）進行對比.實驗結果如圖5 所示，余下兩種指標詳見表3，表中黑體字表示性能最優.可見DenseNet169-三胞胎網絡（Hard Triplet Loss）的三種指標均領先于所有ImageNet 預訓練模型，DenseNet161-ImageNet 預訓練模型僅次于三胞胎網絡.MoCo-v2，BYOL 和SwAV 的表現基本一致，AUC在0.752～0.764，靈敏度和特異度均在0.665～0.676.原因可能是MoCo-v2，BYOL 和SwAV 三種模型雖然能較好地學習自然圖像域的分布，但其自然圖像與醫學圖像內秉的分布不同，所以模型不能很好地跨數據集泛化.

表3 三胞胎網絡和其他SOTA 預訓練模型的實驗結果對比Table 3 Experimental results of our Triplet Network and other SOTA models

圖5 三胞胎網絡和其他SOTA 預訓練模型的AUC 對比Fig.5 AUC of our Triplet Network and other SOTA models

3.4 小數據集訓練本文的主要思想是使用視頻流數據對模型進行預訓練，從而降低對標注數據量的要求，以解決標注數據缺乏和模型過擬合等問題.為此，需測試模型對小樣本需求的下限.

從SYU 數據集中隨機劃分出四個獨立小數據集，對每個小數據集進行五折交叉驗證.四個小數據集的樣本數分別是：80（64 個樣本用于訓練，16 個樣本用于測試，簡記為64/16），120（96/24），175（140/35）和190（152/38）.

在基于對比學習方法對乳腺超聲腫瘤的自動識別和分類任務上，之前的一個SOTA 工作提出了一個多任務框架，利用單個病變的多個視圖之間的關系開展對比學習［35］.我們重現了這一模型，本文命名為Multi-task LR（Lesion Recognition），并采用和我們的模型一樣的預訓練和微調數據集進行訓練和測試.

圖6 給出了五種模型在四個小數據集上的分類性能，包括以DenseNet169 為骨架的兩種損失函數的三胞胎模型、基于DenseNet169 的Image-Net 預訓練模型、隨機初始化模型和Multi-task LR.由圖可見，在最小的數據集1 中，三胞胎網絡的AUC比DenseNet169-ImageNet 預訓練模型高6%，說明三胞胎模型在訓練數據只有64 個時，分類性能依然領先.在小數據集2 上，損失函數為Hard Triplet Loss 的DenseNet169-三胞胎網絡的AUC超過0.9，在小數據集3 和4 上，AUC分別是0.929 和0.936.DenseNet169-ImageNet 預訓練模型和隨機初始化模型的AUC均低于0.86.

圖6 兩種損失函數的DenseNet169-三胞胎網絡、Multi-task LR 模型、DenseNet169-ImageNet 預訓練模型和隨機初始化模型在四個小數據集上AUC 的對比Fig.6 AUC of Triplet Network based on DenseNet169 with two loss functions，Multi-task LR model，DenseNet169-ImageNet pre-trained model and stochastic initialization model on four small datasets

臨床上，靈敏度在輔助診斷系統中占有重要地位.如表4 所示，損失函數為Hard Triplet Loss的DenseNet169-三胞胎模型在小數據集2 上的靈敏度是0.835，在小數據集3 和4 上均超過0.86，而DenseNet169-ImageNet 預訓練模型的靈敏度均低于0.77.

表4 兩種損失函數的DenseNet169-三胞胎網絡、Multi-task LR 模型、DenseNet169-ImageNet 預訓練模型和隨機初始化模型在四個小數據集上三種評價指標的對比Table 4 Three evaluation indicators of Triplet Network based on DenseNet169 with two loss functions，Multi-task LR model，ImageNet pre-trained model based on DenseNet169 and stochastic initialization model on four small datasets

從圖6 和表4 可見，本文提出的模型在所有數據集上的各個評價指標都高于Multi-task LR 模型，說明本文提出的模型框架更優.

綜上，對于損失函數為Hard Triplet Loss 的DenseNet169-三胞胎模型，僅需96 個標注數據進行微調，就能使模型的分類性能達到一個較好的結果（AUC為0.901，敏感度為0.835），極大降低了基于監督學習的方法對標注數據的依賴，在醫療影像人工智能輔助診斷領域有重要的價值.

4 結論

基于深度學習的醫學影像輔助診斷系統在相關領域發揮著越來越大的作用，降低其對標注數據的依賴有很大的學術價值和應用價值.本文從乳腺超聲視頻流出發，根據病人、視頻相鄰幀等信息，構建包含目標樣本和正負樣本的非標注數據集，并通過自監督對比學習對一個三胞胎網絡進行預訓練，然后把模型遷移到下游小樣本乳腺腫瘤良惡性分類任務中，以解決醫療數據中標注數據缺乏的問題.本文還提出多近鄰采樣及平均化方法擴充正樣本數量，并利用Hard Negative Mining 和Hard Positive Mining 方法挑選困難正負樣本以構建損失函數，加快模型收斂、提高預測精度.

從實驗結果可見，經過預訓練的三胞胎網絡在SYU 數據集上的AUC最高可達0.952，和基于DenseNet 框架的ImageNet 預訓練模型相比，平均高6.7%，比MoCo-v2，BYOL 和SwAV 三種ImageNet 預訓練模型平均高19.47%，靈敏度和特異度均達到0.89，說明本文模型的分類性能優于ImageNet 預訓練模型.此外，與之前的一個針對乳腺超聲的多視圖對比模型相比，本文模型具有更好的分類性能.最后，通過對標注樣本量需求下限的測試，發現僅需96 個微調數據模型就能出色地完成下游分類任務.

本文模型還可在以下方面繼續優化，包括優化網絡架構以提高訓練速度，進行多中心合作以擴充數據集，融合多個模態如X 射線、磁共振等數據.另外，腫瘤分類任務可與其他如異常檢測、分割和定位等相關任務聯合進行多任務學習，通過共享特征表示來提高模型的性能和泛化能力.還可以和傳統的基于影像組學的方法融合，輸入不同類型和分級的腫瘤形狀、紋理等特征來加快收斂和提高泛化能力.為了將研究成果轉化為實際臨床應用，還需對不同來源的數據集進行微調和測試，增強其泛化能力和魯棒性，并最終在真實的醫療環境中進行驗證.最后，增強模型的可解釋性，也是臨床應用上需要關注的方面.

綜上，本文基于深度學習和自監督對比學習技術，從乳腺超聲視頻流出發，搭建數據集、預訓練了一個三胞胎網絡模型，并應用于下游腫瘤分類任務.測試結果優于同類SOTA 模型，并在只有少量標簽數據的情況下，可達到良好的分類性能，有較好的臨床應用前景.