基于深度學習的黑素瘤皮膚病圖像識別算法

沈豪杰 黃吉利 徐晴宇 張仕程 任鵬*

（1.徐州醫科大學醫學信息與工程學院 江蘇省徐州市 221000）（2.徐州醫科大學醫學影像學院 江蘇省徐州市 221000）（3.徐州醫科大學麻醉學院 江蘇省徐州市 221000 4.徐州醫科大學口腔醫學院 江蘇省徐州市 221000）

1 多模態神經網絡算法

皮膚是防護機體的第一道屏障，覆蓋于軀體表面，極易受到各種致病因子的損害。因此，皮膚病已經成為人類最常見的疾病之一。在所有類型的皮膚病中，黑色素瘤癌癥被確定為人類中最致命的一種，其致死率超過所有死于皮膚病的患者的75%。黑色素瘤在我國發病率以每年3%-5%的速度增長，每年新增病例約為2 萬[1]。早期發現可以將黑素瘤的5年存活率由14%提高至99%左右。皮膚病變圖像分析是黑色素瘤診斷和治療的重要進展[2]。這種技術可以幫助醫生及時發現和識別黑色素瘤，并及早采取治療措施。

近年來，許多國內外學者利用機器學習技術進行圖像分割，以實現對皮膚病的早期檢測和治療。研究人員采用了具有不同性能的不同深度網絡架構，在檢測皮膚癌癥方面取得了較高的準確率。Ansari 等人[3]提出了一種基于支持向量機（Support Vector Machine，SVM）的診斷分類方法，為了去除不需要的噪聲，研究人員采用了中值濾波器。此外，他們還使用對比度增強技術以獲得更高質量的圖像結果，然后利用最大熵閾值對圖像進行分割。Gautam 和Ahmed[4]提出了一種基于背景照明補償的圖像分割方法，以獲得最準確的診斷結果。研究人員采用了迭代膨脹技術進行噪聲去除。在特征提取方面，使用ABCDE 規則（不對稱性、邊界、顏色、直徑和演變）來分析圖像。最后，使用SVM 進行分類，達到了70%的準確率。隨著GPU 計算能力的提高，卷積神經網絡(Convolutional Neural Network, CNN)已成為圖像處理中最強大的工具之一，包括醫學圖像分析[5-6]。常炳國等人[7]提出一種融合元數據和圖像數據的多模態神經網絡算法。通過感知機學習模型提取元數據的特征向量；通過CNN 模型提取圖像數據的特征向量，將特征向量融合映射進行分類，用于黑色素腫瘤的早期輔助診斷。Pomponiu 等[8]在圖像特征提取方面使用預訓練的AlexNet 網絡，然后使用k 最鄰近分類器進行分類。Lopez 等[9]人在皮膚鏡圖像分類任務中，對VGGNet 進行了調整，并比較了三種不同的方法。這三種方法包括從頭開始訓練、將預訓練網絡用作特征提取器，以及對預訓練網絡進行微調。結果表明，第三種方法取得了最好的分類效果。Ahmed 等人[10]提出了一種全自動算法。他們選擇將解碼器架構與金字塔池單元相結合，從而實現皮膚鏡圖像中的皮膚病變。這種方法的優勢在于不需要對圖像進行任何灰度轉換或預處理。

本文以深度學習中的CNN 方法為基礎，將通道注意力機制與DenseNet 結合并應用于皮膚病變圖像中的黑色素瘤鑒別任務。為了驗證所提出算法的有效性，選取了4 種分類評價指標以及3 種對比模型。實驗結果表明，與對比模型相比，本文的方法在各個評價指標上均獲得了最佳效果。

2 方法

2.1 DenseNet

DenseNet 是在2017年提出的一種經典的圖像分類網絡[11]，其主要的貢獻是設計了密集連接結構，極地大增強了網絡模型對于特征圖的復用能力，有效地促進了不同網絡層之間的信息流通，緩解了過擬合現象。構成DenseNet 的主要組件是密集塊（Dense Block）和過渡層（Transition Layer），通過調控密集塊內的連接層數，可以獲得DenseNet 的4 個不同版本，包括DenseNet121、DenseNet169、DenseNet201 和DenseNet264。在傳統的CNN 結構中，前一組特征圖與后一組特征圖相互連接，因此L 個網絡層具有L 個連接。而密集塊通過添加密集連接結構，將不相鄰的特征圖直接連接起來，使得L 個網絡層具有個連接。圖1 顯示了一個具有10 個連接的4 層密集塊結構。

圖1：具有10 個連接的4 層密集塊

假設輸入特征圖為X0, Xi(i=0,1,2,…4)表示為第i 層的特征圖，Hi(·)表示為非線性變換，包括3×3 的卷積層、批量歸一化和激活函數等。那么第4 層的輸出特征圖X4是對先前所有層的輸出特征圖進行非線性變換得到的，該過程的公式表達如下：

在一個整個密集塊之后會跟隨著過渡層，過渡層的作用是降低特征圖的維度，它由一個1×1 的卷積層和一個2×2 的平均池化層（Global Average Pooling，GAP）組成。由于密集塊內的層數設置不同，DenseNet 擁有4種不同的版本，本文選擇了DenseNet121 作為研究對象。DenseNet121 首先由一個7×7 卷積層和一個3×3 最大池化層組成，這兩個操作的步長均設置為2。剩余的網絡部分主要由4 個密集塊和3 個過渡層組成，每個密集塊內部的連接層數量分別為6，12，24，16。除最后一個密集塊以外，其余每個密集塊之后都連接有一個過渡層。最后一個密集塊的輸出結果將會通過一個GAP 層和一個帶有softmax[12]激活函數的全連接層，這個全連接層設置的神經元數量對應著目標任務所包含的類別數量。

2.2 通道注意力機制

受人類視覺關注特性的啟發，機器視覺中的注意力機制可以幫助網絡結構聚焦于更有效的特征信息。注意力機制按照獲取獲取注意力權重方式的不同一般可以分為通道注意力、空間注意力和混合注意力。本文選擇引入通道注意力機制，其特點是即插即用且添加的額外參數量極少，幾乎不會影響網整體的規模和推理速度。ECA[13]是一種高效的通道注意力機制，它提出了一種不降維的局部跨通道交互策略和自適應確定一維卷積核大小的方法，顯著地提升了圖像分類任務的性能。ECA 的具體結構如圖2 所示。其中，F 表示輸入特征圖，F’表示輸出特征圖，H、W 和C 分別表示特征圖的高度、寬度和通道數。GAP 表示全局平均池化，K 表示獲取局部跨通道關系的一維卷積核大小。S 表示sigmoid 激活函數，U 表示相乘操作。

圖2：ECA 的具體結構

ECA 的內部流程可以分以下步驟。首先，通過GAP 層匯集不同通道的空間信息，生成與通道數量一致的向量。其次，使用卷積核大小為K 的一維卷積對其進行特征提取。接著，通過sigmoid 激活函數生成歸一化后的通道權重系數。最后，將輸入特征圖與得到權重系數相乘進行優化。上述過程中在一維卷積運算時使用的卷積核大小K 可以通過式（2）計算得到：

其中odd 指的數值最近的奇數，γ 設置為2，b 設置為1。給定了特征圖的通道維度C，那么一維卷積的核大小K 可以自適應地計算得到。

2.3 EnDenseNet121

本文在DenseNet121 的基礎上嵌入了ECA，并提出了一種新穎的黑色素瘤識別網絡EnDenseNet121。具體地，我們在DenseNet121 中的每個密集塊后添加了ECA結構，從通道維度強化網絡模型對于重要特征的關注度，抑制無用的特征信息，最終提升對于黑色素瘤的識別效果。

EnDenseNet121 的具體結構如圖3 所示，它主要包括4 個階段的特征提取，每個密集塊和過渡層的參數配置與DenseNet121 保持一致。本文是針對皮膚病變圖像的良惡性2 分類問題，因此最后通過全連接層和sigmoid 激活函數輸出預測結果，預測值越近1，表示模型認為輸入樣本屬于黑色素瘤的概率越大。

2.4 損失函數

對于一張皮膚病變圖像，模型對其進行前向傳播后獲得預測結果，并且通過特定的損失函數計算該預測結果與真實標簽之間的差距。模型訓練的目的就是不斷優化權重參數從而逐步降低這個損失值。本文研究的目標是對于皮膚病變圖像的良惡性二分類問題，因此采用了適用于二分類問題的二元交叉熵作為損失函數，它可以通過式（3）計算得到：

其中，y?{0,1}代表真實標簽，p?(0,1)表示模型的預測結果。二元交叉熵用于評判二分類模型預測結果的好壞，當標簽y 為1 時，預測值p 越接近1，損失值就越趨近于0。同理，當標簽y 為0 時，預測值p 越接近0，損失值就越趨近于0。

2.5 評價指標

為了評估模型對于皮膚病變圖像良惡性診斷的效果，我們采用了4 種分類評價指標，包括準確率(Accuracy)、召回率(Recall)、精準度(Precision)和F1得分(F1-score)。其中，準確率表示確分類的樣本數量與樣本總數量之比，召回率表示正確預測為正的樣本數量與所有實際為正的樣本數量之比，精準度表示模型正確預測為正的樣本數量除以其預測為正的所有樣本數量，F1 得分是通過平衡召回率和精準度計算得到的。上述評價指標的計算公式如下：

其中，真陰性（TN）表示預測為良性實際也為良性。真陽性（TP）表示預測為惡性實際也為惡性。假陰性（FN）表示預測為良性實際為惡性。假陽性（TP）表示預測為惡性實際為良性。

3 實驗及結果分析

3.1 實驗數據

本文的研究數據來源于SIIM-ISIC(2020)舉辦的黑色素瘤分類挑戰賽[14]，該數據集提供了大量的皮膚病變圖像，并且給出了每張圖像所屬的類別：良性或惡性（黑色素瘤）。我們從上述數據集中提取了2130 例圖像作為本文的研究對象，其中包括良性數據1163 例，惡性數據967 例。為了契合模型的輸入維度，采用雙線性插值方法將所有圖像的高度、寬度和通道數分別統一調整為224、224 和3。此外，良性數據的標簽編碼為0，惡性數據的標簽編碼為1。最后，我們按照8:1:1 的比例將數據集劃分為訓練集、驗證集和測試集，具體劃分情況見表1。

表1：訓練集、驗證集和測試集劃分情況

3.2 實驗環境與訓練參數

本文的實驗平臺為win11 64 位操作系統，運行內存為32GB，GPU 型號為NVIDIA GeForce RTX 3090，顯存為24GB。所有實驗的程序設計都是基于Python3.8.10完成的，其中模型的搭建采用了開源的深度學習框架Tensorflow2.9.0，結果分析部分采用了scikit-learn1.1.3工具箱完成。

在模型訓練的過程中，更新模型參數的優化器設置為Adam[15]，初始學習率設置為0.001，beta1 設置為0.9，beta2 設置為0.999。訓練批次設置為16，訓練輪次設置為140。每當模型在訓練集上完整地訓練一次后，即對驗證集進行預測并記錄相應的損失值，最終將驗證集損失最小的模型權重保存用于測試。此外，為了降低學習率過大而導致模型錯過全局最優解的風險，規定在訓練輪次分別達到20，40，80 時，學習率分別下降至0.0005、0.00025 和0.000125。最后，我們還采用了隨機翻轉、隨機平移和隨機裁剪等多種數據擴增手段，用于防止在訓練過程中出現過擬合現象。上述訓練過程中使用的參數統一地應用于本文研究的所有模型。

3.3 實驗結果

為了驗證我們提出的EnDenseNet121 針對黑色素瘤識別的有效性，我們選擇了VGGNet19、ResNet50 和DenseNet121 等3 個優秀的圖像分類模型進行對比。我們首先分析了所有模型的訓練過程，圖4 顯示了各個模型在訓練過程中的損失值下降情況?？梢园l現，隨著訓練輪次的增加，不同模型的損失值逐步下降并趨于平穩，EnDenseNet121 的損失值收斂至最低。這表明了各個模型都在一定程度上學會了如何鑒別黑色素瘤，并且EnDenseNet121 在訓練集上的學習能力最強。

圖4：不同模型在訓練集上的損失值下降曲線

圖5 顯示了所有模型在訓練過程中的準確率上升情況?？梢园l現，隨著訓練輪次的增加，不同模型的準確率逐步上升并趨于平穩。其中，VGGNet19 對于黑色素瘤的識別效果最差，ResNet50 和DenseNet121 的識別效果較為接近。EnDenseNet121 由于引入了ECA 機制，增強了模型對于黑色素瘤特征的關注度，因此效果超越了所有的對比模型，在訓練集上獲得了最高的識別準確率。

圖5：不同模型在訓練集上的準確率上升曲線

最后，我們將各個模型在驗證集上表現最好的模型保存用于對測試集進行預測。表2 展示了所有模型在測試集上的預測效果，包括前文提到的4 個評價指標。

表2：不同模型在測試集上的預測結果

通過表2 可以得到，所有模型對于黑色素瘤的識別準確率都能達到80%以上。其中，VGG19 的準確率達到了80.28%，ResNet50 和DenseNet121 由于跳躍連接的引入，識別效果顯著提升，準確率分別為83.56%和84.03%。EnDenseNet121 在所有評價指標上均獲得了最佳表現，準確率達到86.38%，精準度達到81.90%，召回率達到89.58%，F1 得分達到85.57%。

4 結語

借助人工智能技術對皮膚病變圖像進行分析具有重要意義，這能夠幫助醫生迅速地發現和識別黑色素瘤并及時采取相應的治療措施。本文以優秀的圖像分類模型DenseNet 為基礎，將其進一步與高效的通道注意力機制ECA 相結合，提出了一種能夠在皮膚病變圖像中鑒別黑色素瘤的深度學習模型EnDenseNet121。在公開的皮膚病變數據集上的實驗結果表明，本文提出的方法能夠有效地識別黑色素瘤，在各個分類評價指標上均超越了對比模型，準確率達到86.38%，精準度達到81.90%，召回率達到89.58，F1 得分達到85.57%。在未來的工作中，我們將會進一步引入特征能力挖掘更強的模塊，提升模型的分類性能。同時，我們還會考慮對模型進行輕量化處理，以滿足實時分析皮膚病變圖像的需求。