基于卷積神經網絡的腎小球病理圖像分類算法

孫曉晗，孔祥勇，吳瀅，王平，蔡健，彭瑞陽，王鈺澤

1.上海理工大學健康科學與工程學院，上海 200093；2.上海交通大學醫學院附屬兒童醫院病理科，上海 200040；3.上海交通大學醫學院附屬兒童醫院腎臟風濕免疫科，上海 200040

前言

腎活檢在腎小球病變的檢查中至關重要，特別是在病理類型查明、患者病因確認以及對患者提供合適的治療方案中具有重要作用［1］。即使醫學發展迅速，組織病理診斷仍然被認為是診斷腎臟疾病的黃金標準［2-3］。因此，發展自動化、高精度的組織病理學圖像分析方法至關重要［4］。

根據醫學圖像的性質及臨床的實際需求，如何對圖像進行高效的檢測及分類一直是研究人員關注的重點課題。在病理圖像分類的研究領域，Spanhol等［5］利用AlexNet 網絡模型對病理圖像進行分類，準確率比傳統的機器學習算法提高了6%。Vesal 等［6］提出了一種基于遷移學習的方法，微調Incepinationv3和ResNet50網絡，通過多數投票法獲得分類結果，在乳腺病理圖像分類問題中，Inception-V3 網絡的平均測試準確率達到了97.08%，ResNet50 網絡的平均準確率達到 了96.66%。Wang 等［7］將Inception-ResNet-v2 和VGG-19 網絡應用于甲狀腺病理圖像的多分類，最終VGG-19 的診斷準確率更高，在組織病理學鑒別甲狀腺腫瘤的任務上取得了令人滿意的準確性，達到了97.34%的準確率。Halicek 等［8］提出了一種檢測頭頸部鱗狀細胞癌和甲狀腺癌的新方法并取得了良好的檢測效果，鱗狀細胞癌和甲狀腺癌檢測的ROC 曲線下的面積（AUC）分別可達到0.944 和0.995。Yan 等［9］基于乳腺癌組織病理圖像，提出了一種新的卷積與遞歸混合深度神經網絡用于圖像分類，融合了卷積神經網絡（Convolutional Neural Network,CNN）和遞歸神經網絡（Recurrent Neural Networks,RNNs）的優點，在4 類分類任務中取得了91.3%的平均準確率。Iizuka等［10］應用CNN 和RNNs對胃和結腸的活檢組織病理學圖像進行訓練，試驗結果表明在胃腺癌及結腸腺癌的分類任務中，準確率分別達到0.97 和0.96。Li 等［11］提出一種用于病理圖像分類的基于DenseNet 深度學習網絡，該網絡通過將卷積融合到稠密塊中實現多尺度特征提取，在宮頸癌病理圖像分類任務中精度達到了92.05%。Kohl 等［12］為對乳腺癌病理圖像進行分類，建立DenseNet161 分類模型，利用稠密連通卷積并使用ImageNet 圖像數據進行預訓練，對比多種分類模型，該方法達到最優，分類精度為96.24%。Coudray等［13］建立Inception v3 分類網絡對肺癌病理圖像中腺癌、鱗狀細胞癌和正常病理圖像進行分類，結果表明AUC為0.97，相比較于病理學家分類表現更加良好。

在對腎病進行診斷時，醫生需要仔細觀察所有的腎小球，并對病變腎小球進行分類計數，從而進行腎病病理學診斷，這是一項耗時耗力的工作［14］。近年來，受益于計算能力不斷提升，深度學習在醫學圖像處理領域取得了巨大成功，尤其是在圖像識別與分類、病灶分割、計算機輔助診斷等方面［15］。相對于傳統的圖像分類檢測技術，基于深度學習的圖像處理算法表現更加優異［16］。鑒于以上現狀，本課題組與上海交通大學醫學院附屬兒童醫院進行合作，通過深度學習技術對腎臟病理圖像中腎小球病變（系膜細胞增生、節段性硬化、新月體形成）進行分類，輔助醫生完成腎病的病理學分級，提高醫生工作效率。本研究基于腎臟病理圖像中腎小球病變分類這一問題，提出一種基于SE-ResNet的腎小球病理圖像分類方法。

1 分類模型構建

1.1 基于SE-ResNet的網絡模型設計

1.1.1 ResNet 深度學習隨著網絡深度的增加，梯度消失和梯度爆炸的問題愈加明顯，使用傳統的數據初始化及正則化，又會帶來網絡退化的問題。ResNet提出了一種易于優化、計算負擔小的殘差學習網絡框架，其思想是加深淺層網絡并通過恒等連接以及殘差連接將上下兩層進行連接，跳躍結構的增加能夠增強淺層網絡的影響從而避免精度衰減的問題［17］。綜合考慮分類的效果及訓練難度，實驗選取ResNet50作為主干網絡。ResNet50共包含49個卷積層及1 個全連接層，由5 個部分組成，第一部分是對input 輸入圖像的預處理，后4 個部分由Bottleneck 組成，分別包括3、4、6、3 個Bottleneck。網絡的輸入數據的尺寸為224×224×3，圖像經過殘差塊不斷進行卷積操作，像素通道矩陣數越來越深，然后經過扁平層Flatten，輸入全連接層，最后經SoftMax 層輸出對應類別概率。

1.1.2 SE 模塊SE-Net（Squeeze-and-Excitation Networks）是由Hu等［18］提出的圖像分類網絡，其核心在于SE 模塊，該模塊核心思想在于保持特征通道不變的情況下，對不同通道之間特征的重要程度進行學習，根據重要程度的不同分配相應的權重從而提升重要特征，抑制無用特征，從而對網絡性能有較大的提升。SE 模塊主要操作由3 部分組成，即Squeeze、Excitation和Reweight操作。

Squeeze操作利用全局平均池化的方法對特征圖U 沿著空間維度的方法進行壓縮，將特征圖U 沿通道方向的二維特征圖壓縮為一個實數使其變為1×1×c2的特征圖，Squeeze的公式如式（1）：

其中，Fsq為Squeeze 操作，W、H、C代表提取特征圖的3個維度。

Excitation 操作引入參數W對Squeeze 操作獲得的1×1×c2的特征圖按照特征通道重要性的不同分配相應的權重。其公式如下：

s=Fex(z,W)=σ(g(z,W))=σ(W2δ(W1z))（2）其中，Fex為Excitation 操作，z為Squeeze 操作的結果，W1、W2為引入參數，r為縮放參數。

Reweight操作將Excitation 操作得到的權重即特征通道的重要程度，加載到原始特征通道中，從而完成特征重要性的標定。其公式如下：

其中，Fscale為Reweight操作，s為特征通道的重要程度即相應權重。

理論上，SE 模塊可以嵌入到現在幾乎所有的網絡結構中。通過在原始網絡的結構單元中嵌入SE模塊，可以獲得不同種類的SE-Net。

1.1.3 改進SE-ResNet50 模塊網絡模型設計本實驗中采用以ResNet50 為基礎的網絡框架，在ResNet50的網絡中嵌入了SE結構體系單元，構建SE-ResNet50網絡模型，將兩者的優點結合起來，從而提升網絡的分類性能。使用Bottleneck進行堆疊，使用GAP作為Squeeze 操作，連接兩個全連接層組成構建通道相關性。兩個全連接層首先將特征維度下降為輸入的1/16，經RELU 激活后通過另外一個全連接層上升輸入的維度，最后通過Sigmoid 進行歸一化操作獲得權重，并加權到通道特征上。ResNet殘差塊嵌入SE模塊后結構如圖1所示。

由于模型的不斷深化，CNN 的參數量也變得巨大，容易造成過擬合，因此除了對訓練數據進行數據增強外，另外一個解決方法為減少CNN的參數量，受到Jiang 等［19］的啟發，決定將原有的ResNet 殘差塊變為1×3、3×1、1×3、3×1 的殘差結構。其結構如圖2所示。

現在對卷積層的參數量進行計算，計算公式如下：

其中，C×H×W為卷積核的尺寸，K為卷積核的數量。

經過計算對比可得，該結構與原有的Basic、Bottleneck 殘差結構相比參數量分別降低33.3%、29.4%，能夠保證在特征提取能力不變的情況下，減少網絡的參數量，使得網絡的訓練效率提高。

本文以ResNet50為主干網絡，在改進后的ResNet殘差塊中嵌入SE 模塊構成改進SE-ResNet 模塊，將SE-ResNet 模塊進行堆疊即構成本文的SE-ResNet50分類網絡。使用降采樣的方法對原輸入圖像大小轉換為224×224 作為網絡輸入，經過7×7 卷積及最大池化操作后特征圖像大小變為56×56，維度變為64，接下來經過4 個階段即4 個由改進SE-ResNet模塊堆疊的網絡結構。經過階段一后特征圖大小變為56×56，維度變為256，經過第2、3、4階段后特征圖大小減半，維度變為原來輸入特征圖像的兩倍，最后特征圖像經過平均池化，Flatten 操作將多維特征轉化為一維，再經過全連接層進行輸出，得到分類結果。同時，使用來自ImageNet 的預先訓練的權重，并對其凍結百分比進行試驗調整。本文的腎小球分類模型結構如圖3所示。

1.2 模型結構優化

1.2.1 Dropout由于在實驗過程中，訓練所得到的已收斂分類網絡模型出現了在訓練集上表現良好，準確率較高，在測試數據集中分類識別準確率下降的過擬合現象［20］。在實驗中使用Dropout解決過擬合問題，其思想是在每一次訓練過程中以某一概率丟棄一部分神經元（圖4）。

1.2.2 動態衰減學習率在實驗中使用優化器每次更新網絡參數的幅度即學習率的設置至關重要，學習率設置不當會出現算法優化后期在最優值兩側浮動無法收斂或收斂速度慢的現象。在實驗中，為了提高分類網絡收斂速度及穩定性，使用動態衰減學習率進行網絡模型訓練，公式如下：

其中，lrnew表示得到的新學習率，lrinitial表示初始學習率，γ表示更新學習率的因數即學習率調整倍數，milestones 是一個遞增的數組，存放更新lr時的epoch。本實驗中milestones設置為［60,120,160］，即在訓練迭代至設置的次數時，學習率會按照設定倍數進行調整，同時，設定初始學習率為0.1。

2 腎小球病理圖像分類實驗

2.1 數據集構建

上海交通大學醫學院附屬兒童醫院提供了將患者信息匿名處理后的共計169張包括HE、PAS兩種染色的全視野切片圖像，在169張全視野切片圖像中手動提取包含1個主要腎小球的矩形腎小球圖片，共得到2658張高質量腎小球圖像，使用openslide工具將腎小球圖片轉換為JPG格式，并保存為單個圖像文件。為保證算法研發的普適性，將提取的所有腎小球均作為實驗對象。

根據腎小球的類別分布及其視覺特征，對腎小球系膜細胞增生（Mesangial Proliferative Glomerulonephritis,MsPGN）、腎小球局灶性節段性硬化（Focal Segmental Glomerulosclerosis,FSG）、腎小球新月體形成（Crescentic Glomerulonephritis,CGN）及正常腎小球（Normal）4種腎小球病變進行診斷。為了完成腎小球分類的任務，構建了腎小球標注系統（圖5），方便臨床醫師對腎小球進行分類標注，由上海交通大學醫學院附屬兒童醫院的兩名臨床醫師為提取后的單一腎小球圖像進行標注。

為了能夠讓有限的數據產生等價于更多數據的價值，減少數據集中不相關的特征，增加訓練模型的泛化能力，對數據集進行擴充［21］。由于對腎小球進行位置的變換、噪聲數據增加不會影響腎小球病變的分類，同時，mixup 在本文中對隨機抽取同種分類中的腎小球進行混合，混合后的圖像同樣不影響腎小球病變的分類。因此，本文中采用了3種數據增強手段：旋轉、增加噪聲數據、mixup，數據增強完成后將數據集擴充至13 471張。

2.2 顏色歸一化

由于腎臟病理切片的制作過程復雜繁瑣，盡管使用相同的染色劑對切片進行染色，但是由于制作病理切片時使用的染色劑的來源和質量不同，或者掃描病理切片時使用的掃描儀器不同等原因造成圖像與圖像之間的顏色出現差異，從而對訓練算法造成較大影響。因此，對同一染色類別的病理圖像在顏色空間內進行歸一化操作，使得圖像染色標準化。

使用Vahadane等［22］提出的顏色歸一化方法，其主要思想在于將RGB圖像分離為染色濃度通道然后進行歸一化操作。首先，對RGB圖像進行轉化使其變為染色通道，再利用稀疏約束與染色通道相結合的方式，實現染色分離；其次，在保持源圖像染色濃度不變的情況下，改變源圖像顏色外觀進行歸一化，并且與目標圖像保持一致。m×n的RGB圖像矩陣進行非負矩陣分解（Nonnegative Matrix Factorization,NMF），并在圖像矩陣中的染色濃度矩陣中增加L1稀疏正則化從而實現染色分離。利用此方法分別對源圖像和目標圖像進行染色分離，并將目標圖像染色濃度矩陣歸一化為源圖像染色矩陣，進行顏色變換，最后映射到RGB空間中，實現染色標準化，表示為：

其中，W為m×r的矩陣（r為染色數，m代表通道數），H為r×n的矩陣（n為像素的數量），V為相對光密度。

由于本數據集采用PAS 及HE 兩種染色的腎小球，需對兩種染色圖像分別進行歸一化操作。在PAS染色和HE染色圖像中分別挑選1張腎小球病理圖像作為標準染色圖像；對同一染色不同顏色的病理圖像進行染色歸一化操作從而使得圖像顏色變得標準化。圖6和圖7為針對病理圖像HE 及PAS 染色各展示了腎小球病理圖像根據目標圖像進行染色歸一化的結果。

t-SNE（t-distributed stochastic neighbor embedding）作為一種非線性降維的方法，能夠將高維數據降維至二維或三維，并能夠對數據進行可視化。為驗證本節染色歸一化方法能夠較好地保留病理圖像中的組織結構，使用t-SNE 方法進行數據可視化，較為直觀地驗證數據結構是否改變。選用PAS 染色腎小球病理圖像中染色歸一化前后t-SNE 圖作為對比，結果如圖8所示，可以看出兩者數據結構并沒有大的改變，說明該方法能夠較好地保留圖像中的組織結構。

2.3 實驗結果與分析

2.3.1 實驗設置本文的實驗平臺為NVIDIA GeForce RTX 2070 SUPER GPU 及32 GB 內存的服務器，Windows 系統，Python 3.6，在pycharm 64 位操作系統中完成模型訓練。實驗模型選取pytorch作為學習框架，該框架較其他框架在靈活性、易用性、速度3方面具有優勢。

實驗中將圖像縮放至統一的224×224，并對圖像數據進行歸一化處理，將處理后的圖像按照6:2:2 的比例劃分為訓練集、驗證集和測試集。在實驗中所有的超參數，包括批次大?。╞atchsize）、學習率（learning rate）、凍結ImageNet 數據集的預先訓練的權重及凍結百分比（100%、75%、25%、0%），在實驗中都要進行測試選擇。經過多次實驗，每次訓練進行200 批次的訓練迭代即epochs 為200，最終確定本實驗構建的分類模型中，在驗證數據集上表現最好的參數組合為：batchsize 為16，learning rate 為0.000 1，凍結0%的預訓練權重。

2.3.2 實驗結果首先與其他分類模型進行對比實驗，對比了VGG16［23］、Inception V3［24］及ResNet50［17］來驗證本文算法的有效性。根據不同分類模型在測試集中的準確率，對模型的分類效果進行評價（表1）。經以上實驗對比可知，在相同的訓練集及測試集下，本文方法在腎小球的分類任務中取得了更好的效果。其中，ResNet50 的分類準確率與本文算法接近，但是本文模型大小小于ResNet50，說明用更小的參數量達到了相似甚至更優的效果；而VGG16 的分類效果不理想，相比較于其他網絡來說，分類識別能力相對較差。其中本文模型的訓練性能曲線如圖9所示。

表1 不同分類模型分類效果對比Table 1 Comparison of classification performance of different classification models

訓練完成后，使用測試數據集對本文中構建的腎小球分類模型進行評估，生成的混淆矩陣見圖10。

接收者操作特征曲線（Receiver Operating Characteristic curve，ROC）可顯示本實驗網絡模型對于腎小球分類的診斷效能，實驗中為每個標簽繪制的ROC 曲線如圖11所示。通過曲線可以看到，本模型在4種腎小球病變分類中表現優秀。其中，對于正常腎小球及MsPGN 分類的AUC 的值可高達1，對于CGN、FSG分類的AUC值也能達到0.99。

根據以上結果，分類實驗中CGN 及FSG 分類表現相對MsPGN 較差的原因為小部分腎小球表現為伴新月體形成的腎小球硬化，其同時具有腎小球新月體形成及節段性硬化兩種病變特征，從而造成模型區分這部分腎小球較為困難。綜合以上結果，表明本模型在腎小球的分類任務中依然具有優秀性能。

3 總結與展望

相對于人工診斷腎小球病變，計算機視覺方法識別腎小球病理圖像病變具有成本低、準確率高、時延短的優點［25］。本文病理圖像診斷是目前發展的最新技術，將先進的研究成果應用在腎小球圖像的分類任務中，提出了基于SE-ResNet 50的腎小球病理圖像的分類方法，實現對病理圖像的高精度分類，同時相較于其他分類模型在腎小球病理圖像分類問題中的準確率更高，結果顯示在測試集上的準確率為96.93%。

在未來的研究中，第一，可以改進分類模型，使用更加輕量化的模型，同時能夠保持并提高分類準確率；第二，可以更為深入地探索人工智能在腎臟病理領域的應用，除了能夠應用于腎小球結構及病變識別中，還可應用在腎小管間質識別、腎臟整體結構識別、腎臟病理指標與病理分級等，助力腎臟精準醫學進展；第三，本文中基于殘差神經網絡的分類模型在腎小球病理圖像的分類任務中已經取得了較高的準確率，可以將該模型拓展應用于更多醫療影像的分類任務中；第四，基于深度學習的腎病診療一直都是充滿挑戰的醫學研究領域，構建涵蓋大樣本的數據集，并將深度學習與醫院病理系統集成構建可解釋的腎病診療模型和臨床應用具有廣闊的發展前景。