基于改進的殘差神經網絡的白細胞分類

馬 力，帥仁俊+，劉文佳，李文煜

(1.南京工業大學 計算機科學與技術學院，江蘇 南京 211816；2.南京醫科大學附屬醫院南京鼓樓醫院 消化內科，江蘇 南京 211166)

0 引 言

在臨床醫學上，人體內血液主要由紅細胞、白細胞和血小板組成[1]。其中白細胞在人體免疫系統中發揮重要作用，與許多疾病密切相關[2]。根據白細胞細胞質的顆粒信息和形狀信息將白細胞分為5類：中性粒細胞、嗜酸性粒細胞、嗜堿性粒細胞、單核細胞和淋巴細胞[3]。不同種類的白細胞的總數和比例都對應著不同的疾病，同時也是臨床醫生診斷和治療疾病的重要參考資料，因此需要對白細胞更加快速準確地進行分類。

傳統的白細胞分類方法主要是血液學專家將血細胞染色并在光學顯微鏡下對它們進行識別計數[4]。這種方法工作量大，效率低，對專業人員素養要求高，而且分類和計數的結果易受人為因素的影響[2]。白細胞分類是一個熱點問題，很多專家學者都進行了這方面的研究。隨著計算機技術的發展，通過機器學習建立的分類模型被廣泛用于白細胞分類[5]。目前主要包括K-近鄰(KNN)算法[6]、支持向量機算法(SVM)[7]、隨機森林算法[8]、貝葉斯算法[9]。

近年來隨著計算機性能和人工智能的快速發展[10]，深度學習技術得到了廣泛的應用，并在圖像處理方面取得了很大的進展[11,12]。深度神經網絡在處理數百萬圖像數據方面顯示出了良好的優勢，并且可以更準確地檢測，識別圖像中的對象和區域[13]。很多專家學者利用神經網絡對白細胞圖像進行特征提取，然后進行識別分類，取得了不錯的效果[14，15]。

通過目前的研究結果可以發現，無論是利用機器學習還是深度學習來對白細胞分類，其使用的樣本量很少或者使用自己的數據庫，而且利用機器學習建立的模型需要在分類之前對白細胞圖像進行分割預處理，分割算法的質量直接影響提取特征的質量最終影響分類的效果。為了解決上述問題，本文提出了一種白細胞分類框架。圖1顯示了模型的流程圖。通過遷移學習來提高模型的魯棒性。改進的殘差神經網絡ResNet(residual neural network)架構可以提高訓練的速度，加強模型的泛化能力。改進的損失函數采用硬樣本挖掘戰略,過濾容易分類的樣本，縮小同類別樣本的差距，增大不同類別的差異,從而提高分類器的分類效果。

圖1 模型流程

1 理論和方法

本文提出了一種基于殘差神經網絡的白細胞分類架構。圖2顯示了模型的總體框架。該框架由兩個主要部分組成：①采用基于ImageNet數據集的遷移學習，進行參數遷移。②ResNet網絡通過對網絡層和分類器損失函數的改進對圖像提取特征并分類。

圖2 模型的總體框架

1.1 遷移學習

遷移學習的總體思路是利用已有的知識系統，即模型從任務中學習到的許多有標記的訓練數據可以用在另一個具有不同數據樣本的新任務中。通過這種方式，可以降低用大量資源標記數據的成本，同時可以顯著提高的學習性能[16]。目前的遷移學習方法主要有實例遷移、特征遷移、共享參數遷移和關系知識遷移[17]。本文采用參數遷移方法進行學習，發現了源域和目標域模型之間共享的參數或先驗，從而大大提高了學習效率[18]。

我們使用除了完全連接層外的ResNet體系結構[19]對1000個類別的ImageNet數據集[20]的模型參數進行了預訓練。這樣，有效地調整了卷積層的預訓練參數，以初始化網絡參數。最后，利用新的全連通層對整個網絡進行再培訓。通過遷移學習，可以顯著提高模型的精度，增強模型的魯棒性。

1.2 ResNet

本文以34層的ResNet為主要學習網絡。ResNet是由He等[21]提出的。這些網絡克服了網絡深度增加帶來的退化問題。ResNet的主要思想是在網絡中添加一個直接連接通道，允許保留一定比例的前一層網絡輸出。ResNet解決了傳統的卷積網絡或全連通網絡在傳輸信息時會丟失信息的問題，同時也存在梯度消失或梯度爆炸的問題，導致深度較深的網絡無法訓練[22]。ResNet的思想與公路網非常相似，可以將原始輸入的信息直接傳遞到后面的層。如圖3所示，這一層神經網絡可以學習之前的網絡輸出，而不需要學習整個輸出。所以ResNet也被稱為殘差網絡。

圖3 殘差塊對比

為了減少轉換網絡的計算成本，增強模型的泛化能力，本文運用IBN(instance-batch-normalization)殘差塊設計了一個結構更為精簡的圖像分類網絡。在原始的殘差網絡中每個卷積層后面都會添加一個BN(batch-normalization)層，BN層的使用可以加快網絡的訓練速度，同時提高網絡的泛化能力

(1)

其中，x∈N×C×H×W為BN層輸入，γ∈C和β∈C是從數據中學習到的映射參數，u(x)∈C和σ(x)∈C分別為輸入的平均值和標準差

(2)

(3)

Huang等[23]通過實驗驗證，BN層模型可以增強語義特征之間的差異性，保留圖片中的語義信息，IN層(instance-normalization)模型具有更快的訓練速度。IN層的計算公式為

(4)

(5)

(6)

本文將相同通道數的IN層和BN層添加到殘差塊的低層網絡中，將IN層添加到殘差塊的高層網絡中。使用基于IBN殘差塊替換原網絡的所有基于BN殘差塊，充分利用IN層和BN層的優點。

圖3(a)為原始的基于BN層的殘差塊結構，圖3(b)中的IBN層由32通道的IN層和32通道的BN層組成，由于IBN層的通道數等于原網絡BN層的通道數，所以網絡的計算量沒有增加。在網絡低層中添加部分BN層可以保留特征的語義信息，在網絡高層添加IN層加速損失的收斂，能夠提升網絡圖片分類的能力。

1.3 損失函數的改進

(7)

其中，fi∈d表示xi從DNN中學習得到的深度特征向量，Wj∈d表示第j類的權重向量，bj是對應的偏置項。所以從概率的角度，softmax損失給出了屬于所有類別的每個樣本的概率分布。雖然softmax損失可以有效地懲罰分類，但它忽略了類內和類間的關系。

為了提高深度學習特征的判別能力，我們定義了一個新的損失函數來減小類內樣本間的差異，擴大類間樣本的差異。我們考慮一個新的三重態(fi,cyi,fj)，其中fi為錨點，與其它類別的中心cyi相關聯，fi表示來自其它類別的樣本，m>0是邊緣距離。我們期望在樣本fi與其類中心cyi之間的距離應該小于fi與cyi之間的距離。它們的相對距離關系表示為

d(fi,cyi)+m

(8)

(9)

圖4 提出的方法說明

(10)

其中，(·)+=max(·,0)表示為鉸鏈函數。在DNN訓練階段，可以根據反向傳播(BP)算法更新損失函數的梯度。當Lf≤0時，fi的梯度為0，否則fi的梯度計算方法如下所示

(11)

因此，softmax損失側重于將樣本映射到離散的標簽上，而我們的修改的損失則是使用度量學習來約束所學習的特征，具有更明顯的類內和類間區分能力。因此，可以將這兩個損失組合在一起，以實現更有鑒別力和魯棒性的嵌入。最終損失函數可表示為

L=Lsoftmax+λLf

(12)

其中，λ是平衡這兩部分的超參數。

2 實驗和結果分析

2.1 數據及其預處理

我們選擇了BCCD的公共數據庫，其中包含12 500張血細胞增強圖像(JPEG)，細胞類型標簽(CSV)包含9957個訓練圖像和2487張測試圖像。我們將這些細胞圖像分為4種類型：嗜酸性粒細胞、淋巴細胞、單核細胞和中性粒細胞。原始訓練圖像中有2497個嗜酸性粒細胞，2483個淋巴細胞，2478個單核細胞，2499個中性粒細胞。測試圖像包括623個嗜酸性粒細胞、623個淋巴細胞、620個單核細胞和624個中性粒細胞。圖5顯示了不同類型的細胞圖像。

圖5 不同種類的細胞圖像

為了提高模型的精度并減少過度擬合，我們使用矩陣變換來增加圖像樣本的數量。圖6顯示了矩陣變換后的細胞圖像。其它數據增強方法，比如比例變換和顏色變換，不使用，因為細胞核的大小和強度是區分細胞的基本特征。雖然旋轉細胞圖像可能會略微降低圖像的質量，但通過實驗結果表明本文提出的框架模型對增強細胞圖像是有意義的。

圖6 矩陣變換后的細胞圖像

2.2 模型訓練

為了訓練分類模型，我們的模型的卷積層的權值由ImageNet數據集上預訓練網絡的傳輸參數初始化。并利用隨機初始化器對模型中完全連通層的參數進行初始化。

在實驗中，改進的ResNet對圖像特征進行提取并分類，所有的訓練數據歸一化成224*224*3，然后分為小批次訓練。最小批量大小設為128。采用隨機梯度下降法作為模型訓練的優化策略。初始學習率設置為0.001，動量設置為0.9。整個網絡使用ReLU作為默認的激活函數。

2.3 實驗環境

本文的實驗環境是python3.6。處理器為i7-6800k，內存為32 G，顯卡為GTX1080Ti，操作系統為Linux。整個實驗基于開源的深度學習框架pytorch 0.4。

2.4 實驗結果

為了驗證我們的模型具有更好的分類效果，我們選取了一些現有的模型架構對我們的公共數據集進行了實驗[19,21,26]。表1 給出了不同類型細胞的分類準確率、查全率和F-值，表2給出了不同模型的分類精度。結果表明，本文使用的分類模型比卷積神經網絡(CNN)準確率高5%，比卷積神經網絡-對抗神經網絡(CNN-RNN)準確率高2%，總體達到了較好的分類效果，準確率達到92%。

表1 不同類型細胞的分類準確率、查全率和F-值

表2 不同模型的分類精度

3 結束語

本文提出了一種白細胞圖像分類框架。首先利用矩陣變換擴大可靠的訓練樣本，然后通過改進的ResNet架構和改進的損失函數來對白細胞圖像分類。其中在公共數據集上進行的大量實驗結果表明，結合不同的神經網絡模型，樣本三倍中心損失是有效的。采用硬樣本挖掘戰略，過濾器易分類樣本和增大類間差異，減小類內差異,能顯著提高殘差神經網絡的圖像鑒別分類能力。該模型解決了數據樣本不足、數據不平衡等問題，可以充分利用圖像特征進行分類，不需要圖像分割。與現有的網絡結構相比，該方法對WBCs圖像分類的準確率最高。本文的模型也存在一定的缺陷，白細胞總共有5類，本文只對其中的4類進行了識別分類，因此還需要更加完善的數據庫系統。在實際臨床中，細胞往往可能不都是在成熟期，不同階段的細胞狀態，還需要做進一步的模型分析。在未來，我們希望繼續完善現有的網絡架構，進一步加強，并開發一個自動分類系統，不僅能識別白細胞，還能識別其它血細胞，從而更好地輔助醫生診斷。