不同殘差網絡模型的HEp-2細胞熒光圖像分類比較

許 晗

（黎明職業大學 信息與電子工程學院，福建 泉州 362000）

21世紀以來，慢性病患者的比例逐年上升，致死率也在逐步升高。研究發現對HEp-2細胞（Human Epithelial type-2）進行免疫熒光檢測可用于鑒定抗核抗體（ANA），這在識別自身免疫性疾病中起著重要作用。HEp-2細胞是人體喉癌上皮細胞，常用于檢測血清中的抗核抗體，進而判斷是否具有自身免疫性疾病和對應的疾病。

目前，檢測ANA主要采用的方法是傳統的手工評估法，一般可分為以下三個步驟：圖像預處理、特征提?。ㄌ卣鬟x擇）、特征分類。［1］盡管傳統方法已經能夠達到較高的準確率，但手工設計的特征都是基于人的先驗知識，而不是主動地從數據中挖掘信息；同時，在這些方法中，先進行特征提取，再進行分類，所以分類的準確率很大程度上依賴于特征提??；另外，如果這些特征的提取階段有大量參數，則會導致人工調節參數較為繁瑣。近年來，許多研究者致力于開發HEp-2細胞分類的計算機輔助判讀系統，但是這些自動化的判讀方法大多還是依賴于手工設計的特征提取方法和與之分離訓練的分類器，同時這些系統的判讀性能與專業醫生相比仍然存在很大的差距。［2］

本文受自然圖像識別領域的深度卷積神經網絡的啟發，基于深度殘差網絡［3］對HEp-2細胞熒光圖像進行分類研究，采用了ResNet18和ResNet34兩種深度學習模型對HEp-2細胞的ICPR 2012數據集進行分類，并取得了良好的效果。

一、基于深度殘差網絡的HEp-2細胞分類

（一）HEp-2數據集

本文使用的是ICPR 2012數據集，［4］該數據集來自2012年ICPR競賽的細胞分類部分，包括來自28個自身免疫性疾病病人的1 455個不同細胞樣本的熒光模式圖像。圖像由熒光顯微鏡先通過40倍（目鏡*物鏡）放大，再通過參數為6.45 um的CCD數字相機捕捉，最終數據集由兩個以上的專家通過手動分割和標注后得到。［5］整個數據集包含均質型圖像388張、粗斑點型圖像228張、核仁型圖像127張、著絲點型圖像200張、致密斑點型圖像345張、細胞質型圖像222張。根據熒光強度的不同，圖像被分為positive（顯性）、intermediate（中性）兩類。完整的數據集中標明了每張圖像的ID，以及它們對應的染色模式類別。圖1顯示了該數據集中六種HEp-2細胞染色模式示例圖。

為了方便分割和其他圖像處理，以及避免其他物質對細胞的干擾，競賽方還為每一個細胞圖像提供了掩膜，如圖2所示。

圖2 掩碼圖像

（二）深度殘差網絡

近年來，以Alex Net，VGGNet，Google Net，ResNet為主導的一系列CNN方法在圖像分類任務，尤其是Image Net大規模圖像分類競賽中脫穎而出。［6］經過測試發展，與傳統網絡層數越深、生成的模型參數就越好的觀點不同，傳統的CNN網絡結構如果一味的增加網絡層數，準確率不再上升，訓練錯誤率和測試錯誤率甚至會提高。［7］參數在神經網絡中被反向傳播時，梯度是需要被不斷傳播的，但是如果網絡層加深，傳播過程中梯度會逐漸消失。網絡無法對前面的參數進行有效調整，也就得不到好的訓練效果，這稱之為網絡退化問題。目前，技巧、初始權值選擇和權值共享等是深度學習的主要進展方向。［8］

2015年Image Net圖像分類比賽冠軍ResNet網絡深度達到了152層，他們使用了殘差學習（Residual Learning）結構，［9］利用一個152層的深度網絡將錯誤率下降到了3.57%，成功解決了網絡退化問題。該方法沒有使用傳統的神經網絡去擬合所需要的實際映射關系，而是創新性地提出了殘差映射的方式。這樣，成功使得每一部分權重的調整都能被有效進行，調整作用更明顯，更容易訓練。

圖3是常規的神經網絡形式。每層有激活函數和權值，圖中采用的是Relu激活函數，目的是為了避免梯度消失的問題。圖4是殘差網絡的基本單元。在殘差網絡中，剛開始輸入的x，按照常規的神經網絡進行權值疊加，其結果通過激活函數后第二次進行權值疊加，隨后再把輸入的信號和二次輸出結果疊加并第三次通過激活函數，這就是殘差網絡的工作原理，而那條線稱為捷徑連接（shortcut connections）。在線性擬合中的殘差指的是數據點距離擬合直線的函數值的差，即這里的x就是擬合的函數，而H（x）就是具體的數據點，那么通過訓練使得擬合的值加上F（x）就得到具體數據點的值，因此F（x）就是殘差。［10］

圖3 常規神經網絡形式

圖4 殘差網絡基本單元

圖4 中，通過“shortcut connections（捷徑連接）”，原來的結果變為H（x）=F（x）+x，若F（x）=0，則H（x）=x，即恒等映射。［11］這時，網絡的學習目標由原來的調整全部的參數，變成去調整每一小塊的參數，使每一塊的參數得到最優解。也就是，所謂的殘差就是：F（x）=H（x）-x，如果F（x）=0，這時H（x）=x，也就是每一小塊的參數得到了最優解，網絡的目的就變成了學習H（x）與x的差值，使差值接近于0。經過這樣的轉變，當網絡層數加深時，錯誤率也不會上升。

這種結構是跳躍式的，即前一層的結果不僅可以傳輸給下一層，還可以跳躍著傳輸給下面的某一層。該結構使得神經網絡內部可以疊加多層網絡，解決了深度學習的模型錯誤率不降反升的難題。正是因為這個思想，神經網絡的層數可以增加到很多層，甚至上千層，使得傳統的神經網絡難題得到解決。

殘差學習模塊如圖5所示，其中x表示輸入向量，y表示輸出向量。該模塊通過添加短路連接實現公式F（x）+x，目的是使輸入與輸出的差值最小。x經過若干網絡層后得到實際映射H（x），而F（x）=H（x）-x，即整個網絡由原來的擬合H（x），變為擬合殘差函數F（x），這也使得網絡更加高效、便捷。［12］深度殘差網絡的原理是把全部訓練分成許多個非常小的塊（block）去訓練，讓每一塊訓練的誤差最小，從而整體誤差最小，就能夠減少出現梯度彌散的現象。

圖5 殘差學習模塊

由圖6中ResNet網絡基本結構可知，在這些基本結構中，有一些“shortcut connections”是實線，有一些是虛線。造成這樣的原因主要是經過連接后，如果x和F(x)的通道是一樣的，則H（x）=F（x）+x；如果他們的通道不一樣，就不能直接相加，而是需要再經過一些操作。因此，需要依靠實線和虛線來區分這兩種情況：①當輸入和輸出的維度是相同的，在網絡結構上可以連續串聯，以加深網絡的深度，從而直接用公式H（x）=F（x）+x來計算。②當輸入和輸出的維度不同，則在網絡結構上不能連續串聯，卷積塊的作用就是為了改變網絡的維度，此時不能用公式H（x）=F（x）+x計算，應該使用H（x）=F（x）+Wx，其中W是卷積操作，用于調整x的維度。［13］

圖6 ResNet網絡基本結構

二、實驗設置與結果

（一）預處理

本文選取ICPR 2012競賽數據集中所有positive圖像作為實驗數據，其中的六類模式圖像（Homogeneous，Coarse Speckled，Fine Speckled，Nucleolar，Centromere，Cytoplasmic）各自按照8∶2分為訓練集和測試集，得到671張訓練集、168張測試集。另外，本文還使用ICPR 2016競賽數據集中的13 596張圖片作為實驗數據，同樣將其中的Centromere、Golgi、Nucleolar、NuMem、Homogeneous、Speckled 六類模式分別按照8∶2分為訓練集和測試集，得到10 874張訓練集和2 722張測試集。為避免圖像尺度不同對結果產生影響，實驗中將細胞圖像尺度均統一成100×100的尺寸。

（二）模型訓練

本文采用的訓練模型為ResNet18和ResNet34，其中ResNet18具體除由輸入層、卷積層、池化層、全連接層、輸出層這些基礎的網絡結構組成外，還包括四個作為映射的殘差塊。ResNet18包括（8*2+1）個卷積層+1個全連接層。ResNet34與ResNet18基本結構相同，包括（16*2+1）個卷積層+1個全連接層。數字代表網絡的深度，18指的是18個帶有權重的層，包括全連接層和卷積層，不包括BN層和池化層。

每個模型使用200 個epoch 進行網絡收斂，batch size為8。損失函數為交叉熵損失函數，LR為0.1；激活函數為Relu函數。表1為Resnet網絡結構模型。

表1 Resnet網絡結構模型

（三）實驗結果

本文首先采用了CPR2012數據集進行試驗，其結果如圖7和表2、表3所示。從圖7的結果來看，在ResNet18和ResNet34進行圖像分類時，可以發現損失函數，即錯誤率是逐漸下降的，并且最終錯誤率降到0.03%，初始時的損失函數不太理想。ResNet18相對于ResNet34來說，調整效果好。

表2 ResNet18圖像級檢測時的混淆矩陣（%）

表3 ResNet34圖像級檢測時的混淆矩陣（%）

圖7 ResNet18和ResNet34在訓練過程中的損失變化

表2是采用ResNet18方法在ICPR 2012測試用數據集上的混淆矩陣，表格顯示圖像級檢測分類效果比較理想，在Cent、Hom以及Nucl這三類不同的染色模式類別之間，正確率達到了100%；C.Sp這一染色模式類別也達到了93.40%；僅在Cyt以及F.Sp兩類染色模式中出現了誤判，發生了混淆，但這兩類的誤判并不多，兩者的正確率同樣分別到達了88.99%和87.50%。從實驗數據可以看出，該方法對圖像分類有較好的效果。

表3是采用ResNet34方法在ICPR 2012測試用數據集上的混淆矩陣。實驗結果顯示，在Cent和Nucl這兩類不同的染色模式類別之間，分類正確率達到了100%，Cyt這一類別的分類正確率保持不變，F.Sp類別的分類正確率則是上升了6.15%，這說明增加網絡深度有利于降低混淆函數，提高圖像分辨的正確率。但Hom以及C.Sp這兩類別與ResNet18的方法相比，正確率略有下降，下降了1.88%與12.86%。兩種方法對染色模式圖像描述的鑒別能力都很強，二者都具有比較理想的鑒別能力。

根據表4可以看出，在ICPR2012數據集上，ResNet18 和ResNet34 的分類結果是類似的，ResNet18在Positive_train-Positive_test的分類結果為94%，比ResNet34的93%略高。

表4 ICPR2012數據集的分類結果比較

三、總結

深度殘差網絡模型的優勢是既能良好提取特征，又可加深網絡深度。與傳統的機器學習方法相比，由于圖片數據量的增大，使得模型的學習效果更好，分類準確率更高，使用深度學習方法可以極大提高實驗效率。