邊緣先驗信息下的多類型腸道息肉圖像分類網絡

李 勝 曹 婧 葉淑芳 代 飛 何熊熊

1（浙江工業大學信息工程學院，杭州 310012）

2（麗水市人民醫院消化內鏡中心，浙江麗水 323020）

引言

近年來，我國每年結直腸癌新增病例超過52.1萬，而死亡病例也接近24.8 萬［1］，結直腸癌發病率逐年上升，嚴重威脅國民的健康［2］。大多數結直腸癌從良性息肉逐步發展而成，長期隨訪研究證實，對癌前腺瘤性息肉的早期檢出與干預能夠有效地降低結直腸癌的死亡率［3］。因此，對結直腸息肉，尤其是對腺瘤性息肉的檢測顯得尤為重要。

結腸鏡檢查是結直腸癌篩查最重要的診斷方法，內鏡醫生會對可疑區域進行拍照并取樣進行組織病理活檢［4］。組織病理學檢查是腸道息肉分型的“金標準”，但是大量的病理檢查導致病理醫生工作強度很大，且切除息肉會帶來一定的出血和穿孔等并發癥風險。為了更快、更經濟、更安全地對腸道息肉進行分型，許多專家建議使用窄帶成像（narrow band imaging，NBI）內鏡［5］、超擴大細胞內鏡［6］等設備進行光學活檢，這些設備能夠更好的顯示血管模式以及腺體形態細節，從而無需進行組織病理活檢就能較為準確地預測腸道息肉的類型［7-8］。然而，上述新的內鏡設備在大多數醫院還未能普及，且對息肉類型的判斷依賴操作者的經驗和臨場狀態，容易發生漏診和誤診。本研究設計了一個邊緣先驗信息下的腸道息肉圖像分類網絡，在白光結腸鏡手術中實現對腸道息肉不同類型的區分，為醫生進行輔助決策。

早期基于傳統圖像處理的腸道息肉分類方法通過設計手工特征并結合分類器實現。H?fner等［9］結合息肉表面腺體凹坑的視覺結構，通過分割凹坑區域結構并分析其形狀和紋理特征，從而實現對結直腸癌的自動檢測。Tamaki 等［10］探索了一種基于局部特征視覺詞袋的識別方法并結合了新的采樣方案，實現對NBI 內鏡下息肉圖像的三分類。Mesejo 等［11］利用三維形狀特征和機器學習提高息肉分類的準確率，這是避免對可疑增生組織進行活檢的第一步。楊建軍等［12］通過設計局部顏色差異直方圖并結合特征袋，實現內窺鏡圖像的精準分類。手工特征描述下的息肉分類方法存在泛化性能差的不足，只適合特定的數據集且效果有限。近年來，更多的學者將目光投向了更具潛力的基于深度學習的醫學圖像分類算法。Zhang 等［13］提出了一種基于深度卷積神經網絡的遷移學習方法實現增生性息肉與腺瘤性息肉的分類，將從自然圖像學習到的特征遷移到醫學圖像分類任務中。Byrne等［14］通過提取內窺鏡檢查視頻的關鍵幀構建息肉分類數據集，實現實時評估結腸道息肉圖像。黃佩云等［15］提出雙流網絡，包含處理原始圖像的原始流和關注病灶區域的檢測流來實現腸道息肉分類。潘燕七等［16］通過融合傳統方法提取的淺層特征和卷積神經網絡的深層特征，為醫生臨床診斷提供決策支持?；谏疃葘W習的分類算法在區分差異度大的增生性和腺瘤性息肉能達到較高的分類準確率，但對于類間相似性較大的非腺瘤性與腺瘤低級別息肉、以及腺瘤高級別與腺癌，上述網絡的分類準確率非常有限。在臨床中，判斷腸道息肉類型的重要依據是息肉的邊緣特征，例如息肉邊緣的周長大小，邊緣是否光滑等，因此引入了邊緣先驗特征來提高網絡對腸道息肉的區分能力。

早期的邊緣特征提取方法依靠先驗知識指導制作手工特征來實現內窺鏡圖像感興趣區域的檢測與分類。Wang 等［17］提出一種基于幾何形狀、光照差異和沿邊緣范數方向強度變化的局部特征來評判結腸鏡檢查中闌尾孔的質量，確保結腸檢查完整貫穿。Wang 等［18］引入了一種邊緣橫截面自動檢測結腸鏡中突出息肉的新技術，通過計算邊緣截面輪廓的導數函數，并將輪廓分割為部分，接著建模提取適合每個部分的特征，該方法有效地描述了突出息肉的復雜特性，包括息肉的形狀、紋理以及突出的平滑性。Tajbakhsh 等［19］設計了一種混合上下文和形狀信息的計算機輔助診斷系統檢測結腸鏡檢查視頻中的息肉，先通過Canny 檢測提取盡可能多的邊緣，再利用邊緣點梯度與上下文信息去除非息肉結構，并通過形狀信息來定位息肉?；诩y理特征的息肉檢測方法需要使用固定大小的分析窗且嚴重依賴圖像訓練集的準確性。Hwang 等［20］為了克服上述問題，提出了一種聚焦橢圓擬合形狀的息肉檢測方法，可獲得腸道圖像中的大多數邊緣信息，其中也包含了噪聲，例如光斑、氣泡、血管、管腔以及結腸壁褶皺等，后續需要設計相應的后處理算法去除非息肉邊緣，且存在邊緣連接的問題，如圖1（b）所示，傳統的Canny 邊緣提取方法提取了圖像中的大量邊緣，很難有針對性地對息肉邊緣進行下一步的特征提取。所提出的息肉分類算法基于邊緣信息，因此需要得到準確的息肉邊緣。Fan 等［21］提出的平行反向注意網絡（PraNet）使用并行部分解碼器在高層聚合特征以精確地分割息肉，提高邊緣分割的準確性，該網絡在多個息肉分割公開數據集中驗證了其較優的泛化性能。將會利用PraNet 作為息肉分割的主干網絡，設計并嵌入一個邊緣檢測階段的反向注意力邊緣監督模塊（reverse attention edge monitoring module，RAEM）得到更為精確的息肉邊緣，為后續息肉邊緣相對大小和光滑度的特征提取做鋪墊。

圖1 息肉邊緣提取。（a） 原圖；（b） Canny 邊緣檢測；（c） PraNet 邊緣檢測Fig.1 Polyp edge extraction. （a） Original image； （b） Canny edge detection； （c） PraNet edge detection

在獲取邊緣信息后，為了利用普通白光內窺鏡圖像實現腸道息肉的類型區分，提出了一種邊緣先驗信息下的腸道息肉圖像分類網絡（fusion edge prior convolutional neural network，FEP-CNN），主要貢獻如下：

（1）在邊緣檢測階段以PraNet 為主干網絡，設計并插入反向注意力邊緣監督模塊RAEM，細化腸道息肉邊緣的提取，并在此基礎上設計邊緣特征描述子作為醫生診斷的先驗信息融入到分類網絡。邊緣特征描述子包括醫生在診斷時關注的息肉邊緣周長大小和邊緣光滑性特征，其中周長大小用相對大小來衡量，邊緣光滑性通過計算像素點的凹凸性來描述。

（2）在息肉分類階段設計了針對腸道息肉分類的通道注意力模塊（channel attention module，CA），使得網絡能夠自適應地捕獲區分多類型息肉所需的判別性特征，提高網絡的分類準確率。

（3） 構建了一個包含非腺瘤性息肉（nonadenomatous polyps，NAP）、低級別不典型增生腺瘤性息肉（adenomatous polyps with low grade dysplasia，ALP）、高級別不典型增生腺瘤性息肉（adenomatous polyps with high grade dysplasia， AHP） 和腺癌（adenocarcinoma，AC）等4 種類別的息肉分型數據集。

1 材料與方法

1.1 FEP-CNN 網絡整體架構

針對息肉分類任務，提出了一個邊緣先驗信息下的腸道息肉圖像分類網絡，包括邊緣檢測階段、邊緣特征描述子提取階段以及息肉分類階段。在邊緣檢測階段，其主要功能是定位息肉邊緣，因此在本階段，以PraNet［21］為主干網絡設計并插入了反向注意力邊緣監督模塊，進一步地提高了息肉邊緣定位的準確性。隨著深度學習在醫學圖像分類領域中的應用，基于ResNet［22］、DenseNet［23］等基礎網絡提出的改進網絡［24-26］對胃腸鏡圖像疾病分類任務已經達到了較高的分類準確率，這是由于各類疾病其臨床表現的特征差異較大，深度學習網絡能夠很好的捕獲到具有判別性的特征。然而對于息肉這一特定疾病的分類工作大多集中在區分正常和非正常、腺瘤和非腺瘤，未對腺瘤性息肉的高低級別進行劃分，分類結果也受到類間特征差異小的限制。因此所提網絡的邊緣特征描述子提取階段，通過結合內窺鏡醫生臨床診斷時考慮的息肉邊緣先驗信息，增加了網絡的魯棒性，使得網絡不僅僅使用單一卷積層提取特征。最后將邊緣特征描述子提取階段得到的特征拼接到息肉分類階段得到的一維向量中，即將醫生關注的先驗知識息肉邊緣的周長大小和邊緣光滑性對網絡進行優化。對于息肉分類階段采用了DenseNet121 作為分類的主干網絡，并引入了通道注意力模塊來自適應地選取判別性特征。所提網絡的具體結構如圖2 所示，網絡中所使用的主要模塊將在后續小節中繼續討論。

圖2 FEP-CNN 整體架構Fig.2 FEP-CNN overall architecture

卷積神經網絡在特征提取和分類任務上都表現出了優異的性能，FEP-CNN 網絡結構的息肉分類階段使用DenseNet121 作為主干網絡，由卷積層、池化層、4 個Dense Block、3 個Transition Layer 以及全連接層構成，其中最主要的模塊是Dense Block 結構，4 個Dense Block 的層數分別為6、12、24 和16。Dense Block 內每一層的輸入都是前面所有層輸出的級聯，可以表示為

式中，x0到xl-1為第0 層到l -1 層的輸出特征圖，C為逐通道的拼接操作，Hl為第l層包含批標準化（batch normalization， BN）、修正線性單元（rectified linear units， ReLU） 以及卷積操作（convolution，Conv）的復合函數。這樣做的好處是可以使得網絡在變得更深的同時減少參數，而且每一層都連接前面所有層的輸出，因此DenseNet 內梯度傳遞非常有效，避免了梯度消失的問題。經過DenseBlock 后，輸出特征圖的通道數會急劇增加，在每兩個DenseBlock 之間加入 Transition Layer， Transition Layer 包括一個卷積核大小為1×1 的卷積運算和平均池化操作，1×1 的卷積運算用來降低輸出特征圖的通道維數，將其縮減到輸入特征圖通道數的一半，通過Transition Layer 來減少網絡的參數。

1.2 邊緣檢測階段的反向注意力邊緣監督模塊

注意力機制（attention mechanism， AM）［27］已經被廣泛地應用于圖像分類中，通過增強判別性特征或圖像區域，抑制不相關的區域，提高對圖像中重要信息的聚焦能力。分類網絡模型基于息肉邊緣先驗信息，得到息肉的準確邊緣是前提。內窺鏡醫生在注釋息肉時，通常先粗略定位息肉區域，再根據局部特征細分其邊緣，可以看出區域和邊緣是標注息肉的關鍵特征。而經典的U 型分割網絡僅僅將編碼器特征與解碼器特征進行簡單拼接，此時解碼器的特征來自較深的卷積層，只能夠捕獲息肉相對粗略的位置信息而丟失了邊緣細節。為解決該問題，在邊緣檢測階段的PraNet 主干網中增加了反向注意力邊緣監督模塊來優化息肉分割結果，RAEM 模塊的具體結構如圖3 所示。

圖3 反向注意力邊緣監督模塊Fig.3 Reverse attention edge monitor module

具體來說，將邊緣監督特征、編碼器提取的特征與解碼器提取的特征同時輸入到反向注意力邊緣監督模塊中，解碼器特征經過上采樣操作得到fmdec∈?W×H×C，接著輸入到sigmoid 激活函數得到fms，再通過反轉運算得到fmr，將fmr與編碼器特征fmenc逐像素相乘得到的特征圖與邊緣監督特征fmedge相加得到最終的反向注意力特征fmra， 其中fms，fmr，fmenc，fmedge，fmra∈?W×H×C，整個過程可以表示為

式中，σ為sigmoid 函數，R為反轉運算， fmr＝1 -fms，?為逐像素相乘， ⊕為逐像素相加操作。反向注意力邊緣監督模塊通過擦除解碼器特征中前景對象的方式逐步挖掘息肉的邊緣細節信息，再結合邊緣監督特征對分割結果進行細化，可以進一步自適應地學習特征權重，將模糊的息肉分割結果調整為帶有精確邊緣的分割結果。此處選取PraNet中第二層卷積層生成的邊緣預測圖作為邊緣監督特征，這是由于低層卷積層接近原始圖像，包含過多的冗余信息，缺少對息肉區域的聚焦，而高層卷積層能很好地捕獲息肉位置，但缺少邊緣細節信息。

1.3 邊緣特征描述子提取

用于區分多類型息肉，成像設備是白光內窺鏡，不能夠很好地獲得息肉表面的腺管分布信息，導致不能使用pit pattern［28］對息肉分型，很難達到較高的分類準確率。而醫生在診斷腸鏡息肉圖像時，在分析組織病理學結果的同時也會結合觀察息肉邊緣的周長大小與邊緣光滑性的臨床表現。因此認為息肉的邊緣周長大小和邊緣光滑性是區分不同息肉類別的重要特征，引入了邊緣特征描述子作為醫生的先驗知識。

針對腸道息肉邊緣周長大小特征，將邊緣檢測階段得到的區域分割結果進一步處理，得到息肉的邊緣。盡管拍攝時內窺鏡的遠近和角度會造成成像息肉的大小不同，而成像圖像中不存在固定大小的參照物可以用來作為校準點，因此很難獲取息肉的真實尺寸。使用息肉在圖像中相對大小來表示邊緣周長大小特征，即直接計算圖像中展示的息肉邊緣像素點個數，將其定義為

式中，pedge表示邊緣像素點的數量，pmax表示數據集中最長邊緣的像素點數量，這樣可標準化邊緣周長大小特征描述子，否則不同特征之間的尺度不同，導致反向傳播優化網絡時收斂難。特征標準化加快梯度下降求最優解的速度同時提高網絡準確率。

對于腸道息肉邊緣光滑性特征，通過計算邊緣分割結果中邊緣像素點的凹凸性來獲得，如圖4 所示，由向量叉乘運算來判斷像素點的凹凸性。選取3 個連續的邊緣像素點p1，p2，p3，計算向量與向量的叉乘，其結果大于零則表示向量位于向量延長線的逆時針方向，即邊緣像素點p2為凸點；反之若選取相鄰邊緣像素點p2，p3，p4， 向量與向量叉乘結果小于零，則向量位于向量延長線的順時針方向，即邊緣像素點p3為凹點。以r為間隔將邊緣像素點坐標按逆時針順序表示為點的集合｛v1，v1＋r，．．．，vn｝，其中vk表示為第k個像素點的坐標，共有n個像素點。為了盡可能保留息肉邊緣信息并減少后續算法的復雜性，設置r ＝5。通過對邊緣像素點集合進行遍歷，計算凹點的數量。假設邊緣像素點vk的坐標為（xk，yk），其相鄰的邊緣像素點可以記為vk-r（xk-r，yk-r） 和vk＋r（xk＋r，yk＋r），則向量記為（xk - xk-r，yk -yk-r），向量記為（xk＋r - xk，yk＋r - yk），第k個像素點vk的凹凸性指標icck表示為

圖4 邊緣像素點的凹凸性Fig.4 The convexity and concavity of edge pixels

若icc 為1，則表示該像素點為凹點，反之則為凸點，邊緣光滑性描述子可以定義為

式中，pointconcave表示邊緣像素點集合中屬于凹點的數量，pointtotal表示為邊緣像素點集合中的總數，最終邊緣特征描述子提取階段得到的邊緣特征向量記為（esi，esm） 。

所提出的邊緣特征描述子考慮了息肉邊緣的周長大小和光滑性特征，有效地將醫生診斷時的先驗知識融入到深度學習網絡模型中。由臨床醫生的診斷經驗可知，較為相似的非腺瘤性息肉（NAP）和腺瘤低級別息肉（ALP）直徑均較小，但NAP 的邊緣相較于ALP 更為光滑。此外，多數直徑較大的腺瘤高級別息肉（AHP）和腺癌（AC），其邊緣光滑程度也存在差異，AC 的邊緣更為粗糙。單一的深度學習網絡模型對于類間相似性大的圖片很難分類準確，而加入了邊緣特征描述子的網絡能夠更好地區分非腺瘤性息肉與腺瘤低級別息肉以及腺瘤高級別與腺癌。在以往的研究中，腸道息肉邊緣常用來檢測息肉的有無與確定息肉的位置，通常的做法是通過傳統邊緣提取算法獲得息肉邊緣，計算邊緣的梯度來描述息肉的形狀、紋理以及凸起程度［17］-［18］［19］，這類邊緣特征提取方法檢測到的邊緣不連續，只提取了部分顯著性邊緣，息肉邊緣的整體光滑性不能得到體現，這樣的特征不足以用來進行息肉分型，且通常需要求邊緣的一階導數或高階導數，計算復雜度較大，在息肉多分類任務中不能達到較好分類效果。

1.4 息肉分類階段的通道注意力模塊

圖5 為息肉分類階段中所涉及的通道注意力模塊的具體結構。假設Dense Block4 輸出的特征圖為x∈?W×H×C，其中W，H，C分別表示特征圖的寬度、高度和通道數，則由通道注意力模塊生成的權重可以表示為

圖5 通道注意力模塊Fig.5 Channel attention module

式中，G表示通道方向上的池化操作，在后續的實驗中，將對比采用全局平均池化層和最大池化網絡的性能。xij表示特征圖x中第i行第j列的像素，Conv1D表示為一維卷積操作，卷積核大小設為1×3，σ為sigmoid 函數。通道注意力模塊建模特征圖表示各個通道在該分類任務中的重要性。傳統的注意力模塊通過全連接層將信道特征映射到低維空間，再通過全連接層將低維空間特征映射回原特征的尺寸大小，使得通道數與通道注意力權重之間的對應是間接的。而通道注意力模塊通過一維卷積避免了降維操作，一方面降低了模型參數量，另一方面建立通道數與權重之間的直接對應關系，提高對判別性特征的篩選能力，對腸道息肉類別的判斷具有更好的性能。

1.5 構建數據集

所使用的數據集來自麗水市人民醫院消化內窺鏡中心2018年至2019年的脫敏數據，共包含1 050張內窺鏡圖像，來自1 050 例患者，數據收集過程均按照已批準的指引和法規進行。3 位經驗豐富的內窺鏡醫生對圖像進行回顧性收集和復查，根據病理組織學報告將內窺鏡圖像分為非腺瘤性息肉（NAP）、低級別不典型增生腺瘤性息肉（ALP）、高級別不典型增生腺瘤性息肉（AHP）和腺癌（AC）。如圖6 所示，第一行為不同息肉類別中的典型圖像，第二行為類間相似性大的圖像，可以看到，非腺瘤性息肉與腺瘤低級別息肉可能非常相似，而腺瘤高級別息肉與腺癌也可能存在高度的相似性。數據收集過程中內窺鏡醫生首先檢查患者的組織學報告，再到數據庫中檢索相應的息肉圖像，雖然每個息肉存在多個圖像，但針對每個病灶只選取一張最佳圖像。最終，由標準的白光結腸鏡拍攝并被病理組織學證實的圖像被納入數據集。

圖6 不同類型息肉圖像。（a） NAP；（b） ALP；（c）AHP；（d） ACFig.6 Different types of polyps. （a） NAP； （b）ALP； （c） AHP； （d） AC

采集到的結腸鏡圖像最初包含用于顯示檢查儀器系統信息的黑色區域。此外，采集系統和拍攝設置存在差異，原始結腸鏡圖像的分辨率也不相同。為了標準化的數據集，對原始圖像進行預處理，通過mask 技術去除不必要的黑色區域，并將圖像剪裁為480 像素×480 像素大小。醫學圖像數據集由于樣本數量較小，類間數據不平衡的問題［29］，通常會通過數據增強操作來擴充數據集并增加噪聲數據，增強網絡模型的泛化性能與魯棒性［30］。數據集的構建選取了包含旋轉、平移、翻轉、高斯噪聲、模糊、對比度調整、亮度調整一系列圖像增強方法，結果如圖7 所示。

圖7 圖像數據增強。（a） 剪裁后圖像；（b） 旋轉操作；（c） 平移操作；（d） 水平翻轉；（e） 高斯噪聲；（f） 模糊操作；（g） 調整對比度；（h） 調整亮度Fig.7 Image data augmentation. （a） Cropped image； （b） Rotation operation； （c） Translation operation； （d） Horizontal reversal； （e） Gaussian noise； （ f） Fuzzy operation； （ g） Adjusting contrast； （h） Adjust brightness

根據腸道息肉活檢的組織病理結果構建了一個息肉四分類數據集，其中包含非腺瘤性息肉圖像（NAP）300 張、低級別不典型增生腺瘤性息肉圖像（ALP）400 張、高級別不典型增生腺瘤性息肉圖像（AHP）200 張和腺癌（AC）圖像150 張。所有類別按照4 ∶1的比例將數據隨機劃分為訓練集與測試集，確保訓練集和測試集獨立不重疊，并在此基礎上進行五折交叉驗證。由于獲得的原始數據集各個類別存在數據不平衡，因此采用數據增強的方法平衡補充數據集，對非腺瘤性息肉圖像隨機擴充4倍，對低級別不典型增生腺瘤性息肉圖像隨機擴充3 倍，對高級別不典型增生腺瘤性息肉圖像隨機擴充6 倍，對腺癌圖像隨機擴充8 倍，數據集具體規模如表1 所示。

表1 數據集的具體規模Tab.1 The specific size of the dataset

1.6 實驗細節

所提出的網絡模型是在服務器上使用PyTorch實現的，使用顯卡型號均為NVIDIA2080Super，算力7.5。網絡訓練采用二階段訓練方案，在第一階段，考慮到所構建的數據集只包含類別標簽而不存在分割標簽，因此邊緣檢測階段的網絡先在公開數據集ColonDB［19］上進行訓練，初始化學習率設為1×10-5學習率的衰減率設為0.1，每50 輪衰減一次，輸入的batch size 設置為8 以及訓練epoch 大小設置為200；在第二階段，固定邊緣檢測階段所使用網絡的最優參數，使用構建的數據集對息肉分類階段所使用的網絡進行訓練，此處選擇Adam 優化方法，其中β1＝0.5，β2＝0.999，batch size 設為32，權重衰減常量設為1e-5，初始學習率設為0.001，每30 輪下降0.1，epoch 設為100。

1.7 損失函數與評價指標

采用傳統的二值交叉熵損失函數來訓練的網絡，通過最小化訓練樣本網絡預測值和真實標簽之間的交叉熵，其定義如下：

式中，I為輸入訓練圖像，表示將輸入圖像I預測為第c類的概率，lc表示輸入圖像真實標簽的one-hot 編碼格式，C為總類別數，此處為4。

對于多分類任務，通常使用總體準確率（Overall Accuracy，OA）、準確率（Accuracy）和兩個臨床指標：敏感性（真正類率，Sensitivity），用來描述網絡識別出的真陽性樣本占所有陽樣本的比例，特異性（真負類率，Specificity），用來描述網絡檢出真陰性患者的能力，來評價分類算法。

式中，NNAP、NALP、NAHP、NAC分別表示非腺瘤性息肉、腺瘤低級別、腺瘤高級別以及腺癌四種類型中正確分類的樣本數量，Ntotal表示測試集中總的樣本數量，TP、TN、FP、FN 分別代表圖像預測為真陽性，真陰性，假陽性，假陰性的數量。

2 結果

2.1 消融實驗

所提出方法主要由3 個關鍵部分組成，反向注意力邊緣監督（reverse attention edge monitoring，RAEM）模塊，邊緣特征描述子提取和通道注意力（channel attention，CA）模塊。在本小節中，在所構建的數據集上設計了一個消融實驗來驗證所提方法的性能，具體的實驗結果如表2 所示。Baseline1是DenseNet121 骨干網絡結果，消融實驗結果在第2到4 行，最后一行顯示了所提網絡的性能?？傮w來說，在消融實驗中逐個增加所提出的模塊時，評價指標均得到一定程度的提高，所提出的方法展現了最佳的分類性能，總體準確率為77.29%。大多數錯誤分類的圖像集中在非腺瘤性息肉和低級別腺瘤性息肉以及腺瘤高級別和腺癌之間，這是由于兩兩類別之間在內窺鏡檢查拍攝的圖像上表現非常相似，即使是經過專業訓練的內窺鏡醫生也難以保證較高的分類精度。所提出方法在非腺瘤性息肉、腺瘤低級別性息肉、腺瘤高級別性息肉以及腺癌的分類準確率分別達到92.29%、86.77%、86.41%和89.37%，與DenseNet121 骨干網絡相比，分別提高了4.69%、5.31%、11.93%和0.93%，體現了FEPCNN 的有效性。

表2 消融實驗結果Tab.2 Results of ablation experiment

在邊緣檢測階段的主干網絡中加入了RAEM 模塊，能夠更精準地提取息肉的邊界，輔助后續對息肉邊緣特征的提取。消融實驗中Baseline4（加入了邊緣特征描述子提取和RAEM）相比于Baseline3（僅加入邊緣特征描述子提?。┑姆诸惪傮w準確率提高了0.92%，進一步驗證了RAEM 的有效性。邊緣特征描述子提取增強了分類網絡的性能，將醫生診斷時的先驗信息融入網絡，增強了分類網絡的魯棒性，可以看到，Baseline4 相較于Baseline1 總體分類準確率增加了7.17%。此外，在通道注意力模塊中選擇不同池化操作來驗證對網絡分類性能的影響。通過比較Baseline6（利用最大池化生成后續特征圖） 和Baseline5（利用平均池化生成后續特征圖）的分類性能，可以看出，利用最大池化生成后續特征圖的網絡對高級別腺瘤性息肉和腺癌有較好的區分度，但網絡的總體分類準確率與利用平均池化所得結果相近?？傮w而言，引入CA 模塊能夠通過通道注意力自適應地選取具有判別性的特征，為重要性不同的特征添加不同的權重，從而提高分類準確率。

2.2 對比實驗

與經典的深度學習方法 ResNet50［22］，SENet［31］，AGCNN［32］以及專門用于腸道圖像分類的網絡AGDN［25］，DSINet［33］進行了比較，進一步說明所提網絡的性能，實驗結果如表3 所示。其中，AGDN［25］和DSINet［33］是現有較為出色的腸道圖像分類網絡。所有的對比網絡均在所構建的息肉四分類數據集上進行五折交叉驗證，通過分析準確率、敏感性、特異性和總體準確率這4 個指標來說明FEP-CNN 的息肉分級性能。為了進行公平的對比，對比方法均按照其作者在參考文獻中提供的實驗細節來實現。通過表3 實驗結果可以看出，模型表現優于其它現有的分類網絡模型。與專門用于腸道圖像疾病分類的AGDN 和DSINet 網絡相比，所提出的邊緣先驗信息下的深度學習息肉分類網絡在息肉四分類數據集上的總體分類準確率達到了77.29%，分別提高了20.41%和6.46%。

表3 與其它深度學習方法進行性能比較Tab.3 Performance comparison with other deep learning methods

通過可視化AGDN、DSINet 以及方法的混淆矩陣，如圖8 所示。與AGDN 和DSINet 相比，所提網絡能夠更好地區分兩組類間相似性高的息肉類別：非腺瘤性息肉（NAP）與腺瘤低級別息肉（ALP）、腺瘤高級別（AHP）與腺癌（AC）。針對數據集中的各個類別NAP、ALP、AHP 以及AC，所提網絡在不同息肉類別上的準確率、敏感性和特異性指標相較于其它方法多數都獲得了一定程度的提高。

圖8 混淆矩陣可視化。（a）AGDN；（b）DSINet；（c）本方法Fig.8 Confusion matrix visualization. （a） AGDN； （b） DSINet； （c） Proposed

3 討論

本研究為了提高對息肉類間高相似度圖像的區分能力，設計了一種邊緣先驗信息下的腸道息肉多分類算法（FEP-CNN），并結合數據增強策略來進一步提高其分類準確率。

通常而言，提高CNN 特征學習能力主要有兩個途徑：增加網絡的寬度或增加網絡的深度。但是網絡過深通常會帶來訓練參數過多，誤差積累以及梯度消失等問題，在訓練集樣本數量小的情況下，也會產生網絡過擬合的問題。Huang 等［23］提出的DenseNet 從特征的角度入手，通過充分利用淺層特征以達到更好的效果，能夠更好地提取特征，并有效減少了網絡參數量，具有很好的抗過擬合能力，泛化性更強，更適合用于醫學圖像數據集小的場景。因此，FEP-CNN 選取了DenseNet121 作為息肉分類階段的主干網。

對于胃腸道息肉圖像分類任務，先前的工作大多都基于單一的深度學習網絡對增生性息肉與腺瘤性息肉進行分類。盡管深度學習在自然圖像以及一些區分度較高的醫學圖像分類任務中表現出了優越的特征提取能力，然而在息肉多分類任務中，由于腸道環境復雜且不同類型息肉病灶的相似度較高，僅靠單一的深度學習網絡難以提取到具有較高判別性的特征。在表3 所示的實驗結果中，FEP-CNN 與專門用于腸道圖像分類的網絡AGDN［25］，以及DSINet［33］也進行了比較。由于DSINet 包含分割和分類的協同網絡，也能夠達到較好的分類結果；而AGDN 注意引導變形網絡通過單一的卷積神經網絡來提取息肉特征，難以區分類間相似性高的圖像。本研究所提出的FEP-CNN 分類總體準確率與AGDN 和DSINet 相比分別提高了20.41%和6.46%，這是由于該網絡融入了臨床中醫生的診斷經驗。經驗豐富的內窺鏡醫生在診斷時通常會關注息肉的真實大小和邊緣是否粗糙。雍和禮等［34］通過臨床實驗數據說明息肉越大，表面越粗糙，不典型程度越重，發生癌變的幾率越高。Fu等［35］指出腺瘤的高低級別劃分與其大小和發育不良程度直接相關。Rodriguez-Diaz 等［36］通過統計數據集中息肉類別與其大小分布，也說明了息肉大小能夠作為輔助信息來對息肉進行分類。因此FEPCNN 通過評估息肉邊緣周長相對大小并結合邊緣光滑性來提高息肉多分類的準確率。于俊清等［37］指出融合高層語義信息和底層語義信息能夠更好地利用各個特征的互補性。因此，FEP-CNN 將醫生關注的邊緣視覺特征與深度學習網絡進行融合，補充了單一深度學習網絡提取的深層語義特征的不足，優于傳統深度學習在息肉多分類任務上的表現。

本研究還存在一些局限：有標注的息肉多分類圖像數據集較難獲取，若能增大原始圖像數量，可進一步提高網絡的分類準確性與魯棒性；臨床中醫生診斷時通常會從多個角度觀察同一病灶，可視為利用病灶的多幅圖像聯合進行分類，本研究的方法還是針對單幅圖像進行分析，若能擴展到分析多幅圖像，則分類精度有望進一步提高。

4 結論

針對腸道息肉多分類任務中存在類間相似性高的問題，提出了一種邊緣先驗信息下的分類網絡（FEP-CNN）。邊緣檢測階段的反向注意力邊緣監督模塊，捕獲更多的息肉邊緣細節信息。邊緣特征描述子提取階段提取了息肉邊緣周長大小以及光滑度特征作為醫生臨床診斷的先驗信息融合到后續的分類網絡。息肉分類階段的通道注意力能夠自適應地捕獲判別性特征。在構建的四分類數據集上驗證了FEP-CNN 更適合類間相似性高的息肉分型任務，通過引入邊緣先驗信息提高模型分類精度。在后續的工作中，會加大受試者的數量，擴充數據集，增強模型的穩定性和泛化性，并考慮將設計的網絡模型移植到無線膠囊內窺鏡成像領域中。