融合注意力與殘差網絡的石油管材失效宏觀影像智能識別方法*

朱麗娟, 馮 春, 劉芯言, 許夢飛,2,吉 楠, 王 鵬, 周 揚,2, 李 露

(1.中國石油集團工程材料研究院有限公司, 油氣鉆采輸送裝備全國重點實驗室 陜西 西安 710077;2.西安石油大學材料科學與工程學院 陜西 西安 710065)

0 引 言

石油管材是油氣鉆采與輸送的唯一通道,其服役過程失效事故多發,影響大,嚴重威脅了油氣田的安全生產。石油管材失效分析推動了石油管材設計、生產和運維等失效預防與控制措施改進,大幅降低了事故率,為石油工業生產提質增效夯實了牢固基礎。在石油管材失效分析過程中,宏觀影像分類識別是失效模式診斷與失效機理分析的前提。然而,傳統的石油管材失效宏觀影像分析主要依靠專家經驗,受學科差異、從業經驗以及外在因素影響,診斷結果離散度大、診斷效率低,這將直接影響石油管材失效分析的分析決策效率與結論精準性。

隨著近年來硬件算力的飛速提升和學習算法的迭代優化,在面對指數級增長的數據時,深度學習作為一種靈活高效的機器學習方法為圖像識別提供了全新的思路[1]。該方法在大幅度提升圖像識別精度的同時,提高了模型的可遷移性和魯棒性,降低了實際應用與部署難度[2-3]。目前,深度學習在語音識別、圖像分類、自然語言處理等領域都有重要的應用,它能夠提取數據中高層次的豐富特征,但是隨著網絡層數增多,反向轉播求取梯度的時候,容易發生梯度消失或梯度爆炸,甚至會發生網絡退化的問題,即深層網絡的性能不如淺層網絡的性能。為了解決這些問題,研究人員先后提出了殘差網絡(ResNet)[4]、基于跳躍鏈接的密集連接網絡(DenseNet)[5]以及高精度的ResNext網絡[6]。其中,ResNext具有高精度與少超參數數量,且與其他網絡相比,未增加網絡參數復雜度。為了解決影像識別中的實際問題,研究人員融合深度學習與缺陷分類后,提出了新的影像識別方法,該方法已廣泛應用于構件缺陷的分類。其中,基于卷積神經網絡的冷軋薄板表面缺陷分類[7]與基于深度學習方法的緊固毛刺缺陷分類[8]效果良好。陳立潮等人提出一種融合遷移學習的AlexNet卷積神經網絡模型,用于不銹鋼焊縫缺陷分類[9],攻克了焊縫缺陷特征提取的主觀單一性和客觀不充分性的難題,大幅提升了分類的準確性。閆雪等人提出了一種變形ResNet-18神經網絡模型用于航空發動機制件表面缺陷分類[10]。針對圖像篩選任務,歐劍港等人提出了一種基于深度卷積神經網絡的ResNet-50圖像篩選改進算法[11]。為了降低缺陷分類任務的計算成本,史楊瀟等人提出了一種新型的混合卷積(MixConv)輕量型網絡用于鋼鐵表面的缺陷分類[12]。肖文凱等人為了提高焊縫無損缺陷檢測的性能,提出了一種缺陷自動檢測算法DRepDet[13]。

深度學習在失效影像智能識別的實際部署尚不完善。大多數初期研究工作集中在基于機器學習的失效斷口影像診斷,比如采用灰度共生矩陣和基于統計的特征提取算法建立識別模型[14-20]?；诨叶裙采仃?結合局部線性嵌入[15]、相關性分析[16]等特征降維技術,可取得優異的斷口圖像等特征提取效果。為解決采用計算灰度共生矩陣時,紋理圖像的灰度量化過程會導致部分圖像信息丟失的問題,李凌等[17]定義了模糊灰度共生矩陣,采用隱馬爾可夫進行分類,大幅提高了識別率。李志農等[18-19]利用基于圖像幾何流最佳稀疏表示的正交變換(Grouplet變換)來處理金屬斷口圖像,分別提出了結合關聯向量機的Grouplet-RVM方法和結合核主成分分析的Grouplet-SVM方法,在金屬斷口識別率和速度方面都有一定提升。為了提高斷口圖像識別率,黎明等[20]提出基于局部紋理特征與全局紋理特征的多特征融合算法。然而,由于石油管材失效宏觀影像中類型多樣、斷裂形態不一、表面可能存在有腐蝕產物等原因,嚴重加大了淺層算法提取特征的困難。因此,石油管材領域的復雜場景可能導致傳統的圖像識別算法實現的精度較低且難以轉換,算法/模型泛化能力差。因此,亟需研發基于深度學習的失效影像智能診斷技術。

在本研究工作中,針對現有識別方法存在的精度不佳、泛化能力不強等問題,開展融合注意力與殘差網絡的石油管材失效宏觀影像智能識別方法研究。本研究首先通過數據增強手段,構建包括斷裂、腐蝕、磨損、形變等4類石油管材失效宏觀影像數據集。其次,基于塊結構設計,集成分組卷積與空洞卷積等技術,構建不同空洞率的殘差網絡,進而減少模型的計算量,增加網絡推理效率,提高模型的失效影像特征學習能力。然后,基于殘差塊堆疊設計思路,集成空間注意力機制和通道注意力機制,構建融合注意力與殘差網絡的石油管材失效宏觀影像智能識別的深度殘差神經網絡模型,賦予網絡對石油管材失效宏觀影像特征權重分配功能,有效提升神經網絡捕獲宏觀影像關鍵特征信息的能力。最后,通過分類檢測得到最終的檢測結果。本研究工作建立的模型能有效提高石油管材失效宏觀影像(斷裂、腐蝕、磨損、形變)的種類智能識別效率和精度,為石油管材失效智能診斷、失效分析預測與預防提供技術支撐。

1 石油管材失效宏觀影像智能識別方法

1.1 石油管材失效典型宏觀影像及其數據增強

眾所周知,數據在深度學習中至關重要,高質量的數據集是提高模型訓練質量和預測精度的基礎。深度學習領域存在很多經典數據集,這些數據集涵蓋了根據應用場景的不同,使用專業設備拍攝的大量圖像數據。以應用于影像識別領域的大型可視化數據庫ImageNet數據集[8]為例,其涵蓋1 400萬余幅可見光圖片,包括了2萬多個典型類別,并有明確類別標注和位置標注的圖片量以百萬計,這均為模型的訓練打下了堅實的數據基礎。

在一些特定的情況下,需要根據網絡的具體使用場景來制作數據集,但是這些數據集的規模無法使網絡性能達到最好。因此,擴充數據集規模便成了當務之急。而數據增強是大幅度擴張數據樣本規模的一種有效手段,為了使擴增的訓練數據接近真實分布的數據,可以基于已有的訓練樣本數據生成更多的訓練數據,從而保障了模型的泛化能力,促進檢測精度的提升。此外,數據增強也增加了一定的噪聲數據,能使模型學習更多魯棒性的特征,這不僅提高了模型的魯棒性,還能夠提升其泛化能力。常用的數據增強手段有兩類:一類是基于幾何變換的數據增強,具體包括翻轉、裁剪、平移和添加噪聲等,這種方法可以消除訓練集和測試集的尺度、位置和視角差異等;另一類是基于顏色空間變換的數據增強,具體包括調整亮度、對比度、飽和度、灰度轉換等,這種方法可以消除訓練集和測試集的光照、色彩、亮度差異等。

本研究工作中,以斷裂、腐蝕、磨損、形變等4類石油管材失效典型宏觀影像為研究對象,如圖1所示,開展失效宏觀影像智能識別方法研究,并采用上述2類數據增強手段在線擴充失效影像數據集。

圖1 石油管材失效典型宏觀影像

1.2 基于塊結構構成的殘差網絡模型

憑借卷積神經網絡在特征提取中的顯著優勢,深度學習為圖像分類領域提供了許多出色的模型。針對具有多種紋理特征的石油管材宏觀失效影像目標,為實現更高效準確分類,本文在ResNet模型基礎上進行改進,提出了一種新的塊結構XBlock,通過組卷積提高了模型的運行速度,結合不同擴張率的空洞卷積擴大模型的感受野,使得模型可以更快更準確地捕捉不同粒度的特征,進一步實現石油管材宏觀影像特征細節的提取。

首先,通過對ResNet中BottleNeck和BasicBlock的研究,設計出了一種更加有效并且計算量更小的塊結構,本研究工作中將其命名為XBlock。本研究工作中設計的XBlock和原始的BottleNeck塊的結構均采用2個1×1的卷積進行特征維度升維和降維操作,建立的網絡模型如圖2所示。不同模型參數量和計算量對比見表1。

表1 不同模型參數量和計算量對比

圖2 BottleNeck結構圖與XBlock結構圖

與BottleNeck結構區別在于,本模型經過一個1×1的卷積(convolution, conv)對特征進行降維后,采用了3×3的分組卷積[21]對特征圖進行學習處理。分組卷積(group convolution, g)能夠有效地減少計算量并且不會損失特征,故而可以進行更加高效的訓練。因為卷積計算被拆分為不同通道,每個通道分別由不同的GPU進行計算?；诓⑿蟹植教幚硭枷?該模型能在多個GPU上完成訓練任務,其訓練效率遠高于基于數據并行化的單個GPU模型。因為當批量過小時,其本質上執行隨機梯度下降,使得結果收斂更慢,甚至造成更差的收斂結果。因此,在訓練深度較大的神經網絡時,采用分組卷積可以獲取更佳的效果,因其能夠有效地減少模型計算量,增加推理速度,使得模型本身更加高效。

其次,在XBlock結構中除了分組卷積,還采用了空洞卷積[22]技術,如圖3所示。將1×1卷積降維后的特征圖分成2組,第一組采用空洞率為1(d1=1)的原始卷積塊進行卷積處理,第二組采用空洞率為2(d2=2)的卷積塊進行卷積處理,空洞卷積能夠在不增加額外計算量的同時,捕獲多尺度上下文信息,有效增大卷積核感受野。與人類視覺系統識別物體一樣,不僅需要關注局部信息,更需要關注更大尺度的全局信息。在計算機視覺任務中同樣,不同尺度的信息對于后續特征表述的準確性有著重要意義。鑒于此,本研究工作設計的塊結構采用不同的空洞率并行學習,使設計的塊結構能夠有效地學習到不同感受野的特征信息,不僅學習到局部特征,還能學習更大感受野的大尺度特征。后續經過1×1卷積將不同尺度的特征信息進行融合,使設計的XBlock結構能夠相對于BottleNeck結構有更強的特征學習能力,從而使網絡具有更強的分類能力。

圖3 空洞卷積與普通卷積特征融合

1.3 融合注意力與殘差網絡的石油管材失效宏觀影像智能識別模型

注意力機制是近些年來神經網絡中研究的熱點,正確的使用能夠有效地增強網絡的學習能力。常見的注意力機制主要分為空間注意力機制(Spatial Attention)和通道注意力(Channel Attention)兩大類。

對于通道注意力模型,如圖4所示,首先將C×H×W的特征圖分別進行最大池化和平均池化以分別獲取尺寸均為C×1×1的不同池化信息;將經過2個全連接層后的特征圖相加并用Sigmoid函數激活,使用上述機制可以同時關注圖片的顯著信息和全局信息,從而有效增加通道注意力的語義豐富性。公式(1)抽象表述了通道注意力的原理。

圖4 通道注意力模型

(1)

式中:F表示輸入特征;AvgPool和MaxPool分別表示平均池化和最大池化;MLP表示多層感知機;σ表示Sigmoid函數。

對于空間注意力模型,如圖5所示,首先將C×H×W的特征圖分別進行最大池化和平均池化以分別獲取尺寸均為1×H×W的不同池化信息;將該信息經通道維度拼接后進行卷積操作,生成1×H×W的特征圖;最后將特征圖使用sigmoid函數生成空間權重系數并相乘,使用上述機制可以關注全通道的圖像特征,使模型更高效地生成權重信息,引導模型降低非特征區域的權重。公式(2)抽象表述了空間注意力的原理。

圖5 空間注意力模型

(2)

式中:F表示輸入特征;AvgPool和MaxPool分別表示平均池化和最大池化;f7×7表示7×7大小的卷積核;σ表示Sigmoid函數。

基于不同的模型連接策略,它們可以組合成不同種類型。以非復用注意力模塊為前提,采用串聯或并聯方式共能生成3種不同的模型,如圖6所示。其中,試驗結果[23]顯示通道注意力置于空間注意力之前的注意力機制串聯方式對模型效果更好。

圖6 注意力機制組合方式

基于上文的通道-空間串聯注意力策略機制模型,如圖7所示。

圖7 通道-空間串聯注意力機制模型

針對石油管材宏觀影像中存在大量的無目標(斷裂、裂紋、磨損、形變典型特征)區域,為使網絡能持續關注典型特征區域而忽略無目標特征區域,引入了注意力機制。在XBlock的設計中采用串聯空間注意力與通道注意力的混合注意力機制來加強網絡的學習能力,使設計的XBlock結構能夠有效提取對網絡分類有用的關鍵特征信息。在完成1×1升維后串聯一個空間注意力和通道注意力融合模塊,增加注意力機制后能夠有效地對特征進行權重分配,使網絡學習到特征中重要的信息且忽略次要信息,讓XBlock有更強的特征學習能力。如圖8所示,圖8(a)是原始的XBlock,圖8(b)是增加注意力機制的XBlock,命名為AXBlock。

注:d1代表左分支空洞率;d2代表右分支空洞率;g代表組卷積。圖8 XBlock與AXBlock結構圖

模型輸入512×512像素的RGB圖像,基于與ResNet網絡一樣的殘差塊堆疊思想構建網絡,通過{2,2,2,2}的堆疊AXBlock構建出網絡模型,如圖9所示。

圖9 AXBlock構成的自定義網絡圖

先經卷積層對圖像特征進行初步提取,得到256×256像素的特征圖,接著特征圖進入4個階段,每個階段包括2個AXBlock模塊進一步提取特征。進入AXBlock模塊后,首先使用1×1的卷積核降維,然后將拆分成兩組分別進行空洞卷積的結果合并,重新使用1×1的卷積核升維后進入注意力模塊產生特征權重。在每一階段輸出特征圖的尺寸分別為64×128×128,128×64×64,256×32×32,512×16×16。

1.4 智能識別模型/算法的評價指標

為研究管材失效影像智能識別模型/算法的準確性,需要研究確定相應的模型評價指標。概而論之,評價指標代表了深度學習模型的準確程度或不準確程度,一般以數字的形式展現。對于一個分類任務而言,精度(Accuracy)是最基本的評價指標,即分類正確所占的百分比。選擇恰當的評價指標有助于選出適合于當前任務的算法。評價指標是建立在不同的機器學習任務上的,主要分為3大類:分類任務、回歸任務、無監督學習任務。一般情況下,針對分類任務常用的評價指標如下:

真正率(True Postitive Rate):正樣本中被預測對的比例。

(3)

假正率(False Postitive Rate):負樣本中被預測錯的比例。

(4)

真負率(True Negative Rate):負樣本被預測對的比例。

(5)

假負率(False Negative Rate):正樣本被預測錯的比例。

(6)

準確率/精度(Accuracy):模型識別正確的樣本個數占總數的比例。

(7)

式(3)～(7)中:真正例 (True Positive, TP)表示實際為正例且被正確分類的數量;假正例 (False Positive, FP)表示實際為負例但被錯誤地分類為正例的數量;真負例(True Negative, TN)表示實際為負例且被正確分類的數量;假負例(False Negative, FN)表示實際為正例但被錯誤地分類為負例的數量。在大多數分類任務中,普遍采用準確率/精度作為主要評價指標,其他指標輔助衡量網絡分類效果,不作為主要指標。精度更能直觀地反應出一個網絡對各個類別預測的準確度,也便于更加直觀地感受網絡的分類效果。因此,本研究工作中的網絡模型參考大多數網絡模型的情況,采用精度作為評價指標。

2 算例仿真

2.1 算例概況

本文實驗環境配置為CPU型號:Intel@ CoreTMi9-9900k CPU @ 3.60GHz×16;GPU型號:NVIDIA GeForce GTX 2080 Ti;基于PyTorch1.8深度學習框架;Python3.7環境。

本實驗所有數據均為便攜式照相機采集,此數據集包含1 023張圖像,其中各個類別圖像包含斷裂599張,腐蝕287張,磨損84張,形變53張共4個類別。在計算的過程中,采用在線增強技術擴充數據集的數量。為了保證驗證集的數量,使得驗證集的數據具有統計意義,本實驗采用5∶5的比例劃分訓練集和驗證集。劃分后的數據及各類別訓練集與驗證集數據量如表2所示。

表2 訓練集圖像統計表 張

2.2 智能識別結果與分析

在此數據集上,本算例的訓練過程中,在損失函數方面,采用交叉熵損失函數,并且損失權重設置為1。在優化算法方面,采用經典的AdamW優化算法,并設置初始學習率為0.000 5,權重衰減為0.1。在學習率優化函數方面,采用余弦退火學習率優化算法[24],設置最小學習率為0,采用線性學習率預熱[25]進行50輪的預熱并設置預熱比率為1e-4,具體的學習率優化函數可視化圖如圖10所示。為了保持一致性,訓練時均進行100輪。

圖10 學習率曲線圖

在XBlock與BottleNeck塊通過{2,2,2,2}階段模塊數量構建出的網絡采用以上訓練配置進行訓練,并使用訓練好的模型進行測試,分類結果如表3、表4所示。

表3 BottleNeck結構網絡分類結果

表4 XBlock構建的網絡分類結果

XBlock與BottleNeck結構在相同的訓練環境和參數設置下,并且具有相同的網絡構建方式。研究結果表明,本研究工作中設計的XBlock構建出的網絡有更好的分類效果,該XBlock構成的深度殘差網絡分類總精度相對于原始自定義ResNet精度提升了5.6%。每個類別精度都比原始自定義的ResNet網絡有了一定的提升。

圖11為訓練的Loss曲線圖,由圖可知,通過XBlock構建出的全新深度殘差網絡在訓練中有著更快的收斂速度,并有著更好的收斂效果。圖12為訓練的精度曲線,可以看出,本網絡能夠更快地訓練到一個高精度水平,并且最終訓練結果精度比通過BottleNeck搭建的自定義ResNet網絡更高。

圖11 BottleNeck結構與XBlock結構網絡訓練損失率曲線對比圖

圖12 BottleNeck結構與XBlock結構網絡訓練精度曲線對比圖

通過對注意力機制的大量研究,本模型巧妙地在XBlock模塊中增加注意力機制進而增強XBlock結構性能。增加了注意力機制的AXBlock與上述XBlock構建深度殘差網絡的策略相同,通過{2,2,2,2}階段模塊數量構建出深度殘差網絡。同樣使用相同數據集,在相同的訓練環境下與訓練參數配置進行訓練,對訓練好的模型進行預測分析,分類結果見表5。

表5 AXBlock結構網絡分類結果

AXBlock與XBlock結構網絡在相同的訓練環境和參數設置下,并且具有相同的深度殘差網絡構建方式。通過上表可以觀察出,增加了自定義注意力的AXBlock構建出的深度殘差網絡能夠有更好的分類效果,該網絡模型具有石油管材失效典型宏觀影像(斷裂、腐蝕、磨損、形變)特征權重分配功能,平均分類精度由XBlock結構網絡的92.40%提升至94.93%。

圖13為采用XBlock與AXBlock構建成的網絡訓練Loss曲線對比圖。從訓練的Loss曲線上來看,通過AXBlock構建出的全新深度殘差網絡在訓練中同樣保持著較高的收斂速度并且能夠有效使得Loss收斂到更低水平。

圖13 XBlock結構與AXBlock結構網絡訓練損失曲線對比圖

圖14為XBlock與AXBlock構建成的深度殘差網絡的訓練精度變化曲線圖,通過此精度曲線可以看出,通過增加注意力機制的AXBlock構建的深度殘差網絡通過訓練能夠很快達到一個高精度水平,并且最終精度比通過XBlock搭建的自定義深度殘差網絡精度更好,在驗證集上有著更加先進的分類效果。

圖14 XBlock結構與AXBlock結構網絡訓練精度曲線對比圖

綜上,基于殘差塊結構、分組卷積和空洞卷積技術,提出了全新的XBlock殘差塊,實驗驗證了XBlock構建的網絡有更優秀的分類效果。進一步引入注意力機制,設計出AXBlock模塊,網絡精度再次提高2.53%。

3 結 論

在本研究工作中,針對傳統的識別網絡/模型存在精度不佳、泛化能力差等問題,建立了融合注意力與殘差網絡的石油管材失效典型宏觀影像(斷裂、腐蝕、磨損、形變)智能識別模型/算法。

1)基于殘差塊結構BottleNeck設計,集成分組卷積技術,搭建了XBlock模塊框架,通過并行組卷積減少模型的計算量,提升資源利用率,提高模型的運行速度和服務吞吐量,降低響應時間,增加網絡推理效率。

2)集成空洞卷積技術,優化了XBlock模塊內核,構建不同空洞率的殘差網絡,擴大模型的感受野,增強圖像上下文信息感知度,提高模型的失效影像特征學習能力。

3)基于殘差塊堆疊設計思路,集成空間注意力機制和通道注意力機制,構建融合注意力與殘差網絡的石油管材失效宏觀影像智能識別的深度殘差神經網絡模型,賦予網絡對石油管材失效宏觀影像特征權重分配功能,有效提升神經網絡捕獲宏觀影像關鍵特征信息的能力。與傳統BottleNeck結構網絡87.52%的平均分類精度相比,融合注意力與殘差網絡的AXBlock網絡模型的平均分類精度達到了94.93%。