基于深度學習的GMAW 焊接缺陷在線監測

徐東輝，孟范鵬，孫鵬，鄭旭宸，程永超，馬志，陳樹君

(1.中車青島四方車輛研究所有限公司,青島,266114；2.中車工業研究院有限公司,北京,100160；3.北京工業大學,北京,100124)

0 序言

在軌道交通領域，國內進入了快速發展，經歷了引進、消化吸收、再創新階段，高速動車鑄就了“金名片”，為持續保持國內軌道交通在全球的領先優勢，中國中車新一代軌道交通裝備CR450 和時速600 km/h 的磁懸浮列車的研制不僅要滿足高速快捷的需求，而且更需要安全可靠，其制造過程顯得尤其重要.焊接是高速動車組車體結構連接的主要方式，為了確保焊接質量的提高，核心部件焊接性能的一致性，以及生產效率的提升，焊接過程中的智能傳感與控制變得日益重要，在自動化和智能化焊接領域扮演著關鍵的角色，其中弧壓傳感[1-2]，視覺傳感，聲音傳感，超聲傳感，紅外線傳感，X 射線傳感以及多維信息傳感[3-9]等方法被廣泛應用于焊接過程，能夠有效地監測焊接缺陷，避免廢品廢件，保障產品質量.

高速動車組司機室鋁合金外板，對焊接質量在線監測和歷史數據可視化追溯等方面提出了更高的要求，為了更全面地監測司機室鋁合金外板焊接中的焊縫質量問題，對焊接過程中遇到的缺陷進行梳理、分析和歸納，具體包含：焊漏、未焊透、焊偏、氣孔、夾渣等問題，將這些問題劃分為熔透性、對中性以及設備異常3 個類別.針對焊接熔透性問題，熔透狀態依據焊縫背面熔寬/熔深可分為未熔透、臨界熔透、全熔透和過熔透，其中全熔透狀態為生產制造過程中采用的工藝區間范圍，此時焊縫背面熔寬大于未熔透狀態，小于過熔透狀態.為了保證焊接質量的一致性，焊縫背面熔寬/熔深應該保持在一定的區間范圍，如何有效且實時地監測焊縫熔透狀態是目前遇到的一大難題；針對焊縫對中性問題，由于裝配誤差以及工件變形等引起的焊槍與焊縫之間的偏差，如何有效且實時地識別焊偏是目前遇到的又一難題；在設備異常方面，由于保護氣堵塞或者保護氣不足引起的焊縫氣孔問題，以及鋁合金試件待焊區表面氧化膜和油漬去除不充分引起的夾渣問題，這些均是生產現場需要面臨解決的問題.通過對焊接過程可傳感的信息進行調研和分析，發現熔池圖像可有效映射熔池表面信息，國內學者發現在一定條件下圖像表面特征可與熔透狀態、焊偏、氣孔以及夾渣等建立關聯，通過查閱國內外文獻發現電弧聲音與熔透狀態、焊偏、氣孔等具有關聯性，焊接電流和電弧電壓作為焊接電源的輸出形式，在一定速度下可表征熱輸入，與焊接熔透狀態具有關聯性.以上調研發現，熔池圖像、電弧聲音、電流和電壓均與焊縫缺陷存在直接或間接的映射關系，如何更有效地提取和融合上述信息的特征，以建立與焊縫缺陷之間的關系，深度學習[10]的快速發展為實現這一目標提供可能性.

卷積神經網絡(convolutional neural networks，CNNs)作為當前非常受歡迎的深度學習模型之一，被廣泛地應用于圖像分類及回歸、自然語言處理和信號分析等領域，其中典型的CNNs 模型為LeNet，AlexNet，VGG-Nets，GoogLeNet 和ResNet[11-14]等，通過這幾年的迭代發展，具有強大的特征提取能力和識別能力.文中通過典型的鋁合金熔化極氣體保護 焊(gas metal arc welding，GMAW) 工 藝與深度學習的結合，依據采集信息構建多維信息融合模型，對融合模型進行迭代訓練以及優化，并驗證融合模型的識別能力，解決焊縫缺陷在線監測問題，為焊接生產現場提供預警，保障產品質量與安全.

1 試驗平臺搭建

試驗平臺由焊接系統、運動機構和采集系統組成，如圖1 所示.其中焊接系統由福尼斯TPS500i數字化焊接電源、送絲機、清槍器、99.99%純氬保護氣和GMAW 焊槍等組成；運動機構由KUKA 10R1420 六自由度工業機器人執行；采集系統由Xiris XVC 1000 相機、660 nm 濾光片、聲望科技MPA201 傳聲器、霍爾傳感器、電壓傳感器和工控機等組成，可實現不同類型缺陷的焊接以及焊接過程相關信息的同步采集.由中車工業研究院有限公司與中車青島四方車輛研究所有限公司聯合設計和開發的信息采集平臺界面如圖2 所示，信息采集平臺采集的信息分為4 類，分別為熔池正面圖像、電弧聲音、焊接電流和焊接電壓，此采集平臺可用于數據的在線顯示和歷史數據追溯，并對當前焊接缺陷狀態進行識別和預警.

圖1 焊接試驗平臺Fig.1 Welding test platform

圖2 信號采集平臺界面Fig.2 Signal acquisition platform interface

2 數據采集與標定

2.1 試驗設計與數據采集

試驗采用高速動車司機室鋁合金外板材料，焊接試板如圖3 所示，材料型號為5083，試件長寬尺寸為300 mm × 150 mm，厚度4 mm，坡口60°，無鈍邊，焊絲采用直徑為1.2 mm 的ER5356 鋁合金焊絲，焊接方式為對接，焊縫背面采用襯板，焊前待焊區域均進行氧化膜清除處理以及油漬清洗處理.

圖3 焊接試板(mm)Fig.3 Welding test plate

依據生產現場工藝卡進行焊接參數設計，其中焊接電流、焊接速度、保護氣流量、焊縫中心偏差量以及試件表面整潔度等參數見表1，試驗設計過程采用交叉試驗對多場景下的焊接缺陷問題進行復刻，使數據樣本更加豐富，提高后續訓練模型的泛化能力.

表1 焊接參數Table 1 Welding parameters

試驗復現的焊接質量類別共8 種，其定義如下：未開始(序號1)為未開始的焊接狀態；正常(序號2) 為生產現場滿足產品要求的焊接狀態；焊偏(序號3)為焊槍偏離焊縫中心位置的焊接狀態；未焊透(序號4) 為焊接熱輸入過小或者由于焊接試樣散熱大，導致焊縫未能達到標準全熔透的焊接狀態；焊漏(序號5)為焊接熱輸入過大或者由于焊接試樣散熱小，導致焊縫超過標準全熔透的焊接狀態；氣孔(序號6)為保護氣不足而導致的焊縫出現氣孔的焊接狀態；夾渣(序號7)為焊接試樣表面未清理干凈而導致的焊縫夾渣狀態；未確定(序號8)為信息采集中不能夠人工區分具體類別的焊接狀態.圖4 為8 種類別某一時刻的熔池正面圖像，可以看出不同狀態下熔池表面特征主要體現在熔池尺寸、形狀和圖像灰度等方面的差異，證明了采集圖像信息的有效性，圖5 為幾種類別在特定條件下的焊縫宏觀形貌.

圖4 8 種類別熔池正面圖像Fig.4 8 kinds of topside images of weld pool

圖5 焊縫宏觀形貌Fig.5 Schematic of the weld

2.2 數據預處理

試驗中采集的焊接過程信號有熔池正面圖像、電流、電壓和聲音，像素大小為200 × 200，采集范圍能夠較為全面地覆蓋熔池和電弧部分，其中一幀圖像單獨作為一個數據包進行發送、存儲和調??；電流、電壓和聲音分別單獨作為一個數據包，每個數據包包含1 000 個數據點；圖像的采樣頻率為10 Hz，電流、電壓和聲音采樣頻率均為10 000 Hz，即100 ms 可獲取4 個數據包，分別為圖像包、電流包、電壓包和聲音包.數據包采用Base64 進行編碼并存儲到MySQL 數據庫，歷史查詢與分析階段，可以將編碼數據進行解碼對數據進行分析和識別；在在線識別階段，數據均被保存為神經網絡能夠讀取的Numpy 格式，送入預先訓練的模型進行識別，輸出預測結果.

數據標定質量直接關系到模型的識別精度，依據專家經驗對數據對進行標定，確保數據與標簽匹配的準確性，人工標定的標簽與時序下對應的4 個數據包組成數據對，大量數據對構成數據集，數據集分為訓練集、驗證集和測試集.對于熔透性數據標定方面，通過觀察熔池正面圖像和焊縫背面熔寬對數據對進行一一標定，為了符合生產需求，認定焊縫背面熔寬w滿足w≥2.5 mm且w≤10 mm時，焊縫熔透滿足生產要求，即定義為正常熔透；焊縫背面熔寬w<2.5 mm 時，定義為未熔透；焊縫背面熔寬w>10 mm 時，定義為焊漏；2.5 mm 和10 mm 熔池背面熔寬值的選取是依據經驗及試樣橫截面測量試驗；加上焊偏、氣孔、夾渣、未開始以及未確定等標注樣本，試驗共獲取樣本84 820 對，其中訓練集57 915 對，驗證集12 755 對，測試集14 150 對，數據集具體分布情況見表2.

表2 數據集分布Table 2 Data set distribution

3 深度學習模型構建

3.1 模型架構設計

試驗采用基于Pytorch 平臺設計的卷積神經網絡融合模型，對采集的信號進行特征提取和識別，融合模型由4 個子神經網絡組成，具體的神經網絡架構和各子神經網絡參數如圖6 和圖7 所示.圖6 描述了4 個子網絡與輸入和輸出之間的關系，圖像、電流、電壓和聲音信號分別送入子神經網絡Net_1，Net_2，Net_3 和Net_4 中進行特征提取和識別，其中，Net_1 為18 層的殘差神經網絡(ResNet18)，Net_2，Net_3 和Net_4 均為8 層的一維卷積神經網絡，分別包含3 層卷積層、3 層池化層以及2 層全連接層.子神經網絡輸出結果分別乘上權重系數W1，W2，W3和W4，再求和作為整個融合模型的輸出，經過多次調試，其中W1=0.4，W2=0.2，W3=0.2和W4=0.2 時具有較好的效果，且W1+W2+W3+W4=1.圖7 為每個子神經網絡的層數，數據流的尺寸變化以及每層網絡中參數的數量，模型最終輸出8 種類別的識別概率，以最高概率類別作為識別的結果.這種通過采集信號(圖像、電流、電壓和聲音)與焊縫質量之間建立關聯的人工智能方法，不僅有效地解決了不同類型數據的提取問題，而且智能地融合了不同類別的特征，對焊縫質量進行更精確的識別，從而提高了模型識別結果的精度和泛化能力.

圖6 設計的神經網絡架構Fig.6 Designed neural network architecture

圖7 各子神經網絡層數及其參數Fig.7 The number of sub neural network layers and parameters

3.2 模型訓練、測試與優化

采用上述的網絡結構對采集的數據開展訓練，并通過調節超參數對模型進行多次優化，模型共進行50 次迭代訓練，訓練中后期，模型精確度和損失值均趨于穩定.在50 次迭代訓練中，當驗證集精確度達到最高時，保存此時訓練得到的模型，并把此次模型作為最優模型，依據最優模型開展模型測試，訓練結果表明，模型在24 次迭代訓練獲得最優模型.為了對比分析多維信息融合模型和單信息模型之間的優劣，在融合模型訓練過程中同時保存每個單信息的最優模型，一次迭代訓練完成后共獲得5 個最優模型，分別為融合模型、圖像模型、電流模型、電壓模型和聲音模型.訓練集結果見表3，融合模型和圖像模型均有較高的精確度，約為99%，其次是聲音模型，約為67.9%，電壓模型和電流模型的精確度均較低，約為34.3%.測試集結果表明，5 個最優模型識別精確度分別為88.3%，87.5%，35.2%，35.4% 和62.9%，融合模型具有最高精確度，證明多維信息融合的有效性，能在一定程度上提高單信息模型的識別精度.

表3 各模型的精確度Table 3 The accuracy of each model

融合模型訓練集、驗證集以及測試集中由真實標定標簽和識別結果組成的混淆矩陣分別如圖8～圖10 所示，其表明8 種焊接質量的識別結果均分布在對角線區域，每個類別均具有較高的識別精度，圖10 中未開始、正常、焊偏、未焊透、焊漏、氣孔、夾渣以及未確定的識別精確度分別約為100%，85.2%，91.3%，88.7%，91.7%，92.8%，80.0%和63.3%.結果表明，依據焊接過程傳感信息，采用深度學習方法對焊接缺陷進行識別的可行性和有效性.

圖8 訓練集混淆矩陣Fig.8 Training set confusion matrix

圖9 驗證集混淆矩陣Fig.9 Verification set confusion matrix

圖10 測試集混淆矩陣Fig.10 Testing set confusion matrix

4 結論

(1) 構建的焊接過程采集與監測系統，能夠對焊縫缺陷的關鍵信息進行采集、傳輸和存儲，焊接過程中可以實時顯示各類信息的變化以及各缺陷類別的判別結果，焊后能夠對歷史數據進行讀取和分析，系統采集的具體信息包含熔池正面圖像、焊接電流、焊接電壓以及電弧聲音.

(2) 依據數據類型設計的多維融合模型，能夠對各類數據進行特征提取與融合，有效地解決了不同維度數據融合難的問題，并且能夠充分利用各數據的特征與焊縫缺陷建立關聯.

(3) 通過多次迭代訓練獲得的最優深度學習模型，對文中8 種類別的綜合識別精度約為88.3%，且每一次識別中監測系統運行和模型響應總時間不超過100 ms，在精確度和響應速率方面能夠滿足工程化應用需求.

(4)文中的焊接缺陷在線監測系統，已在高速高鐵司機室鋁合金外板焊接過程中完成了相關功能測試，對焊接過程中焊縫質量具有較好的監測效果，目前正在進行工程化應用研究，并持續優化模型與完善監測系統，后續開展進一步推廣和應用.