基于卷積神經網絡的超聲金屬材料辨識

解邦鑫，劉昱，賀西平

(陜西師范大學物理學與信息技術學院陜西省超聲重點實驗室，陜西西安 710119)

0 引言

金屬是工業生產生活中非常重要的原材料，被廣泛應用于工業、農業、制造業、科技、國防等諸多領域[1]。不同金屬材料由于其微觀組織特征的不同，力學性能存在著巨大的差異。一些貴重金屬的價格隨著全球礦產資源的不斷開采殆盡而水漲船高，在這種情況下，不法企業為了降低成本可能會使用合金替代或以次充好等手段，若無科學可靠的手段對其真偽進行識別，會使得生產生活蒙受巨大的損失。并且在一些貴重金屬文物的防偽識別、軍事裝備的質量檢查，以及精密儀器制作材料的純度檢測等應用中，尤其需要具備極高辨識能力的金屬防偽辨識技術。

傳統的金屬材料的辨識方法有物理方法和化學方法[2]。物理方法包括感官辨識、斷口辨識、磁粉檢測(Magnetic Particle Testing,MT)辨識[3]、射線檢測(Radiographic Testing,RT)射線辨識[4]、紅外線檢測等；化學方法包括火花辨識法、成分分析法、重量分析法、容量分析法、滴定分析法以及光譜分析法等。這些方法雖然也能在一定程度上實現金屬材料的鑒別，但是大多為有損檢測，會對被檢測樣品產生一定程度的損傷，而且檢測成本較高，有的方法還會產生污染物，對檢測人員健康造成危害，不宜推廣。

隨著無損檢測技術的高速發展[5]，超聲波憑借其快速、無損、直接、適用范圍廣等優點，在多晶材料的晶粒尺寸評估領域受到廣泛研究[6]，可以利用聲速、超聲衰減系數和非線性系數等聲學參數評估金屬晶粒尺寸[7]。超聲波與晶粒的密切關系引起了學者的關注，在超聲辨識領域有學者利用超聲衰減法[8]、頻譜分析法、背向散射法[9]等方法對多晶材料進行了辨識。近年來，隨著語音識別技術的興起與信號處理方法的發展，機器學習算法、深度學習算法在信號辨識方面得到越來越廣泛的應用[10]。

本文通過采集金屬材料的超聲回波時域信號，利用短時傅里葉變換(Short Time Fourier Transform,STFT)對其進行時頻分析，得到包含金屬材料微觀組織信息的超聲時頻域頻譜圖。將該超聲頻譜圖采用雙線性插值法進行處理，并作為樣本輸入到搭建好的卷積神經網絡中進行訓練。結果表明，在此數據集上神經網絡收斂較快，表現出優異的性能和識別準確率。訓練完成的網絡模型均記錄著對應訓練樣本的特征信息，可作為數據庫進行儲存。然后使用訓練好的網絡對待測樣本進行識別，最終可實現超聲金屬材料辨識。

1 超聲金屬材料辨識原理

超聲波在多晶金屬材料中傳播時，會因其內部晶粒大小、形狀及晶粒取向等微觀組織特征的不同，導致聲速、聲衰減、聲波背向散射等聲學性質出現差異[11-13]。超聲波對金屬材料的微觀晶粒差異十分敏感，相同的材料也會因晶粒狀態的不同而接收到不同的超聲信號。即使材質、加工工藝完全一致的金屬材料，也可以利用其內部微觀晶粒的尺寸和分布的無序性造成的超聲回波的差異進行辨識。傳統方式提取的特征通常為時域回波信號的峰值、衰減譜的相關系數以及幅度譜等特征量。利用這些特征量可以實現對樣品的辨識。傳統方式提取的特征量通常為回波信號在時域或頻域的某一物理量或經處理表征的信號特征。例如峰值法提取時域信號的峰值和某幾個次高峰出現的時刻、幅度作為特征信息，以此辨識各樣品[14]；衰減譜法分別在時域和頻域計算每個樣品超聲回波的衰減系數；歐氏距離法取不同樣品間超聲信號的加權歐氏距離為特征量并以此進行辨識[15]；小波包分解法通過對信號進行頻域分解，提取出晶粒散射信號的頻率特征來完成辨識[16]。

相較于傳統方法，本文的研究以超聲信號的時頻譜作為特征量。時頻譜將超聲信號的時頻域特征結合在同一譜圖中，二維的時頻分析相較于一維的時域、頻域提高了一個維度，信息更加完整，加之利用深度學習反復提取譜圖的整體特征，提取出的特征量與原樣本更緊密，特征信息更完整，更能反映原樣本的特征。在實驗過程中曾直接用時域圖和頻域圖分別訓練網絡，雖然仍可一定程度上實現金屬辨識，但準確度低于時頻譜圖辨識的結果。因此最終選擇時頻譜圖對卷積神經網絡進行訓練。本文使用超聲相控陣系統采集金屬樣品的超聲回波信號。利用惠更斯原理，可使相控陣探頭晶片發射適合樣本的聲束并將回波信號接收保存，所采集的時域信號如圖1所示。

圖1 金屬中傳播的典型超聲回波信號Fig.1 Typical ultrasonic echo signal propagating in metal material

超聲相控陣所采集的回波信號為時域信號，采用短時傅里葉變換(STFT)可以對其進行時頻分析。信號x(t)的短時傅里葉變換定義為

其中：h(t-τ)為分析窗函數。本文的分析對象含有多頻率的未知信號，因此窗函數選取漢寧窗。短時傅里葉變換中乘以窗函數的操作等價于取信號x(t)在時間點t附近的一個切片，該切片代表著t時刻該信號的頻譜。

通過短時傅里葉變換(STFT)，將一維的時域信號在二維平面上表現出來，提取出信號的時頻特征，得到該信號的時頻譜圖，結果如圖2所示。

圖2 金屬材料中超聲回波信號相應的時頻譜Fig.2 The corresponding spectrogram of the ultrasonic echo signal in metal material

經過短時傅里葉變換(STFT)得到的超聲回波信號的頻譜圖攜帶著金屬材料的微觀組織信息。將JPG圖片格式的時頻譜圖輸入卷積神經網絡進行訓練實現特征提取，訓練完成的網絡記錄著對應訓練樣本的特征信息。

在卷積神經網絡中，對圖像使用卷積核提取特征等價于為圖像矩陣A尋找最合適的特征向量集，神經網絡通過反向傳播算法不斷擬合一個能代表圖像集一般特征的特征向量，也就是卷積核的值(這里求解的是參數矩陣)。得到該權重之后，再與原始圖像矩陣相乘，得到相應的特征。

卷積神經網絡通過卷積、池化等一系列操作，將圖像的信息層層抽象，最終經過全連接層，將圖像的特征信息抽象為一個一維向量。 然后通過最后的全連接層，將該向量投射到樣本空間，通過Soft‐max函數使其轉換為概率形式，實現樣本的分類。

最后將待測樣本輸入到訓練好的網絡中進行分類，通過模型中的全連接層與softmax 函數，待測樣本的特征向量被轉換為概率，比較“是標準樣本”與“不是標準樣本”的概率大小，判別該樣本是否為標準樣本，實現分類。將分類結果與真實的樣本類別進行對比即可實現金屬材料的超聲無損辨識。完整的金屬辨識流程如圖3所示。

圖3 金屬辨識過程流程圖Fig.3 Flow chart of the metal identification process

2 卷積神經網絡的架構設計

卷積神經網絡(Convolutional Neural Networks,CNN)是一類特殊的人工神經網絡，最主要的特點是卷積運算操作。與傳統方法相比，卷積神經網絡的優點在于可以自動提取目標特征，發現樣本中的特征規律，解決了手動提取特征時會導致誤差積累的問題，自動實現分類過程[17]。得益于此，CNN在諸多領域的應用特別是圖像相關任務上表現出優異的性能[18]。

Alex-Net是計算機視覺領域中首個被廣泛關注并使用的卷積神經網絡，可以利用GPU 實現網絡的訓練，大大縮短了深度網絡和大型網絡模型開發研究的周期，降低了時間成本。并且網絡引入的一些訓練技巧使得網絡的性能得到極大的提高。

在網絡訓練時，采用具有單側抑制、稀疏激活特點的ReLU激活函數，增強了整個網絡的表達能力，且在一定程度上緩解了網絡的過擬合問題。ReLU函數的表達式為

同時在訓練過程中使用局部響應規范化(Local Response Normalization,LRN)，規范處理相同空間位置上相鄰深度的卷積結果，表達式為

其中：n為使用LRN的相鄰深度卷積核的數目；N為該層所有卷積核數目；k、n、α、β等為超參數。

最后在網絡的全連接層加入隨機失活(dropout)的正則化方法，緩解了其他神經元對該神經元反向傳導來的梯度信息的影響，降低了神經元之間的依賴程度，從而避免了網絡過擬合現象的發生，卷積神經網絡中單個神經元隨機失活示意圖如圖4所示。

圖4 卷積神經網絡中單個神經元隨機失活示意圖Fig.4 Schematic diagram of random inactivation of individual neuron in CNN

Alex-Net 網絡模型結構如圖5所示。Alex-Net網絡模型的輸入數據格式為227×227×3大小的RGB圖像。輸入數據經過多次卷積、最大池化(Max Pool)、LRN 以及ReLU 激活之后，進入全連接層，在兩次隨機失活(dropout)操作之后，由一個1×1的卷積層對每個通道進行加權，對頻譜圖進行分類(本研究本質上為一個二分類問題，因此網絡的輸出類別數為2)，最終由交叉熵損失函數對網絡的訓練結果進行評估。

圖5 Alex-Net網絡結構示意圖Fig.5 Structure diagram of Alex-Net network

3 實驗與辨識

本文測試了大量的實驗樣本。測試流程為：首先使用超聲相控陣，獲取金屬樣本的超聲回波時域信號，然后對時域信號進行短時傅里葉變換，得到包含金屬樣本微觀組織特征信息的頻譜圖。將所得頻譜圖的尺寸使用雙線性插值法進行調整后儲存。在搭建好的網絡中輸入已處理的頻譜圖作為原始數據進行訓練，采用基于動量的隨機梯度下降法進行網絡參數的訓練與優化，最后實現對樣本二分類(是標準樣本或不是標準樣本)的任務目標。

3.1 樣本信號采集

本文實驗所用儀器是型號為UT Studio 32/128的超聲相控陣。該儀器探頭的32 個晶片每一片都可以完成發射和接收超聲的任務，可以在不改變探頭位置的前提下，通過相關實驗參數的設定，實現對樣本的掃查，超聲相控陣系統組成如圖6所示。

圖6 超聲相控陣系統組成Fig.6 Composition of ultrasonic phased array system

以304 不銹鋼材料為例，對三個材料均為304不銹鋼的形狀相同的金屬容器，編號分別為A、B、C，實物如圖7所示。在其不同位置處進行超聲回波時域信號的采集。為使探頭與樣品之間耦合均勻且信號穩定，在探頭上增加一金屬配重，以保證每次測量時探頭與待測樣本間的壓力保持一致，如圖8所示。

圖7 實驗樣品實物Fig.7 Photos of experimental samples

圖8 信號采集Fig.8 Acquisition of signals

本文實驗使用的取樣方式均為垂直入射線掃，實驗參數設置如表1所示。

表1 實驗參數設置Table 1 Experimental parameter setting

可在樣品上取某個或某幾個點進行信號采集，均可實現材料的超聲辨識。本文在3個樣品上分別確定了1個采樣點。以樣品A為目標樣品，對其采集55次信號。樣品B、C為干擾樣品，并分別對其采集25次信號。每次采集時發射并接收100次超聲信號作為一組數據，得到105組實驗數據，共計10 500個超聲回波時域信號，將數據進行儲存并以表2所示的構成關系組成訓練集和測試集。

表2 訓練集和測試集的構成Table 2 Composition of train set and test set

對每個超聲回波時域信號進行短時傅里葉變換(STFT)，得到該信號的頻譜圖。將頻譜圖輸出為JPG格式的RGB圖片。選取其中9 000張頻譜圖組成訓練集，其中5 000 張樣品A的頻譜圖作為標準樣本，2 000張樣品B和2 000張樣品C的頻譜圖為干擾樣本。將剩余的各500 張樣品A、樣品B和樣品C的頻譜圖組成測試集并儲存。

3.2 網絡訓練

為了方便網絡可以在圖形處理器(Graphics Pro‐cessing Unit,GPU)上進行訓練，在進行訓練之前，使用雙線性插值法將原始大小為875×656×3的頻譜圖調整為227×227×3。

本文使用Matlab 2020a 的Deep Learning Tool‐box進行網絡的訓練。訓練時使用的計算機操作系統為Windows 10 系統，內存大小為16 GB，CPU型號為Intel(R)Core(TM)i7-9750H，GPU 型號為NVDIA GeForce GTX 1660Ti，顯存大小為6 GB。

網絡優化算法采用經典的動量隨機梯度下降法，學習率隨著訓練輪次逐漸遞減。網絡訓練超參數設置如表3所示。

表3 網絡訓練參數設置Table 3 Network training parameter setting

模型訓練過程中損失函數及辨識準確率的變化分別如圖9、10所示，可以看出在此訓練集上，Alex-Net 網絡模型訓練精度最終穩定在1.0，損失函數值趨近于0，在200次迭代時收斂，迭代3 000次平均用時419 s，在訓練集上表現出了優異的性能。

圖9 Alex-Net模型訓練過程中損失函數的變化Fig.9 Loss function change in the Alex-Net model training process

圖10 Alex-Net模型訓練過程中辨識準確率的變化Fig.10 Identification accuracy change in the Alex-Net model training process

3.3 金屬材料辨識

將上文所述已存儲的測試集輸入到已經訓練好的Alex-Net網絡模型中進行辨識。網絡模型準確地將樣品A 的測試集辨識為目標樣品，將樣品B、C辨識為干擾樣品，辨識準確率為100%?？梢?，Alex-Net網絡模型在測試集上也表現出了優異的性能。通過卷積神經網絡對頻譜圖進行特征提取，從而實現金屬材料辨識的方法是可行的。

在此基礎上，本文選取了圖11所示的尺寸一致、材料均為3Cr13但熱處理溫度不同的4個金屬樣品，分別標號為D(經259℃熱處理)、E(經555℃熱處理)、F(經852℃熱處理)和G(經970℃熱處理)。

圖11 不同溫度熱處理后的金屬樣本Fig.11 Metal samples after heat treatment at different temperatures

將這4 個樣品按照前文的方法進行了辨識實驗，且讓每個樣本依次作為標準樣本，結果表明每個樣品都以100%的準確率完成了辨識。圖12為樣品D、E、F、G的時頻譜圖，卷積核從計算機視角可對譜圖的像素矩陣進行特征提取，最終完成對每個樣品的辨識。

圖12 不同溫度熱處理的金屬樣本時頻譜圖Fig.12 Spectrograms of metal samples after heat treatment at different temperatures

隨后取3個材料和尺寸與樣本D完全相同、但從未參與過網絡訓練的金屬樣本如圖13所示。將其編號為H、I、J并分別采集超聲信號，然后導入以樣本D為標準的卷積神經網絡進行辨識。辨識結果表明，樣本H、I、J均被辨識為干擾樣本，說明此神經網絡具有一定的泛化性。在研究期間使用該網絡對材料為1Cr17Ni2、2Cr13、3Cr13 和5052 鋁的26 個外形尺寸完全相同的金屬樣品試塊進行了泛化性實驗，均可準確辨識出目標樣品。因辨識過程和結果與上文類似且圖片占用篇幅較大，故未詳細呈現所有樣品的辨識過程。

4 分析與討論

為探究此方法是否依賴于特定網絡結構，搭建了不同結構的網絡模型。在本研究中，搭建了經典的LeNet-5網絡模型與VGG網絡模型進行訓練與辨識，其結果如表4所示。三種網絡模型均在測試集上完美實現了金屬材料的辨識，此方法并不依賴于特定的網絡結構。

表4 三種網絡模型辨識性能比較Table 4 Comparison of identification performances of three network models

通過比較發現，三種網絡模型在測試集上的識別準確率均為100%。觀察輸入圖片尺寸發現，LeNet-5 模型的輸入圖片大小僅有28×28×3，包含的信息過少，存在因信息丟失過多而使得訓練失敗的隱患；相比之下Alex-Net 模型與VGG 模型輸入圖片大小適中，保留了足夠多的信息保證訓練的有效性，在這一點上Alex-Net模型表現最優。觀察訓練用時發現，VGG 模型用時遠遠大于另外兩種模型，這是由于隨著網絡深度(網絡結構層數)的增加而使得所需訓練參數急劇增多所致，在這一點上LeNet-5 模型表現最優。觀察網絡訓練達到穩定所需次數發現，Alex-Net模型在200次訓練之后便已經穩定，而另外兩種模型達到穩定所需訓練次數分別為300次與800次。以上結果說明針對本文的辨識任務，Alex-Net模型表現最優，是最合適的網絡結構。綜合以上分析，Alex-Net模型兼顧了信息的完整度與訓練時長的優勢，網絡結構較為簡單，而且網絡達到穩定時所需迭代次數最少，在此任務下，綜合性能最優。

5 結論

傳統的金屬材料的辨識方法會對被檢測樣品產生一定程度的損傷。課題組提出的新型超聲辨識方法具有無損、直接、快速、適用范圍廣等諸多優點。

本文對現有的超聲金屬材料辨識方法進行了簡單回顧，在此基礎上提出了采用卷積神經網絡進行特征提取，從而實現金屬材料辨識的新方法。通過實驗采集了多個金屬材料樣本的超聲回波時域信號，并對其進行短時傅里葉變換，得到了包含金屬材料的微觀組織信息的時頻譜圖，將一維的時域信號在二維平面上表現出來，以提取出信號的時頻特征，直觀展現了各個時刻的瞬時頻率及幅度。并且通過雙線性插值法對頻譜圖進行處理，得到適合后續實驗所需尺寸大小的頻譜圖。

使用Matlab軟件搭建了三種卷積神經網絡模型實現金屬材料的辨識。對三種網絡模型的對比分析，發現Alex-Net模型兼顧了辨識準確率高與訓練時間短的優勢，在一定程度上促進了超聲應用技術的進步。本文的研究驗證了深度學習算法在超聲金屬辨識方面應用的可行性，并證明不同的網絡模型的性能存在較大差異。在本文的研究基礎上，后續可以通過智能算法，搭建針對本研究的最優網絡模型，進一步提高超聲金屬材料辨識的性能。