主成分分析在超聲紅外圖像序列增強過程中的應用

馮輔周， 王鵬飛， 張超省， 閔慶旭

(裝甲兵工程學院機械工程系， 北京 100072)

主成分分析在超聲紅外圖像序列增強過程中的應用

馮輔周， 王鵬飛， 張超省， 閔慶旭

(裝甲兵工程學院機械工程系， 北京 100072)

針對超聲紅外熱像無損檢測中圖像信噪比不高、缺陷對比度低的問題，將主成分分析法運用于紅外圖像序列處理的增強過程中，對比分析了原始圖像序列、含部分缺陷圖像序列及重建圖像序列在降噪及增強方面的效果。研究表明：主成分分析法可顯著提高圖像信噪比并有效消除熱量不均效應；而缺陷位置對處理結果無影響，最終重建的圖像序列中圖像信噪比普遍得到提高。研究結果驗證了該方法在紅外圖像處理方面的有效性，為后續缺陷的識別奠定了理論基礎。

紅外熱像；圖像處理；主成分分析

超聲紅外熱像無損檢測技術是一種利用超聲激勵與紅外熱成像來檢測結構件損傷的新型無損檢測技術。由于超聲發生器注入的超聲能量能夠在固體連續介質中實現無衰減快速傳播，且僅使缺陷部位生熱，故能用于大面積、不同形狀結構件的有效檢測。該技術拓展了紅外熱像檢測的激勵方式，因其在閉合裂紋、沖擊損傷等缺陷上的良好檢測效果而得到日益廣泛的應用。在實際檢測時，圖像處理對提高該技術的檢測效果至關重要。

目前，國內外針對圖像處理方法的研究已經廣泛開展，特別是隨著紅外技術與計算機技術的不斷發展，紅外圖像序列處理方法也得以快速發展。較為通用的圖像處理方法有直方圖、濾波和形態學降噪等方法[1];但這些方法針對性不強，處理效果一般。較為專用的方法有脈沖熱像法、鎖相熱像法等方法[2]，脈沖熱像法需已知無缺陷區，以便從中選取參考點，且對實驗環境的要求高；而鎖相熱像法檢測速度慢。因此，研究人員探索了脈沖相位法、多項式擬合法、主成分分析法等新型紅外圖像處理方法[3-6]。其中主成分分析法作為一種統計分析方法，在21世紀初期被應用于紅外圖像序列處理，取得了不錯的效果[7]。

主成分分析法由霍特林于1933年首次提出，其基本思想是降維，即在信息損失最少的前提下，將多個指標轉化為少數幾個綜合性指標，去除各個變量之間的相關性，能夠極大地減少數據量、提高運算速度[8]。本文將主成分分析法引入到超聲紅外熱圖像序列的增強過程中，提高辨識缺陷信息的能力和缺陷判讀的準確性。

1 超聲紅外無損檢測系統

如圖1所示，選取尺寸為152 mm×25.4 mm×5 mm的30CrMnSiA的平板試件，在試件表面(激勵一側)中心用電火花開出一個長1 mm、寬0.2 mm、深0.5 mm的缺口，通過三點彎曲對試件疲勞加載，在肉眼剛剛能看到裂紋擴展時即停止加載，此時電火花缺口位置存在微小裂紋，用肉眼觀察基本無法識別裂紋信息。在試件表面(熱像儀一側)噴涂啞光漆，以增強其光吸收率及紅外發射率。

圖1 含疲勞裂紋的被測試件結構

利用FLIR T640型紅外熱像儀以30 Hz的幀頻記錄溫度場信息，紅外圖像分辨率為480×640像素。超聲激勵開始時刻熱像儀即開始記錄，超聲激勵時間為3 s，激勵停止1 s后熱像儀停止記錄，共采集到120幀紅外圖像。超聲紅外無損檢測試驗臺如圖2所示。

圖2 超聲紅外無損檢測試驗臺

試驗中，紅外熱像儀和超聲槍分別置于被測試件異側，激勵位置位于缺陷右側(熱像儀一側為正面)，且右側固定位置距缺陷更近，這是由試驗臺決定的。相應地，激勵生熱及夾具與試件的碰撞生熱使得較多的熱量傳遞到右側；同時光照等因素仍不可避免地對紅外圖像產生影響，造成試件左右兩側熱量不均勻，噪聲情況復雜，在缺陷對比度較低的圖像中缺陷信息甚至被淹沒。因此，有必要進行圖像增強，以提高檢測能力，為后續缺陷識別奠定基礎。

2 主成分分析流程

在進行主成分分析前，需對圖像序列進行預處理操作，以減小運算量、降低干擾。對紅外圖像序列的主成分分析一般按照圖3所示的流程進行。

圖3 紅外圖像序列的主成分分析流程

1) 構造數據矩陣。以圖像序列中每個像素點的時間序列作為列向量，每幀圖像的像素按照從左到右、由上至下的順序重排為行向量,構造數據矩陣，t幀大小為x×y像素的圖像序列如圖4所示。截取感興趣區域的大小為72×126像素，共50幀。按照上述方法，構造一個w×t的數據矩陣，其中w=72×126,t=50,這樣就構成了w個t維列向量，向量中的元素表示為xij。

圖4 t幀大小為x×y像素的圖像序列

2) 矩陣標準化。為便于后續運算，進一步消除背景分量影響，并使信號方差為1，對xij進行標準化處理：

(1)

式中：

(2)

(3)

這樣就得到了w個t維列向量Zi=(z1i,z2i,…,zti)T,i=1,2,…,w。

3) 求協方差矩陣。求標準化后的zij所構成向量的均值向量e=(e1,e2,…,et)T和協方差矩陣V：

(4)

(5)

4) 計算特征值與特征矩陣。求出協方差矩陣V的特征值U=(u1,u2,…,ut)(其中u1≥u2≥…≥ut)和相應特征矩陣S=(S1,S2,…,St)。此時，按照特征矩陣中各個元素占所有元素總和的比例來確定貢獻率，依據貢獻率的大小來確定主成分[9]。

5) 計算主成分并重建圖像序列。主成分Yj可表示為

(6)

利用主成分Yj可重建圖像序列：

(7)

主成分分析法用于處理圖像序列時，不是完全意義上的數據降維，需注意貢獻率較大的幾個主成分代表的實際意義，并根據處理后的圖像信噪比及缺陷對比度來確定所要保留的主成分。

3 處理結果及分析

利用超聲紅外無損檢測系統對被測平板進行檢測，得到原始圖像序列,然后按照圖3所示流程對圖像序列進行主成分分析，得到有代表性的前幾項主成分圖及重建的圖像序列。為驗證主成分分析法在圖像序列增強中的效果，結合實際檢測中可能存在的問題，對結果進行如下分析。

3.1 降噪及增強效果

信噪比SNR(Signal-to-Noise Ratio, SNR)是一種最常使用的定量分析圖像處理前后變化的參量[10]，其定義式為

(8)

筆者采用信噪比定量評估圖像增強效果。首先選取第1、2主成分圖以及原始圖像來分析圖像增強的效果，其中原始圖像選取信噪比最高的第19幀，如圖5所示。其中：中間小矩形框所選區域表示缺陷區域；兩側大矩形框所選區域表示無缺陷區域。圖5中信噪比SNR=8.17。

圖5 原始熱像第19幀

圖6為對圖5進行主成分分析得到的第1、2主成分圖。如圖6(a)所示，計算得到第1主成分的信噪比是4.58。對比圖5、6(a)可知：第1主成分主要反映熱像場的整體溫度變化，第1主成分圖與原圖差別不大，信噪比不但沒有提高，反而對重建效果產生了負面影響。如圖6(b)所示，計算得到第2主成分的信噪比是16.63。與原始圖像相比可知：信噪比有了明顯提高，缺陷區域更加清晰，這充分證明了主成分分析法能有效增強圖像的信噪比。

圖6 主成分分析結果

為了進一步說明主成分分析法的增強效果，選取原始圖像第19幀以及第2主成分圖中穿過缺陷中心的3行像素的平均值變化進行分析研究，如圖7所示，其中的凸起部分對應缺陷區，兩側對應無缺陷區。由圖7可見：1)在無缺陷區，原始熱像的像素值有較大起伏，且左右兩側數據在數值上有差別，右側的值高于左側，這是由噪聲及熱量不均造成的;2)第2主成分圖的像素值起伏減小，兩側數據基本一致，說明第2主成分有效減弱了環境噪聲的影響，消除了兩側的熱量不均勻效應；3)在缺陷區,第2主成分圖的峰值較原始熱像的大，處理后波峰與波谷的差值增大，從而驗證了主成分分析法對信噪比增強的作用。

圖7 處理前后缺陷水平中心線像素值變化曲線

3.2 含部分缺陷圖像的處理

通常情況下，總是保證整個缺陷區域都處于所拍攝的熱圖像范圍內,而當被測對象較大或對設備整體檢測時，熱像儀可能無法記錄整個被測對象的溫度場，因此檢測及圖像處理就需要分塊進行，此時可能會出現僅有一部分缺陷位于圖像之中的情況。為驗證主成分分析法對包含部分缺陷的圖像序列檢測的有效性，對現有圖像序列進行如下處理：截取包含部分缺陷的圖像序列，其大小為72×61像素×50幀，如圖8所示。圖8(a)為原始熱像序列中第19幀圖像，對其進行主成分分析，得到第2主成分圖，如圖8(b)所示。比較圖8(a)、(b)可知：缺陷位置及缺陷是否完整不影響主成分分析法對缺陷的檢出。

圖8 含部分缺陷圖像的處理結果對比

3.3 第2、3主成分分析

由于第1主成分主要反映熱像場的整體溫度變化，含有較大的噪聲及存在熱量不均勻等現象，不適用于圖像序列重建，因此選擇第2、3主成分進行重建。圖9為原始圖像序列，分別做出由第2主成分和第3主成分重建的圖像序列中缺陷區域與非缺陷區域的像素值隨幀數的變化曲線，如圖10、11所示?？梢钥闯觯簣D10(a)像素值變化趨勢與圖9(a)相一致，且與圖11(a)像素值相差1個數量級；而圖11(b)像素值變化趨勢與圖9(b)相一致。因此，可以看出：第2主成分主要反映缺陷區域的溫度變化情況；而第3主成分主要反映非缺陷區域的溫度變化情況。

圖9 原始圖像序列

圖10 由第2主成分重建的圖像序列

圖11 由第3主成分重建的圖像序列

3.4 重建圖像序列的效果

由3.3節分析可知：第2、3主成分能夠兼顧重建效果及各區域信息。而同時利用第2、3主成分重建圖像序列，重建后缺陷區域與非缺陷區域像素值隨幀數變化曲線分別如圖12(a)、(b)所示?？梢钥闯觯簾o論是缺陷區域還是非缺陷區域，像素值變化趨勢與原始圖像序列都能較好地吻合。

圖12 由第2、3主成分重建的圖像序列

圖13 重建前后圖像信噪比隨幀數的變化曲線

圖13為重建前后圖像信噪比隨幀數的變化曲線。對比圖9、12和13可知：重建后缺陷區域與非缺陷區域像素值隨幀數的波動均有所減弱，信噪比明顯升高且重建后信噪比曲線變化較重建前平滑，表明主成分分析法能夠降低圖像序列的時域噪聲；原始圖像序列在超聲激勵停止后，信噪比迅速下降，而重建圖像序列的信噪比在第25幀時出現了一個突降，然后又迅速上升。分析可知：1)缺陷區域不再生熱是造成原始圖像序列信噪比下降的直接原因；2)重建圖像序列缺陷區域與非缺陷區域像素值的差值在第25幀的位置出現了一個正負交換的過程，信噪比通過取絕對值的方式將25幀后的負差值取反，使得像素差值為負而信噪比為正且逐步增大，故產生了2個峰值。從圖13可以看出：2個峰值對應幀數圖像的顯示效果相反。為驗證分析結果，繪制2個峰值對應幀數的圖像，分別為第6幀和第37幀，如圖14所示?？梢钥闯觯簣D中缺陷區域可以明顯被分辨出，并且背景顯示顏色相反，從而驗證了分析結果。

圖14 重建后2個峰值對應幀數的圖像

4 結論

通過對原始圖像序列進行主成分分析，以及對增強結果的分析研究，得出以下結論：

1) 主成分分析法可在一定程度上消除熱量不均效應，而缺陷位置及缺陷是否完整不影響主成分分析法對缺陷的檢出;

2) 第1主成分主要反映熱像場的整體溫度變化，第2主成分主要反映缺陷區域的溫度變化情況，第3主成分主要反映非缺陷區域的溫度變化情況;

3) 采用第2、3主成分重建的圖像序列有較高的信噪比。

對重建圖像序列效果的分析，為后續缺陷深度、大小等定量信息的研究提供了理論依據。

[1] Gonzalez R, Woods R. 數字圖像處理[M]. 阮秋琦，阮宇智,譯. 2版. 北京:電子工業出版社, 2006:54-72,276-284.

[2] Maldague X, Marinetti S. Pulse Phase Infrared Thermography [J]. Journal of Applied Physics, 1996, 79(5): 2694-2698.

[3] 俞嘉捷, 伍耐明, 曾智, 等. 基于紅外脈沖相位熱成像技術的玻璃鋼深度測量[J]. 紅外與激光工程, 2012, 41(7):1893-1898.

[4] Grammatikos S A, Kordatos E Z, Matikas T E, et al. Current Injection Phase Thermography for Low-velocity Impact Damage Identification in Composite Iaminates[J]. Material and Design, 2014,55: 429-441.

[5] 其達拉圖, 郭興旺. 基于多項式擬合的脈沖紅外熱像無損檢測數據處理方法[J]. 機械工程師, 2009(2):41-44.

[6] Nguyen T H B, Hakil K. Novel and Efficient Pedestrian Detection Using Bidirectional PCA[J]. Pattern Recognition, 2013,46:2220-2227.

[7] 郭興旺, 高功臣, 呂珍霞. 主分量分析法在紅外數字圖像序列處理中的應用[J].紅外技術, 2006, 28(6):311-314.

[8] 何曉群. 應用多元統計分析[M]. 北京：中國統計出版社，2010:253-256.

[9] 李赫, 樊新海, 王戰軍, 等. 主分量分析方法及其在信號去噪中的應用[J]. 國外電子測量技術，2010, 29(12): 71-72,84.

[10] 郭興旺,邵威,郭廣平,等. 紅外無損檢測加熱不均時的圖像處理方法[J]. 北京航空航天大學學報, 2005, 31(11): 1204- 1207.

(責任編輯:尚彩娟)

Application of Principal Component Analysis on the Process of Ultrasonic Infrared Image Sequence Enhancement

FENG Fu-zhou, WANG Peng-fei, ZHANG Chao-sheng, MIN Qing-xu

(Department of Mechanical Engineering, Academy of Armored Force Engineering, Beijing 100072, China)

Aiming at the problem of low Signal-to-Noise Ratio (SNR) and contrast ratio of defects for images collected in ultrasonic infrared thermography nondestructive testing, the Principal Component Analysis (PCA) is introduced into the process of infrared image sequence enhancement. The effects of original image sequence, image sequence containing part of defects, rebuilt image sequence in denoising and enhancement are analyzed contrastively. Researches show that PCA can greatly improve the SNR and effectively eliminate uneven heating; the position of defects has no effect on processing result, and the SNR of the rebuilt image sequence shows a general increase. Those researches prove the validity of PCA in image processing and will lay a theory foundation for following researches of defect identification.

infrared thermography; image processing; principal component analysis

1672-1497(2015)01-0060-05

2014- 10- 16

軍隊科研計劃項目

馮輔周(1971-)，男，教授，博士。

TN911.73

A

10.3969/j.issn.1672-1497.2015.01.012