小波變換在人臉表情識別研究中的應用

崔景霞

（長春工業大學 軟件職業技術學院，長春 130022）

隨著現代科技發展的日新月異，人們對于人工智能的研究無論從深度與廣度上都達到了相當高的水平。盡管如此，研究者們在大多數情況下仍然過于關注于研究以及模擬人類的智能，如判斷、推理、證明等思維活動。而在更能表現人工智能特點的人工心理方面的研究則稍顯欠缺。作為實現人工心理研究的重要組成部分，人臉表情識別成為必須研究解決的關鍵性課題。

1 人臉表情特征分析

1.1 圖像獲取

人臉表情表述所關注的問題在于對表情向量的建模與面部特征得提取。當代研究中的FACS面部行為編碼系統［1］即為表述與理解人臉表情的一個典型樣例。該系統將人類面部表情與面部肌肉結構緊密關聯，并總結與定義了人類的六種最基本的表情：驚奇、恐懼、厭惡、憤怒、高興、悲傷。這一定義現已成為學術界對于人臉表情分類的共識。

本文采用業界普遍認同的日本標準表情數據庫JAFFE作為實驗表情圖片數據庫。該數據庫包括了10個實驗對象的自然、悲傷、厭惡、高興、生氣、驚奇、恐懼各七種標準表情。其中每一對象的每種表情平均三幅圖片，均為256×256像素大小的bmp灰度圖片共213幅。圖片樣本如圖1所示。

圖1 JAFFE數據庫圖片樣本Fig.1 Samples of JAFFE database

同時為擴展本研究的適應多樣性，在實驗中采用一些自采集表情彩色圖像，同樣包含上述七種標準表情。圖片樣本如圖2所示。

圖2 自采集樣本縮略圖Fig.2 Miniature samples of self-collected images

1.2 圖像預處理

對獲得表情圖像進行預處理操作以便于研究，包括表情ROI（Region Of Interest）區域的截取與圖像尺度歸一化：

1.表情ROI區域的截取

設圖像中左右雙眼的中心分別為El、Er，取此兩點中心位置Ec并嘴的中心為M。設定Ec、M點位置坐標為常數并以此兩點為中心截取表情相關ROI區域以排除非表情相關區域的噪音干擾并起到糾正由于樣本獲取對象姿態偏離所導致的表情ROI區域的角度偏離。

2.表情圖像尺度歸一化

對截取后的表情ROI區域進行尺度歸一化：其中JAFFE數據庫圖片ROI區域歸一化尺度為108×108像素，自采集樣本ROI區域歸一化尺度為256×256像素并對彩色圖像進行灰度化處理以減少由于膚色以及光照強度不同所導致的分辨差異。

經上述兩種預處理操作后的圖像樣本如圖3所示：

圖3 預處理后圖片樣本Fig.3 Pre-processed image samples

1.3 表情特征分析

如前所述：表情是人臉為傳達某種感受所做出的一種容貌表述。FACS面部行為編碼系統及其之后的研究者們揭示出了表情表述與運動單元及肌肉運動之間的關系：面部神經牽動面部肌肉從而引起運動單元的運動導致面部表情呈現。從另外一個視角闡述即當人類表現不同的表情時包括眼、眉、嘴在內的各面部器官均呈現不同的形貌與形狀，如圖4所示。

圖4 不同表情下面部器官形貌Fig.4 Facial organs’appearances of different expressions

2 小波變換

2.1 小波變換原理［2］

小波是一種用于多層次分解函數的數學工具。信號經過小波變換后可以用小波系數來描述，小波系數體現了信號的性質。因此，小波變換用于圖像處理是小波變換應用效果比較突出的領域之一。它在圖像處理中的基本思想是把圖像進行多分辨率分解成不同的空間和獨立的頻率帶的子圖像，然后對子圖像的系數進行處理，例如圖像壓縮、圖像增強、圖像的分解和重構等。

離散小波變換（DWT）包含各種獨特但相關的變換，業界利用變換核對或定義該核對的一組參數來表征每個DWT。核可用三個可分的二維小波來表示：

其中，ψH(x,y)，ψV(x,y)，ψD(x,y)分別稱為水平、垂直和對角小波，并且一個二維可分的尺度函數是

每個二維函數是兩個一維實平方可積的尺度和小波函數的乘積：

其中，k為平移參數決定小波核函數沿x軸的位置，j為尺度參數決定小波核函數的寬度。

當 f(x,y)表示一幅圖像信號時，其二維小波變換相當于 f(x,y)分別沿x軸方向和y軸方向經不同的一維濾波器濾波，得到低頻和高頻子帶圖像，圖 5（a）為一級小波分解示意圖。

圖5 小波分解示意圖Fig.5 Wavelet Ccomposing configuration

其中，LL表示圖像的水平和垂直方向的低頻信息，HL表示圖像的水平高頻信息及垂直低頻信息，LH表示圖像的水平低頻信息及垂直高頻信息，HH則表示圖像的水平和垂直高頻信息。通過小波變換，當圖像在某一頻率和方向上具有較明顯的特征時，與之對應的子帶圖像的輸出就具有較大的能量，因此圖像信息集中在相應的少數小波系數上。圖 5（b）為二級小波分解示意圖，同理，多級小波分解每次都在低頻子帶上進行。

在二維情況下，得到三組細節系數——水平、垂直、和對角線細節。如圖6所示為經二維小波分解與降維后的圖片。

圖6 二維小波分解降維后的實驗表情圖片Fig.6 Experimental expression images reduced dimension by 2D-wavelet

2.2 小波基函數選擇

隨著小波理論的逐漸成熟，各類小波族也已被逐步嘗試運用到圖像識別應用當中。因而從眾多的小波族中選取最為適合本文表情識別方法的小波族群成為實驗中必不可少的一個步驟。

表1 小波族群名稱一覽表Tab.1 List of wavelet families’names

由圖7所示，由各種不同小波族小波對實驗表情圖片進行變換后所得效果對比顯示，基于Haar小波族的小波變換效果最為明顯，將表情圖片中人臉器官以及肌肉線條所呈形貌完整清晰表達。因而在本文后續的實驗中選用Haar小波作為小波變換核函數

3 實驗結果

分別對經Haar小波變換后的水平與垂直高頻分量做水平與垂直方向上的投影分別得到一組63維向量。并將所得水平投影向量與轉置后的垂直投影向量結合組成一126維向量自此得出本文用于表情識別的特征向量，而后將所得向量經BP神經網絡進行分類識別［3］。所得實驗結果如表-2表-3所示。

圖7 基于不同小波族的小波變換效果圖Fig.7 Transformed effects by different wavelet families

表2 基于JEFFE數據庫的表情識別結果Tab.2 Results of expression recognition based on JEFFE database

表3 基于自采集圖像的表情識別結果Tab.3 Results of expression recognition based on self-collected images

圖8 基于Haar小波族的典型表情小波變換效果圖Fig.8 Transformed effects of typical expressions by haar wavelet

4 結論

本文從理論分析與實驗實踐兩個方面對小波變換在人臉表情識別應用研究中的的可行性與適用性進行了研究。得出了小波變換完全適用于人臉表情識別應用研究。并依據實驗結果從眾多的小波變換核函數中選取了最能表現人類人臉表情形貌的Haar小波核函數。而后基于Haar小波核函數對獲取實驗圖片進行小波變換，最終由投影獲取向量并經BP神經網絡分類識別其平均正確識別率可達90%以上。如何提高識別方法的擴展能力與實用性能成為本文后期的研究發展方向。

［1］王志良.人工心理學—關于更接近人腦工作模式的科學［J］.北京科技大學學報，2000，22（5）：478-483.

［2］岡薩雷斯.數字圖像處理（MATLAB版）［M］.阮秋琦，等，譯.電子工業出版社，2005.

［3］I.Essa.A Vision System For Observing and Extracting Facial Action Parameters［A］.In Proceedings of the Computer Vision and Pattern Recognition Conference［C］.IEEE Computer Society，1994：76-83.