結合魯棒PCA特征與隨機森林的表情識別方法

歐中亞，山田宏尚

(1.河南經貿職業學院 信息管理系，河南 鄭州 450046；2.日本岐阜大學 工學研究科機械系統，岐阜 名古屋 5011193)

0 引 言

人臉表情識別[1]的核心是提取人臉的表情特征，目前常用的人臉表情特征有3類，分別是幾何特征、運動特征和統計特征[2-4]。幾何特征主要是對人臉的眼睛、眉毛、嘴巴等局部部位的幾何位置和形狀進行定量描述，來區分不同的表情。然而，幾何特征受光照、圖像質量、飾物等干擾較大，穩健性不強[5]。運動特征是將連續的人臉表情變化作為研究對象，采用如光流法等運動分析方法來測量表情的變化，區分不同的表情。然而，此類方法需要的信息量大，且計算量也很大[6]。統計特征通常是對圖像空間進行變換(如主成分分析(principal components analysis，PCA))，將降維后的向量作為特征向量來進行表情識別。由于不需要設計具體的特征描述子，相對而言比較簡便，但也受光照等影響[7]。

本文提出一種結合魯棒PCA特征和隨機森林學習方法的人臉表情識別方法，其創新點有兩個：一是提出一種魯棒的PCA特征提取方法，融合歐氏距離和明氏距離兩種距離計算方法來求取樣本均值，并采用梯度下降算法來迭代尋找最優的樣本中心和投影矩陣，提高特征對不同樣本的魯棒性。二是提出一種改進的Gamma校正方法，可以在改變圖像灰度動態分布范圍的同時盡可能保證圖像的整體亮度分布不變。

1 本文方法

本文提出的結合魯棒PCA特征和隨機森林的表情識別方法主要包括圖像預處理、表情特征提取和表情特征的訓練與分類3個部分，詳細介紹如下。

1.1 圖像預處理

在進行表情識別之前，首先要定位圖像中人臉的位置，并進行人臉對齊處理，然后再采用尺度歸一化、光照歸一化等處理，得到規則的人臉區域圖像。在此基礎上再進行表情特征的提取和分類。由于許多公開的人臉表情數據集都已事先進行了人臉的定位、對齊和尺度歸一化等處理，數據集中的圖像已經是規則的人臉區域圖像，如本文實驗所選用的JAFFE人臉表情數據集。故本文不再贅述人臉的定位、對齊等處理方法，這部分內容可參考文獻[8]。

這里，我們需要進行的圖像預處理操作主要是光照歸一化操作，因為現有的人臉表情數據集基本上都沒有進行光照歸一化處理。光照歸一化的方法有很多，如直方圖均衡法、直方圖規定化、Gamma校正法等，本文針對JAFFE數據集的圖像采集光源分布狀況，采用一種改進的Gamma校正方法進行光照歸一化處理，目標是在保證圖像整體亮度基本不變的情況下增強低亮度值區域的灰度動態范圍，降低高亮度值區域的灰度動態范圍，可以用公式表示為

需要說明的是，本文僅對圖像的亮度信息進行處理，不需要圖像的顏色信息。

1.2 魯棒PCA特征提取

特征提取是表情識別技術的研究重點，常用的有人臉表情特征有PCA、局部二元模式(localbinarypatterns，LBP)、方向梯度直方圖(histogramoforientedgradients，HOG)等，這些特征在人臉表情識別方面的性能差異將在實驗部分進行對比分析。

本文在進行人臉表情特征提取時，針對傳統的PCA特征所存在的個別樣本偏離問題，提出一種結合歐氏距離和明氏距離改進的樣本中心自適應求取方法，在此基礎上提取魯棒的PCA特征，降低表情識別時的錯誤率。詳細過程描述如下。

假定圖像的寬度和高度分別為W和H，我們按照從左到右、從上到下的順序掃描圖像中每一個像素點的亮度值，將圖像表示為一個n維的向量xi，其中，i=1,2,…,N表示樣本集合中圖像對應的序號。

對于向量xi而言，其維度n=IMG_W×IMG_H。在后續本文實驗所用的數據集中，圖像的寬度IMG_W和高度IMG_H都為256，此時n=256×256=65536。很明顯，向量xi的維度n非常大，不易進行數據處理。

主成分分析是一種低失真的降維方法，采用一個正交投影矩陣W∈n×m(其中m?n)，將高維的n維向量xi降維到低維的m維向量yi，表示為

yi=WTxi

(2)

假定樣本圖像集中的N個圖像樣本的均值為0，主成分分析的目標是尋找一個正交投影矩陣，使得在降維空間上投影后的樣本向量集合擁有最大的方差，表示為

(3)

其中，tr(·)表示求矩陣的跡，矩陣S表示向量的協方差矩陣，定義為

(4)

實際計算時，常從投影誤差最小的角度來尋找最優的正交投影矩陣。通常，投影誤差可以表示為

(5)

上述優化問題可以通過求解協方差矩陣S的m個最大的特征值所對應的m個特征向量來計算。

然而，實際上N個圖像樣本的均值一般不為0，此時常用的策略是計算所有樣本向量的均值向量xm

(6)

然后將每一個樣本向量都減去均值向量，再進行主成分分析。此時，協方差矩陣S變為

(7)

從最小均方差的角度來看，傳統的樣本均值可以看作是樣本的中心，表示為

(8)

然而，采用歐氏距離存在一個問題，就是經常存在一些樣本遠離樣本中心，這樣就與主成分分析的假設條件偏差較大，不利于進行主成分分析。

為此，本文對樣本中心的計算方法進行改進，結合歐氏距離和明氏距離自適應求取樣本中心，表示為

(9)

(10)

(11)

式(11)可采用梯度下降方法求解，本文提出一種快速的梯度下降算法。具體描述如下：

首先，采用如下所示的近似分解

(12)

其中

(13)

(14)

這一迭代過程可以用表1所示的偽代碼描述。

表1 樣本均值求取過程偽代碼

其中

(15)

參數ε和τ用于控制迭代的終止條件，當前后兩次迭代的樣本與中心距離差異▽x(t,t-1)不大于ε或者迭代次數t到達最大迭代次數τ時，終止迭代，將此輪迭代得到的樣本均值作為最優的樣本均值。

(16)

其中

(17)

與式(12)類似，有

(18)

其中，W(t)表示第t次迭代之后的正交投影矩陣。

于是有

(19)

其中

(20)

算法的偽代碼見表2。

表2 魯棒PCA特征提取過程偽代碼

其中

(21)

參數ξ和τ用于控制此處迭代的終止條件，當前后兩次迭代的投影誤差差異▽W(t,t-1)不大于ξ或者迭代次數t到達最大迭代次數τ時，終止迭代，將此輪迭代得到的投影矩陣作為最優的投影矩陣W*。

得到投影矩陣之后，即可對當前已經過預處理操作的圖像向量x進行投影變換，計算其魯棒的PCA特征y，可以表示為

(22)

1.3 特征分類

對于上一小節提取得到的魯棒PCA特征，我們需要訓練一個分類器，用于區分不同表情的魯棒PCA特征。目前，特征分類方法也很多，如Adaboost、支持向量機(supportvectormachine，SVM)、決策樹、隨機森林、神經網絡等，這些分類方法各有優劣，對不同的應用場合的性能也不同。本文針對人臉表情識別的實驗情況選用隨機森林作為人臉表情特征的分類器，對特征進行訓練和驗證。隨機森林方法的訓練和驗證步驟可參考文獻[9]，這里不再贅述。

2 仿真實驗與分析

2.1 實驗數據集

人臉表情識別領域目前已有公開的數據集，本文選用的實驗數據集就是表情識別領域常用的JAFFE人臉表情圖像集。該數據集包括213幅人臉圖像，這些人臉圖像已經經過尺寸歸一化和人臉對齊處理，圖像尺寸都為256×256，且均為正面人臉，人眼的位置也大致對齊，光照也僅有正面光照。該數據集采集的是10個人的表情圖像，包括高興、悲傷、憤怒、驚奇、厭惡、恐懼和中性共7種表情。

本文的實驗都是在該數據集下進行的，其中，每一類表情選擇不同個體的各1幅圖像進行訓練，也即，訓練圖像集中樣本數量N=10×7=70。數據集中的其余圖像用于測試。

2.2 參數選取

圖1 參數p與的關系曲線

圖2 參數m與E的關系曲線

由圖2可見，當m大于90之后，投影誤差E隨參數m增大而下降的幅度已經很小了。因此，本文取參數m=90。

總的來講，本文所用的參數的取值見表3。

表3 參數取值

表3中，Ntree是指隨機森林方法中決策樹的數量。

2.3 表情識別結果與分析

下面對測試數據集進行表情識別實驗，考慮到本文的主要創新是提出一種魯棒的PCA特征提取方法，因此在表情識別仿真實驗中首先對比不同特征提取方法對表情識別結果的影響，然后再對比本文方法與表情識別領域近5年的方法的性能差異。本文以表情識別率為評價指標，定義為

(23)

首先，我們選取傳統PCA(降維維數也設為90)、LBP和HOG這3種常用的特征，與本文的魯棒PCA特征進行對比實驗，其中，圖像預處理和特征分類部分都采用本文所述方法，實驗結果如圖3所示。

圖3 不同特征的表情識別率對比

由圖3可見，本文所述的魯棒PCA特征的表情識別率明顯高于其它3種特征。尤其是與傳統的PCA特征相比，本文通過改變樣本均值的計算方式，以及通過自適應迭代求取最優的樣本均值和投影均值，降低了投影誤差以及樣本集合中的奇異點，從而提高了表情識別率。

其次，我們選取文獻[10-12]所述的3種表情識別方法，與本文所述的表情識別方法進行對比實驗，實驗結果如圖4所示。

圖4 不同方法的表情識別率對比

由圖4可見，本文所述方法的表情識別率高于其它3種表情識別方法。

表4給出了4種表情識別方法的平均處理時間。這里，平均處理時間是指平均對一幅圖像進行表情識別所需要的時間，實驗所用的計算機平臺為：3.2 GHz四核CPU、16 G RAM、Windows 7操作系統、Visual Studio 2013軟件平臺、OpenCV 3.0.0圖像處理庫。

表4 不同方法的平均處理時間對比

由表4可見，本文方法所需的平均處理時間少，這說明本文方法的運算效率也高于其它3種方法。因此，綜合評價，本文方法是一種高效、可靠的表情識別方法。

3 結束語

本文提出了一種結合魯棒PCA特征和隨機森林學習方法的人臉表情識別方法，首先提出一種改進的Gamma校正方法，可以在校正圖像的灰度動態范圍分布時避免大幅改變圖像的整體亮度分布；然后提出一種魯棒的PCA特征提取方法，先是通過融合歐氏距離和明氏距離兩種距離計算方法來計算樣本均值，降低樣本與中心的平均距離，接著采用梯度下降算法迭代尋找最優的樣本中心和投影矩陣，提高PCA特征對不同樣本的魯棒性；最后采用隨機森林學習方法對魯棒PCA特征進行訓練和分類，提高表情識別的識別率。人臉表情識別的仿真實驗結果表明，本文所述的表情識別方法是一種高效、可靠的表情識別方法，其魯棒PCA特征優于傳統的PCA特征以及LBP和HOG特征。

[1]HU Bufa,WANG Jinwei.A method of 3D facial expression recognition with dual mode and semantic knowledge[J].Journal of Instrumental and Instrument,2013,34(4):873-880(in Chinese).[胡步發,王金偉.雙模態及語義知識的三維人臉表情識別方法[J].儀器儀表學報,2013,34(4):873-880.]

[2]Gu W,Xiang C,Venkatesh Y V,et al.Facial expression recognition using radial encoding of local Gabor features and classifier synthesis[J].Pattern Recognition,2012,45(1):80-91.

[3]LIU Shuaishi,TIAN Yantao,WANG Xinzhu.Automatic re-cognition of facial expression recognition based on the symmetric bilinear model[J].Journal of Automation,2012,38(12):1933-1940(in Chinese).[劉帥師,田彥濤,王新竹.基于對稱雙線性模型的光照魯棒性人臉表情識別[J].自動化學報,2012,38(12):1933-1940.]

[4]Rudovic O,Pantic M,Patras I Y.Coupled Gaussian processes for pose-invariant facial expression recognition[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2013,35(6):1357-1369.

[5]YI Jizheng,MAO Xia,Ishizuka,et al.Facial expression re-cognition based on feature point vector an texture deformation energy parameters[J].Journal of Electronics and Information,2013,35(10):2403-2410(in Chinese).[易積政,毛峽,Ishizuka,等.基于特征點矢量與紋理形變能量參數融合的人臉表情識別[J].電子與信息學報,2013,35(10):2403-2410.]

[6]Sandbach G,Zafeiriou S,Pantic M,et al.Static and dynamic 3D facial expression recognition:A comprehensive survey[J].Image & Vision Computing,2012,30(10):683-697.

[7]Luo L,Wu Caiming,Zhang Y.Facial expression feature extraction using hybrid PCA and LBP[J].Journal of China Universities of Posts & Telecommunications,2013,20(2):120-124.

[8]Zhu X,Ramanan D.Face detection,pose estimation,and landmark localization in the wild[C]//IEEE Conference on Computer Vision and Pattern Recognition.IEEE Computer Society,2012:2879-2886.

[9]Vens C.Random forest[J].Encyclopedia of Systems Biology,2013,45(1):157-175.

[10]Gu W,Xiang C,Venkatesh Y V,et al.Facial expression reco-gnition using radial encoding of local Gabor features and classifier synthesis[J].Pattern Recognition,2012,45(1):80-91.

[11]Wang Z,Xiao N.Using MD-adaboost to enhance classifier of facial expression recognition[J].Journal of Computational Information Systems,2013,9(3):923-932.

[12]Da S,Maximiano F A,Pedrini H,et al.Effects of cultural characteristics on building an emotion classifier through facial expression analysis[J].Journal of Electronic Imaging,2015,24(2):77-84.