基于支持向量機的實時表情識別

張鵬，賈銀山，劉陪勝

0 引言

面部表情在人們的交流中起著非常重要的作用，是人們進行非語言交流的一種重要方式。表情含有豐富的人體行為信息，是情感最主要的載體，是智能的體現，對它的研究可以進一步了解人類的心理狀態。目前，對表情的研究主要分為心理學領域和計算機領域的研究。在計算機領域，面部表情分析是情感計算中的研究熱點，其目的在于建立友好、人性化的人機交互界面，使計算機具備感知和理解人的情緒的能力。

面部表情是一種刻畫情緒、認知、主體狀態以及他們在社會交往中的作用和角色的方法[1]。就自動識別的觀點來看，面部表情可以被認為是臉部組成部分和它們的空間關系的變形或是臉部的顏色變化。對面部表情自動識別的研究，圍繞在這些變形或臉部顏色的靜態或者動態特性的表示和分類上。

本文提出了在實時圖像中通過對面部表情的識別，來自動識別人的情感的方法。它是基于支持向量機的機器學習方法。臉部特征跟蹤器從視頻流特征運動中收集了一系列位移，然后由已經訓練好的SVM分類器去識別未知的表情。

1 面部特征的提取

選取適合于視頻系統的特征位移方法來獲取面部特征形變信息。在能夠很好地反映表情變化的眉毛、眼睛、鼻子、嘴等五官周圍標定23個特征點，其中鼻尖點與兩眼內點作為標準化處理時的基準點，除鼻尖外的22個點作為面部的特征點。引用基準點的目的是對跟蹤的特征點進行標準化，通過對3個基準點所構成三角形的平移及旋轉的判斷，得到其它特征點的準確位置和特征位移。從而消除由距離相機的遠近、頭部運動（如平移或頭部傾斜）等引起的特征位移的誤差，提高識別的準確率。

如圖1所示，使用主動形狀模型（ASM）[2][3]方法自動地對特征點進行標定，然后用改進的L-K光流算法[4]對標定的特征點進行跟蹤，獲得它們在隨后一系列幀中的位置。對于每個表情，用中性表情和面部表情所表示的高峰幀特征點之間的歐氏距離來計算特征位移向量。圖2所示，為每個表情建立其特有的特征運動模式。在運動量是最小值（初期的中性表情階段）和在運動穩定的達到峰值時（表情序列的最后階段），特征位置都會被自動捕獲。

圖1 面部特征點的標定與跟蹤

圖2 特征點運動模型

2 表情的分類

2.1 支持向量機

支持向量機（SVM）[5][6]是一種基于結構風險最小化原則的學習方法。它的基本思想是在樣本空間或特征空間，構造出最優超平面，使得超平面與不同類樣本集之間的距離最大，從而達到最大的泛化能力。其理論是從線性可分情況下的最優分類面發展而來的，基本思想可用圖2的二維情況來說明。

圖中實心點和空心點分別代表兩類樣本，H為分類線，H1和H2分別為過各類中離分類線最近的樣本且平行于分類線的直線，它們之間的距離叫做分類間隔（margin）。所謂最優分類線就是要求分類線不但能將兩類正確分開，而且使分類間隔最大。

利用Langrange優化方法可以把上述最優分類面問題轉化為其對偶問題：

α為與每個樣本對應的Langrange乘子，求解對應的樣本就是支持向量，得到最優分類函數：

對于非線性問題，可以通過非線性轉化為某個高維空間中的線性問題，在變換空間最優分類超平面。選用合適的核函數K（xi，xj）滿足Mercer條件變換到高維空間，并選取適當的懲罰參數C﹥0，得最優問題：

相應的分類函數為：

將SVM推廣解決多分類問題[7]有兩種方法，第一種方法是通過層疊的二值分類器，將多分類問題轉化為二分類問題。第二種方法是通過修改目標函數，從根本上解決SVM處理多分類問題。目前多采用第一類方法。對于K類問題，給定訓練集，其中。由此可見，求解多分類問題，實質上就是找到一個把Rn上的點分成K部分的規則。常用的方法有：

1）一對多SVM分類

一對多SVM分類是最為簡單的，也是最為普通的實現方案。對于k（k≥2）類SVM分類問題，把其中某一類作為一類，其余k-1類視為一類，自然地將k分類問題轉化為二分類問題。這種分類方法在訓練過程中，每個分類函數都需要所有的樣本參與。

2）一對一SVM分類

該方法在每兩類訓練一個分類器，因此對于一個k類問題，將有k（k-1）/2個分類函數。當對一個未知樣本進行分類時，每個分類器都對其類進行判斷，并為相應的類別“投上一票”，最后得票最多的類別即為該未知樣本的類別。

3）層（樹）分類方法

這種方法是一對一方法的改進，首先將所有類別分成兩個子類，再將子類進一步劃分成兩個次級子類，如此循環下去，直到得到一個單獨的類別為止，這樣就得到一個倒立的二叉分類樹。該方法將原有的多類問題同樣分解成了一系列的兩類分類問題，其中兩個子類間的分類函數采用SVMs。

2.2 表情的分類

本文使用一種支持向量機編碼多分類的方法，子分類器的數目N=log2K，表情類別數K=7，則子分類器的數目為3。對7種表情采用二進制編碼，如表1：

表1 表情類別編碼表

按順序取編碼的第一位0，1，0，1，0，1，0這7個數字意味著將第2、4、6類的樣本作為正類，第1、3、5、7類的樣本當作反類訓練第一個子SVM1。第二位0，0，1，1，0，0，1這6個數字意味著將第3、4、7類的樣本作為正類，第1、2、5、6類的樣本當作反類訓練第二個子SVM2.第三位0，0，0，0，1，1，1這7個數字意味著將第5、6、7類的樣本作為正類，第1、2、3、4類的樣本當作反類訓練第三個子SVM3。

跟蹤器從視頻流中提取22個面部特征的位置，計算每個特征點在中性表情和表情的峰值之間的特征位移。這些特征位移及相應的表情類型作為SVM的輸入，然后對SVM分類器進行訓練。得到一個訓練好的SVM分類器，對實時的未知的表情進行分類。分類過程用圖4描述：

圖4 分類流程圖

其中邏輯運算包含兩個步驟：

1.根據編碼表將SVM輸出轉化為決策結果，如果SVM1輸出{+1}，則決策樣本x的可能類別為（2，4，6）。

2.求出所有子SVM的決策輸出集合的交集即是樣本x所屬類別。

對于新的測試樣本，如3個SVM的輸出依次為{+1，-1，+1}，則3個支持向量機作出的決策分別是（2，4，6）、（1，2，5，6）、（5，6，7），可判斷新的測試樣本歸為第6類--恐懼。

3 實驗結果

為了確定特征位移和SVM對表情識別的準確率，我們最初評價我們的方法仍然使用的是Cohn-Kanade面部表情數據庫[8]的圖像。人工定義每幅圖像特征點，然后獲得中性面部表情和其它表情代表的幀之間的位移。用一套20個例子的基本表情用于訓練，然后對15個未知的表情實例進行分類，取得了較高的分類準確率。

本文采用k-fold cross-validation檢驗方法對分類結果的評價，在k-fold cross- validation檢驗方法中，隨機將數據庫分為K個子集合作為訓練集，此過程循環k次。

對于視頻分類，試驗使用的表情數據庫包括對10個對象的六種基本表情的視頻序列，視頻序列是中性表情到表情高潮的變化序列，對每個表情采集了5-7個序列。并對每個表情幀進行標準化，以減少頭部運動帶來的分類誤差。如表2，列出標準化與未標準化的識別準確率的差別。

表2 標準化與未標準化的識別率比較

訓練集由每種表情的35個視頻序列組成，各種表情剩下的一個序列用來構成測試集。完成一次識別后每種表情的第一個序列用來構成新的測試集，而原來測試集中的序列被包含在新的訓練集中，這個過程一直進行到所有的視頻序列都被用作測試集一次。分類準確率通過正確分類的面部表情序列的平均百分率來衡量。表3顯示了分類的準確率。

表3 使用SVM分類的準確率

使SVM分類器得到較高的分類準確率的一個參數是核函數。本文比較了Sigmoid核函數和RBF核函數的分類效果，同時，本文還比較一對一多分類與編碼多分類的識別效果。表4的試驗結果表明，用編碼多分類比一對一多分類方法明顯地提高了識別率，而且所消耗的時間也要比一對一多分類方法小得多。

表4 識別效果比較

4 結論

在本文中，我們提出了在實時圖像中表情識別的方法。試驗結果顯示，面部特征位移與SVM結合的方法用于表情分類具有較高的分類準確率。我們使用了ASM方法自動地對特征點進行標定，提高了特征點標定的效率。使用了改進的L-K光流算法，該方法更能適用于面部特征信息的提取，對面部特征點的跟蹤準確率和魯棒性都有所提高。使用了基于編碼支持向量機的多分類方法，該方法在縮小消耗時間的同時也提高了識別準確率。

由于面部表情受文化、性別等因素影響，個體差別較大，且實驗的數據樣本有限，因此結果不具有普遍性。下一步的工作可以考慮以更大的數據集作為實驗對象，建立更為普遍的表情模型。特征提取階段的標準化程序應進一步加強，考慮由頭部轉動帶來的誤差，得到更加準確的特征位移，從而得到更高的分類準確率。

[1]Donato G，Barlett M S，Hager J C，Ekman P，Sejnowski T J.“Classifying Facial Actions”，IEEE Trans.Pattern Analysis and Machine Intelligence，Vol.21，No.10.974-989，1999.

[2]Cootes T F，Taylor C J，Cooper D H，and Haslam J.Training Models of Shape from Sets of Examples，in Proc.British Machine Vision Conference.Springer-Verlag，1992.9-18.

[3]Cootes T F，Taylor C J，Cooper D H，and Graham J，"Active Shape Models-Their Training and Application"，Computer Vision and Image Understanding，61（I），19 95.38-5 9.

[4]Jean-Yves Bouguet.Pyramidal implementation of the Lucas Kanade feature tracker.Technical Report，Intel Corporation，Microprocessor Research Labs 2000.

[5]Vapnik V.The Nature of Statistical Learning Theory.New York: Springer-Verlag 1995.

[6]鄧乃揚，田英杰.數據挖掘中的新方法-支持向量機[J].科學出版社.2006.

[7]鄭勇濤，劉玉樹.支持向量機解決多分類問題研究[J].計算機工程與應用.2005，第41卷第23期:190-192.

[8]Kanade T，Cohn J，and Tian Y.Comprehensive database for facial expression analysis.In Proceedings of the 4th IEEE International Conference on Automatic Face and Gesture Recognition（FG’00），46-53，2000.