融合遮擋檢測與HOG特征協作表示的魯棒人臉識別

高秀洋,房 勝,李 哲

(山東科技大學 計算機科學與工程學院，山東 青島 266590)

融合遮擋檢測與HOG特征協作表示的魯棒人臉識別

高秀洋,房 勝,李 哲

(山東科技大學 計算機科學與工程學院，山東 青島 266590)

稀疏表示分類算法在人臉識別中表現出較好性能，但其對面部遮擋的魯棒性較差，在特征提取時未利用面部魯棒特征且實時性差。針對以上問題，本文提出了融合遮擋檢測與HOG特征協作表示的人臉識別方法。首先，設計了一種基于HOG特征和支持向量機的遮擋檢測方法，根據常見遮擋的分布將人臉分塊，在子塊上檢測遮擋。然后，結合遮擋檢測結果，僅提取非遮擋部分的HOG特征并利用協作表示方法進行分類。測試結果表明：對AR人臉庫中遮擋圖像的平均識別率為95.2%，對AR、Yale人臉庫中發生光照和表情變化人臉的識別率分別為97.3%和98.6%，且運算速度比稀疏表示方法提升了約293倍。與基于稀疏表示的分類方法相比，該方法的魯棒性和實時性都有明顯提升。

HOG特征; 支持向量機; 遮擋檢測; 協作表示; 人臉識別

由于具有潛在應用價值和科學挑戰性，人臉識別一直是生物特征識別領域的一個重要課題。雖然人臉識別技術已經取得了很大的進步，但目前的人臉識別系統[1]仍然無法很好地克服由于環境不可控而帶來的圖像質量退化問題，如遮擋、光照變化和表情變化等都會降低人臉識別系統的性能。Wright等[2]首次提出了基于稀疏表示的人臉識別方法SRC，即將測試圖像在字典上進行稀疏編碼，然后利用最小重構誤差進行分類，該方法對人臉的遮擋、光照和表情變化表現出一定的魯棒性。Zhang等[3]將魯棒稀疏編碼RSC應用到圖像分類中，通過尋找稀疏編碼問題的最大似然估計解來增強SRC方法對遮擋等干擾的魯棒性。胡正平等[4]利用人臉Gabor特征并訓練判別式字典，提出了結合Gabor特征和判別式字典的稀疏表示識別方法Gabor-SRC，使識別性能有了一定提升。另外，Zhang等[5]討論了協作表示(collaborative representation classifier,CRC)在稀疏編碼分類模型中的特性，證明了稀疏表示分類方法有如此出色性能的原因是訓練樣本間的協作表示機制。CRC用L2范數代替L1范數的稀疏性約束，無需繁瑣的迭代過程即可得到最優解，從而大大提升了計算效率。以上基于SRC的識別方法表現出了良好的性能，但仍然存在一些不足。首先，這些方法僅著眼于提升識別算法對存在局部遮擋人臉的識別精度，未考慮在特征提取階段去除局部遮擋，精度的提升有限。其次，大部分基于稀疏表示的方法都是利用降采樣或降維后的灰度值特征直接構建字典，并沒有探索人臉魯棒的判別性特征，從而在一定程度上影響了識別性能。另外，基于SRC的識別方法計算復雜度較高，難以滿足實時性要求。

1 算法構造

本文針對基于稀疏表示的人臉識別方法中存在的問題，提出了融合遮擋檢測與HOG特征協作表示的人臉識別方法。在遮擋檢測部分，提出了一種基于HOG特征、主成分分析和支持向量機的遮擋檢測方法。

圖1 算法流程

根據常見自然遮擋的分布采用合適的分塊策略，在人臉分塊上利用遮擋檢測器進行遮擋，僅利用非遮擋塊上提取的特征作為人臉的特征表示，從而消除局部遮擋的影響；在識別部分，提取人臉非遮擋塊上的HOG特征作為人臉的特征表示并利用協作表示分類。Boragule等[6]在基于稀疏表示的目標追蹤問題中選擇提取目標模板的HOG特征代替灰度圖像的降維特征，并證明了該局部特征在表征目標時的優越性。HOG特征對光照變化和幾何形變具有較強的魯棒性，比通過灰度圖像降采樣或降維獲得的特征有明顯的優勢。采用協作表示分類方法，在保證識別性能的同時，大大降低了算法的計算復雜度。算法流程如圖1所示。

構建字典時，根據可能發生遮擋的人臉分塊的不同構造不同的字典，組成備用字典集合，字典集合構建過程將在3.1節詳細介紹。提取人臉特征時，根據遮擋檢測結果，僅利用無遮擋人臉分塊上的HOG特征串聯降維后作為人臉的特征表示。分類時，同樣根據遮擋檢測結果，在字典集中選擇相應的字典進行協作表示分類得出分類結果。遮擋檢測方法將在第2章詳細介紹，協作表示分類將在第3章作詳細介紹。

圖2 人臉分塊

2 遮擋檢測

人臉可能出現的遮擋如墨鏡、口罩等往往分布在面部固定的塊狀區域，本文的遮擋檢測采用如圖2所示的分塊策略將人臉分為3個子塊，自上而下編號為a，b，c，遮擋檢測在人臉子塊上進行。首先提取待檢測子塊的HOG特征，利用PCA進行降維后輸入訓練好的支持向量機進行分類，判斷該子塊是否發生遮擋。

2.1 HOG特征

HOG特征即梯度方向直方圖(Histogram of Oriented Gradient )，最早被Dalal等[7]用來進行行人檢測。HOG特征能夠描述圖像的邊緣結構信息且對光照變化，幾何形變不敏感，是一種魯棒的局部特征描述子。HOG特征和SIFT特征[8]相似，但計算量較小。

HOG特征的提取過程如下：

Step 1 以采樣點為中心取10×10大小的像素鄰域為特征提取窗口，按這種方式將人臉子塊分為若干互不重疊的窗口；

Step 2 將特征提取窗口分為4個5×5大小的子塊，在每個子塊上計算各像素點的梯度方向和幅值。像素點(x,y)水平方向和垂直方向的梯度算式如下：

Ix(x,y)=I(x+1,y)-I(x-1,y)，
Iy(x,y)=I(x,y+1)-I(x,y-1)。

(1)

像素點(x,y)處的梯度幅值和方向分別為：

(2)

θ(x,y)=arctan(Iy(x,y)/Ix(x,y))。

(3)

圖3 HOG特征提取示意圖

Step 3 將各窗口中像素點的梯度分為8個方向，按圖3中橢圓形的高斯加權范圍將同一子塊上同方向的梯度幅值按照權重累加，從而在4個子塊上分別得到一個8維的梯度直方圖。

Step 4 將Step 3得到的8維梯度直方圖串聯成一個4×8=32維的向量作為該窗口的特征描述，所有窗口的特征向量串聯即可得到整幅圖像的HOG特征。

2.2 基于支持向量機的遮擋檢測

遮擋檢測可以被看作是一個二分類問題，而支持向量機(support vector machine，SVM)[9]是一種高效的二類數據分類器，故本文采用支持向量機進行遮擋檢測。SVM的主要思想是在空間中尋找一個最優超平面，將不同類別的樣本點分開，并使不同類別樣本點之間的間隔最大。如果訓練樣本是線性不可分的，可以通過非線性映射將樣本變換到高維空間，使其在高維空間線性可分。這種非線性映射通過核函數實現，常用的核函數有多項式核函數、徑向基函數和Sigmoid函數。

本文選擇徑向基函數作為核函數，其形式為：

K(xi,xj)=exp(-σ‖xi-xj‖2)。

(4)

其中，xi和xj是特征向量，σ是徑向基函數的帶寬。

給定訓練集T={(x1,y1),…,(xn,yn)}，其中xi∈Rn，yi∈{+1,-1}，i=1,2,…,n，xi是訓練人臉子塊的特征向量，yi是類別標簽，標識訓練樣本是否有遮擋。選定核函數后，最優分類函數為

(5)

3 融合HOG特征的協作表示分類

3.1 HOG字典集

SRC分類方法的一個重要部分是字典的構建，表征能力強的字典有助于提升分類性能。傳統的SRC分類方法大多是將訓練樣本降采樣或降維后直接作為原子構建字典，忽略了對人臉魯棒性特征的利用，對分類性能造成了一定程度的影響。HOG特征是一種魯棒的局部特征描述子，因此本文提取人臉的HOG特征，利用PCA降維后作為原子構建表征能力強的HOG特征字典。本文將人臉圖像分割為a、b、c三個子塊(如圖2)，根據各子塊遮擋情形的不同構建相應的備用特征字典集。分類時，根據不同的遮擋檢測結果，選擇相應的字典進行協作表示分類。

假設只有b，c兩個分塊可能發生遮擋且不同時發生遮擋，則需要構建三類特征字典：

1) 對應人臉未發生遮擋的情形，將訓練人臉樣本三個子塊上提取的HOG特征向量串聯降維后作為原子構建字典；

2) 對應b子塊發生遮擋的情形，將訓練人臉樣本a子塊和c子塊上的HOG特征向量串聯降維后作為原子構建字典；

3) 對應c子塊發生遮擋的情形，將訓練人臉樣本a子塊和b子塊上的HOG特征向量串聯降維后作為原子構建字典。

3.2 協作表示分類

基于SRC的分類方法計算復雜度高，難以滿足應用的實時性要求，因此本文采用協作表示方法CRC進行分類，在保證識別性能的同時，大大降低計算復雜度。

SRC方法的關鍵步驟是將測試圖像在過完備的字典上進行L1范數最小化約束稀疏編碼，計算公式為：

(6)

其中，X是過完備字典，y是測試圖像，a為測試圖像在字典上的編碼系數，ε代表編碼誤差，為一個較小的正常數。

Zhang等[3]證明了協作機制在SRC識別中起到關鍵作用，對編碼系數的強稀疏性約束是不必要的。因此，用L2范數約束代替L1范數約束，由于減弱了稀疏性約束，求解編碼系數的計算復雜度大大降低，協作表示的計算公式如式如下:

近年來，每年近70%的云南蔬菜產品銷往全國150多個大中城市和40多個國家和地區，云南已逐步成為全國重要的“南菜北運”和“西菜東運”基地。

(7)

其中，X是過完備字典，y是測試圖像，ρ是編碼系數，λ是規整化參數。λ一方面是使最小平方和的求解更穩定，另一方面是引入一定程度的弱稀疏性約束。

求得式(7)的解為：

(8)

令M=(XTX+λ·I)-1XT，M與y是相互獨立的，M可以預先計算出來，當給出測試樣本y時，可以直接將其在M上進行投影得到編碼系數。這使得協作表示分類方法計算起來非常簡便。

基于CRC的分類方法將重構誤差和編碼系數相結合進行分類，步驟如下所示：

double minError=10; //minError代表最小重構誤差，初始化為較大數

for(i=1；i<=S；i++) //S代表訓練樣本類別數

{

min Error=ei

}identity(y)=arg mini{min Error}；//輸出測試樣本y的類別

3.3 算法復雜度分析

基于SRC的分類方法和本文所采用的CRC分類方法的計算復雜度都取決于編碼系數的求解復雜度。設人臉特征維數為n，字典的原子個數為m。SRC分類方法的稀疏編碼系數求解模型如公式(6)所示，L1范數最小化約束求解的計算復雜度(如采用l1-ls[10]方法求解)為O(n2m1.3)。本文采用的CRC分類方法中的編碼系數求解如式(8)所示，無需迭代計算即可得到最優解，計算復雜度為O(nm)?？梢?，SRC分類方法的計算復雜度要遠高于CRC分類方法。

4 實驗結果與分析

本文在AR人臉庫和Yale人臉庫上進行了測試。首先，對所提出的遮擋檢測方法進行測試；然后測試了本文方法對遮擋人臉的識別性能；最后測試了本文方法對非遮擋人臉的識別性能。對比方法中，SRC和CRC方法的字典由PCA降維后的樣本向量構成,HOG-SRC是參照文獻[6]設定的對比方法，即基于HOG特征的稀疏表示分類。所有訓練和測試人臉圖像都設置為80×120大小，式(7)中的λ值設為0.001。

圖4 遮擋檢測正負訓練樣本

4.1 檢測遮擋

為了訓練每個人臉子塊對應的SVM，在AR人臉庫和Yale人臉庫中各隨機選擇了100張無遮擋人臉，進行分塊后，相應分塊對應的SVM便各獲得了200個正訓練樣本。從AR人臉庫中隨機選擇100張戴墨鏡的人臉圖像和100張戴圍巾的人臉圖像，另外搜集了100張其它類型遮擋的人臉圖像，包括頭發遮擋、帽子遮擋和口罩遮擋等情形。對300張發生各式遮擋的人臉圖像分塊，將發生遮擋的分塊作為對應SVM的負訓練樣本，未發生遮擋的分塊作為正訓練樣本。部分正負訓練樣本如圖4所示。

選擇200幅發生各式遮擋的人臉圖像，其中包括常見遮擋如墨鏡、圍巾、口罩、帽子、頭發等遮擋。將這些圖像分塊，并將各子塊輸入對應的SVM進行測試。定義檢測率為將遮擋樣本正確分類的比率，誤檢率為將非遮擋樣本錯誤分類的比率，則好的檢測器應使得檢測率盡可能大，誤檢率盡可能小。三個子塊遮擋檢測的結果如表1所示。b分塊是眼睛分塊，主要發生墨鏡遮擋，b分塊上遮擋檢測器的檢測率為100%，誤檢率為0，取得了最優結果；c分塊是嘴巴分塊，主要發生圍巾、口罩和手部遮擋，c分塊上的遮擋檢測器檢測率為100%，誤檢率為1%，其中誤檢樣本為留有較濃密胡須的人臉；a分塊是額頭分塊，主要發生帽子、頭發遮擋，a分塊遮擋檢測器的檢測率為100%，誤檢率為4%，其中誤檢樣本都有一定程度的劉海。

表1 各子塊遮擋檢測結果

表2 遮擋人臉識別結果

由檢測結果可知，本文所設計的遮擋檢測方法能準確檢測到人臉的局部遮擋，在b、c分塊上取得了較優結果，對a分塊的檢測出現了少量誤檢，主要由額頭頭發分布的復雜性造成。因此，本文所提出的遮擋檢測方法尤其適用于正面人臉眼部和口部的遮擋，如墨鏡、口罩和圍巾等。

4.2 識別遮擋人臉

AR人臉庫包含126人(70位男性和56位女性)的4 000多張人臉圖像，這些圖像中包含了表情、光照變化和遮擋(墨鏡和圍巾)。選擇AR人臉庫Session1中的一個子集，其中包含100個對象(50位男性，50位女性)，每人13幅人臉圖像。利用每個對象的7幅包含表情和光照變化的人臉圖像進行訓練，6幅發生墨鏡或圍巾遮擋的人臉圖像進行測試。各算法所提取的人臉特征向量統一降維至200維。由測試結果(如表2)可知，SRC方法對墨鏡遮擋人臉的識別率為82%，但對圍巾遮擋人臉的識別率僅為59.5%；CRC方法在識別圍巾遮擋人臉時取得了較優識別率為81.5%，但對墨鏡遮擋人臉的識別率較低，為68.5%；Gabor-SRC方法引入了Gabor遮擋字典，識別性能有所提升，對墨鏡遮擋人臉的識別率達到85%，但對出現圍巾這樣較大面積局部遮擋的人臉的識別率較低，僅為79%；HOG-SRC方法的識別性能略優于Gabor-SRC，遠優于SRC方法，證明了HOG特征的魯棒性；本方法對墨鏡和圍巾的識別率分別為94.6%和95.8%，相比其他方法，對人臉遮擋的魯棒性有明顯增強，證明了融合遮擋檢測后本算法對局部遮擋具有較強魯棒性。

4.3 識別無遮擋人臉

在AR人臉庫中選擇一個子集，其中包含100個對象(50位男性，50位女性)。選擇每個對象在Session1中的7幅無遮擋人臉圖像進行訓練，Session2中的7幅無遮擋人臉圖像進行測試，其中包含了各種表情和不同光照情況下的人臉圖像。對各算法在不同特征維數下進行了測試，測試結果如表3。

Yale人臉庫包含15個對象的165幅人臉圖像，這些圖像包含了光照條件變化和表情變化。選擇每個對象8幅圖像進行訓練，剩余3幅進行測試。對各算法在不同特征維數下進行了測試，測試結果如表4。

表3 AR人臉庫中無遮擋人臉識別結果

表4 Yale人臉庫中無遮擋人臉識別結果

本文方法在AR和Yale人臉庫上都取得了較好結果，對發生光照和表情變化人臉的識別率最高分別達到97.3%和98.6%，略高于Gabor-SRC方法和HOG-SRC方法，識別性能優于使用簡單降維特征的SRC方法和CRC方法，證明了本文融合HOG特征字典的協作表示方法對人臉光照和表情變化具有較強的魯棒性。

4.4 運行時間比較

為了比較基于SRC的方法和本文方法的計算耗時，計算了兩類方法在AR人臉庫上測試時的平均耗時(如表5)。其中特征維數設定為300，SRC方法采用l1-ls計算L1范數最小化，PC處理器為3.6 GHZ，實驗環境為Matlab。SRC方法的平均耗時為1.76 s，Gabor-SRC方法的平均耗時為1.82 s，HOG-SRC方法的平均耗時為1.84 s,CRC方法的平均耗時為0.005 8 s,本方法的平均耗時為0.006 s，相比于SRC方法速度提升了約293倍，接近于CRC方法，證明本文方法的時間復雜度比基于SRC的方法更低，具有更好的實時性。

表5 算法平均耗時

5 結語

針對基于SRC的人臉識別方法對面部遮擋的魯棒性較差，在特征提取時未充分利用人臉魯棒的判別性特征和實時性差問題，本文提出了融合遮擋檢測與基于HOG特征字典的協作表示的人臉識別方法。該方法采用HOG特征作為人臉的特征描述并構建字典，增強了對人臉的表征能力和對人臉光照和表情變化的魯棒性。設計了基于HOG特征、PCA和SVM的遮擋檢測方法在人臉分塊上檢測遮擋，能夠有效檢測到墨鏡、圍巾和口罩等面部常見塊狀遮擋。僅利用非遮擋部分進行分類，消除了遮擋影響，提升了算法對遮擋的魯棒性。采用協作表示分類方法，在保證分類性能的同時，大大提升了計算效率。

[1]鄒國鋒,傅桂霞,李海濤,等.多姿態人臉識別綜述[J].模式識別與人工智能,2015,28(7):613-625. ZOU Guofeng,FU Guixia,LI Haitao,et al.A survey of multi-pose face recognition[J].Pattern Recognition and Artificial Intelligence,2015,28(7):613-625.

[2]WRIGHT J,YANG A Y,GANESH A,et al.Robust face recognition via sparse representation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2009,31(2):210-227.

[3]ZHANG C J,WANG S H,HUANG Q M,et al.Image classification using spatial pyramid robust sparse coding[J].Pattern Recognition Letters,2013,32(6):1046-1052.

[4]胡正平,徐波,白洋.Gabor特征集結合判別式字典學習的稀疏表示圖像識別[J].中國圖象圖形學報,2013,18(2):189-194. HU Zhengping,XU Bo,BAI Yang.Sparse representation for image recognition based on Gabor feature set and discriminative dictionary learning[J].Journal of Image and Graphics,2013,18(2):189-194.

[5]ZHANG L,YANG M,FENG X.Sparse representation or collaborative representation:Which helps face recognition?[C]//IEEE International Conference on Computer Vision.Barcelona:IEEE,2011:471-478.

[6]BORAGULE A,YEO J Y,LEE G S.Object tracking with sparse representation based on HOG and LBP features[J].International Journal of Contents,2015,11(3):47-53.

[7]DALAL N,TRIGGS B.Histograms of oriented gradients for human detection[C]∥Proceedings of Conference on Computer Vision and Pattern Recognition.Los Alamitos:IEEE,2005,886-893.

[8]KRIZAJ J,STRUC V,PAVESIC N.Adaption of SIFT features for robust face recognition[C]∥Proceedings of the 7th International Conference on Image Analysis and Recognition.Berlin,Germany:Springer,2010:394-404.

[9]SCHOLKOPF B,SMOLA A J,WILLIAMSON R C,et al.New support vector algorithms[J].Neural Computation,2000,12 (5):1207-1245.

[10]KIM S J,KOH K,LUSTIG M.A interior-point method for large-scale l1-regularized least squares[J].IEEE Journal on Selected Topics in Signal Processing,2007,1(4):606-617.

(責任編輯：傅 游)

Robust Face Recognition with Fusion of Occlusion Detection and Collaborative Representation Based on HOG Feature

GAO Xiuyang,FANG Sheng,LI Zhe

(College of Computer Science and Engineering,Shandong University of Science and Technology,Qingdao,Shandong 266590,China)

Sparse representation based classification (SRC) shows good performance in face recognition experiments,but occlusion is still a tough problem because the robust features of face have not been fully utilized. In addition,the real-time performance of SRC is poor. In this paper,a face recognition method with fusion of occlusion detection and collaborative representation based on HOG feature was proposed. Firstly,an occlusion detector based on HOG feature and support vector machine was designed,which could detect the occlusion on the local patches of the face images that were divided according to common occlusion distribution. Then,based on the results of occlusion detection,the HOG feature of the non-occluded face regions was extracted and collaborative representation was adopted for classification. Finally,experiments were conducted on AR and Yale face databases. The average recognition rate of face images with occlusion in AR face database reached 95.2%. The recognition rates of face images with illumination and expression changes in AR and Yale face databases reached 97.3% and 98.6% respectively. The calculation speed of the proposed method was about 293 times faster than SRC. Experimental results demonstrate that the proposed method yields significant performance improvements compared to SRC method.

Histogram of Oriented Gradient (HOG); support vector machine; occlusion detection;collaborative representation; face recognition

2016-05-23

國家自然科學基金項目(61502278,61170253);山東科技大學人才引進科研啟動基金項目(2015RCJJ067)

高秀洋(1991—)，男，山東德州人，碩士研究生，主要從事圖像處理與分析，模式識別. 房 勝(1971—)，男，山東泰安人，教授，博士，主要從事視頻編碼與傳輸，模式識別. 李 哲(1983—)，男，山東聊城人，講師，博士，主要從事視頻編碼與傳輸，模式識別，本文通信作者. E-mail:zhelee@163.com

TP391.4

A

1672-3767(2017)01-0111-07