LBP和MB-LBP加權融合的人臉識別

劉 斌，米 強，徐 巖

(山東科技大學 電子通信與物理學院，山東 青島 266590)

0 引 言

人臉識別[1,2]技術主要包含3部分，分別是人臉檢測、特征提取以及分類器設計。能否提取有差異性的人臉特征對系統而言十分重要，在近幾年里，許多高效和新穎的人臉識別算法被提出來，這極大提高了人臉識別系統的性能[3]，比如基于子空間的特征降維方法[4]、流形學習方法等[5]。主流的特征降維方法有線性判別分析(LDA)[6]和獨立成分分析(ICA)[7,8]，其在模式識別領域被廣泛應用。如今人臉識別技術已經非常先進，在理想的沒有干擾的環境中可以取得很高的正確識別率，但是傳統人臉識別技術的性能在人臉圖像的姿態、表情及光照變化較大的環境中會急劇下降，為了在光照變化較大的環境中提高人臉識別系統的性能，很多學者對此進行了深入的研究并取得了不錯的成果。比如為了抵消光照變化的影響，可以通過光照歸一化算法對光照變化進行補償，其中常見的光照歸一化方法有直方圖均衡化以及Gamma校正。除此之外，也可以提取一些對光照變化具有不變性的特征，比如Gabor特征[9]、LBP特征[10]。在文獻[11]中作者把深度學習算法融入到人臉識別系統當中，在光照變化的環境中提取人臉圖像的LBP特征，并將提取到的人臉特征輸入到由深度學習算法建立的分類器中，取得了很高的人臉識別率。

本文則提出了一種基于LBP特征和MB-LBP加權融合的特征提取方法，首先分別提取每幅人臉圖像的標準LBP分塊直方圖特征、圓形鄰域LBP分塊直方圖特征以及MB-LBP分塊直方圖特征，采用一定的權重系數將3種特征加權融合，最終的實驗結果表明這種方法可以進一步提高人臉識別系統的性能。

1 人臉LBP特征提取

局部二進制模式(local binary patterns，LBP)最初是由Ojala提出的，它是一種有效的圖像紋理特征描述子，在圖像識別領域中，同其它圖像特征相比，LBP特征對光照變化具有不變性，因此在光照不均的應用場景中也能取得不錯的識別效果。又因為LBP的基本原理是以圖像中任意一點像素的灰度值為閾值，用它與周圍鄰域像素的相對灰度變化值作為響應，使得它對于單調的灰度變化也具有不變性。作為一種強大的紋理運算符，LBP算子已經在不同的場景下得到了廣泛的應用。

1.1 基本的LBP算子

基本LBP算子對圖像中的每個像素，通過計算以其為中心的3*3鄰域內各像素和中心像素的大小關系，把像素的灰度值轉化為一個八位二進制序列。LBP特征的提取方法可以用式(1)來表示

(1)

式中：gc表示中心像素的灰度值，gp(p=0,1,2,…,p-1)表示距離中心像素3*3鄰域上像素的灰度值，s(x)是符號函數。它的實現過程如圖1所示。

圖1 LBP算子基本思想

1.2 圓形鄰域的LBP算子

基本的LBP算子不能適應不同尺度的紋理特征，為此需要將其進行拓展，可以使用不同大小的圓來對鄰域像素進行編碼，并結合雙線性差值算法來得到不在像素中心位置的鄰域點的值，以滿足不同尺寸和頻率紋理的需要。Ojala等首先用圓形鄰域取代了基本LBP算子的3×3正方形鄰域，改進之后的LBP算子可以用符號LBPP,R來表示，此符號的含義是指在半徑為R的圓形區域中包含P個采樣像素點，圓形鄰域的LBP算子如圖2所示。

圖2 幾種圓形LBP算子

圖2(a)表示圓形(8,1)鄰域的LBP8,1算子，圖2(b)表示圓形(16,2)鄰域的LBP16,2算子，圖2(c)表示圓形(8,2)鄰域的LBP8,2算子。設(x，y)表示不再像素中心位置的鄰域點的坐標，通過雙線性差值方法獲得其響應值的公式如下

(2)

1.3 MB-LBP算子

圖3 MB-LBP算子

由于標準LBP算子得到的直方圖比較稀疏從而使其失去統計意義，為此LBP算子在實際應用中都會采用統一化的模式[13]，也就是把所有的經LBP算子處理后的圖像像素劃分為統一化模式以及非統一化模式，將統一化模式的圖像像素分配在一個收集箱,非統一化模式的圖像像素都被放在一個公用收集箱。這樣不僅使特征數目減少，而且使得到的LBP直方圖更具有統計意義。

1.4 LBP分塊直方圖特征

傳統的LBP算子僅能描述圖像的局部信息，而丟失了全局信息。在文獻[14]中指出兩個不同結構的中心像素可能會得到相同的LBP特征。雖然能夠描述圖像整體結構信息的MB-LBP特征能夠避免這種情況，但是MB-LBP往往會忽略一些有用的局部信息。為此本文采用特征加權融合的方法，將LBP算子和MB-LBP算子的優點結合起來，互相補充，從而提高系統的整體性能。

在本文對人臉識別系統的研究當中，無論是提取圖像的LBP特征，還是提取圖像的MB-LBP特征，都是采用圖像分區的思想來實現的，分區的LBP特征能夠解決單個LBP直方圖存在的局部差異信息丟失的問題。它的實現過程如下：

(1)首先將一幅人臉圖像劃分為若干塊區域；

(2)分別提取每個塊區域的LBP直方圖特征；

(3)把所有塊區域的直方圖特征聯合起來作為整幅圖像的直方圖特征。

圖4分別為用傳統LBP算子和MB-LBP算子處理后的人臉圖像及其分塊直方圖，上述LBP分塊直方圖是將人臉圖像按8×6分區得到的，而MB-LBP分塊直方圖是將人臉圖像放大5倍之后按照8×6分區得到的。本文提取的是人臉圖像的MB3-LBP特征，研究表明要想提取圖像分區的MB3-LBP特征，分區的大小應該為54×63的像素塊，將原始圖像通過最近鄰插值法放大5倍以后，再按照8×6的大小分區，此時每個分區的大小接近54×63，只有這樣得到的MB-LBP分塊直方圖特征才有意義。

圖4 傳統LBP算子和MB-LBP算子處理后的人臉圖像

2 主成分分析(PCA)

上述人臉圖像經LBP算子處理后得到的分塊直方圖特征向量維數非常高，計算起來比較麻煩，因此需要經過PCA技術降維處理。主成分分析[15]是90年代初由Pearcon提出的理論，其核心思想是對樣本數據降低維度，減小原始特征各維之間的相關性，從而使它投影到低維空間的同時又能保留住那些差異性較大的數據，因此經PCA方法處理后的樣本數據也能取到較高的識別率。PCA方法的實現過程如下：

(3)

設樣本數據X對應的散布矩陣為St，則其本征方程如下式

(4)

求解上式的本征方程可得到其本征值和本征向量，通過求解得到的矩陣St的本征值為λ1,λ2,λ3,…,λk，全部為實數，且λ1≥λ2≥λ3≥…≥λk;ωi，i=1,2,…,k為對應的本征向量。則λi和ωi的關系為

Stωi=λωi

(5)

為了使樣本數據經過投影變換后的均方誤差最小，通常都會使n個樣本向著最大本征值對應的本征向量方向投影，設矩陣W=[ω1,ω2,ω3,…ωd]由這組樣本前d個最大的本征值對應的本征向量組合而成，則矩陣W被稱作主成分矩陣。

3 特征融合及分類識別

本文的人臉識別算法采用支持向量機(SVM)[16]作為融合特征的分類器。支持向量機不僅可以將兩類樣本分開，還能夠使分類間隔最大，在其處理的問題當中主要包含兩種情形，一種是線性可分問題，另一種則是需要引進映射函數的線性不可分問題。

在線性可分的情況下，要使得兩種類別的樣本完全分開從而保證經驗風險最小的話，只要用一個最優分類面就可以了，這個最優分類面通常被叫做“最佳分割超平面”，其函數表達式為：w·x+v=0。為使兩類的分類間隔最大，則要求下式(6)實現最小化，公式如下

(6)

式(6)的約束條件為：yi(w·x+b)≥1,?i∈{1,2,3,…,n}引入Lagrange乘子αi，從而得到下式

(7)

(8)

傳統的SVM只可以對兩種類別的樣本進行分類，本文采用“一對一的投票策略”，使得SVM能夠識別多個類別的樣本。為了把傳統LBP算子能夠有效描述局部紋理特征的優點以及MB-LBP算子能夠有效描述圖像的整體信息的優點結合起來，本文采用一種簡單的加權融合方法[17]。具體的實現步驟如下：

(9)

(10)

(11)

(3)人臉圖像加權融合特征的投票結果矩陣可以用下式表示

(12)

式中：θ1+θ2+θ3=1，最終取MAX(vote)作為最終的投票結果。

4 實驗仿真和分析

4.1 人臉數據集

為了測試算法的有效性，本文分別在AR、ORL這兩個人臉庫上進行實驗仿真。ORL人臉庫誕生于英國劍橋Olivetti實驗室，共有40個不同年齡、不同性別和不同種族的對象，每個人10幅圖像共計400幅灰度圖像組成，圖像尺寸是92×112，圖像背景為黑色，其部分人臉圖像如圖5所示。AR人臉數據庫包含50位男性和50位女性每人26張人臉共2600張人臉圖片，本次實驗將所有圖像統一歸一化為43×60的大小，因為本文是研究光照的變化對人臉識別的影響，去掉其中戴圍巾和墨鏡的12幅人臉圖像，在每個人中用剩下的14幅圖像進行仿真實驗，其部分人臉圖像如圖6所示。

圖5 ORL人臉數據庫部分人臉圖例

圖6 AR人臉數據庫部分人臉圖例

4.2 實驗結果與分析

在ORL人臉庫上，每個人的10幅圖像中光照變化差別不大，而在AR人臉庫中，每個人的14幅圖像中光照變化差別很大，因此除了本文所講述的3種LBP分塊直方圖特征以及它們的加權融合特征外，還分別把傳統的PCA-SVM技術以及LPQ特征用于人臉識別，分別在兩個人臉庫上實驗，以便和本文提出的加權融合特征進行對比，從而更好體現出在光照變化較大的環境中加權融合特征相對于其它方法的優越性。在ORL人臉庫上分別選取3幅和5幅人臉圖像作為訓練集，剩下的作為測試集。3種LBP分塊直方圖特征分塊的大小均為8×6。實驗結果見表1。

表1 ORL人臉庫不同算法的人臉識別率

在AR人臉數據庫上分別選取5幅和9幅人臉圖像作為訓練集，剩下的作為測試集。實驗結果見表2。

表2 AR人臉庫不同算法的人臉識別率

在AR人臉庫上，利用本文提出的特征加權融合方法，分別測試了在不同權重分配情況下人臉識別率的變化情況，其中訓練集共有9幅圖像，結果見表3。

從表1可以看出，在ORL人臉庫上無論是傳統的PCA-SVM方法，LPQ特征提取方法，還是LBP紋理特征描述子都能夠取得不錯的識別率。因為ORL庫的每幅圖像光照變化差別不大，所以上述的幾種特征提取方法都可以取得不錯的識別效果，從這里還看不到LBP分塊直方圖特

表3 AR人臉庫不同權重的人臉識別率

征的優勢。但是從表2中可以看到，在AR人臉庫上傳統的PCA-SVM方法在訓練集圖像為5幅時識別率僅有28.5%,在訓練集圖像為9幅時識別率也只有39.5%，識別效果非常不理想。LPQ特征提取方法也是如此，在訓練集圖像為9幅時識別率為40%。但是無論是單獨的標準LBP分塊直方圖特征，還是圓形鄰域LBP特征以及MB-LBP特征此時仍能取到很好的識別效果。在訓練集圖像為9幅時，圓形鄰域LBP特征的正確識別率為90.7%。因此可以看到傳統的特征提取方法在光照變化差別較大的情景中識別效果非常差，而LBP特征卻對光照變化具有魯棒性。

從表3中可以看到，相對于單獨的LBP分塊直方圖特征，3種類型的LBP特征加權融合以后又可以使人臉識別率進一步提高。而當3種特征的權重比為(0.3∶0.4∶0.3)時識別率最高為94.1%，其它權重比所取得的識別率平均為93%。因此加權融合以后的特征可以使人臉識別率提高大約3到4個百分點，可以有效地改善人臉識別系統的性能。

5 結束語

為了提高在光照變化較大情形下的人臉識別率，提出了一種基于LBP特征和MB-LBP加權融合的特征提取方法。首先分別提取每幅人臉圖像的標準LBP分塊直方圖特征、圓形鄰域LBP分塊直方圖特征以及MB-LBP分塊直方圖特征，然后采用一定的方式將3種特征進行加權融合，加權融合后的特征兼具LBP特征能夠有效描述局部紋理信息以及MB-LBP特征能夠有效描述圖像全局信息的優點，在ORL和AR人臉庫上進行測試，結果表明：相對于傳統的PCA-SVM方法以及單獨的LBP特征，人臉識別率提高了很多。

[1]ZOU Guofeng,FU Guixia,LI Haitao,et al.A survey of multi-pose face recognition[J].Pattern Recognition and Artificial Intelligence,2015,28(7):613-625(in Chinese).[鄒國鋒,傅桂霞,李海濤,等.多姿態人臉識別綜述[J].模式識別與人工智能,2015,28(7):613-625.]

[2]Singh A,Tiwari S,Singh SK.Performance of face recognition algorithms on dummy faces[J].Springer Berlin Heidelberg,2012,166(4):211-222.

[3]Günther M,Wallace R,Marcel S.An open source framework for standardized comparisons of face recognition algorithms[J].Springer Berlin Heidelberg,2012,27(6):59-65.

[4]Duan F,Yang S,Huang D,et al.Craniofacial reconstruction based on multi-linear subspace analysis[J].Multimedia Tools and Applications,2014,73(2):809-823.

[5]Feng B,Lin Y.Radar signal recognition based on manifold learning method[J].International Journal of Control & Automation,2014,7(12):399-406.

[6]Martis RJ,Acharya UR,Min LC.ECG beat classification using PCA,LDA,ICA and discrete wavelet transform[J].Biomedical Signal Processing & Control,2013,8(5):437-448.

[7]GUO Yanan,LI Hongyan.Face recognition based on ICA and GSPSO-SVM[J].Computer Engineering and Design,2014,35(12):4302-4305(in Chinese).[郭雅楠,李鴻燕.基于ICA和GSPSO-SVM的人臉識別方法[J].計算機工程與設計,2014,35(12):4302-4305.]

[8]WU Yan-Hai,WL Liang.Research on ICA face recognition algorithm based on Gabor wavelet transform[J].Microelectro-nics & Computer, 2013, 30(7):141-144.

[9]Xie X,Liu W.Pseudo-Gabor wavelet for face recognition[J].Pseudo-Gabor Wavelet for Face Recognition,2013,22(2):57-61.

[10]WAN Yuan,LI Huanhuan,WU Kefeng,et al.Fusion with Layered fertures of LBP and HOG for face recognition[J].Journal of Computer-Aided Design and Computer Graphics,

2015,27(4):640-650(in Chinese).[萬源,李歡歡,吳克風,等.LBP和HOG的分層特征融合的人臉識別[J].計算機輔助設計與圖形學學報,2015,27(4):640-650.]

[11]LIANG Shufen,LIU Yinhua,LI Lichen.Face recognition under unconstrained based on LBP and deep learning[J].Journal on Communications,2014,35(6):154-160(in Chinese).[梁淑芬,劉銀華,李立琛.基于LBP和深度學習的非限制條件下人臉識別算法[J].通信學報,2014,35(6):154-160.]

[12]Cai CH,Cui XL,Zhu JQ.CAM Shift face tracking with adaptive MB-LBP pre-filter[J].Journal of Signal Processing,2013,29(11):1540-1546.

[13]Mo K,Xu L.Defect detection of solar cell based on threshold uniform LBP and BP neural network[J].Taiyangneng Xuebao/acta Energiae Solaris Sinica,2014,35(12):2448-2454.

[14]GUO Hefei,LU Jianfeng,DONG Zhongwen.Face recognition method based on improved LBP algorithm[J].Modern Electronics Technique,2015,38(4):99-105(in Chinese).[郭賀飛,陸建峰,董忠汶.一種基于改進LBP特征的人臉識別[J].現代電子技術,2015,38(4):99-105.]

[15]HU Jialiang,GAO Yuchao,YU Jifeng,et al.Lithology identification of unconventional reservoirs based on PCA-BP neural network[J].Journal of Shandong University of Science & Technology,2016,35(5):9-16(in Chinese).[胡嘉良,高玉超,余繼峰,等.基于PCA-BP神經網絡的非常規儲層巖性識別研究[J].山東科技大學學報(自然科學版),2016, 35(5):9-16.]

[16]Gao Y,Zhou CH,SU Fenzhen.Study on SVM classifications with multi-features of OLI images[J].Engineering of Surveying & Mapping,2014,47(11):3084-3086.

[17]HAN Xiaocui.Face recognition method based on DCT and MMC[J].Computer Engineering and Design,2010,31(14):3284-3286(in Chinese).[韓曉翠.基于DCT和MMC的人臉識別方法[J].計算機工程與設計,2010,31(14):3284-3286.]