基于SLBP深度信念網絡的人臉識別研究

史濤 秦琴 任紅格， 王瑋

關鍵詞： 顯著局部二值模式; 特征提取; 深度信念網絡; 網絡訓練; 深度學習; 人臉識別

中圖分類號： TN926?34; TP391 ? ? ? ? ? ? ? ? 文獻標識碼： A ? ? ? ? ? ? ? ? ? ?文章編號： 1004?373X（2019）14?0177?05

Research on human face recognition based on SLBP deep belief network

SHI Tao， QIN Qin， REN Hongge， WANG Wei

（College of Electrical Engineering， North China University of Science and Technology， Tangshan 063200， China）

Abstract： In allusion to the problems of insufficient extraction of the traditional local binary pattern （LBP） features and classifier fitting， a human face recognition method based on the significant local binary pattern （SLBP） of the local texture feature and deep learning is proposed. The local texture features of human face images are extracted by using the improved SLBP algorithm， so as to establish the SLBP histogram. The deep learning architecture based on deep belief network is constructed. The SLBP histogram is input into the deep belief network. The unsupervised layer?by?layer training method and supervised BP algorithm are used to conduct network training， so as to realize self?learning and self?optimization of network and obtain network parameters. The DBN classification is used to recognize human face images. The results of the simulation experiment demonstrate that the proposed human face recognition method is superior to the traditional human face recognition method in aspects of recognition rate and robustness.

Keywords： SLBP; feature extraction; deep belief network; network training; deep learning; human face recognition

0 ?引 ?言

人臉識別是一項計算上具有挑戰性的任務，需要在不同身份的類似外觀圖像之間進行精細區分，其具有快捷實用性、非接觸性、安全性和非強制性等優點成為身份判斷識別研究熱點之一，作為身份識別應用技術具有重要意義[1]。

人臉識別技術的核心是特征提取方法，因此，各學者把對人臉特征的提取作為研究的重點。在各種文獻中提到一些經典的特征提取的算法，比如主成分分析法等類似的方法是對圖像整體進行識別的算法，能保存圖像紋理信息獲得圖像的全局特征。但是，這類方法易受到人的姿態和不同光照的影響，因此，基于整體的識別方法取得的結果往往不能令人滿意。

局部二值法（LBP）因其對光照和姿態變化不敏感、魯棒性較強、在紋理分析方面的簡單性等優點成為局部特征提取的研究熱點。2015年，郭賀飛等考慮分塊全局特征，組合成優化的LBP特征，通過自適應的方式選擇閾值將特征離散，進而完成人臉識別[2]。2016年，LE T H等人將每個LBP直方圖串接，這樣就構成了級聯LBP（Concatenated LBP）直方圖，并應用其特征向量作為描述人臉圖像的方法，實驗表明其有效性[3]。2017年，胡敏等提出利用G?LBP以及方差投影的交叉熵方法來識別人臉圖像，并從熵值的角度對人臉圖像做了補充描述，進一步提升了識別系統的穩定性以及準確率，更加豐富了對人臉的特征描述[4]。然而，上述LBP改進方法在一定程度上都會導致有效信息的丟失，識別準確率仍有待提高。

近年來，在圖像識別的研究領域，機器學習和深度學習因具有較高精度被廣泛使用。特別是深度學習，其在語音識別、計算機視覺以及自然語言處理等很多領域都獲得了突破性的發展[5]。深度學習的算法主要是對人類的深層腦組織結構進行模擬，運用分層次的方法處理大量的數據并且能夠逐層地從低層信號到高層特征進行對應的表示。當前，大量被研究人員應用的深度學習算法包括稀疏自動編碼算法（SAE）[6]、深度卷積神經網絡（Deep CNN）[7]和深度信念網絡（DBN）[8]。其中，DBN是由Hinton提出的一種深度學習的算法，能從相對比較少的數據樣本中學習到最為本質的數據特征，已成功應用于手寫數字識別、動態人體檢測等諸多領域[9]?；谝陨媳尘?，本文提出SLBP和深度學習的人臉識別方法，使得對原始LBP紋理描述算子的優化可以高效利用人臉圖像的關鍵信息，使被提取的人臉圖像特征判別性得到增強。將所提取的SLBP特征向量輸入到深度信念網絡中，通過自下到上逐層法對網絡參數進行訓練，運用BP算法微調全局，減少網絡訓練時間。實驗結果表明，本文所提出的算法可以有效提高提取人面部圖像關鍵信息的準確率，提高人臉圖像識別率，并且其魯棒性和泛化能力均優于其他算法。

1 ?SLBP算法模型

LBP是Ojala發現的能夠描述局部紋理的算法[10]。利用LBP算法提取圖像特征的定義是：將圖像的任意一點選為中心點，采集域為3×3，將該采集域中心像素點的灰度值作為閾值，8個鄰域灰度值與中心灰度值作比較，若閾值與鄰域灰度值相比較小記為1，反之則記為0;接著將8個點的二進制數按照順時針的方向串連起來，這樣就構成了二進制編碼;最終通過加權求和獲得十進制數;通過上述計算得到的值就是這個像素點的LBP值，利用這個值來描述該范圍的紋理特性。通過計算得出這樣的[01]序列有28=256種。

每個像素LBP數學計算公式為：

[LBP（xc，yc）=i=07s（gc-gi）2i] ? ? （1）

式中：gc為中心點的像素值;gi為周圍8個點的像素值。

[S（x）=1， ? ? ? x≥00， ? ? ? x<0] ? ? ? ? ? ? ? （2）

引入統一LBP的概念，LBP分類是通過統一LBP計算LBP編碼中0/1或1/0變換的次數，[變換次數≤2]時為統一LBP，否則就是非統一模式[11]。該模式有效地表達了人臉圖像周圍邊角等局部結構的優點，且[01]序列有8×（8-1）+3=59種，這大大降低了運算量。

針對LBP算子在提取人臉局部特征過程中，對紋理信息提取不足等問題，提出SLBP算法，假設任意一幅人臉圖像某個中心像素點（i，j）的“井”字形鄰域見圖1。

“井”字形鄰域與原始3×3的LBP編碼相比具有更為廣泛的采樣范圍，可以收集更多的有用信息從而提升紋理信息利用率;其與32個采樣點的5×5鄰域相比采樣點減少到16個，并且在徑線上的采樣點不重疊減少了冗余特征。本文提出的SLBP算法是把中心像素“井”字形鄰域的16個像素按采樣半徑分成內層{xi}以及外層{yi}（i=0，1，…，7）。SLBP算法過程如圖2所示。

SLBP編碼值計算公式為：

[SLBP=LBPX+LBPY2] ? ? ? ? ?（3）

內層的二進制編碼：01111010;十進制編碼：122;外層的二進制編碼：10001010;十進制編碼：138。所以，

[SLBP=122+1382=130] ? ? ? （4）

經上述計算可得該像素點的SLBP值為130。

SLBP在人臉圖像上的分布可以作為描述人臉的一種特征，因此使用SLBP直方圖來表示這種分布。SLBP特征提取流程圖如圖3所示。

首先，將人臉圖像分成m塊;然后，人臉圖像經過SLBP紋理算子處理，并且在這里引入統一LBP，統計每塊的直方圖;最后，串聯每一塊SLBP直方圖制成總直方圖，即空間增強直方圖，并作為人臉圖像的特征向量。人臉圖像SLBP總直方圖如圖4所示。

為了驗證SLBP算法的有效性，通過圖5對LBP和SLBP算法進行對比得出，SLBP算法可以將人臉的紋理特征很好地表現出來。

2 ?人臉識別模型的建立

2.1 ?DBN算法

2006年，多倫多大學的G.Hinton等人提出深度信念網絡（DBN）算法，該算法的本質是一種概率生成模型。而深度信念網絡主要是由若干個受限玻爾茲曼機（RBM）堆疊疊加構成的。

RBM則由可視層（V）和隱含層（H）組成，它是一個二分圖的結構，且一個層內部的各個節點是互不連接的，不同層之間的節點則是互相連接的。RBM是一種能量概率模型，其能量函數為：

[E（v，h）=-i=1Ij=1Jvihjwij-i=1Iaivi-j=1Jbjhj] ? ?（5）

式中：a為可視層單元的閾值;b為隱含層單元的閾值;w則為它們之間的權值矩陣。由于深度信念網絡能量函數的值越小網絡越趨于穩定，因此最終計算得到最小的能量函數值就是計算的目標值。

RBM各層之間的概率分布公式為：

[Phj=1v=δaj+jviwij] ? ? ? ? （6）

[Pvi=1h=δbj+ihjwij] ? ? ? ? （7）

式中，[δ（·）]是sigmoid激活函數。

DBN網絡中包括若干RBM和一層反向傳播網絡（BP）。對DBN模型進行的訓練過程主要包含預訓練和微調這兩個過程。在預訓練的階段，DBN網絡采取從底部逐漸向上的無監督的訓練方式來訓練每一層的RBM，具體為將輸入的數據首先輸入到第一層的RBM的可視層，充分訓練后第一層RBM的隱含層將作為第二層RBM的可視層，以此層層遞進來訓練整個DBN網絡。在微調階段，采取從頂端逐漸向下的方式利用BP網絡對整個網絡進行有監督的微調。

2.2 ?基于SLBP和DBN的人臉識別方法

對于人臉識別，深度學習只能提取人臉圖像的整體信息，并不能充分體現具有區分性的人眼、鼻子、嘴巴等局部特性，LBP算法則可以將人臉圖像中的亮點和邊緣等局部信息重點體現出來。將第1節介紹的SLBP算法和DBN算法結合，在得到人臉圖像SLBP直方圖之后，輸入到DBN進行訓練，用DBN完成人臉圖像的識別分類，可以有效捕捉人臉圖像的局部信息，并且能夠減少網絡訓練時間。網絡結構的聯合分布為：

[P（H，h1，h2，…，hl）= ? ? ? ? ? pHh1ph（2）h1…ph（l-1）hl] （8）

式中：H為SLBP紋理特征;[h1，h2，…，hl]為DBN所學習到的輸入特征H的不同層次的高級表示。

訓練前，先對訓練集和測試集用雙線性內插法進行直方圖均衡化處理。訓練階段的步驟如下：

1） 對訓練樣本進行分塊處理，將樣本分塊為8×8，提取每一個子塊的SLBP直方圖，將每個子塊的直方圖首尾相連形成樣本總體直方圖;

2） 將訓練樣本的SLBP特征輸入到DBN的可視層，訓練第一個RBM，將第一個RBM的輸出作為第二個RBM的輸入，訓練第二個RBM;

3） 重復步驟2直到訓練完所有的RBM，以獲取最優網絡參數;

4） 用BP算法微調整個網絡參數。

在測試階段，將測試集的SLBP紋理特征輸入到優化后的DBN網絡的可視層，運用該網絡從下到上逐層地學習和挖掘測試集中具有區分性的有用特征，得到最終的識別結果。

3 ?實驗結果及分析

為了驗證該改進后算法的可行性和準確率，在Matlab 7.1的環境下進行實驗，在實驗的過程中選取ORL，YALE和YALE?B三個較全面的人臉數據庫。其中ORL人臉數據庫中包含40個對象，每個對象共有10幅人臉圖像，分別是人臉表情、姿態和面部裝飾物的一些變化形式。任意抽取每人6幅圖像作為樣本集，其他4幅進行測試。YALE人臉庫中有15人共165張，分別在6種不同表情和3種光照下拍攝，并有是否配戴眼鏡的區別。任意選取每人6幅圖像作為訓練集，其他的進行測試。YALE?B人臉庫有10人，包括64種不同光照條件，9種姿態的人臉圖像，適合探究光照問題。實驗分成兩個集合：集合1受光照影響小，作為訓練樣本;集合2與集合1光照條件差異大，受光照影響大，作為測試集，人臉庫見圖6。實驗前，把圖像幾何和光照歸一化。

3.1 ?DBN層數和RBM迭代次數的確定

為了探究不同層數DBN和RBM不同迭代次數對識別準確率的影響，在此做一個實驗。實驗中設置DBN的層數分別為1～3，迭代次數為200～1 800，見圖7。

從圖7可以看出：第一，相同迭代次數情況下，2層DBN比1層和3層的DBN識別準確率高;第二，開始階段，圖像識別準確率有明顯效果，當迭代次數大于1 000時，算法的識別準確率基本保持不變，趨于穩定。當DBN是2層，迭代次數是1 000時識別效果最好，所以本文選擇的DBN層數為2層且迭代次數為1 000。

3.2 ?不同算法的對比

為了證明該算法的分類性能和有效性，分別在ORL和YALE人臉數據庫中進行實驗，把改進后的算法與PCA，LDA，SVM，LBP，DBN，LBP+DBN六種算法進行對比，不同算法在ORL和YALE人臉庫上識別準確率如圖8所示。

由圖8可得：該算法跟其他傳統方法比較而言有更強的識別能力;DBN算法和LBP+DBN算法的比較，表明以LBP特征向量作為輸入訓練DBN，能夠使網絡充分提取人臉局部關鍵信息，克服DBN忽略人臉局部結構的缺陷，得到更好的識別效果;LBP算法和LBP+DBN算法的比較，體現深度神經網絡具備極佳的學習能力;比較LBP+DBN算法和SLBP+DBN算法。實驗表明SLBP+DBN算法在ORL和YALE人臉庫上均能得到90%以上的識別率，后者比前者能有效利用人臉紋理信息，得到非常好的特征表達效果，表明SLBP算法的優越性。

3.3 ?不同光照條件實驗

為進一步證明該算法的有效性，在光照差異較大的YALE?B人臉庫上進行實驗，驗證該算法對光照變化的魯棒性。

從圖9得到結論，在光照差異較大情況下，該算法能夠得到95%的識別準確率，相較于其他算法有較高的識別率，灰度尺度不隨任何單一變換而變化，因此灰度尺度的魯棒性好，即對光照的魯棒性較強。

4 ?結 ?論

針對傳統人臉識別方法不能充分利用人臉特征信息、識別誤差大的問題，在LBP基礎上加以改進為SLBP算法，使人臉局部紋理信息被充分提取，提高識別率、增強魯棒性。同時，將SLBP特征向量作為DBN的輸入，能夠學習到更抽象、更有區分性的特征，減少深度網絡對于不利特征的學習，避免冗余信息，減少訓練網絡時間，并彌補DBN不能很好學習人臉局部紋理結構的不足。但是，該算法在實驗過程中訓練時間和測試時間與其他算法相比沒有明顯優勢，后續將對此問題做進一步的研究，確保準確率的同時，突出算法在識別時間上的優勢。

參考文獻

[1] 周艷杰，馬麗.基于眼底虹膜圖像的身份特征優化識別仿真[J].計算機仿真，2016，33（8）：448?452.

ZHOU Yanjie， MA Li. Based on the fundus iris image identity recognition simulation optimization [J]. Computer simulation， 2016， 33（8）： 448?452.

[2] 郭賀飛，陸建峰，董忠汶.一種基于改進LBP特征的人臉識別[J].現代電子技術，2015，38（4）：98?101.

GUO Hefei， LU Jianfeng， DONG Zhongwen. Face recognition method based on improved LBP algorithm [J]. Modern electronics technique， 2015， 38（4）： 98?101.

[3] LE T H. On approaching heuristic weight mask to enhance LBP?based profile face recognition system [J]. Indian journal of science and technology， 2016， 9（17）： 1?7.

[4] 胡敏，余子璽，王曉華，等.G?LBP和方差投影交叉熵的人臉識別[J].圖學學報，2017，38（1）：82?89.

HU Min， YU Zixi， WANG Xiaohua， et al. G?LBP and variance cross projection function for face recognition [J]. Journal of graphics， 2017， 38（1）： 82?89.

[5] 蔣魯寧.機器學習、深度學習與網絡安全技術[J].中國信息安全，2016（5）：94.

JIANG Luning. Machine learning， deep learning and network security technology [J]. China information security， 2016（5）： 94.

[6] KATO T， HINO H， MURATA N. Multi?frame image super resolution based on sparse coding [J]. Neural networks， 2015， 66： 64?78.

[7] 盧宏濤，張秦川.深度卷積神經網絡在計算機視覺中的應用研究綜述[J].數據采集與處理，2016，31（1）：1?17.

LU Hongtao， ZHANG Qinchuan. Applications of deep convolutional neural network in computer vision [J]. Journal of data acquisition & processing， 2016， 31（1）： 1?17.

[8] HINTON G E， OSINDERO S， TEH Y W. A fast learning algorithm for deep belief nets [J]. Neural computation， 2006， 18（7）： 1527?1554.

[9] DIAO W， SUN X， ZHENG X， et al. Efficient saliency?based object detection in remote sensing images using deep belief networks [J]. IEEE geoscience and remote sensing letters， 2016， 13（2）： 137?141.

[10] 冀中，聶林紅.基于抗噪聲局部二值模式的紋理圖像分類[J].計算機研究與發展，2016，53（5）：1128?1135.

JI Zhong， NIE Linhong. Texture image classification with noise?tolerant local binary pattern [J]. Journal of computer research and development， 2016， 53（5）： 1128?1135.

[11] TOPI M， TIMO O， MATTI P， et al. Robust texture classification by subsets of local binary patterns [C]// Proceedings of 15th International Conference on Pattern Recognition. Barcelona： IEEE， 2000： 3947?3950.

[12] 賀永剛.基于局部二值模式的紋理表達研究[D].武漢：華中科技大學，2012.

HE Yonggang. Research on texture expression based on local binary pattern [D]. Wuhan： Huazhong University of Science and Technology， 2012.