超分辨率重建結合正則化最小二乘的人臉識別方法

張春燕， 張瑩

(新疆警察學院 信息安全工程系，烏魯木齊 830000)

超分辨率重建結合正則化最小二乘的人臉識別方法

張春燕， 張瑩

(新疆警察學院 信息安全工程系，烏魯木齊 830000)

針對三維人臉重建模型精度和優化方法準確性問題，提出了一種基于單一圖像的無約束姿態不變人臉識別方法。使用一個二維的正面圖像來重建三維人臉。創建人臉的三重協同字典矩陣，利用凸集投影進行超分辨率重建。通過具有正則化最小二乘的協同表示完成分類。在LFW數據庫和視頻人臉數據庫上處理姿態變化取得了預期的結果，與多種方法比較表明，提出的方法具有更高的識別率。

人臉識別； 協同表示； 超分辨率重建； 正則化最小二乘法

0 引言

無約束的姿態不變人臉識別是計算機視覺中最困難和最具有挑戰性的任務之一[1]。人臉姿態會有各種變化,在約束條件下經典人臉識別方法效率較好[2,3]。然而，在有光照和表情變化的現實世界情況下進行姿態不變人臉識別是非常困難的。

許多學者已經提出一些關于姿態不變人臉識別方法。文獻[4]提出了一個基于三維模型生成的姿態矩陣的聯合動態稀疏表示分類的人臉識別的現實世界框架。文獻[5]通過雙數復小波變換(DT-CWT)和采用支持向量機中的迭代得分分類提取了用于姿態不變人臉識別的特征庫矩陣。文獻[6]通過局部二值模式和稀疏表示分類提出了用于姿態不變人臉識別的稀疏字典矩陣框架。然而，大多數現有的方法識別時間無法達到實時性且識別率有進一步提升空間。

提出了一種基于現實世界的人臉圖像快速建立三維人臉模型來識別人臉姿態的方法，生成了測試集圖像的三個角度協同字典矩陣(triplet collaborative dictionary matrix, TCDM)。最后，通過具有用于分類的規范化最小二乘(regularized least square, RLS)[7]的協同表示分類(collaborative representation classification, CRC)進行人臉識別。在LFW人臉數據庫上進行試驗，在視頻數據庫上進行實時試驗。然后，在精度和速度方面與其他文獻提出的方法進行對比。結果表明，提出的方法不僅更加準確，而且更加快速。主要創新點如下：(1) 通過采用協同表示生成基于每個主體中人臉姿態的三個角度的TCDM。(2)在TCDM框架上通過聯合CRC和RLS進行分類。(3)該方法提高了識別率。

1 提出的方法

1.1 人臉表示

(1)

式中，αi,j∈R為標量，j=1,2,…,ni。因為測試樣本的強度未知的，定義一個新的矩陣A，它是所有類的訓練樣本集合為式(2)。

(2)

(3)

(4)

文獻[8]提出了比稀疏表示更有效和更快速的協同表示，證明了CRC不僅比SRC更準確，而且也非?？焖?。在快速人臉識別方法中，通常情況下特征維度將不會太短會有一個很好的識別率[9]?？赡懿恍枰褂胠1正則化來稀疏化x。因此，協同表示能夠解決以下問題為式(5)。

(5)

其中，λ是正則化參數。正則化項的好處：(1)它使最小二乘解穩定，(2)它對解x引入了稀疏性的無限量，但這稀疏性是一個稍微弱于l1范數的大數。

式(5)中RLS的CR的解可以很容易地分析并推導出式(6)。

(6)

1.2 利用CR進行特征提取

通過協同表示(CR)進行特征提取[10,11]：

(1) 輸入：來自主體i的輸入圖像。

(2) 對于主體i，通過FE-GEM(Facial Expression Generic Elastic Model)方法進行三維人臉重建。

(5) 輸出：生成具有

使用的是一個測試集的單一圖形和測試集的單一圖像。因為對于生成字典A，協同表示需要學習多個樣本，使用27個由子訓練矩陣產生的TCDM的每個陣列的樣本。因此，通過合成子訓練矩陣的姿態圖像選擇CRC需要的多個樣本，且不需要多個圖像用于訓練。因為CRC方法需要多個樣本用于生成字典A，生成子訓練矩陣用于特定的姿態和來使用來自這些矩陣的27個合成圖像生成字典A以形成LFW數據庫的一個測試集圖像。因此，對于每個特定姿態生成的字典A保留在TCDM的每個姿態中，考慮到所有姿態重復這個過程最終生成TCDM。

1.3 超分辨率重建

1.4 識別

這一節介紹所提出的姿態不變人臉識別系統。需要每個對象兩張圖像，一個測試集圖像和一個測試圖像。所提出的系統運行在離線和在線兩個階段。在離線訓練階段，注冊一個來自可用二維數據庫中每個人的單一正面人臉圖像。然后，對于每個注冊的圖像，通過GE-GEM進行三維人臉重建, 接著進行特征提取并為每個人創建TCDM。

算法1 CRC-RLS算法

2 實驗

為了驗證提出方法的性能，在LFW數據庫和視頻人臉數據庫上分別進行實驗。

2.1 LFW數據庫上的人臉識別

LFW數據庫是人臉識別中最具有挑戰性的數據庫之一，嚴格包括了現實世界場景中將表情、光照、姿態等等因素在內的人臉圖像的所有變化。LFW包括不同性別、不同年齡等5 749種不同主體的13 233張人臉圖像。LFW數據庫準備了兩個不相交的集合：分別用于測試集和用于測試。因此，為了評估所提出的方法在現實世界場景中姿態不變人臉識別的性能，利用LFW數據庫除了姿態之外的無約束環境。

LFW數據庫上該方法的識別率如表1所示。

表1 LFW數據庫上不同方法的識別率和平均延遲時間

所提出的方法具有更好的性能。

2.2 視頻數據庫上的實驗

為了評估所提出的方法，利用視頻數據庫的30個人的30個視頻進行重復測試評估。在每個視頻中，主體存在超過1 000幀，視頻中頭部姿態俯仰方向覆蓋了±60度和偏向方向±75度。使用提出的方法進行人臉識別，并與不同方法進行對比評估性能。

由式(7)和式(9)得到TCFG和TSFG稀疏表示中最小表示誤差值，并分別跟蹤每幀所有渲染的姿態。30視頻中所有幀(超過25K幀)上整體識別率結果和平均延遲時間,如表2所示。

表2 視頻數據庫上整體識別率和平均延遲時間的對比

從表2可以看出，提出的方法的識別率和平均延遲時間優于比較的其他方法。正則化項的益處在于：(1)它是最小二乘解穩定；(2)它對解x引入了一個無限量。CRC中較弱的稀疏性不僅沒有更糟糕的結果，而且可能稍微改善了結果。CRC中正則化項使得實驗結果更穩定，它可以產生一個有限量的稀疏性來做出決定。因此，不僅有最稀疏性解，而且它通過計算表示誤差具有有限和穩定的表示用于做出最終決定。提出的的方法正是由于加入了CRC，所以不僅降低了延遲時間而且還通過生成最稀疏的解做出決定而提高了識別率。

2.3 實驗結果的討論和分析

提出的方法執行速度較快，接近實時，且在處理現實世界場景中連續姿態和表情變化時是完全自動的。所提出的方法優于引言中描述的四類方法：(1)原因之一是CRC方法生成最稀疏和穩定解的精度。(2)主要原因是TCDM方法的人臉識別不像以前的方法，執行人臉識別系統的主要過程即特征提取，并在離線階段保存在TCDM中，選擇特征庫并與在線過程中的測試特征進行對比。因此，所提出的方法對姿態不變人臉識別是有效的，而以往的方法試圖合成測試集人臉圖像，并用測試圖像同時提取特征向量。因此，以往方法的缺點是速度問題，為了匹配一個人臉圖像需要幾分鐘。這些方法的性能非常依賴于三維重建模型和優化方法的準確性。為此，提出一個姿態不變人臉識別系統，它不僅非?？?，而且不依賴三維重建模型的精度。

3 總結

該文提出了一種用于測試單一圖像的無約束姿態不變人臉識別的新方法。首先從正面人臉圖像中重建一個三維模型。然后，基于所提出的框架創建TCDMs。最后，通過CRC-RLS方法進行人臉識別。在LFW和視頻數據庫上評估所提出的方法以實現姿態不變人臉識別，在處理現實世界場景的人臉姿態識別上取得了令人滿意的結果。未來會將提出的人臉識別方法擴展到約束人臉識別。

[1] 初曉, 冷澤, 王艷玲,等. 基于多尺度MRF結合超級耦合變換的姿態變化人臉識別[J]. 計算機應用研究, 2016, 33(8): 2519-2523.

[2] 唐守軍, 吳洪武. 基于Snake模型和協作表示分類的魯棒人臉識別方法[J]. 湘潭大學學報(自然科學版), 2016, 38(2): 104-108.

[3] Moeini A, Faez K, Moeini H. Unconstrained pose-invariant face recognition by a triplet collaborative dictionary matrix [J]. Pattern Recognition Letters, 2015, 68(3): 83-89.

[4] 張佳宇, 彭力. 基于聯合動態稀疏表示方法的多圖像人臉識別算法[J]. 江南大學學報(自然科學版), 2014, 13(3): 287-291.

[5] 練秋生, 尚燕, 陳書貞,等. Texture classification algorithm based on DT-CWT and SVM [J]. 光電工程, 2016, 34(4):109-113.

[6] 唐恒亮, 孫艷豐, 朱杰,等. 融合LBP和局部稀疏表示的人臉表情識別[J]. 計算機工程與應用, 2014, 50(15): 34-37.

[7] 劉春茂, 郝倩, 張云崗. 基于PSO-LSSVM的網絡流量預測[J]. 微型電腦應用, 2016, 32(5): 27-30.

[8] Jing X Y, Wu F, Zhu X, et al. Multi-spectral low-rank structured dictionary learning for face recognition [J]. Pattern Recognition, 2016, 59(4): 14-25.

[9] 孫新領, 譚志偉, 楊觀賜. 字典學習優化結合HMAX模型的魯棒人臉識別[J]. 現代電子技術, 2016, 39(15): 53-57.

[10] Cheng Y, Jin Z, Gao T, et al. An improved collaborative representation based classification with regularized least square (CRC-RLS) method for robust face recognition [J]. Neurocomputing, 2016, 34(2): 250-259.

[11] Lei Y, Guo Y, Hayat M, et al. A Two-Phase Weighted Collaborative Representation for 3D partial face recognition with single sample [J]. Pattern Recognition, 2016, 52(4): 218-237.

A Face Recognition Method Based on Super-resolution Reconstruction with Regularized Least Square Method

Zhang Chunyan, Zhang Ying

(Department of Information Security Engineering, Xinjiang Police College, Urumqi 830000, China)

In this paper, a novel method is proposed for unconstrained pose-invariant face recognition from only an image in a gallery. Firstly, a 3D face is initially reconstructed using only a 2D frontal image. Then, a triplet collaborative dictionary matrix is created, and projection onto convex sets is used to do super-resolution reconstruction. Finally, the classification is performed by collaborative representation classification with regularized least square method. Promising results are acquired to handle pose changes on the LFW and video face databases compared with state-of-the-art methods in pose-invariant face recognition.

Face recognition; Collaborative representation; Super-resolution reconstruction; Regularized least square method

2016年新疆維吾爾自治區高?？蒲杏媱濏椖壳嗄杲處熆蒲信嘤?自然科學類)(No. XJEDU2016S090)

張春燕(1979-)，女(漢)，江蘇豐縣人，講師，碩士，研究領域：圖像處理等。 張瑩(1988-)，女(漢)，山東梁山人，講師，碩士，研究領域：圖像處理、計算機應用等。

1007-757X(2017)08-0024-03

TP391

A

2017.03.08)