基于改進SRC的局部遮擋人臉識別方法

胡思佳,趙志誠

(太原科技大學 電子與信息工程學院,太原 030024)

處于人工智能發展前沿的人臉識別(Face Recognition,FR)技術,同時也作為機器視覺以及模式識別領域中極具挑戰性的研究內容,在近些年成為眾多學者的研究對象。人臉識別技術[1],普遍且廣泛的應用于人們的日常生活中,比如視頻監控、考勤系統、智能設備的設備鎖等等。雖然在人臉圖像無遮擋、無污損的情況下人臉識別技術相對成熟;但在當下口罩、面部飾物等遮擋普遍存在的情形下,局部遮擋人臉的識別亟待考究。

遮擋人臉識別[2-3]是指人臉局部被遮擋的情形下,利用圖像處理和模式識別的方法,根據人臉對稱性將其補全或者利用剩余未遮擋面部特征識別。由于現實場景中的遮擋不可避免,不少學者對遮擋人臉識別技術進行研究,提出了很多有效的解決方法,比如基于主成分分析(Principal Component Analysis,PCA)的算法[4-5]、稀疏表示分類[6](Sparse Representation Based Classification,SRC)及其改進算法[7]、圖像重建法[8]、基于卷積神經網絡[9-10](Convolutional Neural Networks,CNN)或者生成式對抗網絡[11-12](Generative Adversarial Networks,GAN)等。在小樣本存在光照、表情、姿態等客觀遮擋以及口罩、墨鏡等主觀遮擋的情況下,如何訓練檢測遮擋仍是個難題。

近年來,稀疏表示理論在信號處理領域較為活躍。稀疏表示用于人臉識別的主要思想是將高維圖像在低維空間中表示,為遮擋區域建立獨立的子空間,用已有的字典原子來表示遮擋,進而對遮擋人臉圖像進行識別。雖然稀疏表示被提出已有20多年,但2008年首次將稀疏表示理論應用于人臉識別[13],與此同時提出稀疏表示分類的方法。稀疏表示分類的原理是將測試圖像表示為過完備字典中少量原子的線性組合,并計算出稀疏系數,最后利用最小重構誤差法進行分類。隨后,很多學者針對其存在的問題作出改進:比如,為提高運算速度,文獻[14]提出協同表示分類(Collaborative Representation Classification,CRC)的方法,用L2范數替換掉稀疏表示分類中的L1范數;文獻[15]提出先將存在遮擋的人臉圖像按照一定的比例分塊,后利用SRC算法對其識別,大大提高了算法的識別率,但前提是耗費了大量時間;文獻[16]提出對低秩表示進行雙重約束,使所得到的低秩矩陣更加具有判別性,再通過對有遮擋的訓練樣本去除其中的污損部分從而有效的提高了識別精度。

通過大量研究證明,稀疏表示分類有較強的辨識能力,對數據樣本中存在遮擋、光照、姿態變化等可以完成分類識別,但識別的準確性會隨著遮擋面積、光照以及拍照角度的變化而有不同程度的降低。因此本文采用改進的稀疏表示分類算法,對少量樣本且樣本存在墨鏡、口罩等主觀遮擋以及由光照、表情、姿態等造成的客觀遮擋的情況進行分類與識別。

1 基于稀疏表示的分類算法

1.1 經典稀疏表示分類算法

經典稀疏表示分類的方法是通過對訓練圖像遍歷生成過完備字典,利用過完備字典中原子的線性組合來有效地表示輸入的測試圖像,且求得每一類的重構誤差與測試樣本間的歐式距離中的最小值,以此為依據進行樣本分類并得到所屬類別。假設過完備字典中包含C類樣本,每類樣本所含圖像固定,樣本總數為n(且n?C),由訓練樣本組成的過完備字典可表示為X=[X1,X2,…,XI,…,XC],也可表示為X=[x1,x2,…,xi,…,xn].測試樣本為y,可通過訓練樣本線性擬合表示為y=X·α,其中α是唯一未知量,因此需要加約束條件來限制解的個數。故得到SRC的目標函數為:

(1)

式中,正則化參數λ>0.

1.2 改進的稀疏表示分類算法

雖然稀疏表示分類法可以解決一般情況下人臉圖像的分類與識別問題,但其識別的準確率會隨著樣本中不確定因素的存在而大幅下降,這些不確定因素包含背景信息、遮擋元素、各類噪聲等等。文獻[17]中利用低秩矩陣恢復將含有遮擋的訓練圖像看做低秩矩陣(即干凈樣本)和對應的稀疏誤差,由此考慮到誤差因素的存在:在圖像的采集、傳輸甚至于存儲過程中,由于采集環境、采集設備、傳感器材料屬性、傳輸介質等等因素的影響,圖像極容易引入非均勻噪聲。

雖然圖像預處理去除了部分噪聲,但圖像在傳輸以及存儲過程中也會產生噪聲,因此輸入的測試圖像并不是理想的無雜質圖像,由此組成的過完備字典也存在噪聲,且這類噪聲無法有效去除。圖像中噪聲的存在會影響稀疏系數α的求解,進而影響重構圖像的生成,使得重構圖像與測試圖像間的殘差增大,從而導致識別效果降低。因此本文提出了引入噪聲補償的稀疏表示分類法,先求解測試圖像與去噪圖像間的噪聲差,通過對噪聲差參數的調節來控制重構圖像的生成,進而縮小重構圖像與測試圖像間的殘差,達到精準分類識別的目的。

Step1:遍歷所有訓練樣本di(i= 1…n),形成固定的過完備字典D,單獨存放。只要過完備字典中元素不改變,實驗中無需再次遍歷,節約了整體識別過程的時間成本。

Step2:由于A中每張圖像均含有不可控噪聲因素存在,因此需要著重考慮。在讀入測試圖像前,先將其進行去噪處理,由于不能準確確定噪聲的來源以及其噪聲類型,故采用多種濾波器函數對其進行降噪,觀察并保留降噪效果最佳的圖像,處理后的效果如圖1所示。分析對比濾波算法以及處理結果可以發現,均值濾波易受到噪聲干擾;中值濾波容易導致圖像的不連續;高斯濾波對圖像進行平滑的同時,能夠使得圖像的總體灰度分布特征被更好的保留。高斯濾波圖像可通過離散化窗口滑窗卷積來實現,選擇常用的3*3的高斯模板,由式(2)的高斯函數可得高斯模板中的參數。

(2)

圖1 濾波后的圖像

其中,x2和y2分別表示鄰域內其他像素與鄰域內中心像素的距離,σ則為標準差。

Step3:計算測試圖像y與降噪圖像y'之間的差值。由于L2范數具有使得優化求解更穩定的特性,因此利用L2范數求解測試圖像與降噪圖像間的噪聲差e:

(3)

Step4:利用凸優化建模系統cvx工具箱函數,根據式(4):y=D·αs.t.‖α‖1

(4)

設定L1范數為約束條件,求解唯一的未知量稀疏系數α.

Step5:加入噪聲補償求解重構樣本yi.經典稀疏表示分類法的計算公式為:

yi=Di·αi

(5)

其中,αi為第i類訓練樣本對應的系數。

由于樣本圖像中均含有噪聲影響,利用稀疏系數αi求解重構樣本yi時,噪聲也相應被稀疏,因此需要加入噪聲補償。改進后的計算公式為:

yi=Di·αi+x·e

(6)

其中,x為噪聲差系數。

Step6:由L2范數求得測試圖像與重構圖像間的最小殘差ri,則有:

ri=‖y-(Di·αi+x·e)‖

(7)

式中,噪聲差e和其系數x直接影響重構樣本以及最小殘差的計算結果,故兩變量的選取對最終結果判別的準確性至關重要。

2 實驗樣本集

一般而言,數據集包含測試圖像與由訓練圖像組成的過完備字典兩部分。數據集中的圖像由采集的遮擋圖像(后面統稱為自采圖像庫)、添加隨機遮擋塊后的ORL庫以及Yale庫組成。由此,確保了樣本包含不同年齡、不同性別、不同種族的人臉圖像,使得樣本數據豐富且具有多元化的特點。針對不同的圖像來源其數據制作過程中步驟也略有不同,主要的步驟為:幾何歸一化、增加遮擋、灰度歸一化、調整亮度。

2.1 幾何歸一化

在對人臉進行識別時,歸一化處理至關重要,是圖像預處理中不可或缺的環節。人臉的歸一化包括幾何歸一化和灰度歸一化,通常情況下,幾何歸一化由人臉校正和人臉裁剪組成,但由于本文中需要測試包含有一定角度偏差的樣本數據,因此省去了人臉校正的步驟。人臉裁剪將人臉之外的無用信息去除,但保留背景信息,并將圖像的分辨率設置為100*100.幾何歸一化的結果如圖2所示。

圖2 幾何歸一化

2.2 增加局部遮擋

由于選取的公開人臉庫中樣本有限且遮擋圖像較少,故對樣本圖像添加局部遮擋。一方面可以擴充人臉庫的測試樣本,更有效的驗證算法的魯棒性;另一方面增加人臉圖像的遮擋,進而實現對遮擋人臉的研究。Yale人臉庫和ORL庫中包含光照、表情、姿態的變化,這僅是一些客觀遮擋,因此需要增加遮擋操作,使得樣本庫中的數據具有多樣性的特點。ORL人臉庫增加遮擋的效果如圖3所示。

圖3 局部遮擋圖像

2.3 調整亮度

現實世界中攝像頭等設備中獲取的圖像會存在光照強度不同的情況,而光照強度的改變可能會使得人臉特征造成小范圍的遮擋,從而影響識別效果。因此,在制作樣本數據的過程中,通過采集不同亮度的數據樣本,亦或改變公開庫中樣本的光照程度,盡量模擬現實場景中的光照情況。樣本庫中同一個體不同光照下的圖像如圖4所示。

圖4 不同亮度的圖像樣本

2.4 灰度歸一化

對于灰度圖像或彩色通道的每個顏色分量來說,為避免圖像對比度不足或像素亮度分布不平衡對后續處理帶來干擾,對圖像進行灰度歸一化處理,將其像素值分布在0～255之間,灰度歸一化處理也是圖像預處理環節中必不可少的一環?；叶葰w一化的圖像如圖5所示。

圖5 灰度歸一化

3 實驗結果與分析

為了驗證本文算法的性能,實驗通過三種人臉庫:加入遮擋元素后的Yale庫和ORL庫以及自采圖像庫對引入噪聲補償后的改進SRC算法驗證。其中關鍵問題是參數噪聲差e與其系數x的取值,出于對算法補償優化的目的,使用歐氏距離求得噪聲差e,而系數值x則是通過多次實驗得到的一個經驗數值,為0.3.實驗硬件條件為Intel(R) Core(TM) i5-4200U CPU @ 1.60 GHz、RAM 4.00 GB與MATLAB R2019a軟件操作平臺。

Yale人臉數據庫由15個人每人11張光照、表情以及姿態變化的165幅灰度級為256、圖像尺寸為100*100像素的灰度圖像組成;ORL庫中包含40個人每人10幅面部表情以及姿態變化的400幅灰度圖像,其灰度級同樣為256、圖像分辨率為92*112.對上述兩公開庫通過添加隨機遮擋塊進而增加面部遮擋,同時也相應地擴充了測試圖像的數量。再加上采集的11個人的171幅包含有人臉面部光照、表情、姿態變化等客觀遮擋以及飾物、口罩等主觀遮擋的人臉圖像,圖像分辨率為100*100.三類數據庫共計1 117張,每人留10張為訓練圖像,剩余全部歸于測試圖像,數據集中部分人臉圖像如圖6-圖8所示。

圖6 Yale人臉庫中部分圖像

圖7 ORL人臉庫中部分圖像

圖8 自采圖像庫中部分圖像

為驗證本文算法在人臉局部遮擋面部識別中的有效性,在不同情況下對算法識別率進行分析,且將本文算法與SRC、CRC以及最近鄰分類器方法(nearest neighbor,NN).

3.1 不同背景信息下的人臉識別實驗

在本實驗中,對上述三類人臉庫進行實驗。把上述三種數據庫分為兩大類,一類是自采圖像庫,另一類為含有遮擋元素的Yale庫和ORL庫。將自采庫與加入遮擋元素的公開庫區分開來原因是,自采庫中包含有背景信息,而公開人臉庫的背景是純凈的。

圖9為是否包含背景信息下用四種不同方法進行局部遮擋人臉識別實驗的識別率。由圖9中的數據可知,引入噪聲補償后的稀疏表示算法相較于經典稀疏表示算法而言,當有遮擋因素但無背景信息存在時,前者的識別準確率顯著提高;帶有背景信息的人臉圖像雖在改進算法下識別率提高,但與不含背景信息的公開庫比較,算法魯棒性下降從而表現出識別率較低;整體而言,改進后的算法使得遮擋人臉下的識別準確率有了明顯提高。

圖9 不同背景信息下的識別結果

3.2 不同遮擋面積的人臉識別實驗

本實驗中的人臉數據集包含不同形狀、不同類型的遮擋,且并不是每張圖像僅含有一類遮擋,故需要從宏觀上根據遮擋面積所占比例情況對其進行分類。由表情或光照變化造成的遮擋,其遮擋面積較小,為面部遮擋面積的5%～10%;由姿態不同造成的遮擋,其遮擋面積為10%～40%;口罩的遮擋為40%～60%;墨鏡的遮擋約為20%;除此之外,還有隨機遮擋塊的添加,其遮擋面積為10%～60%.由此將圖像按照遮擋面積分類進行人臉識別,但需明確的一點是:無論存在多大遮擋,無遮擋部分至少留有一種面部特征(眉毛、眼睛、鼻子和嘴巴)。

實驗結果如表1所示。分析表1中的實驗數據可知,當遮擋率較小時,四種方法的識別結果較為理想,但隨著遮擋率的增加,最近鄰分類器方法NN的識別率最先出現大幅度下降,后當遮擋率在50%左右時,SRC與CRC算法的識別率也有了較為明顯的下降。對比發現,本文方法無論在那種遮擋率下的識別性能均優于其他算法,進一步證明了本文方法在局部遮擋人臉識別中有較好的魯棒性。

表1 不同遮擋率下的識別結果

4 結語

本文針對局部遮擋圖像采集并創建了過完備字典,提出改進的稀疏表示分類的算法,針對于現實場景中存在的主客觀遮擋:光照、表情、姿態的變化以及口罩、墨鏡的遮擋等,且在訓練樣本數量不多時,以經典稀疏表示分類算法為基礎,通過引入噪聲項控制重構樣本以及殘差的大小,提高了分類識別的準確率,進而驗證了算法的魯棒性。雖然本文算法能夠實現對含有背景信息的遮擋人臉圖像識別與分類,但識別效果仍有提升空間;且當遮擋面積增大時,識別準確率會隨之下降,因此還需進一步研究含有背景信息的遮擋人臉圖像的識別算法,使其更具魯棒性及現實意義。