基于ArcFace的自然場景人臉識別系統設計及改進

賈偉 楊勝和 田萌萌 熊藝蘭 楊春權 李良榮

摘 要：文中設計了一種基于ArcFace的自然場景人臉識別系統，針對系統小人臉識別準確率不高、環境自適應能力不強的局限性，提出了改進方法。系統采用快速人臉圖像增強算法對自然場景視覺模糊的人臉圖像進行視覺增強，然后通過融合PFLD與YOLOv3人臉關鍵點檢測的方法，改進系統對小人臉的檢測性能。實驗結果顯示，改進的方法有效提高了系統識別的準確率，降低了誤識率，系統平均播放幀率約為23幀/s。

關鍵詞：人工智能;圖像增強;人臉識別;深度學習;損失函數;數據集

中圖分類號：TP27 文獻標識碼：A 文章編號：2095-1302（2020）05-000-03

0 引 言

近年來，以深度學習為代表的人工智能技術在科研、工業應用領域取得了顯著進展，尤其是將深度學習應用于人臉識別。針對約束性場景下的人臉識別已經達到商用程度，但在自然場景中，人臉由于受自然環境諸多因素的影響，造成了識別上的困難，因此研究一種針對自然場景下的人臉識別方法具有重要的理論意義和實用價值。通常，人臉識別系統一般包括人臉采集、人臉檢測對齊、人臉識別模塊等，其每一部分的改進對于人臉識別準確率的提高都具有重要意義，為此，研究者們進行了長期的研究。2016年，Zhang Kaipeng[1]提出了一種Multi-task的人臉檢測框架，該算法使用3個CNN級聯算法結構，將人臉檢測和人臉特征點檢測同時進行，該方法被應用于諸多人臉識別算法研究領域，但該方法環境適應性較差、漏檢率較高;后來提出的YOLO系列[2-4]算法是一類端對端目標檢測算法，在檢測速度、精度、環境適應性等方面取得了很大突破。為了提高關鍵點的檢測效果，Guo Xiaojie[5]等人在MTCNN人臉檢測的基礎上提出了一種簡單、快速的高精度人臉關鍵點檢測算法，該算法可在主流數據集上達到最高精度。在人臉識別算法方面，Liu Weiyang[6]等人提出了角度SoftMax（A-SoftMax）損失，使卷積神經網絡（CNN）能夠學習角度識別特征。Deng Jiankang[7]等為了最大限度地提高人臉識別的高可分特征，將裕度納入已建立的損失函數中，提出了一種附加角度裕度的損失函數（ArcFace），取得了更好的識別效果。

基于ArcFace的人臉識別采用MTCNN算法做人臉關鍵點檢測，該算法對自然場景人臉的檢測存在易漏檢現象，從而影響人臉識別性能。本文旨在設計一種人臉識別系統，因此提出了快速人臉圖像增強算法，并通過融合PFLD與YOLOv3人臉關鍵點檢測方法，以改善系統的識別性能。

1 自然場景快速人臉增強方法

在自然場景人臉識別系統中，由于受到環境、光線、運動等因素影響，人臉圖像容易變得模糊，從而影響識別準確率。為了解決圖像模糊問題，1993年，Pal和King[8-10]首次將模糊集理論應用于理解、描述圖像的模糊特性，后來出現了一系列改進方法[11-12]，本文在此算法基礎上，提出了改進的人臉增強算法。

為提高算法運算效率，本文依據文獻[8-10]所提的算法，首先采用線性變換將圖像映射到模糊域，線性變換表示如下：

式中：η表示圖像像素值的補償因子;xmin表示3×3圖像區域最小值;xmax表示3×3圖像區域最大值;xij表示圖像像

素值。

本文的圖像增強算子表示為：

式中：z表示圖像輸出;f和r代表常量，f = r =0.5。

為了補償圖像區域信息丟失，本文通過式（3）進行圖像恢復。

式中，λ為像素補償因子。

算法的基本步驟如下：

Step1：通過式（1）將圖像映射到模糊域;

Step2：利用式（2）對圖像進行非線性變換;

Step3：進行圖像恢復運算。

圖1所示為多種算法運算效果對比，結果顯示本文提出的算法沒有造成圖像失真，顯示效果最佳。本文算法單張人臉灰度圖像運行時間約為0.047 887 s。

2 融合PFLD與YOLOv3的人臉關鍵點檢測

人臉檢測與關鍵點檢測是人臉識別的基礎，為了有效檢測自然場景中的人臉，本文采用文獻[2-4]中提出的YOLOv3人臉檢測算法，該算法通過兩次上采樣完成了多尺度檢測，在保持較快檢測速度的同時對小人臉檢測具有較好的效果。同時，算法對候選框采用了復合標簽的建模方法，每個候選框不再只對應一個類別，因而YOLOv3在速度精度、泛化性等方面都取得了較好的效果。PFLD是一種最新的人臉關鍵點檢測算法，該算法提出了非限定條件下的具有理想檢測精度的輕量級Landmark檢測模型。測試表明，PFLD算法在移動設備上可達到超實時的性能。本文將PFLD與YOLOv3算法用于自然場景人臉檢測，旨在提高系統對環境的適應能力以及對小人臉的檢測性能。人臉關鍵點檢測方法的流程如圖2所示。

為了測試本文方法的效果，我們利用WiderFace數據集訓練YOLOv3人臉檢測模型，使用文獻[13]提出的WFLW數據集訓練PFLD算法模型。WFLW數據集共10 000個樣本，其中7 500個供訓練用，2 500個供測試用，數據集標簽提供了人臉框信息，包括98個關鍵點信息，融合有多種人臉信息，如姿態、表情、光照、化妝、遮擋、模糊等。本文方法的最終檢測效果如圖3所示。運行結果顯示，本文方法對復雜自然場景的人臉具有良好的檢測效果。

3 基于ArcFace的人臉識別系統

ArcFace是在文獻[6]的基礎上進行了改進。提出了直接最大化角度空間中的決策邊界cos（θ+m），該角度空間是基于L2-norm的權重和特征生成的，與cos（mθ）和cos（θ-m）相比，ArcFace可以獲得更具辨識性的深度特征。本文基于ArcFace的人臉識別系統流程如圖4所示。

4 實驗結果分析

實驗硬件配置：Intel（R）Core（TM） i5-9400F CPU@2.90 GHz，內存8 GB，顯卡為1070ti 8G，系統采用Python語言編寫。

實驗數據集：人臉檢測部分采用WiderFace數據集訓練檢測模型，人臉對齊采用WFLW數據集，人臉識別部分從YouTube Face數據庫中隨機抽取40個人共1 080張照片組成訓練集，然后找出40個人對應的8段自然場景視頻作為測試，其中視頻的分辨率均為480×640，測試所用視頻集包括光照、明暗變化、運動、遮擋、模糊等多種場景的人臉。

數據訓練：本文采用WiderFace人臉數據集訓練MTCNN和YOLOv3檢測模型，相關參數根據文獻[1，3，5]設置，訓練圖像的大小為112×112。同時，為了評價本文系統的有效性，這里統計了測試視頻的平均識別率（TPR）和誤識率（FPR）。

TPR定義如下：

FRP定義如下：

表1所列為文獻[6-7]與改進后系統的正確識別次數與人數的對比結果，由表1可知，改進后系統的識別效率明顯優于其他方法。

表2所列為系統平均識別率（TPR）和誤識率（FPR）。由表2可知，改進方法的平均識別率得到了有效提高，錯識率最小。同時，實驗測試結果顯示，本文系統的平均運行速度約為23 f/s，保證了運行的實時性。

5 結 語

本文設計了一種基于ArcFace的自然場景人臉識別系統，提出了一種自然場景下解決人臉模糊的快速增強方法，改進了人臉關鍵點檢測方法。實驗結果表明，系統的識別性能得到了有效提高。但系統也存在不足，如系統對微型目標過于敏感，容易引起誤識別。為此，在未來的工作中，我們將構建特定的人臉數據集用于訓練，同時設計自動篩選算法，自動去除非人臉目標，降低誤識率。

參考文獻

[1] ZHANG K，ZHANG Z，LI Z，et al. Joint face detection and alignment using multitask cascaded convolutional networks [J]. IEEE signal processing letters，2016，23（10）：1499-1503.

[2] REDMON J，DIVVALA S，GIRSHICK R，et al. You Only Look Once：Unified，Real-Time Object Detection [C]// The IEEE Conference on Computer Vision and Pattern Recognition（CVPR），2016：779-788.

[3] REDMON J，FARHADI A. YOLO9000：better，faster [C]// The IEEE Conference on Computer Vision and Pattern Recognition （CVPR），2017：7263-7271.

[4] REDMON，JOSEPH，ALI FARHADI.“YOLOv3：An incremental improvement [C]// The IEEE Conference on Computer Vision and Pattern Recognition （CVPR），2018：5656-5678.

[5] GUO X，LI S，YU J，et al. PFLD：A Practical Facial Landmark Detector [C]// The IEEE Conference on Computer Vision and Pattern Recognition （CVPR），2019：5234-5250.

[6] LIU W，WEN Y，YU Z，et al. SphereFace：Deep Hypersphere Embedding for Face Recognition [C]// The IEEE Conference on Computer Vision and Pattern Recognition （CVPR），2017.

[7] DENG J，GUO J，XUE N N，et al. ArcFace： Additive Angular Margin Loss for Deep Face Recognition [C]// The IEEE Conference on Computer Vision and Pattern Recognition （CVPR），2019.

[8] PAL S K，KING R A. Image enhancement using fuzzy set [J]. Electronics letters，1980，16（10）：376-378.

[9] PAL S K，KING R A. On edge detection of X-ray images using fuzzy sets [J]. Pattern analysis and machinence，IEEE transactionson，1983，5（1）：69-77.

[10] PAL S K，KING R A. Image enhancement using smoothing with fuzzy sets [J]. IEEE transactions on systems，man，and cybernetics-part A：system and humans，1981，11（7）：494-501.

[11] WANG Baoping，LIU Shenghu. An adaptive multi-level image enhancement algorithm based on fuzzy entropy [J]. Acta electronica sinica，2005，33（4）：730-734.

[12] WANG Baoping，LIU Shenghu. A novel adaptiv e-image fuzzy enhancement algorithm [J]. Journal of Xidian University，2005（2）：307-313.

[13] WU W，QIAN C，YANG S，et al. Look at boundary：a boundary-aware face alignment algorithm [C]// The IEEE Conference on Computer Vision and Pattern Recognition（CVPR），2018：2129-2138.