身份保持約束下的人臉圖像補全

王旭東，衛紅權，高超，黃瑞陽

?

身份保持約束下的人臉圖像補全

王旭東，衛紅權，高超，黃瑞陽

（國家數字交換系統工程技術研究中心，河南 鄭州 450002）

人臉圖像補全作為圖像補全技術的一種特殊應用，在被遮擋人臉的識別、人臉修復等問題上有不可替代的作用?，F有的人臉補全算法只針對補全圖像的真實性，而未考慮其補全后的身份一致性。針對這一問題，設計了一種基于改進的生成式對抗網絡的人臉補全算法，通過引入SN-GAN算法，提高了模型訓練的穩定性，同時利用人臉識別模型對生成圖像加入了身份一致性約束，經過實驗證明，所提方法能夠在生成高真實性圖像時有效保持補全圖像的身份一致。

人臉補全；身份一致性；生成式對抗網絡；人臉識別

1 引言

圖像補全是指在目標區域填充特定內容，使填充后的圖像保持真實性的技術。它可以實現被遮擋、損壞物體圖像的重建。盡管目前有多種方法被用于圖像補全任務，如基于紋理的補全、基于圖像庫的補全等。它仍然是一個具有挑戰性的問題，因為上述補全方法未對圖像的上下文信息進行有效利用，對圖像中較大面積的缺失修補效果難以令人滿意。

人臉圖像的補全作為圖像補全的一種特殊應用，由于其在遮擋人臉識別、人臉圖像修復等方面的應用而受到人們的關注。Mohammed等[1]使用人臉數據集構建修補程序庫，并提出了可用于人臉補全的全局和局部參數模型。Deng等[2]采用基于譜圖的人臉圖像修復算法。然而，這些方法補全的圖像真實性較低，且需要對應的人臉圖像學習填充紋理特征，并不能泛化到任意的人臉補全問題。

生成對抗網絡（GAN, generative adversarial net）是Goodfellow等[3]在2014 年提出的一種無監督學習的訓練方法。生成對抗網絡由2部分組成：一個生成器網絡和一個辨別器網絡。生成器網絡用于生成逼真的樣本，鑒別器用于從中分辨出生成樣本和原樣本。Radford等[4]利用生成對抗網絡和卷積網絡[5]生成高質量的真假難辨的圖像，但由于其訓練困難，穩定性較差，近幾年一直成為研究改進的熱點。SN-GAN是Miyato等[6]對Wassertein GAN[7]進行的改進，解決了傳統GAN模型中訓練困難、損失函數無法指示訓練進程、生成樣本缺乏多樣性的問題。

利用生成對抗網絡實現圖像的補全可以達到更加真實的效果。Pathak等[8]利用GAN的方法設計了上下文補全網絡，在補全網絡中增加了對抗性損失，取得了較為清晰的結果。而Satoshi等[9]使用了全局和局部2個鑒別器作為對抗性損失，使補全圖像的細節更加豐富。

身份信息是指識別確定唯一個體所需要的信息，在本文中特指人臉識別中的人臉特征。當前的方法在補全圖像的真實性上都有較好的實現，但在人臉補全時未考慮圖像包含的身份信息，無法保持人臉補全前后身份的一致性。本文利用生成對抗網絡的方法進行人臉補全，同時利用人臉識別模型Light-CNN[10]對補全人臉的身份信息進行約束，在保持較高真實性的同時保留其身份信息。本文的主要工作如下。

1) 提出了一種基于SN-GAN的圖像補全方法。相比傳統GAN方法補全的圖像更加真實，訓練穩定性更好。

2) 改進的人臉補全方法利用身份一致性約束，使補全的圖像能保留人臉的身份特征，補全前后的人臉身份盡可能保持一致，提高了對被遮擋人臉的識別準確率。

2 人臉補全模型

本文提出的人臉補全模型算法框架如圖1所示，本節從人臉補全網絡、目標函數設計以及網絡訓練算法3個方面對其進行闡述。

2.1 人臉補全網絡

本文提出的人臉補全模型主要是基于SN-GAN模型設計的，由生成器網絡（G）和鑒別器網絡（D）2個部分組成。生成器網絡主要是將輸入的帶有較大空白遮罩的圖像補全為完整圖像。鑒別器網絡主要是度量生成圖像和真實圖像之間的Wassertein距離。

設輸入的數據集為

定義2個分布之間的Wassertein距離為

其中，代表和組合所有可能的聯合分布的集合。x, y分別代表從聯合分布中采樣出來的真實樣本和生成樣本。代表樣本x與y間的距離。代表分布間樣本距離的期望。其期望的下確界定義為Wassertein距離。

由于直接計算Wassertein距離比較困難，根據Kantorovich-Rubinstein對偶原理，可以得到Wasserstein距離的等價形式。

其中，()必須滿足Lipschitz連續條件，即

這里用鑒別器網絡近似函數()。設鑒別器網絡擬合的函數為f()，權值矩陣為。則需使f()=()，根據Takeru Miyato的方法，將權重矩陣除以其權重矩陣的最大奇異值使鑒別器網絡擬合的函數f()滿足Lipschitz連續條件，即

此時，生成圖像分布P和真實圖像分布P之間的Wassertein距離(P,P)為

2.2 目標函數設計

2.2.1 對抗性損失

鑒別器網絡可以度量真實圖像分布和待補全圖像分布之間的Wassertein距離。因此對抗性損失L為

2.2.2 一致性損失

用于度量補全模型補全的圖像和真實圖像之間的差異。使用均方差（MSE）作為度量函數。一致性損失L定義為

2.2.3 身份保持損失

用于度量補全后的人臉和真實人臉x身份之間的差異。用人臉識別網絡倒數第二層——全連接層的輸出作為圖像包含身份信息。則身份保持損失L定義為

其中，N是身份鑒別網絡，這里使用預訓練好的含有9層卷積層的Light-CNN人臉識別網絡作為身份鑒別網絡，由于預訓練好的Light-CNN可以對數以萬計的人臉進行分類，它可以捕捉到人臉圖像的最顯著特征或面部結構。因此，利用該網絡的輸出作為圖像包含的人臉身份信息是完全可行的[11]。

綜上可得，總的生成模型損失為

2.3 網絡訓練算法

本文選擇優化器為RMSProp[12]，不需要手動調整學習率，可以根據一階梯度信息自動調整學習率。相對于SGD具有較快的收斂速度，對生成對抗網絡模型訓練時梯度不穩定的情況適應性較好。通過反向傳播算法，動態更新模型的參數，使模型的損失函數最小化。訓練過程如算法1所示。

算法1 人臉補全模型訓練算法

輸入

：裁剪好的人臉圖像；

：隨機生成的隨機大小的圖像遮罩；

：鑒別器網絡每一層的參數矩陣；

()：權值矩陣的最大奇異值；

：學習率；

：每訓練一次生成器鑒別器訓練的次數

輸出

：鑒別器網絡的參數矩陣

3) for=0,…,do

4) 從人臉訓練集中采樣個樣本x

5) 從遮罩集中采樣個樣本m

9) end for

10) 從人臉訓練集中采樣個樣本x

11) 從遮罩集中采樣個樣本m

14) end while

3 實驗過程

3.1 實驗設置

表1 生成器網絡結構及參數

表2 鑒別器網絡參數

3.2 算法評估

本文使用峰值信噪比（PSNR）指標對所提方法補全的圖像質量進行評估。峰值信噪比表示信號最大可能功率和影響它表示精度的破壞性噪聲功率的比值，常用于衡量圖像的重建誤差，其定義如式(23)所示。

表3 比較不同圖像補全方法的峰值信噪比

可以看出，所提方法在圖像補全時能夠保持較高的生成圖像質量。圖像補全的效果如圖2所示。

為了評估所提人臉補全算法能夠更好地產生用于人臉識別的人臉特征，本文在LFW數據集上做了對比試驗。分別對人臉圖像增加隨機的范圍在32像素至48像素的空白遮罩，然后分別在不進行任何處理、利用GCDGAN等主流方法對其進行補全、利用本文方法進行補全的情況下，使用預先訓練好的Light-CNN人臉分類模型進行身份辨別。準確率（accuracy）定義為

其中，為測試集的圖片數量，N當測試圖像通過身份辨別模型的辨別結果與該圖像在數據集中的身份標簽一致，N記為1，否則記為0。采用不同補全方法后采用同一模型進行人臉識別，準確率如表4所示。

表4 比較不同圖像補全方法在圖像身份識別上的準確率

4 結束語

本文通過基于GAN方法對人臉圖像進行補全的研究，通過增加身份一致性約束，使補全人臉圖像時可以盡可能恢復出用于人臉識別的特征，更好地保持補全前后的身份一致，并通過與其他方法的對比實驗證明了其有效性。

本文設計的基于生成對抗網絡的人臉圖像補全算法在圖像缺失信息較大時，難以進行有效的補全，下一步將針對此缺陷進行改進。

[1] MOHAMMED U, SIMON J D P, KAUTZ J. Visio-lization: generating novel facial images[J]. ACM Transactions on Graphics 2009, 28, (3): 57.

[2] DENG Y, DAI Q, ZHANG Z. Graph Laplace for occluded face completion and recognition.[J]. IEEE Trans Image Process, 2011, 20(8):2329-2338.

[3] GOODFELLOW I J, POUGETABADIE J, MIRZA M, et al. Generative adversarial nets[J]. Advances in Neural Information Processing Systems, 2014, 3: 2672-2680.

[4] RADFORD A, METZ L, CHINTALA S. Unsupervised representation learning with deep convolutional generative adversarial networks[J]. Computer Science, 2015.

[5] LECUN Y, BOTTOU L, BENGIO Y, et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE, 1998, 86(11):2278-2324.

[6] MIYATO T, KATAOKA T, KOYAMA M, et al. Spectral normalization for generative adversarial networks[C]// ICML Workshop on Implicit Models. 2018.

[7] GULRAJANI I, AHMED F, ARJOVSKY M, et al. Improved training of Wasserstein GANs[C]//Advances in Neural Information Processing Systems. 2017.

[8] PATHAK D, KRAHENBUHL P, DONAHUE J, et al. Context encoders: feature learning by inpainting[C]//IEEE Computer Vision and Pattern Recognition. 2016:2536-2544.

[9] ISHIKAWA H, ISHIKAWA H, ISHIKAWA H. Globally and locally consistent image completion[C]//ACM Transactions on Graphics (TOG) . 2017: 107.

[10] WU X, HE R, SUN Z, et al. A light CNN for deep face representation with noisy labels[J]. IEEE Transactions on Information Forensics & Security, 2017, (99):1-1.

[11] HUANG R, ZHANG S, LI T, et al. Beyond face rotation: global and local perception GAN for photorealistic and identity preserving frontal view synthesis[J]. arXiv:1704.04086,2017:2458-2467.

[12] XU K, BA J, KIROS R, et al. Show, attend and tell: neural image caption generation with visual attention[J]. Computer Science, 2015:2048-2057.

[13] HUANG G B, MATTAR M, BERG T, et al. Labeled faces in the wild: a database forstudying face recognition in unconstrained environments[R]. 2007.

[14] HUANG G B, MATTAR M, LEE H, et al. Learning to align from scratch[C]//Advances in Neural Information Processing Systems (NIPS). 2012.

[15] YU F, KOLTUN V. Multi-scale context aggregation by dilated convolutions[J]. arXiv preprint arXiv:1511.07122 ,2015.

[16] NAIR V, HINTON G E. Rectified linear units improve restricted boltzmann machines[C]//International Conference on International Conference on Machine Learning. 2010:807-814.

[17] IOFFE S, SZEGEDY C. Batch normalization: accelerating deep network training by reducing internal covariate shift[J]. arXiv:1502. 03167v3, 2015: 448-456.

[18] LAU M M, LIM K H. Investigation of activation functions in deep belief network[C]//2017 2nd International Conference on Control and Robotics Engineering (ICCRE). 2017:201-206.

[19] CYBENKO C. Approximation by superpositions of sigmodial function[J]. Mathematics of Control Signals & Systems, 1989, 2.

[20] ZHENG H, YANG Z, LIU W, et al. Improving deep neural networks using softplus units[C]// International Joint Conference on Neural Networks. 2015:1-4.

[21] YANG S, LUO P, LOY C C, et al. From facial parts responses to face detection: a deep learning approach[C]// IEEE International Conference on Computer Vision. IEEE Computer Society, 2015:3676-3684.

[22] HUANG J B, KANG S B, AHUJA N, et al. Image completion using planar structure guidance[J]. ACM Transactions on Graphics, 2014, 33(4):1-10.

Identity preserving face completion with generative adversarial networks

WANG Xudong, WEI Hongquan, GAO Chao, HUANG Ruiyang

National Digital Switching System Engineering & Technological R&D Center, Zhengzhou 450002, China

As a special application of image completion technology, face image completion has an irreplaceable role in the occlusion of face recognition, portrait restoration and other issues. The existing face completion algorithm only aims at complementing the authenticity of the image without considering its identity consistency after completion. A face complement algorithm based on improved generative confrontation network was designed. By introducing SN-GAN algorithm, the stability of model training was improved. At the same time, the identity recognition constraint was added to the generated image using the face recognition model. Experiments have shown that the proposed method can effectively maintain the identity of the complementary image when generating high-authenticity images.

image completion, identity preserving, generative adversarial nets(GAN), face recognition

TP393

A

10.11959/j.issn.2096-109x.2018070

王旭東（1992-），男，山東青島人，國家數字交換系統工程技術研究中心碩士生，主要研究方向為大數據、音視頻處理。

衛紅權（1971-），男，河南唐河人，國家數字交換系統工程技術研究中心副研究員，主要研究方向為融合網絡安全、可重構網絡理論與技術。

高超（1982-），男，河南鄭州人，博士，信息工程大學助理研究員，主要研究方向為計算機視覺。

黃瑞陽（1986-），男，福建漳州人，博士，國家數字交換系統工程技術研究中心助理研究員，主要研究方向為文本挖掘、圖挖掘。

2018-06-25；

2018-07-26

王旭東，609645296@qq.com

國家自然科學基金資助項目（No.61601513）

The National Natural Science Foundation of China (No.61601513)