結合高斯濾波與MASK 的G-MASK 人臉對抗攻擊

李倩，向海昀，張玉婷，甘昀，廖浩德

（西南石油大學計算機科學學院，四川 成都 610500）

0 引言

深度學習理論的不斷發展使得基于該技術的人工智能在各個行業領域中嶄露頭角，如圖像分類［1］、計算機視覺［2］、自然語言處理［3］、人臉識別［4］等。同時，隨著對神經網絡的不斷深入研究，結構更為復雜的網絡模型（如AlexNet［5］、VGGNet［6］、InceptionNet［7］、ResNet［8］等）相繼面世，它們的出現不僅能夠提升預測結果的精確度，還能夠滿足更多的場景需求。

但是隨著對抗攻擊的出現，導致深度神經網絡模型分類錯誤，為使用深度神經網絡的人工智能系統帶來極大的安全風險。對于人臉識別系統，攻擊者通過在原圖像上添加細微的擾動生成人臉對抗樣本，導致人臉系統識別錯誤。文獻［9］提出對眼鏡進行對抗性干擾的方法，使得佩戴眼鏡的攻擊者被錯誤識別?，F有人臉識別攻擊大多是通過白盒實現的，但是在現實世界中，攻擊者一般無法直接訪問模型的詳細信息。因此，黑盒攻擊被進一步提出，它是利用白盒攻擊生成對抗樣本的遷移能力實現的。但是由于不同模型的結構和參數存在差異，因此使得對抗樣本出現“過擬合”［10］，因對抗樣本遷移能力較差，導致黑盒攻擊成功率降低。

為提高對抗樣本的遷移性，本文提出一種集成的對抗攻擊方法G-MASK，將基于梯度加權的類激活映射方法運用于算法中生成掩碼區域，以確定擾動添加的最佳區域，使得只需極少的擾動就能實現有效的攻擊，該方法能夠有效增加對抗攻擊遷移性，提高攻擊成功率。同時對生成的擾動進行高斯平滑處理，使得生成擾動的每個像素都與周圍的像素產生相關性，進而降低集成模型之間擾動的差異，增強對抗樣本隱蔽性，提升圖像質量。

1 相關工作

1.1 對抗樣本生成算法

對抗樣本是指通過在原始圖像中加入人眼難以察覺的細小擾動，使得人眼能正確識別圖像但機器識別出錯的一類樣本。設輸入的樣本為x∈Rd，正確的類別分類為y，y=f(x)，添加的擾動為δ，生成對抗樣本y*=f(x+δ)。對抗樣本的生成過程如式（1）和式（2）所示：

在深度學習領域中，將對抗攻擊方法分為3 類，分別為基于優化、基于梯度、基于生成對抗網絡的方法。本文主要對基于梯度的經典攻擊方法進行簡要敘述。

文獻［11］提出的快速梯度符號法（FGSM）是在損失減少的反方向上增加擾動函數，然后不斷進行梯度更新來實現對抗樣本的生成。對抗樣本的生成過程如式（3）所示：

其中：sign(·)為符號函 數；?xL(x，ytrue；θ)表示模型的梯度。

文獻［12］提出的基礎迭代方法（I-FGSM）是在快速梯度符號法的基礎上進行改進，將原有的單步更新改進為迭代更新，將擾動大小限制在一定大小的鄰域內。I-FGSM 對抗樣本的生成過程如式（4）所示：

其中：α為步長大??；；n為迭代次數。

文獻［13］提出的動量迭代快速梯度符號方法（MI-FGSM）是在迭代方法基礎上進行改進，動量的添加使得模型具有更強的遷移能力。MI-FGSM 對抗樣本的生成過程如式（5）和式（6）所示：

其中：gn+1為第n+1 次的迭代梯度；||·||1為L1 范數。

1.2 集成模型攻擊

對抗樣本如果能夠欺騙多個模型，那么說明它具有較強的遷移能力，可以將其運用于其他黑盒模型中進行攻擊。因此，通過對模型進行集成可以實現更好的攻擊效果，達到更高程度的遷移目的。文獻［14］提出擾動集成方法，將多個白盒模型的擾動在迭代算法基礎上實現集成效果，從而側面提高黑盒攻擊成功率。與受到模型輸出維度限制的logits 集成方法相比，擾動集成能夠滿足黑盒模型的決策邊界要求。因此，本文選擇使用擾動集成方式進行實驗。擾動集成的計算式如式（7）所示：

其中：δ表示對擾動進行集成；f為模型采用的對抗攻擊算法；θ為模型參數；y表示 真實標簽；L={L1，L2，…，Ln}為白盒模型集合。

1.3 深度學習的人臉識別

人臉識別（FR）模型是通過檢測照片中的人臉，然后計算該人臉與其他人臉的距離對2 張人臉進行匹配，確定是否屬于同1 張人臉。距離度量一般采用L2 范數或余弦相似度，將度量方式與閾值一起使用，以計算面部的貼近度。在DeepFace［15］和DeepID［16］中，將人臉 識別視為1 個多分類問題，并通過深度神經網絡學習經過Softmax 損失的特征。

本文選用7個基于深度學習訓練的人臉識別網絡模型作為目標模型展開研究：ResNet 50，ResNet 101，ResNet 152［17］，SEResNet 50，SEResNet 101［18］，、Attention 56［19］，MobileNet［20］。其 中，ResNet 50、ResNet 101、ResNet 152 是3 個深度逐漸增加的殘差網絡。SEResNet 50、SEResNet 101 是將SE Block 嵌入到ResNet 中構建的網絡。

2 方法實現

2.1 Grad-CAM 方法

Grad-CAM［21］是類激活映射方法，它是在梯度加權的基礎上實現的。Grad-CAM 用于突出輸入圖像中與網絡預測相關的重要區域，對深度神經網絡中的卷積層梯度進行計算，得到不同神經元對樣本不同類別的重要程度，將這些區域進行高亮顯示，從而生成注意力熱圖。Grad-CAM 的計算式如式（8）和式（9）所示：

其中：yt表示t類 別的logits；A為特征 圖；k表 示A的通道；i，j分別為A的橫縱坐標；z為A的長寬相乘。

基于此，本文嘗試在人臉圖像上生成注意力區域熱力圖，實驗結果表明，面部區域的顏色更加突出，且五官區域的特征點更明顯。人臉關注區域熱力圖如圖1 所示。

圖1 人臉關注區域熱力圖Fig.1 Heatmap of facial focus area

2.2 高斯濾波

在圖像處理概念下將高斯濾波作為低通濾波器濾除低頻噪聲，使圖像變得模糊以達到平滑的效果。本文在對抗樣本中加入高斯濾波的作用是讓每個產生擾動的像素和它周圍的像素產生關聯，使得在各個不同模型之間的噪聲差異減小，達到較優的遷移性能。二維高斯函數如式（10）所示：

2.3 損失函數

2.3.1 特征損失

在基于某個模型進行攻擊時，為提高攻擊成功率，則希望攻擊前后人臉圖像的特征損失增大，即2 張人臉圖片特征向量的Cosine 相似度減小。Cosine 相似度越小說明攻擊前后2 張圖像的相似度越小，就越有可能達到想要攻擊的目標，攻擊成功率越大，具體計算式如式（11）和式（12）所示：

其中：fori表示在預處理過程中已經事先提取好的特征向量；fadv為攻擊后生成的對抗樣本經過特征網絡提取出的特征向量。

2.3.2 擾動損失

為減小攻擊后的人臉圖片與原始人臉圖片之間的差異，本文提出擾動損失L2_loss，減少對人臉圖像擾動的添加，約束xadv盡可能地接近x，擾動損失計算式如式（13）所示：

其中：x為原樣本；xadv為對抗樣本。

2.3.3 總損失

綜上所述，G-MASK 算法的總損失函數由特征損失、擾動損失2 部分組成。特征損失主要用于減少生成對抗樣本與原始圖像的相似度，增大攻擊成功率。擾動損失主要用于對擾動大小進行約束，保證圖片的質量，使人眼無法察覺擾動。具體的總損失計算式如式（14）所示：

其中：α、β分別為特征損失和擾動損失的權重，用于平衡各項損失。

2.4 G-MASK 對抗攻擊方法

為保證在擾動添加最少的條件下實現最大的攻擊成功率，本文提出G-MASK 算法，以提高生成對抗樣本的遷移能力。G-MASK算法具體架構如圖2所示。

圖2 G-MASK 人臉對抗攻擊算法框架Fig.2 Framework of G-MASK facial adversarial attack algorithm

首先利用Grad-CAM 算法得到輸出樣本的有效攻擊區域，并將其作為掩碼MASK；然后將其與通過MI-FGSM［13］算法得到的干擾信息進行疊加，對人臉識別過程中的總損失進行約束；最后將所得到的噪聲圖進行高斯平滑得到最終的對抗樣本。Grad-CAM 算法在掩碼區域中的具體計算式如式（15）和式（16）所示：

其中：Tth為施加在掩碼上的閾值；IGrad-CAM為利用Grad-CAM 得到的輸出樣本熱力圖。

為進一步提高對抗樣本的遷移性，同時更充分利用目標模型的信息，本文提出使用擾動集成來進行模型集成。受通用對抗擾動［22］的啟發，擾動集成的實現方式是在迭代梯度的條件下將白盒模型的擾動進行疊加，使得攻擊成功率最大，黑盒遷移能力得到提升。G-MASK 單模型算法和擾動集成模型算法如算法1 和算法2 所示。

3 實驗結果與分析

3.1 實驗設置

3.1.1 數據集

本文實驗主要在LFW（Labeled Faces in the Wild）［23］數據集上進行，該數據集約有13 000 張人臉圖片，每張人臉圖片對應1 個姓名標簽，其中有些人臉擁有不止1 張圖片。該數據集中人臉圖片的尺寸是固定的，都是250×250 像素。

3.1.2 攻擊模型與基線

為證明該方法的有效性，本文使用ResNet 50、ResNet 101、ResNet 152、SEResNet 50、SEResNet 101、Attention 56、MobileNet 7 個正常訓練得到的模型。

為更好地評估本文算法的有效性，將該算法與3 種基線算法（FGSM［11］、I-FGSM［12］和MI-FGSM［13］）進行比較，這3 種算法都是經典的對抗攻擊算法。

3.1.3 參數設置

本文的算法環境在PyTorch 1.10.2 框架上設置，顯卡配置為NVIDIA GeForce RTX 3050 Ti 4 GB，batch_size 為4，使 用Adam［24］優化方 法在標準的LFW 人臉數據集上進行實驗。為保證實驗結果的客觀性，3 種基線算法涉及到的參數按照原文獻設置。

3.1.4 評價指標

攻擊成功率（ASR）是指圖像被錯誤分類的概率。本文方法是一種無目標黑盒攻擊，因此只要生成的對抗樣本與原圖分類出錯即可認為攻擊成功，將成功攻擊的樣本數與總樣本數進行比較得到攻擊成功率。相應的ASR（計算中用AASR）計算式如式（17）所示：

本文采用峰值信噪比（PSNR，計算中用PPSNR）和均方誤差（MSE，計算中用MMSE）作為圖像質量的檢測指標，具體計算式如式（18）和式（19）所示：

其中：m、n表示圖片的大??；I為未進行攻擊的原始干凈圖像；MAXI是指圖像采樣點顏色的最大值，一般為255。

3.2 參數對比實驗

本節對總損失函數中的2 個參數值α、β進行對比實驗，簡要分析2 個不同參數取值對模型攻擊效果的影響。根據特征損失和擾動損失取值大?。?5］，本文選用α=［0.000 1，0.000 2］和β=0.05 作為初始值，然后在此區間范圍內上下浮動取值進行實驗，設置6 組參數進行測試，分別計算對抗樣本的峰值信噪比和均方誤差，判斷樣本的圖像質量，具體計算結果如表1 所示。當PSNR 值越大時，MSE 值越小，圖片質量越好。

表1 對抗樣本的圖像質量指標Table 1 Image quality indicators of adversarial samples

從表1 可以看出，當α=［0.000 1，0.000 2］，β=0.005 和α=［0.01，0.02］，β=0.05 時，圖像質量表現最差，其原因為當α取值過大或β取值過小時，導致特征損失增大而擾動損失減小，模型的擾動約束越小則圖像中添加的擾動就越明顯，擾動掩蔽性越差，圖像質量越低。為進一步研究參數取值對攻擊成功率的影響，根據表1 結果選擇圖片質量較高的參數組合（PSNR＞20）進行實驗，具體實驗結果如表2所示。

表2 不同參數組合的攻擊成功率Table 2 Attack success rate among different parameter combinations %

從表2 可以看出，當參數β取值一定時，減小α值使得模型攻擊效果更好。另外，當α值一定時，β取值越大攻擊效果越好，表明在總損失中適當增加特征損失權重，減少擾動損失權重對模型效果有一定的提升。

由上述實驗分析可得，在選取的6 種參數設置中，當α=［0.000 01，0.000 02］，β=0.05 時，對抗樣本的PSNR 取得最大值，表示對抗樣本的圖像質量在此時取得最好的效果。在后續實驗中，均設置α=［0.000 01，0.000 02］，β=0.5。

3.3 單模型攻擊實驗

本節將G-MASK 攻擊方法與3 種基線攻擊方法進行單模型攻擊對比實驗，在實驗過程中，首先利用多任務卷積神經網絡（MTCNN）［26］對原始圖像進行人臉檢測，再將圖像對齊并裁剪為112×112像素大小，圖像的像素點總數為12 544。本文利用Grad-CAM 算法選擇輸出熱力圖中權重值最大的5 000 個像素點，對其進行攻擊。其中，最大擾動ε=20，衰減系數μ=0.04，迭代次數T=40。利用3 種基線攻擊方法和本文提出的G-MASK 方法在7 種模型上實現攻擊，并計算其攻擊成功率，具體實驗結果如表3 所示，加粗表示最優數據，*表示白盒攻擊。

表3 在單模型攻擊設置下不同方法的攻擊成功率Table 3 The success rate of attacks among different methods in single-model attack settings %

從表3 可以看出，G-MASK 攻擊成功率與3 種基線方法相比得到顯著提高，在白盒條件下，G-MASK方法的攻擊成功率在各模型上均能達到98.7%以上。在黑盒條件下，G-MASK 方法攻擊成功率得到顯著提升，在ResNet 50 模型上生成的對抗樣本用于SEResNet 101 模型攻擊時，G-MASK 攻擊成功率比基線方法MI-FGSM 增長13.4 個百分點，G-MASK 方法與MI-FGSM 相比在7 個模型上的攻擊成功率分別增長了12.4、13.0、7.0、12.9、19.4、14.7、6.6 個百分點。根據實驗結果可知，本文方法不僅能夠在一定程度上提高白盒攻擊成功率，而且還有效提升了黑盒攻擊成功率，都優于現有的方法，充分表明本文所提方法具有一定的有效性。

3.4 擾動集成模型攻擊實驗

本文雖然將上述方法用于單模型對抗攻擊中能實現較優的黑盒攻擊性能，但是在攻擊有一定防御能力的模型時表現不佳。因此，本文在單模型攻擊方法的基礎上提出擾動集成模型攻擊方法。將ResNet 50、ResNet 101、ResNet 152、SEResNet 50、SEResNet 101、Attention 56、MobileNet 模型每6 個集成后進行白盒攻擊，再利用生成的對抗樣本對另1 個模型進行黑盒攻擊。本文分別使用3 種基線對抗算法和G-MASK 擾動集成算法進行攻擊，實驗結果如表4 所示。其中，-ens 代表擾動集成，*表示白盒攻擊。

表4 在集成模型攻擊設置下不同方法的攻擊成功率Table 4 The success rate of attacks among different methods in integrated model attack settings %

從表4 可以看出，當進行擾動攻擊集成后，4 種算法在白盒攻擊中均取得較好效果，成功率保持在98.5%以上，證明擾動集成能夠提升白盒攻擊成功率。在黑盒攻擊中，G-MASK 方法相比3 種基線攻擊方法攻擊成功率始終提高10～20 個百分點。因此，G-MASK 方法的黑盒攻擊效果要優于基線對抗攻擊算法，具有更強的遷移性。

與表3 中單一模型攻擊成功率的實驗數據相比，經過擾動集成后的G-MASK 方法實現的黑盒攻擊成功率平均提升13 個百分點，充分證明擾動集成方法能夠有效提升黑盒模型遷移能力和黑盒攻擊成功率。

3.5 高斯濾波的有效性

高斯濾波的加入是為了使模型集成過程中減少不同模型干擾噪聲之間的差異，同時提升對抗樣本運用到其他黑盒模型上的攻擊成功率，增強對抗樣本掩蔽性。擾動集成模型使用高斯濾波和未使用高斯濾波生成的對抗樣本準確度、Cosine 相似度、L2 距離如圖3 所示。從圖3 可以看出，添加高斯濾波后G-MASK 生成的對抗樣本攻擊成功率在40 次迭代時達到穩定，比未加入高斯濾波時MASK在20 次迭代達到穩定耗費的時間更多，但是它們相差結果不大且最終都能在40 次迭代時具有相同的攻擊效果。此外，加入高斯濾波后生成的對抗樣本余弦相似度顯著增加但L2 距離無明顯變化，表明生成的對抗樣本能夠在保持相同攻擊成功率的條件下降低與輸入樣本的圖像差異，提高圖像質量，在一定程度上增加對抗樣本的掩蔽性，同時增大在模型防御場景下的攻擊成功率。

另外，本文對未添加高斯濾波攻擊方法（MASK）和添加高斯濾波攻擊方法（G-MASK）以及3 種基線攻擊方法生成的對抗樣本進行對比分析，生成的對抗樣本如圖4 所示。從圖4 可以看出，在算法中添加高斯濾波之后生成的對抗樣本比原算法生成的對抗樣本掩蔽性更強，人眼幾乎不可察，證明高斯濾波的有效性。G-MASK 攻擊方法生成的對抗樣本掩蔽性明顯優于其他基線攻擊方法，圖像質量最高。本文方法所生成的對抗樣本能夠在保證較高峰值信噪比的同時，即圖片具有較少失真的情況下達到較 高的攻擊成功率，證明了本文所提方法的有效性。

圖4 不同攻擊方法生成的對抗樣本Fig.4 Adversarial samples generated by different attack methods

4 結束語

本文提出一種結合高斯濾波與人臉MASK 的人臉攻擊方法。通過引入Grad-CAM 方法選擇MASK區域進行擾動添加，限制擾動添加區域；此外，使用擾動集成模型提高黑盒攻擊遷移能力，增強黑盒模型攻擊成功率；同時對生成的擾動進行高斯平滑處理，增強擾動掩蔽性，使用最小且掩蔽性最強的擾動來達到最高的黑盒攻擊成功率。實驗結果表明，與其他攻擊方法相比，本文方法具有更高的攻擊成功率和更優的掩蔽性，黑盒表現更為優秀。下一步將對算法速度的提高方法以及物理世界中更復雜的多人臉識別模型進行研究，在保持較高攻擊成功率的前提下加快對抗樣本生成速度。