基于本地化差分隱私的聯邦學習方法研究

康海燕，冀源蕊

（北京信息科技大學信息管理學院，北京 100192）

0 引言

近年來，人工智能技術給人們的生活帶來了極大的便利，尤其是機器學習中深度學習這一分支已經廣泛應用于圖像處理、自然語言處理、語音識別和網絡空間安全等領域。為了獲得應用效果更好的模型，可以通過增加訓練數據量來實現，然而隨著訓練數據量的增加，隱私泄露的風險也相應提高。研究表明，針對深度學習模型發起的隱私攻擊將導致訓練數據的隱私泄露，隱私問題限制了深度學習的進一步發展。

聯邦學習[1]是解決深度學習隱私問題的突破性技術。聯邦學習的邏輯結構與分布式學習相似，即擁有不同訓練數據的多個參與方共同執行一個深度學習任務，兩者的區別在于聯邦學習沒有數據收集階段，而分布式學習需要對數據進行收集，然后將數據分發給多個服務器，再由中央服務器協調進行迭代，從而訓練出最終模型。聯邦學習通過在各個客戶端本地進行學習得到子模型，再交由中心服務器聚合得到最終模型。聯邦學習相關的技術和開放性問題在近些年引起了人們的廣泛關注[2]，聯邦學習與區塊鏈等新興技術的融合也是目前的研究熱點[3-4]。相比于傳統的集中式機器學習方法，聯邦學習通過在本地進行訓練有效降低了數據隱私泄露的風險，然而這并不代表它能完全防御外部隱私攻擊。劉藝璇等[5]根據聯邦學習的架構將其面臨的隱私攻擊分為內部攻擊和外部攻擊，與外部攻擊者相比，內部攻擊者具備更強大的能力，其不僅可以在訓練過程中對梯度或模型參數發起攻擊，還能通過替換樣本、更改梯度等方式影響模型訓練過程。Song 等[6]指出通過對抗攻擊，可以從聯邦學習參與方所傳遞的參數中重構出原始的訓練數據，從而導致隱私泄露。

針對聯邦學習所面臨的隱私風險，目前學術界有2 種解決思路，分別是加密方法和擾動方法。加密方法通過結合密碼學工具為聯邦訓練過程中數據的傳輸提供隱私保證，常用密碼學工具有同態加密和秘密分享。Liu 等[7]設計了一種基于同態加密技術的參數加密方案，抵御聯邦學習過程中的投毒攻擊。Phong 等[8]利用加法同態加密技術為客戶-服務器架構的聯邦訓練提供保護，然而該算法僅關注本地參數的隱私性，全局梯度對所有終端直接可見。Ou等[9]設計了一種由第三方掌握私鑰、終端利用公鑰實現加法同態加密的方案，應用到縱向聯邦學習的線性回歸模型中實現隱私保護。由于同態加密技術的計算代價昂貴，因此在實踐中不適用于大規模數據參與的模型迭代訓練。為了在降低計算代價的同時保證中間參數不被泄露，Zhu 等[10]利用秘密分享技術確保至少t個用戶上傳參數后，中心服務器才能進行解密，實現對中間參數的保護。應用秘密分享技術的聯邦學習方案雖然不需要大量計算，但增加了通信次數，因此也增加了聯邦學習的通信成本。

擾動方法通過差分隱私等技術在模型訓練過程中添加噪聲擾動，使發布的模型在保持可用性的同時得到保護。差分隱私作為一種輕量級的隱私保護技術[11]，在聯邦學習隱私保護領域得到了廣泛關注。根據聯邦學習中保護對象的不同，可以將擾動方法分為中心化擾動和本地化擾動。中心化擾動主要保護聯邦學習中心服務器在獲取和下發中間參數時的隱私性。Geyer 等[12]首次提出差分隱私中用戶級別聯邦學習（CL-FL,client level federated learning）的差分隱私保護方法，通過在服務器端引入高斯噪聲來隱藏單個參與方對聯邦訓練的貢獻。為了提高隱私預算利用率，使用矩累計[13]方法獲取更緊致的隱私損失邊界，然而Geyer 等在計算隱私損失時直接對梯度進行裁剪的做法浪費了一部分隱私預算。Zhou 等[14]在CL-FL 的基礎上進一步完善了用戶級別的隱私保護方法，在提高通信效率的基礎上保證了中心參數服務器的隱私性。Wei 等[15]提出了一種分階段的差分隱私聚合前噪聲聯邦學習（NbAFL,noise before aggregation federated learning）方法，并證明通過適當調整噪聲的方差可以滿足不同隱私保護水平下的差分隱私。該方法全面考慮了中心參數傳遞過程中不同階段的隱私問題，但需要經過多次迭代才能達到較高的模型準確率。上述中心化擾動方法中的噪聲均由中心服務器添加，然而中心參數服務器也可能是半誠實甚至惡意的，因此需要研究本地化擾動方法，本地化擾動方法通常結合本地化差分隱私技術來實現。Truex等[16]在對聯邦學習的參數進行本地化差分隱私擾動時引入α-CLDP 方法，根據輸入樣本對的距離分配隱私預算，以較大概率輸出與原始值相近的擾動值。由于聯邦學習中梯度或模型參數的維度很高，直接擾動會帶來很大的通信量，為了提高通信效率，Liu 等[17]提出一種兩階段方法，根據指數機制選擇權重最高的k個維度的梯度數據，再對所選擇的維度數據進行擾動，解決聯邦學習中梯度導致隱私泄露問題，并設計3 種隱私維度選擇機制。Zhao等[18]將梯度數據擾動后的值離散到偶數區間內，通過兩位數值即可表示輸出值，節約了通信開銷，然而這種做法對聯邦模型的性能造成了損失。

表1 對現有研究方案進行了總結，通過表1 可知，現有研究主要存在如下不足：1) 基于同態加密的聯邦學習隱私保護方法計算開銷大，基于秘密分享的聯邦學習隱私保護方法通信開銷太大；2) 中心化擾動方法依賴可信的中心服務器；3) 本地化擾動方法在模型性能上損失較大，需要從隱私機制設計的角度進行改進。

表1 現有研究方案對比

針對以上不足，本文主要貢獻如下。

1) 提出一種基于本地化差分隱私的聯邦學習（LDP-FL,local differential privacy federated learning）方法，解決聯邦學習訓練過程中存在的隱私問題。

2) 設計一種本地化差分隱私機制，作用在聯邦學習參數傳遞過程中，通過設計噪聲機制，擾動聯邦學習所傳遞的參數，從而增加聯邦模型訓練的隱私性。

3) 設計一種性能損失更小的估計機制，通過優化損失函數的約束范圍來降低引入本地化差分隱私機制后聯邦模型的性能損失。

4) 在MNIST 和Fashion MNIST 這2 個真實的數據集上，分別從全局準確率、性能損失和運行時間3 個方面進行對比實驗，與其他算法相比，本文所提方法效果更優。

1 背景知識

1.1 聯邦學習

聯邦學習是谷歌提出的一種機器學習方法[1]。在一個典型的聯邦學習方法中，通常假設有N個參與方和一個中心參數服務器，這些參與方通過協作共同訓練出一個可用的深度學習模型。在每次訓練迭代時，每個參與方共享的是其本地更新后的模型參數而不是本地的訓練數據。記每一個參與方Ci擁有對應的數據集Di，則全局模型的目標損失函數記作L(D,w)，聯邦學習所面臨的優化問題為

其中，Li表示第i個參與方的本地損失函數，一般通過本地經驗風險最小化過程（如隨機梯度下降等）來求解。聯邦學習中的經驗風險最小化的過程通常包含如下訓練步驟。

1) 初始化：由中心參數服務器對需要訓練的深度學習模型進行初始化，并廣播給所有參與方。

2) 本地模型訓練：接收到初始模型參數的參與方使用本地數據對模型進行訓練后，將更新參數傳遞給中心參數服務器。

3) 全局模型聚合：接收到所有參與方傳遞參數后，中心參數服務器對獲得的模型進行聚合后廣播。

1.2 本地化差分隱私

本地化差分隱私技術的核心思想是對用戶本地數據添加滿足本地化差分隱私的擾動噪聲，將擾動后數據傳輸給第三方數據收集者，再通過一系列操作得到有效的結果。由于傳統的ε-本地化差分隱私過于嚴格，目前深度學習隱私保護中常用的是寬松差分隱私，定義如下。

定義1(ε,δ)-本地化差分隱私。給定N個用戶，每個用戶對應一條記錄，對于隱私機制M，其定義域為Dom(M)，值域為Ran(M)，若隱私機制M 在任意兩條記錄t,t＇ (t,t＇∈ Dom(M))上得到的輸出結果(o(o? Ran(A)))相同，且滿足

則稱隱私機制M 滿足(ε,δ)-本地化差分隱私。

高斯機制是機器學習隱私保護中常用的一種噪聲機制，通過給輸出結果f(t)添加均值為0、方差為σ2Ι的高斯噪聲實現(ε,δ)-本地化差分隱私，即M(t)=f(t)+M(0,σ2Ι)。差分隱私中敏感度的含義是單個數據對查詢或分析結果的最大影響值，高斯機制具有L2敏感度，表示根據設定的隱私級別所需設置的擾動值上界，高斯機制中函數f(t)的L2敏感度為，為了保證給定的高斯噪聲分布n～ N (0,σ2)滿足(ε,δ)-本地化差分隱私，所選擇的高斯分布標準差需要滿足即在ε∈ (0,1)的情況下常數。本地化差分隱私具有如下2 個性質。

1) 后置處理免疫性。對于一個輸出結果滿足差(ε,δ)-本地化差分隱私的機制M，在這個機制的輸出結果上進行任何操作都不會造成額外的隱私損失。

2) 序列組合性。對于k個滿足(εi,δi)-本地化差分隱私的機制 M1,…,Mi,…,Mk，其序列組合滿足-本地化差分隱私。

使用高斯機制向機器學習模型添加噪聲時會導致模型產生性能損失，性能損失和本地化差分隱私的關系可以通過定義2進行說明。

定義2尾約束[11]。對于任意ε＞ 0，當時，機制M 滿足(ε,δ)-差分隱私。

2 方法設計

2.1 問題的描述

聯邦學習通過將用戶數據保留在本地降低了用戶訓練數據隱私泄露的風險，然而聯邦學習過程仍然存在一定的安全問題，對于共同參與模型訓練的多個參與方以及中心參數服務器，若它們是誠實且好奇的，即這些參與方在聯邦學習過程中會遵守模型的訓練協議，但互相對對方的私有數據和模型參數是好奇的，在協作期間會不斷推理，希望獲取更多對方額外的信息，如訓練數據和模型參數。為了抵御這樣的推理攻擊，需要對聯邦模型訓練過程提供額外的隱私保護機制，因此本文的目標是設計一種滿足本地化差分隱私的聯邦學習方法，實現在服務器或參與方誠實且好奇的情況下安全有效地訓練聯邦模型，即保護參與方的私有數據和模型參數不被攻擊者惡意推理的同時保證模型訓練的精度。

具體來說，在聯邦模型訓練過程中，假設完成全局聯邦模型的訓練需要經過T次迭代，在每一次迭代過程t中，選擇k個參與方利用本地數據集對下發的初始模型進行訓練，每個參與方將訓練好的模型更新結果傳輸給中心參數服務器，為了防止參與方所訓練的模型在傳輸過程中發生隱私泄露，需要設計一種本地化的隱私機制對傳輸過程中的模型參數進行隱私保護處理，本文所涉及的相關符號和參數如表2 所示。

表2 相關符號和參數

2.2 本地化差分隱私聯邦學習方法的設計

為了解決誠實且好奇的中心參數服務器或參與方的存在導致聯邦學習中用戶本地數據隱私泄露問題，本文提出了一種LDP-FL 方法，框架如圖1 所示。該方法由一個中心參數服務器和N個聯邦學習參與方組成，每個聯邦學習參與方擁有一個由中心參數服務器下發的初始模型和本地的訓練數據集。

圖1 LDP-FL 方法框架

LDP-FL 方法的核心思想是在“數據不動算法動，數據可用不可見”的基礎上引入本地化差分隱私機制，為聯邦訓練過程提供額外的隱私保護。具體來說，首先由中心參數服務器生成初始模型，再廣播給所選擇的聯邦學習參與方，參與方接收到初始模型后利用本地數據集對初始模型進行訓練，在每個參與方的本地訓練的過程中引入本地化差分隱私機制對模型參數進行擾動，通過傳輸擾動后的參數（非原始訓練數據）達到隱私保護的目的，中心參數服務器接收到擾動參數后對所有參數進行聚合操作，將聚合后的模型參數再廣播給所選擇的參與方，不斷迭代該過程直到模型收斂。LDP-FL方法由中心參數服務器處理算法 FL_Server（federated learning server）和參與方本地更新算法FL_Client（federated learning client）構成。

中心參數服務器處理算法FL_Server 的具體流程如算法1 所示。首先，由中心參數服務器對需要訓練的模型參數和測試集準確率列表進行初始化。其次，根據設定的迭代次數，在每次迭代時以采樣率q從N個參與方中隨機選擇k個參與方參與訓練，對于所選擇的k個參與方，將上一輪迭代所獲得的全局模型參數w傳遞給算法2 參與方本地更新算法FL_Client，k個參與方以并行化的方式執行該算法，分別獲得本次迭代本地模型的參數。最后，當所有參與方完成更新操作后，中心參數服務器對參與方所上傳的擾動參數進行聚合處理，即求平均值，獲得本次迭代的全局模型參數，使用測試集計算全局模型參數對應的模型準確率，將本輪模型準確率存入測試集準確率列表中，在設定的迭代次數結束后對整體的隱私損失進行估計。

算法1FL_Server

輸入聯邦學習參與方數量N，聯邦學習采樣率q，聯邦學習交流輪次T

1) 定義列表test_acc_list，初始化w0

2) fort← 1 toTdo

3) 以采樣率q從N個用戶中選擇k個參與方

4) 遍歷從N中選擇的k個參與方

7) 計算本次迭代模型準確率test_acc

8) 將test_acc 加入列表test_acc_list

9) end for

10) 通過2.3 節性能損失約束機制約束損失函數

11) 返回test_acc_list

算法2FL_Client

輸入上一輪訓練所得模型參數wt，本地模型迭代次數E，本地數據集大小m，隨機梯度下降中每批次選擇的訓練集大小B，隨機梯度下降過程學習率α，本地模型損失函數L(w)，梯度裁剪閾值C，本地化差分隱私機制隱私參數εi,δi

1) fore=1 toEdo

2) 對于訓練集B中的每個數據對b

3) 梯度大小g←?L(w;b)

9) end for

首先，采用隨機梯度下降法根據設定的本地迭代輪次E對所接收到的初始模型進行訓練計算出梯度值，同時引入梯度裁剪技術，目的是限制訓練樣本對模型參數的影響，通過對梯度的L2 范數進行裁剪，設定裁剪的閾值為C，則參與方在每輪本地訓練時計算得到的的梯度數據gi將被替代，梯度裁剪可以保證當時，梯度數據gi被保留；當時，梯度數據gi被閾值C取代。其次，計算參與方本地訓練過程的敏感度，聯邦學習中第i個參與方的本地訓練過程為

其中，Di表示第i個參與方所使用的數據集，Di,j表示Di中的第j個樣本。根據本地化差分隱私的定義，考慮2 個相鄰的數據集Di和Di＇，Di＇與Di只相差一條數據，則第i個客戶端本地訓練過程sDi的敏感度為

2.3 性能損失約束機制的設計

通過2.2 節中的描述可知，引入本地化差分隱私提升聯邦訓練過程中隱私安全性的同時會給聯邦模型的性能造成一定的損失，因此本節設計一種性能損失更小的估計機制，通過這種估計機制降低聯邦模型的性能損失。給單個模型添加高斯噪聲后的隱私損失需要根據時刻損失函數進行計算，而在聯邦學習環境中，需要從N個參與方中以采樣率q選擇出k個參與方進行聯邦模型的訓練，記聯邦交流的迭代次數為T，給第i個參與方本地模型訓練所得的參數添加高斯噪聲后每個參與方經過T次迭代后隱私損失的計算式為

其中，pi表示第i個參與方的性能損失。參與聯邦訓練的k個參與方整體的性能損失P的計算式為

3 隱私安全性與性能分析

3.1 隱私安全性分析

本節對LDP-FL 方法的隱私安全性進行分析，對于采樣率為q、迭代輪次為T的LDP-FL 方法，有定理1 成立。

定理1為了保證聯邦訓練中參與方傳遞模型的過程滿足(εi,δi)-本地化差分隱私，所添加的高斯噪聲的標準差應滿足

證明利用三角不等式對Ev1,v0進行如下變換

將該結果代入時刻損失函數α(λ)中，可得

根據定義2 中的尾約束可知，當式(24)成立時，添加噪聲標準差為σi的隱私機制可以滿足(εi,δi)-差分隱私。

3.2 算法復雜度分析

本節分析算法的時間復雜度，LDP-FL 方法由FL_Server 和FL_Client 這2 個算法組成，FL_Client算法嵌套在FL_Server 中，記LDP-FL 方法的整體迭代次數為T，參與方數量為N，在每次迭代時，FL_Client 算法的時間復雜度為O(log(N))，則LDP-FL 方法的時間復雜度等于FL_Server 算法的時間復雜度，為O(Tlog(N))。

4 實驗與分析

4.1 實驗設置

4.1.1 實驗環境

本節對本文所提LDP-FL 方法的有效性進行評估，并設計對比實驗。所使用的實驗平臺操作系統為Windows 10(64 位)，開發環境為 Pycharm，編程語言為Python 3.8，CPU 為11th Gen Intel(R)Core(TM) i5-11400H @ 2.70 GHz，內存為16 GB。實驗使用Pytorch1.7.1 訓練深度學習模型，采用卷積神經網絡（CNN,conventional neural network）構建本文所提LDP-FL 方法，設置2 個卷積層分別有16 和32 個特征，并使用一個5×5、步長為2的卷積核，以及一個輸入張量為7×7×32、輸出張量為10 的全連接層，采用梯度下降進行模型訓練時所選擇的批次大小為64，參與方本地訓練迭代次數為10 次。

4.1.2 實驗數據集

實驗采用2 種數據集，分別是MNIST 數據集和Fashion MNIST 服飾數據集。其中，MNIST數據集包含 10 種手寫數字識別的灰度圖像數據，有60 000 個訓練圖像和10 000 個測試圖像，每個灰度圖像包含28 像素×28 像素；Fashion MNIST服飾數據集是經典MNIST 數據集的簡易替換，比常規 MNIST 手寫數據將更具挑戰性，包含60 000 個示例的訓練集和10 000 個示例的測試集，每個示例都是一個28 像素×28 像素灰度圖像，可以分為10 種類型。

4.1.3 評價指標

為了驗證本文所提LDP-FL 方法的優越性，選擇原始的聯邦平均方法FedAvg[1]作為參照，并將LDP-FL 方法與CL-FL 方法[12]和NbAFL 方法[15]進行對比，主要的評價指標有以下3 種。

1) 全局準確率。經過多次迭代后，聯邦模型的全局準確率是衡量算法有效性的關鍵指標。通過對比相同條件下不同算法的全局準確率，可以直觀地判斷算法的性能。

2) 性能損失。性能損失是衡量聯邦模型性能的指標，通過性能估計機制進行計算。

3) 運行時間。算法的運行時間是衡量通信開銷的重要指標。運行時間越長，則通信開銷越大。

4.2 有效性衡量實驗

本節探究LDP-FL 有效性。使用MNIST 數據集，聯邦學習迭代輪次T=150，設置δ=0.001，每個參與方的隱私預算εi=ε，σi=10-5。首先，探究隱私預算對全局準確率的影響，在采樣率q=1、參與方N=10的情況下，分別設置隱私預算ε=1.0,ε=2.0,ε=4.0，結果如圖2(a)所示。其次，探究參與方數量的影響，在采樣率q=1、隱私預算ε=1.0的情況下，分別設置參與方數量為N=10,N=50,N=100，結果如圖2(b)所示。

圖2 LDP-FL 方法有效性衡量實驗

觀察圖2，可以得到如下結論。

1) 在參與方數量和采樣率均相同的前提下，LDP-FL 方法中隱私預算越高，模型全局準確率越高，說明可以通過調整隱私預算實現聯邦學習模型隱私性和可用性的平衡。

2) 在隱私預算和采樣率均相同的前提下，LDP-FL 方法中參與方數量越多，模型全局準確率越高，說明增加聯邦學習參與方數量可以提高準確率。

3) 在以上實驗中，經過大約80 次迭代后，LDP-FL 方法的全局準確率趨于穩定，說明模型可用性較好。

4.3 對比實驗與分析

4.3.1 全局準確率對比

首先，探究本文所提LDP-FL 方法與現有方法在MNIST 數據集和Fashion MNIST 數據集上全局準確率的對比情況。對于4 種聯邦學習方法，設置參與方數量N=10，采樣率q=1，對于使用差分隱私的LDP-FL、CL-FL 和NbAFL，設置每個參與方的隱私預算εi=ε，σi=10-5，總體隱私預算ε=4.0，圖3 分別展示了4 種聯邦學習方法在2 種數據集上的全局準確率隨迭代輪次的變化情況。

圖3 全局準確率隨迭代輪次的變化情況

觀察圖3，可以得到如下結論。

1) 在參與方數量相同的情況下，引入差分隱私保護的LDP-FL 方法、CL-FL 方法和NbAFL 方法的全局準確率在2 種數據集上均低于FedAvg，說明與FedAvg 相比，引入噪聲機制會對聯邦學習模型的準確率造成影響。

2) 在參與方數量和隱私預算均相同的情況下，本文所提的LDP-FL 方法全局準確率在2 種數據集上均高于CL-FL 方法和NbAFL 方法，說明LDP-FL 方法的性能優于CL-FL 方法和NbAFL方法。

3) 由于Fashion MNIST 數據集中的圖像數據比MNIST 數據集中數據更復雜，因此4 種方案在MNIST 數據集上的表現均優于在Fashion MNIST數據集上的表現。

4.3.2 性能損失對比

其次，探究本文所提LDP-FL 方法與CL-FL 方法和NbAFL 方法在MNIST 數據集和Fashion MNIST 數據集上性能損失的對比情況。設置參與方數量N=10，采樣率q=1，每個參與方的隱私預算εi=ε，σi=10-5，總體隱私預算ε=4.0，表3 分別展示了3 種聯邦學習方案在2 種數據集上性能損失對比實驗結果。

通過表3 可以看出，LDP-FL 方法在2 種數據集上不同的迭代輪次下的性能損失值均小于CL-FL方法和NbAFL 方法，說明LDP-FL 方法的性能優于2 種對比算法。

表3 性能損失對比實驗結果

4.3.3 算法運行時間對比

最后，探究本文所提LDP-FL 方法與現有方法在MNIST 數據集和Fashion MNIST 數據集上運行時間的對比情況。對于4 種聯邦學習方法，分別設定參與方數量為N=[20,40,60,80]，對于使用差分隱私的LDP-FL、CL-FL 和NbAFL，設置每個參與方的隱私預算εi=ε，σi=10-5，總體隱私預算ε=4.0。圖4 分別展示了4 種聯邦學習方法在2 種數據集上運行時間隨參與方數量的變化情況。

圖4 運行時間隨參與方數量的變化情況

觀察圖4，可以得到如下結論。

1) 隨著參與方數量的增加，4 種方法在2 個數據集上的運行時間均有所增加，說明增加參與方數量會導致算法運行時間增加。

2) 由于Fashion MNIST 數據集中的圖像數據比MNIST 數據集中數據更復雜，因此4 種方法在 MNIST 數據集上的運行時間比 Fashion MNIST 數據集上的運行時間短。

3) 在參與方數量相同的情況下，FedAvg 方法的運行時間最短；在3 種引入噪聲機制的聯邦學習隱私保護方案中，NbAFL 方法的運行時間最短，本文所提LDP-FL 方法略次之，CL-FL 方法最長，同樣說明了LDP-FL 方法的有效性。

5 結束語

本文通過設計一種基于本地化差分隱私的聯邦學習方法LDP-FL，解決聯邦學習中存在的模型推理攻擊，主要是將該機制作用在聯邦學習參數的傳遞過程中，增加聯邦模型訓練的隱私性。同時，設計一種適用于聯邦學習的性能損失約束機制，通過優化損失函數的約束范圍來降低本地化差分隱私聯邦模型的性能損失。最后在真實的數據集上通過實驗驗證了所提LDP-FL 方法的有效性。未來的工作將集中在聯邦學習優化，以及隱私保護聯邦學習在應用方面的拓展，如醫療和物聯網環境，研究這些場景下如何在保證隱私安全的同時提高聯邦模型的全局準確率。