聯(lián)邦學習投毒攻擊防御與追溯系統(tǒng)
當前,保護數(shù)據(jù)的隱私和安全已經(jīng)成為世界性的熱點,各國都在加強對數(shù)據(jù)安全和隱私的保護。近年來,國家相繼出臺個人信息保護的標準和政策,旨在加強隱私保護。為了在符合相關(guān)法規(guī)的前提下使用數(shù)據(jù),部分研究者嘗試令各方數(shù)據(jù)保留在本地的同時訓練全局模型,如 Google 提出的聯(lián)邦學習。作為一種加密的分布式機器學習技術(shù) , 聯(lián)邦學習能夠讓參與各方在不披露底層數(shù)據(jù)和底層數(shù)據(jù)加密 ( 混淆 ) 形態(tài)的前提下,仍然能利用其余幾方參與者提供的信息,更好地訓練聯(lián)合模型,提升 AI 模型效果。
然而,將數(shù)據(jù)留在本地的方式卻也引發(fā)其他問題,如針對聯(lián)邦模型的投毒攻擊。投毒攻擊通過攻擊訓練數(shù)據(jù)集或算法來操縱機器學習模型的預測,使分類器識別特定樣本的分類邊界發(fā)生變化。而聯(lián)邦學習場景下的投毒攻擊通常擁有更強的隱蔽性和破壞性。
因此,我們將傳統(tǒng)投毒攻擊防御中對原始數(shù)據(jù)的清洗過程轉(zhuǎn)變至對上傳的模型權(quán)重參數(shù)的預處理,在參數(shù)服務(wù)器部署防御框架來防御投毒攻擊。我們設(shè)計了一種新穎的防御與追溯框架,該框架主要由模型聚類、初步防御和細化防御三個模塊構(gòu)成,構(gòu)建多層縱深防御體系,保護聯(lián)邦模型安全,并在源頭上主動追溯攻擊者。我們設(shè)計面向神經(jīng)網(wǎng)絡(luò)的無監(jiān)督層級聚類算法,消除了神經(jīng)網(wǎng)絡(luò)中隱含元素置換不變性的影響。根據(jù)類內(nèi)代表模型在聚合過程中的貢獻度確定其可疑度,并以動量思想將可疑度綁定每個客戶端,并結(jié)合歷史用戶行為對攻擊者進行定位。我們的防御框架可以自主評估模型貢獻度,自動確定可疑度動態(tài)劃分閾值,并在圖像、文本等多源數(shù)據(jù)集上達到了 100% 追溯率,實現(xiàn)了零漏檢,零誤檢。
目前,成果性能已經(jīng)過多方測試和驗證,代碼已部署在華為自研深度學習框架MindSpore 中,進一步為廣大開發(fā)者所用。
西安電子科技大學
2023-01-18