聯(lián)邦學(xué)習(xí)投毒攻擊防御與追溯系統(tǒng)
當(dāng)前,保護(hù)數(shù)據(jù)的隱私和安全已經(jīng)成為世界性的熱點(diǎn),各國都在加強(qiáng)對數(shù)據(jù)安全和隱私的保護(hù)。近年來,國家相繼出臺個人信息保護(hù)的標(biāo)準(zhǔn)和政策,旨在加強(qiáng)隱私保護(hù)。為了在符合相關(guān)法規(guī)的前提下使用數(shù)據(jù),部分研究者嘗試令各方數(shù)據(jù)保留在本地的同時訓(xùn)練全局模型,如 Google 提出的聯(lián)邦學(xué)習(xí)。作為一種加密的分布式機(jī)器學(xué)習(xí)技術(shù) , 聯(lián)邦學(xué)習(xí)能夠讓參與各方在不披露底層數(shù)據(jù)和底層數(shù)據(jù)加密 ( 混淆 ) 形態(tài)的前提下,仍然能利用其余幾方參與者提供的信息,更好地訓(xùn)練聯(lián)合模型,提升 AI 模型效果。
然而,將數(shù)據(jù)留在本地的方式卻也引發(fā)其他問題,如針對聯(lián)邦模型的投毒攻擊。投毒攻擊通過攻擊訓(xùn)練數(shù)據(jù)集或算法來操縱機(jī)器學(xué)習(xí)模型的預(yù)測,使分類器識別特定樣本的分類邊界發(fā)生變化。而聯(lián)邦學(xué)習(xí)場景下的投毒攻擊通常擁有更強(qiáng)的隱蔽性和破壞性。
因此,我們將傳統(tǒng)投毒攻擊防御中對原始數(shù)據(jù)的清洗過程轉(zhuǎn)變至對上傳的模型權(quán)重參數(shù)的預(yù)處理,在參數(shù)服務(wù)器部署防御框架來防御投毒攻擊。我們設(shè)計了一種新穎的防御與追溯框架,該框架主要由模型聚類、初步防御和細(xì)化防御三個模塊構(gòu)成,構(gòu)建多層縱深防御體系,保護(hù)聯(lián)邦模型安全,并在源頭上主動追溯攻擊者。我們設(shè)計面向神經(jīng)網(wǎng)絡(luò)的無監(jiān)督層級聚類算法,消除了神經(jīng)網(wǎng)絡(luò)中隱含元素置換不變性的影響。根據(jù)類內(nèi)代表模型在聚合過程中的貢獻(xiàn)度確定其可疑度,并以動量思想將可疑度綁定每個客戶端,并結(jié)合歷史用戶行為對攻擊者進(jìn)行定位。我們的防御框架可以自主評估模型貢獻(xiàn)度,自動確定可疑度動態(tài)劃分閾值,并在圖像、文本等多源數(shù)據(jù)集上達(dá)到了 100% 追溯率,實(shí)現(xiàn)了零漏檢,零誤檢。
目前,成果性能已經(jīng)過多方測試和驗證,代碼已部署在華為自研深度學(xué)習(xí)框架MindSpore 中,進(jìn)一步為廣大開發(fā)者所用。
西安電子科技大學(xué)
2023-01-18