一種安全高效的聯邦學習技術
1.痛點問題
在大數據應用領域,當前普遍存在數據隱私安全、數據孤島和終端設備計算能力受限等問題。如何在保障數據安全、隱私安全和安全合規的條件下,聯合使用跨機構或跨設備中的數據,實現數據價值的深度挖掘和流通是亟待解決的行業問題。
2.解決方案
本技術在現有聯邦學習框架的基礎上提出一系列改進方案,綜合提升了聯邦學習的安全、效率和模型質量。首先,基于縱向聯邦學習具有突破數據孤島和保護數據安全的優點,采用自編碼信息混淆技術實現標簽隱私信息的保護,在不影響聯邦建模效果的前提下,構建了一種新的數據高效、安全、合規的使用范式,該技術可應用于縱向聯邦學習場景中實現多方安全聯合建模。其次,通過結合聯邦學習打破數據孤島和保護數據安全,預訓練大模型可實現知識持續積累,有選擇的知識蒸餾技術可實現保護隱私、模型壓縮和知識遷移等方面的優勢,構建一種新的數據高效、安全、合規的使用范式。即在服務器端充分利用豐富的計算資源,打造出更為強大的模型,并通過有選擇的知識蒸餾策略,實現知識在服務器端的持續正向積累,來提升資源受限的終端設備和擁有大模型的服務器兩端模型的整體表現,從而實現一種“數據、模型不動,知識動”的效果。
合作需求
本技術與孵化產品在金融、醫療、制藥和政務等數據敏感行業數據合規使用和多方協同建模應用上有合作需求,可服務于政府與企業等機構:
1)金融領域合作
本技術與孵化產品可服務于金融科技各級(部委與地市級)主管單位,以及各類銀行、保險等金融機構。可應用于金融領域中高敏感數據的合規使用和跨機構間聯合建模應用場景,例如銀行征信、反欺詐等應用,以降低金融欺詐、騙保等事件發生,產生積極的社會效益。
2)醫療和制藥領域合作
本技術與孵化產品可服務于醫療和制藥領域各類政府主管單位、醫院和制藥企業等。可推動醫療和制藥領域數據安全協作利用,為醫療領域有效監管、AI制藥和輔助診療等智能應用提供數據安全協作基礎,提高制藥效率,降低制藥成本和周期、促進新藥研制等。
3)智慧政務領域合作
本技術與孵化產品可服務于科技、工信和大數據等各級(部委與地市級)主管單位。可為政府建立數據要素市場提供數據安全流通技術保障,促進數據要素安全有序流通,也可支撐政務服務水平提升,協同推進地方政府的數字政府建設。
清華大學
2022-05-19