当前位置:首页 > 科技资讯 > 正文

华南理工AI安全团队引领联邦学习防御新突破

华南理工大学计算机学院AI安全团队深耕人工智能安全领域,近期携手约翰霍普金斯大学和加州大学圣地亚戈分校,聚焦联邦学习中防范恶意投毒攻击,研究成果相继发表于AI顶刊TPAMI 2025和网络安全顶刊TIFS 2025。

针对联邦学习中的后门攻击问题,华南理工大学计算机学院AI安全团队携手国际高校,创新提出两种防御方法:FedID和Scope。

FedID通过多度量标准和动态加权检测恶意梯度,有效应对复杂攻击和非IID数据分布;Scope则通过逐维归一化和差异化缩放,揭示攻击梯度中的后门维度,显著提升防御效果。

论文1:TPAMI 2025

论文题目:FedID: Enhancing Federated Learning Security Through Dynamic Identification(第一作者:黄思铨;通讯作者:高英)

华南理工AI安全团队引领联邦学习防御新突破 联邦学习  防御机制 恶意攻击 AI安全 第1张论文链接:https://ieeexplore.ieee.org/document/11045524,代码链接:https://github.com/siquanhuang/Multi-metrics_against_backdoors_in_FL

摘要

联邦学习因其去中心化和保护隐私的特性备受关注,但面临后门攻击的脆弱性。现有基于统计差异的防御方法仅对特定攻击有效。研究人员重新审视基于距离的防御方法,提出FedID,利用多度量标准并通过动态加权实现自适应的后门检测。

背景

联邦学习是一种保护客户数据隐私的分布式框架,但易受数据投毒攻击。为了提高FL的鲁棒性,人们提出多种防御方法,但基于评分的方法在面临精心设计的攻击时效果有限。

方法

曼哈顿距离缓解维度诅咒

理论证明曼哈顿距离在高维空间中的识别能力优于欧式距离,但单一度量不足以应对所有攻击。因此,研究人员采用多种距离共同识别后门。

方法框架

研究人员采用浓度矩阵进行白化,动态决定每个指标的权重,以适应不同数据分布和攻击策略。

论文2:TIFS 2025

论文题目:Scope: On Detecting Constrained Backdoor Attacks in Federated Learning(第一作者:黄思铨;通讯作者:高英)

华南理工AI安全团队引领联邦学习防御新突破 联邦学习  防御机制 恶意攻击 AI安全 第2张论文链接:https://ieeexplore.ieee.org/document/10852410,代码链接:https://github.com/siquanhuang/Scope

摘要

联邦学习易受到后门攻击的威胁。传统基于检测的防御方法依赖特定度量标准,但易受度量约束攻击的影响。研究人员提出Scope,通过逐维归一化和差异化缩放策略,有效对抗高级攻击。

背景

大多数后门检测方法依赖特定度量标准,易受度量约束攻击的影响。研究聚焦于检测恶意梯度向量中潜藏的后门特征。

方法

逐维归一化

研究人员关注各维度的变化率而非具体数值,以消除高绝对值维度对检测结果的干扰。

差异化缩放

通过幂乘操作进一步压低更新幅度较小的维度值,放大各维度之间的差异,削弱未被使用维度对后门维度的干扰。