近日,由信创海河实验室王伟教授团队联合北京交通大学、卢森堡大学、南开大学以及阿尔伯塔大学共同研究的论文被网络安全领域顶级期刊IEEE TIFS(IEEE Transactions on Information Forensics and Security)录用。该项研究以联邦推荐为背景,深入分析了其内部潜在的投毒风险、探讨了定向投毒攻击应满足的关键属性,并提出了相应的防御对策。论文题目:Eyes on Federated Recommendation: Targeted Poisoning with Competition and Its Mitigation作者:郝玉蓉;陈喜辉;王伟*;刘吉强;李涛;王俊勇;Witold Pedrycz
随着用户隐私保护意识的不断增强,尤其是在《通用数据保护条例》(GDPR)等法规的推动下,联邦推荐作为一种新兴的分布式学习范式逐渐兴起——其旨在通过不同用户间的有效协作实现模型的高性能推荐。然而,并非所有用户都是可信的,这使得联邦推荐在提供推荐服务的过程中容易受到恶意用户的投毒攻击。为进一步揭示联邦推荐系统中的投毒风险,论文探讨并总结了一个成功的定向投毒攻击应具备的三个关键属性,即有效性、高效性和隐蔽性,并在此基础上提出了一种基于迭代升级的联邦推荐定向投毒攻击方法——StairClimbing。该方法以逐步推广特定目标物品为目的,利用用户偏好与交互物品间的隐式相关性实现对先验知识的消除,并借鉴“升级打怪”思想逐级推广目标物品,能在最少知识假设和本地协同训练下完成对恶意模型可攻击能力的分析判断。在六个不同数据集上对该方法进行了评估,实验结果表明,与现有先进方法相比,StairClimbing可以产生最佳攻击性能,并能成功绕过目前联邦学习中的主流防御机制。
StairClimbing 工作流尽管联邦推荐系统的分布式特性使得完全消除恶意投毒风险极具挑战性,但通过有效的防御措施仍可显著降低攻击的成功率及其潜在危害。为此,论文还提出一种基于良性模式识别的防御方法。该方法通过识别良性用户在训练期间更新物品的两种模式,动态检测来自客户端上传的模型参数更新和交互物品更新模式,实现对异常用户更新的规避或剔除,从而有效减轻定向投毒攻击对联邦推荐系统的损害。该研究不仅在联邦推荐系统的安全性分析方面展示了前沿成果,还为未来构建更加稳健的联邦推荐系统提供了新的研究方向。