Secure Byzantine-Robust Machine Learning
EPFL（洛桑联邦理工学院）
越来越多的机器学习系统被部署到边缘服务器和设备（例如移动电话），并以协作方式进行训练。这种分布式/联合/分散式训练引起了对过程的鲁棒性，隐私性和安全性的一些担忧。虽然在单独处理鲁棒性，隐私或安全性方面已经做了大量的工作，但很少研究它们的组合。在本文中，我们提出了一个安全的两个服务器协议，同时提供输入隐私和拜占庭鲁棒性。此外，该协议具有通信效率高、容错性好、局部差分隐私等优点。
2020-10-18 cs.CR cs.LG stat.ML
Certified Robustness to Adversarial Examples with Differential Privacy
Columbia University（哥伦比亚大学）
欺骗机器学习模型，特别是深度神经网络的对抗性示例一直是人们强烈研究的主题，攻击和防御都在紧密的来回发展。过去的大多数防御都是尽力而为的，并且已经被证明容易受到复杂的攻击。最近引入了一组经过认证的防御，它们提供了对范数有界攻击的鲁棒性保证，但它们要么不能扩展到大型数据集，要么在它们可以支持的模型类型方面受到限制。本文提出了第一个认证的防御，既可以扩展到大型网络和数据集（例如Google的Inception网络ImageNet），又可以广泛应用于任意模型类型。我们的防御称为PixelDP，基于对抗性示例的鲁棒性和差分隐私之间的新型联系，差分隐私是一种受密码学启发的形式主义，为防御提供了严格，通用和灵活的基础。
2019-05-29 cs.AI cs.CR cs.LG
PRECAD: Privacy-Preserving and Robust Federated Learning via Crypto-Aided Differential Privacy
University of Arizona（亚利桑那大学）；Emory University（埃默里大学）
联邦学习（FL）允许多个参与客户端通过将其数据集保持在本地并且仅交换模型更新来协作地训练机器学习模型。现有的FL协议设计已被证明容易受到旨在损害数据隐私和/或模型鲁棒性的攻击。最近提出的防御措施集中在确保隐私或鲁棒性，但不是两者兼而有之。在本文中，我们开发了一个框架称为PRECAD，同时实现差分隐私（DP），并提高了对模型中毒攻击的鲁棒性与密码学的帮助。使用安全多方计算（MPC）技术（例如，秘密共享），噪声被诚实但好奇的服务器（而不是每个客户端）添加到模型更新中，而不泄露客户端的输入，这在提供比基于本地DP的解决方案更好的隐私-效用权衡方面实现了集中式DP的益处。同时，设计了一个密码辅助的安全验证协议，验证了每个客户端对模型更新的贡献是有界的，并且不会泄露隐私。我们分析表明，噪声增加，以确保DP也提供了增强的鲁棒性，对恶意模型提交。我们通过实验证明，我们的PRECAD框架实现了更高的隐私-效用权衡，并增强了训练模型的鲁棒性。
2021-10-22 cs.CR cs.LG
On the Privacy-Robustness-Utility Trilemma in Distributed Learning
Ecole Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
本文首次对分布式学习中同时满足差分隐私和对抗鲁棒性的算法误差进行紧致分析，揭示隐私-鲁棒性-效用的根本权衡，并提出一种高维鲁棒聚合算法实现匹配上界。
2023-05-29 cs.CR cs.DC cs.LG
Gradient Masking and the Underestimated Robustness Threats of Differential Privacy in Deep Learning
Fraunhofer Institute for Applied and Integrated Security（弗劳恩霍夫应用与集成安全研究所）
深度学习中的一个重要问题是神经网络（NN）的隐私和安全性。这两个方面长期以来一直被分开考虑。到目前为止，隐私增强训练如何影响NN的鲁棒性仍然知之甚少。本文通过实验评估了使用差分隐私（DP）（隐私保护的标准方法）进行训练对模型抵御各种对抗攻击的脆弱性的影响。结果表明，私有模型比非私有模型更不健壮，并且对抗性示例在DP模型之间的传递比非私有和私有模型之间的传递更好。此外，DP和非DP模型的详细分析表明其梯度之间存在显着差异。此外，这项工作是第一次观察到DP训练中参数的不利选择可能导致梯度掩蔽，从而导致错误的安全感。
2021-05-17 cs.AI cs.CR cs.LG
Augment then Smooth: Reconciling Differential Privacy with Certified Robustness
University of Toronto（多伦多大学）；Vector Institute（矢量研究所）；Layer 6 AI（第六层人工智能公司）；CISPA（德国萨尔大学网络安全与隐私中心）
提出DP-CERT方法，将随机平滑集成到差分隐私训练中，同时实现隐私和鲁棒性保证，在CIFAR10上认证准确率提升2.5%。
2024-12-20 cs.CR cs.LG
Robustness Implies Privacy in Statistical Estimation
本文提出从差分隐私到对抗鲁棒性的黑盒归约，并基于 Sum-of-Squares 高维高斯鲁棒估计器，构造均值与协方差估计的近最优多项式时间私有且鲁棒算法。
2024-06-15 cs.CR cs.DS cs.IT
A Survey of Trustworthy Federated Learning with Perspectives on Security, Robustness, and Privacy
The Chinese University of Hong Kong（香港中文大学）；University of Electronic Science and Technology of China（电子科技大学）；Peng Cheng Lab（鹏城实验室）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））
值得信赖的人工智能（AI）技术彻底改变了日常生活，极大地造福了人类社会。在各种人工智能技术中，联邦学习（FL）脱颖而出，成为各种现实世界场景的有前途的解决方案，从金融风险评估系统到生命科学中的药物发现等尖端技术。然而，围绕数据隔离和隐私的挑战威胁着FL系统的可信度。针对数据隐私、学习算法稳定性和系统机密性的对抗攻击在联邦学习中的分布式训练环境中尤其令人担忧。因此，以值得信赖的方式开发FL至关重要，重点是安全性，鲁棒性和隐私性。在这项调查中，我们提出了一个全面的路线图，用于开发值得信赖的FL系统，并从三个关键方面总结了现有的努力：安全性，鲁棒性和隐私。我们概述了在不同的开发阶段（包括数据处理、模型训练和部署）对可信的联邦学习构成漏洞的威胁。为了指导选择最合适的防御方法，我们讨论了实现可信FL（TFL）的各个方面的具体技术解决方案。我们的方法不同于以往的工作，主要是从法律的角度来讨论TFL或从高层次的，非技术的角度来介绍FL。
2023-02-21 cs.CR cs.LG
Provable Robustness against Backdoor Attacks via the Primal-Dual Perspective on Differential Privacy
Department of Computer Science, Technical University of Munich（慕尼黑技术大学计算机科学系）；Munich Data Science Institute（慕尼黑数据科学研究所）；MCML；Machine Learning Research, Morgan Stanley（摩根大通机器学习研究）
本文提出一种基于对偶视角的微分隐私框架，用于证明对抗性扰动下的鲁棒性，通过整合随机平滑与隐私配置文件，提供对训练时间和推理时间攻击的联合鲁棒性保证。
2026-05-20 cs.CR cs.LG
Bridging Differential Privacy and Byzantine-Robustness via Model Aggregation
Sun Yat-sen University（中山大学）；University of California, San Diego（加州大学圣地亚哥分校）
本文旨在联合解决联邦学习中两个相互冲突的问题：差分隐私（DP）和拜占庭鲁棒性，这两个问题在分布式数据是非独立同分布时特别具有挑战性。（独立同分布）。标准DP机制在传输的消息中加入噪声，并与鲁棒的随机梯度聚合纠缠以抵御拜占庭攻击。在本文中，我们通过强大的随机模型聚合解耦这两个问题，在这个意义上，我们提出的DP机制和防御拜占庭攻击的学习性能的影响是分开的。利用鲁棒的随机模型聚合，在每次迭代中，每个工作者计算本地模型和全局模型之间的差异，然后将元素符号发送到主节点，这使得对拜占庭攻击具有鲁棒性。此外，我们设计了两个DP机制来干扰上传的签名的隐私保护的目的，并证明他们是$(ε,0)$ -DP利用噪声分布的性质。利用Moreau包络和邻近点投影证明了当代价函数为非凸时算法的收敛性。我们分析了隐私保护和学习性能之间的权衡，并表明我们提出的DP机制的影响是解耦的鲁棒随机模型聚合。数值实验证明了该算法的有效性。
2022-08-02 cs.CR cs.DC cs.LG
On Evaluating the Poisoning Robustness of Federated Learning under Local Differential Privacy
Nanjing University（南京大学）
针对本地差分隐私联邦学习（LDPFL）抗模型投毒攻击鲁棒性研究不足的问题，提出适配LDPFL的自适应投毒攻击框架，实验验证其能显著降低全局模型性能，凸显了强化相关防御的必要性。
2025-09-05 cs.CR cs.LG
Towards Causal Federated Learning For Enhanced Robustness and Privacy
MILA（MILA研究所）；University of Montreal（蒙特利尔大学）
联邦学习是一种新兴的隐私保护分布式机器学习方法，通过在参与设备（客户端）上本地执行分布式训练并将本地模型聚合为全局模型来构建共享模型。由于这种方法可以防止数据汇集和汇总，因此有助于在很大程度上降低相关的隐私风险。然而，所有参与客户端的数据样本通常不是独立和相同分布的（非iid），并且学习模型的分布外（OOD）泛化可能很差。除了这个挑战之外，联邦学习还容易受到各种安全攻击，其中一些恶意参与实体致力于插入后门，降低生成的聚合模型以及推断参与实体拥有的数据。在本文中，我们提出了一种学习联邦学习设置中所有参与客户端共有的不变（因果）特征的方法，并实证分析了它如何提高分布（OOD）准确性以及最终学习模型的隐私性。
2021-04-14 cs.AI cs.CR cs.LG
Differentially-Private Decision Trees and Provable Robustness to Data Poisoning
Delft University of Technology（代尔夫特理工大学）
针对现有差分隐私决策树算法隐私-效用权衡差的问题，提出基于私有直方图的PrivaTree方法，在低隐私预算下选择良好分裂，显著提升隐私-效用权衡，并提供对后门攻击的鲁棒性理论保证。
2026-09-28 cs.CR cs.LG
Decision Making in Changing Environments: Robustness, Query-Based Learning, and Differential Privacy
研究时变环境下的交互式决策问题，提出hybrid DMSO框架以统一分析LDP决策、SQ学习及鲁棒决策，并基于DEC变体推导界，揭示其与SQ维度等概念的关联，应用于上下文赌博机。
2025-01-24 cs.AI cs.IT cs.LG
Beyond Trade-offs: A Unified Framework for Privacy, Robustness, and Communication Efficiency in Federated Learning
School of Computation, Information and Technology, Technical University of Munich（计算、信息与技术学院，慕尼黑技术大学）；Electrical Engineering and Computer Science Department, Technische Universität Berlin（电气工程与计算机科学系，柏林技术大学）
本文提出RobAJoL框架，结合JL压缩与鲁棒平均，实现联邦学习中隐私、鲁棒性和通信效率的统一，实验验证其在拜占庭攻击下的优越性能。
2025-12-25 cs.DC cs.IT cs.LG
Privacy, Robustness, and Fairness Trade-offs in Federated Intrusion Detection: Geometric Indistinguishability at the Aggregation Interface
Bangladesh University of Business and Technology (BUBT)（孟加拉国商业与技术大学（BUBT））；Jagannath University（贾格纳特大学）；University of New South Wales (UNSW)（新南威尔士大学（UNSW））
本文挑战了联邦入侵检测中隐私、鲁棒性等属性可独立组合的假设，发现隐私与鲁棒聚合的结合会降低稀有攻击检测性能，提出应将三者作为整体研究。
2026-09-04 cs.AI cs.CR cs.LG
Privacy-preserving parametric inference: a case for robust statistics
Columbia University（哥伦比亚大学）
本文提出了一个具有差分隐私保证的参数推断通用框架，基于有界影响M-estimators构建了差分隐私估计量和检验统计量，并阐明了差分隐私与稳健统计学之间的联系。
2019-11-22 cs.CR cs.LG stat.ML
Differential Privacy in Two-Layer Networks: How DP-SGD Harms Fairness and Robustness
本文分析了差分隐私随机梯度下降（DP-SGD）在两层ReLU卷积神经网络中对特征学习动态的影响，揭示了噪声导致的公平性损害、长尾数据影响及对抗鲁棒性下降问题。
2026-04-20 cs.CY cs.LG
Privacy Backdoors: Stealing Data with Corrupted Pretrained Models
ETH Zurich（苏黎世联邦理工学院）
本文揭示了一种通过篡改预训练模型权重植入隐私后门的新型供应链攻击，可重建微调数据并攻破差分隐私保护，警示不可信模型的不安全性。
2024-03-30 cs.CR cs.LG
To Drop or Not to Drop: Robustness, Consistency and Differential Privacy Properties of Dropout
Microsoft Research（微软研究院）；Stony Brook University（石溪大学）；Yahoo Labs（雅虎实验室）；Apple Inc（苹果公司）
训练深度信念网络（DBN）需要优化具有大量参数的非凸函数。自然地，现有的基于梯度下降（GD）的方法倾向于任意差的局部最小值。在本文中，我们严格表明，这种局部极小值可以避免（近似误差），通过使用辍学技术，广泛使用的启发式在这一领域。特别是，我们表明，通过随机删除一个隐藏层神经网络的几个节点，训练目标函数，达到一定的近似误差，减少了乘法因子。另一方面，我们表明，对于训练凸经验风险最小化器（ERM），dropout实际上充当了“稳定器”或正则化器。也就是说，一个简单的基于辍学的GD方法凸ERMs是稳定的，在面对任意变化的任何一个训练点。使用上述断言，我们表明，辍学提供快速的泛化误差学习（凸）广义线性模型（GLM）。此外，利用上述的dropout的稳定性，我们设计了基于dropout的差分隐私算法来解决ERM。因此，学习的GLM保留了每个单独训练点的隐私，同时为新的测试点提供准确的预测。最后，我们在凸ERM的背景下实证验证了我们对dropout的稳定性断言，并令人惊讶地表明，对于几个基准数据集，dropout的性能显着优于（就预测准确性而言）基于L2正则化的方法。
2015-03-06 cs.LG cs.NE stat.ML
Backpropagation Clipping for Deep Learning with Differential Privacy
我们提出了反向传播裁剪，这是一种用于隐私保护深度学习的差分隐私随机梯度下降（DP-SGD）的新变体。我们的方法裁剪每个可训练层的输入（在向前传递期间）及其上游梯度（在向后传递期间），以确保层梯度的有界全局灵敏度;这种组合取代了现有DP-SGD变体中的梯度裁剪步骤。我们的方法很容易在现有的深度学习框架中实现。我们的实证评估的结果表明，反向传播裁剪提供了更高的准确性，在较低的值的隐私参数$ε$相比，以前的工作。我们使用$ε= 0.07$对MNIST的准确度达到98.7%，使用$ε= 3.64$对CIFAR-10的准确度达到74%。
2022-02-17 cs.LG
Secure Byzantine-Robust Distributed Learning via Clustering
Coordinated Sciences Laboratory（协同科学实验室）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
联邦学习系统，共同保持拜占庭的鲁棒性和隐私仍然是一个开放的问题。健壮的聚合是拜占庭攻击的标准防御，通常需要服务器访问个人更新或非线性计算-因此与隐私保护方法（例如通过多方计算的安全聚合）不兼容。为此，我们提出了共享（安全分层鲁棒聚合），一个分布式学习框架，旨在以加密方式保护客户端更新的隐私和鲁棒性拜占庭对手同时。其关键思想是在通过强大的聚合过滤恶意更新之前，在随机群集的客户端之间进行安全平均。实验表明，SHARE具有与现有技术相似的鲁棒性保证，同时增强隐私。
2021-10-06 cs.AI cs.CR cs.LG
Position Paper: Assessing Robustness, Privacy, and Fairness in Federated Learning Integrated with Foundation Models
Auburn University（亚伯拉罕大学）；University of Alabama at Birmingham（阿拉巴马大学伯明翰分校）
该立场文件针对集成基础模型的联邦学习，系统评估其在鲁棒性、隐私性、公平性维度的影响，分析权衡、揭示问题、提出应对策略与研究方向，为构建可靠安全公平的联邦学习系统奠基。
2025-10-05 cs.CR cs.CY cs.LG
DiPSeN: Differentially Private Self-normalizing Neural Networks For Adversarial Robustness in Federated Learning
Carleton School of Information Technology（卡尔顿信息技术学院）
对强大、安全和私有的机器学习的需求是实现物联网（IoT）全部潜力的重要目标。联邦学习已被证明有助于防止隐私侵犯和信息泄露。然而，它引入了新的风险向量，这使得机器学习模型更难以抵御对抗性样本。在这项研究中，我们研究了差分隐私和自我规范化在降低对抗性样本风险方面的作用，特别是在联邦学习环境中。我们介绍了DiPSeN，一个差分隐私自规范化神经网络，它结合了差分隐私噪声与自规范化技术的元素。我们在三个公开数据集上的实证结果表明，DiPSeN成功地提高了深度学习分类器在基于几个评估指标的联邦学习环境中的对抗鲁棒性。
2021-01-08 cs.AI cs.CY cs.LG
FedREP: A Byzantine-Robust, Communication-Efficient and Privacy-Preserving Framework for Federated Learning
Nanjing University（南京大学）
联邦学习（FL）是近年来的研究热点，其中拜占庭鲁棒性、通信效率和隐私保护是FL的三个重要方面。然而，这三个方面之间的紧张关系使得很难同时考虑到所有这些方面。鉴于这一挑战，我们从理论上分析了通信压缩方法应满足的条件，以兼容现有的拜占庭鲁棒方法和隐私保护方法。受分析结果的启发，我们提出了一种新的通信压缩方法，称为共识稀疏化（ConSpar）。据我们所知，ConSpar是第一种通信压缩方法，旨在兼容拜占庭鲁棒方法和隐私保护方法。在ConSpar的基础上，我们进一步提出了一个新的FL框架FedREP，它是拜占庭式的鲁棒性，通信效率和隐私保护。我们从理论上证明了FedREP的拜占庭鲁棒性和收敛性。实证结果表明，FedREP可以显着优于通信效率的隐私保护基线。此外，与拜占庭强大的通信效率基线相比，FedREP可以实现相当的准确性，并具有隐私保护的额外优势。
2023-03-09 cs.CR cs.DC cs.LG
SAFE: Secure and Accurate Federated Learning for Privacy-Preserving Brain-Computer Interfaces
Key Laboratory of the Ministry of Education for Image Processing and Intelligent Control, School of Artificial Intelligence and Automation, Huazhong University of Science and Technology（教育部图像处理与智能控制重点实验室，人工智能与自动化学院，华中科技大学）；Zhongguancun Academy（中关村学院）
SAFE通过联邦学习在保护隐私的同时提升脑机接口的解码准确性和对抗鲁棒性，无需使用目标受试者的校准数据。
2026-01-09 cs.AI cs.HC cs.LG
Robust and differentially private stochastic linear bandits
Cornell University（康奈尔大学）；Google Research（谷歌研究院）
针对随机线性老虎机，本文在批量观测、奖励被任意污染及两种隐私模型下，提出兼具差分隐私与对抗鲁棒性的对数批量查询臂消除算法，并证明遗憾界。
2023-04-23 cs.CR cs.LG stat.ML
From Centralized to Decentralized Federated Learning: Theoretical Insights, Privacy Preservation, and Robustness Challenges
Aalborg University（奥尔堡大学）；IP Paris（巴黎理工学院）；University of Luxembourg（卢森堡大学）
本文从训练协议（分离聚合与联合优化）的新视角系统综述集中式与去中心化联邦学习，揭示其在模型效用、隐私和鲁棒性上的差异，并指出基于分布式优化的DFL方向尚未充分探索。
2025-03-10 cs.AI cs.DC cs.LG
zPROBE: Zero Peek Robustness Checks for Federated Learning
Purdue University（普渡大学）；San Diego State University（圣地亚哥州立大学）；University of California San Diego（加州大学圣地亚哥分校）
zPROBE提出首个基于高崩溃点秩统计与零知识证明的联邦学习隐私鲁棒性检查框架，通过随机聚类提升可扩展性，在不泄露用户更新的前提下检测并移除拜占庭恶意更新，实现低开销防御。
2023-09-05 cs.CR cs.LG
Cellular Traffic Prediction via Byzantine-robust Asynchronous Federated Learning
School of Software, Xinjiang University（新疆大学软件学院）；Department of Computer Science, Tongji University（同济大学计算机学院）
针对联邦学习易受拜占庭攻击的问题，提出基于分布鲁棒优化的异步差分联邦学习框架，利用多客户端协同训练并采用本地差分隐私与正则化，在三个真实数据集上验证了其优于现有方法的性能。
2025-05-25 cs.AI cs.LG
Median regression with differential privacy
Soochow University（苏州大学）；University of Tsukuba（筑波大学）
中值回归分析具有鲁棒性，这使得它比基于均值的回归更有吸引力，而差分隐私可以在某些数据集的统计分析过程中保护个人隐私。本文提出了三种中值回归的隐私保护方法。第一个算法是基于有限光滑方法，第二个提供了一个迭代的方式，最后一个进一步采用贪婪坐标下降方法。证明了这三种方法的隐私保护性能。这些算法的精度界或收敛性能也提供。数值计算表明，当样本量较小时，第一种方法比其他方法具有更好的精度。当样本量变大时，第一种方法需要更多的时间，而第二种方法需要更少的时间，并且具有很好的匹配精度。对于第三种方法，它在两种情况下都花费较少的时间，但它高度依赖于步长。
2020-06-04 cs.LG stat.CO stat.ML
Does Differential Privacy Prevent Backdoor Attacks in Practice?
Emory University（埃默里大学）；Zhejiang University（浙江大学）
本文首次评估DP-SGD与PATE在后门攻击下的实际防御效果，并提出更快更准的Label-DP替代方案，发现超参数调优可使Label-DP在保持精度的同时更有效防御后门攻击。
2023-11-10 cs.CR cs.LG
Robust Anomaly Detection and Backdoor Attack Detection Via Differential Privacy
University of California, Berkeley（加州大学伯克利分校）
异常点检测和新颖性检测是异常检测的两个重要课题。假设一个数据集的大部分数据都来自某个分布，离群点检测和新颖性检测都是为了检测不符合该分布的数据样本。离群值指的是该数据集中的数据样本，而新奇值指的是新样本。同时，针对机器学习模型的后门中毒攻击是通过向训练数据集中注入中毒样本来实现的，这些中毒样本可以被视为攻击者故意添加的“离群值”。差分隐私已被提出，以避免泄漏任何个人的信息，当聚合分析上执行一个给定的数据集。它通常通过直接向输入数据集或聚合机制的中间结果添加随机噪声来实现。在本文中，我们证明了应用差分隐私可以提高离群检测和新颖性检测的实用性，并扩展到检测后门攻击中的中毒样本。首先从理论上分析了差分隐私如何帮助检测，然后通过大量实验验证了差分隐私在提高异常检测、新奇检测和后门攻击检测方面的有效性。
2019-11-16 cs.AI cs.CR cs.LG
Forward Learning with Differential Privacy
Peking University（北京大学）
本文提出了一种私有化的前向学习算法DP-ULR，通过新颖的带拒绝批采样操作和动态调整噪声的隐私控制器，在保持相同隐私损失限制下实现了与基于反向传播的传统差分隐私算法相当的性能。
2025-04-01 cs.LG
Prive-HD: Privacy-Preserved Hyperdimensional Computing
UC San Diego（加州大学圣迭戈分校）
数据的隐私性是机器学习中的一个主要挑战，因为经过训练的模型可能会暴露封闭数据集的敏感信息。此外，边缘设备有限的计算能力和容量使得云托管推理不可避免。将私人信息发送到远程服务器使得推断的隐私也容易受到攻击，因为易受影响的通信信道甚至不可信的主机。在本文中，我们的目标是大脑启发的超维（HD）计算的隐私保护训练和推理，这是一种新的学习算法，由于其轻量级的计算和鲁棒性，特别是对具有严格约束的边缘设备的吸引力，因此越来越受到关注。事实上，尽管HD计算具有很好的属性，但由于其可逆计算，它几乎没有隐私。我们提出了一种准确性和隐私性的权衡方法，通过细致的量化和修剪超向量，HD的构建块，以实现差异化的私人模型，以及混淆发送的信息，用于云托管的推理。最后，我们将展示如何提出的技术也可以利用高效的硬件实现。
2020-05-14 cs.CR cs.LG stat.ML
Byzantine-Robust Federated Learning with Variance Reduction and Differential Privacy
University of Nevada, Reno（内华达大学里诺分校）
提出一种新的联邦学习方案，通过在客户端级差分隐私机制中引入稀疏化和动量驱动的方差缩减，在保证严格隐私的同时增强系统对拜占庭攻击的鲁棒性。
2023-09-07 cs.CR cs.LG
Differentially Private Optimizers Can Learn Adversarially Robust Models
首次从理论和实验证明差分隐私模型在准确性与鲁棒性权衡上达到帕累托最优，通过优化超参数、公共数据预训练和选择合适的DP优化器，在CIFAR10上实现了优于非私有模型的鲁棒性。
2023-11-21 cs.CR cs.CV cs.LG
Federated Item Response Models: A Gradient-driven Privacy-preserving Framework for Distributed Psychometric Estimation
University of Toronto（多伦多大学）
本文提出FedIRT框架，实现分布式项目反应模型校准，同时保护隐私；FedIRT-DP进一步引入差分隐私，提供隐私-效用平衡，并通过实验证明其在实际数据集中的有效性。
2026-04-03 cs.LG stat.AP stat.ML
Adversarially Robust Streaming Algorithms via Differential Privacy
Bar-Ilan University（巴伊兰大学）；Google（谷歌）；Tel Aviv University（特拉维夫大学）；Ben-Gurion University（本-古里安大学）
如果即使在数据流被自适应对手恶意选择时也能保持其准确性保证，则流算法被称为对抗鲁棒的。我们建立了一个连接对抗鲁棒性的流媒体算法和差分隐私的概念。这种连接使我们能够设计新的对抗强大的流算法，优于目前的最先进的结构，许多有趣的制度的参数。
2020-04-13 cs.DS cs.LG
Privacy Inference-Empowered Stealthy Backdoor Attack on Federated Learning under Non-IID Scenarios
Shanghai Jiao Tong University（上海交通大学）；Waseda University（早稻田大学）；Ant Group（蚂蚁集团）
针对非独立同分布场景下联邦学习后门攻击效果下降问题，提出隐私推理赋能的隐秘后门攻击方案，通过GAN生成补充数据优化攻击，可集成现有攻击并经实验验证有效且隐秘。
2023-06-13 cs.AI cs.CR cs.LG
Abstract Gradient Training: A Unified Certification Framework for Data Poisoning, Unlearning, and Differential Privacy
Imperial College London（帝国理工学院伦敦校区）；The Alan Turing Institute（艾伦·图灵研究所）
针对训练数据扰动验证不足的问题，本工作提出抽象梯度训练（AGT）统一框架，通过界定参数可达集，为数据投毒、机器遗忘和差分隐私场景下的模型鲁棒性提供形式化验证方法。
2025-11-12 cs.LG
Fault Tolerance of Neural Networks in Adversarial Settings
Indraprastha Institute of Information Technology（英迪拉普拉斯信息技术研究所）；Scientific Analysis Group（科学分析小组）；Institute for Systems Studies and Analyses（系统研究与分析研究所）；Aurel Vlaicu University of Arad（阿拉德奥雷尔弗拉伊库大学）
人工智能系统需要对不同的信任支柱进行全面评估，即公平性、可解释性、数据和模型隐私性、可靠性（安全性）以及对抗对抗攻击的鲁棒性。虽然这些研究问题已被广泛研究孤立，理解之间的权衡不同支柱的信任是缺乏的。在这种程度上，容错，隐私和对抗性鲁棒性之间的权衡评估的深度神经网络的特定情况下，通过考虑两个对抗性设置下的安全和隐私威胁模型。具体来说，这项工作研究的影响，容错的神经网络的训练模型，通过增加噪声的输入（对抗鲁棒性）和噪声的梯度（差分隐私）。虽然训练模型的噪声输入，梯度或权重增强容错，它是观察到的对抗鲁棒性和容错是不一致的。另一方面，（$ε,δ$）-差分私有模型增强了使用泛化误差测量的容错，理论上具有$e^ε - 1 + δ$的上限。这种对不同信任要素之间的权衡的新研究对于训练同时满足不同信任支柱要求的模型至关重要。
2020-03-07 cs.CR cs.DC cs.LG
Facebook Report on Privacy of fNIRS data
University of Louisiana at Lafayette（路易斯安那大学拉法叶分校）
本项目旨在为fNIRS数据开发隐私保护的机器学习训练技术，在集中式设置下结合差分隐私与认证鲁棒性构建本地模型，并探索在联邦学习中实施DP以防止多客户端间的私有信息泄露。
2024-01-01 cs.CR cs.LG
Analyzing the Robustness of Decentralized Horizontal and Vertical Federated Learning Architectures in a Non-IID Scenario
University of Murcia（穆尔西亚大学）；University of Zurich（苏黎世大学）；armasuisse Science & Technology（瑞士联邦国防采购局科技部门）
联邦学习（FL）允许参与者协作训练机器和深度学习模型，同时保护数据隐私。然而，FL范式仍然存在影响其可信度的缺点，因为恶意参与者可以对训练过程发起对抗攻击。相关工作研究了水平FL场景在不同攻击下的鲁棒性。然而，缺乏评估分散式垂直FL的鲁棒性并将其与受对抗攻击影响的水平FL架构进行比较的工作。因此，这项工作提出了三个分散的FL架构，一个用于水平场景，两个用于垂直场景，即HoriChain，VertiChain和VertiComb。这些架构提供了不同的神经网络和适用于水平和垂直场景的训练协议。然后，部署了一个分散的，隐私保护和联邦用例，使用非IID数据对手写数字进行分类，以评估这三种架构的性能。最后，通过一组实验，计算并比较了基于图像水印的数据投毒和梯度中毒对抗攻击对所提算法的鲁棒性。实验表明，尽管这两种攻击的特定配置可能会破坏体系结构的分类性能，但HoriChain是最强大的一种。
2022-10-20 cs.LG
SplitFed: When Federated Learning Meets Split Learning
CSIRO Data61（联邦科学与工业研究组织Data61）；Lehigh University（理海大学）
联邦学习（FL）和分裂学习（SL）是两种流行的分布式机器学习方法。两者都遵循模型到数据的场景;客户端训练和测试机器学习模型，而无需共享原始数据。由于客户端和服务器之间的机器学习模型架构分离，SL提供了比FL更好的模型隐私。此外，拆分模型使SL成为资源受限环境的更好选择。然而，由于跨多个客户端的基于中继的训练，SL比FL执行得慢。在这方面，本文提出了一种新的方法，命名为splitfed学习（SFL），合并这两种方法消除其固有的缺点，以及一个完善的架构配置，结合差分隐私和PixelDP，以提高数据隐私和模型的鲁棒性。我们的分析和实证结果表明，（纯）SFL提供了类似的测试精度和通信效率的SL，同时显着降低其计算时间比在SL的多个客户端的每个全球性的时代。此外，如在SL中，其在FL上的通信效率随着客户端的数量而提高。此外，在扩展的实验环境下，进一步评估了SFL的隐私性和鲁棒性。
2022-02-16 cs.LG
Robust and Differentially Private Mean Estimation
University of Washington（华盛顿大学）
在共享数据的统计学习和分析中，联邦学习和元学习等平台越来越广泛地采用，有两个主要问题：隐私和鲁棒性。每一个参与者都应该能够作出贡献，而不必担心泄露自己的敏感信息。同时，系统应该在恶意参与者插入损坏数据的情况下保持健壮。从共享数据中学习的最新算法进展集中在这些威胁中的任何一个上，使系统容易受到另一个的攻击。我们弥合这一差距的典型问题估计的平均从i.i.d.样品我们介绍PRIME，这是第一个有效的算法，实现了广泛的分布的隐私性和鲁棒性。我们进一步补充这一结果与一种新的指数时间算法，提高了样本的复杂性PRIME，实现了接近最优的保证和匹配已知的下限（非鲁棒性）私人均值估计。这证明了同时保证隐私和鲁棒性没有额外的统计成本。
2021-11-24 cs.CR cs.IT cs.LG
Adversarially Robust Bloom Filters: Privacy, Reductions, and Open Problems
City College of New York（纽约城市学院）
本研究探讨布隆过滤器在对抗环境下的鲁棒性与隐私，建立了Filic与NOY模型间的联系，证明PRF过滤器不满足BP测试，并提出首批差分隐私布隆过滤器构造。
2025-06-18 cs.CR cs.LG
The Federation Strikes Back: A Survey of Federated Learning Privacy Attacks, Defenses, Applications, and Policy Landscape
Purdue University（普渡大学）；KeyByte；University of Southern California（南加州大学）；FedML；DEVCOM Army Research Laboratory（DEVCOM陆军研究实验室）；Amazon（亚马逊）；NVIDIA（英伟达）
本综述全面梳理联邦学习的隐私攻击与防御方法，分析其局限性与隐私破防场景，总结行业应用经验，调研监管格局并提出未来发展方向，推动联邦学习兼顾模型准确性与数据隐私保护。
2025-03-22 cs.CR cs.LG
RoFL: Robustness of Secure Federated Learning
ETH Zurich（苏黎世联邦理工学院）
尽管近年来已经看到许多攻击暴露了联邦学习（FL）中的严重漏洞，但仍然缺乏对这些攻击的原因以及如何有效缓解这些攻击的全面理解。在这项工作中，我们揭开了现有（有针对性的）攻击的内部运作。我们提供了新的见解，为什么这些攻击是可能的，为什么一个明确的解决方案，FL的鲁棒性是具有挑战性的。我们表明，需要ML算法记住尾部数据有显着的影响FL的完整性。这种现象在很大程度上是在隐私的背景下研究的;我们的分析揭示了它对ML完整性的影响。我们表明，某些类别的严重攻击可以有效地减轻强制执行的约束，如客户端的更新范数界。我们研究如何有效地将这些限制到安全FL协议中的单服务器设置。在此基础上，我们提出了RoFL，一个新的安全FL系统，扩展了隐私保护输入验证的安全聚合。具体而言，RoFL可以对高维加密模型更新实施诸如$L_2$和$L_\infty$边界之类的约束。
2023-01-26 cs.CR cs.LG
Verification of Neural Networks Local Differential Classification Privacy
Technion（以色列理工学院）
本文提出局部差分分类隐私（LDCP）性质，并设计Sphynx算法通过KDE抽象少量网络来高效验证黑盒分类器的训练数据隐私，仅训练7%网络即达93%验证准确率。
2023-10-31 cs.CR cs.LG cs.LO
Your Privacy My Cloak: Backdoor Attacks on Differentially Private Federated Learning
针对差分隐私联邦学习，提出RING攻击，利用差分隐私的掩蔽效应绕过防御，在中等隐私预算下平均攻击成功率90.3%。
2026-10-06 cs.CR cs.LG
Privacy-Preserving Federated Learning on Partitioned Attributes
Shanghai Jiao Tong University（上海交通大学）；Ant Group（蚂蚁集团）
真实世界的数据通常按属性划分，并分布在不同的各方。联邦学习支持协作培训，而无需暴露本地数据或模型。正如我们通过设计攻击所展示的那样，即使有一小部分损坏的数据，对手也可以准确地推断出输入属性。我们引入了一个基于对抗学习的过程，该过程调整局部模型以释放隐私保护的中间表示。针对准确性下降的问题，提出了一种基于前后向分裂算法的防御方法，在前向和后向梯度下降步骤中分别处理准确性损失和隐私性损失，同时实现了两个目标。在各种数据集上进行的大量实验表明，我们的防御方法显著减轻了隐私泄露，对联邦学习任务的影响可以忽略不计。
2021-04-29 cs.CR cs.LG
Towards Trustworthy Federated Learning
University of Texas Rio Grande Valley（德克萨斯大学里奥格兰德河谷分校）；University of Copenhagen（哥本哈根大学）；George Mason University（乔治梅森大学）
本文提出一个综合框架，通过TNBS机制防御拜占庭攻击、采用q-FFL促进公平并引入差分隐私保护数据，在理论和实验上首次同时解决联邦学习的鲁棒性、公平性与隐私挑战。
2025-03-05 cs.CR cs.DC cs.LG
Deep Learning with Label Differential Privacy
Google Research（谷歌研究院）；MIT（麻省理工学院）
随机响应（RR）算法是一种提高调查数据聚合鲁棒性的经典技术，在差分隐私保证的应用中得到了广泛的应用。我们提出了一种新的算法，随机响应与先验（RRWithPrior），它可以提供更准确的结果，同时保持相同的隐私级别的RR保证。然后，我们应用RRWithPrior来学习具有标签差分隐私（LabelDP）的神经网络，并表明当只需要保护标签时，模型性能可以比以前最先进的私有基线显着提高。此外，我们研究了不同的方法来获得先验，当与RRWithPrior一起使用时，可以进一步提高模型性能，进一步减少私有和非私有模型之间的准确性差距。我们补充的实证结果与理论分析表明，LabelDP是可证明的比保护输入和标签更容易。
2021-10-26 cs.DS cs.LG
