How to Privately Tune Hyperparameters in Federated Learning? Insights from a Benchmark Study
该研究针对跨silo联邦学习的隐私保护超参数调整问题，通过基准测试明确不同分布下的适配策略，设计了基于多方同态加密的PrivTuna框架，兼具高效性与调整精度。
2024-05-22 cs.CR
Private and Communication-Efficient Federated Learning based on Differentially Private Sketches
Cyberspace Institute of Advanced Technology, Guangzhou University（广州大学网络空间先进技术研究院）
针对联邦学习中的隐私泄露和通信低效问题，提出基于差分隐私草图的DPSFL方法及其采用自适应裁剪策略的增强版DPSFL-AC，在保障隐私与通信效率的同时提升了模型准确率。
2024-10-10 cs.CR cs.LG
Private Federated Learning in Gboard
本文介绍 Gboard 结合联邦学习、DP-FTRL 算法与安全聚合技术，在保障用户打字数据本地处理与差分隐私的前提下，训练并部署高实用性的机器学习模型，并展望了可信执行环境等技术的未来应用。
2023-06-26 cs.CR
Private Hierarchical Clustering in Federated Networks
分析社交网络的结构属性，例如识别其聚类或找到其最中心的节点，有许多应用。然而，这些应用不受允许用户在其终端设备上本地存储其社交链接的联合社交网络的支持。在联邦制度中，用户希望访问个性化服务，同时也保持他们的社交联系私密。在本文中，我们采取了一个步骤，使联邦网络上的分析与差分隐私保证保护网络中的用户链接或联系人。具体来说，我们提出的第一项工作，计算层次聚类树使用本地差分隐私。我们计算它们的算法是新颖的，并且对学习到的树的质量具有理论上的界限。私有分层聚类树使得服务提供商能够以各种粒度查询用户周围的社区结构，而用户不必与提供商共享其原始联系人。我们证明了这种查询的效用，重新设计的国家的最先进的社会推荐算法的联邦设置。我们的推荐算法明显优于不使用社交联系人的基线，并与使用联系人的非隐私算法相当。
2021-05-19 cs.CR cs.SI
Bilateral Differentially Private Vertical Federated Boosted Decision Trees
本文提出具有双边差分隐私保证的纵向联邦XGBoost变体MaskedXGBoost，通过构建位于零空间的校准噪声扰动中间信息，在保护隐私的同时实现了更优的效用与更低的计算开销。
2025-04-30 cs.CR
FederBoost: Private Federated Learning for GBDT
FederBoost提出一种用于GBDT的私有联邦学习框架，支持垂直和水平数据划分，无需或仅需轻量密码操作，通过数据排序实现高效训练，在准确度上与集中式相当，速度提升4-5个数量级。
2025-02-27 cs.CR
Differentially Private AUC Computation in Vertical Federated Learning
Bytedance Inc.（字节跳动公司）
联邦学习最近作为一种隐私增强工具获得了极大的关注，以通过多方联合训练机器学习模型。作为一个子类别，垂直联邦学习（vFL）专注于将特征和标签分成不同方的场景。之前关于vFL的工作主要研究如何在模型训练期间保护标签隐私。然而，vFL中的模型评估也可能导致私有标签信息的潜在泄漏。一种缓解策略是应用标签差分隐私（DP），但它给出了对真实（非隐私）度量的不良估计。在这项工作中，我们提出了两个评估算法，可以更准确地计算广泛使用的AUC（曲线下面积）度量时，使用标签DP在vFL。通过大量的实验，我们表明我们的算法可以实现更准确的AUC相比，基线。
2022-05-24 cs.CR cs.LG
Differentially Private Federated Learning: A Systematic Review
Stevens Institute of Technology（史蒂文斯理工学院）；University of Connecticut（康涅狄格大学）；Tongji University（同济大学）；Northeastern University（东北大学）；The Hong Kong Polytechnic University（香港理工大学）；East China Normal University（华东师范大学）；Institute of Science Tokyo（东京科学研究所）
该研究针对现有差分隐私联邦学习系统综述的不足，提出基于隐私模型定义、保障特性与联邦场景的新分类体系，梳理相关应用，为隐私保护联邦学习提供研究参考与未来方向。
2025-10-02 cs.CR cs.LG
HeteroFedSyn: Differentially Private Tabular Data Synthesis for Heterogeneous Federated Settings
UNC Greensboro（北卡罗来纳大学格林斯伯勒分校）；University of Virginia（弗吉尼亚大学）
HeteroFedSyn是首个针对异构联邦设置的差分隐私表格数据合成框架，通过引入三种创新解决分布式边缘选择问题，实现与集中式合成相当的实用性。
2026-03-09 cs.CR
FedGSA: Geometry-Consistent Subspace Aggregation for Differentially Private Federated LoRA
Xidian University（西安电子科技大学）
FedGSA是用于差分隐私联邦LoRA的几何一致子空间聚合框架，通过格拉斯曼流形上的基不变子空间聚合减少更新扭曲，在GLUE等任务上较基线提升2.17%、2.27%且无额外隐私损失。
2026-08-05 cs.CR
DP-REC: Private & Communication-Efficient Federated Learning
Qualcomm AI Research（高通人工智能研究院）
隐私和通信效率是神经网络联邦训练中的重要挑战，将它们结合起来仍然是一个悬而未决的问题。在这项工作中，我们开发了一种方法，统一高度压缩通信和差分隐私（DP）。我们介绍了一种压缩技术的基础上相对熵编码（REC）的联邦设置。通过对REC的微小修改，我们得到了一个可证明的差分隐私学习算法，DP-REC，并展示了如何计算其隐私保证。我们的实验表明，DP-REC大大降低了通信成本，同时提供与最先进的隐私保证。
2021-12-07 cs.CR cs.LG stat.ML
Private Wireless Federated Learning with Anonymous Over-the-Air Computation
在传统的联邦学习（FL）中，差分隐私（DP）保证可以通过在传输到参数服务器（PS）之前向局部模型更新注入附加噪声来获得。在无线FL的情况下，我们表明，系统的隐私可以通过利用空中计算（OAC）和匿名的传输设备。在OAC中，设备同时以未编码的方式传输其模型更新，从而更有效地使用可用频谱。我们进一步利用OAC提供匿名的传输设备。所提出的方法通过减少必须注入的噪声量来提高私有无线FL的性能。
2021-02-13 cs.CR cs.LG
Learning Rate Adaptation for Federated and Differentially Private Learning
Helsinki Institute for Information Technology HIIT（赫尔辛基信息技术研究所）；University of Helsinki（赫尔辛基大学）
我们提出了一种算法，用于适应随机梯度下降（SGD）的学习率，避免了使用验证集的需要。自适应的想法来自外推技术：为了获得对SGD基础的梯度流的误差估计，我们比较了一个完整步骤和两个半步骤获得的结果。该算法应用于两个独立的框架：联邦和差分私人学习。使用深度神经网络的例子，我们凭经验表明，自适应算法是有竞争力的手动调整常用的优化方法的差异私人训练。我们还表明，它在联邦学习的情况下，与常用的优化方法不同，工作得很好。
2019-05-31 cs.CR cs.LG stat.ML
Using Autoencoders on Differentially Private Federated Learning GANs
Delft University of Technology（代尔夫特理工大学）
在过去的几十年里，机器学习已经应用于计算机科学的几乎所有领域。GANs的引入为医学研究和文本预测领域带来了新的可能性。然而，这些新字段处理的是对隐私更加敏感的数据。为了维护用户隐私，可以使用联邦学习、差分隐私和GANs的组合来处理私有数据，而不会泄露用户的隐私。最近，已经公布了这种组合的两种实现：DP-馈入平均GAN和GS-W GAN。本文比较了它们的性能，并介绍了DP-Fed-Avg GAN的替代版本，该版本利用去噪技术来对抗将差分隐私和联邦学习应用于GANs时通常会发生的准确性损失。我们还比较了去噪DP-Fed-Avg GAN的新适应在这个领域的最先进的实现。
2022-06-24 cs.CR cs.LG
Compression Boosts Differentially Private Federated Learning
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；BME-HIT（布达佩斯技术与经济大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立高等物理、数学与信息学院）
联邦学习允许分布式实体协作地训练公共模型，而无需共享它们自己的数据。虽然它通过仅交换参数更新来防止数据汇集和聚合，但是它仍然容易受到各种推断和重建攻击，其中恶意实体可以从捕获的梯度中学习关于参与者的训练数据的私有信息。差分隐私是用来获得理论上健全的隐私保证，对这种推理攻击的噪声交换的更新向量。然而，增加的噪声与模型大小成比例，对于现代神经网络，模型大小可以非常大。这可能导致模型质量差。在本文中，压缩感知被用来减少模型的大小，从而提高模型的质量，而不牺牲隐私。我们使用2个数据集进行了实验，结果表明，与传统的非私有联邦学习方案相比，我们的隐私保护方案可以减少高达95%的通信成本，而性能损失可以忽略不计。
2020-11-10 cs.CR cs.LG
Adap DP-FL: Differentially Private Federated Learning with Adaptive Noise
East China Normal University（华东师范大学）
联邦学习试图通过让客户只公开他们的本地训练模型来解决孤立数据岛的问题。然而，研究表明，通过分析局部模型参数，如深度神经网络模型权重，仍然可以推断出私人信息。近年来，差分隐私被应用于联邦学习中以保护数据隐私，但加入的噪声可能会大大降低学习性能。通常情况下，在以前的工作中，训练参数被同等地裁剪，噪声被均匀地添加。没有考虑训练参数的异质性和收敛性。在本文中，我们提出了一个差分隐私的联邦学习方案与自适应噪声（Adap DP-FL）。具体来说，由于梯度的异质性，我们进行自适应梯度裁剪为不同的客户端和不同的回合;由于梯度收敛，我们添加相应的减少噪音。在真实数据集上的大量实验表明，我们的Adap DP-FL显著优于以前的方法。
2022-11-29 cs.CR cs.DC cs.LG
Voting-based Approaches For Differentially Private Federated Learning
University of California, Santa Barbara（加州大学圣巴巴拉分校）；NEC Laboratories America（NEC美国实验室）；University of California, San Diego（加州大学圣迭戈分校）
差分私有联邦学习（DPFL）是一个新兴的领域，有着广泛的应用前景。基于梯度平均的DPFL方法需要昂贵的通信轮次，并且由于其添加的噪声的显式维度依赖性，几乎不能与大容量模型一起工作。在这项工作中，灵感来自知识转移非联邦隐私学习Papernot等人。(2017; 2018），我们设计了两个新的DPFL方案，通过从每个局部模型返回的数据标签之间的投票，而不是平均的梯度，这避免了维度依赖，并显着降低了通信成本。从理论上讲，通过应用安全多方计算，我们可以指数放大（数据依赖）的隐私保证时，投票分数的利润率很大。大量的实验表明，我们的方法显着提高了DPFL的国家的最先进的隐私效用权衡。
2021-02-16 cs.CR cs.LG
MYSTIKO : : Cloud-Mediated, Private, Federated Gradient Descent
IBM Research AI（IBM研究AI）；RPI（伦斯勒理工学院）
联邦学习使多个分布式参与者（可能在不同的云上）能够通过共享参数/梯度来协作和训练机器/深度学习模型。然而，共享梯度，而不是集中数据，可能不像人们期望的那样私密。对明文梯度的逆向工程攻击已被证明是实际可行的。现有的差分私有联邦学习解决方案虽然有希望，但会导致模型不太准确，并且需要进行非平凡的超参数调整。在本文中，我们研究了加性同态加密的使用（特别是Paillier密码）来设计安全的联邦梯度下降技术，该技术（i）不需要添加统计噪声或超参数调整，（ii）不改变最终模型的最终精度或效用，（iii）确保参与者的明文模型参数/梯度永远不会被泄露给参与联邦学习作业的任何其他参与者或第三方协调器，（iv）最小化对任何第三方协调器的信任，以及（v）是高效的，具有最小的开销，并且成本有效。
2020-12-01 cs.CR cs.DC cs.LG
Training a Tokenizer for Free with Private Federated Learning
Cornell Tech（康奈尔科技校区）；Apple（苹果公司）
具有差分隐私的联邦学习，即私有联邦学习（PFL），使得可以在分布在用户设备上的私有数据上训练模型而不损害隐私。PFL对于诸如神经网络之类的模型是有效的，这些模型具有固定数量的参数，因此具有固定维度的梯度向量。这样的模型包括神经网络语言模型，但不包括本文的主题--标记器。训练分词器需要来自无限词汇表的单词的频率，并且用于查找无限词汇表的现有方法需要单独的隐私预算。一种解决方法是根据公开可用的数据对标记器进行训练。然而，在本文中，我们首先表明，与访问用户数据的违反隐私的“oracle”令牌化器相比，在不匹配的数据上训练的令牌化器会导致更差的模型性能，困惑度增加了20%。我们还表明，子词tokenizers更适合联邦上下文比字级的，因为他们可以编码新的单词，虽然每个单词有更多的令牌。其次，我们提出了一种新的方法来获得一个标记器，而不使用任何额外的隐私预算。在语言模型的私有联邦学习过程中，我们从模型中采样，在采样序列上训练新的标记器，并更新模型嵌入。然后，我们继续进行私有联邦学习，并获得“oracle”标记器的1%以内的性能。由于此过程仅间接地在私有数据上训练令牌化器，因此我们可以使用差分隐私的“后处理保证”，从而不使用额外的隐私预算。
2022-03-15 cs.CL cs.CR cs.LG
D2P-Fed: Differentially Private Federated Learning With Efficient Communication
University of California, Berkeley（加州大学伯克利分校）；Virginia Tech（弗吉尼亚理工大学）
在本文中，我们提出了基于离散高斯差分隐私联邦学习（D2 P-Fed），一个统一的计划，以实现差分隐私（DP）和联邦学习（FL）的通信效率。特别地，与仅兼顾这两个方面的先前工作相比，D2 P-Fed提供了更强的隐私保证、更好的可组合性和更小的通信成本。其核心思想是将离散高斯噪声应用于私有数据传输。我们提供了完整的分析的隐私保障，通信成本和收敛速度的D2 P-Fed。我们在INFIMNIST和CIFAR 10上评估了D2 P-Fed。结果表明，D2 P-Fed在模型精度方面比最先进的模型高出4.7%至13.0%，同时节省了三分之一的通信成本。
2021-01-02 cs.CR cs.LG stat.ME
Asymmetric Private Set Intersection with Applications to Contact Tracing and Private Vertical Federated Machine Learning
Morfix；OpenMined；École Supérieure en Informatique, Sidi Bel Abbès（西迪贝勒阿巴斯高等计算机学院）；Bitdefender（比特梵德）；Edinburgh Napier University（爱丁堡龙比亚大学）；apheris AI；University of California Los Angeles（加利福尼亚大学洛杉矶分校）；Humboldt-Universität zu Berlin（柏林洪堡大学）；Tessella
我们提出了一个多语言，跨平台，开源的非对称私有集交集（PSI）和PSI-Cardinality（PSI-C）库。我们的协议结合了传统的基于DDH的PSI和PSI-C协议与基于Bloom过滤器的压缩，有助于减少非对称设置中的通信。目前，我们的库支持C++，C，Go，WebAssembly，JavaScript，Python和Rust，并在传统硬件（x86）和浏览器目标上运行。我们进一步将我们的库应用于两个用例：（i）与现有方法兼容的隐私保护联系人跟踪协议，但提高了它们的隐私保证，以及（ii）垂直分区数据上的隐私保护机器学习。
2020-11-18 cs.CR cs.LG
ALI-DPFL: Differentially Private Federated Learning with Adaptive Local Iterations
East China Normal University（华东师范大学）；Shanghai Key Laboratory of Trustworthy Computing（上海市可信计算重点实验室）
针对资源受限的联邦学习，提出ALI-DPFL算法，通过理论分析确定最优本地迭代次数，在MNIST等数据集上显著优于现有方法。
2024-05-22 cs.CR cs.LG
Shuffled Differentially Private Federated Learning for Time Series Data Analytics
Beijing Institute of Technology（北京理工大学）
针对时间序列数据联邦学习中的隐私保护与时间依赖性学习干扰问题，提出结合本地差分隐私与混洗技术的隐私放大算法，在五种数据集上验证其准确率损失极小且优于集中式差分隐私方法。
2023-07-30 cs.AI cs.CR cs.LG
DPAUC: Differentially Private AUC Computation in Federated Learning
ByteDance Inc.（字节跳动公司）
联邦学习（FL）最近作为一种隐私增强工具，由多个参与者联合训练机器学习模型，得到了极大的关注。先前关于FL的工作主要研究如何在模型训练期间保护标签隐私。然而，FL中的模型评估也可能导致私有标签信息的潜在泄漏。在这项工作中，我们提出了一个评估算法，可以准确地计算广泛使用的AUC（曲线下面积）度量时，使用标签差分隐私（DP）在FL。通过大量的实验，我们表明我们的算法可以计算准确的AUC相比，地面真相。代码可从{ \url{https://github.com/bytedance/fedlearner/tree/master/example/privacy/DPAUC} }获得。
2022-12-07 cs.CR cs.LG
Differentially-Private Federated Linear Bandits
Media Lab（媒体实验室）；Institute for Data, Systems and Society（数据、系统与社会研究所）；Massachusetts Institute of Technology（麻省理工学院）
分散式学习系统的迅速发展要求有区别的私人协作学习。在本文中，我们研究这一背景下的线性土匪：我们认为一个集合的代理合作，以解决一个共同的上下文土匪，同时确保他们的通信保持私密。对于这个问题，我们设计了\textsc{FedUCB}，集中式和分散式（对等）联邦学习的多代理私有算法。我们提供了一个严格的技术分析，其效用的遗憾，改善合作的强盗学习的几个结果，并提供严格的隐私保证。我们的算法提供了竞争力的性能，无论是在伪遗憾界和经验基准性能在各种多智能体设置。
2020-10-22 cs.CR cs.LG cs.MA
Communication Efficient Private Federated Learning Using Dithering
Imperial College London（帝国理工学院）
针对联邦学习中隐私保护与通信效率的冲突，本文在可信聚合器模型下提出基于减性抖动的客户端量化方案，在保证同等差分隐私水平的同时大幅降低通信量，且实验证明其准确性与全精度梯度方法相当。
2023-09-14 cs.CR cs.LG
Near-optimal Differentially Private Client Selection in Federated Settings
University of New Brunswick（新不伦瑞克大学）；International Institute of Information Technology, Bangalore（班加罗尔国际信息技术学院）
本文提出一种迭代差分隐私算法，用于联邦设置中的客户端选择，在无需客户端间通信的情况下，实现长期平均参与度的近最优值并满足差分隐私保证，实验结果验证了其有效性。
2023-10-13 cs.AI cs.CR cs.DC
Private Federated Learning with Domain Adaptation
Oracle Labs（甲骨文实验室）
联邦学习（FL）是一种分布式机器学习（ML）范式，它使多方能够联合重新训练共享模型，而无需与任何其他方共享他们的数据，从而在规模和隐私方面都具有优势。我们提出了一个框架，以增加这种合作模式的建设与每个用户的领域自适应。我们表明，这种技术提高了模型的准确性，为所有用户，使用真实和合成数据，这种改善是更加明显的差分隐私边界施加在FL模型。
2019-12-13 cs.CR cs.LG stat.ML
FedPerm: Private and Robust Federated Learning by Parameter Permutation
Oracle Labs（甲骨文实验室）
联邦学习（FL）是一种分布式学习范例，其使得相互不信任的客户端能够协作地训练公共机器学习模型。客户端数据隐私在FL中至关重要。同时，必须保护模型免受敌对客户端的中毒攻击。现有的解决方案孤立地解决了这两个问题。我们提出FedPerm，一个新的FL算法，解决这两个问题，通过结合一种新的模型内参数洗牌技术，放大数据隐私，与私人信息检索（PIR）为基础的技术，允许加密聚合客户端的模型更新。这些技术的组合进一步帮助联合服务器约束来自客户端的参数更新，以便减少敌对客户端的模型中毒攻击的影响。我们进一步提出了FedPerm的独特的超参数，可以有效地用于权衡模型效用的计算开销。我们对MNIST数据集的实证评估表明，FedPerm的有效性超过现有的差分隐私（DP）在FL的执法解决方案。
2022-08-16 cs.CR cs.LG
Multi-Message Shuffled Privacy in Federated Learning
University of California, Los Angeles（加州大学洛杉矶分校）
我们研究通信约束下的差分私有分布式优化。使用SGD进行优化的服务器聚合客户端局部梯度，以使用分布式均值估计（DME）进行模型更新。我们开发了一个通信效率的私人DME，使用最近开发的多消息混洗（MMS）的隐私框架。我们分析了我们提出的DME方案，以表明它实现了顺序最优的隐私-通信-性能权衡，解决了[1]中的一个公开问题，即洗牌模型是否可以改善安全聚合中获得的权衡。这也解决了MMS模型中私有向量和的最佳权衡问题。我们通过一种新的隐私机制来实现它，该机制在不同分辨率的局部梯度向量上非均匀地分配隐私。这些结果被直接应用到私人分布式学习算法使用此私人梯度聚集迭代的保证。我们还数值评估私人DME算法。
2023-02-22 cs.CR cs.LG
Differentially Private Federated $k$-Means Clustering with Server-Side Data
Institute of Science；CNRS \& Universit\'e Paris Cité, Paris, France
针对分布式数据下传统聚类因隐私问题无法适用的难题，提出兼具完全联邦与差分隐私特性的FedDP-KMeans算法，利用服务端数据解决初始化难题，结合联邦DP-Lloyds算法在多基准任务上取得优异结果并给出理论界。
2025-06-11 cs.CR cs.LG
Dopamine: Differentially Private Federated Learning on Medical Data
Imperial College London（伦敦帝国理工学院）
虽然丰富的医疗数据集托管在分布在世界各地的医院中，但对患者隐私的担忧是使用此类数据来训练深度神经网络（DNN）进行医疗诊断的障碍。我们提出了Dopamine，一个在分布式数据集上训练DNN的系统，它采用了联邦学习（FL）和差分隐私随机梯度下降（DPSGD），并与安全聚合相结合，可以在差分隐私（DP）保证和DNN的准确性之间建立比其他方法更好的权衡。在一个糖尿病视网膜病变（DR）任务上的结果表明，Dopamine提供的DP保证接近于集中式训练的DP保证，而在没有协调的情况下应用DPSGD的并行DP时，其分类精度优于FL。代码可在https://github.com/ipc-lab/private-ml-for-health上获得。
2021-01-29 cs.CR cs.DC cs.LG
Federated Learning in Non-IID Settings Aided by Differentially Private Synthetic Data
针对联邦学习 Non-IID 数据导致全局模型性能下降的问题，提出 FedDPMS，利用可信服务器共享的差分隐私潜在表示均值生成合成数据以增强本地训练，并在图像分类中优于同类先进方法。
2023-04-20 cs.CR cs.DC cs.LG
Private Anytime Selective-Risk Certification for Federated Retrieval-Augmented Generation: Guarantees and Empirical Limits
Iowa State University（爱荷华州立大学）
本研究提出Fed-SRC这一适用于联邦RAG的私有任意时刻选择性风险认证方法，经实验验证其在多数场景下可满足风险保证，性能优于对比方法。
2026-08-11 cs.AI cs.CR
Robbing the Fed: Directly Obtaining Private Data in Federated Learning with Modified Models
University of Maryland（马里兰大学）；New York University（纽约大学）
联邦学习以其提高用户隐私和效率的承诺迅速流行起来。以前的工作表明，联邦梯度更新包含的信息，可以用来近似恢复用户数据在某些情况下。这些以前对用户隐私的攻击在范围上是有限的，甚至不能扩展到在少数数据点上聚合的梯度更新，这使得一些人得出结论，数据隐私对于现实的训练制度仍然是完整的。在这项工作中，我们引入了一个新的威胁模型的基础上最小的，但恶意修改的共享模型架构，使服务器能够直接获得一个逐字副本的用户数据从梯度更新，而不解决困难的逆问题。即使是大批量聚合的用户数据--以前的方法无法提取有意义的内容--也可以通过这些最小修改的模型重建。
2022-03-18 cs.CR cs.LG
"You Can't Fix What You Can't Measure": Privately Measuring Demographic Performance Disparities in Federated Learning
University of Edinburgh（爱丁堡大学）；Princeton University（普林斯顿大学）；University of Southern California（南加州大学）
与传统的机器学习模型一样，使用联邦学习训练的模型可能会在不同的人口统计群体中表现出不同的性能。模型持有者必须识别这些差异，以减轻对群体的不当伤害。然而，测量模型在组中的性能需要访问有关组成员的信息，出于隐私原因，这些信息的可用性通常是有限的。我们提出了新的本地差异私人机制来衡量不同群体的性能差异，同时保护组成员的隐私。为了分析这些机制的有效性，我们限制了它们在针对给定隐私预算进行优化时估计差异的错误。我们的研究结果表明，对于实际数量的参与客户端，错误迅速减少，这表明，与先前的工作建议相反，保护隐私并不一定与识别联邦模型的性能差异相冲突。
2023-01-11 cs.CR cs.CY cs.LG
Dynamic Privacy Allocation for Locally Differentially Private Federated Learning with Composite Objectives
KTH Royal Institute of Technology（KTH皇家理工学院）
本文提出一种局部差分隐私联邦学习算法，通过动态分配时变噪声方差以最小化优化误差上界，在隐私预算约束下同时实现隐私保护与效用，无需调整迭代次数且性能优于现有方法。
2023-08-02 cs.CR cs.DC cs.LG
Differentially Private Federated Bayesian Optimization with Distributed Exploration
National University of Singapore（新加坡国立大学）；MIT（麻省理工学院）
最近，贝叶斯优化（BO）被联邦汤普森采样（FTS）算法扩展到联邦学习（FL）设置，它有很好的应用，如联邦超参数调整。然而，FTS没有配备一个严格的隐私保证，这是一个重要的考虑因素，在FL。最近的作品已纳入差分隐私（DP）到训练的深度神经网络通过一个通用的框架添加DP迭代算法。遵循这个通用DP框架，我们在这里的工作将DP集成到FTS中，以保护用户级隐私。我们还利用这个通用DP框架处理不同参数向量的能力，以及BO的本地建模技术，通过分布式探索（DE）进一步提高我们算法的实用性。由此产生的差分隐私FTS与DE（DP-FTS-DE）算法被赋予的隐私和效用的理论保证，并服从有趣的理论见解的隐私效用权衡。我们还使用真实世界的实验表明，DP-FTS-DE实现高效用（竞争性能），具有很强的隐私保证（小的隐私损失），并诱导隐私和效用之间的权衡。
2021-10-27 cs.CR cs.LG
From Noisy Fixed-Point Iterations to Private ADMM for Centralized and Federated Learning
Univ. Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）
该研究将差分隐私机器学习建模为噪声不动点迭代，并据此为集中式、联邦式和完全去中心化学习提出隐私 ADMM 算法，证明其隐私放大与线性收敛效用保证。
2023-07-12 cs.CR cs.DC cs.LG
Differentially Private Secure Multi-Party Computation for Federated Learning in Financial Applications
Georgia Institute of Technology（佐治亚理工学院）；J.P. Morgan AI Research（摩根大通人工智能研究院）
联邦学习使一群客户端能够与受信任的服务器一起协作学习共享的机器学习模型，同时将每个客户端的数据保存在自己的本地系统中。这降低了暴露敏感数据的风险，但仍然有可能从通信的模型参数中对有关客户端私有数据集的信息进行逆向工程。因此，大多数联邦学习系统使用差分隐私来将噪声引入参数。这增加了任何试图揭示私人客户端数据的不确定性，但也降低了共享模型的准确性，限制了隐私保护噪声的有用规模。一种系统，通过还包括安全多方计算，可以进一步降低协调服务器恢复私人客户端信息的能力，而没有额外的准确性损失。结合这两种技术的方法与金融公司特别相关，因为它为协作学习提供了新的可能性，而不会暴露敏感的客户数据。这可以为重要任务（如最佳交易执行、信贷发放或欺诈检测）生成更准确的模型。本文的主要贡献是：我们提出了一个隐私保护的联邦学习协议的非专业观众，证明它使用逻辑回归在现实世界中的信用卡欺诈数据集，并评估它使用一个开源的模拟平台，我们已经适应了联邦学习系统的发展。
2020-10-12 cs.AI cs.CR cs.MA
Constrained Differentially Private Federated Learning for Low-bandwidth Devices
Univ. Grenoble Alpes（格勒诺布尔大学）；Inria（法国国家信息与自动化研究所）；BME-HIT（匈牙利布达佩斯技术与经济大学信息安全系（HIT））；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）；LIG（格勒诺布尔信息与信号处理实验室）
当不同的实体希望协作学习公共模型而不共享它们的训练数据时，联邦学习成为一种突出的方法。然而，联邦学习有两个主要缺点。首先，它的带宽效率非常低，因为它涉及聚合服务器和参与实体之间的大量消息交换。如果参与实体是例如移动设备，则该带宽和对应的处理成本可能是过高的。此外，尽管联邦学习通过不共享数据来提高隐私性，但最近的攻击表明，它仍然泄露了有关训练数据的信息。提出了一种新的隐私保护联邦学习方案。该方案基于差分隐私，提供了理论上的隐私保证。此外，它通过将模型学习阶段限制在少数选定的权重上来优化模型精度。最后，如实验所示，与标准联邦学习相比，它将上行和下行带宽减少了99.9%，使其适用于移动系统。
2021-02-27 cs.AI cs.CR cs.LG
Private Federated Learning In Real World Application -- A Case Study
Apple（苹果公司）
本文以应用选择模型为案例，提出集成注意力机制与不确定性管理的私有联邦学习（PFL）框架，通过边缘设备训练与中央聚合保障数据隐私，实验验证其真实场景可行性及提升模型准确性的潜力。
2025-02-10 cs.CR cs.LG
A Graph Federated Architecture with Privacy Preserving Learning
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
联邦学习涉及一个中央处理器，它与多个代理一起工作，以找到一个全局模型。这一过程包括反复交换估计数，从而传播与当地私人数据有关的信息。这样的方案在处理敏感数据时可能不方便，因此，需要算法的私有化。此外，连接到多个客户端的服务器的当前架构对服务器处的通信故障和计算过载高度敏感。因此，在这项工作中，我们开发了一个私人的多服务器联邦学习计划，我们称之为图联邦学习。我们使用加密和差分隐私的概念来私有化的联邦学习算法，我们扩展到图结构。我们研究了私有化的学习算法的性能一般的私人计划，可以建模为加性噪声的影响。我们的凸性和Lipschitz条件下，私有化的过程中匹配的非私有算法的性能，即使当我们增加噪声方差。
2021-04-26 cs.AI cs.CR cs.LG
LanFL: Differentially Private Federated Learning with Large Language Models using Synthetic Samples
Northwestern University（西北大学）
针对大语言模型联邦学习中参数不可访问及计算通信成本高的问题，提出黑盒提示式LanFL，通过差分隐私合成样本生成与提示优化实现跨参与者知识共享和本地隐私保护。
2024-10-24 cs.CR cs.LG
Differentially Private Heavy Hitter Detection using Federated Analytics
Apple Inc（苹果公司）；Stanford University（斯坦福大学）
本研究针对差分隐私高频项检测场景，提出自适应超参数调优等改进方法，结合联邦分析框架在Reddit数据集上验证了其在满足多约束下的性能提升效果。
2023-07-21 cs.CR cs.LG
DPD-fVAE: Synthetic Data Generation Using Federated Variational Autoencoders With Differentially-Private Decoder
Hasso Plattner Institute（哈索·普拉特纳研究所）
联邦学习（FL）在处理医疗保健等领域常见的敏感分布式数据集方面越来越受到关注。而不是直接在这些数据集上训练分类模型，最近的工作已经考虑了训练数据生成器能够合成一个新的数据集，这是不受任何隐私限制。因此，任何人都可以使用合成数据，这使得能够进一步评估机器学习架构和研究问题。作为隐私保护的附加层，可以将差分隐私引入训练过程。我们提出了DPD-fVAE，一个联邦变分自编码器与差分私有解码器，合成一个新的，标记的数据集，为后续的机器学习任务。通过仅将解码器组件与FL同步，我们可以降低每个时期的隐私成本，从而实现更好的数据生成器。在我们对MNIST，Fashion-MNIST和CelebA的评估中，我们展示了DPD-fVAE的好处，并在Fréchet Inception Distance和在合成数据集上训练的分类器的准确性方面报告了相关工作的竞争性能。
2022-11-21 cs.CR cs.CV cs.LG
DMM: Distributed Matrix Mechanism for Differentially-Private Federated Learning Based on Constant-Overhead Linear Secret Resharing
J.P. Morgan AI Research \& J.P. Morgan AlgoCRYPT CoE, New York, New York, USA
针对分布式差分隐私联邦学习效用不足的问题，提出基于恒定开销线性秘密重分享的分布式矩阵机制DMM，通过新型密码学协议实现兼具高隐私与高效用的联邦学习，实验验证其效用提升显著且开销低。
2025-06-17 cs.CR cs.LG
Private Multi-Task Learning: Formulation and Applications to Federated Learning
Carnegie Mellon University（卡内基梅隆大学）
本文通过联合差分隐私形式化多任务学习的客户端级隐私，提出均值正则化MTL算法，在联邦学习中实现更优的隐私-效用权衡。
2023-10-17 cs.CR cs.LG
Differentially Private Online Federated Learning with Correlated Noise
KTH Royal Institute of Technology（KTH皇家理工学院）；The Chinese University of Hong Kong（香港中文大学）
针对在线联邦学习中持续发布模型的隐私保护问题，提出采用时间相关噪声的差分隐私算法，并通过扰动迭代分析与拟强凸条件建立动态遗憾界，实验验证其有效性。
2025-01-08 cs.CR cs.DC cs.LG
On Using Secure Aggregation in Differentially Private Federated Learning with Multiple Local Steps
University of Helsinki（赫尔辛基大学）；Telefónica Research（西班牙电信研究机构）
本文提出一种新分析方法，使联邦学习在多个本地步骤中仍能利用安全聚合，从而在有限通信轮数下实现更高实用性的模型并保证隐私保护。
2025-03-24 cs.CR cs.LG
Differentially Private Federated Learning with Local Regularization and Sparsification
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
用户级差分隐私（DP）为联邦学习中特定于任何用户数据的信息提供可认证的隐私保证。确保用户级DP的现有方法以严重的精度下降为代价。本文研究了用户级DP保证下联邦学习模型性能下降的原因。我们发现解决这个问题的关键是在执行保证DP的操作之前自然地限制本地更新的规范。为此，我们提出了两种技术，有界局部更新正则化和局部更新稀疏化，以提高模型质量，而不牺牲隐私。我们提供理论分析我们的框架的收敛性，并给予严格的隐私保证。大量的实验表明，我们的框架显着提高了隐私效用权衡的最先进的联邦学习与用户级DP保证。
2022-03-21 cs.CR cs.CV cs.LG
Differential Private Federated Transfer Learning for Mental Health Monitoring in Everyday Settings: A Case Study on Stress Detection
University of California, Irvine（加利福尼亚大学欧文分校）；School of Nursing, University of California, Irvine（加利福尼亚大学欧文分校护理学院）；Institute for Future Health, University of California, Irvine（加利福尼亚大学欧文分校未来健康研究所）
针对心理健康监测中的隐私泄露与数据不足问题，提出差分隐私联邦迁移学习框架，结合差分隐私与预训练模型，在压力检测案例中实现准确率提升10%、召回率提升21%且保障隐私。
2024-04-29 cs.CR cs.LG
Differentially Private Federated Learning: A Client Level Perspective
SAP SE（思爱普股份公司）；ETH Zurich（苏黎世联邦理工学院）
联邦学习是隐私保护领域的一个新进展。在这种情况下，受信任的策展人聚合多个客户端以分散方式优化的参数。然后将生成的模型分发回所有客户端，最终汇聚为一个联合代表模型，而无需显式地共享数据。然而，该协议容易受到差分攻击，这可能来自联邦优化过程中的任何一方。在这种攻击中，客户端在训练期间的贡献以及有关其数据集的信息通过分析分布式模型来揭示。我们解决这个问题，并提出了一个算法，客户端侧的差分隐私保护联邦优化。其目的是在训练过程中隐藏客户的贡献，平衡隐私损失和模型性能之间的权衡。实证研究表明，如果有足够多的参与客户端，我们提出的程序可以保持客户端级别的差分隐私，只有一个较小的成本模型的性能。
2018-03-01 cs.CR cs.LG stat.ML
Differentially Private Vertical Federated Clustering
Purdue University（普渡大学）；University of Virginia（弗吉尼亚大学）
本文提出首个差分隐私纵向联邦 k-means 聚类算法，通过不可信服务器聚合差分隐私本地中心与成员编码构建加权网格，并基于 Flajolet-Martin sketch 估计网格权重，在保证隐私的同时实现了接近中央隐私设置的模型效用。
2023-03-31 cs.CR cs.LG
