Differentially Private Distributed Bayesian Linear Regression with MCMC
Sabancı University（萨班哲大学）；University of Amsterdam（阿姆斯特丹大学）
面向多方共享含噪汇总统计量的分布式场景，提出差分隐私 Bayesian 线性回归框架，利用 MCMC 及单轮快速算法实现兼具计算优势、估计与预测性能的隐私推断。
2023-06-07 cs.LG stat.CO stat.ML
A Distributed Fair Machine Learning Framework with Private Demographic Data Protection
University of Wyoming（怀俄明大学）
公平机器学习已经成为一个具有广泛社会影响的重要研究课题。然而，大多数公平的学习方法需要直接存取个人人口统计数据，而这些数据越来越多地被限制用于保护用户隐私（例如，欧盟一般数据保护条例）。在本文中，我们提出了一个分布式的公平学习框架，以保护人口统计数据的隐私。我们假设这些数据由第三方私人持有，该第三方可以与数据中心（负责模型开发）进行通信，而不会泄露人口统计信息。我们提出了一个原则性的方法来设计公平的学习方法在这个框架下，四种方法，并显示他们一贯优于现有的同行在公平性和准确性在三个真实世界的数据集。我们从理论上分析了该框架，并证明了它可以学习模型具有高公平性或高准确性，与他们的权衡平衡的阈值变量。
2019-09-17 cs.LG stat.ML
High-Dimensional Differentially Private Quantile Regression: Distributed Estimation and Statistical Inference
School of Statistics and Data Science, Shanghai University of Finance and Economics（上海金融学院统计与数据科学学院）；School of Statistics and Data Science, Southeast University（东南大学统计与数据科学学院）；School of Statistics and Data Science, Shanghai University of International Business and Economics（上海国际商务学院统计与数据科学学院）
针对分布式高维数据隐私保护问题，提出基于牛顿变换的差分隐私分位数回归方法，实现近最优统计精度与形式化隐私保障，并构建去偏估计器与高效自助法进行推断。
2026-06-23 cs.LG stat.ML
Hiding in the Crowd: A Massively Distributed Algorithm for Private Averaging with Malicious Adversaries
INRIA（法国国家信息与自动化研究所(INRIA)）
在我们与连接设备的日常交互中收集的大量个人数据为机器学习推动的创新服务提供了巨大的机会，同时也引发了对个人隐私的严重担忧。在本文中，我们提出了一个大规模分布式协议，供大量用户私下计算其联合数据的平均值，然后可用于学习预测模型。我们的协议可以找到一个任意精度的解决方案，不依赖于第三方，并在诚实但好奇和恶意对手模型的整个执行过程中保护用户的隐私。具体来说，我们证明了对手（恶意用户集）观察到的信息并没有显着降低其预测的私人价值相比，其先前的信念的不确定性。隐私保护的水平取决于与网络图的拉普拉斯矩阵相关的量，并且通常随着图的大小而提高。此外，我们设计了一个验证程序，提供保护，防止恶意用户加入服务的目标是操纵算法的结果。
2018-03-27 cs.CR cs.DC cs.LG
Differentially Private Distributed Online Learning
Huazhong University of Science and Technology（华中科技大学）；Georgia Tech（佐治亚理工学院）
在线学习长期以来一直是机器学习社会的焦点。在大数据时代，要处理大量的数据，单个学习者无法有效地完成这项繁重的任务。因此，在本文中，我们提出了一种新的分布式在线学习算法来解决这个问题。与典型的集中式在线学习器相比，分布式学习器基于本地数据源优化自己的学习参数，并及时与邻居进行通信。然而，通信可能会导致隐私泄露。因此，我们使用差分隐私来保护学习者的隐私，并研究保证差分隐私对分布式在线学习算法效用的影响。此外，通过使用Kakade和Tewari（2009）的结果，我们使用在线学习的遗憾界限来实现分布式场景中离线学习算法的快速收敛速度，这提供了比现有最先进的结果更严格的效用性能。在仿真中，我们证明了差分私有离线学习算法具有较高的方差，但我们可以使用小批量来提高性能。最后，仿真结果表明，我们所提出的定理的分析结果是正确的，我们的私人分布式在线学习算法是一个通用的框架。
2015-06-23 cs.LG
Differentially Private Distributed Inference for Multicenter Clinical Studies
Cornell University（康奈尔大学）；University of Pittsburgh（匹兹堡大学）
针对多中心临床研究的数据隐私与集中难题，提出基于对数似然比交换的差分隐私分布式推断框架，揭示三者权衡，推导误差界，验证其在多类模拟研究中兼具高效性与低误差优势。
2026-07-31 cs.AI cs.CR cs.LG
Distributed Differentially Private Data Analytics via Secure Sketching
Aarhus University（奥胡斯大学）
本文提出线性变换模型，一种分布式差分隐私数据分析模型，介于中心模型和本地模型之间，通过安全多方计算在多服务器上分布应用公共矩阵，避免了单点故障并降低噪声，在低秩近似和岭回归等任务中保持高效用。
2025-03-05 cs.CR cs.LG
Differentially Private Consensus-Based Distributed Optimization
UCLA Electrical and Computer Engineering Department（加州大学洛杉矶分校电气与计算机工程系）；Amazon Web Services（亚马逊云科技）
当数据集包含关于个人的敏感信息时，数据隐私是学习中的一个重要问题。本文研究了数据隐私约束下基于共识的分布式优化问题。基于递归的优化由一组排列在图中的计算节点组成，每个节点都有一个依赖于其本地数据的本地目标，其中在每一步中，节点采用其邻居消息的线性组合，以及采用新的梯度步骤。由于该算法需要交换依赖于本地数据的消息，因此隐私信息在每一步都会泄露。以$(ε, δ)$ -差分隐私（DP）为准则，考虑了节点在广播消息前添加随机噪声的策略，并证明了该方法在满足$(ε, δ)$ -DP的同时，以有界均方误差实现收敛.通过放松以前工作中更严格的$ε$ -DP要求，我们加强了文献中的一个已知收敛结果。我们总结了本文的数值结果表明，我们的方法的有效性均值估计。
2019-03-19 cs.CR cs.LG cs.SI
Differentially Private Distributed Learning for Language Modeling Tasks
Samsung R&D Institute Russia（三星俄罗斯研发研究所）
机器学习应用中的一个巨大挑战是，训练数据可能与算法所面临的真实世界数据不同。在语言建模中，用户的语言（例如私人消息）可能在一年内发生变化，并且与我们在公开数据中观察到的完全不同。同时，公共数据可用于获取一般知识（即英语的一般模型）。我们研究的方法来分布式微调的一般模型用户的私人数据的额外要求，保持一般数据的质量和通信成本最小化。我们提出了一种新的技术，显着提高预测质量的用户的语言相比，一个一般的模型，并优于梯度压缩方法的通信效率。该方法速度快，对非正式英语文本的困惑减少了近70%，节省率提高了8.7个百分点。我们还表明，我们的方法适用的任务范围不仅限于语言建模。最后，我们提出了一个实验框架，用于评估语言模型的分布式训练的差分隐私，并表明我们的方法具有良好的隐私保证。
2018-03-06 cs.CL cs.CR cs.LG
Differentially Private Distributed Data Summarization under Covariate Shift
IBM Research（IBM研究院）；IBM Research AI（IBM人工智能研究院）
我们设想人工智能市场是一个平台，在这个平台上，目标任务的数据非常少的消费者可以通过访问具有大量数据样本的许多私有数据源来获得相关模型。其中一个关键挑战是构建一个与目标任务相匹配的训练数据集，而不影响数据源的隐私。为此，我们考虑以下分布式数据汇总问题。给定由$[D_i]_{i\in [K]}$表示的K个私有源数据集和小目标验证集$D_v$，其可能涉及相对于源的相当大的协变量偏移，计算汇总数据集$D_s\subseteq \bigcup_{i\in [K]} D_i$，使得其与验证数据集$D_v$的统计距离最小化。我们使用流行的最大平均差异作为统计距离的度量。在现有技术中，例如在原型选择中，非私有问题已经受到相当大的关注（Kim等人，NIPS 2016）。我们的工作是第一个获得强大的差分隐私保证，同时确保非隐私版本的质量保证。我们在一个吝啬的馆长隐私模型中研究这个问题，在这个模型中，一个可信的馆长协调总结过程，同时最大限度地减少访问的私人信息量。我们的中心结果是一个新的协议，（a）确保馆长访问的最$O(K^{\frac{1}{3}}|D_s| + |D_v|)$点（b）有正式的隐私保证之间的信息泄漏的数据所有者和（c）密切配合最知名的非私有贪心算法。我们的协议使用了两个哈希函数，一个灵感来自Rahimi-Recht随机特征方法，第二个利用了最先进的差分隐私机制。我们引入了一种新的“无噪…
2020-01-09 cs.CR cs.IT cs.LG
Differentially Private Bayesian Learning on Distributed Data
Helsinki Institute for Information Technology (HIIT)（赫尔辛基信息技术研究所）；University of Helsinki（赫尔辛基大学）；Aalto University（阿尔托大学）；Waseda University（早稻田大学）
机器学习的许多应用，例如在医疗保健中，将受益于可以保证数据主体隐私的方法。差分隐私（DP）已经成为保护学习结果的标准。标准的DP算法需要单个受信任方访问整个数据，这是一个明显的弱点。我们考虑分布式环境中的DP贝叶斯学习，其中每一方只持有单个样本或几个样本的数据。我们提出了一个学习策略的基础上，一个安全的多方总和功能，从数据持有人和高斯机制DP汇总。我们的方法建立在一个渐进的最佳和实际有效的DP贝叶斯推断与迅速减少额外的成本。
2017-05-29 cs.CR cs.LG stat.CO
PrivEdge: From Local to Distributed Private Training and Prediction
Queen Mary University of London（伦敦玛丽女王大学）；The Alan Turing Institute（艾伦·图灵研究所）；Imperial College London（帝国理工学院）
机器学习即服务（MLaaS）运营商在云端提供模型训练和预测。MLaaS应用程序通常依赖于用户数据的集中收集和聚合，这在处理敏感的个人数据时可能会导致严重的隐私问题。为了解决这个问题，我们提出了PrivEdge，这是一种保护隐私的MLaaS技术，可以保护提供数据进行训练的用户以及使用预测服务的用户的隐私。使用PrivEdge，每个用户独立地使用他们的私人数据在本地训练一个简单地表示他们的训练数据的一类重构对抗网络。由于以明文方式向服务提供商发送模型参数会泄露隐私信息，PrivEdge在两个非合谋的MLaaS提供商之间秘密共享参数，然后通过安全的多方计算技术提供加密的私有预测服务。我们量化PrivEdge的好处，并将其性能与最先进的集中式架构在三个隐私敏感的基于图像的任务上进行比较：个人识别，作家识别和手写信件识别。实验结果表明，PrivEdge算法在隐私保护和区分隐私图像与非隐私图像方面具有较高的查准率和查全率。此外，我们展示了PrivEdge对图像压缩和有偏训练数据的鲁棒性。源代码可在https://github.com/smartcameras/PrivEdge上获得。
2020-04-12 cs.CR cs.LG
Distributed generation of privacy preserving data with user customization
Stanford University（斯坦福大学）
移动电话等分布式设备可以产生和存储大量数据，这些数据可以增强机器学习模型;然而，这些数据可能包含特定于数据所有者的私有信息，从而阻止数据的发布。我们希望在保持有用信息的同时，减少用户特定的私人信息和数据之间的相关性。而不是学习一个大的模型，以实现从端到端的私有化，我们引入了一个解耦的创建一个潜在的表示和私有化的数据，允许用户特定的私有化发生在一个分布式设置有限的计算和最小的干扰效用的数据。我们利用变分自编码器（VAE）来创建数据的紧凑潜在表示;然而，VAE对于所有设备和所有可能的私有标签保持固定。然后，我们训练一个小的生成过滤器扰动的基础上的个人偏好的私人和实用信息的潜在表示。小滤波器通过利用可以在分布式设备上进行的GAN型鲁棒优化来训练。我们在三个流行的数据集上进行了实验：MNIST、UCI-Adult和CelebA，并给出了全面的评估，包括可视化潜在嵌入的几何形状和估计经验互信息，以显示我们方法的有效性。
2019-04-20 cs.CY cs.LG stat.ML
Quantum federated learning through blind quantum computing
Tsinghua University（清华大学）；Max-Planck-Institut für Quantenoptik（马克斯·普朗克量子光学研究所）；Shanghai Qi Zhi Institute（上海期智研究院）
私有分布式学习研究多个分布式实体如何协作训练共享的深度网络而不暴露其私有数据的问题。由于盲量子计算协议所提供的安全性，量子物理与机器学习的合作可能会为解决私有分布式学习任务带来无与伦比的前景。在本文中，我们介绍了一种用于分布式学习的量子协议，该协议能够利用远程量子服务器的计算能力，同时保持私有数据的安全。具体而言，首先介绍了一个基于盲量子计算的变分量子分类器的私有单方委托训练协议，然后将该协议扩展到包含差分隐私的多方私有分布式学习.我们使用不同的现实数据集和编码策略进行了大量的数值模拟，以衡量我们的协议的有效性。我们发现，我们的协议是强大的实验缺陷，是安全的梯度攻击后，加入差分隐私。我们的研究结果表明，处理计算昂贵的分布式学习任务的隐私保证的潜力，从而提供了一个有价值的指导，探索量子优势从安全的角度在机器学习领域与现实生活中的应用。
2021-09-02 cs.CR cs.LG quant-ph
Distributed LSTM-Learning from Differentially Private Label Proportions
TU Dortmund University（多特蒙德工业大学）
近年来，数据隐私和分散的数据汇集变得越来越流行。为了解决隐私，通信带宽和时空数据学习的问题，我们将提出两种使用差分隐私和分散式LSTM学习的有效模型：一种是学习长短期记忆（LSTM）模型，用于提取局部时间节点约束并将其馈送到密集层（LabelProportionToLocal）。另一种方法通过从邻居获取直方图数据并将信息与LSTM输出（LabelProportionToDense）相结合来扩展第一种方法。为了进行评估，使用了两个流行的数据集：Pems-Bay和METR-LA。此外，我们还提供了一个基于LuST的数据集。评估将显示性能和数据隐私之间的权衡。
2023-01-15 cs.AI cs.CR cs.LG
Private Knowledge Sharing in Distributed Learning: A Survey
Swinburne University of Technology（斯威本科技大学）；Purdue University（普渡大学）；DATA61-CSIRO（DATA61联邦科学与工业研究组织）；Nanjing University of Science and Technology（南京理工大学）；Princeton University（普林斯顿大学）
本文综述了分布式学习中的私有知识共享问题，分析了主流架构中知识组件的关键安全漏洞，并探讨了保护隐私的防御策略及未来研究方向。
2024-02-08 cs.AI cs.CR cs.DC
Private independence testing across two parties
Massachusetts Institute of Technology（麻省理工学院）；The University of Sydney（悉尼大学）
本文提出隐私保护算法 π-test，通过多方私密估计距离相关来检验分布式数据的统计独立性，并证明其差分隐私效用的加性与乘性误差界。
2023-09-26 cs.CR cs.LG math.ST
Modulated learning for private and distributed regression with just a single sample per client device
MIT（麻省理工学院）
针对每个客户端仅有一个样本的分布式学习场景，提出一种通过注入校准噪声并共享后处理表示来实现隐私保护的全局模型学习方法，在期望上匹配非私有中心化梯度更新。
2026-05-25 cs.CR cs.LG stat.ML
Distributed Private Online Learning for Social Big Data Computing over Data Center Networks
Huazhong University of Science & Technology（华中科技大学）；Peking University（北京大学）；Northwestern Polytechnical University（西北工业大学）；National University of Singapore（新加坡国立大学）
随着互联网技术的快速发展，云计算和社交网络已经变得无处不在。越来越多的人参与到社交网络中，获得了大量的在线社交数据。为了从获取的大量数据中挖掘知识，预测用户的社会行为，迫切需要在社交网络中实现数据采掘。几乎所有的在线网站都使用云服务来有效地处理从分布式数据中心收集的大规模社交数据。这些数据是如此的大规模，高维和广泛分布，我们提出了一个分布式稀疏在线算法来处理它们。此外，隐私保护是社交网络中的一个重要问题。我们不应该损害网络中个人的隐私，而这些社会数据正在为数据采掘而学习。因此，本文也考虑了隐私问题。我们的模拟结果表明，适当的稀疏数据将提高我们的算法的性能和隐私保护的方法并没有显着损害所提出的算法的性能。
2016-02-21 cs.DC cs.LG cs.SI
Scalable and Differentially Private Distributed Aggregation in the Shuffled Model
Google Research（谷歌研究院）；IT University of Copenhagen（哥本哈根信息技术大学）
联邦学习通过使用安全聚合方法实现梯度下降，有望使机器学习在分布式私有数据集上变得可行。这个想法是计算全局权重更新，而不显示单个用户的贡献。当前用于安全聚合的实际协议在“诚实但好奇”的设置中工作，其中好奇的对手观察到所有去往和来自服务器的通信，无法获知任何私人信息，假设服务器是诚实的并且遵循协议。隐私保护协议的一个更可扩展和鲁棒的原语是用户数据的混洗，以便隐藏每个数据项的来源。用于混洗的高度可扩展和安全的协议，即所谓的混合网，已经被提出作为Bittau等人的编码-混洗-分析框架中的隐私保护分析的原语，后来Erlingsson等人和Cheu等人对其进行了分析研究。Cheu等人最近的论文，和Balle等人已经给出了用于安全聚集的协议，其在该“混洗模型”中实现了差分隐私保证。然而，他们的协议是有代价的：预期的聚合错误或每个用户的通信量都是用户数$n$的多项式$n^{Ω(1)}$。在本文中，我们提出了简单且更有效的洗牌模型聚合协议，其中通信和错误在$n$中仅呈多对数增加。我们的新技术是一种概念上的“隐形斗篷”，它使用户的数据几乎无法与随机噪声区分开来，同时在总和上引入零失真。
2019-12-02 cs.CR cs.DC cs.DS
Locally Differentially Private Distributed Deep Learning via Knowledge Distillation
Snap Inc.（斯纳普公司）；University of South Florida（南佛罗里达大学）
深度学习通常需要大量的数据。在实际应用中，例如，医疗保健应用，由单个组织收集的数据（例如，医院）通常是有限的，并且大多数大量和多样化的数据通常被隔离在多个组织中。因此，它激励研究人员进行分布式深度学习，其中数据用户希望使用跨多个不同数据所有者隔离的数据来构建深度学习模型。然而，由于数据的敏感性，这可能会导致严重的隐私问题，因此数据所有者会犹豫不决，不愿意参与。我们提出了LDP-DL，一个通过局部差分隐私和知识蒸馏的隐私保护分布式深度学习框架，其中每个数据所有者使用自己的（本地）私有数据集学习教师模型，数据用户学习学生模型以模仿教师模型的集合的输出。在实验评估中，对我们提出的方法（即，LDP-DL）、DP-SGD、PATE和DP-FL，使用三个流行的深度学习基准数据集（即，CIFAR 10、MNIST和FashionMNIST）。实验结果表明，LDP-DL在隐私预算和模型准确性方面始终优于其他竞争对手。
2022-02-07 cs.AI cs.CR cs.LG
CodedPrivateML: A Fast and Privacy-Preserving Framework for Distributed Machine Learning
University of Southern California（南加州大学）；University of California, Riverside（加州大学河滨分校）
如何训练机器学习模型，同时保持数据的私密性和安全性？我们提出CodedPrivateML，一个快速和可扩展的方法来解决这个关键问题。CodedPrivateML保持数据和模型信息的私密性，同时允许跨分布式工作者进行有效的并行训练。我们描述了CodedPrivateML的隐私阈值，并证明了它对逻辑（和线性）回归的收敛性。此外，通过在Amazon EC2上进行的大量实验，我们证明了CodedPrivateML比基于多方计算（MPC）的加密方法提供了显著的加速。
2021-02-20 cs.CR cs.IT cs.LG
Brainstorming Generative Adversarial Networks (BGANs): Towards Multi-Agent Generative Models with Distributed Private Datasets
Virginia Tech（弗吉尼亚理工大学）
本文提出头脑风暴生成对抗网络（BGAN），使多个智能体在完全分布式且不共享真实数据的情况下，通过交换生成样本协作学习数据分布，理论证明其纳什均衡，实验显示生成质量优于现有分布式GAN。
2023-09-25 cs.DC cs.LG stat.ML
PrivDFS: Private Inference via Distributed Feature Sharing against Data Reconstruction Attacks
College of Computer Science and Artificial Intelligence, Fudan University（计算机科学与人工智能学院，复旦大学）；Department of Artificial Intelligence, Ajou University（人工智能系，庆应大学）
本文提出分布式特征共享隐私推理框架PrivDFS，通过可学习掩码拆分中间特征由多服务器独立处理，在精度损失小于1%的前提下大幅抵御数据重建攻击，适配主流视觉模型与多个数据集。
2025-11-14 cs.LG
Locally Differentially Private Embedding Models in Distributed Fraud Prevention Systems
Featurespace；University of Cambridge（剑桥大学）；University of Nottingham（诺丁汉大学）
本文提出了一种基于本地差分隐私和变长交易序列潜在嵌入的协作深度学习框架，用于分布式欺诈预防系统，在保障数据隐私的同时实现了对外部模型的安全数据共享，并在真实数据集上验证了其对推理时攻击的鲁棒性及效用-隐私权衡。
2024-01-03 cs.CR cs.LG
Multi-modal AsynDGAN: Learn From Distributed Medical Image Data without Sharing Private Information
Rutgers University（罗格斯大学）；SenseBrain Technology Limited LLC（商汤科技有限责任公司）；Weill Cornell Medicine（威尔康奈尔医学院）；Hong Kong University of Science and Technology（香港科技大学）；SenseTime Research（商汤科技研究院）
随着深度学习技术的进步，越来越多的数据是必要的，以生成通用和强大的模型，为各种任务。然而，在医疗领域，由于隐私和数据安全问题，大规模和多方数据训练和分析是不可行的。在本文中，我们提出了一个可扩展的和弹性的学习框架，以保护隐私和安全，同时使协作学习与有效的沟通。提出的框架被命名为分布式异步鉴别器生成对抗网络（AsynDGAN），它由一个集中式生成器和多个分布式鉴别器组成。我们提出的框架有五个优点：1）中央生成器可以从多个数据集中隐式地学习真实数据分布，而无需共享图像数据; 2）该框架适用于单模态或多模态数据; 3）学习生成器可用于合成用于下游学习任务的样本，以实现接近-4）合成样本还可以用于增强数据或完成单个数据中心的缺失模态; 5）学习过程比其他分布式深度学习方法更高效，需要更低的带宽。
2020-12-15 cs.AI cs.CR cs.LG
Differentially private cross-silo federated learning
Helsinki Institute for Information Technology HIIT（赫尔辛基信息技术研究所）；University of Helsinki（赫尔辛基大学）；Waseda University（早稻田大学）；Aalto University（阿尔托大学）；University of Manchester（曼彻斯特大学）
严格的隐私在分布式机器学习中至关重要。联邦学习的主要思想是只传递学习所需的信息，最近已被引入作为分布式学习的一般方法，以增强学习和提高安全性。然而，联邦学习本身并不能保证数据主体的任何隐私。为了量化和控制在最坏情况下有多少隐私受到损害，我们可以使用差分隐私。在本文中，我们将加法同态安全求和协议与差分隐私在所谓的跨筒仓联邦学习设置。目标是学习像神经网络这样的复杂模型，同时保证个人数据主体的严格隐私。我们证明了我们提出的解决方案可以提供与非分布式设置相当的预测精度，并且速度足够快，可以在合理的时间内使用数百万个参数学习模型。为了使学习在严格的隐私保证，需要隐私放大的子采样，我们提出了一个通用的算法不经意的分布式子采样。然而，我们也认为，当恶意方存在，一个简单的方法，使用分布式泊松子采样提供了更好的隐私。最后，我们表明，通过利用随机预测，我们可以进一步扩大我们的方法，以更大的模型，而遭受只有适度的性能损失。
2020-07-10 cs.CR cs.DC cs.LG
Generalized PTR: User-Friendly Recipes for Data-Adaptive Algorithms with Differential Privacy
University of California, Santa Barbara（加州大学圣巴巴拉分校）
“Propose-Test-Release”（PTR）框架是设计数据自适应的差分私有（DP）算法的经典配方，即当输入数据集良好时添加较少噪声的算法。我们通过私下测试数据相关的隐私损失而不是本地敏感性，将PTR扩展到更一般的设置，从而使其适用于标准的噪声添加机制之外，例如，具有无限或未定义的敏感性的查询。我们证明了通用的PTR使用私人线性回归作为一个案例研究。此外，我们应用我们的算法来解决一个来自“教师集合的私人聚合（PATE）”的开放问题-通过精细的数据依赖分析私下发布整个模型。
2022-12-31 cs.LG
Collaborative Learning From Distributed Data With Differentially Private Synthetic Twin Data
Aalto University（阿尔托大学）；University of Helsinki（赫尔辛基大学）；University of Manchester（曼彻斯特大学）
本文提出各方共享差分隐私合成孪生数据以进行协作学习的框架，并在UK Biobank健康数据上验证其可行性，证明该方法能提升统计估计准确性，尤其惠及小型异构数据集和代表性不足群体，为隐私受限的分布式生物医学研究提供了可行方案。
2023-08-09 cs.CR cs.LG
Dopamine: Differentially Private Federated Learning on Medical Data
Imperial College London（伦敦帝国理工学院）
虽然丰富的医疗数据集托管在分布在世界各地的医院中，但对患者隐私的担忧是使用此类数据来训练深度神经网络（DNN）进行医疗诊断的障碍。我们提出了Dopamine，一个在分布式数据集上训练DNN的系统，它采用了联邦学习（FL）和差分隐私随机梯度下降（DPSGD），并与安全聚合相结合，可以在差分隐私（DP）保证和DNN的准确性之间建立比其他方法更好的权衡。在一个糖尿病视网膜病变（DR）任务上的结果表明，Dopamine提供的DP保证接近于集中式训练的DP保证，而在没有协调的情况下应用DPSGD的并行DP时，其分类精度优于FL。代码可在https://github.com/ipc-lab/private-ml-for-health上获得。
2021-01-29 cs.CR cs.DC cs.LG
Differential Secrecy for Distributed Data and Applications to Robust Differentially Secure Vector Summation
Apple（苹果公司）
计算实值向量的噪声和是差分私有学习和统计中的重要基础。在私有联邦学习应用程序中，这些向量由客户端设备保存，导致分布式求和问题。针对该问题的标准安全多方计算（SMC）协议容易受到中毒攻击，其中客户端可能对和有很大影响，而不被检测到。在这项工作中，我们提出了一个中毒的强大的私人求和协议在多服务器设置，最近在PRIO研究。我们提出了一个协议，验证了每个贡献的欧几里德范数近似有界的向量求和。我们表明，通过放松SMC的安全约束的差分隐私一样的保证，可以提高在PRIO方面的通信要求，以及客户端的计算。与SMC算法不可避免地将整数转换为大型有限域的元素不同，我们的算法可以在整数/实数上工作，这可以提高效率。
2022-02-22 cs.CR cs.LG
TernaryVote: Differentially Private, Communication Efficient, and Byzantine Resilient Distributed Optimization on Heterogeneous Data
Zhejiang University（浙江大学）；North Carolina State University（北卡罗来纳州立大学）；Wuhan University（武汉大学）
提出TernaryVote算法，结合三值压缩器和多数投票机制，在异构数据上同时实现差分隐私、梯度压缩和拜占庭容错，理论证明其隐私保证和鲁棒性，实验验证了有效性。
2024-02-16 cs.CR cs.DC cs.LG
Dancing in the Dark: Private Multi-Party Machine Learning in an Untrusted Setting
University of British Columbia（不列颠哥伦比亚大学）；University of Toronto（多伦多大学）；University of California, San Diego（加利福尼亚大学圣地亚哥分校）
如今，分布式机器学习（ML）系统使用简单的威胁模型：数据源必须信任中央ML进程。我们提出了一个代理的学习抽象，允许数据源在不可信的环境中为全球共享模型做出贡献，并提供可证明的隐私保证。我们通过构建联邦学习（多方机器学习的最新技术）来实现这种抽象，以构建TorMentor：一种支持私有多方机器学习的匿名隐藏服务。我们通过在代理学习环境中描述、开发和评估新攻击以及针对这些攻击的新防御来定义新的威胁模型。我们表明，TorMentor有效地保护数据提供者免受已知的ML攻击，同时为他们提供模型准确性和隐私之间的可调权衡。我们通过Azure/Tor上的本地和地理分布部署评估TorMentor。在一个有200个客户端和每个客户端14 MB数据的实验中，我们的原型在65秒内使用随机梯度下降训练了一个逻辑回归模型。代码可在：https://github.com/DistributedML/TorML
2019-02-24 cs.CR cs.DC cs.LG
