Locally Private Gaussian Estimation
University of Pennsylvania（宾夕法尼亚大学）；Microsoft Research Redmond（微软研究院雷德蒙德分院）；Google Research New York（谷歌研究院纽约分院）；University of Minnesota（明尼苏达大学）
我们研究一个基本的私人估计问题：每个$n$用户画一个单一的i.i. d。从未知的高斯分布中采样，目标是估计该高斯分布的均值，同时满足每个用户的局部差分隐私。非正式地，局部差分隐私要求每个数据点在被传递到学习算法之前被单独且独立地私有化。因此，局部私有高斯估计是困难的，因为数据域是无界的：用户可以绘制任意不同的输入，但局部差分隐私仍然要求不同的用户具有（最坏情况）相似的私有化输出分布。我们提供了自适应两轮解决方案和非自适应一轮解决方案的局部私人高斯估计。然后，我们部分匹配这些上限与信息理论的下限。这个下限表明，我们的准确性保证是紧对数因子的所有顺序交互式$(\varepsilon,δ)$本地私有协议。
2019-10-27 cs.LG stat.ML
Dynamic Privacy Allocation for Locally Differentially Private Federated Learning with Composite Objectives
KTH Royal Institute of Technology（KTH皇家理工学院）
本文提出一种局部差分隐私联邦学习算法，通过动态分配时变噪声方差以最小化优化误差上界，在隐私预算约束下同时实现隐私保护与效用，无需调整迭代次数且性能优于现有方法。
2023-08-02 cs.CR cs.DC cs.LG
Communication Complexity in Locally Private Distribution Estimation and Heavy Hitters
Cornell University（康奈尔大学）
我们考虑隐私和通信约束下的分布估计和重打击（频率）估计的问题。虽然这些限制已被单独研究，一个最优方案是次优的其他。我们提出了一个样本最优的$\varepsilon$ -局部差分私有（LDP）方案的分布估计，其中每个用户只通信一个比特，不需要公共随机性。我们表明，Hadamard响应，最近提出的计划$\varepsilon$ -LDP分布估计也是效用最优的重打击估计。最后，我们表明，不像分布估计，没有公共随机性，只有一个比特就足够了，任何重量级的估计算法，通信$o(\min \{\log n, \log k\})$位从每个用户不能是最佳的。
2019-05-28 cs.DS cs.IT cs.LG
Instance-Optimal Differentially Private Estimation
Apple, Inc.（苹果公司）；Boston University（波士顿大学）；Northeastern University（东北大学）
在这项工作中，我们研究了局部极小极大收敛估计率受$ε$ -差分隐私。与最坏情况下的利率，这可能是保守的，算法是局部极小极大最优必须适应简单的问题。本文构造了单参数指数族的局部极小极大差分私有估计，并对分布的尾率进行了估计。在这些情况下，我们证明了用于简单假设检验的最优算法，即Canonne等人（2019）最近的最优私有检验器，直接告知局部极小极大估计算法的设计。
2022-10-28 cs.CR cs.LG math.ST
Parameter-Free Locally Differentially Private Stochastic Subgradient Descent
University of Arizona（亚利桑那大学）；Boston University（波士顿大学）
我们考虑的问题，最小化的凸风险与随机次梯度保证$ε$ -局部差分私有（$ε$ -LDP）。虽然已经表明，通过标准SGD利用$ε$ -LDP进行随机优化是可能的（Song等人，2013年），其收敛速度在很大程度上取决于学习率，这必须通过反复运行来调整。此外，调谐对隐私损失是有害的，因为它显著增加了梯度请求的数量。在这项工作中，我们提出了BANCO（噪音硬币的投注算法），第一个$ε$ -LDP SGD算法，基本上匹配的收敛速度的调整SGD没有任何学习率参数，减少隐私损失，节省隐私预算。
2019-11-21 cs.CR cs.LG math.OC
Exponential Separations in Local Differential Privacy
University of Pennsylvania（宾夕法尼亚大学）；Google Research（谷歌研究院）
我们证明了两个玩家游戏的通信复杂性和他们的多玩家本地私人类似物的样本复杂性之间的一般连接。我们使用这种连接来证明样本复杂性下限的本地差分私有协议作为直接的推论的结果从通信复杂性。特别地，我们1）使用隐藏层问题的通信下界来证明顺序交互式和完全交互式局部私有协议之间的指数样本复杂度分离，以及2）使用指针追逐问题的通信下界来证明对于每个$k$，$k$轮和$k+1$轮顺序交互式局部私有协议之间的指数样本复杂度分离。
2019-10-29 cs.CR cs.LG stat.ML
Exactly Minimax-Optimal Locally Differentially Private Sampling
School of Electrical Engineering, KAIST（韩国科学技术院电气工程学院）；Department of Computing and Software, McMaster University（麦斯特大学计算机与软件系）
本文提出了一种在局部差分隐私下精确最优的采样机制，通过f-散度度量效用，实现了有限和连续数据空间的最优隐私-效用权衡。
2024-10-30 cs.CR cs.LG
An Adaptive Gradient Clipping and Noise Injection Mechanism for Differentially Private Federated Learning
Université Paris Cité（巴黎大学）
本文提出DDP-SA-adaptive自适应梯度裁剪与噪声注入机制，可改善差分隐私联邦学习的隐私-精度-效率权衡，在联邦回归任务上较静态基线提升训练效率与模型精度，且隐私预算更低。
2026-08-18 cs.CR cs.LG
Fast Optimal Locally Private Mean Estimation via Random Projections
Apple Inc.（苹果公司）；UC Berkeley（加州大学伯克利分校）；Northeastern（东北大学）
针对高维局部隐私均值估计中现有算法误差次优或复杂度高的问题，提出 ProjUnit 框架，通过随机投影至低维子空间并运行最优算法，在保证最优误差的同时显著降低通信与计算成本。
2023-06-26 cs.CR cs.LG stat.ML
Devil's Hand: Data Poisoning Attacks to Locally Private Graph Learning Protocols
Beijing University of Posts and Telecommunications（北京邮电大学）；Shandong University（山东大学）；North China Electric Power University（华北电力大学）；University of Illinois Chicago（伊利诺伊大学香槟分校）
本文首次提出针对本地隐私图学习协议的数据投毒攻击，通过注入虚假用户、建立链接并伪造数据，在理论与实验上证明了该攻击能有效损害图学习实用性，并指出当前防御策略效果有限。
2025-06-26 cs.CR cs.LG
Profile-Based Privacy for Locally Private Computations
差分隐私已经成为隐私保护数据分析的黄金标准。一个流行的变体是本地差分隐私，其中数据持有者是受信任的管理者。然而，更广泛地采用这种模式的一个主要障碍是，它提供了一个糟糕的隐私-效用权衡。在这项工作中，我们解决这个问题，通过引入一个新的变种的本地隐私称为基于配置文件的隐私。其中心思想是，问题设置带有数据生成分布的图G，其边缘编码敏感的分布对，这些分布应该是不可区分的。这提供了更高的效用，因为与局部差分隐私不同，我们不再需要使域中的每对私有值不可区分，而是只保护底层分布的身份。我们建立隐私属性的基于配置文件的隐私定义，如后处理不变性和优美的组合。最后，我们提供的机制，在这个框架中是私人的，并通过模拟表明，他们实现了更高的效用比相应的本地差分隐私机制。
2019-06-16 cs.CR cs.LG stat.ML
Differentially Private Federated Learning With Time-Adaptive Privacy Spending
University of Toronto（多伦多大学）；CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）
针对联邦学习中隐私预算均匀消耗的假设，提出时间自适应DP-FL框架，按轮次和客户端非均匀分配隐私预算，在早期节省预算用于后期细粒度学习，理论证明并实验验证了隐私-效用权衡的改善。
2025-02-25 cs.CR cs.DC cs.LG
Locally Differentially Private Bayesian Inference
Aalto University（阿尔托大学）；University of Manchester（曼彻斯特大学）；University of Helsinki（赫尔辛基大学）
近年来，局部差分隐私（LDP）已成为一种选择的隐私保护数据收集在几种情况下，当聚合器是不值得信赖的技术。LDP通过在用户端添加噪声来提供客户端隐私。因此，客户端不需要依赖于聚合器的可信度。在这项工作中，我们提供了一个噪声感知的概率建模框架，它允许贝叶斯推断考虑到噪声下的LDP隐私，条件是局部扰动观测。LDP协议提供的更强的隐私保护（与中央模型相比）是在更苛刻的隐私-效用权衡下实现的。我们的框架解决了LDP在贝叶斯设置下准确量化不确定性所带来的几个计算和统计挑战。我们证明了我们的框架在参数估计单变量和多变量分布以及逻辑和线性回归的功效。
2021-10-27 cs.CR cs.LG stat.ML
Distributionally-Robust Machine Learning Using Locally Differentially-Private Data
University of Melbourne（墨尔本大学）
我们考虑使用局部差异私有数据集的机器学习，特别是回归。Wasserstein距离用于定义以被局部差分隐私噪声破坏的数据集的经验分布为中心的模糊集。示出的模糊集包含未扰动的，干净的数据的概率分布。模糊集的半径是隐私预算、数据分布和问题大小的函数。因此，具有局部差异私有数据集的机器学习可以重写为分布式鲁棒优化。对于一般分布，分布鲁棒优化问题可以放松为正则化的机器学习问题，其中机器学习模型的Lipschitz常数作为正则化器。对于线性和逻辑回归，这个正则化子是模型参数的对偶范数。对于高斯数据，分布鲁棒优化问题可以被精确求解以找到最优正则化子。这种方法产生了一种全新的正则化器来训练线性回归模型。使用这种新的正则化器进行训练可以被视为半定规划。最后，在实际数据集上证明了所提出的分布式鲁棒机器学习训练的性能。
2020-06-24 cs.CR cs.LG math.OC
Locally Private Bayesian Inference for Count Models
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Microsoft Research（微软研究院）；Cornell University（康奈尔大学）；University of Texas at Austin（得克萨斯大学奥斯汀分校）
我们提出了一种在泊松分解中进行隐私保护贝叶斯推断的一般方法，泊松分解是一种广泛的模型，包括社会科学中最广泛使用的一些模型。我们的方法满足有限精度的局部隐私，局部差分隐私的推广，我们引入制定隐私保证适合稀疏计数数据。我们开发了一种MCMC算法，该算法在给定的数据上近似局部私有后验模型参数，该数据已经通过几何机制局部私有化（Ghosh等人，2012年）。我们的解决方案是基于两个见解：1）一个新的重新解释的几何机制的条件下，阿拉姆分布（阿拉姆，1946年）和2）的一般定理，将阿拉姆贝塞尔分布（袁和Kalbfleisch，2000年）。我们在两个案例研究中展示了我们的方法，在现实世界的电子邮件数据中，我们表明，我们的方法始终优于常用的朴素方法，获得更高质量的文本主题和更准确的网络链接预测。在某些任务上，我们的隐私保护方法甚至优于非私有推理，其中的条件下的真实数据。
2019-02-21 cs.CL cs.CR cs.LG
Locally Private Inference for Riemannian Stochastic Optimization
Nanyang Technological University（南洋理工大学）；Shanghai University of Finance and Economics（上海财经大学）
本文提出一种基于本地差分隐私的黎曼随机优化推断方法，通过条件居中的随机切线梯度与对称对回归估计方差，实现流形上总体最小值的有效推断，并在模拟和NHANES数据上验证了性能。
2026-09-24 cs.LG math.OC math.ST
Balancing Privacy and Performance for Private Federated Learning Algorithms
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
本文针对联邦学习中差分隐私机制损害收敛性能的问题，证明了强凸优化下ScaffNew算法DP版本的最优本地步数与通信轮数平衡关系，并通过实验验证了该理论结论。
2023-08-18 cs.CR cs.CV cs.LG
Better Locally Private Sparse Estimation Given Multiple Samples Per User
School of Statistics, Renmin University of China（中国人民大学统计学院）；Center for Applied Statistics, Renmin University of China（中国人民大学应用统计中心）
本文针对本地差分隐私稀疏线性回归提出用户级框架，通过先筛选候选变量再在低维空间估计，消除了误差对维度 d 的线性依赖，将上界从 O(s*d/(nmε²)) 改进为 O(s*²/(nmε²))，并在实验中验证了其优越性。
2024-08-08 cs.LG stat.ME stat.ML
Locally Differentially Private Frequency Estimation with Consistency
Purdue University（普渡大学）；Eindhoven University of Technology（埃因霍温理工大学）
本地差分隐私（LDP）保护数据收集器的用户隐私。LDP协议已经越来越多地部署在工业中。一个基本的构建块是频率预言（FO）协议，它估计值的频率。虽然已经提出了几个FO协议，但其设计目标并没有导致回答许多查询的最佳结果。在本文中，我们表明，通过利用所有个体频率都应该是非负的并且它们总和为1的知识，在FO协议中添加后处理步骤可以显著提高各种任务的准确性，包括个体值的频率，最频繁值的频率和值子集的频率。我们考虑10种不同的方法，以不同的方式利用这些知识。我们建立了其中一些之间的理论关系，并进行了广泛的实验评估，以了解哪些方法应用于不同的查询任务。
2020-01-29 cs.CR cs.DB cs.DS
Locally Private Parametric Methods for Change-Point Detection
School of Computer and Communication Sciences, École Polytechnique Fédérale de Lausanne (EPFL), Vaud, Switzerland（计算机与通信科学学院，瑞士洛桑联邦理工学院（EPFL），瓦乌州）
本文提出基于局部差分隐私的参数变化点检测方法，通过随机响应和二进制机制提升隐私保护下的检测精度，并揭示隐私对性能的影响。
2026-10-12 cs.IT cs.LG math.IT
Deconvoluting Kernel Density Estimation and Regression for Locally Differentially Private Data
University of Melbourne（墨尔本大学）
局部差分隐私已经成为隐私文献的黄金标准，用于以隐私保护的方式收集或发布敏感的个人数据点。然而，局部差分数据可能会扭曲数据的概率密度，因为用于确保隐私的加性噪声。事实上，由于与隐私保护噪声密度函数的卷积，隐私保护数据的密度（无论我们收集多少样本）与原始数据点的密度函数相比总是更平坦。当使用缓慢衰减的隐私保护噪声（如拉普拉斯噪声）时，这种效果尤其明显。这可能会导致低估/高估重量级人物。这是社会科学家面临的一个重要挑战，因为美国在2020年人口普查中使用了差异隐私。在本文中，我们开发了密度估计方法使用平滑内核。我们使用去卷积核密度估计的框架，以消除隐私保护噪声的影响。这种方法也使我们能够适应的结果，从非参数回归误差变量开发回归模型的基础上本地差异私人数据。我们展示了金融和人口数据集上的开发方法的性能。
2020-11-09 cs.CR cs.LG math.ST
Locally Differentially Private Online Federated Learning With Correlated Noise
KTH Royal Institute of Technology（KTH皇家理工学院）；Georgia Institute of Technology（佐治亚理工学院）
本文提出一种利用时间相关噪声的本地差分隐私在线联邦学习算法，通过扰动迭代分析和漂移误差管理，在非凸损失下建立动态遗憾界，并验证了其有效性。
2025-03-12 cs.DC cs.LG stat.ML
Trust-But-Verify: Poisoning-Resilient Locally Private Graph Learning Protocols
Beijing University of Posts and Telecommunications（北京邮电大学）；Beihang University（北京航空航天大学）；The Hong Kong University of Science and Technology（香港科技大学）；Chongqing University of Posts and Telecommunications（重庆邮电大学）
针对本地私有图学习易受数据投毒攻击的问题，提出基于信任但验证范式的VERITAS协议，通过验证列表和双边证明修剪恶意节点，实验证明其有效提升鲁棒性。
2026-09-09 cs.LG
Locally Differentially Private Document Generation Using Zero Shot Prompting
Cohere For AI；IBM Research（IBM研究院）
本文提出DP-Prompt机制，利用预训练大语言模型和零样本提示实现本地差分隐私文档生成，在IMDB等数据集上显著降低作者去匿名化攻击成功率，同时保持下游情感分析效用，并在多个开源大语言模型上验证了隐私-效用权衡。
2023-11-30 cs.CL cs.CR cs.LG
Query-Efficient Locally Private Hypothesis Selection via the Scheffe Graph
Cheriton School of Computer Science, University of Waterloo and Vector Institute（查尔顿计算机科学学院，滑铁卢大学和向量研究所）；University of Waterloo（滑铁卢大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出了一种在局部差分隐私下实现高效查询的假设选择算法，通过Scheffé图结构改进查询复杂度，减少查询次数并提高效率。
2026-01-15 cs.DS cs.LG stat.ML
Locally Differentially Private Embedding Models in Distributed Fraud Prevention Systems
Featurespace；University of Cambridge（剑桥大学）；University of Nottingham（诺丁汉大学）
本文提出了一种基于本地差分隐私和变长交易序列潜在嵌入的协作深度学习框架，用于分布式欺诈预防系统，在保障数据隐私的同时实现了对外部模型的安全数据共享，并在真实数据集上验证了其对推理时攻击的鲁棒性及效用-隐私权衡。
2024-01-03 cs.CR cs.LG
On the Utility Gain of Iterative Bayesian Update for Locally Differentially Private Mechanisms
Inria（法国国家信息与自动化研究所）；École Polytechnique (IPP)（巴黎综合理工学院（巴黎理工学院））
本文评估 IBU 作为 LDP 离散分布估计后处理方法的效用，通过十四种机制、多指标与真实/合成数据实验证明其尤其在小 ε 下优于 MI，并开源实现与教程。
2023-07-15 cs.CR cs.LG
PrE-Text: Training Language Models on Private Federated Data in the Age of LLMs
Carnegie Mellon University（卡内基梅隆大学）；Meta；Coldrays（科尔德雷公司）
本文提出PrE-Text方法，通过生成差分隐私合成文本数据替代端侧训练，在降低通信和计算开销的同时提升小模型与LLM在私有数据上的性能。
2024-10-17 cs.AI cs.CL cs.CR
(Locally) Differentially Private Combinatorial Semi-Bandits
Peking University（北京大学）；Microsoft Research Asia（微软亚洲研究院）
在本文中，我们研究了组合半强盗（CSB），这是一个经典的多臂强盗（MAB）在差分隐私（DP）和更强的局部差分隐私（LDP）设置的扩展。由于服务器在CSB中从用户接收更多的信息，这通常会导致对数据维度的额外依赖，这是隐私保护学习的一个众所周知的副作用。然而，CSB下两个常见的平滑假设\cite{kveton2015tight,chen2016combinatorial}，我们表明，它是可能的，以消除这种副作用。详细地，对于$B_{\infty}$有界光滑CSB，在$\varepsilon$或$\varepsilon$下，通过提出新的算法和匹配下界，我们证明了最优后悔界分别为$Θ(\frac{mB^2_{\infty}\ln T } {Δε^2})$或$\tildeΘ(\frac{mB^2_{\infty}\ln T} { Δε})$，其中$T$为时间段，$Δ$为奖励间隔，$m$为基臂数.对于$\varepsilon$ -DP下的$B_1$ -有界光滑CSB，我们还证明了最优后悔界是$\tildeΘ(\frac{mKB^2_1\ln T} {Δε})$，同时具有上界和下界，其中$K$是每轮反馈的最大数目。所有上述结果几乎匹配相应的非私有最优费率，这意味着在上述公共设置中，（局部）差异私有CSB没有额外的价格。
2020-07-03 cs.LG stat.ML
Locally Differentially Private Minimum Finding
RIKEN AIP（理化学研究所AIP）；National Chung Hsing University（国立中兴大学）；University of Tsukuba（筑波大学）
我们调查的问题，找到最小值，其中每个用户有一个真正的价值，我们要估计这些值的最小值下的局部差分隐私约束。我们发现，这个问题是从根本上困难的，我们不能构建一个机制，在最坏的情况下是一致的。而不是考虑最坏的情况下，我们的目标是建立一个私人的机制，其差错率是自适应的最小估计的容易程度。作为一种简单的措施，我们引入了一个参数$α$，其特征在于胖的最小侧尾的用户数据分布。因此，我们揭示了该机制可以实现$O((\ln^6N/ε^2N)^{1/2α})$错误没有知识的$α$和差错率是接近最佳的意义上说，任何机制引起$Ω((1/ε^2N)^{1/2α})$错误。此外，我们证明了我们的机制优于一个天真的机制，通过对合成数据集的经验评估。此外，我们在MovieLens数据集和购买历史数据集上进行了实验，并证明我们的算法实现了$\tilde{O}((1/N)^{1/2α})$误差自适应$α$。
2019-05-27 cs.CR cs.LG math.ST
Differentially Private Verification of Distribution Properties
Harvard University（哈佛大学）；Rutgers University（罗格斯大学）
本文研究差分隐私分布属性测试，探讨在不可信证明者帮助下验证分布属性的样本和通信复杂性，提出在不同隐私模型下优化协议的方法，并证明产品分布私有测试的样本复杂性最优。
2026-11-11 cs.CC cs.DS cs.LG
Thompson Sampling Itself is Differentially Private
Columbia University（哥伦比亚大学）
本文证明经典汤普森采样算法天然具备差分隐私性，并引入简单修改（如预拉臂、增大采样方差）以提升隐私保证，同时分析其对遗憾的影响，实证表明可优化隐私与性能的权衡。
2024-07-20 cs.DS cs.LG stat.ML
sqSGD: Locally Private and Communication Efficient Federated Learning
Tsinghua Univerisity（清华大学）；Meituan（美团）；Google（谷歌）；Ant Group（蚂蚁集团）；Sony AI（索尼人工智能）；Galixir（星药科技）
联邦学习（FL）是一种从分散的数据源训练机器学习模型的技术。我们研究FL的隐私约束，这提供了强大的保护，防止敏感数据泄露，通过混淆数据离开客户端之前的本地概念。我们确定了两个主要问题，在设计实用的隐私保护FL算法：通信效率和高维兼容性。然后，我们开发了一个基于梯度的学习算法称为\emph{sqSGD}（选择性量化随机梯度下降），解决这两个问题。所提出的算法是基于一种新的隐私保护量化方案，使用每个客户端的每个维度的比特数恒定。然后，我们从三个方面改进了基本算法：首先，我们采用了梯度子采样策略，在固定的隐私预算下，同时提供更好的训练性能和更小的通信成本。其次，我们利用随机旋转作为预处理步骤，以减少量化误差。第三，采用自适应梯度范数上界收缩策略，以提高精度和稳定训练。最后，在基准数据集上验证了该框架的实用性.实验结果表明，sqSGD成功地学习了具有局部隐私约束的大型模型，如LeNet和ResNet。此外，在固定的隐私和通信级别下，sqSGD的性能显著优于各种基线算法。
2022-06-22 cs.CR cs.LG
One-bit Submission for Locally Private Quasi-MLE: Its Asymptotic Normality and Limitation
The Graduate University for Advanced Studies (SOKENDAI)（高级研究研究生院（综合研究大学院大学））；The Institute of Statistical Mathematics（统计数学研究所）；RIKEN AIP（理化学研究所人工智能项目中心）
局部差异隐私（LDP）是一种信息论隐私定义，适用于涉及不可信数据管理者的统计调查。虽然人们提出了一种LDP形式的拟极大似然估计（QMLE），但由于等待时间长、通信代价高以及对数似然函数导数有界性假设等原因，现有的构造LDP QMLE的方法很难在实际大规模的测量系统中实现。我们提供了一个替代的LDP协议没有这些问题，这是潜在的更容易部署到一个大规模的调查。我们还提供了我们的协议的一致性和渐近正态性和局限性的充分条件。我们的协议是用户的负担较轻，和理论上的保证，涵盖更现实的情况下，比现有的方法。
2022-02-15 cs.LG stat.ML
Locally Differentially Private Naive Bayes Classification
Case Western Reserve University（凯斯西储大学）；University of South Florida（南佛罗里达大学）
在机器学习中，需要训练分类模型以预测类别标签。当训练数据包含关于个人的个人信息时，由于隐私问题，收集训练数据变得困难。局部差分隐私是一种度量不存在可信数据管理者时个人隐私的定义。个人与不受信任的数据聚合器交互，该数据聚合器在不了解个人数据的情况下获得关于人口的统计信息。为了训练一个朴素贝叶斯分类器在一个不可信的设置，我们建议使用满足本地差分隐私的方法。个体发送他们的扰动输入，保持特征值和类标签之间的关系。数据聚合器估计朴素贝叶斯分类器所需的所有概率。然后，可以基于估计的概率对新实例进行分类。我们提出了离散和连续数据的解决方案。为了消除大量的噪声和降低通信成本的多维数据，我们建议利用降维技术，可以由个人应用之前扰动他们的输入。实验结果表明，在局部差分隐私下，即使个人隐私得到保证，朴素贝叶斯分类器仍能保持准确性，并且通过降维提高了分类器的准确性.
2019-05-03 cs.CR cs.LG stat.ML
Modulated learning for private and distributed regression with just a single sample per client device
MIT（麻省理工学院）
针对每个客户端仅有一个样本的分布式学习场景，提出一种通过注入校准噪声并共享后处理表示来实现隐私保护的全局模型学习方法，在期望上匹配非私有中心化梯度更新。
2026-05-25 cs.CR cs.LG stat.ML
Locally Differentially Private Gradient Tracking for Distributed Online Learning over Directed Graphs
Clemson University（克莱姆森大学）
本文针对有向图上的分布式在线学习提出一种本地差分隐私梯度跟踪算法，在保证严格隐私且累计隐私预算有限的同时实现均方收敛到精确最优解，并通过多个基准实验验证其优于现有方法。
2023-10-29 cs.LG
Voting-based Approaches For Differentially Private Federated Learning
University of California, Santa Barbara（加州大学圣巴巴拉分校）；NEC Laboratories America（NEC美国实验室）；University of California, San Diego（加州大学圣迭戈分校）
差分私有联邦学习（DPFL）是一个新兴的领域，有着广泛的应用前景。基于梯度平均的DPFL方法需要昂贵的通信轮次，并且由于其添加的噪声的显式维度依赖性，几乎不能与大容量模型一起工作。在这项工作中，灵感来自知识转移非联邦隐私学习Papernot等人。(2017; 2018），我们设计了两个新的DPFL方案，通过从每个局部模型返回的数据标签之间的投票，而不是平均的梯度，这避免了维度依赖，并显着降低了通信成本。从理论上讲，通过应用安全多方计算，我们可以指数放大（数据依赖）的隐私保证时，投票分数的利润率很大。大量的实验表明，我们的方法显着提高了DPFL的国家的最先进的隐私效用权衡。
2021-02-16 cs.CR cs.LG
A Locally Differential Private Coding-Assisted Succinct Histogram Protocol
Department of Electrical Engineering and Computer Science, University of Michigan, Ann Arbor, MI 48109, USA（电气工程与计算机科学系，密歇根大学，安阿伯，MI 48109, USA）；Department of Electrical and Computer Engineering, Northeastern University, Boston, MA 02115, USA（电气与计算机工程系，东北大学，波士顿，MA 02115, USA）
本文提出首个基于纠错码（极化码与SCL解码）的实用$(ε,δ)$-LDP简洁直方图协议，通过高斯扰动实现软解码，在低频率项上优于现有方法。
2025-06-21 cs.CR cs.DC cs.LG
Locally Differentially Private Distributed Online Learning with Guaranteed Optimality
Clemson University（克莱姆森大学）
本文提出一种局部差分隐私分布式在线学习方法，利用在线学习特性在无限时间跨度下同时保证学习精度与有限累积隐私预算，并通过机器学习任务验证了其有效性。
2024-08-23 cs.CR cs.LG cs.MA
Private Federated Frequency Estimation: Adapting to the Hardness of the Instance
Johns Hopkins University（约翰斯·霍普金斯大学）；Google Research（谷歌研究院）；Rice University（莱斯大学）
本文针对多轮联邦频率估计提出可证明更优的混合草图算法，并设计两阶段方法根据实例难度自适应设置草图大小，同时支持差分隐私，在大规模数据上验证了性能优势。
2023-12-02 cs.DS cs.LG
Locally Optimal Private Sampling: Beyond the Global Minimax
Department of Computing and Software（计算与软件系）；McMaster University（麦斯特大学）；Department of Mathematical Sciences（数学科学系）；Korea Advanced Institute of Science & Technology（韩国科学技术院）
本研究提出局部最优私有采样方法，在局部差分隐私下，通过函数LDP框架证明局部极小极大风险由全局决定，并给出不依赖f-散度的闭式最优采样器，实证优于全局方法。
2025-10-10 cs.CR cs.CY cs.IT
$\mathsf{OPA}$: One-shot Private Aggregation with Single Client Interaction and its Applications to Federated Learning
JPMorgan AI Research（摩根大通人工智能研究院）；JPMorgan AlgoCRYPT CoE（摩根大通 AlgoCRYPT 卓越中心）
针对安全计算中通信轮次成本高、客户端多的问题，提出一次性私有聚合（$\mathsf{OPA}$），客户端每次聚合仅通信一次，简化掉线和动态参与管理，基于多种密码原语构建，在隐私保护联邦学习中应用，性能优于现有方案。
2025-11-15 cs.AI cs.CR cs.LG
Adap DP-FL: Differentially Private Federated Learning with Adaptive Noise
East China Normal University（华东师范大学）
联邦学习试图通过让客户只公开他们的本地训练模型来解决孤立数据岛的问题。然而，研究表明，通过分析局部模型参数，如深度神经网络模型权重，仍然可以推断出私人信息。近年来，差分隐私被应用于联邦学习中以保护数据隐私，但加入的噪声可能会大大降低学习性能。通常情况下，在以前的工作中，训练参数被同等地裁剪，噪声被均匀地添加。没有考虑训练参数的异质性和收敛性。在本文中，我们提出了一个差分隐私的联邦学习方案与自适应噪声（Adap DP-FL）。具体来说，由于梯度的异质性，我们进行自适应梯度裁剪为不同的客户端和不同的回合;由于梯度收敛，我们添加相应的减少噪音。在真实数据集上的大量实验表明，我们的Adap DP-FL显著优于以前的方法。
2022-11-29 cs.CR cs.DC cs.LG
Locally Private Hypothesis Selection
Microsoft Research（微软研究院）；University of Waterloo（滑铁卢大学）；University of Toronto（多伦多大学）；University of Minnesota（明尼苏达大学）；Cornell University（康奈尔大学）
本文首先研究了局部差分隐私下的假设选择问题。给定来自未知概率分布$p$和一组$k$概率分布$\mathcal{Q}$的样本，我们的目标是在$\varepsilon$ -局部差分隐私的约束下，输出来自$\mathcal{Q}$的分布，其到$p$的总变化距离与最佳分布相当。这是$k$ -明智的简单假设检验的经典问题的推广，它对应于当$p \in \mathcal{Q}$，我们希望识别$p$ .在没有隐私约束的情况下，这个问题需要来自$p$的$O(\log k)$样本，并且最近表明，在（中央）差分隐私下可以实现相同的复杂性。然而，在局部差分隐私下解决这个问题的简单方法将需要$\tilde O(k^2)$样本。我们首先表明，局部差分隐私的约束会导致成本呈指数级增加：这个问题的任何算法至少需要$Ω(k)$样本。其次，对于$k$ -明智的简单假设检验的特殊情况下，我们提供了一个非交互式的算法，几乎匹配这个界限，需要$\tilde O(k)$样本。最后，我们提供了一般情况下，需要$\tilde O(k)$样本，只有$O(\log \log k)$轮的互动顺序交互式算法。我们的算法是通过减少到最大的选择与对抗比较器，一个独立的兴趣，我们开始研究的并行设置的问题。对于这个问题，我们提供了一个家庭的算法，每个允许的互动$t$轮数，以及下限显示，他们是接近最佳的每一个$t$。值得注意的是，我们的算法导致…
2020-06-20 cs.CR cs.DS cs.IT
Optimal locally private estimation under $\ell_p$ loss for $1\le p\le 2$
Princeton University（普林斯顿大学）；University of Maryland, College Park（马里兰大学帕克分校）
本文研究了局部差分隐私约束下支持度为$k$的离散分布的极大极小估计问题。私有化方案独立地应用于每个原始样本，并且我们需要从私有化样本估计原始样本的分布。正数$ε$衡量私有化方案的隐私级别。在我们以前的工作（IEEE Trans.通知。理论，2018），我们提出了一个新的私有化计划和相应的估计族。我们还证明了我们的方案和估计量在$e^ε \ll k$机制下在$\ell_2^2$（均方）和$\ell_1$损失下都是阶最优的。在本文中，我们锐化这一结果，显示渐近最优性下的$\ell_p^p$损失的所有$1\le p\le 2.$的建议计划更确切地说，我们表明，对于任何$p\in[1,2]$和任何$k$和$ε,$之间的比率最坏情况下的$\ell_p^p$估计损失我们的计划和最佳值接近$1$的样本数趋于无穷大。作为证明的一部分，我们建立的关于私人估计的极大极小风险的下界对任何损失函数$\ell_p^p, p\ge 1.$都是有效的
2018-10-16 cs.IT cs.LG math.IT
Communication-Efficient and Differentially Private Vertical Federated Learning with Zeroth-Order Optimization
Elmore Family School of Electrical and Computer Engineering, Purdue University（电气与计算机工程学院，普渡大学）；Department of Computer Science and Engineering, Yonsei University（计算机科学与工程系，延世大学）
本文提出DPZV框架，通过零阶优化实现通信高效且具有差分隐私的垂直联邦学习，有效降低通信开销并提升隐私保护。
2025-12-26 cs.AI cs.CR cs.DC
Differentially Private Sketches for Jaccard Similarity Estimation
IT University of Copenhagen（哥本哈根信息技术大学）
本文描述了两个局部差分私有算法释放用户向量，使这些向量之间的Jaccard相似性可以有效地估计。基本构建块是众所周知的MinHash方法。为了实现隐私-效用权衡，MinHash使用广义随机响应和拉普拉斯机制的变体以两种方式进行扩展。理论分析提供了绝对误差的界限，实验显示了合成数据和真实数据的实用性-隐私权衡。本文最后对相关工作进行了批判性的讨论。
2020-08-18 cs.CR cs.IR cs.LG
Private and Distributionally Robust Federated Multiclass Classification
Georgia Institute of Technology（佐治亚理工学院）；H. Milton Stewart School of Industrial and Systems Engineering（H. Milton Stewart工业与系统工程学院）
本文提出一种带ADMM算法的差分隐私分布鲁棒联邦多分类框架，为客户端记录提供样本级隐私，在工业故障诊断等任务中优于相关基线方法。
2026-10-12 cs.LG math.OC
FedAUXfdp: Differentially Private One-Shot Federated Distillation
Fraunhofer Heinrich Hertz Institute（弗劳恩霍夫海因里希·赫兹研究所）
联邦学习在非iid局部数据集的情况下受到影响，即，当客户端的数据分布是异构的时，一个有前途的方法，这一挑战是最近提出的方法FedAUX，增强联邦蒸馏与强大的结果，甚至高度异构的客户端数据。FedAUX是一种部分$(ε, δ)$ -差分私有方法，因为客户端的私有数据仅在其参与的部分训练中受到保护。这项工作提供了一个完全不同的私有修改，称为FedAUXfdp。我们进一步贡献了正则化多项式逻辑回归的$l_2$敏感性的上限。在大规模图像数据集上的深度网络实验中，具有强差分隐私保证的FedAUXfdp在单轮通信中对非iid客户端数据的性能明显优于其他同等私有化的SOTA基线。完全私有化的修改后的方法的结果在一个可以忽略不计的减少在所有级别的数据异质性的准确性。
2022-06-21 cs.DC cs.LG
Communication-Learning Co-Design for Differentially Private Over-the-Air Federated Distillation
Department of Information Engineering, The Chinese University of Hong Kong（信息工程系，香港中文大学）；Intelligent Transportation Thrust, The Hong Kong University of Science and Technology (Guangzhou)（智能交通研究组，香港科学与技术大学（广州））
本文提出差分隐私空中联邦蒸馏框架，通过推导学习收敛速率与隐私损失解析式，优化跨时间尺度的收发机设计与训练轮数，在满足功率与隐私要求下最大化收敛速率，大幅降低通信开销。
2025-08-06 cs.IT cs.LG eess.SP
Strategic Incentivization for Locally Differentially Private Federated Learning
Indian Institute of Technology Kharagpur, India（印度理工学院科丁布尔分校）；Rutgers University, USA（罗格斯大学）
本文将本地差分隐私联邦学习中的隐私与准确性权衡建模为博弈，提出基于代币的激励机制，通过代币扣除控制客户端访问全局模型，激励客户端降低梯度噪声以提升模型准确性。
2025-08-10 cs.GT cs.LG
Locally differentially private estimation of nonlinear functionals of discrete distributions
CREST（法国统计与经济研究所）；ENSAE（法国国家统计与经济管理学院）；Institut Polytechnique de Paris（巴黎理工学院）
本文研究局部差分隐私下离散分布幂和泛函的估计问题，提出交互式与非交互式隐私机制及相应估计方法，并给出二次风险上界与下界，其中交互式两步程序在γ≥2时达到参数速率。
2023-08-12 cs.LG math.ST stat.ME
Differentially Private Contextual Linear Bandits
University of Alberta（阿尔伯塔大学）
我们研究的上下文线性土匪问题，一个版本的标准随机多臂土匪（MAB）的问题，学习者顺序选择的行动，以最大限度地提高奖励，这也取决于用户提供的每轮上下文。虽然上下文是任意选择的，但奖励被假设为对上下文和所选动作进行编码的特征向量的随机函数。我们的目标是为上下文线性强盗问题设计私人学习器。我们首先表明，使用标准定义的差分隐私的结果在线性遗憾。因此，我们采用了联合差分隐私的概念，其中我们假设在$t$日选择的操作仅向用户$t$公开，因此不需要在当天保持隐私，仅在随后的几天保持隐私。我们给出了一个通用的方案，将经典的线性UCB算法转换为一个联合差分隐私算法，使用基于树的算法。然后，我们应用高斯噪声或Wishart噪声来实现联合差分隐私算法，并绑定所得到的算法的遗憾。此外，我们给出了第一个下界的额外遗憾的任何私人算法的MAB问题必须招致。
2018-09-28 cs.LG stat.ML
