Differentially Private Optimization with Sparse Gradients
Google Research（谷歌研究院）；Pontificia Universidad Católica de Chile（智利天主教大学）
本研究针对大嵌入模型场景下的稀疏梯度差分隐私优化问题，改进了稀疏数据均值估计的界，提出了近似最优的稀疏梯度凸优化DP算法，并实现了依赖稀疏度的平稳点逼近速率。
2024-10-31 cs.LG math.OC stat.ML
Locally Differentially Private Online Federated Learning With Correlated Noise
KTH Royal Institute of Technology（KTH皇家理工学院）；Georgia Institute of Technology（佐治亚理工学院）
本文提出一种利用时间相关噪声的本地差分隐私在线联邦学习算法，通过扰动迭代分析和漂移误差管理，在非凸损失下建立动态遗憾界，并验证了其有效性。
2025-03-12 cs.DC cs.LG stat.ML
Fast Optimal Locally Private Mean Estimation via Random Projections
Apple Inc.（苹果公司）；UC Berkeley（加州大学伯克利分校）；Northeastern（东北大学）
针对高维局部隐私均值估计中现有算法误差次优或复杂度高的问题，提出 ProjUnit 框架，通过随机投影至低维子空间并运行最优算法，在保证最优误差的同时显著降低通信与计算成本。
2023-06-26 cs.CR cs.LG stat.ML
(Locally) Differentially Private Combinatorial Semi-Bandits
Peking University（北京大学）；Microsoft Research Asia（微软亚洲研究院）
在本文中，我们研究了组合半强盗（CSB），这是一个经典的多臂强盗（MAB）在差分隐私（DP）和更强的局部差分隐私（LDP）设置的扩展。由于服务器在CSB中从用户接收更多的信息，这通常会导致对数据维度的额外依赖，这是隐私保护学习的一个众所周知的副作用。然而，CSB下两个常见的平滑假设\cite{kveton2015tight,chen2016combinatorial}，我们表明，它是可能的，以消除这种副作用。详细地，对于$B_{\infty}$有界光滑CSB，在$\varepsilon$或$\varepsilon$下，通过提出新的算法和匹配下界，我们证明了最优后悔界分别为$Θ(\frac{mB^2_{\infty}\ln T } {Δε^2})$或$\tildeΘ(\frac{mB^2_{\infty}\ln T} { Δε})$，其中$T$为时间段，$Δ$为奖励间隔，$m$为基臂数.对于$\varepsilon$ -DP下的$B_1$ -有界光滑CSB，我们还证明了最优后悔界是$\tildeΘ(\frac{mKB^2_1\ln T} {Δε})$，同时具有上界和下界，其中$K$是每轮反馈的最大数目。所有上述结果几乎匹配相应的非私有最优费率，这意味着在上述公共设置中，（局部）差异私有CSB没有额外的价格。
2020-07-03 cs.LG stat.ML
Exponential Separations in Local Differential Privacy
University of Pennsylvania（宾夕法尼亚大学）；Google Research（谷歌研究院）
我们证明了两个玩家游戏的通信复杂性和他们的多玩家本地私人类似物的样本复杂性之间的一般连接。我们使用这种连接来证明样本复杂性下限的本地差分私有协议作为直接的推论的结果从通信复杂性。特别地，我们1）使用隐藏层问题的通信下界来证明顺序交互式和完全交互式局部私有协议之间的指数样本复杂度分离，以及2）使用指针追逐问题的通信下界来证明对于每个$k$，$k$轮和$k+1$轮顺序交互式局部私有协议之间的指数样本复杂度分离。
2019-10-29 cs.CR cs.LG stat.ML
Differentially Private High Dimensional Sparse Covariance Matrix Estimation
State University of New York at Buffalo（纽约州立大学布法罗分校）
本文研究了在差分隐私下协方差矩阵的估计问题，其中协方差矩阵是稀疏的和高维的。我们提出了一种新的方法，称为DP-保持，实现一个非平凡的$\ell_2$ -范数为基础的误差界，这是显着优于现有的直接添加噪声的经验协方差矩阵。我们还扩展了$\ell_2$ -范数为基础的误差界的一般$\ell_w$ -范数为基础的任何$1\leq w\leq \infty$，并表明他们共享相同的上界渐近。我们的方法可以很容易地扩展到本地差分隐私。在合成数据集上的实验结果与我们的理论主张一致。
2019-04-15 cs.LG stat.ML
Locally Private Inference for Riemannian Stochastic Optimization
Nanyang Technological University（南洋理工大学）；Shanghai University of Finance and Economics（上海财经大学）
本文提出一种基于本地差分隐私的黎曼随机优化推断方法，通过条件居中的随机切线梯度与对称对回归估计方差，实现流形上总体最小值的有效推断，并在模拟和NHANES数据上验证了性能。
2026-09-24 cs.LG math.OC math.ST
Profile-Based Privacy for Locally Private Computations
差分隐私已经成为隐私保护数据分析的黄金标准。一个流行的变体是本地差分隐私，其中数据持有者是受信任的管理者。然而，更广泛地采用这种模式的一个主要障碍是，它提供了一个糟糕的隐私-效用权衡。在这项工作中，我们解决这个问题，通过引入一个新的变种的本地隐私称为基于配置文件的隐私。其中心思想是，问题设置带有数据生成分布的图G，其边缘编码敏感的分布对，这些分布应该是不可区分的。这提供了更高的效用，因为与局部差分隐私不同，我们不再需要使域中的每对私有值不可区分，而是只保护底层分布的身份。我们建立隐私属性的基于配置文件的隐私定义，如后处理不变性和优美的组合。最后，我们提供的机制，在这个框架中是私人的，并通过模拟表明，他们实现了更高的效用比相应的本地差分隐私机制。
2019-06-16 cs.CR cs.LG stat.ML
Optimal Compression of Locally Differentially Private Mechanisms
Massachusetts Institute of Technology（麻省理工学院）；Stanford University（斯坦福大学）；Google Research（谷歌研究院）
压缩ε-局部差分私有（LDP）随机化器的输出会导致次优效用。在这项工作中，我们展示了使用共享随机性联合压缩和私有化数据的方案的好处。特别地，我们研究了基于最小随机编码（Havasi等人，2019），并证明它们提供了最佳的隐私准确性通信权衡。我们的理论和经验发现表明，我们的方法可以压缩PrivUnit（Bhowmick等人，2018）和子集选择（Ye等人，2018），用于均值和频率估计的最著名的LDP算法，达到ε比特通信的量级，同时保持其隐私和准确性保证。
2022-02-26 cs.CR cs.LG
One-bit Submission for Locally Private Quasi-MLE: Its Asymptotic Normality and Limitation
The Graduate University for Advanced Studies (SOKENDAI)（高级研究研究生院（综合研究大学院大学））；The Institute of Statistical Mathematics（统计数学研究所）；RIKEN AIP（理化学研究所人工智能项目中心）
局部差异隐私（LDP）是一种信息论隐私定义，适用于涉及不可信数据管理者的统计调查。虽然人们提出了一种LDP形式的拟极大似然估计（QMLE），但由于等待时间长、通信代价高以及对数似然函数导数有界性假设等原因，现有的构造LDP QMLE的方法很难在实际大规模的测量系统中实现。我们提供了一个替代的LDP协议没有这些问题，这是潜在的更容易部署到一个大规模的调查。我们还提供了我们的协议的一致性和渐近正态性和局限性的充分条件。我们的协议是用户的负担较轻，和理论上的保证，涵盖更现实的情况下，比现有的方法。
2022-02-15 cs.LG stat.ML
Locally Differentially Private Bayesian Inference
Aalto University（阿尔托大学）；University of Manchester（曼彻斯特大学）；University of Helsinki（赫尔辛基大学）
近年来，局部差分隐私（LDP）已成为一种选择的隐私保护数据收集在几种情况下，当聚合器是不值得信赖的技术。LDP通过在用户端添加噪声来提供客户端隐私。因此，客户端不需要依赖于聚合器的可信度。在这项工作中，我们提供了一个噪声感知的概率建模框架，它允许贝叶斯推断考虑到噪声下的LDP隐私，条件是局部扰动观测。LDP协议提供的更强的隐私保护（与中央模型相比）是在更苛刻的隐私-效用权衡下实现的。我们的框架解决了LDP在贝叶斯设置下准确量化不确定性所带来的几个计算和统计挑战。我们证明了我们的框架在参数估计单变量和多变量分布以及逻辑和线性回归的功效。
2021-10-27 cs.CR cs.LG stat.ML
Distributionally-Robust Machine Learning Using Locally Differentially-Private Data
University of Melbourne（墨尔本大学）
我们考虑使用局部差异私有数据集的机器学习，特别是回归。Wasserstein距离用于定义以被局部差分隐私噪声破坏的数据集的经验分布为中心的模糊集。示出的模糊集包含未扰动的，干净的数据的概率分布。模糊集的半径是隐私预算、数据分布和问题大小的函数。因此，具有局部差异私有数据集的机器学习可以重写为分布式鲁棒优化。对于一般分布，分布鲁棒优化问题可以放松为正则化的机器学习问题，其中机器学习模型的Lipschitz常数作为正则化器。对于线性和逻辑回归，这个正则化子是模型参数的对偶范数。对于高斯数据，分布鲁棒优化问题可以被精确求解以找到最优正则化子。这种方法产生了一种全新的正则化器来训练线性回归模型。使用这种新的正则化器进行训练可以被视为半定规划。最后，在实际数据集上证明了所提出的分布式鲁棒机器学习训练的性能。
2020-06-24 cs.CR cs.LG math.OC
Communication Complexity in Locally Private Distribution Estimation and Heavy Hitters
Cornell University（康奈尔大学）
我们考虑隐私和通信约束下的分布估计和重打击（频率）估计的问题。虽然这些限制已被单独研究，一个最优方案是次优的其他。我们提出了一个样本最优的$\varepsilon$ -局部差分私有（LDP）方案的分布估计，其中每个用户只通信一个比特，不需要公共随机性。我们表明，Hadamard响应，最近提出的计划$\varepsilon$ -LDP分布估计也是效用最优的重打击估计。最后，我们表明，不像分布估计，没有公共随机性，只有一个比特就足够了，任何重量级的估计算法，通信$o(\min \{\log n, \log k\})$位从每个用户不能是最佳的。
2019-05-28 cs.DS cs.IT cs.LG
Locally Private Bayesian Inference for Count Models
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Microsoft Research（微软研究院）；Cornell University（康奈尔大学）；University of Texas at Austin（得克萨斯大学奥斯汀分校）
我们提出了一种在泊松分解中进行隐私保护贝叶斯推断的一般方法，泊松分解是一种广泛的模型，包括社会科学中最广泛使用的一些模型。我们的方法满足有限精度的局部隐私，局部差分隐私的推广，我们引入制定隐私保证适合稀疏计数数据。我们开发了一种MCMC算法，该算法在给定的数据上近似局部私有后验模型参数，该数据已经通过几何机制局部私有化（Ghosh等人，2012年）。我们的解决方案是基于两个见解：1）一个新的重新解释的几何机制的条件下，阿拉姆分布（阿拉姆，1946年）和2）的一般定理，将阿拉姆贝塞尔分布（袁和Kalbfleisch，2000年）。我们在两个案例研究中展示了我们的方法，在现实世界的电子邮件数据中，我们表明，我们的方法始终优于常用的朴素方法，获得更高质量的文本主题和更准确的网络链接预测。在某些任务上，我们的隐私保护方法甚至优于非私有推理，其中的条件下的真实数据。
2019-02-21 cs.CL cs.CR cs.LG
Instance-Optimal Differentially Private Estimation
Apple, Inc.（苹果公司）；Boston University（波士顿大学）；Northeastern University（东北大学）
在这项工作中，我们研究了局部极小极大收敛估计率受$ε$ -差分隐私。与最坏情况下的利率，这可能是保守的，算法是局部极小极大最优必须适应简单的问题。本文构造了单参数指数族的局部极小极大差分私有估计，并对分布的尾率进行了估计。在这些情况下，我们证明了用于简单假设检验的最优算法，即Canonne等人（2019）最近的最优私有检验器，直接告知局部极小极大估计算法的设计。
2022-10-28 cs.CR cs.LG math.ST
Dynamic Privacy Allocation for Locally Differentially Private Federated Learning with Composite Objectives
KTH Royal Institute of Technology（KTH皇家理工学院）
本文提出一种局部差分隐私联邦学习算法，通过动态分配时变噪声方差以最小化优化误差上界，在隐私预算约束下同时实现隐私保护与效用，无需调整迭代次数且性能优于现有方法。
2023-08-02 cs.CR cs.DC cs.LG
Locally Private k-Means in One Round
Google（谷歌）
我们提供了一个近似算法的k-means聚类在一轮（又名非交互式）的局部模型的差分隐私（DP）。该算法实现了任意接近最佳非私有近似算法的近似比，改进了先前已知的仅保证大（恒定）近似比的算法。此外，这是第一个常数因子近似算法的k-means，只需要一轮的通信在本地DP模型，积极解决一个悬而未决的问题Stemmer（SODA 2020）。我们的算法框架是相当灵活的，我们证明了这一点，它也产生了类似的接近最佳的近似算法（一轮）洗牌DP模型。
2021-05-15 cs.CR cs.DS cs.LG
Differentially Private and Federated Structure Learning in Bayesian Networks
PreMeDICal, Inria, Idesp, Inserm, University of Montpellier（PreMeDICal, 法国国家信息与自动化研究所, Idesp, 法国国家健康与医学研究院, 蒙彼利埃大学）
本文提出Fed-Sparse-BNSL方法，结合差分隐私与贪心更新，实现高效隐私保护和低通信开销的贝叶斯网络结构学习。
2026-04-10 cs.LG stat.ML
Deconvoluting Kernel Density Estimation and Regression for Locally Differentially Private Data
University of Melbourne（墨尔本大学）
局部差分隐私已经成为隐私文献的黄金标准，用于以隐私保护的方式收集或发布敏感的个人数据点。然而，局部差分数据可能会扭曲数据的概率密度，因为用于确保隐私的加性噪声。事实上，由于与隐私保护噪声密度函数的卷积，隐私保护数据的密度（无论我们收集多少样本）与原始数据点的密度函数相比总是更平坦。当使用缓慢衰减的隐私保护噪声（如拉普拉斯噪声）时，这种效果尤其明显。这可能会导致低估/高估重量级人物。这是社会科学家面临的一个重要挑战，因为美国在2020年人口普查中使用了差异隐私。在本文中，我们开发了密度估计方法使用平滑内核。我们使用去卷积核密度估计的框架，以消除隐私保护噪声的影响。这种方法也使我们能够适应的结果，从非参数回归误差变量开发回归模型的基础上本地差异私人数据。我们展示了金融和人口数据集上的开发方法的性能。
2020-11-09 cs.CR cs.LG math.ST
Quantum Differentially Private Sparse Regression Learning
The University of Sydney（悉尼大学）；JD Explore Academy（京东探索研究院）；Hon Hai Quantum Computing Research Center（鸿海量子计算研究中心）；University of Technology Sydney（悉尼科技大学）；SenseTime（商汤科技）
如果不能保证隐私，各种先进的量子算法的资格将受到质疑。为了填补这一知识空白，我们设计了一个有效的量子差分私有（QDP）Lasso估计器来解决稀疏回归任务。具体地说，给定$N$ $d$维数据点与$N\ll d$，我们首先证明了最佳的经典和量子非私有Lasso需要$Ω(N+d)$和$Ω(\sqrt{N}+\sqrt{d})$运行时，分别。我们接下来证明QDP Lasso的运行时成本是\textit{dimension independent}，即，$O(N^{5/2})$，这意味着QDP Lasso可以比最佳经典和量子非私有Lasso更快。最后，我们证明了QDP Lasso在隐私保证的情况下达到了接近最优的效用界$\tilde{O}(N^{-2/3})$，并讨论了在近期量子芯片上实现它的机会。
2022-05-30 cs.LG quant-ph
Trust-But-Verify: Poisoning-Resilient Locally Private Graph Learning Protocols
Beijing University of Posts and Telecommunications（北京邮电大学）；Beihang University（北京航空航天大学）；The Hong Kong University of Science and Technology（香港科技大学）；Chongqing University of Posts and Telecommunications（重庆邮电大学）
针对本地私有图学习易受数据投毒攻击的问题，提出基于信任但验证范式的VERITAS协议，通过验证列表和双边证明修剪恶意节点，实验证明其有效提升鲁棒性。
2026-09-09 cs.LG
Query-Efficient Locally Private Hypothesis Selection via the Scheffe Graph
Cheriton School of Computer Science, University of Waterloo and Vector Institute（查尔顿计算机科学学院，滑铁卢大学和向量研究所）；University of Waterloo（滑铁卢大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出了一种在局部差分隐私下实现高效查询的假设选择算法，通过Scheffé图结构改进查询复杂度，减少查询次数并提高效率。
2026-01-15 cs.DS cs.LG stat.ML
Free Gap Information from the Differentially Private Sparse Vector and Noisy Max Mechanisms
Pennsylvania State University（宾夕法尼亚州立大学）
Noisy Max和Sparse Vector是用于差分隐私的选择算法，并且用作更复杂算法的构建块。在本文中，我们表明，这两种算法可以释放额外的信息免费（即，没有额外的隐私成本）。Noisy Max用于返回一组查询中的近似最大值。我们表明，它还可以免费释放近似最大化者和亚军之间的噪音差距。这些免费信息可以将某些后续计数查询的准确性提高高达50%。稀疏向量用于返回一组大约大于固定阈值的查询。我们表明，它可以自适应地控制其隐私预算（使用更少的预算查询，很可能是远远大于阈值），以增加它可以处理的查询量。这些结果来自仔细的隐私分析。
2019-09-15 cs.CR cs.DB cs.LG
Tight Lower Bounds for Locally Differentially Private Selection
我们证明了一个严格的下限（常数因子）的样本复杂性的任何非交互式本地差分私有协议优化的线性函数的单纯形。这个下限也意味着一个严格的下限（再次，常数因子）的样本复杂性的任何非交互式本地差分私有协议实现指数机制。这些结果表明，这些问题的任何本地协议具有指数更差的依赖于维数比相应的算法在中心模型。在此之前，Kasiviswanathan等人（FOCS 2008）证明了PAC学习奇偶函数类的局部和中心模型算法之间的指数分离。相比之下，我们的下限在数量上是紧的，适用于一个简单而自然的线性优化问题，我们的技术可以说是更简单。
2021-05-14 cs.CR cs.DS cs.LG
Exactly Minimax-Optimal Locally Differentially Private Sampling
School of Electrical Engineering, KAIST（韩国科学技术院电气工程学院）；Department of Computing and Software, McMaster University（麦斯特大学计算机与软件系）
本文提出了一种在局部差分隐私下精确最优的采样机制，通过f-散度度量效用，实现了有限和连续数据空间的最优隐私-效用权衡。
2024-10-30 cs.CR cs.LG
Differentially Private High Dimensional Bandits
Columbia University（哥伦比亚大学）
针对高维稀疏上下文线性赌博机在差分隐私约束下的问题，提出PrivateLASSO算法，结合稀疏硬阈值隐私机制与阶段性阈值规则，并证明其极小极大隐私下界及隐私和效用保证。
2024-02-06 cs.CR cs.LG cs.SY
On the Curse of Dimensionality in Private Sparse Covariance Estimation and PCA
University of Texas at Austin（德克萨斯大学奥斯汀分校）
研究差分隐私下稀疏协方差矩阵估计和PCA的样本复杂度，发现当特征向量稀疏时，poly(k, log d)样本足够，否则需poly(d)样本，揭示了私有与非私有版本间的指数差距。
2026-06-23 cs.CR cs.DS cs.LG
Differentially Private High-dimensional Variable Selection via Integer Programming
Operations Research Center（运筹优化中心）；MIT（麻省理工学院）；Sloan School of Management（斯隆管理学院）
本文提出两种基于整数规划的纯差分隐私稀疏变量选择方法，利用结构化采样高效探索非凸目标，在支持恢复上优于现有算法，适用于高维回归与分类。
2025-10-24 cs.CR cs.LG stat.ML
Devil's Hand: Data Poisoning Attacks to Locally Private Graph Learning Protocols
Beijing University of Posts and Telecommunications（北京邮电大学）；Shandong University（山东大学）；North China Electric Power University（华北电力大学）；University of Illinois Chicago（伊利诺伊大学香槟分校）
本文首次提出针对本地隐私图学习协议的数据投毒攻击，通过注入虚假用户、建立链接并伪造数据，在理论与实验上证明了该攻击能有效损害图学习实用性，并指出当前防御策略效果有限。
2025-06-26 cs.CR cs.LG
A Framework for Private Matrix Analysis
Johns Hopkins University（约翰霍普金斯大学）；Fujitsu Laboratories of America（富士通美国研究院）
我们研究了滑动窗口模型中的私有矩阵分析，其中只有最后的$W$更新矩阵被认为是有用的分析。我们给第一个有效的$o(W)$空间差分私有算法的频谱近似，主成分分析，线性回归。我们还启动和显示有效的差异私有算法的两个重要的主成分分析：稀疏主成分分析和非负主成分分析。在我们的工作之前，即使在静态数据设置中，稀疏和非负差分私有主成分分析也没有这样的结果。这些算法是通过确定由流矩阵构成半正定矩阵的充分条件而得到的。我们还显示了计算低秩近似所需的空间上的下界，即使该算法给出了乘法近似，并引起附加误差。这通过减少到某个通信复杂性问题而实现。
2020-09-06 cs.CR cs.DS cs.LG
Fast Private Data Release Algorithms for Sparse Queries
Carnegie Mellon University（卡内基梅隆大学）；University of Pennsylvania（宾夕法尼亚大学）
我们重新审视的问题，准确地回答大类的统计查询，同时保持差分隐私。以前的方法来解决这个问题已经非常普遍，但没有运行时多项式的数据库的大小，只适用于非常有限的类的查询，或放宽了最坏情况下的错误保证的概念。在本文中，我们考虑了大类的稀疏查询，它采取非零值的多项式许多宇宙元素。我们给出了高效的查询释放算法，这类，在交互式和非交互式设置。我们的算法也实现了更好的准确性界限比以前的一般技术时，适用于稀疏查询：我们的界限是独立的宇宙大小。事实上，即使是我们的交互机制的运行时是独立的宇宙的大小，因此可以在“无限宇宙”模型中实现，其中没有有限的宇宙需要指定的数据管理员。
2011-11-29 cs.CR cs.DS cs.LG
Locally Differentially Private Naive Bayes Classification
Case Western Reserve University（凯斯西储大学）；University of South Florida（南佛罗里达大学）
在机器学习中，需要训练分类模型以预测类别标签。当训练数据包含关于个人的个人信息时，由于隐私问题，收集训练数据变得困难。局部差分隐私是一种度量不存在可信数据管理者时个人隐私的定义。个人与不受信任的数据聚合器交互，该数据聚合器在不了解个人数据的情况下获得关于人口的统计信息。为了训练一个朴素贝叶斯分类器在一个不可信的设置，我们建议使用满足本地差分隐私的方法。个体发送他们的扰动输入，保持特征值和类标签之间的关系。数据聚合器估计朴素贝叶斯分类器所需的所有概率。然后，可以基于估计的概率对新实例进行分类。我们提出了离散和连续数据的解决方案。为了消除大量的噪声和降低通信成本的多维数据，我们建议利用降维技术，可以由个人应用之前扰动他们的输入。实验结果表明，在局部差分隐私下，即使个人隐私得到保证，朴素贝叶斯分类器仍能保持准确性，并且通过降维提高了分类器的准确性.
2019-05-03 cs.CR cs.LG stat.ML
PREAMBLE: Private and Efficient Aggregation via Block Sparse Vectors
Apple（苹果公司）；Aarhus University（奥胡斯大学）
针对双服务器高维向量安全聚合中通信成本随维度扩展的问题，提出PREAMBLE机制，利用块稀疏分布式点函数结合随机采样与隐私放大，以极低通信开销实现渐近最优的隐私-效用权衡且噪声开销可忽略。
2025-07-11 cs.CR cs.DS cs.LG
Locally differentially private estimation of nonlinear functionals of discrete distributions
CREST（法国统计与经济研究所）；ENSAE（法国国家统计与经济管理学院）；Institut Polytechnique de Paris（巴黎理工学院）
本文研究局部差分隐私下离散分布幂和泛函的估计问题，提出交互式与非交互式隐私机制及相应估计方法，并给出二次风险上界与下界，其中交互式两步程序在γ≥2时达到参数速率。
2023-08-12 cs.LG math.ST stat.ME
Locally Differentially Private Document Generation Using Zero Shot Prompting
Cohere For AI；IBM Research（IBM研究院）
本文提出DP-Prompt机制，利用预训练大语言模型和零样本提示实现本地差分隐私文档生成，在IMDB等数据集上显著降低作者去匿名化攻击成功率，同时保持下游情感分析效用，并在多个开源大语言模型上验证了隐私-效用权衡。
2023-11-30 cs.CL cs.CR cs.LG
Locally Differentially Private Frequency Estimation with Consistency
Purdue University（普渡大学）；Eindhoven University of Technology（埃因霍温理工大学）
本地差分隐私（LDP）保护数据收集器的用户隐私。LDP协议已经越来越多地部署在工业中。一个基本的构建块是频率预言（FO）协议，它估计值的频率。虽然已经提出了几个FO协议，但其设计目标并没有导致回答许多查询的最佳结果。在本文中，我们表明，通过利用所有个体频率都应该是非负的并且它们总和为1的知识，在FO协议中添加后处理步骤可以显著提高各种任务的准确性，包括个体值的频率，最频繁值的频率和值子集的频率。我们考虑10种不同的方法，以不同的方式利用这些知识。我们建立了其中一些之间的理论关系，并进行了广泛的实验评估，以了解哪些方法应用于不同的查询任务。
2020-01-29 cs.CR cs.DB cs.DS
Locally Differentially Private Minimum Finding
RIKEN AIP（理化学研究所AIP）；National Chung Hsing University（国立中兴大学）；University of Tsukuba（筑波大学）
我们调查的问题，找到最小值，其中每个用户有一个真正的价值，我们要估计这些值的最小值下的局部差分隐私约束。我们发现，这个问题是从根本上困难的，我们不能构建一个机制，在最坏的情况下是一致的。而不是考虑最坏的情况下，我们的目标是建立一个私人的机制，其差错率是自适应的最小估计的容易程度。作为一种简单的措施，我们引入了一个参数$α$，其特征在于胖的最小侧尾的用户数据分布。因此，我们揭示了该机制可以实现$O((\ln^6N/ε^2N)^{1/2α})$错误没有知识的$α$和差错率是接近最佳的意义上说，任何机制引起$Ω((1/ε^2N)^{1/2α})$错误。此外，我们证明了我们的机制优于一个天真的机制，通过对合成数据集的经验评估。此外，我们在MovieLens数据集和购买历史数据集上进行了实验，并证明我们的算法实现了$\tilde{O}((1/N)^{1/2α})$误差自适应$α$。
2019-05-27 cs.CR cs.LG math.ST
Locally Differentially Private Gradient Tracking for Distributed Online Learning over Directed Graphs
Clemson University（克莱姆森大学）
本文针对有向图上的分布式在线学习提出一种本地差分隐私梯度跟踪算法，在保证严格隐私且累计隐私预算有限的同时实现均方收敛到精确最优解，并通过多个基准实验验证其优于现有方法。
2023-10-29 cs.LG
Equivariant Differentially Private Deep Learning: Why DP-SGD Needs Sparser Models
Institute for Artifical Intelligence in Medicine, Technical University of Munich（慕尼黑工业大学医学人工智能研究所）
本文提出利用等变卷积网络实现稀疏模型设计，以更少的参数和计算开销提升DP-SGD训练效率，在CIFAR-10上实现高达9%的准确率提升和超过85%的计算时间减少，弥合隐私与效用差距。
2023-06-21 cs.CR cs.CV cs.LG
Protection Against Reconstruction and Its Applications in Private Federated Learning
Apple, Inc.（苹果公司）；Stanford University（斯坦福大学）
在大规模统计学习中，数据收集和模型拟合越来越多地转向外围设备-手机，手表，健身追踪器-远离集中的数据收集。伴随着分散数据的增加，维护隐私的挑战越来越大，同时允许足够的信息适合准确，有用的统计模型。这激发了当地的隐私概念-最重要的是，当地差异隐私，它提供了强大的保护，防止敏感数据泄露-在统计人员或学习者甚至可以观察到数据之前，数据就被混淆了，为个人数据提供了强有力的保护。然而，传统上采用的局部隐私可能被证明对于实际使用来说过于严格，特别是在现代高维统计和机器学习问题中。因此，我们重新审视了我们提供保护的披露类型和对手，考虑了先前信息有限的对手，并确保他们很有可能无法在有用的公差内重建个人数据。通过重新定义这些保护，我们允许更有用的数据发布-大的隐私参数在本地差分隐私-我们设计了新的（极大极小）最优本地差分隐私机制的统计学习问题的\emph{all}隐私级别。因此，我们提出了可行的方法来进行大规模的本地私有模型训练，这在以前是不可能的，从理论上和经验上表明，我们可以适应大规模的图像分类和语言模型，而效用几乎没有下降。
2019-06-03 cs.LG stat.ML
Locally Convex Sparse Learning over Networks
KTH Royal Institute of Technology（瑞典皇家理工学院）；Cold Spring Harbor Laboratory（冷泉港实验室）
我们考虑一个分布式的学习设置，稀疏信号估计在网络上。我们的主要兴趣是节省通信资源的信息交换在网络上，并减少处理时间。网络的每个节点使用基于凸优化的算法，该算法为该节点提供局部最优解。节点在网络上交换它们的信号估计，以便改进它们的本地估计。在节点处，优化算法基于$\ell_1$ -范数最小化，并进行适当的修改以促进稀疏性以及包括来自相邻节点的估计的影响。我们的期望是，在每个节点的本地估计快速提高和收敛，从而在一个有限的需求，节点之间的估计和减少处理时间的通信。我们提供了基于限制等距属性（RIP）的理论分析估计质量。在干净观测的情况下，它表明，在一定的技术条件下，局部估计收敛到精确的稀疏信号。仿真结果表明，与全局最优分布式LASSO算法相比，本文算法在收敛速度和估计误差方面具有较好的性能。
2018-03-31 cs.LG stat.ML
Locally Differentially Private Embedding Models in Distributed Fraud Prevention Systems
Featurespace；University of Cambridge（剑桥大学）；University of Nottingham（诺丁汉大学）
本文提出了一种基于本地差分隐私和变长交易序列潜在嵌入的协作深度学习框架，用于分布式欺诈预防系统，在保障数据隐私的同时实现了对外部模型的安全数据共享，并在真实数据集上验证了其对推理时攻击的鲁棒性及效用-隐私权衡。
2024-01-03 cs.CR cs.LG
Optimal locally private estimation under $\ell_p$ loss for $1\le p\le 2$
Princeton University（普林斯顿大学）；University of Maryland, College Park（马里兰大学帕克分校）
本文研究了局部差分隐私约束下支持度为$k$的离散分布的极大极小估计问题。私有化方案独立地应用于每个原始样本，并且我们需要从私有化样本估计原始样本的分布。正数$ε$衡量私有化方案的隐私级别。在我们以前的工作（IEEE Trans.通知。理论，2018），我们提出了一个新的私有化计划和相应的估计族。我们还证明了我们的方案和估计量在$e^ε \ll k$机制下在$\ell_2^2$（均方）和$\ell_1$损失下都是阶最优的。在本文中，我们锐化这一结果，显示渐近最优性下的$\ell_p^p$损失的所有$1\le p\le 2.$的建议计划更确切地说，我们表明，对于任何$p\in[1,2]$和任何$k$和$ε,$之间的比率最坏情况下的$\ell_p^p$估计损失我们的计划和最佳值接近$1$的样本数趋于无穷大。作为证明的一部分，我们建立的关于私人估计的极大极小风险的下界对任何损失函数$\ell_p^p, p\ge 1.$都是有效的
2018-10-16 cs.IT cs.LG math.IT
On the Utility Gain of Iterative Bayesian Update for Locally Differentially Private Mechanisms
Inria（法国国家信息与自动化研究所）；École Polytechnique (IPP)（巴黎综合理工学院（巴黎理工学院））
本文评估 IBU 作为 LDP 离散分布估计后处理方法的效用，通过十四种机制、多指标与真实/合成数据实验证明其尤其在小 ε 下优于 MI，并开源实现与教程。
2023-07-15 cs.CR cs.LG
SPriFed-OMP: A Differentially Private Federated Learning Algorithm for Sparse Basis Recovery
Elmore Family School of Electrical and Computer Engineering（埃尔莫尔家族电气与计算机工程学院）；Purdue University（普渡大学）
针对高维联邦场景下稀疏基恢复的隐私保护难题，本文将 OMP 改造为结合 SMPC 与 DP 的 SPriFed-OMP，并提出梯度私有化增强版，在 n=O(√p) 时实现更优准确性—隐私权衡。
2024-02-29 cs.CR cs.LG
DPSR: Differentially Private Sparse Reconstruction via Multi-Stage Denoising for Recommender Systems
Columbia University Irving Medical Center（哥伦比亚大学伊文思医疗中心）
DPSR通过多阶段去噪框架在推荐系统中实现差分隐私保护，有效提升推荐质量，优于现有隐私保护机制。
2025-12-22 cs.CR cs.LG
Differentially Private Sketches for Jaccard Similarity Estimation
IT University of Copenhagen（哥本哈根信息技术大学）
本文描述了两个局部差分私有算法释放用户向量，使这些向量之间的Jaccard相似性可以有效地估计。基本构建块是众所周知的MinHash方法。为了实现隐私-效用权衡，MinHash使用广义随机响应和拉普拉斯机制的变体以两种方式进行扩展。理论分析提供了绝对误差的界限，实验显示了合成数据和真实数据的实用性-隐私权衡。本文最后对相关工作进行了批判性的讨论。
2020-08-18 cs.CR cs.IR cs.LG
Locally Differentially-Private Randomized Response for Discrete Distribution Learning
Centre Tecnològic de Telecomunicacions de Catalunya (CTTC/CERCA)（加泰罗尼亚电信技术中心（CTTC/CERCA））；Ecole Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
我们考虑这样一种安排。来自未知有限支持分布$\boldsymbol{p}$的样本$X_1,\dotsc,X_n$通过离散私有化信道（也称为$n$）的$n$拷贝。机制）产生输出$Y_1,\dotsc,Y_n$。信道法则保证了$ε$的局部差分隐私。根据规定的隐私级别$ε$，最佳信道应该被设计为使得基于信道输出$Y_1,\dotsc,Y_n$的源分布的估计尽可能快地收敛到精确值$\boldsymbol{p}$。为此，我们研究了三个分布距离度量：$f$ -发散，均方误差和总变差的收敛到零。我们推导出相应的归一化一阶收敛项（作为$n\to\infty$），其对于给定的目标隐私$ε$表示经验法则因子，通过该经验法则因子，样本大小必须被增大，以便实现与非随机化信道相同的估计精度。我们制定的隐私保真度权衡问题是最小化隐私约束下的一阶项$ε$。我们进一步确定了一个标量，捕捉这种权衡的本质，并证明了这个数量的界限和数据处理不等式。对于隐私-保真度权衡问题的一些特定实例，我们推导出最佳权衡曲线的内外界。
2018-11-29 cs.IT cs.LG math.IT
sqSGD: Locally Private and Communication Efficient Federated Learning
Tsinghua Univerisity（清华大学）；Meituan（美团）；Google（谷歌）；Ant Group（蚂蚁集团）；Sony AI（索尼人工智能）；Galixir（星药科技）
联邦学习（FL）是一种从分散的数据源训练机器学习模型的技术。我们研究FL的隐私约束，这提供了强大的保护，防止敏感数据泄露，通过混淆数据离开客户端之前的本地概念。我们确定了两个主要问题，在设计实用的隐私保护FL算法：通信效率和高维兼容性。然后，我们开发了一个基于梯度的学习算法称为\emph{sqSGD}（选择性量化随机梯度下降），解决这两个问题。所提出的算法是基于一种新的隐私保护量化方案，使用每个客户端的每个维度的比特数恒定。然后，我们从三个方面改进了基本算法：首先，我们采用了梯度子采样策略，在固定的隐私预算下，同时提供更好的训练性能和更小的通信成本。其次，我们利用随机旋转作为预处理步骤，以减少量化误差。第三，采用自适应梯度范数上界收缩策略，以提高精度和稳定训练。最后，在基准数据集上验证了该框架的实用性.实验结果表明，sqSGD成功地学习了具有局部隐私约束的大型模型，如LeNet和ResNet。此外，在固定的隐私和通信级别下，sqSGD的性能显著优于各种基线算法。
2022-06-22 cs.CR cs.LG
Locally Optimal Private Sampling: Beyond the Global Minimax
Department of Computing and Software（计算与软件系）；McMaster University（麦斯特大学）；Department of Mathematical Sciences（数学科学系）；Korea Advanced Institute of Science & Technology（韩国科学技术院）
本研究提出局部最优私有采样方法，在局部差分隐私下，通过函数LDP框架证明局部极小极大风险由全局决定，并给出不依赖f-散度的闭式最优采样器，实证优于全局方法。
2025-10-10 cs.CR cs.CY cs.IT
A Locally Differential Private Coding-Assisted Succinct Histogram Protocol
Department of Electrical Engineering and Computer Science, University of Michigan, Ann Arbor, MI 48109, USA（电气工程与计算机科学系，密歇根大学，安阿伯，MI 48109, USA）；Department of Electrical and Computer Engineering, Northeastern University, Boston, MA 02115, USA（电气与计算机工程系，东北大学，波士顿，MA 02115, USA）
本文提出首个基于纠错码（极化码与SCL解码）的实用$(ε,δ)$-LDP简洁直方图协议，通过高斯扰动实现软解码，在低频率项上优于现有方法。
2025-06-21 cs.CR cs.DC cs.LG
Locally Differentially Private Distributed Online Learning with Guaranteed Optimality
Clemson University（克莱姆森大学）
本文提出一种局部差分隐私分布式在线学习方法，利用在线学习特性在无限时间跨度下同时保证学习精度与有限累积隐私预算，并通过机器学习任务验证了其有效性。
2024-08-23 cs.CR cs.LG cs.MA
Strategic Incentivization for Locally Differentially Private Federated Learning
Indian Institute of Technology Kharagpur, India（印度理工学院科丁布尔分校）；Rutgers University, USA（罗格斯大学）
本文将本地差分隐私联邦学习中的隐私与准确性权衡建模为博弈，提出基于代币的激励机制，通过代币扣除控制客户端访问全局模型，激励客户端降低梯度噪声以提升模型准确性。
2025-08-10 cs.GT cs.LG
Private Selection from Private Candidates
UC Berkeley（加州大学伯克利分校）；Google Brain（谷歌大脑）
差分私有算法通常需要在许多候选选项中选择最佳选项。经典的作品在这个选择问题上要求候选人的善良，衡量为一个实值的分数函数，不改变太多，当一个人的数据变化。在诸如超参数优化的许多应用中，这种稳定性假设太强了。在这项工作中，我们考虑的选择问题下的一个弱得多的稳定性假设的候选人，即得分函数是不同的私人。在这种假设下，我们提出的算法，是近最佳沿三个相关的方面：隐私，效用和计算效率。我们的结果可以看作是指数机制及其现有推广的推广。我们还开发了一个在线版本的算法，可以被看作是一个推广的稀疏向量技术，这个较弱的稳定性假设。我们展示了我们的结果如何暗示差异私有机器学习中超参数选择以及自适应数据分析的更好算法。
2018-11-19 cs.CR cs.DS cs.LG
