Locally Differentially Private Bayesian Inference
Aalto University(阿尔托大学);University of Manchester(曼彻斯特大学);University of Helsinki(赫尔辛基大学)
近年来,局部差分隐私(LDP)已成为一种选择的隐私保护数据收集在几种情况下,当聚合器是不值得信赖的技术。LDP通过在用户端添加噪声来提供客户端隐私。因此,客户端不需要依赖于聚合器的可信度。在这项工作中,我们提供了一个噪声感知的概率建模框架,它允许贝叶斯推断考虑到噪声下的LDP隐私,条件是局部扰动观测。LDP协议提供的更强的隐私保护(与中央模型相比)是在更苛刻的隐私-效用权衡下实现的。我们的框架解决了LDP在贝叶斯设置下准确量化不确定性所带来的几个计算和统计挑战。我们证明了我们的框架在参数估计单变量和多变量分布以及逻辑和线性回归的功效。
2021-10-27 cs.CR cs.LG stat.ML
Optimal Compression of Locally Differentially Private Mechanisms
Massachusetts Institute of Technology(麻省理工学院);Stanford University(斯坦福大学);Google Research(谷歌研究院)
压缩ε-局部差分私有(LDP)随机化器的输出会导致次优效用。在这项工作中,我们展示了使用共享随机性联合压缩和私有化数据的方案的好处。特别地,我们研究了基于最小随机编码(Havasi等人,2019),并证明它们提供了最佳的隐私准确性通信权衡。我们的理论和经验发现表明,我们的方法可以压缩PrivUnit(Bhowmick等人,2018)和子集选择(Ye等人,2018),用于均值和频率估计的最著名的LDP算法,达到ε比特通信的量级,同时保持其隐私和准确性保证。
2022-02-26 cs.CR cs.LG
Differentially Private Query Release Through Adaptive Projection
Amazon AWS AI/ML(亚马逊云科技人工智能与机器学习部门);Columbia University(哥伦比亚大学);University of Pennsylvania(宾夕法尼亚大学)
我们提出,实施,并评估一个新的算法,用于释放答案非常大量的统计查询,如$k$方式的边缘,受到差分隐私。我们的算法自适应地使用了投影机制的连续松弛,该机制使用简单的扰动来回答对私有数据集的查询,然后尝试找到最接近噪声答案的合成数据集。我们使用合成数据集域的连续松弛,这使得投影损失可微,并允许我们使用有效的ML优化技术和工具。我们不是预先回答所有的查询,而是通过迭代和自适应地找到我们的(放松的)合成数据具有高误差的查询,然后重复投影,来明智地使用我们的隐私预算。我们在一系列参数和数据集上进行了广泛的实验评估,发现我们的方法在许多情况下优于现有的算法,特别是当隐私预算很小或查询类很大时。
2021-06-23 cs.CR cs.LG
Optimal differentially private kernel learning with random projection
Department of Mathematical Sciences, KAIST(数学科学系,韩国科学技术院);Department of Industrial and Systems Engineering, KAIST(工业与系统工程系,韩国科学技术院)
本文提出基于随机投影的差分隐私核ERM算法,在经验风险最小化框架下实现平方损失和Lipschitz光滑凸损失函数的最小最大最优超额风险率。
2026-04-29 cs.LG stat.ME stat.ML
Fast and Memory Efficient Differentially Private-SGD via JL Projections
University of Pennsylvania(宾夕法尼亚大学);Microsoft Research(微软研究院);University of Washington(华盛顿大学);Stanford University(斯坦福大学);Twitter(推特)
Abadi等人(2016)的差分私有SGD(DP-SGD)及其变体是唯一已知的用于大规模神经网络私有训练的算法。该算法需要计算每个样本的梯度范数,这在实践中是非常缓慢和内存密集的。在本文中,我们提出了一个新的框架来设计差分私有优化称为DP-SGD-JL和DP-Adam-JL。我们的方法使用Johnson-Lindenstrauss(JL)投影来快速近似每个样本的梯度范数,而无需精确计算它们,从而使我们的优化器的训练时间和内存要求更接近其非DP版本。与以前的尝试,使DP-SGD更快的工作只在一个子集的网络架构或使用编译器技术,我们提出了一个算法的解决方案,适用于任何网络在黑盒的方式,这是本文的主要贡献。为了说明这一点,在IMDb数据集上,我们训练了一个递归神经网络(RNN),以实现良好的隐私与准确性权衡,同时比DP-SGD快得多,并且与非私有SGD具有类似的内存占用。我们算法的隐私分析比DP-SGD更复杂,我们使用Dong等人最近提出的f-DP框架。(2019)来证明隐私。
2021-02-05 cs.CR cs.LG
Locally Private Bayesian Inference for Count Models
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Microsoft Research(微软研究院);Cornell University(康奈尔大学);University of Texas at Austin(得克萨斯大学奥斯汀分校)
我们提出了一种在泊松分解中进行隐私保护贝叶斯推断的一般方法,泊松分解是一种广泛的模型,包括社会科学中最广泛使用的一些模型。我们的方法满足有限精度的局部隐私,局部差分隐私的推广,我们引入制定隐私保证适合稀疏计数数据。我们开发了一种MCMC算法,该算法在给定的数据上近似局部私有后验模型参数,该数据已经通过几何机制局部私有化(Ghosh等人,2012年)。我们的解决方案是基于两个见解:1)一个新的重新解释的几何机制的条件下,阿拉姆分布(阿拉姆,1946年)和2)的一般定理,将阿拉姆贝塞尔分布(袁和Kalbfleisch,2000年)。我们在两个案例研究中展示了我们的方法,在现实世界的电子邮件数据中,我们表明,我们的方法始终优于常用的朴素方法,获得更高质量的文本主题和更准确的网络链接预测。在某些任务上,我们的隐私保护方法甚至优于非私有推理,其中的条件下的真实数据。
2019-02-21 cs.CL cs.CR cs.LG
Dynamic Privacy Allocation for Locally Differentially Private Federated Learning with Composite Objectives
KTH Royal Institute of Technology(KTH皇家理工学院)
本文提出一种局部差分隐私联邦学习算法,通过动态分配时变噪声方差以最小化优化误差上界,在隐私预算约束下同时实现隐私保护与效用,无需调整迭代次数且性能优于现有方法。
2023-08-02 cs.CR cs.DC cs.LG
Locally Private k-Means in One Round
Google(谷歌)
我们提供了一个近似算法的k-means聚类在一轮(又名非交互式)的局部模型的差分隐私(DP)。该算法实现了任意接近最佳非私有近似算法的近似比,改进了先前已知的仅保证大(恒定)近似比的算法。此外,这是第一个常数因子近似算法的k-means,只需要一轮的通信在本地DP模型,积极解决一个悬而未决的问题Stemmer(SODA 2020)。我们的算法框架是相当灵活的,我们证明了这一点,它也产生了类似的接近最佳的近似算法(一轮)洗牌DP模型。
2021-05-15 cs.CR cs.DS cs.LG
Distributionally-Robust Machine Learning Using Locally Differentially-Private Data
University of Melbourne(墨尔本大学)
我们考虑使用局部差异私有数据集的机器学习,特别是回归。Wasserstein距离用于定义以被局部差分隐私噪声破坏的数据集的经验分布为中心的模糊集。示出的模糊集包含未扰动的,干净的数据的概率分布。模糊集的半径是隐私预算、数据分布和问题大小的函数。因此,具有局部差异私有数据集的机器学习可以重写为分布式鲁棒优化。对于一般分布,分布鲁棒优化问题可以放松为正则化的机器学习问题,其中机器学习模型的Lipschitz常数作为正则化器。对于线性和逻辑回归,这个正则化子是模型参数的对偶范数。对于高斯数据,分布鲁棒优化问题可以被精确求解以找到最优正则化子。这种方法产生了一种全新的正则化器来训练线性回归模型。使用这种新的正则化器进行训练可以被视为半定规划。最后,在实际数据集上证明了所提出的分布式鲁棒机器学习训练的性能。
2020-06-24 cs.CR cs.LG math.OC
Differentially private projection-depth-based medians
本文基于提议-测试-发布和指数机制开发了差分隐私的投影深度中位数,证明了其在污染数据下的稳健性,并分析了高斯与柯西设置下的隐私代价与偏差界。
2024-07-23 cs.CR cs.LG math.ST
Instance-Optimal Differentially Private Estimation
Apple, Inc.(苹果公司);Boston University(波士顿大学);Northeastern University(东北大学)
在这项工作中,我们研究了局部极小极大收敛估计率受$ε$ -差分隐私。与最坏情况下的利率,这可能是保守的,算法是局部极小极大最优必须适应简单的问题。本文构造了单参数指数族的局部极小极大差分私有估计,并对分布的尾率进行了估计。在这些情况下,我们证明了用于简单假设检验的最优算法,即Canonne等人(2019)最近的最优私有检验器,直接告知局部极小极大估计算法的设计。
2022-10-28 cs.CR cs.LG math.ST
Better Locally Private Sparse Estimation Given Multiple Samples Per User
School of Statistics, Renmin University of China(中国人民大学统计学院);Center for Applied Statistics, Renmin University of China(中国人民大学应用统计中心)
本文针对本地差分隐私稀疏线性回归提出用户级框架,通过先筛选候选变量再在低维空间估计,消除了误差对维度 d 的线性依赖,将上界从 O(s*d/(nmε²)) 改进为 O(s*²/(nmε²)),并在实验中验证了其优越性。
2024-08-08 cs.LG stat.ME stat.ML
Exactly Minimax-Optimal Locally Differentially Private Sampling
School of Electrical Engineering, KAIST(韩国科学技术院电气工程学院);Department of Computing and Software, McMaster University(麦斯特大学计算机与软件系)
本文提出了一种在局部差分隐私下精确最优的采样机制,通过f-散度度量效用,实现了有限和连续数据空间的最优隐私-效用权衡。
2024-10-30 cs.CR cs.LG
Locally Differentially Private Online Federated Learning With Correlated Noise
KTH Royal Institute of Technology(KTH皇家理工学院);Georgia Institute of Technology(佐治亚理工学院)
本文提出一种利用时间相关噪声的本地差分隐私在线联邦学习算法,通过扰动迭代分析和漂移误差管理,在非凸损失下建立动态遗憾界,并验证了其有效性。
2025-03-12 cs.DC cs.LG stat.ML
(Locally) Differentially Private Combinatorial Semi-Bandits
Peking University(北京大学);Microsoft Research Asia(微软亚洲研究院)
在本文中,我们研究了组合半强盗(CSB),这是一个经典的多臂强盗(MAB)在差分隐私(DP)和更强的局部差分隐私(LDP)设置的扩展。由于服务器在CSB中从用户接收更多的信息,这通常会导致对数据维度的额外依赖,这是隐私保护学习的一个众所周知的副作用。然而,CSB下两个常见的平滑假设\cite{kveton2015tight,chen2016combinatorial},我们表明,它是可能的,以消除这种副作用。详细地,对于$B_{\infty}$有界光滑CSB,在$\varepsilon$或$\varepsilon$下,通过提出新的算法和匹配下界,我们证明了最优后悔界分别为$Θ(\frac{mB^2_{\infty}\ln T } {Δε^2})$或$\tildeΘ(\frac{mB^2_{\infty}\ln T} { Δε})$,其中$T$为时间段,$Δ$为奖励间隔,$m$为基臂数.对于$\varepsilon$ -DP下的$B_1$ -有界光滑CSB,我们还证明了最优后悔界是$\tildeΘ(\frac{mKB^2_1\ln T} {Δε})$,同时具有上界和下界,其中$K$是每轮反馈的最大数目。所有上述结果几乎匹配相应的非私有最优费率,这意味着在上述公共设置中,(局部)差异私有CSB没有额外的价格。
2020-07-03 cs.LG stat.ML
Locally Private Inference for Riemannian Stochastic Optimization
Nanyang Technological University(南洋理工大学);Shanghai University of Finance and Economics(上海财经大学)
本文提出一种基于本地差分隐私的黎曼随机优化推断方法,通过条件居中的随机切线梯度与对称对回归估计方差,实现流形上总体最小值的有效推断,并在模拟和NHANES数据上验证了性能。
2026-09-24 cs.LG math.OC math.ST
Deconvoluting Kernel Density Estimation and Regression for Locally Differentially Private Data
University of Melbourne(墨尔本大学)
局部差分隐私已经成为隐私文献的黄金标准,用于以隐私保护的方式收集或发布敏感的个人数据点。然而,局部差分数据可能会扭曲数据的概率密度,因为用于确保隐私的加性噪声。事实上,由于与隐私保护噪声密度函数的卷积,隐私保护数据的密度(无论我们收集多少样本)与原始数据点的密度函数相比总是更平坦。当使用缓慢衰减的隐私保护噪声(如拉普拉斯噪声)时,这种效果尤其明显。这可能会导致低估/高估重量级人物。这是社会科学家面临的一个重要挑战,因为美国在2020年人口普查中使用了差异隐私。在本文中,我们开发了密度估计方法使用平滑内核。我们使用去卷积核密度估计的框架,以消除隐私保护噪声的影响。这种方法也使我们能够适应的结果,从非参数回归误差变量开发回归模型的基础上本地差异私人数据。我们展示了金融和人口数据集上的开发方法的性能。
2020-11-09 cs.CR cs.LG math.ST
Devil's Hand: Data Poisoning Attacks to Locally Private Graph Learning Protocols
Beijing University of Posts and Telecommunications(北京邮电大学);Shandong University(山东大学);North China Electric Power University(华北电力大学);University of Illinois Chicago(伊利诺伊大学香槟分校)
本文首次提出针对本地隐私图学习协议的数据投毒攻击,通过注入虚假用户、建立链接并伪造数据,在理论与实验上证明了该攻击能有效损害图学习实用性,并指出当前防御策略效果有限。
2025-06-26 cs.CR cs.LG
Tight Lower Bounds for Locally Differentially Private Selection
我们证明了一个严格的下限(常数因子)的样本复杂性的任何非交互式本地差分私有协议优化的线性函数的单纯形。这个下限也意味着一个严格的下限(再次,常数因子)的样本复杂性的任何非交互式本地差分私有协议实现指数机制。这些结果表明,这些问题的任何本地协议具有指数更差的依赖于维数比相应的算法在中心模型。在此之前,Kasiviswanathan等人(FOCS 2008)证明了PAC学习奇偶函数类的局部和中心模型算法之间的指数分离。相比之下,我们的下限在数量上是紧的,适用于一个简单而自然的线性优化问题,我们的技术可以说是更简单。
2021-05-14 cs.CR cs.DS cs.LG
Locally Differentially Private Naive Bayes Classification
Case Western Reserve University(凯斯西储大学);University of South Florida(南佛罗里达大学)
在机器学习中,需要训练分类模型以预测类别标签。当训练数据包含关于个人的个人信息时,由于隐私问题,收集训练数据变得困难。局部差分隐私是一种度量不存在可信数据管理者时个人隐私的定义。个人与不受信任的数据聚合器交互,该数据聚合器在不了解个人数据的情况下获得关于人口的统计信息。为了训练一个朴素贝叶斯分类器在一个不可信的设置,我们建议使用满足本地差分隐私的方法。个体发送他们的扰动输入,保持特征值和类标签之间的关系。数据聚合器估计朴素贝叶斯分类器所需的所有概率。然后,可以基于估计的概率对新实例进行分类。我们提出了离散和连续数据的解决方案。为了消除大量的噪声和降低通信成本的多维数据,我们建议利用降维技术,可以由个人应用之前扰动他们的输入。实验结果表明,在局部差分隐私下,即使个人隐私得到保证,朴素贝叶斯分类器仍能保持准确性,并且通过降维提高了分类器的准确性.
2019-05-03 cs.CR cs.LG stat.ML
One-bit Submission for Locally Private Quasi-MLE: Its Asymptotic Normality and Limitation
The Graduate University for Advanced Studies (SOKENDAI)(高级研究研究生院(综合研究大学院大学));The Institute of Statistical Mathematics(统计数学研究所);RIKEN AIP(理化学研究所人工智能项目中心)
局部差异隐私(LDP)是一种信息论隐私定义,适用于涉及不可信数据管理者的统计调查。虽然人们提出了一种LDP形式的拟极大似然估计(QMLE),但由于等待时间长、通信代价高以及对数似然函数导数有界性假设等原因,现有的构造LDP QMLE的方法很难在实际大规模的测量系统中实现。我们提供了一个替代的LDP协议没有这些问题,这是潜在的更容易部署到一个大规模的调查。我们还提供了我们的协议的一致性和渐近正态性和局限性的充分条件。我们的协议是用户的负担较轻,和理论上的保证,涵盖更现实的情况下,比现有的方法。
2022-02-15 cs.LG stat.ML
Locally Private Parametric Methods for Change-Point Detection
School of Computer and Communication Sciences, École Polytechnique Fédérale de Lausanne (EPFL), Vaud, Switzerland(计算机与通信科学学院,瑞士洛桑联邦理工学院(EPFL),瓦乌州)
本文提出基于局部差分隐私的参数变化点检测方法,通过随机响应和二进制机制提升隐私保护下的检测精度,并揭示隐私对性能的影响。
2026-10-12 cs.IT cs.LG math.IT
PCDP-SGD: Improving the Convergence of Differentially Private SGD via Projection in Advance
针对DP-SGD因梯度裁剪信息损失导致的收敛问题,提出PCDP-SGD框架,通过预投影压缩冗余梯度范数并保留关键分量,扩展为DPFL组件缓解数据异构,理论证明收敛性提升,实验在计算机视觉任务中准确率更高且优于现有联邦学习框架。
2025-04-12 cs.CR cs.LG
Communication Complexity in Locally Private Distribution Estimation and Heavy Hitters
Cornell University(康奈尔大学)
我们考虑隐私和通信约束下的分布估计和重打击(频率)估计的问题。虽然这些限制已被单独研究,一个最优方案是次优的其他。我们提出了一个样本最优的$\varepsilon$ -局部差分私有(LDP)方案的分布估计,其中每个用户只通信一个比特,不需要公共随机性。我们表明,Hadamard响应,最近提出的计划$\varepsilon$ -LDP分布估计也是效用最优的重打击估计。最后,我们表明,不像分布估计,没有公共随机性,只有一个比特就足够了,任何重量级的估计算法,通信$o(\min \{\log n, \log k\})$位从每个用户不能是最佳的。
2019-05-28 cs.DS cs.IT cs.LG
Trust-But-Verify: Poisoning-Resilient Locally Private Graph Learning Protocols
Beijing University of Posts and Telecommunications(北京邮电大学);Beihang University(北京航空航天大学);The Hong Kong University of Science and Technology(香港科技大学);Chongqing University of Posts and Telecommunications(重庆邮电大学)
针对本地私有图学习易受数据投毒攻击的问题,提出基于信任但验证范式的VERITAS协议,通过验证列表和双边证明修剪恶意节点,实验证明其有效提升鲁棒性。
2026-09-09 cs.LG
Locally Differentially Private Document Generation Using Zero Shot Prompting
Cohere For AI;IBM Research(IBM研究院)
本文提出DP-Prompt机制,利用预训练大语言模型和零样本提示实现本地差分隐私文档生成,在IMDB等数据集上显著降低作者去匿名化攻击成功率,同时保持下游情感分析效用,并在多个开源大语言模型上验证了隐私-效用权衡。
2023-11-30 cs.CL cs.CR cs.LG
Query-Efficient Locally Private Hypothesis Selection via the Scheffe Graph
Cheriton School of Computer Science, University of Waterloo and Vector Institute(查尔顿计算机科学学院,滑铁卢大学和向量研究所);University of Waterloo(滑铁卢大学);Carnegie Mellon University(卡内基梅隆大学)
本文提出了一种在局部差分隐私下实现高效查询的假设选择算法,通过Scheffé图结构改进查询复杂度,减少查询次数并提高效率。
2026-01-15 cs.DS cs.LG stat.ML
Locally Differentially Private Embedding Models in Distributed Fraud Prevention Systems
Featurespace;University of Cambridge(剑桥大学);University of Nottingham(诺丁汉大学)
本文提出了一种基于本地差分隐私和变长交易序列潜在嵌入的协作深度学习框架,用于分布式欺诈预防系统,在保障数据隐私的同时实现了对外部模型的安全数据共享,并在真实数据集上验证了其对推理时攻击的鲁棒性及效用-隐私权衡。
2024-01-03 cs.CR cs.LG
On the Utility Gain of Iterative Bayesian Update for Locally Differentially Private Mechanisms
Inria(法国国家信息与自动化研究所);École Polytechnique (IPP)(巴黎综合理工学院(巴黎理工学院))
本文评估 IBU 作为 LDP 离散分布估计后处理方法的效用,通过十四种机制、多指标与真实/合成数据实验证明其尤其在小 ε 下优于 MI,并开源实现与教程。
2023-07-15 cs.CR cs.LG
Locally Differentially Private Minimum Finding
RIKEN AIP(理化学研究所AIP);National Chung Hsing University(国立中兴大学);University of Tsukuba(筑波大学)
我们调查的问题,找到最小值,其中每个用户有一个真正的价值,我们要估计这些值的最小值下的局部差分隐私约束。我们发现,这个问题是从根本上困难的,我们不能构建一个机制,在最坏的情况下是一致的。而不是考虑最坏的情况下,我们的目标是建立一个私人的机制,其差错率是自适应的最小估计的容易程度。作为一种简单的措施,我们引入了一个参数$α$,其特征在于胖的最小侧尾的用户数据分布。因此,我们揭示了该机制可以实现$O((\ln^6N/ε^2N)^{1/2α})$错误没有知识的$α$和差错率是接近最佳的意义上说,任何机制引起$Ω((1/ε^2N)^{1/2α})$错误。此外,我们证明了我们的机制优于一个天真的机制,通过对合成数据集的经验评估。此外,我们在MovieLens数据集和购买历史数据集上进行了实验,并证明我们的算法实现了$\tilde{O}((1/N)^{1/2α})$误差自适应$α$。
2019-05-27 cs.CR cs.LG math.ST
sqSGD: Locally Private and Communication Efficient Federated Learning
Tsinghua Univerisity(清华大学);Meituan(美团);Google(谷歌);Ant Group(蚂蚁集团);Sony AI(索尼人工智能);Galixir(星药科技)
联邦学习(FL)是一种从分散的数据源训练机器学习模型的技术。我们研究FL的隐私约束,这提供了强大的保护,防止敏感数据泄露,通过混淆数据离开客户端之前的本地概念。我们确定了两个主要问题,在设计实用的隐私保护FL算法:通信效率和高维兼容性。然后,我们开发了一个基于梯度的学习算法称为\emph{sqSGD}(选择性量化随机梯度下降),解决这两个问题。所提出的算法是基于一种新的隐私保护量化方案,使用每个客户端的每个维度的比特数恒定。然后,我们从三个方面改进了基本算法:首先,我们采用了梯度子采样策略,在固定的隐私预算下,同时提供更好的训练性能和更小的通信成本。其次,我们利用随机旋转作为预处理步骤,以减少量化误差。第三,采用自适应梯度范数上界收缩策略,以提高精度和稳定训练。最后,在基准数据集上验证了该框架的实用性.实验结果表明,sqSGD成功地学习了具有局部隐私约束的大型模型,如LeNet和ResNet。此外,在固定的隐私和通信级别下,sqSGD的性能显著优于各种基线算法。
2022-06-22 cs.CR cs.LG
Locally Differentially Private Frequency Estimation with Consistency
Purdue University(普渡大学);Eindhoven University of Technology(埃因霍温理工大学)
本地差分隐私(LDP)保护数据收集器的用户隐私。LDP协议已经越来越多地部署在工业中。一个基本的构建块是频率预言(FO)协议,它估计值的频率。虽然已经提出了几个FO协议,但其设计目标并没有导致回答许多查询的最佳结果。在本文中,我们表明,通过利用所有个体频率都应该是非负的并且它们总和为1的知识,在FO协议中添加后处理步骤可以显著提高各种任务的准确性,包括个体值的频率,最频繁值的频率和值子集的频率。我们考虑10种不同的方法,以不同的方式利用这些知识。我们建立了其中一些之间的理论关系,并进行了广泛的实验评估,以了解哪些方法应用于不同的查询任务。
2020-01-29 cs.CR cs.DB cs.DS
Differentially Private Sketches for Jaccard Similarity Estimation
IT University of Copenhagen(哥本哈根信息技术大学)
本文描述了两个局部差分私有算法释放用户向量,使这些向量之间的Jaccard相似性可以有效地估计。基本构建块是众所周知的MinHash方法。为了实现隐私-效用权衡,MinHash使用广义随机响应和拉普拉斯机制的变体以两种方式进行扩展。理论分析提供了绝对误差的界限,实验显示了合成数据和真实数据的实用性-隐私权衡。本文最后对相关工作进行了批判性的讨论。
2020-08-18 cs.CR cs.IR cs.LG
FedRP: A Communication-Efficient Approach for Differentially Private Federated Learning Using Random Projection
School of ECE(电子工程系);College of Engineering(工程学院);University of Tehran(塔里班大学)
FedRP是结合高斯随机投影与ADMM共识优化的差分隐私联邦学习方法,可大幅降低通信量,在MNIST、CIFAR-10数据集上实现与FedAvg相当的准确率,且隐私性更优。
2026-08-25 cs.LG
Locally Differentially Private Gradient Tracking for Distributed Online Learning over Directed Graphs
Clemson University(克莱姆森大学)
本文针对有向图上的分布式在线学习提出一种本地差分隐私梯度跟踪算法,在保证严格隐私且累计隐私预算有限的同时实现均方收敛到精确最优解,并通过多个基准实验验证其优于现有方法。
2023-10-29 cs.LG
Photonic Differential Privacy with Direct Feedback Alignment
LightOn(LightOn公司);LPENS, École Normale Supérieure(巴黎高等师范学院 LPENS实验室);Criteo AI Lab(Criteo人工智能实验室)
光学处理单元(OPU)--专用于大规模随机投影的低功耗光子芯片--已在先前的工作中使用直接反馈对准(DFA)来训练深度神经网络,这是反向传播的有效替代方案。在这里,我们演示了如何利用光学随机投影的固有噪声来构建差异化私有DFA机制,使OPU成为提供私有设计培训的首选解决方案。我们提供了我们的自适应隐私机制的理论分析,仔细测量光学随机投影的噪声如何在这个过程中传播,并产生可证明的差分隐私。最后,我们进行实验,证明我们的学习过程,以实现坚实的最终任务性能的能力。
2022-03-25 cs.CR cs.LG
A Locally Differential Private Coding-Assisted Succinct Histogram Protocol
Department of Electrical Engineering and Computer Science, University of Michigan, Ann Arbor, MI 48109, USA(电气工程与计算机科学系,密歇根大学,安阿伯,MI 48109, USA);Department of Electrical and Computer Engineering, Northeastern University, Boston, MA 02115, USA(电气与计算机工程系,东北大学,波士顿,MA 02115, USA)
本文提出首个基于纠错码(极化码与SCL解码)的实用$(ε,δ)$-LDP简洁直方图协议,通过高斯扰动实现软解码,在低频率项上优于现有方法。
2025-06-21 cs.CR cs.DC cs.LG
Locally Differentially Private Distributed Online Learning with Guaranteed Optimality
Clemson University(克莱姆森大学)
本文提出一种局部差分隐私分布式在线学习方法,利用在线学习特性在无限时间跨度下同时保证学习精度与有限累积隐私预算,并通过机器学习任务验证了其有效性。
2024-08-23 cs.CR cs.LG cs.MA
Protection Against Reconstruction and Its Applications in Private Federated Learning
Apple, Inc.(苹果公司);Stanford University(斯坦福大学)
在大规模统计学习中,数据收集和模型拟合越来越多地转向外围设备-手机,手表,健身追踪器-远离集中的数据收集。伴随着分散数据的增加,维护隐私的挑战越来越大,同时允许足够的信息适合准确,有用的统计模型。这激发了当地的隐私概念-最重要的是,当地差异隐私,它提供了强大的保护,防止敏感数据泄露-在统计人员或学习者甚至可以观察到数据之前,数据就被混淆了,为个人数据提供了强有力的保护。然而,传统上采用的局部隐私可能被证明对于实际使用来说过于严格,特别是在现代高维统计和机器学习问题中。因此,我们重新审视了我们提供保护的披露类型和对手,考虑了先前信息有限的对手,并确保他们很有可能无法在有用的公差内重建个人数据。通过重新定义这些保护,我们允许更有用的数据发布-大的隐私参数在本地差分隐私-我们设计了新的(极大极小)最优本地差分隐私机制的统计学习问题的\emph{all}隐私级别。因此,我们提出了可行的方法来进行大规模的本地私有模型训练,这在以前是不可能的,从理论上和经验上表明,我们可以适应大规模的图像分类和语言模型,而效用几乎没有下降。
2019-06-03 cs.LG stat.ML
Locally Optimal Private Sampling: Beyond the Global Minimax
Department of Computing and Software(计算与软件系);McMaster University(麦斯特大学);Department of Mathematical Sciences(数学科学系);Korea Advanced Institute of Science & Technology(韩国科学技术院)
本研究提出局部最优私有采样方法,在局部差分隐私下,通过函数LDP框架证明局部极小极大风险由全局决定,并给出不依赖f-散度的闭式最优采样器,实证优于全局方法。
2025-10-10 cs.CR cs.CY cs.IT
Memory-Efficient Differentially Private Training with Gradient Random Projection
University of Delaware(德克萨斯大学);University of Southern California(南加州大学);Meta;Amazon(亚马逊)
本文提出DP-GRAPE方法,通过随机高斯矩阵替代SVD子空间,减少内存使用并保持与一阶DP方法相当的效用,同时消除了昂贵的SVD计算需求,显著提升内存效率和模型性能。
2026-05-18 cs.LG
Optimal locally private estimation under $\ell_p$ loss for $1\le p\le 2$
Princeton University(普林斯顿大学);University of Maryland, College Park(马里兰大学帕克分校)
本文研究了局部差分隐私约束下支持度为$k$的离散分布的极大极小估计问题。私有化方案独立地应用于每个原始样本,并且我们需要从私有化样本估计原始样本的分布。正数$ε$衡量私有化方案的隐私级别。在我们以前的工作(IEEE Trans.通知。理论,2018),我们提出了一个新的私有化计划和相应的估计族。我们还证明了我们的方案和估计量在$e^ε \ll k$机制下在$\ell_2^2$(均方)和$\ell_1$损失下都是阶最优的。在本文中,我们锐化这一结果,显示渐近最优性下的$\ell_p^p$损失的所有$1\le p\le 2.$的建议计划更确切地说,我们表明,对于任何$p\in[1,2]$和任何$k$和$ε,$之间的比率最坏情况下的$\ell_p^p$估计损失我们的计划和最佳值接近$1$的样本数趋于无穷大。作为证明的一部分,我们建立的关于私人估计的极大极小风险的下界对任何损失函数$\ell_p^p, p\ge 1.$都是有效的
2018-10-16 cs.IT cs.LG math.IT
Data Poisoning Attacks to Locally Differentially Private Range Query Protocols
National Yang Ming Chiao Tung University(国立阳明交通大学);RIKEN AIP(理化学研究所人工智能项目);ISM and AIST(信息科学研究机构与产业技术综合研究所);Institute of Science Tokyo(东京科学大学);Meiji University(明治大学)
首次研究针对LDP范围查询协议(基于树和网格)的数据投毒攻击,提出可证明最优的攻击方法,并发现后处理过程Norm-Sub能大幅放大攻击效果,同时提出可规避防御的自适应攻击。
2025-03-06 cs.CR cs.LG
Locally differentially private estimation of nonlinear functionals of discrete distributions
CREST(法国统计与经济研究所);ENSAE(法国国家统计与经济管理学院);Institut Polytechnique de Paris(巴黎理工学院)
本文研究局部差分隐私下离散分布幂和泛函的估计问题,提出交互式与非交互式隐私机制及相应估计方法,并给出二次风险上界与下界,其中交互式两步程序在γ≥2时达到参数速率。
2023-08-12 cs.LG math.ST stat.ME
Locally Differentially-Private Randomized Response for Discrete Distribution Learning
Centre Tecnològic de Telecomunicacions de Catalunya (CTTC/CERCA)(加泰罗尼亚电信技术中心(CTTC/CERCA));Ecole Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
我们考虑这样一种安排。来自未知有限支持分布$\boldsymbol{p}$的样本$X_1,\dotsc,X_n$通过离散私有化信道(也称为$n$)的$n$拷贝。机制)产生输出$Y_1,\dotsc,Y_n$。信道法则保证了$ε$的局部差分隐私。根据规定的隐私级别$ε$,最佳信道应该被设计为使得基于信道输出$Y_1,\dotsc,Y_n$的源分布的估计尽可能快地收敛到精确值$\boldsymbol{p}$。为此,我们研究了三个分布距离度量:$f$ -发散,均方误差和总变差的收敛到零。我们推导出相应的归一化一阶收敛项(作为$n\to\infty$),其对于给定的目标隐私$ε$表示经验法则因子,通过该经验法则因子,样本大小必须被增大,以便实现与非随机化信道相同的估计精度。我们制定的隐私保真度权衡问题是最小化隐私约束下的一阶项$ε$。我们进一步确定了一个标量,捕捉这种权衡的本质,并证明了这个数量的界限和数据处理不等式。对于隐私-保真度权衡问题的一些特定实例,我们推导出最佳权衡曲线的内外界。
2018-11-29 cs.IT cs.LG math.IT
Interpretable and Differentially Private Predictions
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Tübingen(图宾根大学);University of Cambridge(剑桥大学)
可解释的预测,即明确机器学习模型做出特定决策的原因,可能会通过揭示单个数据点的特征来损害隐私。这就提出了本文讨论的中心问题:模型可以在不损害隐私的情况下被解释吗?对于由相应丰富模型拟合的复杂大数据,平衡隐私性和可解释性特别具有挑战性,因此这个问题在很大程度上尚未探索。在本文中,我们提出了一个家庭的简单的模型,在近似复杂的模型,使用几个局部线性映射每类提供高的分类精度,以及不同的私人解释的分类的目的。我们说明了我们的方法在几个图像基准数据集以及医疗数据集上的实用性。
2020-04-05 cs.LG stat.ML
Locally Private Hypothesis Selection
Microsoft Research(微软研究院);University of Waterloo(滑铁卢大学);University of Toronto(多伦多大学);University of Minnesota(明尼苏达大学);Cornell University(康奈尔大学)
本文首先研究了局部差分隐私下的假设选择问题。给定来自未知概率分布$p$和一组$k$概率分布$\mathcal{Q}$的样本,我们的目标是在$\varepsilon$ -局部差分隐私的约束下,输出来自$\mathcal{Q}$的分布,其到$p$的总变化距离与最佳分布相当。这是$k$ -明智的简单假设检验的经典问题的推广,它对应于当$p \in \mathcal{Q}$,我们希望识别$p$ .在没有隐私约束的情况下,这个问题需要来自$p$的$O(\log k)$样本,并且最近表明,在(中央)差分隐私下可以实现相同的复杂性。然而,在局部差分隐私下解决这个问题的简单方法将需要$\tilde O(k^2)$样本。我们首先表明,局部差分隐私的约束会导致成本呈指数级增加:这个问题的任何算法至少需要$Ω(k)$样本。其次,对于$k$ -明智的简单假设检验的特殊情况下,我们提供了一个非交互式的算法,几乎匹配这个界限,需要$\tilde O(k)$样本。最后,我们提供了一般情况下,需要$\tilde O(k)$样本,只有$O(\log \log k)$轮的互动顺序交互式算法。我们的算法是通过减少到最大的选择与对抗比较器,一个独立的兴趣,我们开始研究的并行设置的问题。对于这个问题,我们提供了一个家庭的算法,每个允许的互动$t$轮数,以及下限显示,他们是接近最佳的每一个$t$。值得注意的是,我们的算法导致…
2020-06-20 cs.CR cs.DS cs.IT
Strategic Incentivization for Locally Differentially Private Federated Learning
Indian Institute of Technology Kharagpur, India(印度理工学院科丁布尔分校);Rutgers University, USA(罗格斯大学)
本文将本地差分隐私联邦学习中的隐私与准确性权衡建模为博弈,提出基于代币的激励机制,通过代币扣除控制客户端访问全局模型,激励客户端降低梯度噪声以提升模型准确性。
2025-08-10 cs.GT cs.LG
Locally Private Distributed Reinforcement Learning
LINE Corporation(LINE公司);University of Tsukuba(筑波大学)
我们研究了局部差分私有算法的强化学习,以获得一个强大的政策,在分布式私有环境中表现良好。我们的算法保护本地代理的模型的信息被利用的对抗性逆向工程。由于局部策略受到个体环境的强烈影响,Agent的输出可能会无意识地释放私有信息。在我们提出的算法中,本地代理更新模型在他们的环境和报告噪声梯度设计,以满足本地差分隐私(LDP),提供了一个严格的本地隐私保证。通过利用一组报告的噪声梯度,中央聚合器更新其模型并将其传递给不同的本地代理。在我们的实证评估中,我们展示了我们的方法如何在LDP下表现良好。据我们所知,这是第一个在LDP下实现分布式强化学习的工作。这项工作使我们能够获得一个强大的代理,在分布式私有环境中表现良好。
2020-01-31 cs.CR cs.LG stat.ML
Optimal Locally Private Nonparametric Classification with Public Data
School of Statistics(统计学院);Renmin University of China(中国人民大学);Center for Applied Statistics(应用统计中心)
研究公开数据辅助的局部差分隐私非参数分类问题,提出局部差分隐私分类树方法,首次推导出极小极大最优收敛速率,并通过数据驱动剪枝避免参数调优,实验证明公开数据优于私有数据。
2024-06-02 cs.CR cs.LG stat.ML
Learning with Locally Private Examples by Inverse Weierstrass Private Stochastic Gradient Descent
InriaLille(Inria里尔);Xparis(巴黎高等理工学院)
本研究提出IWP-SGD算法,通过逆Weierstrass变换校正LDP下的偏差,实现非线性函数的无偏估计,提升二分类任务的模型性能。
2026-02-18 cs.CR cs.LG stat.ML
Locally Private Estimation with Public Features
School of Statistics, Renmin University of China(中国人民大学统计学院);Center for Applied Statistics, School of Statistics, Renmin University of China(中国人民大学统计学院应用统计中心)
该研究开启含公共特征的局部差分隐私学习研究,定义半特征LDP场景,提出HistOfTree估计器,理论达极小极大最优收敛率,实证在合成与真实数据上表现更优,显著降低非参数回归的极小极大收敛率。
2025-02-11 cs.CR cs.LG stat.ML
On the Optimal Regret of Locally Private Linear Contextual Bandit
Massachusetts Institute of Technology(麻省理工学院);University of Texas at Dallas(德克萨斯大学达拉斯分校)
针对局部隐私约束下线性上下文老虎机能否达到经典$\tilde O(\sqrt{T})$遗憾上界的开放问题,提出结合平均绝对偏差误差分析与分层主成分回归的方案,首次实现该最优遗憾上界。
2024-04-15 cs.CR cs.LG stat.ML
Locally Differentially Private (Contextual) Bandits Learning
Peking University(北京大学);Haihua Institute for Frontier Information Technology(海华前沿信息技术研究院);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
本文研究了局部差分私有(LDP)强盗学习。首先,我们提出了简单的黑盒约简框架,可以解决一个大家庭的上下文无关的强盗学习问题的LDP保证。基于我们的框架,我们可以改进以前的最佳结果为私人强盗学习与一点反馈,如私人强盗凸优化,并获得第一个结果为强盗凸优化(BCO)与LDP下的多点反馈。LDP保证和黑盒性质使我们的框架更有吸引力的实际应用相比,以前专门设计的和相对较弱的差分私有(DP)上下文无关的强盗算法。进一步地,我们将我们的$(\varepsilon, δ)$算法推广到广义线性Bandits,它具有一个次线性的遗憾$\tilde{O}(T^{3/4}/\varepsilon)$,并被证明是近最优的。请注意,鉴于DP上下文线性强盗的现有$Ω(T)$下限(Shariff & Sheffe,2018),我们的结果显示了LDP和DP上下文强盗学习之间的根本差异。
2021-01-15 cs.LG stat.ML