Bayesian Differential Privacy through Posterior Sampling
University of Lille(里尔大学);Harvard University(哈佛大学);Chalmers University of Technology(查尔姆斯理工大学);Google, Inc.(谷歌公司);The University of Melbourne(墨尔本大学)
差分隐私形式化提供对数据库的访问的隐私保护机制。我们提出的问题,是否贝叶斯推断本身可以直接用于提供私人访问数据,没有修改。答案是肯定的:在先验的某些条件下,可以使用来自后验分布的采样来实现期望的隐私和效用水平。为此,我们将差分隐私推广到任意数据集度量,结果空间和分布族。这使得我们也可以处理非i.i. d或非表格数据集。我们证明了后验数据的敏感性,这给出了一个衡量鲁棒性的界限。我们还展示了如何使用后验抽样提供不同的私人响应查询,决策理论框架内。最后,我们提供的效用和数据集的可扩展性的界限。后者补充了一个新的使用乐凸轮的方法来获得下界。我们所有的一般结果都适用于任意数据库指标,包括差分隐私的共同定义。对于度量的具体选择,我们给出了一些例子,满足我们的假设。
2016-12-23 cs.LG stat.ML
ABCDP: Approximate Bayesian Computation with Differential Privacy
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Tübingen(图宾根大学);Google Research(谷歌研究院)
我们开发了一种新的近似贝叶斯计算(ABC)框架,ABCDP,产生差异私人(DP)和近似后验样本。我们的框架利用稀疏向量技术(SVT),广泛研究的差分隐私文献。SVT仅在满足条件(感兴趣的量是否高于/低于阈值)时才产生隐私成本。如果在重复查询过程中稀疏地满足条件,SVT可以大大减少累积的隐私损失,而不像通常的情况下,每个查询都会导致隐私损失。在ABC中,感兴趣的数量是观察数据和模拟数据之间的距离,只有当距离低于阈值时,我们才将相应的先验样本作为后验样本。因此,将SVT应用于ABC是将ABC算法转换为具有最小修改的隐私保护变体的有机方式,但产生具有高隐私级别的后验样本。我们从理论上分析了为隐私而添加的噪声与后验样本的准确性之间的相互作用。
2021-02-08 cs.LG stat.ML
On the Differential Privacy of Bayesian Inference
The University of Melbourne(墨尔本大学);Univ-Lille-3(里尔第三大学);Chalmers University of Technology(查尔姆斯理工大学)
我们研究了如何将贝叶斯推理的结果传达给第三方,同时保持差分隐私的强有力保证。我们的主要贡献是概率图模型上的私有贝叶斯推理的四种不同算法。这些包括两种机制,用于将噪声添加到贝叶斯更新,或者直接添加到后验参数,或者添加到其傅立叶变换,以保持更新一致性。我们还利用最近推出的后验抽样机制,我们证明了离散贝叶斯网络的具体但一般情况下的界限,我们引入了最大后验私有机制。我们的分析包括效用和隐私边界,一个新的重点是图结构对隐私的影响。工作的例子和实验与贝叶斯朴素贝叶斯和贝叶斯线性回归说明我们的机制的应用。
2015-12-22 cs.AI cs.CR cs.LG
On Inherent Privacy of Posterior Sampling: A Unified Rényi-Divergence Framework
University of Rhode Island(罗德岛大学);University of Notre Dame(圣母大学)
本研究提出统一Rényi散度框架,刻画贝叶斯后验采样的固有差分隐私保障,推导OPS隐私损失边界,将框架应用于多类贝叶斯模型,恢复并拓展了现有相关结果。
2026-10-15 cs.LG math.ST stat.ML
Convergent Differential Privacy Analysis for General Federated Learning
School of Computer Science Faculty of Engineering(计算机科学学院工程学院);University of Sydney(悉尼大学);Generative AI Lab(生成式人工智能实验室);College of Computing and Data Science(计算与数据科学学院);Nanyang Technological University(南洋理工大学);School of Cyber Science and Technology(网络安全科学与技术学院);Shenzhen Campus of Sun Yat-sen University(中山大学深圳校区)
本文基于非凸和平滑目标,利用f-差分隐私分析评估了两种经典方法的最坏隐私情况,证明Noisy-FedAvg具有紧收敛界,Noisy-FedProx具有稳定常数下界,为FL-DP框架的可靠性提供了理论基础。
2026-05-13 cs.CR cs.LG
Differentially Private Statistical Inference through $β$-Divergence One Posterior Sampling
Universitat Pompeu Fabra(庞培法布拉大学);University of Oxford(牛津大学);The Alan Turing Institute(艾伦·图灵研究所)
本文提出βD-Bayes方法,通过最小化β-散度的广义后验采样实现差分隐私统计推断,突破了现有方法对模型有界性的强假设限制,首次将后验采样差分隐私估计扩展到神经网络等复杂模型,并在相同隐私保证下获得更精确的估计结果。
2023-10-27 cs.AI cs.CR cs.LG
Bayesian Pseudo Posterior Mechanism for Differentially Private Machine Learning
RTI International(RTI国际研究所);U.S. Bureau of Labor Statistics(美国劳工统计局)
提出SWAG-PPM,一种基于伪后验分布的差分隐私机制,通过按披露风险降权记录,在高度不平衡数据上优于DP-SGD,仅适度降低效用。
2025-03-27 cs.CR cs.LG stat.ML
Differentially private stochastic expectation propagation (DP-SEP)
University of Tübingen(蒂宾根大学);International Max Planck Research School for Intelligent Systems(国际马克斯·普朗克智能系统研究所);University of British Columbia(不列颠哥伦比亚大学)
我们有兴趣在私有化的近似后验推理算法称为期望传播(EP)。EP通过迭代地细化局部似然的近似来近似后验,并且已知EP比变分推理(VI)提供更好的后验不确定性。然而,EP需要大的存储器来维护与训练数据中的每个数据点相关联的所有局部近似。为了克服这一挑战,随机期望传播(SEP)考虑了一个单一的独特的局部因子,该因子捕获每个似然项对后验的平均影响,并以类似于EP的方式对其进行细化。在隐私方面,SEP比EP更易于处理,因为在因子的每个细化步骤中,剩余因子是固定的,并且不像EP那样依赖于其他数据点,这使得敏感性分析变得简单。我们提供了一个理论分析的隐私准确性权衡后估计在我们的方法,称为差分私人随机期望传播(DP-SEP)。此外,我们证明了我们的DP-SEP算法在合成和真实世界的数据集上评估的性能,在不同级别的保证隐私的后验估计的质量。
2022-10-31 cs.LG stat.ML
Private Generative Bootstrap via Blocking
Booth School of Business, University of Chicago(芝加哥大学布斯商学院)
本研究提出私有生成贝叶斯自助法(PGBB),采用分块策略结合差分隐私与摊销推理,在模拟及实际数据应用中实现了更优的私有不确定性量化。
2026-08-04 cs.LG stat.ME stat.ML
Bayesian Frequency Estimation Under Local Differential Privacy With an Adaptive Randomized Response Mechanism
Sabancı University(萨班哲大学)
针对随时间顺序收集的私有分类数据,提出AdOBEst-LDP算法,通过自适应LDP机制和贝叶斯后验采样提高未来数据效用,理论分析证明其收敛性,数值结果显示其优于非自适应和半自适应方法。
2024-11-30 cs.CR cs.LG stat.ML
On The Differential Privacy of Thompson Sampling With Gaussian Prior
Chalmers University of Technology(查尔姆斯理工大学)
我们表明,算法2(Agrawal & Goyal,2013)中详细描述的具有高斯先验的汤普森采样已经是差分私有的。定理1表明,在T轮后,它享有只有$\mathcal{O}(\ln^2 T)$的非常有竞争力的隐私损失。最后,定理2表明,通过适当增加高斯后验样本的方差,可以将隐私损失控制在任何期望的$ε$水平。而这只会增加一个术语$\mathcal{O}(\frac{\ln^2 T}ε)$的遗憾。这与文献中的汤普森采样的先前结果((Mishra & Thakurta,2015))相比是有利的,该文献向遗憾添加了$\mathcal{O}(\frac{K \ln^3 T}{ε^2})$项以实现相同的隐私级别。此外,我们的结果使用了基本的汤普森采样,几乎没有修改,而(Mishra & Thakurta,2015)的结果需要复杂的构造。
2018-06-24 cs.AI cs.CR cs.LG
Apollo: A Posteriori Label-Only Membership Inference Attack Towards Machine Unlearning
University of Pittsburgh(匹兹堡大学);Cisco Research(思科研究)
本研究针对现有面向机器遗忘的隐私攻击依赖弱威胁模型、可行性受限的问题,提出仅需访问遗忘模型标签输出的Apollo后验仅标签成员推理攻击,以更低的模型访问权限实现了较高的被遗忘样本成员身份推断精度。
2025-10-27 cs.LG
Bayesian Estimation of Differential Privacy
Microsoft Research(微软研究院);Microsoft(微软公司);University College London(伦敦大学学院)
差分私有SGD等算法能够训练具有正式隐私保证的机器学习模型。然而,这些算法在理论上保证的保护与它们在实践中提供的保护之间存在差异。一个新兴的工作链经验性地估计由不同的私人训练提供的保护,作为用于训练模型的隐私预算$\varepsilon$的置信区间。现有方法从成员推断攻击的假阳性和假阴性率的置信区间导出$\varepsilon$的置信区间。不幸的是,使用这种方法获得$ε$的窄高置信区间需要不切实际的大样本量和训练与样本一样多的模型。我们提出了一种新的贝叶斯方法,大大减少了样本量,并适应和验证了启发式绘制一个以上的样本每个训练模型。我们的贝叶斯方法利用假设检验解释的差分隐私获得后$\varepsilon$(不只是一个置信区间)的联合后的假阳性和假阴性率的成员推断攻击。对于相同的样本量和置信度,我们推导出$\varepsilon$的置信区间比之前的工作窄40%左右。我们从仅标签DP中改编的启发式方法可以用于进一步减少获得足够样本所需的训练模型数量,最多可减少2个数量级。
2022-06-15 cs.CR cs.LG
Federated Deep Learning with Bayesian Privacy
WeBank(微众银行);Hong Kong University of Science and Technology(香港科技大学);Shanghai Jiao Tong University(上海交通大学)
联邦学习(FL)旨在通过协作学习模型而不在用户之间共享私有数据来保护数据隐私。对于具有数十亿模型参数的深度神经网络的联邦学习,现有的隐私保护解决方案不能令人满意。基于同态加密(HE)的方法提供安全的隐私保护,但是遭受极高的计算和通信开销,使得其在实践中几乎无用。具有差分隐私(DP)的深度学习被实现为以可管理的复杂度成本的实用学习算法。然而,DP是容易受到侵略性的贝叶斯恢复攻击,在文献中公开,并在这项工作的实验结果中证明。为了解决上述困惑,我们提出了一种新的贝叶斯隐私(BP)框架,使贝叶斯恢复攻击被制定为从观察到的公共信息重建私人数据的概率。具体地,所提出的BP框架通过Kullback-Leibler(KL)关于隐私数据的先验分布与基于暴露信息的恢复隐私数据的后验分布之间的分歧来准确地量化隐私损失。据我们所知,这种贝叶斯隐私分析是第一个提供安全的隐私保护能力对贝叶斯恢复攻击的理论依据。作为一个具体的用例,我们证明了一种使用私有护照层的新型联邦深度学习方法能够同时实现高模型性能,隐私保护能力和低计算复杂性。理论分析是根据信息泄漏的经验测量广泛实验了各种DNN网络的图像分类MNIST,CIFAR 10和CIFAR 100数据集。
2021-09-27 cs.AI cs.CR cs.LG
Differentially Private Bayesian Linear Regression
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
线性回归是处理敏感的人工来源数据的许多领域的重要工具。重要的先前工作集中在产生差分私人点估计,它提供了一个隐私保证个人,同时仍然允许建模者通过估计回归系数从数据中得出见解。我们研究贝叶斯线性回归问题,目标是计算后验分布,正确量化私人发布的统计数据的不确定性。我们表明,一个天真的方法,忽略了隐私机制注入的噪音在现实的数据设置做得很差。然后,我们开发了噪声感知的方法,执行推理的隐私机制,并在广泛的场景中产生正确的后验。
2019-10-29 cs.LG stat.ML
A New Analysis of Differential Privacy's Generalization Guarantees
本文为自适应数据分析中的“迁移定理”提供了初等新证明,通过结合差分隐私和样本准确性推导出更优的具体界限,显著提升了小数据集上的实用性。
2024-06-04 cs.CR cs.LG stat.ML
Differentially Private Bayesian Inference for Generalized Linear Models
Aalto University(阿尔托大学);University of Helsinki(赫尔辛基大学);University of Manchester(曼彻斯特大学)
广义线性模型(GLM),如逻辑回归,是数据分析师最广泛使用的工具之一,通常用于敏感数据集。大量的现有工作,调查差分隐私(DP)约束下的GLM只提供私人点估计的回归系数,并不能量化参数的不确定性。在这项工作中,逻辑和泊松回归作为运行的例子,我们介绍了一个通用的噪声感知DP贝叶斯推理方法GLM在手,给出了一个嘈杂的总和的汇总统计量。量化不确定性使我们能够确定哪些回归系数在统计上与零显著不同。我们提供了一个以前未知的严密的隐私分析和实验证明,从我们的模型中获得的后验,同时坚持强隐私保证,接近非私人后验。
2021-05-12 cs.CR cs.LG stat.ML
Differentially Private Stochastic Gradient Descent with Fixed-Size Minibatches: Tighter RDP Guarantees with or without Replacement
Texas State University(德克萨斯州立大学);University of South Florida(南佛罗里达大学);University of Arizona(亚利桑那大学)
针对固定大小子采样的DP-SGD,提出更紧的RDP会计方法,改进界限4倍,并证明其与泊松子采样隐私等价,且内存使用更优。
2024-08-19 cs.CR cs.LG
Tractable MCMC for Private Learning with Pure and Gaussian Differential Privacy
UC Santa Barbara(圣巴巴拉大学);Amazon AI(亚马逊人工智能);UC San Diego(圣迭戈大学)
本文提出ASAP算法,通过按W∞距离对MCMC样本添加噪声,在保持纯差分隐私或纯高斯差分隐私的同时消除δ近似误差,并结合局部化步骤首次在强凸光滑损失的DP-ERM问题中实现近线性时间最优速率。
2024-05-01 cs.LG stat.ML
DP-IVON-Gradsq: Differentially Private Squared-Gradient Improved Variational Online Newton
EURECOM(欧洲电信研究院);Concordia University(康考迪亚大学);University of Granada(格拉纳达大学)
研究结合差分隐私与贝叶斯深度学习的挑战,提出DP-IVON-Gradsq方法,通过噪声校正平方梯度估计器构建曲率估计,在CIFAR-10上评估,该方法在弱到中等隐私约束下有竞争力,强隐私下性能下降。
2026-11-05 cs.LG
Quantifying identifiability to choose and audit $ε$ in differentially private deep learning
SAP(SAP公司);Salzburg University of Applied Sciences(萨尔茨堡应用科学大学);University of Heidelberg(海德堡大学);University of Waterloo(滑铁卢大学)
差分隐私允许限制训练数据记录对机器学习模型的影响。为了在机器学习中使用差分隐私,数据科学家必须选择隐私参数$(ε,δ)$。选择有意义的隐私参数是关键,因为使用弱隐私参数训练的模型可能会导致过度的隐私泄露,而强隐私参数可能会过度降低模型的实用性。然而,由于两个主要原因,隐私参数值难以选择。首先,隐私损失的理论上限$(ε,δ)$可能是宽松的,这取决于实际数据集的敏感性和数据分布。第二,匿名化的法律要求和社会规范通常涉及个人的可识别性,而$(ε,δ)$只是间接相关。我们将$(ε,δ)$转换为由差分隐私假设的对手的贝叶斯后验信念上的界限,关于训练数据集中任何记录的存在。结合下的多维查询组合,我们表明,它可以在实践中紧密。此外,我们推导出一个可识别的界限,这涉及到对手假设在差分隐私以前的工作成员推断对手。我们制定了这种差分隐私对手的实现,允许数据科学家审计模型训练和计算经验可识别性得分和经验$(ε,δ)$。
2021-07-20 cs.CR cs.LG
Differentially Private SGD Without Clipping Bias: An Error-Feedback Approach
University of Minnesota(明尼苏达大学);Amazon AI(亚马逊人工智能);Carnegie Mellon University(卡内基梅隆大学)
针对DPSGD-GC因梯度裁剪恒定偏差导致性能下降、最优裁剪阈值难选的问题,提出基于误差反馈的DP算法,支持任意裁剪阈值,在同等隐私保证下实现更高准确率。
2024-04-17 cs.CR cs.LG
On Connecting Stochastic Gradient MCMC and Differential Privacy
Duke University(杜克大学);University at Buffalo, SUNY(纽约州立大学布法罗分校);Nanjing University(南京大学)
最近,在将机器学习应用于现实世界的应用方面取得了重大成功。培训数据的隐私问题也引起了相应的关注,这涉及到数据安全和保密问题。差分隐私在机器学习模型上提供了原则性和严格的隐私保证。虽然通过注入噪声来设计满足所需的差分隐私属性的模型是常见的,但通常难以平衡隐私和实用性之间的权衡。我们表明,随机梯度马尔可夫链蒙特卡罗(SG-MCMC)-最近提出的一类可扩展的贝叶斯后验抽样算法-满足强差分隐私仔细选择的步长。我们开发的性能的建议差分私人SG-MCMC方法的理论。我们进行实验来支持我们的分析,并表明标准的SG-MCMC采样器在没有任何修改的情况下(在默认设置下)可以在贝叶斯学习的隐私和实用性方面达到最先进的性能。
2017-12-25 cs.LG stat.ML
Differential Privacy of Gaussian Process Posterior Sampling
School of Mathematics, University of Bristol(布里斯托大学数学学院)
研究高斯过程后验样本路径的隐私性,通过Rényi-DP界分离后验均值与协方差泄露,揭示有效岭正则化的关键作用,并验证成员推断攻击与正则化的依赖关系。
2026-09-15 cs.CR cs.LG stat.ML
FedLPA: One-shot Federated Learning with Layer-Wise Posterior Aggregation
National University of Singapore(新加坡国立大学);Northeastern University(东北大学);University of Technology Sydney(悉尼科技大学);Tsinghua University(清华大学);ETH Zurich(苏黎世联邦理工学院)
针对一次性联邦学习在非独立同分布数据下的聚合性能下降问题,本文提出FedLPA方法,通过逐层拉普拉斯近似推断并聚合本地模型各层后验来训练全局模型,无需辅助数据且不泄露标签隐私,实验证明其在多个指标上显著优于现有方法。
2024-10-20 cs.AI cs.LG
Nonparametric Variational Differential Privacy via Embedding Parameter Clipping
Idiap Research Institute(日内瓦研究所);EPFL(瑞士联邦理工学院)
本文提出通过嵌入参数裁剪解决非参数变分差分隐私中潜在表示漂移问题,理论推导出后验均值、方差和混合权重约束,提升隐私-效用平衡。
2026-03-19 cs.LG
Incentives in Private Collaborative Machine Learning
National University of Singapore(新加坡国立大学);Peng Cheng Laboratory(鹏城实验室);Washington State University(华盛顿州立大学)
本文提出将差分隐私作为协作机器学习的激励机制,通过贝叶斯惊奇对扰动后的充分统计量进行估值,在保证公平性和模型效用的同时实现隐私保护。
2024-04-02 cs.LG
TAPE: Tailored Posterior Difference for Auditing of Machine Unlearning
University of Technology Sydney(悉尼科技大学);Soochow University(苏州大学)
针对机器遗忘审计依赖后门、效率低的问题,本文提出独立于原始训练的 TAPE,利用一阶梯影响估计、影子模型与隐私重构审计多样本遗忘,效率提升至少4.5倍。
2025-03-17 cs.CR cs.LG
MCMC for Bayesian estimation of Differential Privacy from Membership Inference Attacks
Sabancı University(萨班哲大学)
提出MCMC-DP-Est框架,通过MCMC算法结合多种成员推理攻击证据,联合估计攻击强度与训练算法隐私参数的完整后验分布,实现更谨慎的差分隐私贝叶斯估计。
2025-04-23 cs.LG stat.ML
Simulation-based Bayesian Inference from Privacy Protected Data
Purdue University(普渡大学);University of Chinese Academy of Sciences(中国科学院大学)
针对隐私保护数据难以进行有效统计推断的问题,提出基于仿真的贝叶斯推断方法,结合序列蒙特卡洛和神经条件密度估计器,在传染病模型和线性回归上验证了纠正隐私偏差的可行性。
2025-03-29 cs.LG stat.CO stat.ML
Privacy-preserving Federated Bayesian Learning of a Generative Model for Imbalanced Classification of Clinical Data
School of Management Engineering, Ulsan National Institute of Science and Technology (UNIST)(蔚山科学技术院管理工程学院)
在临床研究中,缺乏感兴趣的事件往往需要不平衡的学习。解决这一障碍的一种方法是数据集成或共享,但由于隐私问题,这两种方法都不实用。因此,对于可以在联合环境中在其上执行分析同时保持隐私的平台的需求日益增加。然而,这是相当具有挑战性的联邦学习算法,可以同时解决隐私保护和类不平衡的问题。在这项研究中,我们引入了一个联邦生成模型学习平台,用于在数据分布式环境中生成样本,同时保护隐私。我们特别提出了近似贝叶斯计算为基础的高斯混合模型称为“联邦ABC-GMM”,它可以过采样数据在一个小类通过估计的后验分布的模型参数在整个机构的隐私保护的方式。PhysioNet 2012是一个用于预测重症监护病房(ICU)患者死亡率的数据集,用于验证所提出的方法的性能。实验结果表明,我们的方法提高了分类性能的F1得分接近理想的情况。据信,所提出的方法可以是一种新的替代解决类不平衡问题。
2020-08-29 cs.LG stat.ML
Differentially Private Markov Chain Monte Carlo
University of Halmstad(哈尔姆斯塔德大学);Helsinki Institute for Information Technology HIIT(赫尔辛基信息技术研究所 HIIT);University of Helsinki(赫尔辛基大学);Aalto University(阿尔托大学)
差分私有(DP)机器学习和DP贝叶斯学习的最新发展使得能够在训练数据主题的强隐私保证下进行学习。在本文中,我们进一步扩展了DP贝叶斯学习的适用性,提出了第一个通用的DP马尔可夫链蒙特卡罗(MCMC)算法的隐私保证不受不切实际的假设马尔可夫链收敛,适用于后验推理在任意模型。我们的算法是基于分解的巴克验收测试,允许评估的接受拒绝选择的Rényi DP隐私成本。我们进一步展示了如何通过数据二次抽样和近似验收测试来提高DP保证。
2019-06-17 cs.CR cs.LG stat.CO
Per-instance Differential Privacy
UC Santa Barbara(加州大学圣巴巴拉分校);Carnegie Mellon University(卡内基梅隆大学)
我们考虑一个细化的差分隐私-每实例差分隐私(pDP),它捕获一个特定的个人相对于一个固定的数据集的隐私。我们表明,这是一个严格的推广标准DP和继承其所有可取的性质,例如,合成,对边信息的不变性和对后处理的封闭性,除了它们都分别适用于每个实例。当数据来自一个分布,我们表明,每实例DP意味着泛化。此外,我们提供了明确的计算每实例DP的输出扰动一类光滑学习问题。结果揭示了一个有趣而直观的事实,即如果一个人对数据集具有较小的“杠杆分数”,并且如果他/她可以使用留一数据集更准确地预测,则他/她具有更强的隐私。我们的模拟显示了几个数量级更有利的隐私和效用权衡时,我们只考虑数据集中的用户的隐私。在差分私有线性回归的案例研究中,提供了一种新的单后验样本(OPS)估计量的分析,并表明当数据集条件良好时,它为任何目标个体提供$(ε,δ)$ -pDP,并将精确下限匹配到$1+\tilde{O}(n^{-1}ε^{-2})$乘法因子。我们还演示了如何使用“pDP到DP转换”步骤来设计AdaOPS,该AdaOPS使用自适应正则化来实现与$(ε,δ)$ -DP相同的结果。
2018-11-14 cs.LG stat.ML
Locally Private Bayesian Inference for Count Models
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Microsoft Research(微软研究院);Cornell University(康奈尔大学);University of Texas at Austin(得克萨斯大学奥斯汀分校)
我们提出了一种在泊松分解中进行隐私保护贝叶斯推断的一般方法,泊松分解是一种广泛的模型,包括社会科学中最广泛使用的一些模型。我们的方法满足有限精度的局部隐私,局部差分隐私的推广,我们引入制定隐私保证适合稀疏计数数据。我们开发了一种MCMC算法,该算法在给定的数据上近似局部私有后验模型参数,该数据已经通过几何机制局部私有化(Ghosh等人,2012年)。我们的解决方案是基于两个见解:1)一个新的重新解释的几何机制的条件下,阿拉姆分布(阿拉姆,1946年)和2)的一般定理,将阿拉姆贝塞尔分布(袁和Kalbfleisch,2000年)。我们在两个案例研究中展示了我们的方法,在现实世界的电子邮件数据中,我们表明,我们的方法始终优于常用的朴素方法,获得更高质量的文本主题和更准确的网络链接预测。在某些任务上,我们的隐私保护方法甚至优于非私有推理,其中的条件下的真实数据。
2019-02-21 cs.CL cs.CR cs.LG
A Bayesian Vertical Federated Learning Framework for Multivariate Reduced-Rank High-Dimensional Regression
Texas A&M University(德克萨斯农工大学)
提出BayesVFLReg,一种用于多元高维降秩回归的贝叶斯纵向联邦学习框架,通过随机草图保护隐私,实现精确系数估计与特征选择,并具有理论保证和实证有效性。
2026-09-29 cs.LG stat.CO stat.ML
Differentially private partitioned variational inference
Telefónica Research(西班牙电信研究院);University of Cambridge(剑桥大学);Harvard University(哈佛大学);University of Helsinki(赫尔辛基大学)
本文提出差分隐私的分区变分推断框架,首次在联邦学习中实现带差分隐私保证的贝叶斯后验变分近似,并给出三种实现方案及理论与实证比较。
2023-04-18 cs.CR cs.LG stat.ML
Sampling Attacks: Amplification of Membership Inference Attacks by Repeated Queries
Max Planck Institute for Computer Science(马克斯·普朗克计算机科学研究所)
机器学习模型已被证明会泄露违反其训练集隐私的信息。我们专注于对机器学习模型的成员推断攻击,其目的是确定数据点是否用于训练受害者模型。我们的工作包括两个方面:我们介绍了抽样攻击,一种新的成员推理技术,不同于其他标准的成员资格的对手是能够工作在严格的限制下,没有访问受害者模型的分数。我们发现,一个受害者模型,只发布标签仍然容易受到抽样攻击和对手可以恢复到100%的性能相比,当后验向量提供。我们的工作的其他方面包括两个最近的成员推断攻击模型的实验结果和对他们的防御。为了防御,我们选择差分隐私的形式梯度扰动在受害者模型的训练以及输出扰动在预测时间。我们在广泛的数据集上进行实验,这使我们能够更好地分析对手,防御机制和数据集之间的交互。我们发现,我们提出的快速和易于实现的输出扰动技术提供了很好的隐私保护成员推断攻击在效用的影响很小。
2020-09-01 cs.CR cs.LG
A Secure and Private Distributed Bayesian Federated Learning Design
Beijing Laboratory of Advanced Information Network(北京先进信息网络实验室);Beijing Key Laboratory of Network System Architecture and Convergence(北京网络系统架构与融合重点实验室);Beijing University of Posts and Telecommunications(北京邮电大学);College of Information Science and Electronic Engineering(信息科学与电子工程学院);University of Miami(迈阿密大学);The University of Hong Kong(香港大学)
本文提出了一种结合拜占庭鲁棒性、隐私保护和收敛加速的分布式贝叶斯联邦学习框架,通过图神经网络强化学习算法实现设备自主连接决策,提升了系统鲁棒性和效率。
2026-02-23 cs.AI cs.LG
Federated Learning via Meta-Variational Dropout
Seoul National University(首尔国立大学)
提出元变分丢弃(MetaVD)方法,通过共享超网络预测客户端丢弃率,实现贝叶斯元学习下的联邦学习个性化,缓解非IID数据导致的过拟合,提升分类精度与不确定性校准,并降低通信成本。
2025-10-23 cs.AI cs.LG
Noise-Aware Differentially Private Variational Inference
University of Helsinki(赫尔辛基大学)
针对差分隐私导致下游推断不可靠的问题,提出一种基于随机梯度变分推断的噪声感知近似贝叶斯推断方法,可应用于高维和非共轭模型,并改进了后验评估精度。
2026-10-15 cs.CR cs.LG stat.ML
Statistic Selection and MCMC for Differentially Private Bayesian Estimation
Sabancı University(萨班哲大学)
本文研究了当一个样本的统计量在噪声中被共享以提供差分隐私时,总体分布参数的差分隐私贝叶斯估计。本文主要解决两个问题:(1)样本的哪些统计量应该私下共享?对于第一个问题,即,关于统计量选择的问题,我们提出了利用费舍尔信息的方法。我们发现,在非隐私设置中信息量最大的统计量可能不是隐私限制下的最佳选择。我们提供了几个例子来支持这一点。我们考虑了几种类型的数据共享设置,并提出了几种基于蒙特卡罗的数值估计方法来计算这些设置的费舍尔信息。第二个问题涉及推理:(2)基于共享统计量,我们如何进行有效的贝叶斯推断?我们提出了几个马尔可夫链蒙特卡罗(MCMC)算法的采样从后验分布的参数给定的噪声统计。建议的MCMC算法可以优先于另一个取决于问题。例如,当共享统计是加性的并且添加了高斯噪声时,利用中心极限定理的简单Metropolis-Hasting算法是一个不错的选择。我们提出了更先进的MCMC算法的其他几种情况下的实际相关性。我们的数值示例涉及比较几个要私下共享的候选统计量。对于每个统计量,我们执行贝叶斯估计的基础上的后验分布条件的私有化版本的统计。我们证明,相对性能的统计量,在贝叶斯估计的均方误差的基础上相应的私有化统计量,充分预测私有化统计的费舍尔信息。
2022-03-28 cs.LG stat.CO stat.ME
Revisiting differentially private linear regression: optimal and adaptive prediction & estimation in unbounded domain
University of California, Santa Barbara(加州大学圣巴巴拉分校);Amazon AWS AI(亚马逊AWS人工智能)
我们重新讨论了差分隐私约束下的线性回归问题。通过整合现有文献中的片段,我们澄清了优化误差和估计误差中特征、标签和系数域的正确依赖性,从而揭示了统计估计和统计学习中差分隐私的微妙代价。此外,我们提出了两个现有的DP算法的简单修改:(a)后采样,(b)充分统计量扰动,并表明它们可以升级为 ** 自适应 ** 算法,能够利用数据相关的数量和行为接近最佳 ** 的每一个实例 **。在模拟数据和真实数据上进行了大量的实验,得出的结论是,AdaOPS和AdaSSP在几乎所有36个数据集上都优于现有的技术。
2018-07-07 cs.LG stat.ME stat.ML
GRAFFL: Gradient-free Federated Learning of a Bayesian Generative Model
Institute for Clarity in Documentation(文档清晰性研究所);Inria Paris-Rocquencourt(法国国家信息与自动化研究所巴黎-罗克库尔中心);Rajiv Gandhi University(拉吉夫·甘地大学);Tsinghua University(清华大学);Palmer Research Laboratories(帕尔默研究实验室)
联邦学习平台越来越受欢迎。其中一个主要好处是减轻隐私风险,因为算法的学习可以在不收集或共享数据的情况下实现。虽然联邦学习(即,尽管许多基于随机梯度算法的算法已经显示出很大的潜力,但是在隐私保护方面仍然存在许多挑战性的问题,特别是在梯度更新和交换过程中。本文提出了第一个无梯度的联邦学习框架GRAFFL,用于学习基于近似贝叶斯计算的贝叶斯生成模型。与传统的基于梯度的联邦学习算法不同,我们的框架不需要分解模型(即,线性分量)或扰乱数据(或用于聚合的数据加密)以保护隐私。相反,该框架使用来自每个参与机构的隐式信息来学习参数的后验分布。隐式信息是来自SuffiAE的汇总统计数据,SuffiAE是本研究中开发的神经网络,用于创建压缩和线性可分离的表示,从而保护敏感信息免受泄漏。作为一种充分的降维技术,这被证明可以提供足够的汇总统计量。我们提出了基于GRAFFL的贝叶斯高斯混合模型作为框架的概念验证。使用几个数据集,我们证明了我们的模型在隐私保护和预测性能方面的可行性和实用性(即,接近理想状态)。训练后的模型作为一个准全局模型,可以生成包含其他机构信息的信息样本,并增强对每个机构的数据分析。
2020-08-29 cs.LG stat.ML
Computation-Utility-Privacy Tradeoffs in Bayesian Estimation
Harvard(哈佛大学);ETH Zurich(苏黎世联邦理工学院);MIT(麻省理工学院)
本文首次提出高效的算法,在保证隐私的前提下实现贝叶斯估计的最优误差,同时揭示了计算与统计之间的差距。
2026-03-18 cs.CC cs.DS cs.IT
FedH2L: Federated Learning with Model and Statistical Heterogeneity
National University of Defense Technology(国防科技大学);The University of Edinburgh(爱丁堡大学);Samsung AI Centre(三星人工智能中心)
联邦学习(FL)使分布式参与者能够在不牺牲个人数据隐私的情况下集体学习强大的全局模型。主流FL方法要求每个参与者共享一个共同的网络架构,并进一步假设数据是跨参与者采样的IID。然而,在实际部署中,参与者可能需要异构网络架构;并且数据分布几乎可以肯定在参与者之间是不均匀的。为了解决这些问题,我们引入了FedH 2L,它对模型架构不可知,并且对参与者之间的不同数据分布具有鲁棒性。与共享参数或梯度的方法相比,FedH 2L依赖于相互蒸馏,仅以分散的方式在参与者之间交换共享种子集的后验。这使得它具有极高的带宽效率,模型不可知性,并且在从异构孤岛中学习时,关键是生成能够在整个数据分布上表现良好的模型。
2021-07-27 cs.AI cs.LG
Federated Variational Preference Alignment with Gumbel-Softmax Prior for Personalized User Preferences
Graduate School of AI, POSTECH, Pohang, Republic of Korea(POSTECH人工智能研究生院);Department of CSE, POSTECH, Pohang, Republic of Korea(POSTECH计算机科学与工程系);National AI Research Lab, Seoul, Republic of Korea(首尔国家人工智能研究实验室)
提出FedVPA-GP框架,通过联邦混合先验和正交损失解决联邦学习中用户偏好冲突和个性化问题,在HH-RLHF数据集上优于单一模型。
2026-05-29 cs.AI cs.DC cs.LG
A(DP)$^2$SGD: Asynchronous Decentralized Parallel Stochastic Gradient Descent with Differential Privacy
Weill Cornell Medicine(威尔康奈尔医学院);IBM Research(IBM研究院)
由于深度学习模型通常庞大而复杂,分布式学习对于提高训练效率至关重要。此外,在许多现实世界的应用场景中,如医疗保健,分布式学习也可以将数据保持在本地并保护隐私。一种流行的分布式学习策略是联邦学习,其中存在存储全局模型的中央服务器和一组本地计算节点,所述本地计算节点使用其对应的数据更新模型参数。更新后的模型参数将被处理并传输到中央服务器,这导致了沉重的通信成本。最近,异步分散式分布式学习被提出并被证明是一种更有效和实用的策略,其中没有中央服务器,因此每个计算节点只与其邻居通信。虽然没有原始数据会在不同的本地节点之间传输,但在通信过程中仍然存在信息泄漏的风险,以便恶意参与者进行攻击。本文提出了一种差分私有版本的异步分散并行SGD(ADPSGD)框架,简称A(DP)$^2$ SGD,它既保持了ADPSGD的通信效率,又防止了恶意参与者的干扰。具体地说,R{é}nyi差分隐私被用来提供更严格的隐私分析,我们的复合高斯机制,而收敛速度是一致的非隐私版本。理论分析表明,A(DP)$^2$ SGD也像SGD一样收敛于最优$\mathcal{O}(1/\sqrt{T})$速率.经验上,A(DP)$^2$ SGD实现了与同步SGD(SSGD)的差分私有版本相当的模型精度,但在异构计算环境中运行速度比SSGD快得多。
2020-08-21 cs.DC cs.LG stat.ML
Statistical Indistinguishability of Learning Algorithms
National Technical University of Athens(雅典国立技术大学);Yale University(耶鲁大学);Google Research(谷歌研究院);Technion(以色列理工学院)
本文通过分布的Total Variation距离研究学习规则的相似性,定义了TV不可区分性,并证明其与可复制性、近似差分隐私等算法稳定性概念的信息论等价性,同时提供了统计放大和提升算法。
2023-05-23 cs.DS cs.LG stat.ML
Bayesian Membership Privacy for Graph Neural Networks
University of California, Berkeley(加州大学伯克利分校)
针对图神经网络中结构相关性和随机训练图采样导致的成员推断问题,提出贝叶斯成员隐私(BMP)框架,通过贝叶斯假设检验量化节点级成员隐私,并设计采样感知审计机制以评估隐私泄露。
2026-06-02 cs.CR cs.LG
Constrained Posterior Sampling: Time Series Generation with Hard Constraints
Department of Electrical and Computer Engineering, The University of Texas at Austin(电气与计算机工程系,德克萨斯大学奥斯汀分校)
针对现有约束时间序列生成方法可扩展性差、样本质量低的问题,提出基于扩散的约束后验采样算法CPS,无需额外训练即可支持约百个约束,在多类真实数据集上样本质量和相似性显著优于SOTA方法。
2025-10-29 cs.AI cs.LG eess.SP
AdaPrivate-TS: Private Thompson Sampling for Contextual Bandits with Privacy Amplification
School of Engineering, University of Guelph(圭尔夫大学工程学院)
提出AdaPrivate-TS算法,结合汤普森采样与批量zCDP组合,利用差分隐私噪声结构化膨胀后验协方差,在事件级隐私下实现O(√d log T/√ρ)的隐私成本,并通过泊松子采样放大隐私,实验表明在ε∈[0.5,5]时达到非私有性能的93-99%。
2026-06-23 cs.CR cs.LG stat.ML
Data-dependent PAC-Bayes priors via differential privacy
University of Cambridge(剑桥大学);Element AI;University of Toronto(多伦多大学);Vector Institute(向量研究所)
可能近似正确(PAC)贝叶斯框架(McAllester,1999)可以通过使用分布相关先验来整合有关学习算法和(数据)分布的知识,从而在数据相关后验上产生更严格的泛化边界。然而,使用这种灵活性是困难的,特别是当数据分布被假定为未知时。我们展示了ε-差分私有数据依赖先验如何产生有效的PAC-Bayes界,然后展示了选择先验的非私有机制如何也可以产生泛化界。作为该结果的应用,我们证明了通过随机梯度Langevin动力学(SGLD; Welling and Teh,2011)选择的高斯先验均值导致有效的PAC-Bayes界,给定对ε-差分私有平稳分布的2-Wasserstein距离的控制。我们研究我们的数据依赖的界限经验,并表明,他们可以是nonvacuous,即使当其他分布依赖的界限是空的。
2019-04-19 cs.LG stat.ML