Differentially private stochastic expectation propagation (DP-SEP)
University of Tübingen（蒂宾根大学）；International Max Planck Research School for Intelligent Systems（国际马克斯·普朗克智能系统研究所）；University of British Columbia（不列颠哥伦比亚大学）
我们有兴趣在私有化的近似后验推理算法称为期望传播（EP）。EP通过迭代地细化局部似然的近似来近似后验，并且已知EP比变分推理（VI）提供更好的后验不确定性。然而，EP需要大的存储器来维护与训练数据中的每个数据点相关联的所有局部近似。为了克服这一挑战，随机期望传播（SEP）考虑了一个单一的独特的局部因子，该因子捕获每个似然项对后验的平均影响，并以类似于EP的方式对其进行细化。在隐私方面，SEP比EP更易于处理，因为在因子的每个细化步骤中，剩余因子是固定的，并且不像EP那样依赖于其他数据点，这使得敏感性分析变得简单。我们提供了一个理论分析的隐私准确性权衡后估计在我们的方法，称为差分私人随机期望传播（DP-SEP）。此外，我们证明了我们的DP-SEP算法在合成和真实世界的数据集上评估的性能，在不同级别的保证隐私的后验估计的质量。
2022-10-31 cs.LG stat.ML
On Inherent Privacy of Posterior Sampling: A Unified Rényi-Divergence Framework
University of Rhode Island（罗德岛大学）；University of Notre Dame（圣母大学）
本研究提出统一Rényi散度框架，刻画贝叶斯后验采样的固有差分隐私保障，推导OPS隐私损失边界，将框架应用于多类贝叶斯模型，恢复并拓展了现有相关结果。
2026-10-15 cs.LG math.ST stat.ML
On the Theory and Practice of Privacy-Preserving Bayesian Data Analysis
UC San Diego（加州大学圣地亚哥分校）；University of Amsterdam（阿姆斯特丹大学）
贝叶斯推断对于敏感数据的隐私保护分析具有很大的希望，因为后验采样在某些条件下自动保护差分隐私，数据隐私的算法概念（Dimitrakakis等人，2014; Wang等人，2015）。虽然这种后验样本（OPS）方法优雅地“免费”提供隐私，但在渐近相对效率（ARE）的意义上，它是数据效率低下的。我们表明，一个简单的替代方案的基础上的拉普拉斯机制，差分隐私的主力，是渐近有效的非私人后验推理，在一般假设。该技术也具有实际的优点，包括有效地使用MCMC的隐私预算。我们证明了我们的方法的实用性，从维基解密组织披露的阿富汗和伊拉克战争的敏感军事记录的时间序列分析。
2016-06-09 cs.AI cs.CR cs.LG
Differentially Private Bayesian Linear Regression
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
线性回归是处理敏感的人工来源数据的许多领域的重要工具。重要的先前工作集中在产生差分私人点估计，它提供了一个隐私保证个人，同时仍然允许建模者通过估计回归系数从数据中得出见解。我们研究贝叶斯线性回归问题，目标是计算后验分布，正确量化私人发布的统计数据的不确定性。我们表明，一个天真的方法，忽略了隐私机制注入的噪音在现实的数据设置做得很差。然后，我们开发了噪声感知的方法，执行推理的隐私机制，并在广泛的场景中产生正确的后验。
2019-10-29 cs.LG stat.ML
Accelerating Approximate Thompson Sampling with Underdamped Langevin Monte Carlo
Purdue University（普渡大学）；Morgan Stanley（摩根士丹利）
近似汤普森采样与朗之万蒙特卡罗扩大了其范围从高斯后验采样，包括更一般的光滑后验。然而，它仍然遇到的高维问题时，要求高精度的可扩展性问题。为了解决这个问题，我们提出了一个近似的汤普森采样策略，利用欠阻尼朗之万蒙特卡罗，后者是去到主力的高维后验的模拟。基于标准光滑性和对数正态性条件，我们研究了使用特定势函数的加速后验集中和采样。该设计将实现对数遗憾的样本复杂度从$\mathcal{\tilde O}(d)$提高到$\mathcal{\tilde O}(\sqrt{d})$。我们的算法的可扩展性和鲁棒性也通过高维强盗问题的合成实验进行了经验验证。
2024-06-21 cs.AI cs.LG stat.ML
Private Generative Bootstrap via Blocking
Booth School of Business, University of Chicago（芝加哥大学布斯商学院）
本研究提出私有生成贝叶斯自助法（PGBB），采用分块策略结合差分隐私与摊销推理，在模拟及实际数据应用中实现了更优的私有不确定性量化。
2026-08-04 cs.LG stat.ME stat.ML
Challenges in Markov chain Monte Carlo for Bayesian neural networks
The University of Manchester（曼彻斯特大学）；Oak Ridge National Laboratory（橡树岭国家实验室）
马尔可夫链蒙特卡罗（MCMC）方法在贝叶斯神经网络（BNN）中尚未得到广泛应用。本文首先回顾了用MCMC从神经网络的参数后验中采样的主要挑战。这些挑战最终导致缺乏对参数后验的收敛。尽管如此，本文表明，通过从神经网络参数空间进行MCMC采样生成的非收敛马尔可夫链可以通过贝叶斯边缘化产生神经网络输出的有价值的后验预测分布。基于多层感知器的分类示例展示了高度准确的后验预测分布。在BNN中MCMC发展的有限范围的假设是部分有效的;渐近精确的参数后验似乎不太合理，但准确的后验预测分布是一个站得住脚的研究途径。
2021-10-01 cs.LG stat.CO stat.ME
Metric-Normalized Posterior Leakage (mPL): Attacker-Aligned Privacy for Joint Consumption
Department of Computer Science and Engineering, University of North Texas, Denton, TX, USA（计算机科学与工程系，北卡罗来纳州立大学达顿分校）；Department of Electrical Engineering, University of North Texas, Denton, TX, USA（电气工程系，北卡罗来纳州立大学达顿分校）
本文提出mPL，一种攻击对齐的后验几率偏移度量，证明在联合观察下，mPL与mDP等价，通过AmPL框架有效控制后验泄露，降低隐私泄露风险。
2026-05-01 cs.CR cs.LG
Estimating optimal PAC-Bayes bounds with Hamiltonian Monte Carlo
University of Cambridge（剑桥大学）；Helmholtz AI, TU Munich（亥姆霍兹人工智能，慕尼黑工业大学）
本文研究PAC-Bayes界优化中因子化高斯后验限制造成的紧致性损失，通过哈密顿蒙特卡洛采样最优吉布斯后验并结合热力学积分估计KL散度，在MNIST上发现与MFVI相比差距可达5-6%。
2023-10-30 cs.LG stat.ML
Inference in Deep Gaussian Processes using Stochastic Gradient Hamiltonian Monte Carlo
University of Cambridge（剑桥大学）；Microsoft Research（微软研究院）；Alan Turing Institute（艾伦·图灵研究所）；University of Sevilla（塞维利亚大学）
深度高斯过程（DGP）是高斯过程的分层概括，它将校准良好的不确定性估计与多层模型的高度灵活性相结合。这些模型面临的最大挑战之一是精确的推理是棘手的。目前最先进的推理方法，变分推断（VI），采用高斯近似的后验分布。这可能是通常多模态后验的潜在不良单峰近似。在这项工作中，我们提供的非高斯性质的后验的证据，我们采用随机梯度哈密顿蒙特卡罗方法来生成样本。为了有效地优化超参数，我们引入了移动窗口MCEM算法。这导致在一个更低的计算成本比VI对应的显着更好的预测。因此，我们的方法建立了一个新的国家的最先进的DGP推理。
2018-11-12 cs.LG stat.ML
On the Differential Privacy of Bayesian Inference
The University of Melbourne（墨尔本大学）；Univ-Lille-3（里尔第三大学）；Chalmers University of Technology（查尔姆斯理工大学）
我们研究了如何将贝叶斯推理的结果传达给第三方，同时保持差分隐私的强有力保证。我们的主要贡献是概率图模型上的私有贝叶斯推理的四种不同算法。这些包括两种机制，用于将噪声添加到贝叶斯更新，或者直接添加到后验参数，或者添加到其傅立叶变换，以保持更新一致性。我们还利用最近推出的后验抽样机制，我们证明了离散贝叶斯网络的具体但一般情况下的界限，我们引入了最大后验私有机制。我们的分析包括效用和隐私边界，一个新的重点是图结构对隐私的影响。工作的例子和实验与贝叶斯朴素贝叶斯和贝叶斯线性回归说明我们的机制的应用。
2015-12-22 cs.AI cs.CR cs.LG
Efficient Approximate Posterior Sampling with Annealed Langevin Monte Carlo
Chandra Family Department of Electrical and Computer Engineering, The University of Texas at Austin（德克萨斯大学奥斯汀分校电气与计算机工程系）
本文提出了一种在多项式时间内高效近似后验采样的方法，结合KL散度和Fisher散度，确保样本同时符合测量和先验。
2025-12-08 cs.AI cs.LG stat.ML
Approximate Bayesian Computation via Population Monte Carlo and Classification
Aalto University（阿尔托大学）
近似贝叶斯计算（ABC）方法可以用来从后验分布采样时，似然函数是不可用的或棘手的，通常是在生物系统中的情况。ABC方法的缺点是在高维度上的粒子建议效率低下，以及在汇总统计量、差异度量和误差容限的选择上的主观性。序贯蒙特卡罗（SMC）方法已经与ABC结合以提高粒子提议的效率，但是受到主观性的影响并且需要从似然函数进行许多模拟。LFIRE（Likelihood-Free Inference by Ratio Estimation）利用分类直接估计后验密度，但没有有效地探索参数空间。这项工作提出了一种分类方法，近似人口蒙特卡罗（PMC），其中模型类概率从分类用于更新粒子权重。这种方法称为Classification-PMC，融合了自适应建议和分类，有效地从后验中产生样本，而没有主观性。我们通过模拟研究表明，分类PMC优于两个国家的最先进的方法：比估计和SMC ABC时，它是计算上难以模拟的可能性。
2019-11-30 cs.LG stat.ML
Tractable MCMC for Private Learning with Pure and Gaussian Differential Privacy
UC Santa Barbara（圣巴巴拉大学）；Amazon AI（亚马逊人工智能）；UC San Diego（圣迭戈大学）
本文提出ASAP算法，通过按W∞距离对MCMC样本添加噪声，在保持纯差分隐私或纯高斯差分隐私的同时消除δ近似误差，并结合局部化步骤首次在强凸光滑损失的DP-ERM问题中实现近线性时间最优速率。
2024-05-01 cs.LG stat.ML
Can Stochastic Gradient Langevin Dynamics Provide Differential Privacy for Deep Learning?
University of Bar-Ilan（巴伊兰大学）
贝叶斯学习通过随机梯度朗之万动力学（SGLD）已被建议用于差分私人学习。虽然以前的研究提供了差分隐私边界SGLD在算法的初始步骤或接近收敛时，之间的差分隐私保证的问题仍然没有答案。这个过渡区域非常重要，特别是对于贝叶斯神经网络，因为它很难保证收敛到后验。本文表明，使用SGLD可能会导致这个过渡区域的无限隐私损失，即使从后验采样是所需的差异隐私。
2023-02-05 cs.CR cs.LG
Differential privacy guarantees of Markov chain Monte Carlo algorithms
University of Warwick, UK（沃里克大学）
本文为MCMC算法提供差分隐私保证，基于马尔可夫链收敛假设建立样本与估计器的隐私保证，并针对未调整Langevin算法和随机梯度Langevin动力学，利用Girsanov定理与扰动技巧在非凸无界域中推导出Rényi DP界限及链轨迹隐私界限。
2025-11-02 cs.LG stat.CO stat.ML
Bayesian Pseudo Posterior Mechanism for Differentially Private Machine Learning
RTI International（RTI国际研究所）；U.S. Bureau of Labor Statistics（美国劳工统计局）
提出SWAG-PPM，一种基于伪后验分布的差分隐私机制，通过按披露风险降权记录，在高度不平衡数据上优于DP-SGD，仅适度降低效用。
2025-03-27 cs.CR cs.LG stat.ML
Pseudo-extended Markov chain Monte Carlo
使用马尔可夫链蒙特卡罗（MCMC）方法从后验分布进行采样可能需要穷尽的迭代次数，特别是当后验是多模态时，因为MCMC采样器可能在大量迭代中陷入局部模式。在本文中，我们介绍了伪扩展MCMC方法作为一个简单的方法，以改善混合的MCMC采样器的多峰后验分布。伪扩展方法使用伪样本作为辅助变量来扩充后验的状态空间。在扩展的空间上，后验模态是连接的，这使得MCMC采样器可以很容易地在分离良好的后验模态之间移动。我们证明了伪扩展的方法提供了改进的MCMC采样超过哈密顿蒙特卡罗算法的多模态后验，包括玻尔兹曼机和模型与稀疏诱导先验。
2019-10-29 stat.CO stat.ME stat.ML
Measuring the reliability of MCMC inference with bidirectional Monte Carlo
University of Toronto（多伦多大学）
马尔可夫链蒙特卡罗（MCMC）是概率推理的主要工具之一，但众所周知，它很难衡量近似后验样本的质量。这一挑战在黑盒推理方法中尤为突出，黑盒推理方法可以隐藏细节并掩盖推理失败。在这项工作中，我们扩展了最近推出的双向蒙特卡罗技术来评估MCMC为基础的后验推理算法。通过在模拟数据上运行退火重要性采样（AIS）链，从前到后，反之亦然，我们在期望中上界真实后验分布和近似样本分布之间的对称化KL发散。我们提出了边界分歧与反向退火（BREAD），一个协议，用于验证模拟数据实验的真实数据集的相关性，并将其集成到两个概率程序设计语言：WebPPL和斯坦。作为如何BREAD可以用来指导推理算法的设计的一个例子，我们应用它来研究不同的模型表示在WebPPL和斯坦的有效性。
2016-06-07 cs.LG stat.CO stat.ML
SwISS: A Scalable Markov chain Monte Carlo Divide-and-Conquer Strategy
蒙特卡罗算法的分治策略是一种越来越流行的方法，使贝叶斯推断可扩展到大数据集。在其最简单的形式中，数据被划分为多个计算核心，并且每个核心上的单独的马尔可夫链蒙特卡罗算法以相关联的部分后验分布为目标，我们将其称为次后验，即仅给出来自与该核心相关联的分区的段的数据的后验。分治技术减少了计算、内存和磁盘瓶颈，但使次后验样本的重组变得困难。我们建议瑞士：具有膨胀、缩放和移位的子后验;一种用于重组子后验样本的新方法，该方法应用简单，缩放到高维参数空间，并且通过子后验样本的仿射变换精确地近似原始后验分布。我们证明了我们的变换是渐近最优的自然集的仿射变换，并说明了瑞士对竞争算法的合成和现实世界的数据集的功效。
2022-08-08 stat.CO stat.ME stat.ML
Gibbs Sampling the Posterior of Neural Networks
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
本文提出一种在神经网络每层激活前后添加噪声的新概率模型，利用高效吉布斯采样器从后验采样，并在教师-学生框架下引入热化准则以检测采样失败，小模型上性能媲美HMC和MALA。
2024-01-11 cs.LG stat.ML
What Are Bayesian Neural Network Posteriors Really Like?
New York University（纽约大学）；Google Research（谷歌研究院）
贝叶斯神经网络（BNN）参数的后验是非常高维和非凸的。由于计算的原因，研究人员使用廉价的小批量方法，如平均场变分推理或随机梯度马尔可夫链蒙特卡罗（SGMCMC）来近似这个后验。为了研究贝叶斯深度学习中的基础问题，我们转而在现代架构上使用全批汉密尔顿蒙特卡罗（HMC）。我们发现：（1）BNN可以在标准训练和深度集成上实现显着的性能提升;（2）单个长HMC链可以提供与多个短链相当的后验表示;（3）与最近的研究相反，我们发现接近最佳性能不需要后处理，几乎没有证据表明“冷后处理”效应，我们发现这主要是数据增强的产物;（4）BMA性能对先验尺度的选择是鲁棒的，并且对于对角高斯、高斯混合和逻辑斯蒂先验是相对相似的;（5）贝叶斯神经网络在域移位下表现出令人惊讶的差的泛化能力;（6）虽然更便宜的替代方案，如深度集成和SGMCMC方法可以提供良好的泛化，但它们提供了与HMC不同的预测分布。值得注意的是，深度集合预测分布与标准SGLD类似地接近HMC，并且比标准变分推断更接近。
2021-04-29 cs.LG stat.ML
Fast and Robust Simulation-Based Inference With Optimization Monte Carlo
Harokopio University of Athens（雅典哈罗科皮奥大学）；ATHENA Research Center（雅典娜研究中心）；University of Edinburgh（爱丁堡大学）
本文提出一种基于优化蒙特卡罗的方法，通过将随机模拟推断转化为确定性优化问题，实现高效且准确的后验推断，减少运行时间并提升鲁棒性。
2026-04-03 cs.LG stat.ML
Mutual Information Constraints for Monte-Carlo Objectives
DeepMind（深度思维）；University College London（伦敦大学学院）；Oxford University（牛津大学）
作为变分自编码器训练的密度模型的一个常见故障模式是在不依赖于其潜变量的情况下对数据进行建模，从而使这些变量变得无用。文献中分别研究了两个影响因素，模型的欠规格和变分下限的松散性。我们编织这两股的研究在一起，特别是更严格的限制蒙特卡罗目标和约束的可观察变量和潜变量之间的互信息。将互信息估计为容易获得的变分后验$q(z|x)$和先验之间的平均库尔贝克-莱布勒散度，对于蒙特卡罗目标不起作用，因为$q(z|x)$不再是模型的真实后验$p(z|x)$的直接近似。因此，我们通过回收目标中使用的样本，构建了真实后验的库尔贝克-莱布勒散度的估计量，用它我们训练了连续和离散潜伏期模型，大大改善了率失真，没有后验崩溃。虽然减轻，建模数据和使用的潜在之间的权衡仍然存在，我们敦促评估推理方法在一系列的互信息值。
2022-05-09 cs.CL cs.LG stat.ML
Bayesian Frequency Estimation Under Local Differential Privacy With an Adaptive Randomized Response Mechanism
Sabancı University（萨班哲大学）
针对随时间顺序收集的私有分类数据，提出AdOBEst-LDP算法，通过自适应LDP机制和贝叶斯后验采样提高未来数据效用，理论分析证明其收敛性，数值结果显示其优于非自适应和半自适应方法。
2024-11-30 cs.CR cs.LG stat.ML
Measuring the non-asymptotic convergence of sequential Monte Carlo samplers using probabilistic programming
Massachusetts Institute of Technology（麻省理工学院）
近似推理的采样算法的一个关键限制是难以量化其近似误差。广泛使用的采样方案，例如具有恢复和Metropolis-Hastings的顺序重要性采样，产生从可能远离目标后验分布的分布中提取的输出样本。本文介绍了如何上限的对称KL发散之间的输出分布的一个广泛的类序贯蒙特卡罗（SMC）采样器和他们的目标后验分布，受到一个单独的金标准采样器的准确性的假设。所提出的方法适用于采样器，结合多个粒子，多项式rescue，和复兴内核。实验表明，该技术被用来估计的SMC样本的后验推理在贝叶斯线性回归模型和Dirichlet过程的混合模型的分歧的界限。
2017-05-06 cs.AI cs.LG stat.ML
Amortized quadrature for posterior expectations in inverse problems
Department of Computer Science University of Central Florida（计算机科学系佛罗里达中央大学）
提出摊销均值漂移交互粒子方法，通过学习映射从观测和少量后验样本直接输出加权节点，无需评估密度或得分，实现比同等数量蒙特卡洛样本更精确的积分估计。
2026-09-28 cs.LG stat.CO stat.ML
On diffusion posterior sampling via sequential Monte Carlo for zero-shot scaffolding of protein motifs
Imperial College London（帝国理工学院）
本研究提出新型引导势函数，结合以Genie为先验的SMC辅助扩散后验采样器解决蛋白质基序零样本支架设计问题，在单/多基序任务及对称单体设计中取得良好效果。
2025-10-03 cs.LG q-bio.BM stat.ML
Pseudo-Marginal Hamiltonian Monte Carlo
贝叶斯推理在一个棘手的似然函数的存在是具有挑战性的计算。当遵循马尔可夫链蒙特卡罗（MCMC）方法来近似后验分布时，通常使用MCMC方案，其目标是参数和一些辅助潜变量的联合后验，或伪边缘Metropolis-Hastings（MH）方案。后者模仿MH算法，通过无偏地逼近棘手的可能性，以参数的边缘后验为目标。然而，在参数和辅助变量在后验下强相关和/或该后验是多模态的情况下，吉布斯采样或哈密顿蒙特卡罗（HMC）将表现不佳，并且伪边缘MH算法（如任何其他MH方案）对于高维参数将是低效的。我们在这里提出了一个原始的MCMC算法，称为伪边缘HMC，它结合了HMC和伪边缘计划的优点。具体地，伪边缘HMC方法由精度参数N控制，控制似然的近似，并且对于任何N，它对参数的边缘后验进行采样。此外，当N趋于无穷大时，其样本轨迹和接受概率收敛到理想但棘手的HMC算法的样本轨迹和接受概率，该算法将能够获得参数的边缘后验及其梯度。我们通过实验证明，伪边缘HMC可以显着优于标准HMC和伪边缘MH计划。
2019-10-02 stat.ME stat.ML
On Connecting Stochastic Gradient MCMC and Differential Privacy
Duke University（杜克大学）；University at Buffalo, SUNY（纽约州立大学布法罗分校）；Nanjing University（南京大学）
最近，在将机器学习应用于现实世界的应用方面取得了重大成功。培训数据的隐私问题也引起了相应的关注，这涉及到数据安全和保密问题。差分隐私在机器学习模型上提供了原则性和严格的隐私保证。虽然通过注入噪声来设计满足所需的差分隐私属性的模型是常见的，但通常难以平衡隐私和实用性之间的权衡。我们表明，随机梯度马尔可夫链蒙特卡罗（SG-MCMC）-最近提出的一类可扩展的贝叶斯后验抽样算法-满足强差分隐私仔细选择的步长。我们开发的性能的建议差分私人SG-MCMC方法的理论。我们进行实验来支持我们的分析，并表明标准的SG-MCMC采样器在没有任何修改的情况下（在默认设置下）可以在贝叶斯学习的隐私和实用性方面达到最先进的性能。
2017-12-25 cs.LG stat.ML
Apollo: A Posteriori Label-Only Membership Inference Attack Towards Machine Unlearning
University of Pittsburgh（匹兹堡大学）；Cisco Research（思科研究）
本研究针对现有面向机器遗忘的隐私攻击依赖弱威胁模型、可行性受限的问题，提出仅需访问遗忘模型标签输出的Apollo后验仅标签成员推理攻击，以更低的模型访问权限实现了较高的被遗忘样本成员身份推断精度。
2025-10-27 cs.LG
Markov chain Monte Carlo for predictively oriented posteriors
University College London（伦敦大学学院）；Monash University（蒙纳士大学）
本文针对模型误设下无法直接采样的面向预测的后验分布，提出一种密度可逐点评估且误差快速衰减的近似，并应用于流行病学、空间统计和低能核物理案例。
2026-10-02 math.ST stat.ME stat.TH
Differentially Private Statistical Inference through $β$-Divergence One Posterior Sampling
Universitat Pompeu Fabra（庞培法布拉大学）；University of Oxford（牛津大学）；The Alan Turing Institute（艾伦·图灵研究所）
本文提出βD-Bayes方法，通过最小化β-散度的广义后验采样实现差分隐私统计推断，突破了现有方法对模型有界性的强假设限制，首次将后验采样差分隐私估计扩展到神经网络等复杂模型，并在相同隐私保证下获得更精确的估计结果。
2023-10-27 cs.AI cs.CR cs.LG
Stochastic Langevin Monte Carlo for (weakly) log-concave posterior distributions
ISAE-SUPAERO, Université de Toulouse（图卢兹大学ISAE-高等航空与空间学院）；Toulouse School of Economics (CNRS UMR 5314), Université Toulouse I Capitole（图卢兹第一大学图卢兹经济学院（法国国家科学研究中心 UMR 5314））；Institut Universitaire de France（法国大学研究院）
在本文中，我们研究了一个连续时间版本的随机Langevin蒙特卡罗方法，在[WT 11]中介绍，其中包括一个随机采样步骤内的传统过阻尼Langevin扩散。该方法是机器学习中常用的后验分布采样方法。在我们的工作中，我们将特别关注$n$（产生后验分布的观测数）和$d$（感兴趣的参数存在的环境空间的维数）方面的计算成本。我们推导出我们的分析弱凸框架，这是参数化的帮助下的Kurdyka-Eschojasiewicz（KL）不等式，允许处理消失的曲率设置，这是远远没有那么严格相比，简单的强凸的情况下。我们建立的模拟，以获得一个$\varepsilon$近似（在熵方面）的最后地平线是顺序$( d \log(n)^2 )^{(1+r)^2} [\log^2(\varepsilon^{-1}) + n^2 d^{2(1+r)} \log^{4(1+r)}(n) ]$与泊松亚采样参数$\left(n ( d \log^2(n))^{1+r}\right)^{-1}$，其中参数$r$涉及KL不等式和$0$（强凸的情况下）和$1$（限制拉普拉斯情况）之间变化。
2023-01-08 cs.LG math.PR stat.CO
Quasi-Newton Sequential Monte Carlo
序贯蒙特卡罗采样器代表了贝叶斯模型中后验推断的一种引人注目的方法，因为它是可并行的，并且提供了后验归一化常数的无偏估计。在这项工作中，我们显着加快序贯蒙特卡罗采样器采用L-BFGS海森近似，代表了国家的最先进的全批量优化技术。L-BFGS Hessian近似在参数维度上仅具有线性复杂度，并且不需要额外的后验或梯度评估。由此产生的序贯蒙特卡罗算法是自适应的，并行化的，非常适合于高维和多模态的设置，我们证明在具有挑战性的后验分布的数值实验。
2022-11-22 stat.ME
elhmc: An R Package for Hamiltonian Monte Carlo Sampling in Bayesian Empirical Likelihood
在这篇文章中，我们描述了一个{ \tt R}包，用于使用哈密顿蒙特卡罗方法从基于经验似然的后验中进行采样。经验似然为基础的方法已被用于贝叶斯建模的许多问题的兴趣在最近的时间。这种半参数方法可以很容易地将非参数分布估计的灵活性与参数模型的可解释性结合起来。该模型通过估计基于方程的约束来指定。从贝叶斯经验似然（Bayesel）后验中得出推论是具有挑战性的。可能性是数值计算的，因此不存在后验的封闭表达式。此外，对于有限样本，似然的支持度是非凸的，这阻碍了许多马尔可夫链蒙特卡罗（MCMC）方法的快速混合。最近的研究表明，利用对数经验似然的梯度性质，可以设计一种有效的哈密顿蒙特卡罗（HMC）算法来从贝叶斯后验中进行采样。该软件包要求用户仅指定估计方程、先验和它们各自的梯度。从参数的贝叶斯后验中提取MCMC样本，并获得用户所需的各种细节。
2022-09-02 stat.CO stat.ML stat.OT
A Multi-armed Bandit MCMC, with applications in sampling from doubly intractable posterior
Stanford University（斯坦福大学）
马尔可夫链蒙特卡罗（MCMC）算法被广泛应用于复杂分布的采样，特别是贝叶斯推断中的后验分布的采样。然而，MCMC是不直接适用于面对双重棘手的问题。本文讨论并比较了两种现有的解决方案--伪边际蒙特卡罗法和交换法。本文还提出了一种新的算法：多臂强盗MCMC（MABMC），它在每一步中选择两个（或多个）随机接受率。MABMC可以直接应用于伪边际蒙特卡罗和Exchange算法，具有较高的平均接受概率。
2019-03-27 cs.AI physics.data-an stat.CO
Variational Inference with Hamiltonian Monte Carlo
变分推断是许多最先进算法的核心。为了提高参数族以外的后验估计的近似性，提出在变分下界中加入MCMC步骤。在这项工作中，我们探索这个想法使用步骤的哈密顿蒙特卡罗（HMC）算法，一个有效的MCMC方法。特别是，我们将接受步骤的HMC算法，保证渐近收敛到真正的后验。此外，我们介绍了一些扩展的HMC算法面向更快的收敛。这些修改的理论优势反映在我们的实验结果的性能改善。
2016-09-26 stat.ML
A New Analysis of Differential Privacy's Generalization Guarantees
本文为自适应数据分析中的“迁移定理”提供了初等新证明，通过结合差分隐私和样本准确性推导出更优的具体界限，显著提升了小数据集上的实用性。
2024-06-04 cs.CR cs.LG stat.ML
Differentially Private Bayesian Inference for Generalized Linear Models
Aalto University（阿尔托大学）；University of Helsinki（赫尔辛基大学）；University of Manchester（曼彻斯特大学）
广义线性模型（GLM），如逻辑回归，是数据分析师最广泛使用的工具之一，通常用于敏感数据集。大量的现有工作，调查差分隐私（DP）约束下的GLM只提供私人点估计的回归系数，并不能量化参数的不确定性。在这项工作中，逻辑和泊松回归作为运行的例子，我们介绍了一个通用的噪声感知DP贝叶斯推理方法GLM在手，给出了一个嘈杂的总和的汇总统计量。量化不确定性使我们能够确定哪些回归系数在统计上与零显著不同。我们提供了一个以前未知的严密的隐私分析和实验证明，从我们的模型中获得的后验，同时坚持强隐私保证，接近非私人后验。
2021-05-12 cs.CR cs.LG stat.ML
Firefly Monte Carlo: Exact MCMC with Subsets of Data
Harvard University（哈佛大学）
马尔可夫链蒙特卡罗（MCMC）是一种流行的、成功的贝叶斯推断通用工具。然而，MCMC不能实际应用于大数据集，因为在每次迭代中评估每个似然项的成本过高。在这里，我们提出萤火虫蒙特卡罗（FlyMC）的辅助变量MCMC算法，只查询的可能性的一个潜在的小子集的数据在每次迭代尚未模拟从确切的后验分布，在最近的建议，即使在渐近极限近似。FlyMC与各种现代MCMC算法兼容，并且仅需要每个数据似然因子的下限。在实验中，我们发现FlyMC从后验中生成样本的速度比常规MCMC快一个数量级以上，从而使MCMC方法能够应用于比以前认为可行的更大的数据集。
2014-03-22 cs.LG stat.CO stat.ML
Forward and Inverse Uncertainty Quantification using Multilevel Monte Carlo Algorithms for an Elliptic Nonlocal Equation
本文考虑一类椭圆型非局部方程的不确定性量化问题。特别是，它是假设的参数定义的内核在非本地运营商是不确定的，先验分布根据一个概率测度。它示出的诱导概率测度所产生的一些感兴趣的数量从泛函的解决方案与随机输入的方程是定义良好的，因为是后验分布的参数给定的观察。由于椭圆型非局部方程无法求解，构造了近似后验。多级蒙特卡罗（MLMC）和多级序贯蒙特卡罗（MLSMC）抽样算法分别用于先验和后验估计，感兴趣的数量。相对于蒙特卡罗和i.i.d.，这些算法减少了对给定误差水平估计后验期望的工作量。在椭圆非局部方程的解的给定近似水平上从后验中采样。
2016-03-21 stat.CO
Multi-fidelity Hamiltonian Monte Carlo
Stanford University（斯坦福大学）；University of Hawai‘i at Manoa（夏威夷大学马诺阿分校）；U.S. Army Engineering Research and Development Center（美国陆军工程研究与开发中心）
针对 HMC 梯度计算昂贵或后验梯度不可得的问题，本文提出代理模型与高保真度求解器结合的两阶段多保真度 HMC，并在 Bayesian 反问题中实现数个数量级的效率提升。
2024-05-08 cs.CE cs.LG stat.ML
Stochastic Gradient Monomial Gamma Sampler
Duke University（杜克大学）
随机梯度技术的最新进展使得通过马尔可夫链蒙特卡罗（MCMC）估计大数据集的后验分布成为可能。然而，当目标后验是多模态时，混合性能往往很差。这导致对后验分布的探索不足。提出了一种基于哈密顿蒙特卡罗的改进随机梯度MCMC抽样效率的框架。一个广义的动力学函数的杠杆作用，提供卓越的静态混合，特别是多峰分布。还讨论了技术，以克服这种泛化所带来的实际问题。它表明，所提出的方法是更好地探索复杂的多峰后验分布，在多个应用程序和其他随机梯度MCMC方法相比，证明。
2018-01-10 cs.LG stat.AP stat.ML
NeuTra-lizing Bad Geometry in Hamiltonian Monte Carlo Using Neural Transport
哈密顿蒙特卡罗是一个强大的算法，采样从难以规范化的后验分布。然而，当后验的几何形状是不利的时，可能需要对目标分布及其梯度进行许多昂贵的评估来收敛和混合。我们提出了神经传输（NeuTra）HMC，学习纠正这种不利的几何形状使用逆自回归流（IAF），一个强大的神经变分推断技术的技术。训练IAF以最小化从各向同性高斯到翘曲后验的库尔贝克-莱布勒散度，然后在翘曲空间中执行HMC采样。我们评估NeuTra HMC的各种合成和实际问题，并发现它显着优于香草HMC的时间达到平稳分布和渐近有效样本量率。
2019-03-09 stat.CO stat.ML
Transport Monte Carlo: High-Accuracy Posterior Approximation via Random Transport
在贝叶斯应用中，人们对快速准确地估计后验分布有着极大的兴趣，特别是对于高维或分层模型。在这篇文章中，我们建议使用优化来解决两个随机变量之间的联合分布（随机运输计划），$θ$从后验分布和$β$从简单的多元均匀。具体来说，我们得到一个近似估计的条件分布$Π(β\mid θ)$作为一个简单的位置-尺度变化的无限混合;应用贝叶斯定理，$Π(θ\midβ)$可以被采样为从均匀的逆变换之一，与权重成比例的后验密度/质量函数。这产生了具有高近似精度的独立随机样本，以及良好的理论保证。我们的方法在性能和准确性方面显示出令人信服的优势，相比最先进的马尔可夫链蒙特卡罗和近似，如变分贝叶斯和规范化流。我们通过几个具有挑战性的应用程序，如从多模态分布采样，估计稀疏信号在高维，和软阈值的一个图与先验的程度说明了这种方法。
2021-03-10 stat.CO stat.ME
Cyclical Variational Bayes Monte Carlo for Efficient Multi-Modal Posterior Distributions Evaluation
University of Oxford（牛津大学）；Delft University of Technology（代尔夫特理工大学）
在工程应用中，由于环境条件的变化、损伤和非线性等因素的影响，经常会遇到物理模型参数的多峰分布。在统计模型修正中，对于局部可识别的参数，可以预见会发现多模态的后验分布，这些多模态分布的充分表征是非常重要的，因为结构状态监测的方法常常是基于结构的损伤和健康模型的比较。使用最先进的采样技术来表征后验多模态分布将需要大量的昂贵的基于物理的模型的模拟。因此，当有限数量的模拟可以运行时，因为它经常发生在工程中，传统的抽样技术将无法准确地捕获的多峰分布。这可能会导致大的数值误差时，评估的工程结构的性能不确定性。
2022-10-18 cs.LG eess.SP math.OC
Learning Nonlinear State Space Models with Hamiltonian Sequential Monte Carlo Sampler
状态空间模型（SSM）已被广泛应用于大型序列数据集的分析和可视化。序贯蒙特卡罗（SMC）是一种非常流行的基于粒子的方法，用于从难以处理的后验数据中采样潜在状态。然而，SSM受到提案选择的重大影响。近年来，哈密顿蒙特卡罗（HMC）抽样在许多实际问题中取得了成功。在本文中，我们提出了一个由HMC增强的SMC（HSMC）的推理和非线性SSM的模型学习，它可以免除我们的学习建议，并显着降低模型的复杂性。基于HMC的测度保持特性，由转移函数直接生成的粒子可以任意逼近隐态的后验。为了更好地适应隐空间的局部几何，HMC在由正定度量定义的黎曼流形上进行。此外，我们表明，建议的HSMC方法可以改善由高斯过程（GP）和神经网络（NN）实现的SSM。
2019-01-03 cs.LG cs.NE stat.ML
Generalized Posterior Calibration via Sequential Monte Carlo Sampler
Faculty of Economics, Fukuoka University（福冈大学经济学部）
针对广义后验推断中学习率选择计算成本高的问题，提出结合序贯蒙特卡洛采样器的高效校准算法，显著降低计算开销。
2026-06-02 stat.CO
On the Convergence of the Laplace Approximation and Noise-Level-Robustness of Laplace-based Monte Carlo Methods for Bayesian Inverse Problems
逆问题的贝叶斯方法为测量、参数和模型中的不确定性的合并和量化提供了一个严格的框架。我们感兴趣的是设计数值方法，这是强大的w.r.t.观测噪声的大小，即，在集中后验测度的情况下表现良好的方法。在实践中，后验概率的集中是非常理想的情况，因为它涉及信息量大的数据。然而，它可能会对基于先验或参考测量的数值方法构成计算挑战。我们建议在这种情况下，采用拉普拉斯近似的后验作为数值积分的基本措施。拉普拉斯近似是以最大后验估计为中心的高斯度量，其协方差阵取决于对数后验密度。讨论了Laplace近似的收敛性，分析了基于Laplace近似的蒙特卡罗方法的有效性，特别指出了基于Laplace近似的重要抽样方法和基于Laplace近似的拟蒙特卡罗方法是鲁棒的。对于大类的后验分布和被积函数，后验的集中度是很大的，而基于先验的重要性抽样和普通的拟蒙特卡罗方法则不是。数值实验来说明理论研究结果。
2020-06-26 cs.NA math.NA stat.CO
Variational Bayesian Monte Carlo
University of Geneva（日内瓦大学）
科学计算和机器学习中感兴趣的许多概率模型具有昂贵的黑盒似然性，这阻止了用于贝叶斯推断的标准技术的应用，例如MCMC，这将需要访问梯度或大量似然性评估。我们在这里介绍一种新的样本有效的推理框架，变分贝叶斯蒙特卡罗（VBMC）。VBMC结合了变分推断与基于高斯过程的主动采样贝叶斯求积，使用后者来有效地近似变分目标中的难处理积分。我们的方法产生的后验分布的非参数近似和模型证据的近似下界，有用的模型选择。我们证明VBMC的几个合成的可能性和神经元模型的数据从真正的神经元。在所有测试的问题和维度（直到$D = 10$）中，VBMC在重建后验和模型证据方面的表现一直很好，而不像其他方法只在非常低的维度上工作。我们的框架显示出巨大的潜力，作为一种新的工具，昂贵的，黑箱似然后验和模型推理。
2018-11-29 cs.LG q-bio.NC q-bio.QM
The Ball Pit Algorithm: A Markov Chain Monte Carlo Method Based on Path Integrals
Ball Pit算法（BPA）是一种新的马尔可夫链蒙特卡罗（MCMC）算法，用于采样边缘后验分布，它是从马尔可夫链的贝叶斯分析的路径积分公式发展而来的。BPA产生了可比的结果，汉密尔顿蒙特卡罗实现的自适应无掉头采样器（NUTS）在采样后验分布的模拟数据从伯努利和泊松似然。BPA的一个主要优点是其显著降低的计算时间，在分析单参数模型时，其测量速度至少比NUTS快95%。BPA也适用于一个多参数柯西模型，使用实际数据的高度差异的交叉和自交植物。位置参数的后中位数与其他贝叶斯抽样方法一致。此外，从BPA获得的尺度参数对数的后验中位数接近使用拉普拉斯正态近似计算的估计后验中位数。与NUTS相比，BPA实现柯西分析的计算时间快55%。总的来说，我们已经发现，BPA是一个高效的替代哈密顿蒙特卡罗和其他标准MCMC方法。
2021-11-05 math.ST stat.ME stat.TH
Differentially Private Markov Chain Monte Carlo
University of Halmstad（哈尔姆斯塔德大学）；Helsinki Institute for Information Technology HIIT（赫尔辛基信息技术研究所 HIIT）；University of Helsinki（赫尔辛基大学）；Aalto University（阿尔托大学）
差分私有（DP）机器学习和DP贝叶斯学习的最新发展使得能够在训练数据主题的强隐私保证下进行学习。在本文中，我们进一步扩展了DP贝叶斯学习的适用性，提出了第一个通用的DP马尔可夫链蒙特卡罗（MCMC）算法的隐私保证不受不切实际的假设马尔可夫链收敛，适用于后验推理在任意模型。我们的算法是基于分解的巴克验收测试，允许评估的接受拒绝选择的Rényi DP隐私成本。我们进一步展示了如何通过数据二次抽样和近似验收测试来提高DP保证。
2019-06-17 cs.CR cs.LG stat.CO
DP-IVON-Gradsq: Differentially Private Squared-Gradient Improved Variational Online Newton
EURECOM（欧洲电信研究院）；Concordia University（康考迪亚大学）；University of Granada（格拉纳达大学）
研究结合差分隐私与贝叶斯深度学习的挑战，提出DP-IVON-Gradsq方法，通过噪声校正平方梯度估计器构建曲率估计，在CIFAR-10上评估，该方法在弱到中等隐私约束下有竞争力，强隐私下性能下降。
2026-11-05 cs.LG
