Learning to Optimize Via Posterior Sampling
Stanford University(斯坦福大学)
本文考虑使用一个简单的后验抽样算法,以平衡探索和开发学习优化行动时,如在多臂土匪问题。该算法,也被称为汤普森采样,提供了显着的优势,流行的置信上限(UCB)的方法,并可以应用于有限或无限的行动空间和复杂的关系之间的行动奖励的问题。我们做了两个理论贡献。第一个建立后验采样和UCB算法之间的连接。这一结果使我们能够将UCB算法的后悔界限转换为贝叶斯后悔界限。我们的第二个理论贡献是贝叶斯后悔约束后验抽样,适用广泛,可以专门用于许多模型类。这个界限依赖于一个新的概念,我们称之为逃避者维度,它衡量了行动奖励之间的依赖程度。相比UCB算法贝叶斯遗憾界特定的模型类,我们的一般界匹配最好的线性模型,并比最好的广义线性模型。此外,我们的分析提供了深入了解后验采样的性能优势,这是突出通过模拟结果表明,性能超过最近提出的UCB算法。
2014-02-03 cs.LG
Myopic Bayesian Design of Experiments via Posterior Sampling and Probabilistic Programming
Carnegie Mellon University(卡内基梅隆大学);U-Mass, Amherst(马萨诸塞大学阿默斯特分校)
我们设计了一个新的近视策略的顺序实验设计(DOE)的问题,其中的目标是收集数据,以满足一定的问题的具体目标。我们的方法,近视后验采样(MPS),是受经典的后验(汤普森)采样算法的启发,多武装匪徒,并利用概率规划和近似贝叶斯推断的灵活性,以解决广泛的问题。从经验上讲,这种通用策略在各种DOE任务中与更专业的方法竞争,更重要的是,能够解决现有方法似乎不适用的复杂DOE目标。在理论方面,我们利用自适应子模块化和强化学习的思想来推导MPS实现次线性后悔的条件。
2018-05-25 cs.AI cs.LG stat.ML
Dueling Posterior Sampling for Preference-Based Reinforcement Learning
California Institute of Technology(加州理工学院);Tsinghua University(清华大学)
在基于偏好的强化学习(RL)中,智能体与环境交互,同时接收偏好而不是绝对反馈。虽然基于偏好的强化学习的研究活动越来越多,但允许易于处理的理论分析的正式框架的设计仍然是一个开放的挑战。基于RL中基于偏好的强盗学习和后验采样的思想,我们提出了DUELING POSTERIOR SAMPLING(DPS),它采用基于偏好的后验采样来学习系统动态和控制偏好反馈的潜在效用函数。由于偏好反馈提供的轨迹,而不是个人的状态-动作对,我们开发了一个贝叶斯方法的信用分配问题,翻译偏好的状态-动作奖励模型的后验分布。本文利用贝叶斯线性回归信用分配模型证明了DPS的渐近贝叶斯无遗憾率。据我们所知,这是基于偏好的强化学习的第一个遗憾保证。我们还讨论了其他信用分配模型的证明方法的可能途径。最后,我们评估的方法经验,显示竞争力的表现对现有的基线。
2020-06-29 cs.AI cs.LG stat.ML
Online Posterior Sampling with a Diffusion Prior
Adobe Research(Adobe研究院);Amazon(亚马逊公司);AWS AI Labs(AWS人工智能实验室)
本文提出了一种基于扩散模型先验的近似后验采样算法,用于基于上下文的老虎机问题,以提高复杂分布建模能力。
2026-02-16 cs.LG stat.ML
Efficient Exploration in Average-Reward Constrained Reinforcement Learning: Achieving Near-Optimal Regret With Posterior Sampling
Eindhoven University of Technology(埃因霍温理工大学);Jheronimus Academy of Data Science(赫罗尼姆斯数据科学学院);University of Jyväskylä(于韦斯屈莱大学)
针对无限时域无折扣设置下的约束马尔可夫决策过程(CMDP),提出一种基于后验采样的算法,实现了近似最优的贝叶斯遗憾界并在实验中优于现有方法。
2024-05-29 cs.LG
Efficient Model-Free Reinforcement Learning Using Gaussian Process
Peking University(北京大学)
有效的强化学习通常利用演示或良好的探索策略。在高斯过程假设下,将后验抽样应用于无模型强化学习,提出了连续状态空间下的高斯过程后验抽样强化学习(GPPSTD)算法,给出了理论证明和实验结果.我们也提供了理论和实证结果,各种示范可以降低预期的不确定性,有利于后验抽样探索。通过这种方式,我们将演示和探索过程结合在一起,实现了更高效的强化学习。
2018-12-11 cs.LG stat.ML
Provably Efficient Exploration in Constrained Reinforcement Learning:Posterior Sampling Is All You Need
Eindhoven University of Technology(埃因霍温理工大学);Jheronimus Academy of Data Science(杰罗尼默斯数据科学学院);Tilburg University(蒂尔堡大学)
针对无限视野无折扣通信型 CMDP,提出基于后验采样的探索算法,获得接近最优的贝叶斯遗憾界,并在实验中优于现有约束强化学习方法。
2023-09-27 cs.LG
Exploiting Causal Graph Priors with Posterior Sampling for Reinforcement Learning
Technion(以色列理工学院);ETH Zurich(苏黎世联邦理工学院);Politecnico di Milano(米兰理工大学);ETH AI Center(苏黎世联邦理工学院人工智能中心)
本文提出 C-PSRL 方法,以部分因果图作为先验,通过分层贝叶斯同时学习完整因果图和因子化动态参数,显著提升了无信息先验下后验采样的样本效率。
2024-04-08 cs.LG
Q-learning with Posterior Sampling
Columbia University(哥伦比亚大学)
针对后验采样在强化学习中理论分析困难的问题,提出基于Q值高斯后验探索的PSQL算法,证明其在表格型回合制MDP下的遗憾界接近已知下界,为后验采样结合强化学习算法提供了新的技术思路。
2025-10-28 cs.LG
(More) Efficient Reinforcement Learning via Posterior Sampling
Stanford University(斯坦福大学)
大多数被证明有效的学习算法都对不理解的状态和行为引入了乐观态度,以鼓励探索。我们研究了一种有效探索的替代方法,后验采样强化学习(PSRL)。该算法在已知持续时间的重复发作中进行。在每个事件开始时,PSRL更新马尔可夫决策过程的先验分布,并从该后验中抽取一个样本。PSRL然后遵循的政策,这是最佳的这个样本在情节。该算法概念简单,计算效率高,并允许代理以自然的方式编码先验知识。我们建立了一个$\tilde{O}(τS \sqrt{AT})$的预期遗憾,其中$T$是时间,$τ$是情节长度和$S$和$A$是状态和动作空间的基数。这个界限是第一个不基于乐观的算法之一,并且接近任何强化学习算法的最新技术水平。我们通过仿真表明,PSRL显着优于现有的算法具有类似的遗憾界。
2013-12-26 cs.LG stat.ML
Incentivized Exploration via Filtered Posterior Sampling
Stanford University(斯坦福大学);Microsoft Research(微软研究院);Netflix(奈飞)
本文提出将后验采样作为激励式探索的通用算法方案,并将其扩展到私有智能体类型、信息性推荐和相关贝叶斯先验等更一般设置,统一了已有结果。
2024-02-20 cs.LG econ.TH
Optimistic Posterior Sampling for Reinforcement Learning with Few Samples and Tight Guarantees
HSE University(高等经济大学);Duisburg-Essen University(杜伊斯堡-埃森大学);DeepMind(深度思维);École Polytechnique(巴黎综合理工学院);ENS Lyon(里昂高等师范学院)
我们考虑强化学习的环境中建模的情景,有限的,阶段依赖马尔可夫决策过程的水平$H$与$S$状态,和$A$行动。智能体的性能通过与环境交互$T$事件后的后悔来衡量。我们提出了一种用于强化学习的乐观后验采样算法(OPSRL),这是后验采样的一个简单变体,只需要每个状态-动作对的$H$,$S$,$A$和$T$中对数的后验样本数。对于OPSRL,我们保证一个高概率的遗憾界的顺序最多$\widetilde{\mathcal{O}}(\sqrt{H^3SAT})$忽略$\text{poly}\log(HSAT)$条款。关键的新技术成分是一个新的尖锐的反集中不等式的线性形式,可能是独立的利益。具体地说,我们将Alfers和Dinges [1984]的基于正态近似的β分布的下限推广到Dirichlet分布。我们的界与序$Ω(\sqrt{H^3SAT})$的下界相匹配,从而回答了Agrawal和Jia [2017 b]针对情节设置提出的开放问题。
2022-09-28 cs.LG stat.ML
Rethinking Probability-Based Reinforcement Learning From Posterior Concentration
National University of Singapore(新加坡国立大学);The Hong Kong University of Science and Technology(香港科技大学);University of Science and Technology of China(中国科学技术大学)
针对基于概率奖励的无验证器强化学习在长程推理中因后验集中现象导致的奖励不可区分问题,提出RLCPR框架,通过不确定性感知采样和集中感知正则化提升优化稳定性与令牌效率,在多数基准上超越基线。
2026-10-06 cs.AI
Online Learning for Stochastic Shortest Path Model via Posterior Sampling
University of Southern California(南加州大学)
研究了随机最短路径问题的在线强化学习问题,该问题被建模为一个具有吸收状态的未知MDP。我们提出了PSRL-SSP,一个简单的后验采样为基础的强化学习算法的SSP问题。该算法在历元中运行。在每个历元的开始,从未知模型动态的后验分布中抽取样本,并且在该历元期间遵循关于所抽取样本的最优策略。如果当前历元中对目标状态的访问次数超过前一历元,或者对任何状态-动作对的访问次数加倍,则历元完成。我们建立了$O(B_\star S\sqrt{AK})$的贝叶斯后悔界,其中$B_\star$是最优策略的期望成本的上界,$S$是状态空间的大小,$A$是动作空间的大小,$K$是发作次数。该算法只需要先验分布的知识,没有超参数调整。它是第一个这样的后采样算法,并在数值上优于以前提出的基于优化的算法。
2021-06-09 cs.LG
Posterior sampling for reinforcement learning: worst-case regret bounds
Columbia University(哥伦比亚大学)
我们提出了一种基于后验采样(又名汤普森采样)的算法,当底层马尔可夫决策过程(MDP)与有限但未知的直径进行通信时,该算法可以实现接近最优的最坏情况下的遗憾界限。我们的主要结果是一个高概率后悔上界的$\tilde{O}(DS\sqrt{AT})$的任何通信MDP与$S$状态,$A$行动和直径$D$。在这里,后悔将算法实现的总回报与时间范围$T$中的最优无限时间范围未贴现平均回报策略的总预期回报进行比较。该结果与$Ω(\sqrt{DSAT})$的已知下限非常匹配。我们的技术涉及证明一些新的结果的反集中的Dirichlet分布,这可能是独立的利益。
2020-03-30 cs.LG
Model-based Lifelong Reinforcement Learning with Bayesian Exploration
Brown University(布朗大学)
我们提出了一个基于模型的终身学习方法,估计一个分层贝叶斯后提炼的共同结构,在不同的任务。学习的后验结合基于样本的贝叶斯探索过程,提高了相关任务家族学习的样本效率。我们首先推导出分析样本复杂度和初始化质量之间的关系后,在有限的MDP设置。接下来,我们通过引入变分贝叶斯终身强化学习算法将该方法扩展到连续状态域,该算法可以与最近基于模型的深度RL方法相结合,并且具有向后转移。几个具有挑战性的领域的实验结果表明,我们的算法实现了更好的前向和后向传输性能比国家的最先进的终身RL方法。
2022-10-20 cs.LG
Model-based Reinforcement Learning for Continuous Control with Posterior Sampling
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
平衡探索和利用是强化学习(RL)的关键。本文对连续状态-动作空间中基于模型的后验采样强化学习(PSRL)进行了理论和实证研究。首先,我们证明了连续空间中PSRL的第一后悔界,据我们所知,它是关于情节长度的多项式。假设奖励和转移函数可以用贝叶斯线性回归建模,我们开发了$\tilde{O}(H^{3/2}d\sqrt{T})$的后悔界,其中$H$是情节长度,$d$是状态-动作空间的维数,$T$表示总的时间步长。这一结果与线性MDP中非PSRL方法的最著名的遗憾界相匹配。我们的界可以扩展到非线性的情况下,以及与特征嵌入:使用线性内核的特征表示$ϕ$,遗憾界成为$\tilde{O}(H^{3/2}d_ϕ\sqrt{T})$,其中$d_ϕ$是表示空间的维数。此外,我们提出了MPC-PSRL,基于模型的后验采样算法与模型预测控制的动作选择。为了捕捉模型中的不确定性,我们在神经网络的倒数第二层(特征表示层$ϕ$)上使用贝叶斯线性回归。实验结果表明,我们的算法实现了最先进的样本效率在基准连续控制任务相比,以前的基于模型的算法,并匹配无模型算法的渐近性能。
2021-11-16 cs.LG
Safe Posterior Sampling for Constrained MDPs with Bounded Constraint Violation
University of Southern California(南加州大学)
约束马尔可夫决策过程(CMDPs)模型的顺序决策方案与多个目标,在许多应用中越来越重要。然而,模型通常是未知的,必须在线学习,同时仍然确保满足约束,或者至少违反时间。最近的一些论文在这个非常具有挑战性的问题上取得了进展,但要么需要不令人满意的假设,如安全策略的知识,要么有很高的累积遗憾。我们提出了安全PSRL(后验抽样为基础的RL)算法,不需要这样的假设,但表现得很好,无论是在理论上的遗憾界限以及经验。该算法利用后验抽样原理实现了探索和利用之间的有效权衡,并利用悲观主义的思想,可证明只遭受有界约束违反。我们的方法是基于原始对偶方法。我们建立了一个次线性$\tilde{\mathcal{ O}}\left(H^{2.5} \sqrt{|\mathcal{S}|^2 |\mathcal{A}| K} \right)$上界的贝叶斯奖励目标后悔随着一个有界的,即,对于$|\mathcal{S}|$ -状态、$|\mathcal{A}|$ -操作和范围$H$ CMDP,对$K$事件的$\tilde{\mathcal{O}}\left(1\right)$约束违反表示遗憾。
2023-01-27 cs.AI cs.LG cs.SY
Minimax-Optimality of Posterior Sampling for Reinforcement Learning
本文证明未经修改的后验采样PSRL在任意相关先验下实现极小极大贝叶斯遗憾最优,通过共同经验转移参考和贝尔曼方差论证,获得表格型MDP的$\tilde{O}(\sqrt{SAH^3K})$率及线性混合MDP的$\tilde{O}(d\sqrt{H^3K})$率。
2026-09-29 cs.LG stat.ML
Posterior Sampling-based Online Learning for Episodic POMDPs
University of Southern California(南加州大学);eBay, Inc.(亿贝公司);Google DeepMind(谷歌DeepMind)
本文针对情景POMDP在线学习问题提出后验采样算法PS4POMDPs,证明其贝叶斯遗憾在一般情形下随视界指数增长且该下界不可避免,但在不完备弱揭示条件下可达到多项式遗憾界,并扩展至多智能体场景。
2024-10-23 cs.AI cs.LG cs.SY
Halve-Then-Greedy: Adaptive Sampling for Posterior Success with Near-Optimal Instance Dependence
University of Arizona(亚利桑那大学);POSTECH(浦项科技大学);Meta Inc.(元公司)
针对带高斯先验的高斯老虎机后验成功问题,提出Halve-Then-Greedy算法,结合初始均衡分配、 successive halving 与后验贪心采样,其样本效率优于均匀采样和顺序减半。
2026-10-16 cs.LG stat.ML
Posterior Sampling for Reinforcement Learning Without Episodes
Stanford University(斯坦福大学);Google DeepMind(谷歌DeepMind)
这是一个简短的技术说明,旨在澄清在没有固定事件的环境中应用强化学习算法后验采样(PSRL)的一些问题。特别是,本文的目的是:-回顾一些已经证明的结果,为有限的地平线MDP(Osband et al 2013,2014 a,2014 b,2016),也为MDP有限遍历结构(Gopalan et al 2014)。- 回顾无限时域问题中乐观算法的类似结果(Jaksch et al 2010,Bartlett and Tewari 2009,Abbasi-Yadkori and Szepesvari 2011),特别注意动态情节增长。- 强调导致lazy-PSRL算法证明错误的微妙技术问题(Abbasi-Yadkori和Szepesvari 2015)。我们提出了一个明确的反例,这种风格的论点。因此,我们建议将(Abbasi-Yadkori and Szepesvari 2015)中的定理2视为猜想,因为它没有严格的证明。- 目前实用的方法来应用PSRL在无限地平线问题。我们推测,在一些额外的假设下,即使没有情节重置,也有可能获得界$O( \sqrt{T} )$。我们希望这篇文章能够澄清强化学习领域的现有成果,并为未来的工作提供有趣的动力。
2016-08-09 cs.LG stat.ML
Posterior Sampling for Competitive RL: Function Approximation and Partial Observation
Hong Kong University of Science and Technology(香港科技大学);New York University(纽约大学);Peking University(北京大学);Northwestern University(西北大学);Yale University(耶鲁大学)
本文针对零和马尔可夫博弈提出基于自博弈与对抗广义eluder系数的模型化后验采样算法,首次在完全及部分可观测场景下实现竞争性强化学习的通用低遗憾学习。
2023-10-30 cs.GT cs.LG stat.ML
Prior-dependent analysis of posterior sampling reinforcement learning with function approximation
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Shenzhen Research Institute of Big Data(深圳大数据研究院)
针对线性混合MDP的函数逼近RL,提出先验相关贝叶斯遗憾界,通过解耦与方差缩减优化PSRL上界至O(d√(H³T logT))。
2024-03-17 cs.AI cs.IT cs.LG
Deep Bayesian Bandits Showdown: An Empirical Comparison of Bayesian Deep Networks for Thompson Sampling
Google Brain(谷歌大脑)
深度强化学习的最新进展在Go和Atari游戏等应用程序的性能方面取得了重大进展。然而,在复杂领域开发平衡勘探和开采的实用方法在很大程度上仍然没有解决。Thompson Sampling及其对强化学习的扩展提供了一种优雅的探索方法,只需访问模型的后验样本。与此同时,近似贝叶斯方法的进步使灵活的神经网络模型的后验近似变得实用。因此,在Thompson采样框架中考虑近似贝叶斯神经网络是有吸引力的。为了了解使用近似后验对汤普森采样的影响,我们对一系列上下文强盗问题的近似后验采样与汤普森采样相结合的方法进行了基准测试。我们发现,许多在监督学习环境中取得成功的方法在顺序决策场景中表现不佳。特别是,我们强调了适应缓慢收敛的不确定性估计在线设置的挑战。
2018-02-26 cs.LG stat.ML
Langevin Monte Carlo for Contextual Bandits
California Institute of Technology(加州理工学院);Purdue University(普渡大学)
我们研究了汤普森抽样的效率上下文土匪。现有的基于汤普森采样的算法需要构造拉普拉斯近似(即,高斯分布),这对于一般协方差矩阵的高维应用中的采样是低效的。此外,高斯近似可能不是一般奖励生成函数的后验分布的良好替代。我们提出了一个有效的后验抽样算法,即,Langevin Monte Carlo Thompson Sampling(LMC-TS),使用马尔可夫链蒙特卡罗(MCMC)方法直接从上下文强盗的后验分布中进行采样。我们的方法是计算效率高,因为它只需要执行嘈杂的梯度下降更新,而无需构建拉普拉斯近似的后验分布。我们证明,该算法实现了相同的次线性遗憾界的最佳汤普森采样算法的一个特殊情况下的上下文土匪,即,线性上下文强盗。我们在不同的上下文Bandit模型上对合成数据和真实世界数据集进行了实验,这表明直接从后验中采样在计算效率和性能上都具有竞争力。
2022-06-22 cs.LG stat.ML
Posterior Sampling for Continuing Environments
Stanford University(斯坦福大学);Google DeepMind(谷歌DeepMind)
本文提出连续PSRL算法,适用于持续交互环境,通过定期从后验重采样模型并优化折扣回报,首次给出贝叶斯遗憾上界Õ(τS√(AT)),支持随机探索。
2025-10-13 cs.LG stat.ML
The Tilted Sampling Problem: Optimism, Posterior Sampling, and Logarithmic Regret
Mila – Québec AI Institute, McGill University(米拉-魁北克人工智能研究所,麦吉尔大学)
针对倾斜采样问题,研究目标是从未知奖励函数诱导的吉布斯分布中采样,定义了采样遗憾并提出通用遗憾框架,开发了UCB和汤普森采样的采样模拟算法,得到对数级采样遗憾的结果,区分了软最优分布采样与硬最优识别的学习任务。
2026-10-16 cs.LG math.OC stat.ML
Generalized Bayesian deep reinforcement learning
University of Warwick(沃里克大学);CEREMADE, Université Paris Dauphine PSL(巴黎第纳大学CEREMADE)
本文提出广义贝叶斯深度强化学习方法,利用深度生成模型和预序列评分规则后验进行环境动态建模,并引入期望汤普森采样改进策略学习,在理论和实验上验证了其有效性。
2025-06-02 cs.LG stat.ME stat.ML
Model-based RL with Optimistic Posterior Sampling: Structural Conditions and Sample Complexity
Google Research(谷歌研究院);HKUST(香港科技大学)
我们提出了一个通用的框架来设计基于模型的RL的后验抽样方法。我们表明,所提出的算法可以通过减少遗憾的Hellinger距离的条件概率估计进行分析。我们进一步表明,乐观的后验抽样可以控制这个海林格距离,当我们通过数据的可能性来衡量模型误差。这种技术使我们能够设计和分析统一的后验采样算法,并为许多基于模型的RL设置提供最先进的样本复杂度保证。我们说明了我们的一般结果在许多特殊情况下,展示了我们的框架的多功能性。
2022-10-16 cs.AI cs.LG stat.ML
Flow Annealing Posterior Sampling for Function-Space Regression and Inverse Problems
California Institute of Technology(加州理工学院)
提出流退火后验采样(FAPS),首个统一随机过程回归与PDE逆问题的函数空间后验采样框架,利用预训练函数空间流匹配先验,通过低秩协方差预条件器的朗之万校正实现稀疏噪声观测下的似然引导后验推断。
2026-10-01 cs.AI cs.LG stat.ML
Fast and Robust Likelihood-Guided Diffusion Posterior Sampling with Amortized Variational Inference
Institute of Foundation Models, MBZUAI(基础模型研究所,MBZUAI);Huawei Lagrange Mathematics and Computing Research Center, Paris, France(华为拉格朗日数学与计算研究中心,法国巴黎);Mohamed Bin Zayed University of AI, Chair of the ML Department, EPITA, Laboratoire Recherche de l'EPITA(穆罕默德·本·扎耶德人工智能大学,机器学习系主任,EPITA,EPITA研究实验室)
本文提出一种快速且稳健的扩散后验采样方法,通过幅度化变分推断保留显式似然引导,提升逆问题的效率与鲁棒性。
2026-02-06 cs.AI cs.LG stat.ML
Efficient Approximate Posterior Sampling with Annealed Langevin Monte Carlo
Chandra Family Department of Electrical and Computer Engineering, The University of Texas at Austin(德克萨斯大学奥斯汀分校电气与计算机工程系)
本文提出了一种在多项式时间内高效近似后验采样的方法,结合KL散度和Fisher散度,确保样本同时符合测量和先验。
2025-12-08 cs.AI cs.LG stat.ML
Enhancing Diffusion Posterior Sampling for Inverse Problems by Integrating Crafted Measurements
University at Buffalo(布法罗大学);Adobe Research(Adobe研究);The Pennsylvania State University(宾夕法尼亚州立大学);Fujian Normal University(福建师范大学)
针对扩散后验采样中过早引入高频信息导致误差增大的问题,提出 DPS-CM 方法,通过集成精心设计的带噪测量来形成后验估计,有效缓解了与扩散先验的不一致,显著提升多种逆问题的求解能力。
2025-06-27 cs.AI cs.CV cs.LG
Split Gibbs Discrete Diffusion Posterior Sampling
California Institute of Technology(加州理工学院);New York University(纽约大学);OpenAI
提出基于分裂吉布斯采样的离散扩散后验采样算法SGDD,支持奖励引导生成与逆问题求解,在多项基准上取得SOTA性能及30%图像修复提升。
2025-11-01 cs.CV cs.LG
Rényi Differential Privacy Mechanisms for Posterior Sampling
University of California, San Diego(加利福尼亚大学圣迭戈分校)
使用最近提出的隐私Rényi差分隐私(RDP)的定义,我们重新审视固有的隐私释放一个单一的样本从后验分布。我们利用先验分布的影响来减轻单个数据点的影响。特别是,我们专注于从指数族和特定的广义线性模型,如逻辑回归的采样。我们提出了新的RDP机制,以及提供一个新的RDP分析现有的方法,以增加价值的RDP框架。每种方法都能够实现任意的RDP隐私保证,我们提供了实验结果,他们的功效。
2017-10-02 cs.AI cs.CR cs.LG
Scalable Nonparametric Sampling from Multimodal Posteriors with the Posterior Bootstrap
University of Oxford(牛津大学);The Alan Turing Institute(艾伦·图灵研究所)
越来越复杂的数据集对贝叶斯推断提出了许多挑战。基于马尔可夫链蒙特卡罗的传统后验采样可能计算量太大,本质上是串行的,并且后验模式之间的混合很差。此外,所有模型都是错误指定的,这使人们对传统贝叶斯更新的有效性产生了疑问。我们提出了一个可扩展的贝叶斯非参数学习例程,使后验采样通过适当的随机目标函数的优化。一个Dirichlet过程之前的未知数据分布帐户的模型误指定,并承认一个非常并行的后验自举算法,从非参数后验分布产生独立和准确的样本。我们的方法是特别善于通过随机重新启动机制从多峰后验分布采样。我们证明了我们的方法在高斯混合模型和稀疏逻辑斯谛回归的例子。
2019-08-25 cs.LG stat.ME stat.ML
Noise, Denoise, Correct: MCMC Posterior Sampling with Diffusion Priors in Three Steps
PhysicsX
针对非线性不可微逆问题,提出扩散华尔兹MCMC方法,用SDEdit加噪去噪作提议并经MH校正实现精确后验采样,在Navier-Stokes任务上优于基线。
2026-10-08 cs.LG
Solving Linear Inverse Problems Provably via Posterior Sampling with Latent Diffusion Models
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
提出首个利用预训练潜在扩散模型求解线性逆问题的框架,通过理论分析证明了线性模型设置下的样本恢复,并在多种任务上超越现有后验采样算法。
2023-07-02 cs.AI cs.LG stat.ML
Provable diffusion-based posterior sampling for linear inverse problems via DDIM
该研究针对线性逆问题,提出\pddim算法,通过对标准DDIM更新进行轻量级逐坐标修改并纳入测量模型,沿测量算子奇异方向分别采样。此算法收敛到贝叶斯后验,在图像恢复任务中性能优于现有方法,实现高效且具后验一致性。
2026-07-22 cs.AI cs.LG stat.ML
Accelerating Approximate Thompson Sampling with Underdamped Langevin Monte Carlo
Purdue University(普渡大学);Morgan Stanley(摩根士丹利)
近似汤普森采样与朗之万蒙特卡罗扩大了其范围从高斯后验采样,包括更一般的光滑后验。然而,它仍然遇到的高维问题时,要求高精度的可扩展性问题。为了解决这个问题,我们提出了一个近似的汤普森采样策略,利用欠阻尼朗之万蒙特卡罗,后者是去到主力的高维后验的模拟。基于标准光滑性和对数正态性条件,我们研究了使用特定势函数的加速后验集中和采样。该设计将实现对数遗憾的样本复杂度从$\mathcal{\tilde O}(d)$提高到$\mathcal{\tilde O}(\sqrt{d})$。我们的算法的可扩展性和鲁棒性也通过高维强盗问题的合成实验进行了经验验证。
2024-06-21 cs.AI cs.LG stat.ML
POEM: Out-of-Distribution Detection with Posterior Sampling
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
对于部署在开放世界中的机器学习模型,分发外(OOD)检测是必不可少的。最近,在训练过程中使用辅助离群值数据集(也称为离群值暴露)已经显示出有希望的性能。由于潜在OOD数据的样本空间可能非常大,因此采样信息离群值至关重要。在这项工作中,我们提出了一种新的基于后验采样的离群数据挖掘框架,POEM,它有利于有效地利用离群数据,并促进学习ID和OOD数据之间的紧凑决策边界,以提高检测。我们表明,POEM建立国家的最先进的性能,共同的基准。与目前使用贪婪采样策略的最佳方法相比,POEM在CIFAR-10和CIFAR-100上的相对性能分别提高了42.0%和24.2%(FPR 95)。我们进一步提供了理论见解的有效性POEM OOD检测。
2022-06-28 cs.AI cs.CV cs.LG
Parallel-tempered Stochastic Gradient Hamiltonian Monte Carlo for Approximate Multimodal Posterior Sampling
American International Group, Inc.(美国国际集团)
我们提出了一个新的采样器,集成了协议的并行回火与Nosé-Hoover(NH)动力学。该方法可以有效地从复杂的后验分布与多个孤立的模式,在随机梯度产生的噪声存在下提取代表性的样本。它可能有助于在遇到复杂的多模态后验和小批量梯度的大型数据集上进行深度贝叶斯学习。
2018-12-07 cs.LG stat.ML
Solving Diffusion Inverse Problems with Restart Posterior Sampling
Purdue University(普渡大学)
RePS通过重启后验抽样高效解决线性和非线性逆问题,避免反向传播,提升收敛速度和重建质量。
2025-11-24 cs.AI cs.LG stat.ML
Posterior sampling by source-space MCMC via prior-based few-step transport maps
Nanyang Technological University(南洋理工大学);University of Helsinki(赫尔辛基大学)
提出源空间广义贝叶斯推断框架,利用少步iMF传输映射表示隐式先验,在高斯源空间采样,并给出误差界,实验验证其准确高效及文本引导能力。
2026-10-02 cs.AI cs.LG stat.ML
FlowDPS: Flow-Driven Posterior Sampling for Inverse Problems
KAIST(韩国科学技术院);Kim Jaechul Graduate School of AI, KAIST(韩国科学技术院金在哲人工智能研究生院)
本文提出 FlowDPS,将扩散逆求解器扩展到流匹配框架,通过流版 Tweedie 公式分解 ODE 并结合似然梯度与随机噪声实现后验采样,在四个线性逆问题上无需额外训练即超越现有方法。
2025-03-11 cs.AI cs.CV cs.LG
Diffusion Posterior Sampling is Computationally Intractable
UT Austin(德克萨斯大学);UC Berkeley(加州大学伯克利分校)
本文基于密码学中单向函数存在的假设,证明扩散模型后验采样在计算上不可行,并表明指数时间拒绝采样在更强假设下本质上最优。
2025-11-09 cs.AI cs.LG math.ST
Diffusion Posterior Sampling for General Noisy Inverse Problems
KAIST(韩国科学技术院);Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
针对现有扩散逆问题求解器多聚焦无噪简单线性场景的局限,提出扩散后验采样方法,融合扩散采样与流形约束梯度,可高效处理通用含噪(非)线性逆问题,适配多种噪声类型。
2024-05-20 cs.AI cs.CV cs.LG
A Stabilized Path-Space Approach to Diffusion-Based Posterior Sampling
Oden Institute for Computational Engineering and Sciences, The University of Texas at Austin(德克萨斯大学奥斯汀分校奥登计算工程与科学研究所);Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室);Department of Biomedical Engineering, The University of Texas at Austin(德克萨斯大学奥斯汀分校生物医学工程系);Mitsubishi Electric Research Laboratories(三菱电机研究实验室)
提出一种稳定的路径空间框架,通过随机最优控制与信任域优化,实现非线性逆问题中准确且鲁棒的后验采样。
2026-06-12 cs.LG math.OC
Amortized Posterior Sampling with Diffusion Prior Distillation
Caltech(加州理工学院);EverEx;KAIST(韩国科学技术院)
提出摊销后验采样(APS),通过训练条件流模型最小化与扩散模型隐式定义的后验分布的散度,实现单次神经函数评估的高效后验采样,无需配对数据且适用于欧氏与非欧氏域,在计算效率上显著优于现有方法。
2025-07-11 cs.CV cs.LG
On Sampling from the Gibbs Distribution with Random Maximum A-Posteriori Perturbations
University of Haifa(海法大学);TTI Chicago(丰田工业大学芝加哥分校);MIT(麻省理工学院)
在本文中,我们描述了如何MAP推理可以用来有效地从吉布斯分布采样。具体来说,我们提供了通过引入低维扰动和解决相应的MAP分配从吉布斯分布绘制近似或无偏样本的方法。我们的方法也导致了新的方法来获得分区函数的下界。我们的经验表明,我们的方法在典型的“高信号-高耦合”制度优于。该设置导致参差不齐的能源景观,这对于采样和/或下限的替代方法是具有挑战性的。
2013-09-29 cs.LG
Constrained Posterior Sampling: Time Series Generation with Hard Constraints
Department of Electrical and Computer Engineering, The University of Texas at Austin(电气与计算机工程系,德克萨斯大学奥斯汀分校)
针对现有约束时间序列生成方法可扩展性差、样本质量低的问题,提出基于扩散的约束后验采样算法CPS,无需额外训练即可支持约百个约束,在多类真实数据集上样本质量和相似性显著优于SOTA方法。
2025-10-29 cs.AI cs.LG eess.SP
D-Flow SGLD: Source-Space Posterior Sampling for Scientific Inverse Problems with Flow Matching
Sibley School of Mechanical and Aerospace Engineering, Cornell University(科尼尔大学机械与航空航天工程学院);Department of Aerospace and Mechanical Engineering, University of Notre Dame(诺丁汉大学航空航天与机械工程系)
D-Flow SGLD是一种基于流匹配的源空间后验采样方法,通过可微源推断与预条件随机梯度兰格-多夫动态相结合,实现科学反问题中高效且保真的后验采样。
2026-02-25 cs.LG
Geometry-Correct Diffusion Posterior Sampling with Denoiser-Pullback Curvature Guidance and Manifold-Aligned Damping
Department of Electrical and Computer Engineering, Inha University, Incheon, 22212, South Korea(电气与计算机工程系,Inha大学,Incheon,22212,韩国)
提出一种基于去噪器回拉曲率引导和流形对齐阻尼的几何校正扩散后验采样方法,通过每噪声水平的阻尼高斯-牛顿校正替代标量引导,实现稳定高效的后验采样。
2026-05-27 cs.AI cs.CV cs.LG