Model-Augmented Q-learning
Samsung Advanced Institute of Technology（三星先进技术研究院）；Korea Advanced Institute of Science and Technology（韩国高等科学技术研究院）
近年来，$Q$ -学习已经成为无模型强化学习（MFRL）中不可或缺的一部分。然而，它遭受着众所周知的问题，如低估和高估的价值偏差，这可能会对策略学习产生不利影响。为了解决这个问题，我们提出了一个MFRL框架，该框架增加了基于模型的RL的组件。具体来说，我们建议不仅估计的$Q$值，但也与共享网络的过渡和奖励。我们进一步利用从模型估计器的估计奖励的$Q$学习，这促进了估计器之间的相互作用。我们表明，所提出的计划，称为模型增强$Q$学习（MQL），获得一个政策不变的解决方案，这是相同的解决方案，通过学习与真正的奖励。最后，我们还提供了一个技巧，通过利用模型估计误差来优先考虑重放缓冲区中的过去经验。我们实验验证MQL建立在国家的最先进的政策MFRL方法，并表明，MQL大大提高了他们的性能和收敛。建议的计划实施简单，不需要额外的培训费用。
2021-02-07 cs.LG
Deep Bayesian Quadrature Policy Optimization
Purdue University（普渡大学）；Google Research（谷歌研究院）；Caltech（加州理工学院）
我们研究的问题，获得准确的策略梯度估计使用有限数量的样本。蒙特卡罗方法一直是策略梯度估计的默认选择，尽管在梯度估计中存在高方差。另一方面，像贝叶斯求积方法，由于其高的计算复杂性，样本效率更高的替代方案很少受到关注。在这项工作中，我们提出了深贝叶斯正交策略梯度（DBQPG），计算效率高的高维推广贝叶斯正交，策略梯度估计。我们表明，DBQPG可以取代蒙特卡洛估计的策略梯度方法，并证明了其有效性的一组连续控制基准。与Monte-Carlo估计相比，DBQPG提供（i）具有显著较低方差的更准确的梯度估计，（ii）对于几种深度策略梯度算法，在样本复杂度和平均回报方面的一致改进，以及（iii）梯度估计中的不确定性，其可以被并入以进一步提高性能。
2020-12-16 cs.LG stat.ML
Bayesian Risk-Sensitive Policy Optimization For MDPs With General Loss Functions
Industrial and Systems Engineering Georgia Institute of Technology（工业与系统工程佐治亚理工学院）
针对带通用损失函数的未知参数MDPs，提出基于贝叶斯框架与一致性风险泛函的策略梯度优化方法，推导收敛速率并扩展至回合场景证明全局收敛。
2025-09-30 cs.LG
DRARL: Disengagement-Reason-Augmented Reinforcement Learning for Efficient Improvement of Autonomous Driving Policy
School of Vehicle and Mobility, Tsinghua University（清华大学车辆与移动学院）；Didi Global（滴滴出行）；Department of Civil and Environmental Engineering, University of Michigan（密歇根大学土木与环境工程系）；Lab for High Technology, Tsinghua University（清华大学高科技实验室）；Institute for AI Industry Research, Tsinghua University（清华大学人工智能产业研究院）
针对自动驾驶脱离数据稀缺且部分无关的问题，提出DRARL方法，利用OOD模型识别脱离原因，在原因增强环境中训练策略，提升真实场景下策略性能且避免过度保守。
2025-06-20 cs.LG cs.RO
Bayesian Policy Optimization for Model Uncertainty
Paul G. Allen School of Computer Science & Engineering（保罗·G·艾伦计算机科学与工程学院）；University of Washington（华盛顿大学）
解决不确定性对于自主系统稳健地适应现实世界至关重要。我们将模型不确定性问题表述为连续贝叶斯-自适应马尔可夫决策过程（BAMDP），其中代理在给定观测历史的情况下保持潜在模型参数的后验分布，并最大化其相对于此信念分布的预期长期回报。我们的算法，贝叶斯策略优化，建立在最近的策略优化算法，学习一个通用的政策，导航的勘探开发权衡，以最大限度地提高贝叶斯价值函数。为了解决连续潜在参数空间离散化的挑战，我们提出了一种新的策略网络架构，该架构独立于可观察状态对信念分布进行编码。我们的方法显着优于算法，解决模型的不确定性，而不显式推理的信念分布，是最先进的部分可观察马尔可夫决策过程求解器的竞争力。
2019-05-08 cs.LG cs.RO
Efficient Bayesian Policy Reuse with a Scalable Observation Model in Deep Reinforcement Learning
Nanjing University（南京大学）；University of New South Wales（新南威尔士大学）
针对深度强化学习中的策略迁移问题，提出用即时状态转移样本和可扩展观测模型改进贝叶斯策略复用，并扩展至持续学习以避免负迁移。
2023-07-13 cs.LG
Divergence-Augmented Policy Optimization
Huya AI（虎牙AI）；Tencent AI Lab（腾讯AI实验室）；The Hong Kong University of Science and Technology（香港科技大学）
本文提出散度增强的策略优化方法，通过在行为策略与当前策略的状态分布间引入Bregman散度，确保off-policy数据重用时的安全小步更新，解决过早收敛和不稳定问题，在Atari游戏数据稀缺场景下优于现有算法。
2025-01-25 cs.AI cs.LG stat.ML
Augmented Lagrangian Method for Last-Iterate Convergence for Constrained MDPs
Simon Fraser University（西蒙弗雷泽大学）
本文提出一种基于增广拉格朗日方法的框架，实现受约束无限时间折扣马尔可夫决策过程的最后迭代收敛，适用于表格和对数线性策略，并在连续控制任务中验证了其扩展性。
2026-05-12 cs.LG
Learning and Policy Search in Stochastic Dynamical Systems with Bayesian Neural Networks
Siemens AG（西门子股份公司）；Technical University of Munich（慕尼黑工业大学）；University of Cambridge（剑桥大学）；Harvard University（哈佛大学）
我们提出了一种基于模型的强化学习算法，该算法将贝叶斯神经网络（BNN）与随机推出和随机最优化策略学习相结合。BNN通过最小化$α$ -分歧来训练，使我们能够捕获过渡动态中的复杂统计模式，例如多模态和异方差性，这些通常被其他常见的建模方法所遗漏。我们通过解决一个具有挑战性的基准来说明我们的方法的性能，其中基于模型的方法通常会失败，并通过在现实世界的情况下获得有希望的结果来控制燃气轮机。
2017-03-08 cs.LG stat.ML
Constrained Policy Optimization via Bayesian World Models
ETH Zurich（苏黎世联邦理工学院）
在高风险的现实世界应用中部署强化学习时，提高样本效率和安全性是至关重要的挑战。我们提出了LAMBDA，一种新的基于模型的方法，通过约束马尔可夫决策过程建模的安全关键任务的政策优化。我们的方法利用贝叶斯世界模型，并利用由此产生的不确定性，以最大限度地提高乐观的任务目标的上限，以及悲观的安全约束的上限。我们展示了LAMBDA的安全健身房基准套件在样本效率和约束违反方面的最先进的性能。
2022-02-06 cs.AI cs.LG cs.RO
Bridging Policy and Real-World Dynamics: LLM-Augmented Rebalancing for Shared Micromobility Systems
本文提出AMPLIFY框架，通过结合LLM与基础策略，提升共享微出行系统在突发事件下的再平衡效率与收益。
2026-02-26 cs.AI cs.LG
Bayesian policy gradient and actor-critic algorithms
Adobe Research & Inria（Adobe研究与法国国家信息与自动化研究所）；Rafael Advanced Defence System（拉斐尔高级防御系统）；Inria Lille — SequeL team（法国国家信息与自动化研究所里尔分校——SequeL团队）
本文提出基于高斯过程的贝叶斯策略梯度框架，减少采样需求并提供自然梯度和梯度协方差估计，结合非参数贝叶斯critics改进马尔可夫性质，通过实验验证方法有效性。
2026-10-06 cs.LG stat.ML
Deep deterministic policy gradient with symmetric data augmentation for lateral attitude tracking control of a fixed-wing aircraft
Delft University of Technology（代尔夫特理工大学）
本文利用系统对称性提出对称数据增强方法，提升DDPG的样本效率和状态-动作空间覆盖率，并通过双批评者结构提高样本利用率，验证了飞机模型对称性并加速了控制策略收敛。
2026-04-13 cs.AI cs.LG
Grasp Anything: Combining Teacher-Augmented Policy Gradient Learning with Instance Segmentation to Grasp Arbitrary Objects
University of Bonn（波恩大学）；Center for Robotics（机器人中心）；Lamarr Institute for Machine Learning and Artificial Intelligence（拉马尔机器学习与人工智能研究所）
针对杂乱场景中任意物体抓取难题，提出教师增强策略梯度（TAPG）两阶段框架，结合强化学习与策略蒸馏，并利用Segment Anything Model实现零样本迁移，在仿真和真实世界成功抓取多种物体。
2024-03-15 cs.AI cs.LG cs.RO
Regularized Offline Policy Optimization with Posterior Hybrid Bayesian Belief
Zhejiang University, Hangzhou, China（浙江大学）
提出后验混合贝叶斯信念（PhyB）以统一量化离线强化学习中的认知不确定性，并基于此开发迭代正则化策略优化算法，实现单调改进直至收敛。
2026-07-21 cs.AI cs.LG
StaRPO: Stability-Augmented Reinforcement Policy Optimization
Clemson University（克莱姆森大学）；Université de Montréal（蒙特利尔大学）；Accenture (United States)（埃森哲（美国））；Arizona State University（亚利桑那州立大学）；Northeastern University（东北大学）
StaRPO通过引入推理稳定性指标提升强化学习在复杂推理任务中的表现，通过ACF和PE指标增强逻辑稳定性和响应准确性。
2026-10-15 cs.AI cs.LG
FLAG: Flow Policy MaxEnt-RL by Latent Augmented Guidance
Seoul National University（首尔国立大学）；Georgia Institute of Technology（佐治亚理工学院）
提出FLAG方法，通过潜在变量增强状态空间并优化代理最大熵目标，解决重要性权重崩溃问题，实现高维控制任务中的表达性策略优化。
2026-05-29 cs.LG cs.RO
Bayesian Transfer Reinforcement Learning with Prior Knowledge Rules
Athens University of Economics and Business（雅典经济与商业大学）
我们提出了一个概率框架，直接插入先验知识的强化学习（RL）算法定义的行为政策作为贝叶斯后验分布。这样的后验将任务特定信息与先验知识相结合，从而允许实现跨任务的迁移学习。所得到的方法是灵活的，它可以很容易地结合到任何标准的政策和政策上的算法，如那些基于时间差异和策略梯度。我们通过将先验知识表达为一般确定性规则来开发这种贝叶斯传输RL框架的具体实例，这些规则可以在各种各样的任务（例如导航任务）中使用。此外，我们详细阐述了最近的概率和熵正则化RL开发一种新的时间学习算法，并展示了如何将其与贝叶斯传输RL。最后，我们展示了我们的方法解决迷宫，并表明可以获得显着的速度提升。
2018-09-30 cs.LG stat.ML
Robust Bayesian reinforcement learning through tight lower bounds
EPFL（洛桑联邦理工学院）
在贝叶斯序贯决策方法中，（主观）效用的精确计算是困难的。这扩展到大多数感兴趣的特殊情况，例如强化学习问题。虽然这个问题的效用边界是已知的，但到目前为止，没有一个是特别紧的。在本文中，我们将展示如何有效地计算一个下界，这对应于一个接近最优的无记忆政策的决策问题，这是一般不同的贝叶斯最优的政策和政策，这是最佳的预期MDP下的当前信念的效用。然后，我们将展示如何将这些应用于贝叶斯强化学习设置中获得强大的探索策略。
2011-11-11 cs.LG stat.ML
Bayesian Off-Policy Evaluation and Learning for Large Action Spaces
Criteo AI Lab（Criteo人工智能实验室）；CREST, ENSAE, IP Paris（CREST, ENSAE巴黎高等统计与经济学校, 巴黎IP）；IP Paris（巴黎IP）
本文提出统一贝叶斯框架及通用方法 sDM，通过结构化先验利用动作相关性，在大动作空间中提升离策略评估与学习的样本效率，并引入贝叶斯平均性能指标替代最坏情况评估。
2025-04-08 cs.AI cs.LG stat.ML
CATPO: Critique-Augmented Tree Policy Optimization
Indian Institute of Technology Roorkee（印度理工学院罗尔基分校）；Vision and Language Group（视觉与语言组）
提出CATPO方法，通过树信息性评分和批评引导修复，解决树结构强化学习中低效树浪费计算的问题，在数学推理任务上提升准确率。
2026-06-06 cs.CL cs.LG
Learning Augmented Index Policy for Optimal Service Placement at the Network Edge
SUNY-Binghamton University（纽约州立大学宾汉姆顿分校）；Indian Institute of Science（印度科学学院）
我们考虑在网络边缘的服务放置的问题，其中决策者必须选择之间的$N$服务托管在边缘，以满足客户的需求。我们的目标是设计自适应算法，以最大限度地减少客户的平均服务交付延迟。我们提出的问题作为一个马尔可夫决策过程（MDP），其中的系统状态是通过描述，为每个服务，目前正在等待在边缘获得服务的客户的数量。然而，由于维数灾难，求解该$N$ -服务MDP在计算上是昂贵的。为了克服这一挑战，我们表明，单服务MDP的最优策略具有吸引人的阈值结构，并推导出明确的Whittle指数为每个服务的客户请求的数量的函数的基础上的理论的Whittle指数政策。由于请求到达和服务交付率通常是未知的，可能是随时间变化的，我们然后开发有效的学习增强算法，充分利用结构的最佳政策与低学习遗憾。第一个是UCB-Whittle，它依赖于面对不确定性时的乐观原则。第二个算法，Q学习-惠特尔，利用Q学习迭代每个服务通过使用两个时间尺度的随机近似。通过分析UCB-Whittle的学习遗憾来刻画其非渐近性能，并分析了Q-learning-Whittle的收敛性。仿真结果表明，所提出的政策产生良好的经验性能。
2021-01-14 cs.LG cs.NI
Automatic Data Augmentation by Learning the Deterministic Policy
为了产生足够和多样化的训练样本，数据增强已被证明在训练深度模型方面的有效性。考虑到最佳增强的标准很难定义，我们在本文中提出了一种新的基于学习的增强方法，称为DeepAugNet，它将最终增强的数据表示为几个顺序增强的子集的集合。具体而言，通过使用深度强化学习学习确定性增强策略，要求当前增强子集与上一次增强子集相比最大化性能改进。通过引入统一的优化目标，DeepAugNet打算以端到端的训练方式将数据增强和深度模型训练结合起来，通过同时训练决斗深度Q-学习算法和代理深度模型的混合架构来实现。我们在各种基准数据集上广泛评估了我们提出的DeepAugNet，包括Fashion MNIST，CUB，CIFAR-100和WebCaricature。与目前的最先进的，我们的方法可以实现一个显着的改善，在小规模的数据集，并在大规模数据集的性能相当。代码将很快可用。
2019-10-22 cs.CV cs.LG
The Non-Bayesian Restless Multi-Armed Bandit: a Case of Near-Logarithmic Regret
University of Southern California（南加州大学）
在经典的贝叶斯不安分多臂强盗（RMAB）问题中，存在$N$臂，每个臂上的奖励在每个时刻以参数已知的马尔可夫链形式演化.玩家寻求在每次激活$K \geq 1$臂，以便最大化在多次游戏中获得的预期总奖励。RMAB是一个具有挑战性的问题，通常被认为是PSPACE困难的。在这项工作中，我们认为更难的非贝叶斯RMAB，其中的马尔可夫链的参数被假定为未知的\emph{a priori}。我们开发了一个原始的方法来解决这个问题，适用于当相应的贝叶斯问题的结构，根据已知的参数值，最优解是一个规定的有限集的政策。在这样的设置中，我们建议学习的最佳政策，非贝叶斯RMAB采用一个合适的元政策，把每个政策从这个有限集作为一个手臂在一个不同的非贝叶斯多臂强盗问题的单臂选择政策是最佳的。我们证明了这种方法，通过开发一种新的感知策略，在未知的动态信道上的机会频谱接入。我们证明了我们的策略实现了接近对数的遗憾（与模型感知的精灵相比，预期奖励的差异），这导致了在已知模型下最优策略可以实现的相同平均奖励。这是第一个这样的结果在文献中的非贝叶斯RMAB。
2010-11-22 cs.LG cs.NI math.OC
Off-Dynamics Reinforcement Learning via Domain Adaptation and Reward Augmented Imitation
Johns Hopkins University（约翰斯·霍普金斯大学）；University of California San Diego（加利福尼亚大学圣迭戈分校）；Duke University（杜克大学）
提出DARAIL方法，结合领域适应与奖励增强模仿学习，解决动力学偏移下策略迁移问题，在基准环境中优于纯修改奖励等方法。
2024-11-15 cs.AI cs.LG cs.RO
Distilling Motion Planner Augmented Policies into Visual Control Policies for Robot Manipulation
University of Southern California（南加州大学）
在现实的，有障碍的环境中学习复杂的操作任务是一个具有挑战性的问题，由于困难的探索存在的障碍和高维视觉观察。先前的工作通过整合运动规划和强化学习来解决探索问题。然而，运动规划器增强策略需要访问状态信息，这在现实世界的设置中通常是不可用的。为此，我们建议通过以下方式将基于状态的运动规划器增强策略提取为视觉控制策略：（1）视觉行为克隆，以去除运动规划器依赖性及其抖动运动，以及（2）基于视觉的强化学习，并在行为克隆代理的平滑轨迹的指导下。我们评估我们的方法在三个操作任务在障碍环境中，并比较它与各种强化学习和模仿学习基线。结果表明，我们的框架是高度采样效率和优于国家的最先进的算法。此外，再加上域随机化，我们的政策是能够zero-shot转移到看不见的环境设置与干扰。代码和视频可在https://clvrai.com/mopa-pd上获得
2021-11-11 cs.AI cs.LG cs.RO
Memory Augmented Policy Optimization for Program Synthesis and Semantic Parsing
Google Brain（谷歌大脑）；Tel-Aviv University（特拉维夫大学）；AI2（艾伦人工智能研究所）；SayMosaic Inc.（赛莫赛克公司）
我们提出了内存增强策略优化（MAPO），一个简单而新颖的方法来利用内存缓冲区的有前途的轨迹，以减少方差的策略梯度估计。MAPO适用于具有离散行为的确定性环境，如结构化预测和组合优化任务。我们将预期收益目标表示为两项的加权和：对内存缓冲区内高回报轨迹的期望，以及对缓冲区外轨迹的单独期望。为了使MAPO算法更有效，我们提出：（1）内存权重裁剪以加速和稳定训练;（2）系统探索以发现高回报轨迹;（3）从内存缓冲区内外分布采样以扩大训练。MAPO提高了样本效率和策略梯度的鲁棒性，特别是在具有稀疏奖励的任务上。我们评估MAPO弱监督程序合成从自然语言（语义解析）。在WikiTableQuestions基准测试中，我们将最先进的水平提高了2.6%，准确率达到了46.3%。在WikiSQL基准测试中，MAPO仅在弱监督的情况下实现了74.9%的准确率，优于几个完全监督的强基线。我们的源代码可以在https://github.com/crazydonkey200/neural-symbolic-machines上找到
2019-01-13 cs.AI cs.CL cs.LG
Policy-Based Bayesian Experimental Design for Non-Differentiable Implicit Models
BAIR（伯克利人工智能研究院）；UC Berkeley（加州大学伯克利分校）
对于医疗保健，物理，能源，机器人和许多其他领域的应用，设计最大限度地提供信息的实验是有价值的，特别是当实验是昂贵的，耗时的，或造成安全隐患。虽然现有的方法可以根据先前的观察历史顺序地设计实验，但这些方法中的许多方法并不扩展到隐式模型，其中模拟是可能的，但计算可能性是棘手的。此外，它们通常需要在部署过程中进行大量的在线计算，或者需要可微分的仿真系统。我们介绍了用于深度自适应设计的强化学习（RL-DAD），这是一种针对不可微隐式模型的基于模拟的最优实验设计方法。RL-DAD扩展了基于策略的贝叶斯最优实验设计（BOED）的先前工作，将其重新表述为具有基于无似然信息下限的奖励函数的马尔可夫决策过程，该过程用于通过深度强化学习学习策略。学习的设计策略将先前的历史映射到离线的实验设计，并且可以在在线执行期间快速部署。我们评估RL-DAD，发现它在三个基准上与基线具有竞争力。
2022-03-08 cs.AI cs.LG stat.ME
Decision Making in Non-Stationary Environments with Policy-Augmented Search
Vanderbilt University（范德堡大学）；Stanford University（斯坦福大学）；Eindhoven University of Technology（埃因霍温理工大学）；Pennsylvania State University（宾夕法尼亚州立大学）
针对非平稳环境中预学习策略过时且限时在线搜索易次优的问题，提出PA-MCTS融合旧策略价值估计与最新模型搜索，并给出最优性和误差界，实验证明其优于AlphaZero和DQN。
2024-01-20 cs.AI cs.LG
Policy Gradient Bayesian Robust Optimization for Imitation Learning
University of California, Berkeley（加州大学伯克利分校）；University of New Hampshire（新罕布什尔大学）
在许多现实世界的问题中，很难指定奖励，这导致人们越来越关注从人类反馈（如演示）中学习奖励。然而，通常有许多不同的奖励函数来解释人类反馈，这使得代理人不确定真正的奖励函数是什么。虽然大多数策略优化方法通过优化预期性能来处理这种不确定性，但许多应用程序需要规避风险的行为。我们推导出一种新的策略梯度式的鲁棒优化方法，PG-BROIL，优化了软鲁棒目标，平衡预期的性能和风险。据我们所知，PG-BROIL是第一个对奖励假设分布具有鲁棒性的策略优化算法，该算法可以扩展到连续的MDP。结果表明，PG-BROIL可以产生一个家庭的行为，从风险中性到风险厌恶，并优于国家的最先进的模仿学习算法时，从模糊的示范对冲不确定性，而不是寻求唯一识别演示的奖励功能。
2021-06-21 cs.AI cs.LG
Bayesian Inference of Contextual Bandit Policies via Empirical Likelihood
School of Mathematics and Statistics University of Melbourne（数学与统计学学院墨尔本大学）
本文提出了一种基于经验似然的贝叶斯推断方法，用于在有限样本条件下对多个上下文老虎机策略进行联合分析，实现了对策略比较的灵活推断和不确定性量化。
2026-02-11 cs.LG stat.ML
Model-Augmented Actor-Critic: Backpropagating through Paths
University of California, Berkeley（加州大学伯克利分校）
当前基于基于模型的强化学习方法将模型简单地用作学习的黑盒模拟器，以增加用于策略优化或价值函数学习的数据。在本文中，我们展示了如何更有效地利用模型，利用其可微性。我们构建了一个策略优化算法，该算法使用学习模型和策略在未来时间步的路径导数。通过使用终端价值函数，以行动者-批评者的方式学习策略，防止了在许多时间步长上学习的不稳定性。此外，我们根据模型和价值函数中的梯度误差推导了目标的单调改进。我们表明，我们的方法（i）始终比现有的最先进的基于模型的算法更有效的样本，（ii）与无模型算法的渐近性能相匹配，（iii）扩展到长期视野，通常过去基于模型的方法一直在努力的制度。
2020-05-16 cs.AI cs.LG stat.ML
Constrained Flow Policy Updates: A Generalized Schrödinger Bridge View
针对在线安全强化学习中多模态动作分布与原始-对偶方法不稳定的问题，提出基于广义薛定谔桥的流策略更新方法RAFALE，直接微分增广目标并采用无密度动能正则化，在七个Safety-Gymnasium任务上实现奖励与安全约束的平衡。
2026-09-29 cs.LG cs.RO
Policy Optimization in Dynamic Bayesian Network Hybrid Models of Biomanufacturing Processes
Northeastern University（东北大学）；University of Maryland（马里兰大学）；University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校）
生物制药制造业是一个快速增长的行业，几乎影响到所有的医药分支。生物制造过程需要密切监测和控制，在存在复杂的生物过程动态与许多相互依赖的因素，以及由于实验成本高以及个性化生物药物的新颖性而导致的数据极其有限的情况下。我们开发了一种新的基于基于模型的强化学习框架，可以在低数据环境中实现人类级别的控制。该模型使用动态贝叶斯网络来捕获因素之间的因果关系，并预测不同输入的影响如何通过生物过程机制的途径传播。这使得过程控制策略的设计既可解释又能抵御模型风险。我们提出了一个计算效率高，可证明收敛的随机梯度法优化这些政策。验证是在一个现实的应用程序与多维，连续的状态变量。
2022-07-24 cs.AI cs.LG
Sequential Bayesian Optimal Experimental Design in Infinite Dimensions via Policy Gradient Reinforcement Learning
School of Mathematics, Georgia Institute of Technology（数学系，佐治亚理工学院）；School of Computational Science and Engineering, Georgia Institute of Technology（计算科学与工程系，佐治亚理工学院）
本文提出了一种基于策略梯度强化学习的方法，用于在无限维空间中实现序列贝叶斯最优实验设计，通过维度缩减和神经算子替代模型实现了高效的实验设计策略，显著提升了计算效率和物理可解释性。
2026-01-09 cs.LG math.OC
Imagination-Augmented Agents for Deep Reinforcement Learning
DeepMind
我们引入了想象增强代理（I2As），这是一种结合了无模型和基于模型方面的深度强化学习的新架构。与大多数现有的基于基于模型的强化学习和规划方法（规定如何使用模型来达成策略）相比，I2A学习解释来自学习环境模型的预测，通过将预测用作深度策略网络中的附加上下文，以任意方式构建隐式计划。与几个基线相比，I2A显示出更高的数据效率、性能和对模型错误指定的鲁棒性。
2018-02-14 cs.AI cs.LG stat.ML
Solving Bayesian inverse problems with diffusion priors and off-policy RL
Mila, Université de Montréal（米拉-蒙特利尔大学）；KAIST（韩国科学技术院）；Jagiellonian University（雅盖隆大学）；Ciela Institute（西拉研究所）；Dreamfold（德雷姆福尔德公司）；Recursion（递归公司）；CIFAR（加拿大高级研究院）；University of Edinburgh（爱丁堡大学）
该研究将离策略 RL 目标 RTB 与扩散先验结合，从无条件预训练模型训练条件后验，并揭示免训练扩散后验方法在潜空间推断中的偏差局限。
2025-03-12 cs.AI cs.LG stat.ML
Imagination-Augmented Hierarchical Reinforcement Learning for Safe and Interactive Autonomous Driving in Urban Environments
Seoul National University（首尔大学）
本文提出想象力增强型分层强化学习（IAHRL），通过低层策略想象安全行为、高层策略推断交互并引入排列不变注意力机制，在五个复杂城市驾驶任务中实现了更高的成功率和更低的平均回合步数。
2024-01-23 cs.LG cs.RO
Bayesian Sequential Optimal Experimental Design for Nonlinear Models Using Policy Gradient Reinforcement Learning
University of Michigan（密歇根大学）
本文提出一种基于POMDP和策略梯度强化学习的贝叶斯序贯最优实验设计（sOED）框架，利用深度神经网络和演员-评论家方法求解最优设计策略，并在基准和污染源反演问题中验证了其优于批量和贪婪设计的性能。
2022-03-20 cs.LG stat.CO stat.ME
Continuous-in-time Limit for Bayesian Bandits
University of California-San Diego（加州大学圣地亚哥分校）；Stanford University（斯坦福大学）
该研究针对贝叶斯老虎机最优策略计算难的问题，推导其重标度后收敛于连续HJB方程，基于显式解或数值法提出大时域下的近似贝叶斯最优策略，且计算成本不随时域增长。
2023-09-30 cs.LG cs.NA math.NA
Risk-Sensitive Bayesian Games for Multi-Agent Reinforcement Learning under Policy Uncertainty
Zenseact AB（Zenseact公司）；University of Oslo（奥斯陆大学）
在不完全信息的随机博弈中，不确定性是由于缺乏对参与者自身和其他参与者类型（即效用函数和策略空间）的了解，以及不同参与者之间相互作用的内在随机性引起的。在现有的文献中，随机博弈中的风险已被研究的内在不确定性引起的变化的过渡和行动。在这项工作中，我们重点关注与\textit{uncertainty over types}相关的风险。我们将此与多智能体强化学习框架进行对比，在该框架中，其他智能体具有固定的静态策略，并由于其他智能体的自适应策略的不确定性而调查风险敏感性。我们提出了风险敏感版本的现有算法提出的风险中性的随机游戏，如迭代最佳响应（IBR），虚拟播放（FP）和一般的多目标梯度方法，使用双上升（DAPG）。我们的实验分析表明，风险敏感的DAPG比竞争算法的社会福利和一般和随机游戏。
2022-03-18 cs.LG cs.MA
Variational Bayesian Optimistic Sampling
DeepMind
我们考虑在线顺序决策问题，代理必须平衡探索和利用。我们推导出一组贝叶斯“乐观”的政策，其中，在随机多臂土匪的情况下，包括汤普森抽样政策。我们提供了一个新的分析表明，任何算法产生的政策，在乐观的设置享受$\tilde O(\sqrt{AT})$贝叶斯遗憾的问题与$A$行动后，$T$轮。我们扩展的遗憾分析的乐观政策的双线性鞍点问题，其中包括零和矩阵游戏和约束土匪作为特殊情况。在这种情况下，我们表明，汤普森抽样可以产生的乐观集之外的政策，并在某些情况下遭受线性遗憾。在乐观集内找到一个策略相当于解决一个凸优化问题，我们称之为变分贝叶斯乐观采样算法（VBOS）。该过程适用于任何后验，\ie，它不需要后验具有任何特殊属性，如对数，单峰，或光滑。问题的变分视图具有许多有用的属性，包括调整探索-开发权衡、添加正则化、合并约束和线性参数化策略的能力。
2021-10-29 cs.LG stat.ML
Multi-Stage Manipulation with Demonstration-Augmented Reward, Policy, and World Model Learning
University of California San Diego（加州大学圣迭戈分校）；ETH Zürich, Switzerland（苏黎世联邦理工学院）
针对机器人长时域操作任务强化学习探索难、缺密集奖励的问题，提出DEMO3演示增强框架，整合多阶段奖励学习、双阶段训练与世界模型，在16项稀疏奖励任务上平均提升40%数据效率，高难任务提升70%。
2025-06-23 cs.CV cs.LG cs.RO
Robust Bayesian Dynamic Programming for On-policy Risk-sensitive Reinforcement Learning
Peking University（北京大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
本文提出了一种鲁棒贝叶斯动态规划框架，用于风险敏感强化学习，结合了对转移不确定性的鲁棒性，并通过实验验证了其在风险敏感性和鲁棒性方面的优势。
2025-12-31 cs.LG q-fin.RM
Bayesian policy selection using active inference
Ghent University - imec（根特大学-imec）
学习根据观察采取行动是人工智能体能够成功和强大地完成任务的核心要求。强化学习（RL）是用于学习此类策略的众所周知的技术。然而，目前的强化学习算法通常必须处理奖励塑造，难以推广到其他环境，并且通常样本效率低下。在本文中，我们探讨了主动推理和自由能原理，这是一种来自神经科学的规范理论，它解释了自组织生物系统如何通过维护世界模型和将动作选择作为推理问题来运行。我们将这个概念应用到RL社区已知的一个典型问题，山地车问题，并展示了主动推理如何包括RL和示教学习。
2019-04-25 cs.AI cs.LG cs.NE
State Augmented Constrained Reinforcement Learning: Overcoming the Limitations of Learning with Rewards
Universitat Pompeu Fabra（庞培法布拉大学）；Rensselaer Polytechnic Institute（伦斯勒理工学院）；University of Stuttgart（斯图加特大学）；University of Pennsylvania（宾夕法尼亚大学）
本文针对约束强化学习中奖励线性组合无法诱导最优策略的问题，提出用拉格朗日乘子增广状态并将原始-对偶方法重新解释为乘子演化动力学，从而保证求解带约束的强化学习问题。
2023-09-21 cs.LG cs.RO math.OC
Augmented Random Search for Quadcopter Control: An alternative to Reinforcement Learning
Oracle Inc（甲骨文公司）；BMSCE（BMS工程学院）
基于模型的强化学习策略被认为比无模型策略表现出更显著的样本复杂性来控制动态系统，如四轴飞行器。这种信念，即基于模型的战略，涉及使用训练有素的神经网络，使这种高层次的决策总是提供更好的性能，可以消除利用无模型的政策搜索方法。本文提出了使用模型-自由随机搜索策略，称为增强随机搜索（ARS），这是一种更好、更快的线性策略训练方法，适用于连续控制任务，如控制四轴飞行器飞行。该方法实现了艺术的准确性，通过消除使用太多的数据的神经网络的训练，目前在以前的方法的任务四轴飞行器控制。本文还在一个策略性设计的任务环境中，通过仿真，重点分析了搜索策略在该任务中的性能结果，并将增强随机搜索的1000集以上奖励收集性能和飞行中的代理行为与强化学习算法的行为进行了比较，我们的模拟和结果表明，在这些任务的样本效率的常用策略中观察到性能的高度可变性，但ARS的构建策略网络-Quad可以相对准确地对阶跃响应做出反应，为强化学习策略提供了一种性能更好的替代方案。
2019-11-28 cs.AI cs.LG cs.RO
The Non-Bayesian Restless Multi-Armed Bandit: A Case of Near-Logarithmic Strict Regret
Department of Aeronautics；Astronautics Massachusetts Institute of Technology, Cambridge, MA 02139, USA Ming Hsieh Department of Electrical Engineering University of Southern California, Los Angeles, CA 90089, USA Department of Electrical；Computer Engineering University of California, Davis, CA 95616, USA Email
针对非贝叶斯不安分多臂老虎机问题，提出一种元策略方法，通过学习有限策略集中的最优策略，实现近对数遗憾，并首次在非贝叶斯RMAB中达到与已知模型最优策略相同的平均奖励。
2011-09-07 cs.LG cs.NI cs.SY
Towards Robust On-Ramp Merging via Augmented Multimodal Reinforcement Learning
Michigan Technological University（密歇根理工大学）；University of Science and Technology of China（中国科学技术大学）
尽管人工智能车载感知取得了成功，但入口匝道合并一直是自动驾驶面临的主要挑战之一。由于车载传感器的感知范围有限，并道车辆很难观察到主干道的路况并道。通过利用联网车辆和自动驾驶车辆（CAV）之间的无线通信，合并CAV有可能主动获取附近车辆的意图。然而，CAV可能容易出现不准确的观测，例如嘈杂的基本安全信息（BSM）和质量差的监视图像。在本文中，我们提出了一种新的方法，通过增强和多模态强化学习，命名为RAMRL的CAV的鲁棒入口匝道合并。具体来说，我们制定了一个马尔可夫决策过程（MDP）的入口匝道合并问题，考虑到驾驶安全，舒适的驾驶行为，和交通效率。为了提供可靠的合并操作，我们同时利用BSM和监控图像进行多模态观察，用于通过近端策略优化（PPO）学习策略模型。此外，为了提高数据效率并提供更好的泛化性能，我们训练增强数据（例如，噪声BSM和噪声监视图像）。在两种典型的合流场景下，利用城市移动性仿真平台（SUMO）进行了大量的实验。实验结果表明，我们的鲁棒入口匝道合并设计的有效性和效率。
2022-07-21 cs.AI cs.LG cs.RO
An Offline Risk-aware Policy Selection Method for Bayesian Markov Decision Processes
Natural Intelligence Toulouse Institute, University of Toulouse, France（图卢兹大学自然智能研究所）；ISAE-SUPAERO, University of Toulouse, France（图卢兹大学ISAE-SUPAERO）
针对离线强化学习中模型不确定性导致策略风险高的问题，提出一种基于贝叶斯形式化框架的风险感知策略选择方法EvC，通过最大化贝叶斯后验下的风险感知目标来选择稳健策略。
2023-04-11 cs.AI cs.LG cs.SY
Safeguarded Progress in Reinforcement Learning: Safe Bayesian Exploration for Control Policy Synthesis
University of Oxford（牛津大学）
针对强化学习训练中安全约束与探索效率的平衡问题，提出基于贝叶斯推理更新环境转移概率模型、近似风险信念矩并推导风险置信界的安全探索架构，可与强化学习结合且经实验验证有效。
2023-12-18 cs.LG cs.LO cs.SY
Learning-Augmented Ski Rental with Discrete Distributions: A Bayesian Approach
本文提出了一种基于贝叶斯方法的雪具租赁算法，结合离散分布和机器学习预测，实现先验依赖的竞争保证和鲁棒性，适用于多种预测场景。
2025-12-08 cs.DS cs.LG
MetaAugment: Sample-Aware Data Augmentation Policy Learning
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
自动数据增强在图像识别中表现出优越的性能。现有的作品搜索的小规模的增强政策，而不考虑个别样本的变化，这可能是次优的。另一方面，对不同的样本采用不同的策略会大大增加计算成本。在本文中，我们学习一个样本感知的数据增强政策有效地制定它作为一个样本重新加权问题。具体地，增强策略网络将变换和对应的增强图像作为输入，并且输出权重以调整由任务网络计算的增强图像损失。在训练阶段，任务网络最小化增强训练图像的加权损失，而策略网络通过元学习最小化任务网络在验证集上的损失。我们从理论上证明了训练过程的收敛性，并进一步推导出精确的收敛速度。在广泛使用的基准测试中实现了卓越的性能，包括CIFAR-10/100，Omniglot和ImageNet。
2020-12-22 cs.LG
Elicitation-Augmented Bayesian Optimization
Aalto University（阿尔托大学）；University of Helsinki（赫尔辛基大学）；University of Manchester（曼彻斯特大学）
本文提出一种结合直接观测与成对比较的贝叶斯优化方法，通过 elicitation 专家知识提升样本效率，平衡直接观测与成对查询的代价。
2026-05-12 cs.LG
