Benchmarking Batch Deep Reinforcement Learning Algorithms
Mila, McGill University（麦吉尔大学米拉研究所）；Facebook（脸书）；Facebook AI Research（脸书人工智能研究院）
广泛使用的深度强化学习算法已被证明在批量设置中失败-从固定的数据集学习而不与环境交互。根据这一结果，有几篇论文显示了在各种环境和批次设置下的合理性能。在本文中，我们在Atari域的统一设置下对最近的离线策略和批量强化学习算法的性能进行了基准测试，数据由单个部分训练的行为策略生成。我们发现，在这些条件下，这些算法中的许多算法的性能低于使用相同数量的数据在线训练的DQN，以及部分训练的行为策略。为了引入一个强大的基线，我们将批量约束Q-学习算法适应于离散动作设置，并显示它在此任务中优于所有现有算法。
2019-10-03 cs.AI cs.LG stat.ML
RL-Based Method for Benchmarking the Adversarial Resilience and Robustness of Deep Reinforcement Learning Policies
Kansas State University（堪萨斯州立大学）
本文提出区分DRL智能体漏洞来源的方法，并开发两种基于RL的定量基准测试技术，以评估DRL策略在状态转换扰动下的对抗韧性与鲁棒性，并在Cartpole环境中验证了其可行性。
2019-06-03 cs.AI cs.CR cs.LG
Benchmarking Lane-changing Decision-making for Deep Reinforcement Learning
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
近年来，自动驾驶的发展引起了广泛的关注，对自动驾驶的性能进行评估至关重要。然而，在道路上测试是昂贵和低效的。虚拟测试是验证自动驾驶汽车的主要方式，而虚拟测试的基础是构建仿真场景。在本文中，我们从深度强化学习的角度提出了一种用于变道任务的训练、测试和评估管道。首先，我们设计车道变化的情况下进行训练和测试，其中测试场景包括随机和确定性的部分。然后，我们部署了一组基准测试，包括学习和非学习方法。我们在设计的训练场景中训练了几种最先进的深度强化学习方法，并在测试场景中提供了训练模型的基准度量评估结果。所设计的换道场景和基准都是开放的，为换道任务提供了一致的实验环境。
2021-09-22 cs.AI cs.LG
Bayesian Reinforcement Learning in Factored POMDPs
Northeastern University（东北大学）；Delft University of Technology（代尔夫特理工大学）
贝叶斯方法为强化学习中的探索-利用权衡提供了一个原则性的解决方案。然而，典型的方法要么假设一个完全可观察的环境，要么规模很差。这项工作介绍了因子贝叶斯自适应POMDP模型，一个框架，能够利用底层结构，同时学习部分可观测系统的动态。我们还提出了一个信念跟踪方法来近似联合后验状态和模型变量，和适应的蒙特卡罗树搜索解决方案的方法，这两者一起能够解决潜在的问题接近最优。我们的方法能够有效地学习给定的因子分解，或者同时学习因子分解和模型参数。我们证明，这种方法是能够优于目前的方法和解决问题，以前是不可行的。
2018-11-14 cs.AI
RMBench: Benchmarking Deep Reinforcement Learning for Robotic Manipulator Control
Tsinghua University（清华大学）；University at Buffalo, State University of New York（纽约州立大学布法罗分校）；Carnegie Mellon University（卡内基梅隆大学）；Microsoft Research Asia（微软亚洲研究院）；Chengdu University of Information Technology（成都信息工程大学）
强化学习被应用于解决来自高维、感官输入的实际复杂任务。在过去的十年中，开发了一长串强化学习算法。最近的进展受益于原始感觉信号表示的深度学习。一个问题自然会出现：它们在不同的机器人操作任务中表现如何？基准测试使用客观的性能指标来提供一种科学的方法来比较算法。在本文中，我们提出了RMBench，机器人操作的第一个基准，它具有高维连续的动作和状态空间。我们实现和评估直接使用观察到的像素作为输入的强化学习算法。我们报告他们的平均表现和学习曲线，以显示他们的训练表现和稳定性。我们的研究得出结论，没有一个研究的算法可以很好地处理所有的任务，软演员评论家优于大多数算法的平均奖励和稳定性，和算法结合数据增强可能会促进学习策略。我们的代码在https：//github.com/xiangyanfei212/RMBench-2022上公开，包括所有基准测试任务和研究的算法。
2023-03-07 cs.AI cs.RO
Benchmarking Reinforcement Learning via Stochastic Converse Optimality: Generating Systems with Known Optimal Policies
Skolkovo Institute of Science and Technology（斯克尔科沃科学与技术研究所）；Innopolis University（因纳波利斯大学）；Technische Universität Chemnitz（化学工业大学）；Central University（中央大学）；Sirius University of Science and Technology（西里乌斯科学与技术大学）
本文提出一种通过逆优化性评估强化学习算法的框架，通过生成具有已知最优策略的系统，实现对算法性能的系统性评估。
2026-03-18 cs.AI cs.LG cs.SY
Benchmarking Deep Reinforcement Learning for Continuous Control
University of California, Berkeley（加州大学伯克利分校）；Ghent University（根特大学）；OpenAI
最近，研究人员已经取得了重大进展，将深度学习的进步与强化学习相结合，用于学习特征表示。一些值得注意的例子包括训练代理基于原始像素数据玩Atari游戏，并使用原始感官输入获得高级操作技能。然而，由于缺乏一个共同采用的基准，难以量化持续控制领域的进展。在这项工作中，我们提出了一个基准套件的连续控制任务，包括经典的任务，如车杆摆动，具有非常高的状态和动作维度的任务，如3D人形运动，任务与部分观察，任务与层次结构。我们报告了新的发现的基础上，一系列的实施强化学习算法的系统评估。基准和参考实现都在https://github.com/rllab/rllab上发布，以促进实验的可重复性，并鼓励其他研究人员采用。
2016-05-27 cs.AI cs.LG cs.RO
Benchmarking Safe Deep Reinforcement Learning in Aquatic Navigation
University of Verona（维罗纳大学）
我们提出了一个新的基准环境安全强化学习专注于水上导航。由于机器人平台的非静止环境和不确定性，水上导航是一项极具挑战性的任务，因此通过分析训练网络的行为以避免危险情况（例如，碰撞）。为此，我们考虑了基于值和策略梯度的深度强化学习（DRL），并提出了一种基于交叉的策略，该策略结合了基于梯度和无梯度的DRL以提高样本效率。此外，我们提出了一种基于区间分析的验证策略，该策略检查训练模型在一组所需属性上的行为。我们的结果表明，基于交叉的训练优于以前的DRL方法，而我们的验证允许我们量化违反属性所描述的行为的配置数量。至关重要的是，这将成为未来在这一领域的应用研究的基准。
2021-12-16 cs.AI cs.LG cs.RO
$\mathbf{(N,K)}$-Puzzle: A Cost-Efficient Testbed for Benchmarking Reinforcement Learning Algorithms in Generative Language Model
ByteDance, Inc.（字节跳动公司）；University of Washington（华盛顿大学）
针对生成式语言模型强化学习算法缺乏低成本标准化测试基准的问题，研究者提出泛化的$(N,K)$-Puzzle测试平台，并验证了PPO、IPO、DPO等多种强化学习算法的效果。
2024-03-11 cs.AI cs.CL cs.LG
Benchmarking Quality-Diversity Algorithms on Neuroevolution for Reinforcement Learning
Imperial College London（伦敦帝国理工学院）
我们为机器人控制的强化学习领域的深度神经进化提出了一个质量多样性基准套件。该套件包括任务、环境、行为描述符和适应性的定义。我们根据任务和由深度神经网络控制的代理的复杂性指定不同的基准。该基准使用标准的质量多样性指标，包括覆盖率，QD得分，最大适应度和存档配置文件指标来量化覆盖率和适应度之间的关系。我们还提出了如何量化的鲁棒性的解决方案，环境随机性，通过引入相同的指标的校正版本。我们相信，我们的基准是一个宝贵的工具，为社会比较和改善他们的调查结果。源代码可在线获取：https://github.com/adaptive-intelligent-robotics/QDax
2022-11-04 cs.AI cs.LG cs.NE
RL2Grid: Benchmarking Reinforcement Learning in Power Grid Operations
Massachusetts Institute of Technology（麻省理工学院）；RTE France（法国电网公司）；Georgia Institute of Technology（佐治亚理工学院）；National Grid ESO（国家电网电力系统运营公司）；Hertz（50赫兹研究所）；University of Edinburgh（爱丁堡大学）
RL2Grid是与电力运营商合作构建的强化学习基准，标准化任务与奖励以评估算法，并整合安全约束，旨在推动电网控制中RL方法的发展。
2025-06-20 cs.AI cs.LG
POPGym: Benchmarking Partially Observable Reinforcement Learning
强化学习（RL）的现实应用通常是部分可观察的，因此需要记忆。尽管如此，部分可观察性仍然在很大程度上被当代RL基准和库所忽视。我们介绍了部分可观察过程Gym（POPGym），这是一个由两部分组成的库，包含（1）15个部分可观察环境的不同集合，每个环境都有多个困难，以及（2）13个内存模型基线的实现-在单个RL库中最多。现有的部分可观察基准往往专注于3D视觉导航，这是计算昂贵，只有一种类型的POMDP。相比之下，POPGym环境是多样化的，产生更小的观察结果，使用更少的内存，并且通常在消费级GPU上训练两小时内收敛。我们在流行的RLlib框架之上实现了高级内存API和内存基线，为各种训练算法、探索策略和分布式训练范式提供了即插即用的兼容性。使用POPGym，我们执行了迄今为止最大的RL内存模型比较。POPGym可在https://github.com/proroklab/popgym上获得。
2023-03-03 cs.AI cs.LG cs.RO
Benchmarking the Limits of In-Context Reinforcement Learning for Ad-Hoc Teamwork
C$^{2}$DL, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所C²DL实验室）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；School of Future Technology, University of Chinese Academy of Sciences（中国科学院大学未来技术学院）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究所）；Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系）；University of Science and Technology of China（中国科学技术大学）；Qwen Team, Alibaba Group（阿里集团Qwen团队）
提出ICRL4AHT基准，基于Overcooked-V2评估上下文强化学习在临时团队协作中的表现，发现算法在未见队友和布局下常不如随机基线，凸显多智能体环境下的适应挑战。
2026-10-20 cs.AI
Benchmarking Model-Based Reinforcement Learning
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；UC Berkeley（加州大学伯克利分校）
基于模型的强化学习（MBRL）被广泛认为具有比无模型RL更有效的样本效率。然而，基于模型的强化学习的研究还不是很标准化。作者在自行设计的环境中进行实验是相当常见的，并且有几个独立的研究路线，有时是封闭源代码或不可复制的。因此，这是一个悬而未决的问题，这些各种现有的MBRL算法如何执行相对于彼此。为了方便MBRL的研究，在本文中，我们收集了广泛的MBRL算法，并提出了超过18个专门为MBRL设计的基准测试环境。我们基准这些算法与统一的问题设置，包括嘈杂的环境。除了编目性能之外，我们还探索和统一了MBRL算法之间的基本算法差异。我们描述了未来MBRL研究的三个关键研究挑战：动力学瓶颈，规划视野困境和提前终止困境。最后，为了最大限度地促进未来对MBRL的研究，我们在http://www.cs.toronto.edu/~tingwuwang/mbrl.html上开源了我们的基准。
2019-07-03 cs.AI cs.LG cs.RO
Complexity of stochastic branch and bound methods for belief tree search in Bayesian reinforcement learning
最近有很多关于强化学习的贝叶斯方法的工作，表现出接近最佳的在线性能。这些方法面临的主要障碍是，在大多数感兴趣的问题中，最优解涉及在无限大的树中进行规划。然而，可以获得每个树节点的值的随机上下界。这使我们能够使用随机分支定界算法来有效地搜索树。本文提出了两个这样的算法，并在这种情况下，他们的复杂性。
2009-12-26 cs.AI cs.LG
Gym4ReaL: A Suite for Benchmarking Real-World Reinforcement Learning
Politecnico di Milano（米兰理工大学）
本文提出Gym4ReaL基准套件，通过包含大规模状态-动作空间、非平稳性和部分可观测性等真实世界挑战的多样化任务，评估标准RL算法相对规则基准的竞争力，以推动面向真实场景的RL方法发展。
2025-06-30 cs.AI cs.LG
Synthesizing Safe Policies under Probabilistic Constraints with Reinforcement Learning and Bayesian Model Checking
我们建议利用认知不确定性的约束满足的强化学习器在安全关键领域。我们介绍了一个框架规范的要求，强化学习器在约束设置，包括对结果的信心。我们表明，代理的信心在约束满足提供了一个有用的信号，在学习过程中的平衡优化和安全。
2021-02-06 cs.AI cs.NE cs.SE
A Hierarchical Bayesian Approach to Inverse Reinforcement Learning with Symbolic Reward Machines
Boston University（波士顿大学）
在强化学习（RL）问题中，错误的奖励会降低样本效率并导致不期望的行为。我们提出了符号奖励机，将高层次的任务知识时，指定的奖励信号。符号奖励机通过允许转换携带谓词和符号奖励输出来增强现有的奖励机形式。这种形式主义很适合逆强化学习，其中的关键挑战是从一些专家演示中确定符号值的适当分配。我们提出了一个层次贝叶斯方法推断最有可能的任务，使具体化的奖励机可以区分专家演示的轨迹，从其他轨迹具有高精度。实验结果表明，学习奖励机可以显着提高复杂RL任务的训练效率，并在不同的任务环境配置之间具有很好的泛化能力。
2022-04-20 cs.AI cs.LG
BenchRL-QAS: Benchmarking reinforcement learning algorithms for quantum architecture search
该研究提出BenchRL-QAS统一基准，在2至8量子比特的多类变分量子任务及无噪声、含噪声环境下评估9种RL算法，并用加权指标证明RL-QAS不存在普遍最优方法。
2025-09-27 cs.AI cs.LG cs.PF
Bayesian Reinforcement Learning with Limited Cognitive Load
Stanford University（斯坦福大学）；New York University（纽约大学）
本文综述了融合强化学习、贝叶斯决策与率失真理论的容量受限贝叶斯强化学习框架的最新算法与理论成果，并探讨其在认知与行为科学中的应用。
2023-05-05 cs.AI cs.LG
Angrier Birds: Bayesian reinforcement learning
Stanford University（斯坦福大学）
我们训练一个强化学习者来玩简化版的愤怒的小鸟游戏。以类似于可由计算机视觉算法产生的输出的方式向学习者提供游戏状态。我们通过在随机最小二乘值迭代（RLSVI）中进行更系统的探索，提高了具有线性函数近似的常规ε-贪婪Q学习的效率，RLSVI是一种从最优策略的后验分布中对其策略进行采样的算法。随着更大的状态-动作空间，有效的探索变得越来越重要，RLSVI的快速学习证明了这一点。
2016-01-07 cs.AI cs.LG
Benchmarking Partial Observability in Reinforcement Learning with a Suite of Memory-Improvable Domains
针对现有部分可观测强化学习基准覆盖形式单一、无法有效衡量记忆能力的问题，提出基准应具备的两个关键属性，发布开源库POBAX，提供多类代表性可记忆提升的环境及配套工具，助力相关研究。
2025-07-31 cs.AI cs.LG
Benchmarking Deep Reinforcement Learning for Navigation in Denied Sensor Environments
Cranfield University（克兰菲尔德大学）
本文基准测试了多种深度强化学习算法在传感器拒止环境中的导航性能，发现DreamerV3优于PPO等方法，并证明对抗训练可提升拒止环境下的鲁棒性但会牺牲原始环境性能。
2024-10-18 cs.AI cs.LG cs.RO
Combining Bayesian Inference and Reinforcement Learning for Agent Decision Making: A Review
本文综述贝叶斯推断与强化学习的结合，梳理基础及前沿方法、经典组合、性能比较与六类复杂RL问题，为提升智能体决策的数据效率、泛化、可解释性和安全性提供系统框架。
2025-05-12 cs.AI cs.LG
B-Pref: Benchmarking Preference-Based Reinforcement Learning
UC Berkeley（加州大学伯克利分校）
强化学习（RL）需要访问一个奖励函数来激励正确的行为，但众所周知，对于复杂的任务，这些函数很难指定。基于偏好的强化学习提供了一种替代方案：使用教师的偏好而没有预定义的奖励来学习策略，从而克服了与奖励工程相关的问题。然而，由于缺乏普遍采用的基准，很难量化基于偏好的RL的进展。在本文中，我们介绍了B-Pref：一个专门为基于偏好的RL设计的基准。这样一个基准测试的一个关键挑战是提供快速评估候选算法的能力，这使得依赖真实的人类输入进行评估变得非常困难。与此同时，模拟人类输入，为地面真实奖励函数提供完美的偏好是不现实的。B-Pref通过模拟具有各种不合理性的教师来验证这一点，并提出了不仅针对绩效而且针对这些潜在不合理性的鲁棒性的指标。我们展示了B-Pref的实用性，通过使用它来分析算法设计选择，例如选择信息查询，用于最先进的基于偏好的RL算法。我们希望B-Pref可以作为一个共同的出发点，更系统地研究基于偏好的强化学习。源代码可在https://github.com/rll-research/B-Pref上获得。
2021-11-04 cs.AI cs.HC cs.LG
SocialAI: Benchmarking Socio-Cognitive Abilities in Deep Reinforcement Learning Agents
Inria（法国国家信息与自动化研究所）；Microsoft Research（微软研究院）
构建能够参与与人类的社会互动的嵌入式自主智能体是人工智能的主要挑战之一。在深度强化学习（DRL）领域，这一目标激发了多项关于具体语言使用的研究。然而，目前的方法集中在语言作为一种沟通工具，在非常简单和非多样化的社会情况下：语言的“自然性”是减少到高词汇量和可变性的概念。在本文中，我们认为，要实现人类水平的人工智能，需要更广泛的关键社交技能：1）在复杂多变的社会环境中使用语言; 2）在不断发展的社会世界中，在多模态环境中进行复杂的具体沟通。我们解释了认知科学的概念如何帮助人工智能绘制通往类人智能的路线图，重点是其社会维度。作为第一步，我们建议将当前的研究扩展到更广泛的核心社交技能。为此，我们提出了SocialAI，这是一个基准，用于评估DRL代理使用多个网格世界环境获取社交技能，这些环境具有其他（脚本）社交代理。然后，我们研究了最近SOTA DRL方法在SocialAI上测试时的局限性，并讨论了实现熟练社交代理的重要后续步骤。视频和代码可在https://sites.google.com/view/socialai上获得。
2021-09-01 cs.AI cs.CL cs.LG
Bayesian Reinforcement Learning: A Survey
Adobe Research（Adobe研究院）；INRIA（法国国家信息与自动化研究所）；Technion（以色列理工学院）；McGill University（麦吉尔大学）；Berkeley（加州大学伯克利分校）
用于机器学习的贝叶斯方法已经得到了广泛的研究，产生了将先验信息纳入推理算法的原则性方法。在这次调查中，我们提供了一个深入的审查贝叶斯方法的作用的强化学习（RL）的范例。将贝叶斯推理纳入RL的主要动机是：1）它提供了一种优雅的方法来选择动作（探索/利用）作为学习中不确定性的函数; 2）它提供了一种将先验知识纳入算法的机制。我们首先讨论了简单单步Bandit模型中的贝叶斯推理模型和方法。然后，我们回顾了广泛的最近的文献贝叶斯方法基于模型的RL，先验信息可以表示的马尔可夫模型的参数。我们还提出了无模型RL的贝叶斯方法，其中先验表示的价值函数或政策类。本文的目的是提供一个全面的调查贝叶斯RL算法及其理论和经验性质。
2016-09-14 cs.AI cs.LG stat.ML
Evaluating the Robustness of Deep Reinforcement Learning for Autonomous Policies in a Multi-agent Urban Driving Environment
Simula Research Laboratory（西姆拉研究实验室）
深度强化学习被积极用于在模拟驾驶环境中训练自动驾驶汽车策略。由于各种强化学习算法的大量可用性以及缺乏对不同驾驶场景的系统比较，我们不确定哪些算法在单智能体和多智能体驾驶环境中更有效地训练自动驾驶汽车软件。在基于视觉的自动驾驶中比较深度强化学习的基准框架将为训练更好的自动驾驶汽车策略提供可能性。为了应对这些挑战，我们提供了一个开放且可重用的基准测试框架，用于在单智能体和多智能体环境中对自动驾驶的深度强化学习算法进行系统评估和比较分析。使用该框架，我们进行了离散和连续动作空间深度强化学习算法的比较研究。我们还提出了一个综合的多目标奖励函数，用于评估基于深度强化学习的自动驾驶代理。我们在一个只有视觉的高保真城市驾驶模拟环境中进行实验。结果表明，只有一些深度强化学习算法在各种仅多智能体环境设置中训练时，在单智能体和多智能体场景中表现得更好。例如，基于A3C和TD3的自动驾驶汽车在单智能体和多智能体场景中的更稳健的动作和最小的驾驶错误方面表现相对更好。我们的结论是，不同的深度强化学习算法在不同的场景下表现出不同的驱动和测试性能，这强调了对其进行系统比较分析的必要性。本文提出的基准框架有利于这种比较。
2023-03-23 cs.AI cs.LG cs.MA
Benchmarking Reinforcement Learning Algorithms on Real-World Robots
通过最近在仿真方面的许多成功，无模型强化学习已经成为解决连续控制机器人任务的一种有前途的方法。由于学习算法和模拟基准任务的开源实现，研究社区现在能够快速地再现、分析和构建这些结果。为了将这些成功推广到现实世界的应用中，关键是要保留无法转移到现实世界的模拟的独特优势，并直接使用物理机器人进行实验。然而，由于缺乏基准任务和支持源代码，使用物理机器人的强化学习研究面临着巨大的阻力。在这项工作中，我们介绍了几个强化学习任务与多个商用机器人，目前不同程度的学习难度，设置和可重复性。在这些任务中，我们测试了四种强化学习算法的现成实现的学习性能，并分析了它们对超参数的敏感性，以确定它们是否适合应用于各种现实任务。我们的研究结果表明，通过仔细设置任务界面和计算，其中一些实现可以很容易地适用于物理机器人。我们发现，国家的最先进的学习算法是高度敏感的超参数和它们的相对顺序不跨任务转移，表明重新调整他们为每个任务的最佳性能的必要性。另一方面，即使使用不同的机器人，一项任务的最佳超参数配置通常也可能会导致对已完成任务的有效学习，从而提供合理的默认值。我们公开了基准任务，以提高现实世界强化学习的可重复性。
2018-09-20 cs.AI cs.LG cs.RO
Benchmarking Reinforcement Learning Techniques for Autonomous Navigation
University of Texas at Austin（德克萨斯大学奥斯汀分校）；George Mason University（乔治梅森大学）；Everyday Robots（日常机器人公司）；Sony AI（索尼人工智能）
本文针对自主导航深度强化学习缺乏开源基准和可复现方法的问题，提出了四个主要期望，并评估了记忆架构、安全RL、基于模型RL和域随机化四类技术在开源基准和真实环境中的表现。
2023-06-27 cs.AI cs.RO
Designing Biological Sequences via Meta-Reinforcement Learning and Bayesian Optimization
Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）
加速生物序列设计的能力可以对医学领域的进步产生重大影响。该问题可以被构造为全局优化问题，其中目标是昂贵的黑盒函数，使得我们可以查询受限于低轮数限制的大批量。贝叶斯优化是解决这个问题的一种原则性方法。然而，生物序列的天文数字般大的状态空间使得暴力迭代所有可能的序列是不可行的。在本文中，我们提出MetaRLBO，其中我们通过Meta-强化学习训练自回归生成模型，以通过贝叶斯优化提出有希望的序列进行选择。我们提出这个问题，找到一个最佳的政策，在分布的MDP引起的采样子集的数据采集在前几轮。我们的计算机模拟实验表明，这种集成的元学习提供了对奖励错误指定的鲁棒性，并实现了与现有强基线相比具有竞争力的结果。
2022-09-13 cs.AI cs.LG
Variance-Based Rewards for Approximate Bayesian Reinforcement Learning
University of Michigan（密歇根大学）
探索-利用困境是强化学习（RL）的核心挑战之一。贝叶斯强化学习通过以环境先验分布的形式为智能体提供信息来解决这个难题;然而，完全贝叶斯规划是棘手的。使用平均MDP进行规划是贝叶斯规划的一种常见近视近似。我们推导出一种新的奖励奖金，这是一个功能的后验分布的环境，当添加到奖励计划与平均MDP，结果在一个代理，有效地探索。虽然我们的方法是类似于现有的方法，当给定一个无信息或非结构化的先验，与现有的方法不同，我们的方法可以利用结构化的先验。我们证明了我们的方法导致多项式样本的复杂性，并实证证明了其在结构化探索任务中的优势。
2012-03-15 cs.AI cs.LG stat.ML
Bayesian Reinforcement Learning via Deep, Sparse Sampling
Chalmers University of Technology（查尔姆斯理工大学）；University of Oslo（奥斯陆大学）
我们使用有效的基于模型的在线规划解决贝叶斯强化学习的问题。我们提出了一个无乐观的贝叶斯自适应算法，以诱导更深，更稀疏的探索与理论界的性能相对于贝叶斯最优策略，具有较低的计算复杂性。主要的新颖性是使用候选策略生成器，在规划树中生成长期选项（超过信念），这使我们能够创建更稀疏和更深的树。在不同环境下的实验结果表明，与现有算法相比，该算法不仅在计算效率上更高，而且在离散环境下获得了更高的回报.
2020-06-27 cs.AI cs.LG stat.ML
Controlgym: Large-Scale Control Environments for Benchmarking Reinforcement Learning Algorithms
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Mitsubishi Electric Research Laboratories（三菱电机研发实验室）
本文提出controlgym库，包含36个工业控制设置和10个基于无限维偏微分方程的控制问题，集成于Gym框架以支持标准强化学习算法，旨在评估算法在高维及无限维系统中的可扩展性、收敛性及鲁棒性。
2024-04-23 cs.AI cs.CE cs.LG
ReinBo: Machine Learning pipeline search and configuration with Bayesian Optimization embedded Reinforcement Learning
LMU Munich（慕尼黑大学）
机器学习流水线潜在地由几个操作阶段组成，如数据预处理、特征工程和机器学习模型训练。每个操作都有一组超参数，当操作未被选择时，这些超参数可能与管道无关。这就产生了一个分层的条件超参数空间。为了优化这种混合的连续和离散条件分层超参数空间，我们提出了一种有效的管道搜索和配置算法，该算法结合了强化学习和贝叶斯优化的力量。实验结果表明，我们的方法表现良好的最先进的方法，如自动sklearn，TPOT，树Parzen窗口，随机搜索。
2019-04-10 cs.AI cs.LG stat.ML
A Bayesian Approach to Reinforcement Learning of Vision-Based Vehicular Control
University of Linköping（林雪平大学）
在本文中，我们提出了一个国家的最先进的强化学习方法的自动驾驶。我们的方法采用贝叶斯框架中的时间差学习，从传感器数据中学习车辆控制信号。代理可以访问来自前向摄像机的图像，这些图像被预处理以生成语义分割图。我们使用地面实况和估计的语义分割输入来训练我们的系统。基于我们从大量实验中观察到的结果，我们得出结论，在地面真实输入数据上训练系统会比在估计输入上训练系统产生更好的性能，即使估计输入用于评估。该系统的训练和评估在一个现实的模拟城市环境中使用的CARLA模拟器。该模拟器还包含一个基准，允许与其他系统和方法进行比较。所需的训练时间的系统被证明是较低的性能优于竞争的方法在基准上。
2021-04-08 cs.AI cs.CV
Bayesian Inference with Anchored Ensembles of Neural Networks, and Application to Exploration in Reinforcement Learning
University of Cambridge（剑桥大学）；Alan Turing Institute（艾伦·图灵研究所）；University College London（伦敦大学学院）
使用集成的神经网络（NN）的量化预测的不确定性是广泛的。然而，目前的理由是直观的，而不是分析。这项工作提出了一个小的修改，正常的合奏方法，我们证明允许合奏执行贝叶斯推断，因此收敛到相应的高斯过程的NN的总数，每个的大小，趋于无穷大。这篇工作论文提供了强化学习环境中的早期结果，分析了该技术在小的有限数量集合中的实用性。使用锚定集合产生的不确定性估计来管理探索-利用过程，可以产生更好、更稳定的学习。
2018-07-02 cs.AI cs.LG stat.ML
Bayesian multitask inverse reinforcement learning
EPFL（洛桑联邦理工学院）；Frankfurt Institute for Advanced Studies（法兰克福高等研究院）
我们从多个演示中将逆强化学习的问题推广到多个任务。每一个都可以代表一个试图解决不同任务的专家，或者是试图解决相同任务的不同专家。我们的主要贡献是通过一些结构化的先验知识，将问题正式化为统计偏好诱导，其形式捕捉了我们对不同任务或专家政策相关性的偏见。在这样做时，我们引入了一个先验的政策最优性，这是更自然的指定。我们表明，我们的框架使我们不仅能够有效地从多个专家那里学习，而且还可以有效地区分每个专家的目标。可能的应用包括分析行为实验中受试者的内在动机和从多个教师那里学习。
2011-11-17 cs.AI stat.ML
Deep Bayesian Reinforcement Learning for Spacecraft Proximity Maneuvers and Docking
本文提出一种深度贝叶斯强化学习算法，用于航天器近距离机动与对接，通过将时序差分学习构建为受约束高斯过程回归并整合李雅普诺夫稳定性约束，在气浮试验台上验证了其有效性能。
2024-05-22 cs.AI cs.RO
In-Context Reinforcement Learning through Bayesian Fusion of Context and Value Prior
University of Cambridge（剑桥大学）；Mila - Quebec AI Institute（魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）；McGill University（麦吉尔大学）
SPICE通过贝叶斯融合上下文和价值先验，实现高效适应未见过的环境，减少遗憾并保持鲁棒性。
2026-01-06 cs.AI cs.LG
Robust Bayesian optimization with reinforcement learned acquisition functions
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；Collaborative Innovation Center of Novel Software Technology and Industrialization（新型软件技术与产业化协同创新中心）；State Key Laboratory of Aerodynamics（空气动力学国家重点实验室）
在贝叶斯优化（BO）昂贵的黑盒优化任务，采集功能（AF）指导顺序采样，并发挥了关键作用，有效收敛到更好的最优。流行的AF通常依赖于人工经验，在探索或开发的偏好方面，这会带来计算浪费或陷入局部最优和由此产生的重新优化的风险。为了解决这个问题，提出了数据驱动的AF选择思想，并将顺序AF选择任务进一步形式化为马尔可夫决策过程（MDP），并采用强大的强化学习（RL）技术。该算法从优势BO轨迹中学习合适的AF选择策略，实时的在探测和利用之间取得平衡，称为基于学习辅助的贝叶斯优化（RLABO）。五个基准问题的竞争力和强大的BO评估表明RL的认可的隐式AF选择模式，并暗示该建议的潜在实用性，智能AF选择，以及在昂贵的黑箱问题的有效优化。
2022-10-02 cs.AI cs.LG math.OC
Kernel Density Bayesian Inverse Reinforcement Learning
Stanford University（斯坦福大学）；University of North Carolina（北卡罗来纳大学）；Columbia University（哥伦比亚大学）；Princeton University（普林斯顿大学）；Flatiron Institute（Flatiron研究所）；Gladstone Institutes（Gladstone研究所）
本文提出核密度贝叶斯逆强化学习（KD-BIRL），利用训练任务的已知奖励函数改进似然估计，以在专家演示有限时更快地推断新任务奖励函数，并首次给出贝叶斯IRL后验收敛的理论保证。
2025-07-03 cs.AI cs.LG
Empirical Study of Off-Policy Policy Evaluation for Reinforcement Learning
Caltech（加州理工学院）；Argo AI；UIUC（伊利诺伊大学厄巴纳-香槟分校）
我们为强化学习中的政策外政策评估（OPE）提供了实验基准和实证研究，这是许多安全关键应用中的关键问题。由于越来越多的兴趣部署学习为基础的方法，有一系列的OPE方法的建议，导致需要标准化的实证分析。我们的工作非常注重实验设计的多样性，以实现OPE方法的压力测试。我们提供了一个全面的基准测试套件来研究不同属性对方法性能的相互作用。我们将结果提炼成一套总结的指导方针，供OPE在实践中使用。我们的软件包，加州理工学院的OPE基准套件（COBS），是开源的，我们邀请感兴趣的研究人员进一步为基准作出贡献。
2021-11-27 cs.AI cs.LG cs.RO
Towards Autonomous Reinforcement Learning: Automatic Setting of Hyper-parameters using Bayesian Optimization
Fac. Reg. Villa María - UTN（国立技术大学玛丽亚镇地区学院）；CIT Villa María - CONICET-UNVM（玛丽亚镇科学技术研究中心 - 国家科学技术研究委员会-国立玛丽亚镇大学）；Instituto de Desarrollo y Diseño CONICET-UTN（国家科学技术研究委员会-国立技术大学发展与设计研究所）
随着工业和科学界在文本挖掘、图像识别和自动驾驶汽车等各种任务中使用机器学习的增加，学习算法中超参数的自动设置是实现令人满意的性能的关键因素，而不管用户在技术和方法的内部工作中的专业知识如何。特别地，对于强化学习算法，智能体在不确定环境中学习控制策略的效率在很大程度上取决于用于平衡探索与利用的超参数。在这项工作中，自主学习框架，集成贝叶斯优化与高斯过程回归优化超参数的强化学习算法，提出了。此外，基于带宽的方法，以实现计算成本和降低Q值的不确定性之间的平衡，提出。一个网格世界的例子是用来强调如何超参数配置的学习算法（SARSA）迭代改进的基础上，两个性能函数。
2018-05-12 cs.AI cs.LG
PAC-Bayesian Reinforcement Learning Trains Generalizable Policies
Université Claude Bernard Lyon 1, LIRIS, UMR CNRS 5205, France（里尔一大学，LIRIS，法国CNRS 5205）
提出一种新的 PAC-Bayesian 泛化界，通过链的混合时间显式考虑数据中的马尔可夫依赖性，并基于此设计 PB-SAC 算法以优化该界指导探索，在连续控制任务中提供有意义的置信度证书且保持竞争性能。
2026-05-28 cs.AI cs.LG stat.ML
A Greedy Approximation of Bayesian Reinforcement Learning with Probably Optimistic Transition Model
贝叶斯强化学习（RL）不仅能够整合领域知识，而且能够以自然的方式解决探索-利用困境。由于贝叶斯强化学习是棘手的，除了特殊情况下，以前的工作提出了几个近似方法。然而，这些方法通常对参数值过于敏感，并且在许多应用中几乎不可能找到可接受的参数设置。在本文中，我们提出了一个新的算法，Greatest近似贝叶斯RL实现参数空间中的鲁棒性。我们表明，对于所需的学习行为，我们提出的算法具有多项式样本的复杂性，低于现有的算法。我们还表明，该算法自然优于其他现有的算法时，先验分布没有显着误导。另一方面，该算法不能处理严重错误的先验知识，以及其他算法可以。这是一个自然的结果，事实上，该算法是贪婪的比其他算法。因此，我们讨论了一种方法来选择一个合适的算法为不同的任务的基础上的算法的贪婪。我们还介绍了一种新的方法来简化贝叶斯规划，在此基础上，未来的工作将能够得到新的算法。
2013-06-13 cs.AI cs.LG stat.ML
Bayesian Soft Actor-Critic: A Directed Acyclic Strategy Graph Based Deep Reinforcement Learning
University of Georgia（佐治亚大学）
本文提出基于贝叶斯链式的有向无环策略图分解方法，并与 SAC 结合构建 BSAC，以提升资源受限智能体在复杂环境中的连续控制训练效率。
2023-12-04 cs.AI cs.LG cs.RO
Infra-Bayesian Reinforcement Learning Agents Outperform Classical RL For Worst-Case Robustness
Purdue University（普渡大学）；Carnegie Mellon University（卡内基梅隆大学）；WorldQuant University（WorldQuant大学）；UC Berkeley（加州大学伯克利分校）；Aix-Marseille University（阿维尼翁-马赛大学）；MIT（麻省理工学院）；University of Zurich（苏黎世大学）；University of British Columbia（不列颠哥伦比亚大学）；University of Stuttgart（斯图加特大学）；University of Buenos Aires（布宜诺斯艾利斯大学）；California State University, Fresno（弗雷斯诺加州州立大学）；University of Chicago（芝加哥大学）
针对经典强化学习在模型误设和策略依赖不确定性下的失败，提出 Infra-Bayesian 框架，通过区分概率不确定性和 Knightian 不确定性并采用最坏情况决策，在有限状态无状态决策问题中实现更低的最坏情况遗憾。
2026-08-12 cs.AI cs.LG
Lifelong Incremental Reinforcement Learning with Online Bayesian Inference
Nanjing University（南京大学）；University of New South Wales（新南威尔士大学）
一个长寿的强化学习（RL）代理的核心能力是随着环境的变化逐渐适应其行为，并逐渐建立在以前的经验，以促进未来的学习在现实世界的场景。在本文中，我们提出了终身增量强化学习（LLIRL），一个新的增量算法，有效的终身适应动态环境。我们开发和维护一个包含参数化环境模型的无限混合的库，这相当于在潜在空间中聚类环境参数。混合物上的先验分布被公式化为中国餐馆过程（CRP），该过程在没有任何外部信息的情况下增量地实例化新的环境模型以提前发出环境变化的信号。在终身学习过程中，我们采用期望最大化（EM）算法与在线贝叶斯推理，以完全增量的方式更新混合物。在EM中，E步骤涉及估计环境到集群分配的后验期望，而M步骤更新环境参数以供将来学习。该方法允许所有环境模型根据需要进行调整，其中新模型针对环境变化进行实例化，并且当再次遇到先前看到的环境时检索旧模型。实验表明，LLIRL优于相关的现有方法，并使有效的增量适应各种动态环境的终身学习。
2021-02-12 cs.AI cs.LG
Regularization Guarantees Generalization in Bayesian Reinforcement Learning through Algorithmic Stability
Technion – Israel Institute of Technology（以色列理工学院）
在贝叶斯强化学习（RL）设置中，假设未知问题参数（奖励和转换）的先验分布，并寻求优化（后验）预期回报的策略。一个常见的近似，最近已被推广为元RL，是训练代理上的样本$N$问题的实例，从以前的，希望对于足够大的$N$，良好的泛化行为，一个看不见的测试实例将获得。在这项工作中，我们研究推广贝叶斯RL下的可能近似正确（PAC）的框架，使用算法稳定性的方法。我们的主要贡献是通过增加正则化，最优策略在适当的意义下变得稳定。文献中的大多数稳定性结果建立在正则化损失的强凸性上-这种方法不适合RL，因为马尔可夫决策过程（MDP）不是凸的。相反，建立在最近的结果的镜像下降在正则化MDPs的快速收敛速度，我们表明，正则化MDPs满足一定的二次增长标准，这是足以建立稳定性。这个结果，这可能是独立的利益，使我们能够研究正则化的效果推广贝叶斯RL设置。
2021-09-24 cs.AI cs.LG stat.ML
Variational Bayesian Reinforcement Learning with Regret Bounds
DeepMind（深度思维）
在强化学习中，Q值总结了智能体将获得的预期未来奖励。然而，他们无法捕捉到这些奖励的认知不确定性。在这项工作中，我们推导出一个新的Bellman算子与相关的不动点，我们称之为“知识值”。这些K值将预期的未来回报和认知的不确定性压缩到一个值中，因此高不确定性、高回报或两者都可以产生高K值。关键原则是赋予代理人一个寻求风险的效用函数，该函数经过精心调整，以平衡探索和开发。当智能体在K值上遵循玻尔兹曼策略时，它会产生$\tilde O(L \sqrt{S A T})$的贝叶斯后悔界，其中$L$是时间范围，$S$是状态总数，$A$是动作数，$T$是经过的时间步数。我们展示了这种方法与强化学习研究中的软最大和最大熵链的深层联系。
2022-12-06 cs.AI cs.LG stat.ML
Improved Bayesian Regret Bounds for Thompson Sampling in Reinforcement Learning
Toyota Motor North America（丰田北美汽车公司）；InfoTech Labs（信息技术实验室）；Purdue University（普渡大学）
本文为强化学习中的汤普森采样证明了多种设置下的首个贝叶斯遗憾界，通过离散替代环境与后验一致性分析获得$\widetilde{O}(H\sqrt{d_{l_1}T})$上界，并给出具体维数界限，部分结果为首次或优于现有最优。
2024-02-06 cs.AI cs.LG stat.ML
Full Bayesian Reinforcement Learning via LF-IBIS
Department of Computer Science, University of Pisa, Italy（比萨大学计算机科学系）；Department of Economics and Statistics, University of Salerno, Italy（萨勒诺大学经济学与统计系）；Department of Statistics, Computer Science, Applications ”G.Parenti”, University of Florence, Italy（佛罗伦萨大学统计学、计算机科学与应用G.Parenti系）
提出LF-IBIS算法，结合近似贝叶斯计算与迭代批量重要性采样，在似然函数不可得时实现强化学习中的全贝叶斯推断，量化策略不确定性以平衡探索-利用。
2026-07-21 cs.AI cs.LG stat.ML
Deep Reinforcement Learning for Equity Trading: Benchmarking Actor-Critic Methods with Forward Retraining
本研究基准测试五种深度强化学习actor-critic方法在股票交易中的表现，发现DDPG收益最高但风险大，TD3和SAC平衡更佳，前向再训练可提升部分方法，并揭示了端到端DRL与预测驱动策略的收益-风险权衡。
2026-09-29 cs.AI cs.CE cs.LG
