A Hierarchical Bayesian Approach to Inverse Reinforcement Learning with Symbolic Reward Machines
Boston University（波士顿大学）
在强化学习（RL）问题中，错误的奖励会降低样本效率并导致不期望的行为。我们提出了符号奖励机，将高层次的任务知识时，指定的奖励信号。符号奖励机通过允许转换携带谓词和符号奖励输出来增强现有的奖励机形式。这种形式主义很适合逆强化学习，其中的关键挑战是从一些专家演示中确定符号值的适当分配。我们提出了一个层次贝叶斯方法推断最有可能的任务，使具体化的奖励机可以区分专家演示的轨迹，从其他轨迹具有高精度。实验结果表明，学习奖励机可以显着提高复杂RL任务的训练效率，并在不同的任务环境配置之间具有很好的泛化能力。
2022-04-20 cs.AI cs.LG
Bayesian Reinforcement Learning with Limited Cognitive Load
Stanford University（斯坦福大学）；New York University（纽约大学）
本文综述了融合强化学习、贝叶斯决策与率失真理论的容量受限贝叶斯强化学习框架的最新算法与理论成果，并探讨其在认知与行为科学中的应用。
2023-05-05 cs.AI cs.LG
Angrier Birds: Bayesian reinforcement learning
Stanford University（斯坦福大学）
我们训练一个强化学习者来玩简化版的愤怒的小鸟游戏。以类似于可由计算机视觉算法产生的输出的方式向学习者提供游戏状态。我们通过在随机最小二乘值迭代（RLSVI）中进行更系统的探索，提高了具有线性函数近似的常规ε-贪婪Q学习的效率，RLSVI是一种从最优策略的后验分布中对其策略进行采样的算法。随着更大的状态-动作空间，有效的探索变得越来越重要，RLSVI的快速学习证明了这一点。
2016-01-07 cs.AI cs.LG
Combining Bayesian Inference and Reinforcement Learning for Agent Decision Making: A Review
本文综述贝叶斯推断与强化学习的结合，梳理基础及前沿方法、经典组合、性能比较与六类复杂RL问题，为提升智能体决策的数据效率、泛化、可解释性和安全性提供系统框架。
2025-05-12 cs.AI cs.LG
Bayesian Reinforcement Learning: A Survey
Adobe Research（Adobe研究院）；INRIA（法国国家信息与自动化研究所）；Technion（以色列理工学院）；McGill University（麦吉尔大学）；Berkeley（加州大学伯克利分校）
用于机器学习的贝叶斯方法已经得到了广泛的研究，产生了将先验信息纳入推理算法的原则性方法。在这次调查中，我们提供了一个深入的审查贝叶斯方法的作用的强化学习（RL）的范例。将贝叶斯推理纳入RL的主要动机是：1）它提供了一种优雅的方法来选择动作（探索/利用）作为学习中不确定性的函数; 2）它提供了一种将先验知识纳入算法的机制。我们首先讨论了简单单步Bandit模型中的贝叶斯推理模型和方法。然后，我们回顾了广泛的最近的文献贝叶斯方法基于模型的RL，先验信息可以表示的马尔可夫模型的参数。我们还提出了无模型RL的贝叶斯方法，其中先验表示的价值函数或政策类。本文的目的是提供一个全面的调查贝叶斯RL算法及其理论和经验性质。
2016-09-14 cs.AI cs.LG stat.ML
Variance-Based Rewards for Approximate Bayesian Reinforcement Learning
University of Michigan（密歇根大学）
探索-利用困境是强化学习（RL）的核心挑战之一。贝叶斯强化学习通过以环境先验分布的形式为智能体提供信息来解决这个难题;然而，完全贝叶斯规划是棘手的。使用平均MDP进行规划是贝叶斯规划的一种常见近视近似。我们推导出一种新的奖励奖金，这是一个功能的后验分布的环境，当添加到奖励计划与平均MDP，结果在一个代理，有效地探索。虽然我们的方法是类似于现有的方法，当给定一个无信息或非结构化的先验，与现有的方法不同，我们的方法可以利用结构化的先验。我们证明了我们的方法导致多项式样本的复杂性，并实证证明了其在结构化探索任务中的优势。
2012-03-15 cs.AI cs.LG stat.ML
Bayesian Reinforcement Learning via Deep, Sparse Sampling
Chalmers University of Technology（查尔姆斯理工大学）；University of Oslo（奥斯陆大学）
我们使用有效的基于模型的在线规划解决贝叶斯强化学习的问题。我们提出了一个无乐观的贝叶斯自适应算法，以诱导更深，更稀疏的探索与理论界的性能相对于贝叶斯最优策略，具有较低的计算复杂性。主要的新颖性是使用候选策略生成器，在规划树中生成长期选项（超过信念），这使我们能够创建更稀疏和更深的树。在不同环境下的实验结果表明，与现有算法相比，该算法不仅在计算效率上更高，而且在离散环境下获得了更高的回报.
2020-06-27 cs.AI cs.LG stat.ML
Designing Biological Sequences via Meta-Reinforcement Learning and Bayesian Optimization
Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）
加速生物序列设计的能力可以对医学领域的进步产生重大影响。该问题可以被构造为全局优化问题，其中目标是昂贵的黑盒函数，使得我们可以查询受限于低轮数限制的大批量。贝叶斯优化是解决这个问题的一种原则性方法。然而，生物序列的天文数字般大的状态空间使得暴力迭代所有可能的序列是不可行的。在本文中，我们提出MetaRLBO，其中我们通过Meta-强化学习训练自回归生成模型，以通过贝叶斯优化提出有希望的序列进行选择。我们提出这个问题，找到一个最佳的政策，在分布的MDP引起的采样子集的数据采集在前几轮。我们的计算机模拟实验表明，这种集成的元学习提供了对奖励错误指定的鲁棒性，并实现了与现有强基线相比具有竞争力的结果。
2022-09-13 cs.AI cs.LG
Structured World Belief for Reinforcement Learning in POMDP
Rutgers University（罗格斯大学）；Electronics and Telecommunications Research Institute（电子与电信研究所）；Rutgers Center for Cognitive Science（罗格斯认知科学中心）
以对象为中心的世界模型提供了场景的结构化表示，并且可以成为强化学习和规划的重要支柱。然而，现有的方法遭受部分可观察的环境中，由于缺乏信念状态。在本文中，我们提出了结构化的世界信念，一个模型的学习和推理的对象为中心的信念状态。通过序贯蒙特卡罗（SMC）推断，我们的信念状态提供了多个以对象为中心的场景假设。为了协同SMC粒子与对象表示的好处，我们还提出了一个新的以对象为中心的动力学模型，认为对象持久性的归纳偏差。这使得即使在对象状态长时间不可见时也能够跟踪对象状态。为了进一步促进在这种制度下的对象跟踪，我们允许我们的模型灵活地参加在以前的模型中受到限制的图像中的任何空间位置。在实验中，我们表明，以对象为中心的信念提供了一个更准确和强大的性能过滤和生成。此外，我们还展示了结构化世界信念在提高强化学习、规划和监督推理性能方面的功效。
2021-07-19 cs.AI cs.LG
Interpretable Preference-based Reinforcement Learning with Tree-Structured Reward Functions
University of Bristol（布里斯托大学）；CortAIx, Thales（泰雷兹公司 CortAIx）
强化学习（RL）提供对齐和性能代理的潜力部分地受到奖励工程问题的影响。启发式试错法的一种替代方法是基于偏好的强化学习（PbRL），其中奖励函数是从稀疏的人类反馈中推断出来的。然而，现有的PbRL方法缺乏学习的奖励结构的可解释性，这妨碍了评估鲁棒性和对齐的能力。我们提出了一个在线的，主动的偏好学习算法，构造奖励函数的本质上可解释的，组成结构的树。使用合成和人工提供的反馈，我们在几种环境中展示了树结构奖励函数的样本有效学习，然后利用增强的可解释性来探索和调试对齐。
2021-12-20 cs.AI cs.LG
ReinBo: Machine Learning pipeline search and configuration with Bayesian Optimization embedded Reinforcement Learning
LMU Munich（慕尼黑大学）
机器学习流水线潜在地由几个操作阶段组成，如数据预处理、特征工程和机器学习模型训练。每个操作都有一组超参数，当操作未被选择时，这些超参数可能与管道无关。这就产生了一个分层的条件超参数空间。为了优化这种混合的连续和离散条件分层超参数空间，我们提出了一种有效的管道搜索和配置算法，该算法结合了强化学习和贝叶斯优化的力量。实验结果表明，我们的方法表现良好的最先进的方法，如自动sklearn，TPOT，树Parzen窗口，随机搜索。
2019-04-10 cs.AI cs.LG stat.ML
A Bayesian Approach to Reinforcement Learning of Vision-Based Vehicular Control
University of Linköping（林雪平大学）
在本文中，我们提出了一个国家的最先进的强化学习方法的自动驾驶。我们的方法采用贝叶斯框架中的时间差学习，从传感器数据中学习车辆控制信号。代理可以访问来自前向摄像机的图像，这些图像被预处理以生成语义分割图。我们使用地面实况和估计的语义分割输入来训练我们的系统。基于我们从大量实验中观察到的结果，我们得出结论，在地面真实输入数据上训练系统会比在估计输入上训练系统产生更好的性能，即使估计输入用于评估。该系统的训练和评估在一个现实的模拟城市环境中使用的CARLA模拟器。该模拟器还包含一个基准，允许与其他系统和方法进行比较。所需的训练时间的系统被证明是较低的性能优于竞争的方法在基准上。
2021-04-08 cs.AI cs.CV
Bayesian Inference with Anchored Ensembles of Neural Networks, and Application to Exploration in Reinforcement Learning
University of Cambridge（剑桥大学）；Alan Turing Institute（艾伦·图灵研究所）；University College London（伦敦大学学院）
使用集成的神经网络（NN）的量化预测的不确定性是广泛的。然而，目前的理由是直观的，而不是分析。这项工作提出了一个小的修改，正常的合奏方法，我们证明允许合奏执行贝叶斯推断，因此收敛到相应的高斯过程的NN的总数，每个的大小，趋于无穷大。这篇工作论文提供了强化学习环境中的早期结果，分析了该技术在小的有限数量集合中的实用性。使用锚定集合产生的不确定性估计来管理探索-利用过程，可以产生更好、更稳定的学习。
2018-07-02 cs.AI cs.LG stat.ML
Bayesian multitask inverse reinforcement learning
EPFL（洛桑联邦理工学院）；Frankfurt Institute for Advanced Studies（法兰克福高等研究院）
我们从多个演示中将逆强化学习的问题推广到多个任务。每一个都可以代表一个试图解决不同任务的专家，或者是试图解决相同任务的不同专家。我们的主要贡献是通过一些结构化的先验知识，将问题正式化为统计偏好诱导，其形式捕捉了我们对不同任务或专家政策相关性的偏见。在这样做时，我们引入了一个先验的政策最优性，这是更自然的指定。我们表明，我们的框架使我们不仅能够有效地从多个专家那里学习，而且还可以有效地区分每个专家的目标。可能的应用包括分析行为实验中受试者的内在动机和从多个教师那里学习。
2011-11-17 cs.AI stat.ML
Deep Bayesian Reinforcement Learning for Spacecraft Proximity Maneuvers and Docking
本文提出一种深度贝叶斯强化学习算法，用于航天器近距离机动与对接，通过将时序差分学习构建为受约束高斯过程回归并整合李雅普诺夫稳定性约束，在气浮试验台上验证了其有效性能。
2024-05-22 cs.AI cs.RO
In-Context Reinforcement Learning through Bayesian Fusion of Context and Value Prior
University of Cambridge（剑桥大学）；Mila - Quebec AI Institute（魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）；McGill University（麦吉尔大学）
SPICE通过贝叶斯融合上下文和价值先验，实现高效适应未见过的环境，减少遗憾并保持鲁棒性。
2026-01-06 cs.AI cs.LG
Robust Bayesian optimization with reinforcement learned acquisition functions
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；Collaborative Innovation Center of Novel Software Technology and Industrialization（新型软件技术与产业化协同创新中心）；State Key Laboratory of Aerodynamics（空气动力学国家重点实验室）
在贝叶斯优化（BO）昂贵的黑盒优化任务，采集功能（AF）指导顺序采样，并发挥了关键作用，有效收敛到更好的最优。流行的AF通常依赖于人工经验，在探索或开发的偏好方面，这会带来计算浪费或陷入局部最优和由此产生的重新优化的风险。为了解决这个问题，提出了数据驱动的AF选择思想，并将顺序AF选择任务进一步形式化为马尔可夫决策过程（MDP），并采用强大的强化学习（RL）技术。该算法从优势BO轨迹中学习合适的AF选择策略，实时的在探测和利用之间取得平衡，称为基于学习辅助的贝叶斯优化（RLABO）。五个基准问题的竞争力和强大的BO评估表明RL的认可的隐式AF选择模式，并暗示该建议的潜在实用性，智能AF选择，以及在昂贵的黑箱问题的有效优化。
2022-10-02 cs.AI cs.LG math.OC
Hierarchically Structured Reinforcement Learning for Topically Coherent Visual Story Generation
Microsoft Research（微软研究院）；University of Florida（佛罗里达大学）；JD AI Research（京东人工智能研究院）
我们提出了一个层次结构的强化学习方法来解决规划的挑战，为视觉讲故事的任务产生连贯的多句故事。在我们的框架内，给定图像序列生成故事的任务被划分为两级分层解码器。高级解码器通过生成语义概念（即，主题）中的每一个图像序列。低级解码器使用语义组成网络为每个图像生成句子，该语义组成网络有效地基于以主题为条件的句子生成。这两个解码器使用强化学习进行端到端联合训练。我们评估我们的模型上的视觉讲故事（VIST）数据集。来自自动和人工评估的实证结果表明，与强平深度强化学习基线相比，所提出的分层结构强化训练实现了显著更好的性能。
2019-01-18 cs.AI cs.CV cs.LG
Kernel Density Bayesian Inverse Reinforcement Learning
Stanford University（斯坦福大学）；University of North Carolina（北卡罗来纳大学）；Columbia University（哥伦比亚大学）；Princeton University（普林斯顿大学）；Flatiron Institute（Flatiron研究所）；Gladstone Institutes（Gladstone研究所）
本文提出核密度贝叶斯逆强化学习（KD-BIRL），利用训练任务的已知奖励函数改进似然估计，以在专家演示有限时更快地推断新任务奖励函数，并首次给出贝叶斯IRL后验收敛的理论保证。
2025-07-03 cs.AI cs.LG
Towards Autonomous Reinforcement Learning: Automatic Setting of Hyper-parameters using Bayesian Optimization
Fac. Reg. Villa María - UTN（国立技术大学玛丽亚镇地区学院）；CIT Villa María - CONICET-UNVM（玛丽亚镇科学技术研究中心 - 国家科学技术研究委员会-国立玛丽亚镇大学）；Instituto de Desarrollo y Diseño CONICET-UTN（国家科学技术研究委员会-国立技术大学发展与设计研究所）
随着工业和科学界在文本挖掘、图像识别和自动驾驶汽车等各种任务中使用机器学习的增加，学习算法中超参数的自动设置是实现令人满意的性能的关键因素，而不管用户在技术和方法的内部工作中的专业知识如何。特别地，对于强化学习算法，智能体在不确定环境中学习控制策略的效率在很大程度上取决于用于平衡探索与利用的超参数。在这项工作中，自主学习框架，集成贝叶斯优化与高斯过程回归优化超参数的强化学习算法，提出了。此外，基于带宽的方法，以实现计算成本和降低Q值的不确定性之间的平衡，提出。一个网格世界的例子是用来强调如何超参数配置的学习算法（SARSA）迭代改进的基础上，两个性能函数。
2018-05-12 cs.AI cs.LG
PAC-Bayesian Reinforcement Learning Trains Generalizable Policies
Université Claude Bernard Lyon 1, LIRIS, UMR CNRS 5205, France（里尔一大学，LIRIS，法国CNRS 5205）
提出一种新的 PAC-Bayesian 泛化界，通过链的混合时间显式考虑数据中的马尔可夫依赖性，并基于此设计 PB-SAC 算法以优化该界指导探索，在连续控制任务中提供有意义的置信度证书且保持竞争性能。
2026-05-28 cs.AI cs.LG stat.ML
A Greedy Approximation of Bayesian Reinforcement Learning with Probably Optimistic Transition Model
贝叶斯强化学习（RL）不仅能够整合领域知识，而且能够以自然的方式解决探索-利用困境。由于贝叶斯强化学习是棘手的，除了特殊情况下，以前的工作提出了几个近似方法。然而，这些方法通常对参数值过于敏感，并且在许多应用中几乎不可能找到可接受的参数设置。在本文中，我们提出了一个新的算法，Greatest近似贝叶斯RL实现参数空间中的鲁棒性。我们表明，对于所需的学习行为，我们提出的算法具有多项式样本的复杂性，低于现有的算法。我们还表明，该算法自然优于其他现有的算法时，先验分布没有显着误导。另一方面，该算法不能处理严重错误的先验知识，以及其他算法可以。这是一个自然的结果，事实上，该算法是贪婪的比其他算法。因此，我们讨论了一种方法来选择一个合适的算法为不同的任务的基础上的算法的贪婪。我们还介绍了一种新的方法来简化贝叶斯规划，在此基础上，未来的工作将能够得到新的算法。
2013-06-13 cs.AI cs.LG stat.ML
Bayesian Soft Actor-Critic: A Directed Acyclic Strategy Graph Based Deep Reinforcement Learning
University of Georgia（佐治亚大学）
本文提出基于贝叶斯链式的有向无环策略图分解方法，并与 SAC 结合构建 BSAC，以提升资源受限智能体在复杂环境中的连续控制训练效率。
2023-12-04 cs.AI cs.LG cs.RO
Infra-Bayesian Reinforcement Learning Agents Outperform Classical RL For Worst-Case Robustness
Purdue University（普渡大学）；Carnegie Mellon University（卡内基梅隆大学）；WorldQuant University（WorldQuant大学）；UC Berkeley（加州大学伯克利分校）；Aix-Marseille University（阿维尼翁-马赛大学）；MIT（麻省理工学院）；University of Zurich（苏黎世大学）；University of British Columbia（不列颠哥伦比亚大学）；University of Stuttgart（斯图加特大学）；University of Buenos Aires（布宜诺斯艾利斯大学）；California State University, Fresno（弗雷斯诺加州州立大学）；University of Chicago（芝加哥大学）
针对经典强化学习在模型误设和策略依赖不确定性下的失败，提出 Infra-Bayesian 框架，通过区分概率不确定性和 Knightian 不确定性并采用最坏情况决策，在有限状态无状态决策问题中实现更低的最坏情况遗憾。
2026-08-12 cs.AI cs.LG
Regularization Guarantees Generalization in Bayesian Reinforcement Learning through Algorithmic Stability
Technion – Israel Institute of Technology（以色列理工学院）
在贝叶斯强化学习（RL）设置中，假设未知问题参数（奖励和转换）的先验分布，并寻求优化（后验）预期回报的策略。一个常见的近似，最近已被推广为元RL，是训练代理上的样本$N$问题的实例，从以前的，希望对于足够大的$N$，良好的泛化行为，一个看不见的测试实例将获得。在这项工作中，我们研究推广贝叶斯RL下的可能近似正确（PAC）的框架，使用算法稳定性的方法。我们的主要贡献是通过增加正则化，最优策略在适当的意义下变得稳定。文献中的大多数稳定性结果建立在正则化损失的强凸性上-这种方法不适合RL，因为马尔可夫决策过程（MDP）不是凸的。相反，建立在最近的结果的镜像下降在正则化MDPs的快速收敛速度，我们表明，正则化MDPs满足一定的二次增长标准，这是足以建立稳定性。这个结果，这可能是独立的利益，使我们能够研究正则化的效果推广贝叶斯RL设置。
2021-09-24 cs.AI cs.LG stat.ML
Lifelong Incremental Reinforcement Learning with Online Bayesian Inference
Nanjing University（南京大学）；University of New South Wales（新南威尔士大学）
一个长寿的强化学习（RL）代理的核心能力是随着环境的变化逐渐适应其行为，并逐渐建立在以前的经验，以促进未来的学习在现实世界的场景。在本文中，我们提出了终身增量强化学习（LLIRL），一个新的增量算法，有效的终身适应动态环境。我们开发和维护一个包含参数化环境模型的无限混合的库，这相当于在潜在空间中聚类环境参数。混合物上的先验分布被公式化为中国餐馆过程（CRP），该过程在没有任何外部信息的情况下增量地实例化新的环境模型以提前发出环境变化的信号。在终身学习过程中，我们采用期望最大化（EM）算法与在线贝叶斯推理，以完全增量的方式更新混合物。在EM中，E步骤涉及估计环境到集群分配的后验期望，而M步骤更新环境参数以供将来学习。该方法允许所有环境模型根据需要进行调整，其中新模型针对环境变化进行实例化，并且当再次遇到先前看到的环境时检索旧模型。实验表明，LLIRL优于相关的现有方法，并使有效的增量适应各种动态环境的终身学习。
2021-02-12 cs.AI cs.LG
PEER: Unified Process-Outcome Reinforcement Learning for Structured Empathetic Reasoning
Shandong University（山东大学）；Shandong Jianzhu University（山东建筑大学）；Singapore Management University（新加坡管理大学）
本文提出PEER，通过结构化共情推理框架提升情感支持对话的 empathy、策略一致性及人性表现，采用GRPO与UnifiReward模型，结合数据增强减少重复。
2026-08-18 cs.AI cs.CL
ROI-Constrained Bidding via Curriculum-Guided Bayesian Reinforcement Learning
ShanghaiTech University（上海科技大学）；Alibaba Group（阿里巴巴集团）
实时竞价是现代在线广告系统中的一种重要机制。广告主在考虑各种财务要求，特别是投资回报率（ROI）约束的情况下，采用竞价策略来优化其广告效果。在顺序竞价过程中，投资回报率的变化是非单调的，往往会导致约束满足和目标优化之间的拉锯效应。虽然一些现有的方法在静态或轻度变化的广告市场中显示出有希望的结果，但它们无法推广到具有ROI约束的高度动态的广告市场，因为它们无法自适应地平衡非平稳性和部分可观察性中的约束和目标。在这项工作中，我们专注于投资回报率约束招标在非平稳市场。基于部分可观测约束马尔可夫决策过程，我们的方法利用了一个指标增强的奖励函数，没有额外的权衡参数，并开发了一个课程引导贝叶斯强化学习（CBRL）框架，自适应地控制非平稳广告市场的约束目标权衡。在一个大规模工业数据集上进行的大量实验表明，CBRL在分布内和分布外数据机制中都具有良好的泛化能力，并且具有优越的学习效率和稳定性。
2022-07-16 cs.AI cs.LG
Variational Bayesian Reinforcement Learning with Regret Bounds
DeepMind（深度思维）
在强化学习中，Q值总结了智能体将获得的预期未来奖励。然而，他们无法捕捉到这些奖励的认知不确定性。在这项工作中，我们推导出一个新的Bellman算子与相关的不动点，我们称之为“知识值”。这些K值将预期的未来回报和认知的不确定性压缩到一个值中，因此高不确定性、高回报或两者都可以产生高K值。关键原则是赋予代理人一个寻求风险的效用函数，该函数经过精心调整，以平衡探索和开发。当智能体在K值上遵循玻尔兹曼策略时，它会产生$\tilde O(L \sqrt{S A T})$的贝叶斯后悔界，其中$L$是时间范围，$S$是状态总数，$A$是动作数，$T$是经过的时间步数。我们展示了这种方法与强化学习研究中的软最大和最大熵链的深层联系。
2022-12-06 cs.AI cs.LG stat.ML
Efficient Reinforcement Learning from Human Feedback via Bayesian Preference Inference
本文提出一种混合框架，将PBO的主动查询模块集成到RLHF流程中，以统一RLHF的可扩展性与PBO的样本效率，并在高维偏好优化和LLM微调任务中验证了样本效率与整体性能的一致提升。
2025-11-06 cs.AI cs.LG
Improved Bayesian Regret Bounds for Thompson Sampling in Reinforcement Learning
Toyota Motor North America（丰田北美汽车公司）；InfoTech Labs（信息技术实验室）；Purdue University（普渡大学）
本文为强化学习中的汤普森采样证明了多种设置下的首个贝叶斯遗憾界，通过离散替代环境与后验一致性分析获得$\widetilde{O}(H\sqrt{d_{l_1}T})$上界，并给出具体维数界限，部分结果为首次或优于现有最优。
2024-02-06 cs.AI cs.LG stat.ML
Full Bayesian Reinforcement Learning via LF-IBIS
Department of Computer Science, University of Pisa, Italy（比萨大学计算机科学系）；Department of Economics and Statistics, University of Salerno, Italy（萨勒诺大学经济学与统计系）；Department of Statistics, Computer Science, Applications ”G.Parenti”, University of Florence, Italy（佛罗伦萨大学统计学、计算机科学与应用G.Parenti系）
提出LF-IBIS算法，结合近似贝叶斯计算与迭代批量重要性采样，在似然函数不可得时实现强化学习中的全贝叶斯推断，量化策略不确定性以平衡探索-利用。
2026-07-21 cs.AI cs.LG stat.ML
A Bayesian Approach to Robust Reinforcement Learning
Technion（以色列理工学院）；Deepmind（深度思维）
鲁棒马尔可夫决策过程（RMDPs）旨在确保相对于变化或对抗系统行为的鲁棒性。在这个框架中，过渡被建模为一个已知的和适当结构的不确定性集的任意元素和一个强大的最优策略，可以在最坏的情况下得出。在这项研究中，我们使用贝叶斯方法解决RMDPs学习的问题。我们引入了不确定性鲁棒贝尔曼方程（URBE），它鼓励安全的探索，以适应新的观测不确定性集，同时保持鲁棒性。我们提出了一个基于URBE的算法，DQN-URBE，该方法扩展到高维域。我们的实验表明，所得到的基于URBE的策略，导致一个更好的折衷之间的保守性较低的解决方案和鲁棒性的存在模型误指定。此外，我们表明，DQN-URBE算法可以适应显着更快地在线动态变化相比，现有的强大的技术与固定的不确定性集。
2019-07-23 cs.AI cs.LG stat.ML
Efficient Exploration of Reward Functions in Inverse Reinforcement Learning via Bayesian Optimization
National University of Singapore（新加坡国立大学）
逆强化学习（IRL）问题与包括价值对齐和机器人学习在内的各种任务相关。尽管近年来在算法方面做出了重大贡献，但IRL的核心仍然是一个不适定问题;多个奖励函数与观察到的行为一致，并且在没有先验知识或补充信息的情况下，实际的奖励函数是不可识别的。本文提出了一个IRL框架称为贝叶斯优化IRL（BO-IRL），确定多个解决方案是一致的专家演示，有效地探索奖励函数空间。BO-IRL通过利用贝叶斯优化以及我们新提出的内核来实现这一点，该内核（a）将策略不变奖励函数的参数投影到潜在空间中的单个点，以及（b）确保潜在空间中的附近点对应于产生类似可能性的奖励函数。这种投影允许在潜在空间中使用标准的静态内核来捕获整个奖励函数空间中存在的相关性。在合成环境和现实环境（无模型和基于模型）上的实证结果表明，BO-IRL发现了多个奖励函数，同时最大限度地减少了昂贵的精确策略优化的数量。
2020-11-17 cs.AI cs.LG cs.RO
Structured Document Translation via Format Reinforcement Learning
National Institute of Information and Communications Technology（日本信息与通信技术国家研究所）；SAP（SAP公司）
本文提出FormatRL方法，通过强化学习优化结构感知奖励，提升结构化文档翻译的结构和翻译质量。
2025-12-04 cs.AI cs.CL cs.LG
Meta-Reinforcement Learning of Structured Exploration Strategies
UC Berkeley（加州大学伯克利分校）；Embodied Intelligence（具身智能公司）
探索是强化学习（RL）的一个基本挑战。目前许多深度强化学习的探索方法都使用与任务无关的目标，例如基于状态访问的信息增益或奖金。然而，RL的许多实际应用涉及学习多个任务，并且可以使用先前的任务来告知如何在新任务中执行探索。在这项工作中，我们将探讨如何事先任务可以告知代理如何有效地探索在新的情况下。我们引入了一种新的基于梯度的快速自适应算法-结构化噪声模型不可知探索（MAESN）-从先前的经验中学习探索策略。先前的经验被用来初始化一个政策，并获得一个潜在的探索空间，可以注入结构化的随机性到一个政策，产生的探索策略，是由先验知识，比随机动作空间噪声更有效。我们表明，MAESN是更有效的学习探索策略相比，以前的元RL方法，RL没有学习的探索策略，任务不可知的探索方法。我们评估我们的方法在各种模拟任务：运动与轮式机器人，运动与四足步行机，和对象操作。
2018-02-20 cs.AI cs.LG cs.NE
Robust Model-free Reinforcement Learning with Multi-objective Bayesian Optimization
ETH Zurich（苏黎世联邦理工学院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
在强化学习（RL）中，自主智能体通过在与其环境交互的同时最大化外生奖励信号来学习执行复杂任务。在现实世界的应用中，测试条件可能与训练场景有很大的不同，因此，在训练期间专注于纯奖励最大化可能会导致测试时的结果不佳。在这些情况下，在学习策略时，在性能和鲁棒性之间进行权衡是很重要的。虽然有几个结果存在鲁棒的，基于模型的强化学习，无模型的情况下还没有得到广泛的研究。在本文中，我们铸造的鲁棒，无模型RL问题作为一个多目标优化问题。为了量化策略的鲁棒性，我们使用延迟裕度和增益裕度，这两个鲁棒性指标在控制理论中是常见的。我们展示了如何从无模型设置中的数据估计这些指标。我们使用多目标贝叶斯优化（MOBO）有效地解决这个昂贵的评估，多目标优化问题。我们展示了我们强大的配方在模拟到真实和纯硬件实验平衡古田摆的好处。
2019-10-29 cs.AI cs.LG cs.RO
Model-free and Bayesian Ensembling Model-based Deep Reinforcement Learning for Particle Accelerator Control Demonstrated on the FERMI FEL
Paris Lodron University（巴黎洛德伦大学）；CERN（欧洲核子研究组织）
强化学习在加速器控制方面有着巨大的前景。本文的主要目标是展示如何利用这种方法在操作层面上的加速器物理问题。尽管无模型强化学习在多个领域取得了成功，但样本效率仍然是一个瓶颈，这可能会被基于模型的方法所涵盖。我们比较适合纯粹的基于模型的无模型强化学习应用于FERMI自由电子激光系统的强度优化。我们发现，基于模型的方法表现出更高的代表性的权力和样本效率，而无模型的方法的渐近性能略优。基于模型的算法使用不确定性感知模型以DYNA风格实现，而无模型算法基于定制的深度Q学习。在这两种情况下，算法的实现方式，这提出了增加的噪声鲁棒性，无处不在的加速器控制问题。代码发布在https://github.com/MathPhysSim/FERMI_RL_Paper。
2022-01-26 cs.AI cs.LG cs.SY
Multi-agent Inverse Reinforcement Learning for Two-person Zero-sum Games
University of Virginia（弗吉尼亚大学）；IBM Research（IBM研究院）
本文的重点是贝叶斯框架解决一类问题称为多智能体逆强化学习（MIRL）。与著名的逆强化学习（IRL）问题相比，MIRL是在随机博弈的背景下形式化的，它将马尔可夫决策过程推广到博弈论场景。我们建立了一个理论基础竞争的两个代理零和MIRL问题，并提出了一个贝叶斯解决方案的方法，其中生成模型是基于一个假设，即两个代理遵循极大极小双政策。数值结果比较贝叶斯MIRL方法与现有的两种方法的背景下，一个抽象的足球比赛。研究集中在先验信息的程度和学习奖励的质量之间的关系。结果表明，协方差结构比平均值更重要的奖励先验。
2019-07-30 cs.AI cs.GT cs.LG
Bayesian Critique-Tune-Based Reinforcement Learning with Adaptive Pressure for Multi-Intersection Traffic Signal Control
School of Mathematical Sciences, Shanghai Jiao Tong University（上海交通大学数学科学学院）
本文提出BCT-APLight方法，通过贝叶斯批判-调优框架和自适应压力机制改进多路口交通信号控制中的强化学习策略，在七个真实数据集上显著降低队列长度和等待时间。
2024-12-25 cs.AI cs.LG cs.MA
BOTS: A Unified Framework for Bayesian Online Task Selection in LLM Reinforcement Finetuning
Alibaba Group（阿里巴巴集团）
BOTS通过贝叶斯推断和汤普森采样，提高LLM强化微调中任务选择的效率和性能。
2026-01-30 cs.AI
Automating Curriculum Learning for Reinforcement Learning using a Skill-Based Bayesian Network
Naval Research Laboratory（海军研究实验室）；Brown University（布朗大学）；University of Maryland（马里兰大学）
针对强化学习中自动生成课程的难题，提出技能-环境贝叶斯网络SEBN建模技能、目标与环境特征的概率关系，结合预期改进度加权任务的算法，在三类环境中表现优于基准。
2025-02-21 cs.AI cs.LG
SVI-DAG: A Structured Variational Inference Approach to Bayesian Causal Discovery
SVI-DAG是一种贝叶斯因果发现的结构化变分推断方法，用归一化流建模边依赖、斯坦变分梯度下降优化，在不确定性量化上优于5种现有方法，结构准确性具竞争力。
2026-08-25 cs.AI cs.LG
Encoding Domain Knowledge in Multi-view Latent Variable Models: A Bayesian Approach with Structured Sparsity
German Cancer Research Center (DKFZ)（德国癌症研究中心（DKFZ））；German Cancer Consortium (DKTK)（德国癌症联盟（DKTK））；Goethe University Frankfurt（法兰克福歌德大学）；Frankfurt Cancer Institute（法兰克福癌症研究所）
许多真实世界的系统不仅由来自单个源的数据描述，而且还通过多个数据视图来描述。例如，在基因组医学中，患者可以通过来自不同分子层的数据来表征。具有结构化稀疏性的潜变量模型是一种常用的工具，用于解开数据视图内和跨数据视图的变化。然而，它们的可解释性是繁琐的，因为它需要领域专家对每个因素进行直接检查和解释。在这里，我们提出了MuVI，一种新的多视图隐变量模型的基础上修改马蹄先验建模结构稀疏。这有利于有限的和嘈杂的领域知识的结合，从而允许以固有的可解释的方式对多视图数据进行分析。我们证明了我们的模型（i）在重建误差和精度/召回方面优于最先进的结构化稀疏建模方法，（ii）以特征集的形式稳健地集成了噪声领域的专业知识，（iii）促进了因素的可识别性，（iv）推断出癌症患者真实世界多视图数据集中可解释的和生物学上有意义的变异轴。
2023-03-15 cs.AI cs.LG stat.ML
Divide-and-Conquer Predictive Coding: a structured Bayesian inference algorithm
Vanderbilt University（范德堡大学）；VERSES AI Research Lab（VERSES AI研究实验室）；Vienna University of Technology（维也纳技术大学）
本文提出分治预测编码（DCPC），在保持生物合理性的同时尊重生成模型相关结构并实现最大似然参数更新，在多个结构化推理问题上优于现有预测编码方法。
2024-10-17 cs.AI cs.LG q-bio.NC
Context-Aware Bayesian Network Actor-Critic Methods for Cooperative Multi-Agent Reinforcement Learning
University of South Carolina（南卡罗来纳大学）
本文提出用贝叶斯网络建模合作 MARL 中智能体动作依赖，给出策略梯度与 Nash 均衡收敛理论，并借助可微 DAG 学习上下文感知策略且逐步转向去中心化执行。
2023-06-02 cs.AI cs.GT cs.LG
