Directed Exploration in PAC Model-Free Reinforcement Learning
Columbia University（哥伦比亚大学）
我们研究了一种无模型强化学习的探索方法，该方法推广了基于计数器的探索奖励方法，并考虑了动作的长期探索价值，而不是单步的前瞻。我们提出了一种无模型强化学习方法，该方法修改了延迟Q学习，并利用了具有可证明效率的长期探索奖金。我们表明，我们提出的方法发现一个接近最优的政策在多项式时间（PAC-MDP），也提供了实验证据，我们提出的算法是一个有效的探索方法。
2018-08-31 cs.LG stat.ML
Bayesian Soft Actor-Critic: A Directed Acyclic Strategy Graph Based Deep Reinforcement Learning
University of Georgia（佐治亚大学）
本文提出基于贝叶斯链式的有向无环策略图分解方法，并与 SAC 结合构建 BSAC，以提升资源受限智能体在复杂环境中的连续控制训练效率。
2023-12-04 cs.AI cs.LG cs.RO
Accelerating Goal-Directed Reinforcement Learning by Model Characterization
NVIDIA Corporation（英伟达公司）；University of Southern California（南加利福尼亚大学）；Indiana University - Bloomington（印第安纳大学伯明顿分校）
我们提出了一种混合的方法，旨在提高目标导向的强化学习的样本效率。我们通过两步机制来实现这一点，首先，我们从无模型强化学习中近似模型。然后，我们利用这个近似模型以及使用平均首次通过时间的可达性概念来执行基于模型的强化学习。基于这样一个新的观察，我们设计了两个新的算法-平均第一次通过时间为基础的Q-学习（MFPT-Q）和平均第一次通过时间为基础的DYNA（MFPT-DYNA），已从根本上修改了国家的最先进的强化学习技术。初步结果表明，我们的混合方法收敛的迭代次数比相应的最先进的方法少得多，因此需要更少的样本和更少的训练试验来收敛。
2019-01-04 cs.AI cs.LG stat.ML
EUBRL: Epistemic Uncertainty Directed Bayesian Reinforcement Learning
National University of Singapore（新加坡国立大学）
EUBRL通过信念不确定性引导，在稀疏奖励、长时间跨度和随机性任务中实现了高效、可扩展且一致的强化学习性能。
2026-02-28 cs.LG
Reachability analysis in stochastic directed graphs by reinforcement learning
Istituto di Analisi dei Sistemi ed Informatica “A. Ruberti”, Consiglio Nazionale delle Ricerche（意大利国家研究委员会“A.鲁贝尔蒂”系统分析与信息研究所）；University of Catania（卡塔尼亚大学）；Politecnico di Torino（都灵理工大学）
利用强化学习方法刻画了随机有向图的可达概率。特别是，我们表明，在一个随机有向图的转移概率的动态可以通过差分包含，这反过来又可以被解释为一个马尔可夫决策过程建模。使用后一种框架，我们提供了一种方法来设计奖励函数，以提供一组节点的随机有向图的可达概率的上界和下界。通过将该技术应用于流行病在移动代理邻近模式生成的时变接触网络上的传播，证明了该技术的有效性。
2022-02-25 cs.AI cs.LG
Directed Exploration for Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）；Stanford University（斯坦福大学）
有效的探索对于一般的强化学习来说是实现良好的样本效率所必需的。从小的表格设置，如网格世界到大的，连续的和稀疏的奖励设置，如机器人对象操作任务，探索通过添加一个不确定性奖金的奖励函数已被证明是有效的，当不确定性能够准确地驱动探索有希望的状态。然而，奖励奖金仍然是低效的，因为它们是非平稳的，这意味着我们必须等待函数逼近器赶上并在不确定性发生变化时再次收敛。我们提出了定向探索的想法，即学习目标条件策略，其中目标只是其他状态，并使用该策略直接尝试到达具有较大不确定性的状态。目标条件策略独立于不确定性，因此是静态的。我们在实验中展示了定向探索是如何更有效地探索和更强大的不确定性是如何计算的，而不是增加奖金的奖励。
2019-06-18 cs.AI cs.LG stat.ML
Information Directed Reward Learning for Reinforcement Learning
ETH Zurich（苏黎世联邦理工学院）；University of Vienna（维也纳大学）；Microsoft Research Cambridge（微软剑桥研究院）；Spotify（声田）
对于许多强化学习（RL）应用，指定奖励是困难的。本文考虑了一种RL设置，其中代理仅通过查询专家来获得有关奖励的信息，例如，可以评估单个状态或提供轨迹的二进制偏好。从这样昂贵的反馈中，我们的目标是学习一个奖励模型，该模型允许标准RL算法以尽可能少的专家查询实现高预期回报。为此，我们提出了信息导向的奖励学习（IDRL），它使用贝叶斯模型的奖励和选择查询，最大限度地提高信息收益的差异，在回报之间的合理最优的政策。与针对特定类型查询设计的先前主动奖励学习方法相比，IDRL自然地适应不同的查询类型。此外，它实现了类似的或更好的性能与显着更少的查询，通过转移的重点从减少奖励近似误差，以提高政策诱导的奖励模型。我们支持我们的研究结果在多个环境中进行了广泛的评估，并与不同的查询类型。
2022-01-31 cs.LG
Structure-aware Reinforcement Learning for Protein Directed Evolution
Institute of AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院（AIR））；Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系）；Pharmolix Inc.（Pharmolix公司）
提出结构感知强化学习框架StructEvo，利用增量结构融合编码器和分层动作网络解决蛋白质定向进化中结构信息整合难题，在两个基准上分别提升9.2%和16.3%，并验证了GFP中的上位效应。
2026-11-06 cs.AI cs.LG
Hybridising Reinforcement Learning and Heuristics for Hierarchical Directed Arc Routing Problems
University of Alabama at Birmingham（阿拉巴马大学伯明翰分校）；State University of New York at Buffalo（纽约州立大学布法罗分校）；Lancaster University（兰卡斯特大学）
本文针对分层有向容量约束弧路由问题（HDCARP）提出混合强化学习与启发式算法HRDA，利用强化学习动态引导局部搜索算子选择，在保持解质量的同时显著提升求解速度。
2025-01-01 cs.LG
Federated Ensemble-Directed Offline Reinforcement Learning
Texas A&M University（德克萨斯农工大学）
针对联邦离线强化学习中简单结合标准方法性能差的问题，提出基于集成学习提炼客户端智慧的FEDORA算法，在多类环境和真实机器人上均取得更优性能。
2024-10-04 cs.AI cs.LG
Distributed Cooperative Multi-Agent Reinforcement Learning with Directed Coordination Graph
North Carolina State University（北卡罗来纳州立大学）；Oklahoma State University（俄克拉荷马州立大学）；DEVCOM U.S. Army Research Laboratory（美国陆军作战能力发展司令部陆军研究实验室）
现有的分布式协作多智能体强化学习（MARL）框架通常假设无向协调图和通信图，同时通过共识算法估计全局奖励进行策略评估。这样的框架可能会导致昂贵的通信成本，并表现出较差的可扩展性，由于全球共识的要求。在这项工作中，我们研究了MARL与有向协调图，并提出了一个分布式RL算法的本地政策评估是基于本地价值函数。每个Agent的局部价值函数通过有向学习诱导的通信图与其邻居进行局部通信来获得，而不使用任何共识算法。采用基于参数摄动的零阶优化（ZOO）方法实现梯度估计。通过与现有的基于ZOO的RL算法的比较，我们表明，我们提出的分布式RL算法保证了高的可扩展性。一个分布式资源分配的例子来说明我们的算法的有效性。
2022-01-10 cs.AI cs.LG cs.MA
DORA The Explorer: Directed Outreaching Reinforcement Action-Selection
School of Computer Science and Engineering（计算机科学与工程学院）；Department of Cognitive Sciences（认知科学系）；The Hebrew University of Jerusalem（耶路撒冷希伯来大学）；The Edmond and Lily Safra Center for Brain Sciences（埃德蒙与莉莉·萨夫拉脑科学中心）；Departments of Neurobiology and Cognitive Sciences（神经生物学与认知科学系）；the Federmann Center for the Study of Rationality（费德曼理性研究中心）
探索是强化学习的一个基本方面，通常使用随机动作选择来实现。然而，如果探索的目的是获得新的世界知识，那么它会更有效率。访问计数器已被证明是有用的，在实践中和理论上的直接勘探。然而，计数器的一个主要限制是它们的位置。虽然有一些基于模型的解决方案来解决这个缺点，但仍然缺少无模型的方法。我们提出了$E$ -值，计数器的泛化，可用于评估传播的探索性值的状态动作轨迹。我们将我们的方法与常用的RL技术进行比较，并表明使用$E$值可以提高传统计数器的学习和性能。我们还展示了如何使用函数逼近来实现我们的方法，以有效地学习连续的MDP。我们证明了这一点，表明我们的方法超越了高速公路雅达利2600游戏的最先进的性能。
2018-04-11 cs.AI cs.LG stat.ML
Mol-AIR: Molecular Reinforcement Learning with Adaptive Intrinsic Rewards for Goal-directed Molecular Generation
Incheon National University（仁川国立大学）；Hallym University（翰林大学）
Mol-AIR提出一种结合随机蒸馏网络与计数策略的自适应内在奖励强化学习框架，在无先验知识条件下提升目标导向分子生成性能，并在多项基准测试中优于现有方法。
2024-03-29 cs.AI cs.LG q-bio.BM
Directed Policy Gradient for Safe Reinforcement Learning with Human Advice
Vrije Universiteit Brussel（布鲁塞尔自由大学）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
许多目前部署的强化学习代理在与人类共享的环境中工作，无论是同事，用户还是客户。人们希望这些智能体能够适应人们的偏好，在他们的帮助下更快地学习，并在他们周围安全地行动。我们认为，目前大多数从人类反馈中学习的方法都是不安全的：事后奖励或惩罚代理人不能立即防止它做错事。在本文中，我们扩展了策略梯度，使其强大的外部指令，否则将打破从根本上的政策性质的策略梯度。我们的技术，定向策略梯度（DPG），允许教师或备份策略覆盖代理之前，它的行为不可取的，同时允许代理利用人类的建议或指令，以更快地学习。我们的实验表明，DPG使代理学习速度比基于奖励的方法快得多，同时需要一个数量级的建议。
2018-08-13 cs.AI cs.LG stat.ML
Regret Bounds for Information-Directed Reinforcement Learning
Deepmind（深度思维）
信息定向采样（IDS）作为一种数据高效的强化学习（RL）算法，已显示出其潜力。然而，对马尔可夫决策过程（MDP）的入侵检测系统的理论认识仍然有限。我们开发了新的信息理论工具来约束学习目标的信息比和累积信息增益。我们的理论结果揭示了选择学习目标的重要性，这样的从业者可以平衡的计算和遗憾的界限。因此，我们推导出无先验贝叶斯遗憾界香草IDS学习整个环境下的表格有限地平线MDPs。此外，我们提出了一个计算效率高的正则化IDS，最大化的加法形式，而不是比率形式，并表明它享有相同的遗憾界香草IDS。在率失真理论的帮助下，我们通过学习一个替代的、信息量较少的环境来提高遗憾边界。此外，我们将我们的分析扩展到线性MDP，并证明了类似的遗憾界汤普森采样作为一个副产品。
2022-11-24 cs.IT cs.LG math.IT
Directed Exploration in Reinforcement Learning from Linear Temporal Logic
Department of Computer Science（计算机科学系）；ETH Zürich（苏黎世联邦理工学院）；Max Planck Institute for Intelligent Systems（智能系统研究所）
针对LTL强化学习奖励稀疏导致探索困难的问题，本文利用LDBA构建马尔可夫奖励过程并以贝叶斯先验估计高层价值，将其转化为内在塑形奖励，实现从表格到高维连续系统的定向探索。
2025-06-09 cs.LG
CostNet: An End-to-End Framework for Goal-Directed Reinforcement Learning
University of Agder（阿格德大学）
强化学习（RL）是一个通用的框架，它涉及一个在环境中寻求最大化奖励的智能体。学习通常是通过使用探索性方法（如epsilon-greedy）的尝试和错误来进行的。有两种方法，基于模型和无模型强化学习，在几个学科中显示出具体的结果。基于模型的强化学习学习环境的模型来学习策略，而无模型方法是完全探索性和利用性的，而不考虑底层的环境动态。无模型强化学习在模拟环境中工作得很好，经验证据表明，经过足够的训练，试错会导致接近最佳的行为。另一方面，基于模型的强化学习的目标是样本效率，研究表明，它需要在真实环境中进行更少的训练来学习一个好的策略。RL的一个重大挑战是，它依赖于一个定义良好的奖励函数来适应复杂的环境，而这样的奖励函数很难定义。目标导向强化学习是一种替代方法，它学习一个内在的奖励函数，强调一些探索的轨迹，揭示了通往目标状态的路径。本文介绍了一种新的强化学习算法，用于预测马尔可夫决策过程中两个状态之间的距离。学习距离函数作为一种内在的奖励，为智能体的学习提供动力。使用的距离度量作为奖励，我们表明，该算法执行无模型的RL，同时具有显着更好的样本效率在几个测试环境。
2022-10-03 cs.AI cs.LG
Autonomous Soft Tissue Retraction Using Demonstration-Guided Reinforcement Learning
Georgia Institute of Technology（佐治亚理工学院）
本研究创建ROS兼容的物理仿真环境，利用PyBullet模拟达芬奇机器人软组织交互，并通过演示引导的强化学习算法实现自主软组织牵引，验证了软体操控学习的可行性。
2023-09-02 cs.LG cs.RO
STEERING: Stein Information Directed Exploration for Model-Based Reinforcement Learning
University of Maryland, College Park（马里兰大学帕克分校）；JP Morgan Chase AI Research（摩根大通人工智能研究院）；Princeton University（普林斯顿大学）；Deepmind（深度思维）
本文提出 STEERING 算法，利用核化 Stein 差异作为积分概率度量形式的探索激励，解决稀疏奖励下基于模型的强化学习中的导向探索问题，并证明其具有次线性贝叶斯遗憾且实验表现优于现有方法。
2023-09-19 cs.AI cs.LG stat.ML
Sample-Efficient Reinforcement Learning from Human Feedback via Information-Directed Sampling
Shanghai AI Laboratory（上海人工智能实验室）；Xi’an Jiaotong University（西安交通大学）；Peking University（北京大学）；Yale University（耶鲁大学）
本研究基于信息导向采样设计样本高效的RLHF算法，通过互信息项鼓励探索并引入代理环境与ℓ_g-距离，实现贝叶斯遗憾上界，同时提出计算高效的近似算法，展示了信息论在强化学习与LLM训练中的价值。
2025-08-08 cs.LG
Goal-directed graph construction using reinforcement learning
University College London（伦敦大学学院）；The Alan Turing Institute（阿兰·图灵研究所）；University of Bologna（博洛尼亚大学）
图形可以用来表示和推理系统，并且已经设计了各种度量来量化它们的全局特性。然而，目前很少有人知道如何构建一个图或改善现有的给定目标。在这项工作中，我们制定了一个图形的建设作为一个决策过程中，中央代理创建拓扑结构的试错和接收奖励成比例的目标的价值。通过这个概念框架，我们提出了一种基于强化学习和图神经网络的算法来学习图的构造和改进策略。我们的核心案例研究侧重于对故障和攻击的鲁棒性，这是一个与为现代社会提供动力的基础设施和通信网络相关的属性。在合成图和真实世界图上的实验表明，这种方法可以优于现有方法，同时评估成本更低。它还允许泛化到样本外图，以及在某些情况下更大的分布外图。该方法也适用于图的其他全局结构性质的优化。
2021-10-27 cs.AI cs.LG stat.ML
Stabilizing Reinforcement Learning in Differentiable Multiphysics Simulation
Carnegie Mellon University（卡内基梅隆大学）
本文提出SAPO算法与Rewarped仿真平台，利用可微仿真的一阶解析梯度稳定强化学习，有效处理刚体和可变形体交互任务，超越现有基线。
2025-02-27 cs.AI cs.CV cs.LG
CHAI: A CHatbot AI for Task-Oriented Dialogue with Offline Reinforcement Learning
UC Berkeley（加州大学伯克利分校）
传统上，为对话代理生成自然语言可以被视为统计学习问题：确定人类提供的数据中的模式，并生成具有类似统计属性的适当响应。然而，对话也可以被视为一个目标导向的过程，说话者试图完成一项特定的任务。强化学习（RL）算法是专门为解决这类目标导向问题而设计的，但应用RL的最直接方法--通过人类对话中的试错学习--成本很高。在本文中，我们研究如何离线强化学习可以完全使用从人类说话者收集的静态数据集来训练对话代理。我们的实验表明，最近开发的离线强化学习方法可以与语言模型相结合，以产生更好地完成任务目标的现实对话代理。
2022-04-18 cs.CL cs.LG
MSPR: Multi-scale Predictive Representations for Goal-conditioned Reinforcement Learning
Mila, McGill University（蒙特利尔大学Mila实验室）；ServiceNow Research（ServiceNow研究）；Qualcomm Research（高通研究）
本文探讨了离线目标条件强化学习中鲁棒表示学习问题，提出多尺度预测监督框架Ms.PR，通过多尺度预测提升潜在空间中目标导向对齐，提升表示质量和任务性能。
2026-10-07 cs.LG
Decoupled Exploration and Exploitation Policies for Sample-Efficient Reinforcement Learning
New York University（纽约大学）；DeepMind（深度思维）
尽管探索和样本效率之间存在密切联系，但大多数最先进的强化学习算法除了最大化策略熵之外不包括探索考虑因素。在这项工作中，我们解决这个似乎错过的机会。我们观察到，深度RL中最常见的定向探索公式，即基于奖励的探索（BBE），在少样本制度中存在偏差和覆盖缓慢。这导致BBE在许多控制任务中对策略学习是积极有害的。我们表明，通过解耦的任务政策的探索政策，定向探索可以是非常有效的样本有效的连续控制。我们的方法，解耦的探索和开发策略（DEEP），可以与任何非策略RL算法相结合，无需修改。当与软行动者-批评者结合使用时，DEEP在密集奖励环境中不会导致性能损失。在稀疏环境中，由于更好的探索，DEEP在数据效率方面提供了几倍的提高。
2021-07-01 cs.LG
Deep Q-Learning for Directed Acyclic Graph Generation
Cardiff University（卡迪夫大学）
我们提出了一种使用深度强化学习，特别是深度Q学习来生成有向无环图（DAG）的方法。生成具有特定结构的图在各种应用领域都是一项重要而具有挑战性的任务，然而目前大多数图生成方法生成的图都是无向边图。我们证明，这种方法是能够生成DAG的拓扑结构和节点类型满足指定的标准，在高度稀疏的奖励环境。
2019-06-05 cs.LG stat.ML
Reinforcement Learning with a Bilevel World-Model Architecture for Scan-Order Optimisation in Laser Directed Energy Deposition
College of Engineering, Design and Physical Sciences, Brunel University London（布鲁内尔大学伦敦工程、设计与物理科学学院）；Pattern Recognition Laboratory, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所模式识别实验室）；ISIS Neutron and Muon Source, Science and Technology Facilities Council, Rutherford Appleton Laboratory（Rutherford Appleton实验室，科学与技术设施委员会ISIS中子与μ子源）
本文提出一个双层代理-有限元分析诊断框架，通过轻量代理和稀疏有限元模拟，诊断强化学习在激光增材制造扫描顺序优化中的奖励和世界模型保真度问题。
2026-06-28 cond-mat.mtrl-sci cs.LG
Provably Efficient Information-Directed Sampling Algorithms for Multi-Agent Reinforcement Learning
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Northwestern Polytechnical University（西北工业大学）；Institute of Artificial Intelligence (TeleAI), China Telecom Corp Ltd（中国电信人工智能研究院（TeleAI））
本文基于信息导向采样原理提出MAIDS、Reg-MAIDS和Compressed-MAIDS三种多智能体强化学习算法，在双人零和及多人一般和马尔可夫博弈中实现样本高效的均衡学习。
2024-04-30 cs.IT cs.LG cs.MA
Policy Gradient RL Algorithms as Directed Acyclic Graphs
Massachusetts Institute of Technology（麻省理工学院）
Meta强化学习（RL）方法专注于自动化RL算法的设计，这些算法可以推广到各种环境。在（Anonymous，2020）中引入的框架通过将不同的RL算法表示为有向无环图（DAG）来解决这个问题，并使用进化Meta学习器来修改这些图并找到良好的代理更新规则。虽然论文中用于生成图的搜索语言用于表示许多现有的RL算法（例如，DQN，DDQN），但在表示策略梯度算法时存在局限性。在这项工作中，我们试图通过扩展原始的搜索语言，并提出五种不同的策略梯度算法：VPG，PPO，DDPG，TD3和SAC的图形来缩小这一差距。
2021-01-16 cs.LG
Prototyping three key properties of specific curiosity in computational reinforcement learning
University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute（阿尔伯塔机器智能研究所）
机器智能体的Curriculum一直是研究的热点。对人类和动物好奇心的研究，特别是对特定好奇心的研究，已经发现了几个特性，这些特性将为机器学习者提供重要的好处，但尚未在机器智能中得到很好的探索。在这项工作中，我们介绍了这些属性中最直接的三个-定向，满足时停止和自愿暴露-并展示了它们如何在概念验证强化学习代理中一起实现;此外，本发明还我们展示了如何在一个简单的非情节网格世界环境，包括好奇心的行为表现的属性，诱导地点和诱导好奇心的目标。正如我们所希望的那样，智能体在更新长期偏好以自适应地寻找引起好奇心的情况时表现出短期定向行为。因此，这项工作为特定的好奇心如何运作提供了一个新颖的视角，并且在未来可能会被整合到复杂环境中目标寻求、决策代理的行为中。
2022-05-20 cs.LG
Connections between Relational Event Model and Inverse Reinforcement Learning for Characterizing Group Interaction Sequences
University of Texas at Austin（得克萨斯大学奥斯汀分校）
在本文中，我们探讨了以前未识别的连接关系事件模型（REM）从网络科学领域和反向强化学习（IRL）从机器学习领域的能力，以表征序列的有向社会互动事件组设置。REM是一种传统的方法来解决这样的问题，而IRL的应用是一个很大程度上unbeaten path.We开始检查REM和IRL的数学组件，并找到两种方法之间的直接类比，以及IRL方法的独特之处。我们展示了特殊的实用程序IRL在表征群体的社会互动与实证实验，在其中，我们使用IRL推断个人的行为偏好的基础上，从一组虚拟现实游戏玩家互动和合作，以实现一个共同的目标的定向通信事件的序列。我们的比较和实验为社会行为分析引入了新的视角，并有助于激发社会网络分析和机器学习之间联系的新研究机会。
2020-10-19 cs.LG cs.SI
Outcome-Driven Reinforcement Learning via Variational Inference
University of Oxford（牛津大学）；University of California, Berkeley（加州大学伯克利分校）
虽然强化学习算法提供了自动获取的最优策略，实际应用中需要一些设计决策，如手动设计奖励功能，不仅定义的任务，但也提供了足够的塑造来完成it.In本文中，我们认为强化学习推断的政策，实现预期的结果，而不是作为一个问题的最大化奖励。为了解决这个推理问题，我们建立了一个新的变分推理公式，使我们能够推导出一个形状良好的奖励函数，可以直接从环境的相互作用。从相应的变分目标，我们还推导出一个新的概率Bellman备份操作，并使用它来开发一个关闭的政策算法来解决目标导向的任务。我们的经验表明，这种方法消除了手工制作奖励功能的一套不同的操作和运动任务，并导致有效的目标导向的行为。
2022-12-28 cs.AI cs.LG stat.ME
Goal-directed Generation of Discrete Structures with Conditional Generative Models
University of Geneva（日内瓦大学）；University of Applied Sciences Western Switzerland（瑞士西部应用科学大学）；University College London（伦敦大学学院）；Alan Turing Institute（阿兰·图灵研究所）
尽管最近取得了进展，但结构化离散数据的目标导向生成仍然具有挑战性。对于诸如程序合成（生成源代码）和材料设计（生成分子）之类的问题，找到满足所需约束或表现出所需性质的例子是困难的。在实践中，通常采用昂贵的启发式搜索或强化学习算法。在本文中，我们研究了使用条件生成模型直接攻击这个逆问题，通过建模离散结构的分布给定的属性的兴趣。不幸的是，这种模型的最大似然训练经常失败，因为来自生成模型的样本不充分地尊重输入属性。为了解决这个问题，我们引入了一种新的方法来直接优化强化学习目标，最大化预期奖励。我们避免了高方差的得分函数估计，否则将需要从一个近似的归一化奖励采样，允许简单的蒙特卡罗模型梯度估计。我们在两个任务上测试我们的方法：生成具有用户定义属性的分子和识别评估给定目标值的短Python表达式。在这两种情况下，我们发现最大似然估计和其他基线的改进。
2020-10-23 cs.LG stat.ML
Information-Directed Offline-to-Online Reinforcement Learning
School of Electrical, Computer and Energy Engineering, Arizona State University（电气、计算机与能源工程学院，亚利桑那州立大学）
本文提出信息导向采样（IDS）方法，通过条件互信息量化离线数据后的残余不确定性，在离线到在线强化学习中平衡即时遗憾与信息增益，并证明其贝叶斯遗憾界及在偏置残余不确定性场景下的优势。
2026-05-28 cs.LG
MasHost Builds It All: Autonomous Multi-Agent System Directed by Reinforcement Learning
University of Science and Technology of China (USTC)（中国科学技术大学）；Suzhou Institute for Advanced Research USTC（苏州先进研究所）；Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
针对现有多智能体系统依赖人工设计、自主性不足的问题，提出基于强化学习的MasHost框架，将系统构建建模为图搜索问题，通过HRPO策略实现多目标优化，在6个基准上性能优于多数基线。
2025-06-12 cs.AI cs.LG cs.MA
Measuring Goal-Directedness
Imperial College London（帝国理工学院）；University of Oxford（牛津大学）；London Initiative for Safe AI（伦敦安全人工智能倡议）；Google DeepMind（谷歌DeepMind）
本文提出最大熵目标导向性（MEG）这一形式化度量及计算算法，可在因果模型和马尔可夫决策过程中针对效用函数、假设类别或随机变量衡量目标导向性，并验证其满足多项期望特性。
2024-12-06 cs.AI cs.LG
LMRL Gym: Benchmarks for Multi-Turn Reinforcement Learning with Language Models
UC Berkeley（加州大学伯克利分校）；Google DeepMind（谷歌DeepMind）
本文提出LMRL-Gym基准测试及开源框架，用于评估和训练LLMs在多轮语言交互中的目标导向强化学习能力，涵盖8个对话与文本游戏任务。
2023-11-30 cs.AI cs.CL cs.LG
Leveraging Reward Gradients For Reinforcement Learning in Differentiable Physics Simulations
University of California, Santa Barbara（加州大学圣巴巴拉分校）
近年来，完全可微刚体物理模拟器已经被开发出来，它可以用来模拟各种机器人系统。在用于控制的强化学习的背景下，这些模拟器理论上允许算法直接应用于奖励函数的分析梯度。然而，到目前为止，这些梯度被证明是非常具有挑战性的，并且被完全不使用梯度信息的算法所超越。在这项工作中，我们提出了一种新的算法，交叉熵分析策略梯度，能够利用这些梯度，以超越最先进的深度强化学习的一组具有挑战性的非线性控制问题。
2022-03-06 cs.LG cs.RO cs.SY
Active Curriculum Refinement for Reinforcement Learning
The University of Chicago（芝加哥大学）
该研究针对强化学习中环境的有向无环课程图结构，提出主动课程学习框架PATH，通过采样多样化课程路径并重新分配训练资源，提升了模型的鲁棒性与泛化能力。
2026-08-28 cs.LG
Plan-Based Relaxed Reward Shaping for Goal-Directed Tasks
TU Berlin（柏林工业大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Stuttgart（斯图加特大学）
在高维状态空间中，强化学习（RL）的有效性受到探索问题的限制。这个问题已经解决了使用基于潜力的奖励塑造（PB-RS）之前。在目前的工作中，我们介绍了最终卷保持奖励塑造（FV-RS）。FV-RS放宽了PB-RS的严格最优性保证，以保证保持长期行为。由于限制较少，FV-RS允许甚至更适合于提高RL算法的样本效率的奖励塑造函数。特别是，我们考虑设置代理人可以访问一个近似的计划。在这里，我们使用模拟机器人操作任务的例子来证明，计划为基础的FV-RS确实可以显着提高样本效率的RL计划为基础的PB-RS。
2021-07-14 cs.AI cs.LG cs.RO
Sim-to-Real Reinforcement Learning for Deformable Object Manipulation
Imperial College London（帝国理工学院）
我们已经看到了最近的进展，在刚性物体的操作，但与可变形物体的相互作用显着落后。由于可变形物体的配置空间很大，使用传统建模方法的解决方案需要大量的工程工作。也许，绕过显式建模的需要，而是以端到端的方式学习控制是一种更好的方法？尽管越来越多的人对使用端到端的机器人学习方法感兴趣，但只有少量的工作集中在它们对可变形物体操纵的适用性上。此外，由于学习这些端到端解决方案需要大量数据，一个新兴的趋势是在仿真中学习控制策略，然后将其转移到现实世界中。到目前为止，还没有工作探讨是否有可能学习和转移可变形对象的政策。我们相信，如果要进一步采用模拟到真实的方法，那么应该可以学习与各种各样的物体进行交互，而不仅仅是刚性物体。在这项工作中，我们使用了最先进的深度强化学习算法的组合来解决操纵可变形物体（特别是布料）的问题。我们在三个任务上评估我们的方法-将毛巾折叠到一个标记处，对角折叠面巾，将一块布挂在衣架上。我们的代理在域随机化的模拟中进行了充分的训练，然后成功地部署在现实世界中，而没有看到任何真实的可变形物体。
2018-10-08 cs.AI cs.LG cs.RO
DISCOVER: Automated Curricula for Sparse-Reward Reinforcement Learning
ETH Zürich, Switzerland（苏黎世联邦理工学院，瑞士）；Max Planck Institute for Intelligent Systems, Germany（智能系统马克斯·普朗克研究所，德国）
本文提出 DISCOVER，通过从现有 RL 算法中提取方向感并自动选择面向目标任务的探索性目标，解决高维超长时域稀疏奖励任务的探索难题，并给出理论界与高维实验验证。
2025-10-20 cs.AI cs.LG cs.RO
Sub-Goal Trees -- a Framework for Goal-Directed Trajectory Prediction and Optimization
Technion（以色列理工学院）；Osaro Inc.（Osaro公司）
在机器人和其他领域，许多人工智能问题都是目标导向的，本质上是寻找一条通往某种目标状态的轨迹。在这样的问题中，我们选择表示轨迹的方式是轨迹预测和优化算法的基础。有趣的是，大多数先前的模仿和强化学习工作都建立在顺序轨迹表示的基础上--计算轨迹中的下一个状态。我们提出了一个不同的观点：一个目标条件的轨迹可以表示为首先选择一个中间状态之间的开始和目标，分割的轨迹分为两个。然后，递归地预测每个子段上的中间点，直到获得完整的轨迹。我们将这种表示称为子目标树，并在此基础上开发了用于轨迹预测，学习和优化的新方法。我们表明，在一个监督学习设置，子目标树更好地考虑轨迹的变化，并可以预测轨迹指数更快地在测试时，利用并发计算。然后，对于优化，我们推导出一个新的子目标树的动态规划方程，并使用它来开发新的规划和强化学习算法。这些算法，这是不是基于标准的贝尔曼方程，自然占分层子目标结构的任务。运动规划领域的实验结果表明，子目标树框架显着提高了准确性和预测时间。
2019-06-12 cs.AI cs.LG stat.ML
Sample Efficient Hierarchical Reinforcement Learning via Best Policy Identification
该研究提出HBPI-UCRL算法，通过并行学习高低层策略，在满足特定低层动力学条件时实现多项式样本复杂度，其样本效率优于非分层算法，为分层强化学习的经验成功提供理论支撑。
2026-08-03 cs.LG
Delving into Macro Placement with Reinforcement Learning
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Google（谷歌）
在物理设计中，人类设计师通常通过试错来放置宏，这是一个马尔可夫决策过程。强化学习（RL）方法在宏布局上表现出超人的性能。在本文中，我们提出了对这一先前工作的扩展（Mirhoseini等人，2020年）。我们首先描述策略和价值网络架构的细节。我们用DREAMPlace代替力导向方法，将标准单元放置在RL环境中。我们还比较了我们的改进方法与其他学术配售公共基准。
2021-09-06 cs.AI cs.LG
A Communication-Efficient Multi-Agent Actor-Critic Algorithm for Distributed Reinforcement Learning
Stony Brook University（石溪大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Princeton University（普林斯顿大学）；Northwestern University（西北大学）
本文考虑了一个分布式强化学习问题，其中多个代理的网络旨在通过仅与本地邻居通信来合作最大化全局平均收益。针对由有向图描述的可能单向通信关系，提出了一种随机通信有效的多Agent Actor-Critic算法。结果表明，该算法可以解决强连通图的问题，通过允许每个代理，只有两个标量值变量在同一时间。
2019-07-06 cs.LG cs.MA stat.ML
Contextual Information-Directed Sampling
Deepmind（深度思维）；Columbia University（哥伦比亚大学）
信息定向采样（Information-Directed Sampling，IDS）是一种高效的强化学习算法。然而，目前还不清楚什么是正确的形式的信息比优化时，上下文信息可用。我们研究了入侵检测系统的设计，通过两个上下文强盗问题：上下文强盗与图反馈和稀疏线性上下文强盗。我们证明了上下文入侵检测系统的优势，条件入侵检测系统，并强调考虑上下文分布的重要性。主要的信息是，一个智能代理应该投资更多的行动，是有益的未来看不见的上下文，而条件IDS可能是短视的。我们进一步提出了一个计算效率的版本的上下文IDS的基础上演员批评和经验评估神经网络上下文强盗。
2022-06-09 cs.LG math.ST stat.ML
The Immersion of Directed Multi-graphs in Embedding Fields. Generalisations
Jiratech
本文的目的是概述了一个通用的模型，用于表示混合的关系分类，符号，感知感知和感知潜在的数据，从而体现，在同一个架构的数据层，表示的输入，输出和潜在的张量。这种表示的多样性目前被计算机视觉、NLP/NLU、强化学习中的各种机器学习模型所使用，这些模型允许直接应用跨域查询和函数。这是通过赋予有向张量类型多图至少一些表示来自各种潜在空间的嵌入的边属性来实现的，以便定义、构建和计算张量形式之间和跨张量形式的新的相似性和距离关系，包括视觉、语言、听觉潜在表示，从而将观察到的宇宙的逻辑分类视图缝合到贝叶斯/统计视图。
2020-04-28 cs.AI cs.CV cs.LG
BaRC: Backward Reachability Curriculum for Robotic Reinforcement Learning
Department of Mechanical Engineering, Stanford University（斯坦福大学机械工程系）；School of Computing Science, Simon Fraser University（西蒙弗雷泽大学计算机科学学院）
本文提出BaRC方法，利用物理先验知识设计课程方案，通过逆向可达性策略加速连续控制MDP中模型无关RL算法的训练，提升性能并减少探索需求。
2018-09-17 cs.LG cs.RO cs.SY
SFP: State-free Priors for Exploration in Off-Policy Reinforcement Learning
ETH Zürich（苏黎世联邦理工学院）
有效探索是深度强化学习中的一个关键挑战。行为先验等几种方法能够利用离线数据，以便有效地加速复杂任务的强化学习。然而，如果手头的任务过度偏离演示的任务，这种方法的有效性是有限的。在我们的工作中，我们建议从更多样化的任务共享的离线数据中学习特征，例如动作和方向性之间的相关性。因此，我们引入了无状态先验，它直接对演示轨迹中的时间一致性进行建模，并且能够在复杂任务中驱动探索，即使在对简单任务收集的数据进行训练时也是如此。此外，我们引入了一种新的集成方案，在政策外的强化学习动态采样的政策和行动的概率混合行动先验的行动先验。我们将我们的方法与强基线进行了比较，并提供了经验证据，证明它可以在稀疏奖励设置下加速长时间连续控制任务中的强化学习。
2022-08-31 cs.LG
Backprop-Free Reinforcement Learning with Active Neural Generative Coding
Rochester Institute of Technology（罗切斯特理工学院）；Pennsylvania State University（宾夕法尼亚州立大学）
在人类中，感知觉有助于从感官输入中快速识别和提取信息。这种意识在很大程度上取决于人类主体如何与环境互动。在这项工作中，我们提出了主动神经生成编码，这是一种用于在动态环境中学习动作驱动生成模型而不会反向传播错误（backprop）的计算框架。具体来说，我们开发了一个智能代理，即使在稀疏的奖励，从规划推理的认知理论中汲取灵感。我们在几个简单的控制问题上证明了我们的框架与深度Q学习的竞争力。我们的代理的强大性能提供了有希望的证据，证明神经推理和学习的无反向传播方法可以驱动目标导向行为。
2021-12-19 cs.LG
Connections between reinforcement learning with feedback,test-time scaling, and diffusion guidance: An anthology
Department of Statistics and Data Science, Chinese University of Hong Kong（统计与数据科学系，香港中文大学）；Department of Statistics and Data Science, the Wharton School, University of Pennsylvania（统计与数据科学系，沃顿商学院，宾夕法尼亚大学）
该研究梳理了人类反馈强化学习、内部反馈强化学习、测试时缩放及扩散引导等训练后技术间的关联与等价性，还提出了无需显式强化学习的对齐与奖励导向扩散模型重采样方法。
2025-09-04 cs.GL cs.LG math.ST
Learning, Fast and Slow: A Goal-Directed Memory-Based Approach for Dynamic Environments
National University of Singapore（新加坡国立大学）
基于模型的下一状态预测和状态值预测收敛缓慢。为了应对这些挑战，我们做了以下几点：i）我们使用并行记忆检索系统（我们称之为慢速机制）来进行基于模型的规划，而不是使用神经网络; ii）我们使用目标导向探索来指导智能体的行动，而不是学习状态值，通过使用神经网络来选择给定当前状态和目标状态的下一个行动（我们称之为快速机制）。目标导向的探索是在线训练的，使用海马回放访问状态和未来想象的状态，每一个时间步，导致快速和有效的训练。实证研究表明，我们提出的方法在动态变化的网格世界中的100集上有92%的解决率，显著优于最先进的演员评论机制，如PPO（54%），TRPO（50%）和A2C（24%）。消融研究表明，这两种机制都是至关重要的。我们认为，强化学习（RL）的未来将是为各种任务建模目标和子目标，并以目标导向的基于记忆的方法进行规划。
2023-02-01 cs.AI cs.LG
Reward-Directed Conditional Diffusion: Provable Distribution Estimation and Reward Improvement
Princeton University（普林斯顿大学）
本文提出利用含噪奖励标签训练伪标签器并指导条件扩散生成，证明其可估计奖励条件分布、恢复潜在子空间并向目标奖励改进。
2023-07-13 cs.LG
