Directed-MAML: Meta Reinforcement Learning Algorithm with Task-directed Approximation
Department of Mechanical Engineering, Virginia Polytechnic Institute and State University（弗吉尼亚理工大学机械工程系）
针对MAML应用于元强化学习时计算内存开销高、收敛难的问题，提出带任务导向近似的Directed-MAML算法，在多场景下效率与收敛速度优于基线，且该近似可集成至其他元学习算法提升性能。
2025-09-30 cs.AI cs.LG
Measuring Goal-Directedness
Imperial College London（帝国理工学院）；University of Oxford（牛津大学）；London Initiative for Safe AI（伦敦安全人工智能倡议）；Google DeepMind（谷歌DeepMind）
本文提出最大熵目标导向性（MEG）这一形式化度量及计算算法，可在因果模型和马尔可夫决策过程中针对效用函数、假设类别或随机变量衡量目标导向性，并验证其满足多项期望特性。
2024-12-06 cs.AI cs.LG
Divide-and-Conquer Monte Carlo Tree Search For Goal-Directed Planning
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；DeepMind
用于顺序决策的标准规划器（包括蒙特卡罗规划、树搜索、动态规划等）都受到一个隐含的顺序计划假设的约束：计划的构建顺序与执行顺序相同。我们考虑替代这一假设的类目标导向的强化学习（RL）的问题。而不是一个环境过渡模型，我们假设一个不完美的，目标导向的政策。这个低层次的策略可以通过一个计划来改进，该计划由一系列适当的子目标组成，这些子目标从开始到目标状态都对策略进行指导。我们提出了一个规划算法，分治蒙特卡罗树搜索（DC-MCTS），近似的最优计划，通过提出的中间子目标，分层划分的初始任务成简单的，然后独立和递归地解决。该算法批判性地利用了一个学习的子目标的建议，找到适当的分区树的新任务的基础上先前的经验。学习子目标建议的不同策略会产生严格概括顺序规划的不同规划策略。我们表明，这种算法的灵活性，规划顺序导致改进的结果，在网格世界中的导航任务，以及在具有挑战性的连续控制环境。
2020-04-23 cs.AI cs.LG stat.ML
Follow your Nose: Using General Value Functions for Directed Exploration in Reinforcement Learning
TCS Research（塔塔咨询服务研究院）
提高样本效率是强化学习中的一个关键挑战，特别是在具有大状态空间和稀疏奖励的环境中。在文献中，这是通过使用辅助任务（子目标）或通过聪明的探索策略来解决的。探索方法已被用于在大环境中采样更好的轨迹，而辅助任务已被纳入奖励稀疏的地方。然而，很少有研究试图同时解决大规模和奖励稀疏性问题。本文利用一般价值函数和定向探索策略，探讨了将探索与辅助任务学习相结合的思想。我们提出了一种学习价值函数的方法，该方法可用于对动作进行采样并提供定向探索。在不同网格大小的导航任务上的实验表明，与几个有竞争力的基线相比，该算法具有性能优势。
2023-02-27 cs.AI cs.LG
Sub-Goal Trees -- a Framework for Goal-Directed Trajectory Prediction and Optimization
Technion（以色列理工学院）；Osaro Inc.（Osaro公司）
在机器人和其他领域，许多人工智能问题都是目标导向的，本质上是寻找一条通往某种目标状态的轨迹。在这样的问题中，我们选择表示轨迹的方式是轨迹预测和优化算法的基础。有趣的是，大多数先前的模仿和强化学习工作都建立在顺序轨迹表示的基础上--计算轨迹中的下一个状态。我们提出了一个不同的观点：一个目标条件的轨迹可以表示为首先选择一个中间状态之间的开始和目标，分割的轨迹分为两个。然后，递归地预测每个子段上的中间点，直到获得完整的轨迹。我们将这种表示称为子目标树，并在此基础上开发了用于轨迹预测，学习和优化的新方法。我们表明，在一个监督学习设置，子目标树更好地考虑轨迹的变化，并可以预测轨迹指数更快地在测试时，利用并发计算。然后，对于优化，我们推导出一个新的子目标树的动态规划方程，并使用它来开发新的规划和强化学习算法。这些算法，这是不是基于标准的贝尔曼方程，自然占分层子目标结构的任务。运动规划领域的实验结果表明，子目标树框架显着提高了准确性和预测时间。
2019-06-12 cs.AI cs.LG stat.ML
Directed Exploration in PAC Model-Free Reinforcement Learning
Columbia University（哥伦比亚大学）
我们研究了一种无模型强化学习的探索方法，该方法推广了基于计数器的探索奖励方法，并考虑了动作的长期探索价值，而不是单步的前瞻。我们提出了一种无模型强化学习方法，该方法修改了延迟Q学习，并利用了具有可证明效率的长期探索奖金。我们表明，我们提出的方法发现一个接近最优的政策在多项式时间（PAC-MDP），也提供了实验证据，我们提出的算法是一个有效的探索方法。
2018-08-31 cs.LG stat.ML
Reachability analysis in stochastic directed graphs by reinforcement learning
Istituto di Analisi dei Sistemi ed Informatica “A. Ruberti”, Consiglio Nazionale delle Ricerche（意大利国家研究委员会“A.鲁贝尔蒂”系统分析与信息研究所）；University of Catania（卡塔尼亚大学）；Politecnico di Torino（都灵理工大学）
利用强化学习方法刻画了随机有向图的可达概率。特别是，我们表明，在一个随机有向图的转移概率的动态可以通过差分包含，这反过来又可以被解释为一个马尔可夫决策过程建模。使用后一种框架，我们提供了一种方法来设计奖励函数，以提供一组节点的随机有向图的可达概率的上界和下界。通过将该技术应用于流行病在移动代理邻近模式生成的时变接触网络上的传播，证明了该技术的有效性。
2022-02-25 cs.AI cs.LG
STEERING: Stein Information Directed Exploration for Model-Based Reinforcement Learning
University of Maryland, College Park（马里兰大学帕克分校）；JP Morgan Chase AI Research（摩根大通人工智能研究院）；Princeton University（普林斯顿大学）；Deepmind（深度思维）
本文提出 STEERING 算法，利用核化 Stein 差异作为积分概率度量形式的探索激励，解决稀疏奖励下基于模型的强化学习中的导向探索问题，并证明其具有次线性贝叶斯遗憾且实验表现优于现有方法。
2023-09-19 cs.AI cs.LG stat.ML
Graph Convolutional Policy Network for Goal-Directed Molecular Graph Generation
Stanford University（斯坦福大学）
生成新的图结构，优化给定的目标，同时遵守一些给定的基本规则是化学，生物学和社会科学研究的基础。这在分子图生成任务中尤为重要，其目标是发现具有所需性质（如药物相似性和合成可及性）的新分子，同时遵守化学价等物理定律。然而，设计模型以找到优化所需性质的分子，同时结合高度复杂和不可微的规则仍然是一项具有挑战性的任务。在这里，我们提出了图卷积策略网络（GCPN），一个通用的基于图卷积网络的模型，用于通过强化学习生成目标有向图。该模型经过训练，通过策略梯度优化特定领域的奖励和对抗损失，并在包含特定领域规则的环境中发挥作用。实验结果表明，GCPN可以实现61%的改进，在最先进的基线化学性质优化，同时类似于已知的分子，并实现184%的改进的约束性质优化任务。
2019-02-25 cs.AI cs.LG stat.ML
Goal-Directed Planning by Reinforcement Learning and Active Inference
Okinawa Institute of Science and Technology（冲绳科学技术大学院大学）
目标导向的行为和习惯性行为有什么区别？我们提出了一个新的计算框架的决策与贝叶斯推理，其中一切都集成为一个完整的神经网络模型。该模型通过自我探索和通过采样随机内部状态${z}$产生运动动作来学习预测环境状态转换。通过强化学习，从${z}$的先验分布中获得习惯行为。目标导向的行为是通过规划从后验分布的${z}$，使用主动推理，优化过去，当前和未来的${z}$，通过最小化的变化自由能所需的未来观测约束所观察到的感觉序列。我们通过实验证明了所提出的框架的有效性，在感觉运动导航任务与相机的观察和连续的电机动作。
2021-06-22 cs.AI cs.LG cs.RO
Learning, Fast and Slow: A Goal-Directed Memory-Based Approach for Dynamic Environments
National University of Singapore（新加坡国立大学）
基于模型的下一状态预测和状态值预测收敛缓慢。为了应对这些挑战，我们做了以下几点：i）我们使用并行记忆检索系统（我们称之为慢速机制）来进行基于模型的规划，而不是使用神经网络; ii）我们使用目标导向探索来指导智能体的行动，而不是学习状态值，通过使用神经网络来选择给定当前状态和目标状态的下一个行动（我们称之为快速机制）。目标导向的探索是在线训练的，使用海马回放访问状态和未来想象的状态，每一个时间步，导致快速和有效的训练。实证研究表明，我们提出的方法在动态变化的网格世界中的100集上有92%的解决率，显著优于最先进的演员评论机制，如PPO（54%），TRPO（50%）和A2C（24%）。消融研究表明，这两种机制都是至关重要的。我们认为，强化学习（RL）的未来将是为各种任务建模目标和子目标，并以目标导向的基于记忆的方法进行规划。
2023-02-01 cs.AI cs.LG
Structure-aware Reinforcement Learning for Protein Directed Evolution
Institute of AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院（AIR））；Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系）；Pharmolix Inc.（Pharmolix公司）
提出结构感知强化学习框架StructEvo，利用增量结构融合编码器和分层动作网络解决蛋白质定向进化中结构信息整合难题，在两个基准上分别提升9.2%和16.3%，并验证了GFP中的上位效应。
2026-11-06 cs.AI cs.LG
Fast Value Iteration for Goal-Directed Markov Decision Processes
Hong Kong University of Science & Technology（香港科技大学）
规划问题中的行动的影响是不确定的，可以建模为马尔可夫决策过程。规划问题通常是目标导向的。本文提出了几种技术，利用目标导向加速值迭代，解决马尔可夫决策过程的标准算法。实证研究表明，这些技术可以显着提高速度。
2013-02-06 cs.AI
Federated Ensemble-Directed Offline Reinforcement Learning
Texas A&M University（德克萨斯农工大学）
针对联邦离线强化学习中简单结合标准方法性能差的问题，提出基于集成学习提炼客户端智慧的FEDORA算法，在多类环境和真实机器人上均取得更优性能。
2024-10-04 cs.AI cs.LG
Mol-AIR: Molecular Reinforcement Learning with Adaptive Intrinsic Rewards for Goal-directed Molecular Generation
Incheon National University（仁川国立大学）；Hallym University（翰林大学）
Mol-AIR提出一种结合随机蒸馏网络与计数策略的自适应内在奖励强化学习框架，在无先验知识条件下提升目标导向分子生成性能，并在多项基准测试中优于现有方法。
2024-03-29 cs.AI cs.LG q-bio.BM
Zero-Shot Goal-Directed Dialogue via RL on Imagined Conversations
UC Berkeley（加州大学伯克利分校）
针对大语言模型难以胜任多轮目标导向对话的问题，提出利用LLM生成类人合成对话轨迹、结合离线强化学习训练智能体的方法，在教学、偏好引导等任务中取得SOTA性能。
2023-11-09 cs.AI cs.CL cs.LG
Constrained Goal-directed Planar Graph Generation with Grammar-based Reinforcement Learning
ETH Zürich（苏黎世联邦理工学院）
提出一种结合参数化图语法与安全强化学习的无数据集方法，在生成过程中直接构建满足硬约束的可行平面图嵌入，并在新基准套件上优于经典和深度生成基线。
2026-10-06 cs.LG
Outcome-directed Reinforcement Learning by Uncertainty & Temporal Distance-Aware Curriculum Goal Generation
Seoul National University（首尔国立大学）；Automation and Systems Research Institute（自动化与系统研究所）；Artificial Intelligence Institute of Seoul National University（首尔国立大学人工智能研究所）
当前的强化学习（RL）在解决一个具有挑战性的探索问题时经常会遇到困难，因为在这个问题上很少能观察到期望的结果或高回报。尽管课程强化学习（一种通过提出一系列替代任务来解决复杂任务的框架）显示出合理的结果，但由于缺乏在没有任何先验领域知识的情况下获得校准指导以达到所需结果状态的机制，大多数以前的作品仍然难以提出课程。为了缓解这一问题，我们提出了一个不确定性和时间距离感知的课程目标生成方法的结果导向RL通过解决一个二分匹配问题。与以往的课程强化学习方法相比，该方法不仅可以提供精确校准的课程目标引导，而且具有更好的样本效率和几何不可知的课程目标建议能力。我们证明了我们的算法在各种具有挑战性的导航任务和机器人操作任务中以定量和定性的方式显着优于这些先前的方法。
2023-02-20 cs.AI cs.LG cs.RO
Distributed Cooperative Multi-Agent Reinforcement Learning with Directed Coordination Graph
North Carolina State University（北卡罗来纳州立大学）；Oklahoma State University（俄克拉荷马州立大学）；DEVCOM U.S. Army Research Laboratory（美国陆军作战能力发展司令部陆军研究实验室）
现有的分布式协作多智能体强化学习（MARL）框架通常假设无向协调图和通信图，同时通过共识算法估计全局奖励进行策略评估。这样的框架可能会导致昂贵的通信成本，并表现出较差的可扩展性，由于全球共识的要求。在这项工作中，我们研究了MARL与有向协调图，并提出了一个分布式RL算法的本地政策评估是基于本地价值函数。每个Agent的局部价值函数通过有向学习诱导的通信图与其邻居进行局部通信来获得，而不使用任何共识算法。采用基于参数摄动的零阶优化（ZOO）方法实现梯度估计。通过与现有的基于ZOO的RL算法的比较，我们表明，我们提出的分布式RL算法保证了高的可扩展性。一个分布式资源分配的例子来说明我们的算法的有效性。
2022-01-10 cs.AI cs.LG cs.MA
On Chatbots Exhibiting Goal-Directed Autonomy in Dynamic Environments
IBM Research（IBM研究院）
会话界面（CI）或聊天机器人是一种流行的智能代理形式，可以让人类参与面向任务或非正式的对话。在这份立场文件和演示中，我们认为，在动态环境中工作的聊天机器人，如传感器数据，不仅可以作为一个有前途的平台，研究学习，推理，表示和执行的交叉问题，以实现目标导向的自治;而且还可以处理非平凡的业务应用程序。我们探讨的背景下，水顾问，一个初步的多模式对话系统，可以访问和解释水质数据的根本问题。
2018-03-26 cs.AI
Many-Goals Reinforcement Learning
University of Michigan（密歇根大学）
全目标更新利用Q学习的非策略性质来更新智能体在世界中的每个转变中可能具有的所有可能目标，并由Kaelbling（1993）引入到强化学习（RL）中。在以前的工作中，这主要是在小状态RL问题中进行的探索，这些问题允许表格表示，并且所有可能的目标都可以明确枚举并单独学习。在本文中，我们经验性地探索了在深度神经网络（简称DeepRL）的RL背景下更新许多（而不是所有）目标的想法的3种不同扩展。首先，在Kaelbling的方法的直接适应，我们探讨如果多目标更新可以用来实现掌握非表格视觉观察域。其次，我们探讨了多目标更新是否可以用于预训练网络，以便随后在感兴趣的单个主要任务上更快更好地学习。第三，我们探讨了多目标更新是否可以用来提供辅助任务更新，以训练网络更快，更好地学习一个感兴趣的主要任务。我们为3个扩展中的每一个提供了与基线的比较。
2018-06-22 cs.AI cs.LG stat.ML
Bayesian Soft Actor-Critic: A Directed Acyclic Strategy Graph Based Deep Reinforcement Learning
University of Georgia（佐治亚大学）
本文提出基于贝叶斯链式的有向无环策略图分解方法，并与 SAC 结合构建 BSAC，以提升资源受限智能体在复杂环境中的连续控制训练效率。
2023-12-04 cs.AI cs.LG cs.RO
CostNet: An End-to-End Framework for Goal-Directed Reinforcement Learning
University of Agder（阿格德大学）
强化学习（RL）是一个通用的框架，它涉及一个在环境中寻求最大化奖励的智能体。学习通常是通过使用探索性方法（如epsilon-greedy）的尝试和错误来进行的。有两种方法，基于模型和无模型强化学习，在几个学科中显示出具体的结果。基于模型的强化学习学习环境的模型来学习策略，而无模型方法是完全探索性和利用性的，而不考虑底层的环境动态。无模型强化学习在模拟环境中工作得很好，经验证据表明，经过足够的训练，试错会导致接近最佳的行为。另一方面，基于模型的强化学习的目标是样本效率，研究表明，它需要在真实环境中进行更少的训练来学习一个好的策略。RL的一个重大挑战是，它依赖于一个定义良好的奖励函数来适应复杂的环境，而这样的奖励函数很难定义。目标导向强化学习是一种替代方法，它学习一个内在的奖励函数，强调一些探索的轨迹，揭示了通往目标状态的路径。本文介绍了一种新的强化学习算法，用于预测马尔可夫决策过程中两个状态之间的距离。学习距离函数作为一种内在的奖励，为智能体的学习提供动力。使用的距离度量作为奖励，我们表明，该算法执行无模型的RL，同时具有显着更好的样本效率在几个测试环境。
2022-10-03 cs.AI cs.LG
Disentangled Skill Embeddings for Reinforcement Learning
Imperial College London（伦敦帝国理工学院）
我们提出了一个新的多任务强化学习（MTRL）的框架。使用变分推理公式，我们学习的政策，概括了不断变化的动态和目标。由此产生的政策是参数化的共享参数，允许不同的动态和目标条件之间的转移，并通过任务特定的潜在空间嵌入，允许专业化特定的任务。我们展示了潜在空间如何使泛化到看不见的动态和目标条件。此外，配备了这种嵌入的策略可以作为分层强化学习的技能（或选项）空间。由于我们可以独立地改变任务动态和目标，我们将我们的框架命名为Disentangled Skill Embeddings（DSE）。
2019-06-21 cs.AI cs.LG stat.ML
Pre-trained Word Embeddings for Goal-conditional Transfer Learning in Reinforcement Learning
University of Antwerp（安特卫普大学）；imec（比利时微电子研究中心）
强化学习（RL）算法通常从白板开始，没有任何环境的先验知识，也没有任何先验技能。然而，这通常导致低样本效率，需要与环境的大量相互作用。在终身学习环境中尤其如此，在这种环境中，代理需要不断扩展其能力。在本文中，我们研究了预训练的任务无关的语言模型如何使目标条件RL代理更具样本效率。我们通过促进不同相关任务之间的迁移学习来做到这一点。我们实验证明我们的方法对一组对象导航任务。
2020-07-10 cs.AI cs.LG stat.ML
EUBRL: Epistemic Uncertainty Directed Bayesian Reinforcement Learning
National University of Singapore（新加坡国立大学）
EUBRL通过信念不确定性引导，在稀疏奖励、长时间跨度和随机性任务中实现了高效、可扩展且一致的强化学习性能。
2026-02-28 cs.LG
ACTRCE: Augmenting Experience via Teacher's Advice For Multi-Goal Reinforcement Learning
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Google Brain（谷歌大脑）
稀疏奖励是强化学习中最具挑战性的问题之一。后见之明经验重演（HER）试图解决这个问题，通过重新标记目标，将失败的经验转化为成功的经验。尽管它的有效性，HER具有有限的适用性，因为它缺乏一个紧凑和通用的目标表示。我们目前通过TeacheR的增强体验（ACTRCE），一个有效的强化学习技术，使用自然语言作为目标表示扩展HER框架。我们首先分析了目标表示之间的差异，并表明ACTRCE可以有效地解决困难的强化学习问题，在具有挑战性的3D导航任务，而HER与非语言目标表示未能学习。我们还表明，与语言的目标表示，代理可以概括到看不见的指令，甚至概括到看不见的词汇的指令。我们进一步证明了使用后见之明的建议来解决具有挑战性的任务是至关重要的，即使是少量的建议也足以使代理实现良好的性能。
2019-02-12 cs.AI cs.LG cs.NE
Maximum Entropy Gain Exploration for Long Horizon Multi-goal Reinforcement Learning
University of Toronto（多伦多大学）；Vector Institute（Vector研究所）
多目标强化学习智能体在训练长视野任务时应该追求什么目标？当期望的（测试时间）目标分布太远，提供一个有用的学习信号，我们认为，代理不应该追求无法实现的目标。相反，它应该设定自己的内在目标，以最大化历史已实现目标分布的熵。我们建议通过让代理在目标空间的稀疏探索区域中追求过去实现的目标来优化这一目标，该区域将探索集中在可实现目标集的前沿。我们表明，我们的策略实现了一个数量级更好的样本效率比现有技术的长期视野多目标任务，包括迷宫导航和块堆叠。
2020-07-06 cs.AI cs.LG cs.RO
Regret Bounds for Information-Directed Reinforcement Learning
Deepmind（深度思维）
信息定向采样（IDS）作为一种数据高效的强化学习（RL）算法，已显示出其潜力。然而，对马尔可夫决策过程（MDP）的入侵检测系统的理论认识仍然有限。我们开发了新的信息理论工具来约束学习目标的信息比和累积信息增益。我们的理论结果揭示了选择学习目标的重要性，这样的从业者可以平衡的计算和遗憾的界限。因此，我们推导出无先验贝叶斯遗憾界香草IDS学习整个环境下的表格有限地平线MDPs。此外，我们提出了一个计算效率高的正则化IDS，最大化的加法形式，而不是比率形式，并表明它享有相同的遗憾界香草IDS。在率失真理论的帮助下，我们通过学习一个替代的、信息量较少的环境来提高遗憾边界。此外，我们将我们的分析扩展到线性MDP，并证明了类似的遗憾界汤普森采样作为一个副产品。
2022-11-24 cs.IT cs.LG math.IT
Swapped goal-conditioned offline reinforcement learning
Tampere University（坦佩雷大学）；Aalto University（阿尔托大学）
离线目标条件强化学习（GCRL）由于对给定数据集的过拟合而具有挑战性。为了概括给定数据集之外的代理的技能，我们提出了一个目标交换过程，生成额外的轨迹。为了减轻噪声和外推误差的问题，我们提出了一种通用的离线强化学习方法，称为确定性Q优势策略梯度（DQAPG）。在实验中，DQAPG在广泛的基准任务中优于最先进的目标条件离线RL方法，目标交换进一步改善了测试结果。值得注意的是，所提出的方法在具有挑战性的灵巧手操作任务上获得了良好的性能，而先前的方法失败了。
2023-02-17 cs.AI cs.LG
Goal directed molecule generation using Monte Carlo Tree Search
IIT Madras（马德拉斯印度理工学院）
生物化学中的一个具有挑战性和重要性的任务是产生具有所需性质的新分子。新分子的产生仍然是一个挑战，因为分子空间很难导航，所产生的分子应该遵守化学价的规则。通过这项工作，我们提出了一种新的方法，我们称之为unitMCTS，进行分子生成的单元变化的分子在每一步使用蒙特卡罗树搜索。我们表明，这种方法优于最近发表的基准分子优化任务，如量子电动力学和惩罚logP的技术。我们还证明了这种方法在改善分子性质的同时与起始分子相似的有用性。考虑到不涉及学习，我们的方法可以在更短的时间内找到所需的分子。
2020-12-11 cs.AI cs.LG
Goal Misgeneralization in Deep Reinforcement Learning
University of Cambridge（剑桥大学）；University of Tübingen（蒂宾根大学）；University of Edinburgh（爱丁堡大学）；DeepMind（深度思维）
我们研究了目标泛化错误，一种在强化学习（RL）中的分布外泛化失败。当RL代理保留其分布外的能力但追求错误的目标时，会发生目标泛化错误。例如，一个智能体可能继续胜任地避开障碍物，但导航到了错误的地方。相比之下，以前的作品通常集中在能力泛化失败，代理未能在测试时做任何明智的。我们正式能力和目标泛化之间的区别，提供了第一个经验证明的目标泛化错误，并提出了部分表征其原因。
2023-01-09 cs.AI cs.LG
Information Directed Reward Learning for Reinforcement Learning
ETH Zurich（苏黎世联邦理工学院）；University of Vienna（维也纳大学）；Microsoft Research Cambridge（微软剑桥研究院）；Spotify（声田）
对于许多强化学习（RL）应用，指定奖励是困难的。本文考虑了一种RL设置，其中代理仅通过查询专家来获得有关奖励的信息，例如，可以评估单个状态或提供轨迹的二进制偏好。从这样昂贵的反馈中，我们的目标是学习一个奖励模型，该模型允许标准RL算法以尽可能少的专家查询实现高预期回报。为此，我们提出了信息导向的奖励学习（IDRL），它使用贝叶斯模型的奖励和选择查询，最大限度地提高信息收益的差异，在回报之间的合理最优的政策。与针对特定类型查询设计的先前主动奖励学习方法相比，IDRL自然地适应不同的查询类型。此外，它实现了类似的或更好的性能与显着更少的查询，通过转移的重点从减少奖励近似误差，以提高政策诱导的奖励模型。我们支持我们的研究结果在多个环境中进行了广泛的评估，并与不同的查询类型。
2022-01-31 cs.LG
Goal-directed Generation of Discrete Structures with Conditional Generative Models
University of Geneva（日内瓦大学）；University of Applied Sciences Western Switzerland（瑞士西部应用科学大学）；University College London（伦敦大学学院）；Alan Turing Institute（阿兰·图灵研究所）
尽管最近取得了进展，但结构化离散数据的目标导向生成仍然具有挑战性。对于诸如程序合成（生成源代码）和材料设计（生成分子）之类的问题，找到满足所需约束或表现出所需性质的例子是困难的。在实践中，通常采用昂贵的启发式搜索或强化学习算法。在本文中，我们研究了使用条件生成模型直接攻击这个逆问题，通过建模离散结构的分布给定的属性的兴趣。不幸的是，这种模型的最大似然训练经常失败，因为来自生成模型的样本不充分地尊重输入属性。为了解决这个问题，我们引入了一种新的方法来直接优化强化学习目标，最大化预期奖励。我们避免了高方差的得分函数估计，否则将需要从一个近似的归一化奖励采样，允许简单的蒙特卡罗模型梯度估计。我们在两个任务上测试我们的方法：生成具有用户定义属性的分子和识别评估给定目标值的短Python表达式。在这两种情况下，我们发现最大似然估计和其他基线的改进。
2020-10-23 cs.LG stat.ML
Universal Value Density Estimation for Imitation Learning and Goal-Conditioned Reinforcement Learning
Georgia Institute of Technology（佐治亚理工学院）
这项工作考虑了两种不同的设置：模仿学习和目标条件强化学习。无论哪种情况，有效的解决方案都需要代理可靠地达到指定的状态（目标）或一组状态（演示）。绘制概率长期动态和所需的价值函数之间的连接，这项工作介绍了一种方法，利用密度估计的最新进展，有效地学习达到一个给定的状态。作为我们的第一个贡献，我们使用这种方法的目标条件强化学习，并表明它是有效的，不遭受事后诸葛亮偏见随机域。作为我们的第二个贡献，我们扩展了模仿学习的方法，并表明它实现了最先进的示范样本效率的标准基准任务。
2020-02-15 cs.LG stat.ML
Dialogue Action Tokens: Steering Language Models in Goal-Directed Dialogue with a Multi-Turn Planner
Harvard University（哈佛大学）
本研究提出Dialogue Action Tokens方法，通过小型规划器输出连续动作向量引导冻结的预训练语言模型进行多轮目标导向对话，既避免语言退化，又在社交模拟基准上超越GPT-4，还拓展了多轮红队攻击的新方向。
2024-06-17 cs.AI cs.CL cs.LG
Why Goal-Conditioned Reinforcement Learning Works: Relation to Dual Control
Department of Chemical and Biomolecular Engineering, University of California, Berkeley, CA 94720 USA（化学与生物分子工程系，加州大学伯克利分校，CA 94720 USA）
本文分析了目标条件强化学习与最优控制的关系，揭示了经典目标条件奖励与传统二次目标之间的优化差距，并验证了目标条件策略在非线性和不确定环境中的优势。
2026-05-14 cs.AI cs.LG
Curriculum goal masking for continuous deep reinforcement learning
Department of Informatics Universit\"at Hamburg Germany
深度强化学习最近已经获得了对策略或价值函数独立于目标的问题的关注。有证据表明，目标抽样对学习绩效有很强的影响，但缺乏一般的机制，专注于优化目标抽样过程。在这项工作中，我们提出了一个简单而通用的目标掩蔽方法，也使我们能够估计目标的难度水平，从而实现深度RL的课程学习方法。我们的研究结果表明，专注于中等难度的目标是适当的深度确定性策略梯度（DDPG）的方法，而“瞄准星星，达到月球的战略”，硬目标的采样比简单的目标，导致最好的学习性能的情况下，DDPG结合后见之明的经验重放（HER）。我们证明，该方法显着优于标准的目标采样不同的机器人对象操作问题。
2019-02-13 cs.LG stat.ML
Goal Exploration via Adaptive Skill Distribution for Goal-Conditioned Reinforcement Learning
University of Manchester（曼彻斯特大学）
针对目标条件强化学习中的探索效率问题，提出GEASD框架，通过自适应技能分布优化局部熵，增强目标扩散，实验证明其优于均匀分布且具备泛化能力。
2024-04-19 cs.AI cs.LG
Learning Goal Embeddings via Self-Play for Hierarchical Reinforcement Learning
New York University（纽约大学）；Facebook AI Research（脸书人工智能研究院）
在分层强化学习中，一个主要的挑战是确定适当的低级策略。我们提出了一个无监督学习方案，该方案基于Sukhbaatar et al.（2018）的非对称自我游戏，可以自动学习环境中子目标的良好表示以及可以执行它们的低级策略。然后，高级策略可以通过生成一系列连续的子目标向量来指导较低的策略。我们使用Mazebase和Mujoco环境评估我们的模型，包括具有挑战性的AntGather任务。子目标嵌入的可视化揭示了环境中任务的逻辑分解。量化，我们的方法获得了令人信服的性能增益超过非层次的方法。
2018-11-22 cs.LG stat.ML
Graph Contextual Reinforcement Learning for Efficient Directed Controller Synthesis
Waseda University（早稻田大学）；Southwest University（西南大学）；Institute of Science Tokyo（东京科学研究所）
本文提出GCRL方法，通过整合图神经网络提升强化学习在控制器合成中的效率和泛化能力。
2025-12-17 cs.AI
Goal-Conditioned Reinforcement Learning: Problems and Solutions
Shanghai Jiao Tong University（上海交通大学）
目标条件强化学习（GCRL），与一组复杂的强化学习问题相关，训练智能体在特定场景下实现不同的目标。与仅根据状态或观察来学习策略的标准RL解决方案相比，GCRL还要求代理根据不同的目标做出决策。在本调查中，我们全面概述了GCRL的挑战和算法。首先，我们回答了该领域研究的基本问题。然后，我们将解释目标是如何表示的，并从不同的角度介绍现有的解决方案是如何设计的。最后，我们总结并讨论了未来的研究重点。
2022-09-02 cs.AI cs.LG
Hybridising Reinforcement Learning and Heuristics for Hierarchical Directed Arc Routing Problems
University of Alabama at Birmingham（阿拉巴马大学伯明翰分校）；State University of New York at Buffalo（纽约州立大学布法罗分校）；Lancaster University（兰卡斯特大学）
本文针对分层有向容量约束弧路由问题（HDCARP）提出混合强化学习与启发式算法HRDA，利用强化学习动态引导局部搜索算子选择，在保持解质量的同时显著提升求解速度。
2025-01-01 cs.LG
Proposing Hierarchical Goal-Conditioned Policy Planning in Multi-Goal Reinforcement Learning
Stellenbosch University（斯泰伦博斯大学）
本文提出HGCPP框架，将目标条件策略、蒙特卡洛树搜索与分层强化学习相结合，通过分层组织短期策略和高层动作规划，提升多目标稀疏奖励任务中的样本效率与规划能力。
2025-01-03 cs.AI cs.LG
Learning Generative Models with Goal-conditioned Reinforcement Learning
Inria（法国国家信息与自动化研究所）；ENS Lyon（里昂高等师范学院）
我们提出了一个新的，替代框架学习生成模型与目标条件强化学习。我们定义了两个代理，一个目标条件代理（GC-代理）和一个监督代理（S-代理）。给定一个用户输入的初始状态，GC代理学习重建训练集。在这种情况下，训练集中的元素就是目标。在训练过程中，S-agent学习模仿GC-agent，同时保持对目标的不可知性。在推理时，我们用S-代理生成新的样本。按照类似的路线，在变分自动编码器，我们推导出一个上界的负对数似然，包括重建项和GC-代理政策和（目标不可知的）S-代理政策之间的分歧。我们的经验表明，我们的方法是能够生成多样化和高质量的图像合成任务的样本。
2023-03-26 cs.LG stat.ML
GCHR : Goal-Conditioned Hindsight Regularization for Sample-Efficient Reinforcement Learning
本文提出后见目标条件正则化（HGR）与后见自模仿正则化（HSR），通过生成动作正则化先验最大化经验利用率，显著提升了离线策略GCRL在稀疏奖励下的样本效率和性能。
2025-08-08 cs.AI cs.LG
A Note on Information-Directed Sampling and Thompson Sampling
Carnegie Mellon University（卡内基梅隆大学）
本文介绍了三种贝叶斯式多臂强盗算法：信息定向抽样、汤普森抽样和广义汤普森抽样。目的是对这三种算法及其遗憾界给出一个直观的解释，并提供一些在原论文中省略的推导。
2015-03-24 cs.AI cs.LG
Probabilistic Curriculum Learning for Goal-Based Reinforcement Learning
University of Queensland（昆士兰大学）；Electrical Engineering and Computer Science（电气工程与计算机科学学院）
针对强化学习中目标自动创建的挑战，提出一种概率课程学习算法，通过为连续控制和导航任务中的智能体建议目标，系统分解复杂行为以实现多模态策略。
2025-04-02 cs.AI cs.LG
Inverse Reinforcement Learning with Natural Language Goals
Amazon Alexa（亚马逊Alexa）
人类通常使用自然语言来相互传达任务要求。理想情况下，自然语言也应该可用于向自主机器传达目标（例如，机器人），以最大限度地减少任务规范中的摩擦。然而，理解和映射自然语言目标的状态和动作序列是具有挑战性的。具体地说，现有的工作沿着这些路线遇到了困难，在推广学习的政策，以新的自然语言的目标和环境。在本文中，我们提出了一种新的对抗逆强化学习算法来学习语言条件的政策和奖励函数。为了提高学习策略和奖励函数的泛化能力，我们使用变分目标生成器在训练过程中重新标记轨迹并对不同的目标进行采样。我们的算法在基于视觉的自然语言指令遵循数据集（Room-2-Room）上的性能大大优于多个基线，这表明在指定代理目标时使用自然语言指令是一个很有前途的进步。
2020-12-16 cs.AI cs.LG
Hindsight Expectation Maximization for Goal-conditioned Reinforcement Learning
Columbia University（哥伦比亚大学）；Fero Labs（费罗实验室）
我们提出了一个图形化的模型框架目标条件强化学习，与EM算法，操作的RL目标的下限。E步骤提供了一个自然的解释如何“事后学习”的技术，如HER，处理极其稀疏的目标条件奖励。M-step将策略优化简化为监督学习更新，这极大地稳定了对图像等高维输入的端到端训练。我们表明，组合算法，hEM显着优于无模型的基线上广泛的目标条件的基准稀疏奖励。
2021-02-26 cs.LG stat.ML
A Reinforcement Learning-Based Model for Mapping and Goal-Directed Navigation Using Multiscale Place Fields
Department of Computer Science, University of Cincinnati（计算机科学系，辛辛那提大学）；Department of Electrical and Computer Engineering, University of Cincinnati（电气与计算机工程系，辛辛那提大学）
本文提出了一种基于强化学习的多尺度场所场模型，通过多尺度空间表示提升机器人在复杂环境中的导航效率与学习速度。
2026-01-07 cs.AI cs.NE cs.RO
Goal-Conditioned Reinforcement Learning in the Presence of an Adversary
University of Cambridge（剑桥大学）
在过去的几年里，强化学习在现实世界中的应用越来越多。然而，物理环境往往是不完美的，在模拟中表现良好的策略在其他地方应用时可能无法实现相同的性能。对付这种情况的一种常见方法是在对手面前训练特工。对手的行为会破坏智能体的稳定，智能体会学习更强大的策略，并能更好地处理现实条件。强化学习的许多现实应用也利用了目标条件：这在机器人的背景下特别有用，因为它允许代理根据选择的目标采取不同的行动。在这里，我们专注于目标条件学习的问题，在存在的对手。我们首先介绍DigitFlip和CLEVR-Play，两个新的目标条件的环境，支持对对手采取行动。接下来，我们提出了EHER和CHER -两个基于HER的目标条件学习算法-并评估其性能。最后，我们统一了两个线程，并介绍IGOAL：一个新的框架，目标条件学习的存在的对手。实验结果表明，IGOAL与EHER相结合，使代理显着优于现有的方法，当对随机和称职的对手。
2022-11-13 cs.AI cs.LG
Discrete Factorial Representations as an Abstraction for Goal Conditioned Reinforcement Learning
McGill University（麦吉尔大学）；Mila, Quebec AI Institute（魁北克人工智能研究所Mila）；University of Montreal（蒙特利尔大学）；Beijing Institute of Technology（北京理工大学）；Harvard University（哈佛大学）；DeepMind；Microsoft Research（微软研究院）
目标条件强化学习（RL）是一个很有前途的方向，训练代理，能够解决多个任务，并达到不同的目标集。如何以这样一种方式来实现\textit{specify}和\textit{ground}这些目标，即我们既可以在培训期间可靠地达到目标，又可以在评估期间概括到新的目标，这仍然是一个开放的研究领域。在嘈杂和高维感官输入的空间中定义目标对训练目标条件代理提出了挑战，甚至对新目标的泛化提出了挑战。我们建议通过学习目标的阶乘表示并通过离散化瓶颈处理所得到的表示来解决这个问题，对于粗糙的目标规范，通过一种我们称之为DGRL的方法。我们表明，应用离散化瓶颈可以提高目标条件强化学习设置的性能，通过实验评估这种方法的任务范围从迷宫环境到复杂的机器人导航和操作。此外，我们证明了一个定理下界的预期回报分布的目标，同时仍然允许指定的目标与表达组合结构。
2022-11-01 cs.AI cs.LG
Goal-Directed Story Generation: Augmenting Generative Language Models with Reinforcement Learning
University of Pennsylvania（宾夕法尼亚大学）；Georgia Institute of Technology（佐治亚理工学院）
大型预训练生成语言模型的出现为AI故事生成提供了一个通用框架，通过对模型进行采样来创建继续故事的序列。然而，单靠抽样是不足以产生故事的。特别是，很难指导语言模型创建故事以达到特定的目标事件。我们提出了两种基于深度强化学习和奖励塑造的自动化技术来控制计算机生成故事的情节。第一个利用近端策略优化来微调现有的基于transformer的语言模型，以生成文本延续，但也是目标搜索。第二种方法从展开的故事中提取知识图谱，由具有图关注的策略网络使用该知识图谱来选择由语言模型生成的候选延续。我们报告了与故事实现给定目标事件的频率有关的自动化指标，以及与基线和消融相比的连贯性和整体故事质量的人类参与者排名。
2021-12-16 cs.AI cs.CL
