MolAct: An Agentic RL Framework for Molecular Editing and Property Optimization
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Xidian University(西安电子科技大学);Shanghai Innovation Institute(上海创新研究院);Wuhan University(武汉大学);Shanghai Jiao Tong University(上海交通大学);Southeast University(东南大学);Nanjing University(南京大学);Carnegie Mellon University(卡内基梅隆大学)
MolAct框架通过代理强化学习方法,实现了分子编辑和性质优化的多步骤、工具增强过程,提升了分子设计的可靠性和可解释性。
2025-12-24 cs.AI
Continuous Value Iteration (CVI) Reinforcement Learning and Imaginary Experience Replay (IER) for learning multi-goal, continuous action and state space controllers
Sony Computer Science Laboratories Inc.(索尼计算机科学实验室公司)
本文提出了一种新的无模型强化学习算法,用于在连续的动作、状态和目标空间中学习行为。该算法使用非参数估计来逼近最优价值函数。它能够有效地学习在确定性和非确定性环境中达到多个任意目标。为了提高目标空间的泛化能力,我们提出了一种新的样本增强技术。使用这些方法,机器人可以更快地学习,并获得更好的控制器。我们基准所提出的算法,使用模拟和现实世界的电压控制机器人,学会在一个不可观测的笛卡尔任务空间中操纵。
2019-08-27 cs.AI
Physics-Regulated Deep Reinforcement Learning: Invariant Embeddings
TUM(慕尼黑工业大学);WSU(华盛顿州立大学);UIUC(伊利诺伊大学厄巴纳-香槟分校)
提出物理调节的 Phy-DRL 框架,通过残差策略、安全嵌入奖励和物理引导的神经网络编辑,为安全关键自主系统提供可证明的安全保证。
2024-07-08 cs.AI cs.LG
Goal-Oriented Next Best Activity Recommendation using Reinforcement Learning
IBM Research AI(IBM人工智能研究院);IIIT Hyderabad(海得拉巴国际信息技术学院)
为一个正在进行的案例推荐一系列活动需要这些建议符合基本的业务流程,并满足完成时间或流程结果的性能目标。现有的下一个活动预测工作可以预测未来的活动,但无法保证预测符合或达到目标。因此,我们提出了一个目标导向的下一个最佳活动建议。我们提出的框架使用深度学习模型来预测下一个最佳活动和给定活动的目标的估计值。强化学习方法基于可能满足一个或多个目标的估计来探索活动的序列。我们进一步解决了现实世界中的多个目标的问题,通过引入额外的奖励函数来平衡推荐活动的结果并满足目标。我们证明了所提出的方法的有效性在四个现实世界的数据集具有不同的特点。结果表明,从我们提出的方法的建议优于目标满意度和一致性相比,现有的国家的最先进的下一个最好的活动推荐技术。
2022-05-06 cs.AI
Hierarchical Reinforcement Learning for Deep Goal Reasoning: An Expressiveness Analysis
Lehigh University(利哈伊大学)
分层DQN(h-DQN)是前馈神经网络的两级结构,其中Meta级选择目标,并且较低的级采取行动来实现目标。我们展示了H-DQN无法解决的任务,举例说明了这种层次框架(HF)的局限性。我们描述了递归层次框架(RHF),概括了在Meta级别使用递归神经网络的架构。我们使用上下文相关文法分析了HF和RHF的表达能力。我们发现,RHF比HF更有表现力。我们进行实验比较的实施RHF与两个HF基线,结果证实了我们的理论研究结果。
2020-06-21 cs.AI
Image-POSER: Reflective RL for Multi-Expert Image Generation and Editing
University of Waterloo(滑铁卢大学);Vector Institute(向量研究所);Google(谷歌)
针对单模型难以可靠执行创意工作流长组合提示的问题,提出反射式强化学习框架Image-POSER,通过协调多专家、动态任务分解和结构化反馈,学习自适应组合模型优势的专家管道,在多基准上优于基线并获人类评估青睐。
2025-11-15 cs.AI cs.CV
TEMPERA: Test-Time Prompting via Reinforcement Learning
UC Berkeley(加州大学伯克利分校);Google Research(谷歌研究院);University of Alberta(阿尔伯塔大学)
在zero-shot或少样本学习中使用大语言模型时,仔细的提示设计至关重要。因此,人们对设计最佳提示的自动化方法越来越感兴趣。在这项工作中,我们提出了测试时提示编辑使用强化学习(CHTA)。与现有的提示生成方法相比,该方法可以有效地利用先验知识,适应不同的查询,并为每个查询提供可解释的提示。为了实现这一目标,我们设计了一个新颖的动作空间,允许灵活编辑的初始提示,涵盖了广泛的常用组件,如指令,Few-Shot范例,和verbalizers。与最近的SoTA方法(如提示微调,AutoPrompt和RLPrompt)相比,所提出的方法在各种任务(包括情感分析,主题分类,自然语言推理和阅读理解)中取得了显着的收益。与传统的微调方法相比,我们的方法在样本效率上平均提高了5.33倍。
2022-11-21 cs.AI cs.CL
Unified Agentic Video Editing Across Levels of Complexity and Creativity
Bertelsmann AI Hub(贝塔斯曼人工智能中心);Max Planck Institute for Biological Cybernetics(马克斯·普朗克生物控制论研究所);scieneers GmbH(scieneers 有限公司)
本文提出统一智能体视频编辑方法,覆盖场景预览、视频摘要和电影预告片三项任务,评估输出并探讨自动化与代理能力的意义。
2026-11-02 cs.AI cs.HC cs.MM
Swapped goal-conditioned offline reinforcement learning
Tampere University(坦佩雷大学);Aalto University(阿尔托大学)
离线目标条件强化学习(GCRL)由于对给定数据集的过拟合而具有挑战性。为了概括给定数据集之外的代理的技能,我们提出了一个目标交换过程,生成额外的轨迹。为了减轻噪声和外推误差的问题,我们提出了一种通用的离线强化学习方法,称为确定性Q优势策略梯度(DQAPG)。在实验中,DQAPG在广泛的基准任务中优于最先进的目标条件离线RL方法,目标交换进一步改善了测试结果。值得注意的是,所提出的方法在具有挑战性的灵巧手操作任务上获得了良好的性能,而先前的方法失败了。
2023-02-17 cs.AI cs.LG
General Dynamic Goal Recognition using Goal-Conditioned and Meta Reinforcement Learning
Department of Computer Science, Bar Ilan University(巴伊兰大学计算机科学系);Department of Computer Science, Tufts University(塔夫茨大学计算机科学系)
本文提出两种方法,通过目标条件化和元强化学习实现动态环境下的目标识别,提升系统在变化和噪声中的适应能力与识别精度。
2026-01-04 cs.AI cs.RO
Goal Misgeneralization in Deep Reinforcement Learning
University of Cambridge(剑桥大学);University of Tübingen(蒂宾根大学);University of Edinburgh(爱丁堡大学);DeepMind(深度思维)
我们研究了目标泛化错误,一种在强化学习(RL)中的分布外泛化失败。当RL代理保留其分布外的能力但追求错误的目标时,会发生目标泛化错误。例如,一个智能体可能继续胜任地避开障碍物,但导航到了错误的地方。相比之下,以前的作品通常集中在能力泛化失败,代理未能在测试时做任何明智的。我们正式能力和目标泛化之间的区别,提供了第一个经验证明的目标泛化错误,并提出了部分表征其原因。
2023-01-09 cs.AI cs.LG
Reinforcement Learning with Time-dependent Goals for Robotic Musicians
University of Hamburg(汉堡大学)
强化学习是一种很有前途的机器人控制方法。然而,演奏乐器的任务在很大程度上是未被探索的,因为它涉及到实现具有时间维度的连续目标-旋律-的挑战。在本文中,我们解决机器人音乐通过引入一个时间扩展目标条件强化学习:时间依赖性目标。我们证明,这些可以用来训练机器人音乐家发挥特雷门乐器。我们训练机器人代理在模拟和转让收购的政策,以现实世界的机器人thereminist。补充视频:https://youtu.be/jvC9mPzdQN4
2020-11-11 cs.AI cs.RO
Goal-Conditioned Decision Transformer for Multi-Goal Offline Reinforcement Learning
Faculty of Computer Science, AGH University of Krakow(计算机科学学院,克拉科夫AGH大学)
本文提出一种目标条件决策变压器,用于多目标离线强化学习,通过显式整合目标状态到序列建模框架中,有效解决不同任务,仅使用预收集数据,并在Franka Emika Panda平台上验证,优于现有在线基线。
2026-05-08 cs.AI cs.RO
Why Goal-Conditioned Reinforcement Learning Works: Relation to Dual Control
Department of Chemical and Biomolecular Engineering, University of California, Berkeley, CA 94720 USA(化学与生物分子工程系,加州大学伯克利分校,CA 94720 USA)
本文分析了目标条件强化学习与最优控制的关系,揭示了经典目标条件奖励与传统二次目标之间的优化差距,并验证了目标条件策略在非线性和不确定环境中的优势。
2026-05-14 cs.AI cs.LG
Goal Exploration via Adaptive Skill Distribution for Goal-Conditioned Reinforcement Learning
University of Manchester(曼彻斯特大学)
针对目标条件强化学习中的探索效率问题,提出GEASD框架,通过自适应技能分布优化局部熵,增强目标扩散,实验证明其优于均匀分布且具备泛化能力。
2024-04-19 cs.AI cs.LG
GoChat: Goal-oriented Chatbots with Hierarchical Reinforcement Learning
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);UCAS(中国科学院大学)
一个像人类一样交谈的聊天机器人应该是目标导向的(即,在对话中有目的),这超出了语言生成。然而,现有的对话系统通常严重依赖于繁琐的手工制作的规则或昂贵的标记数据集来实现目标。在本文中,我们提出了面向目标的聊天机器人(GoChat),这是一个端到端训练聊天机器人的框架,可以最大限度地提高离线多轮对话数据集的长期回报。我们的框架利用分层强化学习(HRL),其中高层政策通过确定一些子目标来引导会话朝向最终目标,而低层政策通过生成相应的话语来响应来实现子目标。在我们对真实世界的金融反欺诈对话数据集的实验中,我们的方法在响应生成的质量和完成目标的成功率方面都优于以前的方法。
2020-05-26 cs.AI cs.CL
Goal-Conditioned Reinforcement Learning: Problems and Solutions
Shanghai Jiao Tong University(上海交通大学)
目标条件强化学习(GCRL),与一组复杂的强化学习问题相关,训练智能体在特定场景下实现不同的目标。与仅根据状态或观察来学习策略的标准RL解决方案相比,GCRL还要求代理根据不同的目标做出决策。在本调查中,我们全面概述了GCRL的挑战和算法。首先,我们回答了该领域研究的基本问题。然后,我们将解释目标是如何表示的,并从不同的角度介绍现有的解决方案是如何设计的。最后,我们总结并讨论了未来的研究重点。
2022-09-02 cs.AI cs.LG
Proposing Hierarchical Goal-Conditioned Policy Planning in Multi-Goal Reinforcement Learning
Stellenbosch University(斯泰伦博斯大学)
本文提出HGCPP框架,将目标条件策略、蒙特卡洛树搜索与分层强化学习相结合,通过分层组织短期策略和高层动作规划,提升多目标稀疏奖励任务中的样本效率与规划能力。
2025-01-03 cs.AI cs.LG
GCHR : Goal-Conditioned Hindsight Regularization for Sample-Efficient Reinforcement Learning
本文提出后见目标条件正则化(HGR)与后见自模仿正则化(HSR),通过生成动作正则化先验最大化经验利用率,显著提升了离线策略GCRL在稀疏奖励下的样本效率和性能。
2025-08-08 cs.AI cs.LG
VARGPT-v1.1: Improve Visual Autoregressive Large Unified Model via Iterative Instruction Tuning and Reinforcement Learning
School of Electronic and Computer Engineering, Peking University(北京大学电子与计算机工程学院);The Chinese University of Hong Kong(香港中文大学)
VARGPT-v1.1通过结合迭代视觉指令微调与DPO强化学习,采用Qwen2骨干并扩展数据集,在保持架构一致性的同时实现了图像编辑能力,显著提升了多模态理解与文本到图像生成的性能。
2025-04-03 cs.AI cs.CV
Hierarchical Reinforcement Learning in Multi-Goal Spatial Navigation with Autonomous Mobile Robots
University of South Florida(佛罗里达州立大学)
本文通过多项实验对比分层强化学习与传统强化学习在复杂机器人导航任务中的表现,重点考察子目标创建方式、手动与自动创建差异及终止频率影响,证明了HRL的优越性及其实现机制。
2025-08-18 cs.AI cs.RO
Probabilistic Curriculum Learning for Goal-Based Reinforcement Learning
University of Queensland(昆士兰大学);Electrical Engineering and Computer Science(电气工程与计算机科学学院)
针对强化学习中目标自动创建的挑战,提出一种概率课程学习算法,通过为连续控制和导航任务中的智能体建议目标,系统分解复杂行为以实现多模态策略。
2025-04-02 cs.AI cs.LG
Inverse Reinforcement Learning with Natural Language Goals
Amazon Alexa(亚马逊Alexa)
人类通常使用自然语言来相互传达任务要求。理想情况下,自然语言也应该可用于向自主机器传达目标(例如,机器人),以最大限度地减少任务规范中的摩擦。然而,理解和映射自然语言目标的状态和动作序列是具有挑战性的。具体地说,现有的工作沿着这些路线遇到了困难,在推广学习的政策,以新的自然语言的目标和环境。在本文中,我们提出了一种新的对抗逆强化学习算法来学习语言条件的政策和奖励函数。为了提高学习策略和奖励函数的泛化能力,我们使用变分目标生成器在训练过程中重新标记轨迹并对不同的目标进行采样。我们的算法在基于视觉的自然语言指令遵循数据集(Room-2-Room)上的性能大大优于多个基线,这表明在指定代理目标时使用自然语言指令是一个很有前途的进步。
2020-12-16 cs.AI cs.LG
Goal-Conditioned Reinforcement Learning in the Presence of an Adversary
University of Cambridge(剑桥大学)
在过去的几年里,强化学习在现实世界中的应用越来越多。然而,物理环境往往是不完美的,在模拟中表现良好的策略在其他地方应用时可能无法实现相同的性能。对付这种情况的一种常见方法是在对手面前训练特工。对手的行为会破坏智能体的稳定,智能体会学习更强大的策略,并能更好地处理现实条件。强化学习的许多现实应用也利用了目标条件:这在机器人的背景下特别有用,因为它允许代理根据选择的目标采取不同的行动。在这里,我们专注于目标条件学习的问题,在存在的对手。我们首先介绍DigitFlip和CLEVR-Play,两个新的目标条件的环境,支持对对手采取行动。接下来,我们提出了EHER和CHER -两个基于HER的目标条件学习算法-并评估其性能。最后,我们统一了两个线程,并介绍IGOAL:一个新的框架,目标条件学习的存在的对手。实验结果表明,IGOAL与EHER相结合,使代理显着优于现有的方法,当对随机和称职的对手。
2022-11-13 cs.AI cs.LG
Discrete Factorial Representations as an Abstraction for Goal Conditioned Reinforcement Learning
McGill University(麦吉尔大学);Mila, Quebec AI Institute(魁北克人工智能研究所Mila);University of Montreal(蒙特利尔大学);Beijing Institute of Technology(北京理工大学);Harvard University(哈佛大学);DeepMind;Microsoft Research(微软研究院)
目标条件强化学习(RL)是一个很有前途的方向,训练代理,能够解决多个任务,并达到不同的目标集。如何以这样一种方式来实现\textit{specify}和\textit{ground}这些目标,即我们既可以在培训期间可靠地达到目标,又可以在评估期间概括到新的目标,这仍然是一个开放的研究领域。在嘈杂和高维感官输入的空间中定义目标对训练目标条件代理提出了挑战,甚至对新目标的泛化提出了挑战。我们建议通过学习目标的阶乘表示并通过离散化瓶颈处理所得到的表示来解决这个问题,对于粗糙的目标规范,通过一种我们称之为DGRL的方法。我们表明,应用离散化瓶颈可以提高目标条件强化学习设置的性能,通过实验评估这种方法的任务范围从迷宫环境到复杂的机器人导航和操作。此外,我们证明了一个定理下界的预期回报分布的目标,同时仍然允许指定的目标与表达组合结构。
2022-11-01 cs.AI cs.LG
GLIB: Efficient Exploration for Relational Model-Based Reinforcement Learning via Goal-Literal Babbling
MIT Computer Science and Artificial Intelligence Laboratory(麻省理工学院计算机科学与人工智能实验室)
我们解决了在基于关系模型的强化学习环境中没有外在目标或奖励的过渡模型学习的有效探索问题。受人类好奇心的启发,我们提出了目标文字咿呀学语(GLIB),一个简单而通用的方法,探索在这样的问题。GLIB对关系连接目标进行采样,这些目标可以被理解为智能体希望在世界上实现的特定目标,并计划使用正在学习的过渡模型来实现这些目标。我们提供的理论保证表明,与GLIB的探索几乎肯定会收敛到地面实况模型。在实验中,我们发现GLIB在一系列任务的预测和规划方面都强于现有方法,包括标准PDDL和PPDDL规划基准以及PyBullet物理模拟器中实现的机器人操作任务。视频:https://youtu.be/F6lmrPT6TOY代码:https://git.io/JIsTB
2020-12-08 cs.AI cs.LG
Do Better Goal Representations Improve Goal-Conditioned Reinforcement Learning?
University of Dhaka(达卡大学);University of Oxford(牛津大学)
本研究通过离线迷宫实验发现,目标表示质量对性能影响甚微,而当前状态表示才是关键瓶颈,并提出随机傅里叶位置编码显著提升困难导航任务性能。
2026-10-01 cs.AI cs.LG
Counterfactual Rollouts for Offline Contrastive Goal-Conditioned Reinforcement Learning
Eindhoven University of Technology(埃因霍温理工大学);Syracuse University(雪城大学)
该研究针对离线对比目标条件强化学习中存在的虚假动作-结果关联问题,提出CauCRL算法,通过反事实转换与回滚训练提升了混淆目标到达任务的成功率。
2026-10-14 cs.AI cs.LG
Abstraction for Offline Goal-Conditioned Reinforcement Learning
FLAIR, MLRG University of Oxford(FLAIR、MLRG 欧洲大学)
本文提出了一种在离线目标条件强化学习中利用抽象的方法,通过引入相对化选项和不同层次的表示,提高了在相似状态空间上下文中的经验复用能力,从而提升了性能。
2026-05-21 cs.AI cs.LG
Physically-Grounded Goal Imagination: Physics-Informed Variational Autoencoder for Self-Supervised Reinforcement Learning
FPT University(FPT大学)
本文提出PI-RIG,通过增强物理信息变分自编码器将物理约束融入目标生成,分离物理变量与环境因素,提升自监督强化学习中目标的物理一致性与可实现性,改善机器人操作技能学习效果。
2025-11-10 cs.AI cs.RO
A Fully Controllable Agent in the Path Planning using Goal-Conditioned Reinforcement Learning
Rutgers University, The State University of New Jersey(罗格斯大学(新泽西州立大学))
路径规划的目的是通过搜索智能体的路径,使其从起点到达目标。在路径规划中,路线可以根据变量的数量而变化,使得对于代理达到各种目标是重要的。然而,许多研究都涉及用户预先定义的单一目标。在本研究中,我提出了一个新的强化学习框架,一个完全可控的智能体在路径规划。为此,我提出了一种双向记忆编辑来获得代理的各种双向轨迹,其中代理的行为和子目标在目标条件强化学习上进行训练。至于在各个方向上移动代理,我利用子目标专用网络,与策略网络分离。最后,提出了奖励塑造,以缩短智能体到达目标的步骤。在实验结果中,智能体能够达到智能体在训练中从未访问过的各种目标。我们证实了智能体可以执行诸如往返之类的困难任务,并且智能体使用具有奖励塑造的较短路线。
2022-05-20 cs.AI cs.LG
ChronoSRL: Temporal Geometry for Self-Supervised Reinforcement Learning
Technical University of Darmstadt(达姆施塔特工业大学);Robotics Institute Germany (RIG)(德国机器人研究所);German Research Center for AI (DFKI)(德国人工智能研究中心)
ChronoSRL通过为批评者嵌入赋予时序几何,将状态-动作与目标间的距离训练为匹配到达时间,并预测到达时间分布及目标附近停留时间,从而在多个基准和四足机器人任务上实现更快、更可靠的学习,超越现有自监督强化学习方法。
2026-09-30 cs.AI cs.RO
ACTRCE: Augmenting Experience via Teacher's Advice For Multi-Goal Reinforcement Learning
University of Toronto(多伦多大学);Vector Institute(向量研究所);Google Brain(谷歌大脑)
稀疏奖励是强化学习中最具挑战性的问题之一。后见之明经验重演(HER)试图解决这个问题,通过重新标记目标,将失败的经验转化为成功的经验。尽管它的有效性,HER具有有限的适用性,因为它缺乏一个紧凑和通用的目标表示。我们目前通过TeacheR的增强体验(ACTRCE),一个有效的强化学习技术,使用自然语言作为目标表示扩展HER框架。我们首先分析了目标表示之间的差异,并表明ACTRCE可以有效地解决困难的强化学习问题,在具有挑战性的3D导航任务,而HER与非语言目标表示未能学习。我们还表明,与语言的目标表示,代理可以概括到看不见的指令,甚至概括到看不见的词汇的指令。我们进一步证明了使用后见之明的建议来解决具有挑战性的任务是至关重要的,即使是少量的建议也足以使代理实现良好的性能。
2019-02-12 cs.AI cs.LG cs.NE
Maximum Entropy Gain Exploration for Long Horizon Multi-goal Reinforcement Learning
University of Toronto(多伦多大学);Vector Institute(Vector研究所)
多目标强化学习智能体在训练长视野任务时应该追求什么目标?当期望的(测试时间)目标分布太远,提供一个有用的学习信号,我们认为,代理不应该追求无法实现的目标。相反,它应该设定自己的内在目标,以最大化历史已实现目标分布的熵。我们建议通过让代理在目标空间的稀疏探索区域中追求过去实现的目标来优化这一目标,该区域将探索集中在可实现目标集的前沿。我们表明,我们的策略实现了一个数量级更好的样本效率比现有技术的长期视野多目标任务,包括迷宫导航和块堆叠。
2020-07-06 cs.AI cs.LG cs.RO
Autotelic Agents with Intrinsically Motivated Goal-Conditioned Reinforcement Learning: a Short Survey
INRIA(法国国家信息与自动化研究所);Univ. de Bordeaux(波尔多大学);ENSTA Paris Tech(法国国立高等先进技术学院)
本文提出了一种基于目标导向强化学习的发展性强化学习框架,旨在解决自激励技能获取问题,并探讨了目标表示和优先级学习的挑战。
2022-07-12 cs.AI cs.LG
Goal-Directed Story Generation: Augmenting Generative Language Models with Reinforcement Learning
University of Pennsylvania(宾夕法尼亚大学);Georgia Institute of Technology(佐治亚理工学院)
大型预训练生成语言模型的出现为AI故事生成提供了一个通用框架,通过对模型进行采样来创建继续故事的序列。然而,单靠抽样是不足以产生故事的。特别是,很难指导语言模型创建故事以达到特定的目标事件。我们提出了两种基于深度强化学习和奖励塑造的自动化技术来控制计算机生成故事的情节。第一个利用近端策略优化来微调现有的基于transformer的语言模型,以生成文本延续,但也是目标搜索。第二种方法从展开的故事中提取知识图谱,由具有图关注的策略网络使用该知识图谱来选择由语言模型生成的候选延续。我们报告了与故事实现给定目标事件的频率有关的自动化指标,以及与基线和消融相比的连贯性和整体故事质量的人类参与者排名。
2021-12-16 cs.AI cs.CL
Goal Exploration Augmentation via Pre-trained Skills for Sparse-Reward Long-Horizon Goal-Conditioned Reinforcement Learning
University of Manchester(曼彻斯特大学)
针对稀疏奖励长程任务中GCRL目标探索效率低的问题,提出优化已实现与待探索目标熵的新学习目标,利用相似环境的目标转移模式预训练技能增强探索,在多基准任务上显著提升现有GCRL方法的探索效率与性能。
2023-12-19 cs.AI cs.LG cs.RO
Sub-Goal Trees -- a Framework for Goal-Based Reinforcement Learning
Technion(以色列理工学院);Osaro Inc.(奥萨罗公司)
在机器人和其他领域,许多人工智能问题都是基于目标的,本质上是寻求通向各种目标状态的轨迹。强化学习(RL)建立在Bellman的最优性方程上,自然地为单个目标进行优化,但可以通过用目标增强状态来实现多目标。相反,我们提出了一个新的RL框架,来自所有对最短路径(APSP)问题的动态规划方程,自然解决了多目标查询。我们表明,这种方法具有计算效益的标准和近似动态规划。有趣的是,我们的公式规定了一种用于计算轨迹的新协议:而不是预测下一个状态,因为它的前身,在标准RL中,目标条件的轨迹是通过首先预测开始和目标之间的中间状态,将轨迹划分为两个。然后,递归地预测每个子段上的中间点,直到获得完整的轨迹。我们称这种轨迹结构为子目标树。在此基础上,我们还扩展了策略梯度方法,递归预测子目标,从而产生新的基于目标的算法。最后,我们将我们的方法应用于神经运动规划,与标准RL相比,我们在障碍物之间导航7-DoF机器人手臂时表现出显着的改进。
2020-12-21 cs.AI cs.LG cs.RO
Deep Hierarchical Reinforcement Learning Based Recommendations via Multi-goals Abstraction
Peking University(北京大学)
推荐系统是智能应用的一种重要形式,它帮助用户减少信息冗余。在评价一个推荐系统的指标中,转化率指标变得越来越重要。现有的大多数推荐系统由于其极其稀疏的反馈信号而在转换度量上表现不佳。为了应对这一挑战,我们提出了一个基于深度层次强化学习的推荐框架,该框架由两个组件组成,即,高级代理和低级代理。高层智能体捕捉长期稀疏的转换信号,自动为底层智能体设定抽象目标,底层智能体遵循抽象目标与实时环境交互。针对分层强化学习存在的问题,提出了一种基于多目标抽象的深度分层强化学习算法(HRL-MG).该算法具有三个特点:1)高层智能体在不同阶段产生多个目标来指导底层智能体,降低了接近高层目标的难度; 2)不同目标共享相同的状态编码器参数,增加了高层智能体的更新频率,从而加快了算法的收敛速度; 3)设计了一个增值收益分配函数,对每个目标进行奖励分配,使不同目标协调一致。我们评估我们提出的算法的基础上,现实世界的电子商务数据集,并验证其有效性。
2019-03-22 cs.AI cs.IR cs.LG
Accelerating Goal-Directed Reinforcement Learning by Model Characterization
NVIDIA Corporation(英伟达公司);University of Southern California(南加利福尼亚大学);Indiana University - Bloomington(印第安纳大学伯明顿分校)
我们提出了一种混合的方法,旨在提高目标导向的强化学习的样本效率。我们通过两步机制来实现这一点,首先,我们从无模型强化学习中近似模型。然后,我们利用这个近似模型以及使用平均首次通过时间的可达性概念来执行基于模型的强化学习。基于这样一个新的观察,我们设计了两个新的算法-平均第一次通过时间为基础的Q-学习(MFPT-Q)和平均第一次通过时间为基础的DYNA(MFPT-DYNA),已从根本上修改了国家的最先进的强化学习技术。初步结果表明,我们的混合方法收敛的迭代次数比相应的最先进的方法少得多,因此需要更少的样本和更少的训练试验来收敛。
2019-01-04 cs.AI cs.LG stat.ML
Many-Goals Reinforcement Learning
University of Michigan(密歇根大学)
全目标更新利用Q学习的非策略性质来更新智能体在世界中的每个转变中可能具有的所有可能目标,并由Kaelbling(1993)引入到强化学习(RL)中。在以前的工作中,这主要是在小状态RL问题中进行的探索,这些问题允许表格表示,并且所有可能的目标都可以明确枚举并单独学习。在本文中,我们经验性地探索了在深度神经网络(简称DeepRL)的RL背景下更新许多(而不是所有)目标的想法的3种不同扩展。首先,在Kaelbling的方法的直接适应,我们探讨如果多目标更新可以用来实现掌握非表格视觉观察域。其次,我们探讨了多目标更新是否可以用于预训练网络,以便随后在感兴趣的单个主要任务上更快更好地学习。第三,我们探讨了多目标更新是否可以用来提供辅助任务更新,以训练网络更快,更好地学习一个感兴趣的主要任务。我们为3个扩展中的每一个提供了与基线的比较。
2018-06-22 cs.AI cs.LG stat.ML
Multi-Goal Reinforcement Learning: Challenging Robotics Environments and Request for Research
OpenAI(开放人工智能研究中心)
本技术报告的目的是双重的。首先,它介绍了一套具有挑战性的连续控制任务(与OpenAI Gym集成),基于现有的机器人硬件。这些任务包括使用Fetch机械臂推动,滑动和拾取放置,以及使用Shadow Dexterous Hand进行手内对象操作。所有任务都有稀疏的二元奖励,并遵循多目标强化学习(RL)框架,其中代理被告知使用额外的输入做什么。论文的第二部分提出了一套改进强化学习算法的具体研究思路,其中大部分与多目标强化学习和后见之明经验重放有关。
2018-03-10 cs.AI cs.LG cs.RO
Disentangled Skill Embeddings for Reinforcement Learning
Imperial College London(伦敦帝国理工学院)
我们提出了一个新的多任务强化学习(MTRL)的框架。使用变分推理公式,我们学习的政策,概括了不断变化的动态和目标。由此产生的政策是参数化的共享参数,允许不同的动态和目标条件之间的转移,并通过任务特定的潜在空间嵌入,允许专业化特定的任务。我们展示了潜在空间如何使泛化到看不见的动态和目标条件。此外,配备了这种嵌入的策略可以作为分层强化学习的技能(或选项)空间。由于我们可以独立地改变任务动态和目标,我们将我们的框架命名为Disentangled Skill Embeddings(DSE)。
2019-06-21 cs.AI cs.LG stat.ML
IE-Critic-R1: Advancing the Explanatory Measurement of Text-Driven Image Editing for Human Perception Alignment
School of Electronic and Computer Engineering, Peking University(电子与计算机工程学院,北京大学);Peng Cheng Laboratory, China(鹏城实验室,中国)
IE-Critic-R1通过强化学习从可验证奖励提升文本驱动图像编辑的解释性评估,实现与人类感知的对齐。
2025-11-22 cs.AI cs.CL cs.CV
Pre-trained Word Embeddings for Goal-conditional Transfer Learning in Reinforcement Learning
University of Antwerp(安特卫普大学);imec(比利时微电子研究中心)
强化学习(RL)算法通常从白板开始,没有任何环境的先验知识,也没有任何先验技能。然而,这通常导致低样本效率,需要与环境的大量相互作用。在终身学习环境中尤其如此,在这种环境中,代理需要不断扩展其能力。在本文中,我们研究了预训练的任务无关的语言模型如何使目标条件RL代理更具样本效率。我们通过促进不同相关任务之间的迁移学习来做到这一点。我们实验证明我们的方法对一组对象导航任务。
2020-07-10 cs.AI cs.LG stat.ML
Goal-Directed Planning by Reinforcement Learning and Active Inference
Okinawa Institute of Science and Technology(冲绳科学技术大学院大学)
目标导向的行为和习惯性行为有什么区别?我们提出了一个新的计算框架的决策与贝叶斯推理,其中一切都集成为一个完整的神经网络模型。该模型通过自我探索和通过采样随机内部状态${z}$产生运动动作来学习预测环境状态转换。通过强化学习,从${z}$的先验分布中获得习惯行为。目标导向的行为是通过规划从后验分布的${z}$,使用主动推理,优化过去,当前和未来的${z}$,通过最小化的变化自由能所需的未来观测约束所观察到的感觉序列。我们通过实验证明了所提出的框架的有效性,在感觉运动导航任务与相机的观察和连续的电机动作。
2021-06-22 cs.AI cs.LG cs.RO
GOATS: Goal Sampling Adaptation for Scooping with Curriculum Reinforcement Learning
Carnegie Mellon University(卡内基梅隆大学);Baidu Research(百度研究院);The University of Hong Kong(香港大学)
针对机器人舀水中的复杂流体动力学与多模态目标空间问题,提出GOATS课程强化学习方法,通过目标因子化奖励及目标分布插值提升仿真与真实机器人性能。
2023-09-23 cs.AI cs.LG cs.RO
Bias-reduced Multi-step Hindsight Experience Replay for Efficient Multi-goal Reinforcement Learning
Tsinghua University(清华大学);Tencent AI Lab(腾讯人工智能实验室)
多目标强化学习在规划和机器人操作中有着广泛的应用。多目标强化学习的两个主要挑战是稀疏奖励和样本效率低下。后见之明经验重演(HER)旨在通过目标重新标记来解决这两个挑战。然而,HER相关的工作仍然需要数百万的样本和巨大的计算。在本文中,我们提出了多步后见之明经验重放(MHER),结合多步重新标记的回报的基础上$n$ -步骤重新标记,以提高样本效率。尽管$n$ -步骤重新标记的优点,我们从理论和实验上证明了由$n$ -步骤重新标记引入的政策外$n$-步骤偏差可能导致在许多环境中的性能差。为了解决上述问题,提出了两种降低偏置的MHER算法:MHER($λ$)和基于模型的MHER(MMHER)。MHER($λ$)利用了$λ$的回报,而MMHER则受益于基于模型的价值扩张。大量多目标机器人任务的实验结果表明,我们的解决方案可以成功地减轻政策外的$n$ -步骤的偏见,并实现显着更高的样本效率比HER和课程引导HER与HER以外的额外计算。
2022-09-26 cs.AI cs.LG cs.RO
Goal-Aware Cross-Entropy for Multi-Target Reinforcement Learning
Seoul National University(首尔大学);Surromind;AI Institute, Seoul National University(首尔大学人工智能研究院)
在没有目标先验知识的多目标环境中学习需要大量的样本,并且使得泛化困难。为了解决这个问题,重要的是能够通过语义理解来区分目标。在本文中,我们提出了目标感知交叉熵(GACE)损失,可以使用自动标记的目标状态以及强化学习以自监督的方式使用。基于这种损失,我们设计了目标区分注意网络(GDAN),它利用目标相关信息来关注给定的指令。我们评估所提出的方法对视觉导航和机器人手臂操作任务与多目标环境,并表明GDAN优于国家的最先进的方法,在任务成功率,样本效率,和泛化。此外,定性分析表明,我们提出的方法可以帮助智能体清楚地意识到并专注于给定的指令,从而促进目标导向的行为。
2021-10-26 cs.AI cs.LG cs.RO
Goal-constrained Sparse Reinforcement Learning for End-to-End Driving
Inria(法国国家信息与自动化研究所)
用于端到端驾驶的深度强化学习受到复杂奖励工程需求的限制。稀疏奖励可以规避这一挑战,但遭受长的训练时间,并导致次优的政策。在这项工作中,我们探索完全控制驾驶只有目标约束的稀疏奖励,并提出了一个课程学习方法,端到端的驾驶只使用导航视图地图,受益于小的虚拟到真实的域差距。为了解决多个驾驶策略的复杂性,我们学习在推理时由导航系统选择的并发个体策略。我们证明了我们的建议,以概括看不见的道路布局的能力,并驾驶显着长于在培训。
2021-07-31 cs.AI cs.CV cs.RO
Direction-Conditioned Policies for Online Goal-Conditioned Reinforcement Learning
Indian Institute of Technology Kharagpur(印度理工学院卡哈拉格普尔分校)
提出方向条件化策略(DCP),通过利用表示空间中的方向与距离信息改进对比强化学习,在多个导航和操作任务中提升成功率和目标接近时间,并验证其几何捕获能力。
2026-10-06 cs.AI cs.LG cs.RO
Exploring the Edges of Latent State Clusters for Goal-Conditioned Reinforcement Learning
Rutgers University(罗格斯大学)
针对无监督目标条件强化学习中的探索难题,提出簇边缘探索算法,通过潜在空间聚类并优先选择可达边界目标,在多个机器人环境中显著提升探索效率。
2024-11-03 cs.AI cs.LG cs.RO
Multi-Goal Dexterous Hand Manipulation using Probabilistic Model-based Reinforcement Learning
University of Chinese Academy of Sciences(中国科学院大学);Shenzhen Institutes of Advanced Technology(深圳先进技术研究院)
本文提出目标条件概率模型预测控制(GC-PMPC)方法,通过概率神经网络集成和异步MPC策略解决多目标灵巧手操作问题,在模拟与真实DexHand 021平台上均展现出卓越的学习效率与控制性能。
2025-04-30 cs.AI cs.RO cs.SY
Embracing advanced AI/ML to help investors achieve success: Vanguard Reinforcement Learning for Financial Goal Planning
Vanguard(先锋领航)
在咨询和财务规划的世界里,很少有一个正确的答案。虽然传统算法在解决线性问题方面取得了成功,但它的成功往往取决于从数据集中选择正确的特征,这对于细致入微的财务规划场景来说可能是一个挑战。强化学习是一种机器学习方法,可以用于复杂的数据集,在这些数据集中几乎不可能选择正确的特征。在本文中,我们将探讨如何使用机器学习进行财务预测,预测经济指标,并创建储蓄策略。基于目标的财务规划的Vanguard ML算法基于深度强化学习,可识别多个目标和收入来源的最佳储蓄率,以帮助客户实现财务成功。Vanguard学习算法经过训练,可以识别过于复杂而无法用公式和规则捕捉的市场指标和行为,相反,它可以将投资者的财务成功轨迹及其投资结果建模为马尔可夫决策过程。我们相信,强化学习可以用来为顾问和最终投资者创造价值,创造效率,更个性化的计划和数据,以实现定制的解决方案。
2021-10-18 cs.AI cs.CL cs.LG