GCHR : Goal-Conditioned Hindsight Regularization for Sample-Efficient Reinforcement Learning
本文提出后见目标条件正则化（HGR）与后见自模仿正则化（HSR），通过生成动作正则化先验最大化经验利用率，显著提升了离线策略GCRL在稀疏奖励下的样本效率和性能。
2025-08-08 cs.AI cs.LG
Probabilistic Curriculum Learning for Goal-Based Reinforcement Learning
University of Queensland（昆士兰大学）；Electrical Engineering and Computer Science（电气工程与计算机科学学院）
针对强化学习中目标自动创建的挑战，提出一种概率课程学习算法，通过为连续控制和导航任务中的智能体建议目标，系统分解复杂行为以实现多模态策略。
2025-04-02 cs.AI cs.LG
Inverse Reinforcement Learning with Natural Language Goals
Amazon Alexa（亚马逊Alexa）
人类通常使用自然语言来相互传达任务要求。理想情况下，自然语言也应该可用于向自主机器传达目标（例如，机器人），以最大限度地减少任务规范中的摩擦。然而，理解和映射自然语言目标的状态和动作序列是具有挑战性的。具体地说，现有的工作沿着这些路线遇到了困难，在推广学习的政策，以新的自然语言的目标和环境。在本文中，我们提出了一种新的对抗逆强化学习算法来学习语言条件的政策和奖励函数。为了提高学习策略和奖励函数的泛化能力，我们使用变分目标生成器在训练过程中重新标记轨迹并对不同的目标进行采样。我们的算法在基于视觉的自然语言指令遵循数据集（Room-2-Room）上的性能大大优于多个基线，这表明在指定代理目标时使用自然语言指令是一个很有前途的进步。
2020-12-16 cs.AI cs.LG
Continual Reinforcement Learning via Autoencoder-Driven Task and New Environment Recognition
École Polytechnique Fédérale de Lausanne（瑞士联邦理工学院）
针对无外部变化信号的持续强化学习问题，提出融合策略优化与熟悉度自动编码器的端到端系统，以识别新任务和环境并选择性复用旧知识。
2025-05-13 cs.AI cs.LG
ODGR: Online Dynamic Goal Recognition
Bar-Ilan University（巴伊兰大学）；University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所）
本文提出“在线动态目标识别”（ODGR）问题，将动态目标引入标准GR定义，并通过迁移学习在导航领域验证其可行性，为实时环境下的GR方法扩展奠定基础。
2024-07-23 cs.AI cs.LG
Goal-Conditioned Reinforcement Learning in the Presence of an Adversary
University of Cambridge（剑桥大学）
在过去的几年里，强化学习在现实世界中的应用越来越多。然而，物理环境往往是不完美的，在模拟中表现良好的策略在其他地方应用时可能无法实现相同的性能。对付这种情况的一种常见方法是在对手面前训练特工。对手的行为会破坏智能体的稳定，智能体会学习更强大的策略，并能更好地处理现实条件。强化学习的许多现实应用也利用了目标条件：这在机器人的背景下特别有用，因为它允许代理根据选择的目标采取不同的行动。在这里，我们专注于目标条件学习的问题，在存在的对手。我们首先介绍DigitFlip和CLEVR-Play，两个新的目标条件的环境，支持对对手采取行动。接下来，我们提出了EHER和CHER -两个基于HER的目标条件学习算法-并评估其性能。最后，我们统一了两个线程，并介绍IGOAL：一个新的框架，目标条件学习的存在的对手。实验结果表明，IGOAL与EHER相结合，使代理显着优于现有的方法，当对随机和称职的对手。
2022-11-13 cs.AI cs.LG
Discrete Factorial Representations as an Abstraction for Goal Conditioned Reinforcement Learning
McGill University（麦吉尔大学）；Mila, Quebec AI Institute（魁北克人工智能研究所Mila）；University of Montreal（蒙特利尔大学）；Beijing Institute of Technology（北京理工大学）；Harvard University（哈佛大学）；DeepMind；Microsoft Research（微软研究院）
目标条件强化学习（RL）是一个很有前途的方向，训练代理，能够解决多个任务，并达到不同的目标集。如何以这样一种方式来实现\textit{specify}和\textit{ground}这些目标，即我们既可以在培训期间可靠地达到目标，又可以在评估期间概括到新的目标，这仍然是一个开放的研究领域。在嘈杂和高维感官输入的空间中定义目标对训练目标条件代理提出了挑战，甚至对新目标的泛化提出了挑战。我们建议通过学习目标的阶乘表示并通过离散化瓶颈处理所得到的表示来解决这个问题，对于粗糙的目标规范，通过一种我们称之为DGRL的方法。我们表明，应用离散化瓶颈可以提高目标条件强化学习设置的性能，通过实验评估这种方法的任务范围从迷宫环境到复杂的机器人导航和操作。此外，我们证明了一个定理下界的预期回报分布的目标，同时仍然允许指定的目标与表达组合结构。
2022-11-01 cs.AI cs.LG
Goal Recognition using Actor-Critic Optimization
Bar Ilan University（巴伊兰大学）；University of Aberdeen（阿伯丁大学）；Tufts University（塔夫茨大学）
本文提出DRACO，首个基于深度强化学习从非结构化数据学习策略网络进行目标识别的方法，并引入连续策略表示的新度量，在离散和连续场景中均取得领先性能且成本更低。
2024-12-31 cs.AI cs.LG cs.MA
GLIB: Efficient Exploration for Relational Model-Based Reinforcement Learning via Goal-Literal Babbling
MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）
我们解决了在基于关系模型的强化学习环境中没有外在目标或奖励的过渡模型学习的有效探索问题。受人类好奇心的启发，我们提出了目标文字咿呀学语（GLIB），一个简单而通用的方法，探索在这样的问题。GLIB对关系连接目标进行采样，这些目标可以被理解为智能体希望在世界上实现的特定目标，并计划使用正在学习的过渡模型来实现这些目标。我们提供的理论保证表明，与GLIB的探索几乎肯定会收敛到地面实况模型。在实验中，我们发现GLIB在一系列任务的预测和规划方面都强于现有方法，包括标准PDDL和PPDDL规划基准以及PyBullet物理模拟器中实现的机器人操作任务。视频：https://youtu.be/F6lmrPT6TOY代码：https://git.io/JIsTB
2020-12-08 cs.AI cs.LG
Do Better Goal Representations Improve Goal-Conditioned Reinforcement Learning?
University of Dhaka（达卡大学）；University of Oxford（牛津大学）
本研究通过离线迷宫实验发现，目标表示质量对性能影响甚微，而当前状态表示才是关键瓶颈，并提出随机傅里叶位置编码显著提升困难导航任务性能。
2026-10-01 cs.AI cs.LG
Counterfactual Rollouts for Offline Contrastive Goal-Conditioned Reinforcement Learning
Eindhoven University of Technology（埃因霍温理工大学）；Syracuse University（雪城大学）
该研究针对离线对比目标条件强化学习中存在的虚假动作-结果关联问题，提出CauCRL算法，通过反事实转换与回滚训练提升了混淆目标到达任务的成功率。
2026-10-14 cs.AI cs.LG
Abstraction for Offline Goal-Conditioned Reinforcement Learning
FLAIR, MLRG University of Oxford（FLAIR、MLRG 欧洲大学）
本文提出了一种在离线目标条件强化学习中利用抽象的方法，通过引入相对化选项和不同层次的表示，提高了在相似状态空间上下文中的经验复用能力，从而提升了性能。
2026-05-21 cs.AI cs.LG
RL-LOGO: Deep Reinforcement Learning Localization for Logo Recognition
FA Research, Fast Accounting Co., Ltd.（FA研究，快会计株式会社）
本文提出RL-LOGO，一种基于深度强化学习的标志定位方法，无需位置标注即可识别标志区域，在Logo-2K+数据集上相比现有方法提升18个百分点准确性。
2023-12-28 cs.AI cs.CV cs.LG
A Fully Controllable Agent in the Path Planning using Goal-Conditioned Reinforcement Learning
Rutgers University, The State University of New Jersey（罗格斯大学（新泽西州立大学））
路径规划的目的是通过搜索智能体的路径，使其从起点到达目标。在路径规划中，路线可以根据变量的数量而变化，使得对于代理达到各种目标是重要的。然而，许多研究都涉及用户预先定义的单一目标。在本研究中，我提出了一个新的强化学习框架，一个完全可控的智能体在路径规划。为此，我提出了一种双向记忆编辑来获得代理的各种双向轨迹，其中代理的行为和子目标在目标条件强化学习上进行训练。至于在各个方向上移动代理，我利用子目标专用网络，与策略网络分离。最后，提出了奖励塑造，以缩短智能体到达目标的步骤。在实验结果中，智能体能够达到智能体在训练中从未访问过的各种目标。我们证实了智能体可以执行诸如往返之类的困难任务，并且智能体使用具有奖励塑造的较短路线。
2022-05-20 cs.AI cs.LG
Multi-Agent Goal Recognition with Team- and Goal-Conditioned Reinforcement Learning and Factorized Branch-and-Bound
Pontifícia Universidade Católica do Rio Grande do Sul (PUCRS)（里约格兰德杜斯阿伦斯天主教大学）；Universidade do Vale do Rio dos Sinos (Unisinos)（里约斯inos大学）；University of Aberdeen（阿伯丁大学）
提出MAGR-BB方法，利用共享的团队与目标条件策略作为评分模型，结合因子化分支定界搜索，从轨迹中联合推断智能体分组及团队目标，在基准测试中大幅降低假设空间并缩短识别时间。
2026-06-25 cs.AI cs.LG cs.MA
Fuzzy Controller of Reward of Reinforcement Learning For Handwritten Digit Recognition
利用计算机系统对人类环境进行识别一直是人工智能研究的重点。在这一领域中，手写体识别和概念化是一个重要的研究领域，近年来随着机器学习在人工智能中的发展，人们对这一技术的研究也越来越多。本文尝试用模糊控制器来优化强化学习的奖励量，用于手写数字识别。为此目的，首先将具有10个标准计算机字体的每个数字的样本提供给演员，然后训练演员。在下一个层次中，尝试用数据集测试演员，然后结果表明，当使用强化学习的模糊控制器时，识别率有所提高。
2018-12-17 cs.CV cs.LG
Autotelic Agents with Intrinsically Motivated Goal-Conditioned Reinforcement Learning: a Short Survey
INRIA（法国国家信息与自动化研究所）；Univ. de Bordeaux（波尔多大学）；ENSTA Paris Tech（法国国立高等先进技术学院）
本文提出了一种基于目标导向强化学习的发展性强化学习框架，旨在解决自激励技能获取问题，并探讨了目标表示和优先级学习的挑战。
2022-07-12 cs.AI cs.LG
A Transfer Learning Method for Goal Recognition Exploiting Cross-Domain Spatial Features
PLANIART；Université de Sherbrooke（舍布鲁克大学）
推断他人的意图、预测他们的目标和推断他们的计划的能力是智能代理的关键特征。长期以来，有几种方法研究了符号表征和推理的使用，但成功有限，主要是因为很难明确地捕捉人类决策背后的认知知识。如今的趋势是越来越多地关注直接从数据中推断意图的学习，特别是使用深度学习。我们现在正在观察意图分类在自然语言处理、视觉活动识别和其他领域新兴方法中的有趣应用。本文讨论了一种新的方法结合Few-Shot和迁移学习与跨域功能，学习推断的意图，在物理环境中导航，执行任意长的动作序列，以实现其目标。与深度学习基线方法相比，在合成环境中的实验表明，在从少量样本中学习并推广到看不见的配置方面，性能有所提高。
2019-11-22 cs.AI cs.LG
GRAIL: Goal Recognition Alignment through Imitation Learning
Department of Computer Science, Bar Ilan University（巴伊兰大学计算机科学系）；Department of Computer Science, Aberdeen University（阿伯丁大学计算机科学系）；Department of Computer Science, Tufts University（塔夫茨大学计算机科学系）
GRAIL通过模仿学习和逆强化学习，从演示轨迹中学习目标导向策略，提高目标识别的准确性和鲁棒性。
2026-02-15 cs.AI cs.LG cs.RO
Interaction-Aware Multi-Agent Reinforcement Learning for Mobile Agents with Individual Goals
Carnegie Mellon University（卡内基梅隆大学）；Honda Research Institute USA（美国本田研究所）
在多智能体环境中，单个智能体的最优策略在很大程度上取决于其他智能体的行为。我们研究了多智能体强化学习的问题，专注于分散学习的非平稳域的移动机器人导航。我们确定了一个原因的训练非平稳政策的困难：相互适应次优行为，我们用它来激励一个基于学习策略的互动政策。课程分为两个阶段。首先，代理利用策略梯度算法来学习能够实现多个目标的策略。其次，代理学习修改器策略，以学习如何在多代理设置中与其他代理交互。我们评估了我们的方法在自动驾驶换道域和机器人导航域。
2019-09-27 cs.AI cs.LG
How Far I'll Go: Offline Goal-Conditioned Reinforcement Learning via $f$-Advantage Regression
University of Pennsylvania（宾夕法尼亚大学）
离线目标条件强化学习（GCRL）承诺以从纯离线数据集达到不同目标的形式进行通用技能学习。我们提出了$\textbf{Go}$ al-条件$f$ - $\textbf{A}$优势$\textbf{R}$回归（GoFAR），一种新的基于回归的离线GCRL算法来自状态占用匹配的角度来看，关键的直觉是，达到目标的任务可以制定为一个动态遵守模仿者代理和专家代理之间的状态占用匹配问题，直接传送到目标。与之前的方法相比，GoFAR不需要任何事后重新标记，并且对其价值和政策网络进行了无交错优化。这些独特的功能赋予GoFAR更好的离线性能和稳定性以及统计性能保证，这是以前的方法无法实现的。此外，我们证明了GoFAR的训练目标可以重新调整，从纯粹的离线源域数据中学习一个独立于代理的目标条件规划器，这使得zero-shot转移到新的目标域。通过大量的实验，我们验证了GoFAR在各种问题设置和任务中的有效性，显着优于现有的最先进的。值得注意的是，在一个真正的机器人灵巧的操作任务，而没有其他方法取得有意义的进展，GoFAR获得复杂的操作行为，成功地实现了不同的目标。
2022-11-10 cs.AI cs.LG
Constructive Symbolic Reinforcement Learning via Intuitionistic Logic and Goal-Chaining Inference
FAST Foundation（FAST基金会）
本文提出用直觉主义逻辑下的构造性证明替代奖励优化，通过目标链推理实现可证明安全、可解释且高效收敛的符号强化学习，并在网格世界任务中验证其优于Q学习。
2025-06-05 cs.AI cs.LG
Goal Recognition over Imperfect Domain Models
Pontifical Catholic University of Rio Grande do Sul（南里奥格兰德天主教会大学）；University of Melbourne（墨尔本大学）
目标识别是通过观察自主智能体或人类在环境中的行为来识别其预期目标的问题。在过去的几年里，大多数现有的方法来目标和计划识别一直忽视了需要处理的不完善的领域模型，正式的环境中，自主智能体的行为。在这篇论文中，我们介绍了不完美领域模型上的目标识别问题，并提出了明确处理两种不同类型的不完美领域模型的解决方案：（1）不完全离散的领域模型，它在动作描述中有可能的，而不是已知的，前提条件和效果;以及（2）近似连续领域模型，其中过渡函数是根据过去的观测值近似的，并且不是良好定义的。我们开发了新的目标识别方法，不完善的域模型，利用和适应现有的识别方法，从文献。这两种类型的不完美域模型的实验和评估表明，我们的新的目标识别方法是准确的，从文献中的基线方法相比，在几个层次的可观察性和不完善。
2020-05-12 cs.AI
Goal Space Abstraction in Hierarchical Reinforcement Learning via Set-Based Reachability Analysis
LIX, CNRS, École Polytechnique, Institut Polytechnique de Paris（法国国家科学研究中心、巴黎综合理工学院、巴黎理工学院 LIX 实验室）；Flowers Team, U2IS, ENSTA Paris, Institut Polytechnique de Paris & Inria（法国国立高等先进技术学院、巴黎理工学院 Flowers 团队与法国国家信息与自动化研究所）；IMT Atlantique, Lab-STICC（大西洋理工大学、STICC 实验室）
本文提出一种基于集合可达性分析的Feudal HRL算法，通过涌现表示自主发现并抽象具有相似作用的状态集合，同时学习目标表示与分层策略，实现可解释、可迁移且数据高效的学习。
2023-11-22 cs.AI cs.LG
Research and Design on Intelligent Recognition of Unordered Targets for Robots Based on Reinforcement Learning
Hefei University of Technology（合肥工业大学）；Carnegie Mellon University（卡内基梅隆大学）；Cornell University（康奈尔大学）；University of San Francisco（旧金山大学）；AMA University Quezon（AMA奎松大学）
针对复杂场景下机器人无序目标识别精度受限问题，本文提出基于强化学习的方法，通过双边滤波分解图像、差异化增强与融合，并结合深度强化学习训练，实现高效准确的识别。
2025-03-10 cs.AI cs.LG cs.RO
Pre-training in Deep Reinforcement Learning for Automatic Speech Recognition
University of Southern Queensland（南昆士兰大学）；Data61, CSIRO（澳大利亚联邦科学与工业研究组织数据61研究所）；Imperial College London（伦敦帝国理工学院）；University of Augsburg（奥格斯堡大学）
深度强化学习（Deep RL）是深度学习与强化学习原理的结合，以创建可以通过与环境交互来学习的有效方法。这使得许多以前难以解决的复杂任务取得了突破。然而，深度RL需要大量的训练时间，这使得它很难用于各种现实生活中的应用，如人机交互（HCI）。因此，在本文中，我们研究了深度RL中的预训练，以减少训练时间并提高语音识别的性能，这是HCI的一个流行应用。我们在公开的语音命令识别数据集上，在更短的时间内实现了显着提高的性能。
2019-10-26 cs.LG cs.SD
Stein Variational Goal Generation for adaptive Exploration in Multi-Goal Reinforcement Learning
Sorbonne Université（索邦大学）；Univ Angers（昂热大学）
针对多目标强化学习中目标空间不连续、奖励稀疏导致目标难达的问题，提出基于Stein变分梯度下降的SVGG方法，采样适配智能体能力的中等难度目标，提升困难探索任务的成功率与环境变化后的恢复能力。
2023-05-02 cs.LG
A Machine of Few Words -- Interactive Speaker Recognition with Reinforcement Learning
Université de Lille（里尔大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Deepmind（深度思维）；Google Research（谷歌研究院）
说话人识别是语音处理领域中一个众所周知的研究课题。它有许多应用，用于个人设备的安全或扬声器适配。在本文中，我们提出了一个新的范例自动说话人识别，我们称之为交互式说话人识别（ISR）。在这个范例中，识别系统的目的是通过请求个性化的话语来逐步建立一个代表的发言者被发言的标准文本相关或文本无关的计划。为此，我们将说话人识别任务转换为一个顺序决策问题，并使用强化学习来解决。使用一个标准的数据集，我们表明，我们的方法取得了优异的性能，同时使用很少的语音信号量。该方法也可以作为一种发声选择机制，用于构建语音合成系统。
2020-08-07 cs.LG cs.SD eess.AS
Goal Exploration Augmentation via Pre-trained Skills for Sparse-Reward Long-Horizon Goal-Conditioned Reinforcement Learning
University of Manchester（曼彻斯特大学）
针对稀疏奖励长程任务中GCRL目标探索效率低的问题，提出优化已实现与待探索目标熵的新学习目标，利用相似环境的目标转移模式预训练技能增强探索，在多基准任务上显著提升现有GCRL方法的探索效率与性能。
2023-12-19 cs.AI cs.LG cs.RO
Sub-Goal Trees -- a Framework for Goal-Based Reinforcement Learning
Technion（以色列理工学院）；Osaro Inc.（奥萨罗公司）
在机器人和其他领域，许多人工智能问题都是基于目标的，本质上是寻求通向各种目标状态的轨迹。强化学习（RL）建立在Bellman的最优性方程上，自然地为单个目标进行优化，但可以通过用目标增强状态来实现多目标。相反，我们提出了一个新的RL框架，来自所有对最短路径（APSP）问题的动态规划方程，自然解决了多目标查询。我们表明，这种方法具有计算效益的标准和近似动态规划。有趣的是，我们的公式规定了一种用于计算轨迹的新协议：而不是预测下一个状态，因为它的前身，在标准RL中，目标条件的轨迹是通过首先预测开始和目标之间的中间状态，将轨迹划分为两个。然后，递归地预测每个子段上的中间点，直到获得完整的轨迹。我们称这种轨迹结构为子目标树。在此基础上，我们还扩展了策略梯度方法，递归预测子目标，从而产生新的基于目标的算法。最后，我们将我们的方法应用于神经运动规划，与标准RL相比，我们在障碍物之间导航7-DoF机器人手臂时表现出显着的改进。
2020-12-21 cs.AI cs.LG cs.RO
Automatic Gesture Recognition in Robot-assisted Surgery with Reinforcement Learning and Tree Search
The Chinese University of Hong Kong（香港中文大学）；CUHK T Stone Robotics Institute（香港中文大学天石机器人研究所）
自动手术手势识别是提高机器人辅助手术智能的基础，例如执行复杂的手术监视和技能评估任务。然而，目前的方法单独对待每一帧，并产生的结果没有有效地考虑未来的信息。在本文中，我们提出了一个框架的基础上强化学习和树搜索的联合手术手势分割和分类。智能体被训练成以类似人类的方式对手术视频进行分割和分类，其直接决策通过树搜索适当地重新考虑。我们提出的树搜索算法联合了两个设计的神经网络的输出，即，政策和价值网络。通过整合来自不同模型的互补信息，我们的框架能够实现比使用任何神经网络的基线方法更好的性能。对于一个整体的评估，我们开发的方法始终优于现有的方法在JIGSAWS数据集的搜索任务的准确性，编辑得分和F1得分。我们的研究强调了利用树搜索来细化手术机器人应用的强化学习框架中的动作。
2020-02-20 cs.AI cs.LG cs.RO
Deep Hierarchical Reinforcement Learning Based Recommendations via Multi-goals Abstraction
Peking University（北京大学）
推荐系统是智能应用的一种重要形式，它帮助用户减少信息冗余。在评价一个推荐系统的指标中，转化率指标变得越来越重要。现有的大多数推荐系统由于其极其稀疏的反馈信号而在转换度量上表现不佳。为了应对这一挑战，我们提出了一个基于深度层次强化学习的推荐框架，该框架由两个组件组成，即，高级代理和低级代理。高层智能体捕捉长期稀疏的转换信号，自动为底层智能体设定抽象目标，底层智能体遵循抽象目标与实时环境交互。针对分层强化学习存在的问题，提出了一种基于多目标抽象的深度分层强化学习算法（HRL-MG）.该算法具有三个特点：1）高层智能体在不同阶段产生多个目标来指导底层智能体，降低了接近高层目标的难度; 2）不同目标共享相同的状态编码器参数，增加了高层智能体的更新频率，从而加快了算法的收敛速度; 3）设计了一个增值收益分配函数，对每个目标进行奖励分配，使不同目标协调一致。我们评估我们提出的算法的基础上，现实世界的电子商务数据集，并验证其有效性。
2019-03-22 cs.AI cs.IR cs.LG
ACTRCE: Augmenting Experience via Teacher's Advice For Multi-Goal Reinforcement Learning
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Google Brain（谷歌大脑）
稀疏奖励是强化学习中最具挑战性的问题之一。后见之明经验重演（HER）试图解决这个问题，通过重新标记目标，将失败的经验转化为成功的经验。尽管它的有效性，HER具有有限的适用性，因为它缺乏一个紧凑和通用的目标表示。我们目前通过TeacheR的增强体验（ACTRCE），一个有效的强化学习技术，使用自然语言作为目标表示扩展HER框架。我们首先分析了目标表示之间的差异，并表明ACTRCE可以有效地解决困难的强化学习问题，在具有挑战性的3D导航任务，而HER与非语言目标表示未能学习。我们还表明，与语言的目标表示，代理可以概括到看不见的指令，甚至概括到看不见的词汇的指令。我们进一步证明了使用后见之明的建议来解决具有挑战性的任务是至关重要的，即使是少量的建议也足以使代理实现良好的性能。
2019-02-12 cs.AI cs.LG cs.NE
Accelerating Goal-Directed Reinforcement Learning by Model Characterization
NVIDIA Corporation（英伟达公司）；University of Southern California（南加利福尼亚大学）；Indiana University - Bloomington（印第安纳大学伯明顿分校）
我们提出了一种混合的方法，旨在提高目标导向的强化学习的样本效率。我们通过两步机制来实现这一点，首先，我们从无模型强化学习中近似模型。然后，我们利用这个近似模型以及使用平均首次通过时间的可达性概念来执行基于模型的强化学习。基于这样一个新的观察，我们设计了两个新的算法-平均第一次通过时间为基础的Q-学习（MFPT-Q）和平均第一次通过时间为基础的DYNA（MFPT-DYNA），已从根本上修改了国家的最先进的强化学习技术。初步结果表明，我们的混合方法收敛的迭代次数比相应的最先进的方法少得多，因此需要更少的样本和更少的训练试验来收敛。
2019-01-04 cs.AI cs.LG stat.ML
Maximum Entropy Gain Exploration for Long Horizon Multi-goal Reinforcement Learning
University of Toronto（多伦多大学）；Vector Institute（Vector研究所）
多目标强化学习智能体在训练长视野任务时应该追求什么目标？当期望的（测试时间）目标分布太远，提供一个有用的学习信号，我们认为，代理不应该追求无法实现的目标。相反，它应该设定自己的内在目标，以最大化历史已实现目标分布的熵。我们建议通过让代理在目标空间的稀疏探索区域中追求过去实现的目标来优化这一目标，该区域将探索集中在可实现目标集的前沿。我们表明，我们的策略实现了一个数量级更好的样本效率比现有技术的长期视野多目标任务，包括迷宫导航和块堆叠。
2020-07-06 cs.AI cs.LG cs.RO
Many-Goals Reinforcement Learning
University of Michigan（密歇根大学）
全目标更新利用Q学习的非策略性质来更新智能体在世界中的每个转变中可能具有的所有可能目标，并由Kaelbling（1993）引入到强化学习（RL）中。在以前的工作中，这主要是在小状态RL问题中进行的探索，这些问题允许表格表示，并且所有可能的目标都可以明确枚举并单独学习。在本文中，我们经验性地探索了在深度神经网络（简称DeepRL）的RL背景下更新许多（而不是所有）目标的想法的3种不同扩展。首先，在Kaelbling的方法的直接适应，我们探讨如果多目标更新可以用来实现掌握非表格视觉观察域。其次，我们探讨了多目标更新是否可以用于预训练网络，以便随后在感兴趣的单个主要任务上更快更好地学习。第三，我们探讨了多目标更新是否可以用来提供辅助任务更新，以训练网络更快，更好地学习一个感兴趣的主要任务。我们为3个扩展中的每一个提供了与基线的比较。
2018-06-22 cs.AI cs.LG stat.ML
Reinforcement Learning of Speech Recognition System Based on Policy Gradient and Hypothesis Selection
Tokyo Institute of Technology（东京工业大学）
语音识别系统已经实现了几个任务的高识别性能。然而，这种系统的性能取决于准备大量任务匹配的转录语音数据用于监督训练的非常昂贵的开发工作。这里的关键问题是转录语音数据的成本。为支持新的语言和新的任务，一再需要这笔费用。假设为许多用户转录语音数据的广泛网络服务，如果系统具有从来自用户的非常轻微的反馈中学习而不打扰用户的能力，则系统将变得更加自给自足和更加有用。本文提出了一种基于策略梯度方法的语音识别系统的通用强化学习框架。作为该框架的一个特例，我们还提出了一种基于假设选择的强化学习方法。建议的框架提供了一个新的观点，现有的几个培训和适应方法。实验结果表明，该方法提高了识别性能相比，无监督的适应。
2017-11-10 cs.CL cs.LG stat.ML
Multi-Goal Reinforcement Learning: Challenging Robotics Environments and Request for Research
OpenAI（开放人工智能研究中心）
本技术报告的目的是双重的。首先，它介绍了一套具有挑战性的连续控制任务（与OpenAI Gym集成），基于现有的机器人硬件。这些任务包括使用Fetch机械臂推动，滑动和拾取放置，以及使用Shadow Dexterous Hand进行手内对象操作。所有任务都有稀疏的二元奖励，并遵循多目标强化学习（RL）框架，其中代理被告知使用额外的输入做什么。论文的第二部分提出了一套改进强化学习算法的具体研究思路，其中大部分与多目标强化学习和后见之明经验重放有关。
2018-03-10 cs.AI cs.LG cs.RO
R1-Omni: Explainable Omni-Multimodal Emotion Recognition with Reinforcement Learning
Tongyi Lab, Alibaba Group（阿里巴巴集团通义实验室）
本文首次将带可验证奖励的强化学习（RLVR）应用于全模态多模态大语言模型的情感识别，显著提升推理能力、识别准确率和泛化能力，并增强了对视觉与音频模态贡献的可解释性分析。
2025-03-10 cs.CV cs.LG
Disentangled Skill Embeddings for Reinforcement Learning
Imperial College London（伦敦帝国理工学院）
我们提出了一个新的多任务强化学习（MTRL）的框架。使用变分推理公式，我们学习的政策，概括了不断变化的动态和目标。由此产生的政策是参数化的共享参数，允许不同的动态和目标条件之间的转移，并通过任务特定的潜在空间嵌入，允许专业化特定的任务。我们展示了潜在空间如何使泛化到看不见的动态和目标条件。此外，配备了这种嵌入的策略可以作为分层强化学习的技能（或选项）空间。由于我们可以独立地改变任务动态和目标，我们将我们的框架命名为Disentangled Skill Embeddings（DSE）。
2019-06-21 cs.AI cs.LG stat.ML
Pre-trained Word Embeddings for Goal-conditional Transfer Learning in Reinforcement Learning
University of Antwerp（安特卫普大学）；imec（比利时微电子研究中心）
强化学习（RL）算法通常从白板开始，没有任何环境的先验知识，也没有任何先验技能。然而，这通常导致低样本效率，需要与环境的大量相互作用。在终身学习环境中尤其如此，在这种环境中，代理需要不断扩展其能力。在本文中，我们研究了预训练的任务无关的语言模型如何使目标条件RL代理更具样本效率。我们通过促进不同相关任务之间的迁移学习来做到这一点。我们实验证明我们的方法对一组对象导航任务。
2020-07-10 cs.AI cs.LG stat.ML
Seeing by haptic glance: reinforcement learning-based 3D object Recognition
CAPACITÉS SAS（CAPACITÉS SAS公司）；University of Nantes（南特大学）
人类能够通过目标对象与他/她的手指之间的有限数量的触觉接触来进行3D识别，而无需看到对象。这种能力在认知神经科学中被定义为“触觉扫视”。现有的大多数三维识别模型都是基于密集的三维数据开发的。尽管如此，在许多现实生活中的用例中，机器人被用来通过触觉探索收集3D数据，只能收集有限数量的3D点。因此，在这项研究中，我们专注于解决如何获得具有认知代表性的3D关键点的目标对象与机器人和对象之间的有限的相互作用的棘手问题。提出了一种新的基于强化学习的框架，其中触觉探索过程（代理迭代地预测机器人探索的下一个位置）与具有主动收集的3D点的客观3D识别同时优化。由于模型仅在3D对象被准确识别时才被奖励，因此它被驱动以找到对象的稀疏但有效的触觉感知3D表示。实验结果表明，我们提出的模型优于最先进的模型。
2021-02-15 cs.AI
Goal-Directed Planning by Reinforcement Learning and Active Inference
Okinawa Institute of Science and Technology（冲绳科学技术大学院大学）
目标导向的行为和习惯性行为有什么区别？我们提出了一个新的计算框架的决策与贝叶斯推理，其中一切都集成为一个完整的神经网络模型。该模型通过自我探索和通过采样随机内部状态${z}$产生运动动作来学习预测环境状态转换。通过强化学习，从${z}$的先验分布中获得习惯行为。目标导向的行为是通过规划从后验分布的${z}$，使用主动推理，优化过去，当前和未来的${z}$，通过最小化的变化自由能所需的未来观测约束所观察到的感觉序列。我们通过实验证明了所提出的框架的有效性，在感觉运动导航任务与相机的观察和连续的电机动作。
2021-06-22 cs.AI cs.LG cs.RO
GOATS: Goal Sampling Adaptation for Scooping with Curriculum Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）；Baidu Research（百度研究院）；The University of Hong Kong（香港大学）
针对机器人舀水中的复杂流体动力学与多模态目标空间问题，提出GOATS课程强化学习方法，通过目标因子化奖励及目标分布插值提升仿真与真实机器人性能。
2023-09-23 cs.AI cs.LG cs.RO
Bias-reduced Multi-step Hindsight Experience Replay for Efficient Multi-goal Reinforcement Learning
Tsinghua University（清华大学）；Tencent AI Lab（腾讯人工智能实验室）
多目标强化学习在规划和机器人操作中有着广泛的应用。多目标强化学习的两个主要挑战是稀疏奖励和样本效率低下。后见之明经验重演（HER）旨在通过目标重新标记来解决这两个挑战。然而，HER相关的工作仍然需要数百万的样本和巨大的计算。在本文中，我们提出了多步后见之明经验重放（MHER），结合多步重新标记的回报的基础上$n$ -步骤重新标记，以提高样本效率。尽管$n$ -步骤重新标记的优点，我们从理论和实验上证明了由$n$ -步骤重新标记引入的政策外$n$-步骤偏差可能导致在许多环境中的性能差。为了解决上述问题，提出了两种降低偏置的MHER算法：MHER（$λ$）和基于模型的MHER（MMHER）。MHER（$λ$）利用了$λ$的回报，而MMHER则受益于基于模型的价值扩张。大量多目标机器人任务的实验结果表明，我们的解决方案可以成功地减轻政策外的$n$ -步骤的偏见，并实现显着更高的样本效率比HER和课程引导HER与HER以外的额外计算。
2022-09-26 cs.AI cs.LG cs.RO
Goal-Aware Cross-Entropy for Multi-Target Reinforcement Learning
Seoul National University（首尔大学）；Surromind；AI Institute, Seoul National University（首尔大学人工智能研究院）
在没有目标先验知识的多目标环境中学习需要大量的样本，并且使得泛化困难。为了解决这个问题，重要的是能够通过语义理解来区分目标。在本文中，我们提出了目标感知交叉熵（GACE）损失，可以使用自动标记的目标状态以及强化学习以自监督的方式使用。基于这种损失，我们设计了目标区分注意网络（GDAN），它利用目标相关信息来关注给定的指令。我们评估所提出的方法对视觉导航和机器人手臂操作任务与多目标环境，并表明GDAN优于国家的最先进的方法，在任务成功率，样本效率，和泛化。此外，定性分析表明，我们提出的方法可以帮助智能体清楚地意识到并专注于给定的指令，从而促进目标导向的行为。
2021-10-26 cs.AI cs.LG cs.RO
Online Feature Selection for Activity Recognition using Reinforcement Learning with Multiple Feedback
University of Bristol（布里斯托大学）
机器学习和物联网的最新进展吸引了人们对自动活动识别的关注，其中用户佩戴具有传感器的设备，并且他们的输出被映射到预定义的活动集合。然而，很少有研究考虑可穿戴设备功耗和活动识别准确性之间的平衡。当计算负载的一部分发生在可穿戴设备上时，这是特别重要的。在本文中，我们提出了一种新的方法来执行特征选择的设备上的基础上强化学习（RL），找到功耗和准确性之间的最佳平衡。为了加快学习速度，我们扩展了RL算法来处理多个反馈源，并使用它们来调整策略，同时估计反馈精度。我们在SPHERE挑战数据集上评估了我们的系统，这是一个公开的研究数据集。结果表明，我们提出的方法实现了可穿戴功耗和活动识别精度之间的良好权衡。
2019-08-16 cs.LG stat.ML
Deep Reinforcement Learning for Robust Goal-Based Wealth Management
University of Zagreb（萨格勒布大学）；Faculty of Electrical Engineering and Computing（电气工程与计算学院）
本文提出一种基于深度强化学习的稳健目标型财富管理新方法，在模拟与历史市场数据上均优于多个基准。
2023-07-25 cs.LG q-fin.PM
Continuous Value Iteration (CVI) Reinforcement Learning and Imaginary Experience Replay (IER) for learning multi-goal, continuous action and state space controllers
Sony Computer Science Laboratories Inc.（索尼计算机科学实验室公司）
本文提出了一种新的无模型强化学习算法，用于在连续的动作、状态和目标空间中学习行为。该算法使用非参数估计来逼近最优价值函数。它能够有效地学习在确定性和非确定性环境中达到多个任意目标。为了提高目标空间的泛化能力，我们提出了一种新的样本增强技术。使用这些方法，机器人可以更快地学习，并获得更好的控制器。我们基准所提出的算法，使用模拟和现实世界的电压控制机器人，学会在一个不可观测的笛卡尔任务空间中操纵。
2019-08-27 cs.AI
General Dynamic Goal Recognition using Goal-Conditioned and Meta Reinforcement Learning
Department of Computer Science, Bar Ilan University（巴伊兰大学计算机科学系）；Department of Computer Science, Tufts University（塔夫茨大学计算机科学系）
本文提出两种方法，通过目标条件化和元强化学习实现动态环境下的目标识别，提升系统在变化和噪声中的适应能力与识别精度。
2026-01-04 cs.AI cs.RO
State Representation Learning for Goal-Conditioned Reinforcement Learning
Universitat Pompeu Fabra（庞培法布拉大学）
本文提出了一种新的无报酬马尔可夫决策过程的状态表示。其思想是以自我监督的方式学习嵌入空间，其中嵌入状态对之间的距离对应于在它们之间转换所需的最小动作数量。与以前的方法相比，我们的方法不需要任何领域知识，从离线和未标记的数据中学习。我们展示了如何利用这种表示来学习目标条件策略，提供了状态和目标之间的相似性的概念，并提供了一个有用的启发式距离来指导规划和强化学习算法。最后，我们在经典控制域和多目标环境中实证验证了我们的方法，证明我们的方法可以成功地学习大型和/或连续域中的表示。
2022-05-04 cs.LG
Direction-Conditioned Policies for Online Goal-Conditioned Reinforcement Learning
Indian Institute of Technology Kharagpur（印度理工学院卡哈拉格普尔分校）
提出方向条件化策略（DCP），通过利用表示空间中的方向与距离信息改进对比强化学习，在多个导航和操作任务中提升成功率和目标接近时间，并验证其几何捕获能力。
2026-10-06 cs.AI cs.LG cs.RO
Unbiased Methods for Multi-Goal Reinforcement Learning
Inria（法国国家信息与自动化研究所）；Université Paris Saclay（巴黎萨克雷大学）；FAIR（脸书人工智能研究院）
在多目标强化学习（RL）环境中，每个目标的奖励是稀疏的，并且位于目标的一个小邻域中。在大的维度上，达到奖励的概率为零，代理接收到的学习信号很少。事后经验重演（HER）等方法也通过从已实现但未计划的目标中学习来解决这个问题。但众所周知，HER会引入偏见，并通过高估风险结果而收敛于低回报政策。首先，我们通过证明它在确定性环境中实际上是无偏的来维护HER，例如许多最优控制设置。接下来，对于连续空间中的随机环境，我们通过直接取无限稀疏奖励极限来解决稀疏奖励问题。我们完全形式化了多目标RL的问题，每个目标都有无限稀疏的Dirac奖励。我们引入了无偏见的深度Q学习和演员-评论家算法，可以处理这种无限稀疏的奖励，并在玩具环境中测试它们。
2021-06-16 cs.LG
Exploring the Edges of Latent State Clusters for Goal-Conditioned Reinforcement Learning
Rutgers University（罗格斯大学）
针对无监督目标条件强化学习中的探索难题，提出簇边缘探索算法，通过潜在空间聚类并优先选择可达边界目标，在多个机器人环境中显著提升探索效率。
2024-11-03 cs.AI cs.LG cs.RO
