Learning and reusing primitive behaviours to improve Hindsight Experience Replay sample efficiency
Dublin City University（都柏林城市大学）；University College Dublin（都柏林大学学院）；Insight SFI Centre for Data Analytics（Insight SFI数据分析中心）
本文提出一种重用已学基本行为引导智能体探索的方法，利用critic网络动态决定是否采用基本策略动作，显著提升了HER在机器人操作任务中的样本效率和计算速度。
2023-11-19 cs.AI cs.RO
Hindsight Trust Region Policy Optimization
Xi’an Jiaotong University（西安交通大学）；National University of Singapore（新加坡国立大学）
具有稀疏奖励的强化学习（RL）是一个主要挑战。我们提出了\emph{Hindsight Trust Region Policy Optimization}（HTRPO），一个新的RL算法，扩展了非常成功的TRPO算法与\emph{hindsight}，以解决稀疏奖励的挑战。后见之明指的是算法从跨目标的信息中学习的能力，包括那些不适用于当前任务的信息。HTRPO利用了两个主要思想。它引入了QKL，一个二次近似的KL散度约束的信赖域，导致减少KL散度估计的方差和改善的稳定性，在政策更新。它还提出了后见之明目标过滤（HGF）选择导电后见之明目标。在实验中，我们在各种稀疏奖励任务中评估HTRPO，包括简单的基准测试，基于图像的Atari游戏和模拟机器人控制。消融研究表明，QKL和HGF对学习稳定性和高绩效有很大贡献。比较结果表明，在所有的任务，HTRPO始终优于TRPO和HPG，一个国家的最先进的RL算法与稀疏奖励。
2021-05-17 cs.AI cs.LG stat.ML
Rewriting History with Inverse RL: Hindsight Inference for Policy Improvement
Carnegie Mellon University（卡内基梅隆大学）；UC Berkeley（加州大学伯克利分校）；Google Brain（谷歌大脑）
多任务强化学习（RL）旨在同时学习解决多个任务的策略。几个先前的工作已经发现，用不同的奖励函数重新标记过去的经验可以提高样本效率。重新标记方法通常会问：如果事后我们假设我们的经验对某些任务是最优的，那么它对什么任务是最优的？在本文中，我们证明了后见之明重新标记是逆RL，这一观察表明，我们可以使用逆RL串联RL算法，以有效地解决许多任务。我们使用这个想法来概括目标重新标记技术从以前的工作，以任意类的任务。我们的实验证实，使用逆RL重新标记数据可以加速一般多任务设置中的学习，包括目标达成、具有离散奖励集的域以及具有线性奖励函数的域。
2020-02-25 cs.AI cs.LG cs.RO
Policy Continuation with Hindsight Inverse Dynamics
The Chinese University of Hong Kong（香港中文大学）；Peking University（北京大学）
面向目标的任务求解是强化学习中一个重要而又具有挑战性的问题。对于这样的任务，奖励往往是稀疏的，使得很难有效地学习策略。为了解决这个困难，我们提出了一种新的方法，称为政策延续与后见之明逆动力学（PCHID）。该方法基于后见之明经验重放从后见之明逆动力学学习，使得学习过程以自我模仿的方式进行，因此可以用监督学习进行训练。这项工作还将其扩展到策略延续的多步骤设置。该方法具有通用性，既可以独立工作，也可以与其他策略内和策略外算法相结合。在GridWorld和FetchReach两个多目标任务上，PCHID显著提高了样本效率和最终性能。
2019-11-01 cs.LG stat.ML
Hindsight policy gradients
IDSIA（瑞士人工智能研究所）；USI（瑞士意大利语区大学）；SUPSI（瑞士南方应用科技大学）；IFES（巴西联邦教育科学与技术研究所）；UFES（巴西圣埃斯皮里图联邦大学）；NNAISENSE（耐能智能）
一个强化学习智能体需要在不同的场景中追求不同的目标，这就需要一个目标条件策略。除了有可能将期望的行为推广到看不见的目标之外，这些策略还可以实现基于子目标的更高级别的规划。在稀疏奖励环境中，利用关于任意目标已经实现的程度的信息的能力，而另一个目标是为了使样本有效学习显得至关重要。然而，强化学习智能体直到最近才被赋予这种事后诸葛亮的能力。在本文中，我们演示了如何后见之明可以引入到策略梯度方法，推广这种想法，以广泛的一类成功的算法。我们的实验上的稀疏回报环境的不同选择表明，后见之明导致显着增加样本效率。
2019-02-20 cs.AI cs.LG cs.NE
Contact Energy Based Hindsight Experience Prioritization
Technical University of Munich（慕尼黑工业大学）；University of Würzburg（维尔茨堡大学）；TU Darmstadt（达姆施塔特工业大学）；Hessian.AI, The Hessian Center for Artificial Intelligence（黑森人工智能中心（Hessian.AI））；Bilkent University（比尔肯特大学）
针对稀疏奖励多目标机器人操作中HER均匀采样失败轨迹的问题，提出基于接触能量的优先级排序方法CEBP，利用触觉传感器和物体位移优先采样接触丰富经验，在多个任务上超越或持平现有方法，并成功部署到真实Franka机器人。
2024-02-23 cs.AI cs.RO
On-Policy Robot Imitation Learning from a Converging Supervisor
University of California Berkeley（加州大学伯克利分校）
现有的政策上的模仿学习算法，如Dagger，假设访问一个固定的监督。然而，在策略学习过程中，存在许多监管者可能演变的设置，例如执行新任务的人或改进算法控制器。我们正式模仿学习从一个“收敛监督”，并提供次线性静态和动态的后悔保证最好的政策在事后与标签从收敛监督，即使标签在学习过程中只从中间监督。然后，我们表明，这个框架是密切相关的一类强化学习（RL）算法称为双策略迭代（DPI），交替训练反应式学习者与模仿学习和基于模型的监督与数据从学习者。实验表明，当该框架与最先进的基于深度模型的RL算法PETS一起应用时，它在连续控制任务上的性能优于深度RL基线，并在策略评估中提供高达80倍的加速。
2020-05-16 cs.AI cs.LG cs.RO
Improvements on Hindsight Learning
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
稀疏奖励问题是强化学习面临的最大挑战之一。目标导向任务就是这样一种稀疏奖励问题，其中只有当目标达到时才会收到奖励信号。训练智能体执行目标导向任务的一种有前途的方法是使用后见之明学习方法。在这些方法中，即使代理未能达到预期目标，代理也会学习达到它实现的目标。在多个轨迹上这样做，同时概括从实现的目标中学习的策略，智能体学习目标条件策略以达到任何目标。一种这样的方法是后见之明经验重放，其使用脱离策略强化学习算法来学习目标条件策略。在这种方法中，过去转换的重放以均匀随机的方式发生。另一种方法是使用策略梯度的后见之明版本来直接学习策略。在这项工作中，我们讨论了不同的方式来重放过去的过渡，以提高学习后见之明的经验重放，特别是重点优先的变体。此外，我们实现了后见之明策略梯度方法的机器人任务。
2018-11-04 cs.LG stat.ML
Hindsight-Anchored Policy Optimization: Learning Through Hindsight with Thompson Sampling-Inspired Adaptive Gating
Amazon（亚马逊）
本文提出HAPO策略优化方法，通过合成成功注入机制和 Thompson 采样启发的门控机制，解决稀疏奖励下策略优化的分布偏置问题，实现渐近一致性。
2026-09-15 cs.AI cs.CL cs.LG
Hindsight Experience Replay Accelerates Proximal Policy Optimization
Sandia National Laboratories（桑迪亚国家实验室）
针对HER因违反同策略假设难用于同策略算法的问题，研究验证了后见经验回放（HER）可在定制捕食者-猎物环境中显著加速同策略强化学习算法近端策略优化（PPO）。
2024-10-29 cs.LG
Translating Flow to Policy via Hindsight Online Imitation
Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院）；University of California San Diego（加州大学圣地亚哥分校）；Washington University in St. Louis（圣路易斯华盛顿大学）；Shanghai Jiao Tong University（上海交通大学）；Shanghai Qi Zhi Institute（上海启智研究所）
通过回顾在线模仿将流翻译为政策，利用2D点流作为高层规划器，在模拟和现实任务中实现超过2倍的性能提升。
2026-02-12 cs.LG cs.RO
Hierarchical Visual Policy Learning for Long-Horizon Robot Manipulation in Densely Cluttered Scenes
Academy for Engineering & Technology, Fudan University（复旦大学工程与应用技术研究院）；Tsinghua University（清华大学）
提出视觉分层策略 HCLM，结合 BC 与 HRL，并通过 SEQ 和 TSUS 提升密集杂乱场景下长程机器人操作的成功率、效率及泛化能力。
2023-12-05 cs.RO
From Outcomes to Actions: Leveraging Hindsight for Long-Horizon Language Agent Training
研究长期语言智能体训练中现有强化学习方法面临的挑战，提出事后诸葛亮策略优化方法，通过投影到意图空间提取低方差学习信号，聚合相似状态和行动，理论和实证证明可稳定提升策略性能。
2026-07-21 cs.AI cs.CL cs.LG
Maximum Entropy Hindsight Experience Replay
Sandia National Laboratories（桑迪亚国家实验室）
本研究针对基于目标的强化学习场景，提出通过有原则地选择性应用HER的方式，改进此前适配同策略PPO算法的PPO-HER方法，进一步提升后见之明经验回放的效果。
2024-10-31 cs.LG
Hindsight Reward Tweaking via Conditional Deep Reinforcement Learning
Hikvision Research Institute（海康威视研究院）
在强化学习（RL）中，设计最优的奖励函数一直是人们所期望的，但却极其困难。当涉及到现代复杂任务时，复杂的奖励函数被广泛用于简化策略学习，但由于训练成本急剧增加，即使是对它们进行微小的调整也是昂贵的。为此，我们提出了一种后见之明的奖励调整方法，通过设计一种新的深度强化学习范式来模拟奖励函数在接近最优空间内的影响。我们简单地扩展输入观察与有效的环境奖励参数和训练的条件向量线性相关的模型在常规的方式，除了随机奖励配置，获得一个超政策，其特征是灵敏地调节的条件空间。我们证明了这种方法的可行性，并研究了其在多个MuJoCo任务的政策性能提升的潜在应用之一。
2021-09-06 cs.AI cs.LG
Hindsight-DICE: Stable Credit Assignment for Deep Reinforcement Learning
Stanford University（斯坦福大学）
针对强化学习中稀疏奖励导致的信用分配难题，现有后见之明策略方法存在不稳定问题，本研究提出Hindsight-DICE，通过适配离策略评估的重要性采样比率估计技术实现后见之明分布校正，提升了学习的稳定性与效率。
2023-08-18 cs.AI cs.LG
HiMPO: Hindsight-Informed Memory Policy Optimization for Less-Entangled Credit in Long-Horizon Agents
Unicom Data Intelligence, China Unicom（联通数据智能有限公司，中国联通）；Data Science & Artificial Intelligence Research Institute, China Unicom（中国联通数据科学与人工智能研究院）
提出HiMPO框架，通过比较记忆更新前后的任务相关信息估计局部效用，并利用后见相关性作为回顾性滤波器，减少记忆写入动作的信用纠缠，提升长周期智能体性能。
2026-10-15 cs.CL cs.LG
Generalized Hindsight for Reinforcement Learning
UC Berkeley（加州大学伯克利分校）；New York University（纽约大学）
强化学习（RL）中样本复杂度高的一个关键原因是无法将知识从一个任务转移到另一个任务。在标准的多任务RL设置中，在试图解决一个任务时收集的低奖励数据几乎没有提供解决该特定任务的信号，因此实际上被浪费了。然而，我们认为，这些数据，这是一个任务，这是没有信息，可能是一个丰富的信息来源，为其他任务。为了利用这种洞察力并有效地重用数据，我们提出了广义后见之明：一种近似逆强化学习技术，用于将行为重新标记为正确的任务。直觉上，给定在一个任务下生成的行为，广义后见之明返回一个行为更适合的不同任务。然后，在被非策略RL优化器使用之前，该行为被重新标记为这个新任务。与标准的重新标记技术相比，广义后见之明提供了一个更有效的重用样本，我们经验证明了一套多任务导航和操作任务。视频和代码可以在这里访问：https://sites.google.com/view/generalized-hindsight。
2020-02-26 cs.AI cs.LG cs.NE
Imaginary Hindsight Experience Replay: Curious Model-based Learning for Sparse Reward Tasks
University College Dublin（都柏林大学）
本文提出想象后见经验回放方法，通过想象数据、后见经验回放和好奇心内在奖励解决稀疏奖励多目标任务，在OpenAI Gym Fetch Robotics基准上数据效率平均提升一个数量级。
2023-08-09 cs.LG cs.RO
Hindsight PRIORs for Reward Learning from Human Preferences
Arizona State University（亚利桑那州立大学）；Apple Inc.（苹果公司）
针对基于偏好的强化学习中信用分配缺失导致的奖励学习低效问题，提出Hindsight PRIOR策略，利用世界模型估计状态重要性并引导奖励分配，显著提升了运动与操作任务的学习效率和奖励恢复效果。
2024-04-12 cs.AI cs.HC cs.LG
Robotic Lever Manipulation using Hindsight Experience Replay and Shapley Additive Explanations
Norwegian University of Science and Technology (NTNU)（挪威科技大学）；Centre for Autonomous Marine Operations and Systems (AMOS)（自主海洋作业与系统中心）
本文介绍了机器人杠杆控制使用可解释的深度强化学习。首先，我们通过使用深度确定性策略梯度算法和后见之明经验重放技术来训练策略，其中目标是控制机器人机械手操纵杠杆。这使我们既能使用连续的状态和动作，又能用稀疏的奖励进行学习。能够从稀疏奖励中学习对于深度强化学习来说尤其重要，因为为这样的复杂任务设计奖励函数是一项挑战。我们首先在PyBullet模拟器中进行训练，这加快了训练过程，但与真实世界环境相比，这项任务并不准确。在PyBullet中完成训练后，我们在Gazebo模拟器中进行进一步的训练，Gazebo模拟器运行速度比PyBullet慢，但在此任务上更准确。然后，我们将该策略转移到现实世界的环境中，在那里它实现了与大多数情节的模拟环境相当的性能。为了解释政策的决定，我们使用SHAP方法来创建一个解释模型，该模型基于在现实世界环境中完成的事件。这给了我们一些与直觉一致的结果，而另一些则不一致。我们还质疑在近似SHAP值时所做的独立性假设是否会影响像这样的系统的这些值的准确性，其中状态之间存在一些相关性。
2021-10-07 cs.LG cs.RO
Utilizing and Calibrating Hindsight Process Rewards via Reinforcement with Mutual Information Self-Evaluation
Beijing Institute of Technology（北京理工大学）；Beihang University（北京航空航天大学）
本文提出MISE方法，通过生成自我评估提供密集奖励信号并校准环境反馈，使基于大语言模型的智能体能自主学习，理论证明其等价于结合互信息与KL散度的优化目标，实验表明其在无监督条件下优于基线方法。
2026-04-13 cs.CL cs.LG
Hindsight Experience Replay with Kronecker Product Approximate Curvature
Amrita School of Engineering（阿姆利塔工程学院）；Amrita Vishwa Vidhyapeetham（阿姆利塔大学）；Indian Institute of Science（印度科学学院）
后见之明经验重放（HER）算法是解决稀疏奖励环境下强化学习问题的有效算法之一，但由于其样本效率降低和收敛速度较慢，HER算法性能不佳。自然梯度通过更好地收敛模型参数来解决这些挑战。它避免了采取破坏训练表现的不良行为。然而，更新神经网络中的参数需要昂贵的计算，因此增加了训练时间。我们提出的方法解决了上述挑战，具有更好的样本效率和更快的收敛速度，提高了成功率。DDPG的一个常见故障模式是学习的Q函数开始显著高估Q值，然后导致策略破坏，因为它利用了Q函数中的错误。我们通过在HER中加入双延迟深度确定性策略梯度（TD 3）来解决这个问题。TD 3学习两个Q函数而不是一个Q函数，它向目标动作添加噪声，使策略更难利用Q函数错误。实验是在OpenAis Mujoco环境的帮助下完成的。在这些环境下的结果表明，我们的算法（TDHER+KFAC）在大多数情况下都有较好的性能
2020-10-09 cs.LG
Hindsight States: Blending Sim and Real Task Elements for Efficient Reinforcement Learning
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
强化学习在解决复杂任务时显示出巨大的潜力，可以轻松生成大量数据。在机器人技术中，一种生成训练数据的方法建立在基于从第一原理导出的动力学模型的模拟上。然而，对于例如涉及复杂的软体机器人的任务，设计这样的模型实质上更具挑战性。通过强化学习，能够在日益复杂的场景中有效地进行训练，从而能够利用软体机器人等复杂系统。在这里，我们利用动态复杂性的不平衡来更有效地学习样本。我们（i）将任务抽象为不同的组件，（ii）将简单的动力学部分卸载到模拟中，（iii）将这些虚拟部分相乘以生成更多的事后数据。我们的新方法，后见之明状态（HiS），使用这些数据，并选择最有用的过渡进行训练。它可以与任意的非策略算法一起使用。我们在几个具有挑战性的模拟任务上验证了我们的方法，并证明了它可以单独和与现有的后见之明算法（HER）相结合来提高学习效果。最后，我们评估HiS的物理系统，并表明它提高了一个复杂的乒乓球任务与肌肉机器人的性能。实验的视频和代码可以在webdav.tuebingen.mpg.de/his/上找到。
2023-03-09 cs.AI cs.LG cs.NE
MapGo: Model-Assisted Policy Optimization for Goal-Oriented Tasks
Tencent AI Lab（腾讯人工智能实验室）；Shanghai Jiao Tong University（上海交通大学）
在面向目标的强化学习中，重新标记过去经验中的原始目标，为智能体提供后见之明能力是解决奖励稀疏问题的主要方法。在本文中，为了提高重新标记的目标的多样性，我们开发了FGI（Fogram目标推理），一种新的重新标记策略，通过使用学习的动态模型展望未来来重新标记目标。此外，为了提高样本效率，我们提出使用动力学模型来生成用于策略训练的模拟轨迹。通过整合这两个改进，我们引入了MapGo框架（面向目标任务的模型辅助策略优化）。在我们的实验中，我们首先展示了FGI策略与后见之明策略相比的有效性，然后展示了MapGo框架在一组复杂任务上与无模型基线相比实现了更高的样本效率。
2021-05-13 cs.AI cs.LG
Human-Aware Robot Navigation via Reinforcement Learning with Hindsight Experience Replay and Curriculum Learning
The Chinese University of Hong Kong（香港中文大学）；Southern University of Science and Technology（南方科技大学）；Shenzhen Research Institute of the Chinese University of Hong Kong（香港中文大学深圳研究院）
针对密集人群中无示范数据的机器人导航问题，提出融合HER与CL的强化学习方法，以克服稀疏奖励并学习安全、高效、无碰撞的人类感知导航策略。
2021-10-09 cs.AI cs.LG cs.RO
Option Encoder: A Framework for Discovering a Policy Basis in Reinforcement Learning
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）；Robert Bosch Centre for Data Science and AI（罗伯特·博世数据科学与人工智能中心）；University of Pennsylvania（宾夕法尼亚大学）
选项发现和技能获取框架是分层组织的强化学习代理的功能不可或缺的。然而，这种技术通常会产生大量的选项或技能，这些选项或技能可以通过过滤掉任何冗余信息来简洁地表示。这样的减少可以减少所需的计算，同时也提高了目标任务的性能。为了压缩一系列选项策略，我们试图找到一个策略基础，准确地捕捉所有选项的集合。在这项工作中，我们提出了Option Encoder，一个基于自动编码器的框架，具有智能约束的权重，有助于发现基础策略的集合。政策基础可以在一个适当的分级组织框架中作为原始技能集的代理。我们证明了我们的方法的有效性，收集的网格世界和高维获取达到机器人操作任务通过评估获得的政策基础上的一组下游任务。
2020-07-03 cs.AI cs.LG stat.ML
When Do Options Help? Policy Necrosis and Redundant Coverage in Option-Critic
Institute of Automation（自动化研究所）；Chinese Academy of Sciences（中国科学院）
本研究通过理论和实验解释了选项-评论中增加选项提升性能的原因：终止规则无贡献，策略坏死导致状态锁定，额外选项通过降低联合失败概率（从59%降至4%）来提升性能。
2026-09-09 cs.AI cs.LG
Asynchronous, Option-Based Multi-Agent Policy Gradient: A Conditional Reasoning Approach
Simon Fraser University（西蒙弗雷泽大学）；Huawei Technologies Canada Co., Ltd.（华为技术加拿大有限公司）
针对多机器人异步执行选项导致MAPG方法难以推导集中式策略的问题，提出一种条件推理方法，并在基于选项的多智能体合作任务中验证了其有效性。
2023-08-02 cs.AI cs.LG cs.MA
Learning Robust Options
Technion Israel Institute of Technology（以色列理工学院）；Google Deepmind（谷歌DeepMind）；McGill University（麦吉尔大学）
鲁棒强化学习旨在产生即使在参数具有强不确定性的环境/过渡模型中也具有强保证的策略。现有的工作使用基于值的方法和通常的原始动作设置。在本文中，我们提出了强大的方法来学习时间抽象的行动，在选项的框架。我们提出了一个鲁棒选项政策迭代（ROPI）算法的收敛保证，学习选项是强大的模型的不确定性。我们利用ROPI来学习鲁棒选项深度Q网络（RO-DQN）的鲁棒选项，该网络可以解决多个任务并减轻由于模型不确定性而导致的模型错误指定。我们目前的实验结果表明，政策迭代与线性功能可能有一个固有的形式的鲁棒性时，使用粗糙的特征表示。此外，我们提出的实验结果表明，鲁棒性有助于在深度神经网络上实现的策略迭代，比非鲁棒性策略迭代更广泛地推广动态。
2018-02-09 cs.AI cs.LG stat.ML
Hierarchical Reinforcement Learning via Advantage-Weighted Information Maximization
University of Tokyo（东京大学）；RIKEN AIP（理化学研究所先进智能项目中心）
现实世界的任务往往是高度结构化的。分层强化学习（HRL）作为一种在强化学习（RL）中利用给定任务的分层结构的方法引起了研究兴趣。然而，识别增强RL性能的分层策略结构并不是一项微不足道的任务。在本文中，我们提出了一种HRL方法，该方法使用互信息最大化来学习分层策略的潜在变量。我们的方法可以被解释为一种学习状态-动作空间的离散和潜在表示的方法。为了学习对应于优势函数模式的期权策略，我们引入了加权重要性采样。在我们的HRL方法中，门控策略学习选择基于选项价值函数的选项策略，并且这些选项策略基于确定性策略梯度方法被优化。这个框架是通过利用标准RL中的整体策略和HRL中的分层策略之间的类比，通过使用确定性选项策略而得出的。实验结果表明，我们的HRL方法可以学习的选项的多样性，它可以提高RL在连续控制任务的性能。
2019-03-07 cs.AI cs.LG stat.ML
Hindsight Preference Replay Improves Preference-Conditioned Multi-Objective Reinforcement Learning
School of Computer Science, University of Galway（计算机科学学院，Galway大学）
HPR通过回放增强策略改进CAPQL，提升多目标强化学习中偏好条件下的超体积和预期效用性能。
2026-01-08 cs.AI cs.LG
LISPR: An Options Framework for Policy Reuse with Reinforcement Learning
University of Alberta（阿尔伯塔大学）
我们提出了一个框架，将任何现有的政策从一个潜在的未知源MDP的目标MDP。该框架（1）使得能够在目标域中重用任何形式的源策略，包括经典控制器、启发式策略或基于深度神经网络的策略，（2）在合适的理论条件下获得最优性，以及（3）保证在目标MDP中对源策略的改进。这些是通过将源策略打包为目标MDP中的黑盒选项并提供理论上有基础的方法来通过一般价值函数学习选项的初始集来实现的。我们的方法通过以下方式促进新策略的学习：（1）在黑盒选项的帮助下最大化目标MDP奖励，以及（2）将代理返回到黑盒选项的学习初始集中已经最优的状态。我们表明，这两个变种是等价的性能在某些条件下。通过在模拟环境中的一系列实验，我们证明了我们的框架表现出色的稀疏奖励问题（次）最优源政策，并改善现有技术的传输方法，如持续学习和渐进网络，缺乏我们的框架的理想的理论属性。
2020-12-29 cs.AI cs.LG
Natural Option Critic
College of Information and Computer Sciences（信息与计算机科学学院）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
最近提出的期权批评架构培根等人。提供了一个随机的策略梯度方法分层强化学习。具体来说，它们提供了一种方法来估计预期折扣回报相对于定义有限数量的时间扩展动作的参数的梯度，称为\textit{options}。在本文中，我们展示了如何选择批评架构可以扩展到估计自然梯度的预期贴现收益。为此，我们在本文中考虑的中心问题是：1）在这种情况下自然梯度的定义是什么，2）与期权的参数化策略相关联的Fisher信息矩阵是什么，3）与期权的参数化终止函数相关联的Fisher信息矩阵是什么，以及4）如何利用相容函数逼近方法来获得期权的参数化策略和参数化终止函数的自然梯度估计，步长时间复杂度和空间复杂度与参数总数成线性关系。基于这些问题的答案，我们介绍了自然选择评论家算法。实验结果表明，香草梯度方法的改进。
2018-12-04 cs.AI cs.LG stat.ML
DAC: The Double Actor-Critic Architecture for Learning Options
University of Oxford（牛津大学）
我们重新制定的选项框架作为两个并行的增强MDPs。在这种新的配方下，所有的策略优化算法都可以用来学习期权内策略、期权终止条件和期权上的主策略。我们对每个增强的MDP应用演员-评论家算法，产生双演员-评论家（DAC）架构。此外，我们表明，当状态价值函数被用作批评，一个批评可以表示的其他，因此只有一个批评是必要的。我们进行了具有挑战性的机器人模拟任务的实证研究。在迁移学习设置中，DAC优于其无层次对应物和先前的基于梯度的选项学习算法。
2019-09-11 cs.AI cs.LG stat.ML
On the Role of Weight Sharing During Deep Option Learning
IBM Research（IBM研究院）；Stanford University（斯坦福大学）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
选项框架是强化学习中构建时间扩展动作的一种流行方法。特别地，选择-批评架构提供了通用的策略梯度定理，用于从头开始学习在时间上扩展的动作。然而，过去的工作，使关键的假设，每个组件的选择批评有独立的参数。在这项工作中，我们注意到，虽然这一关键假设的策略梯度定理的选择批评持有表格的情况下，它总是违反了在实践中的深层功能近似设置。因此，我们重新考虑这个假设，并考虑更一般的扩展选项批评和分层选项批评训练，优化的完整架构与每次更新。事实证明，不假设参数独立性挑战了先前工作中的信念，即训练期权政策可以与潜在期权的动态相分离。事实上，学习可以通过将策略集中在选项实际上可能终止的状态上来加速。我们把我们的新算法在应用程序中进行测试，对Atari游戏的有效学习进行采样，并在学习长选项时表现出显着提高的稳定性和更快的收敛速度。
2020-02-06 cs.LG stat.ML
SOAP-RL: Sequential Option Advantage Propagation for Reinforcement Learning in POMDP Environments
Visual Geometry Group（视觉几何组）；University of Oxford（牛津大学）
本文提出PPOEM和SOAP两种算法解决POMDP中无监督学习时间一致选项的挑战，SOAP通过扩展GAE传播选项优势，在Atari等基准上表现最优。
2024-10-11 cs.AI cs.LG
Learning Multi-Level Hierarchies with Hindsight
Brown University（布朗大学）；Northeastern University（东北大学）；Boston University（波士顿大学）
分层代理有可能解决更大的样本效率比他们的非分层的同行顺序决策任务，因为分层代理可以分解成一组子任务，只需要短序列的决策。为了实现这种快速学习的潜力，分层代理需要能够并行学习其多个级别的策略，以便可以同时解决这些更简单的子问题。然而，并行学习多个级别的策略是困难的，因为它本质上是不稳定的：层次结构中一个级别的策略的变化可能会导致层次结构中更高级别的转换和奖励功能的变化，使得难以联合学习多个级别的策略。在本文中，我们介绍了一个新的分层强化学习（HRL）框架，分层演员批评（HAC），可以克服不稳定的问题时，代理试图共同学习多层次的政策。HAC背后的主要思想是独立于较低级别来训练层次结构的每个级别，方法是训练每个级别，就好像较低级别的策略已经是最优的一样。我们在网格世界和模拟机器人领域的实验表明，我们的方法可以显着加速学习相对于其他非层次和层次的方法。事实上，我们的框架是第一个在具有连续状态和动作空间的任务中成功并行学习3级层次结构的框架。
2019-09-03 cs.AI cs.LG cs.NE
SOAC: The Soft Option Actor-Critic Architecture
Tsinghua University（清华大学）；IIIS, Tsinghua University（清华大学智能产业研究院）；Sun Yat-Sen University（中山大学）
选项框架通过自动从长期任务中提取临时扩展的子任务显示出了很大的潜力。已经提出了用于同时学习低级选项内策略和高级选项选择策略的方法。然而，现有的方法通常遭受两个主要挑战：无效的探索和不稳定的更新。在本文中，我们提出了一种新的和稳定的关闭政策的方法，建立在最大熵模型来解决这些挑战。我们的方法引入了信息理论的内在奖励，鼓励识别多样和有效的选项。同时，我们利用一个概率推理模型来简化优化问题的拟合最优轨迹。实验结果表明，我们的方法在一系列Mujoco基准任务中的性能明显优于先前的on-policy和off-policy方法，同时仍然为迁移学习提供了好处。在这些任务中，我们的方法学习了一组不同的选项，每个选项的状态-动作空间都具有很强的一致性。
2020-06-25 cs.AI cs.LG
A deep real options policy for sequential service region design and timing
C2SMART University Transportation Center（C2SMART大学交通中心）；New York University（纽约大学）
随着各种城市机构和移动运营商转向创新的移动解决方案，在移动服务区域的设计和时机方面，需要在适时的投资决策中具有战略灵活性，即作为“实物期权”（RO）。这个问题变得越来越具有挑战性的多个相互作用的RO在这样的投资。我们提出了一个可扩展的机器学习为基础的RO框架的多周期顺序服务区域设计和定时问题的移动按需服务，框架作为一个马尔可夫决策过程与非平稳随机变量。文献中的一个价值函数近似策略使用多期权最小二乘蒙特卡罗模拟来获得一组相互依赖的投资决策的政策价值作为延期期权（CR策略）。目标是确定要包括在服务区域中的一组区的最佳选择和定时。然而，以前的工作需要明确列举所有可能的投资顺序。为了解决这种枚举的组合复杂性，我们提出了一种新的变体“深度”RO策略，使用基于ML方法的高效递归神经网络（RNN）（CR-RNN策略）来对序列进行采样，以放弃枚举的需要，使网络设计和定时策略易于大规模实现。在纽约市（NYC）的多个服务区域场景的实验表明，所提出的策略大大降低了整体计算成本（RO评估的时间减少> 90%的总投资序列实现），与基准相比，具有零到接近零的差距。纽约布鲁克林国防部服务扩展的顺序服务区域设计的案例研究表明，使用CR-RNN策略来确定最佳RO投资策略可以产生类似的性能（CR策略值内的0.5%），并显着减少计算时间（约快5.4倍）。
2022-12-30 cs.AI cs.LG
Iterative Option Discovery for Planning, by Planning
University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute（阿尔伯塔机器智能研究所）
提出Option Iteration方法，通过迭代学习一组局部强选项策略来指导规划搜索，形成良性循环，在复杂规划环境中显著优于基线算法。
2023-12-22 cs.AI cs.LG
OptionGAN: Learning Joint Reward-Policy Options using Generative Adversarial Inverse Reinforcement Learning
School of Computer Science, McGill University（麦吉尔大学计算机科学学院）；Department of Electrical, Computer, and Software Engineering, McGill University（麦吉尔大学电气、计算机与软件工程系）
强化学习在学习策略方面显示出了解决复杂问题的前景。然而，手动指定一个好的奖励函数可能很困难，特别是对于复杂的任务。逆强化学习提供了一个有用的范例，可以直接从专家演示中学习潜在的奖励函数。然而，在现实中，演示的语料库可能包含的轨迹产生于一组不同的潜在奖励功能，而不是一个单一的。因此，在逆强化学习中，考虑这样的分解是有用的。强化学习中的选项框架专门设计用于以类似的方式分解策略。因此，我们扩展的选项框架，并提出了一种方法，同时恢复奖励选项，除了政策选项。我们利用对抗方法来学习联合奖励政策选项，只使用观察到的专家状态。我们证明了这种方法在简单和复杂的连续控制任务中都能很好地工作，并且在一次性迁移学习中表现出显着的性能提高。
2017-11-24 cs.LG
Learning Abstract Options
IBM Research（IBM研究院）
构建从数据中自主创建时间抽象的系统是强化学习中扩展学习和规划的关键挑战。解决这一挑战的一种流行方法是期权框架（Sutton等人，1999年）。然而，仅在最近（Bacon et al.，2017）是一个策略梯度定理，用于以端到端的方式对通用选项进行在线学习。在这项工作中，我们扩展了以前在这个主题上的工作，只专注于学习一个两级层次结构，包括选项和原始动作，使学习同时在多个分辨率的时间。我们通过考虑一个任意深度的选项层次结构来实现这一点，其中高级别的时间扩展选项由时间分辨率更高的低级别选项组成。我们从（培根等人，2017），并推导出深层次期权的策略梯度定理。我们提出的分层期权批评架构是能够学习内部政策，终止条件和层次结构的选择，而不需要任何内在的奖励或子目标。我们在离散和连续环境中的实证结果证明了我们的框架的效率。
2019-12-31 cs.AI cs.LG stat.ML
Learning Interpretable Policies in Hindsight-Observable POMDPs through Partially Supervised Reinforcement Learning
Washington University in St. Louis（圣路易斯华盛顿大学）
提出部分监督强化学习（PSRL）框架，通过融合监督语义状态和无监督潜在表示作为策略网络输入，在部分可观测环境中提升模型可解释性，同时在奖励和收敛速度上保持或显著超越传统方法。
2024-02-14 cs.AI cs.LG
Adaptive Temporal-Difference Learning for Policy Evaluation with Per-State Uncertainty Estimates
DeepMind（深度思维）；Google Research（谷歌研究院）；Universitat Pompeu Fabra（庞培法布拉大学）
我们考虑的核心学习问题的政策价值函数近似从一批轨迹数据，并专注于各种问题的时间差分（TD）学习和蒙特卡洛（MC）政策评估。已知这两种方法可实现互补的偏差-方差权衡特性，其中TD倾向于实现较低的方差但可能较高的偏差。在本文中，我们认为，较大的偏差TD可以是一个结果的放大局部近似误差。我们解决这个问题，提出了一种算法，自适应切换TD和MC在每个状态，从而减轻传播的错误。我们的方法是基于学习的置信区间，检测偏差的TD估计。我们在各种政策评估任务中证明，这种简单的自适应算法在事后看来与最佳方法具有竞争力，这表明学习的置信区间是一种强大的技术，用于调整政策评估，以数据驱动的方式使用TD或MC回报。
2019-06-19 cs.AI cs.LG stat.ML
Learnings Options End-to-End for Continuous Action Tasks
Reasoning and Learning Lab（推理与学习实验室）；McGill University（麦吉尔大学）
我们提出了新的结果学习时间延长行动的连续任务，使用选项框架（Suttonet等人。[1999 b]，Precup [2000]）。为了实现这一目标，我们与选择批评架构（Baconet等人。[2017]）使用审议成本并通过近端策略优化对其进行训练（Schulmanet al. [2017]）而不是普通的策略梯度。Mujoco域的结果是有希望的，但导致有趣的问题，当给定的选项应该被使用，一个问题直接连接到使用的启动集。
2017-11-30 cs.AI cs.LG
Hierarchical Policy Search via Return-Weighted Density Estimation
University of Tokyo（东京大学）；RIKEN Center for AIP（理化学研究所革新智能综合研究中心）
从多模态奖励函数中学习最优策略是强化学习（RL）中的一个具有挑战性的问题。分层强化学习（HRL）通过学习分层策略来解决这个问题，其中多个选项策略负责与奖励函数的模式对应的不同策略，并且门控策略为给定上下文选择最佳选项。虽然HRL已被证明是有前途的，目前的国家的最先进的方法仍然不能很好地执行在复杂的现实世界中的问题，由于识别模式的奖励功能的困难。本文提出了一种新的基于返回加权密度估计的分层策略搜索方法（HPSDE），该方法通过返回加权重要性采样的密度估计来有效地识别模式。我们提出的方法找到对应于返回函数的模式的选项策略，并自动确定选项策略的数量和位置，这显着减少了超参数调整的负担。通过实验，我们表明，建议HPSDE成功地学习选项策略对应的模式的返回函数，它可以成功地应用到一个具有挑战性的运动规划问题的冗余机器人机械手。
2017-11-30 cs.LG stat.ML
Counterfactual Off-Policy Training for Neural Response Generation
Harbin Institute of Technology（哈尔滨工业大学）；University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校）
开放域对话生成由于潜在响应的巨大规模而遭受数据不足的问题。在本文中，我们建议通过反事实推理来探索潜在的反应。给定观察到的响应，反事实推理模型自动推断可能已经采取的替代策略的结果。事后合成的反事实反应比从头开始合成的反应质量更高。对抗性学习框架下的反事实反应训练有助于探索潜在反应空间的高回报区域。对DailyDialog数据集的实证研究表明，我们的方法显著优于HRED模型和传统的对抗性学习方法。
2020-10-09 cs.AI cs.CL cs.LG
Context-Specific Representation Abstraction for Deep Option Learning
MIT LIDS（麻省理工学院信息与决策系统实验室）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Research（IBM研究院）
分层强化学习专注于发现时间上扩展的动作，例如选项，可以在需要广泛探索的问题中提供益处。一种很有前途的方法是端到端学习这些选项，这就是选项批评（OC）框架。我们在本文中研究并表明，OC不会将问题分解为更简单的子问题，而是增加了策略空间上的搜索大小，每个选项都考虑了学习过程中的整个状态空间。这个问题可能导致这种方法的实际局限性，包括样本学习效率低下。为了解决这个问题，我们引入了深度选项学习的上下文特定表示抽象（CRADOL），这是一个新的框架，它考虑了时间抽象和上下文特定表示抽象，以有效地减少策略空间上的搜索大小。具体来说，我们的方法学习一个因子化的信念状态表示，使每个选项只在状态空间的一个子部分上学习一个策略。我们测试我们的方法对分层，非分层和模块化的递归神经网络基线，证明显着的样本效率的改善，在具有挑战性的部分可观察的环境。
2022-04-24 cs.AI cs.LG
Hierarchical Average Reward Policy Gradient Algorithms
Birla Institute of Technology and Science, Pilani（皮拉尼比特拉技术与科学学院）；IBM Research（IBM研究院）；Indian Institute of Science, Bangalore（班加罗尔印度科学学院）
期权批判学习是一种通用的强化学习（RL）框架，旨在通过利用时间抽象来解决长期信用分配问题。然而，在处理延长的时间尺度时，对未来奖励的折扣可能导致不正确的信用分配。在这项工作中，我们解决了这个问题，通过扩展的分层期权批评策略梯度定理的平均回报标准。我们提出的框架的目的是最大限度地提高长期奖励中所定义的代理的政策的马尔可夫链的稳定状态。此外，我们使用一个常微分方程为基础的方法，我们的收敛性分析，并证明内期权政策，终止函数，和价值函数的参数，收敛到其相应的最优值，概率为1。最后，我们说明了学习选项的竞争优势，在平均奖励设置，在一个网格世界的环境与稀疏的奖励。
2019-11-20 cs.AI cs.LG
Option-Aware Adversarial Inverse Reinforcement Learning for Robotic Control
Purdue University（普渡大学）；KAUST（阿卜杜拉国王科技大学）；George Washington University（乔治华盛顿大学）
本文提出一种结合对抗逆强化学习与期望最大化的分层模仿学习算法，通过引入有向信息项和变分自编码器实现端到端策略学习，并在机器人控制任务中验证其优越性。
2023-05-26 cs.AI cs.LG cs.RO
DROP: Deep relocating option policy for optimal ride-hailing vehicle repositioning
The University of Alabama（阿拉巴马大学）；Purdue University（普渡大学）
在网约车系统中，优化空置车辆的重新配置可以显著减少车队空闲时间，平衡供需分布，提高系统效率，提高驾驶员满意度和保留率。无模型深度强化学习（DRL）已被证明可以通过与大规模网约车系统中的内在动力学进行主动交互来动态学习重新定位策略。然而，稀疏的奖励信号和不平衡的需求和供应分布的问题，在开发有效的日间行车线模型的关键障碍。常规勘探策略（例如，$ε$ -贪婪）在这样的环境下可能几乎不工作，因为在远离高收入区域的低需求区域中抖动。本研究提出了深度搬迁选择政策（DROP），监督车辆代理商逃离供应过剩的地区，并有效地搬迁到潜在的服务不足的地区。我们建议学习拉普拉斯嵌入的时间扩展的搬迁图，作为系统搬迁政策的近似表示。嵌入生成任务不可知的信号，其与任务相关的信号组合，构成用于生成DROP的伪奖励函数。我们提出了一个分层的学习框架，训练一个高层次的搬迁政策和一组低层次的DROP。我们的方法的有效性证明了使用定制的高保真模拟器与真实世界的旅行记录数据。我们报告说，DROP显着改善了基线模型，每小时收入增加了15.7%，并可以有效地解决低需求领域的抖动问题。
2021-09-09 cs.AI cs.LG cs.MA
A Decentralized Policy with Logarithmic Regret for a Class of Multi-Agent Multi-Armed Bandit Problems with Option Unavailability Constraints and Stochastic Communication Protocols
Sri Lanka Technological Campus（斯里兰卡科技园区）；University of Peradeniya（佩拉德尼亚大学）
本文考虑了一个多臂强盗（MAB）的问题，其中多个移动代理接收奖励的空间分散的随机过程，称为土匪的集合采样。我们的目标是为每个代理制定一个分散的政策，以最大限度地提高所有代理的总累积奖励，受选项可用性和智能体通信约束。问题的制定是出于应用程序中，一个团队的自主移动机器人合作，以完成探索和开发任务，在一个不确定的环境。盗贼位置由空间图的顶点表示。在任何时候，智能体的选择包括在其当前位置对强盗进行采样，或者沿着空间图的边缘移动到新的强盗位置。通信约束描述的有向，非平稳，随机通信图。在任何时候，代理都可以仅从其通信图内邻居接收数据。对于一个完全连通的空间图上的单个代理的情况下，它是已知的，任何最优策略的预期后悔是必然的，低于一个函数的增长作为时间的对数。一类称为置信上限（UCB）算法的政策渐近实现对数遗憾的经典MAB问题。在本文中，我们提出了一个基于UCB的分散运动和选择政策和非平稳随机通信协议，保证对数后悔。据我们所知，这是第一个这样的分散政策，非完全连接的空间图与通信约束。当空间图是完全连接的，通信图是固定的，我们的分散算法匹配或超过最好的文献报道的先前结果。
2020-03-31 cs.LG math.ST stat.ML
Adversarial Option-Aware Hierarchical Imitation Learning
Tsinghua University（清华大学）；THU-Bosch JCML center（清华-博世机器学习联合中心）；University of California, Los Angeles（加州大学洛杉矶分校）；Bytedance AI Lab（字节跳动人工智能实验室）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
从长期的未注释的演示中学习智能体的技能一直是一个挑战。现有的方法，如分层模仿学习（HIL）容易出现复合错误或次优解决方案。在本文中，我们提出了Option-GAIL，一种新的方法来学习技能，在长期的视野。Option-GAIL的核心思想是用选项来建模任务层次，并通过生成对抗优化来训练策略。特别是，我们提出了一个期望最大化（EM）式的算法：一个E-步骤，采样的专家条件下的当前学习的政策的选项，和一个M-步骤，更新的低和高层次的代理政策，同时最大限度地减少新提出的专家和代理之间的选项占用测量。我们从理论上证明了所提出的算法的收敛性。实验表明，Option-GAIL在各种任务中始终优于其他同行。
2021-06-11 cs.LG cs.RO
