Combining Deep Reinforcement Learning and Search for Imperfect-Information Games
Facebook AI Research（脸书人工智能研究院）
深度强化学习和搜索在训练和测试时的结合是一个强大的范例，它在单智能体设置和完美信息游戏中取得了许多成功，AlphaZero就是最好的例子。然而，这种形式的先前算法不能应付的信息游戏。本文提出了ReBeL，一个自我发挥强化学习和搜索的一般框架，可证明收敛到任何两个玩家零和游戏中的纳什均衡。在完全信息博弈的简单设置中，ReBeL简化为类似于AlphaZero的算法。在两个不同的信息博弈中的结果表明，ReBeL收敛到一个近似的纳什均衡。我们还展示了ReBeL在单挑无限制德州扑克中实现了超人的表现，同时使用的领域知识远远少于任何先前的扑克AI。
2020-11-29 cs.AI cs.GT cs.LG
Deep Reinforcement Learning from Self-Play in Imperfect-Information Games
University College London（伦敦大学学院）
许多现实世界的应用程序可以被描述为不完美信息的大规模博弈。为了处理这些具有挑战性的领域，以前的工作集中在计算纳什均衡在手工抽象的领域。在本文中，我们介绍了第一个可扩展的端到端的方法来学习近似纳什均衡没有事先领域的知识。我们的方法结合了虚拟的自我游戏和深度强化学习。当应用于Leduc扑克时，神经虚拟自我游戏（NFSP）接近纳什均衡，而常见的强化学习方法则出现分歧。在极限德州扑克（Limit Texas Holdem）中，NFSP学习了一种策略，该策略接近基于重要领域专业知识的最先进的超人算法的性能。
2016-06-28 cs.AI cs.GT cs.LG
Learning from Imperfect Demonstrations via Temporal Behavior Tree-Guided Trajectory Repair
本文提出利用时间行为树修复不完美示范轨迹，以提升机器人控制策略的学习效果，通过生成逻辑一致且可解释的数据集，指导强化学习 agent 向任务一致的 state space 区域发展。
2026-04-05 cs.AI cs.LG cs.RO
Pre-training with Non-expert Human Demonstration for Deep Reinforcement Learning
Washington State University（华盛顿州立大学）
深度强化学习（deep RL）通过使用深度神经网络作为函数逼近器直接从原始输入图像学习，在复杂的顺序任务中取得了卓越的性能。然而，直接从原始图像中学习是数据效率低下的。除了学习策略之外，代理还必须学习复杂状态的特征表示。因此，深度强化学习通常学习速度较慢，并且通常需要大量的训练时间和数据才能达到合理的性能，这使得它不适用于数据昂贵的现实环境。在这项工作中，我们通过解决两个学习目标之一，即特征学习，来提高深度RL的数据效率。我们利用监督学习对一小组非专家的人类演示进行预训练，并在Atari域中使用异步优势演员-评论家算法（A3 C）对我们的方法进行经验评估。我们的研究结果表明，学习速度显着提高，即使当提供的演示是嘈杂和低质量的。
2018-12-21 cs.AI cs.LG stat.ML
On Pathologies in KL-Regularized Reinforcement Learning from Expert Demonstrations
University of Oxford（牛津大学）
来自专家演示的KL正则化强化学习已被证明成功地提高了深度强化学习算法的样本效率，使其能够应用于具有挑战性的物理现实任务。然而，我们发现，KL正则化强化学习与来自专家演示的行为参考策略可能会受到病态的训练动态，这可能导致缓慢，不稳定和次优的在线学习。我们的经验表明，病理发生通常选择的行为政策类，并证明其对样本效率和在线政策性能的影响。最后，我们证明了病理可以通过非参数行为参考策略来补救，这使得KL正则化强化学习在各种具有挑战性的运动和灵巧手操作任务上显着优于最先进的方法。
2022-12-28 cs.AI cs.LG stat.ME
Self-Play Reinforcement Learning under Imperfect Information in Big 2
University of Pennsylvania（宾夕法尼亚大学）
本文提出一个自我对弈强化学习框架，在四人不完全信息纸牌游戏Big 2中比较策略梯度和值近似方法，发现PPO优于其他方法，并证明中等熵正则化和当前策略自我对弈的有效性。
2026-06-28 cs.AI cs.LG
Reinforcement Learning with Supervision from Noisy Demonstrations
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
强化学习在各种应用中取得了巨大的成功。为了学习一个有效的策略的代理，它通常需要大量的数据，通过与环境的交互，这可能是计算成本高，耗时。为了克服这一挑战，提出了一种基于专家演示的强化学习（RLED）框架。虽然RLED方法可以减少学习迭代的次数，但它们通常假设演示是完美的，因此在实际应用中可能会受到噪声演示的严重误导。在本文中，我们提出了一个新的框架，自适应学习的政策，共同与环境的互动，并利用专家的示范。具体来说，对于演示轨迹的每一步，我们形成一个实例，并定义一个联合损失函数，同时最大化预期奖励和最小化代理行为和演示之间的差异。最重要的是，通过计算价值函数的期望增益，我们为每个实例分配一个权重来估计其潜在的效用，从而可以强调更有帮助的演示，同时过滤掉噪音。在不同环境下使用多种流行的强化学习算法的实验结果表明，该方法可以在有噪声的情况下鲁棒地学习，并在更少的迭代次数下获得更高的性能。
2020-06-14 cs.LG stat.ML
Demonstration Guided Multi-Objective Reinforcement Learning
University of Galway（高威大学）
针对多目标强化学习中偏好多样且策略从零训练困难的问题，提出 DG-MORL，利用示范、角点权重对齐和自进化机制提升性能，并证明其优势及样本复杂度上界。
2024-04-05 cs.AI cs.LG
Shaping Rewards for Reinforcement Learning with Imperfect Demonstrations using Generative Models
University of Toronto Robotics Institute（多伦多大学机器人研究所）；Vector Institute（向量研究所）；Montreal Institute of Learning Algorithms (MILA)（蒙特利尔学习算法研究所）；McGill University（麦吉尔大学）
无模型强化学习对真实机器人系统的潜在好处受到其不知情探索的限制，导致收敛缓慢，缺乏数据效率以及与环境的不必要交互。为了解决这些缺点，我们提出了一种结合强化和模仿学习的方法，该方法通过使用生成模型来塑造奖励函数，该奖励函数具有从演示数据中训练的状态和动作依赖的潜力。我们表明，这加速了策略学习，指定高价值领域的国家和行动空间，是值得探索的第一。与大多数现有的方法，假设最佳的演示和纳入演示数据作为政策优化的硬约束不同，我们将演示数据作为建议，以奖励塑造潜力的形式训练为生成模型的状态和动作。特别是，我们研究了归一化流和生成对抗网络来表示这些潜力。我们表明，与许多现有的方法，将示威作为硬约束，我们的方法是公正的，即使在次优和嘈杂的示威的情况下。我们提出了一个广泛的模拟，以及实验上的Franka Rankka 7自由度的手臂，证明我们的方法的实用性。
2020-11-02 cs.LG cs.RO
The Sample Complexity of Teaching-by-Reinforcement on Q-Learning
UW Madison（威斯康星大学麦迪逊分校）；MPI-SWS（马克斯·普朗克软件系统研究所）
我们研究了教学的样本复杂性，在文献中被称为“教学维度”（TDim），为教学的强化范式，教师通过奖励指导学生。这与机器人应用所激发的演示教学范式不同，在这种范式中，教师通过提供状态/动作轨迹的演示来教学。强化教学范式适用于更广泛的现实世界的设置，演示是不方便的，但还没有被系统地研究。在本文中，我们专注于一个特定的家庭的强化学习算法，Q-学习，并在不同的教师与不同的控制权的环境下的TDim的特点，并提出匹配的最佳教学算法。我们的TDim结果提供了强化学习所需的最小样本数量，我们讨论了它们与标准PAC风格RL样本复杂性和演示教学样本复杂性结果的联系。我们的教学算法有可能加快RL代理学习的应用程序中，有一个有用的老师。
2021-03-08 cs.AI cs.LG stat.ML
Boosting Reinforcement Learning and Planning with Demonstrations: A Survey
University of California, San Diego（加州大学圣地亚哥分校）
虽然强化学习最近取得了巨大的成功，但这种试错学习在复杂环境中可能不切实际或效率低下。另一方面，演示的使用使智能体能够从专家知识中受益，而不必通过探索来发现最佳行动。在本调查中，我们讨论了在顺序决策中使用演示的优点，在基于学习的决策范式中应用演示的各种方法（例如，强化学习和学习模型中的规划），以及如何在各种场景中收集演示。此外，我们在最近提出的ManiSkill机器人学习基准中创建了一个用于生成和利用演示的实用管道。
2023-03-27 cs.AI cs.LG cs.RO
Sample Efficient Reinforcement Learning through Learning from Demonstrations in Minecraft
University of Applied Sciences Northwestern Switzerland（瑞士西北应用科学大学）
深度强化学习方法的样本效率低下是其在现实世界应用中使用的主要障碍。在这项工作中，我们展示了人类演示如何提高Minecraft小游戏ObtainDiamond上代理的最终性能，只有8M帧的环境交互。我们提出了一个训练过程，其中政策网络首先在人类数据上进行训练，然后通过强化学习进行微调。使用策略利用机制，经验重放和对灾难性遗忘的额外损失，我们最好的代理能够实现平均得分48。我们提出的解决方案在NeurIPS MineRL样本高效强化学习竞赛中排名第三。
2020-03-12 cs.LG stat.ML
Uncertainty-Based Smooth Policy Regularisation for Reinforcement Learning with Few Demonstrations
Department of Statistics（统计系）；Warwick Manufacturing Group University of Warwick（沃里克大学沃里克制造集团）
提出SPReD框架，通过集成方法量化不确定性，在少示范强化学习中实现连续且与不确定性成正比的模仿正则化，显著降低梯度方差并在复杂机器人任务中取得最高14倍的性能提升。
2025-10-31 cs.AI cs.LG cs.RO
Sim-to-Real Optimization of Complex Real World Mobile Network with Imperfect Information via Deep Reinforcement Learning from Self-play
Futurewei Technologies Inc.（Futurewei技术公司）；Huawei R&D USA（华为美国研发中心）；Huawei Technologies Co. Ltd（华为技术有限公司）
每天有数百万人使用的移动网络是世界上最复杂的系统之一。优化移动网络以满足爆炸式增长的客户需求并降低资本/运营支出带来了巨大的挑战。尽管最近取得了进展，但由于现实世界中的数据稀缺性，部分可观察性，风险和复杂的规则/动态，以及模拟和现实世界之间的巨大现实差距，深度强化学习（DRL）在复杂现实世界问题中的应用仍然没有得到解决。为了弥合现实差距，我们引入了一个Sim-to-Real框架，通过图卷积神经网络（CNN）将学习从模拟直接转移到现实世界-通过将部分可观察的移动网络抽象为图，然后将域变量不规则图提取为局部欧氏空间中的域不变张量作为CNN的输入，域随机化和多任务学习。我们使用一种新的自我发挥机制，鼓励DRL代理之间的竞争，通过模拟退火多个任务的最佳记录，就像运动员在十项全能比赛中争夺世界纪录。我们还提出了一个分散的多智能体，竞争和合作的DRL方法来协调多个细胞的行动，以最大限度地提高全球回报和最小化对邻居细胞的负面影响。在商业移动网络上使用6个现场试验，我们首次证明了DRL代理可以成功地将学习从模拟迁移学习到具有不完美信息，复杂规则/动态，巨大状态/动作空间和多代理交互的复杂现实世界问题，而无需在现实世界中进行任何训练。
2018-12-06 cs.AI cs.LG stat.ML
Demonstration-efficient Inverse Reinforcement Learning in Procedurally Generated Environments
Università degli Studi di Firenze（佛罗伦萨大学）；University of Cambridge（剑桥大学）
深度强化学习在可以手动设计奖励函数的领域中取得了非常好的效果。与此同时，社区内越来越有兴趣使用基于程序内容生成（PCG）的游戏作为基准环境，因为这种类型的环境非常适合研究域转移下代理的过拟合和泛化。相反，反向强化学习（IRL）可以从专家演示中推断出奖励函数，即使在高维问题上也有很好的结果，但是没有将这些技术应用于过程生成环境的例子。这主要是由于找到一个好的奖励模型所需的演示数量。我们提出了一种基于对抗逆强化学习的技术，可以显着减少PCG游戏中对专家演示的需求。通过使用一组有限的初始种子水平的环境，加上一些修改来稳定训练，我们证明了我们的方法DE-AIRL是演示有效的，并且仍然能够外推推广到全过程域的奖励函数。我们证明了我们的技术在两个程序环境，MiniGrid和DeepCrawl，各种任务的有效性。
2020-12-04 cs.AI cs.LG
Guarded Policy Optimization with Imperfect Online Demonstrations
Nanyang Technological University（南洋理工大学）；University of California, Los Angeles（加州大学洛杉矶分校）；The University of Edinburgh（爱丁堡大学）；Northwestern University（西北大学）
针对TSF中难以获得最优教师的问题，提出TS2C离策略强化学习算法，利用轨迹价值估计纳入任意不完美教师干预，实现低成本、安全高效探索，并使学生超越教师。
2023-04-24 cs.AI cs.LG cs.RO
CEIP: Combining Explicit and Implicit Priors for Reinforcement Learning with Demonstrations
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
虽然强化学习在密集奖励环境中得到了广泛的应用，但用稀疏奖励训练自主智能体仍然具有挑战性。为了解决这个困难，以前的工作已经显示出有希望的结果时，不仅使用特定于任务的演示，但任务不可知的，虽然有些相关的演示。在大多数情况下，可用的演示被提炼成一个隐含的先验，通常通过一个单一的深网表示。可以查询的数据库形式的显式先验也显示出令人鼓舞的结果。为了更好地从现有的演示中受益，我们开发了一种方法来结合显式和隐式先验（CEIP）。CEIP利用多个隐式先验以并行的标准化流的形式形成单个复杂先验。此外，CEIP使用了一个有效的显式检索和前推机制，以条件的隐式先验知识。在三个具有挑战性的环境中，我们发现所提出的CEIP方法，以改善先进的技术。
2022-10-21 cs.AI cs.LG
Efficient Model-Free Reinforcement Learning Using Gaussian Process
Peking University（北京大学）
有效的强化学习通常利用演示或良好的探索策略。在高斯过程假设下，将后验抽样应用于无模型强化学习，提出了连续状态空间下的高斯过程后验抽样强化学习（GPPSTD）算法，给出了理论证明和实验结果.我们也提供了理论和实证结果，各种示范可以降低预期的不确定性，有利于后验抽样探索。通过这种方式，我们将演示和探索过程结合在一起，实现了更高效的强化学习。
2018-12-11 cs.LG stat.ML
Robust Opponent Modeling via Adversarial Ensemble Reinforcement Learning in Asymmetric Imperfect-Information Games
Massachusetts Institute of Technology（麻省理工学院）
本文提出了一个算法框架，学习鲁棒政策的非对称信息博弈，其中的联合奖励可能取决于不确定的对手类型（一个私人信息只知道对手本身和它的盟友）。为了最大化奖励，主角Agent必须通过Agent建模来推断对手类型。我们使用多智能体强化学习（MARL）通过自我游戏来学习对手模型，它捕获了智能体之间的完整策略交互和推理。然而，从自我游戏中学习的代理策略可能会受到相互过度拟合的影响。包围训练方法可以用来提高Agent策略对不同对手的鲁棒性，但它也显著增加了计算开销。为了实现一个很好的权衡之间的鲁棒性的学习政策和计算复杂性，我们建议训练一个单独的对手政策对主角代理评估的目的。由于强化学习器固有的随机性，这个对手所获得的奖励是主角代理策略鲁棒性的噪声度量。为了处理这种随机性，我们应用随机优化方案来动态更新对手集成，以优化目标函数，在鲁棒性和计算复杂性之间取得平衡。我们的经验表明，在相同的有限的计算预算下，所提出的方法比标准集成训练更强大的策略学习。
2020-03-03 cs.AI cs.LG
LIFT: Reinforcement Learning in Computer Systems by Learning From Demonstrations
University of Cambridge（剑桥大学）；Helmut Schmidt University（赫尔穆特·施密特大学）；Baqend
强化学习方法长期以来一直吸引着数据管理社区，因为它们能够从原始系统性能中学习控制动态行为。最近将深度神经网络与强化学习相结合的成功引发了人们对这一领域的新兴趣。然而，由于大量的训练数据需求、算法不稳定以及缺乏标准工具，实际的解决方案仍然难以捉摸。在这项工作中，我们介绍了LIFT，这是一个端到端的软件栈，用于将深度强化学习应用于数据管理任务。虽然以前的工作经常探索模拟中的应用，但LIFT的中心是利用人类的专业知识从演示中学习，从而减少在线培训时间。我们进一步介绍了TensorForce，这是一个用于应用深度强化学习的TensorFlow库，为常见的RL算法提供了统一的声明式接口，从而为LIFT提供了后端。我们展示了两个案例研究中的数据库复合索引和流处理中的资源管理的LIFT的效用。结果显示，从演示初始化的LIFT控制器可以在延迟指标和空间使用方面超过人类基线和人工智能高达70%。
2018-08-23 cs.LG stat.ML
ZPD Teaching Strategies for Deep Reinforcement Learning from Demonstrations
University of California, Berkeley（加州大学伯克利分校）
示教学习是加速和减少强化学习探索需求的流行工具。当向人类学生提供专家演示时，我们知道演示必须在称为“近端发展区（ZPD）”的特定难度范围内。如果它们太容易，学生什么也学不到，但如果它们太难，学生无法跟上。这就提出了一个问题：给定一组潜在的示范者，其中哪一个最适合教授任何特定的学习者？先前的工作，例如流行的Deep Q-从演示示教学习（DQfD）算法，通常集中在单个演示器上。在这项工作中，我们考虑的问题中选择不同技能水平的多个示威者。我们的研究结果与人类学习者的直觉一致：从表现最好的演示者那里（就奖励而言）进行演示并不总是最好的策略。我们表明，仔细选择教学策略可以导致样本效率增益在学习者的环境中，在九个雅达利游戏
2019-10-26 cs.AI cs.LG
Obstacle Tower Without Human Demonstrations: How Far a Deep Feed-Forward Network Goes with Reinforcement Learning
Technische Universität Dortmund（多特蒙德工业大学）；Juelich Supercomputing Center（于利希超级计算中心）；Helmholtz Research Center Juelich（于利希亥姆霍兹研究中心）；Universiteit Leiden（莱顿大学）；Hochschule Rhein-Waal（莱茵-瓦尔应用科学大学）
障碍塔挑战是掌握一个程序生成的水平链，随后变得更难完成的任务。虽然去年比赛中表现最好的参赛作品使用人类演示或奖励塑造来学习如何应对挑战，但我们提出了一种具有竞争力的方法（排名第七），但通过深度强化学习完全从头开始，具有相对简单的前馈深度网络结构。我们特别关注所采取的方法的泛化性能，这些方法涉及竞争后可用的不同种子和各种视觉主题，并调查代理失败的地方和原因。请注意，我们的方法不像使用递归隐藏状态那样具有短期记忆。通过这项工作，我们希望能够更好地理解一个相对简单，灵活的解决方案，可以应用于具有复杂3D视觉输入的环境中的学习，其中抽象任务结构本身仍然相当简单。
2020-07-20 cs.AI cs.LG stat.ML
Extrapolating Beyond Suboptimal Demonstrations via Inverse Reinforcement Learning from Observations
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Preferred Networks（首选网络）
现有的逆强化学习（IRL）方法的一个关键缺陷是它们无法显著优于演示器。这是因为IRL通常会寻求一个奖励函数，使演示者看起来接近最优，而不是推断演示者的潜在意图，这些意图在实践中可能执行得很差。在本文中，我们介绍了一种新的奖励学习从观察算法，轨迹排名奖励EXTRAPOLATION（T-REX），外推超出一组（近似）排名的演示，以推断高质量的奖励功能，从一组潜在的穷人的演示。当与深度强化学习相结合时，T-REX在多个Atari和MuJoCo基准测试任务上的表现优于最先进的模仿学习和IRL方法，并实现了通常是最佳演示性能两倍以上的性能。我们还证明了T-REX对排名噪声具有鲁棒性，并且可以通过简单地观察学习者随着时间的推移在任务中的嘈杂改进来准确地推断意图。
2019-07-09 cs.LG stat.ML
Model-free Reinforcement Learning for Robust Locomotion using Demonstrations from Trajectory Optimization
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；New York University（纽约大学）
我们提出了一种通用的两阶段强化学习方法来创建鲁棒的策略，这些策略可以部署在真实机器人上，而无需使用由轨迹优化生成的单个演示进行任何额外的训练。在第一阶段中，示范被用作促进初步探索的起点。在第二阶段，直接优化相关的任务奖励，并计算对环境不确定性具有鲁棒性的策略。我们详细展示和研究我们的方法在高动态跳跃和绑定任务的四足机器人的性能和鲁棒性。
2022-01-24 cs.AI cs.LG cs.RO
Efficient Reinforcement Learning from Demonstration Using Local Ensemble and Reparameterization with Split and Merge of Expert Policies
University of Notre Dame（圣母大学）
目前的强化学习（RL）的工作，从演示往往假设演示是从一个最优的政策，在实践中不切实际的假设样本。当演示由次优策略生成或具有稀疏的状态-动作对时，从次优演示中学习的策略可能会误导具有不正确或非局部动作决策的代理。我们提出了一种新的方法，称为本地Encrimination和重新参数化与分裂和合并的专家政策（LEARN-SAM），以提高效率，更好地利用次优的演示。首先，LEARN-SAM采用了一个新的概念，在当前状态之间的差异性测量的基础上，演示状态“本地化”的权重的专家政策在学习过程中，的EQUIDA功能。其次，LEARN-SAM采用了分裂和合并（SAM）的机制，通过分离每个专家演示中有用的部分，并将它们重新组合成新的专家策略，以选择性地使用演示。学习函数和SAM机制都有助于提高学习速度。在理论上，证明了SAM机制前后重新参数化策略的不变性质，为所采用的策略梯度方法的收敛性提供了理论保证。我们证明了LEARN-SAM方法的优越性和它的鲁棒性与不同的演示质量和稀疏性在六个实验中复杂的连续控制问题的低到高维，相比现有的方法RL从演示。
2022-05-23 cs.LG stat.ML
Competitive Multi-agent Inverse Reinforcement Learning with Sub-optimal Demonstrations
Northwestern University（西北大学）；Department of Industrial Engineering and Management Sciences（工业工程与管理科学系）
本文考虑了零和随机对策中专家论证非最优时的逆强化学习问题。与之前通过假设专家策略中的最优性来解耦游戏中的代理的工作相比，我们引入了一个新的目标函数，直接将专家与纳什均衡策略相比较，并且我们设计了一个算法来解决反向强化学习中的奖励函数，并将深度神经网络作为模型近似。在我们的设置中，模型和算法不通过代理解耦。为了寻找大规模博弈的纳什均衡，我们还提出了一个零和随机对策的对抗训练算法，并证明了其目标函数不存在局部最优解的理论吸引力。在我们的数值实验中，我们证明了我们的纳什均衡和反向强化学习算法解决了以前使用表格表示的方法不适用的游戏。此外，次优专家演示我们的算法恢复奖励函数和战略具有良好的质量。
2018-06-05 cs.LG stat.ML
Meta-Inverse Reinforcement Learning with Probabilistic Context Variables
Stanford University（斯坦福大学）
为强化学习提供合适的奖励函数在许多现实世界的应用中可能是困难的。虽然逆强化学习（IRL）有望从演示中自动学习奖励函数，但仍然存在几个主要挑战。首先，现有的IRL方法从头开始学习奖励函数，需要大量的演示来正确地推断代理可能需要执行的每个任务的奖励。其次，现有的方法通常假设单一行为或任务的同质演示，而在实践中，收集异构但相关行为的数据集可能更容易。为此，我们提出了一个深度潜变量模型，该模型能够以无监督的方式从不同但相关的任务中学习奖励。重要的是，我们的模型可以从一个演示中推断出新的、结构相似的任务的奖励。多个连续控制任务的实验表明，我们的方法相比，国家的最先进的模仿和逆强化学习方法的有效性。
2019-10-26 cs.LG stat.ML
Skill-Enhanced Reinforcement Learning Acceleration from Heterogeneous Demonstrations
School of Computer Science, Carleton University, Ottawa, Canada（计算机科学学院，卡尔顿大学，加拿大）；Canada CIFAR AI Chair, Amii, Canada（加拿大 CIFAR 人工智能主席，Amii，加拿大）
针对专家演示数据不足限制强化学习加速效果的问题，提出两阶段SeRLA方法，通过技能级对抗PU学习从异质演示提取先验，结合技能型软演员-评论家算法与数据增强，在基准测试中实现更优的RL加速效果，尤其在训练早期优势明显。
2025-08-30 cs.AI cs.LG
Demonstration-Guided Reinforcement Learning with Learned Skills
University of Southern California（南加州大学）
演示引导的强化学习（RL）是一种利用奖励反馈和一组目标任务演示来学习复杂行为的有前途的方法。先前的演示引导强化学习方法将每个新任务视为独立的学习问题，并试图一步一步地遵循所提供的演示，类似于人类试图通过跟随演示者的精确肌肉运动来模仿完全看不见的行为。当然，这种学习会很慢，但通常新行为并不是完全看不见的：它们与我们以前学到的行为共享子任务。在这项工作中，我们的目标是利用这种共享的子任务结构，以提高效率的演示引导RL。我们首先从在许多任务中收集的先前经验的大型离线数据集中学习一组可重用的技能。然后，我们提出了基于技能的学习与演示（SkiLD），演示引导RL的算法，有效地利用提供的演示，通过以下演示的技能，而不是原始的动作，从而大大提高性能比以前的演示引导RL方法。我们验证了我们的方法的有效性长地平线迷宫导航和复杂的机器人操作任务。
2021-07-21 cs.AI cs.LG cs.RO
Integrating Behavior Cloning and Reinforcement Learning for Improved Performance in Dense and Sparse Reward Environments
Texas A&M University（得克萨斯农工大学）；US Army Research Laboratory（美国陆军研究实验室）；Columbia University（哥伦比亚大学）
本文研究了如何有效地转换和更新政策，最初训练与示范，使用关闭政策的演员-评论强化学习。众所周知，基于示教学习的技术，例如行为克隆，可以在给定有限数据的情况下产生熟练的策略。然而，目前还不清楚如何使用强化学习有效地更新该策略，因为这些方法本质上优化了不同的目标函数。以前的工作使用了损失函数，它将行为克隆损失与强化学习损失相结合，以实现这种更新。然而，这些损失函数的组成部分通常是以轶事的方式设置的，它们各自的贡献并没有得到很好的理解。在这项工作中，我们提出了学习周期（CoL）框架，该框架使用一个演员-评论家架构与损失函数相结合的行为克隆和一步Q学习损失与一个关闭政策的预训练步骤，从人类示范。这使得从行为克隆到强化学习的过渡不会降低性能，并在整体性能和训练时间方面提高了强化学习。此外，我们仔细研究了这些综合损失的构成及其对整体策略学习的影响。我们表明，我们的方法优于国家的最先进的技术相结合的行为克隆和强化学习的密集和稀疏的奖励情况。我们的研究结果还表明，直接包括示范数据的行为克隆损失，有助于确保稳定的学习和地面未来的政策更新。
2020-04-03 cs.AI cs.LG stat.ML
Forgetful Experience Replay in Hierarchical Reinforcement Learning from Demonstrations
Artificial Intelligence Research Institute FRC CSC RAS（俄罗斯科学院计算机科学与控制研究中心人工智能研究所）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Higher School of Economics（高等经济学院）；Moscow Aviation Institute（莫斯科航空学院）
目前，深度强化学习（RL）在复杂的游戏和机器人环境中显示出令人印象深刻的结果。通常，这些结果是以巨大的计算成本为代价实现的，并且需要代理与环境之间的交互事件的数量令人难以置信。提高强化学习方法的样本效率主要有两种途径--使用分层方法和专家演示。在本文中，我们提出了这些方法的组合，允许代理使用低质量的演示在复杂的基于视觉的环境中有多个相关的目标。我们的健忘经验重放（Forger）算法有效地处理专家数据中的错误，并减少质量损失时，适应动作空间和状态表示代理的能力。我们提出的面向目标的重放缓冲区结构允许代理自动突出子目标，以解决复杂的分层任务的演示。我们的方法是通用的，可以集成到各种非政策的方法。它超越了所有已知的现有最先进的强化学习方法，在各种模型环境中使用专家演示。基于我们算法的解决方案击败了著名的MineRL竞赛的所有解决方案，并允许代理在Minecraft环境中开采钻石。
2020-06-17 cs.AI cs.LG
Mixing Human Demonstrations with Self-Exploration in Experience Replay for Deep Reinforcement Learning
Monash University（莫纳什大学）
我们研究了在回放缓冲区中使用人类演示数据进行深度强化学习的效果。我们使用一个策略梯度方法与修改后的经验重放缓冲区，其中一个人的演示经验，以给定的概率进行采样。我们分析了不同的比率使用演示数据在一个任务中，代理试图达到一个目标，同时避免障碍。我们的研究结果表明，虽然纯自我探索和纯演示训练的代理人有类似的成功率，但纯演示模型收敛速度更快，步骤更少。
2021-07-14 cs.AI
Teaching Inverse Reinforcement Learners via Features and Demonstrations
ETH Zurich（苏黎世联邦理工学院）；Microsoft Research（微软研究院）；Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）
从专家的演示中学习接近最优的行为通常依赖于学习者知道真正的奖励函数所依赖的特征的假设。在本文中，我们研究了在并非如此的情况下从演示中学习的示教学习问题，即，在学习者和专家的世界观之间存在不匹配。我们引入了一个自然量，教学风险，衡量潜在的次优政策，看起来最佳的学习者在这种情况下。我们证明了教学风险的界限保证学习者能够使用基于逆强化学习的标准算法找到一个接近最优的策略。基于这些发现，我们提出了一个教学方案，专家可以通过更新学习者的世界观来降低教学风险，从而最终使她找到一个接近最优的政策。
2019-03-27 cs.LG stat.ML
PsiPhi-Learning: Reinforcement Learning with Demonstrations using Successor Features and Inverse Temporal Difference Learning
University of Oxford（牛津大学）；University of California, Berkeley（加州大学伯克利分校）；Google Research（谷歌研究院）；DeepMind（深度思维）
我们研究了强化学习（RL）与无奖励演示，在这种设置中，RL代理可以从其他代理与相同环境的交互中获得额外的数据。然而，它无法获得这些代理人的奖励或目标，他们的目标和专业知识水平可能差异很大。这些假设在多智能体环境中很常见，例如自动驾驶。为了有效地使用这些数据，我们转向后继特征的框架。这使我们能够将环境的共享特征和动态与特定于代理的奖励和政策分开。我们提出了一个多任务逆强化学习（IRL）算法，称为\emph{inverse temporal difference learning}（ITD），学习共享的状态特征，以及每个代理的后继特征和偏好向量，纯粹从没有奖励标签的演示。我们进一步展示了如何将ITD与在线环境交互的学习无缝集成，并通过演示实现了一种新的强化学习算法，称为$ΨΦ$ -学习（发音为“Sci-Fi”）。我们提供的$ΨΦ$学习的有效性的实证证据，作为一种方法，提高RL，IRL，模仿，和Few-Shot转移，并推导出最坏情况下的界限，其性能在zero-shot转移到新的任务。
2021-06-10 cs.AI cs.LG
Multi-class Generalized Binary Search for Active Inverse Reinforcement Learning
INESC-ID/Instituto Superior Técnico（INESC-ID/高等技术学院）；INRIA Bordeaux Sud-Ouest（法国国立信息与自动化研究院波尔多西南分院）
本文讨论了从演示中学习任务的问题。我们采用逆强化学习的框架，其中任务以奖励函数的形式表示。我们的贡献是一种新的主动学习算法，使学习代理查询专家提供更多的信息演示，从而导致更多的样本有效的学习。对于这种新算法（广义二进制搜索逆强化学习，或GBS-IRL），我们提供了一个理论上的样本复杂度的界限，并说明其适用于几个不同的任务。据我们所知，GBS-IRL是第一个主动IRL算法与可证明的样本复杂度界。我们还讨论了我们的方法，在文献中的其他现有的方法和它的一般适用性，在多类分类问题。最后，由最近的工作在机器人的示教学习的动机，我们还讨论了如何不同形式的人类反馈可以集成在我们的学习框架中的一个透明的方式。
2013-01-23 cs.AI cs.LG stat.ML
Demonstration-Guided Reinforcement Learning with Efficient Exploration for Task Automation of Surgical Robot
The Chinese University of Hong Kong（香港中文大学）
手术机器人的任务自动化具有提高手术效率的潜力。最近的基于强化学习（RL）的方法为手术自动化提供了可扩展的解决方案，但是如果没有给出先验知识，则通常需要广泛的数据汇集来解决任务。这个问题被称为探索挑战，可以通过向RL代理提供专家演示来缓解。然而，如何有效地利用示范数据，提高勘探效率仍然是一个开放的挑战。在这项工作中，我们引入演示引导探索（DEX），一个有效的强化学习算法，旨在克服探索问题的专家演示手术自动化。为了有效地利用演示，我们的方法估计具有更高值的专家行为，以促进富有成效的交互，并采用非参数回归，以实现在演示数据中未观察到的状态下的指导。广泛的实验$10$手术操作任务从SurRoL，一个全面的手术模拟平台，证明显着提高探索效率和任务成功率的方法。此外，我们还将学习到的策略部署到达芬奇研究工具包（dVRK）平台上，以显示在真实机器人上的有效性。代码可在https://github.com/med-air/DEX上获得。
2023-02-20 cs.AI cs.LG cs.RO
Machine Teaching for Inverse Reinforcement Learning: Algorithms and Applications
University of Texas at Austin（德克萨斯大学奥斯汀分校）
逆强化学习（IRL）从演示中推断出奖励函数，从而允许策略改进和推广。然而，尽管最近的兴趣IRL，很少的工作已经做了了解的最低限度的演示需要教一个特定的顺序决策任务。我们形式化的问题，找到最大的信息演示IRL作为一个机器教学的问题，其目标是找到所需的演示指定奖励等价类的演示的最小数量。我们扩展以前的工作顺序决策任务的算法教学，通过减少集合覆盖问题，使一个有效的近似算法，用于确定一组最大信息量的演示。我们将我们提出的机器教学算法应用到两个新的应用程序：提供一个下限的查询数量需要学习的政策，使用主动IRL和开发一种新的IRL算法，可以更有效地学习信息演示比标准的IRL方法。
2019-08-16 cs.LG stat.ML
Reinforcement Learning with Verifiable yet Noisy Rewards under Imperfect Verifiers
RIKEN AIP（日本理化学研究所AIP）；The University of Tokyo（东京大学）；The University of Melbourne（墨尔本大学）；The University of Sydney（悉尼大学）
针对不完美验证器引入的假阴性和假阳性噪声，提出后向校正（无偏奖励）和前向校正（梯度方向对齐）两种轻量级方法，在分组相对策略优化中提升数学推理性能，并设计上诉机制在线估计假阴性率。
2026-10-06 cs.AI cs.LG
GAN-Based Interactive Reinforcement Learning from Demonstration and Human Evaluative Feedback
Honda Research Institute Japan Co., Ltd（本田日本研究所）；College of Information Science and Engineering, Ocean University of China（中国海洋大学信息科学与工程学院）
深度强化学习（Deep Reinforcement Learning，DRL）在许多模拟任务中取得了巨大的成功。样本效率低的问题使得传统的DRL方法应用于现实世界的机器人是一个巨大的挑战。生成对抗模仿学习（GAIL）--一种通用的无模型模仿学习方法，允许机器人在大环境中直接从专家轨迹中学习策略。然而，GAIL共享其他模仿学习方法的局限性，他们很少能超过演示的性能。本文针对GAIL的局限性，结合GAIL和交互式强化学习的优点，提出了基于GAN的交互式强化学习（GAIRL）。我们在六个基于物理的控制任务中测试了我们提出的方法，从简单的低维控制任务--推车杆和山地车，到困难的高维任务--倒立双摆、月球着陆器、料斗和半猎豹。我们的研究结果表明，无论是最优还是次优的演示，GAIRL智能体总是可以学习一个更稳定的政策与最佳或接近最优的性能，而GAIL智能体的性能是上界的演示的性能，甚至比它更差。此外，我们的研究结果表明，GAIRL优于GAIL的原因是演示和人类的评价反馈的互补效应。
2021-04-14 cs.AI cs.LG cs.RO
Automata Guided Reinforcement Learning With Demonstrations
Boston University（波士顿大学）
由于难以根据奖励函数指定任务以及学习信号的较大差异，具有复杂时间结构和长视野的任务对强化学习代理构成了挑战。我们建议通过结合时序逻辑（TL）和强化学习来解决这些问题。我们的方法自动生成内在的奖励，符合整体任务目标的TL任务规范。从我们的框架产生的政策有一个可解释的和层次结构。我们验证了所提出的方法实验上的一组机器人操作任务。
2018-09-25 cs.AI
Accelerating Self-Imitation Learning from Demonstrations via Policy Constraints and Q-Ensemble
深度强化学习（Deep Reinforcement Learning，DRL）为机器人控制策略的生成提供了新的途径。然而，训练控制策略的过程需要漫长的探索，导致强化学习（RL）在现实世界的任务中的低样本效率。模仿学习（IL）和示教学习（LfD）都通过使用专家示范来改进培训过程，但不完美的专家示范会误导政策改进。离线到在线强化学习需要大量离线数据来初始化策略，在线微调时分布偏移容易导致性能下降。针对上述问题，本文提出了一种示教学习方法A-SILfD，该方法将专家示教视为Agent的成功经验，并利用经验约束策略改进。此外，我们防止性能下降，由于大的估计误差的Q-函数的合奏Q-函数。我们的实验表明，A-SILfD可以显着提高样本效率使用少量的不同质量的专家演示。在四个Mujoco连续控制任务中，A-SILfD在经过150，000步在线训练后可以显著优于基线方法，并且在训练期间不会被不完美的专家演示所误导。
2022-12-07 cs.LG
Regret Bounds for Reinforcement Learning from Multi-Source Imperfect Preferences
University at Buffalo（纽约州立大学布法罗分校）；The Ohio State University（俄亥俄州立大学）；DEVCOM Army Research Laboratory（DEVCOM陆军研究实验室）
本文研究多源不完美偏好下的强化学习，提出统一算法，其遗憾界为~O(√(K/M)+ω)，并给出下限和反例，揭示多源反馈如何提升RLHF及累积不完美对其的限制。
2026-04-02 cs.LG
Reinforcement Learning for Robotic Manipulation using Simulated Locomotion Demonstrations
WMG；University of Warwick（华威大学）
通过强化学习（RL）掌握机器人操作技能通常需要设计成形的奖励函数。这一领域的最新发展表明，使用稀疏奖励，即只有在任务成功完成时才奖励代理，可以产生更好的策略。然而，在这种情况下，状态-动作空间探索是更困难的。最近的RL方法在稀疏奖励的情况下学习，利用了高质量的人类演示来完成任务，但这些演示可能是昂贵的，耗时的，甚至不可能获得。在本文中，我们提出了一种新颖而有效的方法，不需要人类的示范。我们观察到，从被操纵对象的角度来看，每个机器人操纵任务都可以被视为涉及运动任务，即对象可以学习如何自行达到目标状态。为了利用这一想法，我们引入了一个框架，通过该框架，最初使用现实的物理模拟器获得对象运动策略。然后，该策略用于生成辅助奖励，称为模拟运动演示奖励（SLDR），使我们能够学习机器人操作策略。所提出的方法已被评估的13个任务的复杂性增加，并可以实现更高的成功率和更快的学习率相比，替代算法。SLDR对于多对象堆叠和非刚性对象操作等任务特别有益。
2021-11-11 cs.AI cs.LG cs.RO
Inverse-RLignment: Large Language Model Alignment from Demonstrations through Inverse Reinforcement Learning
Department of Applied Mathematics and Theoretical Physics, University of Cambridge, UK（剑桥大学应用数学与理论物理系）
针对现有LLM对齐方法面临的标签噪声和高成本问题，提出基于逆向强化学习的从示范中对齐（AfD）方法，通过散度最小化目标与高效算法，在多项任务上实现了优异的实证性能。
2025-01-25 cs.AI cs.LG
MoDem: Accelerating Visual Model-Based Reinforcement Learning with Demonstrations
Meta AI；University of California San Diego（加利福尼亚大学圣迭戈分校）
低样本效率仍然是部署深度强化学习（RL）算法用于现实世界应用的主要挑战，特别是用于视觉运动控制。基于模型的强化学习有可能通过同时学习世界模型并使用综合部署进行规划和政策改进来实现高样本效率。然而，在实践中，基于模型的RL的样本有效学习受到探索挑战的挑战。在这项工作中，我们发现，利用少量的演示可以显着提高基于模型的RL的样本效率。然而，仅仅将演示附加到交互数据集是不够的。我们确定了在模型学习中利用演示的关键因素-策略预训练，有针对性的探索和演示数据的过采样-这构成了我们基于模型的RL框架的三个阶段。我们经验性地研究了三个复杂的视觉运动控制领域，发现我们的方法在完成稀疏奖励任务方面比以前的方法在低数据范围内（100 K交互步骤，5个演示）更成功150%-250%。代码和视频可在https://nicklashansen.github.io/modemrl上获得
2022-12-12 cs.AI cs.LG cs.RO
Improving Interactive Reinforcement Agent Planning with Human Demonstration
Ocean University of China（中国海洋大学）；Honda Research Institute Japan Co. Ltd.（本田日本研究院有限公司）
TAMER已被证明是一种强大的交互式强化学习方法，允许普通人通过提供评估反馈来教授和个性化自主智能体的行为。然而，一个TAMER代理规划与UCT-一个蒙特卡罗树搜索策略，只能更新沿其路径的状态，并可能导致高的学习成本，特别是对于一个物理机器人。在本文中，我们提出了驱动代理的探索沿着最佳路径，并通过初始化代理的奖励函数，通过反向强化学习示教学习，以减少学习成本。我们测试我们提出的方法在强化学习基准域-网格世界-与不同的折扣人类奖励。研究结果表明，示教学习可以使TAMER智能体在最深搜索时学习到一个大致最优的策略，并鼓励智能体沿着最优路径探索;此外，我们还发现，示教学习可以通过减少总反馈、减少不正确动作的数量和增加获得最优策略的正确动作的比例来提高学习效率，从而让TAMER代理更快地收敛。
2019-04-18 cs.AI cs.HC cs.LG
Sample-Efficient Multi-Agent Reinforcement Learning with Demonstrations for Flocking Control
Tsinghua University（清华大学）
群集控制是多智能体系统中的一个重要问题，它可以提高智能体之间的协作性和安全性，如多智能体无人机和多智能体水下航行器等。与传统方法相比，多智能体强化学习（MARL）更灵活地解决了群集控制问题。然而，基于MARL的方法存在样本效率低下的问题，因为它们需要从代理与环境之间的交互中收集大量的经验。我们提出了一种新的方法预训练与示范MARL（PwD-MARL），它可以利用非专家的示范收集预先与传统的方法来预训练代理。在预训练过程中，智能体同时从MARL和行为克隆的示范中学习策略，并防止过度拟合示范。PwD-MARL通过非专家演示进行预训练，提高了在线MARL过程中的样本效率，具有良好的启动效果。实验表明，即使在演示不好或很少的情况下，PwD-MARL也能提高集群控制问题的样本效率和策略性能。
2022-09-17 cs.AI cs.LG cs.MA
SORREL: Suboptimal-Demonstration-Guided Reinforcement Learning for Learning to Branch
Carnegie Mellon University（卡内基梅隆大学）
本文提出SORREL，一种基于价值估计选择性利用次优演示的强化学习方法，用于学习分支策略，在多种MILP上显著提升分支质量和训练效率。
2025-02-25 cs.LG
Interactive Reinforcement Learning with Dynamic Reuse of Prior Knowledge from Human/Agent's Demonstration
Washington State University（华盛顿州立大学）
强化学习近年来取得了许多成功。然而，这些成功通常需要非常大量的数据之前，代理实现可接受的性能。本文介绍了一种新的方式，打击这种要求，利用现有的（人或代理）的知识。特别是，本文使用代理和人类的演示，允许未经训练的代理快速实现高性能。我们经验比较，并突出的弱点，HAT和CHAT，知识从源代理/人类转移到目标代理的方法。本文介绍了一种有效的迁移方法，DRoP，结合离线知识（学习前记录的演示）与在线基于信心的性能分析。DRoP动态地涉及演示者的知识，将其集成到强化学习代理的在线学习循环中，以实现高效和鲁棒的学习。
2018-05-11 cs.AI
Pre-training Neural Networks with Human Demonstrations for Deep Reinforcement Learning
Washington State University（华盛顿州立大学）
深度强化学习（deep RL）通过使用深度神经网络作为其函数逼近器并直接从原始图像学习，在复杂的顺序任务中实现了卓越的性能。使用原始图像的一个缺点是，除了学习策略之外，深度RL还必须从原始图像中学习状态特征表示。因此，深度RL可能需要大量的训练时间和数据才能达到合理的性能，这使得在现实世界的应用中很难使用深度RL，特别是当数据昂贵时。在这项工作中，我们通过解决深度RL试图解决的一半问题来加快训练速度-学习特征。我们的方法是通过使用一小部分人类演示，通过监督学习预训练深度RL网络的隐藏层来学习一些重要特征。我们使用深度Q网络（DQN）和异步优势演员-评论家（A3 C）算法对Atari 2600游戏Pong，Freeway和Beamrider进行经验评估。我们的研究结果表明：1）以监督学习方式使用人类演示进行预训练，相对于DQN中的原始预训练而言，在发现特征方面更好，以及2）使用预训练模型初始化深度RL网络，即使在从少量人类演示进行预训练时，也能显著改善训练时间。
2019-04-06 cs.AI cs.LG
Benchmarks for Reinforcement Learning with Biased Offline Data and Imperfect Simulators
Technion, Israel Institute of Technology（以色列理工学院）；Google Research（谷歌研究院）
本文针对离线数据与不完美模拟器结合的强化学习问题，提出四大核心挑战并构建B4MRL基准，以推动相关研究。
2024-06-30 cs.LG
Efficient Performance Bounds for Primal-Dual Reinforcement Learning from Demonstrations
ETH Zurich（苏黎世联邦理工学院）
我们考虑大规模的马尔可夫决策过程与未知的成本函数和解决的问题，从一组有限的专家演示学习的政策。我们假设学习者不允许与专家进行交互，并且无法获得任何形式的强化信号。现有的逆强化学习方法具有很强的理论保证，但计算成本很高，而最先进的策略优化算法取得了显著的经验成功，但受到有限的理论理解的阻碍。为了弥合理论和实践之间的差距，我们引入了一个新的双线性鞍点框架，利用拉格朗日对偶。提出的原始-对偶观点使我们能够通过随机凸优化的镜头开发一个无模型的可证明有效的算法。该方法具有实现简单、内存需求低、计算和采样复杂度与状态数无关等优点。我们进一步提出了一个等效的无悔在线学习的解释。
2021-12-28 cs.AI cs.LG math.OC
Monte Carlo Augmented Actor-Critic for Sparse Reward Deep Reinforcement Learning from Suboptimal Demonstrations
UC Berkeley（加州大学伯克利分校）；University of Utah（犹他大学）
为RL算法提供密集形状的奖励函数通常是非常具有挑战性的，这促使RL算法的发展可以从指定稀疏奖励函数中学习。这种稀疏性带来了新的探索挑战。解决这个问题的一种常见方法是使用演示来提供关于具有高回报的状态空间区域的初始信号。然而，先前的RL演示算法引入了显着的复杂性和许多超参数，使得它们难以实现和调整。我们引入蒙特卡罗增强演员评论（MCAC），一个参数的自由修改标准演员评论家算法，它将重放缓冲区的演示和计算修改后的$Q$值，通过采取最大的标准时间距离（TD）的目标和蒙特卡罗估计的奖励去。这通过鼓励状态空间的对应区域中的高$Q$值来鼓励在高性能轨迹的邻域中的探索。跨$5$连续控制域的实验表明，MCAC可用于显著提高跨$6$常用RL和RL从演示算法的学习效率。有关代码和补充材料，请参见https://sites.google.com/view/mcac-rl。
2022-10-20 cs.AI cs.LG
Receding Horizon Inverse Reinforcement Learning
National University of Singapore（新加坡国立大学）
逆强化学习（IRL）试图推断一个成本函数，解释专家演示的潜在目标和偏好。本文提出了滚动时域逆强化学习（RHIRL），一个新的IRL算法的高维，噪声，连续系统的黑箱动态模型。RHIRL解决了IRL的两个关键挑战：可伸缩性和健壮性。为了处理高维连续系统，RHIRL匹配诱导的最佳轨迹与专家演示本地在一个滚动的地平线的方式和“缝合”的本地解决方案一起学习的成本，从而避免了“维数灾难”。这与早期的算法形成鲜明对比，早期的算法在整个高维状态空间中与专家演示全局匹配。为了对不完美的专家论证和控制噪声具有鲁棒性，RHIRL在温和的条件下学习了一个从系统动力学中“解脱”出来的状态相关成本函数。基准任务的实验表明，RHIRL在大多数情况下优于几个领先的IRL算法。我们还证明了RHIRL的累积误差与任务持续时间线性增长。
2022-10-17 cs.AI cs.LG
