Using Machine Teaching to Investigate Human Assumptions when Teaching Reinforcement Learners
University of Wisconsin - Madison（威斯康星大学麦迪逊分校）；Princeton University（普林斯顿大学）
通过将教学问题表述为机器教学优化问题并用深度学习近似求解，研究发现人类在Q-learner折扣率小、学习率大时教学效果较好但仍次优，实时反馈更新微弱有帮助，为设计直觉化机器智能体提供指导。
2023-06-29 cs.AI cs.HC cs.LG
Collaborative Evolutionary Reinforcement Learning
Intel AI Lab（英特尔人工智能实验室）；Collaborative Robotics and Intelligent Systems Institute, Oregon State University（俄勒冈州立大学协作机器人与智能系统研究所）
深度强化学习算法已成功应用于一系列具有挑战性的控制任务。然而，这些方法通常难以实现有效的探索，并且对超参数的选择非常敏感。原因之一是大多数方法使用其操作策略的嘈杂版本来探索-从而限制了探索的范围。在本文中，我们介绍了协同进化强化学习（CERL），一个可扩展的框架，包括一个投资组合的政策，同时探索和利用不同地区的解决方案空间。一系列学习器-通常是经过验证的算法，如TD 3-在不同的时间范围内优化，从而形成了这个多样化的投资组合。所有学习器都贡献并使用共享的重放缓冲区来实现更高的样本效率。计算资源是动态分布的，以支持最好的学习者作为在线算法选择的一种形式。神经进化将这整个过程结合起来，产生一个超越任何个体学习者能力的单一涌现学习者。在一系列连续控制基准测试中的实验表明，新兴学习者的表现显着优于其复合学习者，同时保持整体样本效率更高-特别是解决了Mujoco Humanoid基准测试，其中所有复合学习者（TD 3）完全孤立失败。
2019-05-06 cs.AI cs.LG stat.ML
Principled Fast and Meta Knowledge Learners for Continual Reinforcement Learning
University of Alberta（阿尔伯塔大学）；National Key Laboratory of Cognition and Decision Intelligence for Complex Systems, Institution of Automation, Chinese Academy of Sciences（认知与决策智能复杂系统国家重点实验室，自动化研究所，中国科学院）；Edmonton Research Center, Huawei Canada（华为加拿大爱德蒙顿研究中心）；Huawei Noah’s Ark Lab（华为诺亚实验室）；BetaInfinity
本研究提出双学习器框架，通过快速学习器与元学习器协同作用，解决持续强化学习中的知识转移与整合问题，实现高效累积学习。
2026-03-01 cs.LG
Transformers are Meta-Reinforcement Learners
Microsoft（微软）；Center of Excellence in Artificial Intelligence (Deep Learning Brazil)（人工智能卓越中心（巴西深度学习中心））
近年来，Transformer架构及其变体在许多机器学习任务中取得了显著的成功。这种成功本质上与处理长序列的能力和来自注意力机制的上下文相关权重的存在有关。我们认为，这些功能适合的核心作用的Meta-强化学习算法。事实上，元RL代理需要从一系列轨迹中推断任务。此外，它需要一个快速的适应策略，以适应新的任务-这可以通过使用自我注意机制来实现。在这项工作中，我们提出了TrMRL（Transformers for Meta- Reinforcement Learning），一个元强化学习代理，它使用Transformer架构模仿内存恢复机制。它通过Transformer层将最近的工作记忆联系起来，递归地构建情景记忆。我们表明，自我注意力计算出一个共识表示，使每层的贝叶斯风险最小化，并提供有意义的特征来计算最佳行动。我们进行了实验，在高维连续控制环境中的运动和灵巧的操作。结果表明，在这些环境中，与基线相比，TrMRL具有相当或更好的渐近性能、样本效率和分布外泛化。
2022-06-14 cs.AI cs.LG
Interactive Teaching Algorithms for Inverse Reinforcement Learning
EPFL（洛桑联邦理工学院）；Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）
我们研究了逆强化学习（IRL）的问题，并增加了学习者由一个有帮助的老师帮助的扭曲。更正式地说，我们解决了以下算法问题：教师如何提供一个信息序列的示范IRL学习者，以加快学习过程？我们提出了一个互动的教学框架，教师自适应地选择下一个示范学习者的当前政策的基础上。特别是，我们设计了两个具体的设置教学算法：一个无所不知的设置，教师有充分的知识学习者的动态和黑盒设置，教师有最少的知识。然后，我们研究了流行的MCE-IRL学习者的顺序变体，并证明了我们的教学算法在全知设置的收敛保证。在汽车驾驶模拟器环境中进行的大量实验表明，与缺乏信息的教师相比，学习进度可以大大加快。
2019-06-05 cs.AI cs.LG stat.ML
Learning without Knowing: Unobserved Context in Continuous Transfer Reinforcement Learning
Duke University（杜克大学）
在本文中，我们考虑了一个转移强化学习（RL）问题，在连续的状态和动作空间，在不可观察的上下文信息。例如，上下文可以表示专家代理通过过去与这个世界的交互而形成的世界的心理视图。我们假设，这种情况下是无法访问的学习者代理谁只能观察专家数据。然后，我们的目标是使用上下文感知的专家数据，学习一个最佳的上下文不知道的政策，学习器只使用一些新的数据样本。这些问题通常使用模仿学习来解决，该学习假设专家和学习者代理都可以访问相同的信息。然而，如果学习者不知道专家上下文，单独使用专家数据将导致有偏见的学习者策略，并且将需要许多新的数据样本来改进。为了解决这一挑战，在本文中，我们将学习问题表示为因果约束的多臂强盗（MAB）问题。该MAB的臂对应于可以使用专家数据以无监督方式初始化的一组基础策略函数，并且表示受未观察到的上下文影响的不同专家行为。另一方面，MAB约束对应于我们也从专家数据计算的这些基本策略函数的累积奖励的因果界限。该MAB的解决方案允许学习者代理选择最佳的基本策略并在线改进。因果界限的使用降低了探索方差，因此提高了学习率。我们提供了一个自动驾驶的例子，表明我们提出的转移RL方法提高学习者的政策比现有的模仿学习方法更快，并享有更低的方差在训练过程中的数值实验。
2021-06-07 cs.AI cs.LG
Teaching Inverse Reinforcement Learners via Features and Demonstrations
ETH Zurich（苏黎世联邦理工学院）；Microsoft Research（微软研究院）；Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）
从专家的演示中学习接近最优的行为通常依赖于学习者知道真正的奖励函数所依赖的特征的假设。在本文中，我们研究了在并非如此的情况下从演示中学习的示教学习问题，即，在学习者和专家的世界观之间存在不匹配。我们引入了一个自然量，教学风险，衡量潜在的次优政策，看起来最佳的学习者在这种情况下。我们证明了教学风险的界限保证学习者能够使用基于逆强化学习的标准算法找到一个接近最优的策略。基于这些发现，我们提出了一个教学方案，专家可以通过更新学习者的世界观来降低教学风险，从而最终使她找到一个接近最优的政策。
2019-03-27 cs.LG stat.ML
Efficient Transformers in Reinforcement Learning using Actor-Learner Distillation
Carnegie Mellon University（卡内基梅隆大学）
许多现实世界的应用，如机器人技术，提供了对功率和计算的硬约束，这限制了强化学习（RL）代理的可行模型复杂性。类似地，在许多分布式RL设置中，操作是在未加速的硬件（如CPU）上完成的，这同样限制了模型大小，以防止棘手的实验运行时间。这些“行为者-延迟”约束设置对模型复杂性的扩展提出了主要障碍，该模型复杂性最近在监督学习中非常成功。为了能够利用大的模型容量，同时仍然在系统施加的限制内操作，在代理期间，我们开发了一个“演员-学习者蒸馏”（ALD）的程序，利用连续形式的蒸馏，将学习进度从大容量的学习者模型转移到小容量的演员模型。作为一个案例研究，我们开发了这个程序的上下文中的部分可观察的环境，其中Transformer模型有很大的改进LSTM最近，在成本显着更高的计算复杂性。使用Transformer模型作为学习者，LSTM作为演员，我们在几个具有挑战性的记忆环境中证明，使用演员-学习者蒸馏恢复了Transformer学习者模型的明显样本效率增益，同时保持了快速推理并减少了LSTM演员模型的总训练时间。
2021-04-04 cs.LG
Angrier Birds: Bayesian reinforcement learning
Stanford University（斯坦福大学）
我们训练一个强化学习者来玩简化版的愤怒的小鸟游戏。以类似于可由计算机视觉算法产生的输出的方式向学习者提供游戏状态。我们通过在随机最小二乘值迭代（RLSVI）中进行更系统的探索，提高了具有线性函数近似的常规ε-贪婪Q学习的效率，RLSVI是一种从最优策略的后验分布中对其策略进行采样的算法。随着更大的状态-动作空间，有效的探索变得越来越重要，RLSVI的快速学习证明了这一点。
2016-01-07 cs.AI cs.LG
Sat-EnQ: Satisficing Ensembles of Weak Q-Learners for Reliable and Compute-Efficient Reinforcement Learning
Tekirdağ Namık Kemal University（Tekirdağ Namık Kemal大学）
Sat-EnQ通过两阶段框架在早期训练中限制价值增长，减少方差并提高稳定性，从而实现更可靠且计算高效的强化学习。
2025-12-28 cs.AI cs.LG
Learning Generalizable Representations for Reinforcement Learning via Adaptive Meta-learner of Behavioral Similarities
Nanyang Technological University（南洋理工大学）
如何从高层视觉观察中学习有效的基于强化学习的控制任务模型是一个实用且具有挑战性的问题。解决这个问题的关键是从观测中学习低维状态表示，从中可以学习有效的策略。为了促进状态编码的学习，最近的工作集中在捕获状态表示之间的行为相似性或对视觉观察应用数据增强。在本文中，我们提出了一种新的基于元学习者的框架表示学习行为相似性的强化学习。具体来说，我们的框架编码的高维观测到两个分解的嵌入在马尔可夫决策过程（MDP）的奖励和动态。一对元学习器的开发，其中一个量化的奖励相似性和其他量化的动态相似性在相应的分解嵌入。元学习器通过对策略互模拟度量中两个不相交项的近似来自学习更新状态嵌入。为了将奖励和动力学条款，我们进一步开发了一种策略，以适应性地平衡他们的影响，根据不同的任务或环境。我们的经验表明，我们提出的框架优于国家的最先进的基线上的几个基准，包括传统的DM控制套件，分散DM控制套件和自动驾驶任务CARLA。
2022-12-26 cs.LG
LLMs Are In-Context Bandit Reinforcement Learners
Cornell University（康奈尔大学）；EPFL（洛桑联邦理工学院）；Harvard University（哈佛大学）
本文研究LLM能否基于外部奖励进行在线上下文赌博机强化学习，通过500M至70B模型的分类实验验证ICRL能力，并分析其稳定性、标签形式、扩展趋势及错误推理局限。
2025-09-29 cs.AI cs.CL cs.LG
Moody Learners -- Explaining Competitive Behaviour of Reinforcement Learning Agents
Italian Institute of Technology (IIT)（意大利理工学院）；Universidad Central de Chile（智利中央大学）；Deakin University（迪肯大学）
设计参与竞争互动的人工智能体的决策过程是一项具有挑战性的任务。在竞争场景中，智能体不仅具有动态环境，而且还直接受到对手行为的影响。观察智能体的Q值通常是解释其行为的一种方式，然而，并不显示所选动作之间的时间关系。我们通过提出\emph{Moody framework}来解决这个问题。我们评估我们的模型进行了一系列的实验，使用竞争性的多人厨师帽纸牌游戏，并讨论我们的模型如何让代理人的获得一个整体的代表性的竞争动态的游戏。
2020-07-30 cs.AI cs.LG cs.MA
Towards Sustainable Learning in Online Education: A Reinforcement Learning Approach
针对在线教育参与度低、长期效果差的问题，提出基于强化学习的AI Tutor模型，通过优化短期与长期学习结果，在2300万条学习记录的评估中优于基准模型，可提供自适应个性化支持。
2026-08-13 cs.AI cs.CY cs.LG
A proof of imitation of Wasserstein inverse reinforcement learning for multi-objective optimization
NEC Corporation（日本电气股份有限公司）
本文证明在多目标优化中，Wasserstein 逆向强化学习能在有限次迭代内使学习者的奖励值和最优解分别模仿专家的奖励值和最优解。
2023-05-18 cs.AI cs.LG stat.ML
Gossip-based Actor-Learner Architectures for Deep Reinforcement Learning
Facebook AI Research（Facebook人工智能研究院）；McGill University（麦吉尔大学）
多模拟器训练通过稳定学习和允许更高的训练吞吐量，为深度强化学习最近的成功做出了贡献。我们提出了基于绯闻的演员-学习者架构（GALA），其中几个演员-学习者（如A2 C代理）组织在一个对等通信拓扑结构，并通过异步八卦交换信息，以利用大量的分布式模拟器。我们证明，GALA代理保持在一个ε球的另一个在训练过程中使用松耦合异步通信。通过减少代理之间的同步量，GALA与完全同步的A2 C相比，计算效率更高，可扩展性更好。GALA的性能也优于A2 C，更强大，采样效率更高。我们表明，我们可以运行几个松散耦合的GALA代理并行在一个GPU上，并实现显着更高的硬件利用率和帧速率比香草A2 C在可比的功耗。
2020-04-21 cs.AI cs.LG cs.MA
Dynamic Safe Interruptibility for Decentralized Multi-Agent Reinforcement Learning
EPFL（洛桑联邦理工学院）
在强化学习中，智能体通过执行动作并观察其结果来学习。有时，希望人类操作员\textit{interrupt}代理以防止危险情况发生。然而，作为学习过程的一部分，智能体可能会将这些影响其奖励的中断与特定状态联系起来，并故意避免它们。这种情况在多代理环境中尤其具有挑战性，因为代理不仅可以从自己过去的中断中学习，还可以从其他代理的中断中学习。Orseau和Armstrong为一个学习者定义了\emph{safe interruptibility}，但他们的工作并没有自然地扩展到多智能体系统。本文介绍了\textit{dynamic safe interruptibility}，一种更适合分散学习问题的替代定义，并在两个学习框架中研究了这个概念：\textit{joint action learners}和\textit{independent learners}。我们给现实的充分条件的学习算法，使动态安全中断的情况下，联合行动的学习者，但这些条件是不够的独立学习者。然而，我们表明，如果代理可以检测中断，它是可能的修剪观察，以确保动态安全中断，即使是独立的学习者。
2017-05-22 cs.AI cs.LG cs.MA
ZPD Teaching Strategies for Deep Reinforcement Learning from Demonstrations
University of California, Berkeley（加州大学伯克利分校）
示教学习是加速和减少强化学习探索需求的流行工具。当向人类学生提供专家演示时，我们知道演示必须在称为“近端发展区（ZPD）”的特定难度范围内。如果它们太容易，学生什么也学不到，但如果它们太难，学生无法跟上。这就提出了一个问题：给定一组潜在的示范者，其中哪一个最适合教授任何特定的学习者？先前的工作，例如流行的Deep Q-从演示示教学习（DQfD）算法，通常集中在单个演示器上。在这项工作中，我们考虑的问题中选择不同技能水平的多个示威者。我们的研究结果与人类学习者的直觉一致：从表现最好的演示者那里（就奖励而言）进行演示并不总是最好的策略。我们表明，仔细选择教学策略可以导致样本效率增益在学习者的环境中，在九个雅达利游戏
2019-10-26 cs.AI cs.LG
AcceRL: Policy Acceleration Framework for Deep Reinforcement Learning
Sichuan Normal University（四川师范大学）
深度强化学习以其超强的决策能力在各个领域取得了巨大的成功。然而，策略学习过程需要大量的训练时间，导致能量消耗。受神经网络冗余性的启发，提出了一种基于神经网络压缩的轻量级并行训练框架AcceRL，在保证策略质量的同时加快了策略学习的速度。具体来说，AcceRL通过灵活组合各种神经网络压缩方法，加快了经验收集的速度。总体而言，AcceRL由五个组件组成，即Actor，Learner，Compressor，Corrector和Monitor。执行者使用压缩器来压缩学习者的策略网络以与环境交互。生成的经验由修正器采用V-trace、Retrace等Off-Policy方法进行转换，并将修正后的经验反馈给学习器进行策略学习。我们相信这是第一个包含多种神经网络压缩技术的通用强化学习框架。在健身房进行的大量实验表明，与传统方法相比，AcceRL将演员的时间成本降低了约2.0倍至4.13倍。此外，与传统方法相比，AcceRL将整个训练时间减少了约29.8%至40.3%，同时保持相同的策略质量。
2022-11-28 cs.AI cs.LG
Robust Inverse Reinforcement Learning under Transition Dynamics Mismatch
EPFL（洛桑联邦理工学院）；The Alan Turing Institute（艾伦图灵研究所）；University of Cambridge（剑桥大学）
研究了专家和学习者之间转换动力学失配下的逆强化学习（IRL）问题。具体而言，我们认为最大因果熵（MCE）IRL学习模型，并提供了一个严格的上限学习者的性能退化的基础上的$\ell_1$ -专家和学习者之间的过渡动态的距离。利用Robust RL文献中的见解，我们提出了一种鲁棒的MCE IRL算法，这是一种帮助解决这种不匹配的原则性方法。最后，我们经验证明了我们的算法相比，标准MCE IRL算法在有限和连续MDP问题的过渡动态失配的稳定性能。
2021-11-30 cs.LG stat.ML
Inverse Reinforcement Learning Under Noisy Observations
Institute for AI, University of Georgia（佐治亚大学人工智能研究所）
我们考虑的问题，执行逆强化学习时，专家的轨迹是不完美的学习者观察。相反，向学习者提供对轨迹的嘈杂连续时间观察。这个问题具有广泛的应用，我们在这里考虑的具体应用是学习者试图穿透机器人巡逻的周界的场景。学习者的视野是有限的，由于它不能观察巡逻的完整轨迹。相反，我们允许学习者听专家的运动声音，它也可以使用观察模型来估计专家的状态和动作。将专家的状态和行为视为隐数据，提出了一种基于期望最大化和最大熵原理的算法来解决非线性、非凸问题。相关工作考虑离散时间观测和不包括动作的观测模型。相比之下，我们的技术对专家的状态和动作都有期望，即使在极端噪音和更广泛的应用中也能进行学习。
2017-10-27 cs.AI cs.LG cs.RO
On the Theory of Reinforcement Learning with Once-per-Episode Feedback
Stanford University（斯坦福大学）；Microsoft Research（微软研究院）；UC Berkeley（加州大学伯克利分校）；Google（谷歌）
我们研究了强化学习（RL）的理论，其中学习者在一集结束时只接收一次二进制反馈。虽然这是一个极端的理论测试案例，但它也可以说比RL实践中的传统要求更能代表现实世界的应用，即学习者在每个时间步都收到反馈。事实上，在强化学习的许多现实应用中，例如自动驾驶汽车和机器人技术，评估学习者的完整轨迹是“好”还是“坏”更容易，但在每一步提供奖励信号更难。为了证明在这种更具挑战性的环境中学习是可能的，我们研究了轨迹标签由未知参数模型生成的情况，并提供了一种统计和计算效率高的算法，实现了次线性遗憾。
2022-08-21 cs.AI cs.LG stat.ML
Adaptive Expert Guidance for Efficient On-Policy Reinforcement Learning
EPFL（洛桑联邦理工学院）；University of Zurich（苏黎世大学）
提出一种在线策略强化学习方法，通过可学习参数动态调整专家与学习者的控制份额，在训练早期利用次优专家提升样本效率，随能力增强自动退出，最终优于专家。
2026-10-06 cs.AI cs.LG
Generalization of Reinforcement Learners with Working and Episodic Memory
DeepMind（深度思维）
记忆是智力的一个重要方面，在许多深度强化学习模型中发挥作用。然而，在理解特定的记忆系统何时比其他系统更有帮助以及它们的泛化能力方面，几乎没有取得进展。该领域还没有看到一个普遍的一致和严格的方法来评估代理人的表现。在本文中，我们的目标是开发一个全面的方法来测试不同种类的记忆体中的代理和评估如何以及代理可以应用它在训练中学到的坚持集，从训练集不同的尺寸，我们建议是相关的评估内存特定的泛化。为此，我们首先构建了一组不同的记忆任务，使我们能够在多个维度上评估测试时的泛化。其次，我们开发和执行多个消融剂的架构，结合多个内存系统，观察其基线模型，并调查其性能对任务套件。
2020-02-19 cs.AI cs.LG stat.ML
Data-Driven Inverse Reinforcement Learning for Expert-Learner Zero-Sum Games
Northeastern University（东北大学）；UTA Research Institute（德克萨斯大学阿灵顿分校研究所）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）
在本文中，我们制定逆强化学习（IRL）作为一个专家-学习者的互动，其中的最佳性能的意图的专家或目标代理是未知的学习者代理。学习者观察专家的状态和控制，从而试图重建专家的成本函数意图，从而模仿专家的最佳响应。接下来，我们添加非合作干扰，试图破坏学习者代理的学习和稳定性。这导致制定一个新的相互作用，我们称之为零和游戏IRL。我们开发了一个框架来解决零和博弈IRL问题，这是RL策略迭代（PI）的修改扩展，允许未知的专家性能意图计算和非合作干扰被拒绝。该框架有两个部分：基于PI的扩展的价值函数和控制动作更新，以及基于标准逆最优控制的成本函数更新。然后，我们最终开发了一个政策外IRL算法，不需要专家和学习者代理动态的知识，并进行单循环学习。给出了严格的证明和分析。最后通过仿真实验验证了该方法的有效性。
2023-01-05 cs.LG cs.SY eess.SY
Recruitment-imitation Mechanism for Evolutionary Reinforcement Learning
Jilin University（吉林大学）
强化学习、进化算法和模仿学习是处理连续控制任务的三种主要方法。强化学习样本效率高，但对超参数设置敏感，需要有效探索;进化算法稳定，但样本效率低;模仿学习样本效率高，但需要专家数据指导。在本文中，我们提出了招募模仿机制（RIM）的进化强化学习，一个可扩展的框架，结合了上述三种方法的优点。该框架的核心是一个双行动者和单批评强化学习代理。该代理可以从进化算法的群体中招募高适应度的演员，这指示自己从经验重放缓冲区中学习。同时，进化种群中的低适应度行为体可以模仿强化学习Agent的行为模式，提高其自适应能力。该框架中的强化学习器和模仿学习器可以用任何非策略的行动者-批评者强化学习器或数据驱动的模仿学习器来代替。我们在Mujoco中对RIM进行了一系列连续控制任务的基准测试。实验结果表明，RIM优于以前的进化或强化学习方法。RIM组件的性能明显优于以前的进化强化学习算法的组件，使用软更新的招聘使强化学习代理学习速度比使用硬更新。
2019-12-13 cs.AI cs.LG cs.NE
Deep Reinforcement Learning for Adaptive Learning Systems
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Purdue University（普渡大学）
在本文中，我们制定的自适应学习问题-如何找到一个个性化的学习计划（称为政策），选择最合适的学习材料的基础上学习者的潜在特质-在自适应学习系统面临的马尔可夫决策过程（MDP）的问题。我们假设潜在特征是连续的，具有未知的过渡模型。我们应用了一种无模型的深度强化学习算法--深度Q-学习算法--它可以有效地从学习者学习过程的数据中找到最优的学习策略，而不需要知道学习者连续潜在特征的实际转换模型。为了有效地利用现有的数据，我们还开发了一个过渡模型估计，模拟学习者的学习过程中使用神经网络。转移模型估计器可以用于深度Q-学习算法中，使得它可以更有效地发现学习器的最优学习策略。数值仿真研究表明，该算法在寻找最优学习策略方面是非常有效的，特别是在过渡模型估计器的辅助下，它可以在使用少量学习器进行训练后找到最优学习策略。
2020-04-17 cs.LG stat.ML
Interaction-limited Inverse Reinforcement Learning
Idiap Research Institute（伊迪亚普研究所）；EPFL（洛桑联邦理工学院）
本文提出了一种逆强化学习（IRL）框架，当学习者-教师\textit{interaction}在训练过程中是\textit{limited}时，该框架可以加速学习。我们的设置是由现实的情况下，一个有用的老师是不可用的，或者当老师无法访问学生的学习动态的动机。我们提出了两种不同的培训策略：课程逆强化学习（CIRL）涵盖教师的角度，和自定进度逆强化学习（SPIRL）侧重于学习者的角度。使用模拟实验和实验与一个真正的机器人学习的任务，从一个人的演示，我们表明，我们的训练策略可以允许更快的训练比随机教师CIRL比一批学习者SPIRL。
2020-07-01 cs.LG stat.ML
Quick Learner Automated Vehicle Adapting its Roadmanship to Varying Traffic Cultures with Meta Reinforcement Learning
University of Michigan（密歇根大学）；Ford Motor Company（福特汽车公司）
在各种交通文化和驾驶条件下，自动驾驶车辆在野外以适当的道路驾驶技术（安全有效地驾驶，而不打扰或危及其他道路使用者）执行任意车道变换至关重要。虽然深度强化学习方法近年来表现出色，并被应用于自动驾驶汽车策略，但人们担心它们是否能够快速适应新环境动态下看不见的交通。我们将这一挑战表述为多马尔可夫决策过程（MDP）适应问题，并开发了Meta强化学习（MRL）驱动策略，以展示其快速学习能力。两种类型的分布变化的环境中设计和模拟，以验证快速适应能力的MRL驾驶策略，显着优于基线RL。
2021-04-18 cs.LG cs.SY eess.SY
Reward Is Enough: LLMs Are In-Context Reinforcement Learners
University of Virginia（弗吉尼亚大学）
研究发现LLM在推理过程中可通过上下文强化学习实现自我提升，通过多轮提示框架提升任务表现，显著优于基线方法。
2026-04-24 cs.AI cs.CL cs.LG
CORL: A Continuous-state Offset-dynamics Reinforcement Learner
Massachusetts Institute of Technology（麻省理工学院）；Rutgers University（罗格斯大学）
连续的状态空间和随机的，切换动力学表征了许多丰富的，现实世界的领域，如机器人导航在不同的地形。我们描述了一个schemcementlearning算法在这些领域的学习，并证明在某些环境下，该算法可能是近似正确的样本复杂性，规模多项式与状态空间维度。不幸的是，没有最优规划技术存在一般这样的问题，而是我们使用拟合值迭代来解决学习MDP，并包括由于近似规划在我们的范围内的错误。最后，我们报告了一个实验，使用机器人汽车驾驶在不同的地形，以证明这些动态表示充分捕捉现实世界的动态，我们的算法可以用来有效地解决这些问题。
2012-06-13 cs.LG stat.ML
Vintix II: Decision Pre-Trained Transformer is a Scalable In-Context Reinforcement Learner
Applied AI Institute（应用人工智能研究所）；Innopolis University（因诺波利斯大学）；HSE（高等经济学院）；ITMO University（ITMO大学）；NUST MISIS（国立科技大学MISIS）；MSU（莫斯科国立大学）；Humanoid（Humanoid公司）
本文提出Vintix II，通过Flow Matching扩展DPT，实现跨多领域任务的强化学习，提升泛化能力。
2026-04-06 cs.AI cs.LG cs.RO
Inverse-Inverse Reinforcement Learning. How to Hide Strategy from an Adversarial Inverse Reinforcement Learner
Cornell University（康奈尔大学）；Lockheed Martin Advanced Technology Laboratories（洛克希德·马丁先进技术实验室）
逆强化学习（IRL）处理从代理的动作估计代理的效用函数。在本文中，我们考虑代理如何隐藏其策略并减轻对抗性IRL攻击;我们称之为逆IRL（I-IRL）。决策者应该如何选择其响应，以确保其战略的一个不良重建的对手执行IRL估计代理的战略？本文包括四个结果：第一，我们提出了一个对抗IRL算法，估计代理的策略，同时控制代理的效用函数。我们的I-IRL结果的第二个结果欺骗了对手使用的IRL算法。我们的I-IRL结果是基于微观经济学中的显示偏好理论。关键思想是代理人故意选择次优响应，充分掩盖其真实策略。第三，我们给出了一个样本的复杂性结果，我们的主要I-IRL的结果时，代理人有噪声估计的对手指定的效用函数。最后，我们说明了我们的I-IRL计划在雷达问题中的元认知雷达试图减轻敌对目标。
2022-05-22 cs.LG eess.SP
IMPALA: Scalable Distributed Deep-RL with Importance Weighted Actor-Learner Architectures
DeepMind Technologies（DeepMind科技公司）
在这项工作中，我们的目标是解决一个大的任务集合使用一个单一的强化学习代理与一组参数。一个关键的挑战是处理增加的数据量和延长的训练时间。我们已经开发了一种新的分布式代理IMPALA（重要性加权的演员-学习者架构），它不仅在单机训练中更有效地使用资源，而且可以扩展到数千台机器，而不会牺牲数据效率或资源利用率。我们实现了稳定的学习，在高吞吐量相结合的解耦代理和学习与一种新的偏离政策的校正方法，称为V-跟踪。我们在DMLab-30（来自DeepMind实验室环境的一组30个任务）上证明了IMPAL用于多任务强化学习的有效性（Beattie等人，2016））和Atari-57（Arcade Learning Environment中所有可用的Atari游戏（Bellemare等人，2013年a））。我们的研究结果表明，IMPALA是能够实现更好的性能比以前的代理与更少的数据，关键是表现出积极的任务之间的转移，由于其多任务的方法。
2018-06-28 cs.AI cs.LG
G-Learner and GIRL: Goal Based Wealth Management with Reinforcement Learning
Illinois Institute of Technology（伊利诺伊理工学院）；Fidelity Investments（富达投资集团）；NYU Tandon School of Engineering（纽约大学坦登工程学院）
我们提出了一种强化学习方法来解决基于目标的财富管理问题，例如优化退休计划或目标日期基金。在这样的问题中，投资者寻求通过在被雇用时在投资组合中进行定期投资来实现财务目标，并且在退休时定期从账户中提取资金，此外还能够通过出售和购买不同的资产（例如股票）来重新平衡投资组合。我们提出了G-Learner，而不是依赖于消费的效用：一种强化学习算法，它使用明确定义的一步奖励，不假设数据生成过程，并且适用于噪声数据。我们的方法是基于G-学习-强化学习的Q-学习方法的概率扩展。在本文中，我们演示了如何G-学习，当应用于二次奖励和高斯参考政策，给出了一个熵调节的线性二次调节器（LQR）。这种关键的洞察力为财富管理任务提供了一种新颖且计算上易于处理的工具，可扩展到高维投资组合。除了解决G-学习的直接问题外，我们还提出了一种新算法GIRL，它将我们基于目标的G-学习方法扩展到反向强化学习（IRL）的设置，其中代理收集的奖励未被观察到，而是应该被推断出来。我们证明了GIRL可以成功地学习G-Learner代理的奖励参数，从而模仿其行为。最后，我们讨论了G-Learner和GIRL算法在财富管理和机器人咨询方面的潜在应用。
2020-02-25 cs.LG q-fin.CP q-fin.PM
Privacy-Preserving Kickstarting Deep Reinforcement Learning with Privacy-Aware Learners
University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Florida（佛罗里达大学）
启动深度强化学习算法促进了代理之间的师生关系，并允许表现良好的教师与学生分享演示，以加快学生的培训。然而，尽管已知的好处，演示可能包含有关教师的训练数据和现有的kickstarting方法不采取任何措施来保护它的敏感信息。因此，我们使用的框架差分隐私开发一个机制，安全地共享教师的演示与学生。该机制允许教师根据其消耗的隐私预算来决定其演示的准确性，从而授予教师对其数据隐私的完全控制。然后，我们为学生开发了一个启动的深度强化学习算法，该算法具有隐私意识，因为我们使用教师隐私机制的参数来校准其目标。该算法的隐私意识设计使得它可以启动学生的学习，尽管由隐私机制引起的扰动。从数值实验中，我们突出了三个实证结果：（i）该算法成功地加快了学生的学习，（ii）学生收敛到一个性能水平，这是不可能没有示范，和（iii）学生保持其增强的性能，即使在教师停止共享有用的演示，由于其隐私预算的限制。
2021-06-04 cs.AI cs.CR cs.LG
Unsupervised Curricula for Visual Meta-Reinforcement Learning
UC Berkeley（加州大学伯克利分校）；University of Toronto（多伦多大学）；Carnegie Mellon University（卡内基梅隆大学）；Stanford University（斯坦福大学）
原则上，Meta强化学习算法利用许多任务的经验来学习快速强化学习（RL）策略，这些策略可以转移到类似的任务中。然而，目前的元RL方法依赖于手动定义的训练任务分布，手工制作这些任务分布可能具有挑战性且耗时。“有用的”预训练任务可以在无监督的情况下发现吗？我们开发了一个无监督的算法，诱导自适应元训练任务分布，即自动课程，通过在视觉环境中建模无监督的交互。任务分布由元学习者轨迹分布的参数密度模型支撑。我们制定无监督元RL作为潜在的任务变量和元学习者的数据分布之间的信息最大化，并描述了一个实际的实例，它交替最近的经验整合到任务分布和元学习的更新任务。重复该过程导致迭代重组，使得课程随着元学习者的数据分布偏移而适应。特别是，我们展示了视觉表示的判别聚类如何支持具有像素观测的域中的自动级别任务获取和探索，避免了替代品的陷阱。在基于视觉的导航和操作领域的实验中，我们证明了该算法允许无监督元学习转移到由手工制作的奖励函数指定的下游任务，并作为测试任务分布的更有效的监督元学习的预训练。
2019-12-09 cs.AI cs.LG
Meta-SGD: Learning to Learn Quickly for Few-Shot Learning
少样本学习对于孤立地从零开始学习每个任务的学习算法来说是具有挑战性的。相比之下，元学习从许多相关的任务中学习一个元学习者，可以用更少的例子更准确，更快地学习一个新的任务，其中元学习者的选择是至关重要的。在本文中，我们开发了元SGD，一个类似SGD的，易于训练的元学习器，可以在监督学习和强化学习的基础上，一步就可以初始化和适应任何可微学习器。与流行的元学习者LSTM相比，Meta-SGD在概念上更简单，更容易实现，并且可以更有效地学习。与最新的元学习器MAML相比，Meta-SGD具有更高的学习能力，不仅可以学习学习器初始化，还可以学习学习器更新方向和学习率，所有这些都在单个元学习过程中进行。Meta-SGD在回归、分类和强化学习的少样本学习方面表现出很强的竞争力。
2017-09-28 cs.LG
Inverse Reinforcement Learning from a Gradient-based Learner
Politecnico Di Milano（米兰理工大学）
逆强化学习解决了从演示中推断专家的奖励函数的问题。然而，在许多应用程序中，我们不仅可以访问专家的接近最优的行为，但我们也观察她的学习过程的一部分。在本文中，我们提出了一种新的算法，这种设置，其中的目标是恢复的奖励函数被优化的代理，给定的一系列政策在学习过程中产生的。我们的方法是基于这样的假设，即观察到的代理是更新她的政策参数沿梯度方向。然后，我们扩展我们的方法来处理更现实的情况下，我们只能访问学习轨迹的数据集。对于这两种设置，我们提供了理论上的见解，我们的算法的性能。最后，我们在模拟GridWorld环境和MuJoCo环境中评估该方法，并将其与最先进的基线进行比较。
2020-07-15 cs.LG stat.ML
Accelerating Distributed Deep Reinforcement Learning by In-Network Experience Sampling
Keio University（庆应义塾大学）
将多个计算节点互连的计算集群用于加速基于DQN（Deep Q-Network）的分布式强化学习。在分布式强化学习中，Actor节点通过与给定环境交互来获取经验，而Learner节点优化其DQN模型。由于Actor和Learner节点之间的数据传输会根据Actor节点的数量及其经验大小而增加，因此它们之间的通信开销是主要的性能瓶颈之一。本文通过基于DPDK的网络优化来加速它们的通信，并在Actor和Learner节点之间部署基于DPDK的低延迟体验回放存储服务器，该服务器通过40 GbE（40 Gbit Ethernet）网络互连。评估结果表明，作为一种网络优化技术，内核绕过DPDK减少了32.7%至58.9%的网络访问延迟到共享内存服务器。作为另一种网络优化技术，行动者和学习者节点之间的网络内经验重放存储器服务器将对经验重放存储器的访问延迟减少了11.7%至28.1%，并且将用于优先化经验采样的通信延迟减少了21.9%至29.1%。
2023-03-10 cs.DC cs.LG
Ensemble Reinforcement Learning in Continuous Spaces -- A Hierarchical Multi-Step Approach for Policy Training
Victoria University of Wellington（惠灵顿维多利亚大学）；National Institute of Water and Atmospheric Research（国家水与大气研究所）
针对现有actor-critic深度强化学习算法探索不足、现有集成算法未联合优化基学习器的问题，提出基于多步积分的分层集成DRL算法，通过参数共享促进协作，理论验证有效且在多个基准任务上性能优于SOTA算法。
2023-05-02 cs.LG
Federated reinforcement learning for robot motion planning with zero-shot generalization
School of Electrical Engineering；Computer Science, \ Pennsylvania State University, University Park, PA., 16802, USA
提出一种联邦强化学习框架，使多机器人在不共享原始数据的情况下协作学习运动规划策略，并从到达时间、安全性、收敛性和最优性差距等方面提供零样本泛化理论保证。
2024-04-07 cs.AI cs.DC cs.LG
Policy Poisoning in Batch Reinforcement Learning and Control
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；Microsoft Research New York（微软纽约研究院）
我们研究了批量强化学习的安全威胁，并控制攻击者旨在毒害学习策略的位置。受害者是一个强化学习器/控制器，它首先从批量数据集中估计动态和奖励，然后求解关于估计的最优策略。攻击者可以在学习发生之前稍微修改数据集，并希望迫使学习者学习攻击者选择的目标策略。提出了一个统一的解决批量策略中毒攻击的框架，并对强化学习中的表格确定性等价学习器和控制中的线性二次型调节器这两种标准受害者进行了攻击实例。我们表明，这两个实例化的结果在凸优化问题上的全局最优性是有保证的，并提供攻击的可行性和攻击成本的分析。实验证明了策略中毒攻击的有效性。
2019-10-31 cs.LG stat.ML
ReLExS: Reinforcement Learning Explanations for Stackelberg No-Regret Learners
ETH Zurich（苏黎世联邦理工学院）
本文研究了双人 Stackelberg 博弈中跟随者受无悔约束时的均衡问题，证明了在无悔约束及特定跟随者策略下玩家仍能达到 Stackelberg 均衡，并给出了效用差的严格上界及常和博弈下总效用的有界性保证。
2024-08-26 cs.GT cs.LG
Hybrid Inverse Reinforcement Learning
Cornell University（康奈尔大学）；Carnegie Mellon University（卡内基梅隆大学）；Aurora Innovation（极光创新公司）
提出混合逆强化学习方法，通过混合在线与专家数据减少不必要探索，将逆RL归约为专家竞争性RL，在保持性能保证的同时大幅提升样本效率。
2024-06-05 cs.AI cs.LG
Physics-informed Value Learner for Offline Goal-Conditioned Reinforcement Learning
针对离线目标条件强化学习在数据覆盖有限和长时程任务中的挑战，提出基于程函偏微分方程的物理信息正则化损失，结合分层隐式Q学习形成Eik-HIQL方法，显著提升性能与泛化能力。
2025-10-09 cs.LG
Large Language Models are Biased Reinforcement Learners
Binghamton University（宾汉姆顿大学）；École Normale Supérieure（巴黎高等师范学院）
本文通过多老虎机任务、提示操控、计算认知建模与隐藏层分析，发现LLM存在相对价值编码偏差，并由纳入相对价值的简单RL机制解释。
2024-05-19 cs.AI cs.CL cs.LG
Selecting Near-Optimal Approximate State Representations in Reinforcement Learning
Montanuniversitaet Leoben（莱奥本矿业大学）；The Technion（以色列理工学院）；Inria Lille-Nord Europe（法国国家信息与自动化研究所里尔-北欧中心）；Inria Chile（法国国家信息与自动化研究所智利中心）
我们考虑引入的强化学习设置（Maillard et al.，NIPS 2011），其中学习者没有显式访问底层马尔可夫决策过程（MDP）的状态。相反，她可以访问几个模型，将过去的相互作用历史映射到状态。在这里，我们改进了已知的遗憾界在这种情况下，更重要的是，推广到的情况下，模型给学习者不包含一个真正的模型，导致MDP表示，但只有它的近似值。
2014-09-15 cs.LG
Overcoming Referential Ambiguity in Language-Guided Goal-Conditioned Reinforcement Learning
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；Institut des Systèmes Intelligents et de Robotique (ISIR)（智能系统与机器人研究所（ISIR））
针对语言指令中的指称歧义，本文在教师/学习者积木堆叠任务中结合教学法与实用主义推理，提升了目标条件强化学习学习者的样本效率。
2023-09-27 cs.CL cs.LG
Multi-Advisor Reinforcement Learning
Microsoft Research Maluuba（微软研究院 Maluuba）
我们考虑通过将其分发给$n$学习者来解决单代理RL问题。这些学习者，称为顾问，努力从不同的焦点解决问题。他们的建议，采取行动价值观的形式，然后传达给一个聚合器，这是在控制系统。我们发现，当地的规划方法的顾问是至关重要的，在文献中发现的是完美无瑕的：自我中心的规划高估的价值观的国家，其他顾问不同意，和不可知论的规划是低效的危险区周围。我们介绍了一种新的方法，称为移情，并讨论其理论方面。我们实证检验和验证我们的理论研究结果的水果收集任务。
2017-11-14 cs.AI cs.LG stat.ML
Malliavin Calculus for Counterfactual Gradient Estimation in Adaptive Inverse Reinforcement Learning
School of Electrical and Computer Engineering, Cornell University（康奈尔大学电气与计算机工程学院）
本文提出一种基于拉格朗日算法的自适应逆强化学习方法，利用马尔蒂尼算子高效估计反事实梯度，解决传统方法收敛慢的问题。
2026-09-22 cs.LG
Partner Approximating Learners (PAL): Simulation-Accelerated Learning with Explicit Partner Modeling in Multi-Agent Domains
Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）；Institute of Control Systems (IRS)（控制系统研究所 (IRS)）
混合的合作-竞争控制场景，如人机交互与交互伙伴的个人目标是非常具有挑战性的强化学习代理。为了有助于直观的人机协作，我们专注于连续状态和控制域中的问题，其中没有明确的通信被认为是和代理不知道别人的目标或控制律，但只感觉到他们的控制输入回顾。我们提出的框架结合了一个学习的合作伙伴模型的基础上，在线数据与强化学习代理，在模拟环境中训练，包括合作伙伴模型。因此，我们克服了独立学习器的缺点，此外，还受益于强化学习所需的真实世界数据量的减少，这在人机环境中至关重要。我们最后分析了一个例子，证明了我们提出的框架的优点，它学习速度快，由于模拟环境和适应不断变化的合作伙伴，由于合作伙伴近似。
2020-03-02 cs.AI cs.LG cs.MA
Potential-Based Shaping and Q-Value Initialization are Equivalent
University of California, San Diego（加利福尼亚大学圣迭戈分校）
整形已被证明是一种强大但不稳定的提高强化学习性能的方法。Ng，Harada和Russell（1999）提出了基于潜力的整形算法，以保证学习者学习最佳行为的方式添加整形奖励。在本说明中，我们证明了这种成形算法和几种强化学习算法所需的初始化步骤之间的某些相似性。更具体地说，我们证明了一个强化学习器的初始Q值的基础上的成形算法的潜在功能，使相同的更新整个学习作为一个学习器接收潜在的成形奖励。我们进一步证明，在一个广泛的类别的政策，这两个学习者的行为是不可区分的。比较提供了直观的成形算法的理论特性，以及一个更简单的方法捕获算法的好处的建议。此外，等价性提出了以前未解决的问题，关于学习的效率与潜力为基础的塑造。
2011-06-26 cs.LG
REIN-2: Giving Birth to Prepared Reinforcement Learning Agents Using Reinforcement Learning Agents
Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）
深度强化学习（Deep RL）在过去几年中一直备受关注，因为它能够解决传统机器学习方法无法解决的问题。然而，即使是最先进的Deep RL算法也有各种弱点，使其无法在行业应用中广泛使用，其中一个主要弱点是它们的样本效率低下。为了解决这些问题，我们集成了一种元学习技术，以便将学习解决任务的目标转变为学习如何学习解决任务（或一组任务）的目标，我们根据经验表明，这提高了深度RL算法的整体稳定性和性能。我们的模型名为REIN-2，是在RL框架内制定的元学习方案，其目标是开发一个元RL代理（元学习者），学习如何产生能够解决给定环境的其他RL代理（内部学习者）。对于这项任务，我们将RL代理与环境的典型交互转换为一个新的，单一的环境，供元学习者进行交互。与传统的最先进的Deep RL算法相比，实验结果表明，我们的模型在流行的OpenAI Gym环境中在评分和样本效率方面表现出色，包括Mountain Car硬探索环境。
2022-05-11 cs.LG
