Pretrained Visual Representations in Reinforcement Learning
University of Lincoln（林肯大学）
比较视觉强化学习中从头训练CNN与使用预训练视觉表示（PVR）的性能，发现PVR能减少缓冲区大小并加快训练，且休眠比率与模型性能强相关。
2024-07-24 cs.LG cs.RO
RNM-TD3: N:M Semi-structured Sparse Reinforcement Learning From Scratch
Deggendorf Institute of Technology（德格多夫技术学院）；Department of Engineering Technology（工程技术系）；Technical University of Denmark（丹麦技术大学）
RNM-TD3通过N:M结构稀疏性在强化学习中实现压缩、性能和硬件效率的平衡，优于密集模型并在稀疏度下表现优异。
2026-02-16 cs.AR cs.LG
Data-Efficient Reinforcement Learning for Malaria Control
Baidu Inc.（百度公司）；Michigan State University（密歇根州立大学）
在成本敏感的任务下的顺序决策是令人望而却步的，特别是对于对人们的日常生活有重大影响的问题，如疟疾控制，治疗建议。政策制定者面临的主要挑战是通过在几次试验中与复杂环境互动，从头开始学习政策。本文介绍了一种实用的、数据效率高的策略学习方法--方差-奖金蒙特卡罗树搜索~（VB-MCTS），它可以用很少的数据进行复制，并且只需少量的试验就可以从头开始学习。具体来说，解决方案是一种基于基于模型的强化学习方法。为了避免模型偏差，我们使用高斯过程~（GP）回归来显式估计转换。在GP世界模型的基础上，提出了一种方差-奖金报酬来度量世界的不确定性。在MCTS的计划中加入奖励可以使探索更有效。此外，推导出的多项式样本复杂度表明VB-MCTS是样本有效的。最后，在竞争激烈的世界级RL竞赛中的出色表现和广泛的实验结果验证了其在具有挑战性的疟疾控制任务中的优势。
2021-05-05 cs.AI cs.LG
CytonRL: an Efficient Reinforcement Learning Open-source Toolkit Implemented in C++
National Institute of Information and Communications Technology（日本信息通信研究机构）
本文介绍了一个名为CytonRL的开源执法学习工具包（https：//github.com/arthurxlw/cytonRL）。该工具包使用C++和NVIDIA的GPU加速库从头开始实现了四种最新的高级深度Q-学习算法。代码简单而优雅，这要归功于一个名为CytonLib的开源通用神经网络库。基准测试表明，该工具包在流行的Atari游戏Breakout上实现了具有竞争力的性能。
2018-04-14 cs.AI cs.LG stat.ML
A Deep Reinforcement Learning Approach to First-Order Logic Theorem Proving
Northwestern University（西北大学）；IBM Research（IBM研究院）；IBM T.J. Watson Research Center（IBM托马斯·J·沃森研究中心）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Zurich Lab（IBM苏黎世实验室）；The University of Auckland（奥克兰大学）
自动定理证明器传统上依赖于手动调整的算法来指导它们如何执行证明搜索。深度强化学习已经被提出作为一种方法来满足这种推理的需要，然而，它在自动定理证明中的部署仍然是一个挑战。在本文中，我们介绍了TRAIL，这是一个将深度强化学习应用于基于饱和的定理证明的系统。TRAIL利用（a）定理证明器状态的新神经表示和（b）推理选择过程在基于注意力的行动策略方面的新特征。我们通过系统的分析表明，这些机制使TRAIL显着优于以前的基于学习的定理证明器在两个基准数据集的一阶逻辑自动定理证明（证明约15%以上的定理）。
2020-09-16 cs.AI cs.LG cs.LO
GCT-MARL: Graph-Based Contrastive Transfer for Sample-Efficient Cooperative Multi-Agent Reinforcement Learning
提出GCT-MARL框架，利用多视图图对比学习和自适应加权对齐损失，结合两阶段训练协议，实现跨不同规模和组成群体的高效迁移，显著加速目标任务收敛。
2026-06-25 cs.AI cs.LG cs.MA
Selective Reincarnation: Offline-to-Online Multi-Agent Reinforcement Learning
InstaDeep Ltd（英斯塔迪普公司）；University of Cape Town（开普敦大学）；INRS（国家科学研究院）
该研究提出多智能体强化学习中的选择性转生范式，验证其在异构协作场景下比从头训练收益更高、比全转生收敛更快，同时指出转生对象选择的关键作用，呼吁推动该方向研究。
2024-10-30 cs.AI cs.LG cs.MA
Reinforcement Learning of Theorem Proving
University of Innsbruck（因斯布鲁克大学）；Czech Technical University in Prague（布拉格捷克理工大学）；University of Warsaw（华沙大学）；Charles University（查理大学）
我们介绍了一个定理证明算法，实际上没有使用域推理指导其连接式证明搜索。相反，它运行了许多蒙特卡洛模拟，这些模拟由以前的证明尝试中的强化学习指导。我们生产几个版本的证明，参数化不同的学习和指导算法。该系统的最强版本是在大量数学问题上训练的，并在以前看不见的问题上进行评估。经过训练的系统在相同数量的推理中解决的问题比基线证明器多40%以上，这在这个人工智能领域是一个非常高的改进。据我们所知，这是强化学习第一次被令人信服地应用于大规模解决一般数学问题。
2018-05-19 cs.AI cs.LG cs.LO
Enabling Multi-Agent Transfer Reinforcement Learning via Scenario Independent Representation
Missouri State University（密苏里州立大学）
提出一种通过统一状态空间实现多智能体迁移强化学习的框架，在SMAC环境中验证了其能显著提升学习性能，并结合课程迁移学习促进复杂异构场景下的知识迁移。
2024-02-13 cs.AI cs.LG
Peer Learning: Learning Complex Policies in Groups from Scratch via Action Recommendations
Hessian Center for Artificial Intelligence (hessian.AI)（黑森人工智能中心）；German Research Center for AI (DFKI)（德国人工智能研究中心）；Centre for Cognitive Science（认知科学中心）
本文提出同伴学习框架，让群体智能体通过动作推荐从零开始共同学习，并将教师选择建模为多臂老虎机问题，在多个OpenAI Gym任务中超越单智能体学习和现有动作建议基线。
2024-05-06 cs.AI cs.LG cs.MA
Demonstration Guided Multi-Objective Reinforcement Learning
University of Galway（高威大学）
针对多目标强化学习中偏好多样且策略从零训练困难的问题，提出 DG-MORL，利用示范、角点权重对齐和自进化机制提升性能，并证明其优势及样本复杂度上界。
2024-04-05 cs.AI cs.LG
Learning by Playing - Solving Sparse Reward Tasks from Scratch
Google DeepMind（谷歌DeepMind）
我们提出了预定辅助控制（SAC-X），强化学习（RL）的背景下，一个新的学习范式。SAC-X能够在存在多个稀疏奖励信号的情况下从头开始学习复杂的行为。为此，智能体配备了一组通用辅助任务，它试图通过离线策略RL同时学习。我们的方法背后的关键思想是，主动（学习）调度和执行辅助策略允许代理有效地探索其环境-使其能够在稀疏奖励RL方面表现出色。我们在几个具有挑战性的机器人操作设置的实验证明了我们的方法的力量。
2018-02-28 cs.LG cs.RO stat.ML
Pre-trained Visual Representations Generalize Where it Matters in Model-Based Reinforcement Learning
Institute for Manufacturing, Department of Engineering, University of Cambridge（剑桥大学制造研究所、工程系）
研究发现在基于模型的强化学习中，预训练视觉模型在严重视觉域偏移下泛化能力优于从零训练的基线，部分微调效果最佳，证明了其在机器人学习中的鲁棒性价值。
2025-09-16 cs.AI cs.LG cs.RO
X-Reset: Scaling Object-Centric Reinforcement Learning via Cross-Embodiment Resets
Applied Intuition
X-Reset框架通过将人类手-物体演示运动学重定向为噪声机器人状态并采样为重置，解决以物体为中心的强化学习探索难题，在三个具身上对20个物体训练通用策略，并实现零样本迁移。
2026-09-29 cs.AI cs.LG cs.RO
Baconian: A Unified Open-source Framework for Model-Based Reinforcement Learning
School of Computer Science and Engineering, Nanyang Technological University（南洋理工大学计算机科学与工程学院）；School of Electrical and Electronic Engineering, Nanyang Technological University（南洋理工大学电子与电气工程学院）
基于模型的强化学习（MBRL）是强化学习（RL）算法中的一种，它通过对系统动态特性进行建模和逼近，提高了采样效率。它已被广泛应用于机器人技术，自动驾驶等研究，尽管它的普及，仍然缺乏一些复杂的和可重用的开源框架，以促进MBRL的研究和实验。为了填补这一空白，我们开发了一个灵活的和模块化的框架，Baconian，它允许研究人员通过自定义或构建我们提供的模块和算法来轻松实现MBRL测试平台。我们的框架可以使用户从零开始重新实现流行的MBRL算法，从而大大节省了用户的MBRL实验的努力。
2021-03-16 cs.AI cs.LG stat.ML
Controlling an Autonomous Vehicle with Deep Reinforcement Learning
University of Bremen（不来梅大学）
提出了一种基于深度强化学习的自主车辆控制方法。一个神经网络代理被训练来映射其估计的状态，以加速和转向命令给定的目标，达到一个特定的目标状态，同时考虑检测到的障碍。使用最先进的近端策略优化结合模拟环境来执行学习。从头开始的训练需要五到九个小时。由此产生的代理在模拟和随后应用到控制一个全尺寸的研究车辆进行评估。为此，考虑了停车场的自主探索，包括转弯机动和避障。总而言之，这项工作是第一个成功将深度强化学习应用于真实车辆的例子。
2020-03-13 cs.AI cs.LG cs.RO
Explainable AI: Deep Reinforcement Learning Agents for Residential Demand Side Cost Savings in Smart Grids
IIT Bombay（印度理工学院孟买分校）
受深度强化学习（RL）最新进展的启发，我们开发了一个RL代理来管理家庭中存储设备的操作，旨在最大限度地节省需求方的成本。所提出的技术是数据驱动的，RL代理从头开始学习如何有效地使用给定可变费率结构的储能设备。在大多数研究中，RL agent被认为是一个黑盒子，agent是如何学习的往往被忽略。我们解释了RL代理的学习过程，以及它根据存储设备的容量所遵循的策略。
2019-10-30 cs.AI cs.GT cs.LG
A Comparative Evaluation of Teacher-Guided Reinforcement Learning Techniques for Autonomous Cyber Operations
Royal Military College of Canada Electrical（加拿大皇家军事学院电气工程系）；Royal Military College of Canada Department of Mathematics（加拿大皇家军事学院数学系）
针对自主网络作战（ACO）中智能体从零学习导致收敛慢、早期性能差的问题，本研究在CybORG环境中实现四种教师引导强化学习技术并比较，发现教师集成可显著提升训练效率，为ACO提供优化方向。
2025-08-20 cs.AI cs.LG
Hierarchical Reinforcement Learning in Complex 3D Environments
DeepMind（深度思维）
分层强化学习（HRL）代理有潜力展示吸引人的能力，如规划和探索与抽象，转移和技能重用。最近的成功与HRL在不同领域提供的证据表明，实际的，有效的HRL代理是可能的，即使现有的代理尚未完全实现HRL的潜力。尽管取得了这些成功，但视觉上复杂的部分可观察的3D环境仍然是HRL代理的挑战。我们使用分层混合离线-在线（H2 O2）来解决这个问题，这是一种分层深度强化学习代理，可以使用自己的经验从头开始发现和学习使用选项。我们发现，在DeepMind Hard Eight任务中，H2 O2与强大的非层次Muesli基线具有竞争力，我们为复杂环境中学习层次代理的问题提供了新的见解。我们的H2 O2的实证研究揭示了以前未被注意的实际挑战，并带来了新的视角，目前的理解层次代理在复杂的领域。
2023-02-28 cs.AI cs.LG
Meta Reinforcement Learning with Successor Feature Based Context
University of Science and Technology of China（中国科学技术大学）
大多数强化学习（RL）方法只关注从零开始学习单个任务，而不能使用先验知识更有效地学习其他任务。最近提出了基于上下文的Meta RL技术作为解决这个问题的可能解决方案。然而，它们通常比传统的RL效率低，并且在训练过程中可能需要多次试错。为了解决这个问题，我们提出了一种新的元RL方法，与现有的元RL算法相比，该方法具有竞争力的性能，同时需要显着减少环境交互。通过将上下文变量与后继特征框架中分解奖励的思想相结合，我们的方法不仅可以同时为多个任务学习高质量的策略，而且可以通过少量的训练快速适应新任务。与最先进的元强化学习基线相比，我们在几个连续控制任务上实证显示了我们的方法的有效性和数据效率。
2022-07-29 cs.AI cs.LG
On the Feasibility of Cross-Task Transfer with Model-Based Reinforcement Learning
University of California, San Diego（加州大学圣地亚哥分校）
针对强化学习样本效率低、从零学世界模型难的问题，提出支持世界模型预训练与微调的跨任务迁移框架XTRA，相较基线显著提升EfficientZero的性能。
2023-06-15 cs.CV cs.LG cs.RO
Traffic expertise meets residual RL: Knowledge-informed model-based residual reinforcement learning for CAV trajectory control
Department of Civil and Environmental Engineering, University of Wisconsin-Madison, Madison, WI, 53706, USA（土木与环境工程系，威斯尼大学麦迪逊分校）
本文提出基于知识的模型驱动残差强化学习框架，用于智能交通车辆轨迹控制，结合交通专家知识与传统控制方法，提升学习效率与交通流平滑度。
2025-02-03 cs.AI cs.LG
Automated Theorem Proving in Intuitionistic Propositional Logic by Deep Reinforcement Learning
Preferred Networks, Inc.（首选网络公司）
自动定理证明（ATP）中的问题求解可以被解释为证明者逐步构造证明树的搜索问题。本文提出了一种用于直觉命题逻辑中证明搜索的深度强化学习算法。将深度学习应用于ATP的最大挑战是缺乏大型公共定理数据库。然而，我们通过在强化学习的每次迭代中应用新的数据增强过程来克服这个问题。我们还提高了算法的效率，通过一种新的紧凑图表示公式的语法结构。使用大量的扩充数据，我们训练高度精确的图神经网络，其近似公式的语法结构的集合的价值函数。我们的方法在计算时间方面也具有成本效益。我们将展示我们的证明器优于Coq的$\texttt{tauto}$策略，这是一种基于人类工程学的证明器。在指定的时间限制内，我们的证明器解决了基准库中84%的定理，而$\texttt{tauto}$只能解决52%。
2018-11-02 cs.AI cs.LG cs.LO
ACCNet: Actor-Coordinator-Critic Net for "Learning-to-Communicate" with Deep Multi-agent Reinforcement Learning
Peking University（北京大学）；Huawei Technologies Co., Ltd.（华为技术有限公司）
沟通是大型多智能体世界保持组织性和生产力的关键因素。以往的多智能体“学习通信”研究大多试图对通信协议进行改进，或者采用表格式强化学习、进化算法等技术，但这些技术不能推广到变化的环境或大规模的智能体集合中。在本文中，我们提出了一个演员协调员批评网络（ACCNet）框架解决“学习沟通”的问题。ACCNet自然地将强大的演员-评论家强化学习技术与深度学习技术相结合。它可以有效地学习通信协议，即使从零开始，在部分可观察的环境。我们证明了ACCNet可以实现更好的结果比几个基线下连续和离散的动作空间环境。我们还分析了学习的协议，并讨论了一些设计考虑。
2017-10-29 cs.AI cs.LG
Causal Reinforcement Learning: A Survey
Australian Artificial Intelligence Institute, University of Technology Sydney（悉尼科技大学澳大利亚人工智能研究所）
本文综述了因果强化学习领域，探讨如何将因果关系纳入学习过程以解决传统强化学习在泛化、可解释性和试错效率上的核心挑战，并系统分类现有方法及未来方向。
2023-11-21 cs.AI cs.LG
Reinforcement Learning with Evolutionary Trajectory Generator: A General Approach for Quadrupedal Locomotion
Chinese University of Hong Kong（香港中文大学）；Baidu Inc.（百度公司）；Southern University of Science and Technology（南方科技大学）；Shenzhen Research Institute of the Chinese University of Hong Kong（香港中文大学深圳研究院）
近年来，强化学习（RL）作为一种新的四足机器人运动控制方法，可以节省传统方法中的人工劳动，如设计特定技能的控制器。然而，由于四足机器人中复杂的非线性动力学和奖励稀疏性，RL仍然很难从头开始学习有效的步态，特别是在具有挑战性的任务中，例如在平衡木上行走。为了减轻这种困难，我们提出了一种新的基于RL的方法，其中包含一个进化的脚轨迹发生器。与使用固定轨迹生成器的现有方法不同，该生成器不断优化给定任务的输出轨迹的形状，提供多样化的运动先验来指导策略学习。该策略采用强化学习进行训练，输出适合不同步态的残差控制信号。然后交替优化轨迹生成器和策略网络，以稳定训练并共享探索性数据，以提高样本效率。因此，我们的方法可以通过从头开始学习来解决模拟中的一系列具有挑战性的任务，包括在平衡木上行走和在洞穴中爬行。为了进一步验证我们的方法的有效性，我们部署在12自由度的四足机器人的模拟学习的控制器，它可以成功地穿越具有挑战性的场景与有效的步态。
2021-09-16 cs.AI cs.RO
MAgent: A Many-Agent Reinforcement Learning Platform for Artificial Collective Intelligence
Shanghai Jiao Tong University（上海交通大学）；University College London（伦敦大学学院）
我们介绍了MAgent，一个支持多智能体强化学习研究和开发的平台。与以前的单智能体或多智能体强化学习研究平台不同，MAgent专注于支持需要数百万智能体的任务和应用。在一群智能体之间的交互中，它不仅可以研究智能体最优策略的学习算法，而且更重要的是，可以观察和理解人工智能社会中出现的个体智能体的行为和社会现象，包括通信语言，领导力，利他主义。MAgent具有高度可扩展性，可以在单个GPU服务器上托管多达100万个代理。MAgent还为AI研究人员提供灵活的配置，以设计他们的定制环境和代理。在这个演示中，我们展示了在MAgent上设计的三个环境，并展示了通过从头开始学习而形成的集体智慧。
2017-12-02 cs.AI cs.LG cs.MA
Adaptive Warm-Start MCTS in AlphaZero-like Deep Reinforcement Learning
Leiden Institute of Advanced Computer Science, Leiden University（莱顿大学高级计算机科学研究所）
AlphaZero在深度强化学习方面取得了令人印象深刻的表现，它利用了一种架构，将搜索和神经网络的训练结合在一起。许多研究人员正在寻找方法来复制和改善其他游戏/任务的结果。然而，该架构旨在从头开始学习，白板，接受自我游戏中的冷启动问题。最近，提出了一种用于蒙特卡罗树搜索的热启动增强方法，以改善自启动阶段。它采用一个固定的参数$I^\prime$来控制热启动长度。据报道，在小型棋盘游戏中的表现有所改善。在本文中，我们提出的结果与自适应开关方法。实验表明，我们的方法比固定的$I^\prime$，特别是“深”，战术，游戏（奥赛罗和连接四）。我们推测$I^\prime$的自适应值也受游戏大小的影响，并且平均而言，$I^\prime$将随着游戏大小而增加。我们得出结论，AlphaZero式深度强化学习受益于基于自适应推出的热启动，就像15年前快速行动价值估计对基于推出的强化学习所做的那样。
2021-05-13 cs.AI cs.LG
Dynamic Sparse Training for Deep Reinforcement Learning
Eindhoven University of Technology（埃因霍温理工大学）；University of Twente（特文特大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Sony AI（索尼人工智能研究院）
深度强化学习（DRL）代理通过与环境的试错交互来训练。这导致密集的神经网络需要很长的训练时间才能达到良好的性能。因此，消耗了禁止的计算和存储器资源。近年来，学习高效的DRL代理受到越来越多的关注。然而，目前的方法集中在加速推理时间。在本文中，我们首次引入了一种用于深度强化学习的动态稀疏训练方法，以加速训练过程。所提出的方法从头开始训练稀疏神经网络，并在训练过程中动态地调整其拓扑结构以适应不断变化的数据分布。对连续控制任务的实验表明，我们的动态稀疏代理比同等的密集方法实现了更高的性能，将参数计数和浮点运算（FLOPs）减少了50%，并且具有更快的学习速度，能够在训练步骤减少40-50%的情况下达到密集代理的性能。
2022-05-05 cs.AI cs.LG
Solving Sokoban using Hierarchical Reinforcement Learning with Landmarks
本文提出一种基于学习子目标的六层分层强化学习框架，在推箱子任务中实现端到端的深层递归规划，证明深层目标分解可从学习中涌现并有效扩展到困难谜题领域。
2025-04-06 cs.AI
HOList: An Environment for Machine Learning of Higher-Order Theorem Proving
Google Research（谷歌研究院）
我们提出了一个环境，基准测试，和深度学习驱动的自动定理证明高阶逻辑。高阶交互式定理证明器使任意数学理论的形式化成为可能，从而为深度学习提出了一个有趣的、开放式的挑战。我们提供了一个基于HOL Light定理证明器的开源框架，可用作强化学习环境。HOL Light广泛覆盖了微积分的基本数学定理和开普勒猜想的正式证明，从中我们获得了自动推理的挑战性基准。我们还提出了一个深度强化学习驱动的自动定理证明器DeepHOL，在这个基准测试中取得了很好的初步结果。
2019-11-01 cs.AI cs.LG cs.LO
Developmental Reinforcement Learning of Control Policy of a Quadcopter UAV with Thrust Vectoring Rotors
University of Cincinnati（辛辛那提大学）
在本文中，我们提出了一种新的发展强化学习为基础的控制器的四轴飞行器的推力矢量能力。这种多旋翼无人机设计具有倾斜使能旋翼。它利用旋翼力的大小和方向来实现飞行过程中所需的状态。该机器人的控制策略是使用来自四轴飞行器的学习控制器的策略传递来学习的（相对简单的无人机设计，没有推力矢量）。这种方法允许学习具有多个输入和多个输出的系统的控制策略。通过基于物理的仿真，评估了悬停和航路点导航任务的学习策略的性能。飞行模拟利用基于强化学习的飞行控制器，而没有任何附加的PID组件。结果表明，与从头开始学习控制策略相比，使用所提出的方法可以更快地学习这种新的UAV设计，该设计是通过对传统四轴飞行器进行修改而创建的，即，增加了更多的自由度（传统四轴飞行器中的4个致动器到倾转旋翼四轴飞行器中的8个致动器）。我们证明了我们的学习政策的鲁棒性，通过显示从各种非静态初始条件的模拟倾转旋翼平台的恢复，以达到所需的状态。倾转旋翼无人机的发展政策也显示出优越的容错时，从零开始学习的政策相比。结果表明，所提出的方法引导学习行为从一个简单的系统（低维动作空间）到一个更复杂的机器人（相对高维的动作空间），并达到更好的性能更快的能力。
2020-07-15 cs.AI cs.LG cs.RO
Lifelong Robotic Reinforcement Learning by Retaining Experiences
Stanford University（斯坦福大学）
多任务学习理想地允许机器人获得各种有用的技能。然而，许多多任务强化学习的努力都假设机器人可以随时从所有任务中收集数据。实际上，机器人学习的任务是顺序到达的，这取决于用户和机器人当前的环境。在这项工作中，我们研究了一个实际的顺序多任务RL问题，该问题的动机是物理机器人系统的实际约束，并推导出一种方法，有效地利用以前的任务学习的数据和政策，以累积增长机器人的技能。在一系列的模拟机器人操作实验中，我们的方法需要不到一半的样本比从头开始学习每个任务，同时避免不切实际的循环数据汇集。在Franka Panda机器人手臂上，我们的方法逐步学习十项具有挑战性的任务，包括瓶盖和块插入。
2022-04-06 cs.AI cs.LG cs.RO
Safe-RULE: Safe Reinforcement UnLEarning
University of Notre Dame（圣母大学）
针对离线安全强化学习易受数据投毒攻击的问题，提出Safe-RULE框架，通过反学习移除恶意样本影响，无需从头训练或访问原始环境，实验证明能有效提升安全性。
2026-06-08 cs.AI cs.CR cs.LG
Phasic Self-Imitative Reduction for Sparse-Reward Goal-Conditioned Reinforcement Learning
Tsinghua University（清华大学）；University of California, Berkeley（加州大学伯克利分校）；Stanford University（斯坦福大学）；Shanghai Qi Zhi Institute（上海期智研究院）
最近的趋势是利用监督学习（SL）的力量来实现更有效的强化学习（RL）方法。我们提出了一种新的阶段性方法，通过交替在线RL和离线SL来解决稀疏奖励目标条件问题。在在线阶段，我们执行RL训练并收集展示数据，而在离线阶段，我们对数据集中的成功轨迹执行SL。为了进一步提高样本效率，我们在在线阶段采用了额外的技术，包括任务简化以生成更多可行的轨迹和基于值差的内在奖励以缓解稀疏奖励问题。我们称之为Phasic self-Imitative Reduction（PAIR）。PAIR大大优于非相位RL和相位SL基线稀疏奖励目标条件的机器人控制问题，包括一个具有挑战性的堆叠任务。PAIR是第一个从头开始学习堆叠6个立方体的RL方法，只有0/1的成功奖励。
2022-06-24 cs.AI cs.LG
Affordance-based Reinforcement Learning for Urban Driving
Carnegie Mellon University（卡内基梅隆大学）
遵循模块化方法的传统自动驾驶汽车管道过去在学术界和工业界都非常成功，这导致了道路上的自动驾驶。虽然这种方法提供了方便的解释，其推广到看不见的环境是有限的，需要手工设计的许多参数，特别是在预测和规划系统。最近，深度强化学习已被证明可以学习复杂的战略游戏并执行具有挑战性的机器人任务，这为学习驾驶提供了一个有吸引力的框架。在这项工作中，我们提出了一个深度强化学习框架，使用航点和低维视觉表示（也称为启示）来学习最优控制策略。我们证明，我们的代理从零开始训练时学习的任务车道跟踪，驾驶周围的交叉路口，以及停止在前面的其他演员或交通灯，即使在密集的交通设置。我们注意到，我们的方法在CARLA模拟器上实现了与原始基准方法和NoCrash基准方法相当或更好的性能。
2021-01-15 cs.AI cs.LG cs.RO
Knowledge Transfer in Deep Reinforcement Learning via an RL-Specific GAN-Based Correspondence Function
Institute of Information Theory and Automation, Czech Academy of Sciences（捷克科学院信息理论与自动化研究所）；Czech University of Life Sciences（捷克生命科学大学）
本文提出一种针对强化学习改进的循环生成对抗网络，通过模型损失和Q损失实现任务间知识迁移，在Pong游戏上达到100%迁移或减少30%训练时间，优于标准GAN方法。
2024-11-11 cs.AI cs.LG
Learning to Play Soccer From Scratch: Sample-Efficient Emergent Coordination through Curriculum-Learning and Competition
Universidad de Chile（智利大学）；Advanced Mining Technology Center (AMTC)（高级采矿技术中心）
这项工作提出了一个计划，允许学习复杂的多智能体行为的样本有效的方式，适用于2v2足球。该问题被公式化为马尔可夫博弈，并使用深度强化学习来解决。我们提出了一个基本的多智能体扩展TD3学习每个球员的政策，在一个分散的方式。为了方便学习，2v2足球的任务分为三个阶段：1v0，1v1和2v2。多智能体阶段（1v1和2v2）的学习过程使用在前一阶段训练的智能体作为固定对手。此外，我们建议使用经验共享，这是一种共享在前一阶段训练的固定对手的经验的方法，用于训练当前学习的代理，以及一种跳帧形式，以显着提高性能。我们的研究结果表明，高质量的足球比赛，可以获得我们的方法在不到40M的互动。在https://youtu.be/f25l1j1U9RM中可以找到游戏结果的视频摘要。
2021-03-09 cs.LG cs.MA
Transferable Multi-Agent Reinforcement Learning with Dynamic Participating Agents
Steven Institute of Technology（史蒂文斯理工学院）；Xiaohongshu Inc（小红书公司）
我们研究了具有集中训练和分散执行的多智能体强化学习（MARL）。在训练期间，新的代理可以加入，并且现有代理可以意外地离开训练。在这种情况下，标准的深度MARL模型必须从头开始重新训练，这非常耗时。为了解决这个问题，我们提出了一个特殊的网络架构与少样本学习算法，允许代理的数量在集中训练过程中变化。特别是，当一个新的代理加入集中训练，我们的少样本学习算法训练其策略网络和价值网络使用少量的样本;当一个代理离开训练，其余的代理的训练过程不受影响。我们的实验表明，使用所提出的网络架构和算法，当新代理加入时，模型自适应可以比基线快100倍以上。我们的工作适用于任何环境，包括合作，竞争和混合。
2022-08-04 cs.AI cs.LG cs.MA
Learning to Dispatch for Job Shop Scheduling via Deep Reinforcement Learning
Nanyang Technological University（南洋理工大学）；Institute of Marine Science and Technology, Shandong University（山东大学海洋科学与技术研究院）；National University of Singapore（新加坡国立大学）；Singapore Institute of Manufacturing Technology, A*STAR（新加坡科技研究局制造技术研究院）
优先级调度规则（PDR）被广泛应用于解决实际车间调度问题（JSSP）。然而，设计有效的项目执行报告是一项繁琐的任务，需要大量的专业知识，而且往往只能提供有限的绩效。在本文中，我们提出通过端到端深度强化学习代理自动学习PDR。我们利用JSSP的析取图表示，并提出了一个基于图神经网络的方案来嵌入在求解过程中遇到的状态。由此产生的策略网络是大小不可知的，有效地实现了对大规模实例的泛化。实验表明，该代理可以从头开始学习高质量的PDR与基本的原始特征，并表现出强大的性能对现有的最好的PDR。学习的策略在训练中看不到的更大的实例上也表现良好。
2020-10-23 cs.AI cs.LG stat.ML
RealAnt: An Open-Source Low-Cost Quadruped for Education and Research in Real-World Reinforcement Learning
Aalto University（阿尔托大学）；Ote Robotics Ltd（奥特机器人有限公司）
目前可用于研究的机器人平台要么非常昂贵，要么无法处理强化学习中探索性控制的滥用。我们开发了RealAnt，这是强化学习中使用的流行“Ant”基准的最小低成本物理版本。RealAnt的材料成本仅为$\sim$ 350欧元（约合410美元），组装时间不到一小时。我们用强化学习实验验证了该平台，并在一组基准任务上提供了基线结果。我们证明了RealAnt机器人可以从不到10分钟的经验中从头开始学习走路。我们还在MuJoCo和PyBullet模拟器中提供了机器人的模拟器版本（具有相同的尺寸，状态-动作空间和延迟噪声观测）。我们开源硬件设计，支持软件和基线结果用于教育用途和可重复研究。
2022-06-04 cs.AI cs.RO
Learning to Optimize for Reinforcement Learning
University of Alberta（阿尔伯塔大学）；Sea AI Lab（Sea AI实验室）；Skywork AI（天工AI）；Tencent AI Lab（腾讯AI实验室）
针对学习型优化器在强化学习中表现不佳的问题，分析了梯度非独立同分布和高方差等难点，提出流水线训练与新型优化器结构，使其能从零学习并泛化至复杂任务。
2024-06-04 cs.AI cs.LG
DiffFP: Learning Behaviors from Scratch via Diffusion-based Fictitious Play
Department of Electrical and Computer Engineering, University of Waterloo（滑铁卢大学电气与计算机工程系）
针对连续决策空间自博弈强化学习收敛慢、易被未知对手利用的问题，提出基于扩散策略的虚拟博弈框架DiffFP，可更快收敛到ε-纳什均衡，策略鲁棒性与表现显著优于基准方法。
2025-11-17 cs.LG cs.SY eess.SY
Teaching RL Agents to Act Better: VLM as Action Advisor for Online Reinforcement Learning
Wuhan University（武汉大学）
本文提出VARL框架，利用视觉-语言模型为在线强化学习智能体提供行动建议，在保证最优性和收敛性的同时提升样本效率，尤其在稀疏奖励任务中表现显著，且计算开销低。
2025-09-25 cs.AI cs.LG
Learning to Play Table Tennis From Scratch using Muscular Robots
MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；Technische Universität Darmstadt（达姆施塔特工业大学）；Facebook AI Research（脸书人工智能研究院）
像乒乓球这样的动态任务对人类来说相对容易学习，但对机器人来说却构成了重大挑战。这样的任务需要在存在飞行球和机器人的不精确状态估计的情况下对快速运动和精确定时进行精确控制。强化学习（RL）在从数据中学习复杂控制任务方面显示出了希望。然而，将基于步骤的强化学习应用于实际系统上的动态任务是安全关键的，因为强化学习需要在高速状态下安全地探索和失败数百万个时间步。在本文中，我们证明了使用无模型强化学习乒乓球的安全学习可以通过使用气动人工肌肉（PAM）驱动的机器人手臂来实现。PAM的柔软性和反向驱动特性防止系统离开其状态空间的安全区域。以这种方式，RL使机器人能够将平均具有5 m \s和12 m \s的真实球返回并粉碎到期望的着陆点。我们的设置允许代理学习这个安全关键任务（i）在算法中没有安全约束，（ii）同时直接在奖励函数中最大化返回球的速度（iii）使用直接作用于真实系统的低级控制的随机策略，以及（iv）在没有任何先验知识的情况下从头开始训练数千次试验（v）。此外，我们提出了HYSR，一个实用的混合模拟和真实的训练，避免在训练过程中播放真实的球随机重放记录的球轨迹模拟和应用行动的真实机器人。这项工作是第一个（a）故障安全学习的安全关键的动态任务，使用拟人机器人手臂，（b）学习精度要求的问题与PAM驱动的系统，尽管控制的挑战和（c）训练机器人打乒乓球没有真正的球。视频和数据集可在muscul…
2020-06-10 cs.LG cs.RO
Meta-Inverse Reinforcement Learning with Probabilistic Context Variables
Stanford University（斯坦福大学）
为强化学习提供合适的奖励函数在许多现实世界的应用中可能是困难的。虽然逆强化学习（IRL）有望从演示中自动学习奖励函数，但仍然存在几个主要挑战。首先，现有的IRL方法从头开始学习奖励函数，需要大量的演示来正确地推断代理可能需要执行的每个任务的奖励。其次，现有的方法通常假设单一行为或任务的同质演示，而在实践中，收集异构但相关行为的数据集可能更容易。为此，我们提出了一个深度潜变量模型，该模型能够以无监督的方式从不同但相关的任务中学习奖励。重要的是，我们的模型可以从一个演示中推断出新的、结构相似的任务的奖励。多个连续控制任务的实验表明，我们的方法相比，国家的最先进的模仿和逆强化学习方法的有效性。
2019-10-26 cs.LG stat.ML
Unsupervised Meta-Learning for Reinforcement Learning
UC Berkeley（加州大学伯克利分校）；Carnegie Mellon University（卡内基梅隆大学）；Stanford University（斯坦福大学）
元学习算法使用过去的经验来学习快速解决新任务。在强化学习的背景下，元学习算法通过利用来自先前任务的经验来获得强化学习过程以更有效地解决新问题。元学习算法的性能取决于可用于元训练的任务：以同样的方式，监督学习最好地推广到与训练点相同分布的测试点，元学习方法最好地推广到与元训练任务相同分布的任务。实际上，Meta强化学习将设计负担从算法设计转移到任务设计上。如果我们也能自动化任务设计的过程，我们就能设计出真正自动化的元学习算法。在这项工作中，我们在这个方向上迈出了一步，提出了一个家庭的无监督元学习算法的强化学习。我们激励和描述了无监督Meta强化学习的一般配方，并提出了这种方法的实例。我们的概念和理论贡献包括制定无监督的Meta强化学习问题，并描述如何基于互信息的任务建议可以用来训练最佳元学习者。我们的实验结果表明，无监督Meta强化学习有效地获得加速强化学习过程，而不需要手动任务设计，这些过程超过从头开始学习的性能。
2020-04-30 cs.AI cs.LG stat.ML
Reinforcement Learning to Solve NP-hard Problems: an Application to the CVRP
Imperial College London（帝国理工学院）
在本文中，我们评估使用强化学习（RL）解决一个经典的组合优化问题：有能力的车辆路径问题（CVRP）。我们正式这个问题的RL框架和比较两个最有前途的RL方法与传统的解决技术的一组基准实例。我们用返回的解决方案的质量和返回它所需的时间来衡量不同的方法。我们发现，尽管没有返回最佳解决方案，RL方法比传统的求解器有许多优势。首先，框架的多功能性允许更复杂的组合问题的决议。此外，RL算法不是试图解决问题的特定实例，而是学习解决问题所需的技能。然后，经过训练的策略可以准即时地为看不见的问题提供解决方案，而无需从头开始解决它。最后，训练模型的使用使得RL求解器到目前为止是最快的，因此使这种方法更适合商业用途，其中用户体验是最重要的。知识转移等技术也可以用来提高算法的训练效率，帮助解决更大、更复杂的问题。
2022-01-14 cs.AI cs.LG
Fractional Transfer Learning for Deep Model-Based Reinforcement Learning
University of Groningen（格罗宁根大学）
众所周知，强化学习（RL）需要大量的数据，以便RL代理学习执行复杂的任务。基于模型的强化学习的最新进展使智能体能够更有效地利用数据，因为它使智能体能够通过利用环境的内部世界模型来学习视觉环境的行为。提高样本效率也可以通过重用以前学习的任务中的知识来实现，但迁移学习仍然是RL中具有挑战性的主题。基于参数的迁移学习通常使用全有或全无的方法来完成，其中网络的参数被完全转移或随机初始化。在这项工作中，我们提出了一个简单的替代方法：分数迁移学习。这个想法是转移知识的一部分，而不是像随机初始化那样丢弃潜在有用的知识。使用基于世界模型的Dreamer算法，我们确定这种方法适用于哪种类型的组件，并在新的多源迁移学习设置中进行实验。结果表明，分数迁移学习往往导致大幅提高性能和更快的学习相比，从头开始和随机初始化学习。
2021-08-14 cs.AI cs.LG
Reinforcement Learning with Videos: Combining Offline Observations with Interaction
University of Pennsylvania（宾夕法尼亚大学）；University of California Berkeley（加州大学伯克利分校）；Stanford University（斯坦福大学）
强化学习是机器人从经验中获取技能的强大框架，但通常需要大量的在线数据汇集。因此，很难收集机器人广泛推广所需的足够多样化的经验。另一方面，人类的视频是广泛而有趣的经验的现成来源。在本文中，我们考虑这样一个问题：我们可以直接对人类收集的经验进行强化学习吗？这个问题是特别困难的，因为这样的视频没有用动作注释，并且相对于机器人的实施例表现出显著的视觉域偏移。为了应对这些挑战，我们提出了一个视频强化学习（RLV）的框架。RLV使用人类收集的经验结合机器人收集的数据来学习策略和价值函数。在我们的实验中，我们发现RLV能够利用这些视频来学习具有挑战性的基于视觉的技能，其样本数量不到从头开始学习的RL方法的一半。
2021-11-04 cs.AI cs.CV cs.LG
Lifelong Reinforcement Learning with Temporal Logic Formulas and Reward Machines
Sun Yat-sen University（中山大学）
使用高级思想或知识不断学习新任务是人类的关键能力。在本文中，我们提出了终身强化学习与顺序线性时序逻辑公式和奖励机（LSRM），它使代理能够利用以前学到的知识，加快学习逻辑指定的任务。为了更灵活地描述任务，我们首先介绍了顺序线性时态逻辑（SLTL），它是对现有线性时态逻辑（LTL）形式语言的补充。然后，我们利用奖励机（RM）利用结构奖励功能的任务编码的高级别事件，并提出自动扩展RM和有效的知识转移任务的持续学习的生活。实验结果表明，LSRM学习方法在终身学习过程中，利用SLTL的任务分解和RM上的知识转移，优于从头开始学习目标任务的方法。
2021-11-18 cs.AI
Learning Reusable Options for Multi-Task Reinforcement Learning
Amazon Alexa（亚马逊Alexa）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
近年来，强化学习（RL）已成为一个日益活跃的研究领域。虽然有许多算法可以让智能体有效地解决任务，但它们通常忽略了与手头任务相关的先前经验可能可用的可能性。对于许多实际应用，代理从头开始学习如何解决任务可能是不可行的，因为它通常是一个计算昂贵的过程;然而，可以利用以前的经验使这些问题在实践中易于处理。在本文中，我们提出了一个框架，利用现有的经验，通过学习可重用的选项。我们表明，在智能体学习解决少量问题的策略后，我们能够使用从这些策略生成的轨迹来学习可重用的选项，使智能体能够快速学习如何解决新的和相关的问题。
2020-01-06 cs.AI
Tool Zero: Training Tool-Augmented LLMs via Pure RL from Scratch
Harbin Institute of Technology SCIR Lab（哈尔滨工业大学SCIR实验室）；Huawei Technologies Co., Ltd（华为技术有限公司）；Shanghai Jiao Tong University（上海交通大学）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）
本文提出Tool-Zero系列模型，通过动态泛化引导奖励设计和纯强化学习从基础模型直接训练工具增强大语言模型，在相同设置下性能提升超过7%，验证了纯强化学习激发工具无关泛化能力的有效性。
2025-11-10 cs.AI cs.LG
Self-organization of action hierarchy and compositionality by reinforcement learning with recurrent neural networks
Okinawa Institute of Science and Technology（冲绳科学技术大学院大学）
用于强化学习（RL）的循环神经网络（RNN）已经显示出明显的优势，例如，解决依赖记忆的任务和元学习。然而，在改进RNN架构和理解性能增益的底层神经机制方面几乎没有付出任何努力。在本文中，我们提出了一种新的，多时间尺度，随机RNN的RL。实验结果表明，该网络可以自主学习抽象的子目标，并可以自我发展的行动层次结构，在一个具有挑战性的连续控制任务使用内部动力学。此外，我们还表明，与从头开始相比，网络的自我开发组合性在适应新任务（重新组合之前学习的子目标）时可以更快地重新学习。我们还发现，当神经活动受到随机而不是确定性的动态时，可以实现更好的性能。
2019-11-26 cs.LG stat.ML
