RAPID: Robust and Agile Planner Using Inverse Reinforcement Learning for Vision-Based Drone Navigation
本文提出基于逆强化学习的无人机高速视觉导航规划器，通过减少环境交互和提升鲁棒性，实现复杂环境中的敏捷飞行。
2025-11-19 cs.AI cs.CV cs.LG
Provably Efficient and Agile Randomized Q-Learning
Carnegie Mellon University（卡内基梅隆大学）；Yale University（耶鲁大学）
本文提出了一种结合基于采样的探索和敏捷策略更新的随机Q学习算法，实现了可证明的高效和敏捷的回合制表格强化学习性能。
2026-02-04 cs.LG
PARC: Physics-based Augmentation with Reinforcement Learning for Character Controllers
Simon Fraser University（西蒙 Fraser大学）；NVIDIA（英伟达）
PARC通过机器学习与物理模拟迭代扩充运动数据并训练跟踪控制器，解决敏捷地形穿越动作数据稀缺问题，生成更敏捷、多功能的角色控制器。
2025-05-06 cs.AI cs.GR cs.LG
Superhuman Safe and Agile Racing through Multi-Agent Reinforcement Learning
Robotics and Perception Group, University of Zurich（苏黎世大学机器人与感知组）；Google DeepMind（谷歌DeepMind）；Nomagic
本文提出通过多智能体强化学习在高速四旋翼赛车中实现安全且敏捷的性能，展示了多智能体交互对真实世界交互安全性的关键作用，同时在高速赛车中超越人类飞行员并减少碰撞率。
2026-06-19 cs.AI cs.LG cs.MA
Learning agile and dynamic motor skills for legged robots
ETH Zurich（苏黎世联邦理工学院）；Intel（英特尔）
足式机器人是机器人技术中最大的挑战之一。动物的动态和敏捷的动作不能被人类制作的现有方法模仿。另一个引人注目的替代方案是强化学习，它需要最少的工艺，并促进控制策略的自然演变。然而，到目前为止，针对足式机器人的强化学习研究主要局限于仿真，只有很少且非常简单的例子被部署在真实系统上。主要原因是，使用真实机器人进行训练，特别是使用动态平衡系统进行训练，既复杂又昂贵。在目前的工作中，我们介绍了一种方法，用于训练神经网络政策模拟和转移到一个国家的最先进的腿系统，从而利用快速，自动化，具有成本效益的数据生成方案。该方法适用于ANYmal机器人，一个复杂的中型狗大小的四足系统。使用在模拟中训练的策略，四足机器实现了超越先前方法的运动技能：ANYmal能够精确和节能地遵循高水平的身体速度命令，比以前跑得更快，甚至在复杂的配置中从跌倒中恢复。
2019-01-24 cs.LG cs.RO stat.ML
Learning Agile Soccer Skills for a Bipedal Robot with Deep Reinforcement Learning
Google DeepMind（谷歌DeepMind）；University of Oxford（牛津大学）；Google（谷歌公司）；Isomorphic Labs（同构实验室）；University College London（伦敦大学学院）
本研究利用深度强化学习训练20关节双足人形机器人掌握1v1足球的多种敏捷运动与战术技能，通过仿真训练零样本迁移至真实机器人，性能显著优于脚本基线。
2024-04-11 cs.AI cs.LG cs.RO
Learning Agile Robotic Locomotion Skills by Imitating Animals
Google Research（谷歌研究院）；University of California, Berkeley（加利福尼亚大学伯克利分校）
复制动物多样而敏捷的运动技能一直是机器人技术的一个长期挑战。虽然手动设计的控制器已经能够模拟许多复杂的行为，但构建这样的控制器涉及耗时且困难的开发过程，通常需要对每个技能的细微差别进行大量的专业知识。强化学习为自动化控制器开发中涉及的手动工作提供了一种有吸引力的替代方案。然而，设计从代理中引出所需行为的学习目标也需要大量的技能特定的专业知识。在这项工作中，我们提出了一个模仿学习系统，使足式机器人学习敏捷的运动技能，模仿现实世界的动物。我们表明，通过利用参考运动数据，一个单一的学习为基础的方法是能够自动合成控制器的足式机器人的各种剧目的行为。通过将样本有效的领域自适应技术纳入到训练过程中，我们的系统能够在模拟中学习自适应策略，然后可以快速适应现实世界的部署。为了证明我们的系统的有效性，我们训练一个18自由度的四足机器人执行各种敏捷的行为，从不同的运动步态动态跳跃和转弯。
2020-07-21 cs.LG cs.RO
Learning Agile Skills via Adversarial Imitation of Rough Partial Demonstrations
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；ETH Zurich（苏黎世联邦理工学院）
学习敏捷技能是机器人技术的主要挑战之一。为此，强化学习方法已经取得了令人印象深刻的结果。这些方法需要明确的任务信息的奖励函数或专家，可以在模拟中查询，以提供一个目标控制输出，这限制了它们的适用性。在这项工作中，我们提出了一种生成对抗方法，用于从部分和潜在的物理不兼容的演示中推断奖励函数，以获得成功的技能，其中参考或专家演示不容易获得。此外，我们表明，通过使用Wasserstein GAN制定和过渡的示范与粗糙和部分信息作为输入，我们能够提取的政策，是强大的，能够模仿演示的行为。最后，所获得的技能，如后空翻进行了测试，一个敏捷的四足机器人称为独奏8和目前的忠实复制的手持人类示范。
2022-11-21 cs.AI cs.LG cs.RO
MAGNet: Multi-agent Graph Network for Deep Multi-agent Reinforcement Learning
JetBrains Research（JetBrains研究院）；National Research University Higher School of Economics（国立研究型大学高等经济学院）；L3S Research Center（L3S研究中心）；Leibniz University Hannover（汉诺威莱布尼茨大学）
近年来，深度强化学习在复杂的单智能体任务中取得了巨大的成功，最近这种方法也被应用于多智能体领域。在本文中，我们提出了一种新的方法，称为磁网，多智能体强化学习，利用相关图表示的环境中获得的自我注意机制，和消息生成技术。我们将我们的MAGnet方法应用于合成的捕食者-猎物多智能体环境和Pommerman游戏，结果表明它显着优于最先进的MARL解决方案，包括多智能体深度Q网络（MADQN），多智能体深度确定性策略梯度（MADDPG）和QMIX
2020-12-17 cs.LG
Reaching the Limit in Autonomous Racing: Optimal Control versus Reinforcement Learning
UZH（苏黎世大学）；Intel（英特尔）；Intel Labs（英特尔实验室）
本文以自主无人机竞速为场景，对比发现强化学习因直接优化任务级目标并利用域随机化，在控制性能上优于依赖轨迹规划分解的最优控制，实现了超12倍重力加速度和超人类水平的敏捷飞行。
2023-10-18 cs.LG cs.RO
Deep Reinforcement Learning with Surrogate Agent-Environment Interface
Wayne State University（韦恩州立大学）
本文提出了一种强化学习中的代理-环境接口（SAEI）。我们还指出，基于概率代理Agent-环境接口的学习提供了任务Agent-环境接口的最优策略。引入代理概率行为，提出了基于SAEI的概率代理行为确定性策略梯度（PSADPG）算法。该算法实现了对离散动作的连续控制。实验表明，PSADPG在初始训练阶段具有随机最优策略的性质，在某些任务上达到了DQN的性能。
2017-11-10 cs.LG
Celebrating Diversity in Shared Multi-Agent Reinforcement Learning
Tsinghua University（清华大学）
最近，深度多智能体强化学习（MARL）已经显示出解决复杂协作任务的前景。它的成功部分是因为代理之间的参数共享。然而，这种共享可能会导致代理人的行为相似，并限制他们的协调能力。在本文中，我们的目标是在共享多智能体强化学习的优化和表示中引入多样性。具体来说，我们提出了一个信息理论正则化，以最大限度地提高代理的身份和他们的轨迹之间的互信息，鼓励广泛的探索和多样化的个性化行为。在表示中，我们将代理特定的模块中的共享神经网络架构，这是正规化的L1范数，以促进学习共享的代理，同时保持必要的多样性。实证结果表明，我们的方法在Google Research Football和超级硬的星际争霸II微观管理任务上实现了最先进的性能。
2021-11-01 cs.LG
Deception in Social Learning: A Multi-Agent Reinforcement Learning Perspective
University of Edinburgh（爱丁堡大学）
在多智能体强化学习的框架内，社会学习是一类新的算法，它使智能体能够重塑其他智能体的奖励函数，以促进合作并在混合动机游戏中获得更高的全局奖励。然而，这种新的修改允许代理前所未有地访问彼此的学习过程，这可能会大大增加操纵的风险，当代理没有意识到它被欺骗采取实际上不符合自己最佳利益的政策时。本研究综述介绍了问题陈述，定义了关键概念，批判性地评估了现有的证据，并解决了在未来的研究中应该解决的开放问题。
2021-06-09 cs.LG
Learned Controllers for Agile Quadrotors in Pursuit-Evasion Games
Robotics, Perception and Learning Lab., School of Electrical Engineering and Computer Science, Royal Institute of Technology (KTH)（机器人感知与学习实验室，电气工程与计算机科学学院，皇家理工学院（KTH））
针对四旋翼追逃博弈中的非平稳性、灾难性遗忘和策略循环问题，提出异步多阶段种群训练与Hedge采样方法，通过策略空间响应或acles与PPO训练，实现新策略发现与旧策略保持，并验证了硬件上的零样本迁移。
2026-06-23 cs.LG cs.RO
PerchRL: Vision-Based Agile Perching on Inclined Platforms under Rapid and Irregular Motion
SUSTech（四川大学）；HITSZ（哈尔滨工业大学）；PCL（鹏城实验室）；Differential Robotics（差分机器人实验室）
提出PerchRL强化学习框架，通过两阶段学习策略（状态预训练+视觉微调）和混合学习框架（可见性感知状态增强+主动感知奖励），实现四旋翼在快速不规则运动倾斜平台上的自主视觉着陆。
2026-09-22 cs.LG cs.RO
Dyna-LfLH: Learning Agile Navigation in Dynamic Environments from Learned Hallucination
George Mason University（乔治·马歇尔大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Sony AI（索尼人工智能）
针对动态密集障碍物下导航的经典规划器算力受限、学习类规划器缺优质演示或探索低效问题，提出自监督方法Dyna-LfLH，基于LfH框架用学习到的潜在分布生成动态障碍物合成训练数据，在地面机器人仿真与真实实验中成功率最高比基线提升25%。
2025-09-01 cs.LG cs.RO
Generalized Animal Imitator: Agile Locomotion with Versatile Motion Prior
UC San Diego（加州大学圣地亚哥分校）；CMU（卡内基梅隆大学）；USC（南加州大学）
本文提出VIM强化学习框架，通过模仿动物与人工设计动作并结合功能性与风格化双重奖励，使腿足式机器人能用单一控制器同时学习多种敏捷运动技能并实现平滑过渡。
2025-05-04 cs.AI cs.LG cs.RO
SoloParkour: Constrained Reinforcement Learning for Visual Locomotion from Privileged Experience
LAAS-CNRS（法国国家科学研究中心自动化与系统分析实验室）；Université de Toulouse（图卢兹大学）；CNRS（法国国家科学研究中心）；New York University（纽约大学）；Artificial and Natural Intelligence Toulouse Institute（图卢兹人工与自然智能研究所）
提出SoloParkour方法，将机器人跑酷建模为约束强化学习问题，利用特权经验预热离策略算法，在Solo-12机器人上实现基于深度图像的敏捷安全四足运动。
2024-09-20 cs.CV cs.LG cs.RO
An energy-efficient learning solution for the Agile Earth Observation Satellite Scheduling Problem
University of Malaga（马拉加大学）
针对考虑成像质量因素的敏捷地球观测卫星调度问题，提出整合多质量因素的深度强化学习双重决策方法，在保持观测性能的同时大幅降低低质成像量与能量浪费。
2025-06-12 cs.AI cs.LG cs.RO
BeamDojo: Learning Agile Humanoid Locomotion on Sparse Footholds
Shanghai AI Laboratory（上海人工智能实验室）；Shanghai Jiao Tong University（上海交通大学）；Zhejiang University（浙江大学）；The University of Hong Kong（香港大学）；The Chinese University of Hong Kong（香港中文大学）
本文提出强化学习框架BeamDojo，通过基于采样的立足点奖励、双重评论家和两阶段训练策略，解决了人形机器人在稀疏立足点危险地形上敏捷移动的难题，并在仿真和现实实验中实现了高效学习与高抗干扰的精确足部放置。
2025-04-27 cs.AI cs.LG cs.RO
Agent-Time Attention for Sparse Rewards Multi-Agent Reinforcement Learning
Stanford University（斯坦福大学）；Microsoft（微软）
稀疏和延迟的奖励对单智能体强化学习提出了挑战。这种挑战在多智能体强化学习（MARL）中被放大，其中这些奖励的信用分配不仅需要跨时间发生，而且还需要跨智能体发生。我们提出了代理时间注意力（ATA），辅助损失的神经网络模型重新分配稀疏和延迟的奖励协作MARL。我们提供了一个简单的例子，演示了如何提供代理自己的本地重新分配的奖励和共享的全球重新分配的奖励激励不同的政策。我们扩展了几个MiniGrid环境，特别是MultiRoom和DoorKey，多代理稀疏延迟奖励设置。我们证明，ATA优于这些环境中的许多实例的各种基线。实验的源代码可在https://github.com/jshe/agent-time-attention获得。
2022-10-31 cs.LG cs.MA
Distributed Transmission Control for Wireless Networks using Multi-Agent Reinforcement Learning
Marconi-Rosenblatt AI/ML Innovation Lab（马可尼-罗森布拉特人工智能/机器学习创新实验室）；ANDRO Computational Solutions（ANDRO计算解决方案公司）
我们研究传输控制的问题，即，何时传输，在分布式无线通信网络中通过多智能体强化学习的镜头。大多数使用强化学习来控制或调度传输的其他作品使用一些集中式控制机制，而我们的方法是完全分布式的。每个发送器节点是独立的强化学习代理，并且不直接知道其他代理所采取的动作。我们考虑的情况下，只有一个子集的代理可以成功地传输在同一时间，所以每个代理必须学会与其他代理合作。一个代理可以决定在未来传输一定数量的步骤，但是这个决定不会被传达给其他代理，所以各个代理的任务是在适当的时候尝试传输。我们通过研究不同动作空间的影响来实现这种协作行为。我们对物理层是不可知的，这使得我们的方法适用于许多类型的网络。我们认为，类似于我们的方法可能是有用的，在其他领域，使用独立的代理多智能体强化学习。
2022-05-13 cs.LG cs.NI
Multi-Agent Adversarial Inverse Reinforcement Learning
Stanford University（斯坦福大学）
强化学习智能体由于奖励错误指定而容易出现不期望的行为。在多智能体场景中，找到一组奖励函数来正确地指导智能体行为是特别具有挑战性的。逆强化学习提供了一个框架，自动获取合适的奖励功能，从专家的示范。然而，由于理性行为的概念更为复杂，将其扩展到多代理设置是困难的。在本文中，我们提出了MA-AIRL，一个新的框架，多智能体逆强化学习，这是有效的和可扩展的马尔可夫游戏的高维状态-动作空间和未知的动态。我们推导出我们的算法的基础上一个新的解决方案的概念和最大pseudolikestimation内的对抗性奖励学习框架。在实验中，我们证明了MA-AIRL可以恢复与地面实况高度相关的奖励函数，并且在策略模仿方面显着优于先前的方法。
2019-07-30 cs.LG stat.ML
Complementary reinforcement learning towards explainable agents
Allen Institute for Brain Science（艾伦脑科学研究所）
强化学习（RL）算法允许智能体学习技能和策略来执行复杂的任务，而无需详细的指令或昂贵的标记训练样本。也就是说，RL代理可以像我们学习一样学习。鉴于学习在我们智能中的重要性，RL被认为是通用人工智能的关键组成部分之一，最近在深度强化学习方面的突破表明，神经网络（NN）是RL代理的天然平台。然而，尽管基于NN的RL代理的效率和通用性，它们的决策仍然是不可理解的，降低了它们的效用。为了将RL部署到更广泛的应用中，必须开发可解释的基于NN的RL代理。在这里，我们提出了一种方法，从一个基于NN的RL代理，其决策是基于简单的规则派生出一个二级可理解的代理。我们的经验评估，这个二级代理的性能支持使用基于NN的RL代理建立一个可理解的和透明的代理的可能性。
2019-01-24 cs.LG stat.ML
Toward Policy Explanations for Multi-Agent Reinforcement Learning
University of Virginia（弗吉尼亚大学）；Bar-Ilan University（巴伊兰大学）
多智能体强化学习（MARL）的进步使一系列令人兴奋的多智能体应用（如协作AI和自动驾驶）能够进行顺序决策。解释代理决策对于提高系统透明度，提高用户满意度和促进人类-代理协作至关重要。然而，现有的可解释的强化学习的工作主要集中在单智能体设置，不适合解决多智能体环境所带来的挑战。我们提出了新的方法来产生两种类型的政策解释MARL：（一）政策总结的代理合作和任务序列，和（ii）语言解释回答查询代理行为。三个MARL域上的实验结果证明了我们的方法的可扩展性。一项用户研究表明，生成的解释显着提高用户的性能，并增加主观评分的指标，如用户满意度。
2022-05-23 cs.AI cs.LG
Reinforcement Learning Agents in Colonel Blotto
模型和游戏是世界的简化表示。有许多不同类型的模型，在复杂性和它们允许我们进一步理解世界的哪个方面上都有所不同。在本文中，我们专注于一个具体的例子，基于代理的模型，它使用强化学习（RL）训练代理如何在其环境中采取行动。强化学习代理通常也是马尔可夫过程，这是另一种可以使用的模型。我们在Colonel Blotto环境中测试了这个强化学习代理，并将其与随机代理作为对手来衡量其性能。我们发现，RL代理轻松击败一个单一的对手，仍然表现得很好，当对手的数量增加。我们还分析了RL代理，并通过查看它给出的最高和最低Q值的动作来查看它已经达到了什么策略。有趣的是，与多个对手博弈的最优策略几乎与与单个对手博弈的最优策略完全相反。
2022-04-04 cs.AI cs.LG
Cooperative Heterogeneous Deep Reinforcement Learning
AAII,University of Technology Sydney（悉尼科技大学AAII）；National University of Singapore（新加坡国立大学）；Data61, CSIRO（澳大利亚联邦科学与工业研究组织数据61研究所）
已经提出了许多深度强化学习代理，每个代理都有其优点和缺陷。在这项工作中，我们提出了一个合作异构深度强化学习（CHDRL）框架，可以通过整合异构代理的优势来学习策略。具体来说，我们提出了一个协作学习框架，异构代理分为两类：全球代理和本地代理。全局代理是可以利用其他代理的经验的非策略代理。本地代理是基于策略的代理或基于种群的进化算法（EA）代理，可以有效地探索本地区域。我们采用样本有效的全局代理来指导本地代理的学习，以便本地代理可以从样本有效代理中受益并同时保持其优势，例如，稳定全球代理商也受益于有效的本地搜索。对Mujoco基准的一系列连续控制任务的实验研究表明，与最先进的基线相比，CHDRL实现了更好的性能。
2020-11-02 cs.AI cs.LG
Poisoning Deep Reinforcement Learning Agents with In-Distribution Triggers
Johns Hopkins University（约翰斯·霍普金斯大学）；Applied Physics Lab（应用物理实验室）
在本文中，我们提出了一种新的数据投毒攻击，并将其应用于深度强化学习代理。我们的攻击集中在我们所谓的分布内触发器上，这些触发器是模型将在其上训练和部署的数据分布的本地触发器。我们概述了一个简单的过程，用于在多任务学习范式下将这些和其他触发器嵌入深度强化学习代理中，并在三个常见的强化学习环境中进行演示。我们相信这项工作对深度学习模型的安全性具有重要意义。
2021-06-14 cs.CR cs.LG
Agent-Agnostic Human-in-the-Loop Reinforcement Learning
Brown University（布朗大学）；AI Impacts；Stanford University（斯坦福大学）；University of Oxford（牛津大学）
为强化学习代理提供专家建议可以显著改善学习的各个方面。以前的工作已经开发出教学协议，使代理在复杂的环境中有效地学习，这些方法中的许多定制教师的指导代理与特定的表示或底层的学习计划，提供有效的，但专门的教学程序。在这项工作中，我们探讨协议程序，一个代理不可知的模式，人在回路强化学习。我们的目标是将人类教师的有益特性融入强化学习中，而不对代理的内部工作原理做出强烈的假设。我们将展示如何表示现有的方法，如动作修剪，奖励塑造，并在模拟训练作为我们的模式的特殊情况下，并进行初步的实验简单的域。
2017-01-15 cs.AI cs.LG
Interaction-Aware Multi-Agent Reinforcement Learning for Mobile Agents with Individual Goals
Carnegie Mellon University（卡内基梅隆大学）；Honda Research Institute USA（美国本田研究所）
在多智能体环境中，单个智能体的最优策略在很大程度上取决于其他智能体的行为。我们研究了多智能体强化学习的问题，专注于分散学习的非平稳域的移动机器人导航。我们确定了一个原因的训练非平稳政策的困难：相互适应次优行为，我们用它来激励一个基于学习策略的互动政策。课程分为两个阶段。首先，代理利用策略梯度算法来学习能够实现多个目标的策略。其次，代理学习修改器策略，以学习如何在多代理设置中与其他代理交互。我们评估了我们的方法在自动驾驶换道域和机器人导航域。
2019-09-27 cs.AI cs.LG
Multi-Agent Reinforcement Learning for Autonomous UAV Exploration in Wildfire Response
本研究提出深度强化学习框架训练无人机智能体在模拟野火环境中导航监测，实验显示其行为稳定有效，凸显DRL无人机系统在自主野火监测中的潜力。
2026-09-10 cs.LG cs.RO
Learning to Coordinate Multiple Reinforcement Learning Agents for Diverse Query Reformulation
New York University（纽约大学）；Google AI Language（谷歌人工智能语言部门）
我们提出了一种方法，有效地学习不同的策略，在强化学习查询重构的任务，文件检索和问答。在所提出的框架中，一个代理由多个专门的子代理和一个元代理，学习聚合子代理的答案，以产生最终的答案。子代理在训练数据的不相交分区上训练，而元代理在完整的训练集上训练。我们的方法使学习速度更快，因为它是高度并行化的，并且比强基线（例如在完整数据上训练的代理集成）具有更好的泛化性能。我们表明，改进的性能是由于增加了多样性的改写策略。
2018-12-25 cs.LG stat.ML
Optimizing Market Making using Multi-Agent Reinforcement Learning
本文将强化学习应用于做市优化问题。一个多智能体强化学习框架被用来最佳地放置限价订单，导致成功的交易。该框架由两个代理组成。宏观主体优化购买、出售或持有资产的决策。微代理优化在限价订单簿内下限价订单。在本文的背景下，所提出的框架在比特币加密货币市场上应用和研究。本文的目的是表明强化学习是一种可行的策略，可以应用于复杂的问题（复杂的环境），如做市。
2018-12-26 cs.LG q-fin.TR stat.ML
K-nearest Multi-agent Deep Reinforcement Learning for Collaborative Tasks with a Variable Number of Agents
Hitachi Industrial AI Lab（日立工业人工智能实验室）
传统上，多智能体深度强化学习算法的性能是在游戏环境中展示和验证的，在游戏环境中，我们通常有固定数量的智能体。在许多工业应用中，可用试剂的数量可以在任何给定的一天改变，并且即使当试剂的数量提前已知时，试剂在操作期间中断并且在一段时间内变得不可用也是常见的。在本文中，我们提出了一种新的深度强化学习算法的多智能体协作任务与可变数量的代理。我们演示了我们的算法使用日立开发的车队管理模拟器在生产现场生成逼真的场景中的应用。
2022-01-18 cs.AI cs.LG cs.MA
Failure-Scenario Maker for Rule-Based Agent using Multi-agent Adversarial Reinforcement Learning and its Application to Autonomous Driving
IBM Research AI（IBM研究AI）
我们研究的问题，对抗性强化学习的多代理域，包括基于规则的代理。基于规则的算法在安全关键型应用中是必需的，以便它们在各种情况下都能正常工作。因此，尽一切努力在开发阶段找到故障场景。然而，随着软件变得复杂，查找失败案例变得困难。特别是在多智能体领域，如自动驾驶环境，很难找到有用的故障场景，帮助我们改进算法。我们提出了一种方法，有效地找到失败的情况下，这种方法使用多智能体强化学习训练的对抗代理，这样测试的基于规则的代理失败。我们使用一个简单的环境和自动驾驶模拟器证明了我们所提出的方法的有效性。
2019-05-25 cs.AI cs.LG cs.RO
Rapid Locomotion via Reinforcement Learning
Massachusetts Institute of Technology（麻省理工学院）；NSF AI Institute for Artificial Intelligence and Fundamental Interactions（美国国家科学基金会人工智能与基础交互研究所）
敏捷的机动，如短跑和高速转弯在野外是具有挑战性的足式机器人。我们提出了一个端到端的学习控制器，实现了MIT Mini Cheetah的创纪录敏捷性，维持速度高达3.9 m/s。该系统在草地、冰和砾石等自然地形上快速运行和转弯，并对干扰做出稳健的响应。我们的控制器是一个神经网络，通过强化学习在模拟中训练，并转移到现实世界。两个关键组成部分是（i）速度命令的自适应课程和（ii）利用先前的工作进行仿真到现实迁移的在线系统辨识策略。有关机器人行为的视频，请访问：https://agility.csail.mit.edu/
2022-05-05 cs.AI cs.LG cs.RO
Scalable Centralized Deep Multi-Agent Reinforcement Learning via Policy Gradients
GRASP Laboratory（GRASP实验室）；University of Pennsylvania（宾夕法尼亚大学）
在本文中，我们将探索使用深度强化学习来解决多智能体问题。大多数现有的深度多智能体强化学习方法只考虑少量的智能体。当代理数量增加时，输入和控制空间的维数也会增加，这些方法的扩展性不好。为了解决这个问题，我们建议铸造的多智能体强化学习问题作为一个分布式优化问题。我们的算法假设，对于多代理设置，在一个给定的人口中的各个代理的政策生活在参数空间中彼此接近，可以近似为一个单一的政策。有了这个简单的假设，我们证明了我们的算法是非常有效的强化学习在多智能体设置。我们证明了其有效性对现有的可比方法的合作和竞争的任务。
2018-05-22 cs.AI cs.LG cs.MA
Optimization for Reinforcement Learning: From Single Agent to Cooperative Agents
University of Illinois at Urbana-Champaign (UIUC)（伊利诺伊大学厄巴纳-香槟分校）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
本文综述了多智能体强化学习算法在大规模控制系统和通信网络中的最新进展，这些算法学习通信和协作。我们提供了一个概述这一新兴领域，重点是在不同的协调协议下的分散设置。从分布式优化的角度，我们强调了强化学习算法从单智能体到多智能体系统的演变，并总结了未来的方向和挑战，希望能促进分布式优化，信号处理和强化学习社区之间不断增长的协同作用。
2019-12-01 cs.AI cs.LG cs.MA
Multi-agent navigation based on deep reinforcement learning and traditional pathfinding algorithm
我们开发了一个新的框架，多智能体避碰问题。该框架结合了传统的路径查找算法和强化学习。在我们的方法中，智能体通过在每个时间步通过强化学习训练的深度神经网络来学习是被导航还是采取简单的行动来避开他们的伙伴。该框架使代理能够在抽象的新场景中到达终点。在我们的实验中，我们使用Unity3D和Tensorflow为我们的场景构建模型和环境。我们分析结果，并修改参数，以接近我们的代理行为良好的战略。我们的策略可以在不同的环境下，在不同的情况下，特别是当规模较大。
2020-12-05 cs.LG cs.MA cs.RO
High Performance Simulation for Scalable Multi-Agent Reinforcement Learning
Improbable（英普若博（ Improbable ））
多智能体强化学习实验和开源训练环境通常规模有限，支持数十个或有时多达数百个交互代理。在本文中，我们演示了时尚，高性能代理模型（ABM）框架的使用。Vogue作为一个多智能体训练环境，支持数千到数万个交互智能体，同时通过在GPU上运行环境和强化学习（RL）智能体来保持高训练吞吐量。高性能的多智能体环境，在这种规模有可能使学习的强大和灵活的政策，用于ABM和模拟复杂的系统。我们展示了两个新开发的，大规模的多智能体训练环境的训练性能。此外，我们表明，这些环境可以训练共享RL政策的时间尺度分钟和小时。
2022-07-08 cs.LG cs.MA cs.PF
Consensus Multi-Agent Reinforcement Learning for Volt-VAR Control in Power Distribution Networks
电压无功控制（VVC）是有源配电网络管理系统中降低网损、改善电压分布的关键技术。为了消除对不准确和不完整网络模型的依赖，并增强对通信或控制器故障的弹性，我们提出了共识多智能体深度强化学习算法来解决VVC问题。将VVC问题描述为一个网络化的多智能体马尔可夫决策过程，采用最大熵强化学习框架和一种新的通信高效共识策略来解决。所提出的算法允许个体代理学习使用本地奖励的组控制策略。IEEE分布测试馈线的数值研究表明，我们提出的算法匹配的单智能体强化学习基准的性能。此外，该算法被证明是通信效率和弹性。
2020-07-06 cs.LG cs.SY eess.SY
Let's Play Again: Variability of Deep Reinforcement Learning Agents in Atari Environments
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Smith College（史密斯学院）
强化学习中的再现是具有挑战性的：来自许多来源的不受控制的随机性，例如学习算法，学习策略和环境本身，导致研究人员使用单个环境的多个随机种子的综合性能指标来报告学习代理的性能。不幸的是，在强化学习代理中仍然存在有害的可变性来源，使得报告常见的汇总统计数据成为不合理的性能指标。我们的实验展示了流行的OpenAI基线存储库中使用的常见代理的可变性。我们将训练后的代理性能报告为分布，而不是点估计。
2019-04-12 cs.AI cs.LG stat.ML
Dealing with Non-Stationarity in Multi-Agent Deep Reinforcement Learning
The University of Edinburgh（爱丁堡大学）
深度强化学习的最新发展涉及创建可以在各种复杂领域中表现良好的决策代理。一种受到越来越多关注的特定方法是多智能体强化学习，其中多个智能体同时学习以协调它们的动作。在这样的多代理环境中，由于代理的决策政策不断变化，会出现额外的学习问题。本文综述了近年来解决多智能体深度强化学习中非平稳性问题的研究成果。调查的方法范围从训练过程中的修改，如集中式训练，学习对手的政策，元学习，通信和分散式学习的表示。调查最后列出了一系列悬而未决的问题和未来可能的研究方向。
2019-06-11 cs.AI cs.LG cs.MA
KnowSR: Knowledge Sharing among Homogeneous Agents in Multi-agent Reinforcement Learning
National University of Defense Technology（国防科技大学）
近年来，深度强化学习（RL）算法在多智能体领域取得了很大进展。然而，由于RL的特性，复杂任务的培训将是资源密集型和耗时的。为了应对这一挑战，同质代理之间的相互学习策略是必不可少的，这是在以前的研究中，由于大多数现有的方法不考虑使用代理模型的知识，而探索不足。在本文中，我们提出了一种适应方法的大多数多智能体强化学习（MARL）算法称为KnowSR，它利用代理之间的学习差异。我们采用知识蒸馏（KD）的思想，在代理之间共享知识，以缩短训练阶段。为了实证证明KnowSR的鲁棒性和有效性，我们在协作和竞争场景中对最先进的MARL算法进行了广泛的实验。结果表明，KnowSR优于最近报道的方法，强调建议的知识共享MARL的重要性。
2021-05-25 cs.AI cs.LG cs.MA
Dynamic Noises of Multi-Agent Environments Can Improve Generalization: Agent-based Models meets Reinforcement Learning
University of Manitoba（曼尼托巴大学）
我们研究了基于代理模型（ABM）的强化学习（RL）环境的好处。虽然ABM是已知的，以提供微观基础模拟的成本计算复杂性，我们经验表明，在这项工作中，他们的非确定性动态可以提高RL代理的泛化。为此，我们研究控制流行病SIR环境的基础上，无论是微分方程或ABMs。数值模拟表明，在基于ABM的动态SIR模型的固有噪声不仅提高了平均奖励，但也允许RL代理推广更广泛的流行病参数。
2022-03-26 cs.AI cs.LG cs.MA
Multi-Agent Deep Reinforcement Learning for Liquidation Strategy Analysis
Columbia University（哥伦比亚大学）
清算是指在一定时间范围内，考虑到市场冲击和交易者的风险规避所产生的成本，连续出售一种股票的大量股份的过程。在优化清算的主要挑战是找到一个合适的建模系统，可以纳入股票市场的复杂性，并产生实用的交易策略。在本文中，我们建议使用多智能体深度强化学习模型，与各种机器学习方法相比，它可以更好地捕捉高级复杂性，以便智能体可以学习如何做出最佳销售决策。首先，我们从理论上分析了Almgren和Chriss模型，并对其基本机制进行了扩展，使其可以作为多主体交易环境。我们的工作为未来的多智能体环境交易分析奠定了基础。其次，我们通过调整每个代理的奖励函数来分析代理之间的合作和竞争行为，这克服了单代理强化学习算法的局限性。最后，我们模拟交易，并开发了一个最佳的交易策略与实际的限制，通过使用强化学习方法，这表明强化学习方法在解决现实的清算问题的能力。
2019-06-24 cs.LG q-fin.TR stat.ML
A Conceptual Framework for Externally-influenced Agents: An Assisted Reinforcement Learning Review
Federation University（联邦大学）；Deakin University（迪肯大学）；Universidad Central de Chile（智利中央大学）；University of Alberta（阿尔伯塔大学）；Action Research Associates（行动研究协会）
强化学习代理的长期目标是能够在复杂的现实世界场景中执行任务。使用外部信息是将代理扩展到更复杂问题的一种方式。然而，在使用外部信息的不同方法之间普遍缺乏协作或互操作性。在这项工作中，在审查外部影响的方法，我们提出了一个概念框架和分类辅助强化学习，旨在通过分类和比较在学习过程中使用外部信息的各种方法，促进合作。建议的分类详细的外部信息源和学习者代理之间的关系，突出的信息分解，结构，保留的过程，以及它如何可以用来影响代理学习。除了回顾最先进的方法外，我们还确定了当前使用外部信息来提高智能体性能及其决策过程的强化学习流。这些包括启发式强化学习、交互式强化学习、从演示示教学习、迁移学习和从多个源学习等。这些强化学习流的共同目标是搭建学习者代理。最后，我们讨论了在辅助强化学习系统领域的未来工作的进一步可能性。
2021-09-20 cs.AI cs.LG cs.MA
Lineage Evolution Reinforcement Learning
提出了一种通用的智能体群体学习系统，并在此基础上提出了谱系进化强化学习算法。谱系进化强化学习是一种符合一般智能体群体学习系统的衍生算法。我们将DQN及其相关变体中的智能体作为种群中的基本智能体，将遗传算法中的选择、变异和交叉模块加入到强化学习算法中。在Agent进化过程中，我们参考自然遗传行为的特点，加入世系因子以保证Agent潜在性能的保留，在评价Agent性能时综合考虑当前性能和世系值。谱系进化强化学习在不改变原有强化学习算法参数的情况下，可以优化不同的强化学习算法。实验结果表明，在Atari 2600的部分游戏中，血统进化的思想提高了原有强化学习算法的性能。
2020-09-26 cs.AI cs.LG cs.MA
MAgent: A Many-Agent Reinforcement Learning Platform for Artificial Collective Intelligence
Shanghai Jiao Tong University（上海交通大学）；University College London（伦敦大学学院）
我们介绍了MAgent，一个支持多智能体强化学习研究和开发的平台。与以前的单智能体或多智能体强化学习研究平台不同，MAgent专注于支持需要数百万智能体的任务和应用。在一群智能体之间的交互中，它不仅可以研究智能体最优策略的学习算法，而且更重要的是，可以观察和理解人工智能社会中出现的个体智能体的行为和社会现象，包括通信语言，领导力，利他主义。MAgent具有高度可扩展性，可以在单个GPU服务器上托管多达100万个代理。MAgent还为AI研究人员提供灵活的配置，以设计他们的定制环境和代理。在这个演示中，我们展示了在MAgent上设计的三个环境，并展示了通过从头开始学习而形成的集体智慧。
2017-12-02 cs.AI cs.LG cs.MA
Multi-Agent Deep Reinforcement Learning with Human Strategies
Institute for Intelligent Systems Research and Innovation (IISRI)（智能系统研究与创新研究院（IISRI））；Deakin University（迪肯大学）
深度学习使传统的强化学习方法能够处理高维问题。然而，深度强化学习方法的缺点之一是学习代理的有限探索能力。在本文中，我们介绍了一种整合人类策略以提高多个深度强化学习代理的探索能力的方法。我们还报告了我们自己的多智能体环境称为多坦克防御模拟所提出的方法的发展。结果表明，多个代理人的合作学习与人类的策略显着的性能改善。这意味着人类的智慧与机器合作来解决复杂问题的迫切需要。此外，本次仿真的成功表明，我们的多智能体环境可以作为一个测试平台，开发和验证其他多智能体控制算法。
2019-05-30 cs.AI cs.LG stat.ML
Recursive Reasoning Graph for Multi-Agent Reinforcement Learning
Stanford University（斯坦福大学）；Honda Research Institute US（本田美国研究院）
多智能体强化学习（MARL）为多个智能体之间的交互提供了一种同时学习策略的有效方法。然而，在需要复杂交互的场景中，现有算法可能无法准确预测自我行为对其他代理的影响。增强对其他代理的潜在响应进行推理的能力可以允许代理制定更有效的策略。本文在集中训练分散执行的框架下采用递归推理模型，以帮助学习代理更好地与其他代理合作或竞争。该算法被称为递归推理图（R2G），在多个多智能体粒子和机器人游戏中表现出最先进的性能。
2022-03-06 cs.AI cs.LG cs.MA
HAVEN: Hierarchical Cooperative Multi-Agent Reinforcement Learning with Dual Coordination Mechanism
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
近年来，多智能体系统中的一些具有挑战性的任务已经被一些分层强化学习方法所解决。受人类神经系统层内和层间协调机制的启发，提出了一种新的基于层次强化学习的多智能体价值分解框架HAVEN.为了解决各层次和代理之间的并发优化策略所产生的不稳定性，我们引入了双重协调机制的层间和代理之间的策略，通过设计奖励函数在两级层次结构。HAVEN不需要领域知识和预训练，并且可以应用于任何值分解变体。我们的方法在不同的分散部分可观测马尔可夫决策过程域上取得了理想的结果，并优于其他流行的多智能体层次强化学习算法。
2022-12-07 cs.AI cs.LG cs.MA
Hierarchical Program-Triggered Reinforcement Learning Agents For Automated Driving
IIT Kharagpur（印度理工学院卡拉格普尔分校）
强化学习（RL）与深度学习（DL）结合的最新进展在复杂任务（包括自动驾驶）中表现出令人印象深刻的性能。在自动驾驶中使用RL代理可以带来流畅的类人驾驶体验，但深度强化学习（DRL）有限的可解释性造成了验证和认证瓶颈。我们提出了HPRL -分层程序触发的强化学习，而不是依赖于RL代理来学习复杂的任务，它使用由结构化程序和多个RL代理组成的层次结构，每个RL代理都经过训练来执行相对简单的任务。验证的重点转移到主程序的简单保证下，从RL代理，导致一个更显着的可解释性和可验证的实现相比，一个复杂的RL代理。不同的驾驶任务，和NHTSA precrash方案使用CARLA，一个开源的动态城市模拟环境的框架的评估证明。
2021-03-25 cs.AI cs.LG cs.NE
Prosocial or Selfish? Agents with different behaviors for Contract Negotiation using Reinforcement Learning
TCS Research（塔塔咨询服务研究院）
我们提出了一种有效的技术来训练深度学习代理，这些代理能够使用简单的通信协议来谈判合同协议中的一组条款。我们使用多代理强化学习训练双方代理同时，因为他们在训练环境中相互谈判。我们还在这些代理中不同程度地模拟自私和亲社会行为。提供的经验证据表明，在代理人的行为一致性。我们进一步训练一个Meta代理的混合行为，学习不同的模型使用强化学习的集成。最后，为了确定谈判代理的可部署性，我们进行了实验，让经过训练的代理与人类玩家进行对抗。结果表明，智能体能够与人类玩家抗衡，通常在谈判中成为赢家。我们的实验表明，Meta代理是能够合理地模仿人类的行为。
2018-09-19 cs.AI cs.LG cs.MA
