Demonstration-guided Deep Reinforcement Learning for Coordinated Ramp Metering and Perimeter Control in Large Scale Networks
The Hong Kong Polytechnic University(香港理工大学)
有效的流量控制方法在缓解网络拥塞方面具有巨大的潜力。现有的文献一般集中在一个单一的控制方法,而很少有研究探讨了综合和协调控制方法的有效性。本研究考虑两种代表性的控制方法:高速公路的匝道控制和均质城市道路的周界控制,我们的目标是开发一个基于深度强化学习(DRL)的大规模网络协调控制框架。主要的挑战是:1)缺乏有效的动态模型的高速公路和城市道路; 2)标准的日间行车线方法变得无效,由于复杂和非平稳的网络动态。针对这一问题,本文提出了一种新的中观-宏观动态网络模型,并首次提出了一种示范引导的日间行车线方法,以实现大规模的匝道控制和周界控制的协调。动态网络模型混合了路段模型和广义浴盆模型,分别描述了高速公路和城市道路的交通动态。对于DRL方法,我们通过引入“教师”和“学生”模型的概念,结合示范来指导DRL方法更好地收敛。教师模型是传统的控制器(例如,ALINEA,Gating),提供控制演示。学生模型是DRL方法,它向教师学习,旨在超越教师的表现。为了验证所提出的框架,我们进行了两个案例研究,在一个小规模的网络和一个现实世界的大规模交通网络在香港。研究结果揭示了将传统控制器与DRL相结合用于大规模网络协调控制的巨大潜力。
2023-03-04 cs.AI cs.LG cs.SY
Joint Intrinsic Motivation for Coordinated Exploration in Multi-Agent Deep Reinforcement Learning
ECE Paris \& Sorbonne Universit\' e , CNRS,\ ISIR F-75005 Paris France;Sorbonne Universit\' e , CNRS, ISIR F-75005 Paris France;ECE Paris \& Sorbonne Universit\' e , CNRS,\ ISIR;Sorbonne Universit\' e , CNRS, ISIR
本文提出JIM方法,通过集中式新颖性度量奖励联合轨迹,促进多智能体协同探索,解决稀疏奖励问题,实验证明其在需高度协调的任务中有效。
2024-02-06 cs.AI cs.MA
Generative Planning for Temporally Coordinated Exploration in Reinforcement Learning
General AI Lab(通用人工智能实验室);Horizon Robotics Inc.(地平线机器人技术有限公司)
标准的无模型强化学习无模型强化学习算法优化策略,该策略生成在当前时间步中要采取的动作,以便最大化预期的未来回报。虽然它灵活,但由于其单步的性质,它面临着勘探效率低下的困难。在这项工作中,我们提出了生成式规划方法(GPM),它可以生成的行动,不仅为当前的步骤,但也为一些未来的步骤(因此被称为生成式规划)。这给GPM带来了很多好处。首先,由于GPM是通过最大化值来训练的,因此由它生成的计划可以被视为到达高值区域的有意动作序列。因此,GPM可以利用其生成的多步计划来对高值区域进行时间协调的探索,这可能比通过在单步的级扰动每个动作生成的动作序列更有效,其一致的运动随着探索步骤的数量呈指数衰减。其次,从一个粗略的初始计划生成器开始,GPM可以改进它以适应任务,这反过来有利于未来的探索。这可能比常用的行动重复策略更有效,后者在计划形式上是非适应性的。此外,由于多步骤计划可以被解释为代理从现在到未来的一段时间的意图,因此它提供了更多信息和直观的解释信号。在几个基准环境下进行了实验,结果表明,与几个基线方法相比,该方法的有效性。
2022-02-03 cs.AI cs.CV cs.LG
Coordinated Power Smoothing Control for Wind Storage Integrated System with Physics-informed Deep Reinforcement Learning
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Shenzhen Institute of Artificial Intelligence and Robotics for Society (AIRS)(深圳市人工智能与机器人研究院);The Hong Kong Polytechnic University(香港理工大学);Nanyang Technological University(南洋理工大学);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳))
本文提出一种基于物理信息多智能体深度强化学习的分层协调控制框架,通过集成尾流与电池退化模型,解决了风储系统功率平滑控制中的复杂交互与双层优化问题,使总利润提升约11%、功率波动降低约19%。
2024-12-17 cs.AI cs.SY eess.SY
Learning to Plan & Schedule with Reinforcement-Learned Bimanual Robot Skills
NVIDIA;University of California San Diego(加州大学圣地亚哥分校)
本文提出了一种基于强化学习的双臂机器人技能计划与调度框架,通过分层结构提升复杂任务的执行效率与协调性。
2026-02-05 cs.AI cs.RO
Collaboration of AI Agents via Cooperative Multi-Agent Deep Reinforcement Learning
有许多人工智能任务涉及多个交互代理,代理应该学会合作和协作以有效地执行任务。在这里,我们开发和评估各种多代理协议,训练代理与队友在网格足球。我们训练和评估我们的多代理方法对一个团队的运作与智能手编码的政策。作为一个基线,我们训练代理同时和独立,没有沟通。我们的合作协议是参数共享,协调学习与沟通,和反事实的策略梯度。与手工编码的团队相比,使用参数共享训练的团队和使用协调学习训练的团队表现最好,在与手工编码的团队比赛时,得分分别为89.5%和94.5%。与参数共享团队相比,在对抗性训练的情况下,协调学习团队在75%的事件中得分,这表明它是我们方法中适应性最强的。从我们的工作中获得的见解可以应用到其他领域的多智能体协作可能是有益的。
2019-06-30 cs.AI cs.CV cs.MA
Distributed Multi-Agent Deep Reinforcement Learning for Robust Coordination against Noise
Waseda University(早稻田大学)
在多智能体系统中,降噪技术对于提高整个系统的可靠性非常重要,因为智能体需要依赖有限的环境信息来与周围的智能体开发合作和协调的行为。然而,以前的研究往往采用集中式降噪方法,在嘈杂的多智能体环境中建立强大的和通用的协调,而分布式和分散的自主智能体更合理的现实世界的应用。在本文中,我们介绍了一个\emph{distributed attentional actor architecture model for a multi-agent system}(DA 3-X),使用它,我们证明了与DA 3-X的代理可以有选择地学习噪声环境和合作行为。我们通过比较使用和不使用DA 3-X的学习方法来实验评估DA 3-X的有效性,并表明使用DA 3-X的代理可以比基线代理实现更好的性能。此外,我们可视化DA 3-X的\emph{attentional weights}热图,以分析决策过程和协调行为如何受到噪声的影响。
2022-05-19 cs.AI
Action Dependency Graphs for Globally Optimal Coordinated Reinforcement Learning
School of Automation, Chongqing University(重庆大学自动化学院)
本文提出用动作依赖图(ADG)建模非自回归的动作依赖策略,证明稀疏ADG在满足协调图条件时可实现全局最优,并开发了保证全局最优的策略迭代算法及与SOTA算法集成的实验验证。
2025-06-01 cs.AI cs.LG cs.SY
Coordination in Adversarial Sequential Team Games via Multi-Agent Deep Reinforcement Learning
Politecnico di Milano(米兰理工大学)
许多现实世界的应用程序涉及代理团队,他们必须协调行动,以达到共同的目标,对抗潜在的对手。本文主要研究一组玩家面对一个对手的零和博弈,例如桥牌、扑克牌中的共谋和投标中的共谋。团队成员在玩游戏之前进行沟通的可能性-也就是说,事先协调他们的策略-使得行为策略的使用不能令人满意。我们引入软团队演员批评(STAC)作为一个解决方案,团队的协调问题,不需要任何先验领域的知识。STAC允许团队成员通过团队之间共享的外源信号有效地利用事前沟通。STAC在完全可观察和部分可观察的游戏中都达到了接近最优的协调策略,而之前的深度RL算法无法达到最优的协调行为。
2019-12-16 cs.AI cs.NE
MalLight: Influence-Aware Coordinated Traffic Signal Control for Traffic Signal Malfunctions
Rutgers University(罗格斯大学);Arizona State University(亚利桑那州立大学);Lehigh University(利哈伊大学)
针对交通信号灯故障受关注不足的问题,提出基于强化学习的MalLight协同控制框架,通过ISAM和IRAM实现周边信号灯协同控制,在真实数据集上验证其性能优于传统及深度学习方法,最多可降低48.6%的通行量下降幅度。
2024-09-13 cs.AI
Cooperative Exploration for Multi-Agent Deep Reinforcement Learning
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
探索对于深度强化学习的良好结果至关重要,并引起了广泛关注。然而,现有的多智能体深度强化学习算法仍然主要使用基于噪声的技术。最近,已经开发了考虑多个代理之间的合作的探索方法。然而,现有的方法遭受一个共同的挑战:代理人的斗争,以确定值得探索的状态,并很难协调对这些国家的探索努力。为了解决这个问题,在本文中,我们提出了合作多智能体探索(CMAE):代理共享一个共同的目标,而探索。目标是从多个投影状态空间通过归一化熵为基础的技术。然后,训练代理以协调的方式实现这一目标。我们证明了CMAE在各种任务上的表现始终优于基线,包括稀疏奖励版本的多粒子环境(MPE)和星际争霸多智能体挑战(SMAC)。
2021-07-23 cs.AI
CoordiQ : Coordinated Q-learning for Electric Vehicle Charging Recommendation
Baidu Inc.(百度公司);University of Minnesota(明尼苏达大学);Rutgers University(罗格斯大学)
电动汽车的使用量一直在迅速增加,但充电站并不总是能满足需求,因此,有效地将车辆路由到充电站对于以最高效率运行至关重要。决定向哪些站推荐驾驶员是一个复杂的问题,具有大量可能的推荐、不稳定的使用模式和推荐的时间延长的后果。强化学习为解决顺序决策问题提供了一个强大的范例,但传统方法可能会因为大量的可能动作而难以获得样本效率。通过开发一个允许复杂动作表示的模型,与模拟中的现有基线相比,我们将系统用户的结果提高了30%以上。如果广泛实施,这些更好的建议每年可以在全球范围内节省超过400万人小时的等待和驾驶。
2021-01-28 cs.AI cs.LG cs.MA
Together We Rise: Optimizing Real-Time Multi-Robot Task Allocation using Coordinated Heterogeneous Plays
TCS Research(塔塔咨询服务研究中心)
针对动态仓库中的实时多机器人任务分配问题,提出双智能体强化学习框架MRTAgent,结合改进LQR控制器,在支持连续运动的同时优化任务分配与机器人选择,以最小化行驶距离和延迟。
2025-02-22 cs.AI cs.LG cs.MA
Structural Credit Assignment with Coordinated Exploration
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
本研究提出利用玻尔兹曼机或循环网络实现协调探索,以改进结构化信用分配,实验证明其训练速度优于独立探索和STE反向传播。
2023-07-25 cs.AI cs.LG
Subwords as Skills: Tokenization for Sparse-Reward Reinforcement Learning
TTI-Chicago(芝加哥TTI学院);University of Chicago(芝加哥大学);Toyota Technological Institute at Chicago(芝加哥丰田理工学院);Symbolica AI(Symbolica AI公司)
针对稀疏奖励强化学习探索难的问题,提出结合动作空间聚类离散化与NLP分词技术的技能生成方法,性能优于基线且计算量大幅降低。
2024-10-30 cs.AI cs.LG cs.RO
Cooperative Patrol Routing: Optimizing Urban Crime Surveillance through Multi-Agent Reinforcement Learning
针对城市巡逻路径优化问题,提出基于去中心化部分可观测马尔可夫决策过程的MARL模型,采用VDPPO算法,引入覆盖指数指标,在马拉加市测试实现了符合警方标准的高犯罪区域覆盖效果。
2025-01-14 cs.AI
Hierarchical Reinforcement Learning with Low-Level MPC for Multi-Agent Control
Max Studt 1;Georg Schildbach 1
提出分层强化学习框架,高层RL选择目标,低层MPC确保安全,在捕食者-猎物任务中优于端到端和屏蔽基线。
2025-10-09 cs.AI cs.RO cs.SY
Deep Reinforcement Learning for Multi-Agent Interaction
University of Edinburgh(爱丁堡大学)
自主智能体的开发是人工智能和机器学习的核心研究领域,它可以与其他智能体交互以完成给定的任务。为了实现这一目标,自主智能体研究小组开发了用于自主系统控制的新型机器学习算法,特别关注深度强化学习和多智能体强化学习。研究问题包括协调代理策略和代理间通信的可扩展学习;从有限的观察中推理其他代理的行为,目标和组成;以及基于内在动机,课程学习,因果推理和表示学习的样本有效学习。本文对该小组正在进行的研究组合进行了广泛的概述,并讨论了未来方向的开放问题。
2022-08-02 cs.AI cs.LG cs.MA
Systematic Analyses of Reinforcement Learning Controllers in Signalized Urban Corridors
本文系统分析了集中式、完全去中心化和参数共享去中心化强化学习控制器在城市走廊网络中的性能,对比了其容量区域和ATT,并展示了参数共享控制器在更大网络上的应用潜力。
2026-04-02 cs.AI cs.LG cs.MA
Recurrent Control Nets for Deep Reinforcement Learning
Stanford University(斯坦福大学)
中枢模式发生器(Central Pattern Generators,CPG)是一种生物神经回路,能够在缺乏节奏输入的情况下产生协调的节奏输出。因此,它们负责生物体中大多数有节奏的运动。这种节奏控制广泛适用于机车机器人和医疗设备等领域。在本文中,我们探索了为强化学习创建一个自我维持的CPG网络的可能性,该网络比当前的多层感知器(MLP)基线模型更有效地学习节奏运动,并且可以在更一般的环境中学习。最近的工作介绍了结构化控制网络(SCN),它保持线性和非线性模块的局部和全局控制,分别。在这里,我们表明,时间序列架构,如递归神经网络(RNN)模型CPG有效。结合以前的工作与RNN和SCN,我们引入了递归控制网络(RCN),它增加了一个线性分量,RCN匹配并超过了所有环境任务中基线MLP和SCN的性能。我们的研究结果证实了RNN在强化学习任务中的现有直觉,并证明了在强化学习中类似SCN结构的前景。
2019-01-18 cs.AI cs.LG stat.ML
Robust and Efficient Communication in Multi-Agent Reinforcement Learning
Department of Mathematics, East China University of Science and Technology(东华大学数学系);Key Laboratory of Smart Manufacturing in Energy Chemical Process, Ministry of Education, East China University of Science and Technology(能源化工过程智能制造重点实验室,东华大学);Hangzhou School of Automation, Zhejiang Normal University(浙江师范大学杭州自动化学院);Department of Computer Science, Waseda University(早稻田大学计算机科学系)
本文针对现实部署中通信存在扰动、延迟、带宽受限等问题,综述多智能体强化学习鲁棒高效通信策略的最新进展,聚焦三类典型应用并指出未来研究方向。
2025-11-14 cs.AI
A Survey of Multi Agent Reinforcement Learning: Federated Learning and Cooperative and Noncooperative Decentralized Regimes
(July 2025)((2025年7月))
本文综述多智能体强化学习在联邦、分散合作与非合作三种机制下的研究,比较其结构异同,涵盖理论保证与数值性能的亮点与局限。
2025-07-08 cs.AI cs.LG cs.MA
Deep Reinforcement Learning for Cybersecurity Threat Detection and Protection: A Review
Microsoft R&D(微软研发中心);BITS Pilani(博拉理工学院皮拉尼校区)
网络安全威胁形势最近变得过于复杂。威胁行为者以非常协调的方式利用网络和端点安全中的弱点来实施复杂的攻击,这些攻击可能会使整个网络和网络中的许多关键主机瘫痪。越来越先进的深度和基于机器学习的解决方案已被用于威胁检测和保护。这些技术的应用在科学文献中得到了很好的综述。深度强化学习在为早期需要高级人类认知的领域开发基于人工智能的解决方案方面表现出了巨大的潜力。深度强化学习下的不同技术和算法在从游戏到工业过程的应用中显示出巨大的前景,据称可以增强具有通用AI功能的系统。这些算法最近也被用于网络安全,特别是在威胁检测和端点保护方面,这些算法显示出最先进的结果。与监督机器和深度学习不同,深度强化学习的使用方式更加多样化,并在威胁防御领域为许多创新应用提供支持。然而,没有对这些独特的应用和成就进行任何全面审查。因此,在本文中,我们打算填补这一空白,并全面回顾深度强化学习在网络安全威胁检测和保护中的不同应用。
2022-06-06 cs.AI cs.CR
Self-Adaptive Anomaly Detection with Reinforcement Learning and Human Feedback in Connected Vehicles
本文针对车联网运行中行为监测的挑战,提出集成强化学习、统计监测和人工反馈的在线异常检测框架,通过自注意力选择检测器、多检测器集成及人工再训练机制,在测试平台上实现持续自适应且避免灾难性遗忘。
2026-07-10 cs.AI cs.LG
Exploration-Driven Personalized Federated Reinforcement Learning via Intrinsic Motivation
本研究提出EDPFRL-IM框架,将内在动机探索与随机网络蒸馏引入个性化联邦强化学习,在保护客户端隐私的同时,提升了延迟和稀疏奖励场景下的策略个性化与样本效率。
2026-08-12 cs.AI cs.LG
Scalable Decentralized Cooperative Platoon using Multi-Agent Deep Reinforcement Learning
German University in Cairo(开罗德国大学)
针对智能交通中车辆队列行驶的性能与安全需求,提出基于Unity 3D和深度强化学习的可扩展去中心化协作队列方法,通过“共享与关怀”通信框架提升车队及单车性能鲁棒性,改善道路安全与拥堵。
2023-12-11 cs.AI cs.MA cs.RO
Lenient Multi-Agent Deep Reinforcement Learning
University of Liverpool(利物浦大学);DeepMind(深度思维);Centrum Wiskunde & Informatica(数学与计算机科学中心)
近年来,单智能体深度强化学习(DRL)的大部分成功都可以归功于经验重放记忆(ERM)的使用,这使得深度Q网络(DQN)可以通过对存储的状态转换进行采样来有效地训练。然而,在使用ERM进行多代理深度强化学习(MA-DRL)时需要小心,因为存储的转换可能会过时,因为代理会并行更新其策略[11]。在这项工作中,我们对MA-DRL应用宽大处理[23]。宽大代理将状态-动作对映射到衰减温度值,衰减温度值控制对从ERM采样的负面策略更新应用的宽大量。这在值函数更新中引入了乐观,并已被证明有助于表格式完全合作多智能体强化学习问题中的合作。我们根据相关的滞后-DQN(HDQN)算法[22]以及我们称为调度-HDQN的修改版本来评估我们的Lenient-DQN(LDQN),该版本在终端状态附近使用平均奖励学习。评估发生在协调多智能体对象运输问题(CMOTP)[8]的扩展变体中,其中包括完全合作的子任务和随机奖励。我们发现,LDQN代理更有可能收敛到最优的政策,在一个随机奖励CMOTP相比,标准和调度HDQN代理。
2018-02-27 cs.AI cs.LG cs.MA
Stop Unnecessary Reflection: Training LRMs for Efficient Reasoning with Adaptive Reflection and Length Coordinated Penalty
State Key Laboratory of Blockchain and Data Security, Zhejiang University(浙江大学区块链与数据安全国家重点实验室);MYbank, Ant Group(蚂蚁集团MYbank);Innovation and Management Center, School of Software Technology (Ningbo), Zhejiang University(浙江大学软件学院(宁波)创新与管理中心)
通过自适应反思和长度协调惩罚方法,提升推理效率和准确性,减少响应长度并提高性能。
2026-02-27 cs.AI cs.CL
Empowering Epidemic Response: The Role of Reinforcement Learning in Infectious Disease Control
Hong Kong Baptist University(香港浸会大学)
本文探讨强化学习在传染病防控中的应用,涵盖资源分配、生命与生计平衡、多干预混合政策及区域协调控制等关键问题,总结最新研究进展与未来研究方向。
2026-03-26 cs.AI cs.CY cs.LG
Dmsh: A Multi-Agent Reinforcement Learning Framework for All-Quad Mesh Generation
Department of Mechanical Engineering, Indian Institute of Technology Madras(印度理工学院马德拉斯分校机械工程系);Institute of Continuum Mechanics, Leibniz Universität Hannover(莱比锡大学汉诺威连续力学研究所);Institute of Structural Mechanics, Bauhaus-Universität Weimar(魏玛包豪斯大学结构力学研究所);Department of Civil and Systems Engineering, Johns Hopkins University(约翰霍普金斯大学土木与系统工程系)
提出Dmsh,首个全自动强化学习流水线,通过三个协调智能体处理拓扑简化、几何正则化和网格生成,采用参数化Soft Actor-Critic架构和课程学习策略,实现高质量全四边形网格生成。
2026-06-09 cs.AI cs.LG cs.NA
Coordinated Multi-Agent Reinforcement Learning for Unmanned Aerial Vehicle Swarms in Autonomous Mobile Access Applications
Korea University(高丽大学);Ajou University(亚洲大学)
本文针对自主移动接入场景,提出基于CTDE的多智能体深度强化学习方法,用单一神经网络集中训练多无人机协作,以最大化总服务质量。
2022-12-23 cs.AI cs.LG cs.MA
Improved Reinforcement Learning Coordinated Control of a Mobile Manipulator using Joint Clamping
University College London(伦敦大学学院);University of Ioannina(约阿尼纳大学)
许多机器人路径规划问题是连续的、随机的、高维的。当需要避免自身和环境碰撞时,移动机械手协调其基座和机械手以在线控制其全身的能力特别具有挑战性。强化学习技术有可能通过其对环境的概括能力来解决这些问题。我们研究联合处罚和联合限制的国家的最先进的移动机械手全身控制器,使用激光雷达传感避障。我们提出了改进强化学习方法的方向。我们的代理在达到目标的环境中实现了比基线更高的成功率,并且它可以解决需要协调全身控制的环境,而基线失败了。
2021-10-05 cs.RO
Coordinated Humanoid Robot Locomotion with Symmetry Equivariant Reinforcement Learning Policy
针对现有人形机器人深度强化学习方法忽略形态对称性导致动作不协调的问题,本文提出SE-Policy框架,通过嵌入对称等变/不变性提升运动协调性,在仿真和宇树G1实机上速度跟踪精度最高提升40%。
2025-11-16 cs.RO
Learning Coordinated Tasks using Reinforcement Learning in Humanoids
International Institute of Information Technology, Hyderabad(海得拉巴国际信息技术研究所)
随着人工智能和机器学习的出现,使得人形机器人学习人类拥有的各种技能。人类在日常活动中使用的基本技能之一是双手协调执行任务。在类人机器人的情况下,学习这些技能需要最佳的运动规划,包括避免与周围环境碰撞。在本文中,我们提出了一个框架,学习协调任务在混乱的环境中的基础上DiGrad -一个多任务强化学习算法的连续动作空间。此外,我们提出了一种算法来平滑所提出的框架获得的关节空间轨迹,以减少训练过程中注入的噪声。建议的框架进行了测试,在27自由度(DoF)的人形与关节躯干执行协调的对象达到任务的双手在四个不同的环境中具有不同程度的难度。据观察,人形机器人能够实时规划无碰撞轨迹。仿真结果还揭示了有用的关节躯干执行任务,需要两个手臂之间的协调。
2018-05-09 cs.RO
Coordinated Strategies in Realistic Air Combat by Hierarchical Multi-Agent Reinforcement Learning
IDSIA, USI-SUPSI(Dalle Molle人工智能研究所,提契诺大学-瑞士南部应用科学与艺术大学);Armasuisse S+T(瑞士联邦国防采购局科学技术部)
针对真实空战中的态势感知与非线性动力学挑战,提出分层多智能体强化学习框架,结合异构动力学、课程学习与联赛对战,提升缠斗场景的学习效率与作战性能。
2025-10-22 cs.AI cs.HC cs.LG
PACE: Physics Augmentation for Coordinated End-to-end Reinforcement Learning toward Versatile Humanoid Table Tennis
School of Mechanical Engineering, Purdue University(普渡大学机械工程学院);College of Engineering, Purdue University(普渡大学工程学院);School of Electrical and Computer Engineering, Purdue University(普渡大学电气与计算机工程学院)
本文提出一种端到端强化学习框架,通过物理引导的奖励和预测信号,提升人形机器人在乒乓球中的快速感知和协调动作能力,实验显示在不同发球范围下表现优异。
2026-08-05 cs.RO
Safe Heterogeneous Multi-Agent RL with Communication Regularization for Coordinated Target Acquisition
Department of Computer Science, Electrical and Space Engineering, Luleå University of Technology, Luleå, Sweden.(计算机科学与空间工程系,卢勒奥技术大学,卢勒奥,瑞典)
本文提出了一种安全的异构多智能体强化学习框架,通过通信正则化和安全过滤器实现协同目标获取任务中的安全与稳定执行。
2026-01-13 cs.AI cs.RO
Multi-Target Pursuit by a Decentralized Heterogeneous UAV Swarm using Deep Multi-Agent Reinforcement Learning
Singapore University of Technology and Design(新加坡科技设计大学);University of Ottawa(渥太华大学)
涉及智能目标的多智能体追逃任务是众所周知的具有挑战性的协调问题。在本文中,我们研究了新的方法来学习这种协调的行为,无人机(UAV)的目的是保持跟踪多个规避目标。在多智能体强化学习(MARL)框架内,我们特别提出了多智能体深度确定性策略梯度(MADDPG)方法的变体。我们的方法解决了多目标的追求逃避的情况下,在非静态和未知的环境中,随机障碍。此外,由于集体探索在检测可能的目标方面发挥的关键作用,我们实现了异构角色的追求者增强探索性的行动平衡开发(即跟踪)以前确定的目标。我们提出的基于角色的MADDPG算法不仅能够跟踪多个目标,而且还能够探索可能的目标,通过建议的Voronoi为基础的奖励政策。在部署由Crazyflie无人机组成的真实世界多机器人系统之前,我们在仿真环境中实施、测试和验证了我们的方法。我们的研究结果表明,一个多智能体的追求团队有能力学习高效的协调控制策略的目标跟踪和探索,即使在复杂的环境中面临多个快速规避目标。
2023-03-03 cs.RO
Obtaining Robust Control and Navigation Policies for Multi-Robot Navigation via Deep Reinforcement Learning
Fraunhofer IML(弗劳恩霍夫物流研究院);Westfälische Hochschule Gelsenkirchen(盖尔森基兴威斯特伐利亚应用科学大学)
多机器人导航是一个具有挑战性的任务,其中多个机器人必须同时协调动态环境中。我们应用深度强化学习(DRL)来学习一种分散的端到端策略,该策略将原始传感器数据映射到代理的命令速度。为了使策略能够泛化,在不同的环境和场景中执行训练。在常见的多机器人场景中,如切换一个地方,一个十字路口和一个瓶颈的情况下,学习的政策进行测试和评估。此策略允许代理从死胡同中恢复并在复杂环境中导航。
2022-09-07 cs.RO
Learning coordinated badminton skills for legged manipulators
Robotic Systems Lab, ETH Zurich(苏黎世联邦理工学院机器人系统实验室);Robotics and AI Institute(机器人与人工智能研究所)
本文提出一种基于统一强化学习的全身视觉运动控制策略,结合感知噪声模型、羽毛球轨迹预测与约束强化学习,使腿足式移动机械臂能够协调移动与挥臂,实现对人类对手的精确羽毛球击打。
2025-09-23 cs.LG cs.RO
Prior Policy Guided Dual-Agent Coordinated Manipulation Planning of Spacecraft-Manipulator System
School of Astronautics(航天学院);School of Automation(自动化学院);School of Information Science and Engineering(信息科学与工程学院)
针对空间机械臂与基座强耦合导致的姿态稳定问题,提出先验策略引导的双智能体协同操控规划框架,通过时间步级专家切换机制提升深度强化学习效率,实现末端执行器高精度到达与基座姿态稳定。
2026-05-25 cs.RO
Towards Low-Gravity Planetary Exploration using Reinforcement Learning for Walking, Jumping, and In-flight Attitude Control
Autonomous Robots Lab(自主机器人实验室);NTNU(挪威特罗姆瑟大学)
本文利用强化学习为四足机器人在火星低重力环境下开发行走、垂直跳跃、前向跳跃及飞行姿态控制策略,实现跨越障碍物并安全着陆,仿真与实验验证了策略的有效性。
2026-05-23 cs.RO cs.SY eess.SY
Learning Coordinated Terrain-Adaptive Locomotion by Imitating a Centroidal Dynamics Planner
Deepmind
四足机器人在复杂地形上的精确步行是最优控制方法和强化学习的难点。非线性求解器可以产生协调的约束满足运动,但往往需要太长的时间来收敛在线应用。RL方法可以学习动态反应控制器,但需要仔细调整整形奖励以产生良好的步态,并且很难发现精确的协调运动。模仿学习规避了这个问题,并已与运动捕捉数据一起使用,以提取平坦地形的四足步态。然而,对于具有高度差异的非常大种类的地形获取运动捕捉数据将是昂贵的。在这项工作中,我们结合了轨迹优化和学习方法的优点,并表明,地形自适应控制器可以通过训练策略来模仿轨迹,已经计划在程序地形的非线性求解器。我们表明,学习的政策转移到看不见的地形,并可以进行微调,以动态遍历具有挑战性的地形,需要精确的脚的位置,是很难解决的标准RL。
2021-10-30 cs.LG cs.RO
Diffusion Models for Offline Multi-agent Reinforcement Learning with Safety Constraints
本文提出一种基于CTDE架构并集成扩散模型的离线多智能体强化学习框架,通过轨迹预测生成和专门安全算法缓解风险,在DSRL基准上验证其能同时满足严格安全约束并取得优于现有方法的性能。
2024-09-29 cs.AI cs.LG cs.RO
Learning Coordinated Maneuver in Adversarial Environments
George Mason University(乔治梅森大学)
针对对抗环境中机器人团队的路径协调问题,本文提出结合理论分析与强化学习的方法,通过守卫行为与速度权衡最小化团队总成本,仿真验证了其有效性。
2024-08-21 cs.RO
A Study of Reinforcement Learning Algorithms for Aggregates of Minimalistic Robots
Worcester Polytechnic Institute(伍斯特理工学院)
本文的目的是研究如何将深度强化学习应用于极简机器人的控制。我们将聚合体定义为具有物理连接的机器人组,这些连接迫使它们形成特定的形状。在我们的例子中,机器人被预先附着在一个物体上,这个物体必须被集体运输到一个已知的位置。在我们的环境中,极简主义源于我们假设的基本能力:机器人可以感知目标位置和直接障碍物,但缺乏明确沟通的手段,例如,信息传递在我们的环境中,沟通是隐含的,即,通过每个机器人施加在物体上的聚合推拉来调节。我们分析了四种著名的深度强化学习算法(DQN,DDQN,DDPG和TD3)达到协调行为的能力。我们的实验包括机器人故障和不同类型的环境障碍。我们比较了发现的最佳控制策略的性能,突出了每个所考虑的训练算法的优点和缺点。
2022-03-28 cs.RO
MASkillBlender: Decentralized Whole-Body Coordination for Multi-Humanoid Loco-Manipulation via Skill Blending
Nanyang Technological University(南洋理工大学);Southeast University(东南大学);Purple Mountain Laboratories(紫金山实验室)
提出MASkillBlender,一种通用多智能体强化学习框架,通过共享去中心化高层策略混合预训练技能,仅用任务级奖励实现多人类形机器人去中心化全身协调,并引入排列数据增强提升效率,仿真验证有效。
2026-10-02 cs.LG cs.MA cs.RO
Achieving Stable High-Speed Locomotion for Humanoid Robots with Deep Reinforcement Learning
School of Computer Science and Technology, University of Science and Technology of China(中国科学技术大学计算机科学与技术学院);Ningbo Institute of Digital Twin, Eastern Institute of Technology(浙大宁波理工学院宁波数字孪生研究院)
本文提出结合深度强化学习与运动动力学先验的 KSLC 方法,通过协调手臂运动提升人形机器人高速运动稳定性,在仿真中实现 3.5 m/s 速度跟踪并验证了泛化能力。
2024-09-25 cs.RO
Bi-CL: A Reinforcement Learning Framework for Robots Coordination Through Bi-level Optimization
George Mason University(乔治梅森大学)
针对多机器人协调中信息不完整与行为耦合的难题,提出双层协调学习(Bi-CL)框架,结合强化学习与模仿学习及对齐惩罚机制,实现高效可扩展的协调,仿真验证性能与传统基线相当。
2024-08-21 cs.RO
Symmetries-enhanced Multi-Agent Reinforcement Learning
University of Pennsylvania(宾夕法尼亚大学);Athena RC(雅典娜研究中心)
本文提出一种嵌入外在对称性的多智能体强化学习框架,通过群等变Graphormer架构,在对称性破缺的四旋翼机群任务中显著降低碰撞率并提升任务成功率,实现更好的泛化与零样本可扩展性。
2025-04-25 cs.AI cs.LG cs.MA
Manifold Generative Annealing for Contact Constraint-aware Impedance Control with Reinforcement Learning Prior
Carnegie Mellon University(卡内基梅隆大学);Chinese Academy of Sciences(中国科学院)
该研究针对接触丰富机器人任务中接触条件变化导致现有方法失效的问题,提出流形生成退火(MGA)框架,结合无模型与基于模型方法优化运动-阻抗,在三类任务中提升了阻抗控制的安全成功率。
2026-10-16 cs.RO
Sampling-Based Coordination-Informed Multi-Objective Multi-Robot Reinforcement Learning
University of Cambridge(剑桥大学);CNRS, Univ Rennes, Inria, IRISA(法国国家科学研究中心、雷恩大学、法国国家信息与自动化研究所、IRISA);California Institute of Technology(加州理工学院)
提出CIMORL框架,通过分布式权重预测、特权专家训练和采样变体(CIMORL-TS/MPPI),在合作与对抗场景中实现Pareto最优解,超体积提升21.2%。
2026-09-15 cs.MA cs.RO
Soft Actor-Critic Deep Reinforcement Learning for Fault Tolerant Flight Control
Delft University of Technology(代尔夫特理工大学)
容错飞行控制面临挑战,因为为每个意外故障开发基于模型的控制器是不现实的,并且在线学习方法由于其低采样效率而只能处理有限的系统复杂性。在这项研究中,无模型耦合动力学飞行控制器的喷气式飞机能够承受多种故障类型的建议。离线训练的级联Soft Actor-Critic深度强化学习控制器在高度耦合的机动中取得了成功,包括协调的40度爬坡转弯,归一化平均绝对误差为2.64%。该控制器对-15 °方向舵卡死、副翼有效性降低70%、结构故障、结冰和重心后移等六种故障具有鲁棒性。当响应稳定且爬坡转弯成功完成时,换档。对有偏传感器噪声、大气扰动以及不同初始飞行条件和参考信号形状的鲁棒性也得到了证明。
2022-02-16 cs.LG cs.RO cs.SY
Communication-Aware Reinforcement Learning for Cooperative Adaptive Cruise Control
McGill University(麦吉尔大学);University of Minnesota(明尼苏达大学)
针对多智能体强化学习在协同自适应巡航控制中因车辆增减导致的可扩展性差问题,提出含前后向信息传输模块的通信感知强化学习方法,实现高效信息传播与策略一致,在多场景下性能优于基线。
2024-07-12 cs.LG cs.RO