Actor-Critic Policy Optimization in Partially Observable Multiagent Environments
DeepMind（深度思考公司）
强化学习中参数化策略的优化是人工智能中一个重要而又具有挑战性的问题。其中最常见的方法是基于表示贴现收益的得分函数的梯度上升的算法。在本文中，我们研究的作用，这些策略梯度和演员批评的算法在部分可观察的多智能体环境。我们展示了几个候选的政策更新规则，并将它们与后悔最小化和多智能体学习技术的基础，一杆和表格的情况下，导致以前未知的收敛保证。我们将我们的方法应用于无模型多智能体强化学习在对抗顺序决策问题（零和不完美信息游戏），使用RL风格的函数逼近。我们评估常用的基准扑克域，显示性能对固定的政策和经验收敛到近似纳什均衡在自我发挥率类似或优于基线无模型算法的零和游戏，没有任何特定领域的状态空间减少。
2020-06-12 cs.AI cs.GT cs.LG
Learning Heterogeneous Agent Cooperation via Multiagent League Training
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
本文提出异构联盟训练算法 HLT，通过维护异构策略池和引入超网络增强行为多样性，以解决异构多智能体强化学习中的非平稳与策略版本迭代问题，并在基准任务上验证其提升协作成功率及评估角色学习难度的有效性。
2023-05-28 cs.AI cs.LG
ToMCAT: Theory-of-Mind for Cooperative Agents in Teams via Multiagent Diffusion Policies
SRI International（SRI国际）
本文提出 ToMCAT 框架，将心智理论元学习与多智能体扩散模型结合，并通过动态重规划机制生成团队感知计划，在烹饪模拟中验证其能在不牺牲表现的同时减少资源使用并适应未知队友。
2025-05-06 cs.AI cs.LG cs.MA
Weighted Double Deep Multiagent Reinforcement Learning in Stochastic Cooperative Environments
Tianjin University（天津大学）；Soochow University（苏州大学）
近年来，多智能体深度强化学习（DRL）受到越来越广泛的关注。现有的多智能体动态学习算法在随机协作环境中由于智能体同时更新策略而导致的非平稳性问题上效率低下。本文将最近提出的加权双重估计扩展到多智能体领域，提出了一个多智能体DRL框架，命名为加权双重深度Q网络（WDDQN）。通过使用加权双重估计器和深度神经网络，WDDQN不仅可以有效地减少偏差，而且还可以扩展到具有原始视觉输入的场景。为了实现多智能体领域的有效合作，我们引入了宽松的奖励网络和计划重放策略。实验表明，WDDQN优于现有的DRL和multiaent DRL算法，即，双DQN和宽松的Q学习，在随机合作环境中的平均回报和收敛速度。
2018-04-14 cs.AI cs.LG cs.MA
Exploring the Benefits of Teams in Multiagent Learning
University of Waterloo（滑铁卢大学）
本文受组织心理学启发，提出一种用于强化学习智能体的多智能体团队新模型，验证了团队划分能促进智能体在复杂社会困境中发展亲社会策略、提升协调与涌现角色能力并获得更高奖励。
2023-07-31 cs.AI
Coordinating Multiagent Industrial Symbiosis
University of Southampton（南安普顿大学）；University of Twente（特文特大学）
我们提出了一个正式的多智能体框架协调一类协作的工业实践称为工业共生网络（ISNs）的合作游戏。ISN的博弈论公式使我们能够系统地推理我们所谓的ISN实现问题。具体而言，ISN的特点可能导致标准的公平和稳定的利益分配方法不适用。受现实的ISN的情况下，并遵循规范的多智能体系统的文献，我们认为法规和规范的社会经济政策的协调工具，结合ISN游戏解决的情况。在这个多智能体系统中，采用边际贡献网（MC网）作为基于规则的合作游戏表示促进法规和ISN游戏的组合，而不会损失表现力。我们开发的算法方法，用于生成法规，确保ISNs的可实施性，并作为一种政策支持，提出的政策要求，保证所有所需的ISNs的可实施性，在平衡预算的方式。
2020-06-02 cs.AI cs.GT cs.MA
A Logic for Policy Based Resource Exchanges in Multiagent Systems
IMT School for Advanced Studies Lucca（卢cca高等研究院）；University of Pisa（比萨大学）
针对多智能体系统中资源交换协议形式化难的问题，提出交换环境形式框架与基于线性逻辑可判定扩展的分析方法，用于刻画智能体交换策略与系统动态性。
2024-08-18 cs.AI cs.LO
A Semi-Decentralized Approach to Multiagent Control
Stanford University（斯坦福大学）；Northeastern University（东北大学）
本文提出半去中心化方法，用于解决多智能体控制中的通信不确定性问题，通过SDec-POMDP框架统一了去中心化和多智能体POMDP，并引入RS-SDA*算法生成最优策略。
2026-03-12 cs.AI
Learning Policy Representations in Multiagent Systems
Stanford University（斯坦福大学）；Carnegie Mellon University（卡内基梅隆大学）；OpenAI
智能体行为建模是理解多智能体系统中复杂现象出现的核心。在代理建模之前的工作在很大程度上是特定于任务的，并由手工工程领域特定的先验知识驱动。我们提出了一个通用的学习框架，用于在任何多智能体系统中仅使用少量交互数据来建模智能体行为。我们的框架铸造代理建模作为一个表示学习的问题。因此，我们构造了一个新的目标的启发模仿学习和代理识别和代理策略的表示的无监督学习设计的算法。我们实证证明了所提出的框架在（i）具有挑战性的高维竞争环境中的效用，用于连续控制和（ii）用于通信的合作环境，监督预测任务，无监督聚类和使用深度强化学习的策略优化。
2018-07-31 cs.AI cs.LG cs.MA
Hierarchical Deep Multiagent Reinforcement Learning with Temporal Abstraction
Tianjin University（天津大学）；Netease Fuxi AI Lab（网易伏羲人工智能实验室）；Nanjing University（南京大学）
多智能体强化学习（MARL）通常被认为是遭受非平稳环境和指数增长的政策空间。当奖励稀疏且在长轨迹上延迟时，这将更具挑战性。在本文中，我们研究了层次深MARL在稀疏和延迟奖励的合作多智能体问题。随着时间的抽象，我们分解成不同的时间尺度的层次结构的问题，并研究如何代理可以学习高层次的协调的基础上学习的独立技能在低级别。提出了三种层次化的深度MARL体系结构，以学习不同MARL范式下的层次化策略。此外，我们提出了一个新的经验重放机制，以减轻问题的稀疏过渡在高层次的抽象和多智能体学习的非平稳性。我们在两个反馈非常稀疏的领域中实证了我们的方法的有效性：（1）各种多智能体垃圾收集任务，以及（2）具有挑战性的在线手机游戏，即，发烧篮球防守
2019-07-04 cs.AI cs.LG cs.MA
Game-Theoretical Perspectives on Active Equilibria: A Preferred Solution Concept over Nash Equilibria
MID-LIDS；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM-Research（IBM研究院）；Mila（米拉）；University of Oxford（牛津大学）
多智能体学习设置本质上比单智能体学习更困难，因为每个智能体在共享环境中与其他同时学习的智能体交互。多智能体强化学习的一个有效方法是考虑智能体的学习过程，并从每个智能体的角度影响他们未来的政策，以达到期望的行为。重要的是，如果每个智能体通过考虑其行为对收敛策略集的影响来最大化其长期回报，则所产生的多智能体系统达到主动均衡。虽然这个新的解决方案的概念是一般的，标准的解决方案的概念，如纳什均衡，是特殊情况下的积极平衡，这是不清楚的，当一个积极的平衡是一个首选的平衡比其他解决方案的概念。在本文中，我们分析积极的均衡从博弈论的角度来看，通过仔细研究的例子，纳什均衡是已知的。通过直接比较这些例子中的主动均衡和纳什均衡，我们发现主动均衡比纳什均衡找到更有效的解决方案，得出主动均衡是多智能体学习设置的理想解决方案。
2022-10-28 cs.AI cs.GT
Convergence of Multiagent Learning Systems for Traffic control
Amazon Alexa（亚马逊Alexa）；Indian Institute of Science（印度科学研究院）
本文研究了多智能体强化学习在交通信号控制中的收敛性问题，通过随机逼近方法分析学习动态，并证明了在特定条件下该算法能够收敛。
2026-05-18 cs.AI cs.LG cs.MA
A Policy Gradient Algorithm for Learning to Learn in Multiagent Reinforcement Learning
MIT-LIDS（麻省理工学院信息与决策系统实验室）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM-Research（IBM研究院）
多智能体强化学习的一个基本挑战是在与其他同时学习的智能体共享的环境中学习有益的行为。特别是，每个代理感知的环境，有效地非静止的，由于其他代理的政策的变化。此外，每个智能体本身都在不断学习，导致遇到的经验分布具有自然的非平稳性。在本文中，我们提出了一种新的元多智能体策略梯度定理，直接占多智能体学习设置所固有的非平稳的政策动态。这是通过对我们的梯度更新进行建模来实现的，以考虑代理自己的非平稳政策动态和环境中其他代理的非平稳政策动态。我们表明，我们的理论接地的方法提供了一个通用的解决方案，多智能体学习问题，这固有地包括所有的关键方面，以前的国家的最先进的方法在这个问题上。我们测试我们的方法在一套不同的多智能体基准，并展示了更有效的能力，以适应新的代理，因为他们学习比基准方法在整个频谱的混合激励，竞争和合作领域。
2021-06-11 cs.AI cs.LG cs.MA
A Policy Resonance Approach to Solve the Problem of Responsibility Diffusion in Multiagent Reinforcement Learning
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；CETC Information Science Academy（中国电子科技集团公司信息科学研究院）
本文提出策略共振方法，通过重构联合策略而保持个体策略近似不变，解决多智能体强化学习中因继承单智能体探索-利用策略而导致的责任扩散问题，并在多个基准任务中验证其提升协作性能的有效性。
2023-12-05 cs.AI
Multiagent Reinforcement Learning for Autonomous Routing and Pickup Problem with Adaptation to Variable Demand
Harvard University（哈佛大学）；Arizona State University（亚利桑那州立大学）
本文提出一种多智能体强化学习框架，结合在线博弈与基于Wasserstein模糊集有效性区域的离线近似切换机制，使自主车辆路由取件策略能适应城市高峰/非高峰需求波动，并在旧金山真实出租车数据上验证其优于现有强化学习和运筹学方法。
2023-03-21 cs.AI cs.LG cs.MA
Towards Cooperation in Sequential Prisoner's Dilemmas: a Deep Multiagent Reinforcement Learning Approach
Tianjin University（天津大学）；Washington State University（华盛顿州立大学）
几十年来，反复囚徒困境一直指导着社会困境的研究。然而，它只区分两种原子行为：合作和背叛。在现实世界的囚徒困境中，这些选择是暂时延长的，不同的策略可能对应于行动的顺序，反映了合作的等级。我们引入一个顺序囚徒困境（SPD）游戏，以更好地捕捉上述特点。在这项工作中，我们提出了一种深度多智能体强化学习方法，研究了SPD游戏中相互合作的演变。我们的方法包括两个阶段。第一阶段是离线的：它合成具有不同合作度的策略，然后训练合作度检测网络。第二阶段是在线的：一个代理自适应地选择其政策的基础上检测到的程度的对手合作。我们的方法的有效性证明在两个代表性的SPD 2D游戏：苹果梨游戏和水果采集游戏。实验结果表明，该策略可以避免被剥削对手利用，实现与合作对手的合作。
2018-03-01 cs.AI cs.GT cs.LG
Resolving Congestions in the Air Traffic Management Domain via Multiagent Reinforcement Learning Methods
University of Piraeus（比雷埃夫斯大学）；University of Ioannina（约阿尼纳大学）；Frauhofer Institute IAIS（弗劳恩霍夫智能分析与信息系统研究所）；CRIDA
在这篇文章中，我们报告的效率和有效性的多智能体强化学习方法（MARL）的计算航班延误，以解决空中交通管理（ATM）领域的拥塞问题。具体来说，我们的目标是解决空域使用需求超过容量的情况（需求容量问题），通过在运营的前战术阶段（即运营前几天到几个小时）对航班实施地面延误。将其投射到多智能体域中，代表航班的智能体需要决定自己的延迟w.r.t.他们没有关于其他人的收益，偏好和约束的信息，而他们计划与其他人一起执行他们的轨迹，遵守操作约束。具体来说，我们正式的问题作为一个多智能体马尔可夫决策过程（MA-MDP），我们表明，它可以被认为是一个马尔可夫博弈中，相互作用的代理需要达到一个平衡：是什么使问题更有趣的是动态设置中的代理操作，这也是由于不可预见的，紧急的影响，他们的决定在整个系统。我们提出了协作多智能体强化学习方法来解决需求能力不平衡：对现实世界的案例进行了广泛的实验研究，显示了所提出的方法在解决问题方面的潜力，而高级可视化提供了详细的视图，以了解所提供的解决方案的质量。
2019-12-14 cs.AI cs.MA
Multiagent Rollout and Policy Iteration for POMDP with Application to Multi-Robot Repair Problems
Harvard University（哈佛大学）；Arizona State University（亚利桑那州立大学）
在本文中，我们考虑无限地平线折扣动态规划问题与有限的状态和控制空间，部分状态观测，和一个多智能体结构。我们讨论和比较算法，同时或顺序优化代理的控制，通过使用多步前瞻，截断推出与一个已知的基本政策，和终端成本函数近似。我们的方法专门解决部分可观察的多智能体问题的计算挑战。特别是：1）我们考虑了显著减少所需计算同时保留标准卷展方法的关键成本改进属性的卷展算法。我们的方法的每一步的计算要求是$O(Cm)$的顺序相比，$O(C^m)$标准推出，其中$C$是每个代理的控制组件的约束集的最大基数，和$m$是代理的数量。2)我们表明，我们的方法可以应用于具有挑战性的问题，图结构，包括一类机器人修复问题，多个机器人协作检查和修复系统的部分信息。3)我们提供了一个模拟研究，比较我们的方法与现有的方法，并证明我们的方法可以处理更大，更复杂的部分可观察的多智能体问题（状态空间大小$10^{37}$和控制空间大小$10^{7}$，分别）。最后，我们将我们的多智能体推出算法的积木在一个近似的政策迭代方案，连续推出的政策近似使用神经网络分类。虽然这个方案需要一个严格的离线实现，它在我们的计算实验中工作良好，并产生额外的显着性能改善的单一在线推出迭代方法。
2020-11-09 cs.AI cs.MA cs.RO
Individual specialization in multi-task environments with multiagent reinforcement learners
University Pompeu Fabra（庞培法布拉大学）；ICREA（加泰罗尼亚研究与高级研究中心）
多智能体强化学习（MARL）作为构建通用智能体的第一步，在其他智能体存在的非平稳复杂环境中学习做出低级和高级决策，受到越来越多的关注。以前的结果指出，我们对协调，效率/公平，和共同池资源共享的条件增加。我们进一步研究协调在多任务环境中，可以执行几个奖励任务，因此代理不一定需要在所有任务中表现良好，但在某些条件下可能会专门。从这项研究中得出的一个观察是，基于值的强化学习方法的贪婪探索对于多智能体独立学习器是不够的，因为控制选择随机动作的概率的参数控制人工智能体，并迫使它们同时具有确定性策略。通过使用具有独立熵正则化探索更新的基于策略的方法，我们实现了更好和更平滑的收敛。另一个需要进一步调查的结果是，随着代理人数量的增加，专业化倾向于更有可能。
2019-12-29 cs.AI cs.MA
Approximate Multiagent Reinforcement Learning for On-Demand Urban Mobility Problem on a Large Map (extended version)
Harvard University（哈佛大学）；Arizona State University（亚利桑那州立大学）
针对大地图多智能体出租车调度的计算瓶颈，提出按需求与资源分区、跨区 IA 再平衡并并行 rollout 的两阶段算法，证明稳定性条件并以更低耗时达到全图逐一 rollout 的性能。
2025-02-18 cs.AI cs.MA cs.RO
A Sufficient Statistic for Influence in Structured Multiagent Environments
Delft University of Technology（代尔夫特理工大学）；Nissan Technical Center North America（北美日产技术中心）；Massachusetts Institute of Technology（麻省理工学院）
在复杂环境中做出决策是人工智能（AI）的一个关键挑战。涉及多个决策者的情况是特别复杂的，导致计算棘手的原则性解决方案的方法。人工智能领域的一系列工作试图通过将交互提取到本质来缓解这个问题：一个代理的策略如何影响另一个代理？如果我们能找到这种影响的更紧凑的表示，这可以帮助我们处理复杂性，例如通过搜索影响的空间而不是政策的空间。然而，到目前为止，这些影响的概念在它们对相互作用的特殊情况的适用性方面受到了限制。在本文中，我们形式化的影响为基础的抽象（IBA），这有利于消除潜在的状态因素，而没有任何损失的价值，为一类非常一般的问题，描述为因子化的部分可观察的随机游戏（fPOSGs）。一方面，这概括了现有的影响力描述，因此可以作为基础，在复杂的多智能体设置决策的可扩展性和其他见解的改进。另一方面，由于其他代理的存在可以被看作是一个单一的代理设置的泛化，我们制定的IBA也提供了一个足够的统计决策抽象下的一个单一的代理。我们还详细讨论了与这些以前的作品的关系，确定了这些方法的新见解和解释。通过这些方式，本文加深了我们对抽象的理解，在广泛的顺序决策设置，为一大类问题的新方法和算法提供了基础。
2021-03-01 cs.AI cs.MA
Learning Hierarchical Teaching Policies for Cooperative Agents
MIT-LIDS（麻省理工学院信息与决策系统实验室）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Research（IBM研究院）
当代理有效地与他们的同伴交换知识时，集体学习可以大大增强。特别是，最近研究学习教导其他队友的代理的工作表明，行动建议加速了团队范围的学习。然而，先前的工作已经通过使用简单的函数近似简化了建议策略的学习，并且仅考虑了具有原始（低级）动作的建议，从而限制了学习和教学到复杂域的可扩展性。本文介绍了一种新的学习教的框架，称为分层多智能体教学（HMAT），提高了可扩展性，复杂的环境中使用的学生政策的深层表示，并通过建议更有表现力的扩展动作序列在多个层次的时间抽象。我们的实证评估表明，HMAT提高了团队范围内的学习进展，在大型，复杂的领域，以前的方法失败。HMAT还学习教学策略，可以有效地将知识传递给具有不同任务知识的不同队友，即使队友具有异构的行动空间。
2020-05-18 cs.AI cs.LG cs.MA
Breaking the Curse of Multiagents in a Large State Space: RL in Markov Games with Independent Linear Function Approximation
University of Washington（华盛顿大学）；University of Maryland, College Park（马里兰大学帕克分校）
针对大状态空间多智能体强化学习，提出独立线性马尔可夫博弈模型及新算法，以多项式样本复杂度学习均衡，打破多智能体诅咒，并改进表格情形下的最优结果。
2023-06-21 cs.AI cs.GT cs.LG
An Empirical Study on the Practical Impact of Prior Beliefs over Policy Types
The University of Edinburgh（爱丁堡大学）；Masdar Institute of Science and Technology（马斯达尔科学技术学院）
许多多智能体应用程序需要一个代理快速学习如何与以前未知的其他代理进行交互。为了解决这个问题，研究人员研究了学习算法，该算法根据观察到的其他代理的行为，在假设的一组策略上计算后验信念。先验信念补充了后验信念，先验信念在观察到任何行动之前指定了政策的主观可能性。在本文中，我们提出了第一个全面的实证研究的实际影响的先验信念的政策在重复的互动。我们表明，事先的信念可以有一个显着的影响，这种方法的长期性能，影响的大小取决于深度的规划视野。此外，我们的研究结果表明，自动方法可以用来计算先验信念与一致的性能效果。这表明先验信念可以作为手动参数被消除，而是自动计算。
2019-07-10 cs.AI cs.MA
Multi Agent Path Finding using Evolutionary Game Theory
University of Southern California（南加州大学）
在本文中，我们考虑的路径发现问题的一组同质和自主智能体导航先前未知的随机环境。在我们的问题设置中，每个代理试图最大化给定的效用函数，同时尊重安全属性。我们的解决方案基于进化博弈论的思想，即复制表现良好的政策，减少表现不佳的政策。我们做了一个全面的比较与相关的多智能体规划方法，并表明，我们的技术击败最先进的RL算法在最小化路径长度近30%，在大空间。我们表明，我们的算法在计算上比深度RL方法快至少一个数量级。我们还表明，它的规模更好地与代理数量的增加相比，其他方法，特别是路径规划方法。最后，我们经验证明，我们学习的政策是进化稳定的，因此不受任何其他政策的入侵。
2022-12-05 cs.AI cs.GT cs.MA
Learning Individual Policies in Large Multi-agent Systems through Local Variance Minimization
Institute of High Performance Computing, Agency for Science, Technology and Research（高性能计算研究所，科技研究局）；School of Computing and Information Systems, Singapore Management University（新加坡管理大学计算与信息系统学院）
在具有大量代理的多代理系统中，通常每个代理对其他代理的价值的贡献是最小的（例如，聚合系统，例如Uber、Umboo）。在本文中，我们考虑这样的多智能体系统中，每个代理是自私的，并采取了一系列的决定，并表示为一个随机非原子拥塞游戏（SNCG）。我们得到了非原子和几乎非原子的SNCG模型平衡解的关键性质。有了这些关键的平衡属性，我们提供了一种新的多智能体强化学习（MARL）机制，最大限度地减少在同一状态下的代理值之间的差异。为了证明这种新机制的实用性，我们提供了一个真实世界的出租车数据集和聚合系统的通用模拟器的详细结果。我们表明，我们的方法减少了出租车司机收入的差异，同时仍然提供更高的联合收入比领先的方法。
2022-12-27 cs.AI cs.MA
Agile Flight Emerges from Multi-Agent Competitive Racing
University of Rome Tor Vergata（罗马大学Tor Vergata）；University of Pennsylvania（宾夕法尼亚大学）
本研究通过多智能体竞争训练，发现稀疏奖励足以让智能体实现现实中的敏捷飞行和策略控制。
2026-03-03 cs.AI cs.MA cs.RO
The Advantage Regret-Matching Actor-Critic
DeepMind；University of Alberta（阿尔伯塔大学）；NYU（纽约大学）
遗憾最小化在在线学习、博弈均衡计算和强化学习（RL）中起着关键作用。在本文中，我们描述了一个通用的无模型强化学习方法，基于对过去行为的反复反思。我们提出了一种无模型的RL算法，即ARMAC（Reputation-Matching Actor-Critic）：ARMAC保存了过去的策略缓冲区，而不是保存过去的状态-动作数据，通过它们重播以重建对过去行为的事后评估。这些追溯值估计被用来预测条件优势，结合遗憾匹配，产生一个新的政策。特别是，ARMAC从集中训练环境中的采样轨迹中学习，而不需要应用蒙特卡洛反事实遗憾（CFR）最小化中常用的重要性采样;因此，它不会在大环境中受到过度方差的影响。在单智能体环境中，ARMAC通过保持过去的策略不变，展示了一种有趣的探索形式。在多智能体环境中，ARMAC在自我游戏中接近纳什均衡，在一些部分可观察的零和基准。我们提供了利用率估计，在显着更大的游戏投注抽象无限制德州扑克。
2020-08-27 cs.AI cs.LG
Distributed Air Traffic Control : A Human Safety Perspective
Centre for Modeling and Simulation（建模与仿真中心）；University of Pune（浦那大学）
到目前为止，空中交通管制中的问题已经被解决，目的是提高资源利用率，并实现关于飞机燃料消耗的优化解决方案，在各种动态约束下有效利用可用空域，使拥塞相关损失最小化。因此，我们的重点几乎总是更多地放在更智能的交通管理上，以增加利润，而我们认为，尽管在这个过程中实现了人类安全，但仍然没有得到足够的重视。鉴于我们每天管理数百个机场和数千架飞机的空中交通管制员负担过重，这一点变得更加重要。我们提出了一个基于多智能体系统的分布式方法来处理空中交通，确保完整的人类（乘客）的安全，而不删除任何人类（地面控制器）的循环，从而也保留了早期的优势，在新的解决方案。代理系统的详细设计，这将是很容易与现有的环境接口，描述。根据我们从模拟中获得的初步发现，我们坚信该系统能够处理所涉及的细微差别，并且可以在以后的任何时间点进行扩展和定制。
2011-09-30 cs.AI cs.MA
Evolutionary Reinforcement Learning for Sample-Efficient Multiagent Coordination
Intel Labs（英特尔实验室）；University of California, Irvine（加州大学欧文分校）；Oregon State University（俄勒冈州立大学）
许多协作多智能体强化学习环境为智能体提供稀疏的基于团队的奖励，以及激励学习基本技能的密集的特定于智能体的奖励。由于其稀疏性，仅基于团队奖励的训练策略通常是困难的。此外，仅仅依赖于代理特定的奖励是次优的，因为它通常不能捕获团队协调目标。一种常见的方法是使用奖励塑造通过组合各个奖励来构造代理奖励。但是，这需要针对每个环境进行手动调优。我们引入了多智能体进化强化学习（MERL），这是一个分层训练平台，通过两个优化过程分别处理这两个目标。进化算法通过对团队群体的神经进化来最大化稀疏的基于团队的目标。同时，一个基于梯度的优化器训练策略，只最大化密集的特定于代理的奖励。基于梯度的策略被周期性地添加到进化种群中，作为两个优化过程之间的信息传递的一种方式。这使得进化算法能够使用通过代理特定奖励学习的技能来优化全局目标。结果表明，MERL显着优于国家的最先进的方法，如MADDPG，在一些困难的协调基准。
2020-06-11 cs.AI cs.LG cs.MA
Real-Time Network-Level Traffic Signal Control: An Explicit Multiagent Coordination Method
Southeast University（东南大学）；University of Science and Technology of China（中国科学技术大学）
针对交通信号控制的实时性、交通动态复杂性及路网级协调难题，提出基于显式多智能体协调的在线规划方法，可保证路网稳定性，在适配实时动态、降低行程时间和城市级可扩展性上优于现有方法。
2023-06-15 cs.AI cs.MA
Cooperative Advisory Residual Policies for Congestion Mitigation
The University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Massachusetts Institute of Technology（麻省理工学院）
针对现有自动驾驶车队拥堵缓解方法依赖精确车队控制、部署成本高、未考虑驾驶员行为不确定性的问题，研究提出协作建议式残差策略，仅需单辆有人驾驶车辆，结合改进奖励函数与无监督学习的驾驶员特质实现个性化，经仿真和用户研究验证可有效缓解拥堵且适配人类驾驶员。
2024-06-30 cs.AI cs.LG
Surge Routing: Event-informed Multiagent Reinforcement Learning for Autonomous Rideshare
Harvard University（哈佛大学）
针对大型活动导致的网约车需求激增，提出结合活动文本信息预测与多智能体强化学习的路由框架，在纽约市真实数据上使等待时间开销降低25%-75%，接单量提升1%-4%。
2024-01-24 cs.AI cs.MA cs.RO
PeRP: Personalized Residual Policies For Congestion Mitigation Through Co-operative Advisory Systems
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Massachusetts Institute of Technology（麻省理工学院）
针对PC策略忽略驾驶员差异的问题，本文提出以变分自编码器推断指令遵从特质、并用个性化残差策略调整建议的PeRP协同咨询系统，在仿真中使平均速度较基线提升4%至22%。
2023-08-15 cs.AI cs.LG cs.RO
Impact of RoCE Congestion Control Policies on Distributed Training of DNNs
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Georgia Institute of Technology（佐治亚理工学院）；Meta
融合以太网上的RDMA（RoCE）由于其与传统的基于以太网的结构的兼容性而对于数据中心网络具有显著的吸引力。然而，RDMA协议仅在（几乎）无损网络上有效，强调了拥塞控制在RoCE网络上的重要作用。然而，基于优先级流控制（PFC）的本地RoCE拥塞控制方案存在许多缺点，例如不公平性、线头阻塞和死锁。因此，近年来已经提出了许多方案来为RoCE网络提供附加的拥塞控制，以最小化PFC缺点。然而，这些方案是针对一般数据中心环境提出的。与使用商用硬件构建并运行通用工作负载的一般训练中心相比，高性能分布式训练平台部署高端加速器和网络组件，并使用集体（All-Reduce，All-To-All）通信库进行通信来专门运行训练工作负载。此外，这些平台通常有一个专用网络，将其通信流量与数据中心的其余流量分开。可扩展的拓扑感知集体算法本质上是为了避免incast模式和最佳平衡流量而设计的。这些独特的功能需要重新访问以前提出的通用数据中心环境的拥塞控制计划。在本文中，我们深入分析了一些SOTA RoCE拥塞控制方案与PFC在分布式训练平台上运行时。我们的研究结果表明，以前提出的RoCE拥塞控制计划的训练工作负载的端到端的性能影响不大，激励的必要性，设计一个优化的，但低开销，拥塞控制计划的基础上的分布式训练平台和工作负载的特点。
2022-07-22 cs.AI cs.NI
Traffic Management of Autonomous Vehicles using Policy Based Deep Reinforcement Learning and Intelligent Routing
Pakistan Institute of Engineering and Applied Sciences（巴基斯坦工程与应用科学学院）；Carleton University（卡尔顿大学）
深度强化学习（DRL）使用多样化的非结构化数据，使RL能够在高维环境中学习复杂的策略。基于自主车辆的智能交通系统（ITS）为基于策略的日间行车提供了一个很好的平台。深度学习架构解决了传统算法的计算挑战，同时有助于AV的实际采用和部署。自动驾驶汽车实施的主要挑战之一是，如果不可靠和有效地管理，它可能会加剧道路上的交通拥堵。考虑每辆车的整体影响，使用高效可靠的技术，可以真正帮助优化交通流量管理和减少拥堵。为此，我们提出了一个智能交通控制系统，处理复杂的交通拥堵的情况下，在交叉口和交叉口后面。提出了一种基于日间行车灯的信号控制系统，该系统能够根据交叉口当前的拥堵状况动态调整交通信号。针对交叉口后道路的拥堵问题，采用重路由技术对路网中的车辆进行负载均衡。为了实现所提出的方法的实际好处，我们打破了数据孤岛，并结合使用来自传感器、探测器、车辆和道路的所有数据，以实现可持续的结果。我们使用SUMO微模拟器进行模拟。我们所提出的方法的意义体现在结果。
2022-06-28 cs.AI cs.LG
Bayesian Critique-Tune-Based Reinforcement Learning with Adaptive Pressure for Multi-Intersection Traffic Signal Control
School of Mathematical Sciences, Shanghai Jiao Tong University（上海交通大学数学科学学院）
本文提出BCT-APLight方法，通过贝叶斯批判-调优框架和自适应压力机制改进多路口交通信号控制中的强化学习策略，在七个真实数据集上显著降低队列长度和等待时间。
2024-12-25 cs.AI cs.LG cs.MA
Prompt to Transfer: Sim-to-Real Transfer for Traffic Signal Control with Prompt Learning
Arizona State University（亚利桑那州立大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出PromptGAT，利用LLM通过完形填空提示建模天气、交通状态和道路类型对动态的影响，将仿真策略动作接地到现实，并用DQN验证其可缓解TSC的sim-to-real差距。
2024-01-20 cs.AI
