Round-Robin is Provably Near-Optimal for Minimizing Age with HARQ over Heterogeneous Unreliable Multiaccess Channels
在异构不可靠多址接入网络中，其中终端共享具有不同错误概率的公共无线信道，现有工作已经表明，持久轮询（RR-P）调度策略（即，贪婪策略）在标准自动重传请求（ARQ）下的信息年龄（AoI）方面可能任意地比最优差，并且必须求助于Whittle的索引方法来获得最优AoI。在本文中，实际的混合自动重传请求（HARQ）计划，这是广泛使用的，在今天的无线网络被认为是。我们表明，RR-P是非常接近最佳的渐近许多终端在这种情况下，通过显式推导出紧密的，封闭形式的AoI之间的差距，最佳和可实现的AoI RR-P。特别是，它是严格证明，RR-P，在HARQ模型有关衰落信道（分别）。有限嵌段长度区域），与最佳值相比的相对AoI间隙在$(\sqrt{e}-1)^2/4\sqrt{e} \cong 6.4\%$的常数内（相应地，误差指数衰减率为$0.5$的$6.2\%$）。此外，RR-P具有实现简单、通道未知和易于分散操作的明显优势，这使其在实践中非常有利。
2020-10-21 cs.IT cs.NI math.IT
Age of Information with Hybrid-ARQ: A Unified Explicit Result
Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））；University of Windsor（温莎大学）
该研究针对5G NR标准化的两类HARQ技术，在含多类延迟的编码状态更新系统下推导统一的AoI闭式表达式，构建有限块长下的年龄最优码块分配问题，发现主动式HARQ在年龄性能与鲁棒性上更优。
2022-04-04 cs.IT cs.SY eess.SY
Learning-Based Rich Feedback HARQ for Energy-Efficient Uplink Short Packet Transmission
针对上行短分组传输中可靠性、时延与能效的权衡，提出基于强化学习的自适应富反馈 HARQ 方案 RAF，将复杂度移至接收端并请求特定符号编码重传，仿真显示其性能更优且具备调制与信道泛化能力。
2025-02-17 cs.IT eess.SP math.IT
MAGNet: Multi-agent Graph Network for Deep Multi-agent Reinforcement Learning
JetBrains Research（JetBrains研究院）；National Research University Higher School of Economics（国立研究型大学高等经济学院）；L3S Research Center（L3S研究中心）；Leibniz University Hannover（汉诺威莱布尼茨大学）
近年来，深度强化学习在复杂的单智能体任务中取得了巨大的成功，最近这种方法也被应用于多智能体领域。在本文中，我们提出了一种新的方法，称为磁网，多智能体强化学习，利用相关图表示的环境中获得的自我注意机制，和消息生成技术。我们将我们的MAGnet方法应用于合成的捕食者-猎物多智能体环境和Pommerman游戏，结果表明它显着优于最先进的MARL解决方案，包括多智能体深度Q网络（MADQN），多智能体深度确定性策略梯度（MADDPG）和QMIX
2020-12-17 cs.LG
Deep Reinforcement Learning with Surrogate Agent-Environment Interface
Wayne State University（韦恩州立大学）
本文提出了一种强化学习中的代理-环境接口（SAEI）。我们还指出，基于概率代理Agent-环境接口的学习提供了任务Agent-环境接口的最优策略。引入代理概率行为，提出了基于SAEI的概率代理行为确定性策略梯度（PSADPG）算法。该算法实现了对离散动作的连续控制。实验表明，PSADPG在初始训练阶段具有随机最优策略的性质，在某些任务上达到了DQN的性能。
2017-11-10 cs.LG
Celebrating Diversity in Shared Multi-Agent Reinforcement Learning
Tsinghua University（清华大学）
最近，深度多智能体强化学习（MARL）已经显示出解决复杂协作任务的前景。它的成功部分是因为代理之间的参数共享。然而，这种共享可能会导致代理人的行为相似，并限制他们的协调能力。在本文中，我们的目标是在共享多智能体强化学习的优化和表示中引入多样性。具体来说，我们提出了一个信息理论正则化，以最大限度地提高代理的身份和他们的轨迹之间的互信息，鼓励广泛的探索和多样化的个性化行为。在表示中，我们将代理特定的模块中的共享神经网络架构，这是正规化的L1范数，以促进学习共享的代理，同时保持必要的多样性。实证结果表明，我们的方法在Google Research Football和超级硬的星际争霸II微观管理任务上实现了最先进的性能。
2021-11-01 cs.LG
Deception in Social Learning: A Multi-Agent Reinforcement Learning Perspective
University of Edinburgh（爱丁堡大学）
在多智能体强化学习的框架内，社会学习是一类新的算法，它使智能体能够重塑其他智能体的奖励函数，以促进合作并在混合动机游戏中获得更高的全局奖励。然而，这种新的修改允许代理前所未有地访问彼此的学习过程，这可能会大大增加操纵的风险，当代理没有意识到它被欺骗采取实际上不符合自己最佳利益的政策时。本研究综述介绍了问题陈述，定义了关键概念，批判性地评估了现有的证据，并解决了在未来的研究中应该解决的开放问题。
2021-06-09 cs.LG
Deep Reinforcement Learning Radio Control and Signal Detection with KeRLym, a Gym RL Agent
Virginia Polytechnic Institute and State University（弗吉尼亚理工学院暨州立大学）
本文介绍了正在进行的研究，调查的可行性和适应性的强化学习使用深度神经网络为基础的功能近似的无线电控制和信号检测在无线领域的任务。我们展示了一个成功的无线电控制的初始方法，它允许天真的学习搜索，而不需要专家的功能，技巧，或搜索策略。我们还介绍了Kerlym，这是一个开放的基于Keras的强化学习代理集合，用于OpenAI的Gym。
2016-05-30 cs.LG
Average Age of Information with Hybrid ARQ under a Resource Constraint
调度的状态更新的传输在一个容易出错的通信信道进行了研究，以尽量减少长期平均年龄的信息（AoI）在目的地，在源节点的平均资源约束下，这限制了平均传输次数。在每次传输之后，源接收瞬时ACK/NACK反馈，并决定下一次更新，而无需关于未来传输成功的先验知识。在不同的反馈机制下，特别是，标准的自动重传请求（ARQ）和混合ARQ（HARQ）协议的最优调度策略进行了研究。当HARQ系统的错误概率未知时，提出了平均成本强化学习算法。
2018-12-05 cs.IT math.IT
REIN-2: Giving Birth to Prepared Reinforcement Learning Agents Using Reinforcement Learning Agents
Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）
深度强化学习（Deep RL）在过去几年中一直备受关注，因为它能够解决传统机器学习方法无法解决的问题。然而，即使是最先进的Deep RL算法也有各种弱点，使其无法在行业应用中广泛使用，其中一个主要弱点是它们的样本效率低下。为了解决这些问题，我们集成了一种元学习技术，以便将学习解决任务的目标转变为学习如何学习解决任务（或一组任务）的目标，我们根据经验表明，这提高了深度RL算法的整体稳定性和性能。我们的模型名为REIN-2，是在RL框架内制定的元学习方案，其目标是开发一个元RL代理（元学习者），学习如何产生能够解决给定环境的其他RL代理（内部学习者）。对于这项任务，我们将RL代理与环境的典型交互转换为一个新的，单一的环境，供元学习者进行交互。与传统的最先进的Deep RL算法相比，实验结果表明，我们的模型在流行的OpenAI Gym环境中在评分和样本效率方面表现出色，包括Mountain Car硬探索环境。
2022-05-11 cs.LG
Group-Agent Reinforcement Learning
The University of Manchester（曼彻斯特大学）
本文形式化了多个独立智能体仅共享知识的群体智能体强化学习（GARL）场景，提出第三类RL系统及去中心化分布式异步学习框架DDAL，实验验证其性能稳定且可扩展。
2023-09-30 cs.LG
Group-Agent Reinforcement Learning with Heterogeneous Agents
The University of Manchester（曼彻斯特大学）
针对异构多智能体场景，本文提出新的GARL群体学习机制，指导智能体异步共享动作、策略与价值模型，并在43款Atari游戏上验证其显著加速和奖励提升。
2025-02-15 cs.LG
Agent-Time Attention for Sparse Rewards Multi-Agent Reinforcement Learning
Stanford University（斯坦福大学）；Microsoft（微软）
稀疏和延迟的奖励对单智能体强化学习提出了挑战。这种挑战在多智能体强化学习（MARL）中被放大，其中这些奖励的信用分配不仅需要跨时间发生，而且还需要跨智能体发生。我们提出了代理时间注意力（ATA），辅助损失的神经网络模型重新分配稀疏和延迟的奖励协作MARL。我们提供了一个简单的例子，演示了如何提供代理自己的本地重新分配的奖励和共享的全球重新分配的奖励激励不同的政策。我们扩展了几个MiniGrid环境，特别是MultiRoom和DoorKey，多代理稀疏延迟奖励设置。我们证明，ATA优于这些环境中的许多实例的各种基线。实验的源代码可在https://github.com/jshe/agent-time-attention获得。
2022-10-31 cs.LG cs.MA
Optimizing Market Making using Multi-Agent Reinforcement Learning
本文将强化学习应用于做市优化问题。一个多智能体强化学习框架被用来最佳地放置限价订单，导致成功的交易。该框架由两个代理组成。宏观主体优化购买、出售或持有资产的决策。微代理优化在限价订单簿内下限价订单。在本文的背景下，所提出的框架在比特币加密货币市场上应用和研究。本文的目的是表明强化学习是一种可行的策略，可以应用于复杂的问题（复杂的环境），如做市。
2018-12-26 cs.LG q-fin.TR stat.ML
Optimization for Reinforcement Learning: From Single Agent to Cooperative Agents
University of Illinois at Urbana-Champaign (UIUC)（伊利诺伊大学厄巴纳-香槟分校）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
本文综述了多智能体强化学习算法在大规模控制系统和通信网络中的最新进展，这些算法学习通信和协作。我们提供了一个概述这一新兴领域，重点是在不同的协调协议下的分散设置。从分布式优化的角度，我们强调了强化学习算法从单智能体到多智能体系统的演变，并总结了未来的方向和挑战，希望能促进分布式优化，信号处理和强化学习社区之间不断增长的协同作用。
2019-12-01 cs.AI cs.LG cs.MA
Task Adaptation of Reinforcement Learning-based NAS Agents through Transfer Learning
University of Antwerp（安特卫普大学）；imec；IDLab - Faculty of Applied Engineering（IDLab - 应用工程学院）
本文评估基于强化学习的NAS智能体在Trans-NASBench-101基准上的任务迁移能力，发现预训练能提升除1个任务外的最终性能并显著缩短训练时间，有效降低初始计算成本。
2024-12-19 cs.LG
Multi-Agent Adversarial Inverse Reinforcement Learning
Stanford University（斯坦福大学）
强化学习智能体由于奖励错误指定而容易出现不期望的行为。在多智能体场景中，找到一组奖励函数来正确地指导智能体行为是特别具有挑战性的。逆强化学习提供了一个框架，自动获取合适的奖励功能，从专家的示范。然而，由于理性行为的概念更为复杂，将其扩展到多代理设置是困难的。在本文中，我们提出了MA-AIRL，一个新的框架，多智能体逆强化学习，这是有效的和可扩展的马尔可夫游戏的高维状态-动作空间和未知的动态。我们推导出我们的算法的基础上一个新的解决方案的概念和最大pseudolikestimation内的对抗性奖励学习框架。在实验中，我们证明了MA-AIRL可以恢复与地面实况高度相关的奖励函数，并且在策略模仿方面显着优于先前的方法。
2019-07-30 cs.LG stat.ML
Distributed Transmission Control for Wireless Networks using Multi-Agent Reinforcement Learning
Marconi-Rosenblatt AI/ML Innovation Lab（马可尼-罗森布拉特人工智能/机器学习创新实验室）；ANDRO Computational Solutions（ANDRO计算解决方案公司）
我们研究传输控制的问题，即，何时传输，在分布式无线通信网络中通过多智能体强化学习的镜头。大多数使用强化学习来控制或调度传输的其他作品使用一些集中式控制机制，而我们的方法是完全分布式的。每个发送器节点是独立的强化学习代理，并且不直接知道其他代理所采取的动作。我们考虑的情况下，只有一个子集的代理可以成功地传输在同一时间，所以每个代理必须学会与其他代理合作。一个代理可以决定在未来传输一定数量的步骤，但是这个决定不会被传达给其他代理，所以各个代理的任务是在适当的时候尝试传输。我们通过研究不同动作空间的影响来实现这种协作行为。我们对物理层是不可知的，这使得我们的方法适用于许多类型的网络。我们认为，类似于我们的方法可能是有用的，在其他领域，使用独立的代理多智能体强化学习。
2022-05-13 cs.LG cs.NI
Poisoning Deep Reinforcement Learning Agents with In-Distribution Triggers
Johns Hopkins University（约翰斯·霍普金斯大学）；Applied Physics Lab（应用物理实验室）
在本文中，我们提出了一种新的数据投毒攻击，并将其应用于深度强化学习代理。我们的攻击集中在我们所谓的分布内触发器上，这些触发器是模型将在其上训练和部署的数据分布的本地触发器。我们概述了一个简单的过程，用于在多任务学习范式下将这些和其他触发器嵌入深度强化学习代理中，并在三个常见的强化学习环境中进行演示。我们相信这项工作对深度学习模型的安全性具有重要意义。
2021-06-14 cs.CR cs.LG
Scalable Centralized Deep Multi-Agent Reinforcement Learning via Policy Gradients
GRASP Laboratory（GRASP实验室）；University of Pennsylvania（宾夕法尼亚大学）
在本文中，我们将探索使用深度强化学习来解决多智能体问题。大多数现有的深度多智能体强化学习方法只考虑少量的智能体。当代理数量增加时，输入和控制空间的维数也会增加，这些方法的扩展性不好。为了解决这个问题，我们建议铸造的多智能体强化学习问题作为一个分布式优化问题。我们的算法假设，对于多代理设置，在一个给定的人口中的各个代理的政策生活在参数空间中彼此接近，可以近似为一个单一的政策。有了这个简单的假设，我们证明了我们的算法是非常有效的强化学习在多智能体设置。我们证明了其有效性对现有的可比方法的合作和竞争的任务。
2018-05-22 cs.AI cs.LG cs.MA
Reinforcement Learning Agents in Colonel Blotto
模型和游戏是世界的简化表示。有许多不同类型的模型，在复杂性和它们允许我们进一步理解世界的哪个方面上都有所不同。在本文中，我们专注于一个具体的例子，基于代理的模型，它使用强化学习（RL）训练代理如何在其环境中采取行动。强化学习代理通常也是马尔可夫过程，这是另一种可以使用的模型。我们在Colonel Blotto环境中测试了这个强化学习代理，并将其与随机代理作为对手来衡量其性能。我们发现，RL代理轻松击败一个单一的对手，仍然表现得很好，当对手的数量增加。我们还分析了RL代理，并通过查看它给出的最高和最低Q值的动作来查看它已经达到了什么策略。有趣的是，与多个对手博弈的最优策略几乎与与单个对手博弈的最优策略完全相反。
2022-04-04 cs.AI cs.LG
Godot Reinforcement Learning Agents
我们介绍了Godot强化学习（RL）代理，这是一个用于在Godot游戏引擎中开发环境和代理的开源接口。Godot RL Agents界面允许在具有挑战性的2D和3D环境中使用各种策略内和策略外Deep RL算法设计、创建和学习代理行为。我们提供了一个标准的Gym接口，以及用于在Ray RLlib和Stable Baselines RL框架中学习的包装器。这允许用户访问超过20种最先进的on-policy，off-policy和multi-agent RL算法。该框架是一个多功能的工具，使研究人员和游戏设计师能够创建具有离散，连续和混合动作空间的环境。该接口性能相对较高，在4个CPU内核上并行化时，在高端的膝上计算机上每秒可进行12 k次交互。概览视频可在此处获得：https://youtu.be/g1MlZSFqIj4
2021-12-07 cs.LG
Toward Policy Explanations for Multi-Agent Reinforcement Learning
University of Virginia（弗吉尼亚大学）；Bar-Ilan University（巴伊兰大学）
多智能体强化学习（MARL）的进步使一系列令人兴奋的多智能体应用（如协作AI和自动驾驶）能够进行顺序决策。解释代理决策对于提高系统透明度，提高用户满意度和促进人类-代理协作至关重要。然而，现有的可解释的强化学习的工作主要集中在单智能体设置，不适合解决多智能体环境所带来的挑战。我们提出了新的方法来产生两种类型的政策解释MARL：（一）政策总结的代理合作和任务序列，和（ii）语言解释回答查询代理行为。三个MARL域上的实验结果证明了我们的方法的可扩展性。一项用户研究表明，生成的解释显着提高用户的性能，并增加主观评分的指标，如用户满意度。
2022-05-23 cs.AI cs.LG
Complementary reinforcement learning towards explainable agents
Allen Institute for Brain Science（艾伦脑科学研究所）
强化学习（RL）算法允许智能体学习技能和策略来执行复杂的任务，而无需详细的指令或昂贵的标记训练样本。也就是说，RL代理可以像我们学习一样学习。鉴于学习在我们智能中的重要性，RL被认为是通用人工智能的关键组成部分之一，最近在深度强化学习方面的突破表明，神经网络（NN）是RL代理的天然平台。然而，尽管基于NN的RL代理的效率和通用性，它们的决策仍然是不可理解的，降低了它们的效用。为了将RL部署到更广泛的应用中，必须开发可解释的基于NN的RL代理。在这里，我们提出了一种方法，从一个基于NN的RL代理，其决策是基于简单的规则派生出一个二级可理解的代理。我们的经验评估，这个二级代理的性能支持使用基于NN的RL代理建立一个可理解的和透明的代理的可能性。
2019-01-24 cs.LG stat.ML
K-nearest Multi-agent Deep Reinforcement Learning for Collaborative Tasks with a Variable Number of Agents
Hitachi Industrial AI Lab（日立工业人工智能实验室）
传统上，多智能体深度强化学习算法的性能是在游戏环境中展示和验证的，在游戏环境中，我们通常有固定数量的智能体。在许多工业应用中，可用试剂的数量可以在任何给定的一天改变，并且即使当试剂的数量提前已知时，试剂在操作期间中断并且在一段时间内变得不可用也是常见的。在本文中，我们提出了一种新的深度强化学习算法的多智能体协作任务与可变数量的代理。我们演示了我们的算法使用日立开发的车队管理模拟器在生产现场生成逼真的场景中的应用。
2022-01-18 cs.AI cs.LG cs.MA
Multi-Agent Reinforcement Learning for Autonomous UAV Exploration in Wildfire Response
本研究提出深度强化学习框架训练无人机智能体在模拟野火环境中导航监测，实验显示其行为稳定有效，凸显DRL无人机系统在自主野火监测中的潜力。
2026-09-10 cs.LG cs.RO
Agent-Agnostic Human-in-the-Loop Reinforcement Learning
Brown University（布朗大学）；AI Impacts；Stanford University（斯坦福大学）；University of Oxford（牛津大学）
为强化学习代理提供专家建议可以显著改善学习的各个方面。以前的工作已经开发出教学协议，使代理在复杂的环境中有效地学习，这些方法中的许多定制教师的指导代理与特定的表示或底层的学习计划，提供有效的，但专门的教学程序。在这项工作中，我们探讨协议程序，一个代理不可知的模式，人在回路强化学习。我们的目标是将人类教师的有益特性融入强化学习中，而不对代理的内部工作原理做出强烈的假设。我们将展示如何表示现有的方法，如动作修剪，奖励塑造，并在模拟训练作为我们的模式的特殊情况下，并进行初步的实验简单的域。
2017-01-15 cs.AI cs.LG
Failure-Scenario Maker for Rule-Based Agent using Multi-agent Adversarial Reinforcement Learning and its Application to Autonomous Driving
IBM Research AI（IBM研究AI）
我们研究的问题，对抗性强化学习的多代理域，包括基于规则的代理。基于规则的算法在安全关键型应用中是必需的，以便它们在各种情况下都能正常工作。因此，尽一切努力在开发阶段找到故障场景。然而，随着软件变得复杂，查找失败案例变得困难。特别是在多智能体领域，如自动驾驶环境，很难找到有用的故障场景，帮助我们改进算法。我们提出了一种方法，有效地找到失败的情况下，这种方法使用多智能体强化学习训练的对抗代理，这样测试的基于规则的代理失败。我们使用一个简单的环境和自动驾驶模拟器证明了我们所提出的方法的有效性。
2019-05-25 cs.AI cs.LG cs.RO
Cooperative Heterogeneous Deep Reinforcement Learning
AAII,University of Technology Sydney（悉尼科技大学AAII）；National University of Singapore（新加坡国立大学）；Data61, CSIRO（澳大利亚联邦科学与工业研究组织数据61研究所）
已经提出了许多深度强化学习代理，每个代理都有其优点和缺陷。在这项工作中，我们提出了一个合作异构深度强化学习（CHDRL）框架，可以通过整合异构代理的优势来学习策略。具体来说，我们提出了一个协作学习框架，异构代理分为两类：全球代理和本地代理。全局代理是可以利用其他代理的经验的非策略代理。本地代理是基于策略的代理或基于种群的进化算法（EA）代理，可以有效地探索本地区域。我们采用样本有效的全局代理来指导本地代理的学习，以便本地代理可以从样本有效代理中受益并同时保持其优势，例如，稳定全球代理商也受益于有效的本地搜索。对Mujoco基准的一系列连续控制任务的实验研究表明，与最先进的基线相比，CHDRL实现了更好的性能。
2020-11-02 cs.AI cs.LG
Interaction-Aware Multi-Agent Reinforcement Learning for Mobile Agents with Individual Goals
Carnegie Mellon University（卡内基梅隆大学）；Honda Research Institute USA（美国本田研究所）
在多智能体环境中，单个智能体的最优策略在很大程度上取决于其他智能体的行为。我们研究了多智能体强化学习的问题，专注于分散学习的非平稳域的移动机器人导航。我们确定了一个原因的训练非平稳政策的困难：相互适应次优行为，我们用它来激励一个基于学习策略的互动政策。课程分为两个阶段。首先，代理利用策略梯度算法来学习能够实现多个目标的策略。其次，代理学习修改器策略，以学习如何在多代理设置中与其他代理交互。我们评估了我们的方法在自动驾驶换道域和机器人导航域。
2019-09-27 cs.AI cs.LG
Lineage Evolution Reinforcement Learning
提出了一种通用的智能体群体学习系统，并在此基础上提出了谱系进化强化学习算法。谱系进化强化学习是一种符合一般智能体群体学习系统的衍生算法。我们将DQN及其相关变体中的智能体作为种群中的基本智能体，将遗传算法中的选择、变异和交叉模块加入到强化学习算法中。在Agent进化过程中，我们参考自然遗传行为的特点，加入世系因子以保证Agent潜在性能的保留，在评价Agent性能时综合考虑当前性能和世系值。谱系进化强化学习在不改变原有强化学习算法参数的情况下，可以优化不同的强化学习算法。实验结果表明，在Atari 2600的部分游戏中，血统进化的思想提高了原有强化学习算法的性能。
2020-09-26 cs.AI cs.LG cs.MA
Learning to Coordinate Multiple Reinforcement Learning Agents for Diverse Query Reformulation
New York University（纽约大学）；Google AI Language（谷歌人工智能语言部门）
我们提出了一种方法，有效地学习不同的策略，在强化学习查询重构的任务，文件检索和问答。在所提出的框架中，一个代理由多个专门的子代理和一个元代理，学习聚合子代理的答案，以产生最终的答案。子代理在训练数据的不相交分区上训练，而元代理在完整的训练集上训练。我们的方法使学习速度更快，因为它是高度并行化的，并且比强基线（例如在完整数据上训练的代理集成）具有更好的泛化性能。我们表明，改进的性能是由于增加了多样性的改写策略。
2018-12-25 cs.LG stat.ML
Dealing with Non-Stationarity in Multi-Agent Deep Reinforcement Learning
The University of Edinburgh（爱丁堡大学）
深度强化学习的最新发展涉及创建可以在各种复杂领域中表现良好的决策代理。一种受到越来越多关注的特定方法是多智能体强化学习，其中多个智能体同时学习以协调它们的动作。在这样的多代理环境中，由于代理的决策政策不断变化，会出现额外的学习问题。本文综述了近年来解决多智能体深度强化学习中非平稳性问题的研究成果。调查的方法范围从训练过程中的修改，如集中式训练，学习对手的政策，元学习，通信和分散式学习的表示。调查最后列出了一系列悬而未决的问题和未来可能的研究方向。
2019-06-11 cs.AI cs.LG cs.MA
Belief States for Cooperative Multi-Agent Reinforcement Learning under Partial Observability
Imperial College London（帝国理工学院）
本文提出利用自监督预训练的概率信念模型生成信念状态，并将其与基于状态的强化学习算法结合，以简化策略和价值函数学习，从而提升部分可观测条件下协作多智能体强化学习的收敛速度与最终性能。
2025-04-11 cs.AI cs.LG
Coach-assisted Multi-Agent Reinforcement Learning Framework for Unexpected Crashed Agents
University of Science and Technology of China（中国科学技术大学）；College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）
多智能体强化学习在实际应用中存在一定的困难，部分原因是仿真场景与现实场景之间存在差距。造成这种差距的一个原因是，模拟系统总是假设智能体可以一直正常工作，而在实际中，由于不可避免的硬件或软件故障，一个或多个智能体可能会在协调过程中意外“崩溃”。这种崩溃会破坏代理之间的合作，导致性能下降。在这项工作中，我们提出了一个正式制定的合作多智能体强化学习系统与意外的崩溃。为了提高系统的鲁棒性崩溃，我们提出了一个教练辅助的多智能体强化学习框架，它引入了一个虚拟教练代理调整训练过程中的崩溃率。我们设计了三种教练策略和教练代理的重采样策略。据我们所知，这项工作是第一个研究意外崩溃的多智能体系统。在网格世界和星际争霸II微观管理任务上的大量实验证明了自适应策略与固定崩溃率策略和课程学习策略相比的有效性。消融研究进一步说明了我们的重新采样策略的有效性。
2022-03-16 cs.LG cs.MA
Age Minimization in Massive IoT via UAV Swarm: A Multi-agent Reinforcement Learning Approach
Centre for Wireless Communications (CWC), University of Oulu（奥卢大学无线通信中心（CWC））
针对无人机集群服务大规模物联网带来的高维决策问题，本文采用多智能体深度强化学习最小化全网信息年龄，并证明协作与部分协作方案优于集中式方法。
2023-09-26 cs.AI cs.LG
Reinforcement Learning Agent for a 2D Shooter Game
Faculty for Mathematics（数学系）；Department of Electrical Engineering and Information Technology（电气工程与信息科技系）；IIIT at ETIT（ETIT的IIIT）
本文针对2D射击游戏中强化学习训练不稳定和样本效率低的问题，提出先行为克隆后强化学习的混合方法，并采用多头注意力网络，最终实现超过70%的稳定胜率。
2025-09-18 cs.AI cs.LG
Multi-agent navigation based on deep reinforcement learning and traditional pathfinding algorithm
我们开发了一个新的框架，多智能体避碰问题。该框架结合了传统的路径查找算法和强化学习。在我们的方法中，智能体通过在每个时间步通过强化学习训练的深度神经网络来学习是被导航还是采取简单的行动来避开他们的伙伴。该框架使代理能够在抽象的新场景中到达终点。在我们的实验中，我们使用Unity3D和Tensorflow为我们的场景构建模型和环境。我们分析结果，并修改参数，以接近我们的代理行为良好的战略。我们的策略可以在不同的环境下，在不同的情况下，特别是当规模较大。
2020-12-05 cs.LG cs.MA cs.RO
Adversary agent reinforcement learning for pursuit-evasion
College of Engineering, Peking University（北京大学工学院）；State Key Laboratory of Turbulence and Complex Systems（湍流与复杂系统国家重点实验室）；The Hong Kong University of Science and Technology（香港科技大学）
提出了一种基于对手智能体的强化学习环境，用于战争迷雾环境下的追逃博弈，具有重要的科学意义和实际应用价值.最流行的学习环境之一，星际争霸，在这里采用和相关的小游戏进行分析，以确定目前的限制，训练对手的代理。的主要贡献包括分析的潜在性能的代理，将控制和微分博弈理论到特定的强化学习环境，并通过扩展当前的星际争霸迷你游戏的对手代理挑战（SAAC）环境的发展。随后的研究展示了使用这种学习环境和有效性的对手代理规避单位。总的来说，拟议的SAAC环境应该有利于追捕逃避研究与快速出现的强化学习技术。最后但同样重要的是，可以在GitHub上找到相应的教程代码。
2021-08-25 cs.AI cs.LG
Consensus Multi-Agent Reinforcement Learning for Volt-VAR Control in Power Distribution Networks
电压无功控制（VVC）是有源配电网络管理系统中降低网损、改善电压分布的关键技术。为了消除对不准确和不完整网络模型的依赖，并增强对通信或控制器故障的弹性，我们提出了共识多智能体深度强化学习算法来解决VVC问题。将VVC问题描述为一个网络化的多智能体马尔可夫决策过程，采用最大熵强化学习框架和一种新的通信高效共识策略来解决。所提出的算法允许个体代理学习使用本地奖励的组控制策略。IEEE分布测试馈线的数值研究表明，我们提出的算法匹配的单智能体强化学习基准的性能。此外，该算法被证明是通信效率和弹性。
2020-07-06 cs.LG cs.SY eess.SY
High Performance Simulation for Scalable Multi-Agent Reinforcement Learning
Improbable（英普若博（ Improbable ））
多智能体强化学习实验和开源训练环境通常规模有限，支持数十个或有时多达数百个交互代理。在本文中，我们演示了时尚，高性能代理模型（ABM）框架的使用。Vogue作为一个多智能体训练环境，支持数千到数万个交互智能体，同时通过在GPU上运行环境和强化学习（RL）智能体来保持高训练吞吐量。高性能的多智能体环境，在这种规模有可能使学习的强大和灵活的政策，用于ABM和模拟复杂的系统。我们展示了两个新开发的，大规模的多智能体训练环境的训练性能。此外，我们表明，这些环境可以训练共享RL政策的时间尺度分钟和小时。
2022-07-08 cs.LG cs.MA cs.PF
Let's Play Again: Variability of Deep Reinforcement Learning Agents in Atari Environments
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Smith College（史密斯学院）
强化学习中的再现是具有挑战性的：来自许多来源的不受控制的随机性，例如学习算法，学习策略和环境本身，导致研究人员使用单个环境的多个随机种子的综合性能指标来报告学习代理的性能。不幸的是，在强化学习代理中仍然存在有害的可变性来源，使得报告常见的汇总统计数据成为不合理的性能指标。我们的实验展示了流行的OpenAI基线存储库中使用的常见代理的可变性。我们将训练后的代理性能报告为分布，而不是点估计。
2019-04-12 cs.AI cs.LG stat.ML
A Conceptual Framework for Externally-influenced Agents: An Assisted Reinforcement Learning Review
Federation University（联邦大学）；Deakin University（迪肯大学）；Universidad Central de Chile（智利中央大学）；University of Alberta（阿尔伯塔大学）；Action Research Associates（行动研究协会）
强化学习代理的长期目标是能够在复杂的现实世界场景中执行任务。使用外部信息是将代理扩展到更复杂问题的一种方式。然而，在使用外部信息的不同方法之间普遍缺乏协作或互操作性。在这项工作中，在审查外部影响的方法，我们提出了一个概念框架和分类辅助强化学习，旨在通过分类和比较在学习过程中使用外部信息的各种方法，促进合作。建议的分类详细的外部信息源和学习者代理之间的关系，突出的信息分解，结构，保留的过程，以及它如何可以用来影响代理学习。除了回顾最先进的方法外，我们还确定了当前使用外部信息来提高智能体性能及其决策过程的强化学习流。这些包括启发式强化学习、交互式强化学习、从演示示教学习、迁移学习和从多个源学习等。这些强化学习流的共同目标是搭建学习者代理。最后，我们讨论了在辅助强化学习系统领域的未来工作的进一步可能性。
2021-09-20 cs.AI cs.LG cs.MA
Deep Multi-Agent Reinforcement Learning with Relevance Graphs
JetBrains Research（JetBrains研究院）；Kwangwoon University（光云大学）；University of York（约克大学）
近年来，深度强化学习在复杂的单智能体任务中取得了巨大的成功，最近这种方法也被应用于多智能体领域。在本文中，我们提出了一种新的方法，称为MAGnet，多智能体强化学习（MARL），利用相关图表示的环境中获得的自我注意力机制，和消息生成技术的启发神经网络架构。我们将我们的MAGnet方法应用于Pommerman游戏，结果表明它的性能明显优于最先进的MARL解决方案，包括DQN，MADDPG和MCTS。
2018-11-30 cs.LG cs.MA
Counterexample-Guided Repair of Reinforcement Learning Systems Using Safety Critics
University of Konstanz（康斯坦茨大学）
针对深度强化学习智能体违反安全约束的问题，提出一种利用安全评论器的反例引导修复算法，通过梯度约束优化联合修复智能体与评论器，消除不安全行为。
2024-05-24 cs.LG cs.LO
A Bandit Framework for Optimal Selection of Reinforcement Learning Agents
Zalando Research（Zalando研究）；OLX Berlin Hub（OLX柏林中心）
深度强化学习已经被证明在复杂的游戏中非常成功，例如Atari或Go。这些游戏有明确定义的规则，因此允许模拟。然而，在许多实际应用中，与环境的交互是昂贵的，并且没有良好的环境模拟器。此外，由于环境因应用而异，最佳归纳偏差（架构、超参数等）增强剂的量取决于应用。在这项工作中，我们提出了一个多臂强盗框架，从一组不同的强化学习代理选择一个最好的归纳偏见。为了缓解稀疏奖励的问题，强化学习代理增加了代理奖励。这有助于bandit框架尽早选择最佳代理，因为这些奖励比环境奖励更平滑且更稀疏。强盗有双重目标，最大化的奖励，而代理人学习和选择最好的代理后，有限数量的学习步骤。我们在标准环境中的实验结果表明，所提出的框架是能够始终如一地选择最佳代理有限的步骤后，同时收集更多的累积奖励相比，选择一个次优架构或均匀交替不同的代理。
2019-02-10 cs.LG stat.ML
Multi-Robot Formation Control Using Reinforcement Learning
在本文中，我们提出了一个机器学习的方法来移动一组机器人的形成。我们将问题建模为多智能体强化学习问题。我们的目标是设计一个控制策略，以保持一个理想的形成之间的一些代理（机器人），同时朝着一个理想的目标。这是通过培训我们的代理人来跟踪该集团的两名代理人并保持与这些代理人的关系来实现的。我们认为所有的代理都是同质的，并将它们建模为单一的[1]。与领导者-跟随者方法不同，在领导者-跟随者方法中，每个代理都有一个独立的目标，我们的方法旨在训练代理合作并朝着共同的目标努力。我们使用这种方法的动机是使一个完全分散的多智能体形成系统和可扩展的代理数量。
2020-01-13 cs.LG cs.RO
Multi-Agent Deep Reinforcement Learning for Liquidation Strategy Analysis
Columbia University（哥伦比亚大学）
清算是指在一定时间范围内，考虑到市场冲击和交易者的风险规避所产生的成本，连续出售一种股票的大量股份的过程。在优化清算的主要挑战是找到一个合适的建模系统，可以纳入股票市场的复杂性，并产生实用的交易策略。在本文中，我们建议使用多智能体深度强化学习模型，与各种机器学习方法相比，它可以更好地捕捉高级复杂性，以便智能体可以学习如何做出最佳销售决策。首先，我们从理论上分析了Almgren和Chriss模型，并对其基本机制进行了扩展，使其可以作为多主体交易环境。我们的工作为未来的多智能体环境交易分析奠定了基础。其次，我们通过调整每个代理的奖励函数来分析代理之间的合作和竞争行为，这克服了单代理强化学习算法的局限性。最后，我们模拟交易，并开发了一个最佳的交易策略与实际的限制，通过使用强化学习方法，这表明强化学习方法在解决现实的清算问题的能力。
2019-06-24 cs.LG q-fin.TR stat.ML
Model based Multi-agent Reinforcement Learning with Tensor Decompositions
TU Delft（代尔夫特理工大学）；University of Oxford（牛津大学）
多智能体强化学习中的一个挑战是能够在难以处理的状态-动作空间上进行推广。受Tesseract启发[Mahajan等人，2021]，这篇立场论文通过将转换和奖励函数建模为低CP秩的张量，研究了在未探索的状态-动作对上的状态-动作空间中的泛化。在合成MDP上的初步实验表明，如果真实的转换和奖励函数确实具有低秩，则在基于基于模型的强化学习算法中使用张量分解可以导致更快的收敛。
2021-10-27 cs.LG cs.MA
A Multi-Agent Off-Policy Actor-Critic Algorithm for Distributed Reinforcement Learning
Stony Brook University（石溪大学）；Princeton University（普林斯顿大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Northwestern University（西北大学）
本文将离线强化学习扩展到多智能体的情况下，一组网络代理与他们的邻居根据随时间变化的图进行通信，协同评估和改进的目标策略，同时遵循一个独特的行为策略。为此，本文开发了一个多智能体版本的时间差分学习的离线政策评估，并证明了收敛性下的线性函数逼近。然后，本文利用这一结果，结合一个新的多智能体关政策策略梯度定理和最近的工作在多智能体的政策和单智能体关政策的行动者-评论家的方法，开发并给出一个新的多智能体关政策的行动者-评论家算法的收敛保证。
2019-11-18 cs.LG stat.ML
Dynamic Noises of Multi-Agent Environments Can Improve Generalization: Agent-based Models meets Reinforcement Learning
University of Manitoba（曼尼托巴大学）
我们研究了基于代理模型（ABM）的强化学习（RL）环境的好处。虽然ABM是已知的，以提供微观基础模拟的成本计算复杂性，我们经验表明，在这项工作中，他们的非确定性动态可以提高RL代理的泛化。为此，我们研究控制流行病SIR环境的基础上，无论是微分方程或ABMs。数值模拟表明，在基于ABM的动态SIR模型的固有噪声不仅提高了平均奖励，但也允许RL代理推广更广泛的流行病参数。
2022-03-26 cs.AI cs.LG cs.MA
A Consciousness-Inspired Planning Agent for Model-Based Reinforcement Learning
McGill University（麦吉尔大学）；Mila；Université de Montréal（蒙特利尔大学）；DeepMind
我们提出了一个端到端的，基于模型的深度强化学习代理，它在规划过程中动态地关注其状态的相关部分。代理使用一个基于集合的表示瓶颈机制，迫使代理出席在每个规划步骤的实体的数量是小的。在实验中，我们调查的瓶颈机制与几套定制的环境具有不同的挑战。我们一直观察到，该设计允许规划代理，以概括他们的学习任务解决能力，在兼容的看不见的环境中参加相关的对象，从而导致更好的分布外泛化性能。
2021-11-04 cs.AI cs.LG
KnowSR: Knowledge Sharing among Homogeneous Agents in Multi-agent Reinforcement Learning
National University of Defense Technology（国防科技大学）
近年来，深度强化学习（RL）算法在多智能体领域取得了很大进展。然而，由于RL的特性，复杂任务的培训将是资源密集型和耗时的。为了应对这一挑战，同质代理之间的相互学习策略是必不可少的，这是在以前的研究中，由于大多数现有的方法不考虑使用代理模型的知识，而探索不足。在本文中，我们提出了一种适应方法的大多数多智能体强化学习（MARL）算法称为KnowSR，它利用代理之间的学习差异。我们采用知识蒸馏（KD）的思想，在代理之间共享知识，以缩短训练阶段。为了实证证明KnowSR的鲁棒性和有效性，我们在协作和竞争场景中对最先进的MARL算法进行了广泛的实验。结果表明，KnowSR优于最近报道的方法，强调建议的知识共享MARL的重要性。
2021-05-25 cs.AI cs.LG cs.MA
Multi-Agent Deep Reinforcement Learning with Human Strategies
Institute for Intelligent Systems Research and Innovation (IISRI)（智能系统研究与创新研究院（IISRI））；Deakin University（迪肯大学）
深度学习使传统的强化学习方法能够处理高维问题。然而，深度强化学习方法的缺点之一是学习代理的有限探索能力。在本文中，我们介绍了一种整合人类策略以提高多个深度强化学习代理的探索能力的方法。我们还报告了我们自己的多智能体环境称为多坦克防御模拟所提出的方法的发展。结果表明，多个代理人的合作学习与人类的策略显着的性能改善。这意味着人类的智慧与机器合作来解决复杂问题的迫切需要。此外，本次仿真的成功表明，我们的多智能体环境可以作为一个测试平台，开发和验证其他多智能体控制算法。
2019-05-30 cs.AI cs.LG stat.ML
