Basal-Bolus Advisor for Type 1 Diabetes (T1D) Patients Using Multi-Agent Reinforcement Learning (RL) Methodology
University of Houston(休斯顿大学)
本研究提出一种多智能体强化学习基础-餐时胰岛素顾问,用于1型糖尿病患者的个性化血糖控制,经多场景验证,其在控糖效果、不良事件预防和胰岛素用量优化上均优于传统疗法。
2023-07-17 cs.AI cs.CE cs.LG
Ask-AC: An Initiative Advisor-in-the-Loop Actor-Critic Framework
College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);College of Software Technology, Zhejiang University(浙江大学软件学院)
本文提出Ask-AC框架,通过动作请求器和自适应状态选择器实现学习者主动的顾问交互,在静态与非静态环境中显著提升学习效率,性能媲美持续监控。
2024-05-24 cs.AI cs.LG
Training Advisors for LLM Agents from Task Outcomes
提出Caddie方法,通过强化学习从任务结果训练评论家为LLM智能体提供自然语言建议,显著提升多跳问答成功率并跨模型、跨域泛化。
2026-10-08 cs.AI cs.CL cs.LG
Learning to Advise and Learning from Advice in Cooperative Multi-Agent Reinforcement Learning
Tsinghua University(清华大学);Louisiana State University(路易斯安那州立大学)
学习协调是多智能体强化学习(MARL)中一个令人生畏的问题。以往的研究从多个方面进行了探讨,包括Agent之间的认知、信用分配、通信、专家论证等,但对Agent的决策结构和协调层次关注较少。在本文中,我们探讨了时空结构的代理人的决策,并考虑层次的协调从多层次涌现动力学的角度来看,在此基础上,一个新的方法,学习建议和从建议学习(LALA),提出了改进MARL。具体来说,通过区分协调的层次结构,我们建议在中观层面上加强决策协调与顾问和利用政策顾问,建议代理的学习在微观层面上。顾问学习在空间和时间域中聚合决策信息,并通过采用具有面向任务的目标函数的时空对偶图卷积神经网络来生成协调决策。每个代理都通过策略生成对抗学习方法从建议中学习,其中策略生成器区分代理和顾问的策略,并根据其判断提升两者。实验结果表明,LALA在学习效率和协调能力方面优于基线方法。从多级涌现动力学和互信息的角度研究了MARL算法的协调机制,为分析和改进MARL算法提供了新的视角和方法。
2022-05-23 cs.LG cs.MA
BaRe-Mem: Bayesian Reliability Memory for Robust and Adaptive Agent Consultation
DeCLaRe Lab, Nanyang Technological University(南洋理工大学DeCLaRe实验室);Peking University(北京大学)
BaRe-Mem提出在线贝叶斯可靠性记忆,通过估计顾问可靠性并调节其影响,在咨询与自主推理间自适应选择,提升多智能体系统对误导信息的稳健性,并扩展到工人分配。
2026-09-29 cs.AI
Retrieval-augmented generation vs. deterministic tax computation in multi-agent financial advisory: A 2x2 factorial experiment
Royal Bank of Canada(加拿大皇家银行);RBC Borealis
通过2×2析因实验发现,为多智能体金融咨询系统配备RAG与定制税费引擎,仅税费引擎会显著降低税费节省,仅RAG时表现最优,说明LLM内化金融知识或已足够,无需额外工具。
2026-08-26 cs.AI
AdvisingWise: Supporting Academic Advising in Higher Education Settings Through a Human-in-the-Loop Multi-Agent Framework
Tufts University(塔夫茨大学)
AdvisingWise通过多智能体框架和人类监督,提升高等教育中的学术指导效率与个性化水平。
2025-12-02 cs.AI cs.HC
Bridging the Imitation Gap by Adaptive Insubordination
Allen Institute for AI(艾伦人工智能研究院);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
在实践中,模仿学习优于纯强化学习,只要有可能设计一个教学代理提供专家监督。然而,我们发现,当教学代理人作出决定,访问特权信息是不可用的学生,这些信息被边缘化在模仿学习,导致“模仿差距”,并可能,效果不佳。先前的工作通过从模仿学习到强化学习的进展来弥合这一差距。虽然通常是成功的,但对于需要在探索和记忆之间频繁切换的任务来说,渐进式学习是失败的。为了更好地解决这些任务,并减轻模仿差距,我们提出了“适应性不服从”(ADVISOR)。ADVISOR在训练过程中动态地对模仿和基于奖励的强化学习损失进行加权,从而实现在模仿和探索之间的动态切换。在网格世界,多智能体粒子环境和高保真3D模拟器中设置的一系列具有挑战性的任务中,我们证明了ADVISOR的动态切换优于纯模仿,纯强化学习以及它们的顺序和并行组合。
2021-12-03 cs.AI cs.CV cs.LG
LLaPipe: LLM-Guided Reinforcement Learning for Automated Data Preparation Pipeline Construction
College of Computer Science and Software Engineering, Shenzhen University(深圳大学计算机科学与软件工程学院);School of Artificial Intelligence, Shenzhen University(深圳大学人工智能学院)
LLaPipe通过将LLM作为策略顾问、经验蒸馏和自适应触发机制提升强化学习在数据预处理流水线构建中的探索效率,在18个数据集上实现质量提升22.4%并加速收敛2.3倍。
2025-07-18 cs.DB cs.LG
Opinion-Guided Reinforcement Learning
McMaster University(麦克马斯特大学)
本文提出一种端到端建模与管理顾问观点的强化学习方法,并通过合成及人类顾问实验验证不确定观点可提升奖励、探索效率与策略质量。
2024-08-03 cs.AI cs.LG
A dual mode adaptive basal-bolus advisor based on reinforcement learning
University of Bern(伯尔尼大学);Debiotech S.A.(Debiotech股份公司);St. Mary's University(圣玛丽大学);Insel Gruppe AG(Insel集团股份公司)
本研究提出基于强化学习的自适应基础-大剂量算法(ABBA),支持SMBG和CGM双模式输入,在100名成人计算机模拟中验证了其能实现个性化胰岛素优化与血糖控制,且不受监测技术类型影响。
2019-01-07 cs.LG cs.SY eess.SY
AdviSD: Learning to Advise Frontier LLMs via Targeted Multi-Turn Self-Distillation
University of Southern California(南加州大学)
AdviSD通过选择性自蒸馏与强化学习结合,利用反馈修正的评分差异指导训练,使小型顾问有效提升前沿LLM执行器的任务表现。
2026-09-30 cs.AI cs.CL cs.LG
Rule-based High-Level Coaching for Goal-Conditioned Reinforcement Learning in Search-and-Rescue UAV Missions Under Limited-Simulation Training
Automation and Robotics Research Group, Interdisciplinary Centre for Security, Reliability and Trust (SnT), University of Luxembourg.(自动化与机器人研究组,安全、可靠性与信任 interdisciplinary centre(SnT),卢森堡大学)
本文提出了一种分层决策框架,结合固定规则的高层顾问和在线目标条件强化学习控制器,通过减少碰撞终止提升早期安全性和样本效率。
2026-04-29 cs.AI cs.LG cs.RO
PACEvolve++: Improving Test-time Learning for Evolutionary Search Agents
Google(谷歌);University of Wisconsin–Madison(威斯康星大学麦迪逊分校);Google DeepMind(谷歌DeepMind)
PACEvolve++通过强化学习框架提升进化搜索代理的测试时策略适应能力,采用可训练顾问生成并评估假设,结合前沿模型生成可执行候选,实现更快收敛和更稳定的测试时训练。
2026-10-14 cs.LG
Robo-advising: Learning Investors' Risk Preferences via Portfolio Choices
Columbia University(哥伦比亚大学)
我们引入了一个零售机器人建议的强化学习框架。机器人顾问并不知道投资者的风险偏好,但随着时间的推移,通过观察投资者在不同市场环境中的投资组合选择来学习。我们开发了一个探索-开发算法,该算法根据投资者的风险厌恶的陈旧估计,通过自主交易决策来权衡投资者对投资组合选择的昂贵请求。我们表明,该算法的价值函数收敛到一个无所不知的机器人顾问的最佳价值函数在多个时期是多项式的状态和动作空间。通过纠正投资者的错误,机器人顾问可能会超越独立的投资者,而不管投资者做出投资组合决策的机会成本如何。
2019-11-16 cs.LG q-fin.PM stat.ML
From Idea to Co-Creation: A Planner-Actor-Critic Framework for Agent Augmented 3D Modeling
Massachusetts Institute of Technology(麻省理工学院);Northeastern University(东北大学)
本文提出一种规划-执行-批评框架,通过多代理自我反思和人类监督提升3D建模的几何精度、审美质量和任务完成率。
2026-01-08 cs.AI cs.GR cs.HC
K-nearest Multi-agent Deep Reinforcement Learning for Collaborative Tasks with a Variable Number of Agents
Hitachi Industrial AI Lab(日立工业人工智能实验室)
传统上,多智能体深度强化学习算法的性能是在游戏环境中展示和验证的,在游戏环境中,我们通常有固定数量的智能体。在许多工业应用中,可用试剂的数量可以在任何给定的一天改变,并且即使当试剂的数量提前已知时,试剂在操作期间中断并且在一段时间内变得不可用也是常见的。在本文中,我们提出了一种新的深度强化学习算法的多智能体协作任务与可变数量的代理。我们演示了我们的算法使用日立开发的车队管理模拟器在生产现场生成逼真的场景中的应用。
2022-01-18 cs.AI cs.LG cs.MA
KnowSR: Knowledge Sharing among Homogeneous Agents in Multi-agent Reinforcement Learning
National University of Defense Technology(国防科技大学)
近年来,深度强化学习(RL)算法在多智能体领域取得了很大进展。然而,由于RL的特性,复杂任务的培训将是资源密集型和耗时的。为了应对这一挑战,同质代理之间的相互学习策略是必不可少的,这是在以前的研究中,由于大多数现有的方法不考虑使用代理模型的知识,而探索不足。在本文中,我们提出了一种适应方法的大多数多智能体强化学习(MARL)算法称为KnowSR,它利用代理之间的学习差异。我们采用知识蒸馏(KD)的思想,在代理之间共享知识,以缩短训练阶段。为了实证证明KnowSR的鲁棒性和有效性,我们在协作和竞争场景中对最先进的MARL算法进行了广泛的实验。结果表明,KnowSR优于最近报道的方法,强调建议的知识共享MARL的重要性。
2021-05-25 cs.AI cs.LG cs.MA
Dynamic Noises of Multi-Agent Environments Can Improve Generalization: Agent-based Models meets Reinforcement Learning
University of Manitoba(曼尼托巴大学)
我们研究了基于代理模型(ABM)的强化学习(RL)环境的好处。虽然ABM是已知的,以提供微观基础模拟的成本计算复杂性,我们经验表明,在这项工作中,他们的非确定性动态可以提高RL代理的泛化。为此,我们研究控制流行病SIR环境的基础上,无论是微分方程或ABMs。数值模拟表明,在基于ABM的动态SIR模型的固有噪声不仅提高了平均奖励,但也允许RL代理推广更广泛的流行病参数。
2022-03-26 cs.AI cs.LG cs.MA
A Conceptual Framework for Externally-influenced Agents: An Assisted Reinforcement Learning Review
Federation University(联邦大学);Deakin University(迪肯大学);Universidad Central de Chile(智利中央大学);University of Alberta(阿尔伯塔大学);Action Research Associates(行动研究协会)
强化学习代理的长期目标是能够在复杂的现实世界场景中执行任务。使用外部信息是将代理扩展到更复杂问题的一种方式。然而,在使用外部信息的不同方法之间普遍缺乏协作或互操作性。在这项工作中,在审查外部影响的方法,我们提出了一个概念框架和分类辅助强化学习,旨在通过分类和比较在学习过程中使用外部信息的各种方法,促进合作。建议的分类详细的外部信息源和学习者代理之间的关系,突出的信息分解,结构,保留的过程,以及它如何可以用来影响代理学习。除了回顾最先进的方法外,我们还确定了当前使用外部信息来提高智能体性能及其决策过程的强化学习流。这些包括启发式强化学习、交互式强化学习、从演示示教学习、迁移学习和从多个源学习等。这些强化学习流的共同目标是搭建学习者代理。最后,我们讨论了在辅助强化学习系统领域的未来工作的进一步可能性。
2021-09-20 cs.AI cs.LG cs.MA
MAgent: A Many-Agent Reinforcement Learning Platform for Artificial Collective Intelligence
Shanghai Jiao Tong University(上海交通大学);University College London(伦敦大学学院)
我们介绍了MAgent,一个支持多智能体强化学习研究和开发的平台。与以前的单智能体或多智能体强化学习研究平台不同,MAgent专注于支持需要数百万智能体的任务和应用。在一群智能体之间的交互中,它不仅可以研究智能体最优策略的学习算法,而且更重要的是,可以观察和理解人工智能社会中出现的个体智能体的行为和社会现象,包括通信语言,领导力,利他主义。MAgent具有高度可扩展性,可以在单个GPU服务器上托管多达100万个代理。MAgent还为AI研究人员提供灵活的配置,以设计他们的定制环境和代理。在这个演示中,我们展示了在MAgent上设计的三个环境,并展示了通过从头开始学习而形成的集体智慧。
2017-12-02 cs.AI cs.LG cs.MA
Recursive Reasoning Graph for Multi-Agent Reinforcement Learning
Stanford University(斯坦福大学);Honda Research Institute US(本田美国研究院)
多智能体强化学习(MARL)为多个智能体之间的交互提供了一种同时学习策略的有效方法。然而,在需要复杂交互的场景中,现有算法可能无法准确预测自我行为对其他代理的影响。增强对其他代理的潜在响应进行推理的能力可以允许代理制定更有效的策略。本文在集中训练分散执行的框架下采用递归推理模型,以帮助学习代理更好地与其他代理合作或竞争。该算法被称为递归推理图(R2G),在多个多智能体粒子和机器人游戏中表现出最先进的性能。
2022-03-06 cs.AI cs.LG cs.MA
HAVEN: Hierarchical Cooperative Multi-Agent Reinforcement Learning with Dual Coordination Mechanism
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
近年来,多智能体系统中的一些具有挑战性的任务已经被一些分层强化学习方法所解决。受人类神经系统层内和层间协调机制的启发,提出了一种新的基于层次强化学习的多智能体价值分解框架HAVEN.为了解决各层次和代理之间的并发优化策略所产生的不稳定性,我们引入了双重协调机制的层间和代理之间的策略,通过设计奖励函数在两级层次结构。HAVEN不需要领域知识和预训练,并且可以应用于任何值分解变体。我们的方法在不同的分散部分可观测马尔可夫决策过程域上取得了理想的结果,并优于其他流行的多智能体层次强化学习算法。
2022-12-07 cs.AI cs.LG cs.MA
Evaluating the Robustness of Deep Reinforcement Learning for Autonomous Policies in a Multi-agent Urban Driving Environment
Simula Research Laboratory(西姆拉研究实验室)
深度强化学习被积极用于在模拟驾驶环境中训练自动驾驶汽车策略。由于各种强化学习算法的大量可用性以及缺乏对不同驾驶场景的系统比较,我们不确定哪些算法在单智能体和多智能体驾驶环境中更有效地训练自动驾驶汽车软件。在基于视觉的自动驾驶中比较深度强化学习的基准框架将为训练更好的自动驾驶汽车策略提供可能性。为了应对这些挑战,我们提供了一个开放且可重用的基准测试框架,用于在单智能体和多智能体环境中对自动驾驶的深度强化学习算法进行系统评估和比较分析。使用该框架,我们进行了离散和连续动作空间深度强化学习算法的比较研究。我们还提出了一个综合的多目标奖励函数,用于评估基于深度强化学习的自动驾驶代理。我们在一个只有视觉的高保真城市驾驶模拟环境中进行实验。结果表明,只有一些深度强化学习算法在各种仅多智能体环境设置中训练时,在单智能体和多智能体场景中表现得更好。例如,基于A3C和TD3的自动驾驶汽车在单智能体和多智能体场景中的更稳健的动作和最小的驾驶错误方面表现相对更好。我们的结论是,不同的深度强化学习算法在不同的场景下表现出不同的驱动和测试性能,这强调了对其进行系统比较分析的必要性。本文提出的基准框架有利于这种比较。
2023-03-23 cs.AI cs.LG cs.MA
Mean Field Multi-Agent Reinforcement Learning
University College London(伦敦大学学院);Shanghai Jiao Tong University(上海交通大学)
现有的多智能体强化学习方法通常限于少量的代理。当智能体数量大量增加时,由于维数灾难和智能体交互的指数增长,学习变得难以处理。在本文中,我们提出了\emph{Mean Field Reinforcement Learning},其中代理群体内的相互作用近似于单个代理与整个群体或相邻代理的平均效应之间的相互作用;两个实体之间的相互作用是相互加强的:个体代理的最优策略的学习取决于群体的动态,而人口动态则根据个别政策的集体模式而变化。我们开发了实用的平均场Q-学习和平均场Actor-Critic算法,并分析了纳什均衡解的收敛性。高斯挤压,伊辛模型和战斗游戏的实验证明了我们的平均场方法的学习效果。此外,我们报告的第一个结果,解决伊辛模型通过无模型强化学习方法。
2020-12-15 cs.AI cs.LG cs.MA
Specializing Inter-Agent Communication in Heterogeneous Multi-Agent Reinforcement Learning using Agent Class Information
FEI University Center(FEI大学中心)
受图神经网络在智能体通信方面的最新进展的启发,提出了一种多智能体通信能力的有向标记异构智能体图表示方法,其中节点标签表示智能体类,边标签表示两类智能体之间的通信类型.我们还介绍了一个神经网络架构,专门在完全合作的异构多智能体任务的通信,通过学习个人的转换,每对代理类之间的交换消息。通过采用编码和动作选择模块与异构代理的环境中的参数共享,我们表现出相当或优越的性能,在环境中,有大量的代理类操作。
2021-03-10 cs.AI cs.LG cs.MA
Delegative Reinforcement Learning: learning to avoid traps with a little help
大多数已知的强化学习的后悔界限要么是情节性的,要么是假设一个没有陷阱的环境。我们在不做任何假设的情况下,通过允许算法偶尔将一个动作委托给外部顾问来获得一个后悔界限。因此,我们得出了一个基于主动一次性模型的强化学习的设置,我们称之为DRL(委托强化学习)。为了证明遗憾界限,我们构造的算法是后验采样强化学习的一个变体,由一个决定哪些动作应该被委托的子例程补充。该算法不是任意时刻,因为参数必须根据目标时间折扣进行调整。目前,我们的分析仅限于有限数量的假设,状态和行动的马尔可夫决策过程。
2019-07-19 cs.LG stat.ML
A further exploration of deep Multi-Agent Reinforcement Learning with Hybrid Action Space
Chongqing University(重庆大学)
将深度强化学习(drl)扩展到多智能体领域的研究,解决了许多复杂问题,取得了巨大的成就。然而,这些研究几乎都只关注离散或连续的动作空间,很少有将多智能体深度强化学习应用于混合动作空间的现实环境问题。因此,在本文中,我们提出了两个算法:深度多代理混合软演员-评论家(MAHSAC)和多代理混合深度确定性策略梯度(MAHDDPG),以填补这一空白。这两种算法遵循集中训练和分散执行(CTDE)范式,可以处理混合动作空间问题。我们的经验是在多智能体粒子环境中运行的,这是一个简单的多智能体粒子世界,以及一些基本的模拟物理。实验结果表明,这些算法具有良好的性能。
2022-08-30 cs.AI cs.LG cs.MA
Deep Reinforcement Learning for Multi-Agent Interaction
University of Edinburgh(爱丁堡大学)
自主智能体的开发是人工智能和机器学习的核心研究领域,它可以与其他智能体交互以完成给定的任务。为了实现这一目标,自主智能体研究小组开发了用于自主系统控制的新型机器学习算法,特别关注深度强化学习和多智能体强化学习。研究问题包括协调代理策略和代理间通信的可扩展学习;从有限的观察中推理其他代理的行为,目标和组成;以及基于内在动机,课程学习,因果推理和表示学习的样本有效学习。本文对该小组正在进行的研究组合进行了广泛的概述,并讨论了未来方向的开放问题。
2022-08-02 cs.AI cs.LG cs.MA
Message-Dropout: An Efficient Training Method for Multi-Agent Deep Reinforcement Learning
KAIST(韩国科学技术院)
在本文中,我们提出了一种新的学习技术,称为消息丢弃,以提高性能的多智能体深度强化学习在两个应用场景:1)经典的多智能体强化学习与代理之间的直接消息通信和2)集中式训练与分散执行。在第一个应用场景中的多代理系统,其中代理之间的直接消息通信是允许的,消息丢弃技术放弃了从其他代理接收到的消息,在一个块的方式与一定的概率在训练阶段,并补偿这种影响,通过乘以权重的丢失块单元的校正概率。应用的消息丢弃技术有效地处理了多智能体强化学习中增加的输入维度,并使学习对执行阶段的通信错误具有鲁棒性。在第二个应用场景的集中训练与分散执行,我们特别考虑的应用程序提出的消息丢弃多代理深度确定性策略梯度(MADDPG),它使用一个集中的批评训练每个代理的分散演员。我们评估了几个游戏的建议的消息丢弃技术,数值结果表明,建议的消息丢弃技术与适当的丢弃率提高强化学习的性能显着的训练速度和执行阶段的稳态性能。
2019-02-18 cs.AI cs.LG cs.MA
Transferable Multi-Agent Reinforcement Learning with Dynamic Participating Agents
Steven Institute of Technology(史蒂文斯理工学院);Xiaohongshu Inc(小红书公司)
我们研究了具有集中训练和分散执行的多智能体强化学习(MARL)。在训练期间,新的代理可以加入,并且现有代理可以意外地离开训练。在这种情况下,标准的深度MARL模型必须从头开始重新训练,这非常耗时。为了解决这个问题,我们提出了一个特殊的网络架构与少样本学习算法,允许代理的数量在集中训练过程中变化。特别是,当一个新的代理加入集中训练,我们的少样本学习算法训练其策略网络和价值网络使用少量的样本;当一个代理离开训练,其余的代理的训练过程不受影响。我们的实验表明,使用所提出的网络架构和算法,当新代理加入时,模型自适应可以比基线快100倍以上。我们的工作适用于任何环境,包括合作,竞争和混合。
2022-08-04 cs.AI cs.LG cs.MA
Regret Bounds for Reinforcement Learning with Policy Advice
Carnegie Mellon University(卡内基梅隆大学);INRIA Lille - Nord Europe(里尔-北欧法国国家信息与自动化研究所)
在一些强化学习问题中,可以向代理提供一组输入策略,这些输入策略可能是从先前的经验中学习的,或者是由顾问提供的。我们提出了一个带有策略建议的强化学习(RLPA)算法,该算法利用这个输入集,并学习使用集合中的最佳策略来执行手头的强化学习任务。我们证明了RLPA有一个次线性的遗憾\tilde O(\sqrt{T})相对于最佳的输入策略,并且这种遗憾和它的计算复杂性是独立的状态和动作空间的大小。我们的实证模拟支持我们的理论分析。这表明RLPA可以在提供一些先前好的策略的大型域中提供显着的优势。
2013-07-17 cs.LG stat.ML
Improving Deep Reinforcement Learning in Minecraft with Action Advice
Georgia Institute of Technology(佐治亚理工学院)
在3D虚拟环境中训练深度强化学习代理的复杂行为需要大量的计算资源。在具有高度混叠的环境中尤其如此,其中许多状态共享几乎相同的视觉特征。Minecraft就是这样一个环境的典范。我们假设交互式机器学习IML,其中人类教师通过演示,批评或行动建议在训练中发挥直接作用,可能会减轻代理对别名的敏感性。然而,交互式机器学习只有在人类交互的数量有限时才是实用的,需要在人类教师的努力和代理性能之间取得平衡。我们用两种强化学习算法进行实验,这两种算法使人类教师能够在视觉锯齿条件下给出行动建议,反馈仲裁和牛顿行动建议。为了评估每种建议类型的潜在认知负荷,我们改变了各种人类行动建议技术的准确性和频率。训练效率,对不频繁和不准确的顾问输入的鲁棒性,以及对混叠的敏感性进行了检查。
2019-08-02 cs.AI cs.LG stat.ML
Scalable Centralized Deep Multi-Agent Reinforcement Learning via Policy Gradients
GRASP Laboratory(GRASP实验室);University of Pennsylvania(宾夕法尼亚大学)
在本文中,我们将探索使用深度强化学习来解决多智能体问题。大多数现有的深度多智能体强化学习方法只考虑少量的智能体。当代理数量增加时,输入和控制空间的维数也会增加,这些方法的扩展性不好。为了解决这个问题,我们建议铸造的多智能体强化学习问题作为一个分布式优化问题。我们的算法假设,对于多代理设置,在一个给定的人口中的各个代理的政策生活在参数空间中彼此接近,可以近似为一个单一的政策。有了这个简单的假设,我们证明了我们的算法是非常有效的强化学习在多智能体设置。我们证明了其有效性对现有的可比方法的合作和竞争的任务。
2018-05-22 cs.AI cs.LG cs.MA
Dealing with Non-Stationarity in Multi-Agent Deep Reinforcement Learning
The University of Edinburgh(爱丁堡大学)
深度强化学习的最新发展涉及创建可以在各种复杂领域中表现良好的决策代理。一种受到越来越多关注的特定方法是多智能体强化学习,其中多个智能体同时学习以协调它们的动作。在这样的多代理环境中,由于代理的决策政策不断变化,会出现额外的学习问题。本文综述了近年来解决多智能体深度强化学习中非平稳性问题的研究成果。调查的方法范围从训练过程中的修改,如集中式训练,学习对手的政策,元学习,通信和分散式学习的表示。调查最后列出了一系列悬而未决的问题和未来可能的研究方向。
2019-06-11 cs.AI cs.LG cs.MA
Lineage Evolution Reinforcement Learning
提出了一种通用的智能体群体学习系统,并在此基础上提出了谱系进化强化学习算法。谱系进化强化学习是一种符合一般智能体群体学习系统的衍生算法。我们将DQN及其相关变体中的智能体作为种群中的基本智能体,将遗传算法中的选择、变异和交叉模块加入到强化学习算法中。在Agent进化过程中,我们参考自然遗传行为的特点,加入世系因子以保证Agent潜在性能的保留,在评价Agent性能时综合考虑当前性能和世系值。谱系进化强化学习在不改变原有强化学习算法参数的情况下,可以优化不同的强化学习算法。实验结果表明,在Atari 2600的部分游戏中,血统进化的思想提高了原有强化学习算法的性能。
2020-09-26 cs.AI cs.LG cs.MA
Multi-Agent Reinforcement Learning and Genetic Policy Sharing
Clark University(克拉克大学)
在多智能体动力系统中,智能体之间的策略共享的影响还没有得到广泛的研究。我模拟了一个使用强化学习优化同一任务的代理系统,以研究不同人口密度和策略共享的影响。我证明了共享政策减少了达到渐近行为的时间,并导致改进的渐近行为。
2008-12-09 cs.AI cs.MA
When Is Language-Model Advice Worth Buying? A Matched-Budget Study of Predictive Gating in Reinforcement Learning
Iowa State University(爱荷华州立大学);Standard Chartered, Bangladesh(渣打银行(孟加拉国));BRAC University(BRAC大学)
本研究提出一种基于预测价值下界和动作证书的成本感知建议门控方法,在BabyAI上以显著减少的查询次数提升了回报,但逐状态优势未获充分验证。
2026-10-19 cs.LG
Prosocial or Selfish? Agents with different behaviors for Contract Negotiation using Reinforcement Learning
TCS Research(塔塔咨询服务研究院)
我们提出了一种有效的技术来训练深度学习代理,这些代理能够使用简单的通信协议来谈判合同协议中的一组条款。我们使用多代理强化学习训练双方代理同时,因为他们在训练环境中相互谈判。我们还在这些代理中不同程度地模拟自私和亲社会行为。提供的经验证据表明,在代理人的行为一致性。我们进一步训练一个Meta代理的混合行为,学习不同的模型使用强化学习的集成。最后,为了确定谈判代理的可部署性,我们进行了实验,让经过训练的代理与人类玩家进行对抗。结果表明,智能体能够与人类玩家抗衡,通常在谈判中成为赢家。我们的实验表明,Meta代理是能够合理地模仿人类的行为。
2018-09-19 cs.AI cs.LG cs.MA
Optimization for Reinforcement Learning: From Single Agent to Cooperative Agents
University of Illinois at Urbana-Champaign (UIUC)(伊利诺伊大学厄巴纳-香槟分校);École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
本文综述了多智能体强化学习算法在大规模控制系统和通信网络中的最新进展,这些算法学习通信和协作。我们提供了一个概述这一新兴领域,重点是在不同的协调协议下的分散设置。从分布式优化的角度,我们强调了强化学习算法从单智能体到多智能体系统的演变,并总结了未来的方向和挑战,希望能促进分布式优化,信号处理和强化学习社区之间不断增长的协同作用。
2019-12-01 cs.AI cs.LG cs.MA
Modeling Sensorimotor Coordination as Multi-Agent Reinforcement Learning with Differentiable Communication
Stanford University(斯坦福大学)
多智能体强化学习已经显示出对各种合作任务的承诺,作为可区分的智能体通信的最新发展的结果。然而,大多数架构都局限于同类代理的池,限制了它们的适用性。在这里,我们提出了一个模块化的框架,学习复杂的任务,传统的单体代理被框定为一个合作的异构代理的集合。我们应用这种方法来模拟感觉运动协调在新皮层作为一个多智能体强化学习问题。我们的研究结果证明了所提出的架构的概念验证,并为学习复杂任务和理解大脑和未来智能系统中的功能定位开辟了新的途径。
2019-09-12 cs.AI cs.MA
Actor-Attention-Critic for Multi-Agent Reinforcement Learning
University of Southern California(南加州大学);Google AI(谷歌人工智能)
多智能体场景中的强化学习对于现实世界的应用非常重要,但它带来的挑战超出了单智能体环境中的挑战。我们提出了一个演员-评论家算法,训练分散的政策,在多代理设置,使用集中计算的评论家,共享一个注意力机制,选择相关的信息,为每个代理在每个时间步。与最近的方法相比,这种注意力机制能够在复杂的多智能体环境中实现更有效和可扩展的学习。我们的方法不仅适用于具有共享奖励的合作设置,而且适用于个性化奖励设置,包括对抗设置,以及不提供全局状态的设置,并且它不对代理的动作空间进行任何假设。因此,它足够灵活,可以应用于大多数多智能体学习问题。
2019-05-27 cs.AI cs.LG cs.MA
Agent-Time Attention for Sparse Rewards Multi-Agent Reinforcement Learning
Stanford University(斯坦福大学);Microsoft(微软)
稀疏和延迟的奖励对单智能体强化学习提出了挑战。这种挑战在多智能体强化学习(MARL)中被放大,其中这些奖励的信用分配不仅需要跨时间发生,而且还需要跨智能体发生。我们提出了代理时间注意力(ATA),辅助损失的神经网络模型重新分配稀疏和延迟的奖励协作MARL。我们提供了一个简单的例子,演示了如何提供代理自己的本地重新分配的奖励和共享的全球重新分配的奖励激励不同的政策。我们扩展了几个MiniGrid环境,特别是MultiRoom和DoorKey,多代理稀疏延迟奖励设置。我们证明,ATA优于这些环境中的许多实例的各种基线。实验的源代码可在https://github.com/jshe/agent-time-attention获得。
2022-10-31 cs.LG cs.MA
Coordinated Multi-Agent Reinforcement Learning for Unmanned Aerial Vehicle Swarms in Autonomous Mobile Access Applications
Korea University(高丽大学);Ajou University(亚洲大学)
本文针对自主移动接入场景,提出基于CTDE的多智能体深度强化学习方法,用单一神经网络集中训练多无人机协作,以最大化总服务质量。
2022-12-23 cs.AI cs.LG cs.MA
Consensus Learning for Cooperative Multi-Agent Reinforcement Learning
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
几乎所有无通信的多智能体强化学习算法都遵循集中训练、分散执行的原则。在集中式训练期间,代理可以由相同的信号(例如全局状态)指导。然而,在分散执行期间,代理人缺乏共享信号。受视点不变性和对比学习的启发,本文提出了协作多智能体强化学习的一致性学习方法。虽然基于局部观察,但不同的智能体可以在离散空间中推断出相同的共识。在去中心化执行过程中,我们将推断出的共识作为对代理网络的明确输入,从而培养他们的合作精神。我们提出的方法可以扩展到各种多智能体强化学习算法与小的模型变化。此外,我们在一些完全合作的任务上进行了测试,并得到了令人信服的结果。
2022-12-07 cs.AI cs.MA
Toward Policy Explanations for Multi-Agent Reinforcement Learning
University of Virginia(弗吉尼亚大学);Bar-Ilan University(巴伊兰大学)
多智能体强化学习(MARL)的进步使一系列令人兴奋的多智能体应用(如协作AI和自动驾驶)能够进行顺序决策。解释代理决策对于提高系统透明度,提高用户满意度和促进人类-代理协作至关重要。然而,现有的可解释的强化学习的工作主要集中在单智能体设置,不适合解决多智能体环境所带来的挑战。我们提出了新的方法来产生两种类型的政策解释MARL:(一)政策总结的代理合作和任务序列,和(ii)语言解释回答查询代理行为。三个MARL域上的实验结果证明了我们的方法的可扩展性。一项用户研究表明,生成的解释显着提高用户的性能,并增加主观评分的指标,如用户满意度。
2022-05-23 cs.AI cs.LG
Reinforcement Learning Agents in Colonel Blotto
模型和游戏是世界的简化表示。有许多不同类型的模型,在复杂性和它们允许我们进一步理解世界的哪个方面上都有所不同。在本文中,我们专注于一个具体的例子,基于代理的模型,它使用强化学习(RL)训练代理如何在其环境中采取行动。强化学习代理通常也是马尔可夫过程,这是另一种可以使用的模型。我们在Colonel Blotto环境中测试了这个强化学习代理,并将其与随机代理作为对手来衡量其性能。我们发现,RL代理轻松击败一个单一的对手,仍然表现得很好,当对手的数量增加。我们还分析了RL代理,并通过查看它给出的最高和最低Q值的动作来查看它已经达到了什么策略。有趣的是,与多个对手博弈的最优策略几乎与与单个对手博弈的最优策略完全相反。
2022-04-04 cs.AI cs.LG
Cooperative Heterogeneous Deep Reinforcement Learning
AAII,University of Technology Sydney(悉尼科技大学AAII);National University of Singapore(新加坡国立大学);Data61, CSIRO(澳大利亚联邦科学与工业研究组织数据61研究所)
已经提出了许多深度强化学习代理,每个代理都有其优点和缺陷。在这项工作中,我们提出了一个合作异构深度强化学习(CHDRL)框架,可以通过整合异构代理的优势来学习策略。具体来说,我们提出了一个协作学习框架,异构代理分为两类:全球代理和本地代理。全局代理是可以利用其他代理的经验的非策略代理。本地代理是基于策略的代理或基于种群的进化算法(EA)代理,可以有效地探索本地区域。我们采用样本有效的全局代理来指导本地代理的学习,以便本地代理可以从样本有效代理中受益并同时保持其优势,例如,稳定全球代理商也受益于有效的本地搜索。对Mujoco基准的一系列连续控制任务的实验研究表明,与最先进的基线相比,CHDRL实现了更好的性能。
2020-11-02 cs.AI cs.LG
Agent-Agnostic Human-in-the-Loop Reinforcement Learning
Brown University(布朗大学);AI Impacts;Stanford University(斯坦福大学);University of Oxford(牛津大学)
为强化学习代理提供专家建议可以显著改善学习的各个方面。以前的工作已经开发出教学协议,使代理在复杂的环境中有效地学习,这些方法中的许多定制教师的指导代理与特定的表示或底层的学习计划,提供有效的,但专门的教学程序。在这项工作中,我们探讨协议程序,一个代理不可知的模式,人在回路强化学习。我们的目标是将人类教师的有益特性融入强化学习中,而不对代理的内部工作原理做出强烈的假设。我们将展示如何表示现有的方法,如动作修剪,奖励塑造,并在模拟训练作为我们的模式的特殊情况下,并进行初步的实验简单的域。
2017-01-15 cs.AI cs.LG
Interaction-Aware Multi-Agent Reinforcement Learning for Mobile Agents with Individual Goals
Carnegie Mellon University(卡内基梅隆大学);Honda Research Institute USA(美国本田研究所)
在多智能体环境中,单个智能体的最优策略在很大程度上取决于其他智能体的行为。我们研究了多智能体强化学习的问题,专注于分散学习的非平稳域的移动机器人导航。我们确定了一个原因的训练非平稳政策的困难:相互适应次优行为,我们用它来激励一个基于学习策略的互动政策。课程分为两个阶段。首先,代理利用策略梯度算法来学习能够实现多个目标的策略。其次,代理学习修改器策略,以学习如何在多代理设置中与其他代理交互。我们评估了我们的方法在自动驾驶换道域和机器人导航域。
2019-09-27 cs.AI cs.LG
Towards Multi-Agent Reinforcement Learning using Quantum Boltzmann Machines
LMU Munich(慕尼黑大学)
强化学习推动了机器学习令人印象深刻的进步。与此同时,使用量子退火的量子增强机器学习算法是重大发展的基础。最近,结合这两种范式的多智能体强化学习(MARL)架构已经提出。这种利用量子玻尔兹曼机(QBM)进行Q值近似的新算法在收敛所需的时间步长方面优于常规深度强化学习。然而,该算法仅限于单智能体和小型2x2多智能体网格域。在这项工作中,我们提出了一个扩展到原来的概念,以解决更具挑战性的问题。与经典的DQN类似,我们添加了一个经验重放缓冲区,并使用不同的网络来近似目标和策略值。实验结果表明,学习变得更加稳定,使代理找到最佳的策略,在网格域具有较高的复杂性。此外,我们评估参数共享如何影响多代理域中的代理行为。量子采样被证明是强化学习任务的一种有前途的方法,但目前受到QPU大小的限制,因此受到输入和玻尔兹曼机大小的限制。
2021-11-22 cs.AI cs.MA
PooL: Pheromone-inspired Communication Framework forLarge Scale Multi-Agent Reinforcement Learning
Peking University(北京大学)
难以扩展给多智能体协调带来了很大的问题。多智能体强化学习(MARL)算法在小规模多智能体系统中的应用很难扩展到大规模多智能体系统中,因为后者的动态性更强,交互次数随着智能体数量的增加而呈指数级增加。一些群体智能算法模拟信息素的释放和利用机制来控制大规模的Agent协调。受这些算法的启发,为了解决大规模多智能体协调问题,提出了一种基于\textbf{p}和\textbf{o} m \textbf{o} ne的间接通信框架\textbf{PooL},用于大规模多智能体强化\textbf{l}学习. PooL的代理释放的信息素被定义为大多数强化学习算法的输出,它反映了代理对当前环境的看法。信息素更新机制可以有效地组织所有代理的信息,并将代理之间的复杂交互简化为低维表示。智能体感知到的信息素可以看作是附近智能体观点的总结,更能反映环境的真实情况。以Q-Learning为基础模型实现PooL,并在各种大规模协作环境中对PooL进行了评估。实验结果表明,通过PooL,Agent可以捕获有效的信息,并以较低的通信代价获得比其他方法更高的回报。
2022-02-20 cs.AI cs.MA
Coach-assisted Multi-Agent Reinforcement Learning Framework for Unexpected Crashed Agents
University of Science and Technology of China(中国科学技术大学);College of Intelligence and Computing, Tianjin University(天津大学智能与计算学部)
多智能体强化学习在实际应用中存在一定的困难,部分原因是仿真场景与现实场景之间存在差距。造成这种差距的一个原因是,模拟系统总是假设智能体可以一直正常工作,而在实际中,由于不可避免的硬件或软件故障,一个或多个智能体可能会在协调过程中意外“崩溃”。这种崩溃会破坏代理之间的合作,导致性能下降。在这项工作中,我们提出了一个正式制定的合作多智能体强化学习系统与意外的崩溃。为了提高系统的鲁棒性崩溃,我们提出了一个教练辅助的多智能体强化学习框架,它引入了一个虚拟教练代理调整训练过程中的崩溃率。我们设计了三种教练策略和教练代理的重采样策略。据我们所知,这项工作是第一个研究意外崩溃的多智能体系统。在网格世界和星际争霸II微观管理任务上的大量实验证明了自适应策略与固定崩溃率策略和课程学习策略相比的有效性。消融研究进一步说明了我们的重新采样策略的有效性。
2022-03-16 cs.LG cs.MA
A Variational Approach to Mutual Information-Based Coordination for Multi-Agent Reinforcement Learning
KAIST(韩国科学技术院)
在本文中,我们提出了一个新的互信息框架的多智能体强化学习,使多个代理学习协调的行为,通过正规化的累积回报与多个代理之间的动作的同时互信息。通过引入一个潜在的变量,诱导非零互信息之间的多智能体的行动和应用变分的界限,我们得到一个听话的下界所考虑的MMI正则化的目标函数。导出的易处理的目标可以被解释为最大熵强化学习结合其他代理行动的不确定性减少。应用策略迭代来最大化导出的下界,我们提出了一个实用的算法命名为变分最大互信息多代理actor-critic,它遵循集中学习与分散执行。我们评估VM 3-AC几个游戏需要协调,数值结果表明,VM 3-AC优于其他MARL算法在多智能体任务,需要高质量的协调。
2023-03-01 cs.AI cs.MA