Multi-Agent Actor-Critic for Mixed Cooperative-Competitive Environments
McGill University(麦吉尔大学);OpenAI(开放人工智能研究中心);UC Berkeley(加州大学伯克利分校)
我们探索多智能体领域的深度强化学习方法。我们首先分析了传统算法在多代理情况下的困难:Q-学习受到环境固有的非平稳性的挑战,而策略梯度受到随着代理数量增加而增加的方差的影响。然后,我们提出了一个适应的演员-评论家的方法,认为其他代理的行动政策,并能够成功地学习政策,需要复杂的多代理协调。此外,我们引入了一个训练方案,利用合奏的政策,每个代理,导致更强大的多代理政策。我们展示了我们的方法相比,现有的方法在合作以及竞争的情况下,代理人口能够发现各种物理和信息的协调策略的实力。
2020-03-14 cs.AI cs.LG cs.NE
Information Acquisition Under Resource Limitations in a Noisy Environment
Cornell University(康奈尔大学)
我们介绍了一个理论模型,在噪声环境中的资源限制下的信息获取。智能体必须在对给定布尔公式$φ$中的变量的真值执行有界数量的噪声测试之后猜测该公式的真值。我们观察到,在一般情况下,找到一个最佳的测试策略$ϕ$的问题是很难的,但我们提出了一个有用的启发式。我们使用的技巧也让我们深入了解了两个看似不相关但研究得很好的问题:(1)\emph{rational inattention},也就是说,什么时候忽略相关信息是合理的(最佳策略可能涉及几乎从不测试与$ϕ$明显相关的变量);(2)是什么让公式难以学习/记忆。
2020-05-20 cs.AI
Balancing Rational and Other-Regarding Preferences in Cooperative-Competitive Environments
HSE University(高等经济大学);JetBrains Research(JetBrains研究院)
最近的强化学习研究广泛探讨了混合环境中合作和竞争行为之间的相互作用。与合作环境中的代理人努力实现共同目标不同,混合环境因自私和社会利益的冲突而臭名昭着。因此,纯粹理性的行为者往往很难实现和维持合作。诱导合作行为的一种普遍方法是根据其他代理人的福利分配额外的奖励。然而,这种方法受到多代理信用分配的问题,这可能会阻碍性能。在协同设置中,QMIX和COMA等最先进的算法有效地缓解了这个问题。尽管如此,当应用于混合环境时,这些算法可能会导致不公平的奖励分配。我们提出了BAROCCO,这些算法的扩展能够平衡个人和社会的激励。BAROCCO背后的机制是训练两个不同但相互交织的组件,共同影响每个代理的决策。我们的元算法兼容Q学习和Actor-Critic框架。我们通过实验证实了现有方法的优势,并在两个混合的多智能体设置的行为方面的BAROCCO探索。
2021-02-24 cs.AI cs.LG cs.MA
Honor of Kings Arena: an Environment for Generalization in Competitive Reinforcement Learning
Shanghai Jiao Tong University(上海交通大学);Tencent AI Lab(腾讯人工智能实验室);Tencent Timi Studio(腾讯天美工作室);New Jersey Institute of Technology(新泽西理工学院)
本文提出王者荣耀竞技场,一个基于热门游戏王者荣耀的强化学习环境,用于研究竞争性多智能体泛化挑战,提供二十个英雄任务、开源接口和基线结果。
2022-10-18 cs.AI cs.LG
An Efficient Application of Neuroevolution for Competitive Multiagent Learning
Vellore Institute of Technology(韦洛尔理工学院)
多智能体系统为使用强化学习算法评估和分析现实世界的问题提供了一个理想的环境。大多数传统的多智能体学习方法都受到长训练周期和高计算复杂性的影响。NEAT(NeuroEvolution of Augmenting Topologies)是一种流行的进化策略,用于获得最佳性能的神经网络架构,通常用于解决人工智能领域的优化问题。本文利用NEAT算法实现竞争性多智能体学习的修改乒乓游戏环境中的有效方式。竞争主体遵守不同的规则,但具有相似的观测空间参数。该算法利用环境的这一属性来定义一个奇异的神经进化过程,获得所有代理的最优策略。编译的结果表明,所提出的实现在一个非常短的训练期内达到理想的行为相比,现有的多智能体强化学习模型。
2021-05-23 cs.AI cs.MA cs.NE
Carrot, stick, or both? Price incentives for sustainable food choice in competitive environments
Princeton University(普林斯顿大学);EPFL(瑞士联邦理工学院)
本研究通过价格干预策略在竞争环境中促进可持续食品选择,发现综合方案在减少碳排放方面更有效且经济可行。
2025-12-15 cs.AI econ.GN q-fin.EC
Cooperative and Competitive Biases for Multi-Agent Reinforcement Learning
KAIST(韩国科学技术院)
训练多智能体强化学习(MARL)算法比训练单智能体强化学习算法更具挑战性,因为多智能体任务的结果强烈依赖于智能体之间的复杂交互以及它们与随机和动态环境的交互。我们提出了一种算法,提高MARL训练使用有偏见的行动信息的基础上的朋友或敌人的概念。在合作竞争环境中,一般有两类代理人:合作代理人和竞争代理人。在该算法中,每个代理更新其价值函数使用自己的行动和偏见的行动信息的其他代理在两个群体。通过假设所有合作主体共同最大化目标主体的价值函数,将合作主体的有偏联合行动计算为它们的实际联合行动与假想的合作联合行动之和。竞争主体的有偏联合作用可以类似地计算。然后,每个代理使用有偏的动作信息更新其自己的价值函数,从而产生有偏的价值函数和相应的有偏策略。随后,每个代理人的偏见政策不可避免地受到建议的行动,合作和竞争与其他代理人,从而引入更积极的互动代理和增强MARL策略学习。我们的经验表明,我们的算法优于现有的算法在各种混合的合作竞争环境。此外,随着训练的进行,引入的偏差逐渐减小,并且基于虚假设的校正消失。
2021-01-18 cs.AI cs.LG cs.MA
A double competitive strategy based learning automata algorithm
School of Cyber Space Security, Shanghai Jiao Tong University(上海交通大学网络空间安全学院);School of Computer Science and Engineering, Nanjing University of Science and Technology(南京理工大学计算机科学与工程学院)
学习自动机被认为是强化学习领域最有力的工具之一。为了提高LA的收敛速度,提出了估计器族算法,并取得了很大的成就。然而,估计器在估计LA学习过程的初始阶段的动作的奖励概率上表现不佳。在这种情况下,大量的奖励将被添加到非最优行为的概率中。因此,需要大量的额外迭代来补偿这些错误的奖励。为了提高收敛速度,我们提出了一种新的P-模型吸收学习自动机,利用双竞争策略,这是设计用于更新的动作概率向量。这样,错误的奖励就可以立即得到纠正。因此,建议的双重竞争算法克服了现有的估计算法的缺点。一个精细的分析,以显示所提出的计划的$ε-optimality$。在基准环境中的大量实验结果表明,我们提出的学习自动机比最经典的LA $SE_{RI}$和目前最快的LA $DGCPA^{*}$更有效地执行。
2017-12-01 cs.AI
Competitive Multi-Agent Deep Reinforcement Learning with Counterfactual Thinking
Central University of Finance and Economics(中央财经大学);iFLYTEK(科大讯飞);Zhejiang University(浙江大学);Amazon(亚马逊);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
反事实思维是指人们对已经发生的事情用不同的解决方案重新推断可能的结果的心理现象。它帮助人们从错误中获得更多的经验,从而在未来类似的任务中表现得更好。本文研究了在多智能体强化学习环境中智能体寻找最优决策策略的反事实思维。特别是,我们提出了一个多智能体深度强化学习模型,其结构模仿人类心理的反事实思维过程,以提高智能体的竞争能力。为此,我们的模型生成了几个可能的行动(意图行动)与一个并行的政策结构,并估计这些意图行动的奖励和遗憾的基础上,其当前的理解环境。我们的模型采用了一个基于ESTA的框架,将估计的遗憾与其内部政策联系起来。在迭代过程中,我们的模型更新的并行策略和相应的基于代理的遗憾。为了验证我们提出的模型的有效性,我们进行了广泛的实验,在两个不同的环境与现实世界的应用程序。实验结果表明,反事实思维实际上可以使智能体在保持高执行效率的同时,通过与对手进行比较,从公平信息的环境中获得更多的累积奖励。
2019-08-16 cs.AI cs.LG cs.MA
Investigation of Independent Reinforcement Learning Algorithms in Multi-Agent Environments
University of Waterloo(滑铁卢大学)
独立的强化学习算法在理论上无法保证在多智能体环境中找到最佳策略。然而,在实践中,先前的工作已经报告了在某些领域中独立算法的良好性能和在其他领域中的不良性能。此外,在文献中缺乏对独立算法的优点和缺点的全面研究。在本文中,我们进行了一个实证比较的性能独立算法的四个PettingZoo环境,跨越三个主要类别的多智能体环境,即,合作、竞争和混合。我们表明,在完全可观察的环境中,独立的算法可以在合作和竞争环境中与多智能体算法相提并论。对于混合环境,我们表明,通过独立的算法训练的代理人学习表现良好的个人,但未能学会与盟友合作,并与敌人竞争。我们还表明,增加递归提高了独立算法在合作部分可观测环境中的学习。
2021-11-01 cs.AI cs.LG cs.MA
FightLadder: A Benchmark for Competitive Multi-Agent Reinforcement Learning
Princeton University(普林斯顿大学)
本研究提出了面向竞争性多智能体强化学习的轻量级开源基准FightLadder,配套前沿算法实现与评估指标,验证了平台可行性并揭示了无人类知识下训练不可利用智能体的难度,助力该领域研究发展。
2024-06-24 cs.AI cs.LG cs.MA
Maximizing Social Welfare in a Competitive Diffusion Model
University of British Columbia(不列颠哥伦比亚大学);Microsoft Research(微软研究院)
影响力最大化(IM)由于在病毒营销和感染遏制等方面的应用,在文献中获得了大量的关注。它的目的是选择少量的种子用户采用一个项目,使采用传播到网络中的大量用户。竞争性即时通信侧重于网络中竞争项目的传播。现有的工作竞争IM有几个限制。(1)他们未能将经济激励纳入用户的项目采用决策。(2)大多数作品的目的是最大限度地采用一个特定的项目,而忽略了不同项目发挥的集体作用。(3)他们主要关注竞争的一个方面--纯粹的竞争。为了解决这些问题,我们研究竞争IM下的效用驱动的传播模型称为UIC,并研究社会福利最大化。一般来说,这个问题不仅是NP-难的,而且在任何常数因子内都是NP-难的。因此,我们设计即时相关的有效近似算法的一般情况下,以及一个$(1-1/e-ε)$ -近似算法的限制设置。我们的算法优于不同的基线竞争IM,无论是在解决方案的质量和运行时间在大型真实网络下的合成和真实的效用配置。
2020-12-06 cs.AI cs.IT cs.SI
HARBOR: Exploring Persona Dynamics in Multi-Agent Competition
Harbor
本研究提出多智能体拍卖测试平台HARBOR,探究角色设定、竞争对手画像、心智理论策略对LLM智能体竞争表现的影响,为研究多智能体竞争环境下的工作流程提供支撑。
2025-06-15 cs.AI cs.CL cs.MA
Quantum entanglement provides a competitive advantage in adversarial games
CSIRO(联邦科学与工业研究组织)
本研究通过量子-经典混合智能体在Pong对抗性马尔可夫博弈中的实验,发现纠缠量子电路在特征提取和竞争性强化学习中优于可分离电路,表明量子纠缠可作为表示学习的功能资源。
2026-06-03 cs.AI cs.LG quant-ph
Minimax Exploiter: A Data Efficient Approach for Competitive Self-Play
McGill University(麦吉尔大学);Ubisoft Montreal(育碧蒙特利尔)
本文提出 Minimax Exploiter,通过博弈论方式利用对手知识提升竞争性自博弈的数据效率,并在多种游戏环境中验证其稳定性和优于强基线的表现。
2023-11-28 cs.AI cs.LG cs.MA
GTBench: Uncovering the Strategic Reasoning Limitations of LLMs via Game-Theoretic Evaluations
Drexel University(德雷塞尔大学);LLNL(劳伦斯利弗莫尔国家实验室);Lehigh University(里海大学);UNC Chapel Hill(北卡罗来纳大学教堂山分校);MIT(麻省理工学院);Harvard University(哈佛大学);Boston University(波士顿大学)
本文提出GTBench博弈论评估环境,系统刻画并比较LLMs在10类游戏中的策略推理能力,揭示其在不同信息与概率场景下的行为差异、开源与商业模型差距及代码预训练的作用。
2024-06-10 cs.AI cs.CL cs.LG
Exploring the Limitations of Behavior Cloning for Autonomous Driving
Computer Vision Center (CVC)(计算机视觉中心(CVC));Toyota Research Institute (TRI)(丰田研究院(TRI))
驾驶需要对各种复杂的环境条件和代理行为做出反应。对每一种可能的场景进行明确的建模是不现实的。相比之下,模仿学习理论上可以利用大量人类驾驶汽车的数据。特别是行为克隆已经成功地用于端到端学习简单的可视化策略,但是扩展到驾驶行为的全谱仍然是一个未解决的问题。在本文中,我们提出了一个新的基准实验研究的可扩展性和局限性的行为克隆。我们发现,行为克隆导致国家的最先进的结果,包括在看不见的环境中,执行复杂的横向和纵向机动,而这些反应被明确编程。然而,我们确认了众所周知的局限性(由于数据集偏差和过拟合),新的泛化问题(由于动态对象和缺乏因果模型),以及训练不稳定性,需要进一步研究,然后才能将行为克隆应用于现实世界的驾驶。所研究的行为克隆方法的代码可以在https://github.com/felipecode/coiltraine上找到。
2019-04-18 cs.AI cs.CV
Convolutional Channel-wise Competitive Learning for the Forward-Forward Algorithm
本文针对前向-前向算法的不足,提出基于卷积通道竞争学习的改进方法,通过逐层损失函数和通道特征分离提取模块消除负数据构造并提升表示学习,在多个图像分类基准上显著缩小了与反向传播方法的性能差距。
2023-12-19 cs.AI cs.CV cs.LG