Competitive Multi-Operator Reinforcement Learning for Joint Pricing and Fleet Rebalancing in AMoD Systems
Technical University of Denmark（丹麦技术大学）；Technical University of Munich（慕尼黑技术大学）；Stanford University（斯坦福大学）
本文提出多运营商强化学习框架，研究竞争对AMoD系统定价和车队再平衡策略学习的影响，实验显示竞争可使价格降低并产生不同的车队布局模式。
2026-03-05 cs.LG cs.MA
Provable Self-Play Algorithms for Competitive Reinforcement Learning
Salesforce Research（Salesforce研究院）；Princeton University（普林斯顿大学）
自我游戏，即算法通过与自己比赛而无需任何直接监督来学习，已成为现代强化学习（RL）中实现超人性能的新武器。然而，强化学习中的大多数验证理论仅适用于智能体在固定环境中进行游戏的设置;自我游戏算法是否可以证明有效，特别是当需要管理探索/开发权衡时，这在很大程度上仍然是开放的。我们研究了马尔可夫博弈下竞争性强化学习中的自我博弈，马尔可夫决策过程对两人博弈的推广。我们介绍了一个自我发挥的算法-值迭代与上/下置信界（VI-ULCB）-并表明，它实现了遗憾$\tilde{\mathcal{O}}(\sqrt{T})$后，发挥$T$步骤的游戏，其中的遗憾是衡量代理的性能对\emph{fully adversarial}对手谁可以利用代理的策略在\emph{any}步骤。我们还介绍了一个探索，然后利用风格的算法，它实现了一个稍差的遗憾$\tilde{\mathcal{O}}(T^{2/3})$，但保证运行在多项式时间，即使在最坏的情况下。据我们所知，我们的工作提出了竞争性强化学习的第一条可证明样本有效的自我发挥算法。
2020-07-09 cs.AI cs.LG stat.ML
Independent Policy Gradient Methods for Competitive Reinforcement Learning
Massachusetts Institute of Technology（麻省理工学院）
我们获得了全局，非渐近收敛保证独立学习算法在竞争强化学习设置与两个代理（即，零和随机博弈）。我们考虑一个情节设置，在每一集中，每个玩家独立地选择一个策略，只观察自己的行为和奖励，以及状态。我们表明，如果两个球员运行策略梯度方法串联，他们的政策将收敛到最小-最大均衡的游戏，只要他们的学习率遵循两个时标规则（这是必要的）。据我们所知，这构成了第一个有限样本收敛的结果，独立的策略梯度方法在竞争性强化学习，以前的工作主要集中在集中，协调程序的平衡计算。
2021-01-11 cs.LG
Mixed Cooperative-Competitive Communication Using Multi-Agent Reinforcement Learning
University of Antwerp（安特卫普大学）；imec（比利时微电子研究中心）
通过在多智能体环境中使用多个智能体之间的通信，可以通过将一个智能体的观察与同一动态环境中的其他智能体的观察相结合来减少部分可观察性的影响。虽然许多成功的研究已经完成了对合作环境中的沟通学习，在混合合作竞争环境中的沟通学习也很重要，并带来了自己的复杂性，如对方团队偷听的沟通。在本文中，我们应用微分代理间学习（DIAL），合作设置，一个混合的合作竞争环境。我们研究了一个团队的私密通信和另一个团队可以偷听到的通信之间的性能差异。我们的研究表明，在我们选择的环境中，经过给定的训练期后，通信代理能够实现与完全可观察代理相似的性能。总的来说，我们发现，跨团队共享通信的结果在降低性能的沟通团队相比，实现与私人通信的结果。
2021-10-29 cs.LG cs.MA
Competitive Multi-Agent Deep Reinforcement Learning with Counterfactual Thinking
Central University of Finance and Economics（中央财经大学）；iFLYTEK（科大讯飞）；Zhejiang University（浙江大学）；Amazon（亚马逊）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
反事实思维是指人们对已经发生的事情用不同的解决方案重新推断可能的结果的心理现象。它帮助人们从错误中获得更多的经验，从而在未来类似的任务中表现得更好。本文研究了在多智能体强化学习环境中智能体寻找最优决策策略的反事实思维。特别是，我们提出了一个多智能体深度强化学习模型，其结构模仿人类心理的反事实思维过程，以提高智能体的竞争能力。为此，我们的模型生成了几个可能的行动（意图行动）与一个并行的政策结构，并估计这些意图行动的奖励和遗憾的基础上，其当前的理解环境。我们的模型采用了一个基于ESTA的框架，将估计的遗憾与其内部政策联系起来。在迭代过程中，我们的模型更新的并行策略和相应的基于代理的遗憾。为了验证我们提出的模型的有效性，我们进行了广泛的实验，在两个不同的环境与现实世界的应用程序。实验结果表明，反事实思维实际上可以使智能体在保持高执行效率的同时，通过与对手进行比较，从公平信息的环境中获得更多的累积奖励。
2019-08-16 cs.AI cs.LG cs.MA
Anytime-Competitive Reinforcement Learning with Policy Prior
UC Riverside（加州大学河滨分校）；CUHK Shenzhen（香港中文大学（深圳））；Caltech（加州理工学院）
本文提出ACRL算法，解决随时竞争马尔可夫决策过程，在保证每轮成本有界的同时优化期望奖励，并通过碳智能计算实验验证其性能。
2024-02-02 cs.LG
All by Myself: Learning Individualized Competitive Behaviour with a Contrastive Reinforcement Learning optimization
Italian Institute of Technology（意大利理工学院）
针对竞争博弈中现有方法无法生成个性化对手策略的问题，提出含三层神经网络、基于对比优化损失在线训练的模型，在宝可梦对战和Chef's Hat卡牌游戏中表现优于多种基线模型。
2023-10-02 cs.AI cs.LG
BACKDOORL: Backdoor Attack against Competitive Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）；Pennsylvania State University（宾夕法尼亚州立大学）
最近的研究证实了后门攻击在深度强化学习（RL）系统中的可行性。然而，现有的攻击需要能够任意修改代理的观察，限制了应用范围简单的RL系统，如雅达利游戏。在本文中，我们将后门攻击迁移到涉及多个代理的更复杂的RL系统中，并探索在不直接操纵代理观察的情况下触发后门的可能性。作为概念证明，我们证明了对手代理可以在两人竞争RL系统中通过自己的行动触发受害代理的后门。我们在四种竞争环境中对EPDOOORL进行原型设计和评估。结果显示，当后门被激活时，受害者的中奖率比未激活时下降了17%至37%。
2021-12-12 cs.CR cs.LG
Delay-Aware Multi-Agent Reinforcement Learning for Cooperative and Competitive Environments
State Key Laboratory of Automotive Safety and Energy, Tsinghua University（清华大学汽车安全与节能国家重点实验室）；Carnegie Mellon University（卡内基梅隆大学）
在现实世界的信息物理系统中，行动和观测延迟是普遍存在的，这给强化学习的设计带来了挑战。这是一个艰巨的任务时，处理多代理系统，其中一个代理的延迟可能会蔓延到其他代理。为了解决这个问题，本文提出了一种新的框架来处理延迟以及非平稳训练问题的多智能体任务与无模型的深度强化学习。我们正式定义的延迟意识马尔可夫博弈，包括在环境中的所有代理的延迟。为了解决延迟感知马尔可夫博弈，我们采用集中式训练和分散式执行，允许代理使用额外的信息来缓解多代理系统在训练过程中的非平稳性问题，而无需在执行过程中使用集中式控制器。实验在多智能体粒子环境中进行，包括合作通信，合作导航和竞争实验。我们还测试了所提出的算法在交通场景中，需要协调的所有自动驾驶车辆，以显示延迟意识的实用价值。实验结果表明，所提出的时延感知多智能体强化学习算法有效地抑制了时延带来的性能下降.代码和演示视频可在https://github.com/baimingc/delay-aware-MARL上获得。
2020-08-29 cs.LG cs.MA stat.ML
RLRF: Competitive Search Agent Design via Reinforcement Learning from Ranker Feedback
Faculty of Data and Decision Sciences（数据与决策科学学院）；Technion – Israel Institute of Technology（技术学院–以色列理工学院）
针对竞争性搜索场景下LLM生成修改内容的需求，提出基于排序竞赛偏好数据训练的RLRF框架，其智能体在分布外场景和策略对手下均优于现有方法，展现强化学习在该领域的潜力。
2025-10-05 cs.GT cs.IR cs.LG
Arena: a toolkit for Multi-Agent Reinforcement Learning
Tencent AI Lab（腾讯人工智能实验室）；Tsinghua University（清华大学）
介绍了一个用于多智能体强化学习（MARL）研究的工具包Arena。在MARL中，它通常需要为每个代理定制观察，奖励和动作，改变合作-竞争代理交互，以及与第三方代理一起玩等。我们提供了一种新颖的模块化设计，称为Interface，用于以两种方式操纵此类例程：1）不同的接口可以连接和组合，这将OpenAI Gym Wrappers概念扩展到MARL场景。2)在MARL训练或测试期间，接口可以嵌入到包装的OpenAI Gym兼容环境或原始环境兼容代理中。我们为几个流行的MARL平台提供现成的接口，包括星际争霸II，Pommerman，ViZDoom，Soccer等。这些接口有效地支持自玩RL和合作竞争混合MARL。此外，Arena可以方便地扩展到您自己喜欢的MARL平台。
2019-07-20 cs.AI cs.LG cs.MA
Reinforcement Learning with Competitive Ensembles of Information-Constrained Primitives
Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）；University of California, Berkeley（加州大学伯克利分校）
在多样化和复杂环境中运行的强化学习代理可以从其行为的结构化分解中受益。通常，这是在分层强化学习的上下文中解决的，其目的是将策略分解为较低级别的原语或选项，以及触发针对给定情况的适当行为的较高级别的元策略。然而，元策略仍然必须在所有状态下产生适当的决策。在这项工作中，我们提出了一个政策设计，分解成原语，类似于分层强化学习，但没有一个高层次的元政策。相反，每个原语可以自己决定是否希望在当前状态下操作。我们使用信息理论机制来实现这种分散决策：每个原语选择它需要多少关于当前状态的信息来做出决策，并且请求关于当前状态的最多信息的原语在世界上行动。原语被规则化以使用尽可能少的信息，这导致了自然竞争和专业化。我们的实验表明，这种政策架构提高了平面和层次化的政策方面的泛化。
2019-06-25 cs.AI cs.LG stat.ML
Honor of Kings Arena: an Environment for Generalization in Competitive Reinforcement Learning
Shanghai Jiao Tong University（上海交通大学）；Tencent AI Lab（腾讯人工智能实验室）；Tencent Timi Studio（腾讯天美工作室）；New Jersey Institute of Technology（新泽西理工学院）
本文提出王者荣耀竞技场，一个基于热门游戏王者荣耀的强化学习环境，用于研究竞争性多智能体泛化挑战，提供二十个英雄任务、开源接口和基线结果。
2022-10-18 cs.AI cs.LG
Multi-Agent Deep Reinforcement Learning for Cooperative and Competitive Autonomous Vehicles using AutoDRIVE Ecosystem
Clemson University International Center for Automotive Research (CU-ICAR)（克莱姆森大学国际汽车研究中心（CU-ICAR））
提出基于 AutoDRIVE Ecosystem 的模块化多智能体深度强化学习框架，分别用 Nigel 共享策略和 F1TENTH 独立策略验证合作通行与对抗竞速。
2023-09-30 cs.AI cs.LG cs.MA
Finding Regularized Competitive Equilibria of Heterogeneous Agent Macroeconomic Models with Reinforcement Learning
Northwestern University（西北大学）；Yale University（耶鲁大学）；University of California, Berkeley（加州大学伯克利分校）
本文研究了一个具有无限多个家庭和企业在劳动力市场中竞争的异质主体宏观经济模型。每个家庭在每一个时间步赚取收入并参与消费，同时旨在最大化受潜在市场条件影响的凹效用。在给定的市场条件下，家庭的目标是找到最优储蓄策略，使其贴现累积效用最大化，而企业则根据家庭的人口行为，通过最大化企业利润来确定市场条件。该模型在宏观经济研究中具有广泛的应用，我们提出了一个数据驱动的强化学习框架，可以找到模型的正则化竞争均衡。该算法在理论上保证了以次线性速率收敛到市场均衡。
2023-02-24 cs.LG econ.GN q-fin.EC
Investigation of Independent Reinforcement Learning Algorithms in Multi-Agent Environments
University of Waterloo（滑铁卢大学）
独立的强化学习算法在理论上无法保证在多智能体环境中找到最佳策略。然而，在实践中，先前的工作已经报告了在某些领域中独立算法的良好性能和在其他领域中的不良性能。此外，在文献中缺乏对独立算法的优点和缺点的全面研究。在本文中，我们进行了一个实证比较的性能独立算法的四个PettingZoo环境，跨越三个主要类别的多智能体环境，即，合作、竞争和混合。我们表明，在完全可观察的环境中，独立的算法可以在合作和竞争环境中与多智能体算法相提并论。对于混合环境，我们表明，通过独立的算法训练的代理人学习表现良好的个人，但未能学会与盟友合作，并与敌人竞争。我们还表明，增加递归提高了独立算法在合作部分可观测环境中的学习。
2021-11-01 cs.AI cs.LG cs.MA
TourPlanner: A Competitive Consensus Framework with Constraint-Gated Reinforcement Learning for Travel Planning
Xiaohongshu Inc.（小红书公司）；Renmin University of China（中国人民大学）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；MAIS, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所MAIS）
TourPlanner通过多路径推理和约束门控强化学习，解决旅行规划中候选点修剪、探索能力限制和约束优化难题，实现更高效的行程生成。
2026-01-08 cs.AI cs.CL cs.LG
On Information Asymmetry in Competitive Multi-Agent Reinforcement Learning: Convergence and Optimality
Technische Universität München（慕尼黑工业大学）；Munich Center for Quantum Science and Technology（慕尼黑量子科学与技术中心）
在这项工作中，我们研究了系统的互动非合作的两个Q-学习代理，其中一个代理有特权观察其他的行动。我们表明，这种信息不对称可以导致一个稳定的结果，人口学习，这通常不会发生在一般的独立学习者的环境。由此产生的后学习策略在潜在的博弈意义上几乎是最优的，即，它们就形成了一个纳什均衡。此外，我们在这项工作中提出了一个Q-学习算法，需要预测观察两个后续对手的行动，产生一个最佳的战略，后者适用于一个固定的战略，并讨论存在的纳什均衡在潜在的信息不对称的游戏。
2021-01-22 cs.GT cs.LG cs.MA
Competitive Multi-agent Inverse Reinforcement Learning with Sub-optimal Demonstrations
Northwestern University（西北大学）；Department of Industrial Engineering and Management Sciences（工业工程与管理科学系）
本文考虑了零和随机对策中专家论证非最优时的逆强化学习问题。与之前通过假设专家策略中的最优性来解耦游戏中的代理的工作相比，我们引入了一个新的目标函数，直接将专家与纳什均衡策略相比较，并且我们设计了一个算法来解决反向强化学习中的奖励函数，并将深度神经网络作为模型近似。在我们的设置中，模型和算法不通过代理解耦。为了寻找大规模博弈的纳什均衡，我们还提出了一个零和随机对策的对抗训练算法，并证明了其目标函数不存在局部最优解的理论吸引力。在我们的数值实验中，我们证明了我们的纳什均衡和反向强化学习算法解决了以前使用表格表示的方法不适用的游戏。此外，次优专家演示我们的算法恢复奖励函数和战略具有良好的质量。
2018-06-05 cs.LG stat.ML
Visual Transfer between Atari Games using Competitive Reinforcement Learning
Robotics Institute（机器人研究所）；Carnegie Mellon University（卡内基梅隆大学）
本文探讨了使用深度强化学习代理将知识从一个环境转移到另一个环境。更具体地说，该方法利用异步优势演员评论家（A3 C）架构，使用在Atari中的源游戏上训练的代理来概括目标游戏。我们提出了一种学习方法，使用多个代理并行训练目标游戏的不同表示来更新模型，而不是微调目标游戏的预训练模型。转移对的视频序列之间的视觉映射用于导出目标游戏的新表示;对目标游戏的这些视觉表示进行训练可以在性能、数据效率和稳定性方面提高模型更新。为了演示该架构的功能，OpenAI健身房环境中使用了Atari游戏Pong-v0和Breakout-v0作为源和目标环境。
2018-09-02 cs.CV cs.LG
Simple random search provides a competitive approach to reinforcement learning
University of California, Berkeley（加州大学伯克利分校）
无模型强化学习中的一个共同信念是，基于策略参数空间中的随机搜索的方法比探索动作空间的方法表现出更差的样本复杂度。我们通过引入随机搜索方法来消除这种信念，该方法用于训练连续控制问题的静态线性策略，在基准MuJoCo运动任务上匹配最先进的样本效率。我们的方法还发现了一个具有挑战性的线性二次调节器，在控制理论中的经典问题，当动态是未知的情况下，一个接近最优的控制器。在计算上，我们的随机搜索算法至少比这些基准测试中最快的竞争无模型方法效率高15倍。我们利用这种计算效率来评估我们的方法在数百个随机种子和许多不同的超参数配置的每个基准任务的性能。我们的模拟突出了这些基准任务中的性能的高度可变性，这表明常用的样本效率的估计不足以评估RL算法的性能。
2018-03-19 cs.AI cs.LG math.OC
Multiagent Cooperation and Competition with Deep Reinforcement Learning
University of Tartu（塔尔图大学）；ETH Zurich（苏黎世联邦理工学院）
多智能体系统出现在大多数社会、经济和政治环境中。在目前的工作中，我们将Google DeepMind提出的Deep Q-Learning Network架构扩展到多智能体环境，并研究由独立Deep Q-Networks控制的两个智能体如何在经典视频游戏Pong中进行交互。通过操纵Pong的经典奖励计划，我们展示了竞争和合作行为是如何出现的。有竞争力的代理人学习有效地比赛和得分。在协作奖励计划下训练的代理找到一个最佳策略，以尽可能长时间地保持球在游戏中。我们还描述了从竞争到合作行为的进展。目前的工作表明，深度Q网络可以成为研究生活在高度复杂环境中的多智能体系统的分散学习的实用工具。
2015-11-27 cs.AI cs.LG q-bio.NC
Impact of Price Inflation on Algorithmic Collusion Through Reinforcement Learning Agents
Center for Artificial Intelligence (CENIA)（人工智能中心（CENIA））；University of Chile（智利大学）；Advanced Mining Technology Center (AMTC)（先进采矿技术中心（AMTC））
本文研究通胀冲击对强化学习定价智能体合谋行为的影响，发现通胀会促进隐性协调、降低市场竞争性，但智能体缺乏稳健惩罚机制，凸显监管必要性。
2025-04-05 cs.GT cs.LG
Order Acquisition Under Competitive Pressure: A Rapidly Adaptive Reinforcement Learning Approach for Ride-Hailing Subsidy Strategies
Didi Chuxing（滴滴出行）
本文提出FCA-RL强化学习框架，结合快速竞争适应与强化拉格朗日调整技术，并构建RideGym仿真环境，以解决网约车聚合平台在预算约束下动态优化补贴策略、提升订单获取能力的问题。
2025-07-04 cs.AI cs.LG
A Champion-level Vision-based Reinforcement Learning Agent for Competitive Racing in Gran Turismo 7
KAIST（韩国科学技术院）；Sony AI（索尼人工智能）；Coventry University（科文特大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出了一种基于视觉的自主赛车代理，通过仅使用车载传感器数据和摄像头视角，在Gran Turismo 7中实现了冠军级的赛车性能。
2026-03-08 cs.LG
Balancing of competitive two-player Game Levels with Reinforcement Learning
University of Applied Sciences Mannheim（曼海姆应用技术大学）；Stuttgart Media University（斯图加特媒体大学）
本文面向双人竞争游戏关卡的自动平衡，在 PCGRL 中引入关卡生成器、平衡智能体与奖励仿真，并通过基于交换的表示提升可玩性鲁棒性，在 NMMO 中验证其优于普通 PCGRL。
2023-06-07 cs.GT cs.LG
Constructive Conflict-Driven Multi-Agent Reinforcement Learning for Strategic Diversity
School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；CRISE, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；The Key Laboratory of Cognition and Decision Intelligence for Complex Systems, Institute of Automation, Chinese Academy of Sciences（复杂系统认知与决策智能重点实验室，中国科学院自动化研究所）
针对多智能体强化学习策略多样性不足的问题，提出CoDiCon方法，通过建设性冲突引入竞争激励，在SMAC和GRF环境中取得优越性能。
2025-09-26 cs.AI cs.MA
Game-Theoretic Inverse Reinforcement Learning for Modeling Competitive Human Driving: A Cut-in Prediction Study
University of Wyoming（怀俄明大学）
本研究提出博弈论逆强化学习（IRL）模型，在highD数据集上验证其在激进切入车道变更预测中，相比基于物理的基准方法，显著提升了高风险场景的预测精确率与召回率，为混合自主环境交互建模提供可靠基础。
2026-08-10 cs.LG physics.soc-ph
Simulation-Driven Balancing of Competitive Game Levels with Reinforcement Learning
University of Applied Sciences Mannheim（曼海姆应用技术大学）；Stuttgart Media University（斯图加特媒体大学）
本研究将双人竞技游戏关卡平衡建模为PCGRL任务，提出含三模块的架构与基于交换的表示方法，在NMMO环境验证了其优于传统方法的平衡效率，并拓展了平衡形式与公平性指标的应用。
2025-03-24 cs.LG
FuzzerGym: A Competitive Framework for Fuzzing and Learning
Carnegie Mellon University（卡内基梅隆大学）；Georgia Institute of Technology（佐治亚理工学院）；Twentieth Century Fox（二十世纪福克斯公司）；Starfleet Academy（星际舰队学院）；Tyrell Inc.（泰瑞尔公司）
Fuzzing是一种常用的技术，旨在通过自动制作程序输入来测试软件。目前，最成功的模糊算法强调简单，低开销的策略，在执行过程中有效地监视程序状态的能力。通过编译时插装，这些方法可以访问程序状态的许多方面，包括覆盖率、数据流以及异构故障检测和分类。然而，现有的方法在生成测试输入时利用盲随机变异策略。我们提出了一种不同的方法，使用这种状态信息来优化变异算子，使用强化学习（RL）。通过将OpenAI Gym与libFuzzer集成，我们能够同时利用强化学习和模糊化的进步，在多个不同的基准测试中实现更深入的覆盖。我们的技术将LLVM算法提供的丰富、高效的程序监控器与深度神经网络连接起来，直接从输入数据中学习突变选择策略。我们开发的跨语言异步架构使我们能够将任何OpenAI Gym兼容的深度强化学习算法应用于任何模糊问题，并且速度最小。
2018-07-19 cs.AI cs.LG cs.SE
Reinforcement Learning for Efficient Toxicity Detection in Competitive Online Video Games
California Institute of Technology（加州理工学院）
本文提出一种基于上下文赌博机的强化学习算法，利用领域知识变量进行高效毒性检测采样，在《使命召唤》数据上优于基线，助力游戏环境安全。
2025-03-26 cs.LG
CoIRL-AD: Collaborative-Competitive Imitation-Reinforcement Learning in Latent World Models for Autonomous Driving
University of Science and Technology of China（中国科学技术大学）；Tsinghua University（清华大学）
提出CoIRL-AD框架，通过解耦模仿学习与强化学习、利用潜在世界模型进行长时程奖励估计以及引入竞争机制，在离线训练中提升自动驾驶的鲁棒性，尤其在跨城市泛化和长尾场景中表现优异。
2026-06-16 cs.CV cs.LG cs.RO
Multi-Agent Interplay in a Competitive Survival Environment
Sapienza University of Rome（罗马第一大学）
解决硬探索环境是强化学习的一个重要挑战。目前已经提出并研究了几种方法，如内在动机、Agent与任务的协同进化、多Agent竞争等。特别是，多个代理之间的相互作用已被证明能够产生与人类相关的紧急行为，这在单代理设置中很难或不可能学习。在这项工作中，一个可扩展的竞争环境，多智能体相互作用，其特点是现实的物理和人类相关的语义。此外，在此环境的不同变体上进行了几次实验，得到了一些简单的紧急策略和未来改进的具体方向。这里介绍的内容是作者的论文“多智能体相互作用在竞争性生存环境”的硕士学位人工智能和机器人在罗马大学，2022年。
2023-01-19 cs.AI cs.LG cs.MA
Theory of Mind as Intrinsic Motivation for Multi-Agent Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）
本研究提出将智能体预测他人信念的能力作为多智能体强化学习的内在奖励，实现了可解释信念与深度网络策略的结合，并在混合合作竞争环境中验证了初步效果。
2023-07-18 cs.AI cs.LG cs.MA
Human-Level Competitive Pokémon via Scalable Offline Reinforcement Learning with Transformers
本研究针对竞技宝可梦单打场景，通过重构人类对战日志构建大规模离线数据集，训练基于Transformer的序列模型实现无显式搜索的自适应对战策略，最终智能体达到人类玩家前10%的水平。
2025-07-30 cs.LG
Multi-Agent Reinforcement Learning for Dynamic Pricing: Balancing Profitability,Stability and Fairness
本文通过模拟市场环境评估了多智能体强化学习方法在动态定价中的表现，发现MAPPO在盈利、稳定性和公平性方面表现更优。
2026-02-28 cs.AI cs.LG
Reinforcing Competitive Multi-Agents for Playing 'So Long Sucker'
Dept. of Informatics, King's College London（信息学院，伦敦国王学院）；Dept. of CSE, Indian Institute of Technology Patna（计算机科学与工程系，印度理工学院帕纳布）
本文提出SLS游戏作为多智能体强化学习新基准，并构建首个公开计算框架，用经典深度强化学习训练自对弈智能体，虽达约一半最大奖励且优于随机基线，但训练长且偶有非法动作，凸显其潜力与局限。
2025-10-14 cs.AI
Turning Safety into Competence: Minimally Exploitable Robot Policies via Safety-Filtered Reinforcement Learning
Johns Hopkins University（约翰霍普金斯大学）；Princeton University（普林斯顿大学）
针对竞争性任务中机器人策略易被利用的问题，提出S2C两阶段框架，分离安全综合与任务学习，通过对抗性RL学习安全过滤器，在模拟和硬件测试中优于八个基线，实现高胜率与低可利用性。
2026-09-24 cs.AI cs.LG cs.RO
Cooperative-Competitive Reinforcement Learning with History-Dependent Rewards
University of Georgia（佐治亚大学）；University of Southern Mississippi（南密西西比大学）
考虑一个典型的组织，其工人代理寻求集体合作以实现整体改善。然而，每个代理人同时寻求采取行动，以确保比同事更大的年度薪酬增量，该增量通常来自{ \em固定}池。因此，组织中的个体代理人必须合作和竞争。许多组织的另一个特点是，工人获得奖金，这往往是前一年总利润的一小部分。因此，代理人获得的奖励也部分取决于历史表现。在这种情况下，个体代理人应如何决定采取行动？近年来，混合合作竞争环境的一些方法已经提出，但这些问题域的奖励函数不依赖于当前的状态和行动的挑战。可以使用最近的使用长短期记忆（LSTM）的深度多智能体强化学习（MARL）方法，但是这些方法对交互采用联合视角，或者需要在智能体之间明确交换信息以促进合作，这在竞争下可能是不可能的。在本文中，我们首先表明，代理的决策问题可以建模为一个互动的部分可观察马尔可夫决策过程（I-POMDP），捕捉动态的历史相关的奖励。我们提出了一个互动的优势演员-评论家的方法（IA 2C $^+$），它结合了独立的优势演员-评论家网络的信念过滤器，保持信念分布超过其他代理的模型。实证结果表明，IA 2C $^+$比其他几个基线（包括使用LSTM的基线）更快、更鲁棒地学习最优策略，即使属性模型不正确。
2020-10-15 cs.LG
ESSAM: A Novel Competitive Evolution Strategies Approach to Reinforcement Learning for Memory Efficient LLMs Fine-Tuning
Xi’an Jiaotong University（西安交通大学）；SGIT AI Lab（SGIT人工智能实验室）
本文提出ESSAM，结合进化策略的零阶搜索与SAM提升泛化能力，实现低内存高精度的LLM微调，实验显示其在GSM8K任务中表现优异，内存使用显著降低。
2026-05-08 cs.AI cs.LG
An Efficient Application of Neuroevolution for Competitive Multiagent Learning
Vellore Institute of Technology（韦洛尔理工学院）
多智能体系统为使用强化学习算法评估和分析现实世界的问题提供了一个理想的环境。大多数传统的多智能体学习方法都受到长训练周期和高计算复杂性的影响。NEAT（NeuroEvolution of Augmenting Topologies）是一种流行的进化策略，用于获得最佳性能的神经网络架构，通常用于解决人工智能领域的优化问题。本文利用NEAT算法实现竞争性多智能体学习的修改乒乓游戏环境中的有效方式。竞争主体遵守不同的规则，但具有相似的观测空间参数。该算法利用环境的这一属性来定义一个奇异的神经进化过程，获得所有代理的最优策略。编译的结果表明，所提出的实现在一个非常短的训练期内达到理想的行为相比，现有的多智能体强化学习模型。
2021-05-23 cs.AI cs.MA cs.NE
Prism: Spectral Parameter Sharing for Multi-Agent Reinforcement Learning
Gwangju Institute of Science and Technology (GIST)（光州科学技术学院）
Prism通过谱域参数共享机制，在多智能体强化学习中实现智能体间多样性与资源效率的平衡。
2026-02-06 cs.AI cs.LG cs.MA
Neuroevolution is a Competitive Alternative to Reinforcement Learning for Skill Discovery
InstaDeep；Imperial College（帝国理工学院）
针对深度强化学习在技能发现中易过拟合且需精细调参的问题，本文证明神经进化（特别是质量多样性方法）能提供同等或更优性能，且对超参数不敏感、更具可扩展性。
2023-09-08 cs.AI cs.LG cs.NE
Scalable Centralized Deep Multi-Agent Reinforcement Learning via Policy Gradients
GRASP Laboratory（GRASP实验室）；University of Pennsylvania（宾夕法尼亚大学）
在本文中，我们将探索使用深度强化学习来解决多智能体问题。大多数现有的深度多智能体强化学习方法只考虑少量的智能体。当代理数量增加时，输入和控制空间的维数也会增加，这些方法的扩展性不好。为了解决这个问题，我们建议铸造的多智能体强化学习问题作为一个分布式优化问题。我们的算法假设，对于多代理设置，在一个给定的人口中的各个代理的政策生活在参数空间中彼此接近，可以近似为一个单一的政策。有了这个简单的假设，我们证明了我们的算法是非常有效的强化学习在多智能体设置。我们证明了其有效性对现有的可比方法的合作和竞争的任务。
2018-05-22 cs.AI cs.LG cs.MA
KnowSR: Knowledge Sharing among Homogeneous Agents in Multi-agent Reinforcement Learning
National University of Defense Technology（国防科技大学）
近年来，深度强化学习（RL）算法在多智能体领域取得了很大进展。然而，由于RL的特性，复杂任务的培训将是资源密集型和耗时的。为了应对这一挑战，同质代理之间的相互学习策略是必不可少的，这是在以前的研究中，由于大多数现有的方法不考虑使用代理模型的知识，而探索不足。在本文中，我们提出了一种适应方法的大多数多智能体强化学习（MARL）算法称为KnowSR，它利用代理之间的学习差异。我们采用知识蒸馏（KD）的思想，在代理之间共享知识，以缩短训练阶段。为了实证证明KnowSR的鲁棒性和有效性，我们在协作和竞争场景中对最先进的MARL算法进行了广泛的实验。结果表明，KnowSR优于最近报道的方法，强调建议的知识共享MARL的重要性。
2021-05-25 cs.AI cs.LG cs.MA
CytonRL: an Efficient Reinforcement Learning Open-source Toolkit Implemented in C++
National Institute of Information and Communications Technology（日本信息通信研究机构）
本文介绍了一个名为CytonRL的开源执法学习工具包（https：//github.com/arthurxlw/cytonRL）。该工具包使用C++和NVIDIA的GPU加速库从头开始实现了四种最新的高级深度Q-学习算法。代码简单而优雅，这要归功于一个名为CytonLib的开源通用神经网络库。基准测试表明，该工具包在流行的Atari游戏Breakout上实现了具有竞争力的性能。
2018-04-14 cs.AI cs.LG stat.ML
Towards automating Codenames spymasters with deep reinforcement learning
University of Waterloo（滑铁卢大学）
虽然大多数强化学习研究都集中在竞争游戏上，但很少有人将其应用于合作多人游戏或基于文本的游戏。Codenames是一个涉及非对称合作和自然语言处理的棋盘游戏，这使得它成为推进RL研究的绝佳候选者。据我所知，这项工作是第一个将代号制定为马尔可夫决策过程，并将一些着名的强化学习算法（如SAC，PPO和A2C）应用于环境。虽然上述算法都不收敛于Codenames环境，但它们也不收敛于称为ClickPixel的简化环境，除非电路板尺寸很小。
2022-12-28 cs.AI cs.CL cs.LG
Adversarial Text Generation Without Reinforcement Learning
University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校）
生成对抗网络（GANs）最近受到了广泛的欢迎，在各种任务中表现出竞争力，特别是在计算机视觉中。然而，GAN训练在自然语言处理中显示出有限的成功。这在很大程度上是因为文本序列是离散的，因此梯度不能从递归传递到生成器。最近的解决方案使用强化学习来将近似梯度传播到生成器，但是这对于训练是低效的。我们建议利用自动编码器来学习句子的低维表示。然后训练GAN以在该空间中生成其自己的向量，这些向量解码为真实的话语。我们报告的随机和插值样本从发电机。句子向量的可视化表明我们的模型正确地学习了自动编码器的潜在空间。人类评分和BLEU评分都表明，我们的模型生成的文本与竞争基线相比具有现实意义。
2019-01-01 cs.CL cs.LG stat.ML
DRIVE: Data Curation Best Practices for Reinforcement Learning with Verifiable Reward in Competitive Code Generation
Hunyuan Team, Tencent（腾讯 Hunyuan 团队）
本文提出DRIVE框架，通过两阶段RLVR训练（GRPO加Pre-GRPO）和课程设计优化竞争性编程代码生成，在Qwen2.5-32B上取得同等规模最优性能。
2025-11-09 cs.LG
Safe Reinforcement Learning From Pixels Using a Stochastic Latent Representation
我们解决了从像素观察安全的强化学习的问题。在这样的设置中的固有挑战是（1）在奖励优化和遵守安全约束之间的权衡，（2）部分可观测性，以及（3）高维观测。我们正式的问题，在一个受约束的，部分可观察的马尔可夫决策过程框架，代理获得不同的奖励和安全信号。为了解决维数灾难，我们采用了一种新的安全评论家使用随机潜在的演员批评（SLAC）的方法。潜变量模型预测奖励和安全违规，我们使用安全批评训练安全策略。使用著名的基准环境，我们证明了竞争力的性能超过现有的方法方面的计算要求，最终的回报，并满足安全约束。
2022-10-02 cs.AI cs.LG
Learning Pessimism for Robust and Efficient Off-Policy Reinforcement Learning
非策略深度强化学习算法通常通过利用预期目标回报的悲观估计来补偿时间差学习期间的高估偏差。在这项工作中，我们提出了广义悲观主义学习（GPL），一种采用新的可学习的惩罚来制定这种悲观主义的策略。特别是，我们建议学习这个惩罚与批评双TD学习，一个新的程序来估计和最小化的目标回报偏差的大小与微不足道的计算成本。GPL使我们能够在整个训练过程中准确地抵消高估偏差，而不会导致过于悲观的目标的缺点。通过将GPL与流行的非策略算法相结合，我们在有竞争力的本体感受和基于像素的基准测试中获得了最先进的结果。
2023-03-05 cs.AI cs.LG
Scalable Coordinated Exploration in Concurrent Reinforcement Learning
Stanford University（斯坦福大学）；Google DeepMind（谷歌DeepMind）
我们考虑一个团队的强化学习代理，同时在一个共同的环境中运行，我们开发了一种方法，有效的协调探索，是适合于实际规模的问题。我们的方法建立在种子采样（Dimakopoulou和Van Roy，2018）和随机价值函数学习（Osband等人，2016年）。我们证明，对于简单的表格上下文，该方法与以前提出的表格模型学习方法（Dimakopoulou和Van Roy，2018）具有竞争力。与高维问题和神经网络价值函数表示，该方法学习速度快，代理少得多的替代勘探计划。
2018-12-16 cs.AI cs.LG stat.ML
Learning Bilateral Team Formation in Cooperative Multi-Agent Reinforcement Learning
针对多智能体强化学习中单边分组和固定种群的局限，提出动态系统下的双边团队形成学习框架，揭示了算法特性对策略性能与泛化能力的影响，并在多数场景中验证了其竞争优势。
2025-06-24 cs.AI cs.GT cs.LG
An Improved Multi-Agent Algorithm for Cooperative and Competitive Environments by Identifying and Encouraging Cooperation among Agents
Nanjing University（南京大学）；Dalian University of Technology（大连理工大学）
针对多智能体强化学习现有算法的不足，基于MADDPG引入合作奖励参数，在PettingZoo环境中验证其相比原算法提升了智能体的团队及个体奖励，改进了协作与竞争场景下的性能。
2025-08-19 cs.AI cs.MA
