Anytime-Competitive Reinforcement Learning with Policy Prior
UC Riverside（加州大学河滨分校）；CUHK Shenzhen（香港中文大学（深圳））；Caltech（加州理工学院）
本文提出ACRL算法，解决随时竞争马尔可夫决策过程，在保证每轮成本有界的同时优化期望奖励，并通过碳智能计算实验验证其性能。
2024-02-02 cs.LG
Cooperative and Competitive Biases for Multi-Agent Reinforcement Learning
KAIST（韩国科学技术院）
训练多智能体强化学习（MARL）算法比训练单智能体强化学习算法更具挑战性，因为多智能体任务的结果强烈依赖于智能体之间的复杂交互以及它们与随机和动态环境的交互。我们提出了一种算法，提高MARL训练使用有偏见的行动信息的基础上的朋友或敌人的概念。在合作竞争环境中，一般有两类代理人：合作代理人和竞争代理人。在该算法中，每个代理更新其价值函数使用自己的行动和偏见的行动信息的其他代理在两个群体。通过假设所有合作主体共同最大化目标主体的价值函数，将合作主体的有偏联合行动计算为它们的实际联合行动与假想的合作联合行动之和。竞争主体的有偏联合作用可以类似地计算。然后，每个代理使用有偏的动作信息更新其自己的价值函数，从而产生有偏的价值函数和相应的有偏策略。随后，每个代理人的偏见政策不可避免地受到建议的行动，合作和竞争与其他代理人，从而引入更积极的互动代理和增强MARL策略学习。我们的经验表明，我们的算法优于现有的算法在各种混合的合作竞争环境。此外，随着训练的进行，引入的偏差逐渐减小，并且基于虚假设的校正消失。
2021-01-18 cs.AI cs.LG cs.MA
Honor of Kings Arena: an Environment for Generalization in Competitive Reinforcement Learning
Shanghai Jiao Tong University（上海交通大学）；Tencent AI Lab（腾讯人工智能实验室）；Tencent Timi Studio（腾讯天美工作室）；New Jersey Institute of Technology（新泽西理工学院）
本文提出王者荣耀竞技场，一个基于热门游戏王者荣耀的强化学习环境，用于研究竞争性多智能体泛化挑战，提供二十个英雄任务、开源接口和基线结果。
2022-10-18 cs.AI cs.LG
FightLadder: A Benchmark for Competitive Multi-Agent Reinforcement Learning
Princeton University（普林斯顿大学）
本研究提出了面向竞争性多智能体强化学习的轻量级开源基准FightLadder，配套前沿算法实现与评估指标，验证了平台可行性并揭示了无人类知识下训练不可利用智能体的难度，助力该领域研究发展。
2024-06-24 cs.AI cs.LG cs.MA
BACKDOORL: Backdoor Attack against Competitive Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）；Pennsylvania State University（宾夕法尼亚州立大学）
最近的研究证实了后门攻击在深度强化学习（RL）系统中的可行性。然而，现有的攻击需要能够任意修改代理的观察，限制了应用范围简单的RL系统，如雅达利游戏。在本文中，我们将后门攻击迁移到涉及多个代理的更复杂的RL系统中，并探索在不直接操纵代理观察的情况下触发后门的可能性。作为概念证明，我们证明了对手代理可以在两人竞争RL系统中通过自己的行动触发受害代理的后门。我们在四种竞争环境中对EPDOOORL进行原型设计和评估。结果显示，当后门被激活时，受害者的中奖率比未激活时下降了17%至37%。
2021-12-12 cs.CR cs.LG
Reinforcement Learning with Competitive Ensembles of Information-Constrained Primitives
Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）；University of California, Berkeley（加州大学伯克利分校）
在多样化和复杂环境中运行的强化学习代理可以从其行为的结构化分解中受益。通常，这是在分层强化学习的上下文中解决的，其目的是将策略分解为较低级别的原语或选项，以及触发针对给定情况的适当行为的较高级别的元策略。然而，元策略仍然必须在所有状态下产生适当的决策。在这项工作中，我们提出了一个政策设计，分解成原语，类似于分层强化学习，但没有一个高层次的元政策。相反，每个原语可以自己决定是否希望在当前状态下操作。我们使用信息理论机制来实现这种分散决策：每个原语选择它需要多少关于当前状态的信息来做出决策，并且请求关于当前状态的最多信息的原语在世界上行动。原语被规则化以使用尽可能少的信息，这导致了自然竞争和专业化。我们的实验表明，这种政策架构提高了平面和层次化的政策方面的泛化。
2019-06-25 cs.AI cs.LG stat.ML
Strategically Efficient Exploration in Competitive Multi-agent Reinforcement Learning
TU Delft（代尔夫特理工大学）；Microsoft Research NYC（微软研究院纽约）；Microsoft Research Cambridge（微软研究院剑桥）
高样本复杂性仍然是强化学习（RL）应用的障碍，特别是在多智能体系统中。大量的研究表明，基于不确定条件下乐观原则的探索机制可以显著提高强化学习在单智能体任务中的样本效率。这项工作旨在了解乐观的探索在非合作的多智能体设置的作用。我们将证明，在零和游戏中，乐观的探索可能会导致学习者浪费时间采样与策略游戏无关的状态空间部分，因为它们只能通过双方玩家之间的合作才能实现。为了解决这个问题，我们引入了一个正式的概念，战略有效的探索在马尔可夫游戏，并使用此开发两个战略有效的学习算法有限马尔可夫游戏。我们证明，这些方法可以显着更有效的样本比他们乐观的同行。
2021-07-30 cs.AI cs.LG cs.MA
RLRF: Competitive Search Agent Design via Reinforcement Learning from Ranker Feedback
Faculty of Data and Decision Sciences（数据与决策科学学院）；Technion – Israel Institute of Technology（技术学院–以色列理工学院）
针对竞争性搜索场景下LLM生成修改内容的需求，提出基于排序竞赛偏好数据训练的RLRF框架，其智能体在分布外场景和策略对手下均优于现有方法，展现强化学习在该领域的潜力。
2025-10-05 cs.GT cs.IR cs.LG
Competitive Multi-Operator Reinforcement Learning for Joint Pricing and Fleet Rebalancing in AMoD Systems
Technical University of Denmark（丹麦技术大学）；Technical University of Munich（慕尼黑技术大学）；Stanford University（斯坦福大学）
本文提出多运营商强化学习框架，研究竞争对AMoD系统定价和车队再平衡策略学习的影响，实验显示竞争可使价格降低并产生不同的车队布局模式。
2026-03-05 cs.LG cs.MA
Order Acquisition Under Competitive Pressure: A Rapidly Adaptive Reinforcement Learning Approach for Ride-Hailing Subsidy Strategies
Didi Chuxing（滴滴出行）
本文提出FCA-RL强化学习框架，结合快速竞争适应与强化拉格朗日调整技术，并构建RideGym仿真环境，以解决网约车聚合平台在预算约束下动态优化补贴策略、提升订单获取能力的问题。
2025-07-04 cs.AI cs.LG
TourPlanner: A Competitive Consensus Framework with Constraint-Gated Reinforcement Learning for Travel Planning
Xiaohongshu Inc.（小红书公司）；Renmin University of China（中国人民大学）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；MAIS, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所MAIS）
TourPlanner通过多路径推理和约束门控强化学习，解决旅行规划中候选点修剪、探索能力限制和约束优化难题，实现更高效的行程生成。
2026-01-08 cs.AI cs.CL cs.LG
Finding Regularized Competitive Equilibria of Heterogeneous Agent Macroeconomic Models with Reinforcement Learning
Northwestern University（西北大学）；Yale University（耶鲁大学）；University of California, Berkeley（加州大学伯克利分校）
本文研究了一个具有无限多个家庭和企业在劳动力市场中竞争的异质主体宏观经济模型。每个家庭在每一个时间步赚取收入并参与消费，同时旨在最大化受潜在市场条件影响的凹效用。在给定的市场条件下，家庭的目标是找到最优储蓄策略，使其贴现累积效用最大化，而企业则根据家庭的人口行为，通过最大化企业利润来确定市场条件。该模型在宏观经济研究中具有广泛的应用，我们提出了一个数据驱动的强化学习框架，可以找到模型的正则化竞争均衡。该算法在理论上保证了以次线性速率收敛到市场均衡。
2023-02-24 cs.LG econ.GN q-fin.EC
Multiagent Cooperation and Competition with Deep Reinforcement Learning
University of Tartu（塔尔图大学）；ETH Zurich（苏黎世联邦理工学院）
多智能体系统出现在大多数社会、经济和政治环境中。在目前的工作中，我们将Google DeepMind提出的Deep Q-Learning Network架构扩展到多智能体环境，并研究由独立Deep Q-Networks控制的两个智能体如何在经典视频游戏Pong中进行交互。通过操纵Pong的经典奖励计划，我们展示了竞争和合作行为是如何出现的。有竞争力的代理人学习有效地比赛和得分。在协作奖励计划下训练的代理找到一个最佳策略，以尽可能长时间地保持球在游戏中。我们还描述了从竞争到合作行为的进展。目前的工作表明，深度Q网络可以成为研究生活在高度复杂环境中的多智能体系统的分散学习的实用工具。
2015-11-27 cs.AI cs.LG q-bio.NC
Memory-Induced Supra-Competitive Outcomes Between Deep Reinforcement Learning Agents in Optimal Trade Execution
Institute of Finance and Technology, University College London（金融与技术研究所，伦敦大学学院）；UZH Blockchain Center（苏黎世大学区块链中心）
本文研究了在共享的最优执行环境中交互的深度强化学习代理是否能维持超竞争性结果，即在实现短损方面优于博弈论竞争基准。研究了一个双代理阿尔梅伦-克里斯特流动性清算游戏，并探讨了学习行为如何依赖于回合内环境反馈、解读中间价格的能力以及代理对过去的了解。我们首先使用事前调度学习代理来去除回合内反馈，以确定当代理在执行开始前承诺完成清算轨迹时会发生什么。然后允许代理使用多种DDQN架构根据演进的状态进行条件判断。我们发现，当代理能够访问回合内历史，特别是近期价格和自身过去行为时，超竞争性结果变得更加频繁和持久。这些发现表明，这种执行游戏中的超竞争性行为并非由多代理学习或当前价格观察单独驱动，而是由反馈、记忆和沿实际执行路径的状态依赖性交互驱动。
2026-05-19 cs.AI q-fin.CP
TLeague: A Framework for Competitive Self-Play based Distributed Multi-Agent Reinforcement Learning
Tencent Robotics X（腾讯机器人X实验室）；Tsinghua University（清华大学）
基于竞争自玩（CSP）的多智能体强化学习（MARL）近年来取得了惊人的突破。强大的AI在多个基准测试中获得，包括Dota 2，王者荣耀，雷神之锤III，星际争霸II，仅举几例。尽管取得了成功，但MARL训练非常需要数据，通常需要在训练期间从环境中看到数十亿（如果不是数万亿）帧，以便学习高性能代理。这给研究人员或工程师带来了不小的困难，并阻止了MARL在更广泛的现实问题中的应用。为了解决这个问题，在本文中，我们描述了一个框架，称为TLeague，旨在大规模的训练和实现几个主流的CSP-MARL算法。培训可以部署在单个机器或混合机器（CPU和GPU）集群中，其中以云原生方式支持标准Kubernetes。TLeague在执行分布式训练时实现了高吞吐量和合理的扩展。由于采用了模块化设计，该算法也易于扩展，用于解决其他多智能体问题或实现和验证MARL算法。我们在星际争霸II，ViZDoom和Pommerman上进行了实验，以显示TLeague的效率和有效性。该代码是开源的，可在https://github.com/tencent-ailab/tleague_projpage上获得
2020-11-30 cs.AI cs.LG cs.MA
Competitive Multi-agent Inverse Reinforcement Learning with Sub-optimal Demonstrations
Northwestern University（西北大学）；Department of Industrial Engineering and Management Sciences（工业工程与管理科学系）
本文考虑了零和随机对策中专家论证非最优时的逆强化学习问题。与之前通过假设专家策略中的最优性来解耦游戏中的代理的工作相比，我们引入了一个新的目标函数，直接将专家与纳什均衡策略相比较，并且我们设计了一个算法来解决反向强化学习中的奖励函数，并将深度神经网络作为模型近似。在我们的设置中，模型和算法不通过代理解耦。为了寻找大规模博弈的纳什均衡，我们还提出了一个零和随机对策的对抗训练算法，并证明了其目标函数不存在局部最优解的理论吸引力。在我们的数值实验中，我们证明了我们的纳什均衡和反向强化学习算法解决了以前使用表格表示的方法不适用的游戏。此外，次优专家演示我们的算法恢复奖励函数和战略具有良好的质量。
2018-06-05 cs.LG stat.ML
A Champion-level Vision-based Reinforcement Learning Agent for Competitive Racing in Gran Turismo 7
KAIST（韩国科学技术院）；Sony AI（索尼人工智能）；Coventry University（科文特大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出了一种基于视觉的自主赛车代理，通过仅使用车载传感器数据和摄像头视角，在Gran Turismo 7中实现了冠军级的赛车性能。
2026-03-08 cs.LG
Simple random search provides a competitive approach to reinforcement learning
University of California, Berkeley（加州大学伯克利分校）
无模型强化学习中的一个共同信念是，基于策略参数空间中的随机搜索的方法比探索动作空间的方法表现出更差的样本复杂度。我们通过引入随机搜索方法来消除这种信念，该方法用于训练连续控制问题的静态线性策略，在基准MuJoCo运动任务上匹配最先进的样本效率。我们的方法还发现了一个具有挑战性的线性二次调节器，在控制理论中的经典问题，当动态是未知的情况下，一个接近最优的控制器。在计算上，我们的随机搜索算法至少比这些基准测试中最快的竞争无模型方法效率高15倍。我们利用这种计算效率来评估我们的方法在数百个随机种子和许多不同的超参数配置的每个基准任务的性能。我们的模拟突出了这些基准任务中的性能的高度可变性，这表明常用的样本效率的估计不足以评估RL算法的性能。
2018-03-19 cs.AI cs.LG math.OC
Competitive Multi-Agent Deep Reinforcement Learning with Counterfactual Thinking
Central University of Finance and Economics（中央财经大学）；iFLYTEK（科大讯飞）；Zhejiang University（浙江大学）；Amazon（亚马逊）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
反事实思维是指人们对已经发生的事情用不同的解决方案重新推断可能的结果的心理现象。它帮助人们从错误中获得更多的经验，从而在未来类似的任务中表现得更好。本文研究了在多智能体强化学习环境中智能体寻找最优决策策略的反事实思维。特别是，我们提出了一个多智能体深度强化学习模型，其结构模仿人类心理的反事实思维过程，以提高智能体的竞争能力。为此，我们的模型生成了几个可能的行动（意图行动）与一个并行的政策结构，并估计这些意图行动的奖励和遗憾的基础上，其当前的理解环境。我们的模型采用了一个基于ESTA的框架，将估计的遗憾与其内部政策联系起来。在迭代过程中，我们的模型更新的并行策略和相应的基于代理的遗憾。为了验证我们提出的模型的有效性，我们进行了广泛的实验，在两个不同的环境与现实世界的应用程序。实验结果表明，反事实思维实际上可以使智能体在保持高执行效率的同时，通过与对手进行比较，从公平信息的环境中获得更多的累积奖励。
2019-08-16 cs.AI cs.LG cs.MA
Visual Transfer between Atari Games using Competitive Reinforcement Learning
Robotics Institute（机器人研究所）；Carnegie Mellon University（卡内基梅隆大学）
本文探讨了使用深度强化学习代理将知识从一个环境转移到另一个环境。更具体地说，该方法利用异步优势演员评论家（A3 C）架构，使用在Atari中的源游戏上训练的代理来概括目标游戏。我们提出了一种学习方法，使用多个代理并行训练目标游戏的不同表示来更新模型，而不是微调目标游戏的预训练模型。转移对的视频序列之间的视觉映射用于导出目标游戏的新表示;对目标游戏的这些视觉表示进行训练可以在性能、数据效率和稳定性方面提高模型更新。为了演示该架构的功能，OpenAI健身房环境中使用了Atari游戏Pong-v0和Breakout-v0作为源和目标环境。
2018-09-02 cs.CV cs.LG
GrandCode: Achieving Grandmaster Level in Competitive Programming via Agentic Reinforcement Learning
DeepReinforce Team（DeepReinforce 团队）
本文提出GrandCode，一种用于竞技编程的多代理强化学习系统，通过代理模块协同训练和代理GRPO算法，实现了在竞技编程比赛中超越人类选手的突破。
2026-08-07 cs.AI
Incorporating Rivalry in Reinforcement Learning for a Competitive Game
Italian Institute of Technology（意大利理工学院）；Simon Fraser University（西蒙弗雷泽大学）
强化学习与社会代理人的最新进展，使这些模型实现人类水平的性能在特定的互动任务。然而，大多数交互式场景并没有一个单独的版本作为最终目标;相反，这些代理与人类交互时的社会影响同样重要，而且在很大程度上尚未探索。在这方面，这项工作提出了一种新的强化学习机制的基础上的竞争行为的社会影响。我们提出的模型聚合了客观和社会感知机制，以获得一个竞争分数，用于调节人工代理的学习。为了研究我们提出的模型，我们设计了一个交互式的游戏场景，使用厨师的帽子纸牌游戏，并研究竞争调制如何改变代理的游戏风格，以及这如何影响人类玩家在游戏中的体验。我们的研究结果表明，人类可以检测到特定的社会特征时，对竞争对手的代理相比，共同的代理，这直接影响了人类玩家在随后的游戏中的表现。最后，我们讨论了不同的社会和客观特征，组成的人工竞争分数有助于我们的结果，我们的工作。
2022-08-22 cs.AI
Mixed Cooperative-Competitive Communication Using Multi-Agent Reinforcement Learning
University of Antwerp（安特卫普大学）；imec（比利时微电子研究中心）
通过在多智能体环境中使用多个智能体之间的通信，可以通过将一个智能体的观察与同一动态环境中的其他智能体的观察相结合来减少部分可观察性的影响。虽然许多成功的研究已经完成了对合作环境中的沟通学习，在混合合作竞争环境中的沟通学习也很重要，并带来了自己的复杂性，如对方团队偷听的沟通。在本文中，我们应用微分代理间学习（DIAL），合作设置，一个混合的合作竞争环境。我们研究了一个团队的私密通信和另一个团队可以偷听到的通信之间的性能差异。我们的研究表明，在我们选择的环境中，经过给定的训练期后，通信代理能够实现与完全可观察代理相似的性能。总的来说，我们发现，跨团队共享通信的结果在降低性能的沟通团队相比，实现与私人通信的结果。
2021-10-29 cs.LG cs.MA
Impact of Price Inflation on Algorithmic Collusion Through Reinforcement Learning Agents
Center for Artificial Intelligence (CENIA)（人工智能中心（CENIA））；University of Chile（智利大学）；Advanced Mining Technology Center (AMTC)（先进采矿技术中心（AMTC））
本文研究通胀冲击对强化学习定价智能体合谋行为的影响，发现通胀会促进隐性协调、降低市场竞争性，但智能体缺乏稳健惩罚机制，凸显监管必要性。
2025-04-05 cs.GT cs.LG
Delay-Aware Multi-Agent Reinforcement Learning for Cooperative and Competitive Environments
State Key Laboratory of Automotive Safety and Energy, Tsinghua University（清华大学汽车安全与节能国家重点实验室）；Carnegie Mellon University（卡内基梅隆大学）
在现实世界的信息物理系统中，行动和观测延迟是普遍存在的，这给强化学习的设计带来了挑战。这是一个艰巨的任务时，处理多代理系统，其中一个代理的延迟可能会蔓延到其他代理。为了解决这个问题，本文提出了一种新的框架来处理延迟以及非平稳训练问题的多智能体任务与无模型的深度强化学习。我们正式定义的延迟意识马尔可夫博弈，包括在环境中的所有代理的延迟。为了解决延迟感知马尔可夫博弈，我们采用集中式训练和分散式执行，允许代理使用额外的信息来缓解多代理系统在训练过程中的非平稳性问题，而无需在执行过程中使用集中式控制器。实验在多智能体粒子环境中进行，包括合作通信，合作导航和竞争实验。我们还测试了所提出的算法在交通场景中，需要协调的所有自动驾驶车辆，以显示延迟意识的实用价值。实验结果表明，所提出的时延感知多智能体强化学习算法有效地抑制了时延带来的性能下降.代码和演示视频可在https://github.com/baimingc/delay-aware-MARL上获得。
2020-08-29 cs.LG cs.MA stat.ML
Multi-Agent Reinforcement Learning for Dynamic Pricing: Balancing Profitability,Stability and Fairness
本文通过模拟市场环境评估了多智能体强化学习方法在动态定价中的表现，发现MAPPO在盈利、稳定性和公平性方面表现更优。
2026-02-28 cs.AI cs.LG
Simulation-Driven Balancing of Competitive Game Levels with Reinforcement Learning
University of Applied Sciences Mannheim（曼海姆应用技术大学）；Stuttgart Media University（斯图加特媒体大学）
本研究将双人竞技游戏关卡平衡建模为PCGRL任务，提出含三模块的架构与基于交换的表示方法，在NMMO环境验证了其优于传统方法的平衡效率，并拓展了平衡形式与公平性指标的应用。
2025-03-24 cs.LG
Balancing of competitive two-player Game Levels with Reinforcement Learning
University of Applied Sciences Mannheim（曼海姆应用技术大学）；Stuttgart Media University（斯图加特媒体大学）
本文面向双人竞争游戏关卡的自动平衡，在 PCGRL 中引入关卡生成器、平衡智能体与奖励仿真，并通过基于交换的表示提升可玩性鲁棒性，在 NMMO 中验证其优于普通 PCGRL。
2023-06-07 cs.GT cs.LG
Reinforcement Learning for Efficient Toxicity Detection in Competitive Online Video Games
California Institute of Technology（加州理工学院）
本文提出一种基于上下文赌博机的强化学习算法，利用领域知识变量进行高效毒性检测采样，在《使命召唤》数据上优于基线，助力游戏环境安全。
2025-03-26 cs.LG
RefineRL: Advancing Competitive Programming with Self-Refinement Reinforcement Learning
Microsoft Research（微软研究院）
RefineRL通过引入自我细化代理和强化学习方法，提升大语言模型在竞争性编程中的性能，实验表明其在紧凑模型中表现优异，接近大模型单次尝试性能。
2026-09-29 cs.AI
FuzzerGym: A Competitive Framework for Fuzzing and Learning
Carnegie Mellon University（卡内基梅隆大学）；Georgia Institute of Technology（佐治亚理工学院）；Twentieth Century Fox（二十世纪福克斯公司）；Starfleet Academy（星际舰队学院）；Tyrell Inc.（泰瑞尔公司）
Fuzzing是一种常用的技术，旨在通过自动制作程序输入来测试软件。目前，最成功的模糊算法强调简单，低开销的策略，在执行过程中有效地监视程序状态的能力。通过编译时插装，这些方法可以访问程序状态的许多方面，包括覆盖率、数据流以及异构故障检测和分类。然而，现有的方法在生成测试输入时利用盲随机变异策略。我们提出了一种不同的方法，使用这种状态信息来优化变异算子，使用强化学习（RL）。通过将OpenAI Gym与libFuzzer集成，我们能够同时利用强化学习和模糊化的进步，在多个不同的基准测试中实现更深入的覆盖。我们的技术将LLVM算法提供的丰富、高效的程序监控器与深度神经网络连接起来，直接从输入数据中学习突变选择策略。我们开发的跨语言异步架构使我们能够将任何OpenAI Gym兼容的深度强化学习算法应用于任何模糊问题，并且速度最小。
2018-07-19 cs.AI cs.LG cs.SE
On Information Asymmetry in Competitive Multi-Agent Reinforcement Learning: Convergence and Optimality
Technische Universität München（慕尼黑工业大学）；Munich Center for Quantum Science and Technology（慕尼黑量子科学与技术中心）
在这项工作中，我们研究了系统的互动非合作的两个Q-学习代理，其中一个代理有特权观察其他的行动。我们表明，这种信息不对称可以导致一个稳定的结果，人口学习，这通常不会发生在一般的独立学习者的环境。由此产生的后学习策略在潜在的博弈意义上几乎是最优的，即，它们就形成了一个纳什均衡。此外，我们在这项工作中提出了一个Q-学习算法，需要预测观察两个后续对手的行动，产生一个最佳的战略，后者适用于一个固定的战略，并讨论存在的纳什均衡在潜在的信息不对称的游戏。
2021-01-22 cs.GT cs.LG cs.MA
Game-Theoretic Inverse Reinforcement Learning for Modeling Competitive Human Driving: A Cut-in Prediction Study
University of Wyoming（怀俄明大学）
本研究提出博弈论逆强化学习（IRL）模型，在highD数据集上验证其在激进切入车道变更预测中，相比基于物理的基准方法，显著提升了高风险场景的预测精确率与召回率，为混合自主环境交互建模提供可靠基础。
2026-08-10 cs.LG physics.soc-ph
Aryabhata 2: Scaling Reinforcement Learning for Advanced STEM Reasoning
PhysicsWallah
本文提出Aryabhata 2，一个通过强化学习后训练在竞争性STEM考试中提升推理能力的语言模型，在JEE、NEET等基准上超越基础模型且输出token减少高达64%。
2026-06-03 cs.AI cs.CL cs.CY
Multi-Agent Deep Reinforcement Learning for Cooperative and Competitive Autonomous Vehicles using AutoDRIVE Ecosystem
Clemson University International Center for Automotive Research (CU-ICAR)（克莱姆森大学国际汽车研究中心（CU-ICAR））
提出基于 AutoDRIVE Ecosystem 的模块化多智能体深度强化学习框架，分别用 Nigel 共享策略和 F1TENTH 独立策略验证合作通行与对抗竞速。
2023-09-30 cs.AI cs.LG cs.MA
Arena: a toolkit for Multi-Agent Reinforcement Learning
Tencent AI Lab（腾讯人工智能实验室）；Tsinghua University（清华大学）
介绍了一个用于多智能体强化学习（MARL）研究的工具包Arena。在MARL中，它通常需要为每个代理定制观察，奖励和动作，改变合作-竞争代理交互，以及与第三方代理一起玩等。我们提供了一种新颖的模块化设计，称为Interface，用于以两种方式操纵此类例程：1）不同的接口可以连接和组合，这将OpenAI Gym Wrappers概念扩展到MARL场景。2)在MARL训练或测试期间，接口可以嵌入到包装的OpenAI Gym兼容环境或原始环境兼容代理中。我们为几个流行的MARL平台提供现成的接口，包括星际争霸II，Pommerman，ViZDoom，Soccer等。这些接口有效地支持自玩RL和合作竞争混合MARL。此外，Arena可以方便地扩展到您自己喜欢的MARL平台。
2019-07-20 cs.AI cs.LG cs.MA
Liner Shipping Network Design with Reinforcement Learning
Data Science（数据科学）；C3 AI（C3 AI公司）
本文提出一种新颖的无模型强化学习框架，结合启发式多商品流求解器解决班轮运输网络设计问题，在LINERLIB基准上取得有竞争力的结果并展现出良好的泛化能力。
2024-11-13 cs.AI
Human-Level Competitive Pokémon via Scalable Offline Reinforcement Learning with Transformers
本研究针对竞技宝可梦单打场景，通过重构人类对战日志构建大规模离线数据集，训练基于Transformer的序列模型实现无显式搜索的自适应对战策略，最终智能体达到人类玩家前10%的水平。
2025-07-30 cs.LG
Cooperative-Competitive Reinforcement Learning with History-Dependent Rewards
University of Georgia（佐治亚大学）；University of Southern Mississippi（南密西西比大学）
考虑一个典型的组织，其工人代理寻求集体合作以实现整体改善。然而，每个代理人同时寻求采取行动，以确保比同事更大的年度薪酬增量，该增量通常来自{ \em固定}池。因此，组织中的个体代理人必须合作和竞争。许多组织的另一个特点是，工人获得奖金，这往往是前一年总利润的一小部分。因此，代理人获得的奖励也部分取决于历史表现。在这种情况下，个体代理人应如何决定采取行动？近年来，混合合作竞争环境的一些方法已经提出，但这些问题域的奖励函数不依赖于当前的状态和行动的挑战。可以使用最近的使用长短期记忆（LSTM）的深度多智能体强化学习（MARL）方法，但是这些方法对交互采用联合视角，或者需要在智能体之间明确交换信息以促进合作，这在竞争下可能是不可能的。在本文中，我们首先表明，代理的决策问题可以建模为一个互动的部分可观察马尔可夫决策过程（I-POMDP），捕捉动态的历史相关的奖励。我们提出了一个互动的优势演员-评论家的方法（IA 2C $^+$），它结合了独立的优势演员-评论家网络的信念过滤器，保持信念分布超过其他代理的模型。实证结果表明，IA 2C $^+$比其他几个基线（包括使用LSTM的基线）更快、更鲁棒地学习最优策略，即使属性模型不正确。
2020-10-15 cs.LG
CoIRL-AD: Collaborative-Competitive Imitation-Reinforcement Learning in Latent World Models for Autonomous Driving
University of Science and Technology of China（中国科学技术大学）；Tsinghua University（清华大学）
提出CoIRL-AD框架，通过解耦模仿学习与强化学习、利用潜在世界模型进行长时程奖励估计以及引入竞争机制，在离线训练中提升自动驾驶的鲁棒性，尤其在跨城市泛化和长尾场景中表现优异。
2026-06-16 cs.CV cs.LG cs.RO
Investigation of Independent Reinforcement Learning Algorithms in Multi-Agent Environments
University of Waterloo（滑铁卢大学）
独立的强化学习算法在理论上无法保证在多智能体环境中找到最佳策略。然而，在实践中，先前的工作已经报告了在某些领域中独立算法的良好性能和在其他领域中的不良性能。此外，在文献中缺乏对独立算法的优点和缺点的全面研究。在本文中，我们进行了一个实证比较的性能独立算法的四个PettingZoo环境，跨越三个主要类别的多智能体环境，即，合作、竞争和混合。我们表明，在完全可观察的环境中，独立的算法可以在合作和竞争环境中与多智能体算法相提并论。对于混合环境，我们表明，通过独立的算法训练的代理人学习表现良好的个人，但未能学会与盟友合作，并与敌人竞争。我们还表明，增加递归提高了独立算法在合作部分可观测环境中的学习。
2021-11-01 cs.AI cs.LG cs.MA
Neuroevolution is a Competitive Alternative to Reinforcement Learning for Skill Discovery
InstaDeep；Imperial College（帝国理工学院）
针对深度强化学习在技能发现中易过拟合且需精细调参的问题，本文证明神经进化（特别是质量多样性方法）能提供同等或更优性能，且对超参数不敏感、更具可扩展性。
2023-09-08 cs.AI cs.LG cs.NE
Turning Safety into Competence: Minimally Exploitable Robot Policies via Safety-Filtered Reinforcement Learning
Johns Hopkins University（约翰霍普金斯大学）；Princeton University（普林斯顿大学）
针对竞争性任务中机器人策略易被利用的问题，提出S2C两阶段框架，分离安全综合与任务学习，通过对抗性RL学习安全过滤器，在模拟和硬件测试中优于八个基线，实现高胜率与低可利用性。
2026-09-24 cs.AI cs.LG cs.RO
Safe Reinforcement Learning From Pixels Using a Stochastic Latent Representation
我们解决了从像素观察安全的强化学习的问题。在这样的设置中的固有挑战是（1）在奖励优化和遵守安全约束之间的权衡，（2）部分可观测性，以及（3）高维观测。我们正式的问题，在一个受约束的，部分可观察的马尔可夫决策过程框架，代理获得不同的奖励和安全信号。为了解决维数灾难，我们采用了一种新的安全评论家使用随机潜在的演员批评（SLAC）的方法。潜变量模型预测奖励和安全违规，我们使用安全批评训练安全策略。使用著名的基准环境，我们证明了竞争力的性能超过现有的方法方面的计算要求，最终的回报，并满足安全约束。
2022-10-02 cs.AI cs.LG
Learning Pessimism for Robust and Efficient Off-Policy Reinforcement Learning
非策略深度强化学习算法通常通过利用预期目标回报的悲观估计来补偿时间差学习期间的高估偏差。在这项工作中，我们提出了广义悲观主义学习（GPL），一种采用新的可学习的惩罚来制定这种悲观主义的策略。特别是，我们建议学习这个惩罚与批评双TD学习，一个新的程序来估计和最小化的目标回报偏差的大小与微不足道的计算成本。GPL使我们能够在整个训练过程中准确地抵消高估偏差，而不会导致过于悲观的目标的缺点。通过将GPL与流行的非策略算法相结合，我们在有竞争力的本体感受和基于像素的基准测试中获得了最先进的结果。
2023-03-05 cs.AI cs.LG
Beyond Supra-Competitive Outcomes: Collusive Behaviour in Deep Reinforcement Learning for Optimal Execution Games
University College London（伦敦大学学院）；UZH Blockchain Center（苏黎世大学区块链中心）
本文在最优执行博弈中识别出深度强化学习智能体习得的惩罚机制，该机制通过加速清算惩罚偏离者，为超竞争结果提供了合谋的行为与经济证据。
2026-10-02 cs.AI q-fin.TR
CytonRL: an Efficient Reinforcement Learning Open-source Toolkit Implemented in C++
National Institute of Information and Communications Technology（日本信息通信研究机构）
本文介绍了一个名为CytonRL的开源执法学习工具包（https：//github.com/arthurxlw/cytonRL）。该工具包使用C++和NVIDIA的GPU加速库从头开始实现了四种最新的高级深度Q-学习算法。代码简单而优雅，这要归功于一个名为CytonLib的开源通用神经网络库。基准测试表明，该工具包在流行的Atari游戏Breakout上实现了具有竞争力的性能。
2018-04-14 cs.AI cs.LG stat.ML
DIAMBRA Arena: a New Reinforcement Learning Platform for Research and Experimentation
DIAMBRA
强化学习的最新进展已经导致能够在非常复杂的环境中获得高于人类水平的性能的有效方法。然而，一旦解决，这些环境变得不那么有价值，需要不同或更复杂的情况下的新挑战来支持研究进展。这项工作展示了DIAMBRA Arena，这是一个用于强化学习研究和实验的新平台，它具有一系列高质量的环境，暴露了完全符合OpenAI Gym标准的Python API。它们是具有离散动作和观察的情景任务，由原始像素和额外的数值组成，所有这些都支持单人和双人模式，允许进行标准的强化学习、竞争性多智能体、人类智能体竞争、自我游戏、人在环训练和模仿学习。通过成功训练具有近端策略优化的多个深度强化学习代理，以获得类似人类的行为，证明了软件功能。结果证实了DIAMBRA Arena作为强化学习研究工具的实用性，提供了旨在研究该领域一些最具挑战性的主题的环境。
2022-10-19 cs.AI cs.LG
Fast and Data Efficient Reinforcement Learning from Pixels via Non-Parametric Value Approximation
University of New South Wales（新南威尔士大学）；University of Amsterdam（阿姆斯特丹大学）
我们提出了非参数近似的轨迹间返回（NAIT），一个强化学习算法的离散动作，基于像素的环境，是高度的样本和计算效率。NAIT是一种惰性学习方法，其更新相当于情节完成时的情节蒙特卡洛，但它允许在情节正在进行时稳定地纳入奖励。我们使用一个固定的域不可知表示，简单的基于距离的探索和基于邻近图的查找，以促进非常快的执行。我们在ATARI 100k的26和57游戏变体上对NAIT进行了经验评估，尽管它很简单，但它在在线设置中实现了具有竞争力的性能，在墙时间内加速超过100倍。
2022-03-07 cs.AI cs.LG
Posterior Sampling for Deep Reinforcement Learning
Queen Mary University of London（伦敦玛丽女王大学）
本文提出首个可扩展的深度强化学习后验采样算法PSDRL，结合潜在状态空间模型的不确定性量化与基于值函数近似的持续规划，在Atari基准上实现了高样本与计算效率。
2023-05-17 cs.AI cs.LG
Architecture-Aware Reinforcement Learning Makes Sliding-Window Attention Competitive in Math Reasoning
Shanghai Research Institute for Intelligent Autonomous Systems, Tongji University（上海智能自主系统研究院，同济大学）；Shanghai AI Laboratory（上海人工智能实验室）；Hong Kong University of Science and Technology (Guangzhou)（香港理工大学（广州））
提出SWARR方法，通过监督微调将预训练自注意力模型高效转换为滑动窗口注意力，并利用强化学习策略适应，缩小了与自注意力的性能差距，同时保持线性复杂度的高效性。
2026-10-26 cs.AI
Towards automating Codenames spymasters with deep reinforcement learning
University of Waterloo（滑铁卢大学）
虽然大多数强化学习研究都集中在竞争游戏上，但很少有人将其应用于合作多人游戏或基于文本的游戏。Codenames是一个涉及非对称合作和自然语言处理的棋盘游戏，这使得它成为推进RL研究的绝佳候选者。据我所知，这项工作是第一个将代号制定为马尔可夫决策过程，并将一些着名的强化学习算法（如SAC，PPO和A2C）应用于环境。虽然上述算法都不收敛于Codenames环境，但它们也不收敛于称为ClickPixel的简化环境，除非电路板尺寸很小。
2022-12-28 cs.AI cs.CL cs.LG
Follow your Nose: Using General Value Functions for Directed Exploration in Reinforcement Learning
TCS Research（塔塔咨询服务研究院）
提高样本效率是强化学习中的一个关键挑战，特别是在具有大状态空间和稀疏奖励的环境中。在文献中，这是通过使用辅助任务（子目标）或通过聪明的探索策略来解决的。探索方法已被用于在大环境中采样更好的轨迹，而辅助任务已被纳入奖励稀疏的地方。然而，很少有研究试图同时解决大规模和奖励稀疏性问题。本文利用一般价值函数和定向探索策略，探讨了将探索与辅助任务学习相结合的思想。我们提出了一种学习价值函数的方法，该方法可用于对动作进行采样并提供定向探索。在不同网格大小的导航任务上的实验表明，与几个有竞争力的基线相比，该算法具有性能优势。
2023-02-27 cs.AI cs.LG
Hierarchical Reinforcement Learning in Complex 3D Environments
DeepMind（深度思维）
分层强化学习（HRL）代理有潜力展示吸引人的能力，如规划和探索与抽象，转移和技能重用。最近的成功与HRL在不同领域提供的证据表明，实际的，有效的HRL代理是可能的，即使现有的代理尚未完全实现HRL的潜力。尽管取得了这些成功，但视觉上复杂的部分可观察的3D环境仍然是HRL代理的挑战。我们使用分层混合离线-在线（H2 O2）来解决这个问题，这是一种分层深度强化学习代理，可以使用自己的经验从头开始发现和学习使用选项。我们发现，在DeepMind Hard Eight任务中，H2 O2与强大的非层次Muesli基线具有竞争力，我们为复杂环境中学习层次代理的问题提供了新的见解。我们的H2 O2的实证研究揭示了以前未被注意的实际挑战，并带来了新的视角，目前的理解层次代理在复杂的领域。
2023-02-28 cs.AI cs.LG
