Identifying Expert Behavior in Offline Training Datasets Improves Behavioral Cloning of Robotic Manipulation Policies
University College Dublin（都柏林大学）；CeADAR - Ireland’s Centre for Applied AI（CeADAR——爱尔兰应用人工智能中心）；Dublin City University（都柏林城市大学）
本文针对混合离线数据集中专家数据无标签导致行为克隆性能下降的问题，提出基于半监督学习的专家行为识别分类器，并结合几何对称数据增强，在 RRC III 竞赛中取得最优成绩。
2023-09-21 cs.LG cs.RO
Hierarchical Potential-based Reward Shaping from Task Specifications
AIT Austrian Institute of Technology GmbH（奥地利技术研究所股份有限公司）；TU Wien（维也纳工业大学）
通过强化学习自动合成机器人控制任务的策略依赖于同时捕获许多可能冲突的要求的奖励信号。在本文中，我们介绍了一种新的，分层的，基于潜力的奖励成形方法（HPRS），用于定义有效的，多变量的奖励，为一大家族的控制任务。我们将任务形式化为一组部分有序的安全性、目标和舒适性要求，并定义了一种自动化方法来强制执行要求之间的自然顺序并形成相关奖励。基于潜在的奖励塑造，我们表明，HPRS保持政策最优。我们的实验评估表明，HPRS的卓越能力，在捕捉预期的行为，从而在任务满意的政策，提高舒适度，并收敛到最佳的行为比其他国家的最先进的方法。我们展示了HPRS在几个机器人应用中的实际可用性，以及在F1TENTH赛车的两个紧急驾驶场景中的平滑sim2real过渡。
2022-10-03 cs.AI cs.LG
Learning to be Fair: A Consequentialist Approach to Equitable Decision-Making
Kennedy School, Harvard University（哈佛大学肯尼迪学院）；Computer Science, Stanford University（斯坦福大学计算机科学学院）
提出一种后果主义公平决策框架，通过获取利益相关者偏好并利用上下文赌博机算法优化决策策略，以最大化效用并权衡决策的下游后果。
2024-02-12 cs.CY cs.LG
Beyond CAGE: Investigating Generalization of Learned Autonomous Network Defense Policies
Apple（苹果公司）
强化学习（RL）的发展为网络防御的智能自动化提供了新的方向。然而，这些进步中的许多要么超过了其在网络安全方面的应用，要么没有考虑在现实世界中实施它们所面临的挑战。为了理解这些问题，这项工作评估了在CAGE挑战赛第二版中实施的几种RL方法，CAGE挑战赛是一项在高保真网络模拟器中构建自主网络防御代理的公开竞赛。我们的方法都建立在近端策略优化（PPO）算法家族的基础上，包括分层RL，动作掩蔽，自定义训练和集成RL。我们发现，集成RL技术表现最强，优于我们的其他模型，并在比赛中获得第二名。为了了解对真实环境的适用性，我们评估了每种方法推广到未知网络和未知攻击策略的能力。在看不见的环境中，我们所有的方法都表现得更差，退化程度因环境变化的类型而异。针对未知的攻击者策略，我们发现我们的模型降低了整体性能，即使新策略的效率低于我们的模型训练。总之，这些结果突出了现实世界中自主网络防御的有前途的研究方向。
2022-11-30 cs.CR cs.LG
Learning to Play Soccer by Reinforcement and Applying Sim-to-Real to Compete in the Real World
Universidade Federal de Pernambuco（伯南布哥联邦大学）；Universite de Montréal（蒙特利尔大学）
这项工作提出了一个应用程序的强化学习（RL）的IEEE非常小尺寸足球（VSSS），在拉丁美洲机器人比赛（LARC）的传统联赛的真正的足球机器人的完全控制。在VSSS联赛中，两支由三个小机器人组成的球队互相比赛。我们提出了一个模拟的环境中，连续或离散的控制策略可以训练，和一个模拟到真实的方法，允许使用所获得的政策，以控制机器人在现实世界中。结果表明，学习的政策显示了广泛的剧目的行为是很难指定的手。这种称为VSSS-RL的方法能够在1对1的比赛中击败2018年LARC排名第三的球队前锋的人类设计策略。
2020-03-24 cs.AI cs.LG cs.RO
Results of the NeurIPS 2023 Neural MMO Competition on Multi-task Reinforcement Learning
Massachusetts Institute of Technology（麻省理工学院）；CarperAI；Competition Winners（竞赛优胜者）；University of Maryland, College Park（马里兰大学帕克分校）；Plurality Institute（Plurality研究所）
本文报告 NeurIPS 2023 Neural MMO 竞赛结果，参赛者训练的目标条件策略可泛化到未见任务、地图和对手，最佳方案在单张 4090 GPU 上训练 8 小时即超过基线 4 倍，并已开源相关代码与权重。
2025-08-17 cs.LG
Accelerating Real-World Overtaking in F1TENTH Racing Employing Reinforcement Learning Methods
Centre for Automation and Robotic Engineering Science, The University of Auckland, New Zealand（自动化与机器人工程科学中心，奥克兰大学，新西兰）；New Dexterity research group, The University of Auckland, New Zealand（新灵活性研究组，奥克兰大学，新西兰）
虽然计时赛场景中的自动赛车性能已经取得了显著的进步和发展，但自动轮对轮赛车和超车仍然受到严重限制。这些限制在现实驾驶场景中尤其明显，在这些场景中，最先进的算法难以安全或可靠地完成超车操作。这一点很重要，因为其他车辆周围的可靠导航对于安全的自动轮对轮比赛至关重要。F1Tenth比赛为在标准化物理平台上开发轮对赛车算法提供了一个有用的机会。竞争的形式使得有可能评估超车和轮对轮赛车算法对国家的最先进的。这项研究提出了一种新的赛车和超车代理能够学习可靠地导航的轨道和超越对手在模拟和现实。该代理被部署在F1Tenth车辆上，并与在现实世界中运行不同竞争算法的对手竞争。结果表明，代理人对对手的训练能够实现故意超车行为，超车率为87%，而仅为比赛训练的代理人的超车率为56%。
2025-10-30 cs.LG cs.RO
Rethinking Adversarial Policies: A Generalized Attack Formulation and Provable Defense in RL
University of Maryland（马里兰大学）；J.P. Morgan AI Research（摩根大通人工智能研究院）
本文提出一种广义对抗攻击框架，可建模攻击者对智能体的部分控制并生成更隐蔽的对抗策略，同时给出基于时间尺度分离对抗训练的可证明高效防御方法，并在Robosumo实验中验证了其隐蔽性和鲁棒性。
2024-02-20 cs.AI cs.LG
Humans Are More Diverse: Frontier LLMs Show Extreme Policies in Idealised AI Development Races
Ho Chi Minh City University of Science（胡志明市科学大学）；Vietnam National University Ho Chi Minh City (VNU-HCM)（越南国家大学胡志明市分校）；Ho Chi Minh City University of Technology (HCMUT)（胡志明市技术大学（HCMUT））
该研究通过多智能体博弈实验对比前沿LLM与人类在AI开发竞赛中的策略，发现LLM行动具模型特异性，需有效性检查才能判定其策略性与安全意识。
2026-08-04 cs.AI cs.CY cs.GT
Can AI Agents Learn Their Way to the Top? Evaluating Heuristic Learning in a Long-Running Game Agent Competition
Tsinghua University（清华大学）；College of AI, Tsinghua University（清华大学人工智能学院）
本研究在长期游戏智能体竞赛中评估启发式学习，提出对抗性启发式学习范式，构建AAArena基准，发现Opus5.5搭配Claude Code获6金，HL在对抗性游戏具潜力但存多项挑战。
2026-10-09 cs.AI cs.CL
Learning to Run with Potential-Based Reward Shaping and Demonstrations from Video Data
JetBrains Research（JetBrains研究院）；National Research University Higher School of Economics（国家研究型高等经济大学）；University of York（约克大学）
从头开始学习为人形机器人产生有效的运动行为是一个难题，正如NIPS 2017年的“学习跑步”比赛所说明的那样。这项比赛的目标是训练一个两条腿的人形身体模型，在模拟的跑道上以最快的速度奔跑。所有提交的材料都采用了一种白板方法来进行强化学习（RL），并且能够产生相对较快但不是最佳的运行行为。在本文中，我们演示了如何使用来自人类跑步视频（例如从YouTube上获取）的数据来塑造人形学习代理的奖励，以加快学习并产生更好的结果。具体来说，我们使用身体关键部位在固定时间间隔的位置来定义基于潜力的奖励塑造（PBRS）的潜力函数。由于PBRS不会改变最优策略，因此这种方法允许RL代理克服视频中显示的人体运动中的次优性。我们目前的实验中，我们结合了选定的技术，从NIPS竞争的十大方法与进一步优化，以创建一个高性能的代理作为基线。然后，我们展示了基于视频的奖励塑造如何进一步提高性能，从而使RL代理在12小时的训练中运行速度是基线的两倍。我们还表明，我们的方法可以克服视频中的次优运行行为，学习到的策略显着优于视频中运行代理的策略。
2020-12-16 cs.CV cs.LG cs.RO
Multi-agent Reinforcement Learning in Sequential Social Dilemmas
DeepMind
像囚徒困境这样的矩阵游戏已经指导了几十年的社会困境研究。然而，他们必须把合作或背叛的选择视为原子行动。在现实世界的社会困境中，这些选择在时间上被延长了。合作性是一种适用于政策的属性，而不是基本行动。我们介绍了顺序的社会困境，共享矩阵博弈社会困境的混合激励结构，但也需要代理学习政策，实现他们的战略意图。我们分析了多个自利的独立学习代理学习的策略的动态，每个学习代理都使用自己的深度Q网络，在这里介绍的两个马尔可夫博弈中：1。一个水果收集游戏和2.狼群狩猎游戏我们描述了每个领域的学习行为如何随着环境因素（包括资源丰度）的变化而变化。我们的实验展示了冲突如何从对共享资源的竞争中产生，并揭示了现实世界社会困境的连续性如何影响合作。
2017-02-10 cs.AI cs.GT cs.LG
Deep W-Networks: Solving Multi-Objective Optimisation Problems With Deep Reinforcement Learning
Trinity College Dublin（都柏林圣三一学院）
本文提出Deep W-Networks（DWN）方法，通过用DQN替换Q表并引入W-Networks替代表格权重，将W-learning扩展至大型状态空间，有效解决多目标策略竞争并在基准测试中优于基线且找到Pareto前沿。
2023-02-23 cs.LG math.OC
Offsetting Unequal Competition through RL-assisted Incentive Schemes
Indian Institute of Technology Kharagpur（印度理工学院卡拉格普尔分校）；Adobe Inc.（Adobe公司）
本文研究了具有不平等专长的组织之间的竞争动态。多智能体强化学习已被用于模拟和理解旨在抵消这种不平等的各种激励计划的影响。我们设计触摸标记，一个游戏的基础上著名的多智能体粒子环境，两个团队（弱，强）与不平等，但不断变化的技能水平相互竞争。为了训练这样一个游戏，我们提出了一种新的控制器辅助多智能体强化学习算法\our \，它赋予每个代理与一个有监督的控制器，通过选择性地划分样本空间，触发队友之间的智能角色分工的政策合奏。使用C-MADDPG作为一个底层框架，我们提出了一个激励计划，为弱队，使双方的最终奖励变得相同。我们发现，尽管有激励，弱势团队的最终回报低于强势团队。在检查中，我们意识到，针对弱团队的整体激励计划并不能激励团队中较弱的代理人学习和改进。为了抵消这一点，我们现在特别激励较弱的球员学习，因此，观察到弱队在初始阶段之后的表现与强队相当。本文的最终目标是制定一个动态的激励计划，不断平衡两个团队的奖励。这是通过设计一个激励计划，丰富的RL代理，从环境中获取最少的信息。
2022-01-05 cs.GT cs.LG cs.MA
Learning to Race through Coordinate Descent Bayesian Optimisation
The University of Sydney（悉尼大学）；University of Sao Paulo（圣保罗大学）
在许多过程的自动化中，可观察的结果通常可以被描述为整个执行过程中应用的整个动作或控制序列的组合效果。在这些情况下，优化过程各个阶段的控制策略的策略可能不适用，相反，整个策略可能必须立即优化。另一方面，评估策略性能的成本也可能很高，这是期望的，即可以在与真实系统的交互尽可能少的情况下找到解决方案。我们考虑的问题，优化控制策略，让机器人在最短的时间内完成一个给定的赛道。我们假设机器人没有关于轨迹或其自身动力学模型的先验信息，只是一个初始有效的驾驶示例。定位仅用于监控机器人并提供其沿轨道中心轴的位置指示。我们提出了一种方法，找到一个政策，最大限度地减少每圈的时间，同时保持车辆的轨道上使用贝叶斯优化（BO）的方法在再生核希尔伯特空间。我们应用一种算法，更有效地搜索高维的政策参数空间BO，通过迭代每个维度单独，在一个连续的坐标下降的计划。在模拟赛车环境下的实验结果表明，该算法相对于其他方法的性能。
2018-02-17 cs.LG cs.RO stat.ML
Learn-to-Race: A Multimodal Control Environment for Autonomous Racing
Carnegie Mellon University（卡内基梅隆大学）；NVIDIA（英伟达）；Pinterest；Arrival；Bosch Research（博世研究院）
现有的自动驾驶研究主要集中在城市驾驶，这不足以描述高速赛车背后的复杂驾驶行为。与此同时，现有的赛车模拟框架在捕捉现实主义方面的斗争，相对于视觉渲染，车辆动力学和任务目标，抑制学习代理转移到现实世界的背景。我们引入了一个新的环境，代理学习比赛（L2 R）在模拟的竞争风格的赛车，使用多模态信息-从虚拟相机的惯性测量传感器的全面阵列。我们的环境包括一个模拟器和一个接口训练框架，可以精确地模拟车辆动力学和比赛条件。在本文中，我们发布了用于自主赛车的Arrival模拟器。接下来，我们提出了具有挑战性指标的L2 R任务，其灵感来自于学习驾驶挑战、公式式赛车和自动驾驶的多模式轨迹预测。此外，我们还提供L2 R框架套件，便于在真实赛道的高精度模型上进行模拟比赛。最后，我们提供了一个官方的L2 R任务数据集的专家演示，以及一系列的基线实验和参考实现。我们提供所有代码：https://github.com/learn-to-race/l2r。
2021-08-18 cs.CV cs.LG cs.RO
An Elo-like System for Massive Multiplayer Competitions
Stanford University（斯坦福大学）
评分系统在竞技体育和比赛中发挥着重要作用。他们提供了一个衡量球员技能的标准，这激励了竞争性的表现，并实现了平衡的比赛。在本文中，我们提出了一个新的贝叶斯评分系统的比赛与许多参与者。它广泛适用于具有离散排名比赛的竞赛形式，例如在线编程竞赛，障碍赛和一些视频游戏。我们的系统的简单性，使我们能够证明理论上的界限的鲁棒性和运行时间。此外，我们表明，该系统调整激励：也就是说，一个球员谁寻求最大限度地提高他们的评级永远不会想表现不佳。在实验上，该评级系统在预测准确性上与现有系统相媲美或超过现有系统，并且计算速度比现有系统快一个数量级。
2021-01-02 cs.GT cs.IR cs.LG
Kernel-Based Metrics Learning for Uncertain Opponent Vehicle Trajectory Prediction in Autonomous Racing
Ulsan National Institute of Science and Technology（蔚山国立科学技术院）
本研究提出基于深度核学习的异构核度量方法，用于预测自动驾驶赛车中不确定轨迹的对手车辆，通过无监督对齐相似驾驶策略提升预测精度，并在1/10比例平台上验证了安全超越的有效性和计算效率。
2026-09-16 cs.AI cs.LG cs.RO
Optimal Trade and Industrial Policies in the Global Economy: A Deep Learning Framework
Hong Kong Baptist University（香港浸会大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Fudan University（复旦大学）；The University of Hong Kong（香港大学）
本文提出深度学习框架 DL-opt，结合嵌套不动点、自动隐式微分和最优反应动力学，高效求解一般均衡贸易模型中的非合作关税与产业补贴，揭示了部门异质性及双重政策竞争对全球经济福利的重要影响。
2024-07-25 cs.GT cs.LG econ.GN
Value-based CTDE Methods in Symmetric Two-team Markov Game: from Cooperation to Team Competition
Montefiore Institute（蒙特菲奥雷研究所）；ULiège（列日大学）；Thales（泰雷兹集团）；LTCI（通信与信息处理实验室）；Telecom Paris（巴黎电信学院）；Institut Polytechnique de Paris（巴黎理工学院）
在本文中，我们确定了最好的学习方案，训练一个团队的代理竞争对手的多个可能的战略。我们评估合作价值为基础的方法在一个混合的合作竞争环境。我们限制自己的情况下，对称的，部分可观察的，两队马尔可夫博弈。我们选择了三种基于集中培训和分散执行（CTDE）范式的培训方法：QMIX，MAVEN和QVMix。对于每一种方法，我们考虑了三种学习场景，这些学习场景根据培训期间遇到的各种团队策略而有所不同。在我们的实验中，我们修改了《星际争霸》多智能体挑战赛的环境，以创造一个竞争性的环境，让两个团队可以同时学习和竞争。我们的研究结果表明，对多个不断发展的战略训练达到最佳效果时，得分他们的表现，团队面临着几个战略。
2022-11-30 cs.GT cs.LG cs.MA
Neural MMO: A Massively Multiagent Game Environment for Training and Evaluating Intelligent Agents
地球上复杂生命的出现通常被归因于大量生物体争夺有限资源的军备竞赛。我们提出了一个人工智能的研究环境，灵感来自人类游戏类型的MMORPG（大型多人在线角色扮演游戏，又名。MMO），旨在模拟微观世界中的这种设置。与MMORPG和现实世界一样，我们的环境是持久的，并支持大量和可变数量的代理。我们的环境非常适合大规模多智能体交互的研究：它要求智能体在大量人口试图做同样的事情的情况下学习强大的战斗和导航策略。基线实验表明，人口规模放大和激励熟练的行为的发展，并导致代理人，胜过代理人在较小的人口训练。我们进一步表明，代理人的政策与非共享的权重自然发散，以填补不同的小生境，以避免竞争。
2019-03-02 cs.LG cs.MA stat.ML
