Social diversity and social preferences in mixed-motive reinforcement learning
DeepMind（深度思维）
最近的强化学习在纯冲突和纯共同利益游戏的研究强调了人口异质性的重要性。相比之下，混合动机游戏中的强化学习研究主要利用同质方法。鉴于混合动机博弈的定义特征--群体成员之间激励的不完全相关性--我们研究了群体异质性对混合动机强化学习的影响。我们借鉴了社会心理学的相互依存理论，并将社会价值取向（SVO）注入强化学习代理，这是一种灵活的形式化偏好。随后，我们探讨了SVO的多样性的影响人口的强化学习代理在两个混合动机马尔可夫游戏。我们证明，SVO的异质性会在代理人之间产生有意义且复杂的行为变化，类似于相互依存理论所提出的那样。在这些混合动机的困境的实证结果表明，在异质人群中训练的代理开发特别普遍的，高性能的政策相对于那些在同质人群中训练。
2020-02-12 cs.AI cs.MA
Lineage Evolution Reinforcement Learning
提出了一种通用的智能体群体学习系统，并在此基础上提出了谱系进化强化学习算法。谱系进化强化学习是一种符合一般智能体群体学习系统的衍生算法。我们将DQN及其相关变体中的智能体作为种群中的基本智能体，将遗传算法中的选择、变异和交叉模块加入到强化学习算法中。在Agent进化过程中，我们参考自然遗传行为的特点，加入世系因子以保证Agent潜在性能的保留，在评价Agent性能时综合考虑当前性能和世系值。谱系进化强化学习在不改变原有强化学习算法参数的情况下，可以优化不同的强化学习算法。实验结果表明，在Atari 2600的部分游戏中，血统进化的思想提高了原有强化学习算法的性能。
2020-09-26 cs.AI cs.LG cs.MA
Fast Population-Based Reinforcement Learning on a Single Machine
InstaDeep Ltd（InstaDeep有限公司）
在强化学习中，训练智能体群体已经证明了稳定训练、提高探索和渐近性能以及生成一组不同的解决方案的巨大潜力。然而，基于人口的训练通常不被从业者考虑，因为它被认为是非常缓慢的（当顺序实施时），或计算昂贵的（如果代理在独立的加速器上并行训练）。在这项工作中，我们比较了实现并回顾了以前的研究，以表明明智地使用编译和向量化允许基于人口的训练在一台机器上进行，与训练单个代理相比，使用一个加速器具有最小的开销。我们还表明，当提供了一些加速器，我们的协议扩展到大人口规模的应用程序，如超参数调整。我们希望这项工作和我们的代码的公开发布将鼓励从业者更频繁地使用基于人群的学习来进行研究和应用。
2022-06-17 cs.AI cs.LG cs.NE
Towards Skilled Population Curriculum for Multi-Agent Reinforcement Learning
Nanyang Technological University（南洋理工大学）；NetEase Fuxi AI Lab（网易伏羲人工智能实验室）；City University of Hong Kong（香港城市大学）
多智能体强化学习（MARL）的最新进展使智能体能够在复杂环境中协调其行为。然而，常见的MARL算法仍然遭受可扩展性和稀疏奖励问题。自动课程学习（ACL）是解决这些问题的一种有效途径。ACL涉及学生（课程学习者）在由教师（课程生成器）控制的难度增加的任务上的训练。尽管取得了成功，ACL的适用性是有限的（1）缺乏一个通用的学生框架来处理不同数量的代理跨任务和稀疏奖励问题，（2）教师的任务的非平稳性，由于不断变化的学生策略。作为ACL的补救措施，我们引入了一种新的自动课程学习框架，熟练人口课程（SPC），它适应课程学习多代理协调。具体来说，我们赋予学生群体不变的通信和层次技能集，使其能够从不同数量的代理的不同任务中学习合作和行为技能。此外，我们将教师建模为受学生政策限制的上下文强盗，使代理团队能够改变其大小，同时仍然保留先前获得的技能。我们还分析了这个多智能体自动课程教学问题的内在非平稳性，并提供了相应的遗憾界。实验结果表明，我们的方法提高了性能，可扩展性和样本效率在几个MARL环境。
2023-02-07 cs.AI cs.LG cs.MA
Attraction-Repulsion Actor-Critic for Continuous Control Reinforcement Learning
McGill University（麦吉尔大学）；Mila；Deakin University（迪肯大学）；Université Laval（拉瓦尔大学）；Facebook AI Research；MSR Montreal（蒙特利尔微软研究院）；Université de Montréal（蒙特利尔大学）
强化学习中的连续控制任务很重要，因为它们为在具有欺骗性奖励的高维状态空间中学习提供了一个重要的框架，在这种情况下，智能体很容易陷入次优解。避免局部最优的一种方法是使用代理的人口，以确保覆盖的政策空间，但学习人口的“最佳”覆盖仍然是一个开放的问题。在这项工作中，我们提出了一种新的方法，以人口为基础的RL在连续控制，利用规范化流的属性来执行吸引力和排斥性的操作之间的当前成员的人口和以前观察到的政策。MuJoCo套件的实证结果表明，我们的算法相比以前的工作，包括软演员评论（SAC）的高性能增益。
2020-07-09 cs.AI cs.LG cs.MA
PNS: Population-Guided Novelty Search for Reinforcement Learning in Hard Exploration Environments
Johns Hopkins University（约翰斯·霍普金斯大学）；Shanghai Jiao Tong University（上海交通大学）
强化学习（RL）已经取得了显著的成就，但仍然存在探索策略不足、奖励信号稀疏、奖励函数具有欺骗性等问题。为了缓解这些问题，人口引导新奇搜索（PNS）的并行学习方法，本文提出。在PNS中，种群被划分为多个子种群，每个子种群有一个主智能体和多个探索智能体。主代理评估通过探索代理学习的策略，并与所有子种群共享最优策略。探索代理学习他们的政策与最优政策的指导，同时，上传他们的政策，以首席代理。为了平衡探索和利用，每个首席代理都采用了新奇搜索（NS），以鼓励具有高新奇性的政策，同时最大限度地提高每集的性能。我们将PNS应用于双延迟深度确定性（TD 3）策略梯度算法。PNS的有效性，以促进探索和提高连续控制域的性能证明在实验部分。值得注意的是，PNS-TD 3在具有稀疏或延迟奖励信号的环境中实现了远远超过SOTA方法的奖励。我们还证明了PNS使机器人代理能够直接从像素学习控制策略，以便在模拟和现实环境中进行稀疏奖励操作。
2021-10-10 cs.AI cs.LG
Quantile Reinforcement Learning
Sorbonnes Universités UPMC Univ Paris 06（索邦大学（巴黎第六大学））；CNRS（法国国家科学研究中心）；School of Electronics and Information Technology（电子与信息学院）；SYSU-CMU Joint Institute of Engineering（中山大学-卡内基梅隆大学联合工程学院）；SYSU-CMU Shunde Joint Research Institute（中山大学-卡内基梅隆大学顺德联合研究院）
在强化学习中，评估状态中的策略的标准准则是奖励（折扣）和的期望。然而，这一标准可能并不总是合适的，我们认为一个替代标准的概念的分位数的基础上。在情景强化学习问题的情况下，我们提出了一种基于两个时标的随机近似算法。我们评估我们的建议在一个简单的模型的电视节目，谁想成为百万富翁。
2016-11-03 cs.AI cs.LG
Ancestral Reinforcement Learning: Unifying Zeroth-Order Optimization and Genetic Algorithms for Reinforcement Learning
Institute of Industrial Science, The University of Tokyo（东京大学生产技术研究所）；Universal Biology Institute, The University of Tokyo（东京大学普遍生物学研究所）
本文提出祖先强化学习（ARL），通过让智能体利用祖先种群历史估计梯度，同时保持当前种群策略多样性，统一了零阶优化与遗传算法的优势，并证明其隐式引入KL正则化以增强探索。
2024-09-02 cs.LG
MF-OML: Online Mean-Field Reinforcement Learning with Occupation Measures for Large Population Games
Department of IEOR, Columbia University（哥伦比亚大学工业工程与运营研究系）；Mathematical Institute, University of Oxford（牛津大学数学系）；Citadel Securities（Citadel证券公司）
多智能体游戏的强化学习最近引起了很多关注。然而，鉴于解决大型人口博弈的纳什均衡的挑战，现有的保证多项式复杂性的作品要么专注于零和潜在博弈的变体，要么旨在解决（粗）相关均衡，要么需要访问模拟器，要么依赖于某些难以验证的假设。本文提出了一种在线平均场强化学习算法MF-OML（Mean-Field Occupation-Measure Learning），用于求解大种群序贯对称对策的近似纳什均衡。MF-OML是第一个完全多项式的多智能体强化学习算法，用于可证明地解决纳什均衡（直到平均场近似差距，随着参与者$N$的数量变为无穷大而消失），超越零和潜在游戏的变体。当评估从纳什均衡的累积偏差，该算法被证明是实现一个高概率的遗憾界$\tilde{O}(M^{3/4}+N^{-1/2}M)$的强Lasry-Lions单调性条件的游戏，和遗憾界$\tilde{O}(M^{11/12}+N^{- 1/6}M)$只有Lasry-Lions单调性条件的游戏，其中$M$是总的情节和$N$是游戏的代理人的数量。作为一个副产品，我们还获得了第一个易于处理的全局收敛的计算算法计算近似纳什均衡的单调平均场游戏。
2025-09-03 cs.AI cs.GT cs.LG
Simultaneous Training of First- and Second-Order Optimizers in Population-Based Reinforcement Learning
Festo SE & Co. KG（费斯托两合公司）
本文提出在基于群体的训练（PBT）中同时使用一阶和二阶优化器，通过TD3算法在MuJoCo环境中的实验证明K-FAC与Adam混合种群可提升最高10%性能并增强训练稳定性。
2024-09-04 cs.AI cs.LG
Playing 2048 With Reinforcement Learning
Stanford University（斯坦福大学）
《2048》是一款非常容易上瘾的游戏。这是很容易学习的游戏，但很难掌握，因为创建的游戏显示，只有约1%的游戏出数亿曾经玩过已经赢得了。在本文中，我们想探讨强化学习技术，以赢得2048年。我们采用的方法包括深度Q学习和束搜索，其中束搜索达到2048 28.5的时间。
2021-10-20 cs.AI
PB$^2$: Preference Space Exploration via Population-Based Methods in Preference-Based Reinforcement Learning
Univ. Lille（里尔大学）；Inria（法国国家信息与自动化技术研究院）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工大学）；UMR 9189-CRIStAL（9189号研究单元-CRIStAL）
本研究针对基于偏好的强化学习中偏好空间探索不足的问题，提出PB²方法，通过维持多样化智能体种群提升偏好探索能力，在复杂环境及教师误标注场景下性能更优。
2026-08-04 cs.AI cs.LG
Efficient Reinforcement Learning for Zero-Shot Coordination in Evolving Games
Bingyu Hui, Lebin Yu, Quanming Yao, Yunpeng Qu, Xudong Zhang, Jian Wang（作者）
针对演化博弈中零样本协作的强化学习方法受限于计算资源、难以通过扩大种群规模提升性能的问题，提出含元智能体与互信息正则化器的可扩展种群训练框架ScaPT，在Hanabi博弈中证实其优越性。
2025-11-18 cs.AI cs.LG
Fiber: A Platform for Efficient Development and Distributed Training for Reinforcement Learning and Population-Based Methods
Uber（优步）；OpenAI
机器学习的最新进展始终是通过增加计算量来实现的。特别是强化学习（RL）和基于群体的方法对底层分布式计算框架的效率和灵活性提出了独特的挑战。这些挑战包括与模拟的频繁交互、对动态扩展的需求以及对采用成本低且跨不同后端一致性的用户界面的需求。在本文中，我们解决这些挑战，同时仍然保留开发效率和灵活性的研究和实际应用引入纤维，一个可扩展的分布式计算框架RL和人口为基础的方法。Fiber的目标是显着扩展大规模并行计算的可访问性，以方便其他复杂的RL和基于人口的方法的用户，而不需要专门的计算专业知识。
2020-03-25 cs.LG stat.ML
Sparse-Reg: Improving Sample Complexity in Offline Reinforcement Learning using Sparsity
本文提出基于稀疏性的正则化技术Sparse-Reg，以缓解离线强化学习在小数据集上的过拟合问题，在有限数据下实现有效学习并在连续控制中超越基线。
2025-06-26 cs.AI cs.LG
Mahjax: A GPU-Accelerated Mahjong Simulator for Reinforcement Learning in JAX
The University of Tokyo（东京大学）；RIKEN AIP（日本理化学研究院AIP）；Nara Institute of Science and Technology（奈良科学技術大學）；Kobe University（Kobe大学）；Kyoto University（京都大学）；ATR；The University of Sydney（悉尼大学）
本文提出Mahjax，一种基于JAX实现的麻将环境，利用GPU加速大规模并行化，以解决麻将游戏中的高维状态空间和随机性问题，为强化学习提供高效的训练平台。
2026-05-20 cs.AI cs.LG
Robust Reinforcement Learning using Adversarial Populations
UC Berkeley（加州大学伯克利分校）；Institute of Transportation Studies（交通研究所）
强化学习（RL）是控制器设计的有效工具，但可能会遇到鲁棒性问题，当底层系统动态受到扰动时会发生灾难性故障。鲁棒RL公式通过将最坏情况的对抗性噪声添加到动态中并将噪声分布构造为零和极大极小博弈的解决方案来解决这个问题。然而，现有的工作学习解决方案的鲁棒RL制定主要集中在训练一个单一的RL代理对一个单一的对手。在这项工作中，我们证明，使用一个单一的对手并不总是产生鲁棒性的动态变化下的对手的标准参数化，由此产生的政策是高度利用新的对手。我们提出了一个基于人口的增强鲁棒RL制定，其中我们随机初始化一个人口的对手和样本的人口在训练过程中均匀。我们在机器人基准测试中实证验证了使用对抗性种群会导致更稳健的策略，从而也改善了分布外泛化。最后，我们证明了这种方法提供了可比的鲁棒性和泛化域随机化在这些基准，同时避免了无处不在的域随机化失败模式。
2020-09-22 cs.LG cs.MA cs.RO
Population-Guided Parallel Policy Search for Reinforcement Learning
Korea Advanced Institute of Science and Technology（韩国高等科学技术研究院）
本文提出了一种新的种群引导并行学习方案，以提高离线强化学习（RL）的性能。在该方案中，多个相同的学习器使用各自的值函数和策略，共享一个经验重放缓冲区，在最佳策略信息的指导下协作搜索最佳策略.其关键在于通过构造策略更新的增广损失函数来扩大多个学习者的整体搜索范围，从而以软的方式融合最佳策略的信息。通过以往最佳策略的指导和扩大的搜索范围，可以更快更好地进行策略搜索。从理论上证明了该方案对期望累积收益率的单调改善。将该方案应用于双延迟深度确定性（TD 3）策略梯度算法，构建了工作算法。数值结果表明，该算法的性能优于目前大多数最先进的强化学习算法，在稀疏奖励环境下的增益是显着的。
2020-01-09 cs.AI cs.LG stat.ML
Population-based Evaluation in Repeated Rock-Paper-Scissors as a Benchmark for Multiagent Reinforcement Learning
Google DeepMind（谷歌DeepMind）；Sony AI（索尼人工智能）；University of Alberta（阿尔伯塔大学）；University of Michigan（密歇根大学）
本文提出以重复石头剪刀布和43个参赛程序种群评估多智能体学习，结合平均回报与可利用度，揭示主流RL等方法仍难胜顶级机器人。
2023-10-31 cs.AI cs.GT cs.LG
Evolutionary Population Curriculum for Scaling Multi-Agent Reinforcement Learning
CMU（卡内基梅隆大学）；SJTU（上海交通大学）；Facebook AI Research（脸书人工智能研究院）；OpenAI（开放人工智能公司）；UC Berkeley（加州大学伯克利分校）；UCSD（加州大学圣地亚哥分校）
在多智能体游戏中，环境的复杂性会随着智能体数量的增加而呈指数级增长，因此当智能体数量很大时，学习好的策略特别具有挑战性。在本文中，我们介绍了进化人口课程（EPC），一个课程学习范式，逐步增加人口的训练代理在一个阶段明智的方式扩大了多智能体强化学习（MARL）。此外，EPC使用进化的方法来解决整个课程中的目标不一致问题：在早期阶段成功训练的小规模人口的代理不一定是适应后期规模人口的最佳候选人。具体而言，EPC在每个阶段维护多组代理，对这些代理执行混合匹配和微调，并将具有最佳适应性的代理提升到下一阶段。我们实现EPC上流行的MARL算法，MADDPG，经验表明，我们的方法始终优于基线的代理数量呈指数级增长的大幅度。
2020-03-23 cs.AI cs.LG cs.NE
Population-aware Online Mirror Descent for Mean-Field Games by Deep Reinforcement Learning
UCLA（加州大学洛杉矶分校）；NYU Shanghai（纽约大学上海分校）；Cohere（Cohere公司）
针对平均场博弈中纳什均衡学习难的问题，提出一种结合Munchausen RL与在线镜像下降的深度强化学习算法，通过内环回放缓冲区缓解灾难性遗忘，在四个经典算例上收敛性优于现有最优算法。
2024-03-06 cs.GT cs.LG cs.MA
A Better Match for Drivers and Riders: Reinforcement Learning at Lyft
Lyft（来福车公司）；Northwestern University（西北大学）
Lyft 采用在线强化学习实时估算司机未来收入以优化司机与乘客的匹配，经开关实验验证，每年增加数百万乘客服务及超3000万美元收入，并于2021年全球部署。
2023-11-14 cs.LG
Generalized Population-Based Training for Hyperparameter Optimization in Reinforcement Learning
Southern University of Science and Technology（南方科技大学）
针对PBT偏爱高性能智能体而忽略探索潜力的问题，提出GPBT框架结合成对学习（PL）策略，通过识别性能差异全面指导表现不佳的智能体，在适应性和计算效率上显著提升，并在多个RL基准上超越传统PBT及其贝叶斯优化变体。
2024-04-23 cs.AI cs.LG cs.NE
Population-aware Online Mirror Descent for Mean-Field Games with Common Noise by Deep Reinforcement Learning
UCLA（美国大学洛杉矶分校）；New York University Shanghai（纽约大学上海分校）；Cohere（Cohere公司）；University of Lille（里尔大学）
针对带公共噪声、初始分布未知的平均场博弈纳什均衡学习难题，提出结合Munchausen RL与在线镜像下降的深度强化学习算法，在7个算例上验证了其收敛性与鲁棒性优势。
2025-09-03 cs.LG cs.MA cs.RO
Sample-Efficient Reinforcement Learning through Transfer and Architectural Priors
Cornell Tech（康奈尔科技）
最近在深度强化学习方面的工作已经允许算法仅仅从游戏提供的奖励来学习诸如Atari 2600游戏之类的复杂任务，但是这些算法目前需要数百万个训练步骤才能学习，使得它们比人类慢大约五个数量级。其中一个原因是，人类构建了适用于问题集合的强大共享表示，使其更容易吸收新的变体。本文首先介绍了自动生成的游戏集的想法，以帮助迁移学习研究，然后通过展示模型可以从相关的建筑先验的结合中大大受益，从而展示了共享表示的实用性。这种技术在玩具问题集上提供了显着的50倍正迁移。
2018-01-07 cs.AI cs.LG
Mean Field Games Flock! The Reinforcement Learning Way
Univ. Lille（里尔大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Centrale Lille（里尔中央理工学院）；Princeton University（普林斯顿大学）；DeepMind Paris（巴黎深度思维）；Google Research（谷歌研究院）
我们提出了一种方法，使大量的代理人学习如何羊群，这是一个自然的行为，在大规模的动物种群。这个问题已经引起了很多人的兴趣，但需要许多结构性假设，并且仅在小维度上易于处理。我们把这个问题称为平均场博弈（MFG），其中每个个体根据群体行为选择其加速度。结合深度强化学习（RL）和规范化流（NF），我们获得了一个易于处理的解决方案，只需要非常弱的假设。我们的算法找到了一个纳什均衡和代理适应他们的速度，以匹配相邻羊群的平均。我们使用Fictionary Play和交替：（1）使用Deep RL计算近似最佳响应，（2）使用NF估计下一个群体分布。我们数值表明，我们的算法学习多组或高维群集的障碍。
2021-05-17 cs.AI cs.MA
Learning Bilateral Team Formation in Cooperative Multi-Agent Reinforcement Learning
针对多智能体强化学习中单边分组和固定种群的局限，提出动态系统下的双边团队形成学习框架，揭示了算法特性对策略性能与泛化能力的影响，并在多数场景中验证了其竞争优势。
2025-06-24 cs.AI cs.GT cs.LG
Schedule Earth Observation satellites with Deep Reinforcement Learning
IRT Saint-Exupéry（圣埃克苏佩里技术研究所）；Airbus Defence & Space（空客防务与航天公司）
光学地球观测卫星在全球范围内获取图像，每天覆盖数百万平方公里。当考虑到几个卫星星座的互操作性以及天气预报的不确定性时，这种系统的调度获取的复杂性呈指数级增加。为了尽快向客户提供有效的图像，获取无云图像至关重要。根据天气预报，多达50%的运行卫星获取的图像可能会由于过度的云层覆盖而被丢弃，这表明还有改进的空间。我们提出了一种基于深度强化学习的采集调度方法，并在简化的环境下进行了实验。我们发现，它挑战了依赖于人类专家启发式的经典方法。
2019-11-12 cs.AI cs.LG
Evolutionary Reinforcement Learning via Cooperative Coevolutionary Negatively Correlated Search
Southern University of Science and Technology（南方科技大学）
本文提出NCS友好的协同协同进化框架，以扩展负相关搜索并保留其并行探索行为，在10个Atari游戏上以少50%计算时间显著优于三种最先进深度强化学习方法。
2020-09-08 cs.LG cs.NE
Privacy Preserving Reinforcement Learning for Population Processes
Australian National University（澳大利亚国立大学）
针对群体过程中强化学习的隐私保护问题，提出一种通过差分隐私机制私有化状态与奖励信号的元算法，并证明其价值函数近似误差随群体规模和隐私预算增加而迅速缩小，实现了合理的隐私-效用权衡。
2024-06-25 cs.CR cs.LG
Mean-Field Reinforcement Learning without Synchrony
Department of Industrial Systems Engineering and Management（工业系统工程与管理系）
本文提出时间均场框架，通过群体分布解决异步问题，证明均衡存在性并展示算法收敛性。
2026-02-20 cs.AI cs.LG cs.MA
Test-Time Learning and Inference-Time Deliberation for Efficiency-First Offline Reinforcement Learning in Care Coordination and Population Health Management
本文提出轻量级离线强化学习方法 TTL+ITD，通过测试时局部邻域校准和融合不确定性与成本的小型 Q 集成推理时深思，在护理协调场景中实现高效、可审计且可预测效率权衡的决策。
2025-09-19 cs.CY cs.LG
XLand-MiniGrid: Scalable Meta-Reinforcement Learning Environments in JAX
AIRI；MIPT（莫斯科物理技术学院）；Innopolis University（因诺波利斯大学）；Skoltech（斯科尔科沃科学技术研究院）；T-Bank（T银行）
本文提出XLand-MiniGrid，一个基于JAX的高可扩展元强化学习网格世界环境，提供百万级任务基准和易用基线，并验证其训练速度与任务挑战性。
2024-11-19 cs.LG
Reinforcement Learning for Control of Non-Markovian Cellular Population Dynamics
Carnegie Mellon University（卡内基梅隆大学）；University of Massachusetts Boston（马萨诸塞大学波士顿分校）；IAIFI
本研究应用无模型深度强化学习（RL）控制在非马尔可夫动力学下演化的细胞种群药物给药问题，发现该方法能恢复精确解并在含噪声和动态记忆强度的环境中实现鲁棒控制。
2025-01-28 cs.LG q-bio.PE
Rethinking Population-assisted Off-policy Reinforcement Learning
Southern University of Science and Technology（南方科技大学）
该研究分析群体数据对离策略强化学习的影响，发现其会引入被忽视的误差致训练不稳定，提出双回放缓冲区设计以提供更多同策略数据，为混合方法训练提供实用参考。
2023-05-04 cs.LG cs.NE
Effective Diversity in Population Based Reinforcement Learning
University of Oxford（牛津大学）；UC Berkeley（加州大学伯克利分校）；Google Brain Robotics（谷歌大脑机器人）
探索是强化学习中的一个关键问题，因为智能体只能从它们在环境中获得的数据中学习。考虑到这一点，维护一个代理群体是一种有吸引力的方法，因为它允许使用各种行为收集数据。这种行为多样性通常通过多目标损失函数来提高。然而，这些方法通常利用基于成对距离的平均场更新，这使得它们容易受到循环行为和增加的冗余的影响。此外，明确地促进多样性往往会对优化已经富有成效的奖励行为产生不利影响。因此，奖励多样性的权衡通常依赖于竞争力。最后，这些方法需要行为表示，通常是手工制作的和特定于领域的。在本文中，我们介绍了一种方法，以优化所有成员的人口同时进行。我们不使用成对距离，而是在行为流形中测量整个种群的体积，该行为流形由任务不可知的行为嵌入定义。此外，我们的算法多样性通过行列式（DvD），适应多样性的程度，在训练过程中使用在线学习技术。我们介绍了进化和基于梯度的DvD实例，并表明它们有效地提高了探索，而不降低性能时，更好的探索是不需要的。
2020-10-07 cs.LG stat.ML
PyBatchRender: A Python Library for Batched 3D Rendering at Up to One Million FPS
PyBatchRender是一种基于Python的高吞吐量3D渲染库，通过优化的批量渲染技术实现每秒超过一百万帧的渲染速度，适用于基于像素的强化学习研究。
2026-01-03 cs.AI cs.GR cs.PF
Megaverse: Simulating Embodied Agents at One Million Experiences per Second
University of Southern California（南加州大学）；Intel Labs（英特尔实验室）；Georgia Institute of Technology（佐治亚理工学院）；Stanford University（斯坦福大学）
我们介绍了Megaverse，一个新的3D仿真平台，用于强化学习和具体的AI研究。我们的引擎的高效设计使基于物理的仿真能够在单个8 GPU节点上以每秒超过1，000，000个动作的高维自我中心观察。Megaverse在具有交互式对象的全阴影3D场景中比DeepMind Lab快70倍。我们通过利用批处理模拟来实现这种高模拟性能，从而充分利用现代GPU的大规模并行性。我们使用Megaverse来构建一个新的基准，该基准由几个单智能体和多智能体任务组成，涵盖各种认知挑战。我们在这个基准上评估无模型RL，以提供基线并促进未来的研究。源代码可在https://www.megaverse.info上获得
2021-07-21 cs.AI cs.LG
Evolution of Societies via Reinforcement Learning
Yann Bouteiller, Karthik Soma, Giovanni Beltrame（未知）
本文提出一种可并行的方法，实现了在演化规模下模拟多智能体强化学习群体，并在经典博弈中成功模拟了20万异构智能体的演化，揭示了不同学习策略对社会演化的影响。
2025-04-27 cs.GT cs.LG cs.MA
Reinforcement Learning for Sequential Solar PV Policy Design under Uncertainty: An Agent-Based Approach
School of Computer Science, University of Galway（戈尔韦大学计算机科学学院）
本研究将光伏政策设计建模为序列决策问题，结合强化学习与基于智能体模型，通过PPO等算法学习不同权衡的政策，其生成的政策权衡结构清晰且优于静态基准，可用于不确定性下的自适应政策设计。
2026-09-07 cs.AI
Population-coding and Dynamic-neurons improved Spiking Actor Network for Reinforcement Learning
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Center for Excellence in Brain Science and Intelligence Technology, Chinese Academy of Sciences（中国科学院脑科学与智能技术卓越创新中心）
随着深度神经网络（DNN）作为一个强大的函数逼近器，深度强化学习（DRL）已经在机器人控制任务中得到了很好的证明。与具有普通人工神经元的DNN相比，生物学上合理的脉冲神经网络（SNN）包含不同的脉冲神经元群体，使其在具有空间和时间信息的状态表示方面自然强大。基于一个混合学习框架，其中尖峰行动者网络从状态中推断动作，深度评论家网络评估行动者，我们提出了一种人口编码和动态神经元改进的尖峰行动者网络（PDSAN），用于从两个不同尺度进行有效的状态表示：输入编码和神经元编码。对于输入编码，我们应用动态感受野的群体编码来直接编码每个输入状态分量。对于神经元编码，我们提出了不同类型的动态神经元（包含一阶和二阶神经元动力学）来描述更复杂的神经元动力学。最后，使用双延迟深度确定性策略梯度算法（TD 3-PDSAN）结合深度批判网络来训练PDSAN。大量的实验结果表明，我们的TD 3-PDSAN模型在四个OpenAI健身房基准任务上实现了比最先进的模型更好的性能。这是一个重要的尝试，以改善强化学习与SNN朝着有效的计算满足生物相容性。
2022-09-22 cs.AI
Towards Scaling Reinforcement Learning to Massive Populations: Learning Mean-Field Representations
New York University（纽约大学）；ETH Zurich（苏黎世联邦理工学院）；Meta Platforms Inc.（元平台公司）；Tel Aviv University（特拉维夫大学）
本研究针对大规模群体高维控制问题，提出平均场强化学习框架，通过学习低维群体表示提升奖励预测与策略均衡质量，验证了该方法的有效性。
2026-09-04 cs.LG cs.MA stat.ML
Phasic Diversity Optimization for Population-Based Reinforcement Learning
Dalian University of Technology（大连理工大学）；Northwestern Polytechnical University（西北工业大学）；Yangzhou Collaborative Innovation Research Institute Co., Ltd（扬州协同创新研究院有限公司）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
提出阶段性多样性优化（PDO）算法，通过将奖励与多样性训练分离至不同阶段，在辅助阶段激进优化多样性而不损害性能，并在狗斗和MuJoCo场景中验证其优于基线。
2024-03-17 cs.AI cs.LG
Optimality-based Analysis of XCSF Compaction in Discrete Reinforcement Learning
The University of Queensland（昆士兰大学）
学习分类器系统（LCS）是基于群体的预测系统，其最初被设想为在强化学习（RL）环境中起作用的代理。这些系统可能会遭受人口膨胀，因此适合压缩技术，试图在人口规模和性能之间取得平衡。XCSF是一个研究得很好的LCS架构，它在RL设置中充当Q函数近似器。我们将XCSF应用于OpenAI Gym的FrozenLake 8x8环境的确定性和随机变体，并将其性能在函数近似误差和策略准确性方面与通过动态规划解决环境产生的最优Q函数和策略进行了比较。然后，我们介绍了一种新的压缩算法（贪婪小生境质量压缩- GNMC），并研究其操作XCSF的训练人口。结果表明，给定一个合适的参数化，GNMC保留或甚至略有改善的函数逼近误差，同时产生显着减少人口规模。还可以合理保留策略准确性，并且我们将此指标与迷宫式环境中常用的目标步骤指标联系起来，说明这些指标是互补的而不是竞争的。
2020-09-03 cs.LG stat.ML
NeoAMT: Neologism-Aware Agentic Machine Translation with Reinforcement Learning
The University of Tokyo（东京大学）；NTT Communication Science Laboratories, NTT, Inc.（NTT通信科学实验室，NTT公司）
提出NeoAMT框架，利用基于Wiktionary的搜索工具和强化学习训练翻译智能体，以提升包含新词的源句翻译质量。
2026-05-24 cs.AI cs.CL
Large Population Models
Massachusetts Institute of Technology（麻省理工学院）
本文提出大规模人口模型（LPMs），通过高效模拟数百万智能体、学习真实数据及隐私保护通信协议构建“数字社会”，揭示集体智能并为政策制定提供测试场。
2025-07-14 cs.AI cs.MA
Mean Field Reinforcement Learning: Theory and Algorithms for Mean Field Control
Department of Operations Research and Financial Engineering & Program in Applied and Computational Mathematics, Princeton NJ 08544, USA（普林斯顿大学运筹学与金融工程系及应用与计算数学项目）；Shanghai Frontiers Science Center of Artificial Intelligence and Deep Learning（上海人工智能与深度学习前沿科学中心；纽约大学上海数学科学研究院（NYU-ECNU）；纽约大学上海）；NYU-ECNU Institute of Mathematical Sciences at NYU Shanghai；NYU Shanghai, 567 West Yangsi Road, Shanghai, 200126, People’s Republic of China
通过平均场交互和共同噪声的大群体随机控制视角，介绍平均场强化学习，建立代表性智能体学习问题的概率、数学和控制理论框架，并分析表格Q学习和策略梯度方法。
2026-11-03 cs.LG cs.MA math.OC
Improving Exploration in Evolution Strategies for Deep Reinforcement Learning via a Population of Novelty-Seeking Agents
Uber AI Labs（优步人工智能实验室）
演化策略（ES）是一系列黑箱优化算法，能够粗略地训练深度神经网络，以及Q学习和策略梯度方法，以解决具有挑战性的深度强化学习（RL）问题，但速度更快（例如，几小时与几天），因为它们的并行化更好。然而，许多RL问题需要定向探索，因为它们具有稀疏或欺骗性的奖励函数（即包含局部最优值），并且不知道如何使用ES鼓励这种探索。在这里，我们表明，已经发明的算法，以促进定向探索小规模进化神经网络通过人口的探索代理，特别是新颖性搜索（NS）和质量多样性（QD）算法，可以与ES杂交，以提高其性能的稀疏或欺骗性的深度RL任务，同时保持可扩展性。我们的实验证实，由此产生的新算法，NS-ES和两个QD算法，NSR-ES和NSRA-ES，避免了ES遇到的局部最优，以实现更高的性能Atari和模拟机器人学习走动的欺骗性陷阱。因此，本文介绍了一个家庭的快速，可扩展的强化学习，能够直接探索算法。它还将这个新的探索算法家族添加到RL工具箱中，并提出了一种有趣的可能性，即具有多个同时探索路径的类似算法也可能与ES之外的现有RL算法很好地结合。
2018-10-29 cs.AI
Recruitment-imitation Mechanism for Evolutionary Reinforcement Learning
Jilin University（吉林大学）
强化学习、进化算法和模仿学习是处理连续控制任务的三种主要方法。强化学习样本效率高，但对超参数设置敏感，需要有效探索;进化算法稳定，但样本效率低;模仿学习样本效率高，但需要专家数据指导。在本文中，我们提出了招募模仿机制（RIM）的进化强化学习，一个可扩展的框架，结合了上述三种方法的优点。该框架的核心是一个双行动者和单批评强化学习代理。该代理可以从进化算法的群体中招募高适应度的演员，这指示自己从经验重放缓冲区中学习。同时，进化种群中的低适应度行为体可以模仿强化学习Agent的行为模式，提高其自适应能力。该框架中的强化学习器和模仿学习器可以用任何非策略的行动者-批评者强化学习器或数据驱动的模仿学习器来代替。我们在Mujoco中对RIM进行了一系列连续控制任务的基准测试。实验结果表明，RIM优于以前的进化或强化学习方法。RIM组件的性能明显优于以前的进化强化学习算法的组件，使用软更新的招聘使强化学习代理学习速度比使用硬更新。
2019-12-13 cs.AI cs.LG cs.NE
Human-level performance in first-person multiplayer games with population-based deep reinforcement learning
DeepMind（深度思维）
最近通过强化学习（RL）在人工智能方面取得的进展在日益复杂的单智能体环境和双人回合制游戏中取得了巨大成功。然而，现实世界包含多个代理，每个代理都独立学习和行动，与其他代理合作和竞争，反映这种复杂程度的环境仍然是一个开放的挑战。在这项工作中，我们第一次证明了一个代理可以在流行的3D多人第一人称视频游戏中实现人类水平，雷神之锤III竞技场夺旗，仅使用像素和游戏点作为输入。这些结果是通过一种新型的双层优化过程实现的，在这种过程中，一群独立的RL代理同时从数千场并行比赛中进行训练，这些代理在随机生成的环境中一起组队和互相对抗。种群中的每个代理都学习自己的内部奖励信号，以补充来自获胜的稀疏延迟奖励，并使用新的时间分层表示来选择动作，该表示使代理能够在多个时间尺度上进行推理。在玩游戏的过程中，这些智能体显示出类似人类的行为，例如导航、跟随和防御，这些行为基于丰富的学习表示，这些表示被显示为编码高级游戏知识。在一次广泛的锦标赛式评估中，经过训练的智能体超过了强大的人类玩家作为队友和对手的胜率，并证明比现有的最先进的智能体强大得多。这些结果表明，人工智能的能力有了显著的飞跃，使我们更接近人类智能的目标。
2018-07-03 cs.AI cs.LG stat.ML
Emergent Dominance Hierarchies in Reinforcement Learning Agents
Tel Aviv University（特拉维夫大学）；University of California, Irvine（加州大学欧文分校）；Max Planck Institute, Bio-Cybernetics（马克斯·普朗克生物控制论研究所）；Hebrew University of Jerusalem（希伯来大学）；Bar-Ilan University（巴伊兰大学）
本研究将行为学支配层级理论适配到人工智能体，证明无显式编程或内在奖励的RL智能体种群可涌现出与动物社会结构相似的支配层级，并能实现层级的学习、执行与传递。
2024-06-22 cs.AI cs.GT cs.LG
Horizon: Facebook's Open Source Applied Reinforcement Learning Platform
Facebook（脸书）；Mila（米拉）；McGill University（麦吉尔大学）
在本文中，我们介绍了地平线，Facebook的开源应用强化学习（RL）平台。Horizon是一个端到端平台，旨在解决数据集很大（数百万到数十亿个观察结果）、反馈循环很慢（与模拟器相比）、实验必须小心完成（因为它们不在模拟器中运行）的行业应用RL问题。与其他RL平台不同，这些平台通常是为快速原型设计和实验而设计的，Horizon的设计以生产用例为首要考虑。该平台包含训练流行的深度RL算法的工作流，包括数据预处理、特征转换、分布式训练、反事实策略评估、优化服务和基于模型的数据理解工具。我们还展示和描述了使用Horizon训练的强化学习模型显著优于并取代Facebook的监督学习系统的真实例子。
2019-09-04 cs.AI cs.LG stat.ML
Individual-Level Inverse Reinforcement Learning for Mean Field Games
The University of Auckland（奥克兰大学）；National University of Singapore（新加坡国立大学）
最近的平均场博弈（MFG）形式主义已经使逆强化学习（IRL）方法在大规模多智能体系统中的应用成为可能，其目标是推断奖励信号，可以解释大种群的表现行为。现有的MFG的IRL方法是建立在减少MFG的马尔可夫决策过程（MDP）定义的集体行为和平均回报的人口。然而，本文揭示了从MFG到MDP的减少仅适用于完全合作的设置。这种限制使现有的IRL方法在非合作环境下的MFG上失效。为了测量大规模人群中更一般的行为，我们研究了使用个人行为来推断MFG的地面真实奖励函数。我们提出了平均场IRL（MFIRL），第一个专用的IRL框架MFG，可以处理合作和非合作环境。基于这个理论上合理的框架，我们开发了一种适用于动态未知的MFG的实用算法。我们评估MFIRL合作和混合合作竞争的情况下，许多代理。结果表明，MFIRL优于奖励回收，样本效率和鲁棒性，在面对不断变化的动态。
2022-02-13 cs.GT cs.LG cs.MA
Driver Modeling through Deep Reinforcement Learning and Behavioral Game Theory
Bilkent University（比尔肯特大学）
本文提出了一种深度强化学习和层次博弈论的协同组合，作为高速公路驾驶场景下驾驶员行为预测的建模框架。需要一个可以解决多个人与人和人与自动化交互的建模框架，其中所有代理都可以同时建模为决策者，这是这项工作背后的主要动机。这样的建模框架可以用于自动驾驶车辆的验证和确认：据估计，为了使自动驾驶车辆达到与有驾驶员的汽车相同的安全水平，需要数百万英里的驾驶测试。本文提出的建模框架可用于由多个人类决策者组成的高保真交通模拟器中，以通过允许安全和快速评估自动驾驶算法来减少测试所花费的时间和精力。为了证明所提出的建模框架的保真度，游戏理论的驱动程序模型进行比较，从交通数据中提取的真实人类驾驶员的行为模式。
2020-03-24 cs.LG cs.MA
