MF-OML: Online Mean-Field Reinforcement Learning with Occupation Measures for Large Population Games
Department of IEOR, Columbia University（哥伦比亚大学工业工程与运营研究系）；Mathematical Institute, University of Oxford（牛津大学数学系）；Citadel Securities（Citadel证券公司）
多智能体游戏的强化学习最近引起了很多关注。然而，鉴于解决大型人口博弈的纳什均衡的挑战，现有的保证多项式复杂性的作品要么专注于零和潜在博弈的变体，要么旨在解决（粗）相关均衡，要么需要访问模拟器，要么依赖于某些难以验证的假设。本文提出了一种在线平均场强化学习算法MF-OML（Mean-Field Occupation-Measure Learning），用于求解大种群序贯对称对策的近似纳什均衡。MF-OML是第一个完全多项式的多智能体强化学习算法，用于可证明地解决纳什均衡（直到平均场近似差距，随着参与者$N$的数量变为无穷大而消失），超越零和潜在游戏的变体。当评估从纳什均衡的累积偏差，该算法被证明是实现一个高概率的遗憾界$\tilde{O}(M^{3/4}+N^{-1/2}M)$的强Lasry-Lions单调性条件的游戏，和遗憾界$\tilde{O}(M^{11/12}+N^{- 1/6}M)$只有Lasry-Lions单调性条件的游戏，其中$M$是总的情节和$N$是游戏的代理人的数量。作为一个副产品，我们还获得了第一个易于处理的全局收敛的计算算法计算近似纳什均衡的单调平均场游戏。
2025-09-03 cs.AI cs.GT cs.LG
Solving Continuous Mean Field Games: Deep Reinforcement Learning for Non-Stationary Dynamics
University of Cambridge（剑桥大学）；KTH Royal Institute of Technology（皇家理工学院）；University of California, Los Angeles（加州大学洛杉矶分校）；NYU Center for Data Science（纽约大学数据科学中心）；NYU Shanghai（纽约大学上海分校）
本文提出一种基于虚拟博弈和条件归一化流的深度强化学习算法，用于求解非平稳连续平均场博弈，在三个递增复杂度示例上验证了其有效性。
2025-10-25 cs.AI cs.LG cs.MA
RoMFAC: A robust mean-field actor-critic reinforcement learning against adversarial perturbations on states
Tongji University（同济大学）
本文提出鲁棒平均场演员-评论家强化学习RoMFAC，通过结合策略梯度与动作损失函数并引入重复正则化，同时构建状态对抗随机博弈模型，有效抵御状态对抗扰动并保持无扰动环境下的竞争性能。
2023-05-31 cs.AI cs.LG
Mean-Field Reinforcement Learning without Synchrony
Department of Industrial Systems Engineering and Management（工业系统工程与管理系）
本文提出时间均场框架，通过群体分布解决异步问题，证明均衡存在性并展示算法收敛性。
2026-02-20 cs.AI cs.LG cs.MA
A Harmonic Mean Formulation of Average Reward Reinforcement Learning in SMDPs
Bar Ilan University（巴伊兰大学）
针对无限时域非回合制任务中的平均奖励强化学习，提出一种修正的调和均值算子，解决SMDP中奖励和持续时间非平稳时的奖励率计算问题，并证明其理论性质及有效性。
2026-05-06 cs.AI cs.LG
Mean Field Games Flock! The Reinforcement Learning Way
Univ. Lille（里尔大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Centrale Lille（里尔中央理工学院）；Princeton University（普林斯顿大学）；DeepMind Paris（巴黎深度思维）；Google Research（谷歌研究院）
我们提出了一种方法，使大量的代理人学习如何羊群，这是一个自然的行为，在大规模的动物种群。这个问题已经引起了很多人的兴趣，但需要许多结构性假设，并且仅在小维度上易于处理。我们把这个问题称为平均场博弈（MFG），其中每个个体根据群体行为选择其加速度。结合深度强化学习（RL）和规范化流（NF），我们获得了一个易于处理的解决方案，只需要非常弱的假设。我们的算法找到了一个纳什均衡和代理适应他们的速度，以匹配相邻羊群的平均。我们使用Fictionary Play和交替：（1）使用Deep RL计算近似最佳响应，（2）使用NF估计下一个群体分布。我们数值表明，我们的算法学习多组或高维群集的障碍。
2021-05-17 cs.AI cs.MA
Deep Reinforcement Learning and Mean-Variance Strategies for Responsible Portfolio Optimization
J.P. Morgan AI Research（摩根大通人工智能研究院）；University College London（伦敦大学学院）
本文研究了将深度强化学习应用于负责任的投资组合优化，通过纳入ESG状态和目标，在财务与ESG责任的加性及乘性效用函数下，表现出与均值-方差方法相媲美的性能。
2024-03-25 cs.AI
Many Agent Reinforcement Learning Under Partial Observability
University of Georgia（佐治亚大学）；University of Southern Mississippi（南密西西比大学）
最近对多智能体强化学习（MARL）的重新关注产生了一系列令人印象深刻的技术，这些技术利用了深度强化学习，主要是演员-评论家架构，并且可以应用于可观察性和通信方面的有限范围的设置。然而，这项工作的一个持续的限制是维度的灾难，当它涉及到基于联合行动的表示，这与代理的数量呈指数级增长。在本文中，我们直接关注可扩展性的这一挑战。我们将导致联合动作的置换不变性的动作匿名的关键见解应用于最近提出的两种深度MARL算法MADDPG和IA 2C，并将这些实例与另一种利用动作匿名的最近技术进行比较，即，平均场MARL我们表明，我们的实例可以学习更广泛的一类代理网络的最佳行为比平均场方法，使用最近推出的实用域。
2021-06-17 cs.AI cs.LG cs.MA
Safe Model-Based Multi-Agent Mean-Field Reinforcement Learning
ETH Zurich（苏黎世联邦理工学院）；EPFL Lausanne（洛桑联邦理工学院）；University College London（伦敦大学学院）
本文提出Safe-M$^3$-UCRL，首个在未知转移下确保安全策略的基于模型平均场强化学习算法，通过认知不确定性和对数障碍满足全局约束，并在共享出行车辆重定位中有效平衡需求与服务可及性。
2023-12-28 cs.AI cs.LG cs.MA
Breaking the Curse of Many Agents: Provable Mean Embedding Q-Iteration for Mean-Field Reinforcement Learning
Northwestern University（西北大学）；Princeton University（普林斯顿大学）
多智能体强化学习（MARL）取得了显著的经验成功。然而，MARL遭受了许多代理人的诅咒。在本文中，我们利用对称性的MARL代理。在最一般的形式，我们研究了平均场MARL问题。这样的平均场MARL被定义在平均场状态上，平均场状态是在连续空间上支持的分布。基于分布的均值嵌入，提出了求解均值场MARL的MF-FQI算法，并对MF-FQI算法进行了非渐近分析。我们强调，MF-FQI算法享有“祝福的许多代理”的属性，在这个意义上说，大量的观察代理提高MF-FQI算法的性能。
2020-06-21 cs.LG stat.ML
Unified Reinforcement Q-Learning for Mean Field Game and Control Problems
University of California Santa Barbara（加州大学圣巴巴拉分校）；Princeton University（普林斯顿大学）
提出了一种求解无限时域渐近平均场博弈和平均场控制问题的强化学习算法。我们的方法可以被描述为一个统一的双时标平均场Q学习：\emph{same}算法可以通过简单地调整两个学习参数的比率来学习MFG或MFC解决方案。该算法是在离散的时间和空间，代理不仅提供了一个行动的环境，但也分布的状态，以考虑到平均场的功能的问题。重要的是，我们假设代理不能观察到人口的分布，需要以无模型的方式估计它。渐近MFG和MFC问题也提出了在连续的时间和空间，并与经典（非渐近或平稳）MFG和MFC问题。它们导致显式的解决方案，在线性二次（LQ）的情况下，作为基准，我们的算法的结果。
2021-05-31 cs.LG cs.MA math.OC
Reinforcement Learning for Mean Field Game
Purdue University（普渡大学）
随机博弈为多个主体之间的交互提供了一个框架，并使无数的应用成为可能。在这些游戏中，代理同时决定行动，每个代理的状态移动到下一个状态，每个代理都获得奖励。然而，在这个游戏中找到一个均衡（如果存在）往往是困难的，当代理人的数量变得很大。本文的重点是寻找一个平均场均衡（MFE）的行动耦合随机博弈设置在一个情节的框架。假设其他代理人的影响可以通过行动平均值的经验分布来假设。所有的代理知道的行动分布，并采用低近视的最佳反应动力学选择最佳的遗忘策略。本文提出了一种基于后验抽样的平均场博弈强化学习方法，每个智能体从先前的转换中抽取一个转换概率。我们表明，政策和行动的分布收敛到最佳的遗忘策略和限制分布，分别构成一个MFE。
2019-10-08 cs.AI cs.LG stat.ML
Permutation Invariant Policy Optimization for Mean-Field Multi-Agent Reinforcement Learning: A Principled Approach
Georgia Institute of Technology（佐治亚理工学院）；Northwestern University（西北大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
多智能体强化学习（MARL）在存在更多智能体的情况下变得更具挑战性，因为联合状态和动作空间的容量随着智能体的数量呈指数级增长。为了解决这样的规模挑战，我们识别了一类具有排列不变性的协作MARL问题，并将其表示为平均场马尔可夫决策过程（MDP）。为了利用其中的置换不变性，我们提出了平均场近端策略优化（MF-PPO）算法，其核心是一个置换不变的actor-critic神经架构。我们证明了MF-PPO达到全局最优的政策在一个次线性收敛速度。此外，它的样本复杂性是独立的代理的数量。我们验证了MF-PPO的理论优势，在多智能体粒子环境（MPE）的数值实验。特别是，我们证明了由置换不变神经架构引入的归纳偏差使MF-PPO能够以较少的模型参数胜过现有的竞争对手，这是其泛化性能的关键。
2021-05-18 cs.LG cs.MA
On the Statistical Efficiency of Mean-Field Reinforcement Learning with General Function Approximation
ETH Zurich（苏黎世联邦理工学院）
本文提出平均场模型基 Eluder 维数（MF-MBED）刻画平均场模型类复杂度，并基于极大似然估计设计算法，在仅需可实现性和 Lipschitz 连续性的最小假设下，以多项式样本复杂度获得 MFC 的 ε-最优策略和 MFG 的 ε-纳什均衡策略。
2024-10-02 cs.AI cs.LG stat.ML
Quantile of Means: A Bonus-Free Ensemble Method for Minimax Optimal Reinforcement Learning
Google Research（谷歌研究院）
提出一种基于分位数的集成方法，无需计数即可在有限时域MDP中实现最优方差依赖的遗憾界，为强化学习中的集成探索提供理论依据。
2026-06-19 cs.LG
Scalability of Message Encoding Techniques for Continuous Communication Learned with Multi-Agent Reinforcement Learning
IDLab；Faculty of Applied Engineering（应用工程学院）；University of Antwerp（安特卫普大学）；imec
本文研究多智能体强化学习中消息编码的可扩展性，发现均值消息编码器始终优于注意力消息编码器，并揭示智能体通过结合指数与对数函数的通信策略避免信息丢失。
2023-08-09 cs.AI cs.LG cs.MA
Accelerating Goal-Directed Reinforcement Learning by Model Characterization
NVIDIA Corporation（英伟达公司）；University of Southern California（南加利福尼亚大学）；Indiana University - Bloomington（印第安纳大学伯明顿分校）
我们提出了一种混合的方法，旨在提高目标导向的强化学习的样本效率。我们通过两步机制来实现这一点，首先，我们从无模型强化学习中近似模型。然后，我们利用这个近似模型以及使用平均首次通过时间的可达性概念来执行基于模型的强化学习。基于这样一个新的观察，我们设计了两个新的算法-平均第一次通过时间为基础的Q-学习（MFPT-Q）和平均第一次通过时间为基础的DYNA（MFPT-DYNA），已从根本上修改了国家的最先进的强化学习技术。初步结果表明，我们的混合方法收敛的迭代次数比相应的最先进的方法少得多，因此需要更少的样本和更少的训练试验来收敛。
2019-01-04 cs.AI cs.LG stat.ML
Can Mean Field Control (MFC) Approximate Cooperative Multi Agent Reinforcement Learning (MARL) with Non-Uniform Interaction?
Purdue University（普渡大学）
平均场控制（MFC）是解决多智能体强化学习（MARL）问题的有力工具。最近的研究表明，MFC可以很好地逼近MARL时，人口规模是大的，代理是可交换的。不幸的是，交换的假设意味着所有的代理人一致地相互作用，这在许多实际情况下是不正确的。在这篇文章中，我们放松了交换的假设和模型之间的互动代理商通过一个任意的双随机矩阵。因此，在我们的框架中，不同的代理人“看到”的平均场是不同的。我们证明了，如果每个代理的奖励是一个仿射函数的平均场看到该代理，那么可以近似这样一个非均匀的MARL问题通过其相关的MFC问题的误差$e=\mathcal{O}(\frac{1}{\sqrt{N}}[\sqrt{|\mathcal{X}|} + \sqrt{|\mathcal{U}|}])$其中$N$是人口规模和$|\mathcal{X}|$，$|\mathcal{U}|$是状态和动作空间的大小分别。最后，我们开发了一个自然策略梯度（NPG）算法，可以提供一个解决方案，非均匀的MARL的错误$\mathcal{O}(\max\{e,ε\})$和样本的复杂性$\mathcal{O}(ε^{-3})$的任何$ε>0$。
2022-06-01 cs.LG cs.MA
Rectifying Regression in Reinforcement Learning
本文从理论上证明平均绝对误差优于均方误差作为强化学习值函数回归目标，并表明交叉熵损失与平均绝对误差更匹配，实验验证其在线性强化学习中优于平方损失。
2025-11-10 cs.LG
Major-Minor Mean Field Multi-Agent Reinforcement Learning
Technische Universität Darmstadt（达姆施塔特工业大学）
本文提出M3FC以同时建模大量相似智能体和少数复杂智能体，并设计面向有限系统的M3FMARL算法，从理论和实验上验证其近似策略梯度与优越性能。
2024-05-07 cs.LG cs.MA math.OC
Distributed Deep Reinforcement Learning: A Survey and A Multi-Player Multi-Agent Learning Toolbox
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Tsinghua University（清华大学）
本文综述分布式深度强化学习方法与关键组件，并开发发布一个多玩家多智能体分布式深度强化学习工具箱，在Wargame环境中验证其可用性，同时展望挑战与未来趋势。
2022-12-01 cs.AI cs.LG cs.MA
Mean-Variance Policy Iteration for Risk-Averse Reinforcement Learning
University of Oxford（牛津大学）；Auburn University（奥本大学）
本文提出了一个均值-方差策略迭代（MVPI）框架，用于贴现无限时域MDP中的风险厌恶控制，该框架优化了每步奖励随机变量的方差。MVPI具有很大的灵活性，因为任何策略评估方法和风险中性控制方法都可以用于现成的风险规避控制，无论是在策略上还是在策略外。这种灵活性减少了风险中性控制和风险厌恶控制之间的差距，并通过直接在一个新的增强MDP上工作来实现。我们提出了风险厌恶TD 3作为MVPI实例化的一个例子，它优于香草TD 3和许多以前的风险厌恶控制方法在具有风险意识的性能指标下挑战Mujoco机器人仿真任务。这种风险厌恶的TD 3是第一个将确定性策略和离策略学习引入风险厌恶的强化学习的，这两者都是我们在Mujoco领域中展示的性能提升的关键。
2022-04-07 cs.AI cs.LG stat.ML
Mean-Semivariance Policy Optimization via Risk-Averse Reinforcement Learning
Tsinghua University（清华大学）；Sun Yat-sen University（中山大学）
在现实世界的决策情况下，如金融、机器人、自动驾驶等，保持风险可控往往比最大化预期回报更重要。风险度量的最自然选择是方差，它对上行波动的惩罚与下行波动的惩罚一样多。相反，（下）半方差，它捕捉了一个随机变量在其均值下的负偏差，更适合于风险厌恶的建议。针对强化学习中的均值-半方差（Mean-SemiVariance，MSV）准则进行优化。稳定的奖励分配。由于半方差不满足标准Bellman方程且时间不一致，传统的动态规划方法不适用于MSV问题。为了解决这一问题，我们借助摄动分析理论，建立了MSV的性能差异公式。我们发现，MSV问题可以通过迭代求解一系列RL问题与政策相关的奖励函数来解决。在此基础上，提出了基于策略梯度理论和信赖域方法的两种基于策略的算法。最后，我们在MuJoCo中进行了从简单的强盗问题到连续控制任务的各种实验，证明了我们所提出的方法的有效性。
2023-03-08 cs.AI cs.LG
Hyperbolic Embeddings for Learning Options in Hierarchical Reinforcement Learning
分层强化学习处理将大任务分解为有意义的子任务的问题。这些子任务的自主发现仍然是一个具有挑战性的问题。我们提出了一种新的学习子任务的方法，通过结合范例的路由在计算机网络和基于图形的技能发现的选项框架内定义有意义的子目标。我们应用最近的进步学习嵌入使用黎曼优化在双曲空间中嵌入状态集到双曲空间，并创建一个模型的环境。在这样做的过程中，我们对状态强制执行全局拓扑，并能够利用此拓扑来学习有意义的子任务。我们实证表明，无论是在离散和连续域，这些嵌入如何可以提高有意义的子任务的学习。
2019-02-16 cs.AI cs.LG stat.ML
Model-Free Mean-Field Reinforcement Learning: Mean-Field MDP and Mean-Field Q-Learning
Program in Applied and Computational Mathematics（应用与计算数学项目）；ORFE（运筹学与金融工程系）
本文从平均场马尔可夫决策过程的角度研究了带常见噪声的无限时域折扣平均场控制问题。我们允许智能体使用不仅在个体水平上而且在群体水平上随机化的动作。这种常见的随机化允许我们在MFC的闭环和开环策略以及MFMDP的马尔可夫策略之间建立连接。特别是，我们表明，存在一个最佳的闭环政策，为原来的MFC。基于这个框架和状态-动作值函数的概念，我们提出了针对此类问题的强化学习（RL）方法，通过将现有的表格和深度RL方法适应平均场设置。主要的困难是人口状态的处理，这是政策和价值函数的输入。我们提供了收敛保证的基础上离散化的单纯形的表格算法。基于神经网络的算法更适合于连续空间，并且允许我们避免离散化平均场状态空间。数值例子。
2021-10-13 cs.LG math.OC
Adversarial Inverse Reinforcement Learning for Mean Field Games
Strong AI Lab, University of Auckland（强人工智能实验室，奥克兰大学）；University of Auckland（奥克兰大学）
本文提出均场对抗逆强化学习框架，用于解决均场博弈中演示行为不确定性问题，通过最大熵IRL和新均衡概念提升奖励恢复性能。
2025-12-01 cs.LG
Meta-Inverse Reinforcement Learning for Mean Field Games via Probabilistic Context Variables
针对平均场博弈中现有逆强化学习方法受智能体同质性假设限制、难处理异构目标演示的问题，提出基于深度潜变量的元逆强化学习方法，无需先验上下文知识即可跨相似任务推断奖励，在模拟和真实出租车定价场景中效果优于现有方法。
2025-09-04 cs.AI cs.GT cs.LG
Memory-Efficient Episodic Control Reinforcement Learning with Dynamic Online k-means
Imperial College London（帝国理工学院）
最近，已经开发了神经启发的情景控制（EC）方法来克服标准深度强化学习方法的数据低效。使用非/半参数模型来估计价值函数，它们可以快速学习，从类似的过去状态中检索缓存的值。在现实场景中，由于资源有限和数据嘈杂，在记忆中保持有意义的表征对于加速学习和避免灾难性遗忘至关重要。不幸的是，EC方法具有较大的空间和时间复杂度。我们调查不同的解决方案，这些问题的优先级和排名存储状态的基础上，以及在线聚类技术。我们还提出了一种新的动态在线k-means算法，既计算效率高，又在较小的内存大小下产生更好的性能;我们在经典的强化学习环境和Atari游戏中验证了这种方法。
2019-11-21 cs.LG cs.NE stat.ML
Reinforcement Networks: novel framework for collaborative Multi-Agent Reinforcement Learning tasks
Institute for Artificial Intelligence, Lomonosov Moscow State University（人工智能研究所，罗蒙诺索夫莫斯科国立大学）；Lomonosov Moscow State University（罗蒙诺索夫莫斯科国立大学）
强化网络提出了一种用于协作多智能体强化学习的新框架，通过有向无环图结构实现灵活的信用分配和可扩展协调，统一了分层、模块化和图结构的MARL观点。
2025-12-28 cs.AI cs.LG cs.MA
Evaluating the Robustness of Deep Reinforcement Learning for Autonomous Policies in a Multi-agent Urban Driving Environment
Simula Research Laboratory（西姆拉研究实验室）
深度强化学习被积极用于在模拟驾驶环境中训练自动驾驶汽车策略。由于各种强化学习算法的大量可用性以及缺乏对不同驾驶场景的系统比较，我们不确定哪些算法在单智能体和多智能体驾驶环境中更有效地训练自动驾驶汽车软件。在基于视觉的自动驾驶中比较深度强化学习的基准框架将为训练更好的自动驾驶汽车策略提供可能性。为了应对这些挑战，我们提供了一个开放且可重用的基准测试框架，用于在单智能体和多智能体环境中对自动驾驶的深度强化学习算法进行系统评估和比较分析。使用该框架，我们进行了离散和连续动作空间深度强化学习算法的比较研究。我们还提出了一个综合的多目标奖励函数，用于评估基于深度强化学习的自动驾驶代理。我们在一个只有视觉的高保真城市驾驶模拟环境中进行实验。结果表明，只有一些深度强化学习算法在各种仅多智能体环境设置中训练时，在单智能体和多智能体场景中表现得更好。例如，基于A3C和TD3的自动驾驶汽车在单智能体和多智能体场景中的更稳健的动作和最小的驾驶错误方面表现相对更好。我们的结论是，不同的深度强化学习算法在不同的场景下表现出不同的驱动和测试性能，这强调了对其进行系统比较分析的必要性。本文提出的基准框架有利于这种比较。
2023-03-23 cs.AI cs.LG cs.MA
Model Free Reinforcement Learning Algorithm for Stationary Mean field Equilibrium for Multiple Types of Agents
Imperial College of London（伦敦帝国学院）；Purdue University（普渡大学）
我们考虑一个多代理马尔可夫战略互动在无限的地平线上，代理可以是多种类型。当每种类型的代理人的数量变得无限大时，我们将战略互动建模为渐近极限的平均场博弈。每个代理都有一个私有状态;状态的演变取决于不同类型的代理的状态分布和代理的动作。每个代理都希望在无限范围内最大化奖励的折扣和，这取决于代理的状态以及领导者和追随者的状态分布。我们试图描述和计算一个固定的多类型的平均场均衡（MMFE）在上述游戏。我们的特点下，一个固定的MMFE存在的条件。最后，我们提出了基于强化学习（RL）的算法，使用策略梯度的方法来找到固定的MMFE时，代理不知道的动态。我们，数值上，评估这种互动如何可以模拟防御者和对手之间的网络攻击，并显示如何基于RL的算法可以收敛到一个平衡。
2020-12-31 cs.AI cs.GT cs.LG
Discrete-Time Mean-Variance Strategy Based on Reinforcement Learning
Shanghai University of Finance and Economics（上海财经大学）；The Hong Kong Polytechnic University（香港理工大学）；East China Normal University（华东师范大学）
本文提出基于强化学习的离散时间均值-方差模型，放宽资产收益分布假设，利用熵度量探索成本推导高斯型最优策略，并设计相应算法，实验证明其在实际数据中适用性优于连续时间模型。
2023-12-24 cs.LG q-fin.MF q-fin.PM
Symmetry Detection in Trajectory Data for More Meaningful Reinforcement Learning Representations
The Charles Stark Draper Laboratory, Inc.（查尔斯·斯塔克·德雷珀实验室公司）
强化学习（RL）系统的对称性知识可用于创建低级状态空间的压缩和语义上有意义的表示。我们提出了一种方法，自动检测RL对称性直接从原始轨迹数据，而不需要主动控制的系统。我们的方法生成候选对称，并训练一个递归神经网络（RNN）来区分每个候选对称的原始轨迹和变换轨迹。RNN对每个候选项的精确度揭示了系统在该变换下的对称程度。这些信息可用于创建对数据集级别上的所有对称性不变的高级表示，并将RL行为的属性传达给用户。我们在两个模拟RL用例（推进机器人和在风中飞行的无人机）的实验中表明，我们的方法可以确定环境物理和训练RL策略的对称性。
2022-11-29 cs.AI cs.LG cs.RO
Individual-Level Inverse Reinforcement Learning for Mean Field Games
The University of Auckland（奥克兰大学）；National University of Singapore（新加坡国立大学）
最近的平均场博弈（MFG）形式主义已经使逆强化学习（IRL）方法在大规模多智能体系统中的应用成为可能，其目标是推断奖励信号，可以解释大种群的表现行为。现有的MFG的IRL方法是建立在减少MFG的马尔可夫决策过程（MDP）定义的集体行为和平均回报的人口。然而，本文揭示了从MFG到MDP的减少仅适用于完全合作的设置。这种限制使现有的IRL方法在非合作环境下的MFG上失效。为了测量大规模人群中更一般的行为，我们研究了使用个人行为来推断MFG的地面真实奖励函数。我们提出了平均场IRL（MFIRL），第一个专用的IRL框架MFG，可以处理合作和非合作环境。基于这个理论上合理的框架，我们开发了一种适用于动态未知的MFG的实用算法。我们评估MFIRL合作和混合合作竞争的情况下，许多代理。结果表明，MFIRL优于奖励回收，样本效率和鲁棒性，在面对不断变化的动态。
2022-02-13 cs.GT cs.LG cs.MA
Concave Utility Reinforcement Learning: the Mean-Field Game Viewpoint
Google Research, Brain Team（谷歌研究院大脑团队）；DeepMind Paris（巴黎深度思维）；Univ. Lille, CNRS, Inria, Centrale Lille, UMR 9189 CRIStAL（里尔大学、法国国家科学研究中心、法国国家信息与自动化研究所、里尔中央理工学院、CRISTAL联合研究单位）
凹效用强化学习（CURL）将RL从代理策略诱导的占用度量中的线性效用扩展到凹效用。这不仅包括RL，还包括模仿学习和探索等。然而，这种更一般的范式使经典的贝尔曼方程失效，并要求新的算法。平均场博弈（Mean-field Games，MFG）是多主体RL的连续近似。他们认为，一个连续分布的相同的代理商，匿名的对称利益的极限情况下，并减少了问题的研究一个单一的代表性代理与整个人口的互动。我们的核心贡献在于表明，卷曲是一个子类的MFG。我们认为这对两个社区的沟通很重要。它还允许阐明这两个领域的方面：我们之间的等价性在CURL和单调性在相关的MFG，在CURL和纳什均衡在MFG之间的最优性条件，或Fictionary播放（FP）这一类的MFG是简单的弗兰克-沃尔夫，带来的第一个收敛速度离散时间FP的MFG。我们还通过实验证明，使用最近推出的解决MFG的算法，我们可以更有效地解决卷曲问题。
2022-02-16 cs.LG cs.MA
Online Estimation of Dynamic Origin-Destination Matrices Using Reinforcement Learning with Link-Flow Propagation Guidance
Seoul National University（首尔大学）
本研究提出LFPG-RL方法，将路段流量传播引导集成到近端策略优化中，在墨尔本干线网络测试中实现了更高效准确的在线动态OD矩阵估计。
2026-10-08 cs.AI cs.LG
Oracle-free Reinforcement Learning in Mean-Field Games along a Single Sample Path
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；J.P. Morgan AI Research（摩根大通人工智能研究院）
本文提出沙盒学习算法，在平均场博弈中仅利用单条样本路径近似平均场均衡，无需预言机，并给出有限样本收敛保证与Õ(ε⁻⁴)样本复杂度。
2023-04-11 cs.GT cs.LG cs.MA
Optimized Recommender Systems with Deep Reinforcement Learning
Universitat Oberta de Catalunya（加泰罗尼亚开放大学）
推荐系统一直是在线零售商的基石。传统上，它们基于规则、相关性分数、排名算法和监督学习算法，但现在可以使用强化学习算法来生成有意义的推荐。这项工作研究和开发的手段，以建立一个可重复的测试平台，并评估不同的国家的最先进的算法在一个现实的环境。它需要一个建议，文献综述，方法，结果和评论。
2021-10-06 cs.IR cs.LG
Local Reinforcement Learning with Action-Conditioned Root Mean Squared Q-Functions
Carnegie Mellon University（卡内基梅隆大学）；New York University（纽约大学）
本文提出基于动作的均方Q函数，通过时间差分学习实现局部强化学习，优于现有无反向传播方法，在MinAtar和DeepMind控制套件中表现优异。
2026-04-03 cs.AI cs.LG
Continuous-Time Mean-Variance Portfolio Selection: A Reinforcement Learning Framework
Columbia University（哥伦比亚大学）
本文利用强化学习方法研究了连续时间均值-方差投资组合问题。该问题是为了实现勘探和开采之间的最佳权衡，并制定为熵正则化，放松随机控制问题。我们证明了这个问题的最优反馈策略必须是高斯的，具有时间衰减方差。然后，我们建立熵正则MV和经典MV之间的连接，包括可解性等价性和收敛性的探索加权参数衰减到零。最后，我们证明了一个策略改进定理，在此基础上，我们设计了一个可实现的RL算法。我们发现，我们的算法优于基于自适应控制的方法和基于深度神经网络的算法在我们的模拟大幅度。
2019-05-05 cs.CE cs.LG math.OC
Large scale continuous-time mean-variance portfolio allocation via reinforcement learning
Columbia University（哥伦比亚大学）
提出了一种基于强化学习的大规模Markowitz均值-方差投资组合分配问题的求解方法。通过采用最近开发的连续时间探索控制框架，我们制定了探索MV问题的高维。我们进一步展示了一个多变量高斯反馈策略的最优性，随着时间的衰减方差，在权衡勘探和开发。基于一个可证明的政策改进定理，我们设计了一个可扩展的和数据高效的RL算法，并进行大规模的实证测试，使用的数据从标准普尔500指数的股票。我们发现，我们的方法持续实现超过10%的年化回报率，并且对于月度和每日交易的长期和中期投资而言，它的表现远远优于计量经济学方法和深度RL方法。
2019-08-02 cs.LG math.OC q-fin.PM
Population-aware Online Mirror Descent for Mean-Field Games by Deep Reinforcement Learning
UCLA（加州大学洛杉矶分校）；NYU Shanghai（纽约大学上海分校）；Cohere（Cohere公司）
针对平均场博弈中纳什均衡学习难的问题，提出一种结合Munchausen RL与在线镜像下降的深度强化学习算法，通过内环回放缓冲区缓解灾难性遗忘，在四个经典算例上收敛性优于现有最优算法。
2024-03-06 cs.GT cs.LG cs.MA
User Role Discovery and Optimization Method based on K-means + Reinforcement learning in Mobile Applications
Zhoukou Normal University（周口师范学院）
随着移动电话的广泛使用，用户可以随时随地分享他们的位置和活动，作为一种登记数据的形式。这些数据反映了用户特征。长期稳定，一组用户共享的功能可以抽象为用户角色。角色与用户的社会背景、职业、生活习惯密切相关。这项研究提供了四个主要贡献。首先，通过对签到数据的分析，从不同的角度为每个用户构建用户特征模型。其次，使用K均值算法从用户特征中发现用户角色。第三，提出了一种强化学习算法，加强了用户角色的聚类效果，提高了聚类结果的稳定性。最后通过实验验证了该方法的有效性，实验结果表明了该方法的有效性。
2021-07-02 cs.AI cs.CY cs.HC
Reinforcement Learning for Mean Field Games with Strategic Complementarities
Texas A&M University（德州农工大学）
平均场博弈（Mean Field Games，MFG）是一类具有大量代理人的博弈，标准的均衡概念是平均场均衡（Mean Field Equilibrium，MFE）。用于在动态MFG中学习MFE的算法通常是未知的。我们的重点是一个重要的子类，具有单调性属性称为战略互补性（MFG-SC）。我们引入了一个自然的细化平衡的概念，我们称之为颤抖的手完美的MFE（T-MFE），它允许代理人采用随机化的措施，同时考虑到这种随机化对他们的收益的影响。我们提出了一个简单的算法计算T-MFE下一个已知的模型。我们还介绍了一种无模型和基于模型的方法来学习T-MFE，并提供了这两种算法的样本复杂度。我们还开发了一个完全在线的学习计划，消除了对模拟器的需要。最后，我们实证评估所提出的算法的性能，通过实际应用的例子。
2021-02-01 cs.GT cs.LG cs.MA
Linear-Quadratic Mean-Field Reinforcement Learning: Convergence of Policy Gradient Methods
Program in Applied and Computational Mathematics, Princeton（普林斯顿大学应用与计算数学项目）；Shanghai Frontiers Science Center of Artificial Intelligence and Deep Learning（上海人工智能与深度学习前沿科学中心）；NYU-ECNU Institute of Mathematical Sciences at NYU Shanghai（纽约大学-华东师范大学纽约大学上海数学科学研究所）；NYU Shanghai（上海纽约大学）；Walmart Global Tech（沃尔玛全球科技）
研究大量可交换智能体在平均场交互下的强化学习问题，通过分析离散时间平均场控制问题，严格证明了线性二次设定下策略梯度方法的收敛性及速率界限，并给出图形验证。
2025-04-28 cs.LG math.OC
Mean-Field Sampling for Cooperative Multi-Agent Reinforcement Learning
Georgia Institute of Technology（佐治亚理工学院）；Stanford University（斯坦福大学）；Carnegie Mellon University（卡内基梅隆大学）
针对多智能体强化学习中联合状态动作空间指数级增长的问题，提出SUBSAMPLE-MFQ算法，通过子采样k个智能体在多项式时间内学习策略，并证明其收敛到最优策略的误差为O(1/√k)，且与总智能体数n无关。
2025-10-24 cs.AI cs.LG cs.MA
Did I do that? Blame as a means to identify controlled effects in reinforcement learning
Institute of Computer Science（计算机科学研究所）；University of Tartu（塔尔图大学）
识别环境的可控方面已被证明是强化学习代理的非凡内在动机。尽管多次取得了最先进的成果，但这种方法只是作为基于奖励的任务的代理进行研究，尚未对其进行单独评估。目前的方法是基于动作预测。另一方面，人类会将责任归咎于他们的行为，以决定他们控制了什么。这项工作提出了控制效应网络（CEN），一种基于反事实的责任措施，以确定对代理控制的环境的影响的无监督方法。CEN在广泛的环境中进行了评估，表明它可以准确地识别受控效应。此外，我们展示了CEN的能力，作为内在的激励因素，通过将其整合到最先进的探索方法中，实现了比动作预测模型更好的性能。
2022-02-17 cs.AI
Scalable Centralized Deep Multi-Agent Reinforcement Learning via Policy Gradients
GRASP Laboratory（GRASP实验室）；University of Pennsylvania（宾夕法尼亚大学）
在本文中，我们将探索使用深度强化学习来解决多智能体问题。大多数现有的深度多智能体强化学习方法只考虑少量的智能体。当代理数量增加时，输入和控制空间的维数也会增加，这些方法的扩展性不好。为了解决这个问题，我们建议铸造的多智能体强化学习问题作为一个分布式优化问题。我们的算法假设，对于多代理设置，在一个给定的人口中的各个代理的政策生活在参数空间中彼此接近，可以近似为一个单一的政策。有了这个简单的假设，我们证明了我们的算法是非常有效的强化学习在多智能体设置。我们证明了其有效性对现有的可比方法的合作和竞争的任务。
2018-05-22 cs.AI cs.LG cs.MA
Deep Reinforcement Learning for Infinite Horizon Mean Field Problems in Continuous Spaces
Prime Machine Learning Team, Amazon（亚马逊Prime机器学习团队）；University of California, Santa Barbara（加州大学圣巴巴拉分校）
提出一种统一的强化学习算法，结合actor-critic与参数化得分函数表示的平均场分布，利用Langevin动力学采样，在连续空间无限时间跨度下求解MFG、MFC及MFCG问题，并在线性二次基准下验证了性能。
2025-03-06 cs.LG math.OC
Reinforcement Learning for Finite Space Mean-Field Type Games
Shanghai Frontiers Science Center of Artificial Intelligence and Deep Learning（上海前沿科学中心人工智能与深度学习中心）；NYU Shanghai（纽约大学上海校区）；NYU Center for Data Science（纽约大学数据科学中心）；NYU-ECNU Institute of Mathematical Sciences（纽约大学-东华大学数学科学研究所）
针对有限空间平均场类型博弈缺乏可扩展计算方法的问题，提出基于量化与Nash Q-learning及深度强化学习的算法，并证明近似均衡与实验有效性。
2025-07-26 cs.GT cs.LG math.OC
Software Simulation and Visualization of Quantum Multi-Drone Reinforcement Learning
Korea University（高丽大学）；Ajou University（亚洲大学）
量子机器学习（QML）因其训练参数少、速度快而受到广泛关注，量子多智能体强化学习（QMARL）的研究也随之活跃起来。现有的经典多智能体强化学习（MARL）具有非平稳性和不确定性。因此，本文提出了一种新的QMARL控制自主多无人机的仿真软件框架，即，量子多无人机强化学习我们提出的框架完成了合理的回报收敛和服务质量性能与较少的可训练参数。此外，它显示出更稳定的训练结果。最后，我们提出的软件允许我们分析培训过程和结果。
2023-02-03 cs.AI cs.LG cs.MA
Learning Approximate Nash Equilibria in Cooperative Multi-Agent Reinforcement Learning via Mean-Field Subsampling
Georgia Institute of Technology（佐治亚理工学院）；Stanford University（斯坦福大学）
本文研究了在通信受限条件下，通过均值场采样方法学习合作多智能体强化学习中的近似纳什均衡，证明了该方法能收敛到近似纳什均衡，并在多机器人控制中进行了验证。
2026-05-11 cs.AI cs.LG cs.MA
Dealing with Non-Stationarity in Multi-Agent Deep Reinforcement Learning
The University of Edinburgh（爱丁堡大学）
深度强化学习的最新发展涉及创建可以在各种复杂领域中表现良好的决策代理。一种受到越来越多关注的特定方法是多智能体强化学习，其中多个智能体同时学习以协调它们的动作。在这样的多代理环境中，由于代理的决策政策不断变化，会出现额外的学习问题。本文综述了近年来解决多智能体深度强化学习中非平稳性问题的研究成果。调查的方法范围从训练过程中的修改，如集中式训练，学习对手的政策，元学习，通信和分散式学习的表示。调查最后列出了一系列悬而未决的问题和未来可能的研究方向。
2019-06-11 cs.AI cs.LG cs.MA
Efficient Model-Based Multi-Agent Mean-Field Reinforcement Learning
ETH Zürich（苏黎世联邦理工学院）；University College London（伦敦大学学院）
针对未知动力学的平均场控制问题，提出基于模型的强化学习算法M^3-UCRL，通过回合制平衡探索与利用，首次给出通用遗憾界，并支持神经网络等模型实例化。
2023-05-09 cs.LG cs.MA stat.ML
