MFG model with a long-lived penalty at random jump times: application to demand side management for electricity contracts
我们考虑一个能量系统与$n$消费者谁是联系在一起的需求侧管理(DSM)合同,即他们同意减少,在随机时间,他们的总功耗在预定义的持续时间内的预定义量。他们未能提供服务将通过$n$功耗总和与合同目标之间的差异进行惩罚。我们导致分析一个非零和随机对策与$n$球员,其中的相互作用发生通过成本,其中涉及的延迟引起的持续时间包括在DSM合同。当$n \to \infty$,我们得到了一个平均场游戏(MFG)与随机跳跃时间惩罚和互动的控制。我们证明了随机最大值原理在这种情况下,它允许比较的MFG解决方案的最优策略的中央计划。在线性二次型条件下,通过一个带跳的解耦正倒向随机微分方程系统,得到了一个带跳的Riccati倒向随机微分方程的半显式解.我们发现,它提供了一个近似的纳什均衡为原来的$n$玩家游戏的$n$大。最后,我们提出了一个数值算法来计算MFG平衡,并提出了几个数值实验。
2021-01-15 math.OC
Convergence of one-dimensional stationary mean field games with vanishing potential
考虑一维稳态的一阶平均场博弈系统,该系统的哈密顿-雅可比方程与输运方程相互耦合。在耦合随粒子数密度严格增加和减少的两种情况下,我们证明了当势为零时,MFG系统的正则解收敛于相应的可积MFG系统的正则解.进一步,我们得到了这种极限的收敛速度.
2018-05-28 math.AP math.DS math.OC
Convergence of Potential Mean-Field Games via Lyapunov Methods
Princeton University(普林斯顿大学)
本文研究了无折扣无限时间潜在均场博弈的收敛性,通过Lyapunov函数证明了时间趋于无穷时弱极限点为 stationary equilibria,且在 stationary 解唯一时均衡收敛,并给出了新的唯一性准则。
2026-04-19 math.AP math.OC
Global Convergence of Policy Gradient for Linear-Quadratic Mean-Field Control/Game in Continuous Time
强化学习是一种强大的工具,可以通过与环境的交互来学习可能多个代理的最优策略。当代理的数量增长到非常大时,系统可以近似为平均场问题。因此,它激发了新的研究方向的平均场控制(MFC)和平均场游戏(MFG)。本文研究了线性二次平均场控制与对策的策略梯度法,其中假设每个代理具有相同的线性状态转移和二次费用函数。虽然大多数最近的工作的政策梯度MFC和MFG是基于离散时间模型,我们专注于连续时间模型的一些分析技术可以是有趣的读者。对于MFC和MFG,我们提供了策略梯度更新,并表明它以线性速度收敛到最优解,这是通过合成模拟验证。对于MFG,我们也提供了纳什均衡存在唯一的充分条件。
2020-08-16 math.OC stat.ML
A Globally Convergent Flow for Time-Dependent Mean Field Games and a Solver-Agnostic Framework for Inverse Problems
City University of Hong Kong(香港城市大学);California Institute of Technology(加州理工学院);National University of Singapore(新加坡国立大学)
提出Hessian-Riemannian流用于时间依赖平均场博弈的全局收敛求解,并构建求解器无关的逆问题框架,通过双层优化和伴随梯度实现参数估计。
2026-06-19 math.OC
Long-time behaviour of deterministic Mean Field Games with non-monotone interactions
研究非单调相互作用的确定性平均场博弈,证明静态均衡存在并构建遍历系统解,进而证明有限时域解在时域趋于无穷时收敛至遍历解,推广弱KAM理论。
2024-03-15 math.AP math.OC
Convergence of Multi-Scale Reinforcement Q-Learning Algorithms for Mean Field Game and Control Problems
本文证明了统一双时间尺度强化Q学习算法在平均场博弈与控制问题中的收敛性,并针对MFG和MFC分别提出算法,推广了Borkar双时间尺度方法,通过数值实验验证了收敛性。
2024-05-01 math.OC
A singular perturbation problem for mean field games of acceleration: application to mean field games of control
本文研究带加速度控制的平均场博弈奇异摄动问题,分析了加速度成本趋于零时解的收敛性,并证明极限系统向经典MFG及控制型MFG问题收敛。
2023-04-03 math.AP math.OC
Ergodic behavior of control and mean field games problems depending on acceleration
研究了加速度控制下一阶平均场对策系统解的长时间行为。主要的问题是缺乏小的时间可控性的问题,这将阻止定义相关的遍历平均场博弈问题的标准方式。为了克服这个问题,我们首先研究了长时间平均的最优控制问题的加速度控制:我们证明了时间平均值函数收敛到一个遍历常数,并表示这个遍历常数作为一个最小的拉格朗日在一个合适的类封闭的概率测度。这个特征使我们定义遍历MFG问题作为一个不动点问题的一组封闭的概率测度。然后,我们还表明,这个MFG遍历问题至少有一个解决方案,相关的遍历常数是唯一的标准的单调性假设下,时间依赖的MFG问题的值函数的时间平均值与加速度控制收敛到这个遍历常数。
2020-07-06 math.OC
Discrete potential mean field games: duality and numerical resolution
提出并研究了一类具有势结构的离散时间有限状态空间平均场对策问题。我们的模型通过一个拥塞项和一个价格变量结合了相互作用。它还允许对代理的分布进行硬约束。我们分析了MFG问题和两个最优控制最优控制问题之间的对偶关系。我们提出了两个家庭的数值方法,并详细介绍了他们的实施:(一)原始-对偶邻近方法(及其扩展与非线性邻近算子),(二)的交替方向法的乘法器(ADMM)和一个变种称为ADM-G。我们给出了一些收敛结果。数值结果提供了两个例子与硬约束。
2023-03-04 math.OC
Regularization of Stationary Second-order Mean Field Game Partial Differential Inclusions
本文研究不可微哈密顿量的二阶平均场博弈偏微分包含,通过正则化PDE逼近并证明解在子序列意义下收敛,给出收敛速率及精确性示例。
2025-02-17 math.AP math.OC
On Time-Inconsistency in Mean Field Games
针对离散时间无限时域时间不一致平均场博弈的经典均衡仅具预承诺意义下近似最优性的局限,提出新的一致性均衡概念,证明其可作为N智能体博弈的近似一致性均衡,并分析了N趋于无穷时的收敛性。
2024-09-12 cs.GT math.OC math.PR
On the Convergence of Model Free Learning in Mean Field Games
Université Paris-Est(巴黎东部大学);Deepmind(深度思维);Princeton University(普林斯顿大学);Google Research(谷歌研究院)
多智能体系统(MAS)中的经验学习是一个困难而令人兴奋的任务,由于缺乏平稳的环境,其动态演变的人口学习。为了设计可扩展算法的系统与大量的相互作用的代理(例如群集),本文重点是平均场MAS,其中代理的数量是渐近无穷大的。近年来,一个非常活跃的新兴领域研究了不同的强化学习算法的影响,没有先验信息的代理商在一个平稳的平均场游戏(MFG)和学习他们的政策,通过重复的经验。我们采用了高的角度来看这个问题,并在充分的一般性分析的收敛性的一个虚构的迭代计划,在每一步使用任何单一的代理学习算法。我们量化计算的近似纳什均衡的质量,在每个学习迭代步骤中产生的累积误差。值得注意的是,我们第一次展示了无模型学习算法对非平稳MFG平衡的收敛性,仅依赖于MFG动态的经典假设。我们说明了我们的理论结果与数值实验在连续的动作空间环境中,近似的最佳响应的迭代虚拟播放计划计算与深RL算法。
2020-02-21 cs.LG math.OC stat.ML
Long time behavior of the master equation in mean-field game theory
平均场博弈(MFG)系统描述了具有无穷多个相互作用控制器的博弈中的均衡配置。我们感兴趣的是当视界变大时,或者当折扣因子趋于$0$时,系统的行为。我们证明了在这两种情况下,平均场博弈系统的渐近行为分别与主方程的长时间行为和贴现主方程的贴现极限的消失密切相关.这两个方程都是测度空间中的非线性输运方程。我们证明了一个遍历主方程的解的存在性,其中时间依赖的主方程收敛的地平线变得很大,并朝着折扣主方程收敛的折扣因子趋于$0$。整个分析的基础上获得新的估计的指数收敛速度的时间依赖的MFG系统和折扣MFG系统。
2017-09-13 math.AP math.OC
Entropy Regularization for Mean Field Games with Learning
University of California, Berkeley(加州大学伯克利分校);Amazon Research(亚马逊研究院);University of Southern California(南加州大学);University of Oxford(牛津大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校);Oxford-Man Institute, University of Oxford(牛津大学牛津曼研究所)
熵正则化被广泛用于提高强化学习算法的效率、稳定性和收敛性。本文定量和定性地分析了熵正则化对有限时间内带学习的平均场博弈(MFG)的影响。我们的研究提供了一个理论依据,熵正则化产生时间依赖的政策,而且,有助于稳定和加速收敛到博弈均衡。此外,这项研究导致了一个政策梯度算法的探索MFG。在该算法下,智能体能够学习最优的探索调度,并稳定快速地收敛到博弈均衡。
2021-12-08 cs.LG math.OC stat.ML
A Policy Iteration Method for Inverse Mean Field Games
Columbia University(哥伦比亚大学);University of Pennsylvania(宾夕法尼亚大学)
本文提出了一种策略迭代方法,用于高效求解均场博弈的反问题,通过价值函数数据重建障碍函数,并证明了其线性收敛性。
2026-02-11 cs.GT cs.NA math.AP
Mean-field games for harvesting problems: Uniqueness, long-time behaviour and weak KAM theory
本文研究资源收获场景下的平均场博弈系统,利用反应扩散方程建模并分析其解析性质、唯一性、长时间收敛行为及遍历系统的显式解。
2024-06-10 math.AP math.OC
Maximum Causal Entropy IRL in Mean-Field Games and GNEP Framework for Forward RL
本文将最大因果熵逆强化学习引入有限状态离散时间稳态平均场博弈,通过占有测度凸重构和梯度下降算法高效求解,并提出广义纳什均衡问题框架以推进前向强化学习中平均场均衡的计算。
2025-07-19 cs.LG cs.SY eess.SY
Why does the two-timescale Q-learning converge to different mean field solutions? A unified convergence analysis
本文为统一双时间尺度Q学习算法在固定学习率下收敛到不同平均场解的现象提供统一理论解释,通过构造Lyapunov函数实现全学习率范围的统一收敛分析。
2024-05-28 math.OC
Self-fictitious-play for Potential Monotone Ergodic Mean-field Games
LaMME, Université Evry Paris-Saclay(拉梅,埃夫里-萨克雷大学);NYU Shanghai(纽约大学上海分校);Laboratoire J.A.Dieudonné, Université Côte d’Azur(J.A.迪厄多内实验室,蔚蓝海岸大学)
针对环面上的遍历单调势平均场博弈,提出自虚构博弈动力学,证明其压缩性与唯一不变律,该不变律接近纳什均衡,误差为信念更新率平方根,线性二次示例与数值实验验证结果。
2026-08-18 math.OC math.PR
Monotone Inclusion Approach to Weakly Monotone Discrete-Time Finite-Horizon Mean-Field Games
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Bilkent University(比尔肯特大学)
该研究针对离散时间有限时域单调平均场博弈的均衡计算问题,将其转化为占用测度空间的优化及约束Lipschitz单调包含问题,提出无正则化的锚定近端梯度下降算法,实现O(1/√T)收敛速率且不依赖均衡唯一性。
2026-08-18 math.OC
The long time behavior and the rate of convergence of symplectic convex algorithms obtained via splitting discretizations of inertial damping systems
在本文中,我们提出了新的数值算法在设置无约束最优化问题,我们研究的收敛速率在迭代的目标函数。此外,我们的算法是基于分裂和辛方法,它们保持了固有的连续动力系统,其中包含一个Hessian扰动的能量属性。同时,我们证明了Nesterov梯度法等价于应用于Hessian驱动阻尼系统的Lie-Trotter分裂。最后,为了验证理论结果,给出了一些数值实验。
2020-02-09 math.OC
Accelerated Objective Gap and Gradient Norm Convergence for Gradient Descent via Long Steps
本研究针对L-光滑凸优化问题,提出两种略异于silver步长的长步长梯度下降策略,分别实现目标间隙与平方梯度范数的$O(N^{-1.2716\dots})$收敛,改进了现有结果。
2024-04-12 math.OC
Long Time Behavior and Stabilization for Displacement Monotone Mean Field Games
University of Durham(杜伦大学)
本文在位移单调性框架下研究平均场博弈纳什均衡的长时间行为,证明有限时域均衡随 T 趋于无穷而指数收敛稳定,并用含遍历常数的无限时域系统刻画值函数极限。
2026-10-26 math.AP math.OC
Hyperbolicity and exponential long-time convergence for space-time periodic Hamilton-Jacobi equations
本文证明了环面上时间周期Hamilton-Jacobi方程解的指数收敛到时间周期状态,假设Aubry集是Euler Lagrange流的有限个双曲周期轨道的并集.极限解的周期是Aubry集合中轨道周期的最小公倍数。这推广了我们在自治情形下得到的一个结果。
2012-06-11 math.DS math.OC
Self-interacting CBO: Existence, uniqueness, and long-time convergence
本文提出一种模仿标准CBO模型的自相互作用单粒子动力学,证明其收敛于逼近给定函数全局最小值的唯一不变测度,并建立了其与带Personal Best的CBO的联系。
2024-11-15 math.OC math.PR