Equilibrium convergence in large games
针对大型博弈,本文证明随机策略Nash均衡对应的一般闭图性质,将有限参与者博弈均衡序列的极限与大型博弈均衡联系起来,并应用于均衡选择。
2024-10-29 math.OC
Nonconvex optimization and convergence of stochastic gradient descent, and solution of asynchronous game
本文回顾了凸与非凸优化中随机梯度下降的收敛性与行为,建立了梯度方差收敛至零的条件,并通过示例展示了迭代下概率密度的近似演化及其在经典双人及异步多人博弈中的应用。
2025-03-05 math.OC
Finite mean field games: fictitious play and convergence to a first order continuous mean field game
在这篇文章中,我们考虑有限平均场游戏(MFG),即有限时间和有限状态。我们采用Gomes Mohr和Souza在2010年提出的框架,研究了两个尚未探索的主题。在第一个,我们分析了虚拟游戏学习过程的收敛性,连续MFG的结果的启发。第二章讨论了有限MFG与连续一阶MFG的关系。即,给定一个连续的一阶MFG问题和一列精化的时空网格,构造一列有限的MFG,其解存在极限点,且每一个这样的极限点解连续的一阶MFG问题.
2018-05-15 math.OC
Last-iterate convergence of modified predictive method via high-resolution differential equation on bilinear game
本文研究双线性博弈中修正预测方法(MPM)对应的高分辨率微分方程(MPM-HRDE)的收敛性,给出了解的唯一性和收敛结果,填补了文献空白并扩展了相关工作。
2024-05-23 math.OC
Discrete Mean Field Games: Existence of Equilibria and Convergence
我们考虑离散状态空间的平均场博弈(以下称为离散平均场博弈),并在连续时间和离散时间、有限时间和无限时间范围内分析这些博弈。我们证明了存在的平均场均衡假设连续的成本和漂移。这些条件比现有的研究有限状态空间平均场对策的文献更一般。此外,我们还研究了N人对策的均衡在四种情形下向平均场均衡的收敛性。一方面,我们定义了一类策略,其中当局中人的数目趋于无穷大时,有限对策的任何均衡序列都弱收敛到平均场均衡。另一方面,我们展示了这类以外的均衡,不收敛到平均场均衡和游戏的价值不收敛。在离散时间中,这种不收敛现象意味着Folk定理不能扩展到平均场极限。
2019-09-03 math.OC
Convergence Rate of Generalized Nash Equilibrium Learning in Strongly Monotone Games with Linear Constraints
本文研究线性联合凸约束和强单调伪梯度博弈中的广义纳什均衡学习,提出基于部分正则化的收敛算法,并首次给出单点和两点收益反馈下迭代收敛到变分GNE的速率。
2025-07-16 math.OC
Continuity Properties of Value Functions in Information Structures for Zero-Sum and General Games and Stochastic Teams
我们研究了随机对策问题关于信息结构上各种拓扑的连续性,定义为表征博弈的概率测度。我们将在信息结构的全变差、集态和弱收敛下建立值函数的连续性。我们的分析表明,在零和对策和团队问题中,在信息结构的全变差收敛下,有界对策的价值函数是连续的。连续性在信息结构的弱收敛或集态收敛下可能不成立,然而,对于团队问题,在信息结构的弱收敛和集态收敛下,价值函数具有上半连续性,而对于零和对策,当这种收敛是通过Blackwell-garbled信息结构序列时,价值函数具有上半连续性或下半连续性.如果各个通道是独立的、固定的,并且满足全变差连续性条件,则在先验的弱收敛下,值函数是连续的。最后,我们证明了在一般的非零和对策中,即使在信息结构的全变差收敛下,局中人的价值函数也可能不连续。
2022-11-01 math.OC
Geometric Convergence of Distributed Gradient Play in Games with Unconstrained Action Sets
本文提出了一种分布式算法来学习一类具有强单调映射和无约束行动集的非合作对策的纳什均衡。每个参与者都可以访问自己的平滑局部费用函数,并且可以与无向图中的邻居进行通信。我们考虑一个分布式通信为基础的梯度算法。对于这个过程中,我们证明几何收敛到纳什均衡。与我们以前的工作[15],[16]相比,其中所提出的算法需要设置两个参数并且分析基于所谓的增强博弈映射,这项工作中的过程对应于标准的分布式梯度游戏,因此,仅需要适当选择一个恒定的步长参数以保证快速收敛到博弈解。此外,我们提供了一个严格的比较之间的收敛速度的分布式梯度播放和速度的GRANE算法在[15]。它使我们能够证明分布式梯度播放在收敛速度方面优于GRANE。
2019-07-15 math.OC
On the Convergence Rates of A Nash Equilibrium Seeking Algorithm in Potential Games with Information Delays
本文研究了一个建议的算法的平衡收敛性的潜在的游戏与连续的策略空间中存在的反馈延迟,在多智能体系统,妥协的各种优化方案的性能的主要挑战。该算法是建立在加速梯度下降法的改进版本。我们将其扩展到一个分散的多智能体的情况下,并配备了延迟反馈利用计划。通过适当地调整步长和研究延迟函数和步长之间的相互作用,我们推导出所提出的算法的收敛速度的最优值的势函数时,反馈延迟的增长时间是次线性,线性和超线性上界。最后,路由游戏的模拟进行实证验证我们的研究结果。
2023-03-17 math.OC
On the convergence problem in Mean Field Games: a two state model without uniqueness
我们考虑有限水平上连续时间的N-局中人和平均场对策,其中每个代理人的位置属于{-1,1}。如果平均场博弈解存在唯一性,例如在单调性假设下,则主方程具有光滑解,该光滑解可用于证明N人博弈的值函数和反馈纳什均衡的收敛性,以及相关最优轨迹的混沌性质的传播。我们在这里研究了一个反单调成本的例子,并表明平均场博弈正好有三个解。我们证明了值函数收敛到主方程的熵解,在这种情况下,主方程可以写成一维空间中的标量守恒律,并且最优轨迹允许一个极限:它们选择一个平均场博弈解,因此存在混沌传播。此外,将平均场博弈系统看作确定性控制问题最优性的必要条件,证明了N人博弈选择了该问题的最优解.
2019-02-05 math.OC
On convergence rates of game theoretic reinforcement learning algorithms
本文研究了一类多人离散对策,其中每个人的目标是最大化自己的效用函数。每个局中人不知道其他局中人的动作集、他们部署的动作或自己或其他人的效用函数的结构。相反,每个参与者只知道自己部署的行动和最近历史中收到的效用值。我们提出了一种强化学习算法,该算法收敛到具有概率为1的最大随机势的动作轮廓集。此外,对算法的收敛速度进行了量化。该算法的性能进行了验证,在智能电网和网络安全的两个案例研究。
2017-12-02 math.OC
Convergence Analysis and Acceleration of Fictitious Play for General Mean-Field Games via the Best Response
本文研究一般平均场博弈中虚拟博弈算法的收敛性,通过分析最佳响应映射首次给出显式收敛速率,并提出基于回溯线搜索和分层网格的两种加速策略。
2025-07-11 math.OC
Learning Generalized Nash Equilibria in a Class of Convex Games
我们考虑多代理决策,每个代理优化其凸费用函数受到个人和耦合约束。约束集是欧几里得空间的紧凸子集。为了学习纳什均衡,我们提出了一种新型的基于分布式支付的算法,使得每个代理仅使用有关其费用函数值和约束函数值及其相关对偶乘数的信息。我们证明了该算法收敛到纳什均衡,假设游戏承认一个严格凸的势函数。在没有耦合约束的情况下,我们证明收敛到纳什均衡明显较弱的假设下,不需要一个势函数。也就是说,严格单调的游戏映射是足够的收敛。对于强单调对策映射,我们还得到了算法的收敛速度。
2018-10-15 math.OC
On the convergence of fictitious play algorithm in repeated games via the geometrical approach
本文利用几何方法识别出一类新的具有虚拟博弈收敛性(FPP)的3×3博弈,通过设计投影映射将高维系统约化为平面系统,并重新定义鞍点和汇点纳什均衡以证明连续时间虚拟博弈的收敛性。
2024-12-30 math.OC
Convergence Rate of Learning a Strongly Variationally Stable Equilibrium
本文研究凸博弈中零阶学习算法收敛到强变分稳定 Nash 均衡的速率,并在不假设强单调性的情况下,使单点与两点反馈速率均达到强单调博弈的已知最佳结果。
2024-03-11 math.OC
Linear Programming Fictitious Play algorithm for Mean Field Games with optimal stopping and absorption
我们开发的虚拟播放算法的上下文中的线性规划方法的平均场游戏的最佳停止和平均场游戏的定期控制和吸收。该算法允许近似的平均场游戏人口动态,而无需计算值函数,通过解决线性规划问题的分布仍然在游戏中的球员和他们的停时/控制。我们使用的拓扑结构的依测度收敛的措施,这是需要处理缺乏连续性的措施流的次概率措施的空间中的算法的收敛性。数值例子说明了算法的收敛性。
2023-01-23 math.OC
On the asymptotic nature of first order mean field games
对于一类有限时间一阶平均场对策及相应的N人对策,给出了分布开环策略下对称N人Nash均衡收敛于拉格朗日形式平均场对策解的简单证明.然后,拉格朗日解与通常的两个耦合的一阶偏微分方程的平均场博弈系统所确定的那些连接,并建立了分布式马尔可夫策略的纳什均衡的收敛性。
2019-03-08 math.OC
Optimistic Gradient Descent Ascent in Zero-Sum and General-Sum Bilinear Games
研究了无约束双线性对策中乐观梯度下降上升算法的收敛性。在第一部分中,我们考虑零和情况,并扩展了Daskalakis等人在2018年,Liang和Stokes在2019年以及其他人的先前结果:我们证明了对于任何支付矩阵,OGDA指数收敛到鞍点,并为收敛提供了一个新的,最佳的几何比。我们还描述了诱导收敛的步长,并能够推导出收敛速度的最佳步长。在第二部分中,我们介绍了OGDA的一般和双线性游戏:我们表明,在一类有趣的游戏中,要么OGDA指数快速收敛到纳什均衡,或两个球员的收益指数快速收敛到$+\infty$(这可能被解释为内源性出现的协调,或合作,球员之间)。我们也给出了OGDA收敛到纳什均衡的充分条件。这些条件是用来增加一个最小最大的问题,涉及矩阵$A$的收敛速度,通过引入一般和游戏使用的摩尔彭罗斯逆矩阵的$A$。据我们所知,这是第一次表明,一般和游戏可以用来优化最小-最大问题设计的算法。最后,我们用生成对抗网络的简单例子来说明我们的结果。
2022-11-23 math.OC
Convergence Rate of Payoff-based Generalized Nash Equilibrium Learning
针对具有强单调伪梯度和联合线性耦合约束的博弈,本文确立了基于收益信息学习变分广义纳什均衡的收敛速率,证明其收敛速率为 $O(\ rac{1}{t^{4/7}})$,解决了该信息设置下的开放问题。
2024-11-13 math.OC
Convergence of large population games to mean field games with interaction through the controls
这项工作认为随机微分对策与大量的球员,其成本和动态相互作用,通过经验分布的状态和控制。我们开发了一个新的框架来证明有限人博弈收敛到渐近平均场博弈。我们的方法是基于向前和向后弱相互作用粒子的混沌传播的概念,我们调查的随机分析方法,这似乎是独立的利益。这些传播的混沌参数允许派生的时刻和浓度范围的收敛纳什均衡。
2022-03-22 math.OC math.PR
Rates of convergence for the policy iteration method for Mean Field Games systems
离散和连续最优控制问题的策略迭代法的收敛性在一般假设下成立。此外,在某些情况下,还可以显示算法的二次收敛速率。对于平均场对策,最近在[9]中证明了策略迭代法的收敛性。在这里,我们提供了它的收敛速率的估计。
2022-03-01 math.AP math.OC
On the Exponential Rate of Convergence of Fictitious Play in Potential Games
本文研究了连续时间下的虚拟游戏学习动力学。结果表明,在几乎每一个潜在的游戏,几乎每一个初始条件,FP的收敛速度是指数。特别是,本文重点研究的行为FP在潜在的游戏,其中所有的均衡的游戏是经常的,介绍了海萨尼。这种博弈被称为常规势博弈。最近它已被证明,几乎所有的潜在游戏(在勒贝格措施的意义上)是定期的。在本文中,它表明,在任何经常潜在的游戏(因此,在几乎每一个潜在的游戏),FP收敛到纳什均衡的集合在一个指数的速度从几乎每一个初始条件。
2017-07-25 cs.GT math.OC
Rate of convergence for first-order singular perturbation problems: Hamilton-Jacobi-Isaacs equations and mean field games of acceleration
本文研究一阶Hamilton-Jacobi方程奇异摄动问题的收敛速率,并将结果应用于两人零和确定性微分博弈与加速度平均场博弈,证明两类模型的收敛速率均为$\varepsilon$。
2024-09-09 math.AP math.OC
The convergence rate of the equilibrium measure for the hybrid LQG Mean Field Game
本文研究带马尔可夫链共同噪声的N玩家LQG博弈向平均场博弈的收敛速度,通过辅助过程构建马尔可夫结构与不动点条件刻画平衡测度,经显式耦合得到2-Wasserstein距离下O(N^{-1/2})的收敛速度。
2023-08-28 math.OC math.PR
On the quadratic convergence of Newton's method for Mean Field Games with non-separable Hamiltonian
本文证明牛顿法在具有不可分离哈密顿量的演化平均场博弈系统中具有二次收敛性,并推广至可分离哈密顿量的非局部耦合情形。
2024-03-18 math.AP math.OC
Zero-sum mean-field Dynkin games: characterization and convergence
我们引入了一个平均场型的零和对策问题,作为经典零和Dynkin对策问题的推广,使其收益过程可能依赖于对策的值及其概率律.我们建立了这样一个对策允许一个值和一个鞍点的充分条件。此外,我们提供了一个表征的游戏中的一个特定类别的双重反射向后随机微分方程(BSDES)的平均场型,我们得出的存在性和唯一性的结果。然后,我们引入了相应的弱相互作用零和Dynkin对策系统,并证明了它的适定性。最后给出了零和平均场Dynkin对策的混沌传播结果。
2022-05-04 math.OC math.PR
Quantitative convergence for displacement monotone mean field games with controlled volatility
研究具有共同噪声和受控波动率的平均场博弈收敛问题,通过最大值原理将其转化为前向-后向混沌传播问题,并利用位移单调性首次为共同噪声受控博弈提供了开环Nash均衡的定量收敛证明。
2023-10-18 math.OC math.PR
Closed-loop convergence for mean field games with common noise
研究了具有共同噪声的平均场对策的收敛问题。我们定义了一个合适的弱平均场均衡的概念,我们证明捕获所有的连续极限点,作为$n\to\infty$,闭环近似均衡从相应的$n$玩家游戏。这扩展到了第一作者最近的一个结果,同时也简化了证明中的一个关键步骤,并允许无界系数和非独立同分布。初始条件。相反,我们表明,每一个弱平均场平衡出现的极限的一些序列的近似平衡的$n$球员的游戏,只要后者制定了更广泛的一类闭环策略,这可能取决于一个额外的共同信号。
2022-08-19 math.OC math.PR
On the Global Convergence Rates of Decentralized Softmax Gradient Play in Markov Potential Games
Softmax策略梯度是单智能体强化学习中策略优化的一种流行算法,特别是因为每次梯度更新都不需要投影。然而,在多智能体系统中,缺乏中央协调引入了显着的额外困难的收敛分析。即使对于具有相同兴趣的随机对策,也可以存在多个纳什均衡(NE),这使得依赖于存在唯一全局最优值的证明技术失效。此外,softmax参数化引入了具有零梯度的非NE策略,使得基于梯度的算法难以寻找NE。在本文中,我们研究了分散softmax梯度对策的有限时间收敛的一种特殊形式的游戏,马尔可夫势游戏(MPGs),其中包括作为特殊情况的相同的利益游戏。我们研究了梯度播放和自然梯度播放,有和没有$\log$障碍正则化。非正则化情况下建立的收敛速度包含一个依赖于概率的常数,可以任意大,而$\log$ -障碍正则化克服了这个缺点,与其他因素,如动作集大小的依赖性稍差的成本。对一个利益一致的矩阵对策的实证研究证实了这一理论发现。
2022-10-29 cs.MA math.OC
On the Rate of Convergence of Payoff-based Algorithms to Nash Equilibrium in Strongly Monotone Games
我们推导出了\cite{tat_kam_TAC}中提出的基于回报的算法向纳什均衡的收敛速率。这些速率是在游戏的凸性、强单调性和伪梯度的可微性的标准假设下实现的。特别地,我们证明了该算法在伪梯度的Lipschitz连续性的附加要求下,在两点函数求值设置中实现了$O(\frac{1}{T})$,在一点函数求值设置中实现了$O(\frac{1}{\sqrt{T}})$。据我们所知,这些速率是相应问题类的最佳已知速率。
2022-02-22 cs.MA math.OC
Quantitative convergence rates for extended mean field games with volatility control
University of Michigan(密歇根大学)
本文研究了扩展均场博弈中波动控制的定量收敛速率,通过随机最大原理和传播混沌理论,推导了N-player随机微分博弈向均场均衡的收敛速率,并分析了线性二次设置的应用。
2026-02-18 math.OC math.PR
On the Global Convergence of Stochastic Fictitious Play in Stochastic Games with Turn-based Controllers
本文针对带回合式控制器的随机博弈,结合经典随机虚拟博弈与值迭代提出具备几乎必然收敛性的学习动力学,揭示了有限 horizon 长度递增与回合式控制器保证辅助博弈策略等价性的关键作用。
2023-10-10 cs.GT math.OC
Convergence for linear quadratic potential mean field games
University of Padova(帕多瓦大学);University of Rome Tor Vergata(罗马托尔维加塔大学)
本文研究了线性二次势均场博弈中玩家数量趋于无穷大时经验均值的收敛性,通过弱紧性论证排除部分均衡,并展示了多维收敛结果及共同噪声下的收敛性。
2026-02-16 math.OC math.PR
Convergence Analysis and Strategy Control of Evolutionary Games with Imitation Rule on Toroidal Grid: A Full Version
本文首次严格证明了环面网格上带随机模仿规则的演化博弈收敛性,并解决了最小智能体一致性控制问题,揭示了固定背叛与合作节点数量对系统收敛状态的影响。
2023-06-29 math.DS math.OC
On the convergence of closed-loop Nash equilibria to the mean field game limit
本文继续研究了平均场对策(MFG)的收敛问题:$n$ -局中人随机微分对策的纳什均衡在什么意义下收敛于平均场对策为$n\rightarrow\infty$?以前关于这个问题的工作有两种形式。首先,当$n$ -玩家均衡是开环的,紧性参数允许表征的所有极限点的$n$ -玩家均衡弱MFG均衡,其中包含额外的随机性相比,标准的(强)均衡的概念。另一方面,当$n$ -玩家平衡是闭环的时,只有当MFG平衡是唯一的并且相关的“主方程”是可解的并且足够光滑时,才知道收敛到MFG平衡。本文采用的紧凑性参数的闭环情况下,证明了收敛定理,即使当MFG平衡是非唯一的。证明了$n$ -局中人均衡的每一个极限点都是与开环情形相同的弱MFG均衡。对于逆问题,讨论了哪一个弱MFG平衡点可以作为$n$ -玩家(近似)平衡点的极限.
2018-08-08 math.OC math.PR
Implicit Midpoint Gradient Descent: Fast and Learning rate free convergence for Zero-Sum Games
Rensselaer Polytechnic Institute(伦斯勒理工学院)
研究无约束双线性零和博弈,引入由辛积分方法推导的隐式中点梯度下降规则,该方法继承连续时间动力学的强大特性,在零和博弈中同时具备有界轨道等特性,且计算实验显示其显著优于标准方法。
2026-07-14 cs.GT math.OC
Finite-Time Last-Iterate Convergence for Multi-Agent Learning in Games
在本文中,我们认为多智能体学习通过在线梯度下降一类游戏称为$λ$ -cocoercive游戏,一个相当广泛的游戏,承认许多纳什均衡,并适当地包括无约束强单调游戏。我们刻画了$λ$ -余度博弈上联合OGD学习的有限时间最后收敛速度;在此基础上,我们提出了一种完全自适应的OGD学习算法,该算法不需要任何问题参数的知识(例如协迫常数$λ$),并通过新的双停时技术显示,该自适应算法与非自适应算法具有相同的有限时间收敛速度收敛速度。随后,我们将OGD学习扩展到噪声梯度反馈的情况下,并建立最后的收敛结果-第一定性的几乎必然收敛,然后定量的有限时间收敛速度-所有在非递减步长。据我们所知,我们提供了第一组结果,填补了现有的多智能体在线学习文献中的几个空白,其中三个方面-有限时间收敛速度,非递减步长和完全自适应算法之前一直未被探索。
2021-07-17 cs.GT math.OC stat.ML
Routing Game on Parallel Networks: the Convergence of Atomic to Nonatomic
我们考虑一个非原子路由博弈的实例。我们假设网络是平行的,也就是说,只由两个节点组成,一个起点和一个终点。我们考虑无限小的球员,有一个对称的网络成本,但通过他们的一套可行的策略和他们的个人效用是异构的。我们表明,如果一个原子路由游戏实例被正确地定义为近似的非原子实例,那么原子纳什均衡将近似的非原子Wardrop均衡。根据原子实例的参数,我们给出了平衡点之间距离的明确界。这种近似给出了一种以任意精度计算Wardrop平衡的方法。
2018-04-09 cs.GT math.OC
Convergence to the Mean Field Game Limit: A Case Study
研究了最优停止博弈中纳什均衡的收敛性。如果相关联的平均场博弈有唯一的均衡,则任何$n$ -局中人均衡序列都收敛于它作为$n\to\infty$ .然而,有限和无限参与者版本的游戏往往承认多个均衡。我们表明,平均场平衡满足横向条件的极限点的$n$ -玩家平衡,但我们也表现出显着的平均场平衡,没有限制,从而质疑他们的解释为“大$n$“的平衡。
2019-05-28 math.OC math.PR q-fin.MF
Global Convergence of Policy Gradient for Sequential Zero-Sum Linear Quadratic Dynamic Games
我们提出了线性二次动态博弈的无投影序列算法。这些基于策略梯度的算法类似于Stackelberg领导模型,并且可以扩展到无模型设置。我们表明,如果领导者进行自然梯度下降/上升,那么该算法具有全局次线性收敛到纳什均衡。此外,如果领导者采用拟牛顿策略,算法具有全局二次收敛性。一路上,我们研究和澄清的复杂性,采用顺序的政策更新LQ游戏,即有关稳定,不确定的成本结构,并规避投影步骤的问题。
2019-11-12 cs.SY eess.SY math.OC
Exponential Convergence of Gradient Methods in Concave Network Zero-sum Games
University of British Columbia(不列颠哥伦比亚大学)
受生成对抗网络的启发,我们研究了凹网络零和博弈(NNORGs)中纳什均衡的计算问题,NNORGs是线性支付的二人零和博弈的多人推广.推广以前的结果,我们表明,各种博弈论性质的凹凸两个球员零和游戏保持在这个推广。然后,我们推广了最后的收敛结果先前在两个球员零和游戏。我们分析收敛速度时,球员更新他们的策略使用梯度上升,其变体,乐观梯度上升,显示最后的收敛在三个设置-当球员的收益是线性的,强凹和Lipschitz,强凹和光滑。我们提供的实验结果支持这些理论研究结果。
2020-07-10 cs.GT cs.LG math.OC
On the rate of the vanishing viscosity approximation for Mean Field Games with nonlocal coupling
DISIM - Dipartimento di Ingegneria e Scienze dell’Informazione e Matematica Università degli Studi dell’Aquila(阿奎拉大学 DISIM 信息与数学工程科学系);Dipartimento di Matematica e Informatica “U. Dini”, Università di Firenze(佛罗伦萨大学 U. Dini 数学与计算机科学系)
研究具有正则化耦合的一阶时间相关平均场博弈的消失粘性逼近速率,在标准假设下改进收敛速率,为正向福克 - 普朗克方程收敛建立定量估计,获平均场博弈系统定量收敛速率,扩展加强现有理论。
2026-07-09 math.AP math.OC
Convergence of one-dimensional stationary mean field games with vanishing potential
考虑一维稳态的一阶平均场博弈系统,该系统的哈密顿-雅可比方程与输运方程相互耦合。在耦合随粒子数密度严格增加和减少的两种情况下,我们证明了当势为零时,MFG系统的正则解收敛于相应的可积MFG系统的正则解.进一步,我们得到了这种极限的收敛速度.
2018-05-28 math.AP math.DS math.OC
Convergence of fictitious play for fully coupled FBSDEs in finite-player stochastic differential games
Saab AB(萨博公司);Department of Mathematical Sciences, Chalmers University of Technology & University of Gothenburg(查尔姆斯理工大学与哥德堡大学数学科学系);Department of Economics, University of Verona(维罗纳大学经济学系);Department of Electrical Engineering, Chalmers University of Technology(查尔姆斯理工大学电气工程系)
研究有限参与者随机微分博弈中完全耦合正倒向随机微分方程的虚拟策略收敛性,在一定假设下证明其收敛为几何收敛,特殊博弈中为超指数收敛,通过线性二次型银行间借贷问题数值实验予以证实。
2026-07-13 cs.GT math.OC math.PR
Approximation and Convergence of Large Atomic Congestion Games
我们考虑的问题是否,在什么意义上,沃卓普均衡提供了一个很好的近似纳什均衡原子不可分割的拥塞游戏有大量的小球员。我们研究了小玩家的两种不同定义。在第一个设置中,我们考虑每个玩家的权重都很小的游戏。我们证明,当玩家的数量趋于无穷大,他们的权重为零,在所有(混合)纳什均衡的有限游戏的随机流收敛分布到相应的非原子极限游戏的Wardrop均衡集。在第二个设置中,我们考虑越来越多的球员与单位重量,参与游戏的概率越来越小。在这种情况下,纳什均衡流收敛于总变差的泊松随机变量,其期望值是一个不同的非原子游戏的Wardrop均衡适当定义的成本。后者可以被看作是对称均衡的泊松游戏的意义上的迈尔森,建立一个合理的连接之间的Wardrop模型路由游戏和随机波动在实际交通。在这两种情况下,我们提供了明确的近似界限,我们研究了无政府状态的无政府代价的收敛性。除了拥挤的游戏的情况下,我们证明了一个一般性的结果,随机玩家对泊松游戏的大型游戏的收敛性。
2022-04-30 cs.GT math.OC math.PR
On Separation Between Best-Iterate, Random-Iterate, and Last-Iterate Convergence of Learning in Games
Yale University(耶鲁大学);MIT(麻省理工学院);HEC Paris(巴黎高等商学院);Columbia University(哥伦比亚大学);University of Southern California(南加利福尼亚大学)
针对博弈学习动力学,本文证明了 OMWU 在 $2\ imes 2$ 矩阵博弈中具有快速的最佳迭代收敛速率但无多项式级随机迭代收敛速率,揭示了两者间的分离性,并提出了一种新颖的两阶段分析方法。
2025-03-04 cs.GT cs.LG math.OC
No-regret Learning in Cournot Games
本文研究了具有连续行动的古诺博弈中无悔学习的收敛性。古诺博弈是许多社会经济系统的基本模型,参与者通过战略性地设定他们的产量来竞争。我们假设参与者没有充分的信息,因此不能预先计算出一个纳什均衡。两种类型的反馈被认为是:一个是强盗反馈,另一个是梯度反馈。为了研究诱导博弈序列的收敛性,引入测度收敛的概念,证明了博弈者的实际行动序列收敛于唯一的纳什均衡.此外,我们的结果自然地扩展了无遗憾学习算法的时间平均遗憾界,以获得最终迭代收敛速度。总之,我们的工作为游戏中的学习提供了显著更清晰的收敛结果,而无需对游戏属性进行强有力的假设(例如,单调性),并显示如何利用游戏信息反馈可以影响收敛速度。
2020-02-11 cs.GT cs.MA cs.SY
From Average-Iterate to Last-Iterate Convergence in Games: A Reduction and Its Applications
Yale University(耶鲁大学);University of Southern California(南加州大学);University of Virginia(弗吉尼亚大学)
本文提出一种黑盒归约方法,将无耦合学习动态的平均迭代转化为新动态的最终迭代,从而把最终迭代收敛归约为平均迭代收敛,并应用于乐观乘性权重更新算法,在多人零和多矩阵博弈中取得更优的最终迭代收敛速率。
2025-11-07 cs.GT cs.LG math.OC
Convergence of Gradient Methods on Bilinear Zero-Sum Games
School of Computer Science(计算机学院);University of Waterloo(滑铁卢大学);Vector Institute(向量研究所)
由于深度生成模型和对抗方法的兴起,Min-max公式在ML社区中引起了极大的关注,而理解求解此类公式的梯度算法的动态仍然是一个巨大的挑战。作为第一步,我们限制到双线性零和游戏,并给出了一个系统的分析流行的梯度更新,同时和交替的版本。我们提供了精确的条件,他们的收敛性,并找到最佳的参数设置和收敛速度。特别是,我们的研究结果提供了正式的证据,交替更新收敛“更好”比同步的。
2020-03-03 cs.GT cs.LG math.OC
Independent Policy Gradient for Large-Scale Markov Potential Games: Sharper Rates, Function Approximation, and Game-Agnostic Convergence
University of Southern California(南加州大学);Massachusetts Institute of Technology(麻省理工学院)
研究了马尔可夫势博弈中多智能体强化学习(RL)问题的策略梯度方法的全局非渐近收敛性.为了学习纳什均衡的MPG中的状态空间的大小和/或玩家的数量可以是非常大的,我们提出了新的独立的策略梯度算法,是由所有玩家串联运行。当梯度评估中没有不确定性时,我们证明了我们的算法找到了具有$O(1/ε^2)$迭代复杂度的$ε$ -纳什均衡,该迭代复杂度不显式地依赖于状态空间大小。当精确的梯度是不可用的,我们建立$O(1/ε^5)$样本复杂性界在一个潜在的无限大的状态空间的基于样本的算法,利用函数逼近。此外,我们确定了一类独立的策略梯度算法,享有收敛的零和马尔可夫游戏和马尔可夫合作游戏的球员,是不知道正在玩的游戏类型。最后,我们提供了计算实验来证实我们的理论发展的优点和有效性。
2022-08-04 cs.GT cs.LG cs.MA
Convergence Analysis of the Best Response Algorithm for Time-Varying Games
本文针对时变博弈中智能体基于历史行动的最佳响应算法,给出强单调性条件下的指数收敛充分条件,并证明在时变情形下算法可渐近跟踪演化均衡,通过经济市场数值实验验证了分析结果。
2023-09-01 cs.GT cs.MA math.OC
Convergence of Deep Fictitious Play for Stochastic Differential Games
Princeton University(普林斯顿大学);University of California, Santa Barbara(加州大学圣巴巴拉分校)
随机微分对策已被广泛用于模拟金融中的代理竞争,例如,在金融科技行业的P2P贷款平台,银行系统的系统性风险和保险市场。最近提出的机器学习算法,深度虚拟博弈,为寻找大型$N$ -博弈者非对称随机微分对策的马尔可夫纳什均衡提供了一种新的有效工具[J. Han和R. Hu,Mathematical and Scientific Machine Learning Conference,第221-245页,PMLR,2020]。该算法通过引入虚拟博弈的思想,将博弈问题转化为$N$子最优化问题,并利用深度后向随机微分方程(BEM)方法反复识别各局中人的最优策略.本文证明了深度虚拟博弈(DFP)收敛于真实纳什均衡。我们还可以证明,基于DFP的策略形成了一个$\eps$ -纳什均衡。我们推广的算法,提出了一种新的方法来解耦的游戏,并提出了大人口游戏的数值结果显示的经验收敛的算法超出了定理中的技术假设。
2021-03-21 cs.GT cs.LG math.OC
Continuous-Time Convergence Rates in Potential and Monotone Games
在本文中,我们提供了指数收敛到内部纳什均衡的连续时间双空间博弈动态,如镜像下降(MD)和演员-评论家(AC)。我们进行我们的分析,在$N$玩家连续凹游戏,满足一定的单调性假设,同时也可能承认势函数。在本文的第一部分中,我们提供了一个新的单调对策的相对特征,并证明了MD及其折扣版本收敛于$\mathcal{O}(e^{-βt})$在相对强和相对次单调对策,分别。在本文的第二部分中,我们将我们的结果专门的游戏,承认一个相对较强的凹势,并显示AC收敛与$\mathcal{O}(e^{-βt})$。这些速率扩展了它们已知的收敛条件。模拟进行经验备份我们的结果。
2022-02-03 cs.GT cs.MA cs.SY
Fast Last-Iterate Convergence of Learning in Games Requires Forgetful Algorithms
Yale(耶鲁大学);MIT(麻省理工学院);HEC Paris(巴黎高等商学院);Columbia(哥伦比亚大学);USC(南加州大学)
本文证明乐观乘性权重更新等不快速遗忘过去的算法在两人零和博弈中最后迭代收敛可能任意慢,存在常数对偶间隙,揭示了遗忘性对快速收敛的必要性。
2025-01-21 cs.GT cs.LG math.OC