Near Optimal Convergence to Coarse Correlated Equilibrium in General-Sum Markov Games
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文改进了一般和马尔可夫博弈中向粗相关均衡的收敛速率,通过将自适应步长技术扩展至马尔可夫设定并定制OFTRL算法,实现了已知最快的收敛速率。
2025-11-04 cs.AI cs.GT cs.LG
Learning in Multi-Player Stochastic Games
Columbia University(哥伦比亚大学)
本文研究了有限时间内多局中人随机博弈中的同时学习问题。虽然随机博弈的典型目标解是一个纳什均衡,但这对许多参与者来说是难以解决的。相反,我们专注于{ \it相关均衡}的变体,如那些广泛的形式的游戏研究。我们从对抗性MDP问题的一个困难结果开始:即使对于3的视野,获得对最佳非平稳策略的次线性遗憾也是\textsf{NP} -当奖励和过渡都是对抗性的时。这意味着,收敛到最弱的自然解概念-正规形式的粗相关equilibrium-是不可能的,通过黑盒减少到一个没有遗憾的算法,即使在随机游戏与恒定的地平线(除非$\textsf{NP}\subseteq\textsf{BPP}$)。相反,我们转向一个不同的目标:当所有参与者使用这些算法时,{ \it生成}一个均衡。我们的主要结果是算法产生的{ \it extensive-form}相关的平衡,其运行时间是指数的地平线,但多项式的所有其他参数。我们给出了一个类似的算法,这是多项式的所有参数的“快速混合”随机游戏。我们还展示了一种方法,有效地达到正常形式的粗相关平衡的“单控制器”随机游戏,遵循传统的无悔的方法。当共享的随机性是可用的,这两个生成算法可以扩展到同时遗憾界和收敛在传统意义上。
2022-10-25 cs.AI cs.GT cs.LG
Fast Convergence of Regularized Learning in Games
Microsoft Research(微软研究院);Princeton University(普林斯顿大学)
我们表明,自然类的正则化学习算法与近因偏差的形式实现更快的收敛速度,以近似的效率和粗糙的相关均衡多人范式游戏。当游戏中的每个玩家使用我们班的算法时,他们的个人遗憾以$O(T^{-3/4})$衰减,而效用之和则以$O(T^{-1})$收敛到近似最佳值--这是对最坏情况下$O(T^{-1/2})$率的改进。我们展示了一个黑盒减少类中的任何算法,以实现对对手的$\tilde{O}(T^{-1/2})$率,同时保持对类中的算法更快的速度。我们的结果扩展了[Rakhlin and Shridharan 2013]和[Daskalakis et al. 2014]的结果,他们只分析了特定算法的两人零和游戏。
2015-12-10 cs.AI cs.GT cs.LG
$O(T^{-1})$ Convergence of Optimistic-Follow-the-Regularized-Leader in Two-Player Zero-Sum Markov Games
University of Chicago(芝加哥大学)
我们证明了乐观跟随正则化领导者(OFTRL),连同光滑的值更新,发现一个$O(T^{-1})$ -近似纳什均衡在$T$迭代的两个球员零和马尔可夫游戏的充分信息。这提高了最近在Zhang等人(2022)的论文中显示的$\tilde{O}(T^{-5/6})$收敛速度。精确的分析取决于两个基本要素。首先,两个参与者的遗憾之和,虽然不一定像正规型博弈那样为非负,但在马尔可夫博弈中近似为非负。这个属性允许我们限制学习动态的二阶路径长度。其次,我们证明了一个更严格的代数不等式部署OFTRL的权重剃一个额外的$\log T$因素。这一关键改进使得能够进行归纳分析,从而得出最终的$O(T^{-1})$速率。
2023-02-09 cs.GT cs.LG
Mutation-Driven Follow the Regularized Leader for Last-Iterate Convergence in Zero-Sum Games
CyberAgent, Inc.(赛博艾坚特公司);University of Electro-Communications(电气通信大学)
在这项研究中,我们考虑了两人零和游戏中遵循正规化领导者(FTRL)动态的一种变体。当对策略进行时间平均时,FTRL保证收敛到纳什均衡,而许多变体遭受极限循环行为的问题,即,缺乏最后的收敛保证。为此,我们提出了突变FTRL(M-FTRL),一种算法,引入突变的动作概率的扰动。然后,我们调查的连续时间动态的M-FTRL和提供强收敛保证平稳点,近似纳什均衡下的全信息反馈。此外,我们的模拟表明,M-FTRL可以享受更快的收敛速度比FTRL和乐观的FTRL下的全信息反馈和令人惊讶的强盗反馈下表现出明显的收敛。
2022-06-18 cs.GT cs.LG stat.ML
On Discrete-Time Approximations to Infinite Horizon Differential Games
Instituto de Investigación en Matemáticas (IMUVA), Universidad de Valladolid(瓦拉多利德大学数学研究所);Departamento de Matemáticas, Universidad Autónoma de Madrid(马德里自治大学数学系)
本文研究了无限时间 horizon 非合作N玩家差分博弈的离散时间半离散化和完全离散化方法,证明了离散值函数在时间步长和网格尺寸趋于零时逼近连续时间博弈的值函数,并且离散纳什均衡在两种情况下均为ε-纳什均衡。
2026-05-11 cs.NA math.NA math.OC
A Probabilistic Approach to Discounted Infinite Horizon and Invariant Mean Field Games
本文用概率弱形式研究折现无限时域平均场博弈,证明解的存在唯一性,并量化有限时域博弈向无限时域博弈的收敛速率,同时解决不变平均场博弈。
2024-07-04 math.OC math.PR
On extension for infinite horizon game of pursuit-evasion
构造了一个具有无限时域的冲突控制问题的推广。这个扩张就是限制对策的投射极限。研究了“目标集灵敏度”与最优控制存在性的关系。特别关注的是“联合控制/放松控制”的追逃对策。
2010-12-16 math.OC
Stochastic differential switching game in infinite horizon
本文研究了无限时域上的零和随机微分切换对策。我们证明了对策值的存在性,并将其刻画为双边障碍拟变分不等式系统的唯一黏性解。我们还得到了一个验证定理,提供了一个最优策略的游戏。最后,给出了两种区域的数值例子。
2018-05-03 math.OC
A probabilistic verification theorem for the finite horizon two-player zero-sum optimal switching game in continuous time
本文研究了有限时域上连续时间两人零和最优切换对策。利用具有互连障碍的双反射BSDES理论,我们证明了这个博弈在参与者的切换控制中具有一个值和一个均衡。
2018-06-01 math.OC math.PR
Constant Payoff Property in Zero-Sum Stochastic Games with a Finite Horizon
本文研究有限零和随机博弈,证明当博弈时长足够长时存在近似最优策略使任意时刻期望平均收益接近其值,首次在该类博弈中确立此前仅适用于吸收博弈和折扣随机博弈的常收益性质。
2024-11-28 math.OC
Solvability of Infinite horizon McKean-Vlasov FBSDEs in Mean Field Control Problems and Games
在本文中,我们使用两种不同的方法,这导致了两组不同的假设,证明了无限水平McKean-Vlasov FBSDES的解的存在性和唯一性。我们利用这些结果来解决无限时域平均场型控制问题和平均场对策。
2022-10-06 math.OC math.PR
Linear Quadratic Stochastic Two-Person Zero-Sum Differential Games in an Infinite Horizon
研究了无限时间范围内常系数线性二次随机二人零和微分对策。引入了开环和闭环鞍点。闭环鞍点的存在性由代数Riccati方程在一定稳定条件下的可解性来刻画。使我们的方法有效的一个关键结果是一类线性倒向随机微分方程在无限水平上的唯一可解性。
2014-04-29 math.OC
Solving finite time horizon Dynkin games by optimal switching
本文利用最近的结果连续时间有限时域最优切换问题的负切换成本,证明了存在一个鞍点的最佳停止(Dynkin)游戏。充分条件的游戏的价值是连续的时间范围内获得使用最近的结果,双重反射向后随机微分方程的范数估计。在Black-Scholes市场中,对可撤销看涨期权和看跌期权的特殊情形进行了数值分析。
2016-01-04 math.OC math.PR q-fin.MF
Linear-Quadratic $N$-person and Mean-Field Games: Infinite Horizon Games with Discounted Cost and Singular Limits
我们考虑随机微分对策与$N$几乎相同的球员,线性高斯动态,和无限地平线折扣二次成本。容许控制是系统各态历经的反馈。本文首先研究了由$N$ Hamilton-Jacobi-Bellman和$N$ Kolmogorov-Fokker-Planck偏微分方程组成的系统的仿射Nash平衡点的存在性,证明了在小折扣因子下二次高斯解的存在性和唯一性.然后,我们证明了这样的解决方案的唯一二次高斯平均场方程对的解决方案的收敛性。讨论了一些奇异极限,如噪声消失、廉价控制和折扣消失等。
2014-03-17 math.AP math.OC
Deterministic Differential Games in Infinite Horizon Involving Continuous and Impulse Controls
考虑两人零和确定性微分对策,其中每个局中人在无限时间内同时使用连续控制和脉冲控制。我们假设脉冲是通项,而代价依赖于系统的状态。利用动态规划原理和黏性解方法证明了该博弈的Hamilton-Jacobi-Bellman-Isaacs(HJBI)偏微分方程(PDE)解的存在唯一性.在Isaacs条件下证明了上下值函数重合。
2022-09-22 math.OC
Value Asymptotics in Dynamic Games on Large Horizons
本文研究两人动态零和对策。让一些家庭的游戏有共同的动态,运行成本和玩家的能力,让这些游戏只在密度上有所不同。我们证明了动态规划原理直接导致了广义Tauberian定理-对于均匀分布或指数分布,值函数的一致极限的存在性意味着对于任意分布,值函数从大类一致收敛到同一极限.没有必要对战略进行假设。应用到微分对策和随机陈述。
2017-09-25 math.OC
Continuous and Impulse Controls Differential Game in Finite Horizon with Nash-Equilibrium and Application
本文研究了一类新的确定性有限时域两人零和微分对策,其中最大化局中人可以采取连续和脉冲控制,而最小化局中人只能采取脉冲控制.我们试图近似的价值函数,并提供这类DG的验证定理。首先,利用动态规划原理,在黏性解(VS)框架下,刻画了HJBI双障碍方程的唯一VS值函数.其次,我们证明了一个近似值函数的存在,它是唯一的解决方案的近似HJBI双障碍方程,并局部一致收敛到每个球员的价值函数时,时间离散化步骤为零。此外,我们提供了一个验证定理,其特点是纳什均衡的DG控制问题考虑。最后,应用我们的结果,我们得到了一个新的连续时间投资组合最优化模型,并给出了相关的计算算法。
2022-12-20 cs.NA math.NA math.OC
Social optimum of finite mean field games: existence and uniqueness of equilibrium solutions in the finite horizon and stationary solutions in the infinite horizon
本文研究离散时间有限状态平均场博弈的社会最优问题,给出个体最优策略存在唯一的充分条件,并建立有限时域均衡解和无限时域平稳解的存在唯一性条件。
2024-08-08 math.OC
Linear-Quadratic Dynamic Games as Receding-Horizon Variational Inequalities
本文研究线性二次动态博弈,将开环纳什均衡转化为增广空间中的线性二次调节器,推导出代价函数显式表达,并证明滚动时域解的渐近稳定性,同时揭示其与非对称变分不等式的等价关系。
2025-07-21 cs.SY eess.SY math.OC
A two-player game representation for a class of infinite horizon control problems under state constraints
本文给出了一类带状态约束的参数化无限时域控制问题的反馈律。我们提供了一个两个球员表示假设不定常动态和拉格朗日和设置约束仅仅是紧凑的。使用可行性结果最近调查的无限地平线设置存在的状态约束,我们扩展了一些已知的结果的线性二次调节器问题的控制问题的非线性动态的状态和仿射控制。在适当的可控性假设下,得到反馈律。
2020-03-02 math.OC
Zero-sum stochastic differential game in finite horizon involving impulse controls
本文研究了有限时间内两局中人采用脉冲控制的零和随机微分对策问题,在较弱的费用函数假设下($c$和$χ$不随时间减少).利用动态规划原理和黏性解方法证明了该对策的Hamilton-Jacobi-Bellman-Isaacs(HJBI)偏微分方程(PDE)解的存在唯一性.我们证明了上下值函数重合。
2017-06-25 math.OC math.PR
The solution infinite horizon noncooperative differential game with nonlinear dynamics without the Hamilton-Jacobi-Bellman equation
对于一个非合作的多人微分对策,各局中人的价值函数满足一个Hamilton-Jacobi-Bellman方程组。通过研究一个相关的微分对策系统,可以得到反馈形式的纳什均衡解。本文提出一种新的方法,可以构造反馈最优控制和费用函数J_i(t,x),i=1,…,J_i(t,x)= m直接,即,而不涉及相应的Hamilton-Jacobi-Bellman方程。
2009-01-31 math.OC
A framework for receding-horizon control in infinite-horizon aggregative games
提出了一种新的建模框架,用于分析在无限时间范围内的聚合游戏,假设球员受到异构周期性约束。提出了一种新的聚合均衡概念,并在后退视野范式下分析了代理人的战略行为。通过离散时间多值动力系统模拟了玩家预测和实施的策略随时间的演变。通过考虑李雅普诺夫稳定性的概念和应用极限和不变性结果的集值对应,导出了必要条件的滚动地平线映射收敛到一个周期平衡的聚合对策。对于任何(可行的)初始条件都可以实现这一结果,从而确保所提出的控制框架对玩家数量和参数的实时变化的隐式自适应性。讨论了该控制策略的设计与实现,并给出了一个数据路由的分布式控制实例,通过仿真对其性能进行了评估。
2022-07-01 cs.GT cs.SY eess.SY
Zero-Sum Games for piecewise deterministic Markov decision processes with risk-sensitive finite-horizon cost criterion
本文针对带风险敏感有限时域费用准则的分段确定性马尔可夫决策过程,研究两人零和随机博弈,在转移率与费用/报酬率上下无界的温和条件下,证明博弈值与最优随机化马尔可夫鞍点均衡的存在性。
2024-05-10 math.OC math.PR
A hybrid deep learning method for finite-horizon mean-field game problems
针对有限时域平均场博弈问题,提出结合马尔可夫链近似与随机近似迭代深度学习的混合算法,证明了收敛性并通过数值算例验证效果。
2024-12-11 math.OC
Infinite-Horizon Linear-Quadratic Difference Games with Coupled Affine Inequality Constraints: Open-Loop Generalized Nash Equilibria
研究具有状态和控制变量耦合仿射不等式约束的确定性无限时域线性二次差分博弈,推导开环广义纳什均衡存在的必要条件,并在附加假设下通过关联两个无限时域耦合线性互补系统的平方可和解建立充分性,将问题转化为大规模线性互补问题求解。
2026-07-08 math.OC
A Zero-Sum Deterministic Impulse Controls Game in Infinite Horizon with a New HJBI QVI
本文研究了无限时间范围内两个局中人采用脉冲控制的零和确定性微分对策,在相当弱的费用函数假设下.利用动态规划原理(DPP)证明了相应的Hamilton-Jacobi-Bellman-Isaacs(HJBI)拟变分不等式(QVI)的上下值函数是连续的和黏性解.我们定义了一个新的HJBI QVI,在最大化成本的比例属性假设下,值函数是唯一的黏性解。然后,我们证明了上下值函数重合。
2021-01-27 math.OC
Finite Horizon Time Inhomogeneous Singular Control Problem of One-dimensional Diffusion via Dynkin Game
时间非齐次奇异控制问题的Hamilton-Jacobi-Bellman方程(HJB)是一个抛物型偏微分方程,其经典解的存在性通常很难证明.利用时间非齐次零和对策(Dynkin对策)解决了一类一维扩散的有限时域随机奇异控制问题.研究了Dynkin对策的值函数的正则性,其积分形式与奇异控制问题的值函数一致。我们提供的条件下,一个经典解的相关HJB方程存在,从而避免了通常的黏性解的方法。我们还表明,最优控制政策是反映两个时间非齐次边界之间的扩散。对于一个更一般的终结支付函数,我们表明,最优控制涉及到一个可能的冲动在成熟。
2014-10-13 math.OC
Exponential Convergence of Gradient Methods in Concave Network Zero-sum Games
University of British Columbia(不列颠哥伦比亚大学)
受生成对抗网络的启发,我们研究了凹网络零和博弈(NNORGs)中纳什均衡的计算问题,NNORGs是线性支付的二人零和博弈的多人推广.推广以前的结果,我们表明,各种博弈论性质的凹凸两个球员零和游戏保持在这个推广。然后,我们推广了最后的收敛结果先前在两个球员零和游戏。我们分析收敛速度时,球员更新他们的策略使用梯度上升,其变体,乐观梯度上升,显示最后的收敛在三个设置-当球员的收益是线性的,强凹和Lipschitz,强凹和光滑。我们提供的实验结果支持这些理论研究结果。
2020-07-10 cs.GT cs.LG math.OC
The Complexity of Infinite-Horizon General-Sum Stochastic Games
研究了n人无限时间广义和随机对策中稳态纳什均衡(NE)的计算复杂性。我们专注于计算NE在这样的随机游戏时,每个球员被限制为选择一个固定的政策和奖励打折的问题。首先,我们证明计算这样的NE是在PPAD(除了显然是PPAD硬)。第二,我们考虑这种游戏的回合制专业化,在每个状态下,最多只有一个玩家可以采取行动,并表明这些(非常简单的)游戏仍然是PPAD困难的。第三,我们表明,根据进一步的结构假设的回报计算NE在这种回合制游戏是可能的多项式时间。为了实现这些结果,我们建立了更广泛的效用随机游戏的结构事实,包括单调性的单状态单动作的变化和减少设置,每个玩家控制一个单一的状态下的效用。
2022-11-29 cs.CC cs.DS cs.GT
Robust Receding Horizon Games with Additive Uncertainty
Indian Institute of Technology (IIT) Kharagpur(印度理工学院卡格浦尔分校)
研究多智能体驱动线性系统的滚动时域博弈,提出结合基于管的约束收紧与有限时域广义纳什均衡问题的鲁棒控制框架,保证递归可行性,利用潜在博弈结构证明状态收敛。
2026-07-07 cs.SY eess.SY math.OC
Finite Horizon Mean Field Games on Networks
考虑有限时间内随机平均场对策,其中状态空间是一个网络。它们被描述为一个系统耦合的时间向后的Hamilton-Jacobi-Bellman方程和时间向前的Fokker-Planck方程。值函数u是连续的,并且在顶点处满足一般的基尔霍夫条件。态分布的密度m满足对偶传递条件:特别地,m在顶点上一般是不连续的,并且顶点每一侧的m值满足特殊的相容性条件。重点讨论了哈密顿量为Lipschitz连续时的情形。证明了存在性和唯一性。
2019-03-07 math.AP math.OC
Convergence of large population games to mean field games with interaction through the controls
这项工作认为随机微分对策与大量的球员,其成本和动态相互作用,通过经验分布的状态和控制。我们开发了一个新的框架来证明有限人博弈收敛到渐近平均场博弈。我们的方法是基于向前和向后弱相互作用粒子的混沌传播的概念,我们调查的随机分析方法,这似乎是独立的利益。这些传播的混沌参数允许派生的时刻和浓度范围的收敛纳什均衡。
2022-03-22 math.OC math.PR
Linear-Quadratic Discrete-Time Dynamic Games with Unknown Dynamics
针对未知动态的线性二次离散时间博弈,本文基于离线数据提出计算反馈纳什均衡的充要条件与算法,并证明了有限与无限时间博弈中策略的等价性与收敛性。
2025-06-27 cs.SY eess.SY math.OC
Turnpike properties for zero-sum stochastic linear quadratic differential games of Markovian regime switching system
本文研究马尔可夫机制切换系统中零和随机线性二次微分博弈的长期行为,建立最优三元组的转辙性质,证明有限时域均衡策略可逼近无限时域策略,并扩展了现有结果。
2025-09-11 math.OC
Mean-Field Linear-Quadratic Stochastic Differential Games in an Infinite Horizon
研究了无限水平上两人平均场线性二次非零和随机微分对策。开环和闭环纳什均衡的介绍。利用无穷水平上平均场正倒向随机微分方程组的可解性和代价泛函的凸性刻画了开环Nash均衡的存在性,并通过求解两个耦合的非对称代数Riccati方程组给出了开环Nash均衡的闭环表示.闭环Nash均衡的存在性是由两个耦合的对称代数Riccati方程组的可解性来表征的。本文还研究了无限时间范围内两人平均场线性二次零和随机微分对策。利用具有静态稳定解的两个耦合广义代数Riccati方程组的可解性,证明了开环和闭环鞍点的存在性.讨论了无穷时域平均场线性二次随机最优控制问题,证明了开环可解性与闭环可解性是等价的。
2021-04-07 math.OC
An Iterative Computational Framework for Infinite-Horizon Mean-Field Linear-Quadratic Zero-Sum Stochastic Differential Games
Shandong University Zhongtai Securities Institute for Financial Studies, Shandong University(山东大学中泰金融研究院,山东大学)
提出一种迭代计算框架,通过单调递增矩阵序列解耦强耦合问题,求解无限时域两人平均场线性二次零和随机微分博弈的鞍点解,并给出收敛性分析。
2026-06-06 math.OC
Rates of convergence for the policy iteration method for Mean Field Games systems
离散和连续最优控制问题的策略迭代法的收敛性在一般假设下成立。此外,在某些情况下,还可以显示算法的二次收敛速率。对于平均场对策,最近在[9]中证明了策略迭代法的收敛性。在这里,我们提供了它的收敛速率的估计。
2022-03-01 math.AP math.OC
Horizon-Independent Contraction for Continuous-Time Discounted Regularized Mean-Field Games
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
该研究针对带折扣和熵正则化的非平稳连续时间平均场博弈,证明大折扣率下有限时域MFG满足与时域无关的收缩条件,推导了有限与无限时域均衡的收敛率及相关误差界。
2026-08-31 cs.GT cs.SY eess.SY
The convergence problem in mean field games with a local coupling
研究了当参与人之间的耦合变得越来越奇异时,$N$耦合的Hamilton-Jacobi方程组(Nash系统)在$N$趋于无穷大时的收敛性.极限方程是一个具有局部耦合的平均场对策系统。
2017-10-11 math.OC
On finite-horizon approximation of an infinite-horizon feedback Nash equilibrium in discrete-time LQ games
Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);University of Chinese Academy of Sciences(中国科学院大学);School of Economics and Management, China University of Petroleum-Beijing(中国石油大学(北京)经济管理学院);Department of Mechanics and Engineering Science, Peking University(北京大学力学与工程科学系)
本文提出了一种有限时间 horizon 策略用于近似无限时间 horizon LQ 动态博弈中的反馈纳什均衡,并通过理论分析和数值例子验证了其有效性。
2026-09-25 cs.SY eess.SY math.OC
Receding Horizon Control and Dissipativity - Optimal Control, Games and Uncertainty
ETH Zürich(苏黎世联邦理工学院);University of Bayreuth(拜罗伊特大学);Delft University of Technology(代尔夫特理工大学);Hamburg University of Technology(汉堡工业大学)
本文综述了滚动时域控制在确定性、随机、多智能体及博弈场景中的应用,以耗散性和转折点性质为统一框架,对比最优控制与博弈均衡,并总结数值方法趋势与开放挑战。
2026-09-30 cs.SY eess.SY math.OC
A Nested Iterative Algorithm for Zero-Sum Linear-Quadratic Stochastic Differential Games in an Infinite Horizon
Shandong University Zhongtai Securities Institute for Financial Studies, Shandong University(山东大学中泰证券金融研究院,山东大学)
本文提出了一种统一的计算方法,用于求解无限时间零和线性二次随机微分博弈的闭环鞍点,通过分解问题结构并迭代求解Riccati方程,实现了算法的收敛性证明和有效性验证。
2026-08-20 math.OC
Equilibrium convergence in large games
针对大型博弈,本文证明随机策略Nash均衡对应的一般闭图性质,将有限参与者博弈均衡序列的极限与大型博弈均衡联系起来,并应用于均衡选择。
2024-10-29 math.OC
On the Exponential Rate of Convergence of Fictitious Play in Potential Games
本文研究了连续时间下的虚拟游戏学习动力学。结果表明,在几乎每一个潜在的游戏,几乎每一个初始条件,FP的收敛速度是指数。特别是,本文重点研究的行为FP在潜在的游戏,其中所有的均衡的游戏是经常的,介绍了海萨尼。这种博弈被称为常规势博弈。最近它已被证明,几乎所有的潜在游戏(在勒贝格措施的意义上)是定期的。在本文中,它表明,在任何经常潜在的游戏(因此,在几乎每一个潜在的游戏),FP收敛到纳什均衡的集合在一个指数的速度从几乎每一个初始条件。
2017-07-25 cs.GT math.OC
Nonconvex optimization and convergence of stochastic gradient descent, and solution of asynchronous game
本文回顾了凸与非凸优化中随机梯度下降的收敛性与行为,建立了梯度方差收敛至零的条件,并通过示例展示了迭代下概率密度的近似演化及其在经典双人及异步多人博弈中的应用。
2025-03-05 math.OC
Finite mean field games: fictitious play and convergence to a first order continuous mean field game
在这篇文章中,我们考虑有限平均场游戏(MFG),即有限时间和有限状态。我们采用Gomes Mohr和Souza在2010年提出的框架,研究了两个尚未探索的主题。在第一个,我们分析了虚拟游戏学习过程的收敛性,连续MFG的结果的启发。第二章讨论了有限MFG与连续一阶MFG的关系。即,给定一个连续的一阶MFG问题和一列精化的时空网格,构造一列有限的MFG,其解存在极限点,且每一个这样的极限点解连续的一阶MFG问题.
2018-05-15 math.OC
Reinforcement Learning Method for Zero-Sum Linear-Quadratic Stochastic Differential Games in Infinite Horizons
Shandong University Zhongtai Securities Institute for Financial Studies, Shandong University(山东大学中泰证券金融研究院,山东大学)
本文提出了一种针对无限时间零和线性二次随机微分博弈的强化学习方法,结合迭代求解与动态规划原理,解决了参数获取困难的问题,并通过理论分析和实验验证了方法的收敛性与有效性。
2026-02-08 math.OC
Explicit solution to an optimal two-player switching game in infinite horizon
本文针对无限时域双人切换博弈问题,采用粘性方法刻画切换区域(转化为寻找触发切换的状态阈值)并推导显式解,还提出数值程序计算值函数并通过模拟验证,状态为一维伊藤扩散且切换成本可非正。
2025-04-18 math.OC
Finite-time horizon, stopper vs. singular-controller games on the half-line
本文证明了半直线上有限时间跨度下停止者与奇异控制者零和博弈的值的存在性,表明该值是带障碍和梯度约束的变分不等式的极大解,并通过新概率方法获得了停止者的最优策略。
2025-06-25 math.AP math.OC math.PR
Last-iterate convergence of modified predictive method via high-resolution differential equation on bilinear game
本文研究双线性博弈中修正预测方法(MPM)对应的高分辨率微分方程(MPM-HRDE)的收敛性,给出了解的唯一性和收敛结果,填补了文献空白并扩展了相关工作。
2024-05-23 math.OC
Rate of convergence for first-order singular perturbation problems: Hamilton-Jacobi-Isaacs equations and mean field games of acceleration
本文研究一阶Hamilton-Jacobi方程奇异摄动问题的收敛速率,并将结果应用于两人零和确定性微分博弈与加速度平均场博弈,证明两类模型的收敛速率均为$\varepsilon$。
2024-09-09 math.AP math.OC
Numerical approximations of the value of zero-sum stochastic differential impulse controls game in finite horizon
本文研究有限时域零和随机微分脉冲控制博弈,基于经典Policy Iteration算法求Nash均衡数值解及最优策略对,并严格证明逼近方案收敛至粘性解。
2024-10-10 math.OC