Provably Fast Convergence of Independent Natural Policy Gradient for Markov Potential Games
Northeastern University(东北大学);Texas A&M University(德克萨斯A&M大学)
本文研究马尔可夫势博弈中多智能体强化学习的独立自然策略梯度算法,通过引入次优性间隙,证明其在O(1/ε)次迭代内达到ε-纳什均衡,改进了此前O(1/ε^2)的结果,并通过合成势博弈和拥堵博弈实验验证了理论界。
2023-10-27 cs.LG math.OC
Repeated Games with Switching Costs: Stationary vs History Independent Strategies
我们研究的零和重复博弈中,最小化的球员必须支付一定的成本,每次他改变他的行动。我们的贡献是双重的。首先,我们证明了博弈的价值存在于静态策略中,仅取决于最小化参与者的先前行动,而不是整个历史。我们提供了一个完整的表征的价值和最优策略。该策略表现出鲁棒性,通常不会改变一个小扰动的切换成本。其次,我们考虑一种情况下,最小化的球员是有限的发挥简单的策略,是完全独立的历史。在这里,我们也提供了一个完整的(极大极小)值和获得它的策略的特征。此外,我们提出了几个界限的损失,由于这种限制。
2021-10-28 econ.TH math.OC
On the Heterogeneity of Independent Learning Dynamics in Zero-sum Stochastic Games
研究了学习率依赖于局中人的二人零和随机对策的Q学习与经典虚拟对策相结合的两时标虚拟对策的收敛性.在两时标随机逼近方法的标准假设下,当折扣因子小于参与者相关步长之比的乘积时,证明了其几乎必然收敛性.为此,我们制定了一个新的李雅普诺夫函数制定和提出了一个单边异步收敛的结果。
2022-04-04 cs.GT math.DS math.OC
Independent Policy Gradient for Large-Scale Markov Potential Games: Sharper Rates, Function Approximation, and Game-Agnostic Convergence
University of Southern California(南加州大学);Massachusetts Institute of Technology(麻省理工学院)
研究了马尔可夫势博弈中多智能体强化学习(RL)问题的策略梯度方法的全局非渐近收敛性.为了学习纳什均衡的MPG中的状态空间的大小和/或玩家的数量可以是非常大的,我们提出了新的独立的策略梯度算法,是由所有玩家串联运行。当梯度评估中没有不确定性时,我们证明了我们的算法找到了具有$O(1/ε^2)$迭代复杂度的$ε$ -纳什均衡,该迭代复杂度不显式地依赖于状态空间大小。当精确的梯度是不可用的,我们建立$O(1/ε^5)$样本复杂性界在一个潜在的无限大的状态空间的基于样本的算法,利用函数逼近。此外,我们确定了一类独立的策略梯度算法,享有收敛的零和马尔可夫游戏和马尔可夫合作游戏的球员,是不知道正在玩的游戏类型。最后,我们提供了计算实验来证实我们的理论发展的优点和有效性。
2022-08-04 cs.GT cs.LG cs.MA
A Variational Inequality Approach to Independent Learning in Static Mean-Field Games
本文研究静态平均场博弈中的独立学习问题,通过将其转化为变分不等式问题,提出了高效收敛至近似纳什均衡的算法,并提供了有限样本复杂度保证及真实应用验证。
2025-02-02 cs.GT math.OC
Linear Convergence of Independent Natural Policy Gradient in Games with Entropy Regularization
Northeastern University(东北大学);Texas A&M University(德克萨斯农工大学)
本文研究多智能体强化学习中带熵正则化的独立自然策略梯度算法,证明在足够熵正则化下系统以线性速率收敛到分位数响应均衡,并通过多种博弈实验验证了理论结果。
2024-05-04 cs.LG cs.MA math.OC
Satisficing Paths and Independent Multi-Agent Reinforcement Learning in Stochastic Games
University of Hawaii at Manoa(夏威夷大学马诺阿分校)
本文研究了在随机博弈中利用满意动态引导独立学习者逼近均衡的可行性,建立了通向 $ε$-均衡的 $ε$-满意路径存在性结构结果,并提出一种在自博弈下高概率收敛到 $ε$-均衡的独立学习算法。
2023-02-20 cs.GT cs.LG math.OC
Independent Reinforcement Learning in Discounted Markov Games
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对折扣一般和马尔可夫博弈,在假设ETH与PPAD等价下证明独立学习无多项式时间算法,提出首个完全解耦的分层乐观镜像下降算法,保证次指数收敛并开发全反馈与部分反馈版本。
2026-09-02 cs.AI cs.GT cs.LG
Independent Natural Policy Gradient Methods for Potential Games: Finite-time Global Convergence with Entropy Regularization
Carnegie Mellon University(卡内基梅隆大学);Peking University(北京大学)
多智能体系统中的一个主要挑战是,系统复杂性随着智能体的数量及其动作空间的大小而急剧增长,这在现实世界的场景中是典型的,例如自动驾驶汽车,机器人团队,网络路由,因此,迫切需要设计分散或独立的算法,其中每个代理的更新仅基于其局部观察,而不需要引入复杂的通信/协调机制。在这项工作中,我们研究了有限时间收敛的独立的熵正则化自然政策梯度(NPG)方法的潜在的游戏,在代理的效用函数的差异,由于单边偏差完全匹配的一个共同的势函数。所提出的熵正则化NPG方法使每个代理根据自己的收益部署对称,分散和乘法更新。我们表明,所提出的方法收敛到量子响应均衡(QRE)-均衡的熵正则化游戏-在一个次线性的速度,这是独立的动作空间的大小和增长最次线性与代理的数量。吸引人的是,收敛速度进一步成为独立的代理商的数量的重要特殊情况下,相同的利益游戏,导致第一种方法,收敛在一个无量纲的速度。我们的方法可以作为一种平滑技术,找到一个近似的纳什均衡(NE)的非正则化问题,而无需假设平稳策略是孤立的。
2022-08-29 cs.GT cs.IT cs.LG
Learning Distributed Equilibria in Linear-Quadratic Stochastic Differential Games: An $α$-Potential Approach
Department of Mathematics, Imperial College London(伦敦帝国理工学院数学系)
本文提出一种α-势方法,用于在线性二次随机微分博弈中实现分布式均衡学习,通过理论分析和实验验证了该方法在对称和不对称交互下的收敛性与有效性。
2026-02-18 cs.LG math.OC math.PR
Horizon-Independent Contraction for Continuous-Time Discounted Regularized Mean-Field Games
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
该研究针对带折扣和熵正则化的非平稳连续时间平均场博弈,证明大折扣率下有限时域MFG满足与时域无关的收缩条件,推导了有限与无限时域均衡的收敛率及相关误差界。
2026-08-31 cs.GT cs.SY eess.SY
Policy Mirror Ascent for Efficient and Independent Learning in Mean Field Games
ETH Zürich(苏黎世联邦理工学院);RWTH Aachen University(亚琛工业大学);Google Research(谷歌研究院)
针对平均场博弈现有方法依赖种群生成模型的局限,提出基于策略镜像上升的压缩算子构造方法,实现N智能体独立学习,仅需单轨迹样本即可收敛到正则化博弈纳什均衡并给出样本复杂度保证。
2023-06-09 cs.GT cs.LG math.OC
Learning Stationary Nash Equilibrium Policies in $n$-Player Stochastic Games with Independent Chains
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
我们考虑一个子类的$n$ -球员随机游戏,其中球员有自己的内部状态/动作空间,而他们通过他们的支付功能耦合。假设参与者的内部链由独立的转移概率驱动。此外,参与者只能接收他们的收益的实现,而不是实际的功能,并且不能观察彼此的状态/动作。对于这类游戏,我们首先表明,找到一个固定的纳什均衡(NE)的政策,没有任何假设的奖励功能是互动的。然而,对于一般的奖励函数,我们开发多项式时间学习算法的基础上双平均和双镜像下降,收敛于平均Nikaido-Isoda距离的$ε$ -NE政策几乎肯定或预期。特别是,在额外的假设下的奖励功能,如社会福利,我们推导出多项式上界的迭代次数,以实现高概率的$ε$ -NE政策。最后,我们评估所提出的算法在学习$ε$ -NE政策的有效性,在智能电网的能量管理的数值实验。
2023-03-22 cs.GT cs.LG cs.MA
Another source of mesh dependence in topology optimization
拓扑优化团体已定期采用来自运筹学团体的非线性规划(NLP)算法。然而,这些算法是在实向量空间$\mathbb{R}^n$而不是设计变量所在的适当函数空间中实现的。在这篇文章中,我们展示了如何体积分数变量离散非均匀网格上的影响$\mathbb{R}^n$基于NLP算法的收敛性。我们这样做,首先总结泛函分析工具,了解为什么收敛是由网格的影响。即,导数定义之间的区别和网格依赖的内积在NLP算法中的作用。然后,这些工具被用来使全局收敛的移动渐近线法(GCMMA),一个流行的NLP算法在拓扑优化社区,收敛在一个网格独立的方式时,从相同的初始设计。然后,我们基准我们的算法在拓扑优化中的三个常见问题。
2021-11-02 cs.NA math.NA math.OC
Fully Online Decentralized Learning in Stochastic Games with Unknown Independent Chains
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对未知独立链随机博弈,提出完全在线分散的镜像下降算法,以O(T^{-1/2})遗憾率逼近平稳NE,避免指数复杂度,并给出近似粗相关均衡保证。
2026-10-02 cs.GT cs.LG cs.MA