Last-Iterate Convergence of Policy Dynamics in Zero-Sum Networked Separable Markov Games
Peking University(北京大学)
针对零和网络化可分离马尔可夫博弈,提出熵正则化乐观乘法权重更新算法,实现末次迭代近似纳什均衡,并证明近线性收敛速率。
2026-10-08 cs.GT
Infinite Horizon Markov Economies
本文提出马尔可夫伪博弈模型,证明其博弈论均衡存在性及对应经济体一般均衡存在性,引入多项式时间收敛的求解方法,将其应用于无限期界马尔可夫交换经济体,确立递归拉德纳均衡存在性并提供逼近方法,通过神经网络验证有效性。
2025-08-20 cs.GT
Nash Equilibria in Finite-Horizon Multiagent Concurrent Games
在有限时间目标的多智能体并发博弈中寻找纯策略纳什均衡的问题最近受到了一些关注。早期的工作通过使用拉宾自动机解决了这个问题。在这项工作中,我们利用代理人的目标的有限时域性质,并表明,检查和寻找纯策略纳什均衡可以使用安全游戏和套索测试在Büchi自动机的组合来完成。为了将策略推理与时间推理分开,我们通过确定性有限字自动机(DFA)对代理的目标进行建模,因为诸如LTL \textsubscript{f}和LDL \textsubscript{f}之类的有限时域逻辑是通过转换为等效DFA来推理的。这使我们能够将问题的复杂性描述为PSPACE完全。
2022-05-02 cs.GT
Empirical Policy Optimization for $n$-Player Markov Games
在单主体马尔可夫决策过程中,主体可以根据与环境的交互来优化其策略。然而,在多人马尔可夫博弈中,由于其他参与人的行为,交互是非平稳的,因此代理没有固定的优化目标。在本文中,我们把局中人策略的演化视为一个动态过程,并提出了一个新的学习方案的纳什均衡。其核心是不仅根据当前游戏中的表现,而且还根据历史上的表现来制定策略。我们表明,对于各种MG,玩家在我们的学习计划将证明收敛到一个点,这是一个近似的纳什均衡。结合神经网络,我们开发了\emph{empirical policy optimization}算法,该算法在一个学习框架中实现,并以分布式方式运行,每个玩家根据自己的观察优化其策略。我们用两个数值例子来验证小规模的MG与$n\ge 2$球员的收敛性,和一个乒乓球的例子来显示我们的算法在大型游戏的潜力。
2021-10-18 cs.GT
Convergence of Fast Policy Iteration in Markov Games and Robust MDPs
University of New Hampshire(新罕布什尔大学);Naval Postgraduate School(海军研究生学院)
针对马尔可夫博弈与鲁棒MDPs的鞍点策略计算问题,指出FT算法存在收敛失效问题,提出基于FT的残差条件策略迭代(RCPI)算法,保证收敛到鞍点且性能远超其他收敛算法。
2025-11-16 cs.GT
A Markov Game Model for AI-based Cyber Security Attack Mitigation
新一代网络威胁利用先进的人工智能辅助方法,使其能够发起多阶段,动态和有效的攻击。当前的网络防御系统在防御这些新的和正在出现的威胁方面遇到了各种挑战。通过博弈论模型对人工智能辅助的威胁进行建模,可以帮助防御者选择最佳策略来应对攻击,并做出明智的决策来减轻攻击的影响。本文首先探讨了新一代威胁的当前最新技术水平,其中深度神经网络等AI技术被用于攻击者,并讨论了进一步的挑战。本文提出了一个马尔可夫动态博弈模型,在云计算环境下,攻击者利用人工智能技术,通过寻找最短攻击路径发起高级攻击,并利用CVSS度量来量化该零和博弈模型的价值,以便于决策。
2021-07-20 cs.GT
Near-Optimal Last-iterate Convergence of Policy Optimization in Zero-sum Polymatrix Markov games
针对有限时域多人零和多矩阵 Markov 博弈,提出 ER-OMWU 单循环策略优化算法,以近最优的 $\ ilde{O}(1/ε)$ 最后迭代复杂度求得 $ε$-近似 Nash 均衡。
2023-08-16 cs.GT
Markov Games with Decoupled Dynamics: Price of Anarchy and Sample Complexity
本文研究动态解耦但奖励可耦合的马尔可夫博弈,引入平滑性概念界定无政府代价,并为马尔可夫势博弈提出可证明收敛至纳什均衡的分布式学习算法MA-SPI及样本复杂度。
2023-04-07 cs.GT math.OC
Beyond Theorems: A Counterexample to Potential Markov Game Criteria
针对Mguni等人提出的放宽版马尔可夫势博弈必要条件下可高效计算确定性纳什均衡的主张,本文通过构造反例对其进行了反驳。
2024-05-13 cs.GT cs.MA
Infinite horizon for symetric strategy population game
为了预测时间变得很长时种群博弈的行为,我们的博弈动态演化的特征过程必须是可逆的。已知的游戏满足这是2战略游戏以及潜在的游戏与指数协议。我们将尝试扩展无限视野的研究,即所谓的对称策略博弈。
2023-01-06 cs.GT math.PR
Zero-Sum Semi-Markov Games with State-Action-Dependent Discount Factors
半马尔可夫模型是随机动态系统的最一般模型之一。本文研究半马氏过程的二人零和对策。我们专注于期望贴现支付准则与国家行动依赖的折扣因子。状态空间和动作空间都是波兰空间,支付函数是$ω$ -有界的。我们首先在一个给定的半马尔可夫核和一对策略下构造了一个相当一般的半马尔可夫博弈模型。其次,基于半马尔可夫对策的标准正则性条件和连续紧性条件,在半马尔可夫核上导出了一个“漂移条件”,并假设折扣因子有一个正下界,在此条件下,利用Shapley方程证明了半马尔可夫对策的价值函数和一对最优平稳策略的存在性.此外,当状态和行动空间都是有限的,价值迭代型算法计算的价值函数和$\varepsilon$ -纳什均衡的游戏。并证明了算法的收敛性。最后,我们进行数值例子来证明我们的主要结果。
2021-03-06 cs.GT math.OC
The Lagrangian Method for Solving Constrained Markov Games
本文提出拉格朗日博弈概念,并通过原始-对偶迭代方法求解带约束马尔可夫博弈,证明其解序列收敛到原博弈的非平稳纳什解。
2025-03-13 cs.GT math.OC
Tolling for Constraint Satisfaction in Markov Decision Process Congestion Games
马尔可夫决策过程(Markov decision process,MDP)拥塞博弈是经典拥塞博弈的一种扩展,其中自私代理的连续种群解决了具有拥塞的马尔可夫决策过程:策略的收益随着更多的种群使用它而减少。特别是,我们表明,在MDP拥挤游戏中的人口质量约束相当于对奖励函数施加通行费/激励,社会规划者可以利用它来实现辅助目标。我们在一个模拟的西雅图乘车共享模型中演示了这种方法,其中收费和激励措施是为了两个独立的目标而实施的:保证西雅图市中心的最小驾驶员密度,并将游戏均衡转向最大的社会产出。
2019-03-02 cs.GT math.OC
On Zero-Sum Two Person Perfect Information Semi-Markov Games
零和二人完全信息半马尔可夫博弈在有限比率平均支付下存在一个值,最大者和最小者都有最优纯半平稳策略。我们得到的结果,首先固定一个任意的初始状态,并形成对应于每对纯静态策略的两个球员的未贴现收益矩阵,并证明该矩阵有一个纯鞍点。
2023-02-14 cs.GT math.OC
The Complexity of Markov Equilibrium in Stochastic Games
我们表明,计算近似平稳马尔可夫粗相关均衡(CCE)的一般和随机游戏是计算上难以处理的,即使有两个球员,游戏是回合制的,折扣因子是一个绝对常数,和近似是一个绝对常数。我们的棘手的结果形成鲜明对比,正规形式的游戏,确切的CCE是有效的计算。更重要的是,我们的研究结果意味着,有没有有效的算法学习平稳马尔可夫CCE政策在多智能体强化学习(MARL),即使是当互动是两个球员和回合为基础的,和折扣因子和所需的近似学习的政策是一个绝对常数。反过来,这些结果与单智能体强化学习(RL)形成鲜明对比,其中可以有效地学习接近最优的平稳马尔可夫策略。补充我们的棘手的结果平稳马尔可夫CCE,我们提供了一个分散的算法(假设玩家之间共享的随机性)学习非平稳马尔可夫CCE政策与多项式时间和样本的复杂性,在所有的问题参数。以前学习马尔可夫CCE策略的工作都需要指数时间和参与者数量的样本复杂度。
2022-04-08 cs.GT cs.LG
Independent Natural Policy Gradient Always Converges in Markov Potential Games
University of California, Irvine(加州大学欧文分校)
多智能体强化学习已经成功地应用于完全合作和完全竞争的环境中,但目前对混合合作/竞争环境知之甚少。在本文中,我们专注于一类特殊的多智能体混合合作/竞争的随机游戏称为马尔可夫势游戏(MPGs),其中包括合作游戏作为一种特殊情况。最近的研究结果表明,独立的策略梯度收敛MPG,但它是不知道是否独立的自然策略梯度收敛MPG以及。我们证明了独立自然策略梯度总是收敛在最后一个收敛使用常数学习率。证明偏离了现有的方法,主要的挑战在于马尔可夫势博弈没有唯一的最优值(如单智能体设置所示),因此不同的初始化可能导致不同的极限点值。我们补充我们的理论结果与实验表明,自然策略梯度优于策略梯度在路由游戏和拥塞游戏。
2021-10-20 cs.GT cs.LG
On Non-Cooperative Perfect Information Semi-Markov Games
本文证明N人非合作完全信息半马尔可夫博弈在极限比率平均收益下存在纯半平稳纳什均衡,通过归约为SMDP简化证明,并用Mondal算法求解。
2024-02-26 cs.GT math.OC
Robustness and sample complexity of model-based MARL for general-sum Markov games
多智能体强化学习(MARL)通常使用马尔可夫博弈(也称为随机博弈或动态博弈)的框架建模。现有的文献大多集中在零和马尔可夫博弈,但不适用于一般和马尔可夫博弈。众所周知,一般和马尔可夫博弈中的最佳反应动态不是收缩。因此,一般和马尔可夫博弈中的不同均衡可以有不同的值。此外,Q函数不足以完全表征平衡。考虑到这些挑战,基于模型的学习是一个有吸引力的方法MARL在一般和马尔可夫游戏。在本文中,我们调查的基本问题,\emph{sample complexity}的一般和马尔可夫博弈模型为基础的MARL算法。我们展示了两个结果。我们首先使用Hoeffding不等式为基础的界限表明,$\tilde{\mathcal{O}}( (1-γ)^{-4} α^{-2})$样本每个状态-动作对是足够的,以获得一个$α$近似马尔可夫完美均衡与高概率,其中$γ$是折扣因子,和$\tilde{\mathcal{O}}(\cdot)$符号隐藏对数项。然后,我们使用Bernstein不等式为基础的界限表明,$\tilde{\mathcal{O}}( (1-γ)^{-1} α^{-2} )$样本是足够的。为了得到这些结果,我们研究了马尔可夫完美均衡对模型近似的鲁棒性。我们证明了近似(或扰动)博弈的马尔可夫完美均衡总是原博弈的近似马尔可夫完美均衡,并提供了近似误差的明确界。我们通过一个数值例子来说明结果。
2022-12-19 cs.GT cs.MA cs.SY
PAC Reinforcement Learning Algorithm for General-Sum Markov Games
University of Delaware(特拉华大学)
本文提出了一个理论框架,可能近似正确(PAC)的多智能体强化学习(MARL)算法的马尔可夫博弈。本文利用延迟Q学习的思想,对著名的Nash Q-学习算法进行了扩展,建立了一种新的求解一般和马尔可夫对策的PAC MARL算法。除了指导可证明的PAC MARL算法的设计外,该框架还可以检查任意MARL算法是否是PAC。比较数值结果表明性能和鲁棒性。
2020-09-05 cs.GT cs.LG math.OC
Global Convergence of Multi-Agent Policy Gradient in Markov Potential Games
SUTD(新加坡科技设计大学);UC Irvine(加州大学尔湾分校)
本文提出马尔可夫势博弈的新定义,揭示其与规范形式势博弈的关键差异,并证明独立策略梯度在多智能体设置下能快速收敛到纳什策略。
2025-09-23 cs.GT cs.LG
Minimally Modifying a Markov Game to Achieve Any Nash Equilibrium and Value
University of Wisconsin–Madison(威斯康星大学麦迪逊分校);Cornell University(康奈尔大学)
研究零和马尔可夫博弈修改问题,通过最小化成本修改奖励函数使目标策略成为唯一纳什均衡,提出基于凸优化的高效算法并给出成功安装的充要条件。
2024-08-24 cs.AI cs.GT
$Q$ Can Play That Game: Online Fitted $Q$-Iteration for Continuous-Action Zero-Sum Markov Games with Convex-Concave Function Approximation
The University of Texas at Austin(德克萨斯大学奥斯汀分校);The University of California, Berkeley(加州大学伯克利分校);Massachusetts Institute of Technology (MIT) Lincoln Labs(麻省理工学院林肯实验室)
针对连续动作零和马尔可夫博弈,提出凸-凹函数逼近的在线拟合Q-迭代方法,首次为非LQ博弈提供有限样本保证。
2026-10-06 cs.GT cs.MA
Markov $α$-Potential Games
Imagination Corp.(想象力公司);Fictional University(虚构大学)
本文提出了 Markov $α$-势博弈框架来研究有限状态和动作的 Markov 博弈,证明了 $α$-势函数优化器即为 $α$-平稳纳什均衡,并分析了两种实际博弈类别与两种均衡近似算法的 Nash 后悔。
2025-04-01 cs.AI cs.GT cs.MA
Markov Chains of Evolutionary Games with a Small Number of Players
本文构建并研究了有限参与者演化博弈的马尔可夫链转移概率矩阵,基于Sandholm的简化种群博弈框架,通过迭代囚徒困境等示例及多种修正协议,显式构建MC转移概率矩阵并分析其性质。
2025-06-29 cs.GT math.OC
Approximate State Abstraction for Markov Games
The University of Electro-Communications(电气通信大学);CyberAgent
本文研究双人零和马尔可夫博弈的状态抽象方法,通过合并状态降低计算均衡的难度,推导了对偶间隙的界限以评估抽象后博弈均衡解与原博弈的距离,并在马尔可夫足球中验证了该方法。
2024-12-20 cs.AI cs.GT cs.MA
Optimistic Policy Gradient in Multi-Player Markov Games with a Single Controller: Convergence Beyond the Minty Property
Meta AI;University of California Irvine(加州大学欧文分校);Archimedes research unit(阿基米德研究单元);Massachusetts Institute of Technology(麻省理工学院);Strategy Robot, Inc.(战略机器人公司);Strategic Machine, Inc.(战略机器公司);Optimized Markets, Inc.(优化市场公司);Carnegie Mellon University(卡内基梅隆大学)
本文提出新框架,证明在均衡坍缩假设下,单控制器多玩家马尔可夫博弈的乐观策略梯度方法以O(1/ε²)迭代收敛到平稳ε-NE,并引入推广的Minty性质绕过复杂性障碍。
2023-12-21 cs.GT cs.LG
$O(T^{-1})$ Convergence of Optimistic-Follow-the-Regularized-Leader in Two-Player Zero-Sum Markov Games
University of Chicago(芝加哥大学)
我们证明了乐观跟随正则化领导者(OFTRL),连同光滑的值更新,发现一个$O(T^{-1})$ -近似纳什均衡在$T$迭代的两个球员零和马尔可夫游戏的充分信息。这提高了最近在Zhang等人(2022)的论文中显示的$\tilde{O}(T^{-5/6})$收敛速度。精确的分析取决于两个基本要素。首先,两个参与者的遗憾之和,虽然不一定像正规型博弈那样为非负,但在马尔可夫博弈中近似为非负。这个属性允许我们限制学习动态的二阶路径长度。其次,我们证明了一个更严格的代数不等式部署OFTRL的权重剃一个额外的$\log T$因素。这一关键改进使得能够进行归纳分析,从而得出最终的$O(T^{-1})$速率。
2023-02-09 cs.GT cs.LG
Playing Markov Games Without Observing Payoffs
Department of Electrical Engineering, University of Tel Aviv, Tel Aviv, Israel(电信工程系,特拉维夫大学,特拉维夫,以色列)
本文提出了一种在不观察收益情况下,通过在线学习与对手竞争的马尔可夫游戏方法,扩展了对称性概念并实现了多项式时间复杂度的算法。
2026-01-28 cs.GT cs.LG
Sensitivity Analysis for Markov Decision Process Congestion Games
我们考虑一个非原子拥塞游戏,每个决策者执行自私的优化状态的一个共同的MDP。决策者对自己的期望成本进行优化,并通过阻塞效应对国家行动成本的影响相互影响。我们分析了MDP拥塞博弈均衡对状态-行动成本的不确定性和扰动的敏感性。定义了随机Braess悖论的发生,基于博弈均衡的敏感性进行了分析,并在仿真中进行了演示。我们进一步分析了与确定性动力学相比,随机动力学的引入如何影响布雷斯悖论的大小。
2019-09-12 cs.GT math.OC
Corruption-Robust Offline Two-Player Zero-Sum Markov Games
University of Warwick(华威大学)
研究离线双人零和马尔可夫博弈中数据腐败的鲁棒性,提出鲁棒悲观极小极大值迭代算法,在腐败数据或仅干净数据覆盖下实现近最优次优性差距,首次给出此类问题的刻画。
2024-03-04 cs.GT cs.LG
Optimal control and zero-sum games for Markov chains of mean-field type
利用全变差距离,通过不动点论证,证明了具有无界跳强度的平均场型马尔可夫链的存在性。我们进一步证明了近最优控制的存在性,并利用马尔可夫链后向近似方法,分别给出了平均场型支付泛函的控制问题和零和微分对策在平均场型马尔可夫链驱动下的最优控制和鞍点的存在条件.
2017-08-27 cs.GT math.OC math.PR
Soft-Bellman Equilibrium in Affine Markov Games: Forward Solutions and Inverse Learning
Oden Institute for Computational Engineering and Sciences(奥登计算工程与科学研究所);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
提出仿射马尔可夫博弈与软贝尔曼均衡概念,给出存在唯一性条件,并用非线性最小二乘和投影梯度算法分别求解前向均衡与逆奖励参数推断问题,实验证明推断精度显著优于基线。
2023-09-08 cs.GT cs.LG
Private Markovian Equilibrium in Stackelberg Markov Games for Smart Grid Demand Response
University of Chinese Academy of Sciences(中国科学院大学);Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院)
本文针对智能电网需求响应构建了聚合器与用户间的Stackelberg Markov博弈,引入私有状态及私有马尔可夫均衡概念,证明其存在性及多项式时间可计算性,并提出结合集中式与分散式算法的可扩展求解框架,有效支持多达50个用户的场景。
2025-09-06 cs.GT cs.SY eess.SY
Zero-sum Polymatrix Markov Games: Equilibrium Collapse and Efficient Computation of Nash Equilibria
本文针对零和多人矩阵马尔可夫博弈,通过证明粗相关均衡坍缩为纳什均衡,实现了ε-近似纳什均衡的高效计算。
2023-05-29 cs.GT cs.MA cs.SI
When is Offline Two-Player Zero-Sum Markov Game Solvable?
我们研究什么样的数据集假设允许解决离线两个玩家零和马尔可夫游戏。在形成鲜明对比的离线单代理马尔可夫决策过程中,我们表明,单一的战略浓度假设是不足以学习的纳什均衡(NE)的策略,在离线两个球员零和马尔可夫游戏。另一方面,我们提出了一个新的假设命名为单边浓度,并设计了一个悲观型算法,证明是有效的,在此假设下。此外,我们表明,单边浓度的假设是必要的学习NE策略。此外,我们的算法可以实现极大极小样本的复杂性没有任何修改的两个广泛研究的设置:数据集与均匀浓度假设和回合为基础的马尔可夫游戏。我们的工作是理解离线多智能体强化学习的重要的第一步。
2022-10-14 cs.AI cs.GT cs.LG
Multi-Player Zero-Sum Markov Games with Networked Separable Interactions
Massachusetts Institute of Technology(麻省理工学院);University of Maryland(马里兰大学)
研究具有网络化可分离交互的多玩家零和马尔可夫博弈,证明其均衡塌缩特性与计算复杂度,并提出基于虚拟博弈和值迭代的算法及收敛保证。
2025-07-12 cs.GT cs.LG
Convergence to Nash Equilibrium and No-regret Guarantee in (Markov) Potential Games
Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));University of Waterloo(滑铁卢大学)
针对随机成本与赌博机反馈下的势博弈及马尔可夫势博弈,提出带充分探索和递归梯度估计的 Frank-Wolfe 变体,实现纳什均衡收敛、次线性遗憾,并将马尔可夫情形的纳什遗憾改进至 O(T^{4/5})。
2024-04-04 cs.GT cs.LG
Provably Efficient Policy Optimization for Two-Player Zero-Sum Markov Games
Tsinghua University(清华大学);Meta AI Research(Meta人工智能研究院);Princeton University(普林斯顿大学);University of Washington(华盛顿大学)
基于策略的函数逼近方法被广泛用于求解具有较大状态和/或动作空间的两人零和博弈。然而,它仍然难以捉摸如何获得优化和统计保证这样的算法。我们提出了一个新的政策优化算法与函数逼近,并证明了在标准的正则性条件下的马尔可夫博弈和函数逼近类,我们的算法发现一个接近最优的政策内的多项式数量的样本和迭代。据我们所知,这是第一个证明有效的政策优化算法与函数近似,解决两个球员零和马尔可夫游戏。
2022-02-26 cs.GT cs.LG math.OC
The Convergence Rates of Blockchain Mining Games: A Markovian Approach
了解区块链中矿工的策略行为对于其正确运营至关重要。采矿游戏的一个常见模型考虑无限时间范围,玩家优化渐近平均目标。隐含地,这假设渐近行为是在人类尺度的时间实现的,否则使当前的模型无效。我们利用马尔可夫决策过程研究采矿博弈。我们的方法使我们能够描述的渐近行为的诱导马尔可夫链的平稳分布的游戏。我们专注于一个模型,两个球员立即释放,假设两个不同的目标:(渐近)平均奖励每回合和(渐近)获得块的百分比。使用工具从马尔可夫链分析,我们表明存在一个策略,实现缓慢的混合时间,指数的政策参数。这一结果强调了理解挖矿游戏中收敛速度的迫切需要,验证了标准模型。为此,我们提供了上界的混合时间的某些有意义的类的策略。这一结果产生的标准,建立长期平均功能是连贯的支付功能。此外,通过研究击中时间,我们提供了一个标准来验证考虑有限状态模型的常见简化。对于这两个考虑的目标函数,我们提供了明确的公式取决于底层马尔可夫链的平稳分布。特别是,这表明上述两个目标并不等同。最后,我们进行了市场份额的案例研究,在一个特定的制度的游戏。更确切地说,我们表明,一个具有足够大的处理能力的战略玩家可以对诚实的玩家施加负收入。
2021-07-16 cs.CR cs.GT
Uncoupled and Convergent Learning in Two-Player Zero-Sum Markov Games with Bandit Feedback
Yale University(耶鲁大学);University of Southern California(南加州大学);University of Virginia(弗吉尼亚大学)
该研究针对带赌博机反馈的两人零和马尔可夫博弈,提出完全非耦合的熵正则化学习算法,给出多场景下的非渐近收敛速率,消除了同类研究的协调、先验知识及通信要求。
2023-11-08 cs.GT cs.LG
Globalized Robust Markov Perfect Equilibrium for Discounted Stochastic Games and its Application on Intrusion Detection in Wireless Sensor Networks: Part I -- Theory
在这篇文章中,我们研究了一个折扣随机博弈模型的无线传感器网络中的资源最优入侵检测。为了解决网络参数不确定性的问题,我们提出了一个全球化的折扣鲁棒随机博弈的鲁棒博弈理论框架。一个强大的解决方案所考虑的问题是一个最佳的点,是可行的所有实现的数据从一个给定的不确定性集。为了允许在参数移出不确定性集时有控制地违反约束,全球化鲁棒框架的概念应运而生。在这篇文章中,我们制定了一个全球化的鲁棒对应的折扣随机博弈考虑。借助全局鲁棒优化的思想,提出了全局鲁棒马尔可夫完美均衡的概念。当参与人的行动次数有限时,折扣随机博弈证明了这种均衡的存在性。利用压缩映射定理、Kakutani不动点定理和等度连续的概念证明了该结果的存在性。为了计算所考虑的折扣随机博弈的全球化鲁棒马尔可夫完美均衡,还提供了所提出的全球化鲁棒对应物的易于处理的表示。使用推导出的易处理的表示,我们制定了一个全球化的强大的无线传感器网络入侵检测系统。仿真结果表明,所提出的全球化解决方案是更少的数据扰动的敏感性比鲁棒解决方案。
2019-10-28 cs.GT math.OC
Independent Policy Gradient for Large-Scale Markov Potential Games: Sharper Rates, Function Approximation, and Game-Agnostic Convergence
University of Southern California(南加州大学);Massachusetts Institute of Technology(麻省理工学院)
研究了马尔可夫势博弈中多智能体强化学习(RL)问题的策略梯度方法的全局非渐近收敛性.为了学习纳什均衡的MPG中的状态空间的大小和/或玩家的数量可以是非常大的,我们提出了新的独立的策略梯度算法,是由所有玩家串联运行。当梯度评估中没有不确定性时,我们证明了我们的算法找到了具有$O(1/ε^2)$迭代复杂度的$ε$ -纳什均衡,该迭代复杂度不显式地依赖于状态空间大小。当精确的梯度是不可用的,我们建立$O(1/ε^5)$样本复杂性界在一个潜在的无限大的状态空间的基于样本的算法,利用函数逼近。此外,我们确定了一类独立的策略梯度算法,享有收敛的零和马尔可夫游戏和马尔可夫合作游戏的球员,是不知道正在玩的游戏类型。最后,我们提供了计算实验来证实我们的理论发展的优点和有效性。
2022-08-04 cs.GT cs.LG cs.MA
Successor Features for Transfer in Alternating Markov Games
针对多智能体博弈中传统知识迁移依赖任务相似度、差异大时易失效的问题,本文提出基于后继特征的GGPI算法,实现博弈间价值与策略迁移,推导迁移误差上界,实验验证其在追逃博弈中性能优于基线。
2025-07-29 cs.GT cs.MA
Cluster Forming of Multiagent Systems in Rolling Horizon Games with Non-uniform Horizons
共识和集群形成的多智能体系统在面对干扰攻击以及反应性恢复行动的防御者进行了讨论。攻击者能够禁用网络的一些边缘,目的是将代理划分为较小大小的集群,而作为响应,防御者通过增加传输功率来恢复一些边缘。我们考虑重复的游戏,由此产生的最佳策略,为两个球员是在滚动的地平线时尚。攻击者和防御者拥有不同的计算能力来计算他们的策略。这方面表现为地平线长度和游戏周期的非均匀值。理论分析和仿真结果表明了视野长度和博弈周期对代理人状态的影响。
2023-01-26 cs.GT cs.MA cs.SY
Independent Learning of Nash Equilibria in Partially Observable Markov Potential Games with Decoupled Dynamics
SYCAMORE, EPFL(SYCAMORE,瑞士联邦理工学院)
本文研究了在可部分观测马尔可夫博弈(POMG)中纳什均衡的学习问题,提出了一种独立学习算法,通过不通信的方式,使玩家在仅观察自身动作和观测的情况下,联合收敛到近似纳什均衡,从而实现高效的样本和计算复杂度。
2026-11-10 cs.GT cs.LG cs.MA
Breaking the Curse of Multiagents in a Large State Space: RL in Markov Games with Independent Linear Function Approximation
University of Washington(华盛顿大学);University of Maryland, College Park(马里兰大学帕克分校)
针对大状态空间多智能体强化学习,提出独立线性马尔可夫博弈模型及新算法,以多项式样本复杂度学习均衡,打破多智能体诅咒,并改进表格情形下的最优结果。
2023-06-21 cs.AI cs.GT cs.LG
Convex Markov Games: A New Frontier for Multi-Agent Reinforcement Learning
College of Computing, MIT, Cambridge, MA, USA(麻省理工学院计算机学院);Google DeepMind, London, UK(谷歌深Mind)
针对序贯决策中偏好无法按时间加性分解的问题,提出支持凸偏好的凸马尔可夫博弈,证明其存在纯策略纳什均衡并给出梯度下降近似方法,实验验证其在多类博弈和场景中可实现更优公平、安全及效用表现。
2025-06-16 cs.AI cs.GT cs.MA
Towards General Function Approximation in Zero-Sum Markov Games
Peking University(北京大学);Princeton University(普林斯顿大学);Northwestern University(西北大学)
本文研究了两人同时行动的零和有限时域马尔可夫对策。该研究的重点是具有挑战性的设置,其中的价值函数或模型参数化的一般功能类。证明有效的算法解耦和{协调}设置的开发。在{解耦}设置的代理控制一个单一的球员和发挥对任意对手,我们提出了一个新的无模型算法。样本的复杂性取决于极小极大逃避维数--马尔可夫博弈中函数类的一个新维数。作为一种特殊情况,该方法改进了国家的最先进的算法,通过$\sqrt{d}$因素的遗憾时,奖励函数和过渡核参数化与$d$维线性特征。在{coordinated}设置中,双方球员都控制的代理,我们提出了一个基于模型的算法和无模型的算法。在基于模型的算法中,我们证明了样本的复杂性可以有界的推广的证人秩马尔可夫游戏。无模型算法具有$\sqrt{K}$ -后悔上界,其中$K$是发作次数。
2021-10-30 cs.GT cs.LG stat.ML
Independent Reinforcement Learning in Discounted Markov Games
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对折扣一般和马尔可夫博弈,在假设ETH与PPAD等价下证明独立学习无多项式时间算法,提出首个完全解耦的分层乐观镜像下降算法,保证次指数收敛并开发全反馈与部分反馈版本。
2026-09-02 cs.AI cs.GT cs.LG
High-Probability Nash Regret for Decentralized Learning in Markov $α$-Potential Games: Episodic and Fully Online Asynchronous Algorithms with Applications to Markov Congestion Games
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对马尔可夫α-势博弈,提出KL投影自然策略梯度算法,在情节式和完全在线异步设置下实现高概率纳什遗憾界,消除分布不匹配系数,并应用于马尔可夫拥塞博弈的在线作业调度。
2026-09-15 cs.GT cs.LG cs.MA
Stochastic Game with Interactive Information Acquisition: Pipelined Perfect Markov Bayesian Equilibrium
本文针对带双阶段信息获取与行动结构的多参与者一般和随机博弈,提出融合马尔可夫完美均衡与完美贝叶斯均衡的PPME概念,通过不动点对齐原理给出其可验证充要条件。
2023-10-05 cs.GT cs.SY eess.SY
Common Information based Markov Perfect Equilibria for Linear-Gaussian Games with Asymmetric Information
University of Southern California(南加州大学);Coordinated Science Laboratory at the University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校联合科学实验室)
本文研究了具有不对称信息的线性高斯博弈,提出基于公共信息的马尔可夫完美均衡概念,通过求解线性方程组计算均衡,并讨论了二次成本函数下的唯一性及与其他纳什均衡的区别。
2014-01-20 cs.GT cs.SY eess.SY
Data Poisoning to Fake a Nash Equilibrium in Markov Games
University of Wisconsin - Madison(威斯康星大学麦迪逊分校)
该研究刻画了离线多智能体强化学习的数据投毒攻击,提出唯一纳什集概念,通过线性规划高效计算最优投毒策略,为设计鲁棒MARL算法奠定基础。
2024-06-18 cs.AI cs.CR cs.GT
Efficiently Computing Nash Equilibria in Adversarial Team Markov Games
University of California, Irvine(加州大学欧文分校);Carnegie Mellon University(卡内基梅隆大学);Columbia University(哥伦比亚大学);University of California, Santa Cruz(加州大学圣克鲁兹分校)
纳什均衡策略的求解是多智能体强化学习的核心问题,在理论和实践中都受到了广泛的关注。然而,迄今为止,可证明的保证要么仅限于完全竞争或合作的情况,要么强加了在大多数实际应用中难以满足的强有力的假设。在这项工作中,我们离开这些先前的结果调查无限地平线\emph{adversarial team Markov games},一个自然的和动机良好的一类游戏中,一队同样感兴趣的球员-在没有任何明确的协调或沟通-是竞争对手的球员。这种设置允许零和马尔可夫博弈和马尔可夫势博弈的统一处理,并作为一个步骤,以模拟更现实的战略互动,同时具有竞争和合作的利益。我们的主要贡献是第一个算法计算平稳$ε$ -近似纳什均衡的对抗团队马尔可夫游戏的计算复杂性是多项式的所有自然参数的游戏,以及$1/ε$。所提出的算法是特别自然和实用的,它是基于执行独立的策略梯度步骤,为每个球员在团队中,在串联与最佳对策从对手的一方,反过来,对手的政策,然后通过求解一个精心构造的线性规划。我们的分析利用非标准的技术来建立KKT最优性条件的非凸约束的非线性规划,从而导致自然的解释诱导拉格朗日乘子。一路上,我们显着扩展了对抗(正常形式)团队游戏中的最优策略的重要特征,由于Von Stengel和Koller(GEB '97)。
2022-08-03 cs.GT cs.LG cs.MA