Strategic Decompositions of Normal Form Games: Zero-sum Games and Potential Games
我们研究了新的游戏类，称为零和等价游戏和零和等价潜在的游戏，并证明了分解定理涉及这些游戏类。我们说两个博弈是“战略等价的”，如果对每个参与者来说，两个策略之间的收益差异（保持其他参与者的策略不变）是相同的。零和等价博弈是一种在战略上等价于零和博弈的博弈;零和等价势博弈是一种在战略上等价于共同利益博弈的零和等价博弈。我们也称一个博弈为“正规化”，如果一个参与人的收益之和，给定其他参与人的策略，总是为零。我们证明了任何范式博弈都可以被唯一地分解为（i）零和等价博弈和规范化的共同利益博弈，或者（ii）零和等价势博弈、规范化零和博弈和规范化的共同利益博弈，每一个博弈都具有独特的均衡性质。例如，我们表明，两个玩家的零和等价游戏有限的策略集一般有一个唯一的纳什均衡和两个玩家的零和等价的潜在的游戏有限的策略集一般有一个严格的优势纳什均衡。
2020-05-19 cs.GT
A Study of Gradient Descent Schemes for General-Sum Stochastic Games
Indian Institute of Science（印度科学学院）
零和随机博弈很容易解决，因为它们可以被转换为简单的马尔可夫决策过程。然而，这不是一般和随机游戏的情况。Filar和Vrieze [2004]给出了一般和随机博弈的一个相当一般的优化问题公式。然而，该优化问题具有非线性目标和非线性约束，具有特殊的结构。由于这个优化问题的目标和约束的梯度都被很好地定义，基于梯度的方案似乎是一个自然的选择。我们讨论了两人随机博弈的梯度调整方案。我们在模拟中表明，该计划确实收敛到一个纳什均衡，一个简单的地形勘探问题建模为一般和随机游戏。然而，事实证明，只有全局最小值的优化问题对应的基本一般和随机博弈的纳什均衡，而梯度计划只能保证收敛到局部最小值。然后，我们提供了重要的必要条件梯度计划收敛到纳什均衡一般和随机游戏。
2015-07-01 cs.GT cs.LG
Simple Characterizations of Potential Games and Zero-sum Games
我们提供了几个测试，以确定是否一个游戏是一个潜在的游戏，或者它是否是一个零和等价游戏-一个游戏，这是战略上等同于一个零和游戏，以同样的方式，一个潜在的游戏是战略上等同于一个共同利益的游戏。我们提出了一个统一的框架，适用于潜在的和零和等价的游戏，通过推导出这些游戏的一个简单但有用的表征。这使我们能够重新推导出潜在游戏的已知标准，以及获得几个新的标准。特别是，我们证明了（1）新的积分测试潜在的游戏和零和等价的游戏，（2）一个新的衍生测试的零和等价的游戏，（3）一个新的代表性的零和等价的游戏。
2020-02-24 cs.GT
Policy Invariance under Reward Transformations for General-Sum Stochastic Games
Carleton University（卡尔顿大学）；Royal Military College of Canada（加拿大皇家军事学院）
我们扩展了潜在的成形方法从马尔可夫决策过程的多人一般和随机游戏。我们证明了纳什均衡在一个随机游戏保持不变后，潜在的塑造应用于环境。策略不变性的性质提供了一种可能的方法来加快收敛时，学习玩随机游戏。
2014-01-16 cs.GT cs.LG
Open-ended Learning in Symmetric Zero-sum Games
DeepMind（深度思维）
像国际象棋和扑克这样的零和游戏，抽象地说，是评估成对代理的函数，例如将它们标记为“赢家”和“输家”。如果博弈是近似可传递的，那么自我博弈会产生一系列实力不断增强的主体。然而，非传递性游戏，如剪刀石头布，可以表现出战略周期，不再有一个明确的目标-我们希望代理人增加实力，但对谁是不清楚的。在本文中，我们介绍了一个几何框架，制定代理目标的零和游戏，以构建自适应序列的目标，产生开放式学习。该框架使我们能够在非传递博弈中推理种群性能，并能够开发一种新的算法（修正纳什响应，PSRO_rN），该算法使用博弈论小生境来构建不同的有效代理种群，产生比现有算法更强的代理集。我们应用PSRO_rN两个高度非传递的资源分配游戏，并发现PSRO_rN始终优于现有的替代品。
2019-05-13 cs.GT cs.LG cs.MA
$O\left(1/T\right)$ Time-Average Convergence in a Generalization of Multiagent Zero-Sum Games
我们介绍了一个推广的零和网络多智能体矩阵游戏，并证明了交替梯度下降收敛到纳什均衡的速度$O(1/T)$这一套游戏。交替梯度下降在使用比梯度下降的乐观变体大四倍的固定学习率的同时获得这种收敛保证。在实验中，我们以97.5%的置信度表明，平均而言，这些较大的学习率导致时间平均策略比乐观梯度下降更接近纳什均衡集2.585倍。
2021-10-06 cs.GT cs.MA
Computing Stackelberg Equilibria of Large General-Sum Games
研究了一般和博弈中寻找Stackelberg均衡的计算复杂性，其中领导者和追随者的纯策略集在问题的自然表示中是指数大的.在\emph{zero-sum}博弈中，Stackelberg均衡的概念与\emph{Nash Equilibrium} ~ \cite{korzhyk2011stackelberg}的概念一致。在零和博弈中，当参与者有多项式多个纯策略或者（除了一些结构属性）有最佳反应预言（\cite{ahmadinejad2016duels, DHL+17, KV05}）时，可以有效地找到这些均衡概念。尽管在零和博弈方面取得了如此大的进展，但对一般和博弈却知之甚少。鉴于上述情况，我们研究了在大型一般和博弈中计算Stackelberg均衡的计算复杂性。我们表明，虽然有自然的大一般和游戏的Stackelberg均衡可以有效地计算，如果纳什均衡在其零和形式可以有效地计算，在一般情况下，结构特性，允许有效计算纳什均衡在零和游戏是不足以计算Stackelberg均衡在一般和游戏。
2019-09-07 cs.GT
$Q$ Can Play That Game: Online Fitted $Q$-Iteration for Continuous-Action Zero-Sum Markov Games with Convex-Concave Function Approximation
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；The University of California, Berkeley（加州大学伯克利分校）；Massachusetts Institute of Technology (MIT) Lincoln Labs（麻省理工学院林肯实验室）
针对连续动作零和马尔可夫博弈，提出凸-凹函数逼近的在线拟合Q-迭代方法，首次为非LQ博弈提供有限样本保证。
2026-10-06 cs.GT cs.MA
On zero-sum game formulation of non zero-sum game
本文考虑一个非零和n人对策由一个n+1人零和对策构成。我们假设在主博弈中除了n个局中人之外还存在第n+1个局中人，并且第n+1个局中人对n个局中人提供虚拟补贴。它的策略变量只影响补贴，不影响主博弈中n个参与者的策略选择。他的目标函数与n个参与人的收益之和相反。我们将证明1）Sion（Sion（1958））的极小极大定理暗示了n个局中人非零和对策的Nash均衡的存在性。2){1，2，\dots，n}中每个局中人的极大极小策略与第n+1个局中人的极大极小策略等价于n个局中人非零和对策的纳什均衡策略。3)n个局中人非零和对策的Nash均衡的存在性对n个局中人中的每一个与第n+1个局中人的配对都蕴含Sion的极小极大定理。
2018-09-09 cs.GT math.OC
Monotone Near-Zero-Sum Games: A Generalization of Convex-Concave Minimax
本文提出单调近零和游戏模型，通过将近零和游戏转化为零和子问题，改进了梯度复杂性，并展示了其在实际游戏场景中的应用。
2025-12-02 cs.GT math.OC
Exponential Convergence of Gradient Methods in Concave Network Zero-sum Games
University of British Columbia（不列颠哥伦比亚大学）
受生成对抗网络的启发，我们研究了凹网络零和博弈（NNORGs）中纳什均衡的计算问题，NNORGs是线性支付的二人零和博弈的多人推广.推广以前的结果，我们表明，各种博弈论性质的凹凸两个球员零和游戏保持在这个推广。然后，我们推广了最后的收敛结果先前在两个球员零和游戏。我们分析收敛速度时，球员更新他们的策略使用梯度上升，其变体，乐观梯度上升，显示最后的收敛在三个设置-当球员的收益是线性的，强凹和Lipschitz，强凹和光滑。我们提供的实验结果支持这些理论研究结果。
2020-07-10 cs.GT cs.LG math.OC
The Multi-player Nonzero-sum Dynkin Game in Continuous Time
本文研究了连续时间下的N人非零和Dynkin对策（$N\geq 3$），这是一个策略为停时的非合作对策。我们表明，游戏有一个纳什均衡点的一般支付过程。
2011-09-29 cs.GT math.PR
PAC Reinforcement Learning Algorithm for General-Sum Markov Games
University of Delaware（特拉华大学）
本文提出了一个理论框架，可能近似正确（PAC）的多智能体强化学习（MARL）算法的马尔可夫博弈。本文利用延迟Q学习的思想，对著名的Nash Q-学习算法进行了扩展，建立了一种新的求解一般和马尔可夫对策的PAC MARL算法。除了指导可证明的PAC MARL算法的设计外，该框架还可以检查任意MARL算法是否是PAC。比较数值结果表明性能和鲁棒性。
2020-09-05 cs.GT cs.LG math.OC
Generalized Hamiltonian Dynamics and Chaos in Evolutionary Games on Networks
研究了$2 \times 2$对称对策的网络复制子方程，刻画了它在任意图结构上的不动点。我们展示了网络复制子的渐近行为和图中独立顶点集的存在之间的关系，并表明在$2 \times 2$游戏中不会出现复杂的行为。这将动力系统的性质与组合图形性质联系起来。我们对比这表明，普通的石头剪刀布（RPS）表现出混沌的3圈和一般的图与$\geq 3$顶点的网络复制与RPS是一个广义的哈密顿系统。这与RPS在标准复制子动力学或双矩阵复制子动力学中不表现出混沌的既定事实形成鲜明对比，双矩阵复制子动力学等价于具有一条边和两个顶点的图（$K_2$）上的网络复制子。
2020-05-31 cs.GT math.DS nlin.CD
The Stock Market as a Game: An Agent Based Approach to Trading in Stocks
正如战争有时被错误地描述为零和游戏--而实际上战争是一个负和游戏--股票市场交易，一个随着时间的推移的正和游戏，经常被错误地描述为零和游戏。这就是所谓的“零和谬误”--错误地认为，在股票市场交易所，一个交易者只能在其他交易者的头寸恶化的情况下改善自己的头寸。然而，绝对意义上的正和博弈可以被改写为相对意义上的零和博弈。同样，绝对意义上的负和游戏似乎已经被改写为相对意义上的零和游戏：否则，为什么零和游戏会被用来代表战争局势？这种重铸可能具有启发性或教育性的意义，但重铸必须明确说明，否则会产生混乱。关键词：博弈论，股票交易和基于智能体的人工智能。
2008-09-02 cs.AI cs.GT q-fin.TR
Local Nash Equilibria are Isolated, Strict Local Nash Equilibria in `Almost All' Zero-Sum Continuous Games
我们证明了微分纳什均衡是通用的连续零和博弈中的局部纳什均衡。也就是说，存在零和博弈的开稠密子集，其局部纳什均衡是非退化微分纳什均衡。结果扩展以前的结果的零和设置，在那里我们得到更强的结果，特别是，我们表明，当地的纳什均衡一般双曲临界点。我们进一步证明了零和博弈的微分纳什均衡是结构稳定的。介绍这些扩展的目的是最近重新关注机器学习和优化中的零和游戏。对抗学习和生成对抗网络方法被吹捧为比替代方案更强大。零和博弈是这些方法的核心。许多工作都是在临界点的双曲性假设下进行的。我们的研究结果证明了这一假设，显示'几乎所有'零和游戏承认当地的纳什均衡是双曲线。
2020-02-03 cs.GT
A Generalized Minimax Q-learning Algorithm for Two-Player Zero-Sum Stochastic Games
Indian Institute of Science（印度科学学院）
我们考虑两人零和博弈问题。这个问题在文献中被表述为最小-最大马尔可夫博弈。这个博弈的解，也就是最小-最大收益，从一个给定的状态开始，被称为状态的最小-最大值。在这项工作中，我们计算的解决方案的两个球员零和游戏利用连续松弛的技术，已成功地应用在文献中计算一个更快的值迭代算法的背景下，马尔可夫决策过程。我们将连续松弛的概念推广到两人零和博弈的情形。我们表明，在一个特殊的结构上的游戏，这种技术有利于更快的计算的最小最大值的状态。然后，我们推导出一个广义极大极小Q-学习算法，计算最优策略时，模型信息是未知的。最后，我们证明了所提出的广义极大极小Q-学习算法利用随机逼近技术的收敛性，在假设的有界迭代。通过实验验证了该算法的有效性。
2022-03-18 cs.GT cs.LG stat.ML
Robustness and sample complexity of model-based MARL for general-sum Markov games
多智能体强化学习（MARL）通常使用马尔可夫博弈（也称为随机博弈或动态博弈）的框架建模。现有的文献大多集中在零和马尔可夫博弈，但不适用于一般和马尔可夫博弈。众所周知，一般和马尔可夫博弈中的最佳反应动态不是收缩。因此，一般和马尔可夫博弈中的不同均衡可以有不同的值。此外，Q函数不足以完全表征平衡。考虑到这些挑战，基于模型的学习是一个有吸引力的方法MARL在一般和马尔可夫游戏。在本文中，我们调查的基本问题，\emph{sample complexity}的一般和马尔可夫博弈模型为基础的MARL算法。我们展示了两个结果。我们首先使用Hoeffding不等式为基础的界限表明，$\tilde{\mathcal{O}}( (1-γ)^{-4} α^{-2})$样本每个状态-动作对是足够的，以获得一个$α$近似马尔可夫完美均衡与高概率，其中$γ$是折扣因子，和$\tilde{\mathcal{O}}(\cdot)$符号隐藏对数项。然后，我们使用Bernstein不等式为基础的界限表明，$\tilde{\mathcal{O}}( (1-γ)^{-1} α^{-2} )$样本是足够的。为了得到这些结果，我们研究了马尔可夫完美均衡对模型近似的鲁棒性。我们证明了近似（或扰动）博弈的马尔可夫完美均衡总是原博弈的近似马尔可夫完美均衡，并提供了近似误差的明确界。我们通过一个数值例子来说明结果。
2022-12-19 cs.GT cs.MA cs.SY
Provably Efficient Policy Optimization for Two-Player Zero-Sum Markov Games
Tsinghua University（清华大学）；Meta AI Research（Meta人工智能研究院）；Princeton University（普林斯顿大学）；University of Washington（华盛顿大学）
基于策略的函数逼近方法被广泛用于求解具有较大状态和/或动作空间的两人零和博弈。然而，它仍然难以捉摸如何获得优化和统计保证这样的算法。我们提出了一个新的政策优化算法与函数逼近，并证明了在标准的正则性条件下的马尔可夫博弈和函数逼近类，我们的算法发现一个接近最优的政策内的多项式数量的样本和迭代。据我们所知，这是第一个证明有效的政策优化算法与函数近似，解决两个球员零和马尔可夫游戏。
2022-02-26 cs.GT cs.LG math.OC
Polynomial stochastic games via sum of squares optimization
随机对策是将马尔可夫决策过程推广到对策论场景的一类重要问题。本文研究了无限时间范围内有限状态两人零和随机对策的折扣报酬问题。假设参与者具有无限的策略空间，并且假设收益是多项式。在本文中，我们限制我们的注意力一类特殊的游戏，其中的单控制器的假设。结果表明，这类对策的极大极小均衡和最优策略可以通过半定规划得到。
2008-06-15 cs.GT math.OC
The Attractor of the Replicator Dynamic in Zero-Sum Games
本文证明零和博弈存在唯一全局复制子吸引子，其仅由偏好顺序决定，与收益值无关，并探讨了对链回归和纳什均衡的影响。
2024-02-05 cs.GT
Solving Zero-sum Games using Best Response Oracles with Applications to Search Games
我们提出了有效的算法计算最优或近似最优策略的零和对策，其中玩家I有n个纯策略和玩家II有任意数量的纯策略。我们假设对于参与人I的任何给定的混合策略，参与人II的最佳对策或“近似”最佳对策可以通过预言机在时间多项式n中找到。然后，我们将展示我们的算法可能会被应用到几个搜索游戏与应用程序的安全和反恐。我们评估我们的主要算法实验上的一个原型搜索游戏。我们的研究结果表明，它表现良好相比，现有的，众所周知的算法解决零和对策，也可以用来解决搜索游戏，给出了最佳对策预言。
2018-06-20 cs.DS cs.GT math.OC
Sample-Efficient Learning of Stackelberg Equilibria in General-Sum Games
Salesforce Research（Salesforce研究院）；Princeton University（普林斯顿大学）
现实世界的应用，如经济学和政策制定往往涉及解决多智能体博弈有两个独特的特点：（1）代理人是天生不对称的，分为领导者和追随者;（2）代理人有不同的奖励函数，因此游戏是一般和。在这一领域的大多数现有的结果集中在对称解的概念（如纳什均衡）或零和游戏。如何从噪声样本中有效地学习一般和博弈中的斯塔克伯格均衡--纳什均衡的非对称模拟--仍然是一个开放的问题。本文提出了样本有效学习的Stackelberg均衡的理论研究，在强盗反馈设置，我们只观察噪声样本的奖励。我们考虑了三个有代表性的两人一般和游戏：强盗游戏，强盗-强化学习（强盗-RL）游戏，和线性强盗游戏。在所有这些游戏中，我们确定了一个基本的差距之间的确切值的Stackelberg均衡和其估计版本使用的噪声样本，这不能是封闭的信息理论上无论算法。然后，我们在Stackelberg均衡的样本有效学习上建立了尖锐的积极结果，其值最优达到上面确定的差距，并在对差距的依赖性，容错性和动作空间的大小方面具有匹配的下限。总的来说，我们的研究结果揭示了在嘈杂的强盗反馈下学习Stackelberg均衡的独特挑战，我们希望这可以为未来的研究提供启发。
2021-11-03 cs.AI cs.GT cs.LG
A Zero-Sum Stochastic Game with Compact Action Sets and no Asymptotic Value
我们给出了一个零和随机博弈的例子，该博弈具有四个状态，每个参与者的紧凑行动集，以及连续的支付和转移函数，使得折扣值不会随着折扣因子趋于0而收敛，并且n阶段博弈的值不会随着n趋于无穷而收敛。
2013-01-19 cs.GT math.OC
A Proof that Coarse Correlated Equilibrium Implies Nash Equilibrium in Two-Player Zero-Sum Games
本文给出简洁证明，说明两人零和博弈中粗相关均衡的边缘策略即纳什均衡，并推广到ε-粗相关均衡蕴含2ε-纳什均衡，从而无外部遗憾算法可收敛至纳什均衡。
2023-10-15 cs.GT
Conservation Law of Utility and Equilibria in Non-Zero Sum Games
Middlesex University（密德萨斯大学）
这个简短的说明演示了如何定义一个非零和博弈到零和博弈的转换，使得实现均衡的最优混合策略总是存在的。这种转换等价于在博弈中引入一个被动参与者（一个拥有单一纯策略集的参与者），其收益取决于主动参与者的行动，并且在博弈中的效用守恒定律证明了这一点。在转换游戏中，每个参与者都与所有其他玩家（包括被动玩家）进行游戏。这种方法的优点是转换后的博弈是零和博弈，并且有一个均衡解。然而，新博弈的最优策略和价值可能与原博弈中的理性策略不同。我们用囚徒困境的例子来说明这个原理。
2010-10-13 cs.AI cs.GT math.OC
Information Relaxations and Dynamic Zero-Sum Games
动态零和博弈是一类重要的问题，其应用范围从逃避追击和单挑扑克到某些对抗版本的控制问题，如多臂强盗和多类排队问题。这些游戏通常很难解决，即使一个球员的策略是固定的，因此构建和评估良好的次优策略，为每个球员是一个重要的实际问题。在本文中，我们提出了使用信息松弛来构建对偶的最优值的游戏上下限。我们注意到，信息松弛的方法，这已被开发和成功地应用于许多大规模的动态规划问题，立即适用于零和博弈问题。我们提供了一些简单的数值例子，并确定有趣的问题和并发症的背景下出现的零和游戏。
2015-06-11 cs.GT math.OC
When is Offline Two-Player Zero-Sum Markov Game Solvable?
我们研究什么样的数据集假设允许解决离线两个玩家零和马尔可夫游戏。在形成鲜明对比的离线单代理马尔可夫决策过程中，我们表明，单一的战略浓度假设是不足以学习的纳什均衡（NE）的策略，在离线两个球员零和马尔可夫游戏。另一方面，我们提出了一个新的假设命名为单边浓度，并设计了一个悲观型算法，证明是有效的，在此假设下。此外，我们表明，单边浓度的假设是必要的学习NE策略。此外，我们的算法可以实现极大极小样本的复杂性没有任何修改的两个广泛研究的设置：数据集与均匀浓度假设和回合为基础的马尔可夫游戏。我们的工作是理解离线多智能体强化学习的重要的第一步。
2022-10-14 cs.AI cs.GT cs.LG
Poincaré Recurrence, Cycles and Spurious Equilibria in Gradient-Descent-Ascent for Non-Convex Non-Concave Zero-Sum Games
Columbia University（哥伦比亚大学）；Singapore University of Technology and Design（新加坡科技设计大学）
我们研究了一个广泛的非凸非凹极大极小博弈，推广了标准的双线性零和对策。在这个类中，玩家控制一个光滑函数的输入，该函数的输出被应用于一个双线性零和对策。这类游戏的动机是生成对抗网络中竞争的间接性质，其中玩家控制神经网络的参数，而实际竞争发生在生成器和神经网络捕获的分布之间。我们从理论上建立，根据问题的具体情况，梯度下降上升动力学可以表现出各种行为对立的收敛到游戏理论上有意义的最小-最大的解决方案。具体来说，不同形式的递归行为（包括周期性和庞加莱递归）是可能的，以及收敛到虚假的（非最小-最大）平衡的初始条件的积极措施。在技术层面上，我们的分析结合了优化理论，对策论和动力系统的工具。
2019-10-28 cs.GT cs.LG math.OC
On Last-Iterate Convergence Beyond Zero-Sum Games
大多数关于学习动态的\emph{last-iterate convergence}的现有结果仅限于两个玩家的零和游戏，并且仅适用于关于玩家遵循什么动态的严格假设。在本文中，我们提供了新的结果和技术，适用于更广泛的家庭的游戏和学习动态。首先，我们使用基于后悔的分析表明，在一类游戏，包括常和多矩阵和战略零和游戏，动态，如\emph{optimistic mirror descent (OMD)}有\emph{bounded second-order path lengths}，一个属性，即使玩家采用不同的算法和预测机制。这使我们能够获得$O(1/\sqrt{T})$率和最佳的$O(1)$后悔界限。我们的分析还揭示了一个令人惊讶的性质：OMD要么达到任意接近纳什均衡，或者它在效率上优于\emph{robust price of anarchy}。此外，对于潜在的游戏，我们建立了收敛到$ε$ -均衡后，$O(1/ε^2)$迭代镜像下降下的一个广泛的一类正则化，以及最佳的$O(1)$遗憾界的OMD变种。我们的框架还扩展到近潜在的游戏，并统一了已知的分析，分布式学习在费舍尔的市场模型。最后，我们分析了\emph{optimistic gradient descent (OGD)}在一般和连续博弈中的收敛性、效率和鲁棒性。
2022-03-22 cs.GT
Convex-Concave Zero-sum Markov Stackelberg Games
针对连续状态与动作空间的零和 Markov Stackelberg 博弈，提出基于含噪轨迹梯度的策略梯度方法，证明凸-凹情形下多项式时间收敛，并说明其在 reach-avoid 问题中优于 Nash 策略。
2024-01-23 cs.GT
LP Formulations of sufficient statistic based strategies in Finite Horizon Two-Player Zero-Sum Stochastic Bayesian games
本文研究了两人零和随机贝叶斯博弈，其中每一个局中人都有自己的动态状态，而另一个局中人不知道。利用典型的技巧，我们给出了原始博弈及其对偶博弈的递归公式和充分的统计量。在给定初始参数的情况下，对偶对策中一方的最优策略也是原始对策中另一方的最优策略。为了处理长的有限贝叶斯博弈，我们提供了一个算法来逐步计算局中人的次优策略，以避免LP复杂性。为此，我们计算LP，以找到特殊的初始参数的双重游戏和更新的双重游戏的充分统计。性能分析提供了一个上限的最佳和次优策略之间的性能差异。最后，以一个水下传感器网络安全问题为例进行了验证.
2021-05-04 cs.GT
Computing Maxmin Strategies in Extensive-Form Zero-Sum Games with Imperfect Recall
不完全回忆的可拓形式博弈是一个重要的博弈论模型，它允许在动态策略交互中紧凑地表示策略。由于负面的理论结果，不完美回忆游戏的实际应用受到限制：纳什均衡不一定存在，计算最大最小策略是NP困难的，并且它们可能需要无理数。我们提出了第一个算法近似最大最小的两个球员零和不完美回忆游戏没有心不在焉的策略。我们修改了著名的序列形式的线性规划模型的策略不完美的回忆游戏，并使用最近的技术来近似双线性项。我们的主要算法是一个分支定界搜索这些线性规划，可证明达到所需的近似指数后的步骤的大小的游戏。实验结果表明，该算法可以在几分钟内逼近随机生成的大小超过玩具问题的不完美回忆游戏的最大最小策略。
2017-05-24 cs.GT
Zero-Sum Stochastic Stackelberg Games
零和随机博弈在从机器学习到经济学的各个领域都有重要的应用。这个模型的工作主要集中在纳什均衡的计算上，因为它在解决对抗性棋盘游戏和视频游戏方面很有效。不幸的是，当每个状态的收益在参与人的行动中不是凹凸的时，在零和随机博弈中不保证存在纳什均衡。然而，Stackelberg均衡肯定存在。因此，在本文中，我们研究零和随机Stackelberg对策。超越已知的（非平稳）Stackelberg平衡的存在性结果，我们证明了递归（即，马尔可夫完美）斯塔克伯格均衡（recSE），提供了策略配置文件是recSE的充分必要条件，并表明recSE可以通过值迭代在（弱）多项式时间内计算。最后，我们表明，零和随机Stackelberg游戏可以建模的问题，定价和分配货物在代理和时间。更具体地说，我们提出了一个零和随机Stackelberg游戏，其recSE对应于一个大类的随机Fisher市场的递归竞争均衡。最后，我们用一系列的实验来展示我们的方法如何可以用来解决消费储蓄问题的随机费雪市场。
2022-11-25 cs.GT econ.TH
FootsiesGym: A Fighting Game Benchmark for Two-Player Zero-Sum Imperfect-Information Games
Como Research（Como研究机构）；Riot Games（Riot游戏公司）
介绍用于两人零和不完全信息博弈的FootsiesGym开源环境，基于Footsies构建，提供矢量化模拟器，可高通量训练，描述其设计并对强化学习算法进行基准测试，还探讨了相关研究方向。
2026-07-08 cs.AI cs.GT
Some Properties of the Nash Equilibrium in $2 \times 2$ Zero-Sum Games
本文对$2 \times 2$零和博弈的纳什均衡集的一些性质进行了综述。特别地，NE的集合的基数根据支付矩阵的条目给出。此外，封闭形式的表达式为NE战略和在NE（游戏的价值）的回报提供了在支付矩阵的条目。本报告中给出的结果不一定是新知识，因为它们是在经过一些繁琐的计算后得出的。然而，这种综合介绍在文献中是原创的。
2022-11-18 cs.GT
Non-Zero Sum Games for Reactive Synthesis
在这邀请的贡献，我们总结了新的解决方案的概念，有用的合成反应系统，我们已经介绍了在最近的几个出版物。这些解决方案的概念是在非零和游戏的背景下发挥图形。它们是在欧洲研究理事会资助的投资项目中获得的部分捐款。
2015-12-17 cs.FL cs.GT cs.LO
Decompositions of two player games: potential, zero-sum, and stable games
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
本文通过将两人正规型博弈视为向量空间，引入势博弈、零和博弈及其正交补（反势博弈和反零和博弈）的显式正交基分解，并应用该分解证明循环准则、分析广义石头-剪刀-布博弈、刻画零稳定博弈、提供严格稳定博弈类、关联复制方程向量场分解、构造李雅普诺夫函数以及Zeeman博弈。
2011-07-18 cs.GT cs.SY eess.SY
The Computational Complexity of Team Zero-Sum Games
Carnegie Mellon University（卡内基梅隆大学）；University of California, Irvine（加州大学尔湾分校）；Strategy Robot, Inc.（策略机器人有限公司）；Strategic Machine, Inc.（战略机器有限公司）；Optimized Markets, Inc.（优化市场有限公司）
本文证明团队零和博弈中计算纳什均衡是PPAD完全的，即使团队仅含两名玩家且博弈为多矩阵形式，从而否定了全多项式时间近似方案的存在性。
2026-06-16 cs.CC cs.GT
Convergence of Heterogeneous Learning Dynamics in Zero-sum Stochastic Games
本文提出涵盖 fictitious play 的无耦合理性算法族，证明学习率、信息访问和模型使用等异质混合不影响其在零和重复博弈及低贴现随机博弈中收敛到均衡。
2023-11-01 cs.GT
Two Algorithms for Computing Exact and Approximate Nash Equilibria in Bimatrix Games
在本文中，我们首先设计了两个算法，以确定是否有一个双矩阵游戏的战略等价零和游戏。如果是这样，我们提出了一个算法，计算战略等价的零和游戏。如果一个给定的双矩阵游戏是不是战略等价的零和游戏，然后我们提出了一种方法来计算零和游戏的鞍点均衡可以映射到一个良好的支持近似纳什均衡的原始游戏。我们进行了广泛的数值模拟，以建立这两种算法的有效性。
2021-08-11 cs.GT
Attack--Defense Trees and Two-Player Binary Zero-Sum Extensive Form Games Are Equivalent - Technical Report with Proofs
攻击-防御树用于描述系统的安全弱点和可能的对策。本文明确了攻防树与博弈论之间的联系。我们表明，攻击-防御树和二进制零和两个球员广泛的形式游戏具有同等的表达能力时，考虑可满足性，在这个意义上说，他们可以转换成对方，同时保留他们的结果和他们的内部结构。
2011-05-04 cs.CR cs.GT
On Zero-Sum Two Person Perfect Information Semi-Markov Games
零和二人完全信息半马尔可夫博弈在有限比率平均支付下存在一个值，最大者和最小者都有最优纯半平稳策略。我们得到的结果，首先固定一个任意的初始状态，并形成对应于每对纯静态策略的两个球员的未贴现收益矩阵，并证明该矩阵有一个纯鞍点。
2023-02-14 cs.GT math.OC
On the Equivalence of Zero-Sum Games and Conic Programs
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
研究证明了零和游戏与锥程序的强对偶性等价性，建立了统一框架，并展示了如何通过对偶对求解博弈价值和纳什均衡。
2026-04-11 cs.GT math.OC
Efficient Episodic Learning of Nonstationary and Unknown Zero-Sum Games Using Expert Game Ensembles
博弈论为战略互动的许多应用提供了必要的分析。然而，如何构建一个游戏模型，什么是它的保真度的问题很少被解决。在这项工作中，我们考虑学习一类重复的零和游戏未知，时变的回报矩阵，和噪声反馈，通过使用一个合奏的基准游戏模型。这些模型可以在连续播放期间进行预训练和动态收集。它们作为先验边信息，不完全地支撑未知的真实博弈模型。我们提出了OFULinMat，一个情景学习算法，它集成了自适应估计的游戏模型和学习的战略。所提出的算法实现了鞍点遗憾的次线性界。通过理论分析和数值算例证明了该算法的有效性。我们使用一个动态蜜罐分配游戏作为案例研究来说明和证实我们的结果。我们还讨论了我们的框架和经典的对抗性多臂强盗框架之间的关系和突出的区别。
2021-07-28 cs.GT cs.SY eess.SY
Chaos of Learning Beyond Zero-sum and Coordination via Game Decompositions
机器学习过程，例如“游戏中的学习”，可以被视为非线性动力系统。一般来说，这样的系统表现出广泛的行为，从稳定性/递归到不希望的混沌现象（或“蝴蝶效应”）。混沌捕获了舍入误差的敏感性，并可能严重影响ML系统的可预测性和可重复性，但AI/ML社区对它的理解仍然是基本的。它有很多东西等待探索。最近，Cheung和Piliouras利用体积扩张的方法证明了当一些流行的学习算法，包括乘性权值更新（MWU）、跟随正则化领导（FTRL）和乐观MWU（OMWU），被应用于零和、协调或图形常和博弈的多个子空间时，在累积支付空间中会出现李雅普诺夫混沌.人们自然会问：这些结果能推广到更广泛的博弈家族吗？我们采用博弈分解的方法，肯定地回答了这个问题。在其他的结果中，我们提出了一个“矩阵支配”的概念，并设计了一个线性规划，并用它们来表征双矩阵游戏，MWU是李雅普诺夫混沌几乎无处不在。这类对策族在双矩阵对策空间中具有正的Lebesgue测度，表明混沌是对策学习中的一个重要问题。对于多人游戏，我们提出了一般游戏和图形游戏之间的体积变化的局部等价，这是用来执行MWU和OMWU在潜在的游戏体积和混沌分析。
2020-08-02 cs.GT math.OC
Minimizing Regret in Discounted-Sum Games
本文研究了加权对策图上折扣和对策的最小化后悔问题。我们给算法的一般问题的计算最小遗憾的控制器（夏娃）以及几个变种，这取决于哪些策略的环境（亚当）被允许使用。我们还考虑了在这些情况下为夏娃合成无遗憾策略的问题。
2018-05-04 cs.FL cs.GT cs.LO
Solving zero-sum extensive-form games with arbitrary payoff uncertainty models
University of Strathclyde（思克莱德大学）；Zondax GmbH
从博弈论的角度对战略冲突进行建模涉及到对认知不确定性的处理。由于计算限制，回报不确定性模型通常限于简单的概率模型。应用于扑克的人工智能（AI）研究最近取得了突破，产生了新的近似方法，如反事实遗憾最小化，可以成功地处理大规模的不完美游戏。通过借鉴这些思想，这项工作解决了任意连续收益分布的问题。我们提出了一种方法，Harsanyi-Counterfactual遗憾最小化，解决两人零和扩展形式的游戏与任意的支付分布模型。给定一个博弈$Γ$，利用Harsanyi变换，我们生成一个新的博弈$Γ^\#$，然后应用反事实后悔最小化方法，得到$\varepsilon$ -Nash均衡.我们包括数值实验，展示了该方法如何可以应用到以前发表的问题。
2019-04-24 cs.AI cs.GT
Matrix Multiplicative Weights Updates in Quantum Zero-Sum Games: Conservation Laws & Recurrence
本文研究量子零和博弈中的矩阵乘法权重更新与量子复制者动力学，证明系统具有量子信息论守恒定律和Poincaré回归，并推广经典博弈结果。
2023-04-27 cs.GT quant-ph
Zero-sum Stochastic Games with Asymmetric Information
研究了非对称信息下零和随机对策的一般模型。在该模型中，每个玩家每次的信息可以分为公共信息部分和私人信息部分。在公共信息和私有信息演化的一定条件下，给出了博弈值（如果存在）的动态规划刻画。如果零和博弈的值不存在，则动态程序提供博弈的上限值和下限值。然后，这种动态规划用于一类零和随机博弈，其中一方具有完全信息，另一方具有部分信息，也就是说，一个玩家具有关于状态、动作和观察历史的完整信息，而另一个玩家可能只具有关于状态和动作历史的部分信息。对于这样的游戏，它是存在的，可以使用动态程序的特点。它进一步表明，对于这类游戏，动态程序可以用来计算一个均衡策略，更知情的球员，球员选择其行动使用其私人信息和共同的信息信念。
2019-12-24 cs.GT cs.SY eess.SY
The evolution of the game of baccarat
百家乐游戏已从19世纪上半叶法国贵族玩的室内游戏演变为2013年为澳门赌场创造超过410亿美元收入的赌场游戏。客厅游戏最初是一个三人的零和对策。19世纪后期，它被简化为两人零和对策。20世纪初，客厅游戏变成了赌场游戏，不再是零和游戏。在20世纪中期，战略赌场游戏变成了非战略游戏，玩家与赌场竞争，而不是彼此竞争。我们认为，这种演变是出于经济和博弈论的考虑。
2015-04-28 cs.GT math.OC
Information Spillover in Multiple Zero-sum Games
本文研究了一个双方都缺乏信息的无限重复三人贝叶斯博弈，其中一个知情的局中人在每个阶段同时与两个不知情的局中人进行两个零和博弈.这是Aumann等人[1]的两人零和单边不完全信息模型的推广。在相关先验条件下，知情参与者面临的问题是如何在两个不知情参与者之间最优地披露信息，以最大化他的长期平均收益。我们的目标是了解在知情参与者的均衡收益集中，从一个博弈到另一个博弈的"\information溢出“的不利影响。我们提供的条件下，知情的球员可以完全克服这种不利影响和均衡收益的特点。在第二个结果中，我们展示了信息溢出对知情玩家的均衡收益集的影响可能是严重的。
2023-03-08 cs.GT econ.TH
On the Heterogeneity of Independent Learning Dynamics in Zero-sum Stochastic Games
研究了学习率依赖于局中人的二人零和随机对策的Q学习与经典虚拟对策相结合的两时标虚拟对策的收敛性.在两时标随机逼近方法的标准假设下，当折扣因子小于参与者相关步长之比的乘积时，证明了其几乎必然收敛性.为此，我们制定了一个新的李雅普诺夫函数制定和提出了一个单边异步收敛的结果。
2022-04-04 cs.GT math.DS math.OC
The Complexity of Infinite-Horizon General-Sum Stochastic Games
研究了n人无限时间广义和随机对策中稳态纳什均衡（NE）的计算复杂性。我们专注于计算NE在这样的随机游戏时，每个球员被限制为选择一个固定的政策和奖励打折的问题。首先，我们证明计算这样的NE是在PPAD（除了显然是PPAD硬）。第二，我们考虑这种游戏的回合制专业化，在每个状态下，最多只有一个玩家可以采取行动，并表明这些（非常简单的）游戏仍然是PPAD困难的。第三，我们表明，根据进一步的结构假设的回报计算NE在这种回合制游戏是可能的多项式时间。为了实现这些结果，我们建立了更广泛的效用随机游戏的结构事实，包括单调性的单状态单动作的变化和减少设置，每个玩家控制一个单一的状态下的效用。
2022-11-29 cs.CC cs.DS cs.GT
