Policy Optimization for Markov Games: Unified Framework and Faster Convergence
Harvard University（哈佛大学）；Princeton University（普林斯顿大学）；Salesforce Research（赛富时研究院）
研究了多智能体强化学习的策略优化算法。首先，我们提出了一个算法框架，两个球员零和马尔可夫游戏在全信息设置，其中每次迭代包括一个策略更新步骤，在每个状态下使用一定的矩阵游戏算法，并与一定的学习率的值更新步骤。该框架统一了许多现有的和新的策略优化算法。我们表明，该算法的状态明智的平均政策收敛到一个近似的纳什均衡（NE）的游戏，只要矩阵游戏算法实现低加权遗憾在每个状态，相对于由值更新的速度确定的权重。接下来，我们表明，这个框架实例化的乐观跟随正则化领导者（OFTRL）算法在每个状态（和平滑值更新）可以找到一个$\mathcal{\widetilde{O}}(T^{-5/6})$近似NE在$T$迭代，和一个类似的算法略有修改的值更新规则实现了更快的$\mathcal{\widetilde{O}}(T^{-1})$收敛速度。这些改进了对称策略优化型算法的当前最佳$\mathcal{\widetilde{O}}(T^{-1/2})$速率。我们还将该算法扩展到多人一般和马尔可夫博弈，并证明了$\mathcal{\widetilde{O}}(T^{-3/4})$收敛到粗相关均衡（CCE）的速度。最后，我们提供了一个数值例子来验证我们的理论和调查的重要性，光滑的值更新，并发现使用“渴望”的值更新，而不是（相当于独立的自然策略梯度算法）可能会显着减慢收敛，即使在一个简单的游戏与$H=2$层。
2022-07-22 cs.GT cs.LG cs.MA
Improved robustness of reinforcement learning policies upon conversion to spiking neuronal network platforms applied to ATARI games
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；University of Memphis（孟菲斯大学）
深度强化学习（RL）在可以通过训练策略解决的任务上表现出出色的性能。它在使用多层神经网络（NN）的尖端机器学习方法中起着主导作用。与此同时，Deep RL对噪声、不完整和误导性输入数据具有高敏感性。遵循生物直觉，我们使用脉冲神经网络（SNN）来解决深度RL解决方案的一些不足。之前在图像分类领域的研究表明，使用监督学习训练的标准NN（具有ReLU非线性）可以转换为SNN，性能下降可以忽略不计。在本文中，我们将这些转换结果扩展到使用RL训练的Q-Learning NN领域。我们提供了一个标准的NN SNN转换的原则证明。此外，我们表明，SNN具有更好的鲁棒性，在输入图像中的遮挡。最后，我们介绍了将全尺寸Deep Q网络转换为SNN的结果，为未来研究鲁棒的Deep RL应用铺平了道路。
2019-08-19 cs.LG cs.NE stat.ML
Provably Fast Convergence of Independent Natural Policy Gradient for Markov Potential Games
Northeastern University（东北大学）；Texas A&M University（德克萨斯A&M大学）
本文研究马尔可夫势博弈中多智能体强化学习的独立自然策略梯度算法，通过引入次优性间隙，证明其在O(1/ε)次迭代内达到ε-纳什均衡，改进了此前O(1/ε^2)的结果，并通过合成势博弈和拥堵博弈实验验证了理论界。
2023-10-27 cs.LG math.OC
Improved Robustness and Safety for Autonomous Vehicle Control with Adversarial Reinforcement Learning
Stanford University（斯坦福大学）
为了提高自动驾驶汽车的效率并减少故障，研究重点是开发考虑环境干扰的鲁棒和安全的学习方法。现有的鲁棒强化学习文献将学习问题视为自治系统和干扰之间的两人博弈。本文研究了解决该游戏的两种不同算法：鲁棒对抗性强化学习和神经虚拟自我游戏，并比较了自动驾驶场景的性能。我们将游戏配方扩展到半竞争环境，并证明由此产生的对手更好地捕捉有意义的干扰，导致更好的整体性能。与传统强化学习方法产生的基线控制策略相比，所得到的鲁棒策略在有效降低碰撞率的同时提高了驾驶效率。
2019-03-08 cs.LG cs.RO stat.ML
AlphaZero-Inspired Game Learning: Faster Training by Using MCTS Only at Test Time
RWTH Aachen University（亚琛工业大学）；TH Köln – University of Applied Sciences（科隆应用技术大学）
最近，开创性的算法AlphaGo和AlphaZero开启了游戏学习和深度强化学习的新时代。虽然AlphaGo和AlphaZero的成就-在超人类水平上玩围棋和其他复杂游戏-确实令人印象深刻，但这些架构的缺点是它们需要高计算资源。许多研究人员正在寻找类似于AlphaZero的方法，但计算需求较低，因此更容易重现。在本文中，我们选择了AlphaZero的一个重要元素-蒙特卡罗树搜索（MCTS）规划阶段-并将其与时间差（TD）学习代理相结合。我们第一次围绕TD n元组网络包装MCTS，我们只在测试时使用这种包装来创建多功能代理，同时保持低的计算需求。我们将这种新的架构应用到几个复杂的游戏（奥赛罗，ConnectFour，魔方），并显示出这种AlphaZero启发MCTS包装器所取得的优势。特别是，我们目前的结果是，这个代理是第一个在标准硬件（没有GPU或TPU）上训练的代理，可以击败非常强大的奥赛罗程序Edax，包括7级（大多数其他从头开始学习的算法只能击败Edax到2级）。
2022-09-24 cs.AI cs.GT cs.LG
Robust Opponent Modeling via Adversarial Ensemble Reinforcement Learning in Asymmetric Imperfect-Information Games
Massachusetts Institute of Technology（麻省理工学院）
本文提出了一个算法框架，学习鲁棒政策的非对称信息博弈，其中的联合奖励可能取决于不确定的对手类型（一个私人信息只知道对手本身和它的盟友）。为了最大化奖励，主角Agent必须通过Agent建模来推断对手类型。我们使用多智能体强化学习（MARL）通过自我游戏来学习对手模型，它捕获了智能体之间的完整策略交互和推理。然而，从自我游戏中学习的代理策略可能会受到相互过度拟合的影响。包围训练方法可以用来提高Agent策略对不同对手的鲁棒性，但它也显著增加了计算开销。为了实现一个很好的权衡之间的鲁棒性的学习政策和计算复杂性，我们建议训练一个单独的对手政策对主角代理评估的目的。由于强化学习器固有的随机性，这个对手所获得的奖励是主角代理策略鲁棒性的噪声度量。为了处理这种随机性，我们应用随机优化方案来动态更新对手集成，以优化目标函数，在鲁棒性和计算复杂性之间取得平衡。我们的经验表明，在相同的有限的计算预算下，所提出的方法比标准集成训练更强大的策略学习。
2020-03-03 cs.AI cs.LG
Fast Policy Extragradient Methods for Competitive Games with Entropy Regularization
Carnegie Mellon University（卡内基梅隆大学）；University of Pennsylvania（宾夕法尼亚大学）
本文研究了竞争对策的平衡点计算问题，该问题通常被建模为带有概率单纯形约束的约束鞍点最优化问题。尽管最近的努力在理解的最后一个收敛的extragradient方法在无约束的设置，这些方法的理论基础，在约束设置，特别是那些使用乘法更新，仍然非常不足，即使当目标函数是双线性的。受熵正则化在单智能体强化学习和对策论中的算法作用的启发，我们开发了可证明有效的超梯度方法来找到量子响应平衡（QRE）-这是零和两人矩阵对策的熵正则化解决方案-以线性速率。所提出的算法可以以分散的方式实现，其中每个玩家使用自己的收益迭代地执行对称和乘法更新，而不直接观察对手的动作。此外，通过控制熵正则化的旋钮，该算法可以以次线性的速率找到非正则矩阵对策的近似纳什均衡，而不需要假设纳什均衡是唯一的.我们的方法也导致有效的政策extragradial算法解决（熵正则化）零和马尔可夫游戏在类似的速度。我们所有的收敛速度几乎是无量纲的，这是独立的状态和动作空间的大小的对数因子，突出的积极作用，熵正则化加速收敛。
2023-01-19 cs.GT cs.IT cs.LG
Marathon Environments: Multi-Agent Continuous Control Benchmarks in a Modern Video Game Engine
Vidya Gamer, LLC（维迪亚游戏有限责任公司）；Summit Sierra High School（萨米特塞拉高中）
深度强化学习在使用连续控制的运动范例中的最新进展已经引起了游戏制作者对使用主动布娃娃的数字演员的潜力的兴趣。目前，开发这些想法的可用选项要么是研究人员有限的代码库，要么是专有的封闭系统。我们提出了马拉松环境，一套开源的，连续的控制基准在Unity游戏引擎上实现，使用Unity ML-代理工具包。通过这些基准测试，我们证明了持续控制研究可以转移到商业游戏引擎中。此外，我们展示了这些环境的鲁棒性再现先进的连续控制研究，如学习走路，跑步和后空翻从运动捕捉数据;学习导航复杂的地形;并通过实现视频游戏输入控制系统。我们通过使用OpenAI.Baselines中找到的替代算法进行训练，展示了进一步的鲁棒性。最后，我们分享显著减少训练时间的策略。
2019-02-25 cs.AI cs.LG cs.MA
Matrix Diagonalization as a Board Game: Teaching an Eigensolver the Fastest Path to Solution
Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
本文提出将矩阵对角化视为棋盘游戏，利用AlphaZero强化学习框架加速Jacobi对角化算法，在量子化学对称哈密顿矩阵上实现显著加速，展示了机器学习提升数值线性代数性能的潜力。
2023-06-21 cs.AI cs.LG cs.NA
Nash Equilibria and Pitfalls of Adversarial Training in Adversarial Robustness Games
Carnegie Mellon University（卡内基梅隆大学）；University of Waterloo（滑铁卢大学）
对抗性训练是训练对抗性鲁棒模型的标准技术。在本文中，我们研究了对抗性训练作为2人零和游戏中的交替最佳反应策略。我们证明，即使在一个简单的情况下的线性分类器和统计模型，抽象的强大与非强大的功能，这种游戏的交替最佳对策策略可能不会收敛。另一方面，存在唯一的纯纳什均衡的游戏，是可证明的强大。我们用实验来支持我们的理论结果，展示了对抗训练的非收敛性和纳什均衡的鲁棒性。
2023-02-28 cs.GT cs.LG
Robust equilibria in continuous games: From strategic to dynamic robustness
Stanford University（斯坦福大学）；Univ. Grenoble Alpes, CNRS, Inria, Grenoble INP, LIG（格勒诺布尔阿尔卑斯大学、法国国家科学研究中心、法国国家信息与自动化研究所、格勒诺布尔INP、LIG）
本文研究了连续博弈中纳什均衡的鲁棒性，探讨了战略和动态鲁棒性的关系，并展示了熵正则化学习在收敛速度上的表现。
2025-12-09 cs.GT cs.LG math.OC
Robustness of Nash Equilibria in Network Games
我们分析了网络博弈的（纯策略）纳什均衡对博弈者效用函数扰动的鲁棒性。首先，我们推导出一个简单的表征的鲁棒性，定义为最小幅度的扰动，使一个纳什均衡的原始游戏停止在扰动的游戏。然后，我们研究了一些标准的网络游戏，如协调和反协调游戏的最大鲁棒均衡是什么。最后，作为应用，我们给出了协调与反协调混合网络博弈中纳什均衡存在的充分条件。
2020-04-27 cs.DM cs.GT cs.MA
Equilibria in Schelling Games: Computational Hardness and Robustness
在最简单的博弈论公式谢林的模型隔离图，代理人的两种不同类型的每一个选择自己的顶点在一个给定的图，以最大限度地提高分数的代理人的类型在其占领的邻居。这里有两种建模代理移动的方法，要么允许两个代理交换他们的顶点，要么允许一个代理跳到一个自由的顶点。本文的贡献是双重的。首先，我们证明了在这个最简单的谢林博弈模型中决定交换均衡和跳跃均衡的存在是NP困难的，从而回答了Agarwal等人[AAAI '20]和Elkind等人[IJCAI '19]留下的问题。其次，我们介绍了两个措施的鲁棒性的平衡谢林游戏中的最小数量的边缘或最小数量的顶点，需要删除，使平衡不稳定。我们证明了严格的上下界交换平衡的边缘和顶点的鲁棒性谢林游戏在不同的图形类。
2022-03-30 cs.GT
Roping in Uncertainty: Robustness and Regularization in Markov Games
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文研究s-矩形不确定性的鲁棒马尔可夫博弈，建立鲁棒纳什均衡与正则化博弈纳什均衡的等价性，并针对一般情形证明PPAD难，进而提出高效玩家可分解性结构，使两人零和RMG可在多项式时间内求解。
2024-06-13 cs.DS cs.GT cs.LG
Robustness of Structurally Equivalent Concurrent Parity Games
我们考虑在有限状态空间上进行无限回合的两人随机博弈。游戏是并行的：在每一轮中，两个参与者（参与者1和参与者2）独立地并且同时地选择他们的移动;当前状态和两个移动确定在后继状态上的概率分布。我们还考虑了回合制随机游戏的重要特例，玩家轮流移动，而不是同时移动。我们研究了以ω-正则获胜条件为奇偶目标的并发博弈。参与人1的奇偶目标值是参与人能够保证满足对手所有策略的目标的最大概率。研究了在转移概率不精确的情况下，并发和回合制随机奇偶博弈中价值函数的连续性和鲁棒性问题。我们提出的价值函数的差异（在转移概率的不精确性方面）的定量界限，并显示了结构上等价的并发游戏（两个游戏是结构上等价的，如果支持的转移函数是相同的，概率不同）的价值连续性。我们还证明了结构等价的回合制随机奇偶博弈的最优策略的鲁棒性。最后，我们表明，价值连续性属性打破结构上等价的假设（即使是马尔可夫链），并表明我们的定量界是渐近最优的。因此，我们的结果是紧的（假设是必要的和充分的）和最优的（我们的定量界是渐近最优的）。
2012-01-03 cs.GT
Robustness against Agent Failure in Hedonic Games
我们研究如何稳定，即使在任何一组最多k个球员离开他们的群体，在享乐游戏的背景下，可以保持。虽然稳定性属性确保结果对参与者的偏差是鲁棒的，但尚未考虑由突然删除参与者引起的意外变化如何影响稳定的结果。在本文中，我们提出了一个新的标准，重塑稳定性鲁棒性方面。我们观察到，一些稳定性的属性可以不再保留，即使当一个单一的代理被删除。然而，我们得到了积极的结果，专注于对称的朋友为导向的享乐游戏。我们证明，我们可以有效地决定是否存在鲁棒结果的纳什稳定删除任何数量的球员或合同的个人稳定删除一个单一的球员。我们还表明，对称加法可分的游戏总是承认一个个人的稳定结果，是强大的个人理性。
2019-03-20 cs.GT
No-Regret Learning in Games with Noisy Feedback: Faster Rates and Adaptivity via Learning Rate Separation
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；EPFL（洛桑联邦理工学院）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Criteo AI Lab（Criteo人工智能实验室）
当学习者与其他优化代理参与连续游戏时，我们研究了遗憾最小化的问题：在这种情况下，如果所有玩家都遵循无遗憾算法，则相对于完全对抗的环境，可以实现显着降低的遗憾。我们研究这个问题的背景下，变分稳定的游戏（一类连续的游戏，其中包括所有的凹凸和单调的游戏），当玩家只能获得噪声估计他们的个人收益梯度。如果噪声是加性的，博弈论和纯粹的对抗设置享受类似的遗憾保证;然而，如果噪声是乘法的，我们表明，学习者可以，事实上，实现恒定的遗憾。我们通过具有学习率分离的乐观梯度方案来实现这种更快的速度-也就是说，该方法的外推和更新步骤根据噪声分布调整到不同的时间表。随后，为了消除对精细超参数调整的需要，我们提出了一种完全自适应的方法，该方法可以获得与非自适应方法几乎相同的保证，同时在不了解游戏或噪声配置文件的情况下操作。
2023-03-17 cs.GT cs.LG
Robustness of Dynamics in Games: A Contraction Mapping Decomposition Approach
除了一类特殊的势或近势博弈外，还没有一个系统的框架来分析博弈的动态属性。特别是，现有的结果有缺点，在确定一个指定的游戏中的一个给定的动态的渐近行为。虽然有大量的文献发展收敛动力学的纳什均衡（NE）的游戏，在一般情况下，一个潜在的动态的渐近行为可能甚至不接近NE。在本文中，我们开创了一个新的方向，通过研究游戏中的动态映射的基本性质的游戏动态。为了这个目的，我们首先将一个给定的动态映射分解为压缩和非压缩部分，然后使用这种分解到压缩映射的接近性来探索这些动态的渐近行为。特别是，我们分析了离散动作空间序列/重复博弈中更好/最佳反应动态的非收缩行为，并表明这些动态的非收缩部分在一定意义上是行为良好的。这使我们能够使用其收缩部分代理的不动点周围的邻域来估计这种动力学的渐近行为。最后，我们证明了我们的框架的实用性，通过一个例子，从双寡头古诺游戏。
2023-03-27 cs.GT
Fragility and Robustness in Mean-Payoff Adversarial Stackelberg Games
Stackelberg二人平均支付博弈是领导者（参与人0）和跟随者（参与人1）在一个双权图上进行的非零和无限持续时间博弈。这样的游戏是按顺序进行的：首先，领导者宣布她的策略，其次，追随者选择他的最佳对策。如果我们不能强加追随者选择的最佳反应，我们就说追随者虽然具有战略性，但对领导者具有对抗性。Leader在这个非零和博弈中所能得到的最大值称为博弈的对抗Stackelberg值（ASV）。我们研究了在这些游戏中领导者的策略对两种类型的偏差的鲁棒性：（i）建模不精确-游戏舞台边缘上的权重可能不完全正确，它们可能远离正确的权重。(ii)次优反应-追随者可能会选择ε最优的最佳反应，而不是完美的最佳反应。首先，我们表明，如果游戏是零和那么鲁棒性是有保证的，而在非零和的情况下，ASV的最优策略是脆弱的。其次，我们提供了一个解决方案的概念，以获得战略的领导者是强大的建模不精确性，以及ε-最优响应的追随者，并研究了几个属性和算法问题，这个解决方案的概念。
2021-08-02 cs.GT math.CO math.OC
Fast Convergence of Regularized Learning in Games
Microsoft Research（微软研究院）；Princeton University（普林斯顿大学）
我们表明，自然类的正则化学习算法与近因偏差的形式实现更快的收敛速度，以近似的效率和粗糙的相关均衡多人范式游戏。当游戏中的每个玩家使用我们班的算法时，他们的个人遗憾以$O(T^{-3/4})$衰减，而效用之和则以$O(T^{-1})$收敛到近似最佳值--这是对最坏情况下$O(T^{-1/2})$率的改进。我们展示了一个黑盒减少类中的任何算法，以实现对对手的$\tilde{O}(T^{-1/2})$率，同时保持对类中的算法更快的速度。我们的结果扩展了[Rakhlin and Shridharan 2013]和[Daskalakis et al. 2014]的结果，他们只分析了特定算法的两人零和游戏。
2015-12-10 cs.AI cs.GT cs.LG
On the robustness of equilibria in generalized aggregative games
我们解决的问题，评估的不确定性，多智能体游戏的均衡的鲁棒性。具体而言，我们专注于广义纳什均衡问题的聚合形式受到线性耦合约束的不确定性与可能未知的概率分布。在一个数据驱动的背景下，我们应用场景的方法范式提供了一个后验的可行性证书的整个广义纳什均衡的游戏。然后，我们表明，评估这样的集合的违反概率只需要枚举的约束，“形”它。对于类的聚合游戏，这导致解决的可行性问题的可行性区域的每个活动方面，我们提出了一个半分散的算法。我们证明了我们的理论结果通过一个学术例子。
2020-05-19 cs.GT cs.MA cs.SY
Regret Matching+: (In)Stability and Fast Convergence in Games
FAIR, Meta AI（元宇宙人工智能基础人工智能研究院）；HEC Paris（巴黎高等商学院）；Columbia University（哥伦比亚大学）；University of Southern California（南加州大学）
本文揭示了Regret Matching+ (RM+)及其预测版本的不稳定性，通过重启和截断正象限两种修复方法，实现了个体遗憾$O(T^{1/4})$和社会遗憾$O(1)$的快速收敛，并在矩阵和扩展形式博弈中验证了其优势。
2023-05-24 cs.GT cs.LG
Fast Convergence of Optimistic Gradient Ascent in Network Zero-Sum Extensive Form Games
Singapore Univ. of Technology and Design（新加坡科技设计大学）；University of Washington（华盛顿大学）；EPFL（洛桑联邦理工学院）
游戏学习的研究迄今主要集中在范式游戏。相比之下，我们对广泛形式游戏（EFG），特别是具有许多代理的EFG学习的理解远远落后，尽管它们在本质上更接近许多现实世界的应用。我们考虑网络零和扩展形式游戏的自然类，它结合了代理支付的全局零和属性，图形游戏的有效表示以及EFG的表达能力。我们研究了乐观梯度上升（OGA）在这些游戏中的收敛特性。我们证明了这种在线学习动态的时间平均行为表现出$O(1/T)$率收敛到纳什均衡集。此外，我们还证明了对于某些依赖于博弈的常数$c>0$，日常行为也以速率$O(c^{-t})$收敛于纳什。
2022-07-18 cs.GT cs.LG cs.MA
Robustness and Games Against Nature in Molecular Programming
物质，特别是DNA，现在被编程为在纳米级进行有用的过程。随着这些程序和过程变得更加复杂，并且其设想的安全关键应用接近部署，开发用于将可信度工程化到分子程序中的方法至关重要。其中一些可以通过调整现有的软件工程方法来实现，但分子编程也提出了新的挑战，需要新的方法。本文提出了一种方法来处理这样一个挑战，即，确定如何强大的分子程序是扰动的相对“时钟速度”的各种反应的困难。这里提出的方法是博弈论的。分子程序的鲁棒性是根据其在与操纵其相对时钟速度的其他分子程序的游戏中获胜（实现其原始目标）的能力来量化的。这种博弈论的方法是一般性的，足以量化的分子程序对恶意操纵其相对时钟速度的安全性。然而，这份初步报告的重点是对抗自然的游戏，在这种游戏中，分子程序的对手根据化学动力学固有的概率随机（无差别地）扰乱时钟速度。
2019-02-16 cs.ET cs.GT cs.SE
Fast and Furious Symmetric Learning in Zero-Sum Games: Gradient Descent as Fictitious Play
Singapore University of Technology and Design（新加坡科技设计大学）；Google DeepMind（谷歌DeepMind）；Yale University（耶鲁大学）
该研究针对加权n维对称零和博弈，证明对称初始化下任意平局规则的虚拟博弈有O(√T)悔值，且步长足够大的恒定步长梯度下降在几乎所有对称初始化下也有该悔值，首次在大于2×2的零和博弈中验证了梯度下降的极速行为。
2025-06-16 cs.GT cs.LG
Noisy three-player dilemma game: Robustness of the quantum advantage
涉及量子策略的游戏通常会产生更高的回报。在这里，我们使用IBM Q Experience提供的基于超导性的量子处理器来研究三人困境游戏的实际实现。我们分析的持久性的量子优势下腐败的输入状态，以及如何这取决于参数的支付表。具体地，观察到实验保真度和误差不适当地反相关，即，在某些情况下，具有更高保真度的一类实验在收益中产生更大的误差。此外，我们发现，经典的策略将始终优于量子策略，如果腐败高于一半。
2020-04-09 cs.GT quant-ph
Robustness and sample complexity of model-based MARL for general-sum Markov games
多智能体强化学习（MARL）通常使用马尔可夫博弈（也称为随机博弈或动态博弈）的框架建模。现有的文献大多集中在零和马尔可夫博弈，但不适用于一般和马尔可夫博弈。众所周知，一般和马尔可夫博弈中的最佳反应动态不是收缩。因此，一般和马尔可夫博弈中的不同均衡可以有不同的值。此外，Q函数不足以完全表征平衡。考虑到这些挑战，基于模型的学习是一个有吸引力的方法MARL在一般和马尔可夫游戏。在本文中，我们调查的基本问题，\emph{sample complexity}的一般和马尔可夫博弈模型为基础的MARL算法。我们展示了两个结果。我们首先使用Hoeffding不等式为基础的界限表明，$\tilde{\mathcal{O}}( (1-γ)^{-4} α^{-2})$样本每个状态-动作对是足够的，以获得一个$α$近似马尔可夫完美均衡与高概率，其中$γ$是折扣因子，和$\tilde{\mathcal{O}}(\cdot)$符号隐藏对数项。然后，我们使用Bernstein不等式为基础的界限表明，$\tilde{\mathcal{O}}( (1-γ)^{-1} α^{-2} )$样本是足够的。为了得到这些结果，我们研究了马尔可夫完美均衡对模型近似的鲁棒性。我们证明了近似（或扰动）博弈的马尔可夫完美均衡总是原博弈的近似马尔可夫完美均衡，并提供了近似误差的明确界。我们通过一个数值例子来说明结果。
2022-12-19 cs.GT cs.MA cs.SY
On the Robustness of the Approximate Price of Anarchy in Generalized Congestion Games
通过Roughgarden的平滑博弈和无政府状态的鲁棒无政府代价的概念所显示的主要结果之一是，对于任何总和有界的功利主义社会函数，粗糙相关均衡的无政府状态的最坏情况无政府代价与具有非负和非减延迟函数的加权拥塞博弈类中的纯纳什均衡的最坏情况一致，并且这样的值总是可以通过所谓的，平滑论证我们通过证明，对于各种各样的（甚至非和有界）功利主义和平等主义的社会功能，并为广泛推广的加权拥塞游戏类与非负（并且可能减少）延迟函数，对于任何$ε\geq 0$，$ε$ -近似粗相关均衡的无政府状态的最坏情况代价仍然与$ε$ -近似纯纳什均衡的无政府状态的最坏情况代价一致。作为我们证明的一个副产品，它也遵循这样一个值总是可以通过使用我们在以前的工作中介绍的原始对偶方法来确定。值得注意的是，我们的研究场景超出了无政府状态的稳健无政府代价的应用范围（因为它是目前定义的），所以我们的结果似乎不太可能通过平滑框架来证明。
2014-12-02 cs.GT
Timed Parity Games: Complexity and Robustness
我们考虑两个玩家的游戏在实时的时钟和奇偶性目标的游戏结构。游戏是并行的，在每一轮，两个玩家独立地提出一个时间延迟和一个动作，并选择具有较短延迟的动作。为了防止玩家通过阻塞时间来获胜，我们限制每个玩家的策略，以确保玩家不能对导致zeno运行负责。首先，我们提出了一个有效的减少这些游戏回合制（即，非并发）有限状态（即，不定时的）平价游戏。结果游戏的状态是原始游戏的时钟区域对。我们的减少提高了最有名的复杂性解决定时奇偶游戏。此外，经典奇偶博弈的丰富算法现在可以应用于定时奇偶博弈。其次，我们考虑两个限制类的策略的球员，代表控制器在一个实时的综合问题，即有限的鲁棒和有界的鲁棒策略。使用极限鲁棒策略，控制器不能选择精确的实值时间延迟，但必须允许在其每个动作中存在一些非零抖动。如果抖动有一个给定的下限，那么该策略是有界鲁棒的。我们证明了精确策略比极限鲁棒策略更强大，极限鲁棒策略比有界鲁棒策略更强大。对于这两种强大的战略，我们提出了有效的减少标准的时间自动机游戏。这些减少提供了鲁棒实时控制器的合成算法。
2008-07-08 cs.GT cs.LO
Faster Algorithms for the Least-Core value and the Nucleolus in Convex Games
本文提出一种基于缩减游戏和迭代最小核心值计算的组合算法，提高了计算凸游戏最小核心值的效率，从而得到一个新的强多项式时间算法来计算核。
2026-03-17 cs.GT
Disentangling Resilience from Robustness: Contextual Dualism, Interactionism, and Game-Theoretic Paradigms
本文区分了控制系统的鲁棒性与弹性，通过三阶段模型、玩具模型及博弈论统一框架探究二者关系，提出需构建弹性理论与量化指标，整合技术与非技术方案实现系统全面弹性，为弹性社会建设提供科学基础。
2024-03-10 cs.GT cs.SY eess.SY
A Game-Theoretic Approach to the Study of Blockchain's Robustness
本研究针对区块链协议鲁棒性，聚焦以太坊权益证明，结合分布式系统（诚实/拜占庭节点）与博弈论（理性节点激励）方法分析其安全性与活性，揭示漏洞、非活跃泄漏机制的权衡及理性验证者策略，为协议弹性设计提供见解。
2024-11-28 cs.CR cs.GT
On the robustness of learning in games with stochastically perturbed payoff observations
在对策论的实际应用中缺乏准确的收益反馈，我们研究了一类学习动态，玩家根据过去的收益观察，受到噪声和随机干扰调整他们的选择。首先，在单玩家的情况下（对应于代理试图适应一个任意变化的环境），我们表明，随机动力学研究导致几乎肯定没有遗憾，无论在玩家的观察噪声水平。在多人博弈的情况下，我们发现劣势策略会灭绝，我们证明了严格的纳什均衡是随机稳定的和吸引的;相反，如果一个状态是稳定的或吸引的正概率，那么它是纳什均衡。最后，我们提供了一个平均原则的2人游戏，我们表明，在零和对策与内部均衡，时间平均收敛到纳什均衡的任何噪声水平。
2016-06-02 cs.GT math.OC math.PR
Faster Game Solving via Hyperparameter Schedules
Carnegie Mellon University（卡内基梅隆大学）；Anthropic；Strategy Robot, Inc.；Strategic Machine, Inc.；Optimized Markets, Inc.
本文提出一种简单高效的超参数调度框架，通过动态调整CFR折扣率，显著提升不完全信息游戏的求解速度，适用于多种游戏场景。
2026-02-08 cs.GT
Payoff landscapes and the robustness of selfish optimization in iterated games
在迭代博弈中，参与者可以通过谨慎选择策略单方面影响结果。Press and Dyson（2012）发现了一类强有力的“回报控制”策略。他们所谓的“零决定”（ZD）策略允许参与者单方面强制双方的收益之间的线性关系。Chen和Zinger（2014）随后证明，当这种线性关系的斜率为正时，ZD策略对自私优化的共同参与者是鲁棒有效的，因为自私参与者的所有适应路径都会导致两个参与者的最大收益（至少当对游戏参数有某些限制时）。在本文中，我们研究了在更一般的设置中，对于ZD和非ZD策略，自私学习对固定玩家的功效。我们首先证明了在任何对称$2\times 2$博弈中，自私局中人的最终策略必须具有某种形式，并且不可能是完全随机的。然后，我们表明，有囚徒困境的相互作用，自私的优化并不总是导致最大的回报对固定的ZD策略与正斜率。我们给出了自私适应路径的例子，这些路径会导致局部但非全局最佳收益，从而破坏收益控制策略的鲁棒性。对于非ZD策略，这些病态的出现与游戏参数的原始限制无关。我们的研究结果表明，即使在最简单的情况下，对一个固定的战略，实现强大的回报控制和自私的优化的困难。
2022-05-09 cs.GT q-bio.PE
Reduced Space and Faster Convergence in Imperfect-Information Games via Regret-Based Pruning
Carnegie Mellon University（卡内基梅隆大学）
反事实后悔最小化（CFR）算法是求解零和信息博弈的最常用的迭代算法。基于后悔的修剪（RBP）是一种改进，允许临时修剪性能不佳的操作，从而加快CFR。我们引入了Total RBP，这是一种新形式的RBP，它可以减少CFR的空间需求，因为动作被修剪。我们证明，在零和游戏中，它渐近修剪任何行动，不是一个最佳对策的一部分，一些纳什均衡。这导致可证明的更快收敛和更低的空间要求。实验表明，总RBP结果在空间上减少了一个数量级，减少因子随着游戏大小的增加而增加。
2016-09-12 cs.AI cs.GT
Fast Convergence in Semi-Anonymous Potential Games
对数线性学习在博弈论和分布式控制文献中都有广泛的研究。它在许多应用中很有吸引力，因为它经常保证智能体的集体行为将概率收敛到最优系统配置。然而，最坏情况下的收敛时间可能非常长，即，玩家数量呈指数级增长我们正式提出了一种改进的对数线性学习算法，其最坏情况下的收敛时间是大致线性的球员的数量。我们证明了这一特性的一类潜在的游戏代理的效用函数可以表示为一个函数的聚集行为在一个有限的人口。最后，我们表明，收敛时间保持大致线性的球员的数量，即使当球员被允许进入和退出游戏随着时间的推移。
2015-11-18 cs.GT
Fast Algorithms for Rank-1 Bimatrix Games
本文全面分析秩一双矩阵博弈，证明其均衡集结构、多项式时间求解、路径追踪找全部均衡、均衡数可指数级，并给出保持秩的同胚映射。
2019-12-22 cs.GT
Game Theory for Adversarial Attacks and Defenses
Indian Institute of Technology Bhubaneswar（印度理工学院布巴内斯瓦尔分校）
本研究应用博弈论防御对抗攻击，通过随机初始化、随机激活剪枝和超分辨率三种方法提升深度神经网络的鲁棒性。
2024-01-05 cs.CR cs.GT cs.LG
Fast and the Furious: Hot Starts in Pursuit-Evasion Games
University of Michigan（密歇根大学）；Air Force Research Laboratory（空军研究实验室）
本研究提出结合博弈论控制理论与图神经网络的方法，通过在帕累托最优追捕者配置图上训练GCN生成“热启动”初始配置，有效提升了多追捕者-逃跑者场景下的围堵效率与战略优势。
2025-10-12 cs.GT cs.LG cs.MA
Fast Payoff Matrix Sparsification Techniques for Structured Extensive-Form Games
许多优化算法的实际可扩展性的大型扩展形式的游戏往往是有限的游戏的巨大的支付矩阵。为了改善这个问题，Zhang和Sandholm（2020）最近提出了一种稀疏化技术，将收益矩阵$\mathbf{A}$分解为一个稀疏对象$\mathbf{A} = \hat{\mathbf{A}} + \mathbf{U}\mathbf{V}^\top$，其中$\hat{\mathbf{A}}$，$\mathbf{U}$和$\mathbf{V}$的非零的总组合数量明显较小。这种分解可以在许多优化算法中代替原始的支付矩阵，例如边界点和二阶方法，从而增加了可以处理的游戏的大小。他们的技术显着稀疏扑克（端）游戏，标准基准用于计算博弈论，人工智能，更广泛。我们表明，在扑克游戏中的存在非常稀疏的因子分解可以绑定到其特定的\emph{Kronecker-product}结构。我们阐明了这种结构是如何产生的，并介绍了这种结构和稀疏化之间的联系。通过利用这种结构，我们给出了两种计算扑克游戏（以及具有类似结构的任何其他游戏）的强稀疏化的方法，i）计算速度快了几个数量级，ii）数值更稳定，iii）产生的非零值数量比现有技术少得多。我们的技术使-第一次-高精度的纳什均衡和策略的有效计算受到限制的数量允许的随机化。此外，他们显着加快并行一阶博弈求解算法，我们展示了最先进的GPU上的速度。
2021-12-07 cs.GT
Fast and Furious Learning in Zero-Sum Games: Vanishing Regret with Non-Vanishing Step Sizes
Singapore University of Technology and Design（新加坡科技设计大学）
据我们所知，我们第一次证明，在零和游戏的在线学习中，有可能调和两个看似矛盾的目标：消失的时间平均后悔和非消失的步长。这种现象，我们在游戏中创造了“快速而激烈”的学习，为最大最小优化和多智能体系统的可能性设定了一个新的基准。我们的分析并不依赖于引入一个精心定制的动态。相反，我们专注于最好的研究在线动态，梯度下降。同样，我们专注于最简单的教科书游戏类，两个代理两个策略零和游戏，如匹配便士。即使对于这个最简单的基准测试，在我们的工作之前，最著名的完全后悔的界限是$O(T)$的平凡界限，它甚至可以直接应用于非学习代理。基于对对偶空间中非平衡轨迹几何的严格理解，我们证明了$Θ(\sqrt{T})$的遗憾界与在线设置中自适应步长的众所周知的最佳界相匹配。这一保证适用于所有固定步长，而不必提前知道时间范围并相应地调整固定步长。作为一个推论，我们建立，即使有固定的学习率的时间平均的混合策略，效用收敛到其确切的纳什均衡值。
2019-05-11 cs.GT cs.LG cs.MA
Robustness of Incentive Mechanisms Against System Misspecification in Congestion Games
Georgia Institute of Technology（佐治亚理工学院）；Thayer School of Engineering at Dartmouth College（达特茅斯学院塔克工程学院）
研究系统参数误设对原子拥塞博弈中通行费设计的影响，证明轻微误设下设计的通行费不会引入新的纳什均衡，并给出了最坏情况下的性能下降上界。
2026-06-01 cs.GT cs.SY eess.SY
Fast value iteration: A uniform approach to efficient algorithms for energy games
针对奇偶、均势和能量博弈的求解问题，提出基于势能约简的“快速值迭代”统一框架，可简洁呈现并证明已知算法正确性，还衍生出高效对称版本，实证显示其能与顶尖奇偶博弈求解器竞争。
2025-02-12 cs.GT
A Faster Algorithm for Solving One-Clock Priced Timed Games
单钟定价定时博弈是一类两人零和连续时间博弈，在以前的作品中已经定义和深入研究。我们证明了一个时钟定价的定时游戏可以在时间m12^nn ^（O（1））内求解，其中n是状态数，m是动作数。由于Rutkowski的贡献，解决一个时钟价格的定时游戏的最佳时间界限是2^（O（n^2+m））。基于计算几何中的扫描线技术和马尔可夫决策过程算法理论中的策略迭代范式，本文提出并研究了一种求解一钟定价时间博弈的新算法.作为一个必然的结果，我们还提高了分析以前的算法，由于布耶，Cassez，Fleury和拉森;和Alfred，Bernadsky和Madhusudan。
2013-01-11 cs.CG cs.GT
Robust Information Design with Heterogeneous Beliefs in Bayesian Congestion Games
Dartmouth College（达特茅斯学院）
研究在平行网络仿射延迟拥堵游戏中，如何通过信号设计影响分散行为，考虑用户可能持有不同信念的情况，提出稳健信息设计问题，分析稳健服从区域和性能权衡。
2026-09-18 cs.GT
N-Player Binary Games with Unidirectional Dependencies: Cycle Robustness and Induced Indifference
University of Malaga（马拉加大学）；Iv. Javakhishvili Tbilisi State University（伊万·贾瓦希什维利第比利斯国立大学）
本文针对具有单向依赖性的N人二元博弈，给出了纳什均衡的闭式刻画，重点研究了有向循环图博弈，提出了鲁棒激励结构，在O(N)时间内求解均衡，并揭示了奇偶条件与诱导无差异的作用。
2026-06-04 cs.GT math.ST stat.TH
Scale-Invariant Fast Convergence in Games
The University of Tokyo and RIKEN（东京大学和RIKEN）
本文提出了一种无尺度且尺度不变的学习动态，适用于双人零和游戏和多人一般和解游戏，实现了快速收敛到纳什均衡和相关均衡。
2026-02-12 cs.GT cs.LG stat.ML
Convergence of Fast Policy Iteration in Markov Games and Robust MDPs
University of New Hampshire（新罕布什尔大学）；Naval Postgraduate School（海军研究生学院）
针对马尔可夫博弈与鲁棒MDPs的鞍点策略计算问题，指出FT算法存在收敛失效问题，提出基于FT的残差条件策略迭代（RCPI）算法，保证收敛到鞍点且性能远超其他收敛算法。
2025-11-16 cs.GT
The GKK Algorithm is the Fastest over Simple Mean-Payoff Games
研究了Gurvich，Khachyian和Karzanov算法（GKK算法）在不含权为零的简单圈的平均支付博弈上的运行情况。我们提出了一个新的对称分析，降低$O(n^2 N)$上界Pisaruk的迭代次数下降到$N + Ep + Em$，这是小于$nN$，其中$n$是顶点的数量，$N$是最大的绝对值的权重，和$Ep$和$Em$分别是最大的有限能量和双能量值的游戏。由于每次迭代都是在$O(m)$中计算的，因此通过考虑游戏图的结构，这改进了Brim、Chaloupka、Doyen、Gentilini和Raskin的最新伪多项式$O(mnN)$运行时界限。我们补充我们的结果表明，Dorfman，Kaplan和Zwick的分析也适用于GKK算法，因此也受到最先进的组合运行时界的$O(m 2^{n/2})$。
2021-10-09 cs.GT
Hedging in games: Faster convergence of external and swap regrets
我们考虑玩家运行对冲算法或其乐观变体以重复玩$n$动作游戏$T$回合的设置。1)对于两人游戏，我们表明，乐观对冲的遗憾衰减在$\tilde{O}( 1/T ^{5/6} )$，改善了Syrgkanis，Agarwal，Luo和Schapire（NIPS'15）之前的约束$O(1/T^{3/4})$ 2）相反，我们表明香草对冲的收敛速度并不比$\tildeΩ(1/ \sqrt{T})$更好，解决了Syrgkanis，Agarwal，Luo和Schapire（NIPS'15）中提出的一个悬而未决的问题。对于一般的多人博弈，我们证明了当他们将乐观对冲与Blum和Mansour（JMLR'07）的经典外部到内部还原相结合时，每个玩家的交换遗憾以$\tilde{O}(m^{1/2} (n/T)^{3/4})$的速率衰减。该算法还可以被修改以实现针对自身的相同速率和针对对手的$\tilde{O}(\sqrt{n/T})$速率。通过标准连接，我们的上界也意味着更快的收敛到两人游戏中的粗相关均衡和多人游戏中的相关均衡。
2020-10-19 cs.DS cs.GT
Can We Find Nash Equilibria at a Linear Rate in Markov Games?
Fudan University（复旦大学）；Princeton University（普林斯顿大学）；Yale University（耶鲁大学）
我们研究了两个玩家零和折扣马尔可夫博弈中的分散学习，其目标是为满足两个属性的任何一个代理设计一个策略优化算法。首先，玩家不需要知道对手的策略来更新其策略。第二，当双方都采用该算法时，他们的联合策略收敛到博弈的一个纳什均衡。为此，我们构建了一个Meta算法，称为$\texttt{Homotopy-PO}$，可证明发现一个纳什均衡在一个全球性的线性速率。特别地，$\texttt{Homotopy-PO}$通过同伦延拓交织两个基本算法$\texttt{Local-Fast}$和$\texttt{Global-Slow}$。$\texttt{Local-Fast}$是一种局部线性收敛的算法，而$\texttt{Global-Slow}$是一种全局收敛但次线性速度较慢的算法。通过在这两个基本算法之间切换，$\texttt{Global-Slow}$基本上充当"向导“，其识别$\texttt{Local-Fast}$享有快速收敛的良性邻域。然而，由于这样的邻域的确切大小是未知的，我们应用加倍技巧来在这两个基本算法之间切换。切换方案被精心设计，使得算法的聚合性能由$\texttt{Local-Fast}$驱动。此外，我们证明了$\texttt{Local-Fast}$和$\texttt{Global-Slow}$都可以实例化的乐观梯度下降/上升（OGDA）方法，这是独立的利益的变种。
2023-03-03 cs.GT cs.LG math.OC
Implicit Midpoint Gradient Descent: Fast and Learning rate free convergence for Zero-Sum Games
Rensselaer Polytechnic Institute（伦斯勒理工学院）
研究无约束双线性零和博弈，引入由辛积分方法推导的隐式中点梯度下降规则，该方法继承连续时间动力学的强大特性，在零和博弈中同时具备有界轨道等特性，且计算实验显示其显著优于标准方法。
2026-07-14 cs.GT math.OC
Faster Game Solving via Predictive Blackwell Approachability: Connecting Regret Matching and Mirror Descent
Carnegie Mellon University（卡内基梅隆大学）；Columbia University（哥伦比亚大学）；Strategic Machine, Inc.（Strategic Machine 公司）；Strategy Robot, Inc.（Strategy Robot 公司）；Optimized Markets, Inc.（Optimized Markets 公司）
布莱克威尔可接近性是一个推理具有向量值回报的重复博弈的框架。我们引入预测Blackwell可接近性，其中给出下一个回报向量的估计，并且决策者试图基于该估计的准确性来实现更好的性能。为了推导出实现预测Blackwell可接近性的算法，我们首先展示了四个著名算法之间的强大连接。跟随正则化领导者（FTRL）和在线镜像下降（OMD）是在线凸优化中最流行的后悔极小化算法。尽管这种流行，遗憾匹配（RM）和遗憾匹配+（RM+）算法已在解决大型游戏的实践中首选（作为反事实遗憾最小化框架内的局部遗憾最小化）。我们表明，RM和RM+是运行FTRL和OMD的结果，分别选择半空间，以迫使在任何时候在底层的Blackwell可接近性游戏的算法。通过将FTRL或OMD的预测变体应用于该连接，我们获得预测Blackwell可接近性算法，以及RM和RM+的预测变体。在18个常见的零和扩展形式的基准游戏的实验中，我们表明，预测RM+加上反事实遗憾最小化收敛速度远远快于最快的先验算法（CFR+，DCFR，LCFR）在所有的游戏，但两个扑克游戏，有时两个或更多的数量级。
2021-03-08 cs.AI cs.GT cs.LG
