Deep Fictitious Play-Based Potential Differential Games for Learning Human-Like Interaction at Unsignalized Intersections
Department of Civil and Environmental Engineering, University of Washington（华盛顿大学土木与环境工程系）
本研究提出DFP-PDG框架，首次用深度虚拟博弈学习无信号交叉口类人交互驾驶策略，经INTERACTION数据集验证有效，可捕捉驾驶风格差异并保证收敛。
2026-08-13 cs.AI cs.MA
Fictitious Cross-Play: Learning Global Nash Equilibrium in Mixed Cooperative-Competitive Games
Tsinghua University（清华大学）；Shanghai Qi Zhi Institute（上海期智研究院）
针对混合合作竞争博弈中自博弈难收敛到全局纳什均衡、PSRO扩展性差的问题，提出兼具两者优势的虚拟交叉博弈算法FXP，在矩阵博弈、网格世界和足球博弈中均取得更优效果。
2023-10-05 cs.AI cs.LG cs.MA
Fictitious Play for Mean Field Games: Continuous Time Analysis and Applications
Univ. Lille（里尔大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；CRIStAL（里尔大学信息与自动化研究所联合实验室）；DeepMind Paris（巴黎深度思维）；Princeton University ORFE（普林斯顿大学运筹学与金融工程系）；Google Research Brain Team（谷歌研究院大脑团队）
在本文中，我们深化了连续时间Fictionary Play学习算法的分析，以考虑各种有限状态平均场游戏设置（有限时域，$γ$ -折扣），特别是允许引入额外的共同噪声。首先，我们提出了一个理论上的收敛性分析的连续时间的Fictionary播放过程，并证明了诱导的可利用率下降的速度$O(\frac{1}{t})$。这样的分析强调使用的可利用性作为一个相关的指标，用于评估收敛到一个纳什均衡的背景下，平均场游戏。这些理论贡献的支持，无论是基于模型或无模型设置提供的数值实验。在此，我们首次提供了在存在共同噪声的情况下平均场游戏的收敛学习动态。
2020-10-26 cs.AI math.OC
Optimize Neural Fictitious Self-Play in Regret Minimization Thinking
College of Computer Science, Zhejiang University（浙江大学计算机科学学院）
优化深度学习算法以接近纳什均衡仍然是不完美信息游戏中的一个重要问题，例如星际争霸和扑克。神经虚拟自博弈（NFSP）为不完全信息博弈中不需要先验领域知识的近似纳什均衡的学习提供了一种有效的方法。然而，最优性间隙作为NFSP的优化问题而被留下，通过解决该问题，NFSP的性能可以得到改善。在本研究中，针对NFSP的最优性缺口，我们提出一种新的方法来取代NFSP的最佳反应计算与遗憾匹配方法。新算法在迭代过程中能使最优性间隙收敛到零，从而比原NFSP算法收敛更快。我们在OpenSpiel中的三种典型的完全信息博弈和不完全信息博弈环境下进行了实验，实验结果表明，新算法的性能优于原NFSP算法。
2021-04-22 cs.AI
Training with (Swap) Regret Loss in a Single-Layer Self-Attention Model: A Case Study on the Probability Simplex
MIT EECS（麻省理工学院电子工程与计算机科学系）
研究通过概率单纯形策略视角重审视遗憾损失框架，用其训练单层自注意力模型，新引入交换遗憾损失函数，表明基于遗憾训练的注意力能实现可微机制，使最小注意力架构具备博弈论保证的在线学习动态。
2026-07-28 cs.AI cs.LG
Sampled Fictitious Play is Hannan Consistent
虚构游戏是一种简单而广泛研究的自适应启发式重复游戏。众所周知，虚拟游戏并非汉南一贯。几种虚拟对策的变体，包括遗憾匹配、广义遗憾匹配和光滑虚拟对策，都是汉南相容的。在本说明中，我们考虑抽样虚拟游戏：在每一轮中，玩家对过去的时间进行抽样，并在抽样时间点对其他玩家之前的移动做出最佳反应。我们表明，抽样虚构的发挥，使用伯努利抽样，是汉南一致的。与现有的几个依赖于测量结果的浓度的汉南一致性证明不同，我们的证明使用了Littlewood-Offord理论的反浓度结果。
2017-04-11 cs.GT cs.LG stat.ML
Anticipatory Fictitious Play
虚拟博弈是一种计算矩阵博弈纳什均衡的算法。最近，虚拟游戏的机器学习变体已成功应用于复杂的现实世界游戏。本文提出了一个简单的修改虚构的发挥，这是一个严格的改进，原来的：它具有相同的理论最坏情况下的收敛速度，同样适用于机器学习上下文中，并享有优越的经验性能。我们进行了广泛的比较，我们的算法与虚构的发挥，证明了某些类别的游戏的最佳收敛速度，在各种游戏中表现出卓越的性能数值，并得出结论，这些算法扩展到设置的深度多智能体强化学习的实验。
2022-12-20 cs.GT cs.MA
Mastering Strategy Card Game (Legends of Code and Magic) via End-to-End Policy and Optimistic Smooth Fictitious Play
ByteDance（字节跳动）
深度强化学习结合Fictionary Play在许多基准测试游戏上显示出令人印象深刻的结果，然而，其中大多数都是单阶段的。相比之下，现实世界的决策问题可能由多个阶段组成，其中观察空间和行动空间在各个阶段之间可能完全不同。我们研究了一个两阶段的策略纸牌游戏Legends of Code and Magic，并提出了一个端到端的策略来解决多阶段游戏中出现的困难。我们还提出了一个乐观光滑虚拟博弈算法来寻找两人博弈的纳什均衡。我们的方法赢得了COG2022比赛的双重冠军。大量的研究验证并显示了我们方法的先进性。
2023-03-07 cs.AI cs.GT cs.LG
A Generalized Extensive-Form Fictitious Play Algorithm
University of Tennessee（田纳西大学）
提出一种广义扩展式虚拟博弈算法，用于求解两人零和博弈均衡，在存储和计算上优于正规式虚拟博弈，且实现简单直观。
2023-10-14 cs.AI cs.GT
Large-Scale Multi-Agent Deep FBSDEs
Georgia Institute of Technology（佐治亚理工学院）；Stanford University（斯坦福大学）
在本文中，我们提出了一个可扩展的深度学习框架，用于使用虚拟游戏在多智能体随机游戏中寻找马尔可夫纳什均衡。其动机来自于前向后向随机微分方程（FBNN）的理论分析及其在深度学习环境中的实现，这是我们算法样本效率提高的来源。通过利用对称博弈中智能体的置换不变性，进一步提高了系统的可扩展性和性能。我们展示了优越的性能，我们的框架在国家的最先进的深虚构播放算法在银行间借贷问题的多个指标。更重要的是，我们的方法规模高达3000代理的模拟，规模，据我们所知，代表了一个新的国家的最先进的。我们还证明了我们的框架在机器人的信念空间自主赛车问题的适用性。
2021-05-21 cs.AI
A Counter-Example to Karlin's Strong Conjecture for Fictitious Play
虚构游戏是零和游戏中均衡游戏的自然动态，由[Brown 1949]提出，并由[Robinson 1951]证明收敛。塞缪尔·卡林（Samuel Karlin）在1959年提出，虚拟游戏以速率$O(1/\sqrt{t})$与步数$t$收敛。我们反驳了这一猜想，表明当行玩家的支付矩阵是$n \times n$单位矩阵时，虚拟游戏可能会以与$Ω(t^{-1/n})$一样慢的速度收敛。
2014-12-18 cs.GT
Provably Efficient Fictitious Play Policy Optimization for Zero-Sum Markov Games with Structured Transitions
University of Chicago（芝加哥大学）；Meta Platforms, Inc.（元平台公司）；University of Michigan（密歇根大学）；Northwestern University（西北大学）；Yale University（耶鲁大学）
虽然在固定环境中的单智能体策略优化最近在强化学习社区引起了很多研究关注，但当有多个智能体在潜在竞争环境中玩耍时，理论上知之甚少。我们采取措施，提出和分析新的虚拟播放策略优化算法的零和马尔可夫游戏结构化，但未知的过渡。我们考虑两类转移结构：因子独立转移和单控制器转移。对于这两种情况下，我们证明了紧$\widetilde{\mathcal{O}}(\sqrt{K})$遗憾界后，$K$情节在两个代理竞争的游戏场景。每个代理人的遗憾是衡量对一个潜在的敌对对手谁可以选择一个最好的政策后，在事后观察整个政策序列。我们的算法结合了上置信界（UCB）型乐观和虚构的发挥范围内的同时在非平稳环境中的政策优化。当两个玩家都采用所提出的算法时，他们的总体最优性差距是$\widetilde{\mathcal{O}}(\sqrt{K})$。
2022-07-25 cs.AI cs.GT cs.LG
Payoff Performance of Fictitious Play
我们研究如何以及连续时间的虚构发挥在两个玩家游戏的平均收益，特别是相比，纳什均衡收益。我们表明，在许多游戏中，虚构的发挥优于纳什均衡的平均水平，甚至在所有的时间，而且，任何游戏是线性等价于一个在这种情况下。相反，我们提供的条件下，纳什均衡的回报优于虚构的发挥回报。在我们的分析中的一个关键步骤是表明，虚拟播放动态渐近收敛的一组粗糙的相关平衡（这是隐含在文献中的事实）。
2014-11-18 cs.GT math.DS
Intelligent Players in a Fictitious Play Framework
虚拟博弈是一种流行的学习算法，其中参与者利用参与者的行动历史和他们自己的收益矩阵的知识，可以在一定条件下收敛到博弈的纳什均衡。我们认为存在一个智能的球员，有机会获得整个支付矩阵的游戏。我们发现，不符合虚拟游戏，这样的球员可以实现更好的回报比一个在纳什均衡。这个结果可以被看作是一个脆弱的虚拟游戏算法的战略智能的球员和球员不应该扔掉额外的信息，他们可能有一个指示，建议由经典的虚拟游戏。
2021-10-12 cs.GT cs.SY eess.SY
Computing Approximate Equilibria in Sequential Adversarial Games by Exploitability Descent
DeepMind（深度思维）；University of Alberta（阿尔伯塔大学）
在本文中，我们提出了可利用性下降，一个新的算法来计算近似平衡的两个球员零和扩展形式的游戏与不完美的信息，直接对最坏情况下的对手的政策优化。我们证明，当遵循这种优化，利用一个球员的战略渐近收敛到零，因此，当两个球员采用这种优化，联合政策收敛到一个纳什均衡。与虚拟游戏（XFP）和反事实遗憾最小化（CFR）不同，我们的收敛结果与优化的策略有关，而不是平均策略。我们的实验表明，收敛速度相媲美的XFP和CFR在四个基准游戏中的表格的情况下。使用函数逼近，我们发现，我们的算法优于表格版本中的两个游戏，据我们所知，这是第一个这样的结果，在这类算法之间的不完美信息游戏。
2020-06-12 cs.AI cs.GT cs.LG
Smooth Fictitious Play in $N\times 2$ Potential Games
本文证明了在几乎所有的$N\times 2$（$N$ -player，two-action）势博弈中，光滑虚拟博弈都以概率1收敛到纯策略纳什均衡的邻域.收敛的邻域可以通过取平滑参数为零而任意小。简单的证明技术提供考虑定期潜在的游戏。
2019-11-30 cs.GT
Solving Large-Scale Extensive-Form Network Security Games via Neural Fictitious Self-Play
Nanyang Technological University（南洋理工大学）；Dartmouth College（达特茅斯学院）
保护网络基础设施在现实世界中非常重要。部署安全资源以防止网络域中的攻击者的问题可以建模为网络安全游戏（NSG）。不幸的是，现有的方法，包括基于深度学习的方法，对于解决大规模的可拓形式的NSG是低效的。在本文中，我们提出了一种新的学习范式，NSG-NFSP，解决大规模的扩展形式的NSG基于神经虚拟自我发挥（NFSP）。我们的主要贡献包括：i）将NFSP中的最佳响应（BR）策略网络改造为从动作-状态对到动作-值的映射，使NSG中的BR计算成为可能; ii）将NFSP代理的平均策略网络转换为基于度量的分类器，帮助代理仅对合法动作而不是所有动作分配分配分布; iii）使NFSP具有高级动作，这可以有益于NSG中的训练效率和稳定性;以及iv）通过学习有效的图节点嵌入来利用NSG的图中包含的信息。我们的算法在可扩展性和解决方案质量方面显着优于最先进的算法。
2021-06-02 cs.AI cs.GT cs.LG
Computing Strong Game-Theoretic Strategies in Jotto
Carnegie Mellon University（卡内基梅隆大学）
我们开发了一种新的方法，计算近似均衡策略Jotto，一个流行的文字游戏。Jotto是一个非常大的不完全信息的两人游戏;它的游戏树比以前研究的游戏（包括无限制德州扑克）有多个数量级的状态。为了解决这个问题，游戏是如此之大，我们提出了一种新的战略表示称为神谕的形式，在其中，我们不明确表示的战略，而是呼吁一个甲骨文，迅速输出一个样本移动从战略的分布。我们的整体方法是基于扩展的虚构发挥算法，这个神谕设置。我们证明了我们的计算策略的优越性，无论是在头对头和最坏情况下的性能的基准算法计算的策略。
2016-03-11 cs.AI cs.GT cs.MA
Provable Fictitious Play for General Mean-Field Games
Princeton University（普林斯顿大学）；Northwestern University（西北大学）；Cornell University（康奈尔大学）
我们提出了一个平稳平均场博弈的强化学习算法，目标是学习一对平均场状态和平稳策略，构成纳什均衡。将平均场状态和策略看作两个局中人，提出了一种虚拟博弈算法，分别通过梯度下降和近端策略优化交替更新平均场状态和策略.我们的算法与以前的文献形成鲜明对比，以前的文献解决了由迭代平均场状态引起的每个单智能体强化学习问题。此外，我们证明了我们的虚拟播放算法收敛到纳什均衡在一个次线性的速度。据我们所知，这似乎是第一个可证明收敛的单循环强化学习算法的平均场游戏的基础上迭代更新的平均场状态和政策。
2020-10-08 cs.GT cs.LG
Learning by Fictitious Play in Large Populations
我们认为学习虚构的发挥在一个大的人口从事单玩，两人轮的对称游戏的代理，并推导出相应的随机过程的平均场型模型。利用这个模型，我们描述了学习过程的定性性质，并讨论了它的渐近行为。特别有趣的是，有记忆因素和没有记忆因素的虚拟游戏学习的比较特征。作为分析的一部分，我们表明，该模型导致连续的，最佳反应动力学方程的Gilboa和松井（1991），当所有代理人有类似的经验概率。
2019-01-09 cs.GT
Fictitious play in zero-sum stochastic games
Bilkent University（比尔肯特大学）；Cornell University（康奈尔大学）；Massachusetts Institute of Technology（麻省理工学院）
我们提出了一个新的变种虚拟游戏动态相结合的经典虚拟游戏与Q-学习随机游戏，并分析其收敛性在两个玩家零和随机游戏。我们的动态涉及球员形成对对手的策略和自己的连续收益（Q函数）的信念，并发挥贪婪的最佳对策，通过使用估计的连续收益。玩家通过观察对手的行动来更新他们的信念。学习动力学的一个关键特性是，Q函数上的信念更新的时间尺度比策略上的信念更新的时间尺度要慢。我们表明，在基于模型和无模型的情况下（不知道参与者支付函数和状态转移概率），策略信念收敛于零和随机博弈的平稳混合纳什均衡。
2022-06-02 cs.GT cs.LG math.DS
Fast and Furious Symmetric Learning in Zero-Sum Games: Gradient Descent as Fictitious Play
Singapore University of Technology and Design（新加坡科技设计大学）；Google DeepMind（谷歌DeepMind）；Yale University（耶鲁大学）
该研究针对加权n维对称零和博弈，证明对称初始化下任意平局规则的虚拟博弈有O(√T)悔值，且步长足够大的恒定步长梯度下降在几乎所有对称初始化下也有该悔值，首次在大于2×2的零和博弈中验证了梯度下降的极速行为。
2025-06-16 cs.GT cs.LG
Fictitious Play with Time-Invariant Frequency Update for Network Security
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Deutsche Telekom Laboratories（德国电信实验室）；Technical University of Berlin（柏林工业大学）
我们研究两个玩家的安全游戏，可以被视为序列的非零和矩阵游戏的攻击者和防守者。游戏的演变是基于一个随机的虚拟游戏过程，其中玩家不能访问彼此的收益矩阵。每个人都必须观察对方的行动，直到现在，并根据对这些观察的最佳反应来执行所产生的行动。在一个常规的虚拟博弈过程中，每个博弈者对对手的混合策略进行最大似然估计，这导致基于先前估计和当前行动的时变更新。在本文中，我们探讨了一种替代方案的频率更新，其平均动态是时不变的。我们研究的虚拟播放过程的平均动态的收敛特性与这样的更新计划，并建立局部稳定的平衡点时，双方球员被限制为两个行动。我们还提出了一个自适应算法的基础上，这种时不变的频率更新。
2010-06-17 cs.CR cs.GT cs.LG
Deep Fictitious Play for Stochastic Differential Games
在本文中，我们将虚拟游戏的思想应用于设计深度神经网络（DNN），并开发了用于计算非对称$N$ -玩家非零和随机微分对策的纳什均衡的深度学习理论和算法，我们将其称为\emph{deep fictitious play}，这是一个多阶段学习过程。具体来说，在每个阶段，我们提出了让个人玩家优化自己的收益受其他玩家的先前行动的策略，相当于解决$N$解耦随机控制最优化问题，这是近似DNN。因此，虚拟播放策略导致了一个由$N$ DNN组成的结构，它们只在每个阶段的末尾进行通信。基于虚拟游戏的深度学习算法是可扩展的、并行的和无模型的，{ \it即}，使用GPU并行化，它可以应用于具有不同对称性和异质性的任何$N$ -玩家随机微分对策（{ \it例如}，大玩家的存在）。我们通过与线性二次博弈的封闭解进行比较来说明深度学习算法的性能。在适当的假设下，证明了虚拟对策的收敛性，并证明了收敛极限形成了一个开环纳什均衡。最后，我们还讨论了其他基于虚拟博弈和闭环纳什均衡的策略的推广。
2020-09-03 cs.GT math.OC stat.ML
No-regret Dynamics and Fictitious Play
潜在的无遗憾的动态被证明是与虚构的发挥。粗略地说，这些是ε-最佳回复动态，其中ε是最大的遗憾，随着时间的推移而消失。这使得替代，有时更短的证明已知的结果收敛的无悔动态的纳什均衡。
2012-09-07 cs.GT math.DS
On the Approximation Performance of Fictitious Play in Finite Games
我们研究的性能的虚拟游戏，当用作一个启发式的2人游戏找到一个近似的纳什均衡。我们展示了一类2人游戏的收益在范围[0，1]，表明Fictionary Play未能找到一个解决方案，有一个添加剂近似保证显着优于1/2。我们的构造表明，对于n × n的博弈，在最坏的情况下，双方都可能永远有混合策略，其收益比最佳对策少1/2 - O（1/n^（1-delta）），且增量任意小。我们还证明了1/2 - O（1/n）的一个基本匹配上界。
2011-03-19 cs.GT
Convergence of Deep Fictitious Play for Stochastic Differential Games
Princeton University（普林斯顿大学）；University of California, Santa Barbara（加州大学圣巴巴拉分校）
随机微分对策已被广泛用于模拟金融中的代理竞争，例如，在金融科技行业的P2P贷款平台，银行系统的系统性风险和保险市场。最近提出的机器学习算法，深度虚拟博弈，为寻找大型$N$ -博弈者非对称随机微分对策的马尔可夫纳什均衡提供了一种新的有效工具[J. Han和R. Hu，Mathematical and Scientific Machine Learning Conference，第221-245页，PMLR，2020]。该算法通过引入虚拟博弈的思想，将博弈问题转化为$N$子最优化问题，并利用深度后向随机微分方程（BEM）方法反复识别各局中人的最优策略.本文证明了深度虚拟博弈（DFP）收敛于真实纳什均衡。我们还可以证明，基于DFP的策略形成了一个$\eps$ -纳什均衡。我们推广的算法，提出了一种新的方法来解耦的游戏，并提出了大人口游戏的数值结果显示的经验收敛的算法超出了定理中的技术假设。
2021-03-21 cs.GT cs.LG math.OC
Random Initialization Solves Shapley's Fictitious Play Counterexample
针对Shapley1964年提出的虚拟博弈无法收敛的双人非零和博弈反例，研究发现采用随机混合策略初始化，可使该类代表性博弈以约1/3的概率收敛到纳什均衡。
2023-12-20 cs.GT econ.TH
Aggregate Fictitious Play for Learning in Anonymous Polymatrix Games (Extended Version)
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出聚合虚拟博弈（agg-FP），通过跟踪其他智能体各动作的数量频率来缩小匿名多矩阵博弈中的联合动作空间，在保持与经典FP相同收敛条件的同时加速收敛到纳什均衡。
2025-08-26 cs.GT cs.LG cs.MA
A Generalized Training Approach for Multiagent Learning
DeepMind（深度思维）
本文研究了一种基于博弈论原理的基于人口的训练机制，称为策略空间响应神谕（PSRO）。PSRO是通用的，因为它（1）包括著名的算法，如虚构的游戏和双预言作为特殊情况，（2）原则上适用于一般和，多人游戏。尽管如此，以前的研究PSRO一直集中在两个玩家零和游戏，一个制度，其中纳什均衡是可追踪计算的。在从两人零和博弈转移到更一般的情况下，纳什均衡的计算很快变得不可行。在这里，我们扩展了PSRO的理论基础，考虑一个替代解决方案的概念，$α$ -排名，这是唯一的（因此面临没有均衡选择问题，不像纳什），并很容易适用于一般和，多玩家设置。我们建立了几个游戏类的收敛保证，并确定纳什均衡和$α$ -秩之间的联系。我们证明了竞争力的表现$α$ -基于排名的PSRO对一个确切的纳什解为基础的PSRO在2人库恩和Leduc扑克。然后，我们超越了以前的PSRO应用程序的范围，考虑3至5名球员的扑克游戏，产生的情况下，$α$ -排名实现更快的收敛比近似纳什解算器，从而建立它作为一个有利的一般游戏求解器。我们还进行了初步的实证验证MuJoCo足球，说明所提出的方法在另一个复杂的域的可行性。
2020-02-14 cs.AI cs.LG cs.MA
Convergence of fictitious play for fully coupled FBSDEs in finite-player stochastic differential games
Saab AB（萨博公司）；Department of Mathematical Sciences, Chalmers University of Technology & University of Gothenburg（查尔姆斯理工大学与哥德堡大学数学科学系）；Department of Economics, University of Verona（维罗纳大学经济学系）；Department of Electrical Engineering, Chalmers University of Technology（查尔姆斯理工大学电气工程系）
研究有限参与者随机微分博弈中完全耦合正倒向随机微分方程的虚拟策略收敛性，在一定假设下证明其收敛为几何收敛，特殊博弈中为超指数收敛，通过线性二次型银行间借贷问题数值实验予以证实。
2026-07-13 cs.GT math.OC math.PR
On the Role of Tie-Breaking Rules in the Convergence of Fictitious Play for Symmetric First-Price Auctions
Criteo AI Lab（Criteo 人工智能实验室）
本研究探讨平局打破规则对虚拟博弈收敛性的影响，发现标准规则导致不收敛，而修改规则可恢复收敛并达到ε-均衡。
2026-09-17 cs.GT math.OC
Deep Fictitious Play for Finding Markovian Nash Equilibrium in Multi-Agent Games
Princeton University（普林斯顿大学）；Columbia University（哥伦比亚大学）
我们提出了一种基于深度神经网络的算法来识别一般大型$N$ -玩家随机微分对策的马尔可夫纳什均衡。根据虚拟游戏的思想，我们将$N$ -玩家游戏转换为$N$解耦的判定问题（每个玩家一个）并迭代求解。个人判定问题的特点是一个半线性Hamilton-Jacobi-Bellman方程，我们采用最近发展的深度Boundary方法来解决。由此产生的算法可以解决大型$N$玩家的游戏，传统的数值方法将遭受灾难的维数。多个数值例子涉及相同或异构代理，风险中性或风险敏感的目标，进行测试，以验证所提出的算法在大型群体游戏的准确性。即使是一个50人的游戏存在共同的噪音，该算法仍然找到近似的纳什均衡准确，这是据我们所知，很难实现的其他数值算法。
2020-06-05 cs.GT cs.LG math.OC
Zero-Sum Fictitious Play Cannot Converge to a Point
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文证明在零和博弈中，当均衡集非单点且包含完全混合策略时，虚拟博弈的实证策略无法收敛到任何均衡点，除非初始在均衡集内。
2026-06-15 cs.GT
Learning Security Strategies through Game Play and Optimal Stopping
KTH Royal Institute of Technology（瑞典皇家理工学院）；KTH Center for Cyber Defense and Information Security（KTH网络防御与信息安全中心）
我们使用强化学习来研究自动化入侵防御。遵循一种新的方法，我们将攻击者和防御者之间的交互制定为最优停止游戏，并通过强化学习和自我游戏来进化攻击和防御策略。博弈论的观点使我们能够找到防御者的策略，有效地对抗动态攻击者。最佳停止制定让我们深入了解最佳策略的结构，我们表明，具有阈值特性。为了获得最优防御者策略，我们引入了T-FP，这是一种通过随机逼近学习纳什均衡的虚拟自玩算法。我们证明了T-FP在我们的用例中优于最先进的算法。我们的整体方法学习和评估策略包括两个系统：一个模拟系统，防守策略是增量学习和仿真系统，统计数据产生驱动模拟运行，并在学习策略进行评估。我们的结论是，这种方法可以产生一个实用的IT基础设施的有效防御策略。
2022-05-29 cs.AI cs.CR cs.LG
Decentralized Fictitious Play Converges Near a Nash Equilibrium in Near-Potential Games
我们研究了近势博弈中分散虚拟博弈（DFP）的收敛性，其中代理人的偏好几乎可以被一个势函数捕获。在DFP中，代理保持对其他代理的经验频率的本地估计，对这些估计做出最佳响应，并通过时变通信网络接收信息。我们证明了DFP产生的行动的经验频率收敛在一个单一的纳什均衡（NE），假设只有1000多个纳什均衡，和单边偏差所产生的效用函数的差异是足够接近的潜在函数值的差异。这一结果保证了DFP在近势博弈中具有与标准Fictionalplay（FP）相同的收敛性质。
2022-01-27 cs.GT cs.SY eess.SY
Fictitious Play in Markov Games with Single Controller
某些但重要的策略形式游戏，包括零和相同利益游戏，具有虚拟游戏属性（FPP），即，在虚拟游戏动态中形成的信念在这些游戏的重复游戏中总是收敛到纳什均衡（NE）。这样的收敛结果被视为博弈论均衡分析的（行为）理由。马尔可夫博弈（MG），也被称为随机博弈，将策略形式的重复博弈推广到具有马尔可夫状态转移的动态多状态设置。特别是，MG是多智能体强化学习的标准模型--这是学习和游戏中的一个复兴研究领域，它们的游戏理论均衡分析也被广泛进行。然而，某些类别的MG是否具有FPP（即，是否存在均衡分析的行为正当性）在很大程度上仍然难以捉摸。在本文中，我们研究了一个新的变体的虚拟游戏动态的MG，并显示其收敛到一个NE在n个球员的相同利益的MG，其中一个单一的球员控制的状态转换。这种游戏在通信、控制和经济应用中很有意义。我们的结果与[Sayin et al. 2020]中的最新结果一起建立了具有单个控制器的两个玩家零和MG和n个玩家相同兴趣MG的FPP（站在MG频谱的两个不同端，从完全竞争到完全合作）。
2022-05-23 cs.GT
An empirical study of Fictitious Play for estimating Nash equilibria in first-price auctions with correlated values
Criteo AI Lab（Criteo人工智能实验室）；CNRS, Laboratoire d’Informatique de Grenoble (LIG)（法国国家科学研究中心，格勒诺布尔信息学实验室）
本研究通过虚拟博弈算法在相关价值第一价格拍卖中实现ε-均衡的数值收敛，填补了现有方法在相关价值场景下的空白。
2026-06-16 cs.GT
Arbitrarily Slow Polynomial Convergence of Fictitious Play
Georgia Institute of Technology（佐治亚理工学院）；Yale University（耶鲁大学）；Google Research（谷歌研究院）
本文构造了一族两人零和博弈，证明虚构博弈可达到任意慢的多项式收敛速率，并推广了Wang(2025)的结果，为Karlin猜想提供反例。
2026-11-04 cs.GT
Quadratic Programming Approach for Nash Equilibrium Computation in Multiplayer Imperfect-Information Games
Ganzfried Research（Ganzfried研究）
针对多人非完美信息博弈，提出基于序列形式非线性互补问题的二次约束规划方法，利用非凸二次规划求解器精确计算纳什均衡，在三玩家Kuhn扑克中优于Gambit的logit方法。
2026-07-08 cs.AI cs.GT cs.MA
Do Not Discretize, Optimize: Almost Greedy Fictitious Play
Athens University of Economics and Business（雅典经济与商业大学）；Archimedes, Athena Research Center（阿尔基米德斯，阿瑞斯研究中心）
提出Almost Greedy Fictitious Play变体，通过约束搜索空间贪婪优化步长，实现零和博弈中对偶间隙的实例相关O(1/T)收敛率。
2026-06-11 cs.GT
Best-Response Dynamics and Fictitious Play in Identical-Interest and Zero-Sum Stochastic Games
本文结合Q学习和虚拟博弈的思想，定义了三个强化学习过程，它们收敛于同利率折扣随机博弈的静态混合纳什均衡集。首先，我们分析了三个连续时间系统，推广了Leslie等人定义的最佳响应动态。零和折扣随机博弈。在依赖于系统的一些假设下，证明了在相同利率的折扣随机博弈中，动态收敛于平稳均衡集。然后，我们介绍了三个模拟离散时间程序的精神Sayin等人。并证明了他们的收敛到一组固定平衡使用我们的结果在连续时间与随机逼近技术。一些数值实验补充了我们的理论研究结果。
2022-05-16 cs.GT
On the Exponential Rate of Convergence of Fictitious Play in Potential Games
本文研究了连续时间下的虚拟游戏学习动力学。结果表明，在几乎每一个潜在的游戏，几乎每一个初始条件，FP的收敛速度是指数。特别是，本文重点研究的行为FP在潜在的游戏，其中所有的均衡的游戏是经常的，介绍了海萨尼。这种博弈被称为常规势博弈。最近它已被证明，几乎所有的潜在游戏（在勒贝格措施的意义上）是定期的。在本文中，它表明，在任何经常潜在的游戏（因此，在几乎每一个潜在的游戏），FP收敛到纳什均衡的集合在一个指数的速度从几乎每一个初始条件。
2017-07-25 cs.GT math.OC
From First-Order to Second-Order Rationality: Advancing Game Convergence with Dynamic Weighted Fictitious Play
本文提出动态加权虚拟博弈（DW-FP）算法，以理性为核心加速博弈收敛，实验表明其收敛速率可达 $O(T^{-1})$，优于传统上界。
2024-09-05 cs.GT
Learning in Multiagent Systems: An Introduction from a Game-Theoretic Perspective
我们介绍了多智能体系统的学习主题。我们首先提供了一个快速介绍博弈论领域，重点是迭代优势的均衡概念，和纳什均衡。我们展示了游戏学习理论中一些最相关的发现，包括关于虚拟游戏、复制动力学和进化稳定策略的定理。CLRI理论和n级学习代理的介绍，试图将这些研究结果的工程多智能体系统与学习代理的问题。最后，我们总结了多智能体系统学习领域的一些剩余的挑战。
2003-08-19 cs.AI cs.MA
Tie-breaking Agnostic Lower Bound for Fictitious Play
本文通过构建一个 10x10 零和矩阵博弈，证明 Fictitious Play 以 $Ω(t^{-1/3})$ 速率收敛，从而推翻了 Karlin 关于其以 $O(t^{-1/2})$ 收敛的较弱形式猜想。
2025-07-14 cs.GT
Smooth Fictitious Play in Stochastic Games with Perturbed Payoffs and Unknown Transitions
最近扩展到动态游戏的著名的虚拟游戏学习过程中的静态游戏被证明是全球收敛到固定的纳什均衡在两个重要的动态游戏类（零和相同的兴趣折扣随机游戏）。然而，这些去中心化算法需要参与者确切地知道模型（每个阶段的转移概率及其收益）。为了克服这些强假设，我们的论文引入了（Leslie 2020; Baudin 2022）中系统的正则化，以构建一系列新的无模型分散学习算法（参与者不知道转换，并且他们的收益在每个阶段都受到干扰）。我们的程序可以被看作是扩展到随机游戏的经典光滑虚拟播放学习过程中的静态游戏（其中玩家的最佳反应是正规化的，由于他们的支付函数的光滑严格凹扰动）。我们证明了我们的家庭的程序的收敛到固定的正则化纳什均衡零和和相同的利率折扣随机游戏。证明使用连续光滑最佳响应动力学对应物和随机逼近方法。当只有一个玩家时，我们的问题是强化学习的一个实例，我们的程序被证明是全局收敛到正则化MDP的最优平稳策略。从这个意义上说，它们可以被视为众所周知的Q学习过程的替代方案。
2022-07-07 cs.GT
Beyond Nash Equilibrium: Achieving Bayesian Perfect Equilibrium with Belief Update Fictitious Play
本文提出信念更新虚拟博弈（BUFP），通过融合虚拟博弈与信念更新并调节迭代步长，在不完全信息扩展式博弈中同时实现纳什均衡和贝叶斯完美均衡，实验表明其在被支配策略场景下收益较传统CFR提升48.53%。
2024-09-04 cs.GT
Team-Fictitious Play for Reaching Team-Nash Equilibrium in Multi-team Games
针对多团队博弈中自利团队能否达成团队纳什均衡的问题，提出带动作更新惯性的团队虚拟博弈方法，证明其在零和势团队博弈中可逼近均衡，拓展至多团队马尔可夫博弈并验证了性能。
2024-10-31 cs.GT
Fast Convergence of Fictitious Play for Diagonal Payoff Matrices
虚构游戏（FP）是一种简单而自然的零和游戏中重复游戏的动态。由布朗在1949年提出的FP被证明收敛到纳什均衡由罗宾逊在1951年，虽然在一个缓慢的速度，可能取决于问题的尺寸。1959年，Karlin证明FP以更自然的速度$O(1/\sqrt{t})$收敛。然而，Daskalakis和Pan在2014年反驳了这个猜想的一个版本，表明缓慢的速度可以发生，尽管他们的结果依赖于对抗性的平局。在本文中，我们证明了卡林猜想确实是正确的对角支付矩阵类，只要领带是打破字典序。具体来说，我们表明，FP收敛在一个$O(1/\sqrt{t})$率的情况下，当支付矩阵是对角的。我们还证明了这个界是紧的，通过显示匹配的下界下的字典序平局打破假设下的身份支付的情况下。
2020-11-15 cs.GT
On the Fictitious Play and Channel Selection Games
考虑到不同无线设备之间的相互干扰，分散并行多址信道中的信道选择问题可以用策略形式博弈来建模。在这里，我们表明CS问题是一个潜在的游戏（PG），因此虚拟播放（FP）收敛到一个纳什均衡（NE）无论是在纯策略或混合策略。使用一个2-播放器2-通道游戏，它表明，在混合策略的收敛可能会导致周期的动作配置文件，导致个人的频谱效率（SE），这是比SE在最坏的NE混合和纯策略。最后，利用CS问题是一个PG和聚合对策的事实，我们提出了一种方法来实现FP与本地信息和最小反馈。
2010-09-25 cs.GT cs.IT math.IT
Fictitious Play in Extensive-Form Games of Imperfect Information
研究不完全信息扩展式博弈中虚构博弈的长期行为，推广Monderer-Shapley收敛结果，并借助惯性和遗忘记忆证明实际博弈路径收敛到纯纳什均衡。
2025-04-25 cs.GT math.OC
On the Global Convergence of Stochastic Fictitious Play in Stochastic Games with Turn-based Controllers
本文针对带回合式控制器的随机博弈，结合经典随机虚拟博弈与值迭代提出具备几乎必然收敛性的学习动力学，揭示了有限 horizon 长度递增与回合式控制器保证辅助博弈策略等价性的关键作用。
2023-10-10 cs.GT math.OC
Empirical Centroid Fictitious Play: An Approach For Distributed Learning In Multi-Agent Games
Carnegie Mellon University（卡内基梅隆大学）；Institute for Systems and Robotics (ISR), Instituto Superior Tecnico (IST), Technical University of Lisbon（里斯本技术学院系统机器人研究所）
本文提出经验质心虚构博弈算法，用于解决大规模多智能体游戏中的分布式学习问题，证明了该算法在潜在游戏中的收敛性，且适用于分布式环境。
2014-10-22 cs.GT cs.SY eess.SY
