Exponential Lower Bounds for Fictitious Play in Potential Games
该研究聚焦势博弈中虚拟博弈的收敛速率问题，通过递归构造双人协调博弈，证明即使在双人、任意平局打破规则下，虚拟博弈达到纳什均衡仍需随策略数呈指数级的时间，给出其收敛速率的指数下界。
2023-10-03 cs.GT
On the Role of Tie-Breaking Rules in the Convergence of Fictitious Play for Symmetric First-Price Auctions
Criteo AI Lab（Criteo 人工智能实验室）
本研究探讨平局打破规则对虚拟博弈收敛性的影响，发现标准规则导致不收敛，而修改规则可恢复收敛并达到ε-均衡。
2026-09-17 cs.GT math.OC
Deep Fictitious Play for Finding Markovian Nash Equilibrium in Multi-Agent Games
Princeton University（普林斯顿大学）；Columbia University（哥伦比亚大学）
我们提出了一种基于深度神经网络的算法来识别一般大型$N$ -玩家随机微分对策的马尔可夫纳什均衡。根据虚拟游戏的思想，我们将$N$ -玩家游戏转换为$N$解耦的判定问题（每个玩家一个）并迭代求解。个人判定问题的特点是一个半线性Hamilton-Jacobi-Bellman方程，我们采用最近发展的深度Boundary方法来解决。由此产生的算法可以解决大型$N$玩家的游戏，传统的数值方法将遭受灾难的维数。多个数值例子涉及相同或异构代理，风险中性或风险敏感的目标，进行测试，以验证所提出的算法在大型群体游戏的准确性。即使是一个50人的游戏存在共同的噪音，该算法仍然找到近似的纳什均衡准确，这是据我们所知，很难实现的其他数值算法。
2020-06-05 cs.GT cs.LG math.OC
Random Initialization Solves Shapley's Fictitious Play Counterexample
针对Shapley1964年提出的虚拟博弈无法收敛的双人非零和博弈反例，研究发现采用随机混合策略初始化，可使该类代表性博弈以约1/3的概率收敛到纳什均衡。
2023-12-20 cs.GT econ.TH
Accelerating Nash Equilibrium Convergence in Monte Carlo Settings Through Counterfactual Value Based Fictitious Play
School of Artificial Intelligence and Automation, Huazhong University of Science and Technology（华中科技大学人工智能与自动化学院）
针对多数CFR改进无法用于蒙特卡洛条件的问题，提出MCCFVFP，融合反事实价值与虚拟博弈最优响应，在高比例被占优策略博弈中收敛更快。
2024-10-27 cs.AI cs.GT cs.LG
Fictitious play in zero-sum stochastic games
Bilkent University（比尔肯特大学）；Cornell University（康奈尔大学）；Massachusetts Institute of Technology（麻省理工学院）
我们提出了一个新的变种虚拟游戏动态相结合的经典虚拟游戏与Q-学习随机游戏，并分析其收敛性在两个玩家零和随机游戏。我们的动态涉及球员形成对对手的策略和自己的连续收益（Q函数）的信念，并发挥贪婪的最佳对策，通过使用估计的连续收益。玩家通过观察对手的行动来更新他们的信念。学习动力学的一个关键特性是，Q函数上的信念更新的时间尺度比策略上的信念更新的时间尺度要慢。我们表明，在基于模型和无模型的情况下（不知道参与者支付函数和状态转移概率），策略信念收敛于零和随机博弈的平稳混合纳什均衡。
2022-06-02 cs.GT cs.LG math.DS
Intelligent Players in a Fictitious Play Framework
虚拟博弈是一种流行的学习算法，其中参与者利用参与者的行动历史和他们自己的收益矩阵的知识，可以在一定条件下收敛到博弈的纳什均衡。我们认为存在一个智能的球员，有机会获得整个支付矩阵的游戏。我们发现，不符合虚拟游戏，这样的球员可以实现更好的回报比一个在纳什均衡。这个结果可以被看作是一个脆弱的虚拟游戏算法的战略智能的球员和球员不应该扔掉额外的信息，他们可能有一个指示，建议由经典的虚拟游戏。
2021-10-12 cs.GT cs.SY eess.SY
Deep Fictitious Play for Stochastic Differential Games
在本文中，我们将虚拟游戏的思想应用于设计深度神经网络（DNN），并开发了用于计算非对称$N$ -玩家非零和随机微分对策的纳什均衡的深度学习理论和算法，我们将其称为\emph{deep fictitious play}，这是一个多阶段学习过程。具体来说，在每个阶段，我们提出了让个人玩家优化自己的收益受其他玩家的先前行动的策略，相当于解决$N$解耦随机控制最优化问题，这是近似DNN。因此，虚拟播放策略导致了一个由$N$ DNN组成的结构，它们只在每个阶段的末尾进行通信。基于虚拟游戏的深度学习算法是可扩展的、并行的和无模型的，{ \it即}，使用GPU并行化，它可以应用于具有不同对称性和异质性的任何$N$ -玩家随机微分对策（{ \it例如}，大玩家的存在）。我们通过与线性二次博弈的封闭解进行比较来说明深度学习算法的性能。在适当的假设下，证明了虚拟对策的收敛性，并证明了收敛极限形成了一个开环纳什均衡。最后，我们还讨论了其他基于虚拟博弈和闭环纳什均衡的策略的推广。
2020-09-03 cs.GT math.OC stat.ML
On the Approximation Performance of Fictitious Play in Finite Games
我们研究的性能的虚拟游戏，当用作一个启发式的2人游戏找到一个近似的纳什均衡。我们展示了一类2人游戏的收益在范围[0，1]，表明Fictionary Play未能找到一个解决方案，有一个添加剂近似保证显着优于1/2。我们的构造表明，对于n × n的博弈，在最坏的情况下，双方都可能永远有混合策略，其收益比最佳对策少1/2 - O（1/n^（1-delta）），且增量任意小。我们还证明了1/2 - O（1/n）的一个基本匹配上界。
2011-03-19 cs.GT
Smooth Fictitious Play in Stochastic Games with Perturbed Payoffs and Unknown Transitions
最近扩展到动态游戏的著名的虚拟游戏学习过程中的静态游戏被证明是全球收敛到固定的纳什均衡在两个重要的动态游戏类（零和相同的兴趣折扣随机游戏）。然而，这些去中心化算法需要参与者确切地知道模型（每个阶段的转移概率及其收益）。为了克服这些强假设，我们的论文引入了（Leslie 2020; Baudin 2022）中系统的正则化，以构建一系列新的无模型分散学习算法（参与者不知道转换，并且他们的收益在每个阶段都受到干扰）。我们的程序可以被看作是扩展到随机游戏的经典光滑虚拟播放学习过程中的静态游戏（其中玩家的最佳反应是正规化的，由于他们的支付函数的光滑严格凹扰动）。我们证明了我们的家庭的程序的收敛到固定的正则化纳什均衡零和和相同的利率折扣随机游戏。证明使用连续光滑最佳响应动力学对应物和随机逼近方法。当只有一个玩家时，我们的问题是强化学习的一个实例，我们的程序被证明是全局收敛到正则化MDP的最优平稳策略。从这个意义上说，它们可以被视为众所周知的Q学习过程的替代方案。
2022-07-07 cs.GT
No-regret Dynamics and Fictitious Play
潜在的无遗憾的动态被证明是与虚构的发挥。粗略地说，这些是ε-最佳回复动态，其中ε是最大的遗憾，随着时间的推移而消失。这使得替代，有时更短的证明已知的结果收敛的无悔动态的纳什均衡。
2012-09-07 cs.GT math.DS
Filtered Fictitious Play for Perturbed Observation Potential Games and Decentralised POMDPs
University of Sydney（悉尼大学）；Singapore Management University（新加坡管理大学）；University of Southampton（南安普顿大学）
潜在的游戏和分散的部分可观察的MDP（Dec-POMDP）是两种常用的多智能体交互模型，分别用于静态优化和顺序决策设置。本文引入了过滤虚拟对策来解决重复势对策问题，其中每个局中人对其他局中人行动的观察受到随机噪声的干扰，并利用该算法构造了求解Dec-POMDPs的在线学习方法。具体来说，我们证明了噪音的观察，防止标准的虚拟播放收敛到纳什均衡在潜在的游戏，这也使得虚拟播放不切实际的解决Dec-POMDPs。为了打击这一点，我们得到过滤虚构的发挥，并提供条件下，它收敛到一个纳什均衡在潜在的游戏与嘈杂的意见。然后，我们使用过滤虚构播放构造一个求解器的Dec-POMDPs，并证明我们的新算法的性能在推盒问题。我们的研究结果表明，我们始终优于最先进的Dec-POMDP求解器的平均100%的噪声范围内的观察功能。
2012-02-14 cs.AI cs.GT
Provable Fictitious Play for General Mean-Field Games
Princeton University（普林斯顿大学）；Northwestern University（西北大学）；Cornell University（康奈尔大学）
我们提出了一个平稳平均场博弈的强化学习算法，目标是学习一对平均场状态和平稳策略，构成纳什均衡。将平均场状态和策略看作两个局中人，提出了一种虚拟博弈算法，分别通过梯度下降和近端策略优化交替更新平均场状态和策略.我们的算法与以前的文献形成鲜明对比，以前的文献解决了由迭代平均场状态引起的每个单智能体强化学习问题。此外，我们证明了我们的虚拟播放算法收敛到纳什均衡在一个次线性的速度。据我们所知，这似乎是第一个可证明收敛的单循环强化学习算法的平均场游戏的基础上迭代更新的平均场状态和政策。
2020-10-08 cs.GT cs.LG
Distributed Fictitious Play for Optimal Behavior of Multi-Agent Systems with Incomplete Information
Georgia Institute of Technology（佐治亚理工学院）；University of Pennsylvania（宾夕法尼亚大学）
本文提出了一种改进的虚构 play 算法，通过收敛到共同分布的信念来实现多智能体系统的最优行为，适用于协调和目标覆盖游戏。
2016-02-05 cs.GT cs.SY eess.SY
Convergence of Deep Fictitious Play for Stochastic Differential Games
Princeton University（普林斯顿大学）；University of California, Santa Barbara（加州大学圣巴巴拉分校）
随机微分对策已被广泛用于模拟金融中的代理竞争，例如，在金融科技行业的P2P贷款平台，银行系统的系统性风险和保险市场。最近提出的机器学习算法，深度虚拟博弈，为寻找大型$N$ -博弈者非对称随机微分对策的马尔可夫纳什均衡提供了一种新的有效工具[J. Han和R. Hu，Mathematical and Scientific Machine Learning Conference，第221-245页，PMLR，2020]。该算法通过引入虚拟博弈的思想，将博弈问题转化为$N$子最优化问题，并利用深度后向随机微分方程（BEM）方法反复识别各局中人的最优策略.本文证明了深度虚拟博弈（DFP）收敛于真实纳什均衡。我们还可以证明，基于DFP的策略形成了一个$\eps$ -纳什均衡。我们推广的算法，提出了一种新的方法来解耦的游戏，并提出了大人口游戏的数值结果显示的经验收敛的算法超出了定理中的技术假设。
2021-03-21 cs.GT cs.LG math.OC
Best-Response Dynamics and Fictitious Play in Identical-Interest and Zero-Sum Stochastic Games
本文结合Q学习和虚拟博弈的思想，定义了三个强化学习过程，它们收敛于同利率折扣随机博弈的静态混合纳什均衡集。首先，我们分析了三个连续时间系统，推广了Leslie等人定义的最佳响应动态。零和折扣随机博弈。在依赖于系统的一些假设下，证明了在相同利率的折扣随机博弈中，动态收敛于平稳均衡集。然后，我们介绍了三个模拟离散时间程序的精神Sayin等人。并证明了他们的收敛到一组固定平衡使用我们的结果在连续时间与随机逼近技术。一些数值实验补充了我们的理论研究结果。
2022-05-16 cs.GT
From First-Order to Second-Order Rationality: Advancing Game Convergence with Dynamic Weighted Fictitious Play
本文提出动态加权虚拟博弈（DW-FP）算法，以理性为核心加速博弈收敛，实验表明其收敛速率可达 $O(T^{-1})$，优于传统上界。
2024-09-05 cs.GT
Nash Equilibrium and Belief Evolution in Differential Games
本研究提出在连续时间微分博弈中使用连续贝叶斯更新处理运动-收益不确定性，证明了信念收敛并推导了纳什均衡策略及其收敛性，在污染控制博弈中验证了方法有效性。
2025-09-15 cs.GT cs.MA
Anticipatory Fictitious Play
虚拟博弈是一种计算矩阵博弈纳什均衡的算法。最近，虚拟游戏的机器学习变体已成功应用于复杂的现实世界游戏。本文提出了一个简单的修改虚构的发挥，这是一个严格的改进，原来的：它具有相同的理论最坏情况下的收敛速度，同样适用于机器学习上下文中，并享有优越的经验性能。我们进行了广泛的比较，我们的算法与虚构的发挥，证明了某些类别的游戏的最佳收敛速度，在各种游戏中表现出卓越的性能数值，并得出结论，这些算法扩展到设置的深度多智能体强化学习的实验。
2022-12-20 cs.GT cs.MA
Fast Convergence of Fictitious Play for Diagonal Payoff Matrices
虚构游戏（FP）是一种简单而自然的零和游戏中重复游戏的动态。由布朗在1949年提出的FP被证明收敛到纳什均衡由罗宾逊在1951年，虽然在一个缓慢的速度，可能取决于问题的尺寸。1959年，Karlin证明FP以更自然的速度$O(1/\sqrt{t})$收敛。然而，Daskalakis和Pan在2014年反驳了这个猜想的一个版本，表明缓慢的速度可以发生，尽管他们的结果依赖于对抗性的平局。在本文中，我们证明了卡林猜想确实是正确的对角支付矩阵类，只要领带是打破字典序。具体来说，我们表明，FP收敛在一个$O(1/\sqrt{t})$率的情况下，当支付矩阵是对角的。我们还证明了这个界是紧的，通过显示匹配的下界下的字典序平局打破假设下的身份支付的情况下。
2020-11-15 cs.GT
Tie-breaking Agnostic Lower Bound for Fictitious Play
本文通过构建一个 10x10 零和矩阵博弈，证明 Fictitious Play 以 $Ω(t^{-1/3})$ 速率收敛，从而推翻了 Karlin 关于其以 $O(t^{-1/2})$ 收敛的较弱形式猜想。
2025-07-14 cs.GT
Fictitious Play in Extensive-Form Games of Imperfect Information
研究不完全信息扩展式博弈中虚构博弈的长期行为，推广Monderer-Shapley收敛结果，并借助惯性和遗忘记忆证明实际博弈路径收敛到纯纳什均衡。
2025-04-25 cs.GT math.OC
Do Not Discretize, Optimize: Almost Greedy Fictitious Play
Athens University of Economics and Business（雅典经济与商业大学）；Archimedes, Athena Research Center（阿尔基米德斯，阿瑞斯研究中心）
提出Almost Greedy Fictitious Play变体，通过约束搜索空间贪婪优化步长，实现零和博弈中对偶间隙的实例相关O(1/T)收敛率。
2026-06-11 cs.GT
Zero-Sum Fictitious Play Cannot Converge to a Point
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文证明在零和博弈中，当均衡集非单点且包含完全混合策略时，虚拟博弈的实证策略无法收敛到任何均衡点，除非初始在均衡集内。
2026-06-15 cs.GT
Fictitious Play with Maximin Initialization
Ganzfried Research（甘茨弗里德研究公司）
虚构游戏最近成为多人游戏中近似纳什均衡策略的最精确的可扩展算法。我们发现，通过仔细选择初始策略，虚拟博弈的均衡近似误差程度可以显着降低。我们提出了几个新的策略初始化程序，并将它们与经典的方法进行比较，该方法使所有纯策略具有相等的概率。性能最好的方法，称为maximin，解决了一个非凸二次规划计算初始策略和结果在近似误差减少近75%相比，经典的方法时，使用5个初始化。
2022-11-19 cs.AI cs.GT cs.MA
Fictitious Play in Markov Games with Single Controller
某些但重要的策略形式游戏，包括零和相同利益游戏，具有虚拟游戏属性（FPP），即，在虚拟游戏动态中形成的信念在这些游戏的重复游戏中总是收敛到纳什均衡（NE）。这样的收敛结果被视为博弈论均衡分析的（行为）理由。马尔可夫博弈（MG），也被称为随机博弈，将策略形式的重复博弈推广到具有马尔可夫状态转移的动态多状态设置。特别是，MG是多智能体强化学习的标准模型--这是学习和游戏中的一个复兴研究领域，它们的游戏理论均衡分析也被广泛进行。然而，某些类别的MG是否具有FPP（即，是否存在均衡分析的行为正当性）在很大程度上仍然难以捉摸。在本文中，我们研究了一个新的变体的虚拟游戏动态的MG，并显示其收敛到一个NE在n个球员的相同利益的MG，其中一个单一的球员控制的状态转换。这种游戏在通信、控制和经济应用中很有意义。我们的结果与[Sayin et al. 2020]中的最新结果一起建立了具有单个控制器的两个玩家零和MG和n个玩家相同兴趣MG的FPP（站在MG频谱的两个不同端，从完全竞争到完全合作）。
2022-05-23 cs.GT
Deep Reinforcement Learning from Self-Play in Imperfect-Information Games
University College London（伦敦大学学院）
许多现实世界的应用程序可以被描述为不完美信息的大规模博弈。为了处理这些具有挑战性的领域，以前的工作集中在计算纳什均衡在手工抽象的领域。在本文中，我们介绍了第一个可扩展的端到端的方法来学习近似纳什均衡没有事先领域的知识。我们的方法结合了虚拟的自我游戏和深度强化学习。当应用于Leduc扑克时，神经虚拟自我游戏（NFSP）接近纳什均衡，而常见的强化学习方法则出现分歧。在极限德州扑克（Limit Texas Holdem）中，NFSP学习了一种策略，该策略接近基于重要领域专业知识的最先进的超人算法的性能。
2016-06-28 cs.AI cs.GT cs.LG
On the Exponential Rate of Convergence of Fictitious Play in Potential Games
本文研究了连续时间下的虚拟游戏学习动力学。结果表明，在几乎每一个潜在的游戏，几乎每一个初始条件，FP的收敛速度是指数。特别是，本文重点研究的行为FP在潜在的游戏，其中所有的均衡的游戏是经常的，介绍了海萨尼。这种博弈被称为常规势博弈。最近它已被证明，几乎所有的潜在游戏（在勒贝格措施的意义上）是定期的。在本文中，它表明，在任何经常潜在的游戏（因此，在几乎每一个潜在的游戏），FP收敛到纳什均衡的集合在一个指数的速度从几乎每一个初始条件。
2017-07-25 cs.GT math.OC
Aggregate Fictitious Play for Learning in Anonymous Polymatrix Games (Extended Version)
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出聚合虚拟博弈（agg-FP），通过跟踪其他智能体各动作的数量频率来缩小匿名多矩阵博弈中的联合动作空间，在保持与经典FP相同收敛条件的同时加速收敛到纳什均衡。
2025-08-26 cs.GT cs.LG cs.MA
Computing Pure Nash Equilibria via Markov Random Fields
在本文中，我们提出了一种新的通用图形游戏和马尔可夫随机场之间的映射，使纯纳什均衡在前者可以找到统计推断后者。因此，决定一个图形游戏是否有一个纯纳什均衡的问题，一个众所周知的棘手的问题，可以攻击的良好建立的算法，如信念传播，连接树，马尔可夫链蒙特卡罗和模拟退火。大类的图形游戏变得易于处理，包括所有已知的类，但也有新的类，如树宽为O（log n）的游戏。
2005-10-13 cs.GT
Mastering Strategy Card Game (Legends of Code and Magic) via End-to-End Policy and Optimistic Smooth Fictitious Play
ByteDance（字节跳动）
深度强化学习结合Fictionary Play在许多基准测试游戏上显示出令人印象深刻的结果，然而，其中大多数都是单阶段的。相比之下，现实世界的决策问题可能由多个阶段组成，其中观察空间和行动空间在各个阶段之间可能完全不同。我们研究了一个两阶段的策略纸牌游戏Legends of Code and Magic，并提出了一个端到端的策略来解决多阶段游戏中出现的困难。我们还提出了一个乐观光滑虚拟博弈算法来寻找两人博弈的纳什均衡。我们的方法赢得了COG2022比赛的双重冠军。大量的研究验证并显示了我们方法的先进性。
2023-03-07 cs.AI cs.GT cs.LG
Causal Games and Causal Nash Equilibrium
经典的结果决策理论，并将其扩展到多智能体设置：博弈论，只在信息的关联水平上操作;也就是说，经典的决策者只考虑事件的概率;我们更进一步，考虑因果信息：在这项工作中，我们定义了因果决策问题，并将其扩展到多智能体决策问题，我们称之为因果博弈。对于这样的游戏，我们研究的信念更新一类的战略游戏中，任何球员的行动会导致一些后果，通过因果模型，这是未知的所有球员，出于这个原因，最合适的模型是海萨尼的贝叶斯游戏。我们提出了一个概率更新的贝叶斯博弈，以这样一种方式，知识的任何球员的概率信念的因果模型，以及什么是造成她的行动，以及每一个其他球员的行动都考虑在内。基于这种概率更新，我们定义了因果博弈的纳什均衡。
2019-10-11 cs.GT
On Game-Theoretic Risk Management (Part Two) -- Algorithms to Compute Nash-Equilibria in Games with Distributions as Payoffs
本文通过关于如何计算收益为概率分布的博弈中的均衡的算法细节，扩展了在先驱作品“Towards a Theory of Games with Payoffs that are Probability-Distributions”（arXiv：1506.07368 [q-fin.EC]）中提出的博弈论风险管理框架。我们的方法是“数据驱动”的，因为我们假设经验数据（测量，模拟等）。可以编译成分布模型，适用于关于偏好的有效决策，并使用这些作为收益来设置和解决游戏。虽然如果使用非参数方法（核密度估计），分布之间的偏好变得非常简单，但使用这种模型计算游戏中的纳什均衡被发现是低效的（如果不是不可能的话）。事实上，我们给出了一个反例，其中虚构的发挥未能收敛的（特别不幸的）选择的游戏中的支付分布，并引入一个合适的尾部近似的支付密度来解决这个问题。整个过程基本上是一个修改版本的虚构的游戏，并在这里描述的标准和多准则的游戏，迭代地提供一个（近似）纳什均衡。文中还给出了一种利用线性规划的精确方法。
2020-04-09 cs.GT econ.GN math.ST
A Computationally Efficient Implementation of Fictitious Play for Large-Scale Games
本文关注的是大规模环境下的分布式学习和优化。著名的模拟游戏（FP）算法已被证明可以在某些类别的多智能体游戏中实现纳什均衡学习。然而，当玩家数量很大时，FP在计算上可能难以实现。采样FP是FP的变体，其通过使用蒙特卡罗（即，基于抽样的方法。采样FP算法已经被研究作为分布式学习的工具和大规模问题的优化启发式。尽管采样FP具有计算优势，但其缺点是必须在算法的每一轮中抽取样本个数无限制地增长（大约为$\sqrt{t}$，其中$t$是重复播放的一轮）。在本文中，我们提出了计算效率采样FP（CESFP）--一个变种的采样FP中，只有一个样本需要提请每轮的算法（从$O(\sqrt{t})$样本每轮大幅减少，在采样FP的要求）。CESFP使用随机近似型规则来估计轮与轮之间的预期效用。它被证明是CESFP算法实现纳什均衡学习在相同意义上的经典FP和采样FP。仿真结果表明，CESFP的收敛速度（在重复播放迭代方面）与采样FP的收敛速度相似。
2015-06-13 cs.GT math.OC math.PR
Modeling Other Players with Bayesian Beliefs for Games with Incomplete Information
针对贝叶斯博弈中不完全信息下的决策问题，提出贝叶斯-CFR算法，通过核密度估计更新信念并最小化贝叶斯遗憾，在德州扑克中显著优于现有方法。
2024-05-23 cs.GT
Berk-Nash Equilibrium: A Framework for Modeling Agents with Misspecified Models
Olin Business School, Washington University in St. Louis（华盛顿大学圣路易斯分校奥林商学院）；Department of Economics, UC Berkeley（加州大学伯克利分校经济学系）
本文提出了一种新的均衡框架，允许智能体对环境有不正确的主观模型。Berk-Nash均衡的概念定义为每个玩家的策略在其信念下最优，并且信念是其可能信念集合中最佳拟合的。该框架结合了统计学和经济学中的学习理论，为Berk-Nash均衡提供了学习基础。
2019-11-21 cs.GT econ.GN q-fin.EC
On the Fictitious Play and Channel Selection Games
考虑到不同无线设备之间的相互干扰，分散并行多址信道中的信道选择问题可以用策略形式博弈来建模。在这里，我们表明CS问题是一个潜在的游戏（PG），因此虚拟播放（FP）收敛到一个纳什均衡（NE）无论是在纯策略或混合策略。使用一个2-播放器2-通道游戏，它表明，在混合策略的收敛可能会导致周期的动作配置文件，导致个人的频谱效率（SE），这是比SE在最坏的NE混合和纯策略。最后，利用CS问题是一个PG和聚合对策的事实，我们提出了一种方法来实现FP与本地信息和最小反馈。
2010-09-25 cs.GT cs.IT math.IT
Dynamics and Contracts for an Agent with Misspecified Beliefs
研究具有错误信念的单智能体契约环境，发现多行动下行动频率不收敛且计算均衡复杂度高，但双行动下最优契约可多项式时间计算，且轻微错误信念会大幅减少最优收入。
2024-05-30 cs.GT econ.TH
On the Convergence of Fictitious Play: A Decomposition Approach
Peking University（北京大学）；Huawei（华为）
模拟游戏（FP）是计算$n$ -玩家博弈中纳什均衡的最基本的博弈论学习框架之一，它为现代多智能体学习算法奠定了基础。虽然FP在零和博弈和势博弈上都有可证明的收敛保证，但现实世界中的许多问题往往是两者的混合，FP的收敛性尚未得到充分研究。在本文中，我们将FP的收敛结果扩展到此类游戏的组合以及其他。具体来说，我们推导出新的条件FP收敛利用游戏分解技术。我们进一步发展了一个线性关系，统一合作和竞争的意义上，这两类游戏是相互转移。最后，我们分析了FP的一个非收敛的例子，Shapley博弈，并给出了FP收敛的充分条件。
2022-05-03 cs.AI cs.GT cs.LG
Approximating N-Player Nash Equilibrium through Gradient Descent
本文提出一种基于梯度下降的N-玩家一般和博弈近似纳什均衡计算方法，通过定义基于纯策略最佳响应的距离度量将均衡求解转化为全局优化问题，并在GAMUT多种博弈上验证其优于Tsaknakis-Spirakis、虚拟对弈和遗憾匹配等基线方法。
2025-01-06 cs.GT
Partial-Information Q-Learning for General Two-Player Stochastic Games
本文分析了一般二人随机对策的部分信息Nash Q-学习算法。部分信息是指玩家不知道对方玩家的策略或行动的设置。我们证明了收敛的一般2人游戏的状态和行动，我们确认，限制策略实际上是一个全信息纳什均衡的部分知情的算法。在实现中，部分信息提供了简单性，因为它避免了在每个时间步计算纳什均衡。相比之下，全信息Q学习使用Lemke-Howson算法在每个时间步计算纳什均衡，这可能是一种有效的方法，但需要几个假设来证明收敛性，如果Lemke-Howson遇到退化，可能会有运行时错误。在模拟中，我们得到的部分信息的结果是可比的全信息Q学习和虚构的发挥。
2023-02-21 cs.GT math.OC
Linearly Coupled Communication Games
本文讨论了一种特殊类型的多用户通信场景，其中用户的效用受到竞争对手行为的线性影响。首先，我们明确的纳什均衡和帕累托边界的可实现的效用区域的特点。其次，量化了非合作纳什策略所导致的无政府状态的无政府代价。第三，为了提高在非合作的情况下的性能，我们研究了一个替代的解决方案的概念，名为平衡，其中个人用户补偿他们缺乏信息，形成内部的信念，他们的竞争对手的属性。分析了最佳响应和Jacobi更新动态的全局收敛性，并证明了其收敛性。结果表明，帕累托边界的线性耦合游戏可以持续稳定的生态平衡，如果信任函数被适当地初始化。所研究的模型适用于多种实际应用中遇到的多址接入设计，包括无线随机接入和流量控制。
2009-08-12 cs.GT
On Tightness of Tsaknakis-Spirakis Descent Methods for Approximate Nash Equilibria
该研究证明双矩阵博弈近似纳什均衡的TS算法0.3393近似比界的紧性，给出紧实例识别条件与生成器，实例可作算法基准，还提及TS算法达1/3近似比的进展。
2023-07-19 cs.DS cs.GT
Statistical Equilibrium of Optimistic Beliefs
University of Pennsylvania, The Wharton School（宾夕法尼亚大学沃顿商学院）；University of Chicago, Booth School of Business（芝加哥大学布斯商学院）
本文提出乐观信念的统计均衡概念，用于分析存在随机扰动和不确定性下的博弈均衡，通过优化联合分布和正则化游戏实现可计算性，并在模拟中展示其对无关替代物违反现象的解释能力。
2026-02-11 cs.GT econ.TH
Data Poisoning to Fake a Nash Equilibrium in Markov Games
University of Wisconsin - Madison（威斯康星大学麦迪逊分校）
该研究刻画了离线多智能体强化学习的数据投毒攻击，提出唯一纳什集概念，通过线性规划高效计算最优投毒策略，为设计鲁棒MARL算法奠定基础。
2024-06-18 cs.AI cs.CR cs.GT
Maximum a posteriori learning in demand competition games
我们考虑两个厂商之间的库存竞争博弈。我们要解决的问题是：如果玩家不知道对手的行动和对手的效用函数，他们可以通过观察自己的销售来学习在重复博弈中玩纳什策略吗？在这项工作中，它被证明是通过最大后验概率（MAP）估计，玩家可以学习纳什策略。证明了局中人的行为和信念确实收敛于纳什均衡。
2016-11-28 cs.GT math.OC
A Nash Equilibrium Need Not Exist in the Locational Marginal Pricing Mechanism
地点边际定价（LMP）是电力批发市场中广泛采用的电力定价方法。虽然市场操纵市场机制容易受到市场操纵的影响是众所周知的，但很少有文献对这一现象进行系统的分析。在本文的第一部分中，我们研究了具有战略代理人的LMP机制的经济调度结果。我们通过反例表明，与流行的看法相反，一个纳什均衡可能不存在。而当它存在时，无政府状态的无政府代价可能是任意大的。然后，我们提供了两个充分条件下的任何一个有效的纳什均衡存在。最后，我们提出了一种新的电力市场机制，电网第二价格（PNSP）机制，总是导致一个有效的纳什均衡。我们简要地讨论需求方面的扩展。
2013-10-16 cs.GT math.OC
Quadratic Programming Approach for Nash Equilibrium Computation in Multiplayer Imperfect-Information Games
Ganzfried Research（Ganzfried研究）
针对多人非完美信息博弈，提出基于序列形式非线性互补问题的二次约束规划方法，利用非凸二次规划求解器精确计算纳什均衡，在三玩家Kuhn扑克中优于Gambit的logit方法。
2026-07-08 cs.AI cs.GT cs.MA
Reinforcement Nash Equilibrium Solver
本文提出强化纳什均衡求解器RENES，通过单一策略修改不同规模博弈并结合图神经网络、张量分解和PPO训练，在修改后的博弈上应用现有求解器，从而提升α-rank、CE、FP和PRD等方法对纳什均衡的近似效果并实现泛化。
2024-05-06 cs.GT
M Equilibrium: A theory of beliefs and choices in games
我们引入了一个集值解的概念，M均衡，捕捉经验的博弈论实验超过半个世纪。我们表明M平衡作为Meta理论的各种模型，迄今被认为是无关的。M均衡在经验上是稳健的，尽管是集值的，但可证伪。我们报告的结果从一系列的实验比较M均衡领先的行为博弈论模型，并证明其优点，在预测观察到的选择和陈述的信念。从一个独特的纯策略纳什均衡和多个M均衡的实验游戏的数据表现出协调问题，不能通过现有的模型的镜头预期。
2021-04-19 cs.GT econ.TH
Double Oracle Algorithm for Computing Equilibria in Continuous Games
许多有效的算法已经被设计出来，以恢复纳什均衡的各类有限的游戏。具有无限策略空间的特殊连续对策类，如多项式对策，可以用半定规划求解。然而，一般来说，连续博弈并不直接适用于计算过程。在这篇文章中，我们开发了一个迭代策略生成技术，在整个类的连续两人零和游戏与紧凑的策略集找到一个纳什均衡。该过程，这是所谓的双预言算法，已成功地应用于大型有限游戏在过去。我们证明了双预言机算法收敛到一个纳什均衡。此外，该算法是保证恢复一个近似平衡，在有限多个步骤。我们的数值实验表明，它优于虚构的发挥在文献中出现的游戏的几个例子。特别是，我们提供了一个详细的分析实验的一个版本的连续上校Blotto游戏。
2020-09-30 cs.GT math.OC
Empirical Centroid Fictitious Play: An Approach For Distributed Learning In Multi-Agent Games
Carnegie Mellon University（卡内基梅隆大学）；Institute for Systems and Robotics (ISR), Instituto Superior Tecnico (IST), Technical University of Lisbon（里斯本技术学院系统机器人研究所）
本文提出经验质心虚构博弈算法，用于解决大规模多智能体游戏中的分布式学习问题，证明了该算法在潜在游戏中的收敛性，且适用于分布式环境。
2014-10-22 cs.GT cs.SY eess.SY
A belief-based evolutionarily stable strategy
进化稳定策略作为纳什均衡的一种均衡改进，是进化博弈论中的一个重要概念，引起了人们越来越多的关注。ESS可以是纯策略，也可以是混合策略。尽管混合策略允许随机性，但由于多种因素的影响，混合策略中纯策略的选择概率可能会发生波动。波动可能导致更多的不确定性。本文进一步考虑了混合策略中的不确定性，提出了一种基于Dempster-Shafer证据理论的信念策略。此外，基于所提出的信念策略，基于信念的ESS已被开发。信念策略和基于信念的进化支持系统可以归结为混合策略和混合进化支持系统，为描述Agent之间的交互提供了更真实、更有力的工具。
2014-06-06 cs.GT q-bio.PE
A Deep Reinforcement Learning Approach for Finding Non-Exploitable Strategies in Two-Player Atari Games
Princeton University（普林斯顿大学）
本文提出了新的端到端深度强化学习算法，用于学习两人零和马尔可夫博弈。不同于以往的努力，训练代理击败一组固定的对手，我们的目标是找到纳什均衡政策，甚至从剥削的敌对对手。我们提出了（a）Nash-DQN算法，该算法将单个DQN的深度学习技术集成到求解表格马尔可夫博弈的经典Nash Q-学习算法中;（b）Nash-DQN-Exploiter算法，该算法额外采用一个Exploiter来指导主Agent的探索。我们进行实验评估表格的例子，以及各种两个球员雅达利游戏。我们的实证结果表明，（i）通过许多现有方法（包括神经虚拟自玩和策略空间响应Oracle）发现的策略可能容易被敌对对手利用;（ii）我们算法的输出策略对利用具有鲁棒性，因此优于现有方法。
2023-03-07 cs.AI cs.GT cs.LG
