Solving Simple Stochastic Games with Few Random Vertices
简单随机博弈是两人零和随机博弈,具有回合制移动、完全信息和可达性获胜条件。我们提出了两个新的算法计算简单随机对策的价值。它们都依赖于最优置换策略的存在性,这是一类由随机顶点的置换导出的位置策略。“置换-枚举”算法在这些策略中执行穷举搜索,而“置换-改进”算法是基于连续改进的,如霍夫曼-卡普算法。我们的算法改进了以前已知的算法在几个方面。首先,当随机顶点数固定时,它们在多项式时间内运行,因此当参数为随机顶点数时,求解简单随机对策的问题是固定参数易处理的。此外,我们的算法不需要将输入游戏转换为停止游戏。最后,置换枚举算法不使用线性规划,而置换改进算法可以在多项式时间内运行。
2009-05-25 cs.GT
Solving simple stochastic games with few coin toss positions
Gimbert和Horn给出了一个运行时间为O(r!其中n是简单随机博弈的位置数,r是掷硬币位置数。Chatterjee等人指出,策略迭代的一个变体可以在时间上解决这个问题,时间为4 ^r r^{O(1)} n^{O(1)}。在本文中,我们证明了一个算法相结合的值迭代与逆行分析实现了时间界的O(r 2^r(r log r + n)),从而提高了这两个时间界。虽然该算法是简单的,导致这个时间范围的分析涉及,使用极值组合学的技术,以确定最坏的情况下的算法。
2012-03-20 cs.GT
Solving Zero-Sum One-Sided Partially Observable Stochastic Games
许多安全和其他现实世界的情况在本质上是动态的,可以建模为严格竞争(或零和)的动态游戏。在这些领域中,代理人执行影响环境的行动,并接收关于对手行动的情况和影响的观察结果-可能是不完美的。此外,对代理人可以执行的动作总数没有限制-也就是说,没有固定的时间范围。这些设置可以被建模为部分可观察的随机游戏(POSG)。然而,解决一般的POSG是计算上棘手的,所以我们专注于一个广泛的子类POSG称为单侧POSG。在这些博弈中,只有一个智能体具有不完全信息,而他们的对手完全知道当前的情况。我们为解决单侧POSG提供了一个完整的画面:我们(1)给出了单侧POSG及其值函数的理论分析,(2)证明了值迭代算法的一个变体在这种设置下收敛,(3)采用启发式搜索值迭代算法来求解单侧POSG,(4)描述了如何使用近似价值函数来导出博弈中的策略,(5)证明了该算法可以求解非平凡规模的单边POSG,并分析了该算法在三个不同领域(追逐-逃避、巡逻和搜索博弈)的可扩展性。
2020-10-21 cs.GT
Solving Two-Player Games under Progress Assumptions
本文研究有限图上无限双人博弈在CPS驱动的LTL进展假设下的求解复杂度,刻画可达性与奇偶博弈形成增广博弈后保持同等复杂度的假设类别。
2023-10-19 cs.GT
Games on Graphs: A Time-Efficient Algorithm for Solving Finite Reachability and Safety Games
本文针对图上有限可达性与安全性博弈,提出一种利用二者对偶性的时间高效算法,并通过随机化测试验证其优于传统方法。
2024-06-07 cs.GT
Enhanced Equilibria-Solving via Private Information Pre-Branch Structure in Adversarial Team Games
针对对抗团队博弈TMECor求解中转化博弈规模爆炸的问题,提出基于私有信息预分支的博弈转化方法,证明规模指数缩减与均衡等价,并取得最高694.44倍加速。
2024-08-05 cs.GT
Faster Game Solving via Hyperparameter Schedules
Carnegie Mellon University(卡内基梅隆大学);Anthropic;Strategy Robot, Inc.;Strategic Machine, Inc.;Optimized Markets, Inc.
本文提出一种简单高效的超参数调度框架,通过动态调整CFR折扣率,显著提升不完全信息游戏的求解速度,适用于多种游戏场景。
2026-02-08 cs.GT
Simultaneous incremental support adjustment and metagame solving: An equilibrium-finding framework for continuous-action games
针对连续动作多参与者博弈,本文改进双预言机算法,通过固定规模策略集及增量元博弈求解与最优响应调整,低内存地求得低可利用度的近似混合策略纳什均衡。
2024-06-12 cs.GT
Down the Borel Hierarchy: Solving Muller Games via Safety Games
我们将一个有n个顶点的Muller对策转化为一个有(n!)^ 3个顶点,其解允许确定Muller博弈的获胜区域并计算一个玩家的有限状态获胜策略。这产生了一种新颖的基于反链的记忆结构和穆勒游戏的许可策略的自然概念。此外,我们推广我们的建设,提出了一种新的类型的游戏减少从无限的游戏安全游戏,并显示其适用于其他几个获胜的条件。
2012-10-09 cs.GT cs.LO
Safe and Nested Subgame Solving for Imperfect-Information Games
Carnegie Mellon University(卡内基梅隆大学)
在无信息博弈中,一个子博弈中的最优策略可能依赖于其他未到达子博弈中的策略。因此,子博弈不能孤立地求解,而必须将整个博弈的策略作为一个整体来考虑,这与完全信息博弈不同。然而,可以先近似整个博弈的解,然后通过求解单个子博弈来改进它。这被称为子博弈求解。我们引入子博弈解决技术,在理论和实践中优于以前的方法。我们还展示了如何调整它们,以及过去的子博弈求解技术,以响应原始动作抽象之外的对手动作;这显着优于现有的最先进的方法,动作翻译。最后,我们表明,子博弈求解可以重复的游戏进展下来的游戏树,导致低得多的可利用性。这些技术是Libratus的关键组成部分,Libratus是第一个在单挑无限制德州扑克中击败顶级人类的AI。
2017-11-16 cs.AI cs.GT
Canonical Representations for Direct Generation of Strategies in High-level Petri Games (Full Version)
Petri博弈是分布式系统中综合问题的多人博弈模型,即,本地控制器的自动生成。该模型代表的因果记忆的球员,这是一个Petri网上的令牌,分为两个团队:可控系统和不可控的环境。对于一个环境局中人和有限数目的系统局中人,求解Petri对策的问题可以归结为求解Büchi对策的问题。高级Petri博弈是普通Petri博弈的一种简洁表示。对称性,来自一个高层次的表示,可以利用显着减少相应的Büchi游戏中的状态空间。我们提出了一个新的结构,解决高层次的Petri游戏。它涉及到一个独特的,规范的表示减少Büchi游戏的定义。这使我们能够将布奇博弈中的策略直接转化为Petri博弈中的策略。应用于六个结构不同的基准家庭的实现显示在大多数情况下,更大的状态空间的性能提高。
2021-03-18 cs.GT
Solving imperfect-information games via exponential counterfactual regret minimization
一般来说,两个代理人的决策问题可以建模为一个两个球员的游戏,一个典型的解决方案是找到一个纳什均衡在这样的游戏。反事实后悔最小化(CFR)是一种求解不完全信息下两人零和博弈纳什均衡策略的著名方法。CFR方法采用后悔匹配算法迭代地逐步降低后悔值,使平均策略接近纳什均衡。虽然基于CFR的方法在不完全信息博弈领域取得了显著的成功,但在收敛效率方面仍有改进的余地。为了解决这个问题,我们提出了一种新的基于CFR的方法命名为指数反事实后悔最小化(ECFR)。在ECFR算法中,采用指数加权技术对迭代过程中的瞬时后悔值进行加权。从理论上证明了ECFR算法的收敛性。一组广泛的实验测试的结果表明,ECFR算法的收敛速度比当前国家的最先进的基于CFR的方法。
2020-12-04 cs.GT
The complexity of interior point methods for solving discounted turn-based stochastic games
研究了折扣、两人回合制随机博弈(2 TBSGs)的求解问题。Jurdzinski和Savani证明了具有确定性转移的2 TBSG可以归结为求解$P$ -矩阵线性互补问题(LCP)。我们表明,同样的减少工程一般2 TBSG。这意味着许多求解$P$ -矩阵LCP的内点方法可以用于求解2 TBSG。我们考虑两个这样的算法。首先,我们考虑Kojima,Megiddo,Noma和Yoshise的统一内点方法,它在时间上运行$O((1+κ)n^{3.5}L)$,其中$κ$是一个参数,它依赖于定义LCP的$n \times n$矩阵$M$,$L$是$M$的表示中的位数。其次,我们考虑Kojima,Megiddo和Ye的内点势约简算法,该算法在时间上运行$O(\frac{-δ}θn^4\log ε^{-1})$,其中$δ$和$θ$是依赖于$M$的参数,$ε$描述了解决方案的质量。对于具有$n$状态和折扣因子$γ$的2 TBSG,我们证明了在最坏情况下$κ= Θ(n/(1-γ)^2)$,$-δ= Θ(\sqrt{n}/(1-γ))$和$1/θ= Θ(n/(1-γ)^2)$。$κ$、$-δ$和$1/θ$的下界是使用同一系列确定性博弈得到的。
2014-12-17 cs.GT
Watermarked Game Solving via Perturbed Regret Minimization
Computer Science Department, CMU(卡内基梅隆大学计算机科学系);Strategic Machine, Inc.(战略机器有限公司);Strategy Robot, Inc.(策略机器人有限公司);Optimized Markets, Inc.(优化市场有限公司)
本文针对现有博弈智能体水印技术仅适用于完美信息博弈的局限,提出集成于学习过程、可用于不完美信息博弈的扰动遗憾最小化水印方法,其水印代价小且易检测。
2026-08-18 cs.GT
Strategy Synthesis for General Deductive Games Based on SAT Solving
Masaryk University(马萨里克大学)
我们提出了一个通用的框架,用于建模和求解演绎游戏,其中一个玩家选择一个秘密代码和其他玩家努力发现这个代码使用最少数量的允许的实验,揭示了一些部分信息的代码。该框架是实现在一个软件工具眼镜蛇,其功能是通过产生新的结果,现有的演绎游戏证明。
2015-06-19 cs.AI cs.GT
Subgame solving without common knowledge
在完全信息博弈中,子博弈求解比完全信息博弈更具挑战性,但在过去的几年里,这样的技术已经发展起来。他们是关键成分的里程碑超人发挥在无限制德州扑克。当前的子博弈求解技术分析了玩家当前信息集的整个常识闭包,即当前节点所在的常识所在的最小节点集。虽然这在像扑克这样的游戏中是可以接受的,其中常识闭包相对较小,但许多实际游戏具有更复杂的信息结构,这使得常识闭包不切实际地大到无法枚举或甚至合理地近似。我们介绍了一种方法,克服了这一障碍,而不是只与低阶知识。我们的方法允许一个代理,在到达一个信息集,基本上修剪任何节点,不再是可达的,从而大大减少了游戏树的大小相对于常识子游戏。我们证明,与蓝图策略相比,我们的方法可以增加可利用性。然而,我们开发了三种可以保证安全的途径。即使没有安全保证的添加,中型游戏的实验表明,我们的方法总是降低了实际游戏中的可利用性,即使应用于每个信息集,并且据我们所知,它的深度限制版本导致了第一个强大的人工智能挑战问题黑棋。
2021-12-03 cs.GT
On the Complexity of Solving Subtraction Games
我们研究算法解决减法游戏,有时被称为一堆尼姆游戏。本文描述了一个适用于DAG上任何博弈的量子算法,并证明了它求解任意$n$石头减法博弈的查询复杂性是$O(n^{3/2}\log n)$ .最著名的确定性算法解决这样的游戏是基于动态规划方法。我们表明,这种方法是渐近最优的,经典的查询复杂度为解决减法游戏一般是$Θ(n^2)$。本文也许是第一个明确的“量子”贡献的算法博弈论。
2018-08-10 cs.CC cs.DS cs.GT
Alpaga: A Tool for Solving Parity Games with Imperfect Information
Alpaga是一个求解不完全信息的两人平价博弈的算法。给定博弈的描述,它确定第一个参与者是否能确保获胜,如果是,它构造获胜策略。该工具提供了一个基于反链的最新算法的符号实现。
2009-01-29 cs.GT cs.LO
A Generic Multi-Player Transformation Algorithm for Solving Large-Scale Zero-Sum Extensive-Form Adversarial Team Games
本文提出一种通用多玩家变换算法,通过私有信息预分支将大规模零和扩展式对抗团队博弈转化为2玩家博弈,使TMECor求解等价于NE求解,将复杂度从指数级降至常数级,并在多个扑克案例中显著优于现有方法。
2023-07-04 cs.GT
Solving Infinite-Player Games with Player-to-Strategy Networks
针对无限玩家博弈求解难题,提出玩家-策略网络(P2SN)表示无限玩家策略剖面,结合共享参数同步梯度(SPSG)算法训练以寻找近似纳什均衡,可适配多类复杂博弈场景。
2025-01-16 cs.GT
Understanding Optimal Portfolios of Strategies for Solving Two-player Zero-sum Games
Artificial Intelligence Center, FEE Czech Technical University in Prague(布拉格捷克理工大学电气工程学院人工智能中心)
本文研究了双人零和游戏中最优策略组合的构建问题,证明该问题NP难,并提出评估启发式方法的框架,揭示了启发式方法在不同游戏中的有效性差异。
2025-11-23 cs.GT
Faster Game Solving by Fixpoint Acceleration
University of Liverpool(利物浦大学)
提出通过计算DAG吸引子函数的嵌套不动点加速求解具有无环子结构的奇偶博弈,并设计经济构造将Emerson-Lei博弈转化为奇偶博弈以实现加速求解。
2025-11-04 cs.GT cs.LO
A Faster Algorithm for Solving One-Clock Priced Timed Games
单钟定价定时博弈是一类两人零和连续时间博弈,在以前的作品中已经定义和深入研究。我们证明了一个时钟定价的定时游戏可以在时间m12^nn ^(O(1))内求解,其中n是状态数,m是动作数。由于Rutkowski的贡献,解决一个时钟价格的定时游戏的最佳时间界限是2^(O(n^2+m))。基于计算几何中的扫描线技术和马尔可夫决策过程算法理论中的策略迭代范式,本文提出并研究了一种求解一钟定价时间博弈的新算法.作为一个必然的结果,我们还提高了分析以前的算法,由于布耶,Cassez,Fleury和拉森;和Alfred,Bernadsky和Madhusudan。
2013-01-11 cs.CG cs.GT
Learning Equilibria of Simulation-Based Games
我们解决了经验博弈论分析(EGTA)中的一个基本问题,即基于模拟的游戏的学习均衡。这样的游戏不能用分析的形式来描述;相反,可以查询黑盒模拟器以获得实用程序的噪声样本。我们对EGTA的态度是本着可能近似正确的学习精神。我们设计了学习所谓的经验游戏的算法,这些游戏一致地近似于具有有限样本保证的基于模拟的游戏的效用。这些算法可以用各种浓度不等式来实例化。在早期工作的基础上,我们首先应用Hoeffding的界限,但随着游戏规模的增加,这个界限最终变得统计上难以处理;因此,我们也使用Rademacher复杂性。我们的主要结果表明:在高概率情况下,基于模拟的博弈的所有均衡都是经验博弈中的近似均衡(完美回忆);相反,经验博弈中的所有近似均衡都是基于模拟的博弈中的近似均衡(近似完美精确)。我们评估我们的算法在几个合成游戏,表明他们节俭使用的数据,产生准确的估计往往比理论预测,并对不同形式的噪音是强大的。
2019-05-31 cs.GT
Solving Structured Hierarchical Games Using Differential Backward Induction
从大规模组织到分散的政治系统,层级战略决策是司空见惯的。我们介绍了一类新的结构层次游戏(SHGs),正式捕捉这种层次的战略互动。在SHG中,每个参与者都是树中的一个节点,参与者的策略选择是从根到叶子顺序排列的,首先是根,其次是它的孩子,然后是他们的孩子,等等,直到叶子。一个玩家在SHG中的效用取决于他自己的决定,以及他的父母和所有树叶的选择。因此,SHG推广了错误移动游戏,以及有许多追随者的Stackelberg游戏。我们利用两个序列的球员的动作,以及支付依赖的结构,开发一个基于梯度的反向传播风格的算法,我们称之为差分反向归纳(DBI),近似平衡的SHG。我们提供了一个充分条件的DBI收敛,并证明其有效性,在寻找近似平衡解的几个SHG模型的分层决策问题。
2022-06-27 cs.GT
Solving Cooperative Reliability Games
Microsoft Research(微软研究院);Hebrew University(希伯来大学)
合作博弈模型的利润分配从联合行动,以下考虑,如稳定性和公平性。我们提出了这种游戏的可靠性扩展,代理可能无法参与游戏。在可靠性扩展中,每个代理只有一定的概率“生存”,联盟的价值是其幸存成员在基础游戏中获胜的概率。我们研究突出的解决方案的概念,在这样的游戏,展示了如何近似的Shapley值,以及如何计算的核心,在游戏中的代理类型很少。我们还表明,应用可靠性扩展可能会稳定的游戏,使核心非空,即使当基础游戏有一个空的核心。
2012-02-14 cs.AI cs.GT
Solving Qualitative Multi-Objective Stochastic Games
RPTU University Kaiserslautern-Landau(凯泽斯劳滕-兰道理工大学);Max Planck Institute for Software Systems(马克斯·普朗克软件系统研究所)
该研究探讨了多目标随机博弈的复杂性和确定性,证明了特定目标组合的博弈在PSPACE完全,而完整布尔组合则为NEXPTIME难。
2026-02-13 cs.GT
A Descent-based method on the Duality Gap for solving zero-sum games
本文提出一种基于对偶间隙凸性下降的双人零和博弈均衡求解方法,通过最速下降最小化方向导数,实现几何收敛与改进复杂度,实验表明其性能媲美甚至超越OGDA等标准方法。
2025-01-31 cs.GT
A Recursive Algorithm for Solving Simple Stochastic Games
我们提出了两个递归策略改进算法解决简单的随机对策。首先,我们提出了一个算法,解决SSG度$d$,使用最多$O\left(\left\lfloor(d+1)^2/2\right\rfloor^{n/2}\right)$迭代,与$n$的MAX顶点的数量。然后,我们专注于二进制SSG,并提出了一个算法,具有复杂性$O\left(φ^nPoly(N)\right)$,其中$φ= (1 + \sqrt{5})/2$是黄金比例。据我们所知,这是第一个使用$c < 1$访问$2^{cn}$策略的确定性策略改进算法。
2021-10-03 cs.DS cs.GT
Solving Parity Games on Integer Vectors
我们考虑无限图上的奇偶博弈,其中配置由控制状态和整数向量表示。这个框架包含了两个经典的博弈问题:状态向量加法系统上的奇偶博弈和多维能量奇偶博弈。我们证明了多维能量奇偶博弈问题是与vass上的单边奇偶博弈的一个子类可互约的,其中只有一个玩家可以修改整数计数器,对手只能改变控制状态。我们的主要结果是,这些单面奇偶对策的上闭获胜集的最小元素是可计算的。这意味着赢得多维能量平价博弈所需的最小初始信用的帕累托边界也是可计算的,解决了文献中的一个悬而未决的问题。此外,我们的主要结果暗示了有限状态系统与vass之间弱模拟前序/等价的可判定性,以及大片段模态μ演算的模型检验vass的可判定性。
2013-06-12 cs.GT cs.LO
Solving Large Extensive-Form Games with Strategy Constraints
University of Alberta(阿尔伯塔大学);DeepMind(深度思维公司(DeepMind)(注:DeepMind通常指Google旗下的DeepMind Technologies Limited,作为独立研究机构,此处按常见译法保留))
可拓形式博弈是不完全信息下多主体交互的一种常见模型。在两人零和博弈中,典型的解概念是每个参与者在无约束策略集上的纳什均衡。然而,在许多情况下,我们希望限制这套可能的战略。例如,约束是对有限资源、风险缓解、安全性、与过去行为观察的一致性或代理的其他次要目标进行建模的自然方式。在小型博弈中,线性约束下的最优策略可以通过求解线性规划来找到;然而,用于求解大型博弈的最先进算法无法处理一般约束。在这项工作中,我们介绍了一种广义形式的反事实遗憾最小化,可证明发现任何可行的凸约束下的最佳策略。我们证明了我们的算法的有效性,找到战略,减轻风险的安全游戏,并在扑克游戏中的对手建模时,只有部分私人信息的观察。
2019-02-05 cs.AI cs.GT
Solving Min-Max Problems with Applications to Games
我们完善现有的一般网络优化技术,给他们可以应用到的问题类的新的特征,并表明,他们也可以用来解决各种两个玩家的游戏在几乎线性的时间。其中一个是网络阻断问题的新变体,其中阻断者希望使用顶点有限的弧移除预算来破坏从源到目的地的高容量路径。我们还表明,取代平均支付游戏的最大重量的结果在一类游戏的极限平均值服从这些技术。
2008-01-27 cs.DS cs.GT
Quantum-over-classical Advantage in Solving Multiplayer Games
我们研究了量子算法在计算博弈论中的适用性,并推广了与减法博弈(有时被称为单堆Nim博弈)相关的一些结果。在量子博弈论中,减法博弈的一个子集成为第一个明确定义的零和组合博弈类,并证明了解决它们的量子和经典复杂性之间的分离。对于减法游戏的较窄子集,已知精确量子次线性算法,其优于用于以概率$1$找到解的所有确定性算法。通常,Nim和Subtraction游戏都只为两个玩家定义。我们将一些已知的结果推广到三个或更多玩家的游戏,同时保持相同的经典和量子复杂性:$Θ\left(n^2\right)$和$\tilde{O}\left(n^{1.5}\right)$分别。
2020-06-12 cs.CC cs.GT quant-ph
Matrix Games, Linear Programming, and Linear Approximation
以下四类计算问题是等价的:解矩阵对策、解线性规划、最佳$l^{\infty}$线性逼近、最佳$l^1$线性逼近。
2006-09-12 cs.AI cs.GT
Solving Zero-sum Games using Best Response Oracles with Applications to Search Games
我们提出了有效的算法计算最优或近似最优策略的零和对策,其中玩家I有n个纯策略和玩家II有任意数量的纯策略。我们假设对于参与人I的任何给定的混合策略,参与人II的最佳对策或“近似”最佳对策可以通过预言机在时间多项式n中找到。然后,我们将展示我们的算法可能会被应用到几个搜索游戏与应用程序的安全和反恐。我们评估我们的主要算法实验上的一个原型搜索游戏。我们的研究结果表明,它表现良好相比,现有的,众所周知的算法解决零和对策,也可以用来解决搜索游戏,给出了最佳对策预言。
2018-06-20 cs.DS cs.GT math.OC
A Bridge between Polynomial Optimization and Games with Imperfect Recall
我们提供了几个积极和消极的复杂性解决游戏的不完美的回忆。使用一对一的对应关系,这些游戏的一边和多元多项式的另一边,我们表明,解决游戏的不完美的回忆是很难解决某些问题的一阶理论的实数。我们建立了平方根和硬度,即使是特定类别的A-损失游戏。在积极的一面,我们发现限制的游戏和策略的动机桥投标,给多项式时间的复杂性。
2020-02-25 cs.GT cs.LO
A Recursive Approach to Solving Parity Games in Quasipolynomial Time
本文改进Zielonka经典递归算法,将奇偶博弈求解复杂度从指数级降至拟多项式级,达到$n^{O(\log(1+d/\log n))}$。
2022-01-11 cs.FL cs.GT
Computational Hardness of Multidimensional Subtraction Games
研究了在有限差分集上求解~固定维减法对策的算法复杂性。我们证明了在这个类中存在一个游戏,使得任何解决游戏的算法在指数时间内运行。此外,我们证明了在这个类中的游戏的存在性,这样解决的游戏是PSPACE困难的。这些结果是基于Larsson和Wästlund提出的构造。它涉及减法游戏和细胞自动机。
2020-01-12 cs.CC cs.GT math.CO
Solving the Three-Player-Game
在本文中,我们解决了三人博弈问题。三人游戏由一系列回合组成。一共有三个球员。每轮比赛有两名球员参加,在一轮结束时,失败者退出,第三名球员进入戒指,另一轮开始。游戏结束,如果所有六个输赢关系出现。在每轮比赛中,两名球员以相等的概率获胜。要求计算轮数的期望值。这是一个涉及概率论和动态规划的典型问题。它可以作为任何初级或高级概率教科书中条件期望一章的实例或练习。
2020-09-10 cs.GT math.PR
Local Strategy Improvement for Parity Game Solving
奇偶博弈的求解问题是模型检验、可满足性检测和程序合成中许多问题的核心。解决奇偶博弈的一些最好的算法是策略改进算法。这些都是全球性的,因为它们需要整个平价博弈在一开始就存在。这是一个明显的缺点,因为在许多应用中,人们只需要知道特定节点属于哪个获胜区域,并且见证获胜策略可能只覆盖整个游戏图的一小部分。我们提出了一个局部策略改进算法,该算法在执行改进步骤的同时探索游戏图。我们还比较了它与现有的全局策略改进算法和目前唯一的其他局部算法解决奇偶博弈的经验。事实证明,局部策略改进可以超过其他策略几个数量级。
2010-06-08 cs.CC cs.DS cs.GT
Value Functions for Depth-Limited Solving in Zero-Sum Imperfect-Information Games
Czech Technical University in Prague(布拉格捷克理工大学)
我们提供了一个正式的定义,深度有限的游戏,以及一个访问和严格的解释的基本概念,这两个都是以前缺少的信息游戏。该定义适用于任意的扩展形式博弈,并且不依赖于任何特定的博弈求解算法。此外,这个框架统一并显着扩展了三种方法,以深度有限的解决方案,以前存在于广泛的形式游戏和多智能体强化学习,但不知道是兼容的。这些深度有限游戏的一个关键要素是价值函数。专注于两个球员零和信息博弈,我们展示了如何获得最佳的价值函数,并证明了公共信息提供了必要和充分的上下文计算。我们提供了一个域独立的编码域,允许近似价值函数,甚至通过简单的前馈神经网络,然后能够概括到看不见的游戏部分。我们使用由此产生的价值网络来实现反事实遗憾最小化的深度有限版本。在三个不同的域中,我们表明,该算法的可利用性大致线性依赖于价值网络的质量,并不难训练一个价值网络的深度有限CFR的性能是一样好的CFR与访问完整的游戏。
2022-03-24 cs.AI cs.GT
A pseudo-quasi-polynomial algorithm for solving mean-payoff parity games
在平均收益平价博弈中,两个博弈者中的一个既要实现定性的平价目标,又要最小化定量的长期平均收益(又名。平均收益)。游戏是零和的,因此另一个玩家的目标是要么挫败平价目标,要么最大化平均收益。我们的主要技术成果是一个伪拟多项式算法求解平均支付平价游戏。所有的算法已经开发了十多年的问题有一个伪多项式和指数因子在他们的运行时间;在我们的算法的运行时间,后者被替换为一个准多项式。根据Chatterjee和Doyen(2012)以及Schewe,Weinert和Zimmermann(2018)的结果,我们的主要技术结果意味着存在用于求解奇偶能量博弈和求解具有权重的奇偶博弈的伪准多项式算法。我们的主要概念的贡献是双方球员的战略分解的定义,和一个概念的进展措施的平均回报平价游戏,推广平价和能源的进展措施。前者提供了范式和简洁的表示获胜的策略,后者使应用程序的平均支付奇偶游戏的顺序理论的机器,支持最近的准多项式算法解决奇偶游戏。
2018-07-10 cs.DS cs.GT cs.LO
Solving Imperfect-Information Games via Discounted Regret Minimization
Carnegie Mellon University(卡内基梅隆大学)
反事实后悔最小化(CFR)是一类迭代算法,是最流行的,在实践中,最快的方法来近似解决大规模的信息博弈。在本文中,我们引入了新的CFR变体,1)以各种方式从早期迭代中折扣遗憾(在某些情况下,积极和消极的遗憾不同),2)以各种方式重新加权迭代以获得输出策略,3)使用非标准的遗憾最小化器和/或4)利用“乐观遗憾匹配”。它们在许多环境中显著提高了性能。首先,我们引入了一个变体,在每个测试的游戏中,包括大规模的现实设置中,它的性能都优于CFR+,这是现有的最先进的算法。CFR+是一个强大的基准:没有其他算法已经能够胜过it. Finally,我们表明,与CFR+,许多重要的新的变种是兼容的现代信息游戏修剪技术和一个也是兼容的游戏树中的采样。
2019-02-21 cs.AI cs.GT
Solving irreducible stochastic mean-payoff games and entropy games by relative Krasnoselskii-Mann iteration
本研究结合相对值迭代与Krasnoselskii-Mann阻尼提出求解不可约随机平均收益博弈的算法,证明其ε-近似迭代复杂度为O(|logε|),还将方法拓展至熵博弈并通过变分分析验证收缩性质。
2023-05-03 cs.GT math.OC
Generating and Solving Symbolic Parity Games
我们提出了一个新的工具,验证模态μ演算公式的过程规范,基于符号奇偶游戏。它增强了现有的方法,首先编码的问题的参数化布尔方程系统(PBES),然后实例化PBES的奇偶性游戏。我们改进了从规范到PBES的转换以保持PBES中规范的结构,我们扩展了LTSmin以将PBES实例化为符号奇偶博弈,并实现了Zielonka的符号奇偶博弈递归求解算法。我们使用多值决策图(MDDs)来表示集合和关系,从而使工具能够处理非常大的系统。基于规范的结构划分转换关系,这允许有效地操纵MDD。我们进行了两个案例研究的模块化规范,表明新方法具有更好的时间和内存性能比现有的PBES为基础的工具,可以更快(但略低于内存效率)比符号模型检查NuSMV。
2014-07-30 cs.GT cs.LO
Solving Four Open Problems about Core Stability in Altruistic Hedonic Games
Institute of Economics HUN-REN Centre for Economic
本文解决四个关于利他主义霍德onic游戏核心稳定性的开放问题,证明其复杂性为coNP完全。
2025-11-27 cs.CC cs.GT
Solving Stochastic Büchi Games on Infinite Arenas with a Finite Attractor
我们考虑在无限概率竞技场上进行的游戏,其中第一个玩家的目标几乎肯定是满足广义Büchi目标,即,概率为1我们提供了一个不动点特征的获胜集和相关的获胜策略的情况下,竞技场满足有限吸引属性。从这一点,我们直接推导出这些游戏的概率有损信道系统的可判定性。
2013-06-12 cs.FL cs.GT cs.LO
Solving Mean-Payoff Games via Quasi Dominions
我们提出了一种新的算法的平均收益游戏的解决方案,合并在一起的奇偶校验游戏,小的进步措施和准domestic的背景下引入的两个看似无关的概念。我们表明,这两个概念的整合可以是非常有益的,并显着加快收敛到问题的解决方案。实验表明,所得到的算法执行数量级优于目前已知的渐近最佳解决方案算法,而不会牺牲最坏情况下的复杂性。
2019-07-14 cs.FL cs.GT cs.LO
Solving zero-sum extensive-form games with arbitrary payoff uncertainty models
University of Strathclyde(思克莱德大学);Zondax GmbH
从博弈论的角度对战略冲突进行建模涉及到对认知不确定性的处理。由于计算限制,回报不确定性模型通常限于简单的概率模型。应用于扑克的人工智能(AI)研究最近取得了突破,产生了新的近似方法,如反事实遗憾最小化,可以成功地处理大规模的不完美游戏。通过借鉴这些思想,这项工作解决了任意连续收益分布的问题。我们提出了一种方法,Harsanyi-Counterfactual遗憾最小化,解决两人零和扩展形式的游戏与任意的支付分布模型。给定一个博弈$Γ$,利用Harsanyi变换,我们生成一个新的博弈$Γ^\#$,然后应用反事实后悔最小化方法,得到$\varepsilon$ -Nash均衡.我们包括数值实验,展示了该方法如何可以应用到以前发表的问题。
2019-04-24 cs.AI cs.GT
The Lagrangian Method for Solving Constrained Markov Games
本文提出拉格朗日博弈概念,并通过原始-对偶迭代方法求解带约束马尔可夫博弈,证明其解序列收敛到原博弈的非平稳纳什解。
2025-03-13 cs.GT math.OC
Solving Simple Stochastic Games with few Random Nodes faster using Bland's Rule
到目前为止,求解简单随机博弈的最佳算法是Ludwig的随机算法,它在预期的$2^{O(\sqrt{n})}$时间内工作。我们首先给出了一个更简单的迭代变形算法,使用布兰德的规则从单纯形算法,它使用指数比路德维希的版本更少的随机位。然后,我们展示了如何适应这种方法的算法的Gimbert和霍恩的最坏情况下的复杂性是$O(k!)$,其中$k$是随机节点的数量。该算法的预期运行时间为$2^{O(k)}$,适用于任意出度和出弧概率分布的一般随机节点。
2019-01-16 cs.DS cs.GT
Gradient Methods for Solving Stackelberg Games
Stackelberg游戏在过去几年中由于对抗性机器学习(AML)的兴起而变得越来越重要。在这种背景下,必须面对一个新的范式:在经典博弈论中,干预代理人是人类,其决策通常是离散和低维的。在AML中,决策由算法做出,并且通常是连续的和高维的,例如选择神经网络的权重。由于Stackelberg博弈的封闭形式解通常不存在,因此必须有有效的算法来搜索数值解。我们研究了两种不同的程序来解决这种类型的游戏,使用梯度方法。我们研究这两种方法的时间和空间的可扩展性,并讨论在何种情况下更适合使用它们中的每一个。最后,我们说明了它们在对抗性预测问题中的应用。
2019-10-23 cs.GT stat.CO stat.ML
Solving Non-Convex Non-Concave Min-Max Games Under Polyak-Łojasiewicz Condition
University of Southern California(南加州大学)
在这篇短文中,我们考虑求解一个极小极大零和对策的问题。这个问题已经被广泛研究的凹凸制度,可以有效地计算的整体解决方案。最近,也有发展,寻找一阶稳定点的游戏时,玩家的目标之一是凹或(弱)凹。本文主要研究了非凸非凹机制,其中一个局中人的目标满足Polyak-Schojasiewicz(PL)条件。对于这样的游戏,我们表明,一个简单的多步梯度下降上升算法发现一个$\varepsilon$ -一阶不动点的问题,在$\widetilde{\mathcal{O}}(\varepsilon^{-2})$迭代。
2018-12-07 cs.GT cs.LG math.OC
A Direct Second-Order Method for Solving Two-Player Zero-Sum Games
Columbia University(哥伦比亚大学);Microsoft(微软)
本文提出了一种直接二阶方法用于求解双玩家零和博弈的纳什均衡,结合了半光滑牛顿方法与Predictive Regret Matching$^+$,实现了局部超线性收敛和全局效率保证。
2025-12-15 cs.GT math.OC