Aggregate Fictitious Play for Learning in Anonymous Polymatrix Games (Extended Version)
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出聚合虚拟博弈（agg-FP），通过跟踪其他智能体各动作的数量频率来缩小匿名多矩阵博弈中的联合动作空间，在保持与经典FP相同收敛条件的同时加速收敛到纳什均衡。
2025-08-26 cs.GT cs.LG cs.MA
An Empirical Study on Computing Equilibria in Polymatrix Games
纳什均衡是战略自主智能体系统行为的重要基准。多矩阵游戏是多人游戏的简洁而富有表现力的表示，它模拟了玩家之间的成对交互。解决这些游戏的算法的经验性能很少受到关注，尽管它们的广泛应用。在本文中，我们进行了一个全面的实证研究，两个突出的算法计算样本平衡在这些游戏中，Lemke的算法，计算一个精确的平衡，和一个梯度下降的方法，计算一个近似的平衡。我们的研究涵盖了一些有趣的应用程序所产生的游戏。我们发现Lemke算法可以在合理的时间内计算相对较大的游戏中的精确均衡。如果我们愿意接受（高质量的）近似均衡，那么我们可以使用下降法来处理更大的博弈。我们还报告了哪些游戏对每个算法最具挑战性。
2016-03-16 cs.GT
Constrained Pure Nash Equilibria in Polymatrix Games
本文研究了一类定义在加权有向图上的多矩阵博弈中约束纯纳什均衡的存在性检验问题。一个玩家的收益被定义为选择相同策略的玩家在输入边上的非负有理权重之和，并为选择给定策略增加一个固定的整数奖金。这些游戏抓住了在缺乏全球共同战略的情况下，在当地社区内协调的想法。我们研究的决策问题，检查是否一组给定的策略选择的一个子集的球员是一致的一些纯纳什均衡，或者，与所有纯纳什均衡。我们确定了最自然的情况下，易于处理，并显示NP或CONP-完全这些问题已经为未加权的DAG。
2016-11-29 cs.GT
On the Uniqueness of Nash Equilibria in Multiagent Matrix Games
本文完整刻画了无约束多矩阵博弈中纳什均衡的唯一性条件，证明零和博弈需组合策略空间维度为偶数，并揭示了经典学习动力学在非唯一均衡下仍能产生唯一估计。
2024-10-21 cs.GT
Playing Coopetitive Polymatrix Games with Small Manipulation Cost
迭代合作竞争博弈捕捉到了这样一种情况，即一个人必须随着时间的推移在与其他代理人的合作和竞争之间进行有效的平衡，以便赢得博弈（例如，成为总效用最高的玩家）。当显式通信不可行时（例如，不允许谈判或讨价还价）。在本文中，我们研究如何代理可以实现这种平衡，赢得迭代合作竞争的多矩阵游戏，没有明确的沟通。特别是，我们考虑一个3人重复的游戏设置中，我们的代理被允许（轻微）操纵的基本游戏矩阵的其他代理，她支付的操纵成本，而其他代理满足弱的行为假设。首先，我们提出了一个支付矩阵的操作计划和序列的策略，我们的代理，可证明保证任何对手的效用将收敛到我们想要的值。然后，我们使用这个计划来设计获胜的政策，我们的代理。我们还证明了这些获胜的政策，可以发现在多项式运行时间。然后，我们转而证明我们的框架在几个具体的合作竞争的多矩阵游戏的效率，并证明，所需的操纵成本获胜是有界的小预算。例如，在社交距离游戏中，柠檬水摊合作竞争游戏的多矩阵版本，我们展示了每轮操作成本无限小的策略，以及可证明的保证，使用此策略可以使我们的代理长期获胜。请注意，我们的发现也可以简单地扩展到$n$ -玩家游戏设置（使用$n > 3$）。
2022-03-10 cs.GT cs.MA
Efficient Equilibria in Polymatrix Coordination Games
我们考虑具有个人偏好的多矩阵协调博弈，其中每个玩家对应于图中的一个节点，该节点与每个邻居玩一个具有非负对称收益的单独双矩阵博弈。本文研究了这类对策的$α$ -近似$k$ -均衡，即，最多没有一组$k$参与者可以偏离的结果，使得每个成员将其收益增加至少一个因子$α$。我们证明了对于$α\ge 2$这些游戏有有限的联盟改善属性（因此$α$ -近似$k$ -平衡存在），而对于$α< 2$这个属性不成立。此外，我们推导出一个几乎紧界的$2α(n-1)/(k-1)$的价格无政府状态，其中$n$是玩家的数量，特别是，它的规模从无界的纯纳什均衡（$k = 1)$到$2α$的强均衡（$k = n$）。我们还解决了与这些均衡的验证和存在性有关的几个问题的复杂性。最后，我们研究自然的手段，以减少纳什均衡的无效率。最有希望的是，我们表明，通过固定的$k$球员的策略，无政府状态的价格可以降低到$n/k$（这个界限是紧的）。
2015-04-28 cs.GT
The Complexity of Two-Team Polymatrix Games with Independent Adversaries
University of Oxford（牛津大学）；Oracle（甲骨文公司）；University of Southern Denmark（南丹麦大学）
研究两队多项式矩阵游戏在独立对手情况下的纳什均衡计算复杂性，证明其CLS难，并提出一种具有1/ε²时间复杂度的近似算法。
2026-04-10 cs.GT
Complexity of Efficient Outcomes in Binary-Action Polymatrix Games with Implications for Coordination Problems
本文研究二元行动多矩阵博弈中协调问题的经济高效解，引入最大加权有向图划分问题，证明纯协调博弈中福利与势能最大化可高效求解，反协调博弈中为NP难，且福利最大化纳什均衡即使在简单纯协调博弈中也NP难。
2023-05-11 cs.CC cs.DM cs.DS
Near-Optimal Last-iterate Convergence of Policy Optimization in Zero-sum Polymatrix Markov games
针对有限时域多人零和多矩阵 Markov 博弈，提出 ER-OMWU 单循环策略优化算法，以近最优的 $\ ilde{O}(1/ε)$ 最后迭代复杂度求得 $ε$-近似 Nash 均衡。
2023-08-16 cs.GT
Differentially Private Equilibrium Finding in Polymatrix Games
研究在多项矩阵博弈中满足差分隐私约束的均衡查找问题，证明在玩家数量趋于无穷时，无法同时获得高精度均衡和低隐私预算，提出一种新的分布式算法以实现同时消失的纳什差距和隐私预算。
2026-03-18 cs.AI cs.CR cs.GT
Finite-Sample Guarantees for Learning Dynamics in Zero-Sum Polymatrix Games
研究了零和多矩阵博弈在完全信息和最小信息设定下的最佳响应型学习动态，提出双时间尺度动态结合平滑最佳响应与TD-learning，并证明了在无额外探索下收敛至$ε$-Nash均衡的多项式时间有限样本保证。
2025-08-12 cs.GT math.OC stat.ML
FPTAS for Mixed-Strategy Nash Equilibria in Tree Graphical Games and Their Generalizations
我们提供了第一个完全多项式时间近似方案（FPTAS）计算近似的混合策略纳什均衡在树结构的图形多超矩阵游戏（GMhGs）。GMhG是正规形式博弈、图形博弈、图形多矩阵博弈和超图博弈的推广。在图形多矩阵博弈中计算精确的混合策略纳什均衡是PPAD完全的，因此通常被认为是棘手的。相比之下，据我们所知，我们是第一个建立一个FPTAS树多矩阵游戏以及树图形游戏时，行动的数量是有界的常数。作为推论，我们给出了一个行动数以局中人数的对数为界的拟多项式时间近似方案（quasi-PTAS）。
2017-02-06 cs.GT
Guarantees for Self-Play in Multiplayer Games via Polymatrix Decomposability
University of Alberta（阿尔伯塔大学）；Amii（阿尔伯塔机器智能研究所）
本文研究多人博弈中自我博弈的性能保证问题，提出在满足常和多矩阵可分解性和子博弈稳定性条件的博弈中，无外部遗憾自我博弈算法可产生有界脆弱性策略，并通过Leduc扑克实验验证。
2023-11-29 cs.AI cs.GT cs.LG
Zero-sum Polymatrix Markov Games: Equilibrium Collapse and Efficient Computation of Nash Equilibria
本文针对零和多人矩阵马尔可夫博弈，通过证明粗相关均衡坍缩为纳什均衡，实现了ε-近似纳什均衡的高效计算。
2023-05-29 cs.GT cs.MA cs.SI
Hamiltonian of polymatrix zero-sum games
AI Lab, CyberAgent, Shibuya, Tokyo 150-0002, Japan（CyberAgent 东京实验室）；RCIES, Soken University, Hayama, Kanagawa 240-0193, Japan（Soken大学RCIES）
本文提出通过哈密顿动态建模多项矩阵零和博弈，揭示其内在对称性和守恒量，并引入耗散FTRL动态以收敛至纳什均衡。
2025-12-12 cs.GT cs.LG cs.MA
Approximating Nash Equilibrium in Random Graphical Games
Massachusetts Institute of Technology（麻省理工学院）
计算多智能体博弈中的纳什均衡是博弈论和计算机科学之间的一个长期挑战。众所周知，N个参与人和k个策略的一般范式博弈需要指数空间来简单地写下。这种多智能体的诅咒促进了对简洁游戏的研究，这些游戏可以有效地写下来。一个简洁游戏的典型例子是图形游戏，它将玩家建模为图中的节点，只与他们的邻居相互作用，直接类比于马尔可夫随机场。图形游戏已经在无线、金融和社交网络中得到应用。然而，计算图形游戏的纳什均衡已被证明具有挑战性。即使对于多矩阵博弈，一个代理人的收益可以写为与代理人的邻居相互作用的收益之和的模型，它已被证明，计算一个近似的纳什均衡是PPAD很难为小于一个常数。这项工作的重点是通过考虑平均情况图模型，即随机图来规避这种计算难度。本文给出了一个拟多项式时间近似方案（QPTAS），用于计算边密度大于poly（k，1/n，ln（N））$的随机图上的多项式矩阵对策的高概率近似纳什均衡.此外，在相同的运行时间内，我们可以计算出一个ε-近似的纳什均衡，该均衡ε-近似于博弈中任何纳什均衡的最大社会福利。我们的主要技术创新是“加速舍入”的一个新的层次凸计划的纳什均衡问题。我们的加速舍入也产生了更快的算法Max-2CSP在同一个家庭的随机图，这可能是独立的利益。
2021-12-07 cs.DS cs.GT cs.LG
Asynchronous Gradient Play in Zero-Sum Multi-agent Games
Peking University（北京大学）；Carnegie Mellon University（卡内基梅隆大学）
近年来，在竞争性多智能体博弈中通过梯度博弈寻找均衡吸引了越来越多的关注，重点是设计有效的策略，其中智能体以分散和对称的方式运行，并保证收敛。虽然在理解零和两人矩阵游戏方面已经做出了重大努力，但零和多智能体游戏的性能仍然没有得到充分的探索，特别是在存在延迟反馈的情况下，这使得梯度游戏的可扩展性和弹性受到质疑。在本文中，我们取得了进展，通过研究异步梯度播放零和多矩阵对策下的延迟反馈。我们首先建立了熵正则化的乐观乘性权重更新（OMWU）方法的最后一步线性收敛到量子响应平衡（QRE），有限理性下的解决方案的概念，在没有延迟。虽然在温和的统计假设下，即使反馈被随机延迟，线性收敛也继续保持，但由于学习率的可容忍范围较小，它以明显较慢的速度收敛。此外，我们证明了熵正则化OMWU -通过采用两个时间尺度的学习率在延迟感知的方式-享有更快的最后一个收敛在固定的延迟，并继续可证明收敛，即使当延迟是任意有界的平均时间的方式。我们的方法还导致有限的时间保证近似的纳什均衡（NE），通过缓和的正则化量。据我们所知，这项工作是第一个，旨在了解异步梯度发挥在零和多矩阵游戏在广泛的延迟假设下，突出了学习率分离的作用。
2022-11-16 cs.GT cs.IT cs.LG
Ergodic Deviation-Robust Equilibrium under Mirror Descent Learning in Finite Games
提出遍历偏差鲁棒均衡（EDRE），一种针对熵镜像下降学习的动态相关均衡概念，要求极限分布为ε-纳什均衡、全程偏差增益为√T量级且为EMD不动点，并证明其在势博弈中存在性及PPAD难度。
2026-06-17 cs.GT math.DS math.OC
Finding Equilibrium in Multi-Agent Games with Payoff Uncertainty
研究了在不完全支付信息下多主体博弈中的均衡策略问题，其中支付矩阵只为参与者所知，直到某些有界不确定集。在这样的博弈中，事后均衡的特点是均衡策略对收益的不确定性具有鲁棒性。当游戏是一次性的，我们表明，在零和多矩阵游戏，事后平衡可以有效地使用线性规划计算。我们进一步扩展的概念，事后均衡随机游戏，在一个序列的阶段和过渡动态的游戏是反复播放由马尔可夫决策过程（MDP）。给出了系统存在事后马尔可夫完美均衡的充分条件。我们证明了在有界支付不确定性下，任何两人零和随机博弈的值都可以用动态规划计算到一个紧值区间。
2020-07-10 cs.DS cs.GT cs.MA
From Darwin to Poincaré and von Neumann: Recurrence and Cycles in Evolutionary and Algorithmic Game Theory
复制者动态是演化博弈论中的主要动态，是乘法权重更新的连续时间模拟。在简单的进化零和博弈中，如石头剪刀布，复制子的动态是周期性的\cite{zeeman1980population}，然而，它在更高维度的行为还没有得到很好的理解。我们提供了一个完整的零和进化博弈的行为特征。证明了当且仅当系统存在内部纳什均衡时，系统动力学具有Poincaré递归性，即，几乎所有的轨道都无限地接近它们的初始条件。如果不存在内部平衡点，则所有内部初始条件收敛到边界。具体地说，不支持任何均衡的策略在所有轨道的极限中消失。所有的递归结果进一步扩展到一类游戏，推广图形多矩阵游戏以及进化游戏，建立进化和算法博弈论之间的统一联系。我们表明，两个自由度，如在石头剪刀布，是足以证明周期性。
2019-10-03 cs.GT math.DS q-bio.PE
From Average-Iterate to Last-Iterate Convergence in Games: A Reduction and Its Applications
Yale University（耶鲁大学）；University of Southern California（南加州大学）；University of Virginia（弗吉尼亚大学）
本文提出一种黑盒归约方法，将无耦合学习动态的平均迭代转化为新动态的最终迭代，从而把最终迭代收敛归约为平均迭代收敛，并应用于乐观乘性权重更新算法，在多人零和多矩阵博弈中取得更优的最终迭代收敛速率。
2025-11-07 cs.GT cs.LG math.OC
On Last-Iterate Convergence Beyond Zero-Sum Games
大多数关于学习动态的\emph{last-iterate convergence}的现有结果仅限于两个玩家的零和游戏，并且仅适用于关于玩家遵循什么动态的严格假设。在本文中，我们提供了新的结果和技术，适用于更广泛的家庭的游戏和学习动态。首先，我们使用基于后悔的分析表明，在一类游戏，包括常和多矩阵和战略零和游戏，动态，如\emph{optimistic mirror descent (OMD)}有\emph{bounded second-order path lengths}，一个属性，即使玩家采用不同的算法和预测机制。这使我们能够获得$O(1/\sqrt{T})$率和最佳的$O(1)$后悔界限。我们的分析还揭示了一个令人惊讶的性质：OMD要么达到任意接近纳什均衡，或者它在效率上优于\emph{robust price of anarchy}。此外，对于潜在的游戏，我们建立了收敛到$ε$ -均衡后，$O(1/ε^2)$迭代镜像下降下的一个广泛的一类正则化，以及最佳的$O(1)$遗憾界的OMD变种。我们的框架还扩展到近潜在的游戏，并统一了已知的分析，分布式学习在费舍尔的市场模型。最后，我们分析了\emph{optimistic gradient descent (OGD)}在一般和连续博弈中的收敛性、效率和鲁棒性。
2022-03-22 cs.GT
Exploration-Exploitation in Multi-Agent Competition: Convergence with Bounded Rationality
Singapore University of Technology and Design（新加坡科技设计大学）；University of Oxford（牛津大学）
在竞争性多智能体学习中，探索和利用之间的相互作用还远未得到很好的理解。受此启发，我们研究了平滑Q学习，这是一种典型的学习模型，它明确地捕捉了游戏奖励和探索成本之间的平衡。我们表明，Q-学习总是收敛到唯一的量子响应均衡（QRE），有限理性下的游戏的标准解概念，在加权零和多矩阵游戏与异构学习代理使用积极的探索率。补充最近的结果收敛加权潜在的游戏，我们表明，快速收敛的Q-学习在竞争环境中获得的代理的数量无关，没有任何需要的参数微调。正如我们在网络零和博弈中的实验所展示的那样，这些理论结果为竞争性多智能体环境中平衡选择的算法方法提供了必要的保证。
2021-06-24 cs.GT cs.LG cs.MA
Multi-Agent Learning in Network Zero-Sum Games is a Hamiltonian System
Singapore University of Technology and Design（新加坡科技设计大学）
零和游戏是自然的，如果非正式的，类似于封闭的物理系统，没有能源/公用事业可以进入或退出。如果我们考虑多个代理在封闭经济中相互作用的零和网络（多矩阵）游戏，这种类比可以进一步扩展。通常，（网络）零和博弈是从纳什均衡的角度来研究的。然而，这与我们通常认为封闭的物理系统的方式形成了鲜明的对比，例如，地球-月球系统永远沿着恒定能量的周期性轨道运动。我们建立了一个正式的和强大的多智能体系统和哈密顿动力学之间的联系-在物理学中描述保守系统相同的动力学。具体来说，我们表明，无论规模，或网络结构的封闭经济，即使代理使用不同的在线学习动态从标准类的跟随正规化领导人，他们产生汉密尔顿动态。这种方法概括了已知的连接到哈密顿的复制动力学的特殊情况下，在两个代理零和游戏开发的霍夫鲍尔。此外，我们的结果超越了零和设置，并提供了一种罗塞塔石碑（见表1），有助于在线优化，凸分析，博弈论和物理之间的转换结果和技术。
2019-03-05 cs.GT cs.LG cs.MA
Asymptotic Convergence and Performance of Multi-Agent Q-Learning Dynamics
在一般的$N$玩家游戏中实现多个学习代理的收敛对于开发安全可靠的机器学习（ML）算法及其在自治系统中的应用是必不可少的。然而，众所周知，在简单的两人游戏的范围之外，收敛不能被视为理所当然。为了在解决这个问题方面取得进展，我们研究了平滑Q学习的动态，平滑Q学习是一种流行的强化学习算法，它量化了学习代理探索其状态空间或利用其收益的趋势。我们给出了一个关于探索速率的充分条件，使得Q学习动态保证在任何游戏中收敛到唯一的均衡。我们将这一结果与Q-Learning以任意探索率收敛的游戏联系起来，包括加权势游戏和加权零和多矩阵游戏。最后，我们研究了Q-学习动态的性能，通过时间平均社会福利来衡量，并将其与均衡所实现的社会福利进行比较。我们提供了一个充分条件，即使动态不收敛，Q学习动态也会优于均衡。
2023-01-23 cs.AI cs.GT cs.MA
Cycles in adversarial regularized learning
Univ. Grenoble Alpes, CNRS, Inria, LIG（格勒诺布尔阿尔卑斯大学、法国国家科学研究中心、法国国家信息与自动化研究所、格勒诺布尔信息实验室）；UC Berkeley（加州大学伯克利分校）；Singapore University of Technology and Design（新加坡科技设计大学）
正则化学习是在线优化、机器学习和计算机科学的许多其他领域中的基本技术。在这些设置中出现的一个自然问题是正则化学习算法在面对彼此时的行为。我们研究这个问题的自然配方耦合正则化学习动态零和游戏。我们表明，系统的行为是庞加莱经常性的，这意味着几乎每一个轨迹重访其起点的任何（任意小）的邻域无限频繁。这种循环行为对于代理对正则化机制的选择（每个代理可以使用不同的正则化器）、代理效用的正仿射变换是鲁棒的，并且它在网络竞争的情况下也持续存在，即，零和多矩阵博弈
2017-09-08 cs.GT cs.LG
No-Regret Learning and Equilibrium Computation in Quantum Games
本文研究量子智能体在去中心化系统中采用无悔算法的动态，证明其收敛于可分离量子纳什均衡，并提出可分离量子粗略相关均衡（QCCE）作为一般多人量子博弈的解决方案，且计算可化为半定规划，同时发现不可学习的纠缠QCCE。
2024-12-02 cs.GT quant-ph
On Influence, Stable Behavior, and the Most Influential Individuals in Networks: A Game-Theoretic Approach
我们引入了一种新的方法来研究在战略环境中的影响力，其中一个人的行动取决于其他人在网络结构的方式。我们提出\emph{influence games}作为一个\emph{game-theoretic}模型的行为，一个大的，但有限的网络人口。影响力游戏允许\emph{both}积极和消极的\emph{influence factors}，允许行为选择的逆转。我们拥抱\emph{pure-strategy Nash equilibrium (PSNE)}，在非合作博弈论的一个重要的解决方案的概念，正式定义的\emph{stable outcomes}的影响力游戏，并预测潜在的结果，而不明确考虑错综复杂的动态。我们解决了一个重要的问题，在网络的影响，识别的\emph{most influential individuals}，并接近它的算法使用PSNE计算。\emph{Computationally}，我们提供（一）复杂性的各种问题的影响游戏的特征;（二）有效的算法，为几种特殊情况下和困难的情况下，和（三）近似算法，可证明的保证，识别最有影响力的个人的问题。\emph{Experimentally}，我们评估我们的方法，使用合成的影响力游戏以及几个现实世界的设置普遍感兴趣，每个对应于一个单独的分支，美国政府。\emph{Mathematically,}我们将影响力博弈与重要的博弈论模型联系…
2013-10-26 cs.GT cs.SI physics.soc-ph
Playing Games with your PET: Extending the Partial Exploration Tool to Stochastic Games
Lancaster University（兰开斯特大学）；Institute of Science and Technology Austria（奥地利科学技术研究所）
本研究推出PET 2.0版本，基于可靠值迭代统一框架新增随机博弈支持，覆盖三类目标的部分探索变体，实验证明其为随机博弈下最高效的部分探索算法，性能优于不可靠工具。
2024-05-13 cs.AI cs.GT cs.SY
Convergence in a Repeated Non-atomic Routing Game with Partial Signaling
我们研究了以下重复的非原子路由博弈。在每一轮中，自然选择一个独立同分布的状态。根据公知的分布的方式，其影响链路延迟函数。系统规划者根据公知的信令策略向参与代理提出私人路由建议，这些代理构成固定的分数。参与的智能体根据参与的智能体群体在上一轮中的累积后悔来选择服从或不服从推荐。非参与的代理选择路线根据近视最佳反应的参与代理的路由决策的校准预测。我们表明，对于并行网络，如果规划者的信号策略满足服从条件，那么，几乎可以肯定，链路流是渐近一致的贝叶斯相关均衡诱导的信号策略。
2022-07-23 cs.GT cs.SY eess.SY
Multi-Player Zero-Sum Markov Games with Networked Separable Interactions
Massachusetts Institute of Technology（麻省理工学院）；University of Maryland（马里兰大学）
研究具有网络化可分离交互的多玩家零和马尔可夫博弈，证明其均衡塌缩特性与计算复杂度，并提出基于虚拟博弈和值迭代的算法及收敛保证。
2025-07-12 cs.GT cs.LG
Partial Solvers for Generalized Parity Games
近年来，奇偶博弈在控制器综合和验证中的应用得到了广泛的研究。实际上，在多项式时间内执行的奇偶博弈的部分求解器虽然不完整，但可以解决公开可用的基准套件中的大多数博弈。在本文中，我们结合这些部分求解器与经典的递归算法的奇偶游戏由于Zielonka。我们还将部分求解器扩展到广义奇偶性游戏，即奇偶性目标结合的游戏。我们已经实现了这些算法，并评估了他们在最后一个LTL合成比赛中提出的一个大型基准。
2019-07-20 cs.GT
Determinacy and Decidability of Reachability Games with Partial Observation on Both Sides
本文证明了两局中人随机可达对策的两个确定性和可判定性结果。
2008-11-24 cs.GT
Equivalence of Games with Probabilistic Uncertainty and Partial-observation Games
我们引入游戏的概率不确定性，一个自然的控制器合成模型，其中控制器观察系统的状态，通过不精确的传感器，提供正确的信息，当前状态与一个固定的概率。也就是说，在每个步骤中，传感器返回观测状态，并且给定观测状态，在实际当前状态上存在概率分布（由于估计误差）。控制器必须根据观察到的状态（而不是它不知道的实际当前状态）做出决定。另一方面，我们假设环境可以完美地观察当前状态。我们表明，我们的模型可以减少在多项式时间标准的部分观察随机游戏，反之亦然。因此，我们建立了精确的可判定性边界的新一类游戏，并为大多数可判定的问题建立最佳的复杂性结果。
2012-07-01 cs.GT
Compact Representation of Value Function in Partially Observable Stochastic Games
求解部分可观测随机博弈的数值方法将博弈状态的不确定性建模为可能状态的概率分布。这个信念空间的维度是状态的数量。对于许多实际问题，例如在安全中，存在指数级的许多可能的状态，这导致现实世界问题的算法的可扩展性不足。为此，我们提出了一种抽象技术，通过将高维信念投影到显著较低维度的特征向量（例如，边际概率）。我们的两个主要贡献是（1）新的紧凑表示的不确定性在部分可观察的随机游戏和（2）新的算法基于这种紧凑的表示，是基于现有的国家的最先进的算法解决随机游戏的部分可观察性。实验评估证实，新算法在紧凑的表示显着增加的可扩展性相比，最先进的。
2019-03-13 cs.GT
Nash Equilibria in Symmetric Games with Partial Observation
我们研究了一个模型，代表大型多人游戏，满足强对称性。该模型由多个竞技场副本组成;每个玩家在自己的竞技场中进行游戏，并且可以部分观察其他玩家的行为。因此，该博弈具有部分信息和对称性约束，这使得纳什均衡的计算变得困难。我们展示了几个不可判定的结果，并为有界记忆策略，我们精确地描述了计算纯纳什均衡（定性目标）在这个游戏模型的复杂性。
2014-04-03 cs.GT cs.LO
The Fixed Initial Credit Problem for Partial-Observation Energy Games is Ack-complete
本文研究了具有非对称部分观测和能量目标的二人博弈。这样的游戏是在一个加权自动机上进行的，夏娃选择行动，亚当选择一个标有给定行动的过渡。夏娃试图保持权重（所采取的转换）的总和为非负，而亚当试图做相反的事情。夏娃并不知道游戏的确切状态，她只是被赋予了一个包含它的等价状态类，相反，亚当有充分的观察力。我们证明了这些游戏的固定初始信用问题是ACK完全的。
2016-11-16 cs.GT cs.LO
Approachability of Convex Sets in Games with Partial Monitoring
本文给出了部分监控对策中凸集可逼近的一个充分必要条件，即玩家不观察对手的移动，而是接收随机信号。这个条件是布莱克威尔准则在完全监控框架下的延伸，参与者至少观察他们的收益。当我们的条件满足时，我们明确地构造一个可接近性策略，该策略来自一个辅助博弈中满足某种内部一致性性质的策略。我们还提供了一个凸集的例子，即既不是（弱）-可接近的，也不是（弱）-可排除的，这种情况下，不能发生在充分监测的情况下。最后，我们应用我们的结果来描述一个$ε$ -最优策略的不知情的球员在零和重复游戏的一方不完全信息。
2011-02-22 cs.GT
Dynamic Programming for One-Sided Partially Observable Pursuit-Evasion Games
追逐-逃避场景广泛出现在机器人、安全领域和许多其他现实世界的情况中。我们专注于两个球员的追求-逃避游戏，同时移动，无限的地平线，和折扣奖励。我们假设参与者具有部分可观察性，然而，逃避者被赋予了知道追击者单位当前位置的优势。此设置对于安全域特别有意义，在这些安全域中，通常需要一个健壮的策略，旨在最大化最坏情况下的效用。我们提供了，据我们所知，第一个算法，证明收敛到一个部分可观察的追求-逃避游戏的价值与无限的地平线。我们的算法扩展了著名的价值迭代算法，利用（1）我们的游戏的价值函数只依赖于位置的追求者和他的信念，他对当前位置的逃避者，（2）这些功能是分段线性和凸的信念空间。
2016-08-04 cs.GT
Nash equilibria with partial monitoring; Computation and Lemke-Howson algorithm
在具有部分监控的两人双矩阵博弈中，所采取的行动不被观察到，只有一些消息被接收。这些游戏满足通常的双矩阵游戏的一个重要性质：只有有限数量的所需（混合）最佳答案。这在研究纳什均衡集时非常有帮助：例如，在某些情况下，它允许将其与具有完全监控的辅助博弈的均衡集相关联。在一般情况下，对Lemke-Howson算法进行了扩展，在某种一般性假设下，其输出是原博弈的纳什均衡。作为副积，我们得到了它们的数的奇性。
2013-01-12 cs.GT
The Complexity of Partial-observation Stochastic Parity Games With Finite-memory Strategies
我们考虑有限状态图上的两个局中人部分观察随机博弈，其中局中人1有部分观察，局中人2有完美观察。我们研究的获胜条件是指定为宇称目标的ω-正则条件。给定一个部分观察随机博弈和一个奇偶目标的定性分析问题是，是否存在一个策略来确保目标以概率~1（分别为1和2）满足。正概率）。这些定性分析问题是已知的不可判定的。然而，在许多应用程序的相关问题是有限记忆策略的存在，和有限记忆策略下的定性分析问题最近被证明是可判定的2 EXPTIME。我们提高了复杂性，并表明，定性分析问题的部分观察随机奇偶游戏有限记忆策略下的EXPTIME-完全的，也建立了最佳的（指数）记忆边界所需的定性分析有限记忆策略。
2014-01-14 cs.GT cs.LO
Toward a Classification of Finite Partial-Monitoring Games
部分监控博弈构成了不完美反馈的序列决策问题的数学框架：学习者重复选择一个动作，对手用一个结果回应，然后学习者遭受损失并接收反馈信号，这两者都是动作和结果的固定函数。学习者的目标是最小化他的总累积损失。我们对这些游戏的分类进展的基础上，他们的极大极小期望遗憾。也就是说，我们几乎所有的游戏有两个结果和有限数量的行动：我们表明，他们的极大极小预期遗憾是零，$\widetildeΘ(\sqrt{T})$，$Θ(T^{2/3})$，或$Θ(T)$，我们给这四类游戏一个简单而有效的可计算的分类。我们的希望是，结果可以作为一个垫脚石分类所有有限的部分监控游戏。
2011-10-11 cs.GT stat.ML
Linear Game Theory : Reduction of complexity by decomposing large games into partial games
随着游戏规模的增加，出现了计算复杂性的问题。这在现实世界的问题中尤其如此，例如在社会系统中，有大量的玩家参与游戏，复杂性问题至关重要。算法博弈论的先前研究提出了简洁的游戏，使小的描述的支付矩阵和减少的复杂性。然而，一些建议的妥协失去了一般性与严格的假设，如对称性的效用函数，不能适用于全方位的现实世界的问题，可能会提出。图形游戏是相对有前途的，在复杂性和通用性之间有很好的平衡。然而，它们假设玩家交互的给定图结构，并且不能应用于没有这种已知图的游戏。本研究提出了一种方法来识别玩家之间的交互图，并随后将游戏分解为更小的组件，通过削减弱交互来降低复杂性。首先，将参与者对效用的相互依赖性量化为参与者之间的方差-协方差矩阵。然后，通过求解特征值问题，确定局中人之间的交互图。玩家的互动被进一步分解为游戏的线性组合。这有助于找到一个一致的均衡，这是一个纳什均衡指定的分解，具有降低的计算复杂性。最后，简单的例子游戏的实验，以验证所提出的方法。
2016-09-09 cs.GT
Bridging the Gap between Partially Observable Stochastic Games and Sparse POMDP Methods
提出融合 POMDP 信念近似与信息集博弈均衡搜索的统一框架，从理论上界定近似误差并通过数值示例验证，以支持大状态空间 POSG 规划。
2024-10-28 cs.GT
A differential game on Wasserstein space. Application to weak approachability with partial monitoring
研究一些离散时间动力学的连续时间对应物现在是一种标准的和富有成效的技术，因为一些性质在两种设置中都成立。在对策论中，这通常通过考虑欧几里得空间上的微分对策来实现。这允许推断属性上的重复游戏的值的收敛，以处理各种概念的可接近性等，在本文中，我们介绍了一个具体的，但相当抽象的微分对策定义的Wasserstein空间的概率分布，我们证明了它的价值的存在。回到离散时间动力学，我们得出的结果弱可接近部分监测：我们证明，任何一组满足适当的兼容性条件是弱可接近或弱可排除。我们还得到了具有非预期策略的微分对策的值与那些用一种新的策略概念定义的微分对策的值相同，这种新的策略概念非常适合于与重复对策联系起来。
2018-11-12 cs.GT math.OC
Partial-Information Q-Learning for General Two-Player Stochastic Games
本文分析了一般二人随机对策的部分信息Nash Q-学习算法。部分信息是指玩家不知道对方玩家的策略或行动的设置。我们证明了收敛的一般2人游戏的状态和行动，我们确认，限制策略实际上是一个全信息纳什均衡的部分知情的算法。在实现中，部分信息提供了简单性，因为它避免了在每个时间步计算纳什均衡。相比之下，全信息Q学习使用Lemke-Howson算法在每个时间步计算纳什均衡，这可能是一种有效的方法，但需要几个假设来证明收敛性，如果Lemke-Howson遇到退化，可能会有运行时错误。在模拟中，我们得到的部分信息的结果是可比的全信息Q学习和虚构的发挥。
2023-02-21 cs.GT math.OC
Acquisition Games with Partial-Asymmetric Information
我们考虑一个例子的随机博弈部分，非对称和非经典信息。我们获得相关的均衡政策，使用一种新的方法，允许管理的信念更新的结构化方式。智能体只能访问部分信息更新，我们的方法是考虑最优开环控制，直到信息更新。代理不断控制他们的泊松搜索时钟的速率来获取锁，代理在其他人获得奖励之前获得所有锁。然而，代理人没有关于其他人的获取状态的信息，并且将产生与其费率过程成比例的成本。我们解决了两个代理和两个锁的情况下的问题，并证明了$N$ -代理的结果。我们发现，一对（部分）状态依赖的时间阈值政策形成一个纳什均衡。
2019-09-14 cs.GT
Mean-payoff Games with Partial Observation
均值支付博弈是开放反应系统的重要定量模型。它们被广泛研究为全观察的游戏。在本文中，我们调查的算法性能的几个子类的平均支付游戏中的球员有关于游戏状态的非对称信息。这些博弈一般是不可判定的，也不是根据经典定义确定的。我们表明，这样的游戏是决定下一个更一般的概念，赢得战略。我们还考虑了平均支付博弈，其中获胜者可以由有限周期形成博弈的获胜者确定。这就产生了几类可判定的非对称信息的平均收益博弈，它们只需要有限记忆策略，包括位置策略就足够的全观察博弈的推广。我们给出了一个指数时间算法来确定后者的赢家。
2017-10-08 cs.FL cs.GT cs.LO
Solving Zero-Sum One-Sided Partially Observable Stochastic Games
许多安全和其他现实世界的情况在本质上是动态的，可以建模为严格竞争（或零和）的动态游戏。在这些领域中，代理人执行影响环境的行动，并接收关于对手行动的情况和影响的观察结果-可能是不完美的。此外，对代理人可以执行的动作总数没有限制-也就是说，没有固定的时间范围。这些设置可以被建模为部分可观察的随机游戏（POSG）。然而，解决一般的POSG是计算上棘手的，所以我们专注于一个广泛的子类POSG称为单侧POSG。在这些博弈中，只有一个智能体具有不完全信息，而他们的对手完全知道当前的情况。我们为解决单侧POSG提供了一个完整的画面：我们（1）给出了单侧POSG及其值函数的理论分析，（2）证明了值迭代算法的一个变体在这种设置下收敛，（3）采用启发式搜索值迭代算法来求解单侧POSG，（4）描述了如何使用近似价值函数来导出博弈中的策略，（5）证明了该算法可以求解非平凡规模的单边POSG，并分析了该算法在三个不同领域（追逐-逃避、巡逻和搜索博弈）的可扩展性。
2020-10-21 cs.GT
Playing games in an uncertain world
传统的博弈论假设参与者都知道游戏规则。然而，在实践中，玩家通常不知道或仅具有关于他们正在玩的游戏的部分知识。他们也可能知道其他玩家对他们正在玩的游戏只有部分了解，他们可以尝试利用这一点。我们提出了一个新的数学公式，这样的游戏。我们使用Kripke语义，这是一种跟踪不同玩家对世界了解和不了解的方法。我们提出了这样的游戏的均衡的概念，并表明，均衡总是存在的。
2014-02-19 cs.GT
Bounded-Memory Strategies in Partial-Information Games
该研究针对部分信息随机博弈，证明了有界记忆下零和值近似的NP难度，给出了多人博弈ε-Nash均衡存在性判定及求解的复杂度上界，改进了多类特殊博弈的研究结论。
2024-05-15 cs.GT
Games with a Weak Adversary
我们考虑了具有部分观察和奇偶目标的多人图博弈。虽然决策问题的第一和第二个球员对第三个球员的联盟的三人游戏是不可判定的，我们提出了一个可判定性的结果部分观察游戏的第一和第三个球员是在一个联盟对第二个球员，因此，第二个球员是敌对的，但由于部分观察较弱。我们建立严格的复杂性界限的情况下，球员1是不太知情的球员2，即2-EXPTIME完全奇偶校验目标。对称的情况下，玩家1比玩家2更了解是更加复杂的，我们表明，已经在玩家1有完美的观察的情况下，内存的大小非小学一般是必要的可达性目标，和安全和可达性目标的问题是可判定的。我们的研究结果与部分观察随机游戏，我们得到新的复杂性结果有紧密的联系。
2014-04-22 cs.GT cs.LO
Partially Observable Stochastic Games with Neural Perception Mechanisms
University of Oxford（牛津大学）；University of Glasgow（格拉斯哥大学）
本文提出神经符号部分可观测随机博弈模型及单边NS-HSVI求解方法，利用神经网络原像分析和粒子信念表示，验证了其在行人-车辆与追逃场景中的实用性。
2024-06-30 cs.GT cs.LG
Partial-Observation Stochastic Games: How to Win when Belief Fails
在图上部分观察的两人有限状态随机博弈中，在图的每个状态中，参与者同时选择一个行动，他们的联合行动决定了后继状态的概率分布。我们考虑可达性目标，其中参与人1试图确保目标状态几乎肯定或积极地被访问。在信息的基础上，游戏可以是单边的，即（a）参与者1或（b）参与者2具有部分观察，或者是双边的，即两个参与者都具有部分观察。在随机化的基础上，（a）玩家可能不被允许使用随机化（纯策略），或者（b）可以选择概率分布，但实际的随机选择是不可见的（行动不可见），或者（c）可以使用完全随机化。我们对纯策略的研究结果如下：（1）对于参与人2完全观察的单边博弈，我们证明了基于信念的策略是不充分的，并给出了几乎肯定获胜策略和正获胜策略的记忆指数上界;我们证明了决定参与人1的几乎肯定和积极获胜策略的存在性的问题是EXPTIME-完整的和目前的符号算法，避免显式指数建设。（2）对于参与人1完全观察的单边博弈，我们证明了非基本记忆对于几乎肯定获胜策略和积极获胜策略都是必要的和充分的。(3)We表明，对于双方的情况下，有限的记忆策略是足够的积极和几乎肯定的胜利。我们建立了几乎肯定获胜问题的纯策略与随机策略的行动不可见的等价性。我们的等价结果表现出严重的缺陷，在以前的结果在文献中：我们显示了一个非基本的记忆下界几乎肯定获胜，而指数上界声称。
2011-07-11 cs.GT
