Strategy Recovery for Stochastic Mean Payoff Games
Marcello Mamino
我们证明，找到最佳的位置策略的随机平均支付游戏时，每个状态的游戏是已知的，在一般情况下，是很难解决这样的游戏球场。这回答了Daniel Andersson和Peter Bro Miltersen提出的问题。
We prove that to find optimal positional strategies for stochastic mean payoff games when the value of every state of the game is known, in general, is as hard as solving such games tout court. This answers a question posed by Daniel Andersson and Peter Bro Miltersen.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
继续探索
Blackwell-Optimal Strategies in Priority Mean-Payoff Games
我们研究完全信息随机平均支付游戏-一类游戏包含作为特殊子类通常的平均支付游戏和奇偶游戏。我们发现，确定性的无记忆策略，是最佳的状态依赖的折扣因子接近1的折扣游戏是最佳的优先平均支付游戏建立这两个类之间的强有力的联系。
On the computational complexity of solving stochastic mean-payoff games
我们考虑了一些著名的两个玩家，零和，完美的信息游戏，可以被视为特殊情况下的Shapley随机游戏的家庭。我们证明了以下任务是多项式时间等价的：-解决简单的随机游戏。- 求解报酬和概率均为一元的随机平均支付对策。- 解决随机平均支付游戏与奖励和概率在二进制给定。
The Complexity of SPEs in Mean-payoff Games
我们建立了平均支付博弈的子博弈完美均衡（SPE）阈值问题是NP-完全的。虽然SPE阈值问题最近被证明是可判定的（在双指数时间内）和NP困难的，但其确切的最坏情况复杂度是开放的。
To Reach or not to Reach? Efficient Algorithms for Total-Payoff Games
定量博弈是在有向加权图上进行的两人零和博弈。总收益博弈（可以看作是对研究得很好的平均收益博弈的改进）是一种变体，其中一次博弈的收益计算为权重之和。我们的目标是描述第一个伪多项式时间算法的总支付游戏中存在的任意权重。它由价值迭代范式的一个重要应用组成。事实上，它需要研究，作为一个里程碑，这些游戏的细化，称为最小成本可达性游戏，在那里我们添加一个可达性目标的球员之一。对于这些游戏，我们给出了一个有效的值迭代算法来计算值和最优策略（当它们存在时），该算法在伪多项式时间内运行。我们还提出了一个可能加快在这两种情况下的计算的算法。
A Payoff-Based Policy Gradient Method in Stochastic Games with Long-Run Average Payoffs
本文针对长期平均收益随机博弈学习算法匮乏的问题，通过定义有界优势函数推导收益梯度性质，结合正则化罗宾斯-门罗方法构建老虎机学习算法，证明其在满足稳定性条件下以概率1收敛到纳什均衡。
The Complexity of Multi-Mean-Payoff and Multi-Energy Games
在平均收益博弈中，主角的目标是确保一个无限序列的数字权重的极限平均值是非负的。在能量博弈中，目标是确保权重的运行和总是非负的。多均值支付和多能量博弈用元组代替个体权重，极限平均（分别为）每个坐标的运行和）必须是（相应地，保持）非负的。这些游戏有应用程序的资源有限的过程与多个资源的合成。我们证明了多能量博弈的有限记忆决定性，并给出了有限记忆策略下多平均支付和多能量博弈的相互约简。我们还提高了计算复杂性解决这两类游戏的有限记忆策略：虽然以前最好的已知上限是EXPSPACE，没有下限是已知的，我们给出了一个最佳的coNP-完全的界限。对于无记忆策略，我们证明了决定主角的获胜策略的存在性的问题是NP完全的。最后给出了具有无限记忆策略的多均值支付对策的第一解。我们发现，多平均支付游戏的平均支付-sup目标可以决定在NP和coNP，而多平均支付游戏的平均支付-inf目标是coNP-完全的。
Evolutionary Stable Strategies in Games with Fuzzy Payoffs
进化稳定策略是进化博弈论中的一个重要概念。ESS为生物、社会和经济行为提供了进化稳定性判据。在本文中，我们提出了一种新的方法来评估ESS对称两人游戏模糊支付。特别是，每一个策略都被分配了一个模糊隶属度，描述了在不确定性存在的情况下，它是一个ESS的程度。ESS的模糊集刻画了ESS的本质。所提出的方法避免了博弈中去模糊化方法所发生的任何信息丢失，并通过寻找ESS的所有步骤处理了支付的不确定性。我们使用满意度函数来比较模糊支付，并采用模糊决策规则得到了ESS模糊集的隶属函数，证明了模糊ESS与模糊决策规则的关系纳什均衡。数值结果表明，所提出的方法是一个适当的推广ESS模糊支付游戏。
Energy mean-payoff games
本文研究了一人和二人能量平均支付博弈。能量平均支付博弈是在有限图上进行的无限持续时间的博弈，图的边由二维权重向量标记。第一个参与者（主角）的目标是满足第一维度上的能量目标和第二维度上的平均收益目标。我们表明，第一个球员的最佳策略可能需要无限的记忆，而第二个球员（拮抗剂）的最佳策略不需要记忆。在一个玩家的情况下（只有第一个玩家有选择），决定谁是赢家的问题可以在多项式时间内解决，而对于两个玩家的情况下，我们展示了合作NP成员，我们给出了有效的建设无限记忆的最优策略的主角。
Pure Saddle Points and Symmetric Relative Payoff Games
众所周知，石头剪刀布游戏没有纯鞍点。我们证明了这一点更普遍地成立：对称的两人零和博弈有一个纯鞍点当且仅当它不是一个广义的石头剪刀布博弈。此外，我们证明了每个有限对称拟凹二人零和对策都有一个纯鞍点。进一步提供了存在的充分条件。我们将我们的理论应用到丰富的例子中，注意到对称的两个玩家零和游戏类与对称的两个玩家游戏相关的相对收益游戏类相吻合。这使我们能够得到有限种群进化稳定策略的存在性结果。
Robust Equilibria in Concurrent Games
研究了具有平均收益目标的多人并发博弈中的鲁棒均衡问题。一个$(k,t)$ -鲁棒均衡是一个策略配置文件，使得没有一个大小为$k$的联盟可以通过偏离来提高其成员的收益，也没有一个大小为$t$的联盟可以降低其他参与者的收益。我们感兴趣的是纯均衡，即可以使用非随机策略实现的解决方案。我们建议从多人游戏到两人游戏的一般转换，使得第一个游戏中的纯均衡对应于第二个游戏中的获胜策略。然后，我们设计从这个转换，一个算法，计算均衡的平均支付游戏。平均支付博弈中的鲁棒均衡归结为多维平均支付博弈中的获胜策略，其阈值满足一定的约束条件。然后，我们表明，存在这样的平衡可以决定在多项式空间，决策问题是PSPACE-完全的。
Navigating the Topology of 2x2 Games: An Introductory Note on Payoff Families, Normalization, and Natural Order
相邻收益互换的罗宾逊-戈福斯拓扑根据重要的性质，包括对称性、优势策略和纳什均衡的数量以及利益的一致性，优雅地安排了2x2有序博弈。基于纳什均衡添加支付族说明了这种顺序的另一个方面，并有助于拓扑的可视化。通过半交换建立关系不仅在拓扑结构中创建了更简单的游戏，而且相反，打破关系显示了偏好的演变，为具有关系的2x2游戏的拓扑结构产生了自然的排序。序数博弈不仅表示具有实值的博弈的等价类，而且表示这些博弈的规范化版本的离散等价。拓扑结构提供的坐标，可用于识别相关的游戏在语义网本体和促进基于代理的模拟和其他研究的比较分析博弈论，以及图表之间的关系和潜在的移动游戏作为一种工具，机构的分析和设计。
Smart Transformations: The Evolution of Choice Principles
进化博弈论经典地研究了在单个博弈中哪些行为模式在进化上是成功的。最近，一些贡献研究了偏好的进化：在一个单一的游戏中，对游戏收益的主观概念化会导致进化上成功的行为。在这里，我们想进一步扩展现有的方法，问：支付函数的主观概念化的一般模式在一类游戏中是进化上成功的。换句话说，我们将研究“元博弈”中收益转换的进化竞争，通过对单个博弈的收益进行平均来获得。专注于一个开始的类的2x2对称游戏，我们表明，后悔最小化可以优于收益最大化，如果代理诉诸于安全策略的情况下，激进的不确定性。
Finding Approximate Nash Equilibria of Bimatrix Games via Payoff Queries
我们研究了在双矩阵博弈中寻找近似均衡的确定性和随机查询复杂性。我们发现，确定性查询的复杂性，找到一个$ε$ -纳什均衡时，$ε< \frac{1}{2}$是$Ω(k^2)$，即使在零-一常数和游戏。结合以前的结果\cite{FGGS13}，这提供了一个完整的表征近似纳什均衡的确定性查询复杂性。我们还研究了随机查询算法。我们给出了一个使用$O(\frac{k \cdot \log k}{ε^2})$支付查询寻找$(\frac{3 - \sqrt{5}}{2} + ε)$ - Nash均衡的随机化算法，这表明随机化可以打破确定性算法的$\frac{1}{2}$障碍。对于有良好支持的纳什均衡（WSNE），我们首先给出了一个使用$O(\frac{k \cdot \log k}{ε^4})$支付查询的零和双矩阵博弈的$ε$-WSNE的随机化算法，然后利用这个算法得到了一个使用$O(\frac{k \cdot \log k}{ε^4})$支付查询的一般双矩阵博弈的$(\frac{2}{3} + ε)$的随机化算法.最后，我们开始研究的下界对随机算法的背景下，双矩阵游戏，随机算法需要$Ω(k^2)$支付查询，以找到一个$\frac{1}{6k}$ -纳什均衡，即使在零-一常数和游戏。特别是，这排除了查询有效的随机算法寻找精确的纳什均衡。
Incentive Stackelberg Mean-payoff Games
我们引入并研究了多人平均支付博弈的激励均衡。激励均衡概括了研究得很好的解决方案概念，如纳什均衡和领导者均衡（也称为斯塔克伯格均衡）。回想一下，如果没有参与人可以通过单方面改变策略来提高收益，那么策略剖面就是纳什均衡。在激励和领导者均衡的设定中，有一个被称为领导者的杰出参与者，她可以将策略分配给所有其他参与者，称为她的追随者。如果除了领导者之外，没有参与者可以通过单方面改变策略来提高收益，那么策略剖面就是领导者策略剖面，领导者均衡是领导者收益最大的领导者策略剖面。在所提出的激励均衡的情况下，领导者还可以通过将部分收益转移给追随者来影响追随者的行为。激励她的追随者的能力提供了更多的自由，在选择策略配置文件的领导者，我们表明，这确实可以提高在这样的游戏中的领导者的回报。本文的主要基本结果是平均支付博弈中激励均衡的存在性。我们进一步证明了与构建激励均衡相关的决策问题是NP完全的。在一个积极的注意，我们表明，当玩家的数量是固定的，问题的复杂性属于同一类的两个玩家的平均收益游戏。我们还提出了一个实现所提出的算法，并讨论了实验结果，证明了中型游戏的分析的可行性。
Smooth Fictitious Play in Stochastic Games with Perturbed Payoffs and Unknown Transitions
最近扩展到动态游戏的著名的虚拟游戏学习过程中的静态游戏被证明是全球收敛到固定的纳什均衡在两个重要的动态游戏类（零和相同的兴趣折扣随机游戏）。然而，这些去中心化算法需要参与者确切地知道模型（每个阶段的转移概率及其收益）。为了克服这些强假设，我们的论文引入了（Leslie 2020; Baudin 2022）中系统的正则化，以构建一系列新的无模型分散学习算法（参与者不知道转换，并且他们的收益在每个阶段都受到干扰）。我们的程序可以被看作是扩展到随机游戏的经典光滑虚拟播放学习过程中的静态游戏（其中玩家的最佳反应是正规化的，由于他们的支付函数的光滑严格凹扰动）。我们证明了我们的家庭的程序的收敛到固定的正则化纳什均衡零和和相同的利率折扣随机游戏。证明使用连续光滑最佳响应动力学对应物和随机逼近方法。当只有一个玩家时，我们的问题是强化学习的一个实例，我们的程序被证明是全局收敛到正则化MDP的最优平稳策略。从这个意义上说，它们可以被视为众所周知的Q学习过程的替代方案。
Subgame-perfect Equilibria in Mean-payoff Games
在本文中，我们提供了一个有效的刻画所有的子博弈完美均衡在无限持续时间的游戏有限图的平均支付目标。为此，我们引入了需求的概念和协商功能的概念。我们建立的SPE所支持的播放正是那些与谈判功能的最小不动点相一致。最后，我们表明，协商功能是分段线性的，可以使用线性代数工具箱进行分析。作为推论，我们证明了SPE约束存在问题的可判定性，其地位在文献中是开放的。
The Value 1 Problem Under Finite-memory Strategies for Concurrent Mean-payoff Games
我们考虑并发的平均支付游戏，一个非常好的研究类的两个玩家（玩家1对玩家2）零和游戏的有限状态图，其中每个过渡被分配一个奖励之间的0和1，和支付功能是长期的平均奖励。这个值是参与人1在参与人2的所有策略下所能保证的最大预期收益。本文研究了在有限记忆策略下参与人1的值为1的状态集的计算问题，主要结果如下：（1）给出了一个多项式时间算法;（2）证明了只要存在有限记忆策略，就存在一个完全不需要记忆的平稳策略;以及（3）我们给出了平稳策略耐心的最优界（它是双指数的）（其中一个分布的耐心是最小正概率的倒数，并且表示平稳策略的复杂性度量）。
Pure Bayesian Nash equilibrium for Bayesian games with multidimensional vector Types and linear payoffs
研究具有多维向量类型和线性收益的贝叶斯博弈的纯贝叶斯纳什均衡，引入阈值策略证明均衡存在性，并针对连续与离散先验提出求解算法。
A Pseudo-Polynomial Algorithm for Mean Payoff Stochastic Games with Perfect Information and Few Random Positions
我们考虑两个人零和随机平均支付博弈的完美信息，或BWR-游戏，给出了一个有向图$G = (V, E)$，局部奖励$r: E \to \ZZ$，和三种类型的位置：黑色$V_B$，白色$V_W$，和随机$V_R$形成一个分区的$V$。这是一个长期存在的公开问题是否存在多项式时间算法的BWR游戏，或没有，即使当$|V_R|=0$。事实上，BWR-对策的伪多项式算法已经暗示了它们的多项式可解性。在本文中，我们证明了具有常数随机位置的BWR-对策可以在伪多项式时间内求解。更准确地说，在任何具有$|V_R|=O(1)$的BWR博弈中，一致最优纯平稳策略的鞍点可以在$|V_W|+|V_B|$的时间多项式中找到，最大绝对局部奖励和转移概率的公分母。
Transformations of normal form games by preplay offers for payments among players
我们考虑转换的范式游戏绑定preplay提供的球员支付效用的其他球员的条件下，他们玩指定的报价策略。从博弈论的角度来看，这种预先出价的效果是通过在玩家之间转移收益来改变博弈的收益矩阵。在这里，我们分析和完整的特点的支付矩阵的范式游戏集的preplay报价的可能的转换。
Learning Equilibria of Games via Payoff Queries
最近的实验文献研究了经验博弈理论分析，其中我们有一个游戏的部分知识，包括观察的一个子集的纯策略配置文件和他们的相关回报的球员。其目的是根据这些观察结果找到博弈的精确或近似纳什均衡。通常假设策略简档可以通过算法以在线方式选择。我们研究了相应的计算学习模型，以及各类博弈的学习均衡的查询复杂性。我们给双矩阵和图形游戏的基本结果。我们的重点是对称网络拥塞游戏。对于有向无环网络，我们可以学习成本函数（从而计算均衡），同时只查询一小部分纯策略配置文件。对于平行链路的特殊情况，我们有一个更强的结果，可以确定一个均衡，而只学习一小部分的成本值。
Game theory analysis when playing the wrong game
针对经典博弈论需完全知晓对手目标的局限，研究玩家误解对手目标的严格序数2×2双矩阵博弈，给出问题数学表述并枚举分析全部78个此类博弈，填补了相关研究空白。
Positionality of mean-payoff games on infinite graphs
该研究通过构造良基单调通用图，证明了无限图上平均支付博弈具有位置性，完善了相关博弈理论基础。
A symmetric recursive algorithm for mean-payoff games
本文提出了一种确定性对称递归算法，用于高效求解均 payoff 游戏问题。
Fast Payoff Matrix Sparsification Techniques for Structured Extensive-Form Games
许多优化算法的实际可扩展性的大型扩展形式的游戏往往是有限的游戏的巨大的支付矩阵。为了改善这个问题，Zhang和Sandholm（2020）最近提出了一种稀疏化技术，将收益矩阵$\mathbf{A}$分解为一个稀疏对象$\mathbf{A} = \hat{\mathbf{A}} + \mathbf{U}\mathbf{V}^\top$，其中$\hat{\mathbf{A}}$，$\mathbf{U}$和$\mathbf{V}$的非零的总组合数量明显较小。这种分解可以在许多优化算法中代替原始的支付矩阵，例如边界点和二阶方法，从而增加了可以处理的游戏的大小。他们的技术显着稀疏扑克（端）游戏，标准基准用于计算博弈论，人工智能，更广泛。我们表明，在扑克游戏中的存在非常稀疏的因子分解可以绑定到其特定的\emph{Kronecker-product}结构。我们阐明了这种结构是如何产生的，并介绍了这种结构和稀疏化之间的联系。通过利用这种结构，我们给出了两种计算扑克游戏（以及具有类似结构的任何其他游戏）的强稀疏化的方法，i）计算速度快了几个数量级，ii）数值更稳定，iii）产生的非零值数量比现有技术少得多。我们的技术使-第一次-高精度的纳什均衡和策略的有效计算受到限制的数量允许的随机化。此外，他们显着加快并行一阶博弈求解算法，我们展示了最先进的GPU上的速度。
Determinacy in Stochastic Games with Unbounded Payoff Functions
我们考虑无限状态回合制随机游戏的两个球员，盒子和钻石，谁的目标是最大化和最小化的预期总回报积累沿运行，分别。由于总的累积报酬是无界的，这类博弈的决定性不能直接从马丁关于布莱克威尔博弈的决定性结果中推导出来。然而，我们表明，这些游戏都是确定的无限制（即，历史相关和随机）策略和确定性策略，并且均衡值相同。此外，我们表明，这些游戏一般不确定无记忆策略。然后，我们考虑钻石分支游戏的一个子类，并表明它们是确定的所有考虑的策略类型，其中的均衡值总是相同的。我们还研究了两个玩家的（非）最优策略的存在性和类型。
Equilibria in Repeated Games with Countably Many Players and Tail-Measurable Payoffs
我们证明了，每一个重复的游戏与可数多个球员，有限的行动集，和尾部可测量的回报承认一个$ε$ -均衡，每$ε> 0$。
Subgame-perfect Equilibria in Mean-payoff Games (journal version)
本文研究有限图上平均报酬无限时长博弈，通过引入需求与协商函数概念，刻画了所有子博弈完美均衡，并据此证明了此前悬而未决的SPE阈值问题是可判定的。
Boosting Perturbed Gradient Ascent for Last-Iterate Convergence in Games
本文提出一种收益扰动技术，通过引入强凸性改进梯度上升算法，在含加性噪声的单调博弈中实现更快的末次迭代收敛。
The GKK Algorithm is the Fastest over Simple Mean-Payoff Games
研究了Gurvich，Khachyian和Karzanov算法（GKK算法）在不含权为零的简单圈的平均支付博弈上的运行情况。我们提出了一个新的对称分析，降低$O(n^2 N)$上界Pisaruk的迭代次数下降到$N + Ep + Em$，这是小于$nN$，其中$n$是顶点的数量，$N$是最大的绝对值的权重，和$Ep$和$Em$分别是最大的有限能量和双能量值的游戏。由于每次迭代都是在$O(m)$中计算的，因此通过考虑游戏图的结构，这改进了Brim、Chaloupka、Doyen、Gentilini和Raskin的最新伪多项式$O(mnN)$运行时界限。我们补充我们的结果表明，Dorfman，Kaplan和Zwick的分析也适用于GKK算法，因此也受到最先进的组合运行时界的$O(m 2^{n/2})$。
Measuring Permissiveness in Parity Games: Mean-Payoff Parity Games Revisited
我们研究奇偶博弈中的不确定性策略，目的是计算一个最宽容的获胜策略。在早期的工作之后，我们根据策略阻止的转换的平均数量/权重来衡量宽容度。使用翻译成平均支付平价游戏，我们证明了问题的计算（的许可）一个最宽容的获胜策略是在NP-NP。在此过程中，我们提供了一个新的研究平均收益平价游戏。特别地，我们证明了对手有一个无记忆的最优策略，并给出了一个新的算法来解决这些游戏。
Learning in Games with Quantized Payoff Observations
本文研究了反馈量化对多智能体学习的影响。特别是，我们分析了著名的“遵循正则化领导者”（FTRL）类算法的均衡收敛特性时，玩家只能观察到量化（可能是嘈杂的）版本的收益。在这个信息约束的设置，我们表明，粗量化触发FTRL计划的收敛行为的定性转变。具体来说，如果量化误差低于阈值（其仅取决于基础博弈，而不取决于进入过程的不确定性水平或所研究的特定FTRL变体），则（i）FTRL以任意高的概率被吸引到博弈的严格纳什均衡;以及（ii）算法的渐近收敛速率与非量化情况下保持相同。否则，对于更大的量化水平，这些收敛特性完全失去了：参与者可能无法学习超出其初始状态的任何东西，即使他们的收益向量有完整的信息。这与连续优化问题中量化的影响形成对比，在连续优化问题中，所获得的解决方案的质量随着量化级别而平滑地降级。
Stochastic Window Mean-Payoff Games
本文研究随机双人窗口平均收益博弈，通过归约为非随机博弈给出两种窗口变体下满足不同概率保证的策略算法、复杂度与记忆界。
Quantitative games with interval objectives
传统的定量博弈，如均值-收益博弈和折扣和博弈，有两个参与者--一个试图最大化收益，另一个试图最小化收益。相关的决策问题，“Eve（最大化者）能获得正收益吗？“可以被认为是一个玩家试图在间隔$(0,\infty)$中获得回报。在本文中，我们考虑更一般的问题，确定是否一个球员可以获得支付在一个有限的联盟的任意区间的各种支付功能（liminf，平均支付，折扣和，总和）。特别是，这包括有趣的精确值问题，“Eve能否获得精确的回报（例如）0吗？"
Constructive proof of the existence of Nash Equilibrium in a finite strategic game with sequentially locally non-constant payoff functions by Sperner's lemma
利用Sperner引理对单纯形的修改划分，我们将建设性地证明在一个有限的战略博弈与顺序局部非常数支付函数的纳什均衡的存在性。我们遵循毕肖普式的构造性数学。
Hidden Stochastic Games and Limit Equilibrium Payoffs
本文考虑了具有完全可观察行为的二人随机对策，研究了当折扣因子趋于1时，均衡支付集的极限。在通常的设置中，当前的状态观察的球员，我们表明，一组固定的均衡收益总是收敛，并提供了一个简单的例子，一组均衡收益没有限制。然后，我们介绍了更一般的隐藏随机对策模型，其中的球员公开接收不完美的信号在当前状态。在这种设置中，我们提出了一个例子，不仅极限集的均衡收益不存在，但也没有收敛选择的均衡收益。第二个例子在许多方面都是稳健的，特别是对收益的扰动和相关性或通信设备的引入。
Differentially Private Games via Payoff Perturbation
在本文中，我们研究了网络游戏中的球员参与信息聚合过程受差分隐私要求球员的支付功能。我们提出了一个拉普拉斯线性二次函数扰动机制，该机制用线性二次函数扰动参与者的支付函数，其系数由截断拉普拉斯分布产生。对于单调的游戏，我们表明，LLQFP机制保持的扰动支付函数和产生一个扰动NE的距离从原来的NE是有界的和可调的拉普拉斯参数调整的PURPOSE属性。我们专注于线性二次游戏，这是一个基本类型的网络游戏，玩家的收益是线性二次函数，并推导出明确的条件如何LLQFP机制，确保差分隐私与给定的隐私预算。最后，数值例子验证了LLQFP机制的优点。
Attainability in Repeated Games with Vector Payoffs
我们在两人重复博弈中引入了可达收益集的概念。如果参与人1能够确保有一个有限的时间范围$T$，使得在时间$T$之后，集合和累积收益之间的距离任意小，则称一组支付向量为{ \em reachable}，而不管参与人2使用什么策略。本文主要研究可达集由一个支付向量组成的情形。在这种情况下，向量被称为可达向量。我们研究了可达向量集的性质，并刻画了特定向量何时可达以及每个向量何时可达。
Smoothed analysis of deterministic discounted and mean-payoff games
针对确定性双人折扣与平均收益博弈，提出一种在平滑分析意义下多项式时间的策略迭代算法，并定义条件数，证实了Boros等人的猜想。
Mean-payoff Games with Partial Observation
均值支付博弈是开放反应系统的重要定量模型。它们被广泛研究为全观察的游戏。在本文中，我们调查的算法性能的几个子类的平均支付游戏中的球员有关于游戏状态的非对称信息。这些博弈一般是不可判定的，也不是根据经典定义确定的。我们表明，这样的游戏是决定下一个更一般的概念，赢得战略。我们还考虑了平均支付博弈，其中获胜者可以由有限周期形成博弈的获胜者确定。这就产生了几类可判定的非对称信息的平均收益博弈，它们只需要有限记忆策略，包括位置策略就足够的全观察博弈的推广。我们给出了一个指数时间算法来确定后者的赢家。
Solving zero-sum extensive-form games with arbitrary payoff uncertainty models
从博弈论的角度对战略冲突进行建模涉及到对认知不确定性的处理。由于计算限制，回报不确定性模型通常限于简单的概率模型。应用于扑克的人工智能（AI）研究最近取得了突破，产生了新的近似方法，如反事实遗憾最小化，可以成功地处理大规模的不完美游戏。通过借鉴这些思想，这项工作解决了任意连续收益分布的问题。我们提出了一种方法，Harsanyi-Counterfactual遗憾最小化，解决两人零和扩展形式的游戏与任意的支付分布模型。给定一个博弈$Γ$，利用Harsanyi变换，我们生成一个新的博弈$Γ^\#$，然后应用反事实后悔最小化方法，得到$\varepsilon$ -Nash均衡.我们包括数值实验，展示了该方法如何可以应用到以前发表的问题。
Generalized Mean-payoff and Energy Games
在平均收益博弈中，主角的目标是确保一个无限序列的数字权重的极限平均值是非负的。在能源游戏中，目标是确保权重的运行和始终非负。广义平均收益和能量游戏用元组代替个体权重，极限平均（分别为）。每个坐标的运行和）必须是（相应地，保持）非负的。这些游戏有应用程序的资源有限的过程与多个资源的合成。证明了广义能量对策的有限记忆决定性，并给出了有限记忆策略下广义平均支付与能量对策的相互约简。我们还提高了计算复杂性解决这两类游戏的有限记忆策略：虽然以前最好的已知上限是EXPSPACE，没有下限是已知的，我们给出了一个最佳的coNP-完全的界限。对于无记忆策略，我们证明了决定主角的获胜策略的存在性的问题是NP完全的。
Optimal Rates for Feasible Payoff Set Estimation in Games
针对双矩阵博弈中观察玩家动作但不知收益函数的情形，提出以Hausdorff度量下高概率估计可行收益集合的方法，并给出零和与一般和博弈中精确及近似均衡下首次极小极大最优速率。
Policy iteration algorithm for zero-sum multichain stochastic games with mean payoff and perfect information
我们考虑零和随机对策与有限的状态和行动空间，完美的信息，平均支付标准，没有任何不可约的假设，马尔可夫链相关的战略（多链游戏）。这种游戏的价值可以用一个非线性方程组来描述，包括平均支付向量和一个辅助向量（相对价值或偏差）。我们在这里开发了一个策略迭代算法的零和随机对策的平均回报，以下的两个作者的想法（Cochet-Terrasson和Gaubert，C。R.数学学院Sci.巴黎，2006年）。该算法依赖于非线性谱投影的概念（Akian和Gaubert，Nonlinear Analysis TMA，2003），其类似于线性位势论中的超调和函数的约化的概念。为了避免循环，在每次退化迭代（其中平均支付向量没有改进），通过减少先前的相对值来获得新的相对值。我们表明，序列的值和相对值满足字典序单调性，这意味着该算法不终止。我们说明了算法的平均支付版本的里奇曼游戏（随机拔河或离散无穷拉普拉斯型方程），其中退化迭代是频繁的。我们报告的数值实验大规模的情况下，从后者的游戏，以及从单调离散化的平均回报追求逃避确定性微分对策。
Payoff Allocation of Service Coalition in Wireless Mesh Network: A Cooperative Game Perspective
在无线网状网络（WMN）中，多个服务提供商（SP）可以协作以共享资源（例如，中继节点和频谱），以服务于它们的集体订阅客户，从而获得更好的服务。作为奖励，SP能够实现更多的个人利益，即，通过有效利用共享网络资源，增加收入或降低成本。然而，这种合作可以实现，只有当公平分配的聚合收益，这是所有合作SP的收益之和，可以实现。首先，我们制定这样的合作作为一个联盟的游戏与可转移的效用，具体地说，一个线性规划游戏，其中，每个SP应获得公平的份额的总收益。基于对偶支付和Shapley值的概念，研究了在WMN中如何分配聚合支付以实现稳定的服务联盟。
Looking at Mean-Payoff and Total-Payoff through Windows
我们考虑了两个玩家在加权有向图上玩的游戏，平均支付和总支付目标，两个经典的定量目标。虽然对于单维游戏的复杂性和记忆的界限，这两个目标相吻合，我们表明，在多维的平均支付游戏，是已知的coNP完全，多维的总支付游戏是不可判定的。我们引入保守的近似这些目标，其中的收益被认为是在一个局部的有限窗口滑动沿播放，而不是整个播放。对于一维，我们表明：（i）如果窗口大小是多项式，决定赢家需要多项式时间，（ii）存在一个有界窗口可以决定在NP $\cap$ coNP，是至少一样难解决的平均支付游戏。对于多维，我们表明：（i）固定窗口大小的问题是EXPTIME-完全的，（ii）没有连续递归算法来确定有界窗口的存在。
Hyperplane Separation Technique for Multidimensional Mean-Payoff Games
我们考虑有限状态博弈图和递归博弈图（或下推博弈图），可以模拟具有递归的顺序程序的控制流，具有多维平均收益目标。在下推博弈中，有两种策略是相关的：全局策略，依赖于整个全局历史;模块策略，只有局部记忆，因此不依赖于调用的上下文。我们提出了几个基本的算法问题的解决方案，我们的主要贡献如下：（1）我们表明，有限状态多维平均支付游戏可以在多项式时间内解决，如果维数和最大绝对值的重量是固定的;而如果维数是任意的，那么问题已经是已知的coNP-完全的。(2)我们证明了具有多维平均收益目标的下推图可以在多项式时间内求解。(3)对于下推游戏的全局策略下的单和多维平均支付目标的问题是已知的不可判定的，我们表明，在模块化策略下的多维问题也是不可判定的（而在模块化策略下的单维问题是NP-完全的）。我们证明了，如果模块数、出口数和权重的最大绝对值都是固定的，则在一维平均支付目标下的模块化策略下的下推博弈可以在多项式时间内求解;如果出口数或模块数都没有界，则该问题是NP-难的. (4)最后，我们表明，一个固定参数的易处理的算法有限状态的多维平均支付游戏或下推游戏的模块化策略与单维平均支付目标将意味着解决长期开放的问题固定参数易处理的奇偶游戏。
Finding Equilibrium in Multi-Agent Games with Payoff Uncertainty
研究了在不完全支付信息下多主体博弈中的均衡策略问题，其中支付矩阵只为参与者所知，直到某些有界不确定集。在这样的博弈中，事后均衡的特点是均衡策略对收益的不确定性具有鲁棒性。当游戏是一次性的，我们表明，在零和多矩阵游戏，事后平衡可以有效地使用线性规划计算。我们进一步扩展的概念，事后均衡随机游戏，在一个序列的阶段和过渡动态的游戏是反复播放由马尔可夫决策过程（MDP）。给出了系统存在事后马尔可夫完美均衡的充分条件。我们证明了在有界支付不确定性下，任何两人零和随机博弈的值都可以用动态规划计算到一个紧值区间。
Precision game engineering through reshaping strategic payoffs
本文提出一种基于混合整数线性规划的博弈工程框架，通过最优扰动策略收益来重塑博弈，从而在复杂博弈中高效实现期望纳什均衡并排除不期望均衡。
A pseudo-quasi-polynomial algorithm for solving mean-payoff parity games
在平均收益平价博弈中，两个博弈者中的一个既要实现定性的平价目标，又要最小化定量的长期平均收益（又名。平均收益）。游戏是零和的，因此另一个玩家的目标是要么挫败平价目标，要么最大化平均收益。我们的主要技术成果是一个伪拟多项式算法求解平均支付平价游戏。所有的算法已经开发了十多年的问题有一个伪多项式和指数因子在他们的运行时间;在我们的算法的运行时间，后者被替换为一个准多项式。根据Chatterjee和Doyen（2012）以及Schewe，Weinert和Zimmermann（2018）的结果，我们的主要技术结果意味着存在用于求解奇偶能量博弈和求解具有权重的奇偶博弈的伪准多项式算法。我们的主要概念的贡献是双方球员的战略分解的定义，和一个概念的进展措施的平均回报平价游戏，推广平价和能源的进展措施。前者提供了范式和简洁的表示获胜的策略，后者使应用程序的平均支付奇偶游戏的顺序理论的机器，支持最近的准多项式算法解决奇偶游戏。
Mean-Payoff Pushdown Games
图上的二人博弈是形式化验证和程序分析中许多问题的核心，如开放系统的综合和验证。在这项工作中，我们考虑解决递归游戏图（或下推游戏图），可以模拟顺序程序的控制流与递归。虽然下推游戏已经研究了定性的目标，如可达性和$ω$ -定期的目标，在这项工作中，我们研究了第一次这样的游戏，最好的研究定量目标，即平均回报目标。在下推博弈中，有两种策略是相关的：（1）全局策略，它依赖于整个全局历史;（2）模块策略，它只有局部记忆，因此不依赖于调用的上下文，而只依赖于当前模块调用的历史。主要结果如下：（1）在全局策略下，具有平均支付目标的一人下推对策是多项式时间可判定的。(2)在全局策略下，具有平均支付目标的两人下推博弈是不可判定的。(3)模块化策略下具有平均收益目标的单人下推博弈是NP难的。(4)在模块化策略下具有平均收益目标的两人下推博弈可以在NP中求解（即，在模块化策略下，具有平均收益目标的单人和双人下推博弈都是NP完全的）。我们还建立了最优策略的复杂性表明，平均回报目标的全球战略需要无限的记忆，即使在一个球员的下推游戏和无记忆的模块化策略是足够的两个球员的下推游戏。最后，我们还表明，所有的问题都有相同的复杂性，如果堆栈有界性条件，随着平均回报目标的球员也必须确保堆栈高度有界。
Efficient Nash Equilibrium Computation for Cybersecurity Games
针对仿真型网络安全博弈中PSRO的收益估计瓶颈，提出RWPS预算估计器，仅模拟敏感单元并利用替代模型，通过实例相关界与覆盖结果提升效率，实验显示在多个博弈中达到更低利用度。
A competitive game whose maximal Nash-equilibrium payoff requires quantum resources for its achievement
虽然众所周知，共享的量子纠缠可以为远程代理组的一些纯粹合作任务提供改进的解决方案，但关于量子游戏在竞争环境中的合法性仍然存在争议-特别是，它们是否提供超越使用经典资源所能实现的任何优势。我们构建了一个竞争性的游戏，四个球员之间的少数民族游戏的最大纳什均衡的回报时，发挥适当的量子资源大于通过经典手段，假设一个本地隐藏变量模型。这个博弈是以类似于贝尔不等式的方式构造的。这一结果对于确认量子博弈的合法性非常重要。
Bidding Mechanisms in Graph Games
在图上的双人游戏中，玩家在图中移动令牌以产生无限路径，这决定了游戏的赢家或收益。我们研究{ \em投标游戏}，其中玩家投标移动令牌的权利。以前研究过几种投标规则。在{ \em Richman}出价中，在每一轮中，玩家同时提交出价，出价较高的玩家移动代币并向另一个玩家支付。{ \em Poorman}出价与此类似，只是出价的获胜者支付“银行”而不是其他玩家。{ \em Taxman}出价范围介于Richman和Poorman出价之间。它们由常数$τ\in [0,1]$参数化：获胜出价的部分$τ$支付给另一个玩家，部分$1-τ$支付给银行。我们提出，第一次，结果{ \em无限持续时间} taxman游戏。我们最有趣的结果涉及定量taxman游戏，即{ \em平均支付}游戏，其中poorman和Richman出价不同。这些游戏中的一个中心量是两个玩家的初始预算之间的{ \em比率}。在Poorman平均收益博弈中，参与人所能保证的最优收益取决于初始比率，而在Richman竞价博弈中，参与人所能保证的最优收益仅取决于博弈结构。在这两个游戏中，最优收益可以通过使用{ \em random-turn based}游戏的（不同的）概率连接来找到，在每一轮游戏中，掷硬币来确定哪个玩家移动。Richman出价的收益等于使用无偏见硬币的随机回合游戏的收益，而Poorman出价则根据初始预算比率对硬币进…
An adjusted payoff-based procedure for normal form games
在N人范式博弈框架下研究了一个简单的自适应模型.该模型由一个重复的游戏，玩家只知道自己的行动空间和自己的收益得分在每个阶段，而不是其他代理人。每个参与者，为了更新她的混合动作，计算她通过使用她玩每个纯动作的次数获得的平均向量收益。由此产生的随机过程进行了分析，通过随机逼近理论的常微分方程方法。我们感兴趣的是收敛的过程，相关的连续动力学的休息点。得到了几乎处处收敛和正概率收敛的结果，并应用于一个交通对策。我们还提供了一些收敛概率为零的例子。
On the NP-completeness of Finding an Optimal Strategy in Games with Common Payoffs
考虑一类非常简单的（有限）博弈：在自然的初始移动之后，每个参与者都进行一次移动。此外，参与者有共同的利益：在每个节点上，所有参与者都得到相同的收益。我们表明，确定是否存在一个联合策略，每个玩家的预期收益至少为r的问题是NP-完全的，作为一个函数的节点数量的扩展形式表示的游戏。
The Payoff Region of a Strategic Game and Its Extreme Points
本文通过非凸集的极点概念研究了战略游戏收益函数的范围，探讨了非合作收益区域的结构特征及极点在证明帕累托效率和社会效率结果中的应用。
Payoff landscapes and the robustness of selfish optimization in iterated games
在迭代博弈中，参与者可以通过谨慎选择策略单方面影响结果。Press and Dyson（2012）发现了一类强有力的“回报控制”策略。他们所谓的“零决定”（ZD）策略允许参与者单方面强制双方的收益之间的线性关系。Chen和Zinger（2014）随后证明，当这种线性关系的斜率为正时，ZD策略对自私优化的共同参与者是鲁棒有效的，因为自私参与者的所有适应路径都会导致两个参与者的最大收益（至少当对游戏参数有某些限制时）。在本文中，我们研究了在更一般的设置中，对于ZD和非ZD策略，自私学习对固定玩家的功效。我们首先证明了在任何对称$2\times 2$博弈中，自私局中人的最终策略必须具有某种形式，并且不可能是完全随机的。然后，我们表明，有囚徒困境的相互作用，自私的优化并不总是导致最大的回报对固定的ZD策略与正斜率。我们给出了自私适应路径的例子，这些路径会导致局部但非全局最佳收益，从而破坏收益控制策略的鲁棒性。对于非ZD策略，这些病态的出现与游戏参数的原始限制无关。我们的研究结果表明，即使在最简单的情况下，对一个固定的战略，实现强大的回报控制和自私的优化的困难。
Best-Response dynamics in two-person random games with correlated payoffs
本文研究收益以概率p相关的两人随机标准式博弈，分析纯纳什均衡数量，并证明任意p>0时最优反应动态随行动数增加以高概率收敛至纯纳什均衡。
Faster Algorithms for Mean-Payoff Parity Games
图游戏为反应过程的建模和综合提供了基础。这种游戏是在图上进行的，其中顶点由两个敌对的玩家控制。我们考虑图游戏的第一个玩家的目标是一个定性目标（指定为奇偶条件）和定量目标（指定为平均回报条件）的结合。这个问题有两种变体，即阈值问题，其中定量目标是确保平均收益值高于阈值，以及价值问题，其中定量目标是确保最佳平均收益值;在这两种情况下，都确保定性平价目标。对于具有$n$顶点、$m$边、具有$d$优先级的奇偶目标以及用于平均支付目标的最大绝对奖励值$W$的博弈图，先前最著名的算法如下：用于阈值问题的$O(n^{d+1} \cdot m \cdot W)$，以及用于值问题的$O(n^{d+2} \cdot m \cdot W)$。我们的主要贡献是更快的算法，我们的算法的运行时间如下：$O(n^{d-1} \cdot m \cdot W)$的阈值问题，和$O(n^{d} \cdot m \cdot W \cdot \log (n\cdot W))$的价值问题。对于具有两个优先级的平均收益奇偶目标，我们的算法与平均收益游戏的算法的最知名的界限相匹配（不与奇偶目标相结合）。我们的结果与具有功能要求（作为定性目标给出）和性能要求（作为定量目标给出）的反应系统的合成相关。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈
发表机构由 AI 从论文文本抽取，如发现错误，欢迎反馈修正建议。