Stochastic Limit-Average Games are in EXPTIME
Krishnendu Chatterjee, Rupak Majumdar, Thomas A. Henzinger
有限状态两人零和有限平均收益随机博弈的价值可以近似为在$ε$内的时间指数在一个多项式中的博弈的大小乘以在$\frac{1}ε$中的对数多项式，对于所有的$ε>0$。
The value of a finite-state two-player zero-sum stochastic game with limit-average payoff can be approximated to within $ε$ in time exponential in a polynomial in the size of the game times polynomial in logarithmic in $\frac{1}ε$, for all $ε>0$.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
继续探索
The Complexity of Games on Higher Order Pushdown Automata
本文证明了在n层高阶下推自动机（HPDA）上可达性博弈中获胜者判定问题的一个n-EXPTIME下界。这个界限与HPDA上的奇偶博弈的已知上限相匹配。因此n-HPDA给出的图上的μ演算模型检验是n-EXPTIME完全的。
Infinite-state games with finitary conditions
研究了无限状态图上具有有界性条件的两人零和对策。我们的第一个贡献是关于策略的复杂性，即获胜策略所需的记忆：我们证明了在一般的无限状态图上，无记忆策略对于有限Büchi游戏是足够的，有限记忆对于有限奇偶游戏是足够的。然后，我们研究下推有界游戏，有两个贡献。首先，我们证明了一个崩溃的结果下推欧米茄B游戏，这意味着解决这些游戏的可判定性。其次，我们考虑下推游戏与有限奇偶性以及堆栈有界性条件，并证明解决这些游戏是EXPTIME完全的。
Approximating the Value of Time-Bounded Weighted Timed Games
本文针对执行有时间限制的加权时序博弈，证明其值的近似问题在4-ExpTime复杂度下可判定，解决了该类博弈值问题不可精确计算的困境。
(Un)Decidability of Two-Clock Weighted Timed Games
本文证明了使用两个时钟和非负权重的加权时序游戏的价值问题在时间有界条件下仍不可判定，填补了算法理解的最后一个空白。
Reachability Games with Relaxed Energy Constraints
我们研究了能量约束下的可达性目标博弈。我们首先证明了在严格的能量约束下（要么只有下界约束，要么只有区间约束），这些博弈是LOGSPACE等价于具有相同能量约束但没有可达性目标的能量博弈（即，对于无限运行）。然后，我们考虑两种放松的上限约束（同时保持下界约束严格）：在第一个中，称为弱上界，上界是吸收的，在这个意义上，当已经达到上界时，它允许接收更多的能量，但是额外的能量将不会被存储;在第二种情况下，我们允许暂时违反上限，对违反的数量或数量施加限制。我们证明，当考虑弱上界，可达性目标需要内存，但仍然可以解决多项式时间为一个球员的竞技场，我们证明了他们在co-NP在两个球员的设置。允许有界违规使得问题对于单人竞技场是PSPACE完全的，对于双人竞技场是EXPTIME完全的。
Two-Player Reachability-Price Games on Single-Clock Timed Automata
我们研究了单时钟时间自动机上两个局中人的可达性价格博弈。问题如下：在给定所述自动机的状态的情况下，确定所述第一玩家是否能够保证到达所述指定目标位置中的一个。如果可以到达目标位置，那么我们也要计算这样做的最优价格。我们的贡献是双重的。首先，我们发展了成本函数理论，为分析这个问题提供了一个全面的方法。这个理论使我们能够建立我们的第二个贡献，EXPTIME算法计算的最佳可达性价格，提高了现有的3EXPTIME上限。
Average-Time Games on Timed Automata
在有限时间自动机的无限图上进行平均时间博弈。两个玩家，Min和Max，通过轮流执行定时转换来构建自动机的无限运行。最小博弈者希望最小化每次转移的平均时间，而最大博弈者希望最大化每次转移的平均时间。一个直接的结果是平均时间博弈的决定性的一个初等证明。这补充了我们对可达时间博弈的研究结果，并部分解决了Bouyer等人提出的问题，在定价时间自动机上设计求解平均价格博弈的算法。本文还建立了求解平均时间对策的精确计算复杂性：对于至少有两个时钟的时间自动机，该问题是EXPTIME完全的。
Opacity Issues in Games with Imperfect Information
我们深入研究了一类不透明条件下的博弈，这是两个球员的不完美信息的游戏中，其中一个球员只有不完美的信息，而获胜的条件依赖于他沿着发挥的信息。这些博弈与计算系统的安全性有关：当拥有不完全信息的玩家永远不会“知道”当前位置是一个独特的“秘密”位置时，游戏是不透明的。我们研究了决定每个局中人获胜策略存在性的问题，我们称之为不透明度违反问题和不透明度保证问题。关注具有完美信息的参与者在非完全信息博弈领域是新的，因为当考虑经典的获胜条件时，它相当于解决了潜在的完美信息博弈。我们建立了上述两个问题的EXPTIME-完备性，表明我们的获胜条件为具有完美信息的玩家带来了复杂性的差距，并且我们展示了相关的不透明度验证问题，这显着概括了文献中考虑的离散事件系统不透明度分析方法。在盲对策的情况下，这个问题与两个初始问题有关，得到了具有不透明条件的盲对策的确定性和这三个问题的PSPACE-完全性。
How Much Lookahead is Needed to Win Infinite Games?
延迟博弈是两个玩家的博弈，其中一个玩家可以延迟她的行动，以获得对对手行动的前瞻。对于$ω$ -规则获胜条件，已知这样的游戏可以在双指数时间内求解，并且双指数前瞻是足够的。我们改进后，这两个结果给出了一个指数时间算法和指数上界的必要前瞻。这是补充，显示EXPTIME硬度的解决方案的问题和紧指数下限的前瞻。这两个下限都已适用于安全条件。此外，解决延迟对策的可达性条件被证明是PSPACE完全的。这是2016年8月26日发表的论文https://arxiv.org/abs/1412.3701v4的更正版本。
Reachability-time games on timed automata
在可达性-时间博弈中，玩家Min和Max选择移动，使得在时间自动机中到达最终状态的时间分别最小化或最大化。Asarin和Maler使用值迭代算法证明了强非Zeno时间自动机上可达时间博弈的可判定性。本文补充他们的工作，提供了一个战略改进算法的问题。由于所提出的策略改进算法解决了所有时间自动机上的可达时间博弈，因此也推广了他们的可判定性结果。精确的计算复杂性解决可达时间游戏也建立：问题是EXPTIME完全的时间自动机至少有两个时钟。
Games with a Weak Adversary
我们考虑了具有部分观察和奇偶目标的多人图博弈。虽然决策问题的第一和第二个球员对第三个球员的联盟的三人游戏是不可判定的，我们提出了一个可判定性的结果部分观察游戏的第一和第三个球员是在一个联盟对第二个球员，因此，第二个球员是敌对的，但由于部分观察较弱。我们建立严格的复杂性界限的情况下，球员1是不太知情的球员2，即2-EXPTIME完全奇偶校验目标。对称的情况下，玩家1比玩家2更了解是更加复杂的，我们表明，已经在玩家1有完美的观察的情况下，内存的大小非小学一般是必要的可达性目标，和安全和可达性目标的问题是可判定的。我们的研究结果与部分观察随机游戏，我们得到新的复杂性结果有紧密的联系。
High-Level Representation of Benchmark Families for Petri Games
Petri游戏已经被引入作为一个多人游戏模型表示因果记忆，以解决分布式系统的合成。对于一个环境参与者和任意有界数目的系统参与者的Petri博弈，判定安全策略的存在性是EXPTIME完全的。这一结果形成的工具ADAM的基础上，实现了分布式控制器的合成从Petri网游戏的算法。为了评估该工具，它已经检查了一系列参数化的基准，从制造和工作流场景。在本文中，我们介绍了一种新的可能性，代表基准家庭的分布式综合问题建模与Petri游戏。它使用户能够将整个基准系列指定为一个参数化的高级网络。我们描述的例子基准家庭作为一个高层次的版本的Petri网游戏，并展示一个实例产生一个具体的1-有界Petri网游戏。我们确定的改进无论是关于基准家庭的大小或功能，通过检查高层次的Petri游戏。
The Non-Cooperative Rational Synthesis Problem for Subgame Perfect Equilibria and omega-regular Objectives
本文研究了图上多人博弈中遵循子博弈完美均衡的理性合成问题，通过将其编码为不完全信息三人博弈求解，证明该问题在ω-regular目标下属于2ExpTime，并在固定玩家数量等条件下具有更低复杂度。
The Complexity of Partial-observation Stochastic Parity Games With Finite-memory Strategies
我们考虑有限状态图上的两个局中人部分观察随机博弈，其中局中人1有部分观察，局中人2有完美观察。我们研究的获胜条件是指定为宇称目标的ω-正则条件。给定一个部分观察随机博弈和一个奇偶目标的定性分析问题是，是否存在一个策略来确保目标以概率~1（分别为1和2）满足。正概率）。这些定性分析问题是已知的不可判定的。然而，在许多应用程序的相关问题是有限记忆策略的存在，和有限记忆策略下的定性分析问题最近被证明是可判定的2 EXPTIME。我们提高了复杂性，并表明，定性分析问题的部分观察随机奇偶游戏有限记忆策略下的EXPTIME-完全的，也建立了最佳的（指数）记忆边界所需的定性分析有限记忆策略。
Exact Algorithms for Solving Stochastic Games
Shapley的折扣随机博弈、Everett的递归博弈和Gillette的非折扣随机博弈是描述两人零和博弈的经典博弈模型。我们描述的算法，完全解决这些游戏。
Reachability for Branching Concurrent Stochastic Games
本文给出了分支并发随机对策（BCSG）的几乎必然可达性和极限必然可达性的多项式时间判定算法。这是一类无限状态随机信息随机博弈，它既推广了有限状态并发随机可达性博弈，也推广了分支简单随机可达性博弈。
Perfect Half Space Games
我们介绍完美的半空间游戏，其中玩家2的目标是使所遇到的多维权重的总和在一个方向上发散，该方向与所选择的完美半空间序列（由玩家2动态选择）一致。我们建立了Jurdzienski等人（ICALP 2015）的边界博弈可以简化为完美半空间博弈，这反过来又可以转化为Colcombet和Niwienski的词典能量博弈，并且在很强的意义上是位置确定的（参与人2可以在不知道当前完美半空间的情况下进行博弈）。最后，我们展示了如何完美的半空间游戏和边界游戏可以用来解决多维能量奇偶游戏在伪多项式时间的能量维度和优先级的数量是固定的，无论是否初始信用的输入或存在量化的一部分。这也产生了一个最佳的2-EXPTIME复杂度与给定的初始信用，其中最知名的上限是非初等的。
On the computational complexity of solving stochastic mean-payoff games
我们考虑了一些著名的两个玩家，零和，完美的信息游戏，可以被视为特殊情况下的Shapley随机游戏的家庭。我们证明了以下任务是多项式时间等价的：-解决简单的随机游戏。- 求解报酬和概率均为一元的随机平均支付对策。- 解决随机平均支付游戏与奖励和概率在二进制给定。
Reachability Switching Games
本文研究零人、一人和两人可达性切换博弈的获胜者判定问题，证明其复杂度分别为NL难、NP完全和PSPACE难且在EXPTIME内，并表明切换变体比随机版本更难。
A reduction from parity games to simple stochastic games
图上的博弈为反应式非终止系统提供了一个自然的模型。在这样的游戏中，两个玩家在竞技场上的交互导致描述系统运行的无限路径。在计算机科学中，不同的设置被用来对各种开放系统进行建模，例如基于回合或并发的移动，以及确定性或随机性的转换。在本文中，我们感兴趣的回合制游戏，特别是在确定性奇偶游戏和随机可达性游戏（也称为简单随机游戏）。我们提出了一个简单的，直接的和有效的减少从确定性奇偶游戏简单的随机游戏：它产生一个舞台的大小是线性的对数因子的原始舞台的大小。
Strategy Recovery for Stochastic Mean Payoff Games
我们证明，找到最佳的位置策略的随机平均支付游戏时，每个状态的游戏是已知的，在一般情况下，是很难解决这样的游戏球场。这回答了Daniel Andersson和Peter Bro Miltersen提出的问题。
Optimal Strategies in Perfect-Information Stochastic Games with Tail Winning Conditions
我们证明了在具有多个状态和行动的完全信息随机博弈中，最优策略存在于尾赢条件下。
A Direct Reduction from Stochastic Parity Games to Simple Stochastic Games
本文提出一种从随机奇偶博弈到简单随机博弈的直接多项式时间归约，通过小工具变换移除优先级函数，证明了归约正确性并印证了SPGs的NP∩coNP复杂度。
Optimal Strategies in Infinite-state Stochastic Reachability Games
我们考虑无限图上2个局中人的完全信息可达随机博弈。我们确定了这样的游戏的一个子类，并证明了它的两个有趣的性质：第一，玩家最大总是有最优策略的游戏从这个子类，第二，这些游戏是强确定的。子类由所有值的集合只能有一个聚集点-- 0的属性定义。我们的结果很好地反映了有限分支博弈的最新结果，相反，参与者Min总是有最优策略。然而，我们的证明方法有很大的不同，因为参与者的角色是不对称的。我们也不限制游戏的分支。最后，我们将我们的研究结果的背景下，最近研究的单计数器随机游戏。
Parity and Streett Games with Costs
我们认为两个玩家的游戏有限图配备成本的边缘，并引入两个获胜的条件，成本平价和成本Streett，这需要的界限之间的成本请求和他们的反应。这两个条件推广了相应的经典ω-正则条件和相应的有限性条件。对于有成本的平价博弈，我们证明了第一个玩家有位置获胜策略，并且决定获胜者的策略取决于NP和coNP。对于Streett游戏的成本，我们表明，第一个球员有有限状态的获胜策略，并确定赢家是EXPTIME完成。第二个玩家可能在两个游戏中都需要无限的内存。这两种类型的博弈都可以通过线性求解其经典变体的许多实例来解决。
Solving Simple Stochastic Games with Few Random Vertices
简单随机博弈是两人零和随机博弈，具有回合制移动、完全信息和可达性获胜条件。我们提出了两个新的算法计算简单随机对策的价值。它们都依赖于最优置换策略的存在性，这是一类由随机顶点的置换导出的位置策略。“置换-枚举”算法在这些策略中执行穷举搜索，而“置换-改进”算法是基于连续改进的，如霍夫曼-卡普算法。我们的算法改进了以前已知的算法在几个方面。首先，当随机顶点数固定时，它们在多项式时间内运行，因此当参数为随机顶点数时，求解简单随机对策的问题是固定参数易处理的。此外，我们的算法不需要将输入游戏转换为停止游戏。最后，置换枚举算法不使用线性规划，而置换改进算法可以在多项式时间内运行。
Best-Response Dynamics and Fictitious Play in Identical-Interest and Zero-Sum Stochastic Games
本文结合Q学习和虚拟博弈的思想，定义了三个强化学习过程，它们收敛于同利率折扣随机博弈的静态混合纳什均衡集。首先，我们分析了三个连续时间系统，推广了Leslie等人定义的最佳响应动态。零和折扣随机博弈。在依赖于系统的一些假设下，证明了在相同利率的折扣随机博弈中，动态收敛于平稳均衡集。然后，我们介绍了三个模拟离散时间程序的精神Sayin等人。并证明了他们的收敛到一组固定平衡使用我们的结果在连续时间与随机逼近技术。一些数值实验补充了我们的理论研究结果。
Looking at Mean-Payoff and Total-Payoff through Windows
我们考虑了两个玩家在加权有向图上玩的游戏，平均支付和总支付目标，两个经典的定量目标。虽然对于单维游戏的复杂性和记忆的界限，这两个目标相吻合，我们表明，在多维的平均支付游戏，是已知的coNP完全，多维的总支付游戏是不可判定的。我们引入保守的近似这些目标，其中的收益被认为是在一个局部的有限窗口滑动沿播放，而不是整个播放。对于一维，我们表明：（i）如果窗口大小是多项式，决定赢家需要多项式时间，（ii）存在一个有界窗口可以决定在NP $\cap$ coNP，是至少一样难解决的平均支付游戏。对于多维，我们表明：（i）固定窗口大小的问题是EXPTIME-完全的，（ii）没有连续递归算法来确定有界窗口的存在。
Partial-Observation Stochastic Games: How to Win when Belief Fails
在图上部分观察的两人有限状态随机博弈中，在图的每个状态中，参与者同时选择一个行动，他们的联合行动决定了后继状态的概率分布。我们考虑可达性目标，其中参与人1试图确保目标状态几乎肯定或积极地被访问。在信息的基础上，游戏可以是单边的，即（a）参与者1或（b）参与者2具有部分观察，或者是双边的，即两个参与者都具有部分观察。在随机化的基础上，（a）玩家可能不被允许使用随机化（纯策略），或者（b）可以选择概率分布，但实际的随机选择是不可见的（行动不可见），或者（c）可以使用完全随机化。我们对纯策略的研究结果如下：（1）对于参与人2完全观察的单边博弈，我们证明了基于信念的策略是不充分的，并给出了几乎肯定获胜策略和正获胜策略的记忆指数上界;我们证明了决定参与人1的几乎肯定和积极获胜策略的存在性的问题是EXPTIME-完整的和目前的符号算法，避免显式指数建设。（2）对于参与人1完全观察的单边博弈，我们证明了非基本记忆对于几乎肯定获胜策略和积极获胜策略都是必要的和充分的。(3)We表明，对于双方的情况下，有限的记忆策略是足够的积极和几乎肯定的胜利。我们建立了几乎肯定获胜问题的纯策略与随机策略的行动不可见的等价性。我们的等价结果表现出严重的缺陷，在以前的结果在文献中：我们显示了一个非基本的记忆下界几乎肯定获胜，而指数上界声称。
Magnifying Lens Abstraction for Stochastic Games with Discounted and Long-run Average Objectives
回合制随机博弈及其重要子类马尔可夫决策过程（MDP）为具有概率和非确定性行为的系统提供了模型。我们考虑两个经典的定量目标：折扣和长期平均目标的回合制随机博弈。博弈模型和定量目标在概率验证、规划、最优库存控制、网络协议和性能分析等方面有着广泛的应用。模拟现实系统的游戏和MDP通常具有非常大的状态空间，并且概率抽象技术是处理状态空间爆炸所必需的。通常使用的全抽象技术不产生节省空间的系统，有许多状态具有类似的值，但不一定有类似的过渡结构。提出了一种半抽象技术，即放大镜抽象（MLA），聚类状态的基础上的价值，无视其过渡关系的差异，提出了定性目标（可达性和安全性目标）。在本文中，我们扩展的MLA技术，以解决随机游戏的折扣和长期平均目标。我们提出了基于MLA技术的随机博弈和折扣和目标MDP的抽象-精化算法。对于长期平均目标，我们的解决方案适用于所有MDP和一类随机游戏，其中每个状态具有相同的值。
Stochastic assignment games for Mobility-as-a-Service markets
本文提出了一种随机Stackelberg博弈模型，用于建模MaaS系统，通过双层优化解决票价调整和用户运营商分配问题，以最大化平台收入并考虑用户和运营商的异质性行为。
Qualitative Concurrent Stochastic Games with Imperfect Information
我们研究了一个模型的游戏，结合并发性，不完美的信息和随机方面。这些是有限状态博弈，在每一轮中，两个参与者同时独立地选择一个行动。然后，根据前一个状态和参与者选择的一对行动，根据某个固定的概率分布来选择后继状态。不完全信息模型如下：两个玩家在状态上有一个等价关系，而不是观察确切的状态，他们只知道它属于哪个等价类。因此，如果某个参与者无法区分两种局部策略，那么他在这两种策略中的行为应该是相同的。我们考虑可达性（戏剧最终会访问最终状态吗？）和Büchi目标（是否发挥访问无限经常一个最终状态？）。我们的主要贡献是证明了以下问题是2-ExpTime完全的：决定第一个玩家是否有一个策略，确保她几乎肯定会赢得任何可能的策略，她oponent。我们还讨论了第一个几乎肯定会赢的玩家所需要的策略。
Verifying Equilibria in Finite-Horizon Probabilistic Concurrent Game Systems
本文研究有限视界概率多智能体并发博弈系统中给定策略配置是否为纳什均衡或子博弈完美均衡的验证问题，发现子博弈完美均衡验证属于PSPACE，而纳什均衡验证为EXPTIME完全，这一反直觉结果表明子博弈完美均衡验证可能更简单。
Visibly Pushdown Modular Games
递归博弈图上的博弈可以用来推理递归顺序程序的控制流。在递归博弈图上的博弈中，最自然的策略概念是模策略，即，一种策略，它是模块的本地策略，不受先前模块调用的影响，因此不依赖于调用的上下文。在这项工作中，我们研究了第一次模块化的策略，就可以表示的下推自动机的获胜条件。我们表明，这样的游戏是不可判定的一般，并成为可判定的明显下推自动机规范。我们的解决方案依赖于减少到模块化游戏的有限状态自动机获胜的条件，这是已知的文献。我们仔细描述所考虑的决策问题的计算复杂性。特别是，我们表明，模块化的游戏与一个普遍的Buchi或co Buchi明显下推获胜条件是EXPTIME-完全的，当获胜条件是由一个CARET或NWTL时序逻辑公式的问题是2 EXPTIME-完全的，它仍然是2 EXPTIME-困难的，即使是这些逻辑的简单片段。作为进一步的贡献，我们提出了一个不同的解决方案，模块化游戏的有限状态自动机获胜的条件，运行速度比已知的解决方案大规格和许多出口。
A Game of Pawns
本文提出棋子博弈框架，使顶点控制权随固定机制动态转移，并系统分析了不同机制与所有权限制下求解可达性目标的复杂度，识别出PTIME可解类与EXPTIME完全类。
Blackwell-Nash Equilibrium for Discrete and Continuous Time Stochastic Games
我们考虑离散和连续时间有限状态行动随机对策。在离散时间随机对策中，作为一般随机对策的一种特殊情况，单控制器加性报酬（SC-AR）随机对策存在稳态Blackwell-Nash均衡（BNE）.我们表明，在一般情况下，添加剂的奖励条件是需要存在的BNE。给出了一个不满足可加报酬条件的单控制者随机对策的例子。我们表明，这个例子没有一个固定的BNE。对于一般的离散时间折扣随机对策，我们给出了两组不同的条件，并证明了满足任何一组条件的稳态纳什均衡是BNE。其中一组条件削弱了文献中可用的一组条件。对于连续时间随机对策，我们给出了一个不具有平稳BNE的例子。事实上，这个例子是一个单控制器连续时间随机对策。然后，我们引入了一个连续时间的SC-AR随机对策。我们证明了连续时间SC-AR随机对策总存在一个平稳的确定性BNE。对于一般的连续时间折扣随机对策，我们给出了两组不同的条件，并证明了满足任何一组条件的纳什均衡是BNE。
Vertex Nim played on graphs
给定一个顶点上具有正整数权重的图G，以及放置在某个当前顶点u上的令牌，两个玩家交替地从u移除正整数权重，然后将令牌移动到与u相邻的新的当前顶点。当一个顶点的权值设置为0时，它将被移除，其邻域将成为一个团。走到最后一步的玩家获胜。Nim在图上的这种改编被称为Vertexnim，与Stockman在2004年推出的游戏Vertex NimG略有不同。顶点可以在有向图或无向图上播放。在本文中，我们研究的复杂性，决定是否一个给定的游戏位置的顶点是第一个或第二个玩家获胜。特别是，我们表明，对于无向图，这个问题可以在二次时间内解决。我们的算法也适用于游戏顶点NimG，从而改进了Stockman的exptime算法。在有向情况下，我们能够在多项式时间内计算出几个实例的获胜策略，包括具有自循环的回路或有向图。
On the Global Convergence of Stochastic Fictitious Play in Stochastic Games with Turn-based Controllers
本文针对带回合式控制器的随机博弈，结合经典随机虚拟博弈与值迭代提出具备几乎必然收敛性的学习动力学，揭示了有限 horizon 长度递增与回合式控制器保证辅助博弈策略等价性的关键作用。
Policy Invariance under Reward Transformations for General-Sum Stochastic Games
我们扩展了潜在的成形方法从马尔可夫决策过程的多人一般和随机游戏。我们证明了纳什均衡在一个随机游戏保持不变后，潜在的塑造应用于环境。策略不变性的性质提供了一种可能的方法来加快收敛时，学习玩随机游戏。
Polynomial stochastic games via sum of squares optimization
随机对策是将马尔可夫决策过程推广到对策论场景的一类重要问题。本文研究了无限时间范围内有限状态两人零和随机对策的折扣报酬问题。假设参与者具有无限的策略空间，并且假设收益是多项式。在本文中，我们限制我们的注意力一类特殊的游戏，其中的单控制器的假设。结果表明，这类对策的极大极小均衡和最优策略可以通过半定规划得到。
Learning Equilibria in Games by Stochastic Distributed Algorithms
我们考虑一类完全随机和完全分布式的算法，我们证明学习游戏中的均衡。事实上，我们考虑一个家庭的随机分布动力学，我们证明弱收敛（在概率过程的弱收敛的意义上）对他们的平均场极限，即在一般情况下的常微分方程（ODE）。然后，我们专注于一类随机动力学，这ODE原来是与多种群复制动力学。使用已知的事实收敛的常微分方程，我们讨论的初始随机动力学的收敛性：对于一般的游戏，可能会有不收敛，但当收敛的常微分方程举行，认为随机算法收敛到纳什均衡。对于允许李雅普诺夫函数的游戏，我们称之为李雅普诺夫游戏，随机动力学收敛。我们证明了任何序数潜在的游戏，因此任何潜在的游戏是一个李雅普诺夫游戏，多仿射李雅普诺夫函数。对于具有多仿射李雅普诺夫函数的李雅普诺夫对策，证明了该李雅普诺夫函数是随机动力系统上的上鞅。这导致了一种方法来提供他们的收敛时间的界限的鞅参数。这特别适用于许多类的游戏，已被认为是在文学，包括几个负载均衡游戏场景和拥塞游戏。
A Study of Gradient Descent Schemes for General-Sum Stochastic Games
零和随机博弈很容易解决，因为它们可以被转换为简单的马尔可夫决策过程。然而，这不是一般和随机游戏的情况。Filar和Vrieze [2004]给出了一般和随机博弈的一个相当一般的优化问题公式。然而，该优化问题具有非线性目标和非线性约束，具有特殊的结构。由于这个优化问题的目标和约束的梯度都被很好地定义，基于梯度的方案似乎是一个自然的选择。我们讨论了两人随机博弈的梯度调整方案。我们在模拟中表明，该计划确实收敛到一个纳什均衡，一个简单的地形勘探问题建模为一般和随机游戏。然而，事实证明，只有全局最小值的优化问题对应的基本一般和随机博弈的纳什均衡，而梯度计划只能保证收敛到局部最小值。然后，我们提供了重要的必要条件梯度计划收敛到纳什均衡一般和随机游戏。
Comparison of Algorithms for Simple Stochastic Games (Full Version)
简单随机博弈是基于回合制的2.5人零和图博弈，具有可达性目标。问题是计算获胜概率以及双方的最优策略。本文从理论和实践两个方面对数值迭代、策略迭代和二次规划这三类算法进行了比较。此外，我们提出了几个改进的所有算法，包括第一种方法的基础上二次规划，避免将随机游戏停止。我们广泛的实验表明，这些改进可以导致显着的速度提升。我们在PRISM游戏3.0中实现了所有算法，从而首次实现了用于解决简单随机游戏的二次规划。
Comparison of Algorithms for Simple Stochastic Games
简单随机博弈是基于回合制的2.5人零和图博弈，具有可达性目标。问题是计算获胜概率以及双方的最优策略。本文从理论和实践两个方面对数值迭代、策略迭代和二次规划这三类算法进行了比较。此外，我们提出了几个改进的所有算法，包括第一种方法的基础上二次规划，避免将随机游戏停止。我们广泛的实验表明，这些改进可以导致显着的速度提升。我们在PRISM游戏3.0中实现了所有算法，从而首次实现了用于解决简单随机游戏的二次规划。
A Zero-Sum Stochastic Game with Compact Action Sets and no Asymptotic Value
我们给出了一个零和随机博弈的例子，该博弈具有四个状态，每个参与者的紧凑行动集，以及连续的支付和转移函数，使得折扣值不会随着折扣因子趋于0而收敛，并且n阶段博弈的值不会随着n趋于无穷而收敛。
Stochastic Parity Games on Lossy Channel Systems
我们给出了一个算法，用于解决随机奇偶游戏的几乎肯定的获胜条件，在有损耗的信道系统中的情况下，球员被限制到有限的记忆策略。首先，我们描述了一个一般的框架，在那里我们考虑类的2.5玩家的游戏几乎肯定的奇偶性获胜的条件可能是无限的游戏图，假设游戏包含一个有限的吸引子。吸引子是一组状态（不一定是吸收的），无论参与者的决定如何，它几乎肯定会被重新访问。我们提出了一个方案，其特征在于为每个玩家的获胜状态集。然后，我们实例化这个计划，以获得一个算法的随机博弈有损信道系统。
A Stochastic Knapsack Game: Revenue Management in Competitions
研究了多个销售商竞争下的收益管理数学模型。该模型将经典的收益管理模型--随机背包问题与刻画卖方理性行为的非合作对策模型相结合。我们能够建立一个动态的递归过程，将价值函数与效用函数的游戏。动态递归的形式化允许我们建立一些基本的结构性质。
Zero-Sum Stochastic Stackelberg Games
零和随机博弈在从机器学习到经济学的各个领域都有重要的应用。这个模型的工作主要集中在纳什均衡的计算上，因为它在解决对抗性棋盘游戏和视频游戏方面很有效。不幸的是，当每个状态的收益在参与人的行动中不是凹凸的时，在零和随机博弈中不保证存在纳什均衡。然而，Stackelberg均衡肯定存在。因此，在本文中，我们研究零和随机Stackelberg对策。超越已知的（非平稳）Stackelberg平衡的存在性结果，我们证明了递归（即，马尔可夫完美）斯塔克伯格均衡（recSE），提供了策略配置文件是recSE的充分必要条件，并表明recSE可以通过值迭代在（弱）多项式时间内计算。最后，我们表明，零和随机Stackelberg游戏可以建模的问题，定价和分配货物在代理和时间。更具体地说，我们提出了一个零和随机Stackelberg游戏，其recSE对应于一个大类的随机Fisher市场的递归竞争均衡。最后，我们用一系列的实验来展示我们的方法如何可以用来解决消费储蓄问题的随机费雪市场。
Polytopal Stochastic Games
本文提出多面体随机博弈，扩展双人零和随机博弈以处理转移概率不确定性，证明其确定性与最优策略存在性，并指出决策问题在NP∩coNP中。
Stochastic Games with Synchronizing Objectives
我们考虑两个玩家在有限图上玩无限多轮的随机游戏。随机博弈通过增加一个对手来推广马尔可夫决策过程（MDP），通过增加随机性来推广两个玩家的确定性博弈。博弈的结果是博弈图状态的一系列分布。我们考虑同步目标，它要求概率质量在一组目标状态中积累，或者总是，一次，无限频繁，或者总是在结果序列中的某个点之后;以及肯定获胜（如果累积概率等于1）和几乎肯定获胜（如果累积概率任意接近1）的获胜模式。我们提出的算法来计算这些同步模式中的每一个的获胜分布的集合，显示相应的决策问题是PSPACE完全同步一次和无限经常，和PTIME完全同步总是和总是在某个点之后。这些界限是显着符合MDPs的特殊情况下，而算法的解决方案和证明技术是相当多的参与，即使是确定性的游戏。这是因为这些博弈具有不完美信息的味道，特别是它们不是确定的，并且需要考虑随机策略，即使在博弈图中没有随机选择。此外，结合博弈图中的随机性，有限记忆策略通常是不够的（对于无限频繁的同步）。
Reducing Stochastic Games to Semidefinite Program Feasibility
通过多项式时间还原，将随机游戏问题转化为半定程序可行性问题，扩展了半定规划在博弈论中的应用范围。
The Complexity of Simple Stochastic Games
在本文中，我们调查的计算时间复杂度的各种简单的随机博弈问题，我们给出了一个概述的最知名的算法与每个问题。
Approximating Nash Equilibria in Normal-Form Games via Stochastic Optimization
该研究提出首个可用于无偏蒙特卡洛估计的标准型博弈近似纳什均衡损失函数，结合非凸随机优化技术得到有理论保证的新算法，实验证实随机梯度下降法效果优于现有最优方法。
Computing Nash Equilibria in Multiplayer DAG-Structured Stochastic Games with Persistent Imperfect Information
许多重要的现实世界的设置包含多个玩家在一个未知的持续时间与概率状态转换的相互作用，自然建模为随机游戏。随机博弈算法的研究主要集中在两人零和博弈、完全信息博弈和局部信息不扩散博弈。我们提出了一个算法近似纳什均衡在多人一般和随机博弈与持续不完美的信息，延伸到整个游戏。我们在一个4人的海军战略规划场景中进行了实验。使用一个新的程序，我们能够证明，我们的算法计算的战略，密切接近纳什均衡在这个游戏中。
Acceptable Strategy Profiles in Stochastic Games
本文提出了一种新的多人随机游戏解概念，即可接受的策略配置文件。对于随机博弈中的每个参与者$i$和状态$s$，设$w_i(s)$为实数。一个策略简档是\emph{$w$-acceptable}，其中$w=(w_i(s))$，如果每个参与者在每个初始状态$i$的折扣收益至少是$w_i(s)$，假设参与者的折扣因子足够接近1。我们的目标是提供简单的策略配置文件是$w$ -可接受的支付向量$w$，其中所有的坐标都是高的。
Decentralized Q-Learning for Stochastic Teams and Games
只有少数学习算法适用于随机动态团队和游戏，推广马尔可夫决策过程的分散随机控制问题，涉及可能是自私的决策者。游戏中的学习通常很困难，因为游戏是一个非静态环境，每个决策者都希望在其他决策者也在学习的情况下，用最少的信息学习最佳决策。在随机动态博弈中，学习更具挑战性，因为在学习过程中，决策者会改变系统的状态，从而改变未来的成本。本文提出了随机对策的分散Q-学习算法，并研究了弱非循环情形下的收敛性，其中团队问题是一个重要的特例。该算法是分散的，因为每个决策者只能访问其本地信息，状态信息和本地成本实现;此外，它完全无视其他决策者的存在。我们表明，这些算法收敛到均衡政策几乎肯定在大型类的随机对策。
Parallel Algorithm for Approximating Nash Equilibrium in Multiplayer Stochastic Games with Application to Naval Strategic Planning
许多现实世界的域包含多个代理的行为策略与概率的过渡和不确定的（潜在的无限）的持续时间。这样的设置可以被建模为随机游戏。虽然已经开发了用于求解的算法（即，计算博弈论解的概念，如纳什均衡）两人零和随机博弈，非零和和多人随机博弈的算法研究是有限的。我们提出了一个新的算法，这些设置，这构成了第一个多人随机游戏的并行算法。我们提出了一个4人随机游戏的海军战略规划方案的实验结果，表明我们的算法能够快速计算策略构成纳什均衡到一个非常小的程度的近似误差。
The Complexity of Infinite-Horizon General-Sum Stochastic Games
研究了n人无限时间广义和随机对策中稳态纳什均衡（NE）的计算复杂性。我们专注于计算NE在这样的随机游戏时，每个球员被限制为选择一个固定的政策和奖励打折的问题。首先，我们证明计算这样的NE是在PPAD（除了显然是PPAD硬）。第二，我们考虑这种游戏的回合制专业化，在每个状态下，最多只有一个玩家可以采取行动，并表明这些（非常简单的）游戏仍然是PPAD困难的。第三，我们表明，根据进一步的结构假设的回报计算NE在这种回合制游戏是可能的多项式时间。为了实现这些结果，我们建立了更广泛的效用随机游戏的结构事实，包括单调性的单状态单动作的变化和减少设置，每个玩家控制一个单一的状态下的效用。
Stochastic Hamiltonian Gradient Methods for Smooth Games
对抗性公式在机器学习中的成功为流畅的游戏带来了新的动力。在这项工作中，我们专注于一类随机哈密顿方法，并提供了第一个收敛保证某些类的随机光滑游戏。我们提出了一种新的无偏估计的随机哈密顿梯度下降（SHGD），并强调其优点。利用优化文献中的工具，我们表明，SHGD线性收敛到一个稳定点的邻域。为了保证收敛到精确解，我们分析了SHGD与一个递减的步长，我们还提出了第一随机方差约化哈密顿方法。我们的研究结果提供了第一个全球非渐近最后收敛保证一类随机无约束双线性游戏和更一般的随机游戏，满足“充分双线性”的条件，特别是包括一些非凸非凹问题。我们补充我们的分析与实验随机双线性和充分双线性游戏，我们的理论被证明是紧密的，和简单的对抗性机器学习配方。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈
发表机构由 AI 从论文文本抽取，如发现错误，欢迎反馈修正建议。