We show that an N-person non-cooperative semi-Markov game under limiting ratio average pay-off has a pure semi-stationary Nash equilibrium. In an earlier paper, the zero-sum two person case has been dealt with. The proof follows by reducing such perfect information games to an associated semi-Markov decision process (SMDP) and then using existence results from the theory of SMDP. Exploiting this reduction procedure, one gets simple proofs of the following: (a) zero-sum two person perfect information stochastic (Markov) games have a value and pure stationary optimal strategies for both the players under discounted as well as undiscounted pay-off criteria. (b) Similar conclusions hold for N-person non-cooperative perfect information stochastic games as well. All such games can be solved using any efficient algorithm for the reduced SMDP (MDP for the case of Stochastic games). In this paper we have implemented Mondal's algorithm to solve an SMDP under limiting ratio average pay-off criterion.
Globalized Robust Markov Perfect Equilibrium for Discounted Stochastic Games and its Application on Intrusion Detection in Wireless Sensor Networks: Part I -- Theory
Analysis of Performance Parameters in Wireless Networks by using Game Theory for the non Cooperative Slotted Aloha Enhanced by ZigZag Decoding Mechanism
On the Complexity of Computing Markov Perfect Equilibrium in General-Sum Stochastic Games
Center on Frontiers of Computing Studies（计算研究前沿中心）；Peking University（北京大学）；Huawei R&D UK（华为英国研发中心）；University College London（伦敦大学学院）；Institute for AI, Peking University（北京大学人工智能研究院）
类似于马尔可夫决策过程在强化学习中的作用，随机游戏（SG）为多智能体强化学习（MARL）和顺序智能体交互的研究奠定了基础。本文证明了在指数精度下计算有限状态折扣随机博弈的近似马尔可夫完美均衡是\textbf{PPAD} -完全的。我们采用了一个函数与多项式有界的描述在战略空间转换MPE计算到一个不动点问题，即使随机游戏可能需要一个指数数量的纯策略，在国家的数量，为每个代理。完整性结果遵循将定点问题简化为{ \sc End of the Line}。我们的研究结果表明，在SG中发现MPE极不可能是\textbf{NP} -困难的，除非\textbf{NP} = \textbf{co-NP}。我们的工作为MARL研究提供了信心，研究MPE计算一般和SG和开发富有成效的算法，目前零和SG。
Cooperative Equilibrium: A solution predicting cooperative play
纳什均衡（NE）假设参与人总是做出最佳反应。然而，这并不总是正确的;有时人们合作，即使这不是最佳对策。例如，在囚徒困境中，人们经常合作。合作行为背后是否有规则？为了回答这个问题，我们提出了一个新的均衡概念：完美合作均衡（PCE），以及两个相关的变体：最大PCE和合作均衡。PCE可能有助于解释在实践中观察到合作的游戏中玩家的行为。一个玩家在PCE中的收益至少和在任何NE中一样高。然而，PCE并不总是存在。因此，我们考虑α-PCE，其中α考虑了合作程度; PCE是0-PCE。每个博弈都有一个帕累托最优的最大PCE（M-PCE）;也就是说，α最大的α-PCE。我们发现，M-PCE在相当多的游戏中预测行为表现良好。我们还考虑了合作均衡（CE），这是PCE的另一种推广，它考虑了惩罚。有趣的是，所有帕累托最优M-PCE都是CE。我们证明，在2人游戏，PCE（如果存在），M-PCE，CE都可以找到在多项式时间使用双线性规划。这与纳什均衡形成对比，纳什均衡即使在2人博弈中也是PPAD完全的[Chen，Deng，and Teng 2009]。我们将M-PCE与coco值[Kalai and Kalai 2009]进行比较，这是另一个试图捕获合作的解决方案概念，无论是公理还是代数表征，并表明两者密切相关，尽管它们的定义非常不同。
Efficiently Computing Nash Equilibria in Adversarial Team Markov Games
University of California, Irvine（加州大学欧文分校）；Carnegie Mellon University（卡内基梅隆大学）；Columbia University（哥伦比亚大学）；University of California, Santa Cruz（加州大学圣克鲁兹分校）
纳什均衡策略的求解是多智能体强化学习的核心问题，在理论和实践中都受到了广泛的关注。然而，迄今为止，可证明的保证要么仅限于完全竞争或合作的情况，要么强加了在大多数实际应用中难以满足的强有力的假设。在这项工作中，我们离开这些先前的结果调查无限地平线\emph{adversarial team Markov games}，一个自然的和动机良好的一类游戏中，一队同样感兴趣的球员-在没有任何明确的协调或沟通-是竞争对手的球员。这种设置允许零和马尔可夫博弈和马尔可夫势博弈的统一处理，并作为一个步骤，以模拟更现实的战略互动，同时具有竞争和合作的利益。我们的主要贡献是第一个算法计算平稳$ε$ -近似纳什均衡的对抗团队马尔可夫游戏的计算复杂性是多项式的所有自然参数的游戏，以及$1/ε$。所提出的算法是特别自然和实用的，它是基于执行独立的策略梯度步骤，为每个球员在团队中，在串联与最佳对策从对手的一方，反过来，对手的政策，然后通过求解一个精心构造的线性规划。我们的分析利用非标准的技术来建立KKT最优性条件的非凸约束的非线性规划，从而导致自然的解释诱导拉格朗日乘子。一路上，我们显着扩展了对抗（正常形式）团队游戏中的最优策略的重要特征，由于Von Stengel和Koller（GEB '97）。
