再探纳什均衡：简单中隐藏的混沌与复杂

Partial-Information Q-Learning for General Two-Player Stochastic Games

In this article we analyze a partial-information Nash Q-learning algorithm for a general 2-player stochastic game. Partial information refers to the setting where a player does not know the strategy or the actions taken by the opposing player. We prove convergence of this partially informed algorithm for general 2-player games with finitely many states and actions, and we confirm that the limiting strategy is in fact a full-information Nash equilibrium. In implementation, partial information offers simplicity because it avoids computation of Nash equilibria at every time step. In contrast, ful…

具有简单纳什均衡的多人成本对策

Multiplayer Cost Games with Simple Nash Equilibria

在分布式和嵌入式系统的设计中，带有自私代理的多人游戏自然会出现。由于自私主体的目标通常既不等价也不对立，因此这种博弈是非零和博弈。我们研究这样的游戏，并表明，一个大类的这些游戏，包括游戏的个人目标是平均或折扣的回报，或定量可达性，并表明他们不仅有一个解决方案，但一个简单的解决方案。我们建立的纳什均衡的存在性，由k个记忆策略，每个代理人在一个设置与k个代理，一个主要和k-1个次要的战略。主策略描述了当所有代理人都遵守时会发生什么，而次策略确保所有其他代理人立即开始合作，反对首先偏离计划的代理人。这种简单性很重要，因为理性代理人是一种理想化。实际上，代理人必须用非常有限的资源来决定他们的行动，而需要指数级甚至非基本实现的复杂策略实际上无法实现。因此，我们在本文中证明的简单策略的存在，持有的承诺，可实施性。

图形游戏的统计物理方法：局部和全局相互作用

Statistical physics approach to graphical games: local and global interactions

在图形游戏中，智能体与图上的邻居进行游戏，以达到适当的平衡状态。这里相关的问题是描述平衡集和发现有效的算法来找到这样的平衡（解决方案）。我们考虑一个表示的游戏，扩展到图形游戏，以方便地处理本地和全球的相互作用，并使用腔方法的统计物理研究的几何结构的平衡空间。该方法还提供了一个分布式和本地算法来找到一个平衡。为了简单起见，我们只考虑纯纳什均衡，但该方法也可以扩展到处理（近似）混合纳什均衡。

噪声反馈下零和矩阵博弈中Nash遗憾最小化的局限性与可能性

On the Limitations and Possibilities of Nash Regret Minimization in Zero-Sum Matrix Games under Noisy Feedback

本文研究噪声反馈下零和矩阵博弈的Nash遗憾最小化，证明现有算法存在$\Omega(\sqrt{T})$下界，并提出首个实现实例相关$\text{polylog}(T)$遗憾的算法，经实证验证。

On Sparse Discretization for Graphical Games

This short paper concerns discretization schemes for representing and computing approximate Nash equilibria, with emphasis on graphical games, but briefly touching on normal-form and poly-matrix games. The main technical contribution is a representation theorem that informally states that to account for every exact Nash equilibrium using a nearby approximate Nash equilibrium on a grid over mixed strategies, a uniform discretization size linear on the inverse of the approximation quality and natural game-representation parameters suffices. For graphical games, under natural conditions, the disc…

《搭便车者的关联网络指南：一种博弈论方法》

The Hitchhiker's Guide to Affiliation Networks: A Game-Theoretic Approach

我们提出了一类新的博弈论模型的网络形成中的策略是不直接相关的边缘的选择，而是更普遍地对应于社会努力的发挥。因此，观察到的社会网络是一种表达性战略互动的副产品，它可以更自然地解释复杂社会结构的出现。在这个框架内，我们提出了一个自然的网络形成游戏中，代理公用事业是本地定义的，尽管它的简单性，产生了丰富的一类均衡，表现出结构特性，通常观察到的社交网络-如三元封闭-已被证明是难以捉摸的，在大多数现有的模型。具体来说，我们考虑一个游戏，其中玩家组织网络活动的成本随着与会者的数量而增长。活动的成本由组织者承担，但所有参与者都能获得同等的收益：在每个时间段内超过一定数量r的活动中，任何两个玩家之间都会形成一个链接。这样得到的连接图就是模型的社会网络。我们分析了这个博弈的纳什均衡，当每个参与者从网络中的所有邻居那里获得收益a>0，并且成本是线性的，即，当具有L个受邀者的事件的成本为b+cL时，其中b>0且c>0。当a/cr > 1且b足够小时，所有的纳什均衡都有一个完整的图作为它们的社会网络;当a/cr < 1时，纳什均衡对应于一个丰富的社交网络类，所有这些网络都有大量的聚类，因为聚类系数低于平均度的倒数。此外，对于任何具有有限平均值的度序列，并且没有太多的一阶或二阶顶点，我们可以构建一个纳什均衡，从而产生具有给定度序列的社会网络。

面向离线零和 Markov 博弈的基于模型的强化学习

Model-Based Reinforcement Learning for Offline Zero-Sum Markov Games

针对离线两人零和 Markov 博弈的 Nash 均衡学习，提出悲观基于模型算法 VI-LCB-Game，在全准确率范围内取得改进 min{A,B} 倍的 minimax 最优样本复杂度。