Backward Induction for Repeated Games
本文提出了一种计算具有折扣支付的无限次重复博弈的近似子博弈完美纳什均衡的逆向归纳法。这使用了选择单子Transformer，结合了可搜索的集合单子，它被看作是一个“拓扑紧凑”的非决定论概念，以及一个简单的可计算实数模型。这是埃斯卡多和奥利瓦的高阶序贯博弈理论在不完全信息博弈中的首次应用，与传统的博弈论分析相比，懒惰评估（以及其数学上的优雅）为我们做了不平凡的工作。由于缺乏对这种方法的全面理论理解（而且似乎很难），我们认为这是一篇受到理论思想启发的“实验”论文。我们使用著名的迭代囚徒困境作为一个工作的例子。
2018-07-11 cs.GT cs.LO
Safe and Nested Subgame Solving for Imperfect-Information Games
Carnegie Mellon University（卡内基梅隆大学）
在无信息博弈中，一个子博弈中的最优策略可能依赖于其他未到达子博弈中的策略。因此，子博弈不能孤立地求解，而必须将整个博弈的策略作为一个整体来考虑，这与完全信息博弈不同。然而，可以先近似整个博弈的解，然后通过求解单个子博弈来改进它。这被称为子博弈求解。我们引入子博弈解决技术，在理论和实践中优于以前的方法。我们还展示了如何调整它们，以及过去的子博弈求解技术，以响应原始动作抽象之外的对手动作;这显着优于现有的最先进的方法，动作翻译。最后，我们表明，子博弈求解可以重复的游戏进展下来的游戏树，导致低得多的可利用性。这些技术是Libratus的关键组成部分，Libratus是第一个在单挑无限制德州扑克中击败顶级人类的AI。
2017-11-16 cs.AI cs.GT
Fictitious Play in Extensive-Form Games of Imperfect Information
研究不完全信息扩展式博弈中虚构博弈的长期行为，推广Monderer-Shapley收敛结果，并借助惯性和遗忘记忆证明实际博弈路径收敛到纯纳什均衡。
2025-04-25 cs.GT math.OC
Deviator Detection under Imperfect Monitoring
Grim-trigger策略是在迭代博弈中维持均衡的基本机制：参与者沿着商定的路径合作，一旦一个参与者偏离，其他参与者就会形成联盟，将他降低到他的最小最大水平。触发这种策略的一个前提条件是，偏离的参与者的身份成为其他参与者的共同知识。这在信息结构只允许对所玩的动作或全局状态进行不完全监控的游戏中可能很难或不可能实现。我们研究的问题，合成有限状态的策略，从一个商定的战略配置文件中发挥有限的图形与不同的信息结构的游戏检测偏差。我们表明，问题是不可判定的，在一般情况下，全球的状态不能被监测。另一方面，我们证明了在完美的监测下的全球状态和不完美的监测行动，问题变得可判定的，我们提出了一个有效的合成过程，涵盖了无限重复的游戏与私人监控。
2017-12-27 cs.DC cs.GT cs.MA
Imperfect best-response mechanisms
最佳响应机制（Nisan，Schapira，Valiant，Zohar，2011）为研究各种分布式协议提供了一个统一的框架，其中参与者被指示反复对彼此的策略做出最佳响应。这些机制的两个基本特征是趋同和激励相容。这项工作研究的收敛性和激励相容性条件下，这种机制时，球员不能保证总是最好的反应，但他们发挥不完美的最佳对策。也就是说，在每一个时间步，每个参与者都根据某个概率参数偏离规定的最佳对策策略。结果解释了收敛和激励相容性在多大程度上取决于玩家从不犯错的假设，以及这些协议对“噪音”或“错误”的鲁棒性。
2014-01-31 cs.CC cs.GT
Opponent Modeling in Multiplayer Imperfect-Information Games
Ganzfried Research（甘兹弗里德研究所）
针对多人不完美信息博弈中传统纳什均衡策略忽略对手行为的缺陷，提出一种通过反复交互收集观察的对手建模算法，在三人 Kuhn poker 中显著优于包括精确纳什均衡在内的所有基线智能体。
2024-07-29 cs.AI cs.GT cs.MA
Test-then-Punish: A Statistical Approach to Repeated Games
CMAP, CNRS, École polytechnique（巴黎综合理工学院）；Inria Saclay, Université Paris Saclay（萨克雷大学）；Inria Paris, Ecole Normale Supérieure, PSL, France, University of California, Berkeley（巴黎高等师范学院）；University of California, Berkeley（加州大学伯克利分校）
本文提出了一种基于统计检验的重复游戏合作维持策略，通过测试后惩罚机制实现合作，并在不完美监控条件下达成纳什均衡。
2026-03-05 cs.GT stat.AP
Designing Efficient Resource Sharing For Impatient Players Using Limited Monitoring
有效共享资源的问题几乎无处不在。除了纯粹的公共物品，每个代理人的使用都产生了负外部性;负外部性往往如此之强，以至于在短期内不可能进行有效的分享。我们发现，矛盾的是，不可能在短期内有效的共享提高了长期有效的共享的可能性，即使结果取决于随机行动，监控是有限的，用户没有耐心。我们的分析基础上熟悉的框架，重复的游戏与不完善的公众监督，但我们扩展的框架，以查看由设计师选择的监督结构谁平衡的好处和成本更准确的观察和报告。我们的结论比通常的民间定理强得多：我们不需要一个丰富的信号结构或耐心的用户，并提供了一个明确的在线建设的均衡策略。
2013-09-01 cs.GT
Reasoning about Human-Friendly Strategies in Repeated Keyword Auctions
University of Luxembourg（卢森堡大学）；Télécom Paris（巴黎电信学院）；Université de Toulouse - IRIT（图卢兹大学 - 图卢兹信息研究所）；University of Naples Federico II（那不勒斯费德里科二世大学）
在在线广告中，搜索引擎通过拍卖连续出售关键字的广告位置。这个问题可以被看作是一个无限重复的游戏，因为每当用户使用关键字执行查询时，就会执行拍卖。由于广告商可能会频繁地改变他们的出价，这个博弈将有一个大的均衡集，可能有复杂的策略。在本文中，我们提出了使用自然的推理策略，在这样的设置，因为它们是由人工代理有限的内存和/或计算能力，以及人类用户可以理解的处理。为了实现这一目标，我们引入了一个定量版本的战略逻辑与自然的战略在不完美的信息设置。在第一步中，我们将展示如何为重复的关键字拍卖策略建模，并利用该模型来证明评估此游戏的属性。在第二步中，我们研究的逻辑关系的区分能力，表现力和模型检查的复杂性，有和没有召回的策略。
2022-01-24 cs.AI cs.GT
Efficiently Training Neural Networks for Imperfect Information Games by Sampling Information Sets
Johannes Kepler University（约翰开普勒大学）；LIT AI Lab（LIT人工智能实验室）；University of Alberta（阿尔伯塔大学）
针对不完全信息博弈训练集构建难的问题，本文实证研究了完美信息评估预算的分配策略，发现为更多不同局面采样约3个状态的效果优于少样本重复采样，样本多样性比目标质量更重要。
2024-07-08 cs.AI cs.GT cs.LG
Is Learning Effective in Dynamic Strategic Interactions? Evidence from Stackelberg Games
本文研究动态贝叶斯Stackelberg博弈中领导者能否通过重复互动学习改进策略，证明即使追随者完全战略且类型未知，学习仍有效，并给出基于混合整数线性规划的算法及启发式近似方法。
2025-04-22 cs.GT
Consistent Opponent Modeling in Imperfect-Information Games
Ganzfried Research（甘兹弗里德研究）
针对不完全信息博弈中现有对手建模方法无法保证收敛到对手真实策略的问题，提出一种基于序列形式博弈表示和投影梯度下降的凸优化算法，实现高效且一致的对手建模。
2026-10-25 cs.AI cs.GT cs.MA
Stackelberg Punishment and Bully-Proofing Autonomous Vehicles
Brown University（布朗大学）
重复博弈中的互利行为可以通过惩罚的威胁来实施，正如博弈论中著名的“民间定理”所揭示的那样。“然而，对一个球员来说，产生这些抑制因素是有代价的。在这项工作中，我们试图通过计算“Stackelberg惩罚”来最大限度地减少这种成本，在这种惩罚中，玩家选择一种行为，在假设其他玩家将采取最佳对策的情况下，充分惩罚其他玩家，同时最大化自己的得分。这个想法推广了Stackelberg均衡的概念。已知的用于计算Stackelberg均衡的有效算法可以适于有效地产生Stackelberg惩罚。我们展示了这个想法在一个涉及虚拟自动驾驶汽车和人类参与者的实验中的应用。我们发现，具有Stackelberg惩罚政策的自动驾驶汽车不鼓励人类驾驶员在需要社会谈判的驾驶场景中进行欺凌。
2019-08-23 cs.AI cs.GT cs.HC
Zero Knowledge Games
本文提出具有不完美回忆和不完全信息的非揭示性零知识博弈模型，引入修改的滑动分组码生成知情程度的共同知识，证明双方知情的博弈在混合策略纳什均衡中确立信任效用，并指出不知情者会暴露状态且验证意愿可能被侵蚀。
2024-09-22 cs.AI cs.GT
Time-aware uniformization of winning strategies
无限持续时间的两人赢/输游戏涉及到包括计算机科学和逻辑学在内的多个学科。如果这样一个游戏有确定性的获胜策略，人们可能会问这样的策略有多简单。答案可能有助于实际执行，或在信息不完善的情况下获胜，或隐藏敏感信息，特别是在重复游戏的情况下。给定一个无限持续时间的两人同时赢/输博弈，本文考虑了所玩动作历史上的等价关系。这里使用的经典限制是等价历史具有相等的长度，因此是\emph{time awareness}。给出了一个充分条件，使得如果一个参与者有获胜策略，她有一个规定相同的行动在等效的历史，因此\emph{uniformization}。证明是相当有建设性的，并保持了策略记忆的有限性，反例表明结果的相对紧密性。对于有状态和颜色的博弈，有几个推论。
2020-02-03 cs.FL cs.GT
Who Is Really Playing? Strategic Interaction in AI-Guided Populations
Bar-Ilan University（巴伊兰大学）
本文研究了大语言模型如何通过指导多个群体中的代理实现合作，发现即使基础游戏激励不一致，共享LLM指导也能维持合作，证明了针对LLM的folk定理。
2026-07-31 cs.GT cs.MA econ.TH
Toward a Classification of Finite Partial-Monitoring Games
部分监控博弈构成了不完美反馈的序列决策问题的数学框架：学习者重复选择一个动作，对手用一个结果回应，然后学习者遭受损失并接收反馈信号，这两者都是动作和结果的固定函数。学习者的目标是最小化他的总累积损失。我们对这些游戏的分类进展的基础上，他们的极大极小期望遗憾。也就是说，我们几乎所有的游戏有两个结果和有限数量的行动：我们表明，他们的极大极小预期遗憾是零，$\widetildeΘ(\sqrt{T})$，$Θ(T^{2/3})$，或$Θ(T)$，我们给这四类游戏一个简单而有效的可计算的分类。我们的希望是，结果可以作为一个垫脚石分类所有有限的部分监控游戏。
2011-10-11 cs.GT stat.ML
Sample-Efficient Learning of Correlated Equilibria in Extensive-Form Games
Peking University（北京大学）；UC Berkeley（加州大学伯克利分校）；Salesforce Research（赛富时研究院）
不完全信息可拓形式博弈（IIEFG）是现实世界中涉及不完全信息和顺序博弈的一种普遍模型。可拓形式相关均衡（EFCE）已被提出作为一个自然的解决方案的概念，多人一般和IIEFGs。然而，现有的算法，寻找EFCE需要从游戏的充分反馈，它仍然是开放的，如何有效地学习EFCE在更具有挑战性的强盗反馈设置，游戏只能通过观察学习从重复播放。本文提出了第一个样本有效的算法学习的EFCE从强盗反馈。我们首先提出$K$ -EFCE --一个更广义的定义，允许玩家观察并偏离推荐的动作$K$次。$K$ -EFCE包括EFCE作为$K=1$的特殊情况，并且是随着$K$增加而越来越严格的平衡概念。然后，我们设计了一个解耦的无遗憾算法，找到一个$\varepsilon$ -近似$K$ -EFCE内$\widetilde{\mathcal{O}}(\max_{i}X_iA_i^{K}/\varepsilon^2)$迭代在全反馈设置，其中$X_i$和$A_i$是信息集和行动的数量为$i$ -th播放器。我们的算法的工作原理是最大限度地减少了大范围的遗憾，在每个信息集，考虑到所有可能的推荐历史。最后，我们设计了一个基于样本的变体，我们的算法，学习的$\varepsilon$近似$K$ -EFCE内$\widetilde{\mathcal{O}}(\max_{i}X_iA_i^{K+1}/\varepsilon^2)…
2022-05-15 cs.GT cs.LG stat.ML
Simple Uncoupled No-Regret Learning Dynamics for Extensive-Form Correlated Equilibrium
Carnegie Mellon University（卡内基梅隆大学）
在规范型博弈中存在简单的非耦合无悔学习动态收敛到相关均衡是多智能体系统理论中的一个著名结果。具体来说，20多年前就已经知道，当所有参与者在重复的正态形式博弈中寻求最小化他们的内部遗憾时，经验的博弈频率收敛到正态形式相关均衡。可拓形式博弈通过模拟连续和同时的行动以及不完美信息来概括正规形式博弈。由于博弈中私人信息的连续性和存在性，扩展形式博弈中的相关性与正规形式博弈中的相关性具有显著不同的性质，其中许多仍然是开放的研究方向。可拓形式相关均衡（EFCE）被认为是标准形式博弈中相关均衡概念的自然可拓形式对应。与后者相比，定义EFCE集合的约束要复杂得多，因为相关设备必须考虑每个参与者在整个游戏中进行观察时的信念演变。由于这种显著增加的复杂性，导致EFCE的非耦合学习动态的存在长期以来一直是一个具有挑战性的开放研究问题。在这篇文章中，我们解决了这个问题，给出了第一个解耦的无悔动力学，收敛到一组EFCE在n-玩家一般和扩展形式的游戏完美的回忆。我们证明了每个博弈次数可以用博弈树大小的时间多项式来计算，并且当所有参与者根据我们的学习动态重复博弈时，博弈的经验频率被证明是O（T^-0.5）-近似的EFCE，并且在T次博弈重复之后具有高概率，并且EFCE几乎肯定在极限范围内。
2021-05-27 cs.GT cs.LG cs.MA
