ReLExS: Reinforcement Learning Explanations for Stackelberg No-Regret Learners
ETH Zurich(苏黎世联邦理工学院)
本文研究了双人 Stackelberg 博弈中跟随者受无悔约束时的均衡问题,证明了在无悔约束及特定跟随者策略下玩家仍能达到 Stackelberg 均衡,并给出了效用差的严格上界及常和博弈下总效用的有界性保证。
2024-08-26 cs.GT cs.LG
A "Quantal Regret" Method for Structural Econometrics in Repeated Games
我们提出了一个通用的方法来推断球员的价值观,从他们的行动在重复的游戏。该方法扩展并改进了(Nekipelov等人,EC 2015),并基于这样的假设,即玩家更有可能表现出后悔程度较低的行动序列。我们在两个不同的数据集上评估这种“量子遗憾”方法,这些数据集来自具有受控玩家值的重复游戏的实验:(Selten和Chmura,AER 2008)在各种两个玩家2x2游戏上的实验和我们自己在广告拍卖上的实验(Noti等人,WWW 2014)。我们发现,量子后悔方法是一致的,显着更精确的比任何“经典”的计量经济学方法,是基于纳什均衡,或“最小后悔”的方法(Nekipelov等人,EC 2015)。
2017-02-16 cs.GT
Playing the Player: A Heuristic Framework for Adaptive Poker AI
Spiderdime Systems(Spiderdime系统公司)
本文提出Patrick,一种基于最大化利用对手弱点的启发式框架,挑战传统扑克AI追求不可利用的观念,通过实验展示其在对抗人类对手时的高效性。
2025-12-04 cs.AI cs.GT
Randomized Minmax Regret for Combinatorial Optimization Under Uncertainty
不确定条件下组合优化的极大极小后悔问题可以看作是优化方与对手之间的零和博弈,优化方选择一个解,对手选择代价,目的是最大化参与方的后悔.现有的极小极大后悔模型只考虑确定性的解决方案/策略,并且大多数多项式可解问题的极小极大后悔版本是NP-难的。在本文中,我们考虑一个随机模型,其中优化玩家选择的概率分布(对应于一个混合策略)的解决方案和对手选择的成本与知识的球员的分布,但不是它的实现。我们表明,在这个随机模型下,极小极大遗憾版本的任何多项式可解的组合问题成为多项式可解的。这适用于不确定性的区间和离散情景表示。使用随机模型,我们现有的近似算法的确定性模型的基础上的原始-对偶方法的新的证明。最后,我们证明了一般凸不确定性下的极小极大后悔问题是NP-困难的。
2014-09-20 cs.DM cs.GT
Security Strategies of Both Players in Asymmetric Information Zero-Sum Stochastic Games with an Informed Controller
考虑了一个两人零和非对称信息随机对策,其中只有一个局中人知道系统的状态,且转移律仅由知情局中人控制。对于知情的球员,它已被证明,安全策略只取决于信念和当前阶段。我们提供LP配方的大小是唯一的线性的大小不知情的球员的行动集计算历史为基础的和信仰为基础的安全策略。对于不知情的参与人,我们关注的是遗憾,即0和不知情的参与人在每种可能状态下保证的未来收益之间的差异。后悔是一个与信念大小相同的真实向量,并且只取决于知情参与者的行动和不知情参与者的策略。研究表明,不知情的局中人的安全策略只取决于后悔和当前阶段。然后给出了基于历史的安全策略、每个阶段的后悔值和基于后悔值的安全策略的LP公式。LP公式的大小再次与不知情玩家动作集的大小成线性关系。最后,以一个入侵检测问题为例,验证了本文的主要结论.
2017-11-07 cs.GT
Coordination without communication: optimal regret in two players multi-armed bandits
Microsoft Research(微软研究院);University of British Columbia(不列颠哥伦比亚大学)
我们考虑两个代理人同时玩同一个随机三臂强盗问题。两个特工在合作,但他们无法沟通。我们提出了一个策略,没有冲突的球员之间的所有(具有非常高的概率),并接近最佳的遗憾$O(\sqrt{T \log(T)})$。我们还认为,额外的对数项$\sqrt{\log(T)}$应该是必要的,通过证明一个完整的信息变量的问题的下限。
2020-07-09 cs.GT cs.LG cs.MA
Game Redesign in No-regret Game Playing
University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
我们研究的游戏重新设计的问题,其中外部设计师有能力改变支付函数在每一轮,但招致的设计成本偏离原来的游戏。玩家应用无遗憾学习算法以有限的反馈重复玩改变的游戏。设计者的目标是(i)激励所有玩家频繁地采取特定的目标动作配置文件;以及(ii)产生小的累积设计成本。我们提出了游戏重新设计算法,保证目标动作配置文件是在T-o(T)轮,而只产生o(T)的累积设计成本。游戏重新设计描述了积极和消极的应用:一个仁慈的设计者,激励玩家采取与原始游戏的解决方案相比具有更好的社会福利的目标动作配置文件,或者一个恶意攻击者,其目标动作配置文件使自己受益,但不是玩家。四个经典游戏的模拟证实了我们提出的重新设计算法的有效性。
2021-10-18 cs.GT cs.LG
Regret Minimization in Non-Zero-Sum Games with Applications to Building Champion Multiplayer Computer Poker Agents
在两人零和博弈中,如果两个博弈者都最小化他们的平均外部后悔,那么策略剖面的平均值收敛到一个纳什均衡。然而,对于n人一般和游戏,遗憾最小化的理论保证较少被理解。尽管如此,反事实遗憾最小化(CFR),一个流行的遗憾最小化算法的广泛形式的游戏,产生了获奖的三人德州扑克代理在年度电脑扑克比赛(ACPC)。在本文中,我们提供了第一套理论性质的遗憾最小化算法在非零和游戏证明,解决方案消除迭代严格控制。我们正式定义\emph{dominated actions}在扩展形式的游戏,显示CFR避免迭代严格支配的行动和战略,并证明,删除迭代支配的行动是足以赢得一个模拟锦标赛在一个小的扑克游戏。此外,对于两个玩家的非零和游戏,我们绑定的最坏情况下的性能,并表明,在实践中,后悔最小化可以产生非常接近均衡的策略。我们的理论进步使我们对CFR进行了新的修改,用于两个以上玩家的游戏,更有效,可以用来生成比以前更强大的策略。此外,我们提出了一个新的三人德州扑克代理,是使用CFR和一种新的游戏分解方法。我们的新代理赢得了2012年ACPC的三人项目,并击败了以前比赛中的三人项目,同时需要比2011年冠军更少的资源来产生。最后,我们表明,我们的CFR修改计算出一个战略,我们的新代理在四分之一的时间标准CFR使用一半的内存质量相等。
2013-04-30 cs.GT cs.MA
Knightian Robustness from Regret Minimization
我们考虑的拍卖中,球员有非常有限的知识,他们自己的估值。具体地说,一个博弈者$i$所拥有的关于真实估值的信息$θ^*$由一组分布组成,其中$θ_i^*$是从其中一个分布中得出的。我们分析了社会福利性能的VCG机制,不受限制的组合拍卖,当Boghtian球员,要么(a)选择一个遗憾最小化策略,或(b)诉诸遗憾最小化,只有进一步完善自己的一套非支配策略,如果需要的话。我们证明这种性能是非常好的。
2014-04-01 cs.GT
Sharing Information Without Regret in Managed Stochastic Games
研究了多人重复博弈中的信息共享问题。每一轮,每个玩家观察一个随机向量的一个子集,然后采取一个控制动作。每个参与者获得的效用取决于完整的随机向量和其他参与者的行动。一个例子是一个游戏,其中不同的奖励被放置在多个位置上,每个玩家只知道位置的子集中的奖励,并且玩家竞争收集奖励。分享信息可以帮助他人,但也会增加对理想地点的竞争。标准的纳什均衡和相关的均衡概念在这种情况下是不够的。相反,本文开发了一种算法,在每一轮,所有的球员通过他们的信息和预期的行动,以游戏管理器。管理者为每个参与者提供建议的行动,如果采取行动,最大化平均效用的凹函数,但每个参与者的平均效用不低于没有共享的情况。该算法使用每一轮给出的信息在线行动,不需要特定的随机事件或玩家行为模型。因此,本文的分析结果适用于非遍历的情况下,人类球员采取的任何行动序列。
2014-12-30 cs.GT cs.MA math.OC
Decentralized Online Bandit Optimization on Directed Graphs with Regret Bounds
AI Sweden(瑞典人工智能研究所)
我们考虑一个分散的多人游戏,发挥了$T$轮,领导者,追随者的层次结构描述的有向无环图。对于每一轮,图形结构决定了玩家的顺序以及玩家如何观察彼此的动作。在每一轮结束时,所有玩家都会根据他们的联合行动获得联合强盗奖励,用于更新玩家策略,以最大限度地减少联合伪遗憾。我们提出了一个学习算法的启发单人多臂土匪问题,并表明它实现了次线性联合伪遗憾的回合数的对抗性和随机土匪奖励。此外,我们量化了由于我们的问题的分散性质与集中设置相比所产生的成本。
2023-01-27 cs.GT cs.LG
On Measuring the Impact of Human Actions in the Machine Learning of a Board Game's Playing Policies
我们系统地研究了人工干预对策略棋盘游戏中计算机玩家训练的影响。在该游戏中,计算机玩家利用神经网络的强化学习来发展他们的游戏策略,并表现出缓慢的学习速度。人工干预可以显著提高学习性能,但系统地进行它似乎是一个集成的游戏开发环境,而不是自动进化学习的问题。
2006-11-30 cs.AI cs.GT cs.NE
Playing on a Level Field: Sincere and Sophisticated Players in the Boston Mechanism with a Coarse Priority Structure
谁会从一个可操纵的择校机制中获益,谁会因此而受损?研究结果的真诚和复杂的学生下的可操纵的波士顿机制相比,战略证明延期接受,我们提供了强大的“任何事情”定理的大型随机市场粗优先级结构。也就是说,有许多真诚而老练的学生更喜欢波士顿机制而不是延期录取,反之亦然。有些人甚至可以从真诚中受益(如果也被认为是这样)。我们的研究结果调和以前的理论和已知的实证结果之间的定性差异。最后,我们通过研究市场力量,可以影响这些机制之间的选择。
2020-06-09 cs.GT
Transcript of GPT-4 playing a rogue AGI in a Matrix Game
University College London(伦敦大学学院);Bath Spa University(巴斯斯巴大学)
本研究公开了GPT-4在矩阵博弈《QuAI Sera Sera》中扮演逃脱AGI“ADA”的完整交互记录,验证了GPT-4在多玩家无约束兵棋推演场景中具备自主通信、合理决策的 competent 博弈能力。
2024-05-16 cs.AI cs.GT
No-Regret Learning Dynamics for Extensive-Form Correlated Equilibrium
Politecnico di Milano(米兰理工大学);Carnegie Mellon University(卡内基梅隆大学)
在规范型博弈中,简单的、解耦的无悔动力学收敛到相关均衡的存在是多智能体系统理论中的一个著名结果。具体来说,20多年前就已经知道,当所有参与者在重复的正态形式博弈中寻求最小化他们的内部遗憾时,经验的博弈频率收敛到正态形式相关均衡。可拓形式(也就是树形)博弈通过对连续和同时移动以及私有信息进行建模来推广正规形式博弈。由于博弈中的序列性质和部分信息的存在,广义形式的相关性与正规形式的相关性有显着不同的性质,其中许多仍然是开放的研究方向。扩展形式相关均衡(EFCE)是规范形式相关均衡的自然扩展形式对应。然而,目前尚不清楚EFCE是否是由于解偶联剂动力学而出现的。在本文中,我们给出了第一个非耦合的无悔动力学收敛到集的EFCE在$n$ -播放器一般和扩展形式的游戏,完美的回忆。首先,我们引入了一个概念的触发遗憾的扩展形式的游戏,扩展了正常形式的游戏中的内部遗憾。当每个玩家都有低触发后悔时,经验的游戏频率接近EFCE。然后,我们给出了一个有效的无触发后悔算法。该算法将触发后悔问题分解为局中人在每个决策点的局部子问题,并由每个决策点的局部解构造局中人的全局策略。
2022-09-02 cs.AI cs.GT cs.LG
Faster Rates for No-Regret Learning in General Games via Cautious Optimism
MIT EECS(麻省理工学院电子工程与计算机科学系);Google DeepMind(谷歌DeepMind)
本文提出首个非耦合学习算法,结合经典OMWU与自适应非单调学习率,在多人一般和博弈中实现 $O(n \log^2 d \log T)$ 的每玩家遗憾值,指数级改善了对动作数量的依赖并降低了对迭代次数的依赖。
2025-03-31 cs.GT cs.LG math.OC
Iterated Regret Minimization in Game Graphs
最近,J.Y. Halpern和R.在经典的战略游戏。对于许多感兴趣的博弈,这种新的解决方案概念提供的解决方案被认为比传统博弈概念(如纳什均衡)提供的解决方案更合理。虽然计算迭代后悔显式矩阵游戏的概念和计算上很容易,没有什么是已知的计算迭代后悔的矩阵被定义为隐式使用游戏树,游戏DAG或更一般的游戏图的游戏。本文研究了图上无限持续时间两人定量非零和博弈的迭代后悔最小化问题。我们认为可达性目标不一定是对立的。每一条边都是用整数加权的--每个参与者一个--而收益是由沿着路径的权重之和来定义的。根据图的类别,我们给出多项式或伪多项式时间算法来计算一个策略,最大限度地减少一个固定的球员的遗憾。最后,我们给出算法来计算的两个球员,最小化树的迭代遗憾的战略,并严格正权重的图。
2010-04-15 cs.GT
Efficient Regret Minimization Algorithm for Extensive-Form Correlated Equilibrium
Carnegie Mellon University(卡内基梅隆大学);Strategic Machine, Inc.(Strategic Machine公司);Strategy Robot, Inc.(Strategy Robot公司);Optimized Markets, Inc.(Optimized Markets公司)
基于后悔最小化的自博弈方法已经成为计算大型二人零和扩展型博弈纳什均衡的最新方法。这些方法从根本上依赖于玩家的顺序策略空间的层次结构来构造一个后悔最小化器,递归地最小化游戏树中每个决策点的后悔。在本文中,我们介绍了第一个有效的后悔最小化算法计算的扩展形式的相关平衡在大型两人一般和游戏没有机会移动。设计这样的算法比设计对应的纳什均衡更具挑战性,因为定义相关计划空间的约束缺乏层次结构,甚至可能形成循环。我们表明,一些约束是冗余的,可以排除考虑,并提出了一个有效的算法,生成的空间的扩展形式的相关计划增量从剩余的约束。这种结构分解是通过一个特殊的保凸操作,我们硬币规模扩展。我们表明,一个遗憾的最小化可以设计为任何两个凸集的扩展,从分解,我们然后得到一个全球遗憾的最小化。我们的算法产生可行的迭代。实验表明,它显着优于以前的方法,对于较大的问题,它是唯一可行的选择。
2019-10-28 cs.AI cs.GT cs.LG
A Marriage between Adversarial Team Games and 2-player Games: Enabling Abstractions, No-regret Learning, and Subgame Solving
Politecnico di Milano(米兰理工大学);Politecnico di Torino(都灵理工大学)
\emph{Ex ante}相关性正在成为\emph{sequential adversarial team games}的主流方法,其中一个玩家团队在零和游戏中面对另一个团队。团队成员的信息不对称使得均衡计算\textsf{APX} -hard和团队策略不能直接在博弈树上表示。后一个问题阻止了大型2人零和游戏的成功工具的采用,例如\emph{e.g.},抽象,无悔学习和子游戏求解。这项工作表明,我们可以通过弥合连续对抗团队游戏和2人游戏之间的差距来弥补这一弱点。特别是,我们提出了一个新的,合适的游戏表示,我们称之为\emph{team-public-information},其中一个团队被表示为一个单一的协调员谁只知道信息共同的整个团队,并规定每个成员的任何可能的私人状态的行动。由此产生的表示是高度\emph{explainable},是一个2玩家树,其中团队的策略是行为的,具有直接的解释,并且在设计抽象时比原始的广泛形式更具表现力。此外,我们证明了我们的代表的回报等价,我们提供的技术,直接从广泛的形式,产生显着更紧凑的表示没有信息丢失。最后,我们实验评估我们的技术时,应用到一个标准的测试平台,比较其性能与当前最先进的。
2022-06-18 cs.AI cs.GT cs.MA
Regret Minimization with Adaptive Opponents in Repeated Games
Massachusetts Institute of Technology(麻省理工学院);OpenAI;University of Maryland, College Park(马里兰大学学院公园分校)
针对重复博弈中自适应对手的遗憾最小化问题,提出重复策略遗憾(RP-Regret)指标,并设计三种算法实现次线性遗憾,同时证明所有玩家最小化该遗憾可学习子博弈完美均衡。
2026-06-04 cs.AI cs.GT cs.LG
Robust No-Regret Learning in Min-Max Stackelberg Games
Brown University(布朗大学);Pomona College(波莫纳学院)
无遗憾学习算法的行为在两个玩家的最小-最大(即零和)游戏中得到了很好的理解。本文研究了具有依赖策略集的最小-最大博弈中的无悔学习行为,其中第一个局中人的策略约束第二个局中人的行为。这种游戏最好理解为顺序游戏,即,最小最大Stackelberg,游戏。我们考虑两种设置,一种是只有第一个玩家使用无遗憾算法选择他们的行动,而第二个玩家最好的反应,另一种是两个玩家都使用无遗憾算法。对于前一种情况下,我们表明,无悔动力学收敛到Stackelberg均衡。对于后者的情况下,我们引入了一种新的类型的遗憾,我们称之为拉格朗日遗憾,并表明,如果双方球员最大限度地减少他们的拉格朗日遗憾,然后发挥收敛到Stackelberg均衡。然后,我们观察到这两种设置中的在线镜像下降(OMD)动态分别对应于已知的嵌套(即,顺序)梯度下降-上升(GDA)算法和一个新的同步GDA类算法,从而建立这些算法的收敛到Stackelberg平衡。最后,我们分析了OMD动态的鲁棒性扰动调查在线最小-最大Stackelberg游戏。我们证明了OMD动力学是强大的一个大类的在线最小最大游戏独立的策略集。在依赖的情况下,我们证明了OMD动态的鲁棒性实验模拟他们在网上费舍尔市场,一个典型的例子,一个最小-最大的Stackelberg游戏依赖的策略集。
2022-04-13 cs.GT cs.LG econ.TH
My Fair Bandit: Distributed Learning of Max-Min Fairness with Multi-player Bandits
考虑N个合作但不交流的参与者,每个参与者从M个手臂中选择一个,进行T轮。玩家对每个手臂有不同的效用,可以表示为NxM矩阵。这些工具对玩家来说是未知的。在每个回合中,玩家选择一只手臂,并收到一个关于其效用的嘈杂观察。然而,如果任何其他玩家在该回合选择了同一只手臂,则所有碰撞的玩家都将由于冲突而获得零效用。玩家之间不可能有其他的沟通或协调。我们的目标是设计一个分布式算法,学习球员和武器之间的匹配,实现最大最小的公平性,同时最大限度地减少遗憾。我们提出了一个算法,并证明了它是遗憾最优的$\log\log T$的因素。这是第一个最大最小公平多人强盗算法(近)阶最优遗憾。
2020-08-21 cs.GT cs.MA
Near-Optimal No-Regret Learning for Correlated Equilibria in Multi-Player General-Sum Games
Carnegie Mellon University(卡内基梅隆大学);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Strategy Robot, Inc.(Strategy Robot 公司);Optimized Markets, Inc.(Optimized Markets 公司);Strategic Machine, Inc.(Strategic Machine 公司)
最近,Daskalakis,Fishelson和Golowich(DFG)(NeurIPS '21)表明,如果多人一般和正规型博弈中的所有代理都采用乐观乘法权重更新(OMWU),则每个玩家的外部遗憾是$O(\textrm{polylog}(T))$在$T$重复博弈后。我们将他们的结果从外部遗憾扩展到内部遗憾和交换遗憾,从而建立了以$\tilde{O}(T^{-1})$的速率收敛到近似相关均衡的解耦学习动态。由于Chen和Peng(NeurIPS '20),这大大提高了$O(T^{-3/4})$相关均衡的先前最佳收敛速度,并且在无遗憾框架内,它是最佳的-直到$T$中的多对数因子。为了获得这些结果,我们开发了新的技术,用于建立高阶光滑的学习动态涉及不动点运算。具体来说,我们建立了无内部后悔学习动力学的Stoltz和Lugosi(马赫学习'05)等效模拟无外部后悔动力学的组合空间。这使我们能够将多项式大小的马尔可夫链上的平稳分布的计算转换为指数大小的集合上的(表现更好的)线性变换,使我们能够利用与DFG类似的技术来接近最优地约束内部遗憾。此外,我们建立了一个$O(\textrm{polylog}(T))$无交换遗憾界的经典算法的Blum和Mansour(BM)(JMLR '07)。我们这样做是通过引入一种技术的基础上的柯西积分公式,规避了更有限的组合参数DFG。除了澄清BM的接近最优的遗…
2023-01-24 cs.GT cs.LG
Minimal Regret Walras Equilibria for Combinatorial Markets
Trier University(特里尔大学);University of Passau(帕绍大学)
本文提出Δ-遗憾瓦尔拉斯均衡的概念,通过参数化社会福利问题和敏感性理论,建立了低遗憾均衡的算法和下界推导方法。
2026-11-13 cs.GT math.OC
Tight Regret Upper and Lower Bounds for Optimistic Hedge in Two-Player Zero-Sum Games
The University of Tokyo(东京大学);RIKEN(日本研究机构)
本文研究两人零和博弈中乐观Hedge算法遗憾界对动作数量m和n的依赖最优性。通过将遗憾上界转化为优化问题,在已知对手动作数时将社会与个体遗憾界改进至O(sqrt(log m log n)),并给出匹配的算法依赖下界,最后提升了算法的末次迭代收敛率与动态遗憾界。
2025-10-13 cs.GT cs.LG stat.ML
Strategic Behavior and No-Regret Learning in Queueing Systems
本文研究了一个动态离散时间排队模型,在该模型中,每个阶段参与者都有一个新的任务,并且必须将所有的任务发送到一个容量有限的队列中。玩家有动机尽可能晚地发送他们的作业;然而,如果作业没有在固定的截止日期前退出队列,则作业的所有者将受到惩罚,并且该作业将被发送回玩家并在下一个周期加入队列。因此,系统的稳定性,即系统中工作数量的有界性,是不能保证的。我们表明,如果球员近视的战略,那么系统是稳定的,当惩罚是足够高的。此外,如果参与者使用一个从典型的无遗憾算法(指数权重)派生的学习算法,那么当惩罚大于一个取决于系统中工作总数的界限时,系统是稳定的。
2023-02-07 cs.GT math.PR
Hedging in games: Faster convergence of external and swap regrets
我们考虑玩家运行对冲算法或其乐观变体以重复玩$n$动作游戏$T$回合的设置。1)对于两人游戏,我们表明,乐观对冲的遗憾衰减在$\tilde{O}( 1/T ^{5/6} )$,改善了Syrgkanis,Agarwal,Luo和Schapire(NIPS'15)之前的约束$O(1/T^{3/4})$ 2)相反,我们表明香草对冲的收敛速度并不比$\tildeΩ(1/ \sqrt{T})$更好,解决了Syrgkanis,Agarwal,Luo和Schapire(NIPS'15)中提出的一个悬而未决的问题。对于一般的多人博弈,我们证明了当他们将乐观对冲与Blum和Mansour(JMLR'07)的经典外部到内部还原相结合时,每个玩家的交换遗憾以$\tilde{O}(m^{1/2} (n/T)^{3/4})$的速率衰减。该算法还可以被修改以实现针对自身的相同速率和针对对手的$\tilde{O}(\sqrt{n/T})$速率。通过标准连接,我们的上界也意味着更快的收敛到两人游戏中的粗相关均衡和多人游戏中的相关均衡。
2020-10-19 cs.DS cs.GT
ZERO: Playing Mathematical Programming Games
我们提出零,一个模块化的和可扩展的C++库接口数学编程和博弈论。ZERO为互惠双线性游戏(RBG)提供了一个全面的建模接口和算法工具包,即,同时非合作游戏,其中每个玩家解决一个数学规划,玩家变量为线性目标,对手变量为双线性目标。这类游戏将运筹学的经典问题推广到多智能体环境中。ZERO模块化结构为用户提供了设计新的RBG博弈理论模型和算法的所有基本要素,并找到了他们的纳什均衡。该库为整数非凸性,线性双层问题和具有平衡约束的线性平衡问题提供了额外的扩展支持。我们提供了软件的关键组件的概述,并展示了背包游戏,即,每个玩家解决一个二进制背包问题的游戏。为了促进数学规划和博弈论相互作用的实际方法论贡献,我们将ZERO作为开源软件发布。源代码、文档和示例可在www.getzero.one上查阅。
2021-12-12 cs.GT math.OC
No-regret Learning in Cournot Games
本文研究了具有连续行动的古诺博弈中无悔学习的收敛性。古诺博弈是许多社会经济系统的基本模型,参与者通过战略性地设定他们的产量来竞争。我们假设参与者没有充分的信息,因此不能预先计算出一个纳什均衡。两种类型的反馈被认为是:一个是强盗反馈,另一个是梯度反馈。为了研究诱导博弈序列的收敛性,引入测度收敛的概念,证明了博弈者的实际行动序列收敛于唯一的纳什均衡.此外,我们的结果自然地扩展了无遗憾学习算法的时间平均遗憾界,以获得最终迭代收敛速度。总之,我们的工作为游戏中的学习提供了显著更清晰的收敛结果,而无需对游戏属性进行强有力的假设(例如,单调性),并显示如何利用游戏信息反馈可以影响收敛速度。
2020-02-11 cs.GT cs.MA cs.SY
Transformers as Game Players: Provable In-context Game-playing Capabilities of Pre-trained Models
University of Virginia(弗吉尼亚大学);The Pennsylvania State University(宾夕法尼亚州立大学)
该研究针对现有Transformer上下文学习理论局限于单智能体的问题,聚焦两人零和博弈,证明预训练Transformer可在去中心化与中心化设置下通过上下文学习逼近纳什均衡,且架构可实现V-learning、VI-ULCB等经典多智能体博弈算法。
2024-10-13 cs.GT cs.IT cs.LG
Auctions Between Regret-Minimizing Agents
The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
我们分析的情况下,软件代理实现的遗憾最小化算法进行重复拍卖代表他们的用户。我们研究了第一价格和第二价格拍卖,以及它们的广义版本(例如,如用于广告拍卖的那些)。使用理论分析和模拟,我们表明,令人惊讶的是,在第二价格拍卖的球员有动机误报自己的真实估值自己的学习代理,而在第一价格拍卖这是一个占主导地位的策略,所有的球员如实报告他们的估值,他们的代理。
2022-03-25 cs.AI cs.GT cs.LG
Playing (Almost-)Optimally in Concurrent Büchi and co-Büchi Games
我们研究有限图上的两人并发随机博弈,Büchi和co-Büchi目标。第一个参与者的目标是最大化满足给定目标的概率。根据马丁关于布莱克威尔博弈的决定性定理,我们知道这样的博弈有一个值。自然的问题是:是否存在一个最优策略,也就是说,一个实现游戏价值的策略?什么是内存需要发挥(几乎)最佳?这种情况对于回合制游戏来说很容易描述,在这种情况下,位置纯策略足以在具有奇偶目标的游戏中发挥最佳作用。并发性使情况变得复杂和异构。对于大多数ω-正则目标,一般情况下确实不存在最优策略。对于某些目标(我们将提到),无限的内存也可能需要最优或几乎最优的游戏。我们还提供了本地的球员,以确保(几乎)最优策略的Büchi和合作Büchi目标的互动特征。这种表征依赖于游戏形式的属性,这些属性支撑着用于定义两个玩家的局部交互的形式主义。这些行为良好的游戏形式就像是一块基本的砖块,当它们在孤立的情况下行为良好时,可以组装成图游戏,并确保整个游戏的良好性能。
2022-11-24 cs.GT
A Soft Inducement Framework for Incentive-Aided Steering of No-Regret Players
Bilkent University(比尔肯特大学)
本文研究中介如何借助信息与激励引导双人正则形式博弈中的无遗憾参与者,刻画可引导条件与恒定支付下界,并提出一次性信息设计的 Stackelberg 增强方法以常数因子提升收敛速率。
2025-08-29 cs.GT cs.IT cs.LG
Actively Learning to Coordinate in Convex Games via Approximate Correlated Equilibrium
研究凸博弈中协调者如何在未知玩家成本函数时,通过主动查询玩家遗憾并利用贝叶斯优化学习近似相关均衡,提出的学习框架在交通分配博弈实验中得到验证。
2025-09-13 cs.GT
Game of Thrones: Fully Distributed Learning for Multi-Player Bandits
我们考虑了一个N人多臂强盗博弈,每个人从M个武器中选择一个进行T轮。每个参与人对武器有不同的期望奖励,并且瞬时奖励是独立同分布的或马尔可夫的。当两个或两个以上的玩家选择同一只手臂时,他们都获得零奖励。表现是用预期的后悔总和来衡量的,与最大化预期奖励总和的最佳武器分配给玩家相比。我们假设每个玩家只知道自己的行动和每回合获得的奖励。玩家无法观察其他玩家的行为,玩家之间也无法进行交流。我们提出了一个分布式算法,并证明它达到了预期的近O \left(\log T \right)的遗憾之和。这是第一个算法,以实现近秩序的最佳遗憾,在这个完全分布的情况下。所有其他作品都假设所有参与者都有相同的预期回报向量,或者参与者之间的沟通是可能的。
2021-04-05 cs.GT
Learning in Multi-Player Stochastic Games
Columbia University(哥伦比亚大学)
本文研究了有限时间内多局中人随机博弈中的同时学习问题。虽然随机博弈的典型目标解是一个纳什均衡,但这对许多参与者来说是难以解决的。相反,我们专注于{ \it相关均衡}的变体,如那些广泛的形式的游戏研究。我们从对抗性MDP问题的一个困难结果开始:即使对于3的视野,获得对最佳非平稳策略的次线性遗憾也是\textsf{NP} -当奖励和过渡都是对抗性的时。这意味着,收敛到最弱的自然解概念-正规形式的粗相关equilibrium-是不可能的,通过黑盒减少到一个没有遗憾的算法,即使在随机游戏与恒定的地平线(除非$\textsf{NP}\subseteq\textsf{BPP}$)。相反,我们转向一个不同的目标:当所有参与者使用这些算法时,{ \it生成}一个均衡。我们的主要结果是算法产生的{ \it extensive-form}相关的平衡,其运行时间是指数的地平线,但多项式的所有其他参数。我们给出了一个类似的算法,这是多项式的所有参数的“快速混合”随机游戏。我们还展示了一种方法,有效地达到正常形式的粗相关平衡的“单控制器”随机游戏,遵循传统的无悔的方法。当共享的随机性是可用的,这两个生成算法可以扩展到同时遗憾界和收敛在传统意义上。
2022-10-25 cs.AI cs.GT cs.LG
On the Limitations and Possibilities of Nash Regret Minimization in Zero-Sum Matrix Games under Noisy Feedback
University of Washington(华盛顿大学)
本文研究噪声反馈下零和矩阵博弈的Nash遗憾最小化,证明现有算法存在$\Omega(\sqrt{T})$下界,并提出首个实现实例相关$\text{polylog}(T)$遗憾的算法,经实证验证。
2025-05-24 cs.GT cs.LG
Bridging Utility Maximization and Regret Minimization
我们将一个玩家根据两个非常不同的理性模型(即效用最大化和后悔最小化)精炼自己的策略后得到的策略集联系起来。
2014-03-25 cs.GT
Instance-Dependent Regret Bounds for Learning Two-Player Zero-Sum Games with Bandit Feedback
The University of Tokyo(东京大学);RIKEN AIP(理化学研究所人工智能项目);University of Southern California(南加利福尼亚大学)
本文证明在仅带赌博反馈的双人零和正规形式博弈中,双方采用 Tsallis-INF 算法可实现实例相关的遗憾界,其中常数依赖于博弈间隙和纳什均衡结构,纯策略均衡时达到最优界并支持最后迭代收敛与高效均衡识别。
2025-02-24 cs.GT cs.LG
Game theory analysis when playing the wrong game
针对经典博弈论需完全知晓对手目标的局限,研究玩家误解对手目标的严格序数2×2双矩阵博弈,给出问题数学表述并枚举分析全部78个此类博弈,填补了相关研究空白。
2023-07-17 cs.GT
SpinGPT: A Large-Language-Model Approach to Playing Poker Correctly
LAMSADE, Université Paris Dauphine - PSL, CNRS, Paris, France(LAMSADE,巴黎政治经济大学-PSL,国家科学研究中心,法国)
SpinGPT是一种针对三人在线扑克格式Spin & Go量身定制的大型语言模型,通过监督微调和强化学习在扑克比赛中表现出色。
2026-02-23 cs.AI cs.GT cs.LG
No-regret learning in harmonic games: Extrapolation in the face of conflicting interests
Univ. Grenoble Alpes(格勒诺布尔大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Grenoble INP(格勒诺布尔国立高等工业学院);LIG(信息与信号处理实验室);Columbia University(哥伦比亚大学);Archimedes/Athena RC(阿基米德/雅典娜研究中心);Google DeepMind(谷歌DeepMind);Maison Française d’Oxford(牛津法国之家)
本文研究调和博弈中 FTRL 无遗憾学习的收敛性,证明连续时间动力学呈庞加莱回归、离散朴素实现可能陷入最佳响应循环,而加入外推步骤后可从任意初始条件收敛到纳什均衡且遗憾为 O(1)。
2024-12-28 cs.GT cs.LG cs.MA
Regret Analysis of Sleeping Competing Bandits
Osaka University, Japan(大阪大学)
本文提出睡眠竞争老虎机模型,分析其遗憾界,提出算法在合理假设下达到O(NK log T_i/Δ²)的渐近遗憾界,并给出下界证明算法在K大于N时渐近最优。
2026-03-20 cs.GT cs.LG
Leveraging Machine-Learned Advice in Strategic Interactions with No-Regret Learners
California Institute of Technology(加州理工学院);The Chinese University of Hong Kong(香港中文大学)
研究在与无悔学习者博弈时,如何有效利用可能不完美的建议,通过引入伪度量量化建议有用性,并展示其在模拟器和收益矩阵预测中的应用,证明好建议能降低计算近似Stackelberg策略的交互复杂度。
2026-06-09 cs.GT
Response Prediction for Low-Regret Agents
像谷歌和微软这样的公司每天都要进行数十亿次拍卖来出售广告机会。这些拍卖规则的任何变化都可能对公司的收入以及广告商和用户的福利产生巨大影响。因此,任何变化都需要对其潜在影响进行仔细评估。目前,这种影响通常通过运行模拟或小型受控实验来评估。然而,这忽略了广告商对变化做出反应的重要因素。我们的目标是建立一个理论框架,预测代理(广告商)的行动,优化她的行动在一个不确定的环境。我们使用多臂强盗设置的一个变体来模拟这个问题,其中使用一个手臂是昂贵的。各分部的成本随时间而变动,并可公开观察。使用手臂的价值是从静态分布中随机抽取的,由智能体观察,而不是由我们观察。但是,我们观察代理人的行为。我们的主要结果是,假设智能体在第一轮$T$中执行的策略的遗憾最多为$f(T)$,我们可以学习以这样一种方式来玩多武器强盗游戏(不观察奖励),即我们选择的行动的遗憾最多为$O(k^4(f(T)+1)\log(T))$,其中$k$是武器的数量。
2019-11-05 cs.GT
Playing Games in the Baire Space
我们解决了一个广义版本的教会的综合问题,其中发挥是由一个序列的自然数,而不是一个序列的位,所以发挥是一个元素的Baire空间,而不是康托空间。两个玩家输入和输出交替选择自然数来生成一个游戏。我们提出了一个自然模型的自动机(“N-记忆自动机”)配备了奇偶性接受条件,我们还介绍了相应的模型的“N-记忆传感器”。我们证明了由N-记忆自动机(即,玩家输出的获胜策略的存在)是可判定的,并且在这种情况下,可以构造实现玩家输出的获胜策略的N存储器转换器。
2016-08-02 cs.GT cs.LO
PokerBench: Training Large Language Models to become Professional Poker Players
University of California, Berkeley(加州大学伯克利分校);Georgia Institute of Technology(佐治亚理工学院)
研究提出PokerBench基准,用于评估大语言模型的扑克能力,发现现有模型表现不佳但微调可显著提升,揭示了监督微调的局限并验证了基准的有效性。
2025-01-24 cs.AI cs.CL cs.GT
Adaptive Bandit Algorithms for Contextual Matching Markets
Center for Statistical Science, School of Mathematical Sciences, Peking University(北京大学数学科学学院统计科学中心);INRIA, FairPlay Joint Team(INRIA公平玩联合团队);Criteo AI lab, FairPlay Joint Team(Criteo AI实验室,公平玩联合团队);Technion - Israel Institute of Technology(技术学院-以色列理工学院)
针对上下文匹配市场中的bandit学习问题,提出自适应算法,在随机和对抗性上下文下分别实现实例相关的多对数遗憾上界和次线性遗憾界。
2026-05-27 cs.GT cs.LG stat.ML
Constant Swap Regret in General-Sum Games via Two-Scale Higher-Order Optimism
Adobe Research(奥多比研究院)
本文提出一种确定性和非耦合的学习动力学,在一般和博弈中实现常数个体交换遗憾,并通过预测偏离收益和更新转移矩阵,同时提供对抗鲁棒变体。
2026-09-22 cs.GT cs.LG
Clairvoyant Regret Minimization: Equivalence with Nemirovski's Conceptual Prox Method and Extension to General Convex Games
Piliouras等人最近的一篇论文。[2021,2022]介绍了一种用于正规形式游戏的解耦学习算法-称为千里眼MWU(CMWU)。在本文中,我们证明了CMWU等价于Nemirovski [2004]描述的概念性prox方法。这种连接立即表明,它是可能的扩展CMWU算法的任何凸游戏,一个问题由Piliouras等人留下的开放。我们呼吁由此产生的算法-再次相当于概念prox方法-千里眼OMD。与此同时,我们表明,我们的分析产生了一个改进的遗憾界相比,由Piliouras等人,因为CMWU的遗憾只与玩家数量的平方根有关,而不是玩家本身的数量。
2022-08-31 cs.GT
Impact of Decentralized Learning on Player Utilities in Stackelberg Games
Cornell(康奈尔大学);Microsoft Research(微软研究院);University of California, Berkeley(加州大学伯克利分校)
该研究针对双智能体独立学习且奖励不一致的场景,构建去中心化学习Stackelberg博弈模型,提出宽松遗憾基准并开发算法实现双方接近最优的$O(T^{2/3})$遗憾,还设计了可实现更快学习的环境,为评估智能体交互对效用的影响提供了支撑。
2024-06-21 cs.GT cs.LG
No-Regret Dynamics in the Fenchel Game: A Unified Framework for Algorithmic Convex Optimization
Yale University(耶鲁大学);Georgia Institute of Technology(佐治亚理工学院);Technion - Israel Institute of Technology(以色列理工学院)
我们开发了一个算法框架,用于解决凸优化问题,使用无悔博弈动力学。通过将最小化凸函数的问题转化为以顺序方式求解最小-最大博弈的辅助问题,我们可以考虑两个必须一个接一个地选择行动的玩家中的每一个的一系列策略。这些策略的共同选择是所谓的无遗憾学习算法,我们描述了一些这样的,并证明他们的遗憾的界限。然后,我们表明,许多经典的一阶凸优化方法-包括平均梯度梯度下降,弗兰克-沃尔夫算法,Nesterov的加速方法,和加速邻近的方法-可以被解释为我们的框架的特殊情况下,只要每个球员作出了正确的选择无悔的策略。在这个框架中证明收敛率变得非常简单,因为它们可以通过插入适当的已知后悔界限来实现。我们的框架还产生了一些新的一阶方法的特殊情况下,凸优化,以前不知道。
2023-02-18 cs.GT cs.LG math.OC
Adaptive Learning in Continuous Games: Optimal Regret Bounds and Convergence to Nash Equilibrium
Univ. Grenoble Alpes(格勒诺布尔大学);Inria(法国国家信息与自动化研究所);LJK(让·昆廷诺实验室);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔理工学院);LIG(格勒诺布尔信息与信号处理实验室);Criteo AI Lab(Criteo人工智能实验室)
在博弈论学习中,多个智能体同时遵循各自的利益,因此从每个参与者的角度来看,环境是不稳定的。在这种情况下,学习算法的性能通常由其遗憾来衡量。然而,无悔算法在博弈论保证方面并不平等:根据它们的调整方式,其中一些可能会使系统达到平衡,而另一些可能会产生循环,混乱或其他发散的轨迹。为了解决这个问题,我们提出了一系列基于乐观镜像下降的无遗憾策略,具有以下理想的属性:i)它们不需要任何事先调整或游戏知识; ii)它们都实现了O(\sqrt{T})对任意的,对抗性的对手的遗憾; iii)它们收敛到收敛对手的最佳对策。此外,如果所有参与者都使用,则iv)它们保证O(1)社会遗憾;而v)在所有变分稳定博弈(包括所有单调和凹凸零和博弈的一类博弈)中,诱导的博弈序列收敛到纳什均衡,个人遗憾为O(1)。
2021-10-16 cs.GT cs.LG math.OC
Revisiting the Bertrand Paradox via Equilibrium Analysis of No-regret Learners
University of Washington(华盛顿大学)
本文通过无遗憾学习者的重复博弈模型,分析 Bertrand 定价博弈中高价格均衡出现的条件,并比较外部遗憾与交换遗憾对竞争行为的影响。
2026-05-28 cs.GT cs.LG