Hedging in games: Faster convergence of external and swap regrets
我们考虑玩家运行对冲算法或其乐观变体以重复玩$n$动作游戏$T$回合的设置。1)对于两人游戏，我们表明，乐观对冲的遗憾衰减在$\tilde{O}( 1/T ^{5/6} )$，改善了Syrgkanis，Agarwal，Luo和Schapire（NIPS'15）之前的约束$O(1/T^{3/4})$ 2）相反，我们表明香草对冲的收敛速度并不比$\tildeΩ(1/ \sqrt{T})$更好，解决了Syrgkanis，Agarwal，Luo和Schapire（NIPS'15）中提出的一个悬而未决的问题。对于一般的多人博弈，我们证明了当他们将乐观对冲与Blum和Mansour（JMLR'07）的经典外部到内部还原相结合时，每个玩家的交换遗憾以$\tilde{O}(m^{1/2} (n/T)^{3/4})$的速率衰减。该算法还可以被修改以实现针对自身的相同速率和针对对手的$\tilde{O}(\sqrt{n/T})$速率。通过标准连接，我们的上界也意味着更快的收敛到两人游戏中的粗相关均衡和多人游戏中的相关均衡。
2020-10-19 cs.DS cs.GT
Self-Bounding Regret Matching+ in Potential Games and Product-Simplex Optimization
Johns Hopkins University（约翰斯·霍普金斯大学）；Miramar College（米拉马尔学院）
本文提出RM+的精确一步守恒律，证明其在乘积单纯形光滑目标上可经O(ε⁻²)次迭代找到ε-KKT点，解决有限精确潜在博弈交替策略下遗憾有界的开放问题，性能优于对比变体。
2026-09-25 cs.GT
Regret Matching+: (In)Stability and Fast Convergence in Games
FAIR, Meta AI（元宇宙人工智能基础人工智能研究院）；HEC Paris（巴黎高等商学院）；Columbia University（哥伦比亚大学）；University of Southern California（南加州大学）
本文揭示了Regret Matching+ (RM+)及其预测版本的不稳定性，通过重启和截断正象限两种修复方法，实现了个体遗憾$O(T^{1/4})$和社会遗憾$O(1)$的快速收敛，并在矩阵和扩展形式博弈中验证了其优势。
2023-05-24 cs.GT cs.LG
Mediator Interpretation and Faster Learning Algorithms for Linear Correlated Equilibria in General Extensive-Form Games
本文揭示了线性交换遗憾与非定时通信偏差的等价性，并据此开发了更快的无遗憾算法，用于在一般扩展式博弈中高效计算线性相关均衡，理论和实践性能均大幅提升。
2024-03-16 cs.GT
Learn to Match with No Regret: Reinforcement Learning in Markov Matching Markets
Northwestern University（西北大学）；Yale University（耶鲁大学）；University of California, Berkeley（加州大学伯克利分校）
我们研究了一个马尔可夫匹配市场，涉及一个计划者和一组战略代理人在市场的两侧。在每一步，代理都会呈现一个动态上下文，其中上下文决定实用程序。规划者控制情境的转换以最大化累积的社会福利，而智能体的目标是在每一步都找到一个短视的稳定匹配。这样的设置涵盖了包括拼车平台在内的一系列应用。我们正式提出了一个强化学习框架，集成了最大权重匹配的乐观值迭代的问题。该算法解决了顺序探索，匹配稳定性和函数逼近的耦合挑战。我们证明了该算法实现次线性遗憾。
2022-03-07 cs.AI cs.GT cs.LG
Sync Pure Counterfactual Regret Minimization in Incomplete Information Extensive Form Games
本文结合同步虚构博弈与纯CFR，提出同步PCFR算法，在不完全信息扩展形式博弈中收敛速度比CFR+快约一个数量级且内存更省。
2023-11-13 cs.GT
Multiplicative Optimism for Constant Regret in Games
MIT（麻省理工学院）；Google Deepmind（谷歌DeepMind）
本文提出乘性乐观遗憾匹配（MORM），一种非耦合学习规则，在有限一般和博弈中实现常数遗憾，并扩展到对抗性效用场景。
2026-09-21 cs.GT cs.LG math.OC
Regret, stability & fairness in matching markets with bandit learners
Massachusetts Institute of Technology（麻省理工学院）
做出明智的决定-例如，在选择职业或住房时-需要了解现有的选择。这些知识通常是通过昂贵的试错来获得的，但这种学习过程可能会被竞争所破坏。在这项工作中，我们研究了竞争如何影响个人学习的长期结果。我们建立在一条工作线上，将这种设置建模为具有强盗学习者的双边匹配市场。最近的一个结果表明，这是不可能的，同时保证两个自然desiderata：稳定性和低最佳遗憾的所有代理。资源分配平台可以将这一结果作为将良好的长期结果分配给某些代理人而将不良结果分配给其他代理人的理由。我们表明，这种不可能性不一定成立。特别是，通过模拟竞争的两个额外的组成部分-即，成本和转移-我们证明，它是可以同时保证四个必要的：稳定性，低最佳遗憾，公平分配的遗憾，高社会福利。
2022-04-13 cs.GT cs.LG cs.MA
GPU-Accelerated Counterfactual Regret Minimization
University of Toronto（多伦多大学）
本文将反事实后悔最小化重构为适合GPU并行的矩阵与向量运算，以更高内存占用换取显著加速，并在多类博弈中大幅超越 OpenSpiel 的 Python 与 C++ 实现。
2024-12-02 cs.GT cs.LG
Faster Game Solving via Predictive Blackwell Approachability: Connecting Regret Matching and Mirror Descent
Carnegie Mellon University（卡内基梅隆大学）；Columbia University（哥伦比亚大学）；Strategic Machine, Inc.（Strategic Machine 公司）；Strategy Robot, Inc.（Strategy Robot 公司）；Optimized Markets, Inc.（Optimized Markets 公司）
布莱克威尔可接近性是一个推理具有向量值回报的重复博弈的框架。我们引入预测Blackwell可接近性，其中给出下一个回报向量的估计，并且决策者试图基于该估计的准确性来实现更好的性能。为了推导出实现预测Blackwell可接近性的算法，我们首先展示了四个著名算法之间的强大连接。跟随正则化领导者（FTRL）和在线镜像下降（OMD）是在线凸优化中最流行的后悔极小化算法。尽管这种流行，遗憾匹配（RM）和遗憾匹配+（RM+）算法已在解决大型游戏的实践中首选（作为反事实遗憾最小化框架内的局部遗憾最小化）。我们表明，RM和RM+是运行FTRL和OMD的结果，分别选择半空间，以迫使在任何时候在底层的Blackwell可接近性游戏的算法。通过将FTRL或OMD的预测变体应用于该连接，我们获得预测Blackwell可接近性算法，以及RM和RM+的预测变体。在18个常见的零和扩展形式的基准游戏的实验中，我们表明，预测RM+加上反事实遗憾最小化收敛速度远远快于最快的先验算法（CFR+，DCFR，LCFR）在所有的游戏，但两个扑克游戏，有时两个或更多的数量级。
2021-03-08 cs.AI cs.GT cs.LG
Adaptive Bandit Algorithms for Contextual Matching Markets
Center for Statistical Science, School of Mathematical Sciences, Peking University（北京大学数学科学学院统计科学中心）；INRIA, FairPlay Joint Team（INRIA公平玩联合团队）；Criteo AI lab, FairPlay Joint Team（Criteo AI实验室，公平玩联合团队）；Technion - Israel Institute of Technology（技术学院-以色列理工学院）
针对上下文匹配市场中的bandit学习问题，提出自适应算法，在随机和对抗性上下文下分别实现实例相关的多对数遗憾上界和次线性遗憾界。
2026-05-27 cs.GT cs.LG stat.ML
Faster Rates for No-Regret Learning in General Games via Cautious Optimism
MIT EECS（麻省理工学院电子工程与计算机科学系）；Google DeepMind（谷歌DeepMind）
本文提出首个非耦合学习算法，结合经典OMWU与自适应非单调学习率，在多人一般和博弈中实现 $O(n \log^2 d \log T)$ 的每玩家遗憾值，指数级改善了对动作数量的依赖并降低了对迭代次数的依赖。
2025-03-31 cs.GT cs.LG math.OC
Scale-Invariant Regret Matching and Online Learning with Optimal Convergence: Bridging Theory and Practice in Zero-Sum Games
Massachusetts Institute of Technology（麻省理工学院）；Carnegie Mellon University（卡内基梅隆大学）
本文提出了一种新的尺度不变且参数无关的PRM+变体IREG-PRM+，实现了最优收敛并优于现有方法，同时扩展了零和博弈到更广泛的变分不等式问题。
2026-02-17 cs.GT cs.LG
Last-Iterate Convergence Properties of Regret-Matching Algorithms in Games
Yale（耶鲁大学）；MIT（麻省理工学院）；HEC Paris（巴黎高等商学院）；Columbia（哥伦比亚大学）；USC（南加州大学）
研究基于RM$^+$的双人零和博弈算法的末次迭代收敛性，证明extragradient RM$^+$和smooth Predictive RM$^+$等平滑变体具有渐近末次迭代收敛性及线性收敛速率。
2025-03-04 cs.GT cs.LG
Solving imperfect-information games via exponential counterfactual regret minimization
一般来说，两个代理人的决策问题可以建模为一个两个球员的游戏，一个典型的解决方案是找到一个纳什均衡在这样的游戏。反事实后悔最小化（CFR）是一种求解不完全信息下两人零和博弈纳什均衡策略的著名方法。CFR方法采用后悔匹配算法迭代地逐步降低后悔值，使平均策略接近纳什均衡。虽然基于CFR的方法在不完全信息博弈领域取得了显著的成功，但在收敛效率方面仍有改进的余地。为了解决这个问题，我们提出了一种新的基于CFR的方法命名为指数反事实后悔最小化（ECFR）。在ECFR算法中，采用指数加权技术对迭代过程中的瞬时后悔值进行加权。从理论上证明了ECFR算法的收敛性。一组广泛的实验测试的结果表明，ECFR算法的收敛速度比当前国家的最先进的基于CFR的方法。
2020-12-04 cs.GT
Improved Bandits in Many-to-one Matching Markets with Incentive Compatibility
John Hopcroft Center for Computer Science, Shanghai Jiao Tong University（上海交通大学约翰·霍普克罗夫特计算机科学中心）
本文研究多对一匹配市场的在线学习问题，提出AETDA算法在未知偏好差距下实现多项式玩家最优稳定遗憾并保证激励兼容性，同时设计ODA算法处理更广泛的可替代偏好设定。
2024-06-02 cs.GT cs.LG
Convergence of Regret Matching in Potential Games and Constrained Optimization
Carnegie Mellon University（卡内基梅隆大学）；Foundations of Cooperative AI Lab (FOCAL)（合作人工智能基础实验室）；University of California, Irvine（加利福尼亚大学欧文分校）；Massachusetts Institute of Technology（麻省理工学院）；University of Oxford（牛津大学）；Strategy Robot, Inc.（Strategy Robot 公司）；Strategic Machine, Inc.（Strategic Machine 公司）；Optimized Markets, Inc.（Optimized Markets 公司）
本文研究遗憾匹配（RM）及其变体的收敛性，证明RM+在约束优化中收敛到ε-KKT点且复杂度为O_ε(1/ε^4)，而RM在两人势博弈中收敛到纳什均衡需指数级迭代，首次确立RM与RM+的最坏情况分离。
2025-11-17 cs.GT cs.LG math.OC
Two-Sided Time-Independent Regret for Matching Markets with Limited Interviews
University of Massachusetts Amherst（马萨诸塞大学阿姆赫斯特分校）
针对面试次数有限的匹配市场，提出利用面试作为提示进行双面学习，并通过策略性延迟纠正早期错误，实现与时间无关的遗憾界。
2026-05-23 cs.AI cs.GT econ.TH
Exact Regret Frontiers and Externality Scheduling in Centralized Serial-Dictatorship Bandits
University of Bern（伯尔尼大学）；EPFL（洛桑联邦理工学院）
本研究针对集中式串行独裁匹配老虎机，揭示外部性下探索配额的精确可达遗憾前沿，并提出估计-求解-跟踪策略以达所有帕累托最优。\n
2026-10-06 cs.GT cs.LG stat.ML
Extensive-Form Game Solving via Blackwell Approachability on Treeplexes
该研究提出首个序列形式多面体上的Blackwell可达性算法框架，衍生步长不变的后悔最小化算法，结合预测在线镜像下降提出PTB+并优化得到O(1/T)收敛速率的算法，实验验证了其性能优势。
2024-03-07 cs.GT
Satisfaction and Regret in Stackelberg Games
本文提出Stackelberg博弈中跟随者满意度的新概念，证明其可提升领导者效用，并分析遗憾匹配算法的收敛行为，指出其可能收敛至非无遗憾的混合策略，但条件RM可接近Stackelberg解。
2024-08-21 cs.GT
Solving Imperfect-Information Games via Discounted Regret Minimization
Carnegie Mellon University（卡内基梅隆大学）
反事实后悔最小化（CFR）是一类迭代算法，是最流行的，在实践中，最快的方法来近似解决大规模的信息博弈。在本文中，我们引入了新的CFR变体，1）以各种方式从早期迭代中折扣遗憾（在某些情况下，积极和消极的遗憾不同），2）以各种方式重新加权迭代以获得输出策略，3）使用非标准的遗憾最小化器和/或4）利用“乐观遗憾匹配”。它们在许多环境中显著提高了性能。首先，我们引入了一个变体，在每个测试的游戏中，包括大规模的现实设置中，它的性能都优于CFR+，这是现有的最先进的算法。CFR+是一个强大的基准：没有其他算法已经能够胜过it. Finally，我们表明，与CFR+，许多重要的新的变种是兼容的现代信息游戏修剪技术和一个也是兼容的游戏树中的采样。
2019-02-21 cs.AI cs.GT
Learning Strategy-Aware Linear Classifiers
Harvard University（哈佛大学）；UC Santa Cruz（加州大学圣克鲁兹分校）
我们解决的问题，反复学习线性分类器对代理谁是战略上试图游戏部署的分类器，我们使用的Stackelberg遗憾来衡量我们的算法的性能。首先，我们表明，Stackelberg和外部遗憾的问题的战略分类是强烈不相容的：即，存在最坏的情况，其中提供次线性外部后悔的任何动作序列可能导致线性Stackelberg后悔，反之亦然。其次，我们提出了一个战略意识的算法，最大限度地减少Stackelberg遗憾，我们证明几乎匹配的上限和下限遗憾。最后，我们提供模拟来补充我们的理论分析。我们的研究结果推进了越来越多的文献学习显示的偏好，到目前为止，集中在“平滑”的假设，分别从学习者和代理的角度。
2020-11-16 cs.GT cs.LG
Fair Stable Matching: A Nash Social Welfare Approach
IIIT Hyderabad（印度信息技术与管理大学海得拉巴分校）；IIT Hyderabad（印度理工学院海得拉巴分校）
本研究针对传统稳定匹配算法公平性不足的问题，提出SNSW-Alg算法，可在$\tilde{\text{O}}(n^4)$时间内生成兼顾稳定性与公平性的匹配，且在多指标上表现优于其他公平导向的稳定匹配方法。
2026-09-03 cs.AI cs.GT
Optimistic Regret Minimization for Extensive-Form Games via Dilated Distance-Generating Functions
Carnegie Mellon University（卡内基梅隆大学）；Columbia University（哥伦比亚大学）；Strategic Machine, Inc.（Strategic Machine公司）；Strategy Robot, Inc.（Strategy Robot公司）；Optimized Markets, Inc.（Optimized Markets公司）
我们研究了乐观的遗憾最小化算法的性能，最小化遗憾，计算纳什均衡，零和扩展形式的游戏。为了将这些算法应用于扩展形式的游戏，需要一个距离生成函数。我们研究了扩张熵和扩张欧氏距离函数的使用。对于扩张的欧氏距离函数，我们证明了一般树丛的强凸性参数的第一个显式界。此外，我们表明，使用扩张的距离生成函数，使我们能够分解的镜像下降算法，其乐观的变体，到本地镜像下降算法在每个信息集。这种分解反映了反事实遗憾最小化框架的结构，并使重要的技术在实践中，如分布式更新和修剪冷部分的游戏树。我们的算法可证明收敛速度为$T^{-1}$，这是优于以前的反事实遗憾最小化算法。我们实验比较流行的算法CFR+，它具有$T^{-0.5}$的理论收敛速度在理论上，但已知的是经常收敛速度$T^{-1}$，或更好，在实践中。我们给出了一个矩阵游戏的例子，CFR+实验收敛速度相对较慢的$T^{-0.74}$，而我们的乐观方法收敛速度比$T^{-1}$。我们继续表明，我们的快速率也持有库恩扑克游戏，这是一个广泛的形式的游戏。然而，对于游戏树更深的游戏，我们发现CFR+仍然更快。最后，我们表明，当目标是最大限度地减少遗憾，而不是计算一个纳什均衡，我们的乐观的方法可以优于CFR+，即使在深游戏树。
2019-10-28 cs.GT cs.LG math.OC
A Dynamic Matching Framework for Faster Child Adoptions
本文提出一类满足公平性和有限策略防伪性的动态匹配机制，通过预测偏好避免高昂耐心成本，模拟显示其能将儿童领养量较现状至少提高25%。
2025-08-15 cs.GT econ.TH
GPU-CFR: 80x Faster Counterfactual Regret Minimization by Compiling the Game to Static Dataflow and CUDA Graph Replay
Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院）
GPU-CFR 通过将博弈编译为静态数据流和 CUDA 图重放，消除内核启动开销，实现比先前 GPU 实现快 80 倍、比 CPU 实现快 258 倍的加速。
2026-09-11 cs.AI cs.DC cs.GT
Minimizing Weighted Counterfactual Regret with Optimistic Online Mirror Descent
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Tencent AI Lab（腾讯AI实验室）；Tsinghua University（清华大学）；School of Future Technology, University of Chinese Academy of Sciences（中国科学院大学未来技术学院）
针对PCFR+面对占优行动时遗憾较大的问题，提出整合PCFR+与DCFR的新型CFR变体PDCFR+，经理论和实验验证其在不完美信息博弈中收敛更快且能达到纳什均衡。
2024-05-14 cs.AI cs.GT cs.LG
Dynamic Matching Bandit For Two-Sided Online Markets
University of California Los Angeles（加州大学洛杉矶分校）；Purdue University（普渡大学）
针对双边在线市场中偏好随上下文动态变化的问题，提出动态匹配赌博机算法，通过在线估计偏好排序实现智能体最优稳定匹配，并证明对数遗憾界，实验验证其鲁棒性与实用性。
2024-05-29 cs.GT cs.LG cs.MA
Better Regret Rates in Bilateral Trade via Sublinear Budget Violation
Politecnico di Milano（米兰理工学院）
研究双边贸易中遗憾率与全局预算平衡约束违反程度之间的权衡，设计算法在给定违反预算下实现匹配上下界的最优遗憾率，证明现有结果紧致。
2025-07-15 cs.GT cs.LG
Deep (Predictive) Discounted Counterfactual Regret Minimization
针对现有方法难以整合先进CFR变体的问题，提出一种无模型神经CFR算法，通过方差降低采样、引导拟合累积优势及模拟先进变体更新机制，实现更快收敛与更强对抗性能。
2025-11-11 cs.AI cs.GT cs.LG
Cautious Optimism: A Meta-Algorithm for Near-Constant Regret in General Games
MIT（麻省理工学院）；Google DeepMind（谷歌DeepMind）
本文提出谨慎乐观元算法框架COFTRL，可自适应调控FTRL学习节奏，在一般博弈自博弈场景达近最优对数遗憾，对抗场景保平方根遗憾，无需单调步长且对动作空间维度依赖指数级优于既往方法。
2025-11-14 cs.GT cs.LG math.OC
