An $α$-regret analysis of Adversarial Bilateral Trade
Tel Aviv University（特拉维夫大学）；Sapienza Università di Roma（罗马第一大学）
本文针对估值由对手决定的序贯双边贸易场景，在不同反馈与定价模式下分析$\alpha$-regret，证明了多种场景下的regret界及场景间的分离性结论。
2024-10-10 cs.DS cs.GT cs.LG
Profit Maximization in Bilateral Trade against a Smooth Adversary
Google Research（谷歌研究）
研究在在线学习框架下，面对平滑对手生成的估值，设计出保证$\tilde{O}(\sqrt{T})$ regret的算法，拓展了快速收敛的适用范围，填补了经济问题的regret景观中的空白。
2026-05-12 cs.GT cs.LG
Repeated Bilateral Trade Against a Smoothed Adversary
Università degli Studi di Milano（米兰大学）；Politecnico di Milano（米兰理工大学）；University of Ottawa（渥太华大学）；Istituto Italiano di Tecnologia（意大利技术研究院）；Sapienza Università di Roma（罗马大学）
研究针对平滑对手的重复双边贸易问题，完整刻画了固定价格机制在不同反馈和定价策略下的遗憾界，并设计了最优算法与匹配下界。
2023-02-21 cs.DS cs.GT cs.LG
Fair Online Bilateral Trade
Institut de Mathématiques de Toulouse（图卢兹数学研究所）；Université Paul Sabatier（保罗萨巴蒂尔大学）；Politecnico di Milano（米兰理工大学）；Università degli Studi di Milano（米兰大学）；University of Ottawa（渥太华大学）
本文研究在线双边贸易中的公平性，以买卖双方效用最小值为公平贸易收益，并刻画了平台仅知接受与否时的遗憾界，包括确定性、随机及独立估值情形。
2024-05-22 cs.GT cs.LG
Bilateral Trade Under Heavy-Tailed Valuations: Minimax Regret without a Variance Bound
本文研究了在完全反馈情况下，交易者估值具有无限方差时的双边贸易问题，通过扩展自界性质和截断均值估计，提出了一个基于周期的算法，实现了最小最大后悔的精确速率。
2026-09-11 cs.GT cs.LG stat.ML
Efficient Regret Minimization in Non-Convex Games
Department of Computer Science, Princeton University（普林斯顿大学计算机科学系）
本文研究非凸损失函数重复博弈中的后悔最小化问题。最小化后悔的标准概念在计算上是困难的。因此，我们定义了一个自然的概念，遗憾，允许有效的优化和推广离线保证收敛到近似的局部最优。我们给出了基于梯度的方法，实现最佳遗憾，这反过来又保证收敛到平衡在这个框架中。
2017-07-31 cs.GT cs.LG stat.ML
Bridging Utility Maximization and Regret Minimization
我们将一个玩家根据两个非常不同的理性模型（即效用最大化和后悔最小化）精炼自己的策略后得到的策略集联系起来。
2014-03-25 cs.GT
Contextual Online Bilateral Trade
New York University（纽约大学）；Sapienza University（萨皮恩扎大学）；Google Research（谷歌研究）；EPFL（苏黎世联邦理工学院）
本文研究了具有上下文性估值的双边交易问题，设计了在两位反馈下实现O(d log d)遗憾的算法，并在一位反馈下允许小负利润的算法，同时探讨了预算平衡与时间范围无关的交易收益算法。
2026-02-13 cs.GT cs.LG
GPU-Accelerated Counterfactual Regret Minimization
University of Toronto（多伦多大学）
本文将反事实后悔最小化重构为适合GPU并行的矩阵与向量运算，以更高内存占用换取显著加速，并在多类博弈中大幅超越 OpenSpiel 的 Python 与 C++ 实现。
2024-12-02 cs.GT cs.LG
Efficient Last-Iterate Convergence in Regret Minimization via Adaptive Reward Transformation
School of Computer Science and Technology, Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）计算机科学与技术学院）
针对遗憾最小化中Reward Transformation框架对参数敏感且易陷入局部最优的问题，提出动态调参的自适应方法，确保理论一致性并实现线性收敛，显著加速了NFGs和EFGs中的末次迭代收敛。
2025-09-17 cs.GT cs.LG
Iterated Regret Minimization: A More Realistic Solution Concept
对于一些著名的博弈，如旅行者困境或蜈蚣博弈，传统的博弈论解决方案的概念--最著名的是纳什均衡--预测的结果与经验观察不一致。在本文中，我们引入了一个新的解决方案的概念，迭代遗憾最小化，表现出相同的定性行为，在许多游戏的兴趣，包括旅行者的困境，蜈蚣游戏，纳什讨价还价，和Bertrand竞争的实验中观察到的。顾名思义，迭代后悔最小化包括迭代删除不最小化后悔的策略。
2008-10-16 cs.GT
Stochastic Regret Minimization in Extensive-Form Games
Carnegie Mellon University（卡内基梅隆大学）；Columbia University（哥伦比亚大学）；Strategic Machine, Inc.（战略机器公司）；Strategy Robot, Inc.（战略机器人公司）；Optimized Markets, Inc.（优化市场公司）
蒙特卡罗反事实后悔最小化算法（MCCFR）是一种最先进的算法，用于解决对于满树遍历来说太大的序列博弈。它通过使用可以通过采样计算的梯度估计来工作。然而，序列博弈的随机方法还没有得到广泛的研究超过MCCFR。在本文中，我们开发了一个用于开发随机后悔最小化方法的新框架。这个框架允许我们使用任何遗憾最小化算法，再加上任何梯度估计。MCCFR算法可以作为我们框架的一个特例进行分析，这种分析导致了更强的收敛性理论，同时得到了一个简化的证明。我们的框架允许我们实例化几个新的随机方法来解决序列游戏。我们在三个游戏上进行了大量的实验，其中我们的方法的一些变体优于MCCFR。
2020-02-19 cs.AI cs.GT cs.LG
Nonparametric Contextual Online Bilateral Trade
Bocconi University（博科尼大学）
本文提出了一种非参数上下文在线双边交易算法，通过层次树构造在一位反馈和强预算平衡条件下实现~O(T^{(d-1)/d})的后悔界。
2026-02-13 cs.GT cs.LG
Equilibrium Finding in Normal-Form Games Via Greedy Regret Minimization
我们扩展了经典的遗憾最小化框架，在范式的游戏近似均衡greenweighting迭代的基础上，在运行时观察到的遗憾。理论上，我们的方法保留了所有以前的收敛速度保证。从经验上讲，在人工智能基准测试Diplomacy的大型随机生成游戏和范式子游戏上的实验表明，无论何时使用采样，贪婪权重都优于以前的方法，有时甚至是几个数量级。
2022-04-11 cs.GT
A Stronger Benchmark for Online Bilateral Trade: From Fixed Prices to Distributions
Politecnico di Milano（米兰理工大学）
本文提出了一种在随机环境中实现次线性遗憾的算法，通过全局预算平衡约束提升在线双边交易的社会福利。
2026-02-05 cs.GT
Meta-Learning in Self-Play Regret Minimization
Charles University Prague（查尔斯大学布拉格）；University of Alberta（阿尔伯塔大学）
本文将离线元学习扩展到更具挑战性的自博弈遗憾最小化设置中，通过在策略选择时整合所有决策状态信息以促进全局通信，在正则形式博弈和河牌扑克子博弈中显著优于现有最先进的遗憾最小化算法。
2025-04-26 cs.GT cs.LG
Regret Minimization and Convergence to Equilibria in General-sum Markov Games
针对对抗场景下马尔可夫博弈遗憾最小化难以实现的问题，提出首个所有智能体执行时可提供次线性交换遗憾保证、且收敛到相关均衡的去中心化高效无通信学习算法，其核心是将策略优化在线学习归约为加权遗憾最小化，通过控制路径长度实现目标。
2025-06-16 cs.AI cs.GT cs.LG
Regret Minimization in Behaviorally-Constrained Zero-Sum Games
Carnegie Mellon University（卡内基梅隆大学）
无遗憾学习已经成为解决扩展形式游戏的强大工具。这是由反事实遗憾最小化（CFR）框架，它依赖于实例化的遗憾最小化的单形在每个信息集的游戏。我们使用的CFR框架的实例开发算法解决行为约束（作为一种特殊情况，在Selten意义上扰动）的扩展形式的游戏，这使我们能够计算近似的纳什均衡的改进。纳什均衡的改进是由纳什均衡中的一个主要缺陷引起的：它实际上没有保证它将如何在博弈树中以零概率到达的部分中发挥作用。改进可以解决这个问题，但尚未在实践中采用，主要是由于缺乏可扩展的算法。我们表明，相比标准算法，我们的方法找到的解决方案，有更好的细化性能，同时享受的收敛速度，是最先进的算法纳什均衡计算在理论和实践中。
2017-11-09 cs.GT cs.LG
Regret minimization in stochastic non-convex learning via a proximal-gradient approach
The Technion（以色列理工学院）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Criteo AI Lab（科利特人工智能实验室）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
出于在机器学习和运筹学中的应用，我们研究了在线约束下随机一阶预言反馈的后悔最小化问题，并且可能是非光滑的非凸问题。在这种情况下，外部遗憾的最小化是无法达到的一阶方法，所以我们专注于通过一个近似梯度映射定义的局部遗憾措施。为了实现没有（本地）遗憾，在这种情况下，我们开发了一种基于随机一阶反馈的梯度方法，以及一种更简单的方法，当访问一个完美的一阶预言是可能的。这两种方法都是最小-最大顺序最优的，我们也建立了一个边界上的数量的搜索梯度查询这些方法需要。作为我们的研究结果的一个重要应用，我们还获得了一个链接在线和离线非凸随机优化表现为一个新的梯度计划的复杂性保证匹配那些通过方差降低技术。
2020-10-13 cs.GT cs.LG math.OC
Model-free Neural Counterfactual Regret Minimization with Bootstrap Learning
University of Science and Technology of China（中国科学技术大学）；New York University（纽约大学）
反事实后悔最小化算法在解决大规模不完美信息博弈问题上取得了许多令人瞩目的成果。神经网络近似CFR（neural CFR）是一种很有前途的技术，它通过对相似状态之间的决策信息进行泛化，减少了计算量和内存消耗。目前的神经CFR算法必须近似累积的遗憾。然而，在大规模的IIG中，有效和准确的近似仍然是一个严峻的挑战。在本文中，一个新的CFR变体，递归CFR（ReCFR），提出。在ReCFR中，递归替代值（Recursive Substitute Values，RSV）被学习并用于替代累积的遗憾。证明了ReCFR能够以$O({1}/{\sqrt{T}})$的速度收敛到纳什均衡.在ReCFR的基础上，提出了一种新的具有自举学习的无模型神经CFR（Neural ReCFR-B）。由于RSV的递归和非累积性质，Neural ReCFR-B具有比其他神经CFR更低的方差训练目标。实验结果表明，神经ReCFR-B是具有竞争力的国家的最先进的神经CFR算法在一个更低的训练成本。
2022-04-19 cs.GT cs.LG
Knightian Robustness from Regret Minimization
我们考虑的拍卖中，球员有非常有限的知识，他们自己的估值。具体地说，一个博弈者$i$所拥有的关于真实估值的信息$θ^*$由一组分布组成，其中$θ_i^*$是从其中一个分布中得出的。我们分析了社会福利性能的VCG机制，不受限制的组合拍卖，当Boghtian球员，要么（a）选择一个遗憾最小化策略，或（b）诉诸遗憾最小化，只有进一步完善自己的一套非支配策略，如果需要的话。我们证明这种性能是非常好的。
2014-04-01 cs.GT
Evolutionary Dynamics and $Φ$-Regret Minimization in Games
SUTD（新加坡科技设计大学）；DeepMind（深度思维）
后悔已经被确立为在线学习的一个基本概念，并且同样在游戏中的学习动力学分析中具有重要的应用。后悔量化了学习者的表现与事后的基线之间的差异。众所周知，遗憾最小化算法收敛于游戏中的某些均衡;然而，在博弈论中使用的传统形式的遗憾主要考虑允许偏离确定性行动或策略的基线。在本文中，我们重新审视了我们对遗憾的理解，从整个\emph{mixed}策略空间（即，概率分布在纯策略），镜头下的先前建立的$Φ$ -后悔框架，它提供了一个连续的更强的后悔措施。重要的是，$Φ$ -后悔使学习代理考虑偏离和混合策略，概括了几个现有的后悔概念，如外部，内部和交换后悔，从而扩大了从基于后悔的学习算法分析中获得的见解。我们在这里证明，经过充分研究的进化学习算法的复制动力学（RD）无缝地最大限度地减少了最强的可能形式的$Φ$ -遗憾的通用$2 \times 2$游戏，没有任何修改的基础算法本身。随后，我们进行实验验证我们的理论结果在一套144 $2 \times 2$游戏，其中RD表现出不同的行为。最后，我们提供的经验证据，$Φ$ -遗憾最小化的RD在一些较大的游戏，暗示进一步的机会，$Φ$ -遗憾为基础的研究，从理论和实证的角度来看，这样的算法。
2021-06-28 cs.GT cs.LG cs.MA
Bounds for Approximate Regret-Matching Algorithms
University of Alberta（阿尔伯塔大学）
解决大型非真实信息博弈的一个主要方法是反事实遗憾最小化（CFR）。在CFR中，许多后悔最小化问题组合起来解决这个问题。对于非常大型的游戏，通常需要抽象来使CFR易于处理。抽象通常是手动调整的，可能会删除完整游戏中的重要战略差异并损害性能。函数近似提供了一种自然的解决方案，可以找到好的抽象来近似整个游戏。结合函数逼近的一种常见方法是学习后悔最小化算法所需的输入，允许在许多后悔最小化问题中推广。本文给出了当后悔极小化算法使用估计值而不是真值时的后悔界。这种形式的分析是第一个推广到更大类的$(Φ, f)$ -后悔匹配算法，并包括不同形式的后悔，如交换，内部和外部后悔。我们演示了这些结果如何给一个稍微紧的约束回归后悔匹配（RRM），并提出了一个新的结合回归与对冲的约束。
2019-11-28 cs.GT cs.LG
DREAM: Deep Regret minimization with Advantage baselines and Model-free learning
Facebook AI Research（Facebook人工智能研究院）
我们介绍了DREAM，这是一种深度强化学习算法，可以在多代理的信息博弈中找到最优策略。形式上，DREAM在两人零和博弈中收敛于一个纳什均衡，在所有其他博弈中收敛于一个扩展形式的粗略相关均衡。我们的主要创新是一种有效的算法，与其他基于遗憾的深度学习算法相比，它不需要访问完美的游戏模拟器来实现良好的性能。我们表明，梦想经验达到国家的最先进的性能在流行的基准测试游戏中的无模型算法，甚至是有竞争力的算法，使用完美的模拟器。
2020-11-29 cs.GT cs.LG stat.ML
Deep Counterfactual Regret Minimization
Facebook AI Research（Facebook人工智能研究院）；Carnegie Mellon University（卡内基梅隆大学）
反事实遗憾最小化（CFR）是解决大型非对称信息博弈的主要框架。它通过迭代遍历博弈树收敛到一个均衡。为了处理非常大的游戏，通常在运行CFR之前应用抽象。抽象的游戏是解决与表CFR，其解决方案被映射回完整的游戏。这个过程可能是有问题的，因为抽象的方面通常是手动的和特定于领域的，抽象算法可能会错过游戏的重要战略细微差别，并且存在鸡和蛋的问题，因为确定一个好的抽象需要了解游戏的均衡。本文介绍了深度反事实遗憾最小化，CFR的一种形式，避免了抽象的需要，而是使用深度神经网络近似CFR在整个游戏中的行为。我们表明，深CFR是原则性的，并在大型扑克游戏中取得了很好的表现。这是CFR的第一个非表格变体在大型游戏中获得成功。
2019-05-22 cs.AI cs.GT cs.LG
Iterated Regret Minimization in Game Graphs
最近，J.Y. Halpern和R.在经典的战略游戏。对于许多感兴趣的博弈，这种新的解决方案概念提供的解决方案被认为比传统博弈概念（如纳什均衡）提供的解决方案更合理。虽然计算迭代后悔显式矩阵游戏的概念和计算上很容易，没有什么是已知的计算迭代后悔的矩阵被定义为隐式使用游戏树，游戏DAG或更一般的游戏图的游戏。本文研究了图上无限持续时间两人定量非零和博弈的迭代后悔最小化问题。我们认为可达性目标不一定是对立的。每一条边都是用整数加权的--每个参与者一个--而收益是由沿着路径的权重之和来定义的。根据图的类别，我们给出多项式或伪多项式时间算法来计算一个策略，最大限度地减少一个固定的球员的遗憾。最后，我们给出算法来计算的两个球员，最小化树的迭代遗憾的战略，并严格正权重的图。
2010-04-15 cs.GT
Solving imperfect-information games via exponential counterfactual regret minimization
一般来说，两个代理人的决策问题可以建模为一个两个球员的游戏，一个典型的解决方案是找到一个纳什均衡在这样的游戏。反事实后悔最小化（CFR）是一种求解不完全信息下两人零和博弈纳什均衡策略的著名方法。CFR方法采用后悔匹配算法迭代地逐步降低后悔值，使平均策略接近纳什均衡。虽然基于CFR的方法在不完全信息博弈领域取得了显著的成功，但在收敛效率方面仍有改进的余地。为了解决这个问题，我们提出了一种新的基于CFR的方法命名为指数反事实后悔最小化（ECFR）。在ECFR算法中，采用指数加权技术对迭代过程中的瞬时后悔值进行加权。从理论上证明了ECFR算法的收敛性。一组广泛的实验测试的结果表明，ECFR算法的收敛速度比当前国家的最先进的基于CFR的方法。
2020-12-04 cs.GT
Alternative Function Approximation Parameterizations for Solving Games: An Analysis of $f$-Regression Counterfactual Regret Minimization
University of Alberta（阿尔伯塔大学）
函数逼近是构造大型决策问题的一种强大方法，在强化学习和博弈领域取得了巨大成就。回归反事实遗憾最小化（Reconstruction Counterfactual Regret Minimization，RCFR）是一种近似求解具有归一化校正线性单元（Normalized Rectified Linear Unit，ReLU）参数化策略的不完美信息博弈的简单算法。相比之下，更传统的softmax参数化在强化学习领域是标准的，并且产生了对动作数量有更好依赖的后悔界限。我们推导出近似误差感知的遗憾界$(Φ, f)$遗憾匹配，它适用于一般类的链接功能和遗憾的目标。这些边界恢复了更严格的限制RFR和提供一个理论上的理由，RFR实施替代政策参数化（$f$ -RFR），包括softmax。我们提供了可利用的界限$f$ -RFR的多项式和指数的链接函数在零和不完美信息游戏和经验研究如何链接函数相互作用的严重程度的近似。我们发现，以前研究的ReLU参数化在近似误差较小时表现更好，而softmax参数化在近似误差较大时表现更好。
2020-05-01 cs.AI cs.GT cs.LG
Feature-Based Online Bilateral Trade
本文研究在线双边贸易中基于特征的定价问题，提出算法在强预算平衡下达到对数遗憾，并扩展至噪声估值及更严格反馈场景，揭示反馈质量与预算约束间的权衡。
2024-05-28 cs.GT
Adaptive Regret Minimization in Bounded-Memory Games
最小化后悔的在线学习算法在涉及在不确定环境中重复做出决策的情况下提供了强有力的保证，例如，驾驶员每天决定开车上班的路线。虽然后悔最小化已被广泛研究重复游戏，我们研究后悔最小化的更丰富的一类游戏称为有界记忆游戏。在两人有限记忆-m博弈的每一轮中，两个玩家同时进行一个动作，观察一个结果并获得奖励。奖励可以取决于最后m个结果以及玩家在当前回合中的动作。对于重复游戏，标准的后悔概念不再适用，因为行为和奖励可能取决于游戏的历史。为了解释这种普遍性，我们引入了k-自适应后悔的概念，它比较了通过对一个假设的k-自适应对手的算法规定的行动所获得的奖励，以及事后对同一对手的最佳专家所获得的奖励。粗略地说，一个假设的k-适应对手调整她的策略，以防御者的行动完全一样，真正的对手会在每个窗口的k轮。我们的定义是由一组专家参数化，其中可以包括固定和自适应防御策略。我们研究了完美和不完美信息的有界记忆博弈中自适应遗憾最小化的内在复杂性，并设计了相应的算法。我们证明了一个硬度的结果表明，与不完美的信息，任何k-自适应后悔最小化算法（与固定的战略专家）必须是低效的，除非NP=RP，即使对一个不经意的对手。相比之下，对于完美和不完美信息的有界记忆博弈，我们提出了近似0-自适应遗憾最小化算法，以对抗时间为n^{O（1）}的遗忘对手。
2013-09-05 cs.GT
Efficient Regret Minimization Algorithm for Extensive-Form Correlated Equilibrium
Carnegie Mellon University（卡内基梅隆大学）；Strategic Machine, Inc.（Strategic Machine公司）；Strategy Robot, Inc.（Strategy Robot公司）；Optimized Markets, Inc.（Optimized Markets公司）
基于后悔最小化的自博弈方法已经成为计算大型二人零和扩展型博弈纳什均衡的最新方法。这些方法从根本上依赖于玩家的顺序策略空间的层次结构来构造一个后悔最小化器，递归地最小化游戏树中每个决策点的后悔。在本文中，我们介绍了第一个有效的后悔最小化算法计算的扩展形式的相关平衡在大型两人一般和游戏没有机会移动。设计这样的算法比设计对应的纳什均衡更具挑战性，因为定义相关计划空间的约束缺乏层次结构，甚至可能形成循环。我们表明，一些约束是冗余的，可以排除考虑，并提出了一个有效的算法，生成的空间的扩展形式的相关计划增量从剩余的约束。这种结构分解是通过一个特殊的保凸操作，我们硬币规模扩展。我们表明，一个遗憾的最小化可以设计为任何两个凸集的扩展，从分解，我们然后得到一个全球遗憾的最小化。我们的算法产生可行的迭代。实验表明，它显着优于以前的方法，对于较大的问题，它是唯一可行的选择。
2019-10-28 cs.AI cs.GT cs.LG
Solving Imperfect-Information Games via Discounted Regret Minimization
Carnegie Mellon University（卡内基梅隆大学）
反事实后悔最小化（CFR）是一类迭代算法，是最流行的，在实践中，最快的方法来近似解决大规模的信息博弈。在本文中，我们引入了新的CFR变体，1）以各种方式从早期迭代中折扣遗憾（在某些情况下，积极和消极的遗憾不同），2）以各种方式重新加权迭代以获得输出策略，3）使用非标准的遗憾最小化器和/或4）利用“乐观遗憾匹配”。它们在许多环境中显著提高了性能。首先，我们引入了一个变体，在每个测试的游戏中，包括大规模的现实设置中，它的性能都优于CFR+，这是现有的最先进的算法。CFR+是一个强大的基准：没有其他算法已经能够胜过it. Finally，我们表明，与CFR+，许多重要的新的变种是兼容的现代信息游戏修剪技术和一个也是兼容的游戏树中的采样。
2019-02-21 cs.AI cs.GT
Optimistic Regret Minimization for Extensive-Form Games via Dilated Distance-Generating Functions
Carnegie Mellon University（卡内基梅隆大学）；Columbia University（哥伦比亚大学）；Strategic Machine, Inc.（Strategic Machine公司）；Strategy Robot, Inc.（Strategy Robot公司）；Optimized Markets, Inc.（Optimized Markets公司）
我们研究了乐观的遗憾最小化算法的性能，最小化遗憾，计算纳什均衡，零和扩展形式的游戏。为了将这些算法应用于扩展形式的游戏，需要一个距离生成函数。我们研究了扩张熵和扩张欧氏距离函数的使用。对于扩张的欧氏距离函数，我们证明了一般树丛的强凸性参数的第一个显式界。此外，我们表明，使用扩张的距离生成函数，使我们能够分解的镜像下降算法，其乐观的变体，到本地镜像下降算法在每个信息集。这种分解反映了反事实遗憾最小化框架的结构，并使重要的技术在实践中，如分布式更新和修剪冷部分的游戏树。我们的算法可证明收敛速度为$T^{-1}$，这是优于以前的反事实遗憾最小化算法。我们实验比较流行的算法CFR+，它具有$T^{-0.5}$的理论收敛速度在理论上，但已知的是经常收敛速度$T^{-1}$，或更好，在实践中。我们给出了一个矩阵游戏的例子，CFR+实验收敛速度相对较慢的$T^{-0.74}$，而我们的乐观方法收敛速度比$T^{-1}$。我们继续表明，我们的快速率也持有库恩扑克游戏，这是一个广泛的形式的游戏。然而，对于游戏树更深的游戏，我们发现CFR+仍然更快。最后，我们表明，当目标是最大限度地减少遗憾，而不是计算一个纳什均衡，我们的乐观的方法可以优于CFR+，即使在深游戏树。
2019-10-28 cs.GT cs.LG math.OC
Model-Free Online Learning in Unknown Sequential Decision Making Problems and Games
Carnegie Mellon University（卡内基梅隆大学）；Strategic Machine, Inc.（Strategic Machine公司）；Strategy Robot, Inc.（Strategy Robot公司）；Optimized Markets, Inc.（Optimized Markets公司）
后悔最小化已被证明是一个通用的工具，树形序贯决策和广泛的形式的游戏。在大型二人零和信息博弈中，反事实遗憾最小化（CFR）的现代扩展是目前计算纳什均衡的实用技术。大多数用于树形顺序决策的后悔最小化算法，包括CFR，都需要（i）玩家决策节点、观察节点以及它们之间如何联系的精确模型，以及（ii）在所有时间t都对收益有充分的了解--即使是在时间t没有遇到的决策空间部分。最近，人们越来越有兴趣放宽其中一些限制，并使遗憾最小化适用于传统上使用强化学习方法的环境-例如，那些只有黑盒访问环境的环境。我们给第一，据我们所知，遗憾最小化算法，保证次线性遗憾的概率很高，即使要求（i）-因此也（ii）-下降。我们形式化的在线学习设置中的策略空间是不知道的代理，并得到逐步揭示每当代理遇到新的决策点。我们给出了一个有效的算法，实现了$O(T^{3/4})$遗憾的设置，即使当代理面临着一个敌对的环境具有很高的概率。我们的实验表明，它显着优于以前的算法的问题，没有这样的保证。它可以用在任何后悔最小化有用的应用中：近似纳什均衡或量子响应均衡，近似多人游戏中的粗略相关均衡，学习最佳对策，学习安全的对手利用，以及在线对抗未知对手/环境。
2021-03-08 cs.GT cs.LG
Regret Minimization with Performative Feedback
University of California, Berkeley（加州大学伯克利分校）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
在执行性预测中，预测模型的部署会触发数据分布的转变。由于这些变化通常是事先未知的，学习者需要部署一个模型来获得关于它所诱导的分布的反馈。我们研究的问题，找到接近最优的模型下performativity，同时保持低遗憾。从表面上看，这个问题似乎相当于一个强盗问题。然而，它展示了一个从根本上更丰富的反馈结构，我们称之为表演反馈：在每次部署之后，学习者从移动的分布中接收样本，而不仅仅是关于奖励的强盗反馈。我们的主要贡献是一个算法，实现遗憾界缩放仅与复杂的分布偏移，而不是奖励函数。该算法仅依赖于位移的光滑性，而不假设凸性。此外，它的最终结果保证接近最优。关键的算法思想是仔细探索的分布偏移，通知一个新的建设的置信界限的风险未探索的模型。更广泛地说，我们的工作建立了一个概念性的方法，利用工具的土匪文学的目的，后悔最小化与表演反馈。
2022-07-18 cs.GT cs.LG stat.ML
An Efficient Black-Box Reduction from Online Learning to Multicalibration, and a New Route to $Φ$-Regret Minimization
MIT EECS（麻省理工学院电子工程与计算机科学系）；New York University（纽约大学）
本文提出从在线学习到在线多校准的黑盒还原方法，并展示了如何通过结合无悔学习器和期望变分不等式求解器实现高维多校准。同时，通过将高维在线多校准还原为Φ-后悔最小化，为外部后悔到Φ-后悔的转换提供了新途径。
2026-08-05 cs.GT cs.LG
Regret Minimization in Non-Zero-Sum Games with Applications to Building Champion Multiplayer Computer Poker Agents
在两人零和博弈中，如果两个博弈者都最小化他们的平均外部后悔，那么策略剖面的平均值收敛到一个纳什均衡。然而，对于n人一般和游戏，遗憾最小化的理论保证较少被理解。尽管如此，反事实遗憾最小化（CFR），一个流行的遗憾最小化算法的广泛形式的游戏，产生了获奖的三人德州扑克代理在年度电脑扑克比赛（ACPC）。在本文中，我们提供了第一套理论性质的遗憾最小化算法在非零和游戏证明，解决方案消除迭代严格控制。我们正式定义\emph{dominated actions}在扩展形式的游戏，显示CFR避免迭代严格支配的行动和战略，并证明，删除迭代支配的行动是足以赢得一个模拟锦标赛在一个小的扑克游戏。此外，对于两个玩家的非零和游戏，我们绑定的最坏情况下的性能，并表明，在实践中，后悔最小化可以产生非常接近均衡的策略。我们的理论进步使我们对CFR进行了新的修改，用于两个以上玩家的游戏，更有效，可以用来生成比以前更强大的策略。此外，我们提出了一个新的三人德州扑克代理，是使用CFR和一种新的游戏分解方法。我们的新代理赢得了2012年ACPC的三人项目，并击败了以前比赛中的三人项目，同时需要比2011年冠军更少的资源来产生。最后，我们表明，我们的CFR修改计算出一个战略，我们的新代理在四分之一的时间标准CFR使用一半的内存质量相等。
2013-04-30 cs.GT cs.MA
Regret Minimization with Noisy Observations
Google Research（谷歌研究院）；Duke University（杜克大学）
在一个典型的优化问题中，任务是选择一个具有最低成本或最高价值的选项。在实践中，这些成本/价值量通常通过诸如测量或机器学习之类的过程来获得，这些过程是有噪声的，具有可量化的噪声分布。为了考虑这些噪声分布，一种方法是假设值的先验，使用它来构建后验，然后应用标准随机优化来选择解决方案。然而，在许多实际应用中，这样的先验分布可能不可用。在本文中，我们研究这样的情况下，使用后悔最小化模型。在我们的模型中，任务是从$n$值中选出最高的一个。这些值是未知的，由对手选择，但可以通过噪声信道观察到，其中加性噪声是从已知分布中随机抽取的。我们的目标是尽量减少我们选择的遗憾，定义为最坏情况下的值选择的最高值和所选值之间的预期差异。我们发现，选择最高观测值的天真算法遗憾任意比最佳差，即使当$n = 2$和噪声是无偏的期望。另一方面，我们提出了一个算法，它给出了一个常数近似的最佳遗憾的任何$n$。我们的算法是概念简单，计算效率高，只需要最少的知识的噪声分布。
2022-07-19 cs.DS cs.GT cs.LG
Deep (Predictive) Discounted Counterfactual Regret Minimization
针对现有方法难以整合先进CFR变体的问题，提出一种无模型神经CFR算法，通过方差降低采样、引导拟合累积优势及模拟先进变体更新机制，实现更快收敛与更强对抗性能。
2025-11-11 cs.AI cs.GT cs.LG
Clairvoyant Regret Minimization: Equivalence with Nemirovski's Conceptual Prox Method and Extension to General Convex Games
Piliouras等人最近的一篇论文。[2021，2022]介绍了一种用于正规形式游戏的解耦学习算法-称为千里眼MWU（CMWU）。在本文中，我们证明了CMWU等价于Nemirovski [2004]描述的概念性prox方法。这种连接立即表明，它是可能的扩展CMWU算法的任何凸游戏，一个问题由Piliouras等人留下的开放。我们呼吁由此产生的算法-再次相当于概念prox方法-千里眼OMD。与此同时，我们表明，我们的分析产生了一个改进的遗憾界相比，由Piliouras等人，因为CMWU的遗憾只与玩家数量的平方根有关，而不是玩家本身的数量。
2022-08-31 cs.GT
Online Two-Sided Markets: Many Buyers Enhance Learning
研究单一卖家与多买家重复交易问题，通过第二价格拍卖获取非对称反馈并设计自适应网格逼近最优交易收益，打破了单买家遗憾下界，在无分布假设下实现 $\ ilde O(T^{2/3})$ 的遗憾上界。
2025-03-03 cs.GT
Regret Minimization for Piecewise Linear Rewards: Contracts, Auctions, and Beyond
Politecnico di Milano（米兰理工大学）
研究在相关模型参数未知且由概率分布确定时，如何优化未知随机分段线性奖励函数。提出通用在线学习框架，设计算法达\(\widetilde{O}(\sqrt{nT})\)遗憾值，解决了微观经济学习文献中的两个开放问题。
2026-07-21 cs.GT cs.LG
A Competition-based Pricing Strategy in Cloud Markets using Regret Minimization Techniques
Amirkabir University of Technology（阿米尔卡比尔理工大学）
本文将云提供商竞争建模为不完全信息博弈，提出基于遗憾最小化算法的定价策略，通过迭代更新策略概率加速遗憾收敛，实验证明其能显著提升利润并改善投资回报率。
2023-09-20 cs.AI cs.GT
Regret Minimization with Adaptive Opponents in Repeated Games
Massachusetts Institute of Technology（麻省理工学院）；OpenAI；University of Maryland, College Park（马里兰大学学院公园分校）
针对重复博弈中自适应对手的遗憾最小化问题，提出重复策略遗憾（RP-Regret）指标，并设计三种算法实现次线性遗憾，同时证明所有玩家最小化该遗憾可学习子博弈完美均衡。
2026-06-04 cs.AI cs.GT cs.LG
Single Deep Counterfactual Regret Minimization
University of Cambridge（剑桥大学）
反事实后悔最小化（CFR）算法是求解不完全信息博弈近似纳什均衡的最成功的算法。然而，CFR对完整游戏树遍历的依赖限制了其可扩展性。出于这个原因，游戏的状态和动作空间通常被抽象（即简化）为CFR，然后将所产生的策略转换回完整的游戏，这需要广泛的专业知识，并且通常会收敛到高度可利用的策略。最近提出的一种方法，深度CFR，将深度学习直接应用于CFR，允许代理从样本中内在地抽象和概括状态空间，而不需要专业知识。在本文中，我们介绍了单深度CFR（SD-CFR），这是深度CFR的简化变体，通过避免训练平均策略网络，具有较低的总体近似误差。我们表明，SD-CFR是更有吸引力的从理论的角度来看，经验上优于深CFR方面的可利用性和一对一的发挥扑克。
2019-10-04 cs.AI cs.GT cs.LG
Regret Minimization in Stackelberg Games with Side Information
School of Computer Science（计算机学院）；Carnegie Mellon University（卡内基梅隆大学）
本文提出带辅助信息的Stackelberg博弈，证明完全对抗场景下领导者无法实现无遗憾，但在两种混合随机与对抗性的放松场景中可实现无遗憾学习。
2024-10-12 cs.GT cs.LG
Online Convex Optimization for Sequential Decision Processes and Extensive-Form Games
Carnegie Mellon University（卡内基梅隆大学）
后悔最小化是求解大规模可拓形式博弈的有力工具。最先进的方法依赖于在每个决策点局部最小化后悔。在这项工作中，我们推导出一个新的框架后悔最小化的顺序决策问题和扩展形式的游戏一般紧凸集在每个决策点和一般凸损失，而不是以前的工作，已为单纯形决策点和线性损失。我们称这个框架为层流后悔分解。它将CFR算法推广到这种更一般的设置。此外，我们的框架，即使在已知的设置，这是来自分解多面体遗憾的角度来看，CFR的新的证明，从而导致可以说是一个更简单的解释算法。我们的推广凸紧集和凸损失，使我们能够开发新的算法的几个问题：正则化的顺序决策，正则化的纳什均衡在扩展形式的游戏，计算近似的扩展形式的完美均衡。我们的推广也导致了第一个遗憾最小化算法计算减少正规型量子响应平衡的基础上，最大限度地减少本地遗憾。实验表明，我们的框架导致的算法，规模的速度可比的最快的变种反事实遗憾最小化计算纳什均衡，因此，我们的方法导致的第一个算法计算量子响应均衡在非常大的游戏。最后，我们表明，我们的框架，使一种新的可扩展的对手剥削的方法。
2018-09-10 cs.AI cs.GT cs.LG
Sync Pure Counterfactual Regret Minimization in Incomplete Information Extensive Form Games
本文结合同步虚构博弈与纯CFR，提出同步PCFR算法，在不完全信息扩展形式博弈中收敛速度比CFR+快约一个数量级且内存更省。
2023-11-13 cs.GT
Optimizing Sensor Allocation against Attackers with Uncertain Intentions: A Worst-Case Regret Minimization Approach
本文提出一种基于最坏情况遗憾最小化的传感器分配优化方法，以应对攻击者意图不确定的多阶段攻击，并利用混合整数线性规划求解零和与非零和博弈下的最优分配策略。
2023-06-22 cs.GT
Last-Iterate Convergence in Adaptive Regret Minimization for Approximate Extensive-Form Perfect Equilibrium
针对扩展型完美均衡（EFPE）求解中平均策略计算成本高和固定扰动存在权衡的问题，提出自适应遗憾最小化算法RTCFR，通过动态调整扰动实现末次迭代收敛，显著提升了求解性能。
2025-08-11 cs.GT
Comparing Uniform Price and Discriminatory Multi-Unit Auctions through Regret Minimization
该研究从单投标人学习出价视角对比统一价格与歧视性多单位拍卖，刻画两者在不同反馈下的遗憾缩放规律，发现非最坏场景下统一价格拍卖学习速率更快，对称单位需求场景也存在类似差异。
2025-10-22 cs.GT stat.ML
Competing With Strategies
Univ. of Pennsylvania（宾夕法尼亚大学）
我们研究的问题，网上学习的概念定义的一套策略的遗憾。我们开发的工具来分析极大极小利率和在这种情况下，得出遗憾最小化算法。虽然标准的方法，最大限度地减少通常的概念，遗憾失败，通过我们的分析，我们证明了存在的遗憾最小化的方法，与这样的一套战略，如：自回归算法，战略的基础上统计模型，正则化最小二乘法，并遵循正则化的领导者的战略。在某些情况下，我们也得到有效的学习算法。
2013-02-12 cs.GT cs.LG stat.ML
Approximately Bisubmodular Regret Minimization in Billboard and Social Media Advertising
本文提出了一种近似双次模影响模型，用于解决多模式广告中非单调、非次模的 regret 最小化问题，并通过实验验证了其在减少总 regret 和满足广告需求方面的有效性。
2025-11-26 cs.DB cs.DS cs.GT
Stable-Predictive Optimistic Counterfactual Regret Minimization
Carnegie Mellon University（卡内基梅隆大学）；Columbia University（哥伦比亚大学）
CFR框架在实际中已经成为求解大规模可拓形式博弈的有力工具。然而，过去基于CFR的算法收敛到纳什均衡的理论速率是$O(T^{-1/2})$的量级，其中$T$是迭代次数。相比之下，一阶方法可用于实现对迭代的$O(T^{-1})$依赖性，然而这些方法在实践中不太成功。在这项工作中，我们提出了第一个CFR的变种，打破了平方根依赖迭代。通过结合和扩展最近的进展预测和稳定的后悔最小化矩阵游戏设置，我们表明，它是可能的，利用“乐观”后悔最小化实现$O(T^{-3/4})$收敛速度内CFR。这是通过引入一个新的概念，稳定的预测，并通过设置每个反事实的遗憾最小化相对于其在决策树中的位置的稳定性。实验表明，该方法比原来的CFR算法更快，虽然不如新的变种，尽管他们的最坏情况下的$O(T^{-1/2})$依赖于迭代。
2019-02-13 cs.AI cs.GT cs.LG
