Competing With Strategies
Univ. of Pennsylvania（宾夕法尼亚大学）
我们研究的问题，网上学习的概念定义的一套策略的遗憾。我们开发的工具来分析极大极小利率和在这种情况下，得出遗憾最小化算法。虽然标准的方法，最大限度地减少通常的概念，遗憾失败，通过我们的分析，我们证明了存在的遗憾最小化的方法，与这样的一套战略，如：自回归算法，战略的基础上统计模型，正则化最小二乘法，并遵循正则化的领导者的战略。在某些情况下，我们也得到有效的学习算法。
2013-02-12 cs.GT cs.LG stat.ML
Competitive ratio versus regret minimization: achieving the best of both worlds
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）；Google Research（谷歌研究院）；Tel Aviv University（特拉维夫大学）
我们认为在线算法的竞争比标准和遗憾最小化之一。我们的主要目标是建立一个统一的方法，能够同时保证这两个标准。对于一般类的在线算法，即任何度量任务系统（MTS），我们表明，可以同时保证最好的竞争比和自然的遗憾界。对于分页问题，我们进一步展示了一个有效的在线算法（多项式的页数），这种保证。为此，我们扩展了现有的遗憾最小化算法（具体来说，Kapralov和Panigrahy）来处理移动成本（在线系统状态之间切换的成本）。然后，我们展示了如何使用扩展的后悔最小化算法结合多个在线算法。我们的最终结果是一个在线算法，可以结合一个“基地”的在线算法，有保证的竞争比，与一系列的在线算法，保证在任何时间间隔的一个小遗憾。组合算法既保证了竞争比匹配的基础算法和低遗憾在任何时间间隔。作为一个产品，我们得到了一个专家算法，接近最优的遗憾界的每一个时间间隔，即使在存在的转换成本。这个结果是独立的利益。
2019-04-07 cs.DS cs.LG stat.ML
Regret Minimization in Behaviorally-Constrained Zero-Sum Games
Carnegie Mellon University（卡内基梅隆大学）
无遗憾学习已经成为解决扩展形式游戏的强大工具。这是由反事实遗憾最小化（CFR）框架，它依赖于实例化的遗憾最小化的单形在每个信息集的游戏。我们使用的CFR框架的实例开发算法解决行为约束（作为一种特殊情况，在Selten意义上扰动）的扩展形式的游戏，这使我们能够计算近似的纳什均衡的改进。纳什均衡的改进是由纳什均衡中的一个主要缺陷引起的：它实际上没有保证它将如何在博弈树中以零概率到达的部分中发挥作用。改进可以解决这个问题，但尚未在实践中采用，主要是由于缺乏可扩展的算法。我们表明，相比标准算法，我们的方法找到的解决方案，有更好的细化性能，同时享受的收敛速度，是最先进的算法纳什均衡计算在理论和实践中。
2017-11-09 cs.GT cs.LG
Online Agnostic Boosting via Regret Minimization
Princeton University（普林斯顿大学）；Google AI Princeton（谷歌人工智能普林斯顿（Google AI Princeton））
Boosting是一种广泛使用的机器学习方法，它基于聚集弱学习规则的思想。虽然在统计学习中，许多提升方法存在于可实现和不可知的设置中，但在在线学习中，它们只存在于可实现的情况下。在这项工作中，我们提供了第一个不可知的在线提升算法，也就是说，给定一个弱学习者，只有边际优于平凡的遗憾保证，我们的算法将其提升为一个强学习者与次线性遗憾。我们的算法是基于一个抽象的（和简单的）减少在线凸优化，有效地将任意在线凸优化在线助推器。此外，这种减少扩展到统计以及在线可实现的设置，从而统一了统计/在线和不可知/可实现的提升的4种情况。
2020-03-02 cs.LG stat.ML
Regret Minimization in Bilateral Trade With Perturbed Markets
Politecnico di Milano（米兰理工大学）
研究在存在扰动的市场中，通过设计算法实现兼顾对抗性和随机性的懊悔最小化，提升交易收益。
2026-05-11 cs.GT cs.LG
Lazy-CFR: fast and near optimal regret minimization for extensive games with imperfect information
Tsinghua University（清华大学）；BNRist Center（BNRist中心）；State Key Lab for Intell. Tech. & Sys.（智能技术与系统国家重点实验室）；THBI Lab（THBI实验室）；Dept. of Comp. Sci. & Tech.（计算机科学与技术系）
反事实遗憾最小化（CFR）算法是求解不完全信息下二人零和广式对策的最常用算法，在实际应用中取得了很好的效果。然而，CFR的性能并没有得到充分的理解，因为经验结果的遗憾是远远优于上限证明\cite{zinkevich2008regret}。另一个问题是CFR必须在每轮中遍历整个博弈树，这在大规模博弈中是耗时的。本文提出了一种新的技术，懒惰更新，它可以避免遍历整个游戏树的CFR，以及新的分析与懒惰更新的CFR遗憾。我们的分析也可以应用到香草CFR，导致一个更严格的遗憾界比\cite{zinkevich2008regret}。受惰性更新的启发，我们进一步提出了一种新的CFR变体，命名为Lazy-CFR。与vanilla CFR中遍历$O(|\mathcal{I}|)$信息集相比，Lazy-CFR每轮只需要遍历$O(\sqrt{|\mathcal{I}|})$信息集，而遗憾界几乎保持不变，其中$\mathcal{I}$是所有信息集的类。因此，与vanilla CFR相比，Lazy-CFR表现出更好的收敛结果。实验结果一致表明，Lazy-CFR显著优于vanilla CFR。
2018-12-25 cs.LG stat.ML
Rate-Preserving Reductions for Blackwell Approachability
Google Research（谷歌研究院）；Tel Aviv University（特拉维夫大学）；Courant Institute of Mathematical Sciences, New York（纽约柯朗数学科学研究所）
本文研究Blackwell可逼近性与无悔学习之间归约的保速率性质，证明现有归约不保持最优速率，并提出不当φ-遗憾最小化作为紧密归约框架，揭示可逼近性可表达超出在线学习范畴的问题。
2024-07-17 cs.LG stat.ML
Regret Minimization and Statistical Inference in Online Decision Making with High-dimensional Covariates
Hong Kong University of Science and Technology（香港科技大学）；University of Pennsylvania（宾夕法尼亚大学）
本文研究高维在线决策的遗憾最小化与统计推断，结合ε-贪心算法与硬阈值估计并提出去偏推断框架，揭示探索-利用权衡，还证明无探索的纯贪心算法在特定条件下可同时实现最优遗憾与一致推断，且经实验验证有效。
2025-05-17 cs.LG stat.ML
On the Computational Efficiency of Adaptive and Dynamic Regret Minimization
Google AI Princeton（谷歌人工智能普林斯顿）；Princeton University（普林斯顿大学）
在在线凸优化中，玩家的目标是最小化遗憾，或者在整个重复游戏中，她的损失与事后最佳固定决策之间的差异。最小化（标准）遗憾的算法可能会收敛到一个固定的决策，这在变化或动态环境中是不可取的。这激发了更强的表现指标，特别是适应性和动态后悔。适应性后悔是在时间上任何连续子区间上的最大后悔。动态后悔是总成本与事后最佳决策序列的成本之差。在自适应和动态后悔最小化中的最先进的性能遭受计算惩罚-通常在乘法因子的数量级上，该乘法因子在游戏迭代的数量中以几何方式增长。在本文中，我们将展示如何减少这种计算惩罚的游戏迭代次数的双对数，并保持近最佳的自适应和动态遗憾的界限。
2023-02-13 cs.LG
Bounds for Approximate Regret-Matching Algorithms
University of Alberta（阿尔伯塔大学）
解决大型非真实信息博弈的一个主要方法是反事实遗憾最小化（CFR）。在CFR中，许多后悔最小化问题组合起来解决这个问题。对于非常大型的游戏，通常需要抽象来使CFR易于处理。抽象通常是手动调整的，可能会删除完整游戏中的重要战略差异并损害性能。函数近似提供了一种自然的解决方案，可以找到好的抽象来近似整个游戏。结合函数逼近的一种常见方法是学习后悔最小化算法所需的输入，允许在许多后悔最小化问题中推广。本文给出了当后悔极小化算法使用估计值而不是真值时的后悔界。这种形式的分析是第一个推广到更大类的$(Φ, f)$ -后悔匹配算法，并包括不同形式的后悔，如交换，内部和外部后悔。我们演示了这些结果如何给一个稍微紧的约束回归后悔匹配（RRM），并提出了一个新的结合回归与对冲的约束。
2019-11-28 cs.GT cs.LG
Equivalence Analysis between Counterfactual Regret Minimization and Online Mirror Descent
University of Science and Technology of China（中国科学技术大学）
FTRL（Follow-the-Regularized-Lead）和OMD（Online Mirror Descent）是求解在线凸优化（OCO）问题的后悔最小化算法，它们在数学上很优雅，但在求解可拓形式博弈（EFG）问题时却不太实用。反事实后悔最小化（CFR）是一种近似EFG纳什均衡的技术。CFR及其变体在实践中收敛速度快，但理论结果并不令人满意。近年来，研究人员一直试图将CFRs与OCO算法联系起来，这可能会提供新的理论结果并启发新的算法。然而，现有的分析仅限于局部决策点。在本文中，我们表明，与遗憾匹配和遗憾匹配+CFRs是等价的特殊情况下，FTRL和OMD，分别。根据这些等价关系，我们得到了一个新的FTRL和一个新的OMD算法，它们可以看作是vanilla CFR和CFR+的扩展。实验结果表明，这两种算法的收敛速度比传统的FTRL和OMD算法快，在某些EFG中甚至比vanilla CFR和CFR+算法快。
2022-04-19 cs.LG
Stable-Predictive Optimistic Counterfactual Regret Minimization
Carnegie Mellon University（卡内基梅隆大学）；Columbia University（哥伦比亚大学）
CFR框架在实际中已经成为求解大规模可拓形式博弈的有力工具。然而，过去基于CFR的算法收敛到纳什均衡的理论速率是$O(T^{-1/2})$的量级，其中$T$是迭代次数。相比之下，一阶方法可用于实现对迭代的$O(T^{-1})$依赖性，然而这些方法在实践中不太成功。在这项工作中，我们提出了第一个CFR的变种，打破了平方根依赖迭代。通过结合和扩展最近的进展预测和稳定的后悔最小化矩阵游戏设置，我们表明，它是可能的，利用“乐观”后悔最小化实现$O(T^{-3/4})$收敛速度内CFR。这是通过引入一个新的概念，稳定的预测，并通过设置每个反事实的遗憾最小化相对于其在决策树中的位置的稳定性。实验表明，该方法比原来的CFR算法更快，虽然不如新的变种，尽管他们的最坏情况下的$O(T^{-1/2})$依赖于迭代。
2019-02-13 cs.AI cs.GT cs.LG
A Regret Minimization Approach to Multi-Agent Control
Princeton University（普林斯顿大学）；Google AI Princeton（谷歌AI普林斯顿）
研究了具有已知动态和对抗性干扰的动力系统的多智能体控制问题。我们的研究集中在最优控制没有集中的预先计算的政策，而是与适应控制政策，不同的代理人，只配备了一个稳定的控制器。我们给出了一个减少从任何（标准）遗憾最小化控制方法的分布式算法。减少保证所得到的分布式算法具有较低的遗憾相对于最佳的预先计算的联合政策。我们的方法包括推广在线凸优化的多智能体设置和应用最近的工具，从非随机控制派生的一个单一的代理。我们经验评估我们的方法上的模型的过驱动飞机。我们表明，分布式方法是强大的故障和对抗性扰动的动态。
2022-02-25 cs.LG math.OC stat.ML
Optimistic Regret Minimization for Extensive-Form Games via Dilated Distance-Generating Functions
Carnegie Mellon University（卡内基梅隆大学）；Columbia University（哥伦比亚大学）；Strategic Machine, Inc.（Strategic Machine公司）；Strategy Robot, Inc.（Strategy Robot公司）；Optimized Markets, Inc.（Optimized Markets公司）
我们研究了乐观的遗憾最小化算法的性能，最小化遗憾，计算纳什均衡，零和扩展形式的游戏。为了将这些算法应用于扩展形式的游戏，需要一个距离生成函数。我们研究了扩张熵和扩张欧氏距离函数的使用。对于扩张的欧氏距离函数，我们证明了一般树丛的强凸性参数的第一个显式界。此外，我们表明，使用扩张的距离生成函数，使我们能够分解的镜像下降算法，其乐观的变体，到本地镜像下降算法在每个信息集。这种分解反映了反事实遗憾最小化框架的结构，并使重要的技术在实践中，如分布式更新和修剪冷部分的游戏树。我们的算法可证明收敛速度为$T^{-1}$，这是优于以前的反事实遗憾最小化算法。我们实验比较流行的算法CFR+，它具有$T^{-0.5}$的理论收敛速度在理论上，但已知的是经常收敛速度$T^{-1}$，或更好，在实践中。我们给出了一个矩阵游戏的例子，CFR+实验收敛速度相对较慢的$T^{-0.74}$，而我们的乐观方法收敛速度比$T^{-1}$。我们继续表明，我们的快速率也持有库恩扑克游戏，这是一个广泛的形式的游戏。然而，对于游戏树更深的游戏，我们发现CFR+仍然更快。最后，我们表明，当目标是最大限度地减少遗憾，而不是计算一个纳什均衡，我们的乐观的方法可以优于CFR+，即使在深游戏树。
2019-10-28 cs.GT cs.LG math.OC
Surrogate Regret Bounds for Polyhedral Losses
University of Colorado Boulder（科罗拉多大学博尔德分校）
代理风险最小化是监督机器学习中普遍存在的范例，其中通过最小化数据集上的代理损失来解决目标问题。代理后悔界限，也称为超额风险界限，是证明代理风险最小化的推广率的常用工具。虽然替代遗憾界已被开发为某些类别的损失函数，如适当的损失，一般的结果是相对稀疏。我们提供了两个一般结果。第一个给出了一个线性代理遗憾界的任何多面体（分段线性和凸）代理，这意味着代理泛化率直接转化为目标率。第二个表明，充分非多面体代理，遗憾界是一个平方根，这意味着快速代理泛化率转化为目标的速度慢。总之，这些结果表明多面体代理在许多情况下是最佳的。
2021-10-26 cs.LG stat.ML
Adaptive Control and Regret Minimization in Linear Quadratic Gaussian (LQG) Setting
California Institute of Technology（加州理工学院）
研究了部分可观测线性二次型高斯控制系统的自适应控制问题，其中系统的模型动态是先验未知的。我们提出了LqgOpt，一种新的强化学习算法的基础上乐观的原则，在面对不确定性，以有效地减少整体控制成本。我们采用预测状态演化表示的系统动力学和部署最近提出的闭环系统辨识方法，估计和置信界建设。LqgOpt有效地探索系统动力学，估计模型参数到其置信区间，并部署最乐观模型的控制器以进行进一步的探索和开发。我们提供了LqgOpt的稳定性保证，并证明了$\tilde{\mathcal{O}}(\sqrt{T})$的遗憾上界的线性二次高斯（LQG）系统的自适应控制，其中$T$是问题的时间范围。
2020-06-24 cs.LG math.OC stat.ML
An Equivalence Between Static and Dynamic Regret Minimization
Università degli Studi di Milano（米兰大学）；Politecnico di Milano（米兰理工大学）；KAUST（阿卜杜拉国王科技大学）
该研究证明在线凸优化线性损失下动态与静态遗憾最小化等价，揭示损失方差与比较器可变性的下界权衡，首次证伪平方路径长度自适应的遗憾界，提出局部平滑可变性概念与对应动态遗憾保证算法。
2024-11-01 cs.LG math.OC stat.ML
Regret Minimization for Piecewise Linear Rewards: Contracts, Auctions, and Beyond
Politecnico di Milano（米兰理工大学）
研究在相关模型参数未知且由概率分布确定时，如何优化未知随机分段线性奖励函数。提出通用在线学习框架，设计算法达\(\widetilde{O}(\sqrt{nT})\)遗憾值，解决了微观经济学习文献中的两个开放问题。
2026-07-21 cs.GT cs.LG
Zero-Regret Performative Prediction Under Inequality Constraints
The Hong Kong University of Science and Technology（香港科技大学）
本文研究不等式约束下的表演性预测最优解问题，提出鲁棒原始-对偶框架和自适应原始-对偶算法，首次实现零遗憾并验证其有效性。
2023-09-22 cs.LG
On the Impact of Performative Risk Minimization for Binary Random Variables
INSAIT, Sofia University ``St. Kliment Ohridski''（INSAIT，索菲亚大学『圣克莱门特·奥赫里迪基』）
本文针对二元随机变量的序列执行式风险最小化问题，构建影响度量指标，推导全信息场景显式解并提出部分信息场景的执行感知估计量，发现PRM相比未建模偏移方法副作用更显著。
2025-10-30 cs.LG stat.ML
A regret minimization approach to fixed-point iterations
提出将遗憾最小化算法转换为固定点迭代的通用方案，推广了Krasnoselskii--Mann迭代，并基于AdaGrad获得自适应迭代，实验显示收敛更快。
2026-09-21 cs.LG cs.NA math.NA
Optimizing the Preconditioner: A Black-box Online-to-Nonconvex Conversion with Static Regret Minimization Oracles
Center for Computational Science and Engineering, MIT（麻省理工学院计算科学与工程中心）；Department of Civil and Environmental Engineering, MIT（麻省理工学院土木与环境工程系）；Institute for Data, Systems, and Society, MIT（麻省理工学院数据、系统与社会研究所）
研究随机非凸优化能否黑盒简化为在线凸优化的静态遗憾最小化，提出维护梯度跟踪器并由在线学习器选预处理器的方法，对光滑和非光滑非凸目标均适用，解决了相关开放问题，还为理解自适应优化方法提供新视角。
2026-11-04 cs.LG math.OC stat.ML
Parameter-Free Algorithms for Performative Regret Minimization under Decision-Dependent Distributions
KAIST（韩国科学技术院）；Samsung Electronics（三星电子）
本文针对决策依赖分布下可能非凸的表演性风险最小化问题，提出无需知道敏感性参数和Lipschitz常数的无参数乐观优化算法，并通过实验证明其优于现有方法。
2024-02-23 cs.LG math.OC
Online Convex Optimization for Sequential Decision Processes and Extensive-Form Games
Carnegie Mellon University（卡内基梅隆大学）
后悔最小化是求解大规模可拓形式博弈的有力工具。最先进的方法依赖于在每个决策点局部最小化后悔。在这项工作中，我们推导出一个新的框架后悔最小化的顺序决策问题和扩展形式的游戏一般紧凸集在每个决策点和一般凸损失，而不是以前的工作，已为单纯形决策点和线性损失。我们称这个框架为层流后悔分解。它将CFR算法推广到这种更一般的设置。此外，我们的框架，即使在已知的设置，这是来自分解多面体遗憾的角度来看，CFR的新的证明，从而导致可以说是一个更简单的解释算法。我们的推广凸紧集和凸损失，使我们能够开发新的算法的几个问题：正则化的顺序决策，正则化的纳什均衡在扩展形式的游戏，计算近似的扩展形式的完美均衡。我们的推广也导致了第一个遗憾最小化算法计算减少正规型量子响应平衡的基础上，最大限度地减少本地遗憾。实验表明，我们的框架导致的算法，规模的速度可比的最快的变种反事实遗憾最小化计算纳什均衡，因此，我们的方法导致的第一个算法计算量子响应均衡在非常大的游戏。最后，我们表明，我们的框架，使一种新的可扩展的对手剥削的方法。
2018-09-10 cs.AI cs.GT cs.LG
Sparsity-Based Interpolation of External, Internal and Swap Regret
Princeton University（普林斯顿大学）；Harvard University（哈佛大学）
本文针对在线学习专家问题，提出一种基于稀疏性的单一算法，通过$\phi$-遗憾最小化统一插值外部、内部和交换遗憾，实现实例自适应最优界，并匹配现有算法的计算复杂度。
2025-06-17 cs.LG stat.ML
Breaking the $T^{3/4}$ Barrier for Regret Minimization With Bi-Dimensional CDFs
本文提出了一种算法，将CDF相关目标的regret最小化复杂度从T^{3/4}降低至T^{7/10}，并应用于重复双方面贸易中的利润最大化问题。
2026-07-23 cs.LG
Improved Worst-Case Regret Bounds for Randomized Least-Squares Value Iteration
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
研究了强化学习中随机价值函数的后悔最小化问题。在表格有限时域马尔可夫决策过程中，我们介绍了一个经典的汤普森采样（TS）的类似算法，随机最小二乘值迭代（RLSVI）的裁剪变体。我们的$\tilde{\mathrm{O}}(H^2S\sqrt{AT})$高概率最坏情况下的遗憾边界改善了以前的最尖锐的最坏情况下的遗憾边界RLSVI和现有的最先进的最坏情况下的TS为基础的遗憾边界相匹配。
2021-11-09 cs.LG stat.ML
Swap Regret Minimization Through Response-Based Approachability
Carnegie Mellon University（卡内基梅隆大学）；Massachusetts Institute of Technology（麻省理工学院）；University of Southern California（南加州大学）；Google Research（谷歌研究）
本文提出了一种更简单高效的算法，通过预处理后的约翰椭球，保证了线性交换遗憾为O(d√T)，并建立了信息论下限，证明了经典算法在减少线性交换遗憾方面的最优性，同时扩展了该方法以处理多项式维度的交换偏差集。
2026-05-21 cs.LG
Regret-Minimization Algorithms for Multi-Agent Cooperative Learning Systems
The London School of Economics and Political Science（伦敦政治经济学院）
本论文研究多智能体协作学习系统中的遗憾最小化问题，针对多臂赌博机、分布式在线凸优化和团队组建等场景，给出遗憾下界及达到该下界的高效算法，并揭示遗憾与通信网络连通性和延迟的关系。
2023-10-30 cs.LG cs.MA stat.ML
Efficient Constrained Regret Minimization
Michigan State University（密歇根州立大学）
在线学习构成了一个数学的和令人信服的框架来分析在对抗性环境中的顺序决策问题。学习者反复选择一个动作，环境以一个结果做出回应，然后学习者收到对所做动作的奖励。学习者的目标是最大化他的总回报。然而，在某些情况下，除了最大化累积奖励之外，学习者还必须平均满足决策序列上的一些额外约束。在本文中，我们研究了一个扩展的在线学习的学习者的目标是最大化的总回报，一些额外的约束需要得到满足。利用拉格朗日方法在约束优化中的理论，提出了拉格朗日指数加权平均（LEWA）算法，该算法是著名的指数加权平均算法的原始-对偶变体，可以有效地解决约束在线决策问题。利用新的理论分析，我们建立了完全信息和强盗反馈模型中的后悔和违反约束界。
2012-10-04 cs.LG
A Researcher's Guide to Empirical Risk Minimization
本指南提供经验风险最小化中高概率遗憾界的方法与工具，探讨了噪声成分和正交统计学习框架下的相关问题，推导了样本内情形的遗憾界。
2026-03-03 cs.LG math.ST stat.ML
Adjusted Expected Improvement for Cumulative Regret Minimization in Noisy Bayesian Optimization
National University of Singapore（新加坡国立大学）
本文针对噪声贝叶斯优化中累积遗憾最小化问题，提出期望改进-代价（EIC）算法，通过引入评估代价决定采样或重采样，并证明其遗憾上界优于现有 EI 类算法且可比肩 GP-TS 和 GP-UCB。
2024-10-03 cs.LG math.ST stat.TH
Online Nonsubmodular Minimization with Delayed Costs: From Full Information to Bandit Feedback
University of California, Berkeley（加州大学伯克利分校）；Microsoft Research（微软研究院）
受稀疏估计和贝叶斯优化中在线学习应用的启发，我们考虑了在完全信息和强盗反馈两种情况下，具有延迟代价的在线无约束非次模极小化问题.与以往的在线无约束次模极小化工作相比，我们专注于一类具有特殊结构的非次模函数，并证明了在静态和延迟情况下在线和近似在线强盗梯度下降算法的几个变体的遗憾保证。我们推导出的代理人的遗憾在充分的信息和强盗反馈设置，即使选择一个决定和接收所产生的成本之间的延迟是无界的。我们的方法的关键是$(α, β)$ -遗憾的概念和扩展的通用凸松弛模型从~ \citet{El-2020-Optimal}，其中的分析是独立的兴趣。我们进行并展示了几个模拟研究，以证明我们的算法的有效性。
2022-06-01 cs.LG
Optimizing the Performative Risk under Weak Convexity Assumptions
Princeton University（普林斯顿大学）
在执行性预测中，预测模型会影响生成未来数据的分布，这是经典监督学习中忽略的现象。在此闭环设置中，称为执行风险（$\mathrm{PR}$）的自然性能度量捕获预测模型\emph{after}部署所引起的预期损失。使用表演风险作为优化目标的核心困难在于数据分布本身取决于模型参数。这种依赖性是由环境决定的，而不是由学习者控制的。因此，即使选择凸损失函数也可能导致高度非凸的$\mathrm{PR}$最小化问题。先前的工作已经确定了一对损失的一般条件和从模型参数到分布的映射，这意味着表演风险的凸性。在本文中，我们放松这些假设，并专注于获得较弱的凸性概念，而不牺牲的顺应性的$\mathrm{PR}$最小化问题的迭代优化方法。
2022-10-21 cs.LG stat.ML
Performative Prediction with Bandit Feedback: Learning through Reparameterization
University of California, Santa Cruz（加州大学圣克鲁兹分校）；Columbia University（哥伦比亚大学）；the Chinese University of Hong Kong（香港中文大学）；Washington University in St. Louis（圣路易斯华盛顿大学）
针对现有执行式预测研究依赖的三个不切实际假设，提出重参数化框架与双层零阶优化方法，将非凸目标转为凸目标，给出次线性于样本数、多项式于参数维度的可证明遗憾界。
2024-08-12 cs.LG stat.ML
Robust and Heavy-Tailed Mean Estimation Made Simple, via Regret Minimization
UC Berkeley（加州大学伯克利分校）；Microsoft Research AI（微软人工智能研究院）
我们研究的问题估计的平均值的分布在高维时，无论是样本是adversarially损坏或分布是重尾。最近的发展，在强大的统计数据建立了高效和（接近）最佳的程序，这两种设置。然而，每一方开发的算法往往是复杂的，并不直接转移到另一方，其中许多具有特别或复杂的分析。在本文中，我们提供了一个元问题和一个对偶定理，导致一个新的统一的观点，在高维的鲁棒和重尾均值估计。我们表明，元问题可以通过最近关于鲁棒估计的文献中的滤波器算法的变体或通过Dong，Hopkins和Li（NeurIPS '19）的量子熵评分方案（QUE）来解决。通过利用我们的对偶定理，这些结果转化为简单而有效的算法，为强大的和重尾设置。此外，基于QUE的过程具有与两个方面的最快已知算法相匹配的运行时间。我们的分析是通过经典的遗憾界的乘法权重更新方法。这种连接使我们能够避免在以前的作品中的技术复杂性，并提高了基于梯度下降的算法的运行时分析，用于Cheng，Diakonikolas，Ge和Soltanolkotabi（ICML '20）的鲁棒均值估计。
2021-01-19 cs.DS cs.LG math.ST
Improved Online Conformal Prediction via Strongly Adaptive Online Learning
Salesforce AI Research（Salesforce人工智能研究院）
我们研究的问题，通过预测集的不确定性量化，在一个在线设置的数据分布可能会随时间的推移而任意变化。最近的工作开发了在线共形预测技术，利用在线学习文献中的遗憾最小化算法来学习具有近似有效覆盖和小遗憾的预测集。然而，标准的遗憾最小化可能不足以应对不断变化的环境，其中不仅在整个时间范围内而且在所有（子）时间间隔内都需要性能保证。我们开发了新的在线共形预测方法，最大限度地减少了强自适应遗憾，这措施的最坏情况下的遗憾，在所有的间隔一个固定的长度。我们证明了我们的方法实现了近最优的强自适应遗憾的所有区间长度同时，和近似有效的覆盖。实验表明，我们的方法始终获得更好的覆盖率和更小的预测集比现有的方法在现实世界的任务，如时间序列预测和图像分类下分布偏移。
2023-02-15 cs.AI cs.LG math.ST
Efficient Regret Minimization in Non-Convex Games
Department of Computer Science, Princeton University（普林斯顿大学计算机科学系）
本文研究非凸损失函数重复博弈中的后悔最小化问题。最小化后悔的标准概念在计算上是困难的。因此，我们定义了一个自然的概念，遗憾，允许有效的优化和推广离线保证收敛到近似的局部最优。我们给出了基于梯度的方法，实现最佳遗憾，这反过来又保证收敛到平衡在这个框架中。
2017-07-31 cs.GT cs.LG stat.ML
Optimal Classification under Performative Distribution Shift
Univ. Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）；Université Paris Dauphine（巴黎多芬大学）；Université PSL（巴黎文理研究大学）；École Normale Supérieure（巴黎高等师范学院）
本研究提出将表现性效应建模为推前测度，仅需偏移算子即可估计梯度，在特定方向性假设下证明分类风险凸性，并建立与对抗鲁棒分类的联系，提升学习效率与可扩展性。
2024-11-04 cs.LG stat.ML
Performative Prediction with Neural Networks
Mila, Université de Montréal（米拉-蒙特利尔大学）
本文提出用数据分布对模型预测的利普希茨连续性替代对参数的利普希茨连续性假设，从而放宽损失函数凸性要求，并通过重采样过程和神经网络实验验证了学习执行性稳定分类器的可行性。
2025-02-06 cs.GT cs.LG
Approximate Regions of Attraction in Learning with Decision-Dependent Distributions
UIUC（伊利诺伊大学厄巴纳-香槟分校）
本文研究决策依赖分布下重复风险最小化的闭环收敛行为，将其建模为执行式风险最小化梯度流的受扰轨迹，并提出多均衡吸引域条件与执行式对齐概念。
2023-04-24 cs.LG cs.SY eess.SY
PAC Learnability in the Presence of Performativity
INSAIT
本文研究了在表现性影响下二分类问题的PAC可学习性，提出了一种表现性风险最小化方法，并通过实验验证其有效性。
2026-01-19 cs.LG stat.ML
Towards Performatively Stable Equilibria in Decision-Dependent Games for Arbitrary Data Distribution Maps
Department of Computer Science（计算机科学系）；Hong Kong Baptist University（香港 Baptist 大学）
针对决策依赖博弈中现有执行稳定均衡研究依赖难以获取的β-平滑性假设的问题，提出基于梯度的敏感度度量，在强单调性假设下推导收敛保证，开发敏感度感知重复再训练算法，在三类博弈实验中实现更优性能。
2025-09-01 cs.GT cs.LG
DREAM: Deep Regret minimization with Advantage baselines and Model-free learning
Facebook AI Research（Facebook人工智能研究院）
我们介绍了DREAM，这是一种深度强化学习算法，可以在多代理的信息博弈中找到最优策略。形式上，DREAM在两人零和博弈中收敛于一个纳什均衡，在所有其他博弈中收敛于一个扩展形式的粗略相关均衡。我们的主要创新是一种有效的算法，与其他基于遗憾的深度学习算法相比，它不需要访问完美的游戏模拟器来实现良好的性能。我们表明，梦想经验达到国家的最先进的性能在流行的基准测试游戏中的无模型算法，甚至是有竞争力的算法，使用完美的模拟器。
2020-11-29 cs.GT cs.LG stat.ML
Regret Minimization and Convergence to Equilibria in General-sum Markov Games
针对对抗场景下马尔可夫博弈遗憾最小化难以实现的问题，提出首个所有智能体执行时可提供次线性交换遗憾保证、且收敛到相关均衡的去中心化高效无通信学习算法，其核心是将策略优化在线学习归约为加权遗憾最小化，通过控制路径长度实现目标。
2025-06-16 cs.AI cs.GT cs.LG
Simple Regret Minimization for Contextual Bandits
Department of EECS, University of Michigan, Ann Arbor, MI, USA（密歇根大学电气工程与计算机科学系）；Department of Aerospace Engineering, University of Michigan, Ann Arbor, MI, USA（密歇根大学航空航天工程系）；Climate and Space Engineering, University of Michigan, Ann Arbor, MI, USA（密歇根大学气候与空间工程系）
经典的多臂强盗（MAB）问题有两种变体，近年来受到机器学习研究者的广泛关注：情境强盗和简单后悔最小化。情境强盗是MAB的一个子类，在每个时间步，学习者都可以获得预测最佳手臂的边信息。简单的遗憾最小化假设学习者只在纯探索阶段后才会后悔。在这项工作中，我们研究简单的后悔最小化上下文土匪。出于应用程序的学习者有单独的培训和自主模式，我们假设学习者经历了一个纯粹的探索阶段，在每一个动作后收到反馈，但没有遗憾，然后是一个纯粹的开发阶段，其中遗憾的是，但没有反馈。我们提出了上下文间隙算法，并建立了简单的遗憾，即性能保证，在纯开发阶段的遗憾。我们的实验研究了一种新的应用程序，以自适应传感器选择星际航天器的磁场估计，并证明了相当大的改进算法，旨在尽量减少累积遗憾。
2020-02-25 cs.LG stat.ML
Regret Minimization in Partially Observable Linear Quadratic Control
California Institute of Technology（加州理工学院）
研究了部分可观测线性二次型控制系统在模型动态先验未知时的后悔最小化问题。我们提出了ExpCommit，一个探索然后提交算法，学习模型马尔可夫参数，然后遵循乐观的原则，面对不确定性设计控制器。我们提出了一种新的方法来分解遗憾，并提供了一个端到端的次线性遗憾上界的部分可观测线性二次控制。最后，我们提供了稳定性保证，并建立了ExpCommit的遗憾上限$\tilde{\mathcal{O}}(T^{2/3})$，其中$T$是问题的时间范围。
2020-03-08 cs.LG math.OC stat.ML
GPU-Accelerated Counterfactual Regret Minimization
University of Toronto（多伦多大学）
本文将反事实后悔最小化重构为适合GPU并行的矩阵与向量运算，以更高内存占用换取显著加速，并在多类博弈中大幅超越 OpenSpiel 的 Python 与 C++ 实现。
2024-12-02 cs.GT cs.LG
Regret Minimization in Heavy-Tailed Bandits
TIFR（塔塔基础研究所）；CWI（荷兰国家数学与计算机科学研究中心）
在随机多臂强盗模型中，当臂分布为重尾分布时，我们重新研究了经典的后悔最小化问题。后悔最小化问题在有界支持报酬分布或属于单参数指数族的分布的简单设置中得到了很好的研究。我们的工作下，弱得多的假设下，阶$(1+ε)$的时刻是一致有界的一个已知的常数B，对于某些给定的$ε> 0$。我们提出了一个最佳的算法，完全匹配的下限在一阶项。我们也给出了一个有限的时间限制的遗憾。我们表明，我们的指数集中速度比众所周知的截断或修剪经验均值估计重尾分布的平均。计算我们的索引可能需要大量的计算。为了解决这个问题，我们开发了一个基于批量的算法，这是最佳的乘法常数取决于批量大小。因此，我们提供了一个控制的统计最优性和计算成本之间的权衡。
2021-02-07 cs.LG stat.ML
Bridging the gap between regret minimization and best arm identification, with application to A/B tests
LPSM, Université Paris Diderot（巴黎第七大学概率与随机模型实验室）；CMLA, ENS Paris Saclay（巴黎萨克雷高等师范学院应用数学与计算机科学中心）；Criteo AI Lab（科睿唯安人工智能实验室）
最先进的在线学习程序集中于选择最佳替代方案（“最佳手臂识别”）或最小化成本（“遗憾”）。我们合并这两个目标提供的理论分析成本最小化算法，也是三角洲PAC（与一个证明的保证界的决策时间），因此履行在同一时间遗憾最小化和最佳手臂识别。这种分析揭示了共同的观察，校准不良的UCB算法最大限度地减少遗憾，同时仍然迅速确定最好的arm. We还扩展这些结果，许多从业者所面临的非iid的情况下。这提供了一种技术，使成本与决策时间的妥协时，做自适应测试的应用程序，从网站A/B测试到临床试验。
2019-02-26 cs.LG stat.ML
Proportional Response: Contextual Bandits for Simple and Cumulative Regret Minimization
Stanford University（斯坦福大学）；Hong Kong University of Science and Technology（香港科技大学）
该研究针对随机上下文老虎机场景，提出基于共形臂集的比例响应算法族，可通过调参平衡简单遗憾与累积遗憾最小化的性能，同时证明无法同时实现实例依赖简单遗憾保证与极小极大最优累积遗憾保证。
2023-11-03 cs.LG stat.ML
Oracle-Efficient Regret Minimization in Factored MDPs with Unknown Structure
Tel-Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
我们研究遗憾最小化在非情节因子马尔可夫决策过程（FMDPs），其中所有现有的算法作出强烈的假设，因子结构的FMDPs是已知的学习者提前。在本文中，我们提供了第一个学习FMDP的结构，同时最大限度地减少遗憾的算法。我们的算法是基于乐观面对不确定性的原则，结合一个简单的统计方法的结构学习，并可以有效地实现了一个FMDP规划器的Oracle访问。此外，我们给我们的算法的一个变体，仍然是有效的，即使当预言是有限的非因子的行动，这是几乎所有现有的近似规划的情况。最后，我们利用我们的技术来证明已知结构情况下的一个新下界，缩小了与Chen et al. [2021]的遗憾界的差距。
2021-10-11 cs.LG stat.ML
Efficient Swap Regret Minimization in Combinatorial Bandits
National Technical University of Athens（雅典国立技术大学）；National and Kapodistrian University of Athens（雅典国立卡波季斯特里安大学）；Archimedes, Athena Research Center（雅典娜研究中心阿基米德部）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Grenoble INP（格勒诺布尔国立高等物理、数学与信息学院）；University of California, Irvine（加州大学尔湾分校）
本文提出一种在组合老虎机中具有多项对数依赖于N的高效无交换后悔算法，解决了该领域长期存在的挑战。
2026-02-02 cs.LG stat.ML
Efficient Last-Iterate Convergence in Regret Minimization via Adaptive Reward Transformation
School of Computer Science and Technology, Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）计算机科学与技术学院）
针对遗憾最小化中Reward Transformation框架对参数敏感且易陷入局部最优的问题，提出动态调参的自适应方法，确保理论一致性并实现线性收敛，显著加速了NFGs和EFGs中的末次迭代收敛。
2025-09-17 cs.GT cs.LG
