On the Computational Efficiency of Adaptive and Dynamic Regret Minimization
Google AI Princeton（谷歌人工智能普林斯顿）；Princeton University（普林斯顿大学）
在在线凸优化中，玩家的目标是最小化遗憾，或者在整个重复游戏中，她的损失与事后最佳固定决策之间的差异。最小化（标准）遗憾的算法可能会收敛到一个固定的决策，这在变化或动态环境中是不可取的。这激发了更强的表现指标，特别是适应性和动态后悔。适应性后悔是在时间上任何连续子区间上的最大后悔。动态后悔是总成本与事后最佳决策序列的成本之差。在自适应和动态后悔最小化中的最先进的性能遭受计算惩罚-通常在乘法因子的数量级上，该乘法因子在游戏迭代的数量中以几何方式增长。在本文中，我们将展示如何减少这种计算惩罚的游戏迭代次数的双对数，并保持近最佳的自适应和动态遗憾的界限。
2023-02-13 cs.LG
Lazy-CFR: fast and near optimal regret minimization for extensive games with imperfect information
Tsinghua University（清华大学）；BNRist Center（BNRist中心）；State Key Lab for Intell. Tech. & Sys.（智能技术与系统国家重点实验室）；THBI Lab（THBI实验室）；Dept. of Comp. Sci. & Tech.（计算机科学与技术系）
反事实遗憾最小化（CFR）算法是求解不完全信息下二人零和广式对策的最常用算法，在实际应用中取得了很好的效果。然而，CFR的性能并没有得到充分的理解，因为经验结果的遗憾是远远优于上限证明\cite{zinkevich2008regret}。另一个问题是CFR必须在每轮中遍历整个博弈树，这在大规模博弈中是耗时的。本文提出了一种新的技术，懒惰更新，它可以避免遍历整个游戏树的CFR，以及新的分析与懒惰更新的CFR遗憾。我们的分析也可以应用到香草CFR，导致一个更严格的遗憾界比\cite{zinkevich2008regret}。受惰性更新的启发，我们进一步提出了一种新的CFR变体，命名为Lazy-CFR。与vanilla CFR中遍历$O(|\mathcal{I}|)$信息集相比，Lazy-CFR每轮只需要遍历$O(\sqrt{|\mathcal{I}|})$信息集，而遗憾界几乎保持不变，其中$\mathcal{I}$是所有信息集的类。因此，与vanilla CFR相比，Lazy-CFR表现出更好的收敛结果。实验结果一致表明，Lazy-CFR显著优于vanilla CFR。
2018-12-25 cs.LG stat.ML
A regret minimization approach to fixed-point iterations
提出将遗憾最小化算法转换为固定点迭代的通用方案，推广了Krasnoselskii--Mann迭代，并基于AdaGrad获得自适应迭代，实验显示收敛更快。
2026-09-21 cs.LG cs.NA math.NA
Rate-Preserving Reductions for Blackwell Approachability
Google Research（谷歌研究院）；Tel Aviv University（特拉维夫大学）；Courant Institute of Mathematical Sciences, New York（纽约柯朗数学科学研究所）
本文研究Blackwell可逼近性与无悔学习之间归约的保速率性质，证明现有归约不保持最优速率，并提出不当φ-遗憾最小化作为紧密归约框架，揭示可逼近性可表达超出在线学习范畴的问题。
2024-07-17 cs.LG stat.ML
Equivalence Analysis between Counterfactual Regret Minimization and Online Mirror Descent
University of Science and Technology of China（中国科学技术大学）
FTRL（Follow-the-Regularized-Lead）和OMD（Online Mirror Descent）是求解在线凸优化（OCO）问题的后悔最小化算法，它们在数学上很优雅，但在求解可拓形式博弈（EFG）问题时却不太实用。反事实后悔最小化（CFR）是一种近似EFG纳什均衡的技术。CFR及其变体在实践中收敛速度快，但理论结果并不令人满意。近年来，研究人员一直试图将CFRs与OCO算法联系起来，这可能会提供新的理论结果并启发新的算法。然而，现有的分析仅限于局部决策点。在本文中，我们表明，与遗憾匹配和遗憾匹配+CFRs是等价的特殊情况下，FTRL和OMD，分别。根据这些等价关系，我们得到了一个新的FTRL和一个新的OMD算法，它们可以看作是vanilla CFR和CFR+的扩展。实验结果表明，这两种算法的收敛速度比传统的FTRL和OMD算法快，在某些EFG中甚至比vanilla CFR和CFR+算法快。
2022-04-19 cs.LG
Stable-Predictive Optimistic Counterfactual Regret Minimization
Carnegie Mellon University（卡内基梅隆大学）；Columbia University（哥伦比亚大学）
CFR框架在实际中已经成为求解大规模可拓形式博弈的有力工具。然而，过去基于CFR的算法收敛到纳什均衡的理论速率是$O(T^{-1/2})$的量级，其中$T$是迭代次数。相比之下，一阶方法可用于实现对迭代的$O(T^{-1})$依赖性，然而这些方法在实践中不太成功。在这项工作中，我们提出了第一个CFR的变种，打破了平方根依赖迭代。通过结合和扩展最近的进展预测和稳定的后悔最小化矩阵游戏设置，我们表明，它是可能的，利用“乐观”后悔最小化实现$O(T^{-3/4})$收敛速度内CFR。这是通过引入一个新的概念，稳定的预测，并通过设置每个反事实的遗憾最小化相对于其在决策树中的位置的稳定性。实验表明，该方法比原来的CFR算法更快，虽然不如新的变种，尽管他们的最坏情况下的$O(T^{-1/2})$依赖于迭代。
2019-02-13 cs.AI cs.GT cs.LG
Optimistic Regret Minimization for Extensive-Form Games via Dilated Distance-Generating Functions
Carnegie Mellon University（卡内基梅隆大学）；Columbia University（哥伦比亚大学）；Strategic Machine, Inc.（Strategic Machine公司）；Strategy Robot, Inc.（Strategy Robot公司）；Optimized Markets, Inc.（Optimized Markets公司）
我们研究了乐观的遗憾最小化算法的性能，最小化遗憾，计算纳什均衡，零和扩展形式的游戏。为了将这些算法应用于扩展形式的游戏，需要一个距离生成函数。我们研究了扩张熵和扩张欧氏距离函数的使用。对于扩张的欧氏距离函数，我们证明了一般树丛的强凸性参数的第一个显式界。此外，我们表明，使用扩张的距离生成函数，使我们能够分解的镜像下降算法，其乐观的变体，到本地镜像下降算法在每个信息集。这种分解反映了反事实遗憾最小化框架的结构，并使重要的技术在实践中，如分布式更新和修剪冷部分的游戏树。我们的算法可证明收敛速度为$T^{-1}$，这是优于以前的反事实遗憾最小化算法。我们实验比较流行的算法CFR+，它具有$T^{-0.5}$的理论收敛速度在理论上，但已知的是经常收敛速度$T^{-1}$，或更好，在实践中。我们给出了一个矩阵游戏的例子，CFR+实验收敛速度相对较慢的$T^{-0.74}$，而我们的乐观方法收敛速度比$T^{-1}$。我们继续表明，我们的快速率也持有库恩扑克游戏，这是一个广泛的形式的游戏。然而，对于游戏树更深的游戏，我们发现CFR+仍然更快。最后，我们表明，当目标是最大限度地减少遗憾，而不是计算一个纳什均衡，我们的乐观的方法可以优于CFR+，即使在深游戏树。
2019-10-28 cs.GT cs.LG math.OC
Regret Minimization with Performative Feedback
University of California, Berkeley（加州大学伯克利分校）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
在执行性预测中，预测模型的部署会触发数据分布的转变。由于这些变化通常是事先未知的，学习者需要部署一个模型来获得关于它所诱导的分布的反馈。我们研究的问题，找到接近最优的模型下performativity，同时保持低遗憾。从表面上看，这个问题似乎相当于一个强盗问题。然而，它展示了一个从根本上更丰富的反馈结构，我们称之为表演反馈：在每次部署之后，学习者从移动的分布中接收样本，而不仅仅是关于奖励的强盗反馈。我们的主要贡献是一个算法，实现遗憾界缩放仅与复杂的分布偏移，而不是奖励函数。该算法仅依赖于位移的光滑性，而不假设凸性。此外，它的最终结果保证接近最优。关键的算法思想是仔细探索的分布偏移，通知一个新的建设的置信界限的风险未探索的模型。更广泛地说，我们的工作建立了一个概念性的方法，利用工具的土匪文学的目的，后悔最小化与表演反馈。
2022-07-18 cs.GT cs.LG stat.ML
Online Learning on Hidden-Convex Losses via Algorithmic Equivalence: Optimal Regret, Geometric Barrier, and Bandit Feedback
Singapore University of Technology and Design（新加坡科技设计大学）；National Technical University of Athens（雅典国家技术大学）；National and Kapodistrian University of Athens（雅典国家与卡多斯大学）；University of California, Irvine（加州大学 Irvine 分校）；Archimedes, Athena Research Center, Greece（希腊阿提卡研究中心 Archimedes）；National University of Singapore, Centre for Quantum Technologies（新加坡国立大学 量子技术中心）
本文通过更精确的离散时间算法等价性论证，证明在线梯度下降在隐凸损失上达到最优的$\mathcal{O}(\sqrt{T})$遗憾，并澄清了所需几何条件，同时扩展到单点Bandit反馈得到$\mathcal{O}(T^{3/4})$期望遗憾。
2026-05-25 cs.LG math.OC stat.ML
Surrogate Regret Bounds for Polyhedral Losses
University of Colorado Boulder（科罗拉多大学博尔德分校）
代理风险最小化是监督机器学习中普遍存在的范例，其中通过最小化数据集上的代理损失来解决目标问题。代理后悔界限，也称为超额风险界限，是证明代理风险最小化的推广率的常用工具。虽然替代遗憾界已被开发为某些类别的损失函数，如适当的损失，一般的结果是相对稀疏。我们提供了两个一般结果。第一个给出了一个线性代理遗憾界的任何多面体（分段线性和凸）代理，这意味着代理泛化率直接转化为目标率。第二个表明，充分非多面体代理，遗憾界是一个平方根，这意味着快速代理泛化率转化为目标的速度慢。总之，这些结果表明多面体代理在许多情况下是最佳的。
2021-10-26 cs.LG stat.ML
On Equivalence of Martingale Tail Bounds and Deterministic Regret Inequalities
University of Pennsylvania（宾夕法尼亚大学）；Cornell University（康奈尔大学）
我们研究的等价性（一）确定性的路径语句出现在在线学习文献（称为\emph{regret bounds}），（二）高概率尾界的上确界的一个集合的鞅（一个特定的形式所产生的统一大数定律的鞅），和（iii）在期望的上确界。利用这一等价性，利用确定性遗憾界，证明了具有自适应步长的在线镜像下降算法的巴拿赫空间值鞅范数的指数尾界.我们扩展这些结果超出了线性结构的巴拿赫空间：我们定义了一个概念的\emph{martingale type}一般类的实值函数，并显示其等价性（对数因子）的各种顺序复杂性的类（特别是顺序Rademacher复杂性及其偏移版本）。对于类的一般鞅类型2，我们表现出一个更好的概念的变化，允许部分适应的函数索引的鞅。我们的证明技术依赖于顺序对称化和验证的\emph{existence}的遗憾最小化策略，某些在线预测问题。
2015-10-13 cs.LG math.PR stat.ML
Regret Minimization in Behaviorally-Constrained Zero-Sum Games
Carnegie Mellon University（卡内基梅隆大学）
无遗憾学习已经成为解决扩展形式游戏的强大工具。这是由反事实遗憾最小化（CFR）框架，它依赖于实例化的遗憾最小化的单形在每个信息集的游戏。我们使用的CFR框架的实例开发算法解决行为约束（作为一种特殊情况，在Selten意义上扰动）的扩展形式的游戏，这使我们能够计算近似的纳什均衡的改进。纳什均衡的改进是由纳什均衡中的一个主要缺陷引起的：它实际上没有保证它将如何在博弈树中以零概率到达的部分中发挥作用。改进可以解决这个问题，但尚未在实践中采用，主要是由于缺乏可扩展的算法。我们表明，相比标准算法，我们的方法找到的解决方案，有更好的细化性能，同时享受的收敛速度，是最先进的算法纳什均衡计算在理论和实践中。
2017-11-09 cs.GT cs.LG
Breaking the $T^{3/4}$ Barrier for Regret Minimization With Bi-Dimensional CDFs
本文提出了一种算法，将CDF相关目标的regret最小化复杂度从T^{3/4}降低至T^{7/10}，并应用于重复双方面贸易中的利润最大化问题。
2026-07-23 cs.LG
Regret Minimization in Bilateral Trade With Perturbed Markets
Politecnico di Milano（米兰理工大学）
研究在存在扰动的市场中，通过设计算法实现兼顾对抗性和随机性的懊悔最小化，提升交易收益。
2026-05-11 cs.GT cs.LG
Swap Regret Minimization Through Response-Based Approachability
Carnegie Mellon University（卡内基梅隆大学）；Massachusetts Institute of Technology（麻省理工学院）；University of Southern California（南加州大学）；Google Research（谷歌研究）
本文提出了一种更简单高效的算法，通过预处理后的约翰椭球，保证了线性交换遗憾为O(d√T)，并建立了信息论下限，证明了经典算法在减少线性交换遗憾方面的最优性，同时扩展了该方法以处理多项式维度的交换偏差集。
2026-05-21 cs.LG
Sparsity-Based Interpolation of External, Internal and Swap Regret
Princeton University（普林斯顿大学）；Harvard University（哈佛大学）
本文针对在线学习专家问题，提出一种基于稀疏性的单一算法，通过$\phi$-遗憾最小化统一插值外部、内部和交换遗憾，实现实例自适应最优界，并匹配现有算法的计算复杂度。
2025-06-17 cs.LG stat.ML
Bounds for Approximate Regret-Matching Algorithms
University of Alberta（阿尔伯塔大学）
解决大型非真实信息博弈的一个主要方法是反事实遗憾最小化（CFR）。在CFR中，许多后悔最小化问题组合起来解决这个问题。对于非常大型的游戏，通常需要抽象来使CFR易于处理。抽象通常是手动调整的，可能会删除完整游戏中的重要战略差异并损害性能。函数近似提供了一种自然的解决方案，可以找到好的抽象来近似整个游戏。结合函数逼近的一种常见方法是学习后悔最小化算法所需的输入，允许在许多后悔最小化问题中推广。本文给出了当后悔极小化算法使用估计值而不是真值时的后悔界。这种形式的分析是第一个推广到更大类的$(Φ, f)$ -后悔匹配算法，并包括不同形式的后悔，如交换，内部和外部后悔。我们演示了这些结果如何给一个稍微紧的约束回归后悔匹配（RRM），并提出了一个新的结合回归与对冲的约束。
2019-11-28 cs.GT cs.LG
Efficient Constrained Regret Minimization
Michigan State University（密歇根州立大学）
在线学习构成了一个数学的和令人信服的框架来分析在对抗性环境中的顺序决策问题。学习者反复选择一个动作，环境以一个结果做出回应，然后学习者收到对所做动作的奖励。学习者的目标是最大化他的总回报。然而，在某些情况下，除了最大化累积奖励之外，学习者还必须平均满足决策序列上的一些额外约束。在本文中，我们研究了一个扩展的在线学习的学习者的目标是最大化的总回报，一些额外的约束需要得到满足。利用拉格朗日方法在约束优化中的理论，提出了拉格朗日指数加权平均（LEWA）算法，该算法是著名的指数加权平均算法的原始-对偶变体，可以有效地解决约束在线决策问题。利用新的理论分析，我们建立了完全信息和强盗反馈模型中的后悔和违反约束界。
2012-10-04 cs.LG
Regret-Minimization Algorithms for Multi-Agent Cooperative Learning Systems
The London School of Economics and Political Science（伦敦政治经济学院）
本论文研究多智能体协作学习系统中的遗憾最小化问题，针对多臂赌博机、分布式在线凸优化和团队组建等场景，给出遗憾下界及达到该下界的高效算法，并揭示遗憾与通信网络连通性和延迟的关系。
2023-10-30 cs.LG cs.MA stat.ML
Improved Worst-Case Regret Bounds for Randomized Least-Squares Value Iteration
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
研究了强化学习中随机价值函数的后悔最小化问题。在表格有限时域马尔可夫决策过程中，我们介绍了一个经典的汤普森采样（TS）的类似算法，随机最小二乘值迭代（RLSVI）的裁剪变体。我们的$\tilde{\mathrm{O}}(H^2S\sqrt{AT})$高概率最坏情况下的遗憾边界改善了以前的最尖锐的最坏情况下的遗憾边界RLSVI和现有的最先进的最坏情况下的TS为基础的遗憾边界相匹配。
2021-11-09 cs.LG stat.ML
Adjusted Expected Improvement for Cumulative Regret Minimization in Noisy Bayesian Optimization
National University of Singapore（新加坡国立大学）
本文针对噪声贝叶斯优化中累积遗憾最小化问题，提出期望改进-代价（EIC）算法，通过引入评估代价决定采样或重采样，并证明其遗憾上界优于现有 EI 类算法且可比肩 GP-TS 和 GP-UCB。
2024-10-03 cs.LG math.ST stat.TH
A Researcher's Guide to Empirical Risk Minimization
本指南提供经验风险最小化中高概率遗憾界的方法与工具，探讨了噪声成分和正交统计学习框架下的相关问题，推导了样本内情形的遗憾界。
2026-03-03 cs.LG math.ST stat.ML
Online Convex Optimization for Sequential Decision Processes and Extensive-Form Games
Carnegie Mellon University（卡内基梅隆大学）
后悔最小化是求解大规模可拓形式博弈的有力工具。最先进的方法依赖于在每个决策点局部最小化后悔。在这项工作中，我们推导出一个新的框架后悔最小化的顺序决策问题和扩展形式的游戏一般紧凸集在每个决策点和一般凸损失，而不是以前的工作，已为单纯形决策点和线性损失。我们称这个框架为层流后悔分解。它将CFR算法推广到这种更一般的设置。此外，我们的框架，即使在已知的设置，这是来自分解多面体遗憾的角度来看，CFR的新的证明，从而导致可以说是一个更简单的解释算法。我们的推广凸紧集和凸损失，使我们能够开发新的算法的几个问题：正则化的顺序决策，正则化的纳什均衡在扩展形式的游戏，计算近似的扩展形式的完美均衡。我们的推广也导致了第一个遗憾最小化算法计算减少正规型量子响应平衡的基础上，最大限度地减少本地遗憾。实验表明，我们的框架导致的算法，规模的速度可比的最快的变种反事实遗憾最小化计算纳什均衡，因此，我们的方法导致的第一个算法计算量子响应均衡在非常大的游戏。最后，我们表明，我们的框架，使一种新的可扩展的对手剥削的方法。
2018-09-10 cs.AI cs.GT cs.LG
Online Nonsubmodular Minimization with Delayed Costs: From Full Information to Bandit Feedback
University of California, Berkeley（加州大学伯克利分校）；Microsoft Research（微软研究院）
受稀疏估计和贝叶斯优化中在线学习应用的启发，我们考虑了在完全信息和强盗反馈两种情况下，具有延迟代价的在线无约束非次模极小化问题.与以往的在线无约束次模极小化工作相比，我们专注于一类具有特殊结构的非次模函数，并证明了在静态和延迟情况下在线和近似在线强盗梯度下降算法的几个变体的遗憾保证。我们推导出的代理人的遗憾在充分的信息和强盗反馈设置，即使选择一个决定和接收所产生的成本之间的延迟是无界的。我们的方法的关键是$(α, β)$ -遗憾的概念和扩展的通用凸松弛模型从~ \citet{El-2020-Optimal}，其中的分析是独立的兴趣。我们进行并展示了几个模拟研究，以证明我们的算法的有效性。
2022-06-01 cs.LG
Regret Minimization for Piecewise Linear Rewards: Contracts, Auctions, and Beyond
Politecnico di Milano（米兰理工大学）
研究在相关模型参数未知且由概率分布确定时，如何优化未知随机分段线性奖励函数。提出通用在线学习框架，设计算法达\(\widetilde{O}(\sqrt{nT})\)遗憾值，解决了微观经济学习文献中的两个开放问题。
2026-07-21 cs.GT cs.LG
Robust and Heavy-Tailed Mean Estimation Made Simple, via Regret Minimization
UC Berkeley（加州大学伯克利分校）；Microsoft Research AI（微软人工智能研究院）
我们研究的问题估计的平均值的分布在高维时，无论是样本是adversarially损坏或分布是重尾。最近的发展，在强大的统计数据建立了高效和（接近）最佳的程序，这两种设置。然而，每一方开发的算法往往是复杂的，并不直接转移到另一方，其中许多具有特别或复杂的分析。在本文中，我们提供了一个元问题和一个对偶定理，导致一个新的统一的观点，在高维的鲁棒和重尾均值估计。我们表明，元问题可以通过最近关于鲁棒估计的文献中的滤波器算法的变体或通过Dong，Hopkins和Li（NeurIPS '19）的量子熵评分方案（QUE）来解决。通过利用我们的对偶定理，这些结果转化为简单而有效的算法，为强大的和重尾设置。此外，基于QUE的过程具有与两个方面的最快已知算法相匹配的运行时间。我们的分析是通过经典的遗憾界的乘法权重更新方法。这种连接使我们能够避免在以前的作品中的技术复杂性，并提高了基于梯度下降的算法的运行时分析，用于Cheng，Diakonikolas，Ge和Soltanolkotabi（ICML '20）的鲁棒均值估计。
2021-01-19 cs.DS cs.LG math.ST
Regret Minimization in Partially Observable Linear Quadratic Control
California Institute of Technology（加州理工学院）
研究了部分可观测线性二次型控制系统在模型动态先验未知时的后悔最小化问题。我们提出了ExpCommit，一个探索然后提交算法，学习模型马尔可夫参数，然后遵循乐观的原则，面对不确定性设计控制器。我们提出了一种新的方法来分解遗憾，并提供了一个端到端的次线性遗憾上界的部分可观测线性二次控制。最后，我们提供了稳定性保证，并建立了ExpCommit的遗憾上限$\tilde{\mathcal{O}}(T^{2/3})$，其中$T$是问题的时间范围。
2020-03-08 cs.LG math.OC stat.ML
A Regret Minimization Approach to Iterative Learning Control
Google AI Princeton（谷歌人工智能普林斯顿研究院）；Princeton University（普林斯顿大学）
我们考虑设置迭代学习控制，或基于模型的策略学习存在的不确定性，时变动态。在这种情况下，我们提出了一个新的性能指标，规划遗憾，它取代了标准的随机不确定性假设与最坏情况下的遗憾。基于非随机控制的最新进展，我们设计了一个新的迭代算法，以最小化规划遗憾，是更强大的模型失配和不确定性。我们提供的理论和经验证据表明，该算法优于现有的方法在几个基准。
2021-02-26 cs.LG math.OC stat.ML
Efficient Regret Minimization in Non-Convex Games
Department of Computer Science, Princeton University（普林斯顿大学计算机科学系）
本文研究非凸损失函数重复博弈中的后悔最小化问题。最小化后悔的标准概念在计算上是困难的。因此，我们定义了一个自然的概念，遗憾，允许有效的优化和推广离线保证收敛到近似的局部最优。我们给出了基于梯度的方法，实现最佳遗憾，这反过来又保证收敛到平衡在这个框架中。
2017-07-31 cs.GT cs.LG stat.ML
Simple Regret Minimization for Contextual Bandits
Department of EECS, University of Michigan, Ann Arbor, MI, USA（密歇根大学电气工程与计算机科学系）；Department of Aerospace Engineering, University of Michigan, Ann Arbor, MI, USA（密歇根大学航空航天工程系）；Climate and Space Engineering, University of Michigan, Ann Arbor, MI, USA（密歇根大学气候与空间工程系）
经典的多臂强盗（MAB）问题有两种变体，近年来受到机器学习研究者的广泛关注：情境强盗和简单后悔最小化。情境强盗是MAB的一个子类，在每个时间步，学习者都可以获得预测最佳手臂的边信息。简单的遗憾最小化假设学习者只在纯探索阶段后才会后悔。在这项工作中，我们研究简单的后悔最小化上下文土匪。出于应用程序的学习者有单独的培训和自主模式，我们假设学习者经历了一个纯粹的探索阶段，在每一个动作后收到反馈，但没有遗憾，然后是一个纯粹的开发阶段，其中遗憾的是，但没有反馈。我们提出了上下文间隙算法，并建立了简单的遗憾，即性能保证，在纯开发阶段的遗憾。我们的实验研究了一种新的应用程序，以自适应传感器选择星际航天器的磁场估计，并证明了相当大的改进算法，旨在尽量减少累积遗憾。
2020-02-25 cs.LG stat.ML
Empirical Bayes Regret Minimization
Google Research（谷歌研究院）；DeepMind（深度思维）；University of Alberta（阿尔伯塔大学）
大多数的强盗算法设计都是纯理论的。因此，他们有很强的后悔保证，但在实践中也往往过于保守。在这项工作中，我们开创了算法设计的想法，最大限度地减少经验贝叶斯遗憾，平均遗憾的问题实例从一个已知的分布。我们重点讨论了这个问题的一个易处理的例子，置信区间和后验宽度调整，并提出了一个有效的算法来解决它。调整算法进行了分析和评估多臂，线性和广义线性土匪。我们报告了几倍减少贝叶斯遗憾的国家的最先进的强盗算法，简单地通过优化一个小样本的分布。
2020-06-10 cs.LG stat.ML
Adaptive Control and Regret Minimization in Linear Quadratic Gaussian (LQG) Setting
California Institute of Technology（加州理工学院）
研究了部分可观测线性二次型高斯控制系统的自适应控制问题，其中系统的模型动态是先验未知的。我们提出了LqgOpt，一种新的强化学习算法的基础上乐观的原则，在面对不确定性，以有效地减少整体控制成本。我们采用预测状态演化表示的系统动力学和部署最近提出的闭环系统辨识方法，估计和置信界建设。LqgOpt有效地探索系统动力学，估计模型参数到其置信区间，并部署最乐观模型的控制器以进行进一步的探索和开发。我们提供了LqgOpt的稳定性保证，并证明了$\tilde{\mathcal{O}}(\sqrt{T})$的遗憾上界的线性二次高斯（LQG）系统的自适应控制，其中$T$是问题的时间范围。
2020-06-24 cs.LG math.OC stat.ML
On the Regret Minimization of Nonconvex Online Gradient Ascent for Online PCA
Technion - Israel Institute of Technology（以色列理工学院）
在本文中，我们专注于问题的在线主成分分析的后悔最小化框架。对于这个问题，所有现有的后悔最小化算法的完全对抗设置是基于一个半正定凸松弛，因此需要二次记忆和SVD计算（薄或全）的每一个迭代，这相当于至少二次运行时间每次迭代。这与相应的随机i.i.d.的问题，这是最近被广泛研究的变种，并承认非常有效的梯度上升算法，直接对自然的非凸制定的问题，因此只需要线性内存和线性运行时间每次迭代。这就提出了一个问题：非凸在线梯度上升算法是否可以在在线对抗环境中最大限度地减少遗憾？在本文中，我们采取了一个步骤来回答这个问题。我们引入了一个\textit{adversarially-perturbed spiked-covariance model}，其中每个数据点被假设为遵循一个固定的随机分布，在协方差矩阵中具有非零的谱间隙，但随后被一些对抗向量扰动。该模型是一个经过充分研究的标准随机设置的自然扩展，允许在数据中出现非平稳（对抗）模式，因此可能会更好地近似真实世界的数据流。我们表明，在一个有趣的制度的参数，当非凸的在线梯度上升算法初始化的“热启动”向量，它可证明最大限度地减少遗憾的概率很高。我们进一步讨论了计算这样一个“热启动”向量的可能性，以及使用正则化来获得快速的后悔率。我们的理论研究结果得到了合成和真实世界数据的实证实验的支持。
2019-01-31 cs.LG math.OC stat.ML
Regret Minimization in Heavy-Tailed Bandits
TIFR（塔塔基础研究所）；CWI（荷兰国家数学与计算机科学研究中心）
在随机多臂强盗模型中，当臂分布为重尾分布时，我们重新研究了经典的后悔最小化问题。后悔最小化问题在有界支持报酬分布或属于单参数指数族的分布的简单设置中得到了很好的研究。我们的工作下，弱得多的假设下，阶$(1+ε)$的时刻是一致有界的一个已知的常数B，对于某些给定的$ε> 0$。我们提出了一个最佳的算法，完全匹配的下限在一阶项。我们也给出了一个有限的时间限制的遗憾。我们表明，我们的指数集中速度比众所周知的截断或修剪经验均值估计重尾分布的平均。计算我们的索引可能需要大量的计算。为了解决这个问题，我们开发了一个基于批量的算法，这是最佳的乘法常数取决于批量大小。因此，我们提供了一个控制的统计最优性和计算成本之间的权衡。
2021-02-07 cs.LG stat.ML
Bridging the gap between regret minimization and best arm identification, with application to A/B tests
LPSM, Université Paris Diderot（巴黎第七大学概率与随机模型实验室）；CMLA, ENS Paris Saclay（巴黎萨克雷高等师范学院应用数学与计算机科学中心）；Criteo AI Lab（科睿唯安人工智能实验室）
最先进的在线学习程序集中于选择最佳替代方案（“最佳手臂识别”）或最小化成本（“遗憾”）。我们合并这两个目标提供的理论分析成本最小化算法，也是三角洲PAC（与一个证明的保证界的决策时间），因此履行在同一时间遗憾最小化和最佳手臂识别。这种分析揭示了共同的观察，校准不良的UCB算法最大限度地减少遗憾，同时仍然迅速确定最好的arm. We还扩展这些结果，许多从业者所面临的非iid的情况下。这提供了一种技术，使成本与决策时间的妥协时，做自适应测试的应用程序，从网站A/B测试到临床试验。
2019-02-26 cs.LG stat.ML
Proportional Response: Contextual Bandits for Simple and Cumulative Regret Minimization
Stanford University（斯坦福大学）；Hong Kong University of Science and Technology（香港科技大学）
该研究针对随机上下文老虎机场景，提出基于共形臂集的比例响应算法族，可通过调参平衡简单遗憾与累积遗憾最小化的性能，同时证明无法同时实现实例依赖简单遗憾保证与极小极大最优累积遗憾保证。
2023-11-03 cs.LG stat.ML
Oracle-Efficient Regret Minimization in Factored MDPs with Unknown Structure
Tel-Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
我们研究遗憾最小化在非情节因子马尔可夫决策过程（FMDPs），其中所有现有的算法作出强烈的假设，因子结构的FMDPs是已知的学习者提前。在本文中，我们提供了第一个学习FMDP的结构，同时最大限度地减少遗憾的算法。我们的算法是基于乐观面对不确定性的原则，结合一个简单的统计方法的结构学习，并可以有效地实现了一个FMDP规划器的Oracle访问。此外，我们给我们的算法的一个变体，仍然是有效的，即使当预言是有限的非因子的行动，这是几乎所有现有的近似规划的情况。最后，我们利用我们的技术来证明已知结构情况下的一个新下界，缩小了与Chen et al. [2021]的遗憾界的差距。
2021-10-11 cs.LG stat.ML
Refined approachability algorithms and application to regret minimization with global costs
INRAE（法国国家农业、食品与环境研究院）；AgroParisTech（巴黎高科农业学院）
布莱克威尔的可接近性是一个框架，其中两个参与者，决策者和环境，玩一个重复的游戏与向量值的回报。决策者的目标是使平均收益收敛到一个称为目标的给定集合。当这确实是可能的，简单的算法，保证收敛是已知的。这个抽象的工具被成功地用于构建各种重复游戏中的最优策略，但也在在线学习中找到了一些应用。通过扩展由（Abernethy等人，2011），我们构造并分析了一类遵循正则化领导者算法（FTRL）的Blackwell的可接近性，它不仅能够最小化到目标集的欧氏距离（因为它通常是在Blackwell的可接近性的上下文中），而且能够最小化广泛的距离类量。这种灵活性使我们能够应用这些算法，密切减少各种在线学习问题的兴趣量。特别地，对于具有$\ell_p$全局代价的后悔最小化问题，我们得到了在$p$和维数$d$中具有显式依赖性的第一界.
2021-09-07 cs.LG math.OC stat.ML
Communication-Efficient Collaborative Regret Minimization in Multi-Armed Bandits
Indiana University（印第安纳大学）
本文研究多智能体多臂老虎机中并行性与通信开销的权衡，首次提出通信轮数与协作学习遗憾之间的权衡关系。
2023-12-21 cs.LG
Efficient Swap Regret Minimization in Combinatorial Bandits
National Technical University of Athens（雅典国立技术大学）；National and Kapodistrian University of Athens（雅典国立卡波季斯特里安大学）；Archimedes, Athena Research Center（雅典娜研究中心阿基米德部）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Grenoble INP（格勒诺布尔国立高等物理、数学与信息学院）；University of California, Irvine（加州大学尔湾分校）
本文提出一种在组合老虎机中具有多项对数依赖于N的高效无交换后悔算法，解决了该领域长期存在的挑战。
2026-02-02 cs.LG stat.ML
Pure Exploration and Regret Minimization in Matching Bandits
CREST（法国经济与统计研究中心）；ENSAE Paris（巴黎国立统计与经济管理学院）；London School of Economics（伦敦政治经济学院）；Criteo AI Lab（Criteo人工智能实验室）
在加权图中寻找最优匹配是一个标准的组合问题。我们认为它的半强盗版本，无论是一对或一个完整的匹配采样顺序。我们证明，它是可能的，利用秩1假设的邻接矩阵，以减少样本的复杂性和遗憾的现成的算法达到线性依赖的顶点数（多对数项）。
2021-07-31 cs.LG stat.ML
Satisficing Regret Minimization in Bandits: Constant Rate and Light-Tailed Distribution
School of Operations Research and Information Engineering, Cornell University（运营研究与信息工程学院，康奈尔大学）；SC Johnson College of Business, Cornell University（SC约翰逊商学院，康奈尔大学）
针对老虎机优化中的满意遗憾最小化问题，提出SELECT及SELECT-LITE算法，实现常数期望满意遗憾与轻尾遗憾分布，并验证其有效性。
2026-09-14 cs.LG stat.ML
Regret Minimization and Convergence to Equilibria in General-sum Markov Games
针对对抗场景下马尔可夫博弈遗憾最小化难以实现的问题，提出首个所有智能体执行时可提供次线性交换遗憾保证、且收敛到相关均衡的去中心化高效无通信学习算法，其核心是将策略优化在线学习归约为加权遗憾最小化，通过控制路径长度实现目标。
2025-06-16 cs.AI cs.GT cs.LG
Regret minimization in stochastic non-convex learning via a proximal-gradient approach
The Technion（以色列理工学院）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Criteo AI Lab（科利特人工智能实验室）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
出于在机器学习和运筹学中的应用，我们研究了在线约束下随机一阶预言反馈的后悔最小化问题，并且可能是非光滑的非凸问题。在这种情况下，外部遗憾的最小化是无法达到的一阶方法，所以我们专注于通过一个近似梯度映射定义的局部遗憾措施。为了实现没有（本地）遗憾，在这种情况下，我们开发了一种基于随机一阶反馈的梯度方法，以及一种更简单的方法，当访问一个完美的一阶预言是可能的。这两种方法都是最小-最大顺序最优的，我们也建立了一个边界上的数量的搜索梯度查询这些方法需要。作为我们的研究结果的一个重要应用，我们还获得了一个链接在线和离线非凸随机优化表现为一个新的梯度计划的复杂性保证匹配那些通过方差降低技术。
2020-10-13 cs.GT cs.LG math.OC
Constrained regret minimization for multi-criterion multi-armed bandits
Stanford University（斯坦福大学）；IIT Bombay（印度理工学院孟买分校）；IIT Madras（印度理工学院马德拉斯分校）
考虑随机多臂强盗环境，研究了在给定时间范围内的约束后悔最小化问题。每个手臂都与一个未知的，可能是多维的分布相关联，手臂的优点是由几个可能相互冲突的属性决定的。其目的是优化一个“主”属性受用户提供的其他“次要”属性的约束。我们假设属性可以使用来自臂分布的样本来估计，并且估计量具有适当的集中性质。我们提出了一种称为Con-LCB的算法，它保证了对数遗憾，即，所有非最优臂的平均游戏次数在视界中至多是对数。该算法还输出布尔标志，该布尔标志以高概率正确地识别给定实例相对于约束是否可行/不可行。我们还表明，Con-LCB是最佳的一个普遍的常数，即，更复杂的算法不可能普遍地做得更好。最后，我们建立了一个基本的权衡后悔最小化和可行性识别。我们的框架发现自然的应用程序，例如，在金融投资组合优化，风险约束最大化的预期收益是有意义的。
2023-01-04 cs.LG stat.ML
Bayesian Regret Minimization in Offline Bandits
本文针对离线线性老虎机提出一种直接最小化贝叶斯遗憾上界的新算法，利用锥优化求解器并建立与货币风险度量的联系，理论和数值结果均表明其优于传统的最大下置信界（LCB）方法。
2024-07-02 cs.LG stat.ML
Spectral Sparsification and Regret Minimization Beyond Matrix Multiplicative Updates
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Boston University（波士顿大学）
在本文中，我们提供了一个新的构造的线性大小的谱稀疏的Batson，Spielman和Srivastava [BSS 14]。虽然以前的构造需要$Ω(n^4)$运行时间[BSS 14，Zou 12]，但我们的稀疏化例程可以在几乎二次的运行时间$O(n^{2+\varepsilon})$中实现。我们工作的基本概念新颖性是利用稀疏化和密度矩阵上的遗憾最小化问题之间的强连接。已知这种连接通过应用矩阵乘法权重更新（MWU）[CHS11，Vis14]提供了Spielman和Srivastava [SS11]随机稀疏因子的解释。在本文中，我们解释了矩阵MWU如何自然地出现，作为一个例子，跟随正规化领导者框架和推广这种方法，以产生更大的一类更新。这个新类使我们能够加速线性大小的谱稀疏器的构建，并对Batson，Spielman和Srivastava [BSS 14]背后的动机提供新的见解。
2015-06-16 cs.DS cs.LG math.OC
Regret Minimization for Reinforcement Learning by Evaluating the Optimal Bias Function
Tsinghua University（清华大学）
提出了一种基于\emph{Optimism in the Face of Uncertainty}（OFU）原理的强化学习算法，该算法能够有效地学习由有限状态-动作空间的马尔可夫决策过程（MDP）建模的强化学习（RL）。通过计算最优偏置函数$h^{*}$的状态对差，该算法得到了具有$S$状态和$A$动作的MDP的遗憾界$\tilde{O}(\sqrt{SAHT})$ \footnote{The symbol $\tilde{O}$ means $O$ with log factors ignored. }，在$h^{*}$跨度上的上界$H$，即，$sp(h^{*})$是已知的。这个结果比以前最好的后悔界限$\tilde{O}(S\sqrt{AHT}) $ \citep{fruit2019improved}好一个因子$\sqrt{S}$。此外，该遗憾界限与$Ω(\sqrt{SAHT}) $ \citep{jaksch2010near}的下限匹配到对数因子。因此，我们表明，有一个接近最佳的遗憾界的$\tilde{O}(\sqrt{SADT})$的MDPs与有限直径$D$相比，$Ω(\sqrt{SADT}) $ \citep{jaksch2010near}的下限。
2019-12-28 cs.LG stat.ML
Best of Both Worlds: Regret Minimization versus Minimax Play
ETH Zürich（苏黎世联邦理工学院）；Google Research（谷歌研究）；Aarhus University（奥胡斯大学）；EPFL（苏黎世联邦理工学院）
本文首次证明存在带赌博机反馈的在线学习算法，能同时实现相对于给定比较策略的常数遗憾和相对于任意固定策略的次线性遗憾，并在零和博弈中兼顾极小极大安全性与利用对手获取线性收益。
2025-06-04 cs.LG stat.ML
An Experimental Design Approach for Regret Minimization in Logistic Bandits
Rice University（莱斯大学）；University of Arizona（亚利桑那大学）；University of Washington（华盛顿大学）
在这项工作中，我们考虑的问题后悔最小化物流土匪。物流强盗的主要挑战是减少对潜在的大问题相关常数$κ$的依赖，该常数在最坏的情况下可以与未知参数$θ_{\ast}$的范数指数地缩放。Abeille等人（2021）应用逻辑函数的自一致性来消除这种最坏情况的依赖性，提供了像$O(d\log^2(κ)\sqrt{\dotμT}\log(|\mathcal{X}|))$这样的后悔保证，其中$d$是维度，$T$是时间范围，$\dotμ$是最佳臂的方差。这项工作通过采用试验设计程序来改进固定臂设置中的这一界限，该程序实现了$O(\sqrt{d \dotμT\log(|\mathcal{X}|)})$的最小最大后悔。我们的遗憾界限实际上采取了一个更严格的例子（即，gap）依赖遗憾首次在物流土匪绑定。我们还提出了一个新的预热采样算法，可以显着减少低阶项的遗憾一般，并证明它可以取代低阶项依赖$κ$ $\log^2(κ)$的一些情况下。最后，我们讨论了最大似然估计的偏差对逻辑强盗问题的影响，提供了一个例子，其中$d^2$低阶后悔（参见，它是$d$，用于线性Bandits）可能不会得到改善，只要使用MLE以及如何使用偏差校正估计器来使它更接近$d$。
2022-02-04 cs.LG stat.ML
Borda Regret Minimization for Generalized Linear Dueling Bandits
University of California, Los Angeles（加州大学洛杉矶分校）；University of Virginia（弗吉尼亚大学）
针对广义线性决斗老虎机的 Borda 遗憾最小化，本文证明 $Ω(d^{2/3}T^{2/3})$ 下界，并提出随机与对抗线性设置下均达到最优 $\ ilde O(d^{2/3}T^{2/3})$ 遗憾的算法。
2023-09-25 cs.LG stat.ML
Automated scientific minimization of regret
Helmholtz Munich Institute for Human-Centered AI（海德堡-慕尼黑人类中心人工智能研究所）
本文提出ASMR框架，利用基础模型识别并修订认知模型空白，在多属性决策任务中实现噪声上限预测，保持可解释性，自动化认知建模流程。
2025-05-23 cs.LG
DREAM: Deep Regret minimization with Advantage baselines and Model-free learning
Facebook AI Research（Facebook人工智能研究院）
我们介绍了DREAM，这是一种深度强化学习算法，可以在多代理的信息博弈中找到最优策略。形式上，DREAM在两人零和博弈中收敛于一个纳什均衡，在所有其他博弈中收敛于一个扩展形式的粗略相关均衡。我们的主要创新是一种有效的算法，与其他基于遗憾的深度学习算法相比，它不需要访问完美的游戏模拟器来实现良好的性能。我们表明，梦想经验达到国家的最先进的性能在流行的基准测试游戏中的无模型算法，甚至是有竞争力的算法，使用完美的模拟器。
2020-11-29 cs.GT cs.LG stat.ML
Regret Minimization and Statistical Inference in Online Decision Making with High-dimensional Covariates
Hong Kong University of Science and Technology（香港科技大学）；University of Pennsylvania（宾夕法尼亚大学）
本文研究高维在线决策的遗憾最小化与统计推断，结合ε-贪心算法与硬阈值估计并提出去偏推断框架，揭示探索-利用权衡，还证明无探索的纯贪心算法在特定条件下可同时实现最优遗憾与一致推断，且经实验验证有效。
2025-05-17 cs.LG stat.ML
