Minimax Optimal Quantile and Semi-Adversarial Regret via Root-Logarithmic Regularizers
University of Toronto（多伦多大学）；Spanflug Technologies GmbH（Spanflug技术有限公司）；Boston University（波士顿大学）
分位数（以及更一般的KL）遗憾界限，例如NormalHedge（Chaudhuri，Freund，and Hsu 2009）及其变体，将与最佳个体专家竞争的目标放宽到只与大多数专家竞争对抗性数据。最近，半对抗范式（Bilodeau，Negrea和Roy 2020）通过考虑可能既不完全对抗也不完全随机（i.i.d.）的数据，提供了对抗在线学习的另一种放松。我们实现了极大极小最优后悔在这两个范例中使用FTRL与单独的，新颖的，根对数正则化，这两者都可以被解释为产生的NormalHedge的变种。我们将已有的KL后悔上界推广到具有任意先验的可能不可数专家类，给出了有限专家类上分位数后悔的第一个完全信息下界（紧）;并为半对抗范式提供了一种自适应极大极小优化算法，该算法更快地适应真实的未知约束，从而导致相对于现有方法的一致改进的后悔界限。
2021-11-07 cs.LG stat.ML
Achieving Better Local Regret Bound for Online Non-Convex Bilevel Optimization
East China Normal University（华东师范大学）
本文提出优化在线非凸双层优化的局部遗憾界，设计了自适应迭代算法和单循环算法，分别在标准和窗口平均设置中取得最优遗憾界。
2026-05-09 cs.LG math.OC
Dying Experts: Efficient Algorithms with Optimal Regret Bounds
University of Victoria（维多利亚大学）
我们研究了决策理论在线学习的一个变体，在这个变体中，学习者可用的专家集可以随着时间的推移而缩小。这是一个经过充分研究的专家睡眠问题的限制版本，它本身是根据专家建议进行预测的基本博弈的推广。和很多这个方向的作品类似，我们的标杆是排名遗憾。各种结果表明，在完全对抗的睡眠专家问题中实现最佳遗憾在计算上是困难的。这激发了我们的放松，任何进入睡眠的专家都不会再醒来。我们称这种设置为“垂死的专家”，并在两种不同的情况下进行研究：学习者知道专家死亡顺序的情况和学习者不知道的情况。在这两种情况下，我们提供了匹配的上限和下限的排名后悔在完全对抗的设置。此外，我们提出了新的，计算效率高的算法，获得我们的最佳上限。
2019-10-29 cs.LG stat.ML
A Domain-Shrinking based Bayesian Optimization Algorithm with Order-Optimal Regret Performance
MediaTek Research（联发科研究）；Cornell University（康奈尔大学）
考虑再生核Hilbert空间中未知函数的序列优化问题。我们提出了一个基于高斯过程的算法，并建立其顺序最优的遗憾性能（到一个多对数因子）。这是第一个基于GP的算法，具有顺序最优后悔保证。该算法是植根于域收缩的方法，通过一系列的基于树的区域修剪和细化集中查询越来越小的高性能区域的功能域实现。通过对最优函数值的迭代估计来局部化和引导对高性能区域的搜索，以确保学习效率和计算效率。与目前流行的GP-UCB算法族相比，该算法的计算复杂度降低了$O(T^{2d-1})$（其中$T$是时域，$d$是函数域的维数）.
2021-10-29 cs.LG stat.ML
Near-Optimal No-Regret Learning for Correlated Equilibria in Multi-Player General-Sum Games
Carnegie Mellon University（卡内基梅隆大学）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Strategy Robot, Inc.（Strategy Robot 公司）；Optimized Markets, Inc.（Optimized Markets 公司）；Strategic Machine, Inc.（Strategic Machine 公司）
最近，Daskalakis，Fishelson和Golowich（DFG）（NeurIPS '21）表明，如果多人一般和正规型博弈中的所有代理都采用乐观乘法权重更新（OMWU），则每个玩家的外部遗憾是$O(\textrm{polylog}(T))$在$T$重复博弈后。我们将他们的结果从外部遗憾扩展到内部遗憾和交换遗憾，从而建立了以$\tilde{O}(T^{-1})$的速率收敛到近似相关均衡的解耦学习动态。由于Chen和Peng（NeurIPS '20），这大大提高了$O(T^{-3/4})$相关均衡的先前最佳收敛速度，并且在无遗憾框架内，它是最佳的-直到$T$中的多对数因子。为了获得这些结果，我们开发了新的技术，用于建立高阶光滑的学习动态涉及不动点运算。具体来说，我们建立了无内部后悔学习动力学的Stoltz和Lugosi（马赫学习'05）等效模拟无外部后悔动力学的组合空间。这使我们能够将多项式大小的马尔可夫链上的平稳分布的计算转换为指数大小的集合上的（表现更好的）线性变换，使我们能够利用与DFG类似的技术来接近最优地约束内部遗憾。此外，我们建立了一个$O(\textrm{polylog}(T))$无交换遗憾界的经典算法的Blum和Mansour（BM）（JMLR '07）。我们这样做是通过引入一种技术的基础上的柯西积分公式，规避了更有限的组合参数DFG。除了澄清BM的接近最优的遗…
2023-01-24 cs.GT cs.LG
Extensions of the regret-minimization algorithm for optimal design
Oden Institute of Computational Engineering and Science, The University of Texas at Austin（德克萨斯大学奥斯汀分校奥登计算工程与科学研究所）
本文提出了一种基于后悔最小化框架的样本选择方法，通过扩展该框架以处理岭回归设置，实现了在多类分类任务中更高效的样本选择与优化。
2026-02-25 cs.LG stat.ML
Regret Bounds for Batched Bandits
Google Research（谷歌研究院）；Yale University（耶鲁大学）；McGill University（麦吉尔大学）
我们提出了简单而有效的算法批量随机多臂强盗和批量随机线性强盗问题。我们证明了他们的预期遗憾，提高了最知名的遗憾界限的任何数量的批次。特别是，我们的算法在这两种设置中实现了最佳的预期遗憾，只使用对数数量的批次。我们还研究了批量对抗多臂土匪问题的第一次，并找到最佳遗憾，对数因子，任何算法与预定的批量大小。
2020-02-18 cs.DS cs.LG
Near-optimal Regret Bounds for Stochastic Shortest Path
Google Research（谷歌研究院）；Tel-Aviv University（特拉维夫大学）
随机最短路径（SSP）是规划和控制中的一个著名问题，其中智能体必须以最小的总期望费用到达目标状态。在问题的学习公式中，智能体不知道环境动态（即，转换函数），并且必须在推理问题的最佳解决方案的同时重复播放给定数量的剧集。与强化学习（RL）中其他研究充分的模型不同，情节的长度不是预先确定的（或有界的），而是受智能体行为的影响。最近，Tarbouriech等人（2019）在遗憾最小化的背景下研究了这个问题，并提供了一种算法，其遗憾界与最小瞬时成本的平方根成反比。在这项工作中，我们删除这种依赖的最小成本-我们给出了一个算法，保证了遗憾界的$\widetilde{O}(B_\star |S| \sqrt{|A| K})$，其中$B_\star$是一个上限的预期成本的最优策略，$S$是一组状态，$A$是一组行动和$K$是事件的数量。我们还表明，在最坏的情况下，任何学习算法必须至少有$Ω(B_\star \sqrt{|S| |A| K})$遗憾。
2020-02-23 cs.LG stat.ML
Efficient and Optimal No-Regret Caching under Partial Observation
Avignon University（阿维尼翁大学）；ENS Lyon（里昂高等师范学院）；Inria（法国国家信息与自动化研究所）
针对部分观测下的缓存问题，基于 FPL 算法提出一种随机化缓存策略，首次实现渐近最优遗憾界限与常数摊销时间复杂度，并在合成与真实轨迹上验证了有效性。
2025-03-04 cs.LG cs.NI
Regret Optimality of Sample Average Approximation for Data-Driven Newsvendor Problems: A General Optimization Perspective
Fudan University（复旦大学）；Huazhong University of Science and Technology（华中科技大学）；Tsinghua University（清华大学）；Beijing Institute of Mathematical Sciences and Applications（北京数学科学与应用研究院）
研究数据驱动报童问题中SAA的遗憾最优性，将报童问题结构推广到一般凸性条件，对一般顺序随机优化问题的SAA进行统一遗憾分析，改进遗憾上下界，确立其遗憾率最优性，为政策设计和评估新算法提供支持，丰富分析工具。
2026-07-21 cs.LG math.OC
Doubly Optimal No-Regret Learning in Monotone Games
Yale University（耶鲁大学）
针对多玩家光滑单调博弈，提出加速乐观梯度（AOG）算法，同时实现最优$O(\sqrt{T})$遗憾与最优$O(1/T)$最后迭代收敛，并将动态遗憾改进至$O(\log T)$。
2023-09-04 cs.GT cs.LG
Random Exploration in Bayesian Optimization: Order-Optimal Regret and Computational Efficiency
School of Electrical & Computer Engineering, Cornell University（康奈尔大学电气与计算机工程学院）；MediaTek Research, UK（联发科英国研究院）
该研究针对高斯过程贝叶斯优化问题，提出带定义域收缩的随机探索算法，证明其在有无噪声场景下均达阶最优后悔值，填补无噪声场景研究空白，且计算效率更优。
2024-02-02 cs.LG stat.ML
Further Optimal Regret Bounds for Thompson Sampling
Microsoft Research India（微软印度研究院）
Thompson抽样是求解多臂强盗问题的最古老的算法之一。它是一种基于贝叶斯思想的随机算法，最近在几项研究表明它与最先进的方法相比具有更好的经验性能后，引起了人们的极大兴趣。在本文中，我们提供了一个新的遗憾分析汤普森采样，同时证明了最佳的问题依赖的界的$(1+ε)\sum_i \frac{\ln T}{Δ_i}+O(\frac{N}{ε^2})$和第一个接近最佳的问题无关的界的$O(\sqrt{NT\ln T})$对该算法的预期遗憾。我们的接近最优的问题独立的界限解决了一个COLT 2012年公开问题的Chapelle和李。Kaufmann等人最近首次证明了这个问题的最佳问题相关后悔界限[ALT 2012]。我们新颖的基于鞅的分析技术在概念上很简单，很容易扩展到Beta分布以外的分布，也可以扩展到更一般的背景强盗设置[Mandarpt，Agrawal和Goyal，2012]。
2012-09-15 cs.DS cs.LG stat.ML
Dynamic Regret for Strongly Adaptive Methods and Optimality of Online KRR
University of California, Santa Barbara（加州大学圣巴巴拉分校）；Amazon Research（亚马逊研究院）
我们考虑非平稳在线凸优化的框架，学习者试图控制其动态后悔对任意序列的比较。当损失函数是强凸或指数凹，我们证明，强自适应（SA）算法可以被看作是一个原则性的方式来控制动态遗憾的路径变化$V_T$的比较器序列。具体来说，我们发现SA算法享受$\tilde O(\sqrt{TV_T} \vee \log T)$和$\tilde O(\sqrt{dTV_T} \vee d\log T)$动态遗憾强凸和指数凹损失分别没有先验知识的$V_T$。的多功能性的原则性的方法进一步证明了新的结果，在设置学习对有界线性预测和在线回归高斯内核。在相关的设置下，论文的第二部分解决了Zhdanov和Kalnishkan（2010）提出的一个悬而未决的问题，该问题涉及具有平方误差损失的在线内核回归。我们得到了一个新的下界，一定的惩罚遗憾，建立了近极大极小最优的在线核岭回归（KRR）。我们的下界可以被看作是对Vovk（2001）中有限维在线线性回归下界的RKHS扩展。
2021-11-22 cs.LG stat.ML
Near-optimal Per-Action Regret Bounds for Sleeping Bandits
University of Victoria（维多利亚大学）
针对每轮可用臂及损失由对手决定的sleeping bandits问题，通过广义EXP3、EXP3-IX和带Tsallis熵的FTRL直接最小化逐动作遗憾，推导出近最优遗憾界，并扩展至带sleeping experts建议的设定及置信度报告场景。
2024-05-30 cs.LG stat.ML
Near-Optimal $Φ$-Regret Learning in Extensive-Form Games
Meta AI；Strategy Robot, Inc.（Strategy Robot公司）；Optimized Markets, Inc.（Optimized Markets公司）；Strategic Machine, Inc.（Strategic Machine公司）；Carnegie Mellon University（卡内基梅隆大学）
本文针对多人扩展式博弈提出高效非耦合学习动态，将触发遗憾从 $O(T^{1/4})$ 指数级改进至 $O(\log T)$，并以近最优速率收敛到相关均衡。
2023-09-19 cs.GT cs.LG
KL-UCB-switch: optimal regret bounds for stochastic bandits from both a distribution-dependent and a distribution-free viewpoints
Univ. Lyon（里昂大学）；ENS de Lyon（里昂高等师范学院）；Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；Inria Lille Nord Europe（法国国家信息与自动化研究所里尔-北欧分部）
我们考虑$K$武装的随机土匪，并考虑累积遗憾界的时间$T$。我们感兴趣的策略同时实现一个最优阶$\sqrt{KT}$的无分布后悔界和一个渐近最优的分布依赖后悔，即匹配Lai和Robbins（1985）以及Burnetas和Katehakis（1996）的$κ\ln T$下界，其中$κ$是最优问题依赖常数。该常数$κ$取决于所考虑的模型$\mathcal{D}$（臂上的可能分布族）。Ménard和Garivier（2017）在一维指数族给出的模型的参数情况下提供了实现这种双最优性的策略，而Lattarney（2016，2018）则为方差小于$1$的（次）高斯分布族提供了这种策略。我们将这一结果推广到$[0,1]$上所有分布的非参数情形。我们通过结合Audibert和Bubeck（2009）的MOSS策略和Cappé等人（2013）的KL-UCB策略来实现这一点，前者享有最优阶$\sqrt{KT}$的无分布后悔界，后者我们在$[0,1]$上的所有分布模型中提供了对最优分布依赖的$κ\ln T$后悔界的第一次分析。我们能够获得这种非参数的双最优性的结果，同时努力简化的证明（以前已知的遗憾界，因此进行的新的分析）;因此，本贡献的第二个优点是提供一个审查经典的遗憾界的证据，基于指数的策略$K$武装随机土匪。
2022-07-01 cs.LG math.ST stat.ML
A Distributionally Robust Approach to Regret Optimal Control using the Wasserstein Distance
Cornell University（康奈尔大学）
针对未知随机扰动下的离散时间线性系统，本文基于 type-2 Wasserstein 分布球和最优传输对偶，将最坏情况期望遗憾控制转化为半定规划，并刻画最坏分布。
2023-08-16 cs.LG cs.SY eess.SY
Tracking Slowly Moving Clairvoyant: Optimal Dynamic Regret of Online Learning with True and Noisy Gradient
The University of Iowa（爱荷华大学）；Nanjing University（南京大学）；Alibaba Group（阿里巴巴集团）；IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）
本文主要研究在线凸优化的动态后悔问题，将在线学习的性能与一个预先知道损失函数序列的千里眼进行比较，从而在每一步选择损失函数的最小值。假设千里眼移动缓慢（即，最小值变化缓慢），我们提出了几个改进的基于变分的上界的动态遗憾下的真实和噪声梯度反馈，这是{ \it最优}鉴于所提出的下限.我们分析的关键是探索一个规律性的度量，衡量千里眼的最小化，我们称之为{ \it路径变化}的时间变化。首先，我们提出了一个一般的下界的路径变化，然后表明，在完全信息或梯度反馈下，我们能够实现最佳的动态后悔。其次，我们提出了一个下界与噪声梯度反馈，然后证明我们可以实现最优动态遗憾下的随机梯度反馈和两点强盗反馈。此外，对于一个序列的光滑损失函数，承认一个小的变化的梯度，我们的动态遗憾下的两点强盗反馈匹配所取得的全部信息。
2016-05-16 cs.LG math.OC stat.ML
Logarithmic Regret for Online Control
Google AI Princeton（谷歌AI普林斯顿）；Princeton University（普林斯顿大学）
在转移动力学的基础上，研究了线性动力系统在逆变强凸代价函数下的最优后悔界。这包括几个良好的研究和基本框架，如卡尔曼滤波器和线性二次调节器。现有技术的方法实现了按$O(\sqrt{T})$缩放的后悔，其中$T$是时间范围。我们发现，在这种情况下，最佳遗憾可以显着较小，缩放为$O(\text{poly}(\log T))$。通过两种不同的有效迭代法，在线梯度下降和在线自然梯度来实现该遗憾界。
2019-09-11 cs.LG math.OC stat.ML
Adaptive Learning in Continuous Games: Optimal Regret Bounds and Convergence to Nash Equilibrium
Univ. Grenoble Alpes（格勒诺布尔大学）；Inria（法国国家信息与自动化研究所）；LJK（让·昆廷诺实验室）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）；LIG（格勒诺布尔信息与信号处理实验室）；Criteo AI Lab（Criteo人工智能实验室）
在博弈论学习中，多个智能体同时遵循各自的利益，因此从每个参与者的角度来看，环境是不稳定的。在这种情况下，学习算法的性能通常由其遗憾来衡量。然而，无悔算法在博弈论保证方面并不平等：根据它们的调整方式，其中一些可能会使系统达到平衡，而另一些可能会产生循环，混乱或其他发散的轨迹。为了解决这个问题，我们提出了一系列基于乐观镜像下降的无遗憾策略，具有以下理想的属性：i）它们不需要任何事先调整或游戏知识; ii）它们都实现了O（\sqrt{T}）对任意的，对抗性的对手的遗憾; iii）它们收敛到收敛对手的最佳对策。此外，如果所有参与者都使用，则iv）它们保证O（1）社会遗憾;而v）在所有变分稳定博弈（包括所有单调和凹凸零和博弈的一类博弈）中，诱导的博弈序列收敛到纳什均衡，个人遗憾为O（1）。
2021-10-16 cs.GT cs.LG math.OC
Near Optimal Memory-Regret Tradeoff for Online Learning
Columbia University（哥伦比亚大学）；Stanford University（斯坦福大学）
在专家问题中，在$T$的每一天，代理需要遵循$n$“专家”之一的建议。每过一天，每个专家的建议都会带来损失。学习理论的一个基本结果是，智能体可以实现后悔消失，也就是说，他们的累积损失在事后诸葛亮专家的累积损失的$o(T)$范围内。如果没有足够的空间来记住所有的专家，智能体能否表现良好？我们在两个方向上扩展了对这个问题的一个新的研究路线：$\bullet$我们给出了一个新的算法，对不经意的对手，改进了[PZ 23]获得的内存后悔权衡，几乎匹配的下限[SWXZ 22]。$\bullet$我们还考虑了一个自适应对手谁可以观察过去的专家选择的代理。在这种情况下，我们给出了一个新的算法和一个新的下限，证明了大致$\sqrt{n}$内存是必要的和足够的$o(T)$遗憾。
2023-03-09 cs.AI cs.DS cs.LG
Optimal Coarse Correlated Equilibria in Mean Field Games: Linear Programming and No-Regret Learning
Department of Mathematics “Federigo Enriques”, University of Milan, Via Saldini 50, 20133, Milan, Italy.；Center for Mathematical Economics (IMW), Bielefeld University, Universit\"atsstrasse 25, 33615, Bielefeld, Germany.
针对连续时间平均场博弈，提出最优粗相关均衡的线性规划刻画，并设计基于拉格朗日对偶的无遗憾学习算法，给出收敛速率。
2026-06-19 cs.LG math.OC math.PR
Efficient Minimax Optimal Global Optimization of Lipschitz Continuous Multivariate Functions
在这项工作中，我们提出了一个有效的极大极小最优全局优化算法的多元Lipschitz连续函数。为了评估我们的方法的性能，我们利用平均遗憾，而不是传统的简单的遗憾，这是不适合用于多变量非凸优化，因为问题本身固有的硬度。由于我们研究了算法的平均后悔，我们的结果直接意味着简单后悔的界限。而不是构建下界代理函数，我们的方法利用预定的查询创建规则，这使得它在计算上优于Piyavskiii-Shubert变体。我们表明，我们的算法实现了$O(L\sqrt{n}T^{-\frac{1}{n}})$的平均遗憾界的优化$n$维$L$ -Lipschitz连续目标的时间范围$T$，我们证明是最小最优的。
2022-06-06 cs.CC cs.LG math.OC
Near-Optimal Algorithms for Private Online Optimization in the Realizable Regime
Apple（苹果公司）；Tel Aviv University（特拉维夫大学）
我们认为在线学习问题的可实现的设置，有一个零损失的解决方案，并提出新的差分私有（DP）算法，获得接近最优的遗憾界。对于专家在线预测问题，我们设计了新的算法来获得接近最优的后悔${O} \big( \varepsilon^{-1} \log^{1.5}{d} \big)$，其中$d$是专家的数量。这显著改善了DP不可实现设置的最佳现有遗憾界限，其为${O} \big( \varepsilon^{-1} \min\big\{d, T^{1/3}\log d\big\} \big)$。我们还开发了一个自适应算法的小损失设置遗憾$O(L^\star\log d + \varepsilon^{-1} \log^{1.5}{d})$其中$L^\star$是最好的专家的总损失。此外，我们认为DP在线凸优化的可实现的设置，并提出了一个算法与接近最佳的遗憾$O \big(\varepsilon^{-1} d^{1.5} \big)$，以及一个算法的顺利情况下遗憾$O \big( \varepsilon^{-2/3} (dT)^{1/3} \big)$，都显着改善现有的界限在不可实现的制度。
2023-02-27 cs.CR cs.LG math.OC
Online Caching with Optimal Switching Regret
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
我们认为经典的未编码的缓存问题从在线学习的观点。存储容量有限的高速缓存一次可以保存大型编录中的$C$文件。用户在每个时隙从目录中请求任意文件。在来自用户的文件请求到达之前，缓存策略会用它选择的任何$C$文件填充缓存。在缓存命中的情况下，策略接收单位奖励，否则接收零奖励。除此之外，还有一个与将文件提取到缓存相关的成本，我们称之为切换成本。我们的目标是设计一个缓存策略，招致最小的遗憾，同时考虑由于缓存命中的奖励和切换成本，由于文件提取。本文的主要贡献是切换遗憾分析的跟随扰动领导者为基础的随时缓存策略，这是有一个顺序最优切换遗憾。在这方面的追求，我们提高了最有名的切换遗憾约束这个问题的一个因素的$Θ(\sqrt{C}).$我们得出结论，通过比较不同的流行的缓存策略的性能，从商业CDN服务器公开可用的跟踪。
2021-01-18 cs.IT cs.LG cs.PF
The SMART approach to instance-optimal online learning
Cornell（康奈尔大学）；Caltech（加州理工学院）
本文提出SMART在线学习算法，通过至多一次从FTL切换到最坏情况算法，实现实例最优遗憾，其竞争比为1.58，并给出1.43的下界及结合小损失算法的改进版本。
2024-02-27 cs.DS cs.IT cs.LG
Bandit PCA with Minimax Optimal Regret
Georgia Tech（佐治亚理工学院）；UIC（伊利诺伊大学芝加哥分校）
研究强盗反馈版本的在线主成分分析，改进了遗憾值的上下界，弥合差距至\(r\sqrt{dT}\)。上界通过新算法实现，结合在线镜像下降与多尺度探索；下界通过构造自适应对手，将遗憾值下界估计转化为子空间估计问题，并讨论其与量子断层扫描联系。
2026-07-16 cs.LG stat.ML
Collaborative Linear Bandits with Adversarial Agents: Near-Optimal Regret Bounds
University of Pennsylvania（宾夕法尼亚大学）
我们考虑一个线性随机强盗问题，涉及$M$代理，可以通过一个中央服务器合作，以尽量减少遗憾。这些代理人中的一小部分$α$是敌对的，可以任意行事，导致以下紧张局势：虽然合作可以潜在地减少遗憾，但它也可以破坏学习过程。在这项工作中，我们提供了一个基本的理解，这种紧张局势，通过精心构建的强大的置信区间，通过设计新的算法，平衡的勘探开发权衡。我们还补充我们的算法与严密的分析。首先，我们开发了一个强大的协作阶段消除算法，实现$\tilde{O}\left(α+ 1/\sqrt{M}\right) \sqrt{dT}$后悔每个好的代理，在这里，$d$是模型维和$T$是地平线。对于小的$α$，我们的结果因此揭示了一个明确的好处，尽管对手的合作。使用信息理论的参数，然后，我们证明了一个匹配的下限，从而提供了第一套紧密的，接近最优的遗憾界限合作线性土匪与对手。此外，通过利用高维鲁棒统计的最新进展，我们将我们的算法思想和结果显著扩展到（i）允许非线性观察图的广义线性Bandit模型;以及（ii）允许时变特征向量的上下文Bandit设置。
2022-06-06 cs.LG cs.MA cs.SY
Online Adaptive Principal Component Analysis and Its extensions
University of Minnesota（明尼苏达大学）
我们提出了在线主成分分析（PCA）和方差最小化自适应设置的算法。以往的研究主要集中在静态对抗性后悔的上界上，其比较对象是事后最优固定行为。然而，当潜在环境发生变化时，静态后悔并不是一个合适的指标。相反，我们采用自适应遗憾度量从以前的文献中，并提出在线自适应算法PCA和方差最小化，具有次线性自适应遗憾的保证。我们从理论上和实验上证明，所提出的算法可以适应不断变化的环境。
2019-05-13 cs.LG stat.ML
On the Regret Minimization of Nonconvex Online Gradient Ascent for Online PCA
Technion - Israel Institute of Technology（以色列理工学院）
在本文中，我们专注于问题的在线主成分分析的后悔最小化框架。对于这个问题，所有现有的后悔最小化算法的完全对抗设置是基于一个半正定凸松弛，因此需要二次记忆和SVD计算（薄或全）的每一个迭代，这相当于至少二次运行时间每次迭代。这与相应的随机i.i.d.的问题，这是最近被广泛研究的变种，并承认非常有效的梯度上升算法，直接对自然的非凸制定的问题，因此只需要线性内存和线性运行时间每次迭代。这就提出了一个问题：非凸在线梯度上升算法是否可以在在线对抗环境中最大限度地减少遗憾？在本文中，我们采取了一个步骤来回答这个问题。我们引入了一个\textit{adversarially-perturbed spiked-covariance model}，其中每个数据点被假设为遵循一个固定的随机分布，在协方差矩阵中具有非零的谱间隙，但随后被一些对抗向量扰动。该模型是一个经过充分研究的标准随机设置的自然扩展，允许在数据中出现非平稳（对抗）模式，因此可能会更好地近似真实世界的数据流。我们表明，在一个有趣的制度的参数，当非凸的在线梯度上升算法初始化的“热启动”向量，它可证明最大限度地减少遗憾的概率很高。我们进一步讨论了计算这样一个“热启动”向量的可能性，以及使用正则化来获得快速的后悔率。我们的理论研究结果得到了合成和真实世界数据的实证实验的支持。
2019-01-31 cs.LG math.OC stat.ML
An algorithm with nearly optimal pseudo-regret for both stochastic and adversarial bandits
Montanuniversitaet Leoben（莱奥本矿业大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
我们提出了一个算法，实现几乎最佳的伪遗憾界对抗性和随机土匪。对抗性强盗的伪遗憾是$O(K\sqrt{n \log n})$，对抗随机强盗的伪遗憾是$O(\sum_i (\log n)/Δ_i)$。我们还表明，没有算法与$O(\log n)$伪遗憾对随机土匪可以实现$\tilde{O}(\sqrt{n})$预期的遗憾对自适应对抗土匪。这补充了Bubeck和Slivkins（2012）之前的结果，该结果显示$\tilde{O}(\sqrt{n})$预期对抗性遗憾与$O((\log n)^2)$随机伪遗憾。
2016-05-27 cs.LG
PCA with Gaussian perturbations
Poznań University of Technology（波兹南理工大学）；University of California, Santa Cruz（加州大学圣克鲁兹分校）
大多数机器学习都处理向量参数。理想情况下，我们希望考虑高阶信息，并利用矩阵甚至张量参数。然而，由此产生的算法通常是低效的。在这里，我们解决在线学习与矩阵参数。如果在每次试验中对当前参数矩阵进行特征分解（每次试验的代价为$O(n^3)$），通常很容易获得具有良好泛化性能的在线算法。理想情况下，我们希望避免分解，每次试验花费$O(n^2)$，即矩阵数据大小的线性时间。在运行时间和泛化性能之间存在核心权衡，这里通过在线算法的遗憾（最佳离线预测器的总增益减去在线算法的总增益）来测量。重点研究了$\mathbb{R}^n$中秩$k$主成分分析的关键矩阵问题，其中$k \ll n$ .有$O(n^3)$算法，实现最佳遗憾，但需要特征分解。我们开发了一个简单的算法，需要$O(kn^2)$每次试验的遗憾是关闭了一个小的因素$O(n^{1/4})$。该算法基于Follow the Perturbed Leader范式。它取代了完整的特征分解，在每次试验的问题，找到$k$主成分的当前协方差矩阵是由高斯噪声扰动。
2015-07-23 cs.LG stat.ML
Almost Optimal Batch-Regret Tradeoff for Batch Linear Contextual Bandits
Tsinghua University（清华大学）
我们研究了最佳批量遗憾权衡批量线性上下文土匪。对于任何批号$M$、动作数$K$、时间范围$T$和维度$d$，我们提供了一个算法并证明了其后悔保证，由于技术原因，随着时间范围$T$的增长，该保证具有两阶段表达式。我们还证明了一个下界定理，令人惊讶地显示了我们的两个阶段的遗憾上限（对数因子）的问题参数的\emph{full range}的最优性，因此建立确切的批量遗憾权衡。最近的工作\citep{ruan2020linear}表明，$M = O(\log \log T)$批次足以实现渐近最小最优遗憾没有批量约束，我们的算法是简单，易于实际实现。此外，我们的算法实现了最佳遗憾的所有$T \geq d$，而\citep{ruan2020linear}要求$T$大于一个不切实际的大多项式的$d$。随着我们的分析，我们还证明了一个新的矩阵浓度不等式的依赖于他们的动态上界，据我们所知，这是第一次在文献中，可能是独立的兴趣。
2022-10-15 cs.LG
Optimal Regret Bounds for Selecting the State Representation in Reinforcement Learning
Montanuniversität Leoben（莱奥本矿业大学）；Australian National University（澳大利亚国立大学）；NICTA（澳大利亚国家信息与通信技术局）；INRIA Lille - Nord Europe（法国国立信息学及其应用研究院里尔-北欧研究中心）
我们考虑一个代理与环境交互的动作，观察和奖励的单一流，没有重置。这个过程不被假设为马尔可夫决策过程（MDP）。相反，代理有几个表示（映射历史的过去的相互作用到一个离散的状态空间）的环境与未知的动态，只有其中的一些结果在MDP。我们的目标是最小化平均后悔标准对代理谁知道MDP表示给予最高的最优奖励，并采取行动最佳在it.Recent遗憾界为这个设置的顺序$O(T^{2/3})$与添加剂长期常数，但指数的最佳MDP的一些特性。我们提出了一个算法，其遗憾后$T$时间步是$O(\sqrt{T})$，与所有常数合理的小。这在$T$中是最优的，因为$O(\sqrt{T})$是在（单个离散）MDP中学习的设置中的最优遗憾。
2013-03-18 cs.LG
Near-Optimal No-Regret Learning in General Games
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
我们发现，乐观对冲-一个常见的变体的乘法权重更新与近因偏差-达到${\rm poly}(\log T)$遗憾在多人一般和游戏。特别地，当游戏的每个玩家使用乐观对冲来迭代地更新她的策略以响应到目前为止的游戏历史时，则在$T$轮交互之后，每个玩家经历总的遗憾，即${\rm poly}(\log T)$。我们的界限以指数方式改善了标准无遗憾学习者在游戏中可获得的$O({T}^{1/2})$遗憾，具有近因偏见的无遗憾学习者可获得的$O(T^{1/4})$遗憾（Syrgkanis等人，2015），以及最近在两人游戏的特殊情况下为乐观对冲显示的${O}(T^{1/6})$界限（Chen & Pen，2020）。我们的界限的一个推论是，乐观对冲收敛到粗相关均衡在一般的游戏中的速度$\tilde{O}\left(\frac 1T\right)$。
2023-01-24 cs.LG
Optimal Regret for Policy Optimization in Contextual Bandits
School of Computer Science and AI, Tel-Aviv University, Tel-Aviv, Israel（计算机科学与人工智能学院，特拉维夫大学，特拉维夫，以色列）；Google Research, Tel-Aviv, Israel（谷歌研究，特拉维夫，以色列）
本文提出了一种高效算法，实现了上下文老虎机问题中策略优化的最优后悔界。
2026-02-14 cs.LG
A Differential Equations Approach to Optimizing Regret Trade-offs
Microsoft Research（微软研究院）
我们考虑的经典问题的预测二进制序列和研究{ \em最佳}算法，以获得最好的可能的遗憾和支付功能，这个问题。这个问题原来也相当于问题的最佳权衡之间的遗憾，两个专家在“专家问题”，研究之前由\cite{kearns-regret}。虽然，比如说，$Θ(\sqrt{T})$的遗憾是已知的，我们认为，重要的是要问什么是可证明的最佳算法，这个问题-既因为它导致自然算法，以及因为遗憾实际上往往是规模相当的最终收益，因此是一个不可忽略的条款。在基本设置中，该结果基本上遵循Cover '65的经典结果。在这里，我们专注于另一个标准设置，时间折扣收益，其中最终的“停止时间”是没有指定的。我们表现出一个明确的特征，最佳的遗憾，这种设置。为了得到我们的主要结果，我们证明了最优支付函数必须满足Hermite微分方程，因此由该方程的解给出。事实证明，支付函数的特征与经典（非贴现）设置有质的不同，也就是说，本质上存在唯一的最优解。
2013-05-07 cs.LG
One Arrow, Two Kills: An Unified Framework for Achieving Optimal Regret Guarantees in Sleeping Bandits
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；IBM Research（IBM研究院）；University of Pennsylvania（宾夕法尼亚大学）
我们解决问题的\emph{`Internal Regret'}在\emph{Sleeping Bandits}在完全对抗的设置，以及绘制不同的现有概念之间的连接睡眠的遗憾在多臂匪徒（MAB）的文献，因此分析的影响：我们的第一个贡献是提出了新的概念\emph{Internal Regret}睡眠MAB。然后，我们提出了一个算法，产生次线性遗憾的措施，即使是一个完全敌对的序列的损失和可用性。我们进一步证明，低睡眠内部遗憾总是意味着低外部遗憾，以及低政策遗憾的iid序列的损失。这部作品的主要贡献在于统一了《睡匪》中存在的遗憾的不同概念，并理解了它们之间的含义。最后，我们还将我们的结果扩展到设置\emph{Dueling Bandits}（DB）-一个偏好反馈的MAB的变种，并提出了减少MAB的想法，设计一个低遗憾算法的睡眠决斗土匪随机偏好和对抗的可用性。我们的算法的有效性是合理的，通过实证评估。
2022-10-26 cs.LG
Efficient Exploration in Average-Reward Constrained Reinforcement Learning: Achieving Near-Optimal Regret With Posterior Sampling
Eindhoven University of Technology（埃因霍温理工大学）；Jheronimus Academy of Data Science（赫罗尼姆斯数据科学学院）；University of Jyväskylä（于韦斯屈莱大学）
针对无限时域无折扣设置下的约束马尔可夫决策过程（CMDP），提出一种基于后验采样的算法，实现了近似最优的贝叶斯遗憾界并在实验中优于现有方法。
2024-05-29 cs.LG
Reinforcement Learning algorithms for regret minimization in structured Markov Decision Processes
Indian Institute of Science（印度科学理工学院）；Indian Institute of Technology Bombay（印度理工学院孟买分校）；Xerox Research Centre India（施乐印度研究中心）
强化学习（RL）框架中的一个最近的目标是选择一系列动作或策略，以最大化在有限时间范围内收集的奖励或最小化在有限时间范围内产生的遗憾。对于运筹学和最优控制中的若干RL问题，其底层马尔可夫决策过程（MDP）的最优策略具有已知结构的特征。现有技术的算法不利用这种已知的结构的最优策略，同时最大限度地减少遗憾。在这项工作中，我们开发了新的RL算法，利用最优策略的结构，以尽量减少遗憾。在结构化最优策略的MDP上的数值实验表明，该算法具有更好的性能，易于实现，运行时间短，所需的随机数生成次数少.
2016-08-17 cs.LG
Optimal Bound for PCA with Outliers using Higher-Degree Voronoi Diagrams
mathdep.iust.ac.ir（伊朗伊斯兰科技与应用科学大学数学系）；iust.ac.ir（伊朗伊斯兰科技与应用科学大学）
针对含异常值的PCA问题，提出基于高阶Voronoi图的最优算法及基于Grassmann流形采样的随机算法，给出相应时间复杂度与成功概率，在高维大数据场景下具备优势。
2025-10-06 cs.LG
Sequential Learning of Principal Curves: Summarizing Data Streams on the Fly
Inria（法国国家信息与自动化研究所）；University College London（伦敦大学学院）；Université d’Angers（昂热大学）；iAdvize（iAdvize公司）
当面对海量数据流时，使用诸如PCA的降维方法来总结数据会带来理论和算法上的缺陷。主曲线作为PCA的非线性推广，本文提出了一种新的算法，自动和顺序学习主曲线从数据流。我们表明，我们的程序是支持的遗憾界与最佳次线性余项。一个贪婪的本地搜索实现（称为\texttt{slpc}，顺序学习主曲线），结合睡眠专家和多臂强盗成分，以及其遗憾的计算和性能的合成和现实生活中的数据。
2019-05-08 cs.LG math.ST stat.ML
Near-Optimal Regret for Adversarial MDP with Delayed Bandit Feedback
University of Southern California（南加州大学）；Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）；Amazon（亚马逊）
强化学习（RL）的标准假设是智能体立即观察其行为的反馈。然而，在实践中，反馈往往是延迟观察。研究了具有未知转移、逆向变化代价和无限制延迟反馈的偶发马尔可夫决策过程（MDP）的在线学习。更确切地说，针对情节$k$中的代理的反馈仅在情节$k + d^k$结束时被揭示，其中延迟$d^k$可以随情节而改变并且由不经意的对手选择。我们提出了第一个算法，实现接近最佳的$\sqrt{K + D}$遗憾，其中$K$是情节的数量和$D = \sum_{k=1}^K d^k$是总延迟，显着改善后，最有名的遗憾界的$(K + D)^{2/3}$。
2023-01-21 cs.LG
Toward Optimal Regret in Adversarial MDPs with Stochastic Hard Constraints
University of Edinburgh（爱丁堡大学）；Politecnico di Milano（米兰理工大学）
针对带随机硬约束的对抗马尔可夫决策过程，提出MA-OPS算法，结合Slater裕度的乐观搜索与策略悲观评估，获得最优悔值界并证明其最优性。
2026-10-09 cs.LG
Lipschitz Bandits: Regret Lower Bounds and Optimal Algorithms
KTH, The Royal Institute of Technology（瑞典皇家理工学院）；Supelec（高等电力学院）；INRIA（法国国家信息与自动化研究所）
我们考虑随机多臂强盗问题的期望回报是一个Lipschitz函数的手臂，和一组武器是离散或连续的。对于离散Lipschitz土匪，我们推导出渐近问题的具体下界满足任何算法的遗憾，并提出OSLB和CKL-UCB，两个算法，有效地利用Lipschitz结构的问题。事实上，我们证明了OSLB是渐近最优的，因为它的渐近遗憾匹配的下限。我们的算法的后悔分析依赖于一个新的浓度不等式的KL分歧的经验分布和他们的真实分布之间的加权和奖励。对于连续Lipschitz土匪，我们建议首先离散的行动空间，然后应用OSLB或CKL-UCB，算法，可证明有效地利用结构。这种方法，通过数值实验，显着优于现有的算法，直接处理的连续组的武器。最后将结果和算法推广到具有相似性的上下文强盗。
2014-05-19 cs.LG
Beyond Value-Function Gaps: Improved Instance-Dependent Regret Bounds for Episodic Reinforcement Learning
Google Research（谷歌研究院）；Johns Hopkins University（约翰斯·霍普金斯大学）；Courant Institute（库朗研究所）
我们提供了改进的间隙依赖遗憾界的强化学习有限情节马尔可夫决策过程。与以前的工作相比，我们的界限取决于间隙的替代定义。这些定义是基于这样的认识，即为了实现有利的遗憾，算法不需要学习如何在最优策略未达到的状态下表现最优。我们证明了更严格的乐观算法的遗憾上限，并伴随着他们与新的信息理论的下界为一大类的MDP。我们的研究结果表明，乐观算法不能达到信息论的下限，即使在确定性的MDP，除非有一个唯一的最优策略。
2021-10-26 cs.LG
Gaussian Process Upper Confidence Bound Achieves Nearly Optimal Regret in Noise-Free Gaussian Process Bandits
LY Corporation（LY公司）
本文提出高斯过程上置信界在无噪声高斯过程老虎机中实现近最优懊悔，展示了平方指数核和Matérn核下的常数累积懊悔。
2026-11-02 cs.LG
Optimal No-Regret Learning for Repeated Prophet Inequality
Purdue University（普渡大学）
针对前缀反馈下的重复先知不等式问题，提出一种结合经验逆向归纳与相对下降聚合的高效算法，实现与下界匹配的 $\tilde O(\sqrt T)$ 遗憾，并消除对盒子数量的多项式依赖。
2026-09-22 cs.LG
Best of Both Worlds in Online Control: Competitive Ratio and Policy Regret
Simons Institute, UC Berkeley（加州大学伯克利分校西蒙斯研究所）；Google AI Princeton（谷歌人工智能普林斯顿团队）；Tepper School of Business, Carnegie Mellon University（卡内基梅隆大学泰珀商学院）；Department of Computer Science, Princeton University（普林斯顿大学计算机科学系）
我们从两个不同的角度考虑线性动力系统在线控制的基本问题：后悔最小化和竞争分析。我们证明了最优竞争策略是很好的近似凸参数化的政策类，称为扰动行动控制（DAC）的政策。使用这种结构的结果，我们表明，最近提出的几个在线控制算法实现了两全其美：次线性遗憾与事后选择的最佳DAC政策，最佳竞争比，添加剂的修正，增长次线性的时间范围。我们进一步得出结论，次线性后悔与最优竞争策略是可以实现的线性动态系统是未知的，甚至当一个稳定的控制器的动态是不可用的先验。
2022-11-21 cs.LG
Near-Optimal Regret Bounds for Multi-batch Reinforcement Learning
Tsinghua University（清华大学）
本文研究了有限时域马尔可夫决策过程模型下具有批量约束的情景强化学习问题。多批次强化学习框架，其中，代理被要求提供一个时间表，以更新之前的一切，这是特别适合的情况下，代理遭受广泛的自适应改变策略。给定一个具有$S$状态、$A$动作和规划时域$H$的有限时域MDP，我们设计了一个计算效率高的算法，使用带有置信度参数$δ$的$O\left(H+\log_2\log_2(K) \right)$批次，在$K$事件中实现$\tilde{O}(\sqrt{SAH^3K\ln(1/δ)})$ \footnote{$\tilde{O}(\cdot)$ hides logarithmic terms of $(S,A,H,K)$}的近最优后悔.据我们所知，这是第一个与$O(H+\log_2\log_2(K))$批处理复杂性绑定的$\tilde{O}(\sqrt{SAH^3K})$遗憾。同时，我们表明，要实现$\tilde{O}(\mathrm{poly}(S,A,H)\sqrt{K})$遗憾，批次的数量至少是$Ω\left(H/\log_A(K)+ \log_2\log_2(K) \right)$，这符合我们的上限对数项。我们的技术贡献有两个方面：1）一个接近最优的设计方案，以探索未学习的状态; 2）一个计算效率高的算法，以探索某些方向与近似的过渡模型。
2022-10-15 cs.LG
On the optimal regret of collaborative personalized linear bandits
University of California, Los Angeles（加州大学洛杉矶分校）
本文研究协作个性化线性赌博机的最优遗憾，提出两阶段协作算法，实现与信息论下界匹配的最优遗憾，并刻画了协作在不同异质性条件下的收益。
2025-06-19 cs.LG
Optimally Confident UCB: Improved Regret for Finite-Armed Bandits
University of Alberta（阿尔伯塔大学）
我提出了第一个算法随机有限武装土匪，同时享有秩序最优问题相关的遗憾和最坏情况下的遗憾。新算法除具有理论上的结果外，还具有简单、高效和经验上的优越性.该方法是基于UCB，但精心选择的置信参数，最佳平衡的风险，失败的置信区间对过度乐观的成本。
2016-02-24 cs.LG math.OC
Distributed Bandit Learning: Near-Optimal Regret with Efficient Communication
Tsinghua University（清华大学）；Peking University（北京大学）
研究了分布式强盗学习中的后悔最小化问题，其中$M$代理在中央服务器的协调下协同工作以最小化总后悔.我们的目标是设计具有接近最优遗憾和很少通信成本的通信协议，这是通过传输数据的总量来衡量的。对于分布式多臂强盗，我们提出了一个具有接近最优遗憾且只有$O(M\log(MK))$通信代价的协议，其中$K$是武器的数目.通信成本是独立的时间范围$T$，只有对数依赖于臂的数量，并匹配的下限，除了一个对数因子。对于分布式$d$维线性强盗，我们提出了一个协议，实现了接近最优的遗憾，并有$\tilde{O}(Md)$阶的通信成本，这只有对数依赖于$T$。
2019-05-29 cs.LG stat.ML
