Improving Adaptive Online Learning Using Refined Discretization
Harvard University（哈佛大学）；Boston University（波士顿大学）
本文针对无约束在线线性优化问题，提出一种无需倍增技巧和Lipschitz常数先验估计的新算法，通过连续时间半鞅分析和精细化离散化论证，同时实现二阶梯度自适应与比较器范数自适应，并获得几乎最优的遗憾界。
2024-02-22 cs.LG stat.ML
Gradient-Variation Online Adaptivity for Accelerated Optimization with Hölder Smoothness
本文研究了Hölder平滑函数的在线学习，设计了无需预知平滑参数的梯度变分在线学习算法，通过在线到批处理转换及检测程序，首次为离线强凸优化提出了一种在平滑与非平滑机制下均具最优或近最优收敛的通用加速方法。
2025-11-04 cs.LG math.OC
Lipschitz and Comparator-Norm Adaptivity in Online Learning
The Australian National University（澳大利亚国立大学）；Data61；Centrum Wiskunde & Informatica（数学和计算机科学中心）
我们研究在线凸优化的无界设置，既没有预测，也没有梯度约束。目标是同时适应梯度序列和比较器。我们首先开发无参数和无标度的算法，简化设置提示。我们提供两个版本：第一种方法使用每轮$O(d)$时间分别适应比较器和梯度的平方范数，第二种方法适应每轮时间$O(d^3)$中它们的平方内积（仅测量比较器方向上的方差）。然后，我们推广两个前减少无界设置;一个不需要提示，第二个处理范围比问题（这已经出现在以前的工作）。我们讨论了他们的最优性，根据事先和新的下限。我们应用我们的方法，以获得更清晰的遗憾界尺度不变的线性模型的在线预测。
2020-08-08 cs.LG stat.ML
Multi-Agent Online Optimization with Delays: Asynchronicity, Adaptivity, and Optimism
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）；Inria（法国国家信息与自动化研究所）；Criteo AI Lab（Criteo人工智能实验室）
在本文中，我们提供了一个一般的框架，研究多智能体在线学习问题的存在延迟和不确定性。具体来说，我们提出并分析了一类自适应双平均方案，其中代理只需要积累从整个系统收到的梯度反馈，而不需要任何代理之间的协调。在单智能体的情况下，所提出的方法的自适应性，使我们能够扩展现有的结果的范围内的问题，潜在的无限延迟之间的发挥作用，并收到相应的反馈。在多代理的情况下，情况要复杂得多，因为代理可能无法访问全局时钟作为参考点;为了克服这一点，我们专注于可用于产生每个预测的信息，而不是与每个反馈相关的实际延迟。这使我们能够获得具有最佳遗憾界限的自适应学习策略，即使在完全分散的异步环境中。最后，我们还分析了一个“乐观”的变种，该算法能够利用问题的可预测性与较慢的变化，并导致改进的遗憾界限。
2022-04-16 cs.LG cs.MA math.OC
Best of many worlds: Robust model selection for online supervised learning
UC Berkeley（加州大学伯克利分校）
我们介绍了在线，全信息预测的算法，具有竞争力的上下文树专家未知的复杂性，在概率和对抗性设置。我们表明，通过将结构风险最小化的概率框架到现有的自适应算法，我们可以鲁棒地学习不仅存在的随机结构时，它的存在（导致常数，而不是$\mathcal{O}(\sqrt{T})$遗憾），但也正确的模型顺序。因此，我们获得的遗憾界的竞争力与遗憾的最佳算法，拥有强大的边信息的复杂性的最佳上下文树专家和生成数据的过程是否是随机的或对抗性的。这些是第一个建设性的保证，同时适应模型和随机性的存在。
2018-05-22 cs.LG stat.ML
More Adaptive Algorithms for Adversarial Bandits
University of Southern California（南加州大学）
我们开发了一种新的和通用的算法的对抗性多臂强盗问题（或更一般的组合半强盗问题）。当实例化不同，我们的算法实现了各种新的数据依赖的遗憾界限，改善以前的工作。示例包括：1）只依赖于最佳臂方差的后悔界，2）只依赖于最佳臂一阶路长的后悔界，3）依赖于所有臂一阶路长之和以及一个重要的负项的后悔界，它们共同导致部分反馈范式对策的较快收敛速度; 4）当最佳臂的损失较小时，同时意味着较小的遗憾，当存在期望损失总是比其他臂小一个固定差距时，同时意味着对数遗憾的遗憾界（例如经典的i.i.d.设置）。在某些情况下，例如最后两个结果，我们的算法是完全无参数的。我们的算法的主要思想是应用乐观和自适应技术，著名的在线镜像下降框架与一个特殊的日志屏障正则化。挑战是在这个框架内提出适当的乐观预测和修正条款。我们的一些结果还关键地依赖于使用复杂的递增学习率调度。
2018-06-07 cs.LG stat.ML
Bandit Convex Optimization with Gradient Prediction Adaptivity
Department of Mathematics, National University of Singapore, Singapore（新加坡国立大学数学系）；Department of Computer Science and Engineering, Indian Institute of Technology Delhi, India（印度理工学院德里分校计算机科学与工程系）；Department of Electrical and Computer Engineering, National University of Singapore, Singapore（新加坡国立大学电子与计算机工程系）
本文研究了在预测自适应方式下，乐观梯度预测能否改进最坏情况下的后悔保证。提出了一种双点反馈设置下的两种点方差减少乐观梯度下降算法，该算法的梯度估计器方差与预测误差相关，从而得到O(√(dE[S_T]))的后悔界，并建立了信息论下界，证明了该算法在预测自适应后悔上的最优性。
2026-05-21 cs.IT cs.LG math.IT
Connecting Thompson Sampling and UCB: Towards More Efficient Trade-offs Between Privacy and Regret
University of Alberta（阿尔伯塔大学）
本文提出DP-TS-UCB算法，通过连接汤普森采样与UCB的探索机制，在差分隐私老虎机中实现隐私与遗憾的可调权衡，并给出GDP与遗憾界理论保证。
2025-06-05 cs.LG
Data- and Variance-dependent Regret Bounds for Online Tabular MDPs
Department of Mathematical Informatics, The University of Tokyo, Tokyo, Japan（数学信息学系，东京大学，东京，日本）
针对已知转移的在线表格马尔可夫决策过程，提出在对抗性环境下实现数据依赖遗憾界、在随机环境下实现方差依赖遗憾界的最优算法，并证明全局优化方法达到近乎最优。
2026-06-25 cs.LG stat.ML
On Adaptivity in Non-stationary Stochastic Optimization With Bandit Feedback
Naveen Jindal School of Management, University of Texas at Dallas（德克萨斯大学达拉斯分校纳文·金达尔管理学院）
本文研究了带反馈和动态后悔测度的非平稳随机最优化问题。Besbes et al.（2015）的开创性工作表明，当聚合函数变化先验已知时，一个简单的重新启动算法可以获得最佳动态遗憾。在这项工作中，我们设计了一个固定步长的随机最优化算法，该算法结合Wei和Luo（2021）的多尺度采样框架，在不需要函数变化预算的先验知识的情况下实现了非平稳随机最优化中的最优动态遗憾，从而关闭了一段时间以来一直悬而未决的问题。我们还建立了一个额外的结果表明，任何算法实现良好的遗憾对固定基准具有高概率可以自动转换为算法，实现良好的遗憾对动态基准，这是适用于广泛的一类强盗凸优化算法。
2022-10-11 cs.LG stat.ML
Unconstrained Dynamic Regret via Sparse Coding
Harvard University（哈佛大学）；Boston University（波士顿大学）
本文针对无界域上任意时变比较序列的在线凸优化问题，提出基于稀疏编码框架的自适应遗憾界，通过比较器在用户指定字典上的能量和稀疏性度量复杂度，并利用小波字典改进了现有最优界。
2023-10-25 cs.LG math.OC stat.ML
Provably Efficient Reinforcement Learning with Linear Function Approximation Under Adaptivity Constraints
Yale University（耶鲁大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
研究了自适应约束下线性函数逼近的强化学习。我们考虑了两个流行的有限自适应模型：批学习模型和罕见的策略切换模型，并提出了两个有效的在线RL算法的情节线性马尔可夫决策过程，其中的转移概率和奖励函数可以表示为一些已知的特征映射的线性函数。具体而言，对于批量学习模型，我们提出的LSVI-UCB-Batch算法实现了$\tilde O(\sqrt{d^3H^3T} + dHT/B)$遗憾，其中$d$是特征映射的维度，$H$是情节长度，$T$是交互次数，$B$是批量次数。我们的结果表明，仅使用$\sqrt{T/dH}$批次就足以获得$\tilde O(\sqrt{d^3H^3T})$遗憾。对于罕见策略切换模型，我们提出的LSVI-UCB-RareSwitch算法具有$\tilde O(\sqrt{d^3H^3T[1+T/(dH)]^{dH/B}})$遗憾，这意味着$dH\log T$策略切换足以获得$\tilde O(\sqrt{d^3H^3T})$遗憾.我们的算法实现了与LSVI-UCB算法相同的遗憾（Jin等人，2019年），但适应性大大减少。我们还建立了批处理学习模型的下限，这表明在我们的遗憾界中对$B$的依赖是紧密的。
2022-01-03 cs.LG math.OC stat.ML
A Regret-Variance Trade-Off in Online Learning
Università degli Studi di Milano（米兰大学）；ETH Zürich（苏黎世联邦理工学院）
我们考虑预测与专家的意见，为强凸和有界损失，并调查之间的权衡遗憾和“方差”（即，学习者预测和最佳专家预测的平方差）。对于$K$专家，已知指数加权平均（EWA）算法可以实现$O(\log K)$后悔。我们证明了EWA的一个变体要么实现了消极的遗憾（即，该算法优于最佳专家），或者保证方差和遗憾的$O(\log K)$界限。基于这一结果，我们展示了几个例子，说明如何在学习中利用预测的方差。在在线批量分析中，我们表明，一个大的经验方差允许提前停止在线批量转换，并优于类中最好的预测器的风险。当不考虑提前停止时，我们还恢复了模型选择聚集的最优速率。在在线预测与腐败的损失，我们表明，腐败的遗憾的影响可以补偿一个大的方差。在在线选择性抽样中，我们设计了一个算法，当方差较大时，抽样较少，同时保证期望中的最优后悔界。在在线学习中，我们使用一个类似的术语作为方差，以推导出该设置中的第一个高概率$O(\log K)$遗憾界。最后，我们将我们的结果扩展到在线线性回归的设置。
2022-06-06 cs.LG stat.ML
Second-order Quantile Methods for Experts and Combinatorial Games
我们的目标是设计顺序决策的策略，以适应学习问题的难度。我们研究这个问题，无论是在设置的预测与专家的意见，更一般的组合决策任务。我们并不满足于仅仅保证极大极小的后悔率，而是希望我们的算法在简单的数据上表现得更好。两种流行的方法来形式化这种适应性是二阶遗憾界和分位数界。“简单数据”的基本概念，可以解释为“学习问题具有小方差”和“多个决策是有用的”，是协同的。但是，即使有复杂的算法可以利用其中之一，也没有现有的算法能够同时适应两者。在本文中，我们概述了一种新的方法来获得这样的自适应算法，基于一个潜在的功能，聚集了一系列的学习率（这是必不可少的调整参数）。通过选择正确的先验，我们构建了有效的算法，并证明了它们通过证明二阶和分位数的第一个界限来获得这两个好处。
2015-02-27 cs.LG stat.ML
Sparse Optimistic Information Directed Sampling
Universitat Pompeu Fabra（庞培法布拉大学）
针对随机稀疏线性老虎机的高维在线决策问题，提出无需贝叶斯假设的SOIDS算法，通过时变学习率的新分析实现信息与遗憾的最优平衡，是首个在两种数据场景下均达最优最坏情况遗憾的算法，且实验性能优异。
2025-10-28 cs.LG
Recursive Experts: An Efficient Optimal Mixture of Learning Systems in Dynamic Environments
顺序学习系统被用于从决策到优化的各种问题中，它们为自然提供“信念”（意见），然后根据反馈（结果）更新此信念，以最小化（或最大化）某些成本或损失（相反，效用或收益）。目标是通过利用自然反馈（状态）固有的时间关系来实现目标。通过利用这种关系，特定的学习系统可以被设计为执行渐近最优的各种应用。然而，如果问题的框架不是固定的，即，自然界的状态有时是任意变化的，系统过去所做的累积信念修正可能会变得无用，如果缺乏自适应性，系统可能会失败。虽然这种自适应性可以在特定情况下直接实现（例如，凸优化），但对于一般的学习任务来说，它大多不简单。为此，我们提出了一个有效的最优混合框架一般顺序学习系统，我们称之为递归专家的动态环境。为此，我们设计了超专家，将学习系统在我们的处置和递归合并在一个特定的方式，以实现最小最大的最佳遗憾边界常数的因素。从初始系统到我们的自适应系统的计算复杂性的乘性增加只是时间上的因素。
2020-09-19 cs.LG stat.ML
Noise-Adaptive High-Probability Regret Bounds for Online Convex Optimization
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；College of Mathematics, Sichuan University（四川大学数学学院）
针对强凸损失在线凸优化，提出噪声自适应高概率遗憾界，在完全信息下实现与噪声水平相关的乘性改进，并证明赌博反馈下遗憾与置信度的线性关系，同时为约束优化提供联合高概率保证。
2026-06-06 cs.LG
On Equivalence of Martingale Tail Bounds and Deterministic Regret Inequalities
University of Pennsylvania（宾夕法尼亚大学）；Cornell University（康奈尔大学）
我们研究的等价性（一）确定性的路径语句出现在在线学习文献（称为\emph{regret bounds}），（二）高概率尾界的上确界的一个集合的鞅（一个特定的形式所产生的统一大数定律的鞅），和（iii）在期望的上确界。利用这一等价性，利用确定性遗憾界，证明了具有自适应步长的在线镜像下降算法的巴拿赫空间值鞅范数的指数尾界.我们扩展这些结果超出了线性结构的巴拿赫空间：我们定义了一个概念的\emph{martingale type}一般类的实值函数，并显示其等价性（对数因子）的各种顺序复杂性的类（特别是顺序Rademacher复杂性及其偏移版本）。对于类的一般鞅类型2，我们表现出一个更好的概念的变化，允许部分适应的函数索引的鞅。我们的证明技术依赖于顺序对称化和验证的\emph{existence}的遗憾最小化策略，某些在线预测问题。
2015-10-13 cs.LG math.PR stat.ML
Improved Impossible Tuning and Lipschitz-Adaptive Universal Online Learning with Gradient Variations
提出一种带辅助初始轮的乐观在线镜像下降算法解决“impossible tuning”问题，并以此作为元算法开发了首个同时实现最先进GV界和LA的UOL算法，克服了先前工作中的关键限制。
2025-09-16 cs.LG
A Survey of Algorithms and Analysis for Adaptive Online Learning
Google, Inc.（谷歌公司）
我们提出的工具，用于分析以下的正则化领导者（FTRL），双平均，镜像下降算法时，正则化（相当于，学习函数或学习率调度）的数据的基础上自适应地选择。自适应性可以用来证明在每一轮上保持的遗憾界限，并且还允许像AdaGrad风格的算法中那样的数据依赖的遗憾界限（例如，具有自适应每坐标学习率的在线梯度下降）。我们目前的结果，从大量的以前的作品在一个统一的方式，使用模块化和严密的分析，隔离的关键参数，易于重用的引理。这种方法增强了前已知的FTRL分析技术，以产生与潜在函数或原始对偶分析所实现的边界一样紧的边界。此外，我们证明了一个任意的自适应镜像下降算法和相应的FTRL更新，这使我们能够分析任何镜像下降算法在同一框架之间的一般和精确的等价性。弥合双重平均和镜像下降算法之间差距的关键在于对FTRL-Proximal算法家族的分析。我们的遗憾界证明在最一般的形式，持有任意规范和非光滑正则化与时变权重。
2015-11-09 cs.LG
Online Forecasting of Total-Variation-bounded Sequences
UC Santa Barbara（加州大学圣巴巴拉分校）
我们考虑的问题，在线预测的长度$n$与总变差最多$C_n$使用独立的$σ$亚高斯噪声污染的观察序列。我们设计了一个$O(n\log n)$ -时间算法，该算法以很高的概率实现了$\tilde{O}(n^{1/3}C_n^{2/3}σ^{4/3} + C_n^2)$的累积平方误差。我们还证明了一个下界，该下界与所有参数的上界相匹配（直到$\log(n)$因子）。据我们所知，这是第一个\emph{polynomial-time}算法，实现了最佳的$O(n^{1/3})$率预测全变差有界序列和第一个算法，\emph{adapts to unknown} $C_n$。我们的证明技术利用了Haar小波基的特殊局部化结构和对经典小波平滑中未知平滑参数的自适应性[Donoho等人，1998年]。我们还比较了我们的模型的动态遗憾最小化和非平稳随机优化，我们的问题可以被视为一个特殊的情况下，丰富的文献。我们表明，在这些设置中的主力-在线梯度下降及其变种与固定的重新启动时间表-是一类\emph{linear forecasters}的实例，需要一个次优的遗憾$\tildeΩ(\sqrt{n})$。这意味着需要使用更多的自适应算法来获得最佳速率。
2019-10-26 cs.LG stat.ML
Variance-Dependent Regret Bounds for Linear Bandits and Reinforcement Learning: Adaptivity and Computational Efficiency
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Google Research（谷歌研究院）；The Hong Kong University of Science and Technology（香港科技大学）
最近，几项研究（Zhou et al.，2021 a; Zhang等人，2021 b; Kim等人，二零二一年; Zhou和Gu，2022）为线性上下文强盗提供了方差依赖的后悔界限，它内插了最坏情况下的后悔和确定性奖励制度。然而，这些算法要么是计算上棘手的或无法处理未知的噪声方差。在本文中，我们提出了一种新的解决方案，提出了第一个计算效率高的算法，线性土匪异方差噪声。我们的算法是自适应的噪声的未知方差，并实现了$\tilde{O}(d \sqrt{\sum_{k = 1}^K σ_k^2} + d)$遗憾，其中$σ_k^2$是噪声的方差在轮$k$，$d$是上下文的维数和$K$是轮的总数。我们的研究结果是基于自适应方差感知的置信集启用一个新的弗里德曼型浓度不等式的自归一化鞅和多层结构分层的上下文向量到不同的层与不同的统一上界的不确定性。此外，我们的方法可以扩展到线性混合马尔可夫决策过程（MDP）的强化学习。我们提出了一个方差自适应算法的线性混合MDP，它实现了一个问题相关的地平线自由遗憾界，可以优雅地减少到一个几乎恒定的遗憾确定性MDP。与现有的线性混合MDP的近极大极小最优算法不同，我们的算法不需要显式的方差估计的过渡概率或使用高阶矩估计，以达到地平线自由遗憾。我们相信，本文中开发的技术可以为一般的在线决策问题具有独立的价值。
2023-02-21 cs.LG math.OC stat.ML
Best-Case Lower Bounds in Online Learning
University of Twente（特文特大学）；Pontificia Universidad Católica de Chile（智利天主教大学）；University of Victoria（维多利亚大学）
在线学习的大部分工作集中在后悔的次线性上界的研究。在这项工作中，我们开始在线凸优化的最佳情况下的下界的研究，其中我们绑定的最大改进算法可以获得相对于单一的最佳行动在事后。这个问题是出于更好地理解学习算法的自适应性的目标。另一个动机来自公平性：众所周知，最佳情况下的下界有助于获得满足群体公平性概念的决策理论在线学习（DTOL）算法。我们的贡献是一个一般的方法，以提供最佳情况下的下界跟随正则化的领导者（FTRL）算法随时间变化的正则化，我们用它来表明，最佳情况下的下界是相同的顺序现有的上界遗憾：这包括一个固定的学习率，降低学习率，无时间的方法，和自适应梯度方法的情况。与此形成鲜明对比的是，我们发现线性化的FTRL可以达到负线性后悔。最后，在DTOL与两个专家和二进制预测，我们充分表征最佳情况下的序列，这提供了一个更好的理解最佳情况下的下限。
2021-06-23 cs.LG
Adapting to Online Label Shift with Provable Guarantees
Nanjing University（南京大学）；The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所人工智能研究中心）
当训练数据与即将到来的测试样本共享相同的分布时，标准的监督学习范例有效地工作。然而，在现实世界的应用程序中，这种静态假设往往是违反的，特别是当测试数据出现在一个在线的方式。在本文中，我们制定和调查的问题\emph{online label shift}（OLaS）：学习者训练的初始模型从标记的离线数据，然后将其部署到一个未标记的在线环境中，底层的标签分布随时间而变化，但标签条件密度不。非平稳性和缺乏监督的性质使得这一问题具有挑战性。为了解决这个困难，我们构造了一个新的无偏风险估计，利用未标记的数据，它表现出许多良性的性质，虽然与潜在的非凸性。在此基础上，我们提出了新的在线集成算法来处理环境的非平稳性。我们的方法享有最佳的\emph{dynamic regret}，表明性能是有竞争力的千里眼谁知道在事后的在线环境，然后选择最佳的决定，为每一轮。所得到的动态后悔边界尺度的强度和模式的标签分布偏移，因此表现出适应性的OLaS问题。大量的实验进行验证的有效性和支持我们的理论研究结果。
2023-01-15 cs.LG stat.ML
Linear Bandits with Limited Adaptivity and Learning Distributional Optimal Design
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Tsinghua University（清华大学）
出于实际需要，如大规模的学习，我们研究的影响，适应性约束的线性上下文强盗，在线主动学习的中心问题。我们考虑两个流行的有限适应性模型在文献中：批量学习和罕见的政策开关。我们发现，当上下文向量是adversarially选择$d$维线性上下文强盗，学习者需要$O(d \log d \log T)$政策开关，以实现最小最优的遗憾，这是最佳的$\mathrm{poly}(\log d, \log \log T)$因素;随机上下文向量，即使在更严格的批量学习模型，只有$O(\log \log T)$批次需要实现最佳的遗憾。结合文献中已有的结果，我们的研究结果给出了线性语境强盗中适应性约束的完整描述。一路上，我们提出了分布最优设计，最优实验设计的自然延伸，并提供了一个统计和计算效率高的学习算法的问题，这可能是独立的利益。
2021-04-23 cs.DS cs.LG stat.ML
The Adaptivity Barrier in Batched Nonparametric Bandits: Sharp Characterization of the Price of Unknown Margin
Committee on Computational and Applied Mathematics, University of Chicago（芝加哥大学计算与应用数学委员会）；Department of Statistics, University of Chicago（芝加哥大学统计学系）
针对边际参数未知的批量非参数上下文老虎机，提出遗憾膨胀准则刻画未知性代价，证明最优遗憾膨胀随时间范围多项式增长，开发RoBIN算法实现最优膨胀，并揭示批次数超双对数阶时障碍消失的特性。
2025-11-10 cs.LG math.ST stat.ML
LaProp: Separating Momentum and Adaptivity in Adam
University of Tokyo（东京大学）；RIKEN Center for Emergent Matter Science（理化学研究所涌现物质科学中心）
我们确定了一个迄今尚未认识到的亚当式优化问题，这是由于动量和自适应之间不必要的耦合。当动量和自适应参数不匹配时，耦合会导致不稳定和发散。在这项工作中，我们提出了一种方法，Laprop，它在亚当式的方法中的动量和自适应性。我们表明，解耦导致更大的灵活性，在超参数，并允许一个简单的插值之间的有符号的梯度方法和自适应梯度方法。我们的实验表明，Laprop一直在提高速度和稳定性超过亚当在各种任务。我们还将Laprop的遗憾限制在一个凸问题上，并表明我们的限制与Adam的限制相差一个关键因素，这表明了它的优势。
2021-06-13 cs.LG stat.ML
Optimal Comparator Adaptive Online Learning with Switching Cost
Boston University（波士顿大学）
实际的在线学习任务通常自然地定义在无约束域上，其中一般凸损失的最优算法的特征在于比较器自适应的概念。在本文中，我们设计这样的算法中存在的切换成本-后者惩罚典型的乐观自适应算法，导致一个微妙的设计权衡。基于连续时间分析发现的一种新的双空间缩放策略，我们提出了一种简单的算法，将现有的比较器自适应遗憾界[ZCP 22 a]改进为最优速率。所获得的好处进一步扩展到专家设置，并通过一个顺序的投资任务证明了所提出的算法的实用性。
2022-10-11 cs.LG
Bandits with Multiple Optimal Arms: Minimax Regret and Non-Adaptivity
University of California, Los Angeles（加州大学洛杉矶分校）
本文研究具有多个最优臂的多臂老虎机，提出了改进的极小极大遗憾界并匹配下界，表明对最优臂数量的近似了解对实现接近最优性能是必要的。
2026-10-02 cs.AI cs.LG math.ST
Isotuning With Applications To Scale-Free Online Learning
DeepMind（深度思维）
本文提出isotuning等工具，用于设计快速、自适应、任意时刻且无尺度的在线学习算法，并成功应用于FTRL、镜像下降、Adapt-ML-Prod等标准算法，恢复了小损失自适应性并扩展了无尺度保证。
2024-10-21 cs.AI cs.LG
A Modular Analysis of Adaptive (Non-)Convex Optimization: Optimism, Composite Objectives, and Variational Bounds
University of Alberta（阿尔伯塔大学）；Imperial College London（伦敦帝国学院）
近年来，人们在扩展在线学习和增量随机优化算法的范围方面做了大量的工作。在本文中，我们有助于这一努力在两个方面：第一，基于一个新的遗憾分解和概括的Bregman分歧，我们提供了一个独立的，模块化的分析两个主力的在线学习：（一般）自适应版本的镜像下降（MD）和跟随正规化领导（FTRL）算法。分析是额外小心地进行的，以便不引入证明中不需要的假设，并允许以直接的方式组合不同的算法思想（例如，适应性、乐观、隐式更新）和学习设置（例如，强凸或复合目标）。这样，我们就能够重新证明，扩展和完善大量的文献，同时保持简洁的证明。第二个贡献是这个仔细分析的副产品：我们提出了改进的变分边界平滑，复合目标的算法，包括一个新的家庭乐观MD算法，每轮只有一个投影步骤。此外，我们提供了一个简单的扩展自适应遗憾界实际相关的非凸问题设置，基本上没有额外的努力。
2017-09-08 cs.LG math.OC stat.ML
Riemannian Adaptive Optimization Methods
Department of Computer Science（计算机科学系）；ETH Zürich（苏黎世联邦理工学院）
通常在欧几里得域中使用的几种一阶随机优化方法，例如随机梯度下降（SGD）、加速梯度下降或方差缩减方法，已经适应于某些黎曼设置。然而，一些最流行的这些优化工具-即亚当，Adagrad和最近的Amsgrad -仍然是推广到黎曼流形。我们讨论的困难，推广这种自适应计划的最不可知的黎曼设置，然后提供算法和收敛性证明测地线凸目标在特定情况下的产品的黎曼流形，其中自适应跨流形的carnival产品。我们的推广是紧密的，在这个意义上，选择欧几里得空间作为黎曼流形产生相同的算法和遗憾的界限，那些已经知道的标准算法。实验上，我们表现出更快的收敛速度和更低的训练损失值黎曼自适应方法在其相应的基线上的现实任务嵌入WordNet分类的庞加莱球。
2019-02-18 cs.LG stat.ML
On the necessity of adaptive regularisation:Optimal anytime online learning on $\boldsymbol{\ell_p}$-balls
研究证明了在ℓ_p球上的在线学习中，自适应正则化对于任意时间最优性是必要的，且固定非适应性正则化无法达到此最优。
2025-11-27 cs.LG
On Adaptivity in Information-constrained Online Learning
Chennai Mathematical Institute（金奈数学研究所）；Indian Institute of Science（印度科学学院）
我们研究如何适应平滑变化（“容易”）的环境中，在著名的在线学习的问题，获取信息是昂贵的。对于标签有效预测的问题，这是一个预算版本的预测与专家的意见，我们提出了一个在线算法，其遗憾最佳取决于允许的标签和$Q^*$（损失的最佳行动在事后的二次变化）的数量，以及一个无参数对应的遗憾最佳取决于$Q$（损失的所有行动的二次变化）。这些数量可以显着小于$T$（总的时间范围），产生了改善现有的，变分无关的结果的问题。然后，我们将我们的分析扩展到处理具有强盗反馈的标签有效预测，即，高效的强盗我们的工作建立在乐观的在线镜像下降的框架，并利用二阶校正以及精心设计的混合正则化编码的约束信息结构的问题。然后，我们考虑揭示行动部分监控游戏-标签有效的预测与添加剂的信息成本的一个版本，这在一般情况下是众所周知的，躺在\textit{hard}类的游戏具有极大极小遗憾的顺序$T^{\frac{2}{3}}$。我们提供了一个策略，一个$\mathcal{O}((Q^*T)^{\frac{1}{3}})$绑定揭示动作游戏，随着一个$\mathcal{O}((QT)^{\frac{1}{3}})$绑定的全类硬部分监控游戏，都是严格的改进，目前的界限。
2019-12-06 cs.LG stat.ML
Achieving Limited Adaptivity for Multinomial Logistic Bandits
Microsoft Research India（微软印度研究院）
针对多项式逻辑斯谛老虎机，提出B-MNL-CB和RS-MNL两种算法，分别支持批处理和罕见切换模式，在有限策略更新下实现接近最优的遗憾，并优于每轮更新的基线。
2025-08-05 cs.LG stat.ML
Few Batches or Little Memory, But Not Both: Simultaneous Space and Adaptivity Constraints in Stochastic Bandits
School of Data Science, Fudan University（复旦大学大数据学院）；Shanghai Innovation Institute（上海创新研究院）
研究随机老虎机在空间和适应性同时约束下的性能，证明在同时约束下，近最优 regret 需要 Ω(K/W) 批次，提出一个在任意内存预算下达到近最优 regret 的算法。
2026-03-30 cs.LG stat.ML
Relaxing the I.I.D. Assumption: Adaptively Minimax Optimal Regret via Root-Entropic Regularization
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
我们认为预测与专家的意见时，数据生成的分布在一个未知的约束集内任意变化。这种半对抗性的设置包括（在极端情况下）经典的i.i.d.设置，当未知约束集被限制为单例时，以及无约束对抗设置，当约束集是所有分布的集合时。对冲算法-长期以来被认为是对抗制度中的最小最大（率）最优-最近被证明是同时最小最优的i.i.d.。数据在这项工作中，我们建议放宽i.i.d.。通过在约束集上的自然排序的所有级别上寻求自适应性假设。我们提供匹配的上界和下界的极小极大遗憾在所有级别上，表明确定性学习率的对冲是次优的极端之外，并证明可以自适应地获得极小极大遗憾在所有级别。我们使用follow-the-regularized-leader（FTRL）框架实现了这种最佳自适应性，并采用了一种新的自适应正则化方案，该方案隐式地缩放为当前预测分布的熵的平方根，而不是初始预测分布的熵。最后，我们提供了新的技术工具来研究FTRL沿半对抗谱的统计性能。
2022-07-22 cs.LG stat.ML
Adaptively Exploiting d-Separators with Causal Bandits
University of Toronto（多伦多大学）
多臂强盗问题提供了一个框架，以确定最佳的干预一系列的重复实验。在没有额外假设的情况下，极大极小最优性能（用累积后悔来衡量）是很好理解的。通过访问将干预与结果分离的其他观察变量（即，它们是D分隔符），最近的“因果强盗”算法可证明地招致较少的遗憾。然而，在实践中，最好不知道观测变量是否是d分隔符。理想情况下，一个算法应该是自适应的;也就是说，执行几乎一样好的一个算法与oracle知识的存在或不存在的d-分隔符。在这项工作中，我们形式化和研究这个概念的自适应性，并提供了一种新的算法，同时实现（a）最佳遗憾时，观察到的d-分隔符，改进经典的极大极小算法，和（b）显着较小的遗憾比最近的因果强盗算法时，观察到的变量不是d-分隔符。至关重要的是，我们的算法不需要任何关于是否观察到d-分隔符的Oracle知识。我们还推广这种自适应到其他条件，如前门标准。
2022-10-26 cs.LG stat.ML
Generalized Linear Bandits with Limited Adaptivity
Stanford University（斯坦福大学）；Indian Institute of Science（印度科学研究院）；Microsoft Research India（微软印度研究院）
研究有限自适应约束下的广义线性上下文老虎机问题，提出两种分别对应不同有限自适应场景的算法，均实现$\tilde{O}(\sqrt{T})$后悔值且消除了对非线性参数$κ$的依赖。
2025-07-19 cs.LG stat.ML
Adaptive Online Learning
Cornell University（康奈尔大学）；University of Pennsylvania（宾夕法尼亚大学）
提出了一个在在线学习框架下研究自适应后悔界的一般框架，包括模型选择界和数据依赖界。给定一个依赖于数据或模型的界限，我们会问：“是否存在某种算法可以达到这个界限？“我们表明，对最近引入的顺序复杂性度量的修改可以通过提供实现自适应速率的充分条件来回答这个问题。特别是每个自适应速率诱导一组所谓的偏移复杂度的措施，并获得这些数量的小上限是足以证明可扩展性。我们的分析技术的一个基石是使用单侧尾不等式来约束偏移随机过程的上界。我们的框架恢复和改进了各种各样的自适应边界，包括分位数边界，二阶数据相关边界和小损失边界。此外，我们推导出一种新的类型的自适应范围的谱范数的基础上在线线性优化，以及一个新的在线PAC-Bayes定理，适用于可数无限集。
2020-02-13 cs.LG stat.ML
Optimistic No-regret Algorithms for Discrete Caching
Delft University of Technology（代尔夫特理工大学）；Tata Institute of Fundamental Research（塔塔基础研究所）；Amazon（亚马逊）
我们系统地研究了在乐观学习的上下文中将整个文件存储在具有有限容量的高速缓存中的问题，其中高速缓存策略可以访问预测预言（例如，a神经网络）。假设连续的文件请求是由对手生成的，并且没有对预言的准确性进行假设。在这种情况下，我们提供了一个普遍的预测辅助在线缓存的下限，并继续设计一套政策的范围内的性能复杂性权衡。所有建议的政策提供次线性的遗憾范围相称的预言的准确性。我们的研究结果大大改善后，所有最近提出的在线缓存政策，无法利用预言，只提供$O(\sqrt{T})$遗憾。在这种追求中，我们设计，尽我们所知，第一个全面的乐观跟随扰动的领导者的政策，概括超越缓存问题。我们还研究了不同大小文件的缓存问题和二分网络缓存问题。最后，我们通过大量的数值实验，使用真实世界的痕迹，评估所提出的政策的有效性。
2022-11-09 cs.DS cs.LG cs.NI
Fast EXP3 Algorithms
National Institute of Informatics（国家信息研究所）；The University of Tokyo（东京大学）；RIKEN（日本研究机构）
本文提出快速EXP3算法，通过优化实现方式并分析其在遗憾界和时间复杂度间的权衡。
2025-12-12 cs.AI cs.DS cs.LG
Contextual Slate GLM Bandits with Limited Adaptivity
Microsoft Research India（微软研究院印度）
针对有限自适应性的上下文式板赌博机问题，提出两种算法B-SlateGLinCB和RS-SlateGLinCB，分别适用于批处理和少切换设置，在多样性假设下实现与非线性参数无关的遗憾界，并具有计算效率。
2026-08-04 cs.LG stat.ML
On Non-Stationary Dynamic Pricing: Adaptivity and Optimality
School of Management, Fudan University（复旦大学管理学院）；Mendoza College of Business, University of Notre Dame（圣母大学门多萨商学院）
研究非平稳下的上下文动态定价问题，提出基于多尺度变化点检测的自适应算法，能在不知分段平稳段数量和模型参数设计调整变化预算时实现最优收益，填补文献空白，经实验验证算法效率和鲁棒性。
2026-08-25 cs.LG stat.ML
Stability-penalty-adaptive follow-the-regularized-leader: Sparsity, game-dependency, and best-of-both-worlds
Kyoto University（京都大学）；RIKEN（理化学研究所）；The University of Tokyo（东京大学）；NEC Corporation（日本电气公司）
本文提出FTRL的SPA自适应学习率，实现了稀疏性、博弈依赖性和BOBW三种适应性，建立了首个稀疏依赖的BOBW算法并在部分监测中同时实现博弈依赖界与BOBW。
2024-02-13 cs.LG stat.ML
Provably Efficient Q-Learning with Low Switching Cost
Stanford University（斯坦福大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；UC Santa Barbara（加州大学圣巴巴拉分校）
我们采取初步措施，在研究PAC-MDP算法有限的适应性，即算法，改变其探索政策，尽可能不频繁地在遗憾最小化。这是出于在现实世界的应用程序（如医疗领域）中运行完全自适应算法的困难，我们建议使用本地切换成本的概念来量化自适应性。我们的主要贡献，Q-Learning与UCB 2探索，是一个无模型算法的H步情节MDP，实现次线性遗憾，其本地切换成本在K集是$O(H^3SA\log K)$，我们提供了一个下界的$Ω(HSA)$的本地切换成本的任何无遗憾算法。我们的算法可以很自然地适应并发设置，从而产生非平凡的结果，在某些方面改善以前的工作。
2020-02-10 cs.AI cs.LG stat.ML
A Stability Principle for Learning under Non-Stationarity
Department of IEOR, Columbia University（哥伦比亚大学工业工程与运营研究系）；Department of IEOR and Data Science Institute, Columbia University（哥伦比亚大学工业工程与运营研究系及数据科学研究所）
针对非平稳环境下的统计学习问题，提出基于稳定性原理的自适应框架，通过选择最优回溯窗口平衡偏差与数据利用率，证明了近极小极大最优悔界，并通过真实数据实验验证了实用性。
2025-05-16 cs.AI cs.LG math.OC
Universal Online Learning with Gradient Variations: A Multi-layer Online Ensemble Approach
National Key Laboratory for Novel Software Technology（计算机软件新技术国家重点实验室）；Nanjing University（南京大学）
本文提出多层在线集成的通用在线凸优化方法，可在未知函数类型与曲率下利用梯度变化，获得强凸、指数凹和凸情形的问题依赖遗憾界，且每轮仅需一次梯度查询。
2024-04-16 cs.LG math.OC stat.ML
Near-Optimal Reinforcement Learning with Self-Play under Adaptivity Constraints
UC Santa Barbara（加州大学圣巴巴拉分校）
针对多智能体强化学习中的自适应约束问题，提出基于策略消除的算法，在双人零和马尔可夫博弈中实现近最优遗憾和低批次复杂度，并证明匹配的下界。
2024-02-02 cs.AI cs.LG cs.MA
A generalization of regularized dual averaging and its dynamics
University of Missouri--Columbia（密苏里大学哥伦比亚分校）；Purdue University（普渡大学）
学习大数据和流数据的过度计算成本可以通过使用随机算法来减轻，例如随机梯度下降及其变体。最近的进展改进了随机算法的收敛速度，自适应性和结构意识。然而，这些新算法的分布方面知之甚少，特别是结构化参数。为了在这种情况下开发统计推断，我们提出了一类具有恒定步长的广义正则化对偶平均（gRDA）算法，它改进了RDA（Xiao，2010; Flammarion和Bach，2017）。gRDA轨迹的弱收敛进行了研究，因此，在文献中的第一次，在线l1惩罚问题的渐近分布变得可用。这些一般结果适用于凸和非凸可微损失函数，特别是，恢复了凸损失的现有遗憾界（Nemirovski等人，2009年）。作为重要的应用，在线稀疏线性回归和在线稀疏主成分分析的统计推断理论得到了发展，并得到了广泛的数值分析的支持。有趣的是，当gRDA被适当调整时，支持恢复和中心限制分布（均值为零）在在线设置中同时保持，这与批次Lasso的有偏中心限制分布形成对比（Knight和Fu，2000）。技术设备，包括随机镜像下降的弱收敛，作为具有独立兴趣的副产品开发。对现代图像数据的初步实证分析表明，通过gRDA学习非常稀疏的深度神经网络并不一定会牺牲测试精度。
2019-09-22 cs.LG stat.ML
Causal Bandits: The Pareto Optimal Frontier of Adaptivity, a Reduction to Linear Bandits, and Limitations around Unknown Marginals
University of Toronto（多伦多大学）；Vector Institute（向量研究院）；Ben-Gurion University（本-古里安大学）
本文研究多臂赌博机中因果结构的自适应问题，建立了自适应率的帕累托最优前沿，首次通过归约到线性赌博机获得实例相关界，并揭示了未知边际分布对改进极小极大率的根本限制。
2024-07-01 cs.LG stat.ML
Adaptation to Misspecified Kernel Regularity in Kernelised Bandits
Carnegie Mellon University（卡内基梅隆大学）
本文研究核化连续臂赌博机在核正则性未知时的适应极限，给出适应性遗憾下界，并用模型选择加 minimax 算法证明其在对数因子内紧致。
2023-04-26 cs.LG stat.ME stat.ML
Logarithmic Switching Cost in Reinforcement Learning beyond Linear MDPs
UC Santa Barbara（加州大学圣巴巴拉分校）
在许多现实生活中的强化学习（RL）问题中，部署新策略的成本很高。在这些场景中，算法必须解决探索（这需要自适应性），同时稀疏地切换部署的策略（这限制了自适应性）。在本文中，我们超越了现有的国家的最先进的这个问题，集中在线性马尔可夫决策过程（MDP）考虑线性贝尔曼完全MDP低固有贝尔曼错误。我们提出了ELEANOR LowSwitching算法，该算法实现了接近最优的遗憾，其切换成本在事件数量上是对数的，在时间范围$H$和特征维度$d$上是线性的。我们还证明了一个下界成比例的$dH$在所有的算法与次线性遗憾。此外，我们还展示了在ELEANOR LowSwitching中使用的“加倍技巧”可以进一步用于广义线性函数近似，在此基础上，我们设计了一种具有接近最佳切换成本的样本高效算法。
2023-02-24 cs.AI cs.LG stat.ML
Capacity-Constrained Online Learning with Delays: Scheduling Frameworks and Regret Trade-offs
本文研究带延迟和容量约束的在线学习，提出在先知与可抢占条件下基于调度策略的算法，实现了极小极大最优遗憾，并刻画了最优容量，统一了延迟bandit与在线调度框架。
2025-06-26 cs.LG stat.ML
