Online Bilevel Optimization: Regret Analysis of Online Alternating Gradient Methods
University of Pennsylvania（宾夕法尼亚大学）；Amirkabir University of Technology（阿米尔卡比尔理工大学）；University of Michigan（密歇根大学）
该研究提出在线双层优化问题，定义新的双层悔度概念，设计可利用平滑性的在线交替时间平均梯度方法，将单层在线算法悔度界拓展至双层场景，给出基于内外层最小化子序列路径长度的悔度界。
2024-07-08 cs.DS cs.LG math.OC
Matrix-Free Preconditioning in Online Learning
Google Research（谷歌研究院）
我们提供了一个在线凸优化算法的遗憾，插值之间的遗憾，使用最佳的预处理矩阵和一个使用对角预处理矩阵的算法。我们的遗憾界永远不会比对角预处理得到的遗憾界更差，在某些情况下甚至超过了全矩阵预处理算法。重要的是，我们的算法运行在相同的时间和空间复杂度的在线梯度下降。一路上，我们采用新的技术，温和地精简和改善对数因素在以前的遗憾分析。最后，我们对我们的算法进行了合成数据和深度学习任务的基准测试。
2019-05-29 cs.LG math.OC stat.ML
Distributed Online Non-convex Optimization with Composite Regret
Johnson Controls（江森自控）；Iowa State University（爱荷华州立大学）；New York University（纽约大学）
遗憾已被广泛采用的分布式，多智能体系统的在线优化算法的性能评估的选择度量。然而，与代理相关的数据/模型变化可能会显著影响决策，并需要代理之间的共识。此外，大多数现有的工作都集中在开发方法（无论是强或非强）凸损失，并已获得很少的结果，在分布式在线优化一般非凸损失的遗憾界。为了解决这两个问题，我们提出了一种新的复合遗憾与一个新的网络遗憾为基础的度量来评估分布式在线优化算法。我们具体定义了复合遗憾的静态和动态形式。通过利用我们的复合遗憾的动态形式，我们开发了一个基于共识的在线归一化梯度（CONGD）方法的伪凸损失，它证明了一个次线性的行为有关的规则项的路径变化的优化。对于一般的非凸损失，我们首先阐明了遗憾的设置分布式在线非凸学习的基础上，最近的进展，没有确定性算法可以实现次线性遗憾。然后，我们开发了分布式在线非凸优化与复合遗憾（DINOCO）没有访问的梯度，依赖于离线优化预言。DINOCO实现了次线性遗憾;据我们所知，这是一般分布式在线非凸学习的第一个遗憾界。
2022-09-21 cs.DC cs.LG stat.ML
Online Agnostic Boosting via Regret Minimization
Princeton University（普林斯顿大学）；Google AI Princeton（谷歌人工智能普林斯顿（Google AI Princeton））
Boosting是一种广泛使用的机器学习方法，它基于聚集弱学习规则的思想。虽然在统计学习中，许多提升方法存在于可实现和不可知的设置中，但在在线学习中，它们只存在于可实现的情况下。在这项工作中，我们提供了第一个不可知的在线提升算法，也就是说，给定一个弱学习者，只有边际优于平凡的遗憾保证，我们的算法将其提升为一个强学习者与次线性遗憾。我们的算法是基于一个抽象的（和简单的）减少在线凸优化，有效地将任意在线凸优化在线助推器。此外，这种减少扩展到统计以及在线可实现的设置，从而统一了统计/在线和不可知/可实现的提升的4种情况。
2020-03-02 cs.LG stat.ML
Online estimation and control with optimal pathlength regret
Caltech（加州理工学院）
当为非平稳环境设计在线学习算法时，一个自然的目标是根据输入序列的时间变化限制算法的遗憾。直觉上，当变化很小时，算法应该更容易实现低遗憾，因为过去的观察可以预测未来的输入。这种依赖于数据的“路径长度”遗憾界最近已经获得了各种各样的在线学习问题，包括OCO和土匪。我们获得了线性动态系统在线控制和估计（如卡尔曼滤波）的第一个路径长度遗憾界。在我们的推导中的关键思想是减少路径长度最优滤波和控制的鲁棒估计和控制的某些变分问题，这些减少可能是独立的利益。数值模拟证实，我们的路径长度优化算法优于传统的$H_2$和$H_{\infty}$算法时，环境随时间变化。
2021-12-07 cs.LG math.OC
A Regret-Variance Trade-Off in Online Learning
Università degli Studi di Milano（米兰大学）；ETH Zürich（苏黎世联邦理工学院）
我们考虑预测与专家的意见，为强凸和有界损失，并调查之间的权衡遗憾和“方差”（即，学习者预测和最佳专家预测的平方差）。对于$K$专家，已知指数加权平均（EWA）算法可以实现$O(\log K)$后悔。我们证明了EWA的一个变体要么实现了消极的遗憾（即，该算法优于最佳专家），或者保证方差和遗憾的$O(\log K)$界限。基于这一结果，我们展示了几个例子，说明如何在学习中利用预测的方差。在在线批量分析中，我们表明，一个大的经验方差允许提前停止在线批量转换，并优于类中最好的预测器的风险。当不考虑提前停止时，我们还恢复了模型选择聚集的最优速率。在在线预测与腐败的损失，我们表明，腐败的遗憾的影响可以补偿一个大的方差。在在线选择性抽样中，我们设计了一个算法，当方差较大时，抽样较少，同时保证期望中的最优后悔界。在在线学习中，我们使用一个类似的术语作为方差，以推导出该设置中的第一个高概率$O(\log K)$遗憾界。最后，我们将我们的结果扩展到在线线性回归的设置。
2022-06-06 cs.LG stat.ML
The Online Saddle Point Problem and Online Convex Optimization with Knapsacks
我们研究在线鞍点问题，在线学习问题，在每次迭代的一对行动需要选择不知道当前和未来的（凹凸）支付函数。我们的目标是最大限度地减少累积收益和鞍点值的总收益函数，我们使用称为“SP遗憾”的度量测量之间的差距。这个问题推广了在线凸优化框架，但在这里我们必须确保两个玩家的累积收益接近于游戏总和的纳什均衡。我们提出了一种算法，实现SP-遗憾成正比的$\sqrt{\ln(T)T}$在一般情况下，和$\log(T)$ SP-遗憾的强凹凸的情况下。我们还考虑了支付函数是双线性的，决策集是概率单形的特殊情况。在这种情况下，我们能够设计的算法，减少SP-遗憾的界限，从一个线性依赖的维度的问题，一个\textit{logarithmic}。我们还研究了强盗反馈下的问题，并提供了一个算法，实现次线性SP-Regret。然后，我们考虑一个在线凸优化背包问题的动机是各种各样的应用程序，如：动态定价，拍卖和众包。我们将这个问题的在线鞍点问题，并建立$O(\sqrt{T})$后悔使用原始-对偶算法。
2020-04-05 cs.LG math.OC stat.ML
A Unified Analysis Method for Online Optimization in Normed Vector Space
China University of Petroleum-Beijing（中国石油大学（北京））
本文从高层次统一理论的角度研究在线优化问题。本文不仅在赋范向量空间中推广了Optimistic-DA和Optimistic-MD，而且统一了它们的动态后悔分析方法。由于引入了$ϕ$ -convex，遗憾边界是最严格的。作为实例，归一化指数次梯度和贪婪/懒惰投影的遗憾界优于目前已知的最优结果。通过用单调算子代替在线博弈中的损失，并扩展后悔算子的定义，即后悔$^n$，将在线凸优化问题推广到在线单调优化问题。
2022-02-13 cs.LG math.OC
Understand Dynamic Regret with Switching Cost for Online Decision Making
National University of Defense Technology（国防科技大学）；Xinjiang University（新疆大学）；Beijing Jiaotong University（北京交通大学）；Dongguan University of Technology（东莞理工学院）
作为衡量在线决策方法性能的一个指标，带切换成本的动态后悔问题在在线决策问题中受到了广泛的关注。虽然在以往的研究中已经提出了次线性后悔模型，但是对于动态后悔与转换成本之间的关系，我们仍然知之甚少。在本文中，我们研究了两个经典的在线设置：在线算法（OA）和在线凸优化（OCO）的关系。我们提供了一个新的理论分析框架，它显示了一个有趣的观察，即转换成本和动态后悔之间的关系是不同的设置的OA和OCO。具体而言，转换成本对OA设置中的动态后悔有显著影响。但是，在OCO情境下，它对动态后悔没有影响。此外，我们还给出了OCO的后悔下限，该下限与无切换成本时的后悔下限相同。结果表明，在OCO环境下，切换成本并没有改变在线决策问题的难度。
2019-11-28 cs.GT cs.LG stat.ML
Tracking Slowly Moving Clairvoyant: Optimal Dynamic Regret of Online Learning with True and Noisy Gradient
The University of Iowa（爱荷华大学）；Nanjing University（南京大学）；Alibaba Group（阿里巴巴集团）；IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）
本文主要研究在线凸优化的动态后悔问题，将在线学习的性能与一个预先知道损失函数序列的千里眼进行比较，从而在每一步选择损失函数的最小值。假设千里眼移动缓慢（即，最小值变化缓慢），我们提出了几个改进的基于变分的上界的动态遗憾下的真实和噪声梯度反馈，这是{ \it最优}鉴于所提出的下限.我们分析的关键是探索一个规律性的度量，衡量千里眼的最小化，我们称之为{ \it路径变化}的时间变化。首先，我们提出了一个一般的下界的路径变化，然后表明，在完全信息或梯度反馈下，我们能够实现最佳的动态后悔。其次，我们提出了一个下界与噪声梯度反馈，然后证明我们可以实现最优动态遗憾下的随机梯度反馈和两点强盗反馈。此外，对于一个序列的光滑损失函数，承认一个小的变化的梯度，我们的动态遗憾下的两点强盗反馈匹配所取得的全部信息。
2016-05-16 cs.LG math.OC stat.ML
Continuous Online Learning and New Insights to Online Imitation Learning
University of California, Berkeley（加州大学伯克利分校）；Georgia Institute of Technology（佐治亚理工学院）
在线学习是分析迭代算法的有力工具。然而，经典的对抗性设置有时无法捕捉到实践中在线问题的某些规律性。出于这一动机，我们建立了一个新的设置，称为连续在线学习（COL），在线损失函数的梯度不断变化，跨轮相对于学习者的决定。我们表明，COL涵盖并更恰当地描述了许多有趣的应用，从一般均衡问题（EPs）的优化，在情节MDPs。使用这个新的设置，我们重新审视实现次线性动态后悔的困难。我们证明了在COL中实现次线性动态遗憾和解决某些EP之间存在基本等价性，并且我们提出了从动态遗憾到静态遗憾和相关EP的收敛速度的减少。最后，我们将这些新的见解专门用于在线模仿学习，并对其学习稳定性进行了改进。
2019-12-03 cs.LG math.OC stat.ML
Between Stochastic and Adversarial Online Convex Optimization: Improved Regret Bounds via Smoothness
University of Amsterdam（阿姆斯特丹大学）；Korteweg-de Vries Institute for Mathematics（科尔特韦格-德弗里斯数学研究所）；University of Twente（特文特大学）；Pontificia Universidad Católica de Chile（智利天主教大学）
随机数据和对抗数据是在线学习中被广泛研究的两种环境。但许多优化任务既不是独立同分布的。也不是完全敌对的，这使得它的根本利益，以获得更好的理论理解之间的世界这两个极端。在这项工作中，我们建立了新的遗憾界在线凸优化的设置，随机i.i.d.之间插值。和完全对抗性的损失通过利用预期损失的平滑性，这些界限用梯度的方差代替了对最大梯度长度的依赖性，这在以前只针对线性损失是已知的。另外，他们削弱了i.i.d.假设，例如，允许敌对中毒轮，这是以前考虑在专家和土匪设置。我们的结果扩展到在线凸优化框架。在完整的身份证上。在这种情况下，我们的边界匹配随机加速结果的预期速率，并且在完全对抗的情况下，它们优雅地恶化以匹配极小极大遗憾。我们还提供了下限表明，我们的遗憾上限是紧的随机方差和对抗性变化的损失梯度的所有中间制度。
2022-06-08 cs.LG math.OC stat.ML
Regret Bound by Variation for Online Convex Optimization
Michigan State University（密歇根州立大学）；NEC Laboratories America（NEC美国实验室）
在citep{Hazan-2008-extract}中，作者证明了在线线性优化的遗憾可以由成本向量的总变差限制。在本文中，我们将这个结果推广到一般的在线凸优化。首先分析了\citep{Hazan-2008-extract}中的算法在应用于在线凸优化时的局限性。然后，我们提出了两个算法的在线凸优化的遗憾是有界的变化的成本函数。最后，我们考虑了强盗设置，并提出了一个随机算法在线强盗凸优化与基于变分的遗憾界。我们证明，当成本函数的变化与试验次数无关时，在线强盗凸优化的遗憾界是最优的。
2012-06-14 cs.LG
Adversarial Online Learning with Changing Action Sets: Efficient Algorithms with Approximate Regret Bounds
University of Southern California（南加州大学）
我们重新讨论了在线学习与睡眠专家/土匪的问题：在每个时间步中，只有一个子集的行动可供算法选择（和学习）。Kleinberg等人（2010年）的工作表明，存在不后悔算法，其性能不会比渐进的最佳行为排名更差。不幸的是，实现这种遗憾界限似乎在计算上很难：Kanade和Steinke（2014）表明，实现这种无遗憾表现至少与PAC学习DNF一样困难，这是一个众所周知的难题。在目前的工作中，我们放松了原来的问题，研究计算效率的无近似遗憾算法：这种算法可能会超过最佳成本的乘法常数除了添加剂遗憾。我们给出了一个算法，提供了一个无近似遗憾保证一般的睡眠专家/土匪问题。对于几个典型的特殊情况下的问题，我们给出了算法有显着更好的近似比，这些算法还说明了不同的技术实现无近似遗憾的保证。
2021-04-26 cs.LG stat.ML
Adaptivity and Universality: Problem-dependent Universal Regret for Online Convex Optimization
National Key Laboratory for Novel Software Technology, Nanjing University, China（国家新型软件技术重点实验室，南京大学，中国）；School of Artificial Intelligence, Nanjing University, China（人工智能学院，南京大学，中国）
本文提出UniGrad方法，实现在线凸优化的通用性和问题依赖性，通过两种实现方式达到不同函数类的最优遗憾界。
2025-11-25 cs.LG math.OC stat.ML
A Low Complexity Algorithm with $O(\sqrt{T})$ Regret and $O(1)$ Constraint Violations for Online Convex Optimization with Long Term Constraints
University of Southern California（南加州大学）
研究了复杂约束集上的在线凸优化问题，该约束集通常由多个函数约束和一个集合约束组成。传统的在线投影算法（Zinkevich，2003）可能难以实现，由于投影操作的潜在高计算复杂性。在本文中，我们放宽了功能的限制，允许他们在每一轮被违反，但仍然需要他们在长期内得到满足。这种类型的放松在线凸优化（具有长期约束）首先在Mahdavi等人（2012）中考虑。先前的工作提出了一种算法，以实现$O(\sqrt{T})$遗憾和$O(T^{3/4})$约束违反一般问题和另一种算法，以实现$O(T^{2/3})$界的遗憾和约束违反时，约束集可以被描述为有限数量的线性约束。\citet{Jenatton16ICML}中的最新扩展可以实现$O(T^{\max\{θ,1-θ\}})$遗憾和$O(T^{1-θ/2})$约束违反，其中$θ\in (0,1)$。目前的论文提出了一种新的简单的算法，产生改进的性能相比，以前的作品。新算法实现了一个$O(\sqrt{T})$遗憾界$O(1)$约束违反。
2020-05-18 cs.LG math.OC stat.ML
Dynamic Regret for Strongly Adaptive Methods and Optimality of Online KRR
University of California, Santa Barbara（加州大学圣巴巴拉分校）；Amazon Research（亚马逊研究院）
我们考虑非平稳在线凸优化的框架，学习者试图控制其动态后悔对任意序列的比较。当损失函数是强凸或指数凹，我们证明，强自适应（SA）算法可以被看作是一个原则性的方式来控制动态遗憾的路径变化$V_T$的比较器序列。具体来说，我们发现SA算法享受$\tilde O(\sqrt{TV_T} \vee \log T)$和$\tilde O(\sqrt{dTV_T} \vee d\log T)$动态遗憾强凸和指数凹损失分别没有先验知识的$V_T$。的多功能性的原则性的方法进一步证明了新的结果，在设置学习对有界线性预测和在线回归高斯内核。在相关的设置下，论文的第二部分解决了Zhdanov和Kalnishkan（2010）提出的一个悬而未决的问题，该问题涉及具有平方误差损失的在线内核回归。我们得到了一个新的下界，一定的惩罚遗憾，建立了近极大极小最优的在线核岭回归（KRR）。我们的下界可以被看作是对Vovk（2001）中有限维在线线性回归下界的RKHS扩展。
2021-11-22 cs.LG stat.ML
Achieving Better Local Regret Bound for Online Non-Convex Bilevel Optimization
East China Normal University（华东师范大学）
本文提出优化在线非凸双层优化的局部遗憾界，设计了自适应迭代算法和单循环算法，分别在标准和窗口平均设置中取得最优遗憾界。
2026-05-09 cs.LG math.OC
Competitive ratio versus regret minimization: achieving the best of both worlds
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）；Google Research（谷歌研究院）；Tel Aviv University（特拉维夫大学）
我们认为在线算法的竞争比标准和遗憾最小化之一。我们的主要目标是建立一个统一的方法，能够同时保证这两个标准。对于一般类的在线算法，即任何度量任务系统（MTS），我们表明，可以同时保证最好的竞争比和自然的遗憾界。对于分页问题，我们进一步展示了一个有效的在线算法（多项式的页数），这种保证。为此，我们扩展了现有的遗憾最小化算法（具体来说，Kapralov和Panigrahy）来处理移动成本（在线系统状态之间切换的成本）。然后，我们展示了如何使用扩展的后悔最小化算法结合多个在线算法。我们的最终结果是一个在线算法，可以结合一个“基地”的在线算法，有保证的竞争比，与一系列的在线算法，保证在任何时间间隔的一个小遗憾。组合算法既保证了竞争比匹配的基础算法和低遗憾在任何时间间隔。作为一个产品，我们得到了一个专家算法，接近最优的遗憾界的每一个时间间隔，即使在存在的转换成本。这个结果是独立的利益。
2019-04-07 cs.DS cs.LG stat.ML
Adaptive Regret for Control of Time-Varying Dynamics
UC Berkeley（加州大学伯克利分校）；Google AI Princeton（谷歌人工智能普林斯顿）；Princeton University（普林斯顿大学）
本文研究具有时变线性动态系统的在线控制问题。这是一个一般的配方，是由使用局部线性化控制的非线性动力系统的动机。为了在不断变化的环境中陈述有意义的保证，我们将{ \it自适应后悔}的度量引入到控制领域。该度量最初在在线学习中研究，在{ \it any interval in time}上根据事后对最佳策略的后悔来测量性能，从而捕获控制器对变化的动态的适应。我们的主要贡献是一种新的有效的元算法：它将一个控制器与次线性遗憾界到一个与次线性{ \it自适应遗憾}界的设置时变线性动力系统。主要的技术创新是第一个自适应遗憾界的更一般的框架，在线凸优化与记忆。此外，我们给出了一个下界，表明我们获得的自适应遗憾界是接近紧的一般框架。
2022-02-12 cs.LG math.OC stat.ML
Dynamical Models and Tracking Regret in Online Convex Programming
Duke University（杜克大学）
本文介绍了一种新的在线凸优化方法，它结合了一个家庭的候选动力学模型，并建立了新的跟踪遗憾界的规模与比较器的偏差，在这个家庭中的最佳动力学模型。先前的在线优化方法被设计为具有与最佳比较器序列的总累积损失相当的总累积损失，并且现有的跟踪或移位遗憾界限随着比较器序列的总体变化而缩放。然而，在许多实际情况下，环境是非平稳的，并且具有小变化的比较器序列是相当弱的，从而导致大的损失。相比之下，所提出的动态镜像下降方法可以通过跟踪最佳动态模型并基于该模型形成预测来产生相对于高度可变的比较器序列的低遗憾。这一概念在动态场景的连续压缩观察和跟踪动态社交网络的背景下实证。
2013-01-07 cs.LG stat.ML
Trading-Off Static and Dynamic Regret in Online Least-Squares and Beyond
University of Minnesota（明尼苏达大学）
递归最小二乘算法通常使用遗忘因子作为启发式算法来适应非平稳数据流。本文的第一个贡献是严格刻画了遗忘因子对一类在线牛顿算法的影响。对于指数凹和强凸目标，算法实现了$\max\{O(\log T),O(\sqrt{TV})\}$的动态后悔，其中$V$是比较序列路径长度的一个界.特别是，我们展示了如何经典的递归最小二乘遗忘因子实现这个动态的遗憾界。通过改变$V$，我们得到了静态和动态后悔之间的权衡。为了获得更高的计算效率的算法，我们的第二个贡献是一个新的梯度下降步长规则的强凸函数。我们的梯度下降规则恢复了上述顺序最优动态后悔界限。对于光滑问题，我们还可以得到$O(T^{1-β})$的静态遗憾和$O(T^βV^*)$的动态遗憾，其中$β\in (0,1)$和$V^*$是极小元序列的路径长度.通过改变$β$，我们得到了静态和动态后悔之间的权衡。
2019-11-21 cs.LG stat.ML
No-Regret Algorithms for Unconstrained Online Convex Optimization
Duolingo, Inc.（多邻国公司）；Google, Inc.（谷歌公司）
在线凸优化的一些最引人注目的应用，包括在线预测和分类，是无约束的：自然可行集是R^n。现有的算法无法实现次线性遗憾，在这种情况下，除非对比较点x^* 的约束是已知的。我们提出的算法，没有这样的先验知识，提供接近最优的遗憾界相对于任何选择x^*。特别地，关于x^* = 0的后悔是恒定的。然后，我们证明下界表明，我们的保证在这种情况下是接近最优的。
2012-11-09 cs.LG
Curvature-Independent Regret Bounds for Distributed Online Optimization on Hadamard Manifolds
Northeastern University（东北大学）
本文提出分布式黎曼在线梯度下降（D-ROGD）算法，在Hadamard流形上针对h-凸函数实现曲率无关的遗憾界，分别达到O(√T)和O(log T)的静态遗憾，并通过实验验证。
2026-09-15 cs.LG math.OC stat.ML
Online Learning on Hidden-Convex Losses via Algorithmic Equivalence: Optimal Regret, Geometric Barrier, and Bandit Feedback
Singapore University of Technology and Design（新加坡科技设计大学）；National Technical University of Athens（雅典国家技术大学）；National and Kapodistrian University of Athens（雅典国家与卡多斯大学）；University of California, Irvine（加州大学 Irvine 分校）；Archimedes, Athena Research Center, Greece（希腊阿提卡研究中心 Archimedes）；National University of Singapore, Centre for Quantum Technologies（新加坡国立大学 量子技术中心）
本文通过更精确的离散时间算法等价性论证，证明在线梯度下降在隐凸损失上达到最优的$\mathcal{O}(\sqrt{T})$遗憾，并澄清了所需几何条件，同时扩展到单点Bandit反馈得到$\mathcal{O}(T^{3/4})$期望遗憾。
2026-11-10 cs.LG math.OC stat.ML
A Unified Framework for Analyzing Meta-algorithms in Online Convex Optimization
Mila - Quebec AI Institute/McGill University（魁北克人工智能研究所/麦吉尔大学）；Purdue University（普渡大学）
本文提出了一种统一框架，用于分析在线凸优化中不同反馈类型和对手设定下的元算法，通过转换一阶算法为零阶算法，实现了在不同场景下的优化方法统一和性能保证。
2026-02-20 cs.LG math.OC stat.ML
Online Learning with Gradient-Variation Interval Regret
State Key Laboratory for Novel Software Technology and the School of Artificial Intelligence, Nanjing University（新型软件技术国家重点实验室和人工智能学院，南京大学）；Institute of Operations Research and Analytics, National University of Singapore（运筹与分析研究所，新加坡国立大学）
本文提出首个基于梯度变化量实现区间遗憾界的在线学习算法，采用两层在线集成结构，自适应多种问题相关量并达到极小化最优率，同时引入Lipschitz和平滑性无关的变体。
2026-06-02 cs.LG stat.ML
Online Non-Convex Learning: Following the Perturbed Leader is Optimal
Carnegie Mellon University（卡内基梅隆大学）；Microsoft Research, India（微软研究院（印度））
我们研究了非凸损失的在线学习问题，学习者可以访问离线优化预言。我们表明，经典的跟随扰动领导（FTPL）算法实现了最佳的遗憾率$O(T^{-1/2})$在这种情况下。这改善了之前最著名的FTPL的$O(T^{-1/3})$后悔率。我们进一步表明，乐观的FTPL变体实现更好的后悔界限时，学习者遇到的损失序列是“可预测的”。
2019-09-21 cs.LG math.OC stat.ML
Bi-Level Online Control without Regret
本文提出一种双层离散时间控制框架，结合在线凸优化与实时控制，通过小动态遗憾算法解决电力电网频率控制问题。
2017-02-18 cs.LG cs.SY eess.SY
Less Regret via Online Conditioning
Google, Inc.（谷歌公司）
我们分析和评估的在线梯度下降算法与自适应每坐标调整的学习率。我们的算法可以被认为是一个在线版本的批量梯度下降与对角预条件。对于一般的在线凸优化问题，这种方法导致了比标准在线梯度下降更强的遗憾界。实验表明，我们的算法是有竞争力的大规模机器学习问题的最先进的算法。
2010-02-25 cs.AI cs.LG
The Relationship between No-Regret Learning and Online Conformal Prediction
University of Pennsylvania（宾夕法尼亚大学）
本文探究无悔学习与在线保形预测的关系，发现标准无悔保证在对抗环境或组条件覆盖场景下失效，证明阈值校准覆盖与交换无悔的紧密联系，且跟随扰动领导者家族算法可提供组条件覆盖保证，还分析实验了ACI算法的多组泛化版本。
2025-02-16 cs.GT cs.LG stat.ML
Regret Bounds without Lipschitz Continuity: Online Learning with Relative-Lipschitz Losses
University of British Columbia（不列颠哥伦比亚大学）；Amii（阿尔伯塔机器智能研究所）
在线凸优化（OCO）中，通常假设函数的Lipschitz连续性以获得次线性遗憾。而且，当这些函数也是强凸函数时，许多算法只有对数遗憾。近年来，凸优化领域的研究者提出了“相对Lipschitz连续性”和“相对强凸性”的概念。这两个概念都是经典概念的推广。它已被证明，次梯度方法在相对设置具有类似于他们的性能在经典设置的性能。在这项工作中，我们考虑OCO相对Lipschitz和相对强凸函数。我们扩展了经典OCO算法的遗憾界的相对设置。具体来说，我们显示遗憾的界限遵循正规化的领导者算法和在线镜像下降的一个变体。由于这些方法的通用性，这些结果产生各种各样的OCO算法的遗憾界。此外，我们进一步扩展的结果与额外的正则化算法，如正则化双平均。
2020-12-28 cs.LG math.OC
Dynamic Regret of Online Mirror Descent for Relatively Smooth Convex Cost Functions
University of Toronto（多伦多大学）
在线凸优化算法在动态环境中的性能通常用动态后悔来表示，动态后悔度量决策者对一系列时变比较器的性能。在分析动态后悔问题时，以往的研究往往假设代价函数是Lipschitz连续或一致光滑的。然而，在实践中有许多重要的成本函数不满足这些条件。在这种情况下，先前的分析是不适用的，不能保证优化性能。在这封信中，我们表明，它是可能的约束的动态遗憾，即使没有Lipschitz连续性和一致光滑性。我们采用相对光滑的概念，相对于一些用户定义的正则化函数，这是一个更温和的要求的成本函数。我们首先表明，相对平滑下，动态后悔有一个上界的基础上的路径长度和功能的变化。然后，我们表明，与一个相对较强的凸性的附加条件，动态后悔可以有界的路径长度和梯度变化。这些遗憾的界限提供了性能保证各种各样的在线优化问题，出现在不同的应用领域。最后，我们提出了数值实验，证明了采用正则化函数的优势，在该函数下的成本函数是相对平滑的。
2022-02-25 cs.LG math.OC
A Distributed Online Convex Optimization Algorithm with Improved Dynamic Regret
Duke University（杜克大学）
在本文中，我们考虑的问题，分布式在线凸优化，在网络的本地代理的目的是共同优化一个凸函数在一段时间内的多个时间步长。特工们对未来一无所知。现有的算法已经建立了明确的依赖于时间步长的数量的动态遗憾界。在这项工作中，我们表明，我们可以消除这种依赖性，假设当地的目标函数是强凸的。更准确地说，我们提出了一个梯度跟踪算法，代理联合通信和下降的基础上校正梯度步骤。我们通过数值实验验证了我们的理论结果。
2019-11-12 cs.LG math.OC
Near-Optimal Algorithms for Private Online Optimization in the Realizable Regime
Apple（苹果公司）；Tel Aviv University（特拉维夫大学）
我们认为在线学习问题的可实现的设置，有一个零损失的解决方案，并提出新的差分私有（DP）算法，获得接近最优的遗憾界。对于专家在线预测问题，我们设计了新的算法来获得接近最优的后悔${O} \big( \varepsilon^{-1} \log^{1.5}{d} \big)$，其中$d$是专家的数量。这显著改善了DP不可实现设置的最佳现有遗憾界限，其为${O} \big( \varepsilon^{-1} \min\big\{d, T^{1/3}\log d\big\} \big)$。我们还开发了一个自适应算法的小损失设置遗憾$O(L^\star\log d + \varepsilon^{-1} \log^{1.5}{d})$其中$L^\star$是最好的专家的总损失。此外，我们认为DP在线凸优化的可实现的设置，并提出了一个算法与接近最佳的遗憾$O \big(\varepsilon^{-1} d^{1.5} \big)$，以及一个算法的顺利情况下遗憾$O \big( \varepsilon^{-2/3} (dT)^{1/3} \big)$，都显着改善现有的界限在不可实现的制度。
2023-02-27 cs.CR cs.LG math.OC
Online Optimization in Dynamic Environments: Improved Regret Rates for Strongly Convex Problems
University of Pennsylvania（宾夕法尼亚大学）；Harvard University（哈佛大学）
在本文中，我们解决跟踪的时变参数与未知的动态。我们正式的问题作为一个实例，在一个动态的设置在线优化。使用在线梯度下降，我们提出了一种方法，顺序预测的参数值，反过来又遭受损失。其目标是尽量减少在一段时间内累积的损失，这一概念被称为动态后悔。虽然现有的方法集中在凸损失函数，我们认为强凸函数，以便提供更好的性能保证。我们得到一个遗憾的界限，捕获的路径长度的时变参数，定义在其连续值之间的距离。换句话说，边界表示跟踪质量与参数变化率的自然联系。我们提供数值实验来补充我们的理论研究结果。
2016-03-16 cs.LG math.OC
No-regret Algorithms for Fair Resource Allocation
Tata Institute of Fundamental Research（塔塔基础研究所）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
我们考虑一个公平的资源分配问题，在无遗憾设置对一个不受限制的对手。我们的目标是在几个代理之间公平地分配资源，在一个在线的方式，使不同的聚合$α$ -公平效用的代理之间的最佳静态千里眼分配和在线政策的增长次线性随时间的推移。由于$α$公平性函数的非加性性质，该问题是具有挑战性的。以前，它表明，没有在线政策可以存在这个问题的次线性标准遗憾。在本文中，我们提出了一个有效的在线资源分配政策，称为在线比例公平（OPF），实现$c_α$ -近似次线性遗憾的近似因子$c_α=(1-α)^{-(1-α)}\leq 1.445,$为$0\leq α< 1$。对这个问题的$c_α$ -遗憾的上限表现出令人惊讶的相变现象。遗憾界从幂律变化到临界指数$α=\frac{1}{2}.$处的常数作为推论，我们的结果也解决了Even-Dar等人提出的一个开放问题。[2009]关于在某些参数范围内为在线作业调度问题设计一个有效的无遗憾策略。我们的结果的证明引入了新的算法和分析技术，包括贪婪估计的未来梯度的非加性的全球奖励功能和自举自适应遗憾界，这可能是独立的利益。
2023-03-11 cs.LG stat.ML
Logarithmic Regret for parameter-free Online Logistic Regression
LPSM, Sorbonne Université（巴黎索邦大学概率与随机模型实验室）
我们认为在线优化程序的逻辑回归的背景下，专注于扩展卡尔曼滤波器（EKF）。我们引入了一个接近EKF的二阶算法，称为半在线步骤（SOS），我们在对抗设置中证明了O（log（n））的遗憾，为EKF的类似结果铺平了道路。SOS的遗憾界是第一个在对抗逻辑回归中的无参数算法。我们证明了EKF在恒定的动态O（log（n））的期望和良好指定的逻辑回归模型的遗憾。
2019-02-26 cs.LG math.ST stat.TH
Online Monotone Optimization
本文提出了一个新的框架，分析和设计的无悔算法的动态（可能是敌对的）系统。该框架概括了流行的在线凸优化框架，并将其扩展到其自然极限，使其能够捕获一个概念的遗憾，这是直观的更一般的问题，如在博弈论和变分不等式中遇到的。该框架取决于我们开发的系统范围损失函数的特殊选择。使用这个框架，我们证明了一个简单的更新计划提供了一个无遗憾算法单调系统。虽然以前的结果在博弈论证明个人代理可以享受单边无遗憾的保证，我们的结果证明单调性足以保证无遗憾时，考虑到多个代理策略的调整并行。此外，据我们所知，这是第一个框架，提供了一个合适的概念变分不等式的遗憾。最重要的是，我们提出的框架确保单调性的充分条件，安全地并行使用多个在线学习者。
2016-08-29 cs.LG math.OC
Universal Online Convex Optimization with Minimax Optimal Second-Order Dynamic Regret
Bilkent University（比尔肯特大学）；Turkcell Teknoloji（土耳其电信技术公司）；DataBoss A.S.（DataBoss公司）
我们介绍了一个在线凸优化算法，利用投影次梯度下降与最佳自适应学习率。对于一般的凸函数序列，我们的方法提供了二阶极小极大最优的动态后悔保证（即依赖于次梯度范数的平方和），这类函数序列可能不具有强凸性、光滑性、指数连续性甚至Lipschitz连续性.遗憾保证针对具有有界路径变化的任何比较器决策序列（即连续决策之间的距离之和）。通过引入实际次梯度范数，我们得到了最坏情况下二阶动态后悔的下界。我们表明，这个下界匹配我们的遗憾保证在一个常数的因素，这使得我们的算法最小最大的最优。我们还分别推导了每个决策坐标中的学习扩展。我们演示了如何最好地保持我们的遗憾保证在一个真正的在线方式，当比较器序列的路径变化的约束增长的时间或反馈关于这样的约束到达部分随着时间的推移，我们进一步建立在我们的算法，以消除需要的任何知识的比较器路径变化，并提供minimax最优二阶遗憾保证没有先验信息。我们的方法可以竞争对所有比较器序列同时（普遍）在一个最小最大的最佳方式，即每个遗憾的保证取决于各自的比较器路径变化。我们讨论修改我们的方法，解决时间，计算和内存的复杂性降低。我们进一步改善我们的结果，使遗憾的保证也依赖于比较器集的直径，除了各自的路径变化。
2022-09-13 cs.LG math.OC
Temporal Variability in Implicit Online Learning
Università di Milano（米兰大学）；Boston University（波士顿大学）
在在线学习的背景下，隐式算法从实用的角度来看是非常成功的。然而，最严格的遗憾分析只显示了在线镜像下降的边际改善。在这项工作中，我们揭示了这种行为进行了仔细的遗憾分析。我们证明了一个新的静态遗憾界，依赖于时间的变化序列的损失函数，一个数量，这是经常遇到的考虑动态竞争对手。例如，我们表明，如果时间变异性是恒定的，并且学习率被适当地调整，而不需要平滑损失，则后悔可以是恒定的。此外，我们提出了一个自适应算法，实现了这个遗憾界的时间变化性的先验知识，并证明了一个匹配的下限。最后，我们在分类和回归数据集上验证了我们的理论发现。
2020-11-06 cs.LG stat.ML
Data-Driven Online Model Selection With Regret Guarantees
Boston University（波士顿大学）；Broad Institute of MIT and Harvard（布罗德研究所）；Google Research（谷歌研究院）
本文研究随机赌博机反馈下的在线模型选择，提出两种数据驱动算法，利用基学习器的实际遗憾而非先验遗憾上界进行遗憾平衡，并给出理论保证与实验验证。
2024-01-23 cs.AI cs.LG stat.ML
Online Min-Max Optimization: From Individual Regrets to Cumulative Saddle Points
Purdue University（普渡大学）
本文提出了一种基于累积鞍点的在线极小极大优化方法，解决了静态纳什均衡与个体遗憾不兼容的问题，并引入动态鞍点遗憾概念，同时推导了在强凸-强凹性和极小极大指数凹性下的理论界限。
2026-02-11 cs.LG math.OC
Beyond Worst-Case Online Classification: VC-Based Regret Bounds for Relaxed Benchmarks
Yale University（耶鲁大学）；MIT（麻省理工学院）；UC Berkeley（加州大学伯克利分校）
该研究针对在线二分类，提出与捕捉平滑最优性的松弛基准竞争的方法，算法后悔界仅依赖VC维与实例空间复杂度，对广义间隔γ呈O(log(1/γ))依赖并补充匹配下界，连接对抗鲁棒性与平滑在线学习思想。
2025-04-14 cs.LG stat.ML
Smoothed Online Convex Optimization Based on Discounted-Normal-Predictor
Nanjing University（南京大学）；the University of Iowa（爱荷华大学）
在本文中，我们研究了一种在线预测策略，称为贴现正态预测器（Kapralov和Panigrahy，2010），用于平滑在线凸优化（SOCO），其中学习者不仅需要最小化命中成本，还需要最小化切换成本。在专家建议的学习环境中，Daniely和Mansour（2019）证明了贴现正态预测器可以在任何时间间隔内产生接近最优的后悔界限，即使存在转换成本。受他们结果的启发，我们开发了一种简单的SOCO算法：通过贴现正态预测器将在线梯度下降（OGD）与不同的步长顺序组合。尽管它的简单性，我们证明了它是能够最小化的自适应遗憾与切换成本，即，在每一区间上都能得到具有切换成本的近似最优后悔。通过利用OGD对动态后悔的理论保证，进一步证明了该算法在每个区间内都能最小化动态后悔且具有切换代价。
2022-05-02 cs.LG math.OC
Nonstationary Nonparametric Online Learning: Balancing Dynamic Regret and Model Parsimony
U.S. Army Research Laboratory（美国陆军研究实验室）；Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）
监督学习中的一个开放性挑战是\emph{conceptual drift}：数据点开始时根据一个标签进行分类，但随着时间的推移，该标签的概念会发生变化。除了线性自回归模型之外，迁移和Meta学习解决了漂移问题，但在训练开始时需要代表不同领域的数据。为了放宽这一要求，我们提出了一个内存有效的\emph{online}通用函数逼近压缩核方法的基础上。我们的方法取决于将非平稳学习视为具有动态比较器的在线凸优化，其性能通过动态遗憾来量化。以前的工作控制动态遗憾增长的线性模型。相反，我们假设行动属于再生核希尔伯特空间（RKHS）。我们提出了一个函数的在线梯度下降（OGD）的操作与贪婪的子空间投影的变体。投影是必要的，以克服RKHS功能的复杂性与时间成正比的事实。对于这个计划，我们建立了次线性动态后悔增长的损失变化和功能路径长度，并保持适度的功能序列的记忆。实验表明，所提出的技术在线非线性回归和非平稳数据的分类问题的实用性。
2019-09-12 cs.LG eess.SP math.OC
New Projection-free Algorithms for Online Convex Optimization with Adaptive Regret Guarantees
Technion - Israel Institute of Technology（以色列理工学院）
我们提出了新的有效的\textit{projection-free}算法在线凸优化（OCO），其中的投影免费，我们指的算法，避免计算正交投影到可行集，而不是依赖于不同的和潜在的更有效的预言。虽然大多数国家的最先进的无投影算法的基础上的\textit{follow-the-leader}框架，我们的算法是根本不同的，是基于\textit{online gradient descent}算法与一种新的和有效的方法来计算所谓的\textit{infeasible projections}。因此，我们获得了自然产生\textit{adaptive regret}保证的第一个无投影算法，即，遗憾的界限，持有w.r.t.序列的任何子区间。具体地说，当假设一个线性优化预言（LOO）的可行集的可用性，在一个序列的长度$T$，我们的算法保证$O(T^{3/4})$自适应遗憾和$O(T^{3/4})$自适应预期遗憾，分别为全信息和强盗设置，只使用$O(T)$调用LOO。这些界限与基于LOO的无投影OCO的当前最先进的遗憾界限匹配，该遗憾界限是\textit{not adaptive}。我们还考虑了一个新的自然环境中的可行集是通过分离预言机访问。我们提出的算法，使用整体$O(T)$调用的分离预言，保证$O(\sqrt{T})$自适应遗憾和$O(T^{3/4})$自适应预期遗憾的全部信息和强盗设置，分别。
2023-03-19 cs.LG math.OC
Online-to-PAC Conversions: Generalization Bounds via Regret Analysis
ICREA（加泰罗尼亚研究与高级研究所）；Universitat Pompeu Fabra（庞培法布拉大学）；Barcelona School of Economics（巴塞罗那经济学院）
提出基于在线学习的“generalization game”框架，通过有界 regret 推导统计学习算法的泛化界，并恢复多种 PAC-Bayesian 和信息论保证。
2024-10-17 cs.LG stat.ML
Provable Regret Bounds for Deep Online Learning and Control
Google AI Princeton（谷歌AI普林斯顿）；Princeton University（普林斯顿大学）
深度学习的理论几乎完全集中在监督学习、使用随机梯度下降的非凸优化和过度参数化的神经网络上。人们普遍认为，优化器动态、网络架构、初始化过程和其他因素联系在一起，是其成功的所有组成部分。这为分析基于状态和/或在线深度学习提出了理论挑战。受控制应用的启发，我们给出了从深度学习到在线凸优化的一般黑箱约简。这使我们能够解耦优化，遗憾，表达能力，并为具有ReLU激活的完全连接的深度神经网络获得不可知的在线学习保证。我们量化的收敛性和遗憾的保证，任何范围内的参数，并允许任何优化程序，如自适应梯度方法和二阶方法。作为一个应用程序，我们推导出可证明的算法在在线情节设置的深度控制。
2022-02-16 cs.LG
Continuous-time Online Learning via Mean-Field Neural Networks: Regret Analysis in Diffusion Environments
University of Michigan（密歇根大学）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
本文研究了由未知系数生成的数据的连续时间在线学习问题，采用两层神经网络进行非前瞻性参数更新，通过均场极限建立随机Wasserstein梯度流，并在扩散环境中推导出均场极限和有限粒子系统的遗憾界。
2026-04-13 cs.AI cs.LG math.OC
Gradient-Variation Regret Bounds for Unconstrained Online Learning
Universita degli Studi di Milano & Politecnico di Milano（米兰大学与米兰理工大学）
本文提出无约束在线学习的参数无关算法，其后悔界与梯度变化$V_T(u)$相关，无需预先知道比较器范数、Lipschitz常数或光滑度。
2026-07-28 cs.LG stat.ML
Regret Analysis of Policy Optimization over Submanifolds for Linearly Constrained Online LQG
Department of Mechanical and Industrial Engineering, Northeastern University, Boston, USA（机械与工业工程系，东北大学，波士顿，美国）
本文研究线性约束下在线 LQG 控制问题，提出基于黎曼流形的在线牛顿法（ONM）算法，利用代价函数二阶信息即时生成控制器，并证明了基于路径长度的遗憾界限。
2025-07-13 cs.LG cs.SY eess.SY
Regret and Cumulative Constraint Violation Analysis for Online Convex Optimization with Long Term Constraints
KTH Royal Institute of Technology（瑞典皇家理工学院）；Tongji University（同济大学）；Northeastern University（东北大学）；Nanyang Technological University（南洋理工大学）
本文研究了具有长期约束的在线凸优化问题，其中约束在中间轮次可以被违反，但在长期运行中需要被满足。采用累积约束违反作为度量约束违反的尺度，排除了严格可行约束可以补偿违反约束影响的情况。首先提出了一种新的算法，它实现了一个$\mathcal{O}(T^{\max\{c,1-c\}})$界的静态遗憾和$\mathcal{O}(T^{(1-c)/2})$界的累积约束违反，其中$c\in(0,1)$是一个用户定义的权衡参数，从而提高了性能相比，现有的结果。当损失函数为强凸函数时，静态后悔和累积约束违反界都约化为$\mathcal{O}(\log(T))$，改进了已有的结果.为了实现相对于任何比较器序列的最佳遗憾，然后提出了另一种算法，并且它实现了最佳$\mathcal{O}(\sqrt{T(1+P_T)})$遗憾和$\mathcal{O}(\sqrt{T})$累积约束违反，其中$P_T$是比较器序列的路径长度。最后，通过数值仿真验证了理论结果的有效性.
2021-06-09 cs.LG math.OC
Decentralized Parameter-Free Online Learning
Center for Pervasive Communications & Computing and EECS Department, University of California, Irvine（普及通信与计算中心及电子工程与计算机科学系，加州大学伊文斯顿分校）
提出首批无参数去中心化在线学习算法，通过八卦步骤结合多智能体硬币投注，实现无需调参的次线性网络遗憾，并适用于分布式感知与协作学习。
2025-10-17 cs.LG eess.SP math.OC
