Dual Adaptivity: A Universal Algorithm for Minimizing the Adaptive Regret of Convex Functions
National Key Laboratory for Novel Software Technology, Nanjing University（南京大学新型软件技术国家重点实验室）；Paradigm Inc.（第四范式有限公司）
针对在线学习中学习环境的变化，提出了一种新的学习绩效评价指标--适应性后悔，定义为任意区间上的最大静态后悔。在在线凸优化的背景下，已经成功地开发了几种算法来最小化自适应遗憾。然而，现有的算法缺乏通用性，因为它们只能处理一类凸函数，并且需要先验的参数知识。相比之下，存在通用算法，如MetaGrad，同时获得多种类型的凸函数的最佳静态遗憾。沿着这条研究路线，本文提出了第一个通用的算法，最小化凸函数的自适应遗憾。具体来说，我们借用MetaGrad中保持多个学习率的思想来处理函数的不确定性，并利用睡眠专家的技术来捕捉不断变化的环境。通过这种方式，我们的算法自动适应函数的属性（凸，指数凹或强凸），以及环境的性质（静止或变化）。作为副产品，它还允许函数类型在轮之间切换。
2021-05-14 cs.LG stat.ML
Regret Bound by Variation for Online Convex Optimization
Michigan State University（密歇根州立大学）；NEC Laboratories America（NEC美国实验室）
在citep{Hazan-2008-extract}中，作者证明了在线线性优化的遗憾可以由成本向量的总变差限制。在本文中，我们将这个结果推广到一般的在线凸优化。首先分析了\citep{Hazan-2008-extract}中的算法在应用于在线凸优化时的局限性。然后，我们提出了两个算法的在线凸优化的遗憾是有界的变化的成本函数。最后，我们考虑了强盗设置，并提出了一个随机算法在线强盗凸优化与基于变分的遗憾界。我们证明，当成本函数的变化与试验次数无关时，在线强盗凸优化的遗憾界是最优的。
2012-06-14 cs.LG
Unconstrained Online Optimization: Dynamic Regret Analysis of Strongly Convex and Smooth Problems
Texas A&M University（德克萨斯A&M大学）
动态在线学习算法的后悔界通常用函数序列（$V_T$）的变化和/或最小化序列在$T$轮之后的路径长度来表示。对于强凸光滑函数，Zhang等人建立了极小序列的平方路径长度（$C^*_{2,T}$）作为后悔的下界。他们还表明，在线梯度下降（OGD）实现了这个下限使用多个梯度查询每轮。在本文中，我们专注于无约束在线优化。我们首先表明，OGD的预处理变体实现了$O(C^*_{2,T})$，每轮一个梯度查询。然后，我们提出了在线乐观牛顿（OON）方法的情况下，一阶和二阶信息的函数序列是可预测的。OON的后悔界是通过最小化序列的四次路径长度（$C^*_{4,T}$）捕获的，它可以比$C^*_{2,T}$小得多。最后，我们表明，通过使用多梯度OGD，我们可以实现$O(\min\{C^*_{2,T},V_T\})$上界的遗憾。
2020-08-14 cs.LG math.OC stat.ML
Dynamic Regret of Adaptive Gradient Methods for Strongly Convex Problems
Amirkabir University of Technology（阿米尔卡比尔理工大学）
自适应梯度算法（如ADAGRAD及其变体）在深度神经网络的训练中越来越受欢迎。虽然许多作品的自适应方法都集中在静态后悔作为一个性能指标，以实现良好的后悔保证，这些方法的动态后悔分析仍然不清楚。相对于静态遗憾，动态遗憾被认为是一个更强的概念，性能测量的意义上，它明确阐明了非平稳的环境。在本文中，我们通过动态遗憾的概念在强凸环境中探讨了ADAGRAD的一个变体（称为M-ADAGRAD），该概念衡量在线学习者相对于可能随时间变化的参考（最佳）解决方案的表现。我们证明了一个遗憾的界限的路径长度的最小序列，基本上反映了非平稳的环境。此外，我们通过利用梯度在每一轮中对学习者的多次访问来增强动态遗憾边界。实证结果表明，M-ADAGRAD在实践中也很好。
2022-09-04 cs.LG math.OC
A Distributed Online Convex Optimization Algorithm with Improved Dynamic Regret
Duke University（杜克大学）
在本文中，我们考虑的问题，分布式在线凸优化，在网络的本地代理的目的是共同优化一个凸函数在一段时间内的多个时间步长。特工们对未来一无所知。现有的算法已经建立了明确的依赖于时间步长的数量的动态遗憾界。在这项工作中，我们表明，我们可以消除这种依赖性，假设当地的目标函数是强凸的。更准确地说，我们提出了一个梯度跟踪算法，代理联合通信和下降的基础上校正梯度步骤。我们通过数值实验验证了我们的理论结果。
2019-11-12 cs.LG math.OC
Online Learning on Hidden-Convex Losses via Algorithmic Equivalence: Optimal Regret, Geometric Barrier, and Bandit Feedback
Singapore University of Technology and Design（新加坡科技设计大学）；National Technical University of Athens（雅典国家技术大学）；National and Kapodistrian University of Athens（雅典国家与卡多斯大学）；University of California, Irvine（加州大学 Irvine 分校）；Archimedes, Athena Research Center, Greece（希腊阿提卡研究中心 Archimedes）；National University of Singapore, Centre for Quantum Technologies（新加坡国立大学 量子技术中心）
本文通过更精确的离散时间算法等价性论证，证明在线梯度下降在隐凸损失上达到最优的$\mathcal{O}(\sqrt{T})$遗憾，并澄清了所需几何条件，同时扩展到单点Bandit反馈得到$\mathcal{O}(T^{3/4})$期望遗憾。
2026-05-25 cs.LG math.OC stat.ML
Dynamic Regret Analysis of Safe Distributed Online Optimization for Convex and Non-convex Problems
Northeastern University（东北大学）；Texas A&M University（得克萨斯农工大学）
本文讨论了一组未知的线性安全约束的安全分布式在线优化。代理网络的目标是共同最小化一个全球性的，时变的功能，这是只有部分观察到每个单独的代理。因此，代理人必须从事本地通信，以产生一个安全的行动序列与最佳的最小化序列在事后的竞争力，和两个序列之间的差距是通过量化的动态遗憾。我们提出了分布式安全在线梯度下降（D-Safe-OGD）与探索阶段，其中所有的代理估计约束参数协作建立估计可行集，确保在优化阶段的行动选择的安全性。我们证明了对于凸函数，D-Safe-OGD实现了$O(T^{2/3} \sqrt{\log T} + T^{1/3}C_T^*)$的动态遗憾界，其中$C_T^*$表示最佳极小序列的路径长度。我们进一步证明了$O(T^{2/3} \sqrt{\log T} + T^{2/3}C_T^*)$对某些非凸问题的动态遗憾界，这建立了一个安全的分布式算法在非凸设置的第一个动态遗憾界。
2023-02-23 cs.LG cs.SY eess.SY
Data-Driven Online Model Selection With Regret Guarantees
Boston University（波士顿大学）；Broad Institute of MIT and Harvard（布罗德研究所）；Google Research（谷歌研究院）
本文研究随机赌博机反馈下的在线模型选择，提出两种数据驱动算法，利用基学习器的实际遗憾而非先验遗憾上界进行遗憾平衡，并给出理论保证与实验验证。
2024-01-23 cs.AI cs.LG stat.ML
No-Regret Dynamics in the Fenchel Game: A Unified Framework for Algorithmic Convex Optimization
Yale University（耶鲁大学）；Georgia Institute of Technology（佐治亚理工学院）；Technion - Israel Institute of Technology（以色列理工学院）
我们开发了一个算法框架，用于解决凸优化问题，使用无悔博弈动力学。通过将最小化凸函数的问题转化为以顺序方式求解最小-最大博弈的辅助问题，我们可以考虑两个必须一个接一个地选择行动的玩家中的每一个的一系列策略。这些策略的共同选择是所谓的无遗憾学习算法，我们描述了一些这样的，并证明他们的遗憾的界限。然后，我们表明，许多经典的一阶凸优化方法-包括平均梯度梯度下降，弗兰克-沃尔夫算法，Nesterov的加速方法，和加速邻近的方法-可以被解释为我们的框架的特殊情况下，只要每个球员作出了正确的选择无悔的策略。在这个框架中证明收敛率变得非常简单，因为它们可以通过插入适当的已知后悔界限来实现。我们的框架还产生了一些新的一阶方法的特殊情况下，凸优化，以前不知道。
2023-02-18 cs.GT cs.LG math.OC
Establishing Linear Surrogate Regret Bounds for Convex Smooth Losses via Convolutional Fenchel-Young Losses
College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院）；The Institute of Statistical Mathematics（统计数学研究所）；School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院）；Skywork AI
本文提出通过卷积Fenchel-Young损失构建凸光滑替代损失，以实现线性替代遗憾界，从而解决凸光滑损失与线性遗憾界之间的权衡问题。
2025-11-26 cs.LG stat.ML
Adaptivity and Universality: Problem-dependent Universal Regret for Online Convex Optimization
National Key Laboratory for Novel Software Technology, Nanjing University, China（国家新型软件技术重点实验室，南京大学，中国）；School of Artificial Intelligence, Nanjing University, China（人工智能学院，南京大学，中国）
本文提出UniGrad方法，实现在线凸优化的通用性和问题依赖性，通过两种实现方式达到不同函数类的最优遗憾界。
2025-11-25 cs.LG math.OC stat.ML
No-Regret Algorithms for Unconstrained Online Convex Optimization
Duolingo, Inc.（多邻国公司）；Google, Inc.（谷歌公司）
在线凸优化的一些最引人注目的应用，包括在线预测和分类，是无约束的：自然可行集是R^n。现有的算法无法实现次线性遗憾，在这种情况下，除非对比较点x^* 的约束是已知的。我们提出的算法，没有这样的先验知识，提供接近最优的遗憾界相对于任何选择x^*。特别地，关于x^* = 0的后悔是恒定的。然后，我们证明下界表明，我们的保证在这种情况下是接近最优的。
2012-11-09 cs.LG
Projection-free Adaptive Regret with Membership Oracles
Google AI Princeton（谷歌AI普林斯顿）；Princeton University（普林斯顿大学）；UC Berkeley（加州大学伯克利分校）
在在线凸优化的框架中，大多数迭代算法需要计算到凸集上的投影，这在计算上是昂贵的。为了解决这个问题，HK 12提出了无投影方法的研究，用更便宜的计算取代投影。最常见的方法是基于Frank-Wolfe方法，该方法使用线性优化计算代替投影。GK 22最近的工作给出了基于Frank Wolfe方法的无投影算法的次线性自适应后悔保证。在这项工作中，我们给出了无投影算法，是基于不同的技术，灵感来自Mhammedi 22，取代投影集成员计算。我们提出了一个简单的懒惰的基于梯度的算法与Minkowski正则化，达到近最佳的自适应遗憾界。对于一般的凸损失函数，我们改进了以前的自适应遗憾界从$O(T^{3/4})$到$O(\sqrt{T})$，并进一步到紧的区间相关界$\tilde{O}(\sqrt{I})$，其中$I$表示区间长度。对于强凸函数，我们使用无投影算法获得了第一个多对数自适应遗憾界。
2022-12-14 cs.LG math.OC stat.ML
Universal Online Convex Optimization with Minimax Optimal Second-Order Dynamic Regret
Bilkent University（比尔肯特大学）；Turkcell Teknoloji（土耳其电信技术公司）；DataBoss A.S.（DataBoss公司）
我们介绍了一个在线凸优化算法，利用投影次梯度下降与最佳自适应学习率。对于一般的凸函数序列，我们的方法提供了二阶极小极大最优的动态后悔保证（即依赖于次梯度范数的平方和），这类函数序列可能不具有强凸性、光滑性、指数连续性甚至Lipschitz连续性.遗憾保证针对具有有界路径变化的任何比较器决策序列（即连续决策之间的距离之和）。通过引入实际次梯度范数，我们得到了最坏情况下二阶动态后悔的下界。我们表明，这个下界匹配我们的遗憾保证在一个常数的因素，这使得我们的算法最小最大的最优。我们还分别推导了每个决策坐标中的学习扩展。我们演示了如何最好地保持我们的遗憾保证在一个真正的在线方式，当比较器序列的路径变化的约束增长的时间或反馈关于这样的约束到达部分随着时间的推移，我们进一步建立在我们的算法，以消除需要的任何知识的比较器路径变化，并提供minimax最优二阶遗憾保证没有先验信息。我们的方法可以竞争对所有比较器序列同时（普遍）在一个最小最大的最佳方式，即每个遗憾的保证取决于各自的比较器路径变化。我们讨论修改我们的方法，解决时间，计算和内存的复杂性降低。我们进一步改善我们的结果，使遗憾的保证也依赖于比较器集的直径，除了各自的路径变化。
2022-09-13 cs.LG math.OC
Dynamic Regret of Online Mirror Descent for Relatively Smooth Convex Cost Functions
University of Toronto（多伦多大学）
在线凸优化算法在动态环境中的性能通常用动态后悔来表示，动态后悔度量决策者对一系列时变比较器的性能。在分析动态后悔问题时，以往的研究往往假设代价函数是Lipschitz连续或一致光滑的。然而，在实践中有许多重要的成本函数不满足这些条件。在这种情况下，先前的分析是不适用的，不能保证优化性能。在这封信中，我们表明，它是可能的约束的动态遗憾，即使没有Lipschitz连续性和一致光滑性。我们采用相对光滑的概念，相对于一些用户定义的正则化函数，这是一个更温和的要求的成本函数。我们首先表明，相对平滑下，动态后悔有一个上界的基础上的路径长度和功能的变化。然后，我们表明，与一个相对较强的凸性的附加条件，动态后悔可以有界的路径长度和梯度变化。这些遗憾的界限提供了性能保证各种各样的在线优化问题，出现在不同的应用领域。最后，我们提出了数值实验，证明了采用正则化函数的优势，在该函数下的成本函数是相对平滑的。
2022-02-25 cs.LG math.OC
Logarithmic Regret for Online Gradient Descent Beyond Strong Convexity
Technion - Israel Institute of Technology（以色列理工学院）
Hoffman的经典结果给出了一个关于一个点到一个凸紧多面体的距离的界，这个界是根据违反约束的大小而定的。最近，一些结果表明，霍夫曼的界限可以用来获得强凸状率的一阶方法的\textit{offline}凸优化曲线，但不是强凸，功能，在多面体集。在这项工作中，我们使用这个经典的结果，第一次获得更快的速度为\textit{online convex optimization}在多面体集弯曲凸，虽然不是强凸，损失函数。我们表明，在几个合理的假设下的数据，标准的\textit{Online Gradient Descent}算法保证对数遗憾。据我们所知，唯一以前的算法，以实现对数遗憾在所考虑的设置是\textit{Online Newton Step}算法，它需要二次（在维度）的内存和至少二次运行时间每次迭代，这大大限制了其适用于大规模的问题。特别是，我们的研究结果适用于\textit{semi-adversarial}设置，其中数据是任意（对抗）序列和随机序列的组合，这可能为许多真实世界的序列提供合理的近似，或者在自然假设数据是低秩的情况下。我们通过实验证明，遗憾的OGD确实是可比的ONS（甚至更好）弯曲，但不是强凸损失。
2019-02-18 cs.LG math.OC
Between Stochastic and Adversarial Online Convex Optimization: Improved Regret Bounds via Smoothness
University of Amsterdam（阿姆斯特丹大学）；Korteweg-de Vries Institute for Mathematics（科尔特韦格-德弗里斯数学研究所）；University of Twente（特文特大学）；Pontificia Universidad Católica de Chile（智利天主教大学）
随机数据和对抗数据是在线学习中被广泛研究的两种环境。但许多优化任务既不是独立同分布的。也不是完全敌对的，这使得它的根本利益，以获得更好的理论理解之间的世界这两个极端。在这项工作中，我们建立了新的遗憾界在线凸优化的设置，随机i.i.d.之间插值。和完全对抗性的损失通过利用预期损失的平滑性，这些界限用梯度的方差代替了对最大梯度长度的依赖性，这在以前只针对线性损失是已知的。另外，他们削弱了i.i.d.假设，例如，允许敌对中毒轮，这是以前考虑在专家和土匪设置。我们的结果扩展到在线凸优化框架。在完整的身份证上。在这种情况下，我们的边界匹配随机加速结果的预期速率，并且在完全对抗的情况下，它们优雅地恶化以匹配极小极大遗憾。我们还提供了下限表明，我们的遗憾上限是紧的随机方差和对抗性变化的损失梯度的所有中间制度。
2022-06-08 cs.LG math.OC stat.ML
Dynamical Models and Tracking Regret in Online Convex Programming
Duke University（杜克大学）
本文介绍了一种新的在线凸优化方法，它结合了一个家庭的候选动力学模型，并建立了新的跟踪遗憾界的规模与比较器的偏差，在这个家庭中的最佳动力学模型。先前的在线优化方法被设计为具有与最佳比较器序列的总累积损失相当的总累积损失，并且现有的跟踪或移位遗憾界限随着比较器序列的总体变化而缩放。然而，在许多实际情况下，环境是非平稳的，并且具有小变化的比较器序列是相当弱的，从而导致大的损失。相比之下，所提出的动态镜像下降方法可以通过跟踪最佳动态模型并基于该模型形成预测来产生相对于高度可变的比较器序列的低遗憾。这一概念在动态场景的连续压缩观察和跟踪动态社交网络的背景下实证。
2013-01-07 cs.LG stat.ML
The Online Saddle Point Problem and Online Convex Optimization with Knapsacks
我们研究在线鞍点问题，在线学习问题，在每次迭代的一对行动需要选择不知道当前和未来的（凹凸）支付函数。我们的目标是最大限度地减少累积收益和鞍点值的总收益函数，我们使用称为“SP遗憾”的度量测量之间的差距。这个问题推广了在线凸优化框架，但在这里我们必须确保两个玩家的累积收益接近于游戏总和的纳什均衡。我们提出了一种算法，实现SP-遗憾成正比的$\sqrt{\ln(T)T}$在一般情况下，和$\log(T)$ SP-遗憾的强凹凸的情况下。我们还考虑了支付函数是双线性的，决策集是概率单形的特殊情况。在这种情况下，我们能够设计的算法，减少SP-遗憾的界限，从一个线性依赖的维度的问题，一个\textit{logarithmic}。我们还研究了强盗反馈下的问题，并提供了一个算法，实现次线性SP-Regret。然后，我们考虑一个在线凸优化背包问题的动机是各种各样的应用程序，如：动态定价，拍卖和众包。我们将这个问题的在线鞍点问题，并建立$O(\sqrt{T})$后悔使用原始-对偶算法。
2020-04-05 cs.LG math.OC stat.ML
Online Optimization in Dynamic Environments: Improved Regret Rates for Strongly Convex Problems
University of Pennsylvania（宾夕法尼亚大学）；Harvard University（哈佛大学）
在本文中，我们解决跟踪的时变参数与未知的动态。我们正式的问题作为一个实例，在一个动态的设置在线优化。使用在线梯度下降，我们提出了一种方法，顺序预测的参数值，反过来又遭受损失。其目标是尽量减少在一段时间内累积的损失，这一概念被称为动态后悔。虽然现有的方法集中在凸损失函数，我们认为强凸函数，以便提供更好的性能保证。我们得到一个遗憾的界限，捕获的路径长度的时变参数，定义在其连续值之间的距离。换句话说，边界表示跟踪质量与参数变化率的自然联系。我们提供数值实验来补充我们的理论研究结果。
2016-03-16 cs.LG math.OC
Online Non-Convex Learning: Following the Perturbed Leader is Optimal
Carnegie Mellon University（卡内基梅隆大学）；Microsoft Research, India（微软研究院（印度））
我们研究了非凸损失的在线学习问题，学习者可以访问离线优化预言。我们表明，经典的跟随扰动领导（FTPL）算法实现了最佳的遗憾率$O(T^{-1/2})$在这种情况下。这改善了之前最著名的FTPL的$O(T^{-1/3})$后悔率。我们进一步表明，乐观的FTPL变体实现更好的后悔界限时，学习者遇到的损失序列是“可预测的”。
2019-09-21 cs.LG math.OC stat.ML
On Dynamic Regret and Constraint Violations in Constrained Online Convex Optimization
Tata Institute of Fundamental Research（塔塔基础研究所）
一个约束版本的在线凸优化（OCO）问题被认为是。对于时隙时间，对于每个时隙，首先选择一个动作。随后的损失函数和约束违反罚款评估在选定的行动点。对于每个槽，假设损失函数以及定义约束集的函数都是光滑且强凸的。此外，一旦一个动作被选择，一个可行的集在一个小的邻域内的当前动作的本地信息也被揭示。算法被允许在给定所描述的反馈以选择下一动作的情况下在其选择点处计算至多一个梯度。算法的目标是同时最小化动态遗憾（与预言机的损失相比所产生的损失）和约束违反惩罚（与预言机的惩罚相比所产生的惩罚）。我们提出了一个算法，按照投影梯度下降在一个适当的选择集周围的当前动作。我们表明，动态遗憾和约束违反顺序有界的{ \it路径长度}，连续的最佳行动之间的距离之和。此外，我们证明了导出的界限是最好的可能。
2023-01-24 cs.LG math.OC stat.ML
Dynamic Regret of Convex and Smooth Functions
Nanjing University（南京大学）
我们研究了非平稳环境中的在线凸优化问题，并选择动态遗憾作为性能度量，定义为在线算法所产生的累积损失与任何可行比较器序列之间的差异。令$T$为时间范围，$P_T$为本质上反映环境非平稳性的路径长度，最先进的动态遗憾是$\mathcal{O}(\sqrt{T(1+P_T)})$。虽然这个界被证明是最小最大最优凸函数，在本文中，我们证明了它是可能的，以进一步提高动态遗憾利用光滑条件。具体而言，我们提出了新的在线算法，能够利用平滑度和取代依赖于$T$的动态遗憾的问题相关的数量：梯度的变化的损失函数，比较器序列的累积损失，和最小的前两项。这些量至多为$\mathcal{O}(T)$，而在良性环境中可能小得多。因此，我们的结果是自适应的内在困难的问题，因为边界比现有的结果更严格的简单的问题，同时保证在最坏的情况下相同的速度。
2020-11-28 cs.LG stat.ML
Regret Analysis for Continuous Dueling Bandit
Center for Advanced Intelligence Project（高级智能研究中心）；RIKEN（理化学研究所）
决斗强盗是一种学习框架，其中学习过程中的反馈信息被限制为一对动作之间的噪声比较。在这项研究中，我们解决了一个基于连续空间上的成本函数的决斗强盗问题。我们提出了一个随机镜像下降算法，并表明该算法实现了$O(\sqrt{T\log T})$ -遗憾界下的强凸性和光滑性的假设的成本函数。随后，我们阐明了决斗强盗中的后悔极小化与成本函数的凸优化之间的等价性。此外，当考虑凸优化问题的一个下界时，我们的算法在凸优化问题上具有最优收敛速度，在决斗强盗问题上具有最优后悔率，但不考虑对数因子.
2017-12-12 cs.LG stat.ML
A Low Complexity Algorithm with $O(\sqrt{T})$ Regret and $O(1)$ Constraint Violations for Online Convex Optimization with Long Term Constraints
University of Southern California（南加州大学）
研究了复杂约束集上的在线凸优化问题，该约束集通常由多个函数约束和一个集合约束组成。传统的在线投影算法（Zinkevich，2003）可能难以实现，由于投影操作的潜在高计算复杂性。在本文中，我们放宽了功能的限制，允许他们在每一轮被违反，但仍然需要他们在长期内得到满足。这种类型的放松在线凸优化（具有长期约束）首先在Mahdavi等人（2012）中考虑。先前的工作提出了一种算法，以实现$O(\sqrt{T})$遗憾和$O(T^{3/4})$约束违反一般问题和另一种算法，以实现$O(T^{2/3})$界的遗憾和约束违反时，约束集可以被描述为有限数量的线性约束。\citet{Jenatton16ICML}中的最新扩展可以实现$O(T^{\max\{θ,1-θ\}})$遗憾和$O(T^{1-θ/2})$约束违反，其中$θ\in (0,1)$。目前的论文提出了一种新的简单的算法，产生改进的性能相比，以前的作品。新算法实现了一个$O(\sqrt{T})$遗憾界$O(1)$约束违反。
2020-05-18 cs.LG math.OC stat.ML
Achieving Better Local Regret Bound for Online Non-Convex Bilevel Optimization
East China Normal University（华东师范大学）
本文提出优化在线非凸双层优化的局部遗憾界，设计了自适应迭代算法和单循环算法，分别在标准和窗口平均设置中取得最优遗憾界。
2026-05-09 cs.LG math.OC
Regret Bounds without Lipschitz Continuity: Online Learning with Relative-Lipschitz Losses
University of British Columbia（不列颠哥伦比亚大学）；Amii（阿尔伯塔机器智能研究所）
在线凸优化（OCO）中，通常假设函数的Lipschitz连续性以获得次线性遗憾。而且，当这些函数也是强凸函数时，许多算法只有对数遗憾。近年来，凸优化领域的研究者提出了“相对Lipschitz连续性”和“相对强凸性”的概念。这两个概念都是经典概念的推广。它已被证明，次梯度方法在相对设置具有类似于他们的性能在经典设置的性能。在这项工作中，我们考虑OCO相对Lipschitz和相对强凸函数。我们扩展了经典OCO算法的遗憾界的相对设置。具体来说，我们显示遗憾的界限遵循正规化的领导者算法和在线镜像下降的一个变体。由于这些方法的通用性，这些结果产生各种各样的OCO算法的遗憾界。此外，我们进一步扩展的结果与额外的正则化算法，如正则化双平均。
2020-12-28 cs.LG math.OC
Curvature-Independent Regret Bounds for Distributed Online Optimization on Hadamard Manifolds
Northeastern University（东北大学）
本文提出分布式黎曼在线梯度下降（D-ROGD）算法，在Hadamard流形上针对h-凸函数实现曲率无关的遗憾界，分别达到O(√T)和O(log T)的静态遗憾，并通过实验验证。
2026-09-15 cs.LG math.OC stat.ML
Improved Analysis for Dynamic Regret of Strongly Convex and Smooth Functions
National Key Laboratory for Novel Software Technology（计算机软件新技术国家重点实验室）；Nanjing University（南京大学）
本文对强凸光滑函数的动态后悔问题提出了一种改进的分析方法。具体来说，我们研究了Zhang et al.（2017）提出的在线多梯度下降（OMGD）算法。原始的分析表明，OMGD的动态遗憾最多是$\mathcal{O}(\min\{\mathcal{P}_T,\mathcal{S}_T\})$，其中$\mathcal{P}_T$和$\mathcal{S}_T$是路径长度和平方路径长度，测量的在线功能的最小值的累积移动。我们证明，通过改进的分析，OMGD的动态遗憾可以改进为$\mathcal{O}(\min\{\mathcal{P}_T,\mathcal{S}_T,\mathcal{V}_T\})$，其中$\mathcal{V}_T$是在线函数的函数变化。请注意，$\mathcal{P}_T, \mathcal{S}_T, \mathcal{V}_T$的数量本质上反映了环境非平稳性的不同方面--它们通常不具有可比性，并且在不同的情况下更受欢迎。因此，本文提出的动态后悔实际上实现了\emph{best-of-three-worlds}保证，并且比以前的结果严格。
2021-04-14 cs.LG stat.ML
Regret and Cumulative Constraint Violation Analysis for Online Convex Optimization with Long Term Constraints
KTH Royal Institute of Technology（瑞典皇家理工学院）；Tongji University（同济大学）；Northeastern University（东北大学）；Nanyang Technological University（南洋理工大学）
本文研究了具有长期约束的在线凸优化问题，其中约束在中间轮次可以被违反，但在长期运行中需要被满足。采用累积约束违反作为度量约束违反的尺度，排除了严格可行约束可以补偿违反约束影响的情况。首先提出了一种新的算法，它实现了一个$\mathcal{O}(T^{\max\{c,1-c\}})$界的静态遗憾和$\mathcal{O}(T^{(1-c)/2})$界的累积约束违反，其中$c\in(0,1)$是一个用户定义的权衡参数，从而提高了性能相比，现有的结果。当损失函数为强凸函数时，静态后悔和累积约束违反界都约化为$\mathcal{O}(\log(T))$，改进了已有的结果.为了实现相对于任何比较器序列的最佳遗憾，然后提出了另一种算法，并且它实现了最佳$\mathcal{O}(\sqrt{T(1+P_T)})$遗憾和$\mathcal{O}(\sqrt{T})$累积约束违反，其中$P_T$是比较器序列的路径长度。最后，通过数值仿真验证了理论结果的有效性.
2021-06-09 cs.LG math.OC
Competitive ratio versus regret minimization: achieving the best of both worlds
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）；Google Research（谷歌研究院）；Tel Aviv University（特拉维夫大学）
我们认为在线算法的竞争比标准和遗憾最小化之一。我们的主要目标是建立一个统一的方法，能够同时保证这两个标准。对于一般类的在线算法，即任何度量任务系统（MTS），我们表明，可以同时保证最好的竞争比和自然的遗憾界。对于分页问题，我们进一步展示了一个有效的在线算法（多项式的页数），这种保证。为此，我们扩展了现有的遗憾最小化算法（具体来说，Kapralov和Panigrahy）来处理移动成本（在线系统状态之间切换的成本）。然后，我们展示了如何使用扩展的后悔最小化算法结合多个在线算法。我们的最终结果是一个在线算法，可以结合一个“基地”的在线算法，有保证的竞争比，与一系列的在线算法，保证在任何时间间隔的一个小遗憾。组合算法既保证了竞争比匹配的基础算法和低遗憾在任何时间间隔。作为一个产品，我们得到了一个专家算法，接近最优的遗憾界的每一个时间间隔，即使在存在的转换成本。这个结果是独立的利益。
2019-04-07 cs.DS cs.LG stat.ML
Kernel-based methods for bandit convex optimization
本文考虑了对抗性凸强盗问题，利用$\mathrm{poly}(n) \sqrt{T}$ -regret构造了第一个$\mathrm{poly}(T)$ -时间算法.为此，我们在无导数优化文献中引入了三个新的想法：（i）核方法，（ii）Bernoulli卷积的推广，以及（iii）指数权重的新退火时间表（随着学习率的增加）。我们的算法的基本版本实现了$\tilde{O}(n^{9.5} \sqrt{T})$ -遗憾，我们表明，这种算法的一个简单的变体可以运行在$\mathrm{poly}(n \log(T))$ -时间每一步的成本的一个额外的$\mathrm{poly}(n) T^{o(1)}$因素的遗憾。这些结果改进了前两位作者的$\tilde{O}(n^{11} \sqrt{T})$ -后悔和$\exp(\mathrm{poly}(T))$ -时间结果，以及Hazan和Li的$\log(T)^{\mathrm{poly}(n)} \sqrt{T}$ -后悔和$\log(T)^{\mathrm{poly}(n)}$ -时间结果.此外，我们推测，该算法的另一种变体可以实现$\tilde{O}(n^{1.5} \sqrt{T})$ -遗憾，而且这种遗憾是不可改进的（目前最好的下限是$Ω(n \sqrt{T})$，它是用线性函数实现的）。对于零阶随机凸优化的更简单的情况，这对应于猜想，最佳…
2016-07-11 cs.DS cs.LG math.OC
New Projection-free Algorithms for Online Convex Optimization with Adaptive Regret Guarantees
Technion - Israel Institute of Technology（以色列理工学院）
我们提出了新的有效的\textit{projection-free}算法在线凸优化（OCO），其中的投影免费，我们指的算法，避免计算正交投影到可行集，而不是依赖于不同的和潜在的更有效的预言。虽然大多数国家的最先进的无投影算法的基础上的\textit{follow-the-leader}框架，我们的算法是根本不同的，是基于\textit{online gradient descent}算法与一种新的和有效的方法来计算所谓的\textit{infeasible projections}。因此，我们获得了自然产生\textit{adaptive regret}保证的第一个无投影算法，即，遗憾的界限，持有w.r.t.序列的任何子区间。具体地说，当假设一个线性优化预言（LOO）的可行集的可用性，在一个序列的长度$T$，我们的算法保证$O(T^{3/4})$自适应遗憾和$O(T^{3/4})$自适应预期遗憾，分别为全信息和强盗设置，只使用$O(T)$调用LOO。这些界限与基于LOO的无投影OCO的当前最先进的遗憾界限匹配，该遗憾界限是\textit{not adaptive}。我们还考虑了一个新的自然环境中的可行集是通过分离预言机访问。我们提出的算法，使用整体$O(T)$调用的分离预言，保证$O(\sqrt{T})$自适应遗憾和$O(T^{3/4})$自适应预期遗憾的全部信息和强盗设置，分别。
2023-03-19 cs.LG math.OC
Non-monotone DR-submodular Maximization: Approximation and Regret Guarantees
Sorbonne Université（索邦大学）；Univ Évry, Université Paris-Saclay（埃夫里大学，巴黎-萨克雷大学）
子模优化是一个重要的研究领域，在机器学习、经济学和通信系统中有着广泛的应用。它捕获了非凸优化的一个子类，提供了实践和理论上的保证。本文研究了下闭和一般凸集上非单调DR-次模函数的最大化问题。首先，我们表明，离线最大化非单调DR-次模函数在一般的凸集上，Frank-Wolfe算法实现的近似保证依赖于凸集。其次，我们证明了随机梯度上升算法实现了1/4的近似比与遗憾的$O(1/\sqrt{T})$的最大化问题的非单调DR-子模函数的下闭凸集。这些是相应设置中的第一近似保证。最后，我们基准这些算法在机器学习领域与现实世界的数据集出现的问题。
2019-05-23 cs.DS cs.LG math.OC
A Unified Framework for Analyzing Meta-algorithms in Online Convex Optimization
Mila - Quebec AI Institute/McGill University（魁北克人工智能研究所/麦吉尔大学）；Purdue University（普渡大学）
本文提出了一种统一框架，用于分析在线凸优化中不同反馈类型和对手设定下的元算法，通过转换一阶算法为零阶算法，实现了在不同场景下的优化方法统一和性能保证。
2026-02-20 cs.LG math.OC stat.ML
Online Convex Optimization with Heavy Tails: Old Algorithms, New Regrets, and Applications
Stern School of Business, New York University（纽约大学斯特恩商学院）
本文研究了在重尾环境下在线凸优化的旧算法，证明了无需修改算法即可获得最优遗憾界，且在无梯度裁剪情况下有效解决非光滑非凸优化问题。
2026-03-19 cs.LG math.OC stat.ML
Minimax Regret of Switching-Constrained Online Convex Optimization: No Phase Transition
Yale University（耶鲁大学）；Simons Institute for the Theory of Computing（西蒙斯理论计算研究所）；Massachusetts Institute of Technology（麻省理工学院）；University of Southern California（南加利福尼亚大学）
我们研究的问题切换约束在线凸优化（OCO），玩家有有限的机会改变她的行动。虽然这个在线学习任务的离散模拟已被广泛研究，以前的工作在连续设置既没有建立极大极小率，也没有算法实现it.In本文中，我们表明，$ T $轮开关约束OCO少于$ K $开关有极大极小遗憾$ Θ(\frac{T}{\sqrt{K}}) $。特别地，对于一维，其至少为$ \frac{T}{\sqrt{2K}} $，对于更高维度，其至少为$ \frac{T}{\sqrt{K}} $。在高维的下界是通过一个正交子空间的论点。在一维中，一种新的对抗策略产生了$O(\frac{T}{\sqrt{K}})$的下界，但更涉及到包含常数的精确极大极小分析。为了建立更严格的一维结果，我们引入了\emph{fugal game}松弛，其极小极大遗憾的下限开关约束OCO。我们证明了逃逸对策的最小最大遗憾至少是$ \frac{T}{\sqrt{2K}} $，从而建立了一维最优最小最大遗憾下界。为了建立与维数无关的上界，我们接下来证明了一个minimax算法提供了一个$ O(\frac{T}{\sqrt{K}}) $上界，因此得出结论，对于任何$K$，切换约束OCO的极小极大遗憾是$ Θ(\frac{T}{\sqrt{K}}) $。这是在鲜明的对比，它的离散对应，开关约束预测专家的问题，表现出一个相变之间的低开关和高开关制度的最小最大遗…
2020-10-22 cs.LG math.OC stat.ML
Universal Online Convex Optimization with $1$ Projection per Round
National Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）；School of Artificial Intelligence, Nanjing University（南京大学人工智能学院）
针对通用在线凸优化中每轮需多次投影导致的高时间开销问题，本文基于黑箱归约与专家建议框架，提出每轮仅需1次投影的通用算法，通过创新的遗憾分解与专家损失设计，同时为多种凸函数建立最优遗憾界并实现小损失遗憾。
2024-05-30 cs.LG math.OC
Recursive Exponential Weighting for Online Non-convex Optimization
The Chinese University of Hong Kong（香港中文大学）
本文研究了在线非凸优化问题，它通过放松对代价函数的凸性假设，推广了经典的在线凸优化问题。对于这种类型的问题，经典的指数加权在线算法最近已被证明可以达到$O(\sqrt{T\log T})$的次线性遗憾。在本文中，我们引入了一种新的递归结构的在线算法定义一个递归指数加权算法，达到了遗憾的$O(\sqrt{T})$，匹配著名的遗憾下界。据我们所知，这是第一个在线算法与可证明的$O(\sqrt{T})$遗憾的在线非凸优化问题。
2017-09-13 cs.LG
Regret and Cumulative Constraint Violation Analysis for Distributed Online Constrained Convex Optimization
KTH Royal Institute of Technology（瑞典皇家理工学院）；Digital Futures（数字未来）；Tongji University（同济大学）；Shanghai Research Institute for Intelligent Autonomous Systems（上海自主智能无人系统科学中心）；Northeastern University（东北大学）；Nanyang Technological University（南洋理工大学）
研究了智能体网络上的分布式在线时变约束凸优化问题。这是一个序列决策问题的两个序列的任意变化的凸损失和约束函数。在每一轮，每个代理从决策集中选择一个决策，然后只有一部分的损失函数和约束函数的坐标块在这一轮是私人透露给这个代理。网络的目标是最小化随着时间的推移而积累的网络范围内的损失。提出了完全信息和强盗反馈两种分布式在线算法。该算法分析了动态和静态网络遗憾界，并采用网络累积约束违反来度量约束违反，排除了严格可行约束可以补偿违反约束影响的情况.特别是，我们表明，所提出的算法实现$\mathcal{O}(T^{\max\{κ,1-κ\}})$静态网络遗憾和$\mathcal{O}(T^{1-κ/2})$网络累积约束违反，其中$T$是时间范围和$κ\in(0,1)$是一个用户定义的权衡参数。此外，如果损失函数是强凸的，则静态网络遗憾界可以约化为$\mathcal{O}(T^κ)$ .最后，通过数值模拟验证了理论结果的有效性。
2022-12-27 cs.LG math.OC
Tracking a Small Set of Experts in Online Convex Optimization
Princeton University（普林斯顿大学）；Google DeepMind（谷歌DeepMind）
该研究针对在线凸优化中跟踪小专家集的问题，证明了离散化应用Bousquet-Warmuth算法的低效性，在超图植入团猜想下确立了信息论与多项式时间可实现遗憾的分离。
2026-10-15 cs.LG math.OC stat.ML
Projection-free Online Learning over Strongly Convex Sets
National Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术全国重点实验室）；Pazhou Lab（琶洲实验室）
针对强凸集上的在线学习问题，改进OFW的步长策略并提出强凸版OFW变体，分别在一般凸损失和强凸损失下取得更优的遗憾界，提升无投影在线算法的性能。
2024-06-24 cs.LG math.OC
Smoothed Online Convex Optimization Based on Discounted-Normal-Predictor
Nanjing University（南京大学）；the University of Iowa（爱荷华大学）
在本文中，我们研究了一种在线预测策略，称为贴现正态预测器（Kapralov和Panigrahy，2010），用于平滑在线凸优化（SOCO），其中学习者不仅需要最小化命中成本，还需要最小化切换成本。在专家建议的学习环境中，Daniely和Mansour（2019）证明了贴现正态预测器可以在任何时间间隔内产生接近最优的后悔界限，即使存在转换成本。受他们结果的启发，我们开发了一种简单的SOCO算法：通过贴现正态预测器将在线梯度下降（OGD）与不同的步长顺序组合。尽管它的简单性，我们证明了它是能够最小化的自适应遗憾与切换成本，即，在每一区间上都能得到具有切换成本的近似最优后悔。通过利用OGD对动态后悔的理论保证，进一步证明了该算法在每个区间内都能最小化动态后悔且具有切换代价。
2022-05-02 cs.LG math.OC
Dual Averaging on Compactly-Supported Distributions And Application to No-Regret Learning on a Continuum
我们考虑一个连续统上的在线学习问题。给定决策者一个紧致可行集$S$，在迭代$t$中，决策者选择一个分布$x^{(t)} \in Δ(S)$，然后给出一个损失函数$\ell^{(t)} : S \to \mathbb{R}_+$，决策者将遭受期望损失$\langle \ell^{(t)}, x^{(t)} \rangle = \mathbb{E}_{s \sim x^{(t)}} \ell^{(t)}(s)$ .我们把这个问题看作是$S$上Lebesgue连续分布空间$Δ(S)$上的一个在线凸优化问题。我们证明了$L^2(S)$上对偶平均方法的一般遗憾界，然后证明了当$S$是一致胖的（一个弱于凸性的条件）时，$ω$ -势（一类强凸正则化子）的对偶平均达到次线性遗憾.
2015-04-29 cs.LG math.OC
An Efficient Interior-Point Method for Online Convex Optimization
Google DeepMind（谷歌DeepMind）；IBM Almaden Research Center（IBM阿尔马登研究中心）
本研究提出一种在线凸优化的高效内点算法，实现O(√(T log T))的最优遗憾界且具备子区间自适应性，每次迭代仅需求解n阶线性方程组，运行效率与最新内点算法相当。
2023-07-21 cs.LG math.OC
Optimal Regret Algorithm for Pseudo-1d Bandit Convex Optimization
Microsoft Research（微软研究院）；Google Research India（谷歌印度研究院）
我们研究在线学习的强盗反馈（即学习者只能访问零阶预言）的成本/回报函数$\f_t$承认一个“伪1d”的结构，即$\f_t(\w) = \loss_t(\pred_t(\w))$的输出$\pred_t$是一维的。在每一轮，学习者观察上下文$\x_t$，为一些$\w_t \in \mathbb{R}^d$播放预测$\pred_t(\w_t; \x_t)$（例如$\pred_t(\cdot)=\langle \x_t, \cdot\rangle$），并观察损失$\loss_t(\pred_t(\w_t))$，其中$\loss_t$是凸Lipschitz连续函数。我们的目标是最小化标准的后悔度量。这种伪一维强盗凸优化问题（\SBCO）经常出现在大型系统的在线决策或参数调整等领域。对于这个问题，我们首先显示了一个下界的$\min(\sqrt{dT}, T^{3/4})$的遗憾的任何算法，其中$T$是轮数。我们提出了一个新的算法\sbcalg，结合随机在线梯度下降与核化指数权重的方法，有效地利用伪一维结构，保证{ \em最优}遗憾界上述，额外的对数因子。相比之下，应用最先进的在线凸优化方法会导致$\tilde{O}\left(\min\left(d^{9.5}\sqrt{T},\sqrt{d}T^{3/4}\right)\right)$遗憾，这在$d$中明显是次优的。
2021-02-15 cs.LG
Towards Regret Guarantees for One-Step Lookahead Bayesian Optimization
Nagoya University（名古屋大学）
提出一种名为最优点方差缩减（OVR）的单步前瞻贝叶斯优化方法，通过后验采样和蒙特卡洛近似实现，并证明了正则化OVR的贝叶斯期望简单遗憾上界趋于零。
2026-10-08 cs.LG
Breaking the $O(\sqrt{T})$ Cumulative Constraint Violation Barrier while Achieving $O(\sqrt{T})$ Static Regret in Constrained Online Convex Optimization
本文提出一种算法，在保证静态遗憾为$O(\sqrt{T})$的同时，将累积约束违反（CCV）降低至$O(T^{1/3})$，挑战了传统认为CCV必须为$\Omega(\sqrt{T})$的假设。
2026-03-21 cs.LG stat.ML
Online Convex Optimization and Integral Quadratic Constraints: An automated approach to regret analysis
University of Stuttgart（斯图加特大学）；Institute for Systems Theory and Automatic Control（系统理论与自动控制研究所）
本文提出一种基于积分二次约束和半定规划的自动化框架，用于分析强凸光滑目标下一阶在线凸优化算法的动态遗憾，无需梯度有界或可行集有界假设，并能刻画遗憾与条件数的关系。
2025-08-21 cs.LG cs.SY eess.SY
Online Convex Optimization for Sequential Decision Processes and Extensive-Form Games
Carnegie Mellon University（卡内基梅隆大学）
后悔最小化是求解大规模可拓形式博弈的有力工具。最先进的方法依赖于在每个决策点局部最小化后悔。在这项工作中，我们推导出一个新的框架后悔最小化的顺序决策问题和扩展形式的游戏一般紧凸集在每个决策点和一般凸损失，而不是以前的工作，已为单纯形决策点和线性损失。我们称这个框架为层流后悔分解。它将CFR算法推广到这种更一般的设置。此外，我们的框架，即使在已知的设置，这是来自分解多面体遗憾的角度来看，CFR的新的证明，从而导致可以说是一个更简单的解释算法。我们的推广凸紧集和凸损失，使我们能够开发新的算法的几个问题：正则化的顺序决策，正则化的纳什均衡在扩展形式的游戏，计算近似的扩展形式的完美均衡。我们的推广也导致了第一个遗憾最小化算法计算减少正规型量子响应平衡的基础上，最大限度地减少本地遗憾。实验表明，我们的框架导致的算法，规模的速度可比的最快的变种反事实遗憾最小化计算纳什均衡，因此，我们的方法导致的第一个算法计算量子响应均衡在非常大的游戏。最后，我们表明，我们的框架，使一种新的可扩展的对手剥削的方法。
2018-09-10 cs.AI cs.GT cs.LG
Online Min-Max Optimization: From Individual Regrets to Cumulative Saddle Points
Purdue University（普渡大学）
本文提出了一种基于累积鞍点的在线极小极大优化方法，解决了静态纳什均衡与个体遗憾不兼容的问题，并引入动态鞍点遗憾概念，同时推导了在强凸-强凹性和极小极大指数凹性下的理论界限。
2026-02-11 cs.LG math.OC
Beyond $\tilde{O}(\sqrt{T})$ Constraint Violation for Online Convex Optimization with Adversarial Constraints
针对对抗约束下的在线凸优化问题，本文提出可调参数的在线策略，通过权衡遗憾大幅降低累积约束违反，在不同场景下给出了高效实现及对应的理论性能界。
2025-11-14 cs.LG math.OC stat.ML
Minimax Alternating Regret for the Experts Problem and Online Convex Optimization
University of Iowa（爱荷华大学）
本文解决了专家问题与一般在线凸优化（OCO）中极大极小交替遗憾率的开放问题，给出了匹配的上下界，提出修正Hedge算法等技术，显著优于现有结果。
2026-11-02 cs.LG stat.ML
Data-Dependent Regret and Polyak Corrections for Constrained Online Convex Optimization
研究约束在线凸优化问题，通过保留标准论证中省略的量进行更严格分析，提出AdaOGD - PFS自适应步长方法，在保持每轮可行性时实现\(O(\sqrt{G_T})\)遗憾值，实验使遗憾值界提升38% - 43%。
2026-07-29 cs.LG
