Dynamic and Distributed Online Convex Optimization for Demand Response of Commercial Buildings
University of California, Berkeley（加州大学伯克利分校）
本文将在线分布式加权对偶平均（DWDA）算法[1]的遗憾分析扩展到动态设置，并为分布式在线凸优化（OCO）算法提供了迄今为止已知的关于时间范围的最紧动态遗憾界。我们的界限是线性的连续最优值之间的累积差异，并不显着依赖于时间范围。我们使用动态在线DWDA（D-ODWDA），制定了一个性能保证的分布式在线需求响应方法的供热，通风和空调（HVAC）系统的商业建筑。我们展示了我们的方法在数值模拟的快速时间尺度的需求响应的性能，并获得需求响应的决定，密切再现集中的最优。
2020-04-17 cs.LG math.OC
Learning-Augmented Decentralized Online Convex Optimization in Networks
UC Riverside（加州大学河滨分校）；Caltech（加州理工学院）
本文提出学习增强去中心化在线优化算法LADO，在去中心化多智能体网络中结合基准策略与机器学习策略，兼顾最坏情况鲁棒性和平均性能，并证明其平均成本界及权衡关系。
2024-10-18 cs.LG math.OC
Tight Bounds for Online Convex Optimization with Adversarial Constraints
School of Technology and Computer Science, Tata Institute of Fundamental Research（塔塔基础研究院技术与计算机科学学院）
本研究解决了约束在线凸优化的长期开放问题，通过结合AdaGrad自适应悔值界与李雅普诺夫优化，首次证明无额外假设下可同时实现$O(\sqrt{T})$悔值与$\tilde{O}(\sqrt{T})$累积约束违反量。
2024-05-15 cs.LG math.OC
Logarithmic Regret for Online Gradient Descent Beyond Strong Convexity
Technion - Israel Institute of Technology（以色列理工学院）
Hoffman的经典结果给出了一个关于一个点到一个凸紧多面体的距离的界，这个界是根据违反约束的大小而定的。最近，一些结果表明，霍夫曼的界限可以用来获得强凸状率的一阶方法的\textit{offline}凸优化曲线，但不是强凸，功能，在多面体集。在这项工作中，我们使用这个经典的结果，第一次获得更快的速度为\textit{online convex optimization}在多面体集弯曲凸，虽然不是强凸，损失函数。我们表明，在几个合理的假设下的数据，标准的\textit{Online Gradient Descent}算法保证对数遗憾。据我们所知，唯一以前的算法，以实现对数遗憾在所考虑的设置是\textit{Online Newton Step}算法，它需要二次（在维度）的内存和至少二次运行时间每次迭代，这大大限制了其适用于大规模的问题。特别是，我们的研究结果适用于\textit{semi-adversarial}设置，其中数据是任意（对抗）序列和随机序列的组合，这可能为许多真实世界的序列提供合理的近似，或者在自然假设数据是低秩的情况下。我们通过实验证明，遗憾的OGD确实是可比的ONS（甚至更好）弯曲，但不是强凸损失。
2019-02-18 cs.LG math.OC
Projection-Free Online Convex Optimization with Stochastic Constraints
KAIST（韩国科学技术院）；The University of Sydney（悉尼大学）
针对具有随机约束的在线凸优化问题，本文提出了一种通用的在线原始-对偶无投影框架，并推导出多种设定下的次线性遗憾与约束违背界，在平滑与随机强对偶条件下进一步优化了约束违背的渐近增长率。
2023-05-16 cs.LG math.OC
Projection-free Online Learning over Strongly Convex Sets
National Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术全国重点实验室）；Pazhou Lab（琶洲实验室）
针对强凸集上的在线学习问题，改进OFW的步长策略并提出强凸版OFW变体，分别在一般凸损失和强凸损失下取得更优的遗憾界，提升无投影在线算法的性能。
2024-06-24 cs.LG math.OC
Inexact Online Proximal-gradient Method for Time-varying Convex Optimization
University of Colorado Boulder（科罗拉多大学博尔德分校）；IBM Research Ireland（IBM爱尔兰研究院）
本文考虑了一种在线逼近梯度法来跟踪随时间连续演化的复合凸函数的极小值。在线近似梯度法是不精确的，在这个意义上：（i）它依赖于成本的平滑分量的近似一阶信息;以及（ii）近似算子（相对于非平滑项）只能计算到一定精度。在适当的假设下，建立了强凸费用函数的误差迭代的收敛性。另一方面，动态后悔的成本不是强凸的情况下，额外的假设下，该问题包括可行性集是紧凑的。边界用累积误差和最优解的路径长度表示。这表明如何分配资源以在梯度计算和邻近算子中的性能和精度之间取得平衡。
2020-04-22 cs.LG math.OC
Online Convex Optimization Perspective for Learning from Dynamically Revealed Preferences
Carnegie Mellon University（卡内基梅隆大学）
我们研究的问题，在线学习（OL）从显示的偏好：学习者希望学习一个非战略代理的私人效用函数，通过观察代理的效用最大化的行动，在不断变化的环境。我们采用了在线逆优化设置，学习者观察代理的行动流在网上的时尚和学习性能的衡量与损失函数的遗憾。我们首先刻画了一类特殊但广泛的智能体效用函数，然后利用这种结构设计了一个新的凸损失函数。我们建立了关于我们的新损失函数的后悔也限制了关于文献中所有其他常见的损失函数的后悔。这使我们能够设计一个灵活的OL框架，使一个统一的处理损失函数，并支持各种在线凸优化算法。我们证明与理论和实证证据表明，我们的框架的基础上新的损失函数（特别是在线镜像下降）的遗憾性能和解决方案的时间比其他OL算法从文献和绕过以前的技术假设，以及显着的优势。
2021-06-04 cs.LG math.OC
Online Optimization in Dynamic Environments: Improved Regret Rates for Strongly Convex Problems
University of Pennsylvania（宾夕法尼亚大学）；Harvard University（哈佛大学）
在本文中，我们解决跟踪的时变参数与未知的动态。我们正式的问题作为一个实例，在一个动态的设置在线优化。使用在线梯度下降，我们提出了一种方法，顺序预测的参数值，反过来又遭受损失。其目标是尽量减少在一段时间内累积的损失，这一概念被称为动态后悔。虽然现有的方法集中在凸损失函数，我们认为强凸函数，以便提供更好的性能保证。我们得到一个遗憾的界限，捕获的路径长度的时变参数，定义在其连续值之间的距离。换句话说，边界表示跟踪质量与参数变化率的自然联系。我们提供数值实验来补充我们的理论研究结果。
2016-03-16 cs.LG math.OC
Online Optimization on Hadamard Manifolds: Curvature Independent Regret Bounds on Horospherically Convex Objectives
Department of Mechanical & Industrial Engineering, Northeastern University（机械与工业工程系，东北大学）
本文研究Hadamard流形上基于horospherical凸性的在线Riemannian优化，提出与曲率无关的遗憾界，并在SPD矩阵流形上验证了方法有效性。
2025-09-14 cs.LG math.OC stat.ML
Optimal Algorithms for Online Convex Optimization with Adversarial Constraints
School of Technology and Computer Science（技术与计算机科学学院）；Tata Institute of Fundamental Research（塔塔基础研究院）
针对约束在线凸优化，本文将自适应 OCO 黑箱策略与 Lyapunov 优化结合，首次在无限制性假设下实现 $O(\sqrt{T})$ 遗憾与 $\tilde{O}(\sqrt{T})$ CCV，并在强凸代价下将遗憾改进至 $O(\log T)$。
2024-10-27 cs.LG math.OC
Regret Bound by Variation for Online Convex Optimization
Michigan State University（密歇根州立大学）；NEC Laboratories America（NEC美国实验室）
在citep{Hazan-2008-extract}中，作者证明了在线线性优化的遗憾可以由成本向量的总变差限制。在本文中，我们将这个结果推广到一般的在线凸优化。首先分析了\citep{Hazan-2008-extract}中的算法在应用于在线凸优化时的局限性。然后，我们提出了两个算法的在线凸优化的遗憾是有界的变化的成本函数。最后，我们考虑了强盗设置，并提出了一个随机算法在线强盗凸优化与基于变分的遗憾界。我们证明，当成本函数的变化与试验次数无关时，在线强盗凸优化的遗憾界是最优的。
2012-06-14 cs.LG
Recursive Exponential Weighting for Online Non-convex Optimization
The Chinese University of Hong Kong（香港中文大学）
本文研究了在线非凸优化问题，它通过放松对代价函数的凸性假设，推广了经典的在线凸优化问题。对于这种类型的问题，经典的指数加权在线算法最近已被证明可以达到$O(\sqrt{T\log T})$的次线性遗憾。在本文中，我们引入了一种新的递归结构的在线算法定义一个递归指数加权算法，达到了遗憾的$O(\sqrt{T})$，匹配著名的遗憾下界。据我们所知，这是第一个在线算法与可证明的$O(\sqrt{T})$遗憾的在线非凸优化问题。
2017-09-13 cs.LG
CLASP: An online learning algorithm for Convex Losses And Squared Penalties
Department of Computer Science, NOVA School of Science and Technology（计算机科学系，NOVA科学与技术学院）；Institute for Systems and Robotics, LARSyS, Instituto Superior Técnico, Universidade de Lisboa（系统与机器人研究所，LARSyS，理工学院，里斯本大学）
CLASP是一种用于凸损失和平方惩罚的在线学习算法，通过利用凸投影的强非扩张性，实现了对强凸问题的对数级别的悔值和累积惩罚保证。
2026-01-24 cs.LG math.OC
Online Submodular Maximization via Online Convex Optimization
Northeastern University（东北大学）；Boston University（波士顿大学）
研究一般拟阵约束下的单调次模最大化在线优化问题，通过证明加权阈值势函数可凹松弛，将其归约为在线凸优化（OCO），结合舍入方案实现次线性遗憾，并扩展至动态遗憾、老虎机和乐观学习设定。
2024-01-08 cs.AI cs.LG math.OC
Universal Online Convex Optimization Meets Second-order Bounds
National Key Laboratory for Novel Software Technology（现代软件工程国家重点实验室）；School of Artificial Intelligence, Nanjing University（南京大学人工智能学院）；College of Computing, Georgia Institute of Technology（佐治亚理工学院计算学院）；JD AI Research（京东AI研究院）
本文提出一种通用在线凸优化策略，通过专家集合与带二阶界和超额损失的元算法聚合预测，统一处理强凸、指数凹和一般凸函数，并扩展至在线复合优化，在保持极小极大最优性的同时取得问题相关遗憾界。
2024-11-20 cs.LG math.OC
Smoothed Online Convex Optimization Based on Discounted-Normal-Predictor
Nanjing University（南京大学）；the University of Iowa（爱荷华大学）
在本文中，我们研究了一种在线预测策略，称为贴现正态预测器（Kapralov和Panigrahy，2010），用于平滑在线凸优化（SOCO），其中学习者不仅需要最小化命中成本，还需要最小化切换成本。在专家建议的学习环境中，Daniely和Mansour（2019）证明了贴现正态预测器可以在任何时间间隔内产生接近最优的后悔界限，即使存在转换成本。受他们结果的启发，我们开发了一种简单的SOCO算法：通过贴现正态预测器将在线梯度下降（OGD）与不同的步长顺序组合。尽管它的简单性，我们证明了它是能够最小化的自适应遗憾与切换成本，即，在每一区间上都能得到具有切换成本的近似最优后悔。通过利用OGD对动态后悔的理论保证，进一步证明了该算法在每个区间内都能最小化动态后悔且具有切换代价。
2022-05-02 cs.LG math.OC
Safe Online Convex Optimization with Unknown Linear Safety Constraints
Texas A&M University（德克萨斯农工大学）
研究了安全在线凸优化问题，其中每个时间步的行动必须满足一组线性安全约束。我们的目标是选择一系列的行动，以尽量减少遗憾，而不违反安全约束在任何时间步骤（高概率）。指定线性安全约束的参数对于算法是未知的。该算法只能访问所选动作的约束的噪声观测。我们提出了一种算法，称为{安全在线投影梯度下降}（SO-PGD）算法，以解决这个问题。我们表明，在假设的安全基线行动的可用性，SO-PGD算法实现了遗憾$O(T^{2/3})$。虽然有许多算法的在线凸优化（OCO）的安全约束问题在文献中，他们允许在学习/优化过程中的约束违反，并一直专注于特征的累积约束违反。据我们所知，我们的工作是第一次提供了一个算法与可证明的保证遗憾，而不违反线性安全约束（高概率）在任何时间步。
2021-11-14 cs.LG math.OC
Online Learning for Approximately-Convex Functions with Long-term Adversarial Constraints
IIT Kharagpur, India（印度德里技术学院）；IIT (ISM) Dhanbad, India（印度丹巴德IIT（ISM））；TIFR Mumbai, India（印度孟买理论物理研究所）
针对对抗性环境下带长期预算约束的在线学习问题，提出一阶在线算法，在全信息和bandit反馈下保证O(√T)α-遗憾，资源消耗可控，适用于DR-子模极大化等非凸问题，结果紧且有下界匹配。
2025-08-23 cs.LG math.OC
Online Optimization of Difference-of-Convex Compositions with Smooth Mappings
Management Science and Engineering, Stanford University（斯坦福大学管理科学与工程系）；The Daniel J. Epstein Department of Industrial and Systems Engineering, University of Southern California（南加州大学丹尼尔·J·埃普斯坦工业与系统工程系）
研究结构化非凸非光滑问题的在线优化，提出时间平滑近端线性算法和基于近端残差映射的局部遗憾度量，建立局部遗憾界等，推导误差界，证明残差是平稳性度量，可通过凸优化预言机计算更新。
2026-07-23 cs.LG math.OC
An Efficient Interior-Point Method for Online Convex Optimization
Google DeepMind（谷歌DeepMind）；IBM Almaden Research Center（IBM阿尔马登研究中心）
本研究提出一种在线凸优化的高效内点算法，实现O(√(T log T))的最优遗憾界且具备子区间自适应性，每次迭代仅需求解n阶线性方程组，运行效率与最新内点算法相当。
2023-07-21 cs.LG math.OC
The Online Saddle Point Problem and Online Convex Optimization with Knapsacks
我们研究在线鞍点问题，在线学习问题，在每次迭代的一对行动需要选择不知道当前和未来的（凹凸）支付函数。我们的目标是最大限度地减少累积收益和鞍点值的总收益函数，我们使用称为“SP遗憾”的度量测量之间的差距。这个问题推广了在线凸优化框架，但在这里我们必须确保两个玩家的累积收益接近于游戏总和的纳什均衡。我们提出了一种算法，实现SP-遗憾成正比的$\sqrt{\ln(T)T}$在一般情况下，和$\log(T)$ SP-遗憾的强凹凸的情况下。我们还考虑了支付函数是双线性的，决策集是概率单形的特殊情况。在这种情况下，我们能够设计的算法，减少SP-遗憾的界限，从一个线性依赖的维度的问题，一个\textit{logarithmic}。我们还研究了强盗反馈下的问题，并提供了一个算法，实现次线性SP-Regret。然后，我们考虑一个在线凸优化背包问题的动机是各种各样的应用程序，如：动态定价，拍卖和众包。我们将这个问题的在线鞍点问题，并建立$O(\sqrt{T})$后悔使用原始-对偶算法。
2020-04-05 cs.LG math.OC stat.ML
Rate-Optimal Online Convex Optimization in Adaptive Linear Control
Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
研究了在状态和代价函数均为全反馈且凸代价函数反向变化的情况下，未知线性动力系统的控制问题。我们提出了第一个计算效率高的算法，达到最佳的$\smash{\sqrt{T}}$ -后悔率相比，最好的稳定线性控制器在事后，同时避免严格的假设，如强凸性的成本。我们的方法是基于一个精心设计的非凸置信下限的在线成本，并使用一种新的技术，利用其特定的非凸结构的计算效率的遗憾最小化这些界限。
2022-06-03 cs.LG math.OC stat.ML
A Modular Algorithm for Non-Stationary Online Convex-Concave Optimization
本文提出一种模块化算法，通过自适应、多预测器聚合与集成组件，在非平稳在线凸-凹优化中实现极小极大最优动态对偶间隙，并兼顾预测误差界与实证有效性。
2025-09-09 cs.LG math.OC
Online non-convex optimization with imperfect feedback
Criteo AI Lab（Criteo人工智能实验室）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LIG（格勒诺布尔信息学实验室）
研究了具有非凸损失的在线学习问题。在反馈方面，我们假设学习者观察-或以其他方式构建-一个不精确的模型，在每个阶段遇到的损失函数，我们提出了一个混合策略的学习策略的基础上双平均。在这种情况下，我们得到了一系列严格的遗憾最小化的保证，无论是学习者的静态（外部）遗憾，以及后悔对最好的动态政策事后诸葛亮。随后，我们将这个通用模板应用于学习者只能访问过程中每个阶段发生的实际损失的情况。这是通过基于核的估计器来实现的，该估计器仅使用学习者的已实现损失作为输入来为每轮的损失函数生成不精确模型。
2020-10-16 cs.LG math.OC
Safe and Efficient Online Convex Optimization with Linear Budget Constraints and Partial Feedback
Research Institute of China Electronics Technology Group（中国电子科技集团公司研究所）；School of Information Science and Technology（信息科学与技术学院）；ShanghaiTech University（上海科技大学）
本文研究未知线性预算约束下的在线凸优化问题，提出安全高效的Lyapunov优化算法SELO，实现$O(\sqrt{T})$遗憾与零累积约束违反，计算高效并在分布式数据中心应用中验证有效。
2025-03-07 cs.LG math.OC
Adaptivity and Optimality: A Universal Algorithm for Online Convex Optimization
National Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）
本文研究了自适应在线凸优化问题，旨在设计一种通用的算法，该算法能对多种常见类型的损失函数达到最优后悔界。现有的通用方法是有限的，在这个意义上，他们是最佳的损失函数的一个子类。为了解决这个问题，我们提出了一种新的在线方法，即Maler，它享有最佳的$O(\sqrt{T})$，$O(d\log T)$和$O(\log T)$遗憾边界一般凸，指数凹，和强凸函数分别。其基本思想是并行运行具有不同学习率的多种类型的学习算法，并利用Meta算法动态跟踪最佳学习算法。实验结果证明了该方法的有效性。
2019-05-15 cs.LG math.OC stat.ML
Projection-Free Online Convex Optimization via Efficient Newton Iterations
本文提出一种利用自和谐障碍函数和高效牛顿迭代的无投影在线凸优化算法，通过利用牛顿迭代稳定性减少矩阵求逆次数，实现最先进遗憾界。
2023-06-19 cs.LG math.OC
Optimal Stochastic Non-smooth Non-convex Optimization through Online-to-Non-convex Conversion
Boston University（波士顿大学）；Google Research（谷歌研究）
本文提出新算法，通过将非光滑非凸优化归约为在线学习，将随机梯度查询复杂度从O(ε^{-4}δ^{-1})降至最优的O(ε^{-3}δ^{-1})，并扩展至确定性和二阶光滑情形。
2025-08-07 cs.LG math.OC stat.ML
Online Non-Convex Learning: Following the Perturbed Leader is Optimal
Carnegie Mellon University（卡内基梅隆大学）；Microsoft Research, India（微软研究院（印度））
我们研究了非凸损失的在线学习问题，学习者可以访问离线优化预言。我们表明，经典的跟随扰动领导（FTPL）算法实现了最佳的遗憾率$O(T^{-1/2})$在这种情况下。这改善了之前最著名的FTPL的$O(T^{-1/3})$后悔率。我们进一步表明，乐观的FTPL变体实现更好的后悔界限时，学习者遇到的损失序列是“可预测的”。
2019-09-21 cs.LG math.OC stat.ML
Universal Online Convex Optimization with $1$ Projection per Round
National Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）；School of Artificial Intelligence, Nanjing University（南京大学人工智能学院）
针对通用在线凸优化中每轮需多次投影导致的高时间开销问题，本文基于黑箱归约与专家建议框架，提出每轮仅需1次投影的通用算法，通过创新的遗憾分解与专家损失设计，同时为多种凸函数建立最优遗憾界并实现小损失遗憾。
2024-05-30 cs.LG math.OC
Adaptive Algorithms for Online Convex Optimization with Long-term Constraints
Amazon（亚马逊）
我们提出了一个自适应在线梯度下降算法来解决在线凸优化问题的长期约束，这是限制，需要满足时，积累了有限数量的轮T，但可以违反在中间轮。对于用户自定义的权衡参数$β$ $\in$（0，1），该算法分别实现了损失和约束违反的累积遗憾界为O（T^max{ $β$，1-$β$ }）和O（T^（1- $β$ /2））。我们的结果保持凸损失，可以处理任意凸约束，而不需要事先知道轮数。我们的贡献改进了Mahdavi等人（2012）最著名的累积遗憾界，对于一般凸域分别为O（T^1/2）和O（T^3/4），当进一步限制到多面体域时分别为O（T^2/3）和O（T^2/3）。我们补充的分析与实验验证我们的算法在实践中的性能。
2015-12-23 cs.LG math.OC stat.ML
Online Convex Optimization Against Adversaries with Memory and Application to Statistical Arbitrage
Technion（以色列理工学院）
具有记忆的在线学习的框架自然地捕获具有时间约束的学习问题，并且先前针对专家设置进行了研究。在这项工作中，我们扩展的概念，学习与记忆的一般在线凸优化（OCO）的框架，并提出了两个算法，达到低遗憾。第一个算法适用于Lipschitz连续损失函数，获得凸和强凸损失的最优遗憾界。第二个算法达到最佳遗憾界，并适用于更广泛的凸损失，而不需要Lipschitz连续性，但更复杂的实现。我们补充我们的理论结果与金融统计套利的应用：我们设计算法构建均值回复投资组合。
2014-06-10 cs.LG
Efficient Projection-Free Online Convex Optimization with Membership Oracle
Massachusetts Institute of Technology（麻省理工学院）
在约束凸优化问题中，现有的基于椭球或割平面法的方法不能很好地适应环境空间的维数。其他方法，如投影梯度下降，只提供了一个简单的凸集，如欧几里德球，其中欧几里德投影可以有效地执行计算的好处。对于其他集合，投影的成本可能太高。为了规避这些问题，基于著名的Frank-Wolfe算法的替代方法已经被研究和使用。这种方法在每次迭代时使用线性最优化Oracle而不是欧几里得投影;前者通常可以有效地执行。这种方法也被推广到在线和随机最优化的设置。然而，Frank-Wolfe算法及其变体并没有达到最佳性能，在遗憾或率，一般凸集。更重要的是，他们使用的线性最优化Oracle在某些情况下仍然可能是计算昂贵的。在本文中，我们远离弗兰克-沃尔夫风格的算法，并提出了一个新的减少，把任何算法A定义在一个欧几里德球（投影是廉价的）的算法约束集C内包含的球，而不牺牲原算法A的性能。我们的减少需要在T轮之后对C上的Membership Oracle进行O（T log T）调用，并且不需要C上的线性最优化。使用我们的减少，我们恢复最佳后悔界限[分别。率]，在迭代次数方面，在线[resp.随机]凸优化。我们的保证也是有用的离线凸优化设置时，周围空间的维数是大的。
2021-11-10 cs.LG math.OC
Surrogate Losses for Online Learning of Stepsizes in Stochastic Non-Convex Optimization
Boston University（波士顿大学）；Google（谷歌）
随机梯度下降（SGD）在机器学习中发挥了核心作用。然而，它需要一个精心挑选的步长来快速收敛，这是众所周知的繁琐和耗时的调整。在过去的几年里，大量的自适应梯度算法已经出现，以改善这个问题。他们已被证明有效地减少劳动调整在实践中，但他们中的许多人缺乏理论保证，即使在凸设置。在本文中，我们提出了新的代理损失铸造的问题学习的最佳步长的随机优化的非凸光滑的目标函数到一个在线凸优化问题。这允许使用无遗憾在线算法来计算最佳步长。反过来，这导致SGD算法具有自调整的步长，保证了自动适应噪声水平的收敛速度。
2019-06-07 cs.LG math.OC stat.ML
Dynamic Regret of Online Mirror Descent for Relatively Smooth Convex Cost Functions
University of Toronto（多伦多大学）
在线凸优化算法在动态环境中的性能通常用动态后悔来表示，动态后悔度量决策者对一系列时变比较器的性能。在分析动态后悔问题时，以往的研究往往假设代价函数是Lipschitz连续或一致光滑的。然而，在实践中有许多重要的成本函数不满足这些条件。在这种情况下，先前的分析是不适用的，不能保证优化性能。在这封信中，我们表明，它是可能的约束的动态遗憾，即使没有Lipschitz连续性和一致光滑性。我们采用相对光滑的概念，相对于一些用户定义的正则化函数，这是一个更温和的要求的成本函数。我们首先表明，相对平滑下，动态后悔有一个上界的基础上的路径长度和功能的变化。然后，我们表明，与一个相对较强的凸性的附加条件，动态后悔可以有界的路径长度和梯度变化。这些遗憾的界限提供了性能保证各种各样的在线优化问题，出现在不同的应用领域。最后，我们提出了数值实验，证明了采用正则化函数的优势，在该函数下的成本函数是相对平滑的。
2022-02-25 cs.LG math.OC
Decentralized Online Riemannian Optimization for Strongly Geodesically Convex Functions
Department of Mechanical & Industrial Engineering at Northeastern University（东北大学机械与工业工程系）
研究黎曼流形上强测地凸损失的分散式在线优化，通过提供时变调度的网络误差分析，为分散式在线黎曼梯度下降建立$O(\log T)$静态遗憾界，并为两点策略反馈设置证明相同界，匹配强凸欧几里得在线优化最优速率。
2026-07-23 cs.LG cs.MA math.OC
Online Convex Optimization with Binary Constraints
Polytechnique Montréal（蒙特利尔理工学院）；University of Toronto（多伦多大学）；University of California, Berkeley（加州大学伯克利分校）
我们考虑在线优化与二进制决策变量和凸损失函数。我们设计了一个新的算法，二进制在线梯度下降（bOGD）和限制其预期的动态遗憾。我们提供了一个遗憾的界限，保持任何时间范围和有限的时间范围的专门的界限。首先，我们提出的遗憾作为放松，连续轮最佳跟踪误差和舍入误差的更新，其中前者渐近地随着时间的推移在一定条件下减少的总和。然后，我们推导出一个有限的时间界限，是次线性的时间和线性的放松，连续轮最优的累积变化。我们应用bOGD的需求响应与恒温控制的负载，其中二进制约束模型离散开/关设置。我们还对不确定性和变化的负载可用性进行建模，这取决于温度死区、冷却装置的锁定和手动超控。我们测试的性能bOGD在几个模拟需求响应的基础上。模拟证实，在bOGD中使用随机化不会显着降低性能，同时使问题更易于处理。
2021-02-19 cs.LG math.OC
Constrained Online Convex Optimization without Slater's Condition
KAIST（韩国科学技术院）；Seoul National University（首尔国立大学）
提出一种自适应正则化的原始-对偶框架，无需Slater条件即可实现随机约束下$O(\sqrt{T})$遗憾和$O(\sqrt{T}\log T)$约束违反，并扩展到对抗约束。
2026-07-01 cs.LG math.OC
Online Compact Convexified Factorization Machine
Tsinghua University（清华大学）；South China University of Technology（华南理工大学）
因子分解机是一种监督学习方法，具有强大的特征工程能力。它在各种批量学习任务中产生最先进的性能，其中所有训练数据在训练之前可用。然而，在数据以流式方式顺序到达的现实应用中，使用批量学习算法重新训练的高成本在在线学习场景中提出了巨大的挑战。最初的挑战是，没有事先制定的FM可以满足在线凸优化（OCO）的要求-在线学习算法设计的最重要的框架。为了解决上述挑战，我们发明了一种新的凸化方案，从而实现了无缝满足OCO要求的紧凑型凸化FM（CCFM）。然而，对于在在线学习设置中学习紧凑凸变FM（CCFM），大多数现有算法遭受昂贵的投影操作。为了解决这一后续挑战，我们遵循在线条件梯度的一般无投影算法框架，并提出了一种在线紧凑凸因子分解机（OCCFM）算法，该算法通过有效的线性优化步骤避免了投影操作。在支持建议的OCCFM在其理论基础方面，我们证明了开发的算法实现了次线性遗憾界。为了评估OCCFM的经验性能，我们在6个真实世界的在线推荐和二进制分类任务的数据集上进行了广泛的实验。实验结果表明，OCCFM优于最先进的在线学习算法。
2018-02-05 cs.LG
No-Regret Algorithms for Unconstrained Online Convex Optimization
Duolingo, Inc.（多邻国公司）；Google, Inc.（谷歌公司）
在线凸优化的一些最引人注目的应用，包括在线预测和分类，是无约束的：自然可行集是R^n。现有的算法无法实现次线性遗憾，在这种情况下，除非对比较点x^* 的约束是已知的。我们提出的算法，没有这样的先验知识，提供接近最优的遗憾界相对于任何选择x^*。特别地，关于x^* = 0的后悔是恒定的。然后，我们证明下界表明，我们的保证在这种情况下是接近最优的。
2012-11-09 cs.LG
Online Convex Optimization with Switching Cost with Only One Single Gradient Evaluation
Indian Institute of Technology Bombay (IITB)（印度理工学院班加罗尔分校）；Indian Institute of Technology Delhi (IITD)（印度理工学院德里分校）；Tata Institute of Fundamental Research (TIFR)（塔塔基础研究机构）
本文研究仅需一次梯度评估的带切换代价在线凸优化问题，在节俭信息设定下针对线性切换代价推导出最优阶竞争比算法，并给出噪声梯度情形下竞争比随噪声幅度二次增长的算法。
2025-07-05 cs.DS cs.LG math.OC
Dynamic Regret Analysis of Safe Distributed Online Optimization for Convex and Non-convex Problems
Northeastern University（东北大学）；Texas A&M University（得克萨斯农工大学）
本文讨论了一组未知的线性安全约束的安全分布式在线优化。代理网络的目标是共同最小化一个全球性的，时变的功能，这是只有部分观察到每个单独的代理。因此，代理人必须从事本地通信，以产生一个安全的行动序列与最佳的最小化序列在事后的竞争力，和两个序列之间的差距是通过量化的动态遗憾。我们提出了分布式安全在线梯度下降（D-Safe-OGD）与探索阶段，其中所有的代理估计约束参数协作建立估计可行集，确保在优化阶段的行动选择的安全性。我们证明了对于凸函数，D-Safe-OGD实现了$O(T^{2/3} \sqrt{\log T} + T^{1/3}C_T^*)$的动态遗憾界，其中$C_T^*$表示最佳极小序列的路径长度。我们进一步证明了$O(T^{2/3} \sqrt{\log T} + T^{2/3}C_T^*)$对某些非凸问题的动态遗憾界，这建立了一个安全的分布式算法在非凸设置的第一个动态遗憾界。
2023-02-23 cs.LG cs.SY eess.SY
Boosting for Online Convex Optimization
Princeton University（普林斯顿大学）；Google AI（谷歌人工智能）
我们考虑了在线凸优化的决策框架与大量的专家。此设置在上下文和强化学习问题中普遍存在，其中策略类的大小使得在策略类内进行枚举和搜索不可行。相反，我们考虑推广在线提升的方法。我们定义了一个弱学习算法作为一种机制，保证乘法近似的遗憾对一个基类的专家。在这个访问模型中，我们给出了一个有效的提升算法，保证接近最优的遗憾对凸包的基类。我们认为完全和部分（a.k.a.）。Bandit）信息反馈模型。我们也给出了一个类似的有效的提升算法的i.i.d.统计设置。我们的研究结果同时推广在线助推和梯度提升保证上下文学习模型，在线凸优化和强盗线性优化设置。
2021-02-18 cs.LG stat.ML
Unconstrained Online Optimization: Dynamic Regret Analysis of Strongly Convex and Smooth Problems
Texas A&M University（德克萨斯A&M大学）
动态在线学习算法的后悔界通常用函数序列（$V_T$）的变化和/或最小化序列在$T$轮之后的路径长度来表示。对于强凸光滑函数，Zhang等人建立了极小序列的平方路径长度（$C^*_{2,T}$）作为后悔的下界。他们还表明，在线梯度下降（OGD）实现了这个下限使用多个梯度查询每轮。在本文中，我们专注于无约束在线优化。我们首先表明，OGD的预处理变体实现了$O(C^*_{2,T})$，每轮一个梯度查询。然后，我们提出了在线乐观牛顿（OON）方法的情况下，一阶和二阶信息的函数序列是可预测的。OON的后悔界是通过最小化序列的四次路径长度（$C^*_{4,T}$）捕获的，它可以比$C^*_{2,T}$小得多。最后，我们表明，通过使用多梯度OGD，我们可以实现$O(\min\{C^*_{2,T},V_T\})$上界的遗憾。
2020-08-14 cs.LG math.OC stat.ML
Online Learning on Hidden-Convex Losses via Algorithmic Equivalence: Optimal Regret, Geometric Barrier, and Bandit Feedback
Singapore University of Technology and Design（新加坡科技设计大学）；National Technical University of Athens（雅典国家技术大学）；National and Kapodistrian University of Athens（雅典国家与卡多斯大学）；University of California, Irvine（加州大学 Irvine 分校）；Archimedes, Athena Research Center, Greece（希腊阿提卡研究中心 Archimedes）；National University of Singapore, Centre for Quantum Technologies（新加坡国立大学 量子技术中心）
本文通过更精确的离散时间算法等价性论证，证明在线梯度下降在隐凸损失上达到最优的$\mathcal{O}(\sqrt{T})$遗憾，并澄清了所需几何条件，同时扩展到单点Bandit反馈得到$\mathcal{O}(T^{3/4})$期望遗憾。
2026-11-10 cs.LG math.OC stat.ML
Robust Learning for Smoothed Online Convex Optimization with Feedback Delay
University of California Riverside（加州大学河滨分校）；California Institute of Technology（加州理工学院）
本文针对带多步切换成本和反馈延迟的平滑在线凸优化问题，提出鲁棒性约束学习算法RCL，通过约束投影融合不可信机器学习预测与可信专家算法，首次实现可证明鲁棒性保证并提升平均性能。
2023-10-31 cs.DS cs.LG math.OC
Optimal Rates for Random Order Online Optimization
Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
我们研究在线凸优化的随机顺序模型，最近提出的\citet{garber2020online}，其中的损失函数可能会选择由对手，但然后提交给在线算法在一个统一的随机顺序。聚焦的情况下，累积损失函数是（强）凸的，但个别损失函数是光滑的，但可能是非凸的，我们给出的算法，实现最佳的界限，并显着优于结果的\citet{garber2020online}，完全消除了维度的依赖性，并提高其缩放方面的强凸性参数。我们的分析依赖于算法稳定性和泛化之间的新联系，类似于在带替换i.i.d.~设置，以及对随机梯度下降的精细平均稳定性分析。
2021-06-29 cs.LG math.OC stat.ML
Online Optimization with Predictions and Non-convex Losses
IIIS, Tsinghua University（清华大学交叉信息研究院）；California Institute of Technology（加州理工学院）
我们研究在线优化的设置，在线学习者寻求优化每轮命中成本，这可能是非凸的，而在轮之间改变动作时会产生移动成本。我们要求：\textit{under what general conditions is it possible for an online learner to leverage predictions of future cost functions in order to achieve near-optimal costs?}先前的工作提供了接近最优的在线算法的特定组合的假设击中和切换成本，但没有一般的结果是已知的。在这项工作中，我们给出了两个一般的充分条件，指定击球和运动成本之间的关系，保证了一个新的算法，同步固定地平线控制（SFHC），提供了一个$1+O(1/w)$竞争比，其中$w$是学习者可用的预测数。我们的条件不要求成本函数是凸的，我们也得到了非凸的打击和运动成本的竞争比结果。我们的研究结果提供了第一个常数，无量纲的竞争比在线非凸优化运动成本。此外，我们给出了一个自然实例的例子，凸体追逐（CBC），其中不满足充分条件，我们可以证明没有在线算法可以具有收敛到1的竞争比。
2020-01-24 cs.LG stat.ML
Multiplicative Updates for Online Convex Optimization over Symmetric Cones
SUTD（新加坡科技设计大学）
本文提出对称锥乘法权重更新算法SCMWU，将乘法权重更新方法推广到任意对称锥的迹一元素集合上，并证明其无遗憾性质。
2023-07-06 cs.LG math.OC stat.ML
Online Inventory Problems: Beyond the i.i.d. Setting with Online Convex Optimization
LOPF, Califrais’ Machine Learning Lab, Paris, France（LOPF，Califrais机器学习实验室，巴黎，法国）；Université Paris Cité and Sorbonne Université, CNRS, Laboratoire de Probabilités, Statistique et Modélisation, Paris, France（巴黎大学和索邦大学，CNRS，概率、统计与建模实验室，巴黎，法国）
本文提出MaxCOSD算法，通过非退化假设解决非i.i.d.需求下的多产品库存控制问题，实现对动态和损失的鲁棒优化。
2023-07-12 cs.LG math.OC stat.ML
A Linearly Convergent Conditional Gradient Algorithm with Applications to Online and Stochastic Optimization
Technion - Israel Inst. of Tech.（以色列理工学院）
线性优化在算法上比非线性凸优化简单许多倍。线性优化拟阵多面体，匹配多面体和路径多面体的问题，我们有简单而有效的组合算法的例子，但其非线性凸对应更难，并承认显着效率较低的算法。这就激发了凸优化的计算模型，包括离线，在线和随机设置，使用线性优化预言机。在这个计算模型中，我们给出了几个新的结果，改善了以前的国家的最先进的。我们的主要结果是一个新的条件梯度算法光滑和强凸优化多面体集，执行只有一个单一的线性优化步骤，在每个迭代的域上，并享有线性收敛速度。这给出了一个指数级的改善收敛速度比以前的结果。基于这个新的条件梯度算法，我们给出了第一个算法的在线凸优化多面体集，只执行一个单一的线性优化步骤的域，同时有最佳的遗憾保证，回答一个悬而未决的问题Kalai和Vempala，Hazan和羽衣甘蓝。我们的在线算法也意味着条件梯度算法的非光滑和随机凸优化与投影（子）梯度方法相同的收敛速度。
2015-08-14 cs.LG math.OC stat.ML
Online Convex Optimization with Unbounded Memory
Cornell University（康奈尔大学）
本文提出具有无界记忆的在线凸优化框架，引入p-有效记忆容量H_p量化历史决策影响，证明策略遗憾的O(√(H_pT))上下界，并应用于在线线性控制与执行预测等问题。
2024-03-29 cs.LG math.OC stat.ML
An Online Convex Optimization Approach to Blackwell's Approachability
Technion – Israel Institute of Technology（以色列理工学院）
布莱克威尔在20世纪50年代提出了向量收益重复博弈中可接近性的概念，以及可接近性的几何条件和相应的策略，这些策略依赖于计算{ \em转向方向}作为从当前平均收益向量到（凸）目标集的投影。最近，Abernethy，Batlett和Hazan（2011）提出了一类可接近性算法，该算法依赖于在线线性规划的无遗憾属性来计算合适的转向方向序列。这是第一次进行的目标集是凸锥，然后推广到任何凸集嵌入到一个更高的维凸锥。在本文中，我们提出了一个更直接的配方，依赖于支持函数的集合，随着合适的在线凸优化算法，这导致了一般类的逼近算法。我们进一步表明，Blackwell的原始算法及其收敛性作为一个特殊情况。
2015-03-01 cs.GT cs.LG
