Adaptive Algorithms for Online Convex Optimization with Long-term Constraints
Amazon（亚马逊）
我们提出了一个自适应在线梯度下降算法来解决在线凸优化问题的长期约束，这是限制，需要满足时，积累了有限数量的轮T，但可以违反在中间轮。对于用户自定义的权衡参数$β$ $\in$（0，1），该算法分别实现了损失和约束违反的累积遗憾界为O（T^max{ $β$，1-$β$ }）和O（T^（1- $β$ /2））。我们的结果保持凸损失，可以处理任意凸约束，而不需要事先知道轮数。我们的贡献改进了Mahdavi等人（2012）最著名的累积遗憾界，对于一般凸域分别为O（T^1/2）和O（T^3/4），当进一步限制到多面体域时分别为O（T^2/3）和O（T^2/3）。我们补充的分析与实验验证我们的算法在实践中的性能。
2015-12-23 cs.LG math.OC stat.ML
Surrogate Losses for Online Learning of Stepsizes in Stochastic Non-Convex Optimization
Boston University（波士顿大学）；Google（谷歌）
随机梯度下降（SGD）在机器学习中发挥了核心作用。然而，它需要一个精心挑选的步长来快速收敛，这是众所周知的繁琐和耗时的调整。在过去的几年里，大量的自适应梯度算法已经出现，以改善这个问题。他们已被证明有效地减少劳动调整在实践中，但他们中的许多人缺乏理论保证，即使在凸设置。在本文中，我们提出了新的代理损失铸造的问题学习的最佳步长的随机优化的非凸光滑的目标函数到一个在线凸优化问题。这允许使用无遗憾在线算法来计算最佳步长。反过来，这导致SGD算法具有自调整的步长，保证了自动适应噪声水平的收敛速度。
2019-06-07 cs.LG math.OC stat.ML
Non-convex online learning via algorithmic equivalence
Google AI Princeton（谷歌AI普林斯顿）；Princeton University（普林斯顿大学）
我们研究了非凸梯度下降和凸镜下降之间的算法等价技术。我们首先看一个更难的问题，在线非凸优化的遗憾最小化。我们表明，在一定的几何和光滑条件下，在线梯度下降适用于非凸函数是一个近似的在线镜像下降适用于凸函数下重新参数化。在连续时间中，这种重新参数化的梯度流被证明是完全等价于连续时间镜像下降的Amid和Warren 2020，但类似的离散时间算法的理论仍然是一个悬而未决的问题。我们证明了一个$O(T^{\frac{2}{3}})$遗憾界的非凸在线梯度下降在此设置，回答这个开放的问题。我们的分析是基于一个新的和简单的算法等效方法。
2022-10-12 cs.LG math.OC
Online (Non-)Convex Learning via Tempered Optimism
Inria（法国国家信息与自动化技术研究所）；Ecole Normale Supérieure（法国高等科学研究院）；PSL Research University（巴黎综合理工学院）；Sorbonne Université（索邦大学）；University College London（伦敦大学学院）
针对动态环境下现有乐观在线学习专家易过拟合、信息相关性不足的问题，提出乐观退火在线学习框架，改进非凸场景下的在线梯度与镜像下降算法，推导凸损失下的对应算法，并通过实验验证其实际有效性。
2025-10-28 cs.LG math.OC stat.ML
A Regularized Online Newton Method for Stochastic Convex Bandits with Linear Vanishing Noise
School of Mathematical Sciences, Peking University（北京大学数学科学学院）
针对噪声随接近最优解线性减小的随机凸赌博机，提出正则化在线牛顿方法，实现多对数遗憾并推广至新噪声模型。
2025-01-19 cs.LG math.OC stat.ML
Online Saddle Point Problem and Online Convex-Concave Optimization
China University of Petroleum（中国石油大学）；College of Information Science and Engineering（信息科学与工程学院）
该研究围绕在线鞍点问题提出OCCO框架，以广义对偶间隙为性能度量，建立其与OCO的平行关系，开发两种相关算法并验证有效性，同时指出动态纳什均衡悔值存在固有缺陷。
2023-12-15 cs.LG math.OC
Online Non-Stationary Stochastic Quasar-Convex Optimization
The Australian National University（澳大利亚国立大学）
本文研究动态环境下的在线随机类星体凸优化，建立基于累积路径变化和梯度方差的在线梯度下降遗憾界，并将其应用于时变参数的广义线性模型，给出多种激活函数下的遗憾界并通过数值实验验证。
2024-07-04 cs.LG math.OC
Unconstrained Online Optimization: Dynamic Regret Analysis of Strongly Convex and Smooth Problems
Texas A&M University（德克萨斯A&M大学）
动态在线学习算法的后悔界通常用函数序列（$V_T$）的变化和/或最小化序列在$T$轮之后的路径长度来表示。对于强凸光滑函数，Zhang等人建立了极小序列的平方路径长度（$C^*_{2,T}$）作为后悔的下界。他们还表明，在线梯度下降（OGD）实现了这个下限使用多个梯度查询每轮。在本文中，我们专注于无约束在线优化。我们首先表明，OGD的预处理变体实现了$O(C^*_{2,T})$，每轮一个梯度查询。然后，我们提出了在线乐观牛顿（OON）方法的情况下，一阶和二阶信息的函数序列是可预测的。OON的后悔界是通过最小化序列的四次路径长度（$C^*_{4,T}$）捕获的，它可以比$C^*_{2,T}$小得多。最后，我们表明，通过使用多梯度OGD，我们可以实现$O(\min\{C^*_{2,T},V_T\})$上界的遗憾。
2020-08-14 cs.LG math.OC stat.ML
Online Learning on Hidden-Convex Losses via Algorithmic Equivalence: Optimal Regret, Geometric Barrier, and Bandit Feedback
Singapore University of Technology and Design（新加坡科技设计大学）；National Technical University of Athens（雅典国家技术大学）；National and Kapodistrian University of Athens（雅典国家与卡多斯大学）；University of California, Irvine（加州大学 Irvine 分校）；Archimedes, Athena Research Center, Greece（希腊阿提卡研究中心 Archimedes）；National University of Singapore, Centre for Quantum Technologies（新加坡国立大学 量子技术中心）
本文通过更精确的离散时间算法等价性论证，证明在线梯度下降在隐凸损失上达到最优的$\mathcal{O}(\sqrt{T})$遗憾，并澄清了所需几何条件，同时扩展到单点Bandit反馈得到$\mathcal{O}(T^{3/4})$期望遗憾。
2026-05-25 cs.LG math.OC stat.ML
Predictive Online Convex Optimization
University of California, Berkeley（加州大学伯克利分校）；University of Melbourne（墨尔本大学）；University of Toronto（多伦多大学）
在在线凸优化中，我们以未来梯度的估计值的形式引入未来信息。这是由电力系统中的需求响应激发的，其中关于当前回合的预测，例如，天气或负载的行为，可以用来改进仅通过过去的观察所做的预测。具体来说，我们引入了一个额外的预测步骤，遵循标准的在线凸优化步骤时，估计的梯度和下降方向的某些条件得到满足。我们表明，在这些条件下，没有任何假设的环境的可预测性，预测更新严格提高了标准更新的性能。对于不同的损失函数族，我们给出了两种类型的预测更新。我们提供了一个遗憾界，我们的预测在线凸优化算法。最后，我们将我们的框架应用到一个基于需求响应的例子中，该例子证明了其优于标准在线凸优化算法的性能。
2019-11-29 cs.LG math.OC
Fast Algorithms for Online Stochastic Convex Programming
Microsoft Research（微软研究院）
我们介绍了在线随机凸规划（CP）问题，一个非常一般的版本的随机在线问题，允许任意凹目标和凸可行性约束。在线随机包装与覆盖、在线随机匹配等问题是在线随机CP的一个特例。我们提出了快速算法，这些问题，实现了近最佳的遗憾保证的i.i.d.以及随机输入的随机置换模型。当应用到特殊情况下的在线包装，我们的想法产生一个更简单，更快的原始-对偶算法，这个研究问题，实现了最佳的竞争比。我们的技术明确的连接原始-对偶范式和在线学习在线随机CP。
2014-10-28 cs.DS cs.LG math.OC
Optimal Rates for Random Order Online Optimization
Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
我们研究在线凸优化的随机顺序模型，最近提出的\citet{garber2020online}，其中的损失函数可能会选择由对手，但然后提交给在线算法在一个统一的随机顺序。聚焦的情况下，累积损失函数是（强）凸的，但个别损失函数是光滑的，但可能是非凸的，我们给出的算法，实现最佳的界限，并显着优于结果的\citet{garber2020online}，完全消除了维度的依赖性，并提高其缩放方面的强凸性参数。我们的分析依赖于算法稳定性和泛化之间的新联系，类似于在带替换i.i.d.~设置，以及对随机梯度下降的精细平均稳定性分析。
2021-06-29 cs.LG math.OC stat.ML
Multiplicative Updates for Online Convex Optimization over Symmetric Cones
SUTD（新加坡科技设计大学）
本文提出对称锥乘法权重更新算法SCMWU，将乘法权重更新方法推广到任意对称锥的迹一元素集合上，并证明其无遗憾性质。
2023-07-06 cs.LG math.OC stat.ML
Upper-Linearizability of Online Non-Monotone DR-Submodular Maximization over Down-Closed Convex Sets
Purdue University（普渡大学）；IIT Indore（印度理工学院Indore）；Mila - Quebec AI Institute/McGill University（魁北克AI研究所/麦吉尔大学）
本文提出了一种将非单调DR-子模最大化问题转化为在线线性优化的方法，实现了O(T^{1/2})的静态后悔和改进的动态后悔保证。
2026-07-13 cs.LG math.OC stat.ML
Online Inventory Problems: Beyond the i.i.d. Setting with Online Convex Optimization
LOPF, Califrais’ Machine Learning Lab, Paris, France（LOPF，Califrais机器学习实验室，巴黎，法国）；Université Paris Cité and Sorbonne Université, CNRS, Laboratoire de Probabilités, Statistique et Modélisation, Paris, France（巴黎大学和索邦大学，CNRS，概率、统计与建模实验室，巴黎，法国）
本文提出MaxCOSD算法，通过非退化假设解决非i.i.d.需求下的多产品库存控制问题，实现对动态和损失的鲁棒优化。
2023-07-12 cs.LG math.OC stat.ML
Online Strongly Convex Optimization with Unknown Delays
Nanjing University（南京大学）；Paradigm Inc.（第四范式公司）
研究了具有未知时滞的在线凸优化问题，其中决策反馈具有任意时滞。以往的研究提出了一种延迟的在线梯度下降算法（OGD），并仅利用凸性条件得到了$O(\sqrt{T+D})$的遗憾界，其中$D$是$T$轮上的延迟之和.在本文中，我们进一步利用强凸性来提高遗憾界。具体地说，我们首先扩展了强凸函数的OGD的延迟变体，并建立了$O(d\log T)$的更好的遗憾界，其中$d$是最大延迟。其基本思想是让学习率随接收到的反馈总数线性衰减。此外，我们考虑更具挑战性的强盗设置，并获得类似的理论保证，将经典的多点梯度估计到我们的扩展方法。据我们所知，这是第一个工作，解决在线强凸优化一般延迟设置。
2021-03-21 cs.LG math.OC
A Linearly Convergent Conditional Gradient Algorithm with Applications to Online and Stochastic Optimization
Technion - Israel Inst. of Tech.（以色列理工学院）
线性优化在算法上比非线性凸优化简单许多倍。线性优化拟阵多面体，匹配多面体和路径多面体的问题，我们有简单而有效的组合算法的例子，但其非线性凸对应更难，并承认显着效率较低的算法。这就激发了凸优化的计算模型，包括离线，在线和随机设置，使用线性优化预言机。在这个计算模型中，我们给出了几个新的结果，改善了以前的国家的最先进的。我们的主要结果是一个新的条件梯度算法光滑和强凸优化多面体集，执行只有一个单一的线性优化步骤，在每个迭代的域上，并享有线性收敛速度。这给出了一个指数级的改善收敛速度比以前的结果。基于这个新的条件梯度算法，我们给出了第一个算法的在线凸优化多面体集，只执行一个单一的线性优化步骤的域，同时有最佳的遗憾保证，回答一个悬而未决的问题Kalai和Vempala，Hazan和羽衣甘蓝。我们的在线算法也意味着条件梯度算法的非光滑和随机凸优化与投影（子）梯度方法相同的收敛速度。
2015-08-14 cs.LG math.OC stat.ML
Online Convex Optimization with Unbounded Memory
Cornell University（康奈尔大学）
本文提出具有无界记忆的在线凸优化框架，引入p-有效记忆容量H_p量化历史决策影响，证明策略遗憾的O(√(H_pT))上下界，并应用于在线线性控制与执行预测等问题。
2024-03-29 cs.LG math.OC stat.ML
Lazy OCO: Online Convex Optimization on a Switching Budget
Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
本文研究遗忘对手设置下带切换次数预算的在线凸优化问题，提出对一般凸损失和强凸损失分别达到 O(T/S) 和 Õ(T/S^2) 遗憾界的高效算法，并给出匹配下界。
2023-09-17 cs.LG math.OC stat.ML
A Unified Framework for Analyzing Meta-algorithms in Online Convex Optimization
Mila - Quebec AI Institute/McGill University（魁北克人工智能研究所/麦吉尔大学）；Purdue University（普渡大学）
本文提出了一种统一框架，用于分析在线凸优化中不同反馈类型和对手设定下的元算法，通过转换一阶算法为零阶算法，实现了在不同场景下的优化方法统一和性能保证。
2026-02-20 cs.LG math.OC stat.ML
A Distributed Online Convex Optimization Algorithm with Improved Dynamic Regret
Duke University（杜克大学）
在本文中，我们考虑的问题，分布式在线凸优化，在网络的本地代理的目的是共同优化一个凸函数在一段时间内的多个时间步长。特工们对未来一无所知。现有的算法已经建立了明确的依赖于时间步长的数量的动态遗憾界。在这项工作中，我们表明，我们可以消除这种依赖性，假设当地的目标函数是强凸的。更准确地说，我们提出了一个梯度跟踪算法，代理联合通信和下降的基础上校正梯度步骤。我们通过数值实验验证了我们的理论结果。
2019-11-12 cs.LG math.OC
Curvature-Independent Regret Bounds for Distributed Online Optimization on Hadamard Manifolds
Northeastern University（东北大学）
本文提出分布式黎曼在线梯度下降（D-ROGD）算法，在Hadamard流形上针对h-凸函数实现曲率无关的遗憾界，分别达到O(√T)和O(log T)的静态遗憾，并通过实验验证。
2026-09-15 cs.LG math.OC stat.ML
Small Gradient Norm Regret for Online Convex Optimization
Stanford University（斯坦福大学）；Shanghai University of Finance and Economics（上海财经大学）
本文提出了一种新的在线凸优化遗憾度量$G^\star$，通过改进的遗憾分析和实验验证，提升了对平滑损失的收敛性能。
2026-09-22 cs.LG math.OC stat.ML
Dynamic and Distributed Online Convex Optimization for Demand Response of Commercial Buildings
University of California, Berkeley（加州大学伯克利分校）
本文将在线分布式加权对偶平均（DWDA）算法[1]的遗憾分析扩展到动态设置，并为分布式在线凸优化（OCO）算法提供了迄今为止已知的关于时间范围的最紧动态遗憾界。我们的界限是线性的连续最优值之间的累积差异，并不显着依赖于时间范围。我们使用动态在线DWDA（D-ODWDA），制定了一个性能保证的分布式在线需求响应方法的供热，通风和空调（HVAC）系统的商业建筑。我们展示了我们的方法在数值模拟的快速时间尺度的需求响应的性能，并获得需求响应的决定，密切再现集中的最优。
2020-04-17 cs.LG math.OC
Learning-Augmented Decentralized Online Convex Optimization in Networks
UC Riverside（加州大学河滨分校）；Caltech（加州理工学院）
本文提出学习增强去中心化在线优化算法LADO，在去中心化多智能体网络中结合基准策略与机器学习策略，兼顾最坏情况鲁棒性和平均性能，并证明其平均成本界及权衡关系。
2024-10-18 cs.LG math.OC
Tight Bounds for Online Convex Optimization with Adversarial Constraints
School of Technology and Computer Science, Tata Institute of Fundamental Research（塔塔基础研究院技术与计算机科学学院）
本研究解决了约束在线凸优化的长期开放问题，通过结合AdaGrad自适应悔值界与李雅普诺夫优化，首次证明无额外假设下可同时实现$O(\sqrt{T})$悔值与$\tilde{O}(\sqrt{T})$累积约束违反量。
2024-05-15 cs.LG math.OC
Online Submodular Maximization via Online Convex Optimization
Northeastern University（东北大学）；Boston University（波士顿大学）
研究一般拟阵约束下的单调次模最大化在线优化问题，通过证明加权阈值势函数可凹松弛，将其归约为在线凸优化（OCO），结合舍入方案实现次线性遗憾，并扩展至动态遗憾、老虎机和乐观学习设定。
2024-01-08 cs.AI cs.LG math.OC
Logarithmic Regret for Online Gradient Descent Beyond Strong Convexity
Technion - Israel Institute of Technology（以色列理工学院）
Hoffman的经典结果给出了一个关于一个点到一个凸紧多面体的距离的界，这个界是根据违反约束的大小而定的。最近，一些结果表明，霍夫曼的界限可以用来获得强凸状率的一阶方法的\textit{offline}凸优化曲线，但不是强凸，功能，在多面体集。在这项工作中，我们使用这个经典的结果，第一次获得更快的速度为\textit{online convex optimization}在多面体集弯曲凸，虽然不是强凸，损失函数。我们表明，在几个合理的假设下的数据，标准的\textit{Online Gradient Descent}算法保证对数遗憾。据我们所知，唯一以前的算法，以实现对数遗憾在所考虑的设置是\textit{Online Newton Step}算法，它需要二次（在维度）的内存和至少二次运行时间每次迭代，这大大限制了其适用于大规模的问题。特别是，我们的研究结果适用于\textit{semi-adversarial}设置，其中数据是任意（对抗）序列和随机序列的组合，这可能为许多真实世界的序列提供合理的近似，或者在自然假设数据是低秩的情况下。我们通过实验证明，遗憾的OGD确实是可比的ONS（甚至更好）弯曲，但不是强凸损失。
2019-02-18 cs.LG math.OC
Projection-Free Online Convex Optimization with Stochastic Constraints
KAIST（韩国科学技术院）；The University of Sydney（悉尼大学）
针对具有随机约束的在线凸优化问题，本文提出了一种通用的在线原始-对偶无投影框架，并推导出多种设定下的次线性遗憾与约束违背界，在平滑与随机强对偶条件下进一步优化了约束违背的渐近增长率。
2023-05-16 cs.LG math.OC
Augmented Lagrangian Methods for Time-varying Constrained Online Convex Optimization
本文研究了具有时变损失和约束函数的在线凸优化问题。具体地说，决策者只根据过去的信息来选择顺序决策，同时损失和约束函数随着时间的推移而显现。首先，我们开发了一类基于模型的增广拉格朗日方法（MALM）的时变功能约束OCO（无反馈延迟）。在标准假设下，我们建立了次线性后悔和次线性约束违反MALM。此外，我们扩展MALM处理时变功能约束的OCO与延迟反馈，其中的反馈信息的损失和约束功能透露给决策者的延迟。在没有额外假设的情况下，我们还建立了延迟版本的MALM的次线性后悔和次线性约束违反。最后，给出了在线网络资源分配、在线逻辑斯谛回归和在线二次约束二次规划等约束OCO问题的数值结果，验证了算法的有效性.
2022-05-19 math.OC stat.ML
Projection-free Online Learning over Strongly Convex Sets
National Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术全国重点实验室）；Pazhou Lab（琶洲实验室）
针对强凸集上的在线学习问题，改进OFW的步长策略并提出强凸版OFW变体，分别在一般凸损失和强凸损失下取得更优的遗憾界，提升无投影在线算法的性能。
2024-06-24 cs.LG math.OC
Regrets of Proximal Method of Multipliers for Online Non-convex Optimization with Long Term Constraints
在闭凸集上具有非凸损失函数的在线最优化问题，加上一组不等式（可能是非凸的）约束，是一个具有挑战性的在线学习问题。提出了一种二次逼近乘子近似法（OPMM）来求解这类带长期约束的在线非凸优化问题。分析了OPMM在求解在线非凸优化问题时违反Karush-Kuhn-Tucker条件的不足。在较弱的条件下，证明了该算法具有${\cO}(T^{-1/8})$拉格朗日梯度违背遗憾、${\cO}(T^{-1/8})$约束违背遗憾和${\cO}(T^{-1/4})$互补剩余遗憾，其中$T$表示时间段的个数.对于目标为凸二次函数的情形，证明了即使可行集为非凸的，目标约简的遗憾也是成立的。对于约束函数为凸函数的情形，若OPMM子问题的解是通过求解其对偶得到的，则证明了OPMM是求解在线非凸最优化问题的一种可实现的投影方法.
2022-04-23 math.OC
Inexact Online Proximal-gradient Method for Time-varying Convex Optimization
University of Colorado Boulder（科罗拉多大学博尔德分校）；IBM Research Ireland（IBM爱尔兰研究院）
本文考虑了一种在线逼近梯度法来跟踪随时间连续演化的复合凸函数的极小值。在线近似梯度法是不精确的，在这个意义上：（i）它依赖于成本的平滑分量的近似一阶信息;以及（ii）近似算子（相对于非平滑项）只能计算到一定精度。在适当的假设下，建立了强凸费用函数的误差迭代的收敛性。另一方面，动态后悔的成本不是强凸的情况下，额外的假设下，该问题包括可行性集是紧凑的。边界用累积误差和最优解的路径长度表示。这表明如何分配资源以在梯度计算和邻近算子中的性能和精度之间取得平衡。
2020-04-22 cs.LG math.OC
Online Convex Optimization Perspective for Learning from Dynamically Revealed Preferences
Carnegie Mellon University（卡内基梅隆大学）
我们研究的问题，在线学习（OL）从显示的偏好：学习者希望学习一个非战略代理的私人效用函数，通过观察代理的效用最大化的行动，在不断变化的环境。我们采用了在线逆优化设置，学习者观察代理的行动流在网上的时尚和学习性能的衡量与损失函数的遗憾。我们首先刻画了一类特殊但广泛的智能体效用函数，然后利用这种结构设计了一个新的凸损失函数。我们建立了关于我们的新损失函数的后悔也限制了关于文献中所有其他常见的损失函数的后悔。这使我们能够设计一个灵活的OL框架，使一个统一的处理损失函数，并支持各种在线凸优化算法。我们证明与理论和实证证据表明，我们的框架的基础上新的损失函数（特别是在线镜像下降）的遗憾性能和解决方案的时间比其他OL算法从文献和绕过以前的技术假设，以及显着的优势。
2021-06-04 cs.LG math.OC
Online Optimization in Dynamic Environments: Improved Regret Rates for Strongly Convex Problems
University of Pennsylvania（宾夕法尼亚大学）；Harvard University（哈佛大学）
在本文中，我们解决跟踪的时变参数与未知的动态。我们正式的问题作为一个实例，在一个动态的设置在线优化。使用在线梯度下降，我们提出了一种方法，顺序预测的参数值，反过来又遭受损失。其目标是尽量减少在一段时间内累积的损失，这一概念被称为动态后悔。虽然现有的方法集中在凸损失函数，我们认为强凸函数，以便提供更好的性能保证。我们得到一个遗憾的界限，捕获的路径长度的时变参数，定义在其连续值之间的距离。换句话说，边界表示跟踪质量与参数变化率的自然联系。我们提供数值实验来补充我们的理论研究结果。
2016-03-16 cs.LG math.OC
Optimal Bounds for Adversarial Constrained Online Convex Optimization
本文研究约束在线凸优化（COCO）问题，首次基于新的代理损失函数，证明Follow-the-Regularized-Leader和Online Gradient Descent能在遗憾和累积约束违反上同时获得最优的$O(\sqrt{T})$界。
2025-05-29 cs.DS cs.LG math.OC
Revisiting Projection-free Online Learning: the Strongly Convex Case
Technion - Israel Institute of Technology（以色列理工学院）
无投影优化算法主要基于经典的Frank-Wolfe方法，近年来在机器学习社区中获得了极大的兴趣，因为它们能够处理在许多应用中流行的凸约束，但是对于这些凸约束，计算投影在高维设置中通常在计算上是不切实际的，因此禁止使用大多数标准的基于投影的方法。特别是，一个显着的研究工作投入了无投影方法的在线学习。在本文中，我们重新审视了Hazan和Kale \cite{Hazan12}提出的在线Frank-Wolfe（OFW）方法，并填补了多年来未被注意到的空白：OFW在强凸函数上实现了更快的$O(T^{2/3})$速度（与标准的$O(T^{3/4})$相反，对于凸但不是强凸函数），其中$T$是序列长度。这有点令人惊讶，因为众所周知，对于离线优化，一般来说，强凸性不会导致Frank-Wolfe的更快速度。我们还重新审视了强凸性下的bandit设置，并证明了$\tilde O(T^{2/3})$（而不是没有强凸性的$O(T^{3/4})$）的一个类似的界。因此，在目前的事态，最好的投影自由的上界的全信息和强盗设置强凸和非光滑的功能匹配的对数因子在$T$。
2021-02-23 cs.LG math.OC
Online Non-convex Optimization with Long-term Non-convex Constraints
Department of Electrical and Computer Engineering（电气与计算机工程系）；Johns Hopkins University（约翰霍普金斯大学）；International Business School（国际商务学院）；Suzhou Xi’an Jiaotong-Liverpool University（苏州市西安交通大学利物浦大学）；Department of Data and Systems Engineering（数据与系统工程系）；HKU Musketeers Foundation（HKU Musketeers基金会）；Institute of Data Science（数据科学研究所）；The University of Hong Kong（香港大学）
针对目标和约束均非凸的在线长期约束优化问题，提出结合拉格朗日重构、原始方向指数随机扰动与对偶方向强凹对数正则化的Follow-the-Perturbed-Leader类算法，首次实现次线性累积悔度，在河流污染源识别任务上性能优于现有方法。
2025-10-01 cs.LG math.OC
Optimal Algorithms for Online Convex Optimization with Adversarial Constraints
School of Technology and Computer Science（技术与计算机科学学院）；Tata Institute of Fundamental Research（塔塔基础研究院）
针对约束在线凸优化，本文将自适应 OCO 黑箱策略与 Lyapunov 优化结合，首次在无限制性假设下实现 $O(\sqrt{T})$ 遗憾与 $\tilde{O}(\sqrt{T})$ CCV，并在强凸代价下将遗憾改进至 $O(\log T)$。
2024-10-27 cs.LG math.OC
Safe Online Convex Optimization with Unknown Linear Safety Constraints
Texas A&M University（德克萨斯农工大学）
研究了安全在线凸优化问题，其中每个时间步的行动必须满足一组线性安全约束。我们的目标是选择一系列的行动，以尽量减少遗憾，而不违反安全约束在任何时间步骤（高概率）。指定线性安全约束的参数对于算法是未知的。该算法只能访问所选动作的约束的噪声观测。我们提出了一种算法，称为{安全在线投影梯度下降}（SO-PGD）算法，以解决这个问题。我们表明，在假设的安全基线行动的可用性，SO-PGD算法实现了遗憾$O(T^{2/3})$。虽然有许多算法的在线凸优化（OCO）的安全约束问题在文献中，他们允许在学习/优化过程中的约束违反，并一直专注于特征的累积约束违反。据我们所知，我们的工作是第一次提供了一个算法与可证明的保证遗憾，而不违反线性安全约束（高概率）在任何时间步。
2021-11-14 cs.LG math.OC
Online Revenue Maximization with Unknown Concave Utilities
我们研究了一个在线收入最大化问题，消费者从一些未知的分销商到达i.i.d，并从卖家购买一捆产品。经典的方法一般假设消费者效用函数的完整知识，而最近的工作一直致力于未知的线性效用函数。本文研究了消费者分布和效用均为凹的未知消费者分布和效用的在线标价模型。因此，要问的两个问题是：i）卖方的在线最大化问题何时是凹的，以及ii）如何找到非线性效用的最优定价策略。我们回答第一个问题，通过对效用施加三阶平滑条件。第二个问题是解决了两个算法，我们证明表现出次线性遗憾的$O(T^{\frac{2}{3}} (\log T)^{\frac{1}{3}})$和$O(T^{\frac{1}{2}} (\log T)^{\frac{1}{2}})$分别。
2022-10-01 cs.GT math.OC
CLASP: An online learning algorithm for Convex Losses And Squared Penalties
Department of Computer Science, NOVA School of Science and Technology（计算机科学系，NOVA科学与技术学院）；Institute for Systems and Robotics, LARSyS, Instituto Superior Técnico, Universidade de Lisboa（系统与机器人研究所，LARSyS，理工学院，里斯本大学）
CLASP是一种用于凸损失和平方惩罚的在线学习算法，通过利用凸投影的强非扩张性，实现了对强凸问题的对数级别的悔值和累积惩罚保证。
2026-01-24 cs.LG math.OC
Universal Online Convex Optimization Meets Second-order Bounds
National Key Laboratory for Novel Software Technology（现代软件工程国家重点实验室）；School of Artificial Intelligence, Nanjing University（南京大学人工智能学院）；College of Computing, Georgia Institute of Technology（佐治亚理工学院计算学院）；JD AI Research（京东AI研究院）
本文提出一种通用在线凸优化策略，通过专家集合与带二阶界和超额损失的元算法聚合预测，统一处理强凸、指数凹和一般凸函数，并扩展至在线复合优化，在保持极小极大最优性的同时取得问题相关遗憾界。
2024-11-20 cs.LG math.OC
Smoothed Online Convex Optimization Based on Discounted-Normal-Predictor
Nanjing University（南京大学）；the University of Iowa（爱荷华大学）
在本文中，我们研究了一种在线预测策略，称为贴现正态预测器（Kapralov和Panigrahy，2010），用于平滑在线凸优化（SOCO），其中学习者不仅需要最小化命中成本，还需要最小化切换成本。在专家建议的学习环境中，Daniely和Mansour（2019）证明了贴现正态预测器可以在任何时间间隔内产生接近最优的后悔界限，即使存在转换成本。受他们结果的启发，我们开发了一种简单的SOCO算法：通过贴现正态预测器将在线梯度下降（OGD）与不同的步长顺序组合。尽管它的简单性，我们证明了它是能够最小化的自适应遗憾与切换成本，即，在每一区间上都能得到具有切换成本的近似最优后悔。通过利用OGD对动态后悔的理论保证，进一步证明了该算法在每个区间内都能最小化动态后悔且具有切换代价。
2022-05-02 cs.LG math.OC
Online Learning for Approximately-Convex Functions with Long-term Adversarial Constraints
IIT Kharagpur, India（印度德里技术学院）；IIT (ISM) Dhanbad, India（印度丹巴德IIT（ISM））；TIFR Mumbai, India（印度孟买理论物理研究所）
针对对抗性环境下带长期预算约束的在线学习问题，提出一阶在线算法，在全信息和bandit反馈下保证O(√T)α-遗憾，资源消耗可控，适用于DR-子模极大化等非凸问题，结果紧且有下界匹配。
2025-08-23 cs.LG math.OC
Optimal Hidden-Target Learning for Online Inventory Optimization on General Convex Sets
UIUC（伊利诺伊大学厄巴纳-香槟分校）
针对一般凸容量集上的在线库存优化问题，提出隐藏目标投影方法，将遗憾从逆概率依赖改进为平方根逆概率依赖，并证明匹配下界，同时首次给出强凸损失的 polylog 遗憾和动态遗憾保证。
2026-06-15 cs.LG cs.SY eess.SY
Distributed Online Convex Optimization with Time-Varying Coupled Inequality Constraints
KTH Royal Institute of Technology（KTH皇家理工学院）；Nanyang Technological University（南洋理工大学）
研究了具有时变耦合不等式约束的分布式在线优化问题。全局目标函数由局部凸代价函数和正则化函数组成，耦合约束函数由局部凸函数和构成。提出了一种分布式在线原始-对偶动态镜像下降算法来解决这个问题，该算法的局部代价、正则化和约束函数都是私有的，并且只在每个时隙后才显示。在不假设斯莱特的条件下，我们首先推导出后悔和约束违反边界的算法，并显示它们如何依赖于步长序列，累积的动态变化的比较器序列，代理的数量，和网络的连通性。结果表明，在某些自然递减步长序列下，如果最优序列的累积动态变化也呈次线性增长，则算法达到次线性动态后悔和约束违反.我们还证明了该算法实现次线性静态遗憾和约束违反温和的条件下。假设斯莱特的条件下，我们表明，该算法实现了更小的界限上的约束违反。此外，当目标函数是强凸的时，静态后悔的边界更小。最后，通过数值模拟验证了理论结果的有效性。
2019-06-05 cs.DC cs.LG math.OC
Online Optimization of Difference-of-Convex Compositions with Smooth Mappings
Management Science and Engineering, Stanford University（斯坦福大学管理科学与工程系）；The Daniel J. Epstein Department of Industrial and Systems Engineering, University of Southern California（南加州大学丹尼尔·J·埃普斯坦工业与系统工程系）
研究结构化非凸非光滑问题的在线优化，提出时间平滑近端线性算法和基于近端残差映射的局部遗憾度量，建立局部遗憾界等，推导误差界，证明残差是平稳性度量，可通过凸优化预言机计算更新。
2026-07-23 cs.LG math.OC
An Efficient Interior-Point Method for Online Convex Optimization
Google DeepMind（谷歌DeepMind）；IBM Almaden Research Center（IBM阿尔马登研究中心）
本研究提出一种在线凸优化的高效内点算法，实现O(√(T log T))的最优遗憾界且具备子区间自适应性，每次迭代仅需求解n阶线性方程组，运行效率与最新内点算法相当。
2023-07-21 cs.LG math.OC
Decentralized Online Riemannian Optimization for Strongly Geodesically Convex Functions
Department of Mechanical & Industrial Engineering at Northeastern University（东北大学机械与工业工程系）
研究黎曼流形上强测地凸损失的分散式在线优化，通过提供时变调度的网络误差分析，为分散式在线黎曼梯度下降建立$O(\log T)$静态遗憾界，并为两点策略反馈设置证明相同界，匹配强凸欧几里得在线优化最优速率。
2026-07-23 cs.LG cs.MA math.OC
Strongly convex stochastic online optimization on a unit simplex with application to the mixing least square regression
本文提出了一种在非欧环境下利用随机在线镜像下降获得混合最小二乘回归估计的新方法。
2017-03-23 math.OC
Online Optimization Problems with Functional Constraints under Relative Lipschitz Continuity and Relative Strong Convexity Conditions
最近，引入了相对光滑、相对连续和相对强凸优化问题的重要类别。这些概念显着扩大了一类问题，最佳复杂性估计的梯度型方法在高维空间发生。基于近年来对目标函数为相对Lipschitz连续和相对强凸的在线优化（遗憾极小化）问题的研究，本文提出了在线求解带不等式约束的强凸优化问题的算法.我们提出了一个计划与生产和非生产步骤之间的切换这类问题，并证明了其收敛速度的类相对Lipschitz和强凸极小化问题。我们还提供了一个实验比较所提出的方法和AdaMirr，最近提出的相对Lipschitz凸问题。
2023-03-05 math.OC
Online inverse reinforcement learning with unknown disturbances
研究了存在未知扰动的非线性系统的在线逆强化学习问题。所开发的方法观察代理的状态和输入轨迹，并在线识别未知的奖励函数。次优引入的观测轨迹的未知外部干扰补偿使用一种新的基于模型的逆强化学习方法。观测器估计外部干扰，并使用由此产生的估计来学习演示器的动态模型。学习的演示模型与观察到的次优轨迹一起用于实现逆强化学习。理论保证，使用李雅普诺夫理论和仿真例子证明所提出的技术的有效性。
2020-03-09 cs.SY eess.SY math.OC
Data-Driven Adversarial Online Control for Unknown Linear Systems
Georgia Institute of Technology（佐治亚理工学院）
针对未知线性系统对抗式在线控制问题，提出基于行为系统理论和在线梯度下降的新型数据驱动算法，达到已知最优$\tilde{O}(T^{2/3})$悔界，并扩展至输出反馈场景。
2024-03-09 cs.LG cs.SY eess.SY
