Delayed Feedback in Online Non-Convex Optimization: A Non-Stationary Approach with Applications
Universidad de Tarapacá（塔拉帕卡大学）
本文提出了一种非平稳方法，用于解决非凸延迟噪声在线优化问题，通过理论分析和实验验证，展示了该方法在非凸函数优化中的有效性。
2026-01-07 math.OC
Prediction in Online Convex Optimization for Parametrizable Objective Functions
在线最优化问题的许多技术都涉及仅基于当前可用信息做出决策：利用潜在预测的作品较少。本文讨论可参数化目标的在线凸优化问题，即只依赖于参数在给定时刻的值的最优化问题。我们引入了一个新的规律性的基础上的参数的预测值的准确性，动态遗憾，并表明，在温和的假设下，准确的预测可以产生更严格的动态遗憾的界限。受学习如何优化的最新进展的启发，我们还提出了一种新的算法，可以同时预测和优化可参数化的目标，并使用模拟和真实数据研究其性能。
2019-02-01 math.OC
Decentralized Online Convex Optimization in Networked Systems
我们研究了网络在线凸优化问题，其中每个代理单独决定在每个时间步的行动和代理合作寻求最小化总的全球成本在有限的地平线。全局成本由三种类型的局部成本组成：凸节点成本、时间交互成本和空间交互成本。在决定他们的个人行动，在每一个时间，代理有机会预测本地费用函数的下一个$k$时间步长在$r$跳附近。我们的工作提出了一种新的在线算法，局部预测控制（LPC），它将预测控制推广到多智能体系统。我们发现，LPC实现了竞争比$1 + \tilde{O}(ρ_T^k) + \tilde{O}(ρ_S^r)$在对抗设置，其中$ρ_T$和$ρ_S$是常数在$(0, 1)$的时间和空间的相互作用成本的相对强度增加，分别。这是网络化在线凸优化分散预测控制的第一个竞争比界。此外，我们表明，依赖于$k$和$r$在我们的结果是接近最优的下界的竞争比任何分散的在线算法。
2022-07-13 math.OC
Distributed and Inexact Proximal Gradient Method for Online Convex Optimization
本文提出在线分布式近端梯度方法（DPGM），用于时变复合凸优化问题，并证明在通信噪声或量化等非精确条件下，跟踪误差受收敛线性系统上界约束，保证收敛到最优解邻域。
2021-04-01 math.OC
Quantized Distributed Online Projection-free Convex Optimization
针对时变多智能体网络的在线分布式凸约束优化问题，提出结合随机量化器的无投影优化算法，建立不同量化参数下的动态悔值上界，揭示收敛性能与量化效应的权衡，通过仿真验证理论结果。
2023-05-08 math.OC
Second-order Online Nonconvex Optimization
我们提出了在线牛顿法，一个单步二阶在线非凸优化方法。我们分析了它的性能，并得到了一个动态的遗憾界，是线性的轮最优值之间的累积变化。我们表明，如果轮最优值之间的变化是有限的，该方法导致一个恒定的遗憾界。在一般情况下，在线牛顿法优于在线凸优化算法的凸函数，并执行类似于一个专门的算法，强凸函数。我们模拟的性能在线牛顿法的非线性，非凸的移动目标定位的例子，发现它优于一阶的方法。
2020-06-09 math.OC
Distributed Online Convex Optimization with Improved Dynamic Regret
在本文中，我们考虑分布式在线凸优化的问题，其中一组代理合作，以在线方式跟踪全局极小值的时变目标函数的总和。具体来说，我们提出了一种新的分布式在线梯度下降算法，依赖于静态优化中使用的梯度跟踪技术的在线适应。我们表明，该算法的动态遗憾界没有明确的时间范围的依赖，因此，可以比现有的界限，特别是对于长期的问题。我们的边界依赖于一个新的正则性度量，该度量量化了每个时刻最佳点处梯度的总变化。此外，当优化近似线性动力学，我们表明，动态遗憾界可以进一步收紧取代的规律性措施，捕获路径长度的优化与累积的预测误差，这可以在这种特殊情况下低得多。我们提出了数值实验来证实我们的理论结果。
2020-10-13 math.OC
Data-driven online convex optimization for control of dynamical systems
提出了一种数据驱动的在线凸优化算法用于控制动力系统。特别是，该控制方案利用一个初始测量的输入输出轨迹和行为系统理论，使其能够处理未知的离散时间线性定常系统以及先验未知的时变费用函数。此外，所提出的方法仅需要输出反馈而不是全状态测量。对闭环系统性能的分析表明，当费用函数的变化为次线性时，该算法达到了次线性遗憾。所提出的算法的有效性，即使在有噪声的测量的情况下，示出了一个仿真例子。
2021-11-02 math.OC
Contaminated Online Convex Optimization
本文提出“受污染的在线凸优化”新机制以解决目标函数性质随时间步变化的在线凸优化问题，推导了后悔值下界，证明了通用算法及所提带额外信息算法的后悔值上界，后者与下界匹配。
2024-12-12 math.OC
Distributed Online Convex Optimization with an Aggregative Variable
研究了多智能体网络中存在聚集变量且没有全局/中心协调器的分布式在线凸优化问题，其中每个智能体只能获得时变全局损失函数的部分信息，因此需要相邻智能体之间进行局部信息交换.受现实中许多应用的启发，所考虑的局部损失函数不仅依赖于它们自己的决策变量，而且依赖于一个聚集变量，例如所有决策变量的平均值。为了解决这个问题，在线分布式梯度跟踪算法（O-DGT）提出了准确的梯度信息，它表明，动态遗憾的上界由三个项：一个次线性项，路径变化项，和梯度变化项。同时，O-DGT算法也分析了随机/噪声梯度，表明预期的动态遗憾有相同的上界的精确梯度的情况下。据我们所知，本文是第一个研究在线凸优化存在的聚集变量，这与传统的情况下，没有聚集变量相比，具有新的特点。最后，数值实验证实了所得到的理论结果。
2020-07-14 math.OC
Non-convex online learning via algorithmic equivalence
Google AI Princeton（谷歌AI普林斯顿）；Princeton University（普林斯顿大学）
我们研究了非凸梯度下降和凸镜下降之间的算法等价技术。我们首先看一个更难的问题，在线非凸优化的遗憾最小化。我们表明，在一定的几何和光滑条件下，在线梯度下降适用于非凸函数是一个近似的在线镜像下降适用于凸函数下重新参数化。在连续时间中，这种重新参数化的梯度流被证明是完全等价于连续时间镜像下降的Amid和Warren 2020，但类似的离散时间算法的理论仍然是一个悬而未决的问题。我们证明了一个$O(T^{\frac{2}{3}})$遗憾界的非凸在线梯度下降在此设置，回答这个开放的问题。我们的分析是基于一个新的和简单的算法等效方法。
2022-10-12 cs.LG math.OC
A Continuous-Time Nesterov Accelerated Gradient Method for Centralized and Distributed Online Convex Optimization
利用在线连续时间Nesterov加速梯度法（OCT-NAG）研究了在线凸优化问题。我们表明，在线版本的布雷格曼拉格朗日产生的连续时间动态实现了恒定的静态遗憾$\frac{c}σ$独立的$T$，提供了一些有界性假设的目标函数和最优解。据作者所知，这是文献中最低的静态遗憾（低于$O(\text{log}(T))$）。我们进一步证明了在相同的假设条件下，该算法的动态遗憾是$O(T)$，这是与现有的方法相媲美。仿真结果验证了该方法的有效性。此外，仿真结果表明，该算法表现出良好的动态遗憾的一些特定的缩放条件。此外，我们考虑所提出的在线优化方法在分布式在线最优化问题中的应用，并表明所提出的算法实现了$O(\sqrt{T})$静态遗憾，这是与现有的分布式在线最优化方法。与这些方法不同的是，该方法既不需要梯度有界性假设，也不需要紧约束集假设，从而允许与文献中不同的目标函数和最优化问题。一个可比的动态后悔。仿真结果表明了分布式算法的有效性和效率。
2020-09-26 math.OC
Online Primal-Dual Methods with Measurement Feedback for Time-Varying Convex Optimization
本文讨论了基于反馈的在线算法的设计和分析，控制系统或网络系统的性能目标和工程约束，可能会随着时间的推移而演变。新兴的时变凸优化形式主义是利用模型的最佳操作轨迹的系统，以及明确的本地和网络级的操作约束。与现有的批处理和前馈优化方法不同，算法的设计利用了原始-对偶投影梯度法的在线实现;然而，梯度步骤被适当地修改以适应来自系统的以测量形式的反馈-因此，术语“具有反馈的在线优化”。“凭借这种方法，所得到的算法可以处理系统状态和输出的代数表示中的模型失配，它们避免了对外源输入的普遍测量，并且它们自然地适合于分布式实现。在适当的假设下，建立了基于动态后悔的分析收敛性声明。此外，当基于反馈的在线算法的合成是基于正则化拉格朗日函数，Q-线性收敛到时变最优化问题的解决方案。
2019-03-06 math.OC
Proximal Algorithms for Smoothed Online Convex Optimization with Predictions
针对带预测的平滑在线凸优化问题，本文提出基于交替近端梯度下降的滚动时域算法，实现动态遗憾随前瞻窗口指数衰减，并优于梯度下降法。
2023-10-13 math.OC
Dynamic Regret for Online Composite Optimization
本文研究动态环境中的在线复合优化问题，其中每个目标或损失函数包含一个时变不可微正则化子。为了解决这个问题，在线近似梯度算法研究了两种不同的情况下，包括凸和强凸目标没有光滑条件。在这两种情况下，与大多数工作不同，采用传统路径变化的扩展版本来约束所考虑的性能度量，即，动态后悔在凸的情况下，一个绑定$\mathcal{O}(\sqrt{T^{1-β}D_β(T)+T})$是最有名的结果，其中$D_β(T)$是扩展的路径变化与$β\in[0,1)$和$T$的总轮数。在强凸情形下，建立了动态后悔的一个界$\mathcal{O}(\log T(1+T^{-β}D_β(T)))$.最后给出了数值例子来支持理论结果。
2023-03-23 math.OC
Online Saddle Point Problem and Online Convex-Concave Optimization
China University of Petroleum（中国石油大学）；College of Information Science and Engineering（信息科学与工程学院）
该研究围绕在线鞍点问题提出OCCO框架，以广义对偶间隙为性能度量，建立其与OCO的平行关系，开发两种相关算法并验证有效性，同时指出动态纳什均衡悔值存在固有缺陷。
2023-12-15 cs.LG math.OC
Gradient-Only Online Convex Optimization with a Single Quadratic Leader
针对仅知次梯度且未知强凸参数的有界域在线凸优化，提出尺度不变算法，耦合投影自适应梯度下降与单一二次领导者，实现无对数因子的遗憾界及强凸改进。
2026-10-20 math.OC
Online Convex Optimization with Time-Varying Constraints
本文研究了具有时变约束函数的在线凸优化问题。具体地说，我们有一个序列的凸目标函数$\{f_t(x)\}_{t=0}^{\infty}$和凸约束函数$\{g_{t,i}(x)\}_{t=0}^{\infty}$的$i \in \{1, ..., k\}$。随着时间的推移，功能逐渐显现。对于给定的$ε>0$，目标是在不知道该步骤上的$f_t$和$g_{t,i}$函数的情况下，在每个步骤$t$中选择点$x_t$，以实现时间平均至多$ε$比可以用后见之明选择的最佳固定决策更差，受限于约束函数的时间平均为非正。众所周知，这一目标通常是不可能实现的。本文提出了一种在线算法，解决了问题的$O(1/ε^2)$收敛时间的特殊情况下，所有的约束函数是非正的一个共同的子集$\mathbb{R}^n$。当公共子集假设被移除但约束函数被假设为根据独立且同分布（i.i.d.）的随机过程而变化时，在预期意义上示出了类似的性能。在时隙$t \in \{0, 1, 2, \ldots\}$上。最后，在约束函数和目标函数都是独立同分布的特殊情况下，在时隙$t$上，该算法被示出为相对于知道全概率分布的最佳（可能是时变的）因果策略在$ε$的最优性内。
2017-02-17 math.OC
Online Convex Optimization with Perturbed Constraints
本文讨论在线凸优化（OCO）问题的约束有附加扰动，（i）随时间变化，（ii）不知道在作出决定的时候。扰动可能不是i.i.d.生成的，并可用于模拟一个随时间变化的预算或商品的资源分配问题。问题是设计一个策略，获得次线性遗憾，同时确保平均满足的约束。为了解决这个问题，我们提出了一个原始-对偶近端梯度算法，有$O(T^ε\vee T^{1-ε})$遗憾和$O(T^ε)$约束违反，其中$ε\in [0,1)$是一个参数的学习率。我们的研究结果匹配OCO与时变约束时，$ε= 1/2$以前的工作的界限;然而，我们（i）定义的遗憾使用时变的最佳固定决策集;（ii）可以在遗憾和违反约束之间进行平衡;（iii）使用自适应学习率，使我们能够运行算法的任何时间范围。
2019-05-31 math.OC
Online Non-Stationary Stochastic Quasar-Convex Optimization
The Australian National University（澳大利亚国立大学）
本文研究动态环境下的在线随机类星体凸优化，建立基于累积路径变化和梯度方差的在线梯度下降遗憾界，并将其应用于时变参数的广义线性模型，给出多种激活函数下的遗憾界并通过数值实验验证。
2024-07-04 cs.LG math.OC
Predictive Online Convex Optimization
University of California, Berkeley（加州大学伯克利分校）；University of Melbourne（墨尔本大学）；University of Toronto（多伦多大学）
在在线凸优化中，我们以未来梯度的估计值的形式引入未来信息。这是由电力系统中的需求响应激发的，其中关于当前回合的预测，例如，天气或负载的行为，可以用来改进仅通过过去的观察所做的预测。具体来说，我们引入了一个额外的预测步骤，遵循标准的在线凸优化步骤时，估计的梯度和下降方向的某些条件得到满足。我们表明，在这些条件下，没有任何假设的环境的可预测性，预测更新严格提高了标准更新的性能。对于不同的损失函数族，我们给出了两种类型的预测更新。我们提供了一个遗憾界，我们的预测在线凸优化算法。最后，我们将我们的框架应用到一个基于需求响应的例子中，该例子证明了其优于标准在线凸优化算法的性能。
2019-11-29 cs.LG math.OC
Fast Algorithms for Online Stochastic Convex Programming
Microsoft Research（微软研究院）
我们介绍了在线随机凸规划（CP）问题，一个非常一般的版本的随机在线问题，允许任意凹目标和凸可行性约束。在线随机包装与覆盖、在线随机匹配等问题是在线随机CP的一个特例。我们提出了快速算法，这些问题，实现了近最佳的遗憾保证的i.i.d.以及随机输入的随机置换模型。当应用到特殊情况下的在线包装，我们的想法产生一个更简单，更快的原始-对偶算法，这个研究问题，实现了最佳的竞争比。我们的技术明确的连接原始-对偶范式和在线学习在线随机CP。
2014-10-28 cs.DS cs.LG math.OC
Online Strongly Convex Optimization with Unknown Delays
Nanjing University（南京大学）；Paradigm Inc.（第四范式公司）
研究了具有未知时滞的在线凸优化问题，其中决策反馈具有任意时滞。以往的研究提出了一种延迟的在线梯度下降算法（OGD），并仅利用凸性条件得到了$O(\sqrt{T+D})$的遗憾界，其中$D$是$T$轮上的延迟之和.在本文中，我们进一步利用强凸性来提高遗憾界。具体地说，我们首先扩展了强凸函数的OGD的延迟变体，并建立了$O(d\log T)$的更好的遗憾界，其中$d$是最大延迟。其基本思想是让学习率随接收到的反馈总数线性衰减。此外，我们考虑更具挑战性的强盗设置，并获得类似的理论保证，将经典的多点梯度估计到我们的扩展方法。据我们所知，这是第一个工作，解决在线强凸优化一般延迟设置。
2021-03-21 cs.LG math.OC
Online Optimization on Hadamard Manifolds: Curvature Independent Regret Bounds on Horospherically Convex Objectives
Department of Mechanical & Industrial Engineering, Northeastern University（机械与工业工程系，东北大学）
本文研究Hadamard流形上基于horospherical凸性的在线Riemannian优化，提出与曲率无关的遗憾界，并在SPD矩阵流形上验证了方法有效性。
2025-09-14 cs.LG math.OC stat.ML
A Distributed Online Convex Optimization Algorithm with Improved Dynamic Regret
Duke University（杜克大学）
在本文中，我们考虑的问题，分布式在线凸优化，在网络的本地代理的目的是共同优化一个凸函数在一段时间内的多个时间步长。特工们对未来一无所知。现有的算法已经建立了明确的依赖于时间步长的数量的动态遗憾界。在这项工作中，我们表明，我们可以消除这种依赖性，假设当地的目标函数是强凸的。更准确地说，我们提出了一个梯度跟踪算法，代理联合通信和下降的基础上校正梯度步骤。我们通过数值实验验证了我们的理论结果。
2019-11-12 cs.LG math.OC
One-Point Residual Feedback Algorithms for Distributed Online Convex and Non-convex Optimization
针对局部目标为凸或非凸的分布式在线优化问题，提出基于单点残差反馈梯度估计的分布式算法，推导其次线性遗憾界，并通过数值算例验证算法有效性。
2025-03-21 cs.SY eess.SY math.OC
Dynamic and Distributed Online Convex Optimization for Demand Response of Commercial Buildings
University of California, Berkeley（加州大学伯克利分校）
本文将在线分布式加权对偶平均（DWDA）算法[1]的遗憾分析扩展到动态设置，并为分布式在线凸优化（OCO）算法提供了迄今为止已知的关于时间范围的最紧动态遗憾界。我们的界限是线性的连续最优值之间的累积差异，并不显着依赖于时间范围。我们使用动态在线DWDA（D-ODWDA），制定了一个性能保证的分布式在线需求响应方法的供热，通风和空调（HVAC）系统的商业建筑。我们展示了我们的方法在数值模拟的快速时间尺度的需求响应的性能，并获得需求响应的决定，密切再现集中的最优。
2020-04-17 cs.LG math.OC
Curvature of Feasible Sets in Offline and Online Optimization
众所周知，凸优化中的可行集的曲率允许算法具有更好的收敛速度，并且对于离线和在线问题都重新对这个主题感兴趣。在本文中，利用几何和凸分析的结果，我们进一步理解了曲率在优化中的作用：- 我们首先证明了两个曲率概念的等价性，即强凸性和规范体，证明了Abernethy等人的一个猜想。这表明弗兰克-沃尔夫-Wang和Abernethy的一种新的方法在强凸可行集上加快了收敛速度$O(\frac{1}{t^2})$，而不需要对目标函数作额外的假设。- 在在线线性优化中，我们确定了两个主要性质，有助于解释\emph{why/when}跟随领导者（FTL）在强凸集上只有对数遗憾。这允许人们直接恢复Huang等人的最近结果，证明了当增益向量为非负时，FTL在强凸集上具有对数后悔性。- 我们提供了一个有效的强凸逼近凸体的过程，同时顺利权衡逼近误差和曲率。这使得一个扩展的强凸集上的一般凸集的改进算法。作为一个具体的应用，我们将Dekel等人关于在线线性优化的结果推广到一般的凸集。
2021-05-11 cs.DS math.OC
Learning-Augmented Decentralized Online Convex Optimization in Networks
UC Riverside（加州大学河滨分校）；Caltech（加州理工学院）
本文提出学习增强去中心化在线优化算法LADO，在去中心化多智能体网络中结合基准策略与机器学习策略，兼顾最坏情况鲁棒性和平均性能，并证明其平均成本界及权衡关系。
2024-10-18 cs.LG math.OC
Tight Bounds for Online Convex Optimization with Adversarial Constraints
School of Technology and Computer Science, Tata Institute of Fundamental Research（塔塔基础研究院技术与计算机科学学院）
本研究解决了约束在线凸优化的长期开放问题，通过结合AdaGrad自适应悔值界与李雅普诺夫优化，首次证明无额外假设下可同时实现$O(\sqrt{T})$悔值与$\tilde{O}(\sqrt{T})$累积约束违反量。
2024-05-15 cs.LG math.OC
Online Submodular Maximization via Online Convex Optimization
Northeastern University（东北大学）；Boston University（波士顿大学）
研究一般拟阵约束下的单调次模最大化在线优化问题，通过证明加权阈值势函数可凹松弛，将其归约为在线凸优化（OCO），结合舍入方案实现次线性遗憾，并扩展至动态遗憾、老虎机和乐观学习设定。
2024-01-08 cs.AI cs.LG math.OC
Online convex optimization for constrained control of nonlinear systems
本文提出一种结合在线凸优化与参考调节器的模块化方法，解决非线性系统在状态和输入约束下的受约束控制问题，证明了其动态遗憾值的最优线性界，并通过非线性化学反应器数值实验验证了框架的有效性与灵活性。
2025-07-11 cs.SY eess.SY math.OC
Logarithmic Regret for Online Gradient Descent Beyond Strong Convexity
Technion - Israel Institute of Technology（以色列理工学院）
Hoffman的经典结果给出了一个关于一个点到一个凸紧多面体的距离的界，这个界是根据违反约束的大小而定的。最近，一些结果表明，霍夫曼的界限可以用来获得强凸状率的一阶方法的\textit{offline}凸优化曲线，但不是强凸，功能，在多面体集。在这项工作中，我们使用这个经典的结果，第一次获得更快的速度为\textit{online convex optimization}在多面体集弯曲凸，虽然不是强凸，损失函数。我们表明，在几个合理的假设下的数据，标准的\textit{Online Gradient Descent}算法保证对数遗憾。据我们所知，唯一以前的算法，以实现对数遗憾在所考虑的设置是\textit{Online Newton Step}算法，它需要二次（在维度）的内存和至少二次运行时间每次迭代，这大大限制了其适用于大规模的问题。特别是，我们的研究结果适用于\textit{semi-adversarial}设置，其中数据是任意（对抗）序列和随机序列的组合，这可能为许多真实世界的序列提供合理的近似，或者在自然假设数据是低秩的情况下。我们通过实验证明，遗憾的OGD确实是可比的ONS（甚至更好）弯曲，但不是强凸损失。
2019-02-18 cs.LG math.OC
Distributed online constrained convex optimization with event-triggered communication
本文针对时变不等式约束下的分布式在线凸优化问题，提出一种基于事件触发通信的分布式原始-对偶算法，并建立了动态网络遗憾和累积约束违反界。
2024-05-03 cs.MA math.OC
Hidden Convexity in Active Learning: A Convexified Online Input Design for ARX Systems
针对ARX系统在线输入设计的非凸优化问题，提出精确凸重构方法实现全局最优求解，给出估计误差样本复杂度界，通过数值验证了算法与凸重构的有效性。
2025-09-03 cs.SY eess.SY math.OC
Projection-Free Online Convex Optimization with Stochastic Constraints
KAIST（韩国科学技术院）；The University of Sydney（悉尼大学）
针对具有随机约束的在线凸优化问题，本文提出了一种通用的在线原始-对偶无投影框架，并推导出多种设定下的次线性遗憾与约束违背界，在平滑与随机强对偶条件下进一步优化了约束违背的渐近增长率。
2023-05-16 cs.LG math.OC
Augmented Lagrangian Methods for Time-varying Constrained Online Convex Optimization
本文研究了具有时变损失和约束函数的在线凸优化问题。具体地说，决策者只根据过去的信息来选择顺序决策，同时损失和约束函数随着时间的推移而显现。首先，我们开发了一类基于模型的增广拉格朗日方法（MALM）的时变功能约束OCO（无反馈延迟）。在标准假设下，我们建立了次线性后悔和次线性约束违反MALM。此外，我们扩展MALM处理时变功能约束的OCO与延迟反馈，其中的反馈信息的损失和约束功能透露给决策者的延迟。在没有额外假设的情况下，我们还建立了延迟版本的MALM的次线性后悔和次线性约束违反。最后，给出了在线网络资源分配、在线逻辑斯谛回归和在线二次约束二次规划等约束OCO问题的数值结果，验证了算法的有效性.
2022-05-19 math.OC stat.ML
The Online Saddle Point Problem and Online Convex Optimization with Knapsacks
我们研究在线鞍点问题，在线学习问题，在每次迭代的一对行动需要选择不知道当前和未来的（凹凸）支付函数。我们的目标是最大限度地减少累积收益和鞍点值的总收益函数，我们使用称为“SP遗憾”的度量测量之间的差距。这个问题推广了在线凸优化框架，但在这里我们必须确保两个玩家的累积收益接近于游戏总和的纳什均衡。我们提出了一种算法，实现SP-遗憾成正比的$\sqrt{\ln(T)T}$在一般情况下，和$\log(T)$ SP-遗憾的强凹凸的情况下。我们还考虑了支付函数是双线性的，决策集是概率单形的特殊情况。在这种情况下，我们能够设计的算法，减少SP-遗憾的界限，从一个线性依赖的维度的问题，一个\textit{logarithmic}。我们还研究了强盗反馈下的问题，并提供了一个算法，实现次线性SP-Regret。然后，我们考虑一个在线凸优化背包问题的动机是各种各样的应用程序，如：动态定价，拍卖和众包。我们将这个问题的在线鞍点问题，并建立$O(\sqrt{T})$后悔使用原始-对偶算法。
2020-04-05 cs.LG math.OC stat.ML
Rate-Optimal Online Convex Optimization in Adaptive Linear Control
Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
研究了在状态和代价函数均为全反馈且凸代价函数反向变化的情况下，未知线性动力系统的控制问题。我们提出了第一个计算效率高的算法，达到最佳的$\smash{\sqrt{T}}$ -后悔率相比，最好的稳定线性控制器在事后，同时避免严格的假设，如强凸性的成本。我们的方法是基于一个精心设计的非凸置信下限的在线成本，并使用一种新的技术，利用其特定的非凸结构的计算效率的遗憾最小化这些界限。
2022-06-03 cs.LG math.OC stat.ML
Projection-free Online Learning over Strongly Convex Sets
National Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术全国重点实验室）；Pazhou Lab（琶洲实验室）
针对强凸集上的在线学习问题，改进OFW的步长策略并提出强凸版OFW变体，分别在一般凸损失和强凸损失下取得更优的遗憾界，提升无投影在线算法的性能。
2024-06-24 cs.LG math.OC
Inexact Online Proximal-gradient Method for Time-varying Convex Optimization
University of Colorado Boulder（科罗拉多大学博尔德分校）；IBM Research Ireland（IBM爱尔兰研究院）
本文考虑了一种在线逼近梯度法来跟踪随时间连续演化的复合凸函数的极小值。在线近似梯度法是不精确的，在这个意义上：（i）它依赖于成本的平滑分量的近似一阶信息;以及（ii）近似算子（相对于非平滑项）只能计算到一定精度。在适当的假设下，建立了强凸费用函数的误差迭代的收敛性。另一方面，动态后悔的成本不是强凸的情况下，额外的假设下，该问题包括可行性集是紧凑的。边界用累积误差和最优解的路径长度表示。这表明如何分配资源以在梯度计算和邻近算子中的性能和精度之间取得平衡。
2020-04-22 cs.LG math.OC
Online Convex Optimization Perspective for Learning from Dynamically Revealed Preferences
Carnegie Mellon University（卡内基梅隆大学）
我们研究的问题，在线学习（OL）从显示的偏好：学习者希望学习一个非战略代理的私人效用函数，通过观察代理的效用最大化的行动，在不断变化的环境。我们采用了在线逆优化设置，学习者观察代理的行动流在网上的时尚和学习性能的衡量与损失函数的遗憾。我们首先刻画了一类特殊但广泛的智能体效用函数，然后利用这种结构设计了一个新的凸损失函数。我们建立了关于我们的新损失函数的后悔也限制了关于文献中所有其他常见的损失函数的后悔。这使我们能够设计一个灵活的OL框架，使一个统一的处理损失函数，并支持各种在线凸优化算法。我们证明与理论和实证证据表明，我们的框架的基础上新的损失函数（特别是在线镜像下降）的遗憾性能和解决方案的时间比其他OL算法从文献和绕过以前的技术假设，以及显着的优势。
2021-06-04 cs.LG math.OC
Online Optimization in Dynamic Environments: Improved Regret Rates for Strongly Convex Problems
University of Pennsylvania（宾夕法尼亚大学）；Harvard University（哈佛大学）
在本文中，我们解决跟踪的时变参数与未知的动态。我们正式的问题作为一个实例，在一个动态的设置在线优化。使用在线梯度下降，我们提出了一种方法，顺序预测的参数值，反过来又遭受损失。其目标是尽量减少在一段时间内累积的损失，这一概念被称为动态后悔。虽然现有的方法集中在凸损失函数，我们认为强凸函数，以便提供更好的性能保证。我们得到一个遗憾的界限，捕获的路径长度的时变参数，定义在其连续值之间的距离。换句话说，边界表示跟踪质量与参数变化率的自然联系。我们提供数值实验来补充我们的理论研究结果。
2016-03-16 cs.LG math.OC
Revisiting Projection-free Online Learning: the Strongly Convex Case
Technion - Israel Institute of Technology（以色列理工学院）
无投影优化算法主要基于经典的Frank-Wolfe方法，近年来在机器学习社区中获得了极大的兴趣，因为它们能够处理在许多应用中流行的凸约束，但是对于这些凸约束，计算投影在高维设置中通常在计算上是不切实际的，因此禁止使用大多数标准的基于投影的方法。特别是，一个显着的研究工作投入了无投影方法的在线学习。在本文中，我们重新审视了Hazan和Kale \cite{Hazan12}提出的在线Frank-Wolfe（OFW）方法，并填补了多年来未被注意到的空白：OFW在强凸函数上实现了更快的$O(T^{2/3})$速度（与标准的$O(T^{3/4})$相反，对于凸但不是强凸函数），其中$T$是序列长度。这有点令人惊讶，因为众所周知，对于离线优化，一般来说，强凸性不会导致Frank-Wolfe的更快速度。我们还重新审视了强凸性下的bandit设置，并证明了$\tilde O(T^{2/3})$（而不是没有强凸性的$O(T^{3/4})$）的一个类似的界。因此，在目前的事态，最好的投影自由的上界的全信息和强盗设置强凸和非光滑的功能匹配的对数因子在$T$。
2021-02-23 cs.LG math.OC
Online Non-convex Optimization with Long-term Non-convex Constraints
Department of Electrical and Computer Engineering（电气与计算机工程系）；Johns Hopkins University（约翰霍普金斯大学）；International Business School（国际商务学院）；Suzhou Xi’an Jiaotong-Liverpool University（苏州市西安交通大学利物浦大学）；Department of Data and Systems Engineering（数据与系统工程系）；HKU Musketeers Foundation（HKU Musketeers基金会）；Institute of Data Science（数据科学研究所）；The University of Hong Kong（香港大学）
针对目标和约束均非凸的在线长期约束优化问题，提出结合拉格朗日重构、原始方向指数随机扰动与对偶方向强凹对数正则化的Follow-the-Perturbed-Leader类算法，首次实现次线性累积悔度，在河流污染源识别任务上性能优于现有方法。
2025-10-01 cs.LG math.OC
Optimal Algorithms for Online Convex Optimization with Adversarial Constraints
School of Technology and Computer Science（技术与计算机科学学院）；Tata Institute of Fundamental Research（塔塔基础研究院）
针对约束在线凸优化，本文将自适应 OCO 黑箱策略与 Lyapunov 优化结合，首次在无限制性假设下实现 $O(\sqrt{T})$ 遗憾与 $\tilde{O}(\sqrt{T})$ CCV，并在强凸代价下将遗憾改进至 $O(\log T)$。
2024-10-27 cs.LG math.OC
Adaptivity and Optimality: A Universal Algorithm for Online Convex Optimization
National Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）
本文研究了自适应在线凸优化问题，旨在设计一种通用的算法，该算法能对多种常见类型的损失函数达到最优后悔界。现有的通用方法是有限的，在这个意义上，他们是最佳的损失函数的一个子类。为了解决这个问题，我们提出了一种新的在线方法，即Maler，它享有最佳的$O(\sqrt{T})$，$O(d\log T)$和$O(\log T)$遗憾边界一般凸，指数凹，和强凸函数分别。其基本思想是并行运行具有不同学习率的多种类型的学习算法，并利用Meta算法动态跟踪最佳学习算法。实验结果证明了该方法的有效性。
2019-05-15 cs.LG math.OC stat.ML
Optimal Stochastic Non-smooth Non-convex Optimization through Online-to-Non-convex Conversion
Boston University（波士顿大学）；Google Research（谷歌研究）
本文提出新算法，通过将非光滑非凸优化归约为在线学习，将随机梯度查询复杂度从O(ε^{-4}δ^{-1})降至最优的O(ε^{-3}δ^{-1})，并扩展至确定性和二阶光滑情形。
2025-08-07 cs.LG math.OC stat.ML
Online Non-Convex Learning: Following the Perturbed Leader is Optimal
Carnegie Mellon University（卡内基梅隆大学）；Microsoft Research, India（微软研究院（印度））
我们研究了非凸损失的在线学习问题，学习者可以访问离线优化预言。我们表明，经典的跟随扰动领导（FTPL）算法实现了最佳的遗憾率$O(T^{-1/2})$在这种情况下。这改善了之前最著名的FTPL的$O(T^{-1/3})$后悔率。我们进一步表明，乐观的FTPL变体实现更好的后悔界限时，学习者遇到的损失序列是“可预测的”。
2019-09-21 cs.LG math.OC stat.ML
CLASP: An online learning algorithm for Convex Losses And Squared Penalties
Department of Computer Science, NOVA School of Science and Technology（计算机科学系，NOVA科学与技术学院）；Institute for Systems and Robotics, LARSyS, Instituto Superior Técnico, Universidade de Lisboa（系统与机器人研究所，LARSyS，理工学院，里斯本大学）
CLASP是一种用于凸损失和平方惩罚的在线学习算法，通过利用凸投影的强非扩张性，实现了对强凸问题的对数级别的悔值和累积惩罚保证。
2026-01-24 cs.LG math.OC
Universal Online Convex Optimization Meets Second-order Bounds
National Key Laboratory for Novel Software Technology（现代软件工程国家重点实验室）；School of Artificial Intelligence, Nanjing University（南京大学人工智能学院）；College of Computing, Georgia Institute of Technology（佐治亚理工学院计算学院）；JD AI Research（京东AI研究院）
本文提出一种通用在线凸优化策略，通过专家集合与带二阶界和超额损失的元算法聚合预测，统一处理强凸、指数凹和一般凸函数，并扩展至在线复合优化，在保持极小极大最优性的同时取得问题相关遗憾界。
2024-11-20 cs.LG math.OC
Smoothed Online Convex Optimization Based on Discounted-Normal-Predictor
Nanjing University（南京大学）；the University of Iowa（爱荷华大学）
在本文中，我们研究了一种在线预测策略，称为贴现正态预测器（Kapralov和Panigrahy，2010），用于平滑在线凸优化（SOCO），其中学习者不仅需要最小化命中成本，还需要最小化切换成本。在专家建议的学习环境中，Daniely和Mansour（2019）证明了贴现正态预测器可以在任何时间间隔内产生接近最优的后悔界限，即使存在转换成本。受他们结果的启发，我们开发了一种简单的SOCO算法：通过贴现正态预测器将在线梯度下降（OGD）与不同的步长顺序组合。尽管它的简单性，我们证明了它是能够最小化的自适应遗憾与切换成本，即，在每一区间上都能得到具有切换成本的近似最优后悔。通过利用OGD对动态后悔的理论保证，进一步证明了该算法在每个区间内都能最小化动态后悔且具有切换代价。
2022-05-02 cs.LG math.OC
Safe Online Convex Optimization with Unknown Linear Safety Constraints
Texas A&M University（德克萨斯农工大学）
研究了安全在线凸优化问题，其中每个时间步的行动必须满足一组线性安全约束。我们的目标是选择一系列的行动，以尽量减少遗憾，而不违反安全约束在任何时间步骤（高概率）。指定线性安全约束的参数对于算法是未知的。该算法只能访问所选动作的约束的噪声观测。我们提出了一种算法，称为{安全在线投影梯度下降}（SO-PGD）算法，以解决这个问题。我们表明，在假设的安全基线行动的可用性，SO-PGD算法实现了遗憾$O(T^{2/3})$。虽然有许多算法的在线凸优化（OCO）的安全约束问题在文献中，他们允许在学习/优化过程中的约束违反，并一直专注于特征的累积约束违反。据我们所知，我们的工作是第一次提供了一个算法与可证明的保证遗憾，而不违反线性安全约束（高概率）在任何时间步。
2021-11-14 cs.LG math.OC
Online Learning for Approximately-Convex Functions with Long-term Adversarial Constraints
IIT Kharagpur, India（印度德里技术学院）；IIT (ISM) Dhanbad, India（印度丹巴德IIT（ISM））；TIFR Mumbai, India（印度孟买理论物理研究所）
针对对抗性环境下带长期预算约束的在线学习问题，提出一阶在线算法，在全信息和bandit反馈下保证O(√T)α-遗憾，资源消耗可控，适用于DR-子模极大化等非凸问题，结果紧且有下界匹配。
2025-08-23 cs.LG math.OC
