Optimal Comparator Adaptive Online Learning with Switching Cost
Boston University（波士顿大学）
实际的在线学习任务通常自然地定义在无约束域上，其中一般凸损失的最优算法的特征在于比较器自适应的概念。在本文中，我们设计这样的算法中存在的切换成本-后者惩罚典型的乐观自适应算法，导致一个微妙的设计权衡。基于连续时间分析发现的一种新的双空间缩放策略，我们提出了一种简单的算法，将现有的比较器自适应遗憾界[ZCP 22 a]改进为最优速率。所获得的好处进一步扩展到专家设置，并通过一个顺序的投资任务证明了所提出的算法的实用性。
2022-10-11 cs.LG
Minimax Regret of Switching-Constrained Online Convex Optimization: No Phase Transition
Yale University（耶鲁大学）；Simons Institute for the Theory of Computing（西蒙斯理论计算研究所）；Massachusetts Institute of Technology（麻省理工学院）；University of Southern California（南加利福尼亚大学）
我们研究的问题切换约束在线凸优化（OCO），玩家有有限的机会改变她的行动。虽然这个在线学习任务的离散模拟已被广泛研究，以前的工作在连续设置既没有建立极大极小率，也没有算法实现it.In本文中，我们表明，$ T $轮开关约束OCO少于$ K $开关有极大极小遗憾$ Θ(\frac{T}{\sqrt{K}}) $。特别地，对于一维，其至少为$ \frac{T}{\sqrt{2K}} $，对于更高维度，其至少为$ \frac{T}{\sqrt{K}} $。在高维的下界是通过一个正交子空间的论点。在一维中，一种新的对抗策略产生了$O(\frac{T}{\sqrt{K}})$的下界，但更涉及到包含常数的精确极大极小分析。为了建立更严格的一维结果，我们引入了\emph{fugal game}松弛，其极小极大遗憾的下限开关约束OCO。我们证明了逃逸对策的最小最大遗憾至少是$ \frac{T}{\sqrt{2K}} $，从而建立了一维最优最小最大遗憾下界。为了建立与维数无关的上界，我们接下来证明了一个minimax算法提供了一个$ O(\frac{T}{\sqrt{K}}) $上界，因此得出结论，对于任何$K$，切换约束OCO的极小极大遗憾是$ Θ(\frac{T}{\sqrt{K}}) $。这是在鲜明的对比，它的离散对应，开关约束预测专家的问题，表现出一个相变之间的低开关和高开关制度的最小最大遗…
2020-10-22 cs.LG math.OC stat.ML
Online Saddle Point Problem and Online Convex-Concave Optimization
China University of Petroleum（中国石油大学）；College of Information Science and Engineering（信息科学与工程学院）
该研究围绕在线鞍点问题提出OCCO框架，以广义对偶间隙为性能度量，建立其与OCO的平行关系，开发两种相关算法并验证有效性，同时指出动态纳什均衡悔值存在固有缺陷。
2023-12-15 cs.LG math.OC
Capacity Provisioning Motivated Online Non-Convex Optimization Problem with Memory and Switching Cost
本文研究带记忆和切换代价的在线非凸优化问题，通过调节活跃服务器数量最小化作业总延迟，并针对最坏情况和随机输入分别提出竞争算法。
2024-07-01 cs.DS cs.LG
Online Non-Stationary Stochastic Quasar-Convex Optimization
The Australian National University（澳大利亚国立大学）
本文研究动态环境下的在线随机类星体凸优化，建立基于累积路径变化和梯度方差的在线梯度下降遗憾界，并将其应用于时变参数的广义线性模型，给出多种激活函数下的遗憾界并通过数值实验验证。
2024-07-04 cs.LG math.OC
Predictive Online Convex Optimization
University of California, Berkeley（加州大学伯克利分校）；University of Melbourne（墨尔本大学）；University of Toronto（多伦多大学）
在在线凸优化中，我们以未来梯度的估计值的形式引入未来信息。这是由电力系统中的需求响应激发的，其中关于当前回合的预测，例如，天气或负载的行为，可以用来改进仅通过过去的观察所做的预测。具体来说，我们引入了一个额外的预测步骤，遵循标准的在线凸优化步骤时，估计的梯度和下降方向的某些条件得到满足。我们表明，在这些条件下，没有任何假设的环境的可预测性，预测更新严格提高了标准更新的性能。对于不同的损失函数族，我们给出了两种类型的预测更新。我们提供了一个遗憾界，我们的预测在线凸优化算法。最后，我们将我们的框架应用到一个基于需求响应的例子中，该例子证明了其优于标准在线凸优化算法的性能。
2019-11-29 cs.LG math.OC
Online Strongly Convex Optimization with Unknown Delays
Nanjing University（南京大学）；Paradigm Inc.（第四范式公司）
研究了具有未知时滞的在线凸优化问题，其中决策反馈具有任意时滞。以往的研究提出了一种延迟的在线梯度下降算法（OGD），并仅利用凸性条件得到了$O(\sqrt{T+D})$的遗憾界，其中$D$是$T$轮上的延迟之和.在本文中，我们进一步利用强凸性来提高遗憾界。具体地说，我们首先扩展了强凸函数的OGD的延迟变体，并建立了$O(d\log T)$的更好的遗憾界，其中$d$是最大延迟。其基本思想是让学习率随接收到的反馈总数线性衰减。此外，我们考虑更具挑战性的强盗设置，并获得类似的理论保证，将经典的多点梯度估计到我们的扩展方法。据我们所知，这是第一个工作，解决在线强凸优化一般延迟设置。
2021-03-21 cs.LG math.OC
Expert-Calibrated Learning for Online Optimization with Switching Costs
University of California, Riverside（加州大学河滨分校）
我们研究在线凸优化与切换成本，一个实际上很重要，但也极具挑战性的问题，由于缺乏完整的离线信息。通过利用基于机器学习（ML）的优化器的强大功能，ML增强的在线算法（本文中也称为专家校准）已经成为最先进的技术，具有可证明的最坏情况性能保证。尽管如此，通过使用训练ML模型作为独立优化器并将其插入ML增强算法的标准实践，平均成本性能可能非常不令人满意。为了解决“如何学习”的挑战，我们提出了EC-L2 O（专家校准学习优化），它通过明确考虑下游专家校准器来训练基于ML的优化器。为了实现这一目标，我们提出了一种新的可微分专家校准器，它概括了正则化的在线平衡下降，并在预测误差较大时提供了比纯ML预测更好的竞争比。对于训练，我们的损失函数是两个不同损失的加权和-一个最小化平均ML预测误差以获得更好的鲁棒性，另一个最小化校准后的平均成本。我们还为EC-L2 O提供了理论分析，强调专家校准甚至可以有益于平均性价比，并且EC-L2 O实现的成本与离线最佳预言机（即，尾成本比率）可以有界。最后，我们通过运行可持续数据中心需求响应的模拟来测试EC-L2 O。我们的研究结果表明，EC-L2 O可以凭经验实现较低的平均成本以及较低的竞争比现有的基线算法。
2022-04-22 cs.LG math.OC
A Distributed Online Convex Optimization Algorithm with Improved Dynamic Regret
Duke University（杜克大学）
在本文中，我们考虑的问题，分布式在线凸优化，在网络的本地代理的目的是共同优化一个凸函数在一段时间内的多个时间步长。特工们对未来一无所知。现有的算法已经建立了明确的依赖于时间步长的数量的动态遗憾界。在这项工作中，我们表明，我们可以消除这种依赖性，假设当地的目标函数是强凸的。更准确地说，我们提出了一个梯度跟踪算法，代理联合通信和下降的基础上校正梯度步骤。我们通过数值实验验证了我们的理论结果。
2019-11-12 cs.LG math.OC
Dynamic and Distributed Online Convex Optimization for Demand Response of Commercial Buildings
University of California, Berkeley（加州大学伯克利分校）
本文将在线分布式加权对偶平均（DWDA）算法[1]的遗憾分析扩展到动态设置，并为分布式在线凸优化（OCO）算法提供了迄今为止已知的关于时间范围的最紧动态遗憾界。我们的界限是线性的连续最优值之间的累积差异，并不显着依赖于时间范围。我们使用动态在线DWDA（D-ODWDA），制定了一个性能保证的分布式在线需求响应方法的供热，通风和空调（HVAC）系统的商业建筑。我们展示了我们的方法在数值模拟的快速时间尺度的需求响应的性能，并获得需求响应的决定，密切再现集中的最优。
2020-04-17 cs.LG math.OC
Learning-Augmented Decentralized Online Convex Optimization in Networks
UC Riverside（加州大学河滨分校）；Caltech（加州理工学院）
本文提出学习增强去中心化在线优化算法LADO，在去中心化多智能体网络中结合基准策略与机器学习策略，兼顾最坏情况鲁棒性和平均性能，并证明其平均成本界及权衡关系。
2024-10-18 cs.LG math.OC
Tight Bounds for Online Convex Optimization with Adversarial Constraints
School of Technology and Computer Science, Tata Institute of Fundamental Research（塔塔基础研究院技术与计算机科学学院）
本研究解决了约束在线凸优化的长期开放问题，通过结合AdaGrad自适应悔值界与李雅普诺夫优化，首次证明无额外假设下可同时实现$O(\sqrt{T})$悔值与$\tilde{O}(\sqrt{T})$累积约束违反量。
2024-05-15 cs.LG math.OC
Revisiting Smoothed Online Learning
Nanjing University（南京大学）；the University of Iowa（爱荷华大学）
在本文中，我们重新审视的平滑在线学习的问题，其中在线学习者遭受击中成本和切换成本，并针对两个性能指标：竞争比和动态后悔与切换成本。为了限制竞争比，我们假设每轮学习者都知道命中成本，并通过优化问题研究平衡两个成本的简单想法。令人惊讶的是，我们发现，最小化击中成本单独是$\max(1, \frac{2}α)$ -竞争的$α$ -多面体函数和$1 + \frac{4}λ$ -竞争的$λ$ -二次增长函数，这两个改善国家的最先进的结果显着。此外，当命中成本是凸的和$λ$ -二次增长，我们通过最小化的命中成本和转换成本的加权和的竞争比降低到$1 + \frac{2}{\sqrtλ}$。为了将动态后悔与切换成本绑定，我们遵循在线凸优化的标准设置，其中命中成本是凸的，但在进行预测之前对学习者隐藏。我们修改Ader，一个现有的算法设计的动态遗憾，稍微考虑到切换成本时，测量性能。该算法称为Smoothed Ader算法，在考虑切换代价的情况下，获得了动态后悔的最优$O(\sqrt{T(1+P_T)})$界，其中$P_T$是比较器序列的路径长度.此外，如果击中成本在每轮开始时可达，我们得到了类似的保证，没有有界梯度条件，并建立了一个$Ω(\sqrt{T(1+P_T)})$下界，以确认最优性。
2021-05-18 cs.LG math.OC stat.ML
Logarithmic Regret for Online Gradient Descent Beyond Strong Convexity
Technion - Israel Institute of Technology（以色列理工学院）
Hoffman的经典结果给出了一个关于一个点到一个凸紧多面体的距离的界，这个界是根据违反约束的大小而定的。最近，一些结果表明，霍夫曼的界限可以用来获得强凸状率的一阶方法的\textit{offline}凸优化曲线，但不是强凸，功能，在多面体集。在这项工作中，我们使用这个经典的结果，第一次获得更快的速度为\textit{online convex optimization}在多面体集弯曲凸，虽然不是强凸，损失函数。我们表明，在几个合理的假设下的数据，标准的\textit{Online Gradient Descent}算法保证对数遗憾。据我们所知，唯一以前的算法，以实现对数遗憾在所考虑的设置是\textit{Online Newton Step}算法，它需要二次（在维度）的内存和至少二次运行时间每次迭代，这大大限制了其适用于大规模的问题。特别是，我们的研究结果适用于\textit{semi-adversarial}设置，其中数据是任意（对抗）序列和随机序列的组合，这可能为许多真实世界的序列提供合理的近似，或者在自然假设数据是低秩的情况下。我们通过实验证明，遗憾的OGD确实是可比的ONS（甚至更好）弯曲，但不是强凸损失。
2019-02-18 cs.LG math.OC
Fairness-Regularized Online Optimization with Switching Costs
School of Information（信息学院）；Rochester Institute of Technology（罗切斯特技术学院）；Electrical and Computer Engineering（电气与计算机工程）；University of California, Riverside（加州大学河滨分校）；Computing & Mathematical Sciences（计算与数学科学）；California Institute of Technology（加州理工学院）
本文提出FairOBD算法，通过引入辅助变量将长期公平性成本分解为在线成本，有效减少公平性正则化成本并促进公平结果。
2025-12-11 cs.AI cs.LG
Projection-Free Online Convex Optimization with Stochastic Constraints
KAIST（韩国科学技术院）；The University of Sydney（悉尼大学）
针对具有随机约束的在线凸优化问题，本文提出了一种通用的在线原始-对偶无投影框架，并推导出多种设定下的次线性遗憾与约束违背界，在平滑与随机强对偶条件下进一步优化了约束违背的渐近增长率。
2023-05-16 cs.LG math.OC
Projection-free Online Learning over Strongly Convex Sets
National Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术全国重点实验室）；Pazhou Lab（琶洲实验室）
针对强凸集上的在线学习问题，改进OFW的步长策略并提出强凸版OFW变体，分别在一般凸损失和强凸损失下取得更优的遗憾界，提升无投影在线算法的性能。
2024-06-24 cs.LG math.OC
Lazy OCO: Online Convex Optimization on a Switching Budget
Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
本文研究遗忘对手设置下带切换次数预算的在线凸优化问题，提出对一般凸损失和强凸损失分别达到 O(T/S) 和 Õ(T/S^2) 遗憾界的高效算法，并给出匹配下界。
2023-09-17 cs.LG math.OC stat.ML
Inexact Online Proximal-gradient Method for Time-varying Convex Optimization
University of Colorado Boulder（科罗拉多大学博尔德分校）；IBM Research Ireland（IBM爱尔兰研究院）
本文考虑了一种在线逼近梯度法来跟踪随时间连续演化的复合凸函数的极小值。在线近似梯度法是不精确的，在这个意义上：（i）它依赖于成本的平滑分量的近似一阶信息;以及（ii）近似算子（相对于非平滑项）只能计算到一定精度。在适当的假设下，建立了强凸费用函数的误差迭代的收敛性。另一方面，动态后悔的成本不是强凸的情况下，额外的假设下，该问题包括可行性集是紧凑的。边界用累积误差和最优解的路径长度表示。这表明如何分配资源以在梯度计算和邻近算子中的性能和精度之间取得平衡。
2020-04-22 cs.LG math.OC
Online Convex Optimization Perspective for Learning from Dynamically Revealed Preferences
Carnegie Mellon University（卡内基梅隆大学）
我们研究的问题，在线学习（OL）从显示的偏好：学习者希望学习一个非战略代理的私人效用函数，通过观察代理的效用最大化的行动，在不断变化的环境。我们采用了在线逆优化设置，学习者观察代理的行动流在网上的时尚和学习性能的衡量与损失函数的遗憾。我们首先刻画了一类特殊但广泛的智能体效用函数，然后利用这种结构设计了一个新的凸损失函数。我们建立了关于我们的新损失函数的后悔也限制了关于文献中所有其他常见的损失函数的后悔。这使我们能够设计一个灵活的OL框架，使一个统一的处理损失函数，并支持各种在线凸优化算法。我们证明与理论和实证证据表明，我们的框架的基础上新的损失函数（特别是在线镜像下降）的遗憾性能和解决方案的时间比其他OL算法从文献和绕过以前的技术假设，以及显着的优势。
2021-06-04 cs.LG math.OC
Online Optimization in Dynamic Environments: Improved Regret Rates for Strongly Convex Problems
University of Pennsylvania（宾夕法尼亚大学）；Harvard University（哈佛大学）
在本文中，我们解决跟踪的时变参数与未知的动态。我们正式的问题作为一个实例，在一个动态的设置在线优化。使用在线梯度下降，我们提出了一种方法，顺序预测的参数值，反过来又遭受损失。其目标是尽量减少在一段时间内累积的损失，这一概念被称为动态后悔。虽然现有的方法集中在凸损失函数，我们认为强凸函数，以便提供更好的性能保证。我们得到一个遗憾的界限，捕获的路径长度的时变参数，定义在其连续值之间的距离。换句话说，边界表示跟踪质量与参数变化率的自然联系。我们提供数值实验来补充我们的理论研究结果。
2016-03-16 cs.LG math.OC
Online Non-convex Optimization with Long-term Non-convex Constraints
Department of Electrical and Computer Engineering（电气与计算机工程系）；Johns Hopkins University（约翰霍普金斯大学）；International Business School（国际商务学院）；Suzhou Xi’an Jiaotong-Liverpool University（苏州市西安交通大学利物浦大学）；Department of Data and Systems Engineering（数据与系统工程系）；HKU Musketeers Foundation（HKU Musketeers基金会）；Institute of Data Science（数据科学研究所）；The University of Hong Kong（香港大学）
针对目标和约束均非凸的在线长期约束优化问题，提出结合拉格朗日重构、原始方向指数随机扰动与对偶方向强凹对数正则化的Follow-the-Perturbed-Leader类算法，首次实现次线性累积悔度，在河流污染源识别任务上性能优于现有方法。
2025-10-01 cs.LG math.OC
Optimal Algorithms for Online Convex Optimization with Adversarial Constraints
School of Technology and Computer Science（技术与计算机科学学院）；Tata Institute of Fundamental Research（塔塔基础研究院）
针对约束在线凸优化，本文将自适应 OCO 黑箱策略与 Lyapunov 优化结合，首次在无限制性假设下实现 $O(\sqrt{T})$ 遗憾与 $\tilde{O}(\sqrt{T})$ CCV，并在强凸代价下将遗憾改进至 $O(\log T)$。
2024-10-27 cs.LG math.OC
Online Optimization on Hadamard Manifolds: Curvature Independent Regret Bounds on Horospherically Convex Objectives
Department of Mechanical & Industrial Engineering, Northeastern University（机械与工业工程系，东北大学）
本文研究Hadamard流形上基于horospherical凸性的在线Riemannian优化，提出与曲率无关的遗憾界，并在SPD矩阵流形上验证了方法有效性。
2025-09-14 cs.LG math.OC stat.ML
CLASP: An online learning algorithm for Convex Losses And Squared Penalties
Department of Computer Science, NOVA School of Science and Technology（计算机科学系，NOVA科学与技术学院）；Institute for Systems and Robotics, LARSyS, Instituto Superior Técnico, Universidade de Lisboa（系统与机器人研究所，LARSyS，理工学院，里斯本大学）
CLASP是一种用于凸损失和平方惩罚的在线学习算法，通过利用凸投影的强非扩张性，实现了对强凸问题的对数级别的悔值和累积惩罚保证。
2026-01-24 cs.LG math.OC
Universal Online Convex Optimization Meets Second-order Bounds
National Key Laboratory for Novel Software Technology（现代软件工程国家重点实验室）；School of Artificial Intelligence, Nanjing University（南京大学人工智能学院）；College of Computing, Georgia Institute of Technology（佐治亚理工学院计算学院）；JD AI Research（京东AI研究院）
本文提出一种通用在线凸优化策略，通过专家集合与带二阶界和超额损失的元算法聚合预测，统一处理强凸、指数凹和一般凸函数，并扩展至在线复合优化，在保持极小极大最优性的同时取得问题相关遗憾界。
2024-11-20 cs.LG math.OC
Safe Online Convex Optimization with Unknown Linear Safety Constraints
Texas A&M University（德克萨斯农工大学）
研究了安全在线凸优化问题，其中每个时间步的行动必须满足一组线性安全约束。我们的目标是选择一系列的行动，以尽量减少遗憾，而不违反安全约束在任何时间步骤（高概率）。指定线性安全约束的参数对于算法是未知的。该算法只能访问所选动作的约束的噪声观测。我们提出了一种算法，称为{安全在线投影梯度下降}（SO-PGD）算法，以解决这个问题。我们表明，在假设的安全基线行动的可用性，SO-PGD算法实现了遗憾$O(T^{2/3})$。虽然有许多算法的在线凸优化（OCO）的安全约束问题在文献中，他们允许在学习/优化过程中的约束违反，并一直专注于特征的累积约束违反。据我们所知，我们的工作是第一次提供了一个算法与可证明的保证遗憾，而不违反线性安全约束（高概率）在任何时间步。
2021-11-14 cs.LG math.OC
Online Learning for Approximately-Convex Functions with Long-term Adversarial Constraints
IIT Kharagpur, India（印度德里技术学院）；IIT (ISM) Dhanbad, India（印度丹巴德IIT（ISM））；TIFR Mumbai, India（印度孟买理论物理研究所）
针对对抗性环境下带长期预算约束的在线学习问题，提出一阶在线算法，在全信息和bandit反馈下保证O(√T)α-遗憾，资源消耗可控，适用于DR-子模极大化等非凸问题，结果紧且有下界匹配。
2025-08-23 cs.LG math.OC
Online Submodular Maximization via Online Convex Optimization
Northeastern University（东北大学）；Boston University（波士顿大学）
研究一般拟阵约束下的单调次模最大化在线优化问题，通过证明加权阈值势函数可凹松弛，将其归约为在线凸优化（OCO），结合舍入方案实现次线性遗憾，并扩展至动态遗憾、老虎机和乐观学习设定。
2024-01-08 cs.AI cs.LG math.OC
Regret Bound by Variation for Online Convex Optimization
Michigan State University（密歇根州立大学）；NEC Laboratories America（NEC美国实验室）
在citep{Hazan-2008-extract}中，作者证明了在线线性优化的遗憾可以由成本向量的总变差限制。在本文中，我们将这个结果推广到一般的在线凸优化。首先分析了\citep{Hazan-2008-extract}中的算法在应用于在线凸优化时的局限性。然后，我们提出了两个算法的在线凸优化的遗憾是有界的变化的成本函数。最后，我们考虑了强盗设置，并提出了一个随机算法在线强盗凸优化与基于变分的遗憾界。我们证明，当成本函数的变化与试验次数无关时，在线强盗凸优化的遗憾界是最优的。
2012-06-14 cs.LG
Recursive Exponential Weighting for Online Non-convex Optimization
The Chinese University of Hong Kong（香港中文大学）
本文研究了在线非凸优化问题，它通过放松对代价函数的凸性假设，推广了经典的在线凸优化问题。对于这种类型的问题，经典的指数加权在线算法最近已被证明可以达到$O(\sqrt{T\log T})$的次线性遗憾。在本文中，我们引入了一种新的递归结构的在线算法定义一个递归指数加权算法，达到了遗憾的$O(\sqrt{T})$，匹配著名的遗憾下界。据我们所知，这是第一个在线算法与可证明的$O(\sqrt{T})$遗憾的在线非凸优化问题。
2017-09-13 cs.LG
Online Caching with Optimal Switching Regret
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
我们认为经典的未编码的缓存问题从在线学习的观点。存储容量有限的高速缓存一次可以保存大型编录中的$C$文件。用户在每个时隙从目录中请求任意文件。在来自用户的文件请求到达之前，缓存策略会用它选择的任何$C$文件填充缓存。在缓存命中的情况下，策略接收单位奖励，否则接收零奖励。除此之外，还有一个与将文件提取到缓存相关的成本，我们称之为切换成本。我们的目标是设计一个缓存策略，招致最小的遗憾，同时考虑由于缓存命中的奖励和切换成本，由于文件提取。本文的主要贡献是切换遗憾分析的跟随扰动领导者为基础的随时缓存策略，这是有一个顺序最优切换遗憾。在这方面的追求，我们提高了最有名的切换遗憾约束这个问题的一个因素的$Θ(\sqrt{C}).$我们得出结论，通过比较不同的流行的缓存策略的性能，从商业CDN服务器公开可用的跟踪。
2021-01-18 cs.IT cs.LG cs.PF
The Online Saddle Point Problem and Online Convex Optimization with Knapsacks
我们研究在线鞍点问题，在线学习问题，在每次迭代的一对行动需要选择不知道当前和未来的（凹凸）支付函数。我们的目标是最大限度地减少累积收益和鞍点值的总收益函数，我们使用称为“SP遗憾”的度量测量之间的差距。这个问题推广了在线凸优化框架，但在这里我们必须确保两个玩家的累积收益接近于游戏总和的纳什均衡。我们提出了一种算法，实现SP-遗憾成正比的$\sqrt{\ln(T)T}$在一般情况下，和$\log(T)$ SP-遗憾的强凹凸的情况下。我们还考虑了支付函数是双线性的，决策集是概率单形的特殊情况。在这种情况下，我们能够设计的算法，减少SP-遗憾的界限，从一个线性依赖的维度的问题，一个\textit{logarithmic}。我们还研究了强盗反馈下的问题，并提供了一个算法，实现次线性SP-Regret。然后，我们考虑一个在线凸优化背包问题的动机是各种各样的应用程序，如：动态定价，拍卖和众包。我们将这个问题的在线鞍点问题，并建立$O(\sqrt{T})$后悔使用原始-对偶算法。
2020-04-05 cs.LG math.OC stat.ML
Rate-Optimal Online Convex Optimization in Adaptive Linear Control
Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
研究了在状态和代价函数均为全反馈且凸代价函数反向变化的情况下，未知线性动力系统的控制问题。我们提出了第一个计算效率高的算法，达到最佳的$\smash{\sqrt{T}}$ -后悔率相比，最好的稳定线性控制器在事后，同时避免严格的假设，如强凸性的成本。我们的方法是基于一个精心设计的非凸置信下限的在线成本，并使用一种新的技术，利用其特定的非凸结构的计算效率的遗憾最小化这些界限。
2022-06-03 cs.LG math.OC stat.ML
Adaptivity and Optimality: A Universal Algorithm for Online Convex Optimization
National Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）
本文研究了自适应在线凸优化问题，旨在设计一种通用的算法，该算法能对多种常见类型的损失函数达到最优后悔界。现有的通用方法是有限的，在这个意义上，他们是最佳的损失函数的一个子类。为了解决这个问题，我们提出了一种新的在线方法，即Maler，它享有最佳的$O(\sqrt{T})$，$O(d\log T)$和$O(\log T)$遗憾边界一般凸，指数凹，和强凸函数分别。其基本思想是并行运行具有不同学习率的多种类型的学习算法，并利用Meta算法动态跟踪最佳学习算法。实验结果证明了该方法的有效性。
2019-05-15 cs.LG math.OC stat.ML
Optimal Stochastic Non-smooth Non-convex Optimization through Online-to-Non-convex Conversion
Boston University（波士顿大学）；Google Research（谷歌研究）
本文提出新算法，通过将非光滑非凸优化归约为在线学习，将随机梯度查询复杂度从O(ε^{-4}δ^{-1})降至最优的O(ε^{-3}δ^{-1})，并扩展至确定性和二阶光滑情形。
2025-08-07 cs.LG math.OC stat.ML
Online Non-Convex Learning: Following the Perturbed Leader is Optimal
Carnegie Mellon University（卡内基梅隆大学）；Microsoft Research, India（微软研究院（印度））
我们研究了非凸损失的在线学习问题，学习者可以访问离线优化预言。我们表明，经典的跟随扰动领导（FTPL）算法实现了最佳的遗憾率$O(T^{-1/2})$在这种情况下。这改善了之前最著名的FTPL的$O(T^{-1/3})$后悔率。我们进一步表明，乐观的FTPL变体实现更好的后悔界限时，学习者遇到的损失序列是“可预测的”。
2019-09-21 cs.LG math.OC stat.ML
Adaptive Algorithms for Online Convex Optimization with Long-term Constraints
Amazon（亚马逊）
我们提出了一个自适应在线梯度下降算法来解决在线凸优化问题的长期约束，这是限制，需要满足时，积累了有限数量的轮T，但可以违反在中间轮。对于用户自定义的权衡参数$β$ $\in$（0，1），该算法分别实现了损失和约束违反的累积遗憾界为O（T^max{ $β$，1-$β$ }）和O（T^（1- $β$ /2））。我们的结果保持凸损失，可以处理任意凸约束，而不需要事先知道轮数。我们的贡献改进了Mahdavi等人（2012）最著名的累积遗憾界，对于一般凸域分别为O（T^1/2）和O（T^3/4），当进一步限制到多面体域时分别为O（T^2/3）和O（T^2/3）。我们补充的分析与实验验证我们的算法在实践中的性能。
2015-12-23 cs.LG math.OC stat.ML
Surrogate Losses for Online Learning of Stepsizes in Stochastic Non-Convex Optimization
Boston University（波士顿大学）；Google（谷歌）
随机梯度下降（SGD）在机器学习中发挥了核心作用。然而，它需要一个精心挑选的步长来快速收敛，这是众所周知的繁琐和耗时的调整。在过去的几年里，大量的自适应梯度算法已经出现，以改善这个问题。他们已被证明有效地减少劳动调整在实践中，但他们中的许多人缺乏理论保证，即使在凸设置。在本文中，我们提出了新的代理损失铸造的问题学习的最佳步长的随机优化的非凸光滑的目标函数到一个在线凸优化问题。这允许使用无遗憾在线算法来计算最佳步长。反过来，这导致SGD算法具有自调整的步长，保证了自动适应噪声水平的收敛速度。
2019-06-07 cs.LG math.OC stat.ML
Online Convex Optimization Against Adversaries with Memory and Application to Statistical Arbitrage
Technion（以色列理工学院）
具有记忆的在线学习的框架自然地捕获具有时间约束的学习问题，并且先前针对专家设置进行了研究。在这项工作中，我们扩展的概念，学习与记忆的一般在线凸优化（OCO）的框架，并提出了两个算法，达到低遗憾。第一个算法适用于Lipschitz连续损失函数，获得凸和强凸损失的最优遗憾界。第二个算法达到最佳遗憾界，并适用于更广泛的凸损失，而不需要Lipschitz连续性，但更复杂的实现。我们补充我们的理论结果与金融统计套利的应用：我们设计算法构建均值回复投资组合。
2014-06-10 cs.LG
Decentralized Online Riemannian Optimization for Strongly Geodesically Convex Functions
Department of Mechanical & Industrial Engineering at Northeastern University（东北大学机械与工业工程系）
研究黎曼流形上强测地凸损失的分散式在线优化，通过提供时变调度的网络误差分析，为分散式在线黎曼梯度下降建立$O(\log T)$静态遗憾界，并为两点策略反馈设置证明相同界，匹配强凸欧几里得在线优化最优速率。
2026-07-23 cs.LG cs.MA math.OC
Online Compact Convexified Factorization Machine
Tsinghua University（清华大学）；South China University of Technology（华南理工大学）
因子分解机是一种监督学习方法，具有强大的特征工程能力。它在各种批量学习任务中产生最先进的性能，其中所有训练数据在训练之前可用。然而，在数据以流式方式顺序到达的现实应用中，使用批量学习算法重新训练的高成本在在线学习场景中提出了巨大的挑战。最初的挑战是，没有事先制定的FM可以满足在线凸优化（OCO）的要求-在线学习算法设计的最重要的框架。为了解决上述挑战，我们发明了一种新的凸化方案，从而实现了无缝满足OCO要求的紧凑型凸化FM（CCFM）。然而，对于在在线学习设置中学习紧凑凸变FM（CCFM），大多数现有算法遭受昂贵的投影操作。为了解决这一后续挑战，我们遵循在线条件梯度的一般无投影算法框架，并提出了一种在线紧凑凸因子分解机（OCCFM）算法，该算法通过有效的线性优化步骤避免了投影操作。在支持建议的OCCFM在其理论基础方面，我们证明了开发的算法实现了次线性遗憾界。为了评估OCCFM的经验性能，我们在6个真实世界的在线推荐和二进制分类任务的数据集上进行了广泛的实验。实验结果表明，OCCFM优于最先进的在线学习算法。
2018-02-05 cs.LG
No-Regret Algorithms for Unconstrained Online Convex Optimization
Duolingo, Inc.（多邻国公司）；Google, Inc.（谷歌公司）
在线凸优化的一些最引人注目的应用，包括在线预测和分类，是无约束的：自然可行集是R^n。现有的算法无法实现次线性遗憾，在这种情况下，除非对比较点x^* 的约束是已知的。我们提出的算法，没有这样的先验知识，提供接近最优的遗憾界相对于任何选择x^*。特别地，关于x^* = 0的后悔是恒定的。然后，我们证明下界表明，我们的保证在这种情况下是接近最优的。
2012-11-09 cs.LG
Dynamic Regret in Online Convex Optimization with Indicator Switching Costs
Faculty of Electrical Engineering, Mathematics and Computer Science（电气工程、数学与计算机科学学院）；TU Delft（代尔夫特理工大学）
针对带指示器切换成本的在线凸优化，提出元学习框架，实现动态遗憾的极小极大最优界限，无需先验知识。
2026-09-28 cs.LG
Dynamic Regret Analysis of Safe Distributed Online Optimization for Convex and Non-convex Problems
Northeastern University（东北大学）；Texas A&M University（得克萨斯农工大学）
本文讨论了一组未知的线性安全约束的安全分布式在线优化。代理网络的目标是共同最小化一个全球性的，时变的功能，这是只有部分观察到每个单独的代理。因此，代理人必须从事本地通信，以产生一个安全的行动序列与最佳的最小化序列在事后的竞争力，和两个序列之间的差距是通过量化的动态遗憾。我们提出了分布式安全在线梯度下降（D-Safe-OGD）与探索阶段，其中所有的代理估计约束参数协作建立估计可行集，确保在优化阶段的行动选择的安全性。我们证明了对于凸函数，D-Safe-OGD实现了$O(T^{2/3} \sqrt{\log T} + T^{1/3}C_T^*)$的动态遗憾界，其中$C_T^*$表示最佳极小序列的路径长度。我们进一步证明了$O(T^{2/3} \sqrt{\log T} + T^{2/3}C_T^*)$对某些非凸问题的动态遗憾界，这建立了一个安全的分布式算法在非凸设置的第一个动态遗憾界。
2023-02-23 cs.LG cs.SY eess.SY
Boosting for Online Convex Optimization
Princeton University（普林斯顿大学）；Google AI（谷歌人工智能）
我们考虑了在线凸优化的决策框架与大量的专家。此设置在上下文和强化学习问题中普遍存在，其中策略类的大小使得在策略类内进行枚举和搜索不可行。相反，我们考虑推广在线提升的方法。我们定义了一个弱学习算法作为一种机制，保证乘法近似的遗憾对一个基类的专家。在这个访问模型中，我们给出了一个有效的提升算法，保证接近最优的遗憾对凸包的基类。我们认为完全和部分（a.k.a.）。Bandit）信息反馈模型。我们也给出了一个类似的有效的提升算法的i.i.d.统计设置。我们的研究结果同时推广在线助推和梯度提升保证上下文学习模型，在线凸优化和强盗线性优化设置。
2021-02-18 cs.LG stat.ML
SCaLE: Switching Cost aware Learning and Exploration
Georgia Institute of Technology（佐治亚理工学院）；California Institute of Technology（加州理工学院）
SCaLE算法通过考虑高维动态二次击中成本和ℓ2-范数切换成本，在噪声带轮反馈模型中实现了分布无关的亚线性动态遗憾。
2026-01-14 cs.DS cs.LG math.OC
Online Optimization with Predictions and Non-convex Losses
IIIS, Tsinghua University（清华大学交叉信息研究院）；California Institute of Technology（加州理工学院）
我们研究在线优化的设置，在线学习者寻求优化每轮命中成本，这可能是非凸的，而在轮之间改变动作时会产生移动成本。我们要求：\textit{under what general conditions is it possible for an online learner to leverage predictions of future cost functions in order to achieve near-optimal costs?}先前的工作提供了接近最优的在线算法的特定组合的假设击中和切换成本，但没有一般的结果是已知的。在这项工作中，我们给出了两个一般的充分条件，指定击球和运动成本之间的关系，保证了一个新的算法，同步固定地平线控制（SFHC），提供了一个$1+O(1/w)$竞争比，其中$w$是学习者可用的预测数。我们的条件不要求成本函数是凸的，我们也得到了非凸的打击和运动成本的竞争比结果。我们的研究结果提供了第一个常数，无量纲的竞争比在线非凸优化运动成本。此外，我们给出了一个自然实例的例子，凸体追逐（CBC），其中不满足充分条件，我们可以证明没有在线算法可以具有收敛到1的竞争比。
2020-01-24 cs.LG stat.ML
An Online Convex Optimization Approach to Blackwell's Approachability
Technion – Israel Institute of Technology（以色列理工学院）
布莱克威尔在20世纪50年代提出了向量收益重复博弈中可接近性的概念，以及可接近性的几何条件和相应的策略，这些策略依赖于计算{ \em转向方向}作为从当前平均收益向量到（凸）目标集的投影。最近，Abernethy，Batlett和Hazan（2011）提出了一类可接近性算法，该算法依赖于在线线性规划的无遗憾属性来计算合适的转向方向序列。这是第一次进行的目标集是凸锥，然后推广到任何凸集嵌入到一个更高的维凸锥。在本文中，我们提出了一个更直接的配方，依赖于支持函数的集合，随着合适的在线凸优化算法，这导致了一般类的逼近算法。我们进一步表明，Blackwell的原始算法及其收敛性作为一个特殊情况。
2015-03-01 cs.GT cs.LG
Trading Regret for Efficiency: Online Convex Optimization with Long Term Constraints
Michigan State University（密歇根州立大学）
本文提出了一个求解约束在线凸优化问题的框架。我们的动机源于观察，大多数算法提出的在线凸优化需要一个投影到凸集$\mathcal{K}$的决定。虽然对于简单的形状（例如欧几里得球），投影是直接的，但对于任意复杂的集合，这是主要的计算挑战，并且在实践中可能效率低下。在本文中，我们考虑一个替代的在线凸优化问题。而不是要求决策属于$\mathcal{K}$的所有回合，我们只需要，定义集合$\mathcal{K}$的约束，满足长期运行。我们表明，我们的框架可以用来解决一个轻松的版本，在\cite{DBLP:conf/colt/MannorT06}和\cite{DBLP:conf/aaai/KvetonYTM08}解决边约束的在线学习。通过将该问题转化为一个在线的凸-凹优化问题，提出了一个有效的算法，该算法可以达到$\tilde{\mathcal{O}}(\sqrt{T})$后悔界和$\tilde{\mathcal{O}}(T^{3/4})$违反约束的界.然后，我们修改算法，以保证在长期的约束条件得到满足。这一收益是以获得$\tilde{\mathcal{O}}(T^{3/4})$遗憾绑定为代价的。我们的第二个算法是基于镜像Prox方法\citep{nemirovski-2005-prox}解决变分不等式，实现$\tilde{\mathcal{\mathcal{O}}}(T^{2/3})$界的…
2012-09-27 cs.LG
Online convex optimization for cumulative constraints
University of Minnesota（明尼苏达大学）
我们提出了在线凸优化的算法，导致累积平方约束违反的形式$\sum\limits_{t=1}^T\big([g(x_t)]_+\big)^2=O(T^{1-β})$，其中$β\in(0,1)$。以前的文献集中在$\sum\limits_{t=1}^Tg(x_t)$形式的长期约束上。在那里，严格可行解可以抵消违反约束的影响。相比之下，新的形式严重惩罚大的约束违反和取消效果不会发生。此外，有用的边界上的单步的约束违反$[g(x_t)]_+$。对于凸目标，我们的遗憾界推广了已有的遗憾界，对于强凸目标，我们给出了改进的遗憾界。在数值实验中，我们表明，我们的算法密切遵循的约束边界导致低累积违规。
2019-02-06 cs.LG
On the Online Frank-Wolfe Algorithms for Convex and Non-convex Optimizations
Institut Mines-Telecom, Telecom ParisTech, CNRS LTCI（法国矿业电信研究院，巴黎高等电信学院，法国国家科学研究中心LTCI）；Arizona State University（亚利桑那州立大学）；Ecole Polytechnique（巴黎综合理工学院）
在本文中，经典的Frank-Wolfe算法的在线变种被认为是。我们考虑在随机成本下最小化后悔。在线算法只需要简单的迭代更新和非自适应步长规则，在文献中通常考虑的混合计划。几个新的结果推导出凸和非凸损失。在强凸随机费用下，当最优解位于约束集内部或约束集为多胞形时，其后悔界和最优性分别为${\cal O}( \log^3 T / T )$和${\cal O}( \log^2 T / T)$，其中$T$为博弈轮数.这些结果是基于对随机Frank-Wolfe算法的改进分析。此外，在线算法收敛，即使当损失是非凸的，即，算法以${\cal O}(\sqrt{1/T})$的速率找到时变/随机损失的平稳点。现实数据集的数值实验，以支持我们的理论主张。
2016-08-15 cs.LG stat.ML
Distributed Online Non-convex Optimization with Composite Regret
Johnson Controls（江森自控）；Iowa State University（爱荷华州立大学）；New York University（纽约大学）
遗憾已被广泛采用的分布式，多智能体系统的在线优化算法的性能评估的选择度量。然而，与代理相关的数据/模型变化可能会显著影响决策，并需要代理之间的共识。此外，大多数现有的工作都集中在开发方法（无论是强或非强）凸损失，并已获得很少的结果，在分布式在线优化一般非凸损失的遗憾界。为了解决这两个问题，我们提出了一种新的复合遗憾与一个新的网络遗憾为基础的度量来评估分布式在线优化算法。我们具体定义了复合遗憾的静态和动态形式。通过利用我们的复合遗憾的动态形式，我们开发了一个基于共识的在线归一化梯度（CONGD）方法的伪凸损失，它证明了一个次线性的行为有关的规则项的路径变化的优化。对于一般的非凸损失，我们首先阐明了遗憾的设置分布式在线非凸学习的基础上，最近的进展，没有确定性算法可以实现次线性遗憾。然后，我们开发了分布式在线非凸优化与复合遗憾（DINOCO）没有访问的梯度，依赖于离线优化预言。DINOCO实现了次线性遗憾;据我们所知，这是一般分布式在线非凸学习的第一个遗憾界。
2022-09-21 cs.DC cs.LG stat.ML
Distributed Online Convex Optimization with Compressed Communication: Optimal Regret and Applications
National Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）；School of Artificial Intelligence, Nanjing University（南京大学人工智能学院）
本文研究了在压缩通信下分布式在线凸优化问题，提出最优算法，解决了压缩误差与投影误差之间的耦合问题，并在非光滑优化中提供了首次保证。
2026-04-10 cs.LG
