The Online Saddle Point Problem and Online Convex Optimization with Knapsacks
我们研究在线鞍点问题，在线学习问题，在每次迭代的一对行动需要选择不知道当前和未来的（凹凸）支付函数。我们的目标是最大限度地减少累积收益和鞍点值的总收益函数，我们使用称为“SP遗憾”的度量测量之间的差距。这个问题推广了在线凸优化框架，但在这里我们必须确保两个玩家的累积收益接近于游戏总和的纳什均衡。我们提出了一种算法，实现SP-遗憾成正比的$\sqrt{\ln(T)T}$在一般情况下，和$\log(T)$ SP-遗憾的强凹凸的情况下。我们还考虑了支付函数是双线性的，决策集是概率单形的特殊情况。在这种情况下，我们能够设计的算法，减少SP-遗憾的界限，从一个线性依赖的维度的问题，一个\textit{logarithmic}。我们还研究了强盗反馈下的问题，并提供了一个算法，实现次线性SP-Regret。然后，我们考虑一个在线凸优化背包问题的动机是各种各样的应用程序，如：动态定价，拍卖和众包。我们将这个问题的在线鞍点问题，并建立$O(\sqrt{T})$后悔使用原始-对偶算法。
2020-04-05 cs.LG math.OC stat.ML
Rate-Optimal Online Convex Optimization in Adaptive Linear Control
Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
研究了在状态和代价函数均为全反馈且凸代价函数反向变化的情况下，未知线性动力系统的控制问题。我们提出了第一个计算效率高的算法，达到最佳的$\smash{\sqrt{T}}$ -后悔率相比，最好的稳定线性控制器在事后，同时避免严格的假设，如强凸性的成本。我们的方法是基于一个精心设计的非凸置信下限的在线成本，并使用一种新的技术，利用其特定的非凸结构的计算效率的遗憾最小化这些界限。
2022-06-03 cs.LG math.OC stat.ML
Projection-free Adaptive Regret with Membership Oracles
Google AI Princeton（谷歌AI普林斯顿）；Princeton University（普林斯顿大学）；UC Berkeley（加州大学伯克利分校）
在在线凸优化的框架中，大多数迭代算法需要计算到凸集上的投影，这在计算上是昂贵的。为了解决这个问题，HK 12提出了无投影方法的研究，用更便宜的计算取代投影。最常见的方法是基于Frank-Wolfe方法，该方法使用线性优化计算代替投影。GK 22最近的工作给出了基于Frank Wolfe方法的无投影算法的次线性自适应后悔保证。在这项工作中，我们给出了无投影算法，是基于不同的技术，灵感来自Mhammedi 22，取代投影集成员计算。我们提出了一个简单的懒惰的基于梯度的算法与Minkowski正则化，达到近最佳的自适应遗憾界。对于一般的凸损失函数，我们改进了以前的自适应遗憾界从$O(T^{3/4})$到$O(\sqrt{T})$，并进一步到紧的区间相关界$\tilde{O}(\sqrt{I})$，其中$I$表示区间长度。对于强凸函数，我们使用无投影算法获得了第一个多对数自适应遗憾界。
2022-12-14 cs.LG math.OC stat.ML
Random Multi-Constraint Projection: Stochastic Gradient Methods for Convex Optimization with Many Constraints
Princeton University（普林斯顿大学）；Tsinghua University（清华大学）
考虑受大量约束的凸优化问题。我们专注于随机问题，其中的目标采取期望值的形式和可行集是大量的凸集的交集。我们提出了一类算法，同时执行随机梯度下降和随机可行性更新。在每次迭代中，算法将一些投影点采样到所有约束的随机选择的小子集上。三种可行性更新方案被认为是：平均在随机投影点，投影到最远的样本，投影到一个特殊的多面体集构造的基础上样本点。我们证明了这些算法的几乎处处收敛性，并分别分析了迭代的可行性误差和最优性误差。我们提供了新的收敛速度基准随机一阶优化与许多约束。速率分析和数值实验表明，该算法使用多面体集投影方案是已知算法中最有效的一个。
2015-11-12 cs.LG math.OC stat.ML
Adaptivity and Optimality: A Universal Algorithm for Online Convex Optimization
National Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）
本文研究了自适应在线凸优化问题，旨在设计一种通用的算法，该算法能对多种常见类型的损失函数达到最优后悔界。现有的通用方法是有限的，在这个意义上，他们是最佳的损失函数的一个子类。为了解决这个问题，我们提出了一种新的在线方法，即Maler，它享有最佳的$O(\sqrt{T})$，$O(d\log T)$和$O(\log T)$遗憾边界一般凸，指数凹，和强凸函数分别。其基本思想是并行运行具有不同学习率的多种类型的学习算法，并利用Meta算法动态跟踪最佳学习算法。实验结果证明了该方法的有效性。
2019-05-15 cs.LG math.OC stat.ML
Optimal Stochastic Non-smooth Non-convex Optimization through Online-to-Non-convex Conversion
Boston University（波士顿大学）；Google Research（谷歌研究）
本文提出新算法，通过将非光滑非凸优化归约为在线学习，将随机梯度查询复杂度从O(ε^{-4}δ^{-1})降至最优的O(ε^{-3}δ^{-1})，并扩展至确定性和二阶光滑情形。
2025-08-07 cs.LG math.OC stat.ML
Online Non-Convex Learning: Following the Perturbed Leader is Optimal
Carnegie Mellon University（卡内基梅隆大学）；Microsoft Research, India（微软研究院（印度））
我们研究了非凸损失的在线学习问题，学习者可以访问离线优化预言。我们表明，经典的跟随扰动领导（FTPL）算法实现了最佳的遗憾率$O(T^{-1/2})$在这种情况下。这改善了之前最著名的FTPL的$O(T^{-1/3})$后悔率。我们进一步表明，乐观的FTPL变体实现更好的后悔界限时，学习者遇到的损失序列是“可预测的”。
2019-09-21 cs.LG math.OC stat.ML
Projection-Free Online Convex Optimization with Stochastic Constraints
KAIST（韩国科学技术院）；The University of Sydney（悉尼大学）
针对具有随机约束的在线凸优化问题，本文提出了一种通用的在线原始-对偶无投影框架，并推导出多种设定下的次线性遗憾与约束违背界，在平滑与随机强对偶条件下进一步优化了约束违背的渐近增长率。
2023-05-16 cs.LG math.OC
Inexact Primal-Dual Gradient Projection Methods for Nonlinear Optimization on Convex Set
School of Information Science and Technology, ShanghaiTech University（上海科技大学信息科学与技术学院）；Shanghai Institute of Microsystem and Information Technology, Chinese Academy of Sciences（中国科学院上海微系统与信息技术研究所）；University of Washington（华盛顿大学）；Tongji University（同济大学）；University of Chinese Academy of Sciences（中国科学院大学）
针对凸集约束下的非线性最优化问题，提出了一种新的原始-对偶非精确梯度投影法。该方法每次迭代只需要不精确地计算投影到凸集上，从而减少了每次迭代投影的计算量。这一特点是有吸引力的，特别是解决问题的预测是计算上不容易计算。在较宽松的假设下，证明了最优性残差的整体收敛保证和O（1/k）的遍历收敛速度.我们将我们提出的策略应用于l1球约束问题。数值结果表明，我们的非精确梯度投影法求解l1-ball约束问题比精确方法更有效。
2019-11-18 cs.LG math.OC
Non-convex online learning via algorithmic equivalence
Google AI Princeton（谷歌AI普林斯顿）；Princeton University（普林斯顿大学）
我们研究了非凸梯度下降和凸镜下降之间的算法等价技术。我们首先看一个更难的问题，在线非凸优化的遗憾最小化。我们表明，在一定的几何和光滑条件下，在线梯度下降适用于非凸函数是一个近似的在线镜像下降适用于凸函数下重新参数化。在连续时间中，这种重新参数化的梯度流被证明是完全等价于连续时间镜像下降的Amid和Warren 2020，但类似的离散时间算法的理论仍然是一个悬而未决的问题。我们证明了一个$O(T^{\frac{2}{3}})$遗憾界的非凸在线梯度下降在此设置，回答这个开放的问题。我们的分析是基于一个新的和简单的算法等效方法。
2022-10-12 cs.LG math.OC
Projection-Free Online Convex Optimization via Efficient Newton Iterations
本文提出一种利用自和谐障碍函数和高效牛顿迭代的无投影在线凸优化算法，通过利用牛顿迭代稳定性减少矩阵求逆次数，实现最先进遗憾界。
2023-06-19 cs.LG math.OC
Exploiting the Curvature of Feasible Sets for Faster Projection-Free Online Learning
Massachusetts Institute of Technology（麻省理工学院）
在本文中，我们开发了新的有效的投影免费算法在线凸优化（OCO）。在线梯度下降（OGD）是保证最优$O(\sqrt{T})$遗憾界限的经典OCO算法的示例。然而，OGD和其他基于投影的OCO算法需要执行到可行集$\mathcal{C}\subset \mathbb{R}^d$上的欧几里得投影，只要它们的迭代步骤在$\mathcal{C}$之外。对于各种兴趣集合，该投影步骤可能在计算上是昂贵的，特别是当环境维度大时。这推动了无投影OCO算法的发展，该算法将欧几里得投影交换为通常更便宜的操作，如线性优化（LO）。然而，国家的最先进的LO为基础的算法只能实现一个次优的$O(T^{3/4})$遗憾的一般OCO。在本文中，我们利用最近的结果，无参数在线学习，并开发了一个OCO算法，使两个调用LO Oracle每轮，并实现了近最佳的$\widetilde{O}(\sqrt{T})$遗憾时，可行集是强凸的。我们还提出了一个算法，一般凸集，使$\widetilde O(d)$预期的数量调用LO Oracle每轮，并保证了$\widetilde O(T^{2/3})$遗憾，改善以前最好的$O(T^{3/4})$。我们实现了后者通过近似任何凸集$\mathcal{C}$的强凸的，其中LO可以使用$\widetilde {O}(d)$预期数量的调用到LO Oracle的$\mathcal{C}$。
2022-05-23 cs.LG math.OC
Online Saddle Point Problem and Online Convex-Concave Optimization
China University of Petroleum（中国石油大学）；College of Information Science and Engineering（信息科学与工程学院）
该研究围绕在线鞍点问题提出OCCO框架，以广义对偶间隙为性能度量，建立其与OCO的平行关系，开发两种相关算法并验证有效性，同时指出动态纳什均衡悔值存在固有缺陷。
2023-12-15 cs.LG math.OC
Optimal Stochastic Strongly Convex Optimization with a Logarithmic Number of Projections
Yahoo Research（雅虎研究院）；The University of Iowa（爱荷华大学）；Nanjing University（南京大学）
本文研究了带复不等式约束的随机强凸优化问题。这种复杂的不等式约束可能导致在随机梯度下降~（SGD）方法的算法迭代中计算昂贵的投影。为了减少投影的计算量，我们提出了一种Epoch-Projection随机梯度下降~（Epro-SGD）方法。所提出的Epro-SGD方法由一系列的epochs组成;它在epochs内的每次迭代中将SGD应用于增强的目标函数，然后在每个epochs结束时执行投影。给定强凸优化和$T$迭代的总次数，Epro-SGD仅需要$\log(T)$投影，并且同时在期望和高概率中获得$O(1/T)$的最优收敛速率。为了利用优化问题的结构，我们提出了一个近似的变体Epro-SGD，即Epro-RDA，基于最优正则化对偶平均方法。我们将所提出的方法应用于实际应用中，实验结果证明了我们的方法的有效性。
2016-05-24 cs.LG stat.ML
Projection-free Online Learning over Strongly Convex Sets
National Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术全国重点实验室）；Pazhou Lab（琶洲实验室）
针对强凸集上的在线学习问题，改进OFW的步长策略并提出强凸版OFW变体，分别在一般凸损失和强凸损失下取得更优的遗憾界，提升无投影在线算法的性能。
2024-06-24 cs.LG math.OC
Boosting for Online Convex Optimization
Princeton University（普林斯顿大学）；Google AI（谷歌人工智能）
我们考虑了在线凸优化的决策框架与大量的专家。此设置在上下文和强化学习问题中普遍存在，其中策略类的大小使得在策略类内进行枚举和搜索不可行。相反，我们考虑推广在线提升的方法。我们定义了一个弱学习算法作为一种机制，保证乘法近似的遗憾对一个基类的专家。在这个访问模型中，我们给出了一个有效的提升算法，保证接近最优的遗憾对凸包的基类。我们认为完全和部分（a.k.a.）。Bandit）信息反馈模型。我们也给出了一个类似的有效的提升算法的i.i.d.统计设置。我们的研究结果同时推广在线助推和梯度提升保证上下文学习模型，在线凸优化和强盗线性优化设置。
2021-02-18 cs.LG stat.ML
Online Non-Stationary Stochastic Quasar-Convex Optimization
The Australian National University（澳大利亚国立大学）
本文研究动态环境下的在线随机类星体凸优化，建立基于累积路径变化和梯度方差的在线梯度下降遗憾界，并将其应用于时变参数的广义线性模型，给出多种激活函数下的遗憾界并通过数值实验验证。
2024-07-04 cs.LG math.OC
Predictive Online Convex Optimization
University of California, Berkeley（加州大学伯克利分校）；University of Melbourne（墨尔本大学）；University of Toronto（多伦多大学）
在在线凸优化中，我们以未来梯度的估计值的形式引入未来信息。这是由电力系统中的需求响应激发的，其中关于当前回合的预测，例如，天气或负载的行为，可以用来改进仅通过过去的观察所做的预测。具体来说，我们引入了一个额外的预测步骤，遵循标准的在线凸优化步骤时，估计的梯度和下降方向的某些条件得到满足。我们表明，在这些条件下，没有任何假设的环境的可预测性，预测更新严格提高了标准更新的性能。对于不同的损失函数族，我们给出了两种类型的预测更新。我们提供了一个遗憾界，我们的预测在线凸优化算法。最后，我们将我们的框架应用到一个基于需求响应的例子中，该例子证明了其优于标准在线凸优化算法的性能。
2019-11-29 cs.LG math.OC
Online Optimization with Predictions and Non-convex Losses
IIIS, Tsinghua University（清华大学交叉信息研究院）；California Institute of Technology（加州理工学院）
我们研究在线优化的设置，在线学习者寻求优化每轮命中成本，这可能是非凸的，而在轮之间改变动作时会产生移动成本。我们要求：\textit{under what general conditions is it possible for an online learner to leverage predictions of future cost functions in order to achieve near-optimal costs?}先前的工作提供了接近最优的在线算法的特定组合的假设击中和切换成本，但没有一般的结果是已知的。在这项工作中，我们给出了两个一般的充分条件，指定击球和运动成本之间的关系，保证了一个新的算法，同步固定地平线控制（SFHC），提供了一个$1+O(1/w)$竞争比，其中$w$是学习者可用的预测数。我们的条件不要求成本函数是凸的，我们也得到了非凸的打击和运动成本的竞争比结果。我们的研究结果提供了第一个常数，无量纲的竞争比在线非凸优化运动成本。此外，我们给出了一个自然实例的例子，凸体追逐（CBC），其中不满足充分条件，我们可以证明没有在线算法可以具有收敛到1的竞争比。
2020-01-24 cs.LG stat.ML
Online Strongly Convex Optimization with Unknown Delays
Nanjing University（南京大学）；Paradigm Inc.（第四范式公司）
研究了具有未知时滞的在线凸优化问题，其中决策反馈具有任意时滞。以往的研究提出了一种延迟的在线梯度下降算法（OGD），并仅利用凸性条件得到了$O(\sqrt{T+D})$的遗憾界，其中$D$是$T$轮上的延迟之和.在本文中，我们进一步利用强凸性来提高遗憾界。具体地说，我们首先扩展了强凸函数的OGD的延迟变体，并建立了$O(d\log T)$的更好的遗憾界，其中$d$是最大延迟。其基本思想是让学习率随接收到的反馈总数线性衰减。此外，我们考虑更具挑战性的强盗设置，并获得类似的理论保证，将经典的多点梯度估计到我们的扩展方法。据我们所知，这是第一个工作，解决在线强凸优化一般延迟设置。
2021-03-21 cs.LG math.OC
Projection-free Online Learning
Technion - Israel Inst. of Tech.（以色列理工学院）；IBM T.J. Watson Research Center（IBM T.J. 沃森研究中心）
将在线学习应用于海量数据集的计算瓶颈通常是投影步骤。我们提出了有效的在线学习算法，避免预测有利于更有效的线性优化步骤，使用弗兰克-沃尔夫技术。我们得到了一系列的遗憾界的在线凸优化，更好的界限，如随机在线光滑凸优化的特定情况下。除了计算上的优势，我们的算法的其他可取的功能是，它们是参数的随机情况下，并产生稀疏的决定。我们将我们的算法应用于计算密集型应用的协同过滤，并显示出理论上的改进是清晰可见的标准数据集。
2012-06-18 cs.DS cs.LG
A Distributed Online Convex Optimization Algorithm with Improved Dynamic Regret
Duke University（杜克大学）
在本文中，我们考虑的问题，分布式在线凸优化，在网络的本地代理的目的是共同优化一个凸函数在一段时间内的多个时间步长。特工们对未来一无所知。现有的算法已经建立了明确的依赖于时间步长的数量的动态遗憾界。在这项工作中，我们表明，我们可以消除这种依赖性，假设当地的目标函数是强凸的。更准确地说，我们提出了一个梯度跟踪算法，代理联合通信和下降的基础上校正梯度步骤。我们通过数值实验验证了我们的理论结果。
2019-11-12 cs.LG math.OC
New Projection-free Algorithms for Online Convex Optimization with Adaptive Regret Guarantees
Technion - Israel Institute of Technology（以色列理工学院）
我们提出了新的有效的\textit{projection-free}算法在线凸优化（OCO），其中的投影免费，我们指的算法，避免计算正交投影到可行集，而不是依赖于不同的和潜在的更有效的预言。虽然大多数国家的最先进的无投影算法的基础上的\textit{follow-the-leader}框架，我们的算法是根本不同的，是基于\textit{online gradient descent}算法与一种新的和有效的方法来计算所谓的\textit{infeasible projections}。因此，我们获得了自然产生\textit{adaptive regret}保证的第一个无投影算法，即，遗憾的界限，持有w.r.t.序列的任何子区间。具体地说，当假设一个线性优化预言（LOO）的可行集的可用性，在一个序列的长度$T$，我们的算法保证$O(T^{3/4})$自适应遗憾和$O(T^{3/4})$自适应预期遗憾，分别为全信息和强盗设置，只使用$O(T)$调用LOO。这些界限与基于LOO的无投影OCO的当前最先进的遗憾界限匹配，该遗憾界限是\textit{not adaptive}。我们还考虑了一个新的自然环境中的可行集是通过分离预言机访问。我们提出的算法，使用整体$O(T)$调用的分离预言，保证$O(\sqrt{T})$自适应遗憾和$O(T^{3/4})$自适应预期遗憾的全部信息和强盗设置，分别。
2023-03-19 cs.LG math.OC
Efficient Projection-Free Online Convex Optimization with Membership Oracle
Massachusetts Institute of Technology（麻省理工学院）
在约束凸优化问题中，现有的基于椭球或割平面法的方法不能很好地适应环境空间的维数。其他方法，如投影梯度下降，只提供了一个简单的凸集，如欧几里德球，其中欧几里德投影可以有效地执行计算的好处。对于其他集合，投影的成本可能太高。为了规避这些问题，基于著名的Frank-Wolfe算法的替代方法已经被研究和使用。这种方法在每次迭代时使用线性最优化Oracle而不是欧几里得投影;前者通常可以有效地执行。这种方法也被推广到在线和随机最优化的设置。然而，Frank-Wolfe算法及其变体并没有达到最佳性能，在遗憾或率，一般凸集。更重要的是，他们使用的线性最优化Oracle在某些情况下仍然可能是计算昂贵的。在本文中，我们远离弗兰克-沃尔夫风格的算法，并提出了一个新的减少，把任何算法A定义在一个欧几里德球（投影是廉价的）的算法约束集C内包含的球，而不牺牲原算法A的性能。我们的减少需要在T轮之后对C上的Membership Oracle进行O（T log T）调用，并且不需要C上的线性最优化。使用我们的减少，我们恢复最佳后悔界限[分别。率]，在迭代次数方面，在线[resp.随机]凸优化。我们的保证也是有用的离线凸优化设置时，周围空间的维数是大的。
2021-11-10 cs.LG math.OC
On the Online Frank-Wolfe Algorithms for Convex and Non-convex Optimizations
Institut Mines-Telecom, Telecom ParisTech, CNRS LTCI（法国矿业电信研究院，巴黎高等电信学院，法国国家科学研究中心LTCI）；Arizona State University（亚利桑那州立大学）；Ecole Polytechnique（巴黎综合理工学院）
在本文中，经典的Frank-Wolfe算法的在线变种被认为是。我们考虑在随机成本下最小化后悔。在线算法只需要简单的迭代更新和非自适应步长规则，在文献中通常考虑的混合计划。几个新的结果推导出凸和非凸损失。在强凸随机费用下，当最优解位于约束集内部或约束集为多胞形时，其后悔界和最优性分别为${\cal O}( \log^3 T / T )$和${\cal O}( \log^2 T / T)$，其中$T$为博弈轮数.这些结果是基于对随机Frank-Wolfe算法的改进分析。此外，在线算法收敛，即使当损失是非凸的，即，算法以${\cal O}(\sqrt{1/T})$的速率找到时变/随机损失的平稳点。现实数据集的数值实验，以支持我们的理论主张。
2016-08-15 cs.LG stat.ML
Dynamic and Distributed Online Convex Optimization for Demand Response of Commercial Buildings
University of California, Berkeley（加州大学伯克利分校）
本文将在线分布式加权对偶平均（DWDA）算法[1]的遗憾分析扩展到动态设置，并为分布式在线凸优化（OCO）算法提供了迄今为止已知的关于时间范围的最紧动态遗憾界。我们的界限是线性的连续最优值之间的累积差异，并不显着依赖于时间范围。我们使用动态在线DWDA（D-ODWDA），制定了一个性能保证的分布式在线需求响应方法的供热，通风和空调（HVAC）系统的商业建筑。我们展示了我们的方法在数值模拟的快速时间尺度的需求响应的性能，并获得需求响应的决定，密切再现集中的最优。
2020-04-17 cs.LG math.OC
Improved Projection-free Online Continuous Submodular Maximization
Zhejiang University（浙江大学）
本文针对单调连续DR-子模奖励的在线学习问题，提出改进的无投影算法POBGA，在保持与Mono-FW相同计算复杂度下将遗憾界从O(T^{4/5})降至O(T^{3/4})，并在去中心化场景中同时降低遗憾界和通信复杂度。
2023-05-29 cs.LG math.OC
Learning-Augmented Decentralized Online Convex Optimization in Networks
UC Riverside（加州大学河滨分校）；Caltech（加州理工学院）
本文提出学习增强去中心化在线优化算法LADO，在去中心化多智能体网络中结合基准策略与机器学习策略，兼顾最坏情况鲁棒性和平均性能，并证明其平均成本界及权衡关系。
2024-10-18 cs.LG math.OC
Regret Bound by Variation for Online Convex Optimization
Michigan State University（密歇根州立大学）；NEC Laboratories America（NEC美国实验室）
在citep{Hazan-2008-extract}中，作者证明了在线线性优化的遗憾可以由成本向量的总变差限制。在本文中，我们将这个结果推广到一般的在线凸优化。首先分析了\citep{Hazan-2008-extract}中的算法在应用于在线凸优化时的局限性。然后，我们提出了两个算法的在线凸优化的遗憾是有界的变化的成本函数。最后，我们考虑了强盗设置，并提出了一个随机算法在线强盗凸优化与基于变分的遗憾界。我们证明，当成本函数的变化与试验次数无关时，在线强盗凸优化的遗憾界是最优的。
2012-06-14 cs.LG
Tight Bounds for Online Convex Optimization with Adversarial Constraints
School of Technology and Computer Science, Tata Institute of Fundamental Research（塔塔基础研究院技术与计算机科学学院）
本研究解决了约束在线凸优化的长期开放问题，通过结合AdaGrad自适应悔值界与李雅普诺夫优化，首次证明无额外假设下可同时实现$O(\sqrt{T})$悔值与$\tilde{O}(\sqrt{T})$累积约束违反量。
2024-05-15 cs.LG math.OC
Recursive Exponential Weighting for Online Non-convex Optimization
The Chinese University of Hong Kong（香港中文大学）
本文研究了在线非凸优化问题，它通过放松对代价函数的凸性假设，推广了经典的在线凸优化问题。对于这种类型的问题，经典的指数加权在线算法最近已被证明可以达到$O(\sqrt{T\log T})$的次线性遗憾。在本文中，我们引入了一种新的递归结构的在线算法定义一个递归指数加权算法，达到了遗憾的$O(\sqrt{T})$，匹配著名的遗憾下界。据我们所知，这是第一个在线算法与可证明的$O(\sqrt{T})$遗憾的在线非凸优化问题。
2017-09-13 cs.LG
Online Submodular Maximization via Online Convex Optimization
Northeastern University（东北大学）；Boston University（波士顿大学）
研究一般拟阵约束下的单调次模最大化在线优化问题，通过证明加权阈值势函数可凹松弛，将其归约为在线凸优化（OCO），结合舍入方案实现次线性遗憾，并扩展至动态遗憾、老虎机和乐观学习设定。
2024-01-08 cs.AI cs.LG math.OC
Revisiting Projection-Free Optimization for Strongly Convex Constraint Sets
University of Michigan, Ann Arbor（密歇根大学安娜堡分校）；Georgia Institute of Technology（佐治亚理工学院）
本文重新讨论了强凸约束集下的Frank-Wolfe（FW）优化问题。我们提供了一个更快的收敛速度FW没有线搜索，表明以前被忽视的FW的变种确实比标准的变种。线搜索，我们表明，FW可以收敛到全局最优，即使是光滑的功能，不是凸的，但准凸和局部Lipschitz。我们还表明，对于一般情况下（光滑）非凸函数，FW线搜索收敛到一个稳定点的速度$O\left(\frac{1}{t}\right)$的概率很高，只要约束集是强凸-在非凸优化的最快收敛速度之一。
2019-01-31 cs.AI cs.LG math.OC
Distributed Online Non-convex Optimization with Composite Regret
Johnson Controls（江森自控）；Iowa State University（爱荷华州立大学）；New York University（纽约大学）
遗憾已被广泛采用的分布式，多智能体系统的在线优化算法的性能评估的选择度量。然而，与代理相关的数据/模型变化可能会显著影响决策，并需要代理之间的共识。此外，大多数现有的工作都集中在开发方法（无论是强或非强）凸损失，并已获得很少的结果，在分布式在线优化一般非凸损失的遗憾界。为了解决这两个问题，我们提出了一种新的复合遗憾与一个新的网络遗憾为基础的度量来评估分布式在线优化算法。我们具体定义了复合遗憾的静态和动态形式。通过利用我们的复合遗憾的动态形式，我们开发了一个基于共识的在线归一化梯度（CONGD）方法的伪凸损失，它证明了一个次线性的行为有关的规则项的路径变化的优化。对于一般的非凸损失，我们首先阐明了遗憾的设置分布式在线非凸学习的基础上，最近的进展，没有确定性算法可以实现次线性遗憾。然后，我们开发了分布式在线非凸优化与复合遗憾（DINOCO）没有访问的梯度，依赖于离线优化预言。DINOCO实现了次线性遗憾;据我们所知，这是一般分布式在线非凸学习的第一个遗憾界。
2022-09-21 cs.DC cs.LG stat.ML
O(logT) Projections for Stochastic Optimization of Smooth and Strongly Convex Functions
Michigan State University（密歇根州立大学）；GE Global Research（通用电气全球研究中心）；Zhejiang University（浙江大学）
传统的随机优化算法需要将每次迭代的解投影到给定的域中以确保其可行性。当面对复杂域时，例如半正定锥，投影操作可能是昂贵的，导致每次迭代的计算成本很高。在本文中，我们提出了一种新的算法，旨在减少随机优化的投影数。该算法结合了随机优化的几个最新发展，包括小批量，额外的梯度，和历元梯度下降的力量，以有效地探索光滑性和强凸性。我们表明，无论是在预期和高概率，当目标函数是光滑和强凸，该算法实现了最佳的$O(1/T)$收敛速度，只有$O(\log T)$预测。我们的实证研究验证了理论结果。
2013-04-02 cs.LG
Projection-Free Online Optimization with Stochastic Gradient: From Convexity to Submodularity
Yale Institute for Network Science（耶鲁网络科学研究所）；Yale University（耶鲁大学）；University of Pennsylvania（宾夕法尼亚大学）
在线优化已经成为解决计算约束和部分信息下的大规模问题的成功框架。目前的在线凸优化方法在每一步都需要投影或精确的梯度计算，这两者对于大规模应用来说都是非常昂贵的。与此同时，在机器学习社区中，非凸优化的趋势日益增长，并且需要在线方法。连续DR-次模函数具有收益递减的性质，是一类可以有效优化的非凸函数。虽然已经引入了在线方法，但它们也存在类似的问题。在这项工作中，我们提出Meta-Frank-Wolfe，第一个在线投影算法，使用随机梯度估计。该算法依赖于在每一轮梯度的仔细采样，并实现了凸和连续子模块优化的最佳$O( \sqrt{T})$对抗遗憾界。我们还提出了一个简单的算法，只需要一个单一的随机梯度估计，在每一轮，并实现了$O(T^{2/3})$随机遗憾界凸和连续的子模块优化。我们应用我们的方法来开发一种新的“提升”框架的在线离散子模块最大化，也看到他们优于目前最先进的技术在各种实验。
2018-06-14 cs.AI cs.DS cs.LG
Smoothed Online Convex Optimization in High Dimensions via Online Balanced Descent
Institute of High Performance Computing（高性能计算研究所）；California Institute of Technology（加州理工学院）
我们研究平滑在线凸优化，在线凸优化的一个版本，学习者在两轮之间改变她的动作会受到惩罚。给定任何在线算法的竞争比的$Ω(\sqrt{d})$下界，其中$d$是动作空间的维数，我们问在什么条件下这个界可以被击败。我们引入了一种新的算法框架，在线平衡下降（OBD），它的工作原理是通过迭代投影到一个精心选择的水平集的当前成本函数，以平衡切换成本和命中成本的前一点。我们证明了OBD框架的一般性，通过展示如何，不同的选择“平衡”，OBD可以提高国家的最先进的性能保证竞争比和遗憾，特别是，OBD是第一个算法，以实现无量纲的竞争比，$3 + O(1/α)$，局部多面体的成本，其中$α$措施的“陡度”的成本。我们还证明了边界上的OBD的动态遗憾时，进行平衡的对偶空间是无量纲的，并意味着OBD有次线性静态遗憾。
2018-07-08 cs.DS cs.LG stat.ML
Online Convex Optimization in Adversarial Markov Decision Processes
Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
我们考虑在线学习在情节无环马尔可夫决策过程（MDP），其中的损失函数可以任意改变情节之间，和过渡函数是未知的学习。我们展示了$\tilde{O}(L|X|\sqrt{|A|T})$后悔边界，其中$T$是情节的数量，$X$是状态空间，$A$是动作空间，$L$是每个情节的长度。我们的在线算法是使用熵正则化方法实现的，它允许扩展原始的对抗MDP模型来处理凸性能标准（不同的方式来聚合单个事件的损失），以及改进以前的遗憾界限。
2019-05-19 cs.AI cs.LG stat.ML
Online Convex Optimization Against Adversaries with Memory and Application to Statistical Arbitrage
Technion（以色列理工学院）
具有记忆的在线学习的框架自然地捕获具有时间约束的学习问题，并且先前针对专家设置进行了研究。在这项工作中，我们扩展的概念，学习与记忆的一般在线凸优化（OCO）的框架，并提出了两个算法，达到低遗憾。第一个算法适用于Lipschitz连续损失函数，获得凸和强凸损失的最优遗憾界。第二个算法达到最佳遗憾界，并适用于更广泛的凸损失，而不需要Lipschitz连续性，但更复杂的实现。我们补充我们的理论结果与金融统计套利的应用：我们设计算法构建均值回复投资组合。
2014-06-10 cs.LG
Projection-free Online Learning with Arbitrary Delays
Zhejiang University（浙江大学）；Nanjing University（南京大学）；Paradigm Inc.（第四范式公司）
针对梯度反馈存在任意延迟的实际场景，将OFW和OSPF算法推广至延迟设定，通过利用可用梯度进行更新，证明了在较大延迟下仍能保持与非延迟设定相同的遗憾界。
2023-05-20 cs.LG
Low-Rank Matrix Estimation From Rank-One Projections by Unlifted Convex Optimization
Georgia Institute of Technology（佐治亚理工学院）；The Ohio State University（俄亥俄州立大学）
研究了从秩一投影中恢复低秩矩阵的凸估计。使用初始估计的目标$d_1\times d_2$矩阵的秩- $r$的因素，估计承认一个实用的次梯度法操作的空间尺寸$r(d_1+d_2)$。这个属性使得估计显着更具可扩展性比基于提升和半定规划的凸估计。此外，我们提出了一个精简的分析下，真正的高斯测量模型，以及部分去随机化的测量模型，通过使用球形$t$设计的精确恢复。我们表明，在这两个模型的估计成功，具有很高的概率，如果测量的数量超过$r^2 (d_1+d_2)$一些对数因子。这个样本的复杂性改善了现有的非凸迭代算法的结果。
2021-01-10 cs.LG math.ST stat.ML
Online Compact Convexified Factorization Machine
Tsinghua University（清华大学）；South China University of Technology（华南理工大学）
因子分解机是一种监督学习方法，具有强大的特征工程能力。它在各种批量学习任务中产生最先进的性能，其中所有训练数据在训练之前可用。然而，在数据以流式方式顺序到达的现实应用中，使用批量学习算法重新训练的高成本在在线学习场景中提出了巨大的挑战。最初的挑战是，没有事先制定的FM可以满足在线凸优化（OCO）的要求-在线学习算法设计的最重要的框架。为了解决上述挑战，我们发明了一种新的凸化方案，从而实现了无缝满足OCO要求的紧凑型凸化FM（CCFM）。然而，对于在在线学习设置中学习紧凑凸变FM（CCFM），大多数现有算法遭受昂贵的投影操作。为了解决这一后续挑战，我们遵循在线条件梯度的一般无投影算法框架，并提出了一种在线紧凑凸因子分解机（OCCFM）算法，该算法通过有效的线性优化步骤避免了投影操作。在支持建议的OCCFM在其理论基础方面，我们证明了开发的算法实现了次线性遗憾界。为了评估OCCFM的经验性能，我们在6个真实世界的在线推荐和二进制分类任务的数据集上进行了广泛的实验。实验结果表明，OCCFM优于最先进的在线学习算法。
2018-02-05 cs.LG
No-Regret Algorithms for Unconstrained Online Convex Optimization
Duolingo, Inc.（多邻国公司）；Google, Inc.（谷歌公司）
在线凸优化的一些最引人注目的应用，包括在线预测和分类，是无约束的：自然可行集是R^n。现有的算法无法实现次线性遗憾，在这种情况下，除非对比较点x^* 的约束是已知的。我们提出的算法，没有这样的先验知识，提供接近最优的遗憾界相对于任何选择x^*。特别地，关于x^* = 0的后悔是恒定的。然后，我们证明下界表明，我们的保证在这种情况下是接近最优的。
2012-11-09 cs.LG
Differentiable Projection-based Learn to Optimize in Wireless Network-Part I: Convex Constrained (Non-)Convex Programming
State Key Laboratory of ISN（ISN国家重点实验室）；School of Telecommunications Engineering, Xidian University（西安电子科技大学通信工程学院）；School of Cyber Engineering, Xidian University（西安电子科技大学网络与信息安全学院）
本文提出一种基于可微投影的方法，将不可行的神经网络输出投影至可行域以严格满足凸约束，并推导目标函数及其梯度实现无监督训练，有效解决了传统求解器难以处理的一般凸约束（非）凸优化问题。
2025-01-29 cs.LG cs.SY eess.SY
An Online Convex Optimization Approach to Blackwell's Approachability
Technion – Israel Institute of Technology（以色列理工学院）
布莱克威尔在20世纪50年代提出了向量收益重复博弈中可接近性的概念，以及可接近性的几何条件和相应的策略，这些策略依赖于计算{ \em转向方向}作为从当前平均收益向量到（凸）目标集的投影。最近，Abernethy，Batlett和Hazan（2011）提出了一类可接近性算法，该算法依赖于在线线性规划的无遗憾属性来计算合适的转向方向序列。这是第一次进行的目标集是凸锥，然后推广到任何凸集嵌入到一个更高的维凸锥。在本文中，我们提出了一个更直接的配方，依赖于支持函数的集合，随着合适的在线凸优化算法，这导致了一般类的逼近算法。我们进一步表明，Blackwell的原始算法及其收敛性作为一个特殊情况。
2015-03-01 cs.GT cs.LG
Capacity Provisioning Motivated Online Non-Convex Optimization Problem with Memory and Switching Cost
本文研究带记忆和切换代价的在线非凸优化问题，通过调节活跃服务器数量最小化作业总延迟，并针对最坏情况和随机输入分别提出竞争算法。
2024-07-01 cs.DS cs.LG
Stochastic Optimization for Non-convex Inf-Projection Problems
University of Iowa（爱荷华大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；Nanjing University（南京大学）；The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））
在本文中，我们研究了一个家庭的非凸的，可能是非光滑的inf-projection最小化问题，其中的目标函数是等于最小化的联合函数在另一个变量。该问题包括凸函数的差分和一类双凸函数的特殊情形。我们开发的随机算法，并建立其一阶收敛性的目标非凸函数的（近）固定的解决方案，在不同的条件下的组件功能。据我们所知，这是第一个全面研究随机优化的非凸下投影极小化问题的可证明收敛保证。我们的算法使一个家庭的不可分解的DC函数和家庭的双凸函数的有效随机优化。为了证明所提出的算法的能力，我们考虑了基于方差的正则化的一个重要应用。实验验证了我们的inf-projection为基础的配方和建议的随机算法相比，以前的随机算法的基础上的最小-最大制定实现相同的效果。
2020-07-13 cs.LG math.OC stat.ML
Revisiting Projection-free Online Learning: the Strongly Convex Case
Technion - Israel Institute of Technology（以色列理工学院）
无投影优化算法主要基于经典的Frank-Wolfe方法，近年来在机器学习社区中获得了极大的兴趣，因为它们能够处理在许多应用中流行的凸约束，但是对于这些凸约束，计算投影在高维设置中通常在计算上是不切实际的，因此禁止使用大多数标准的基于投影的方法。特别是，一个显着的研究工作投入了无投影方法的在线学习。在本文中，我们重新审视了Hazan和Kale \cite{Hazan12}提出的在线Frank-Wolfe（OFW）方法，并填补了多年来未被注意到的空白：OFW在强凸函数上实现了更快的$O(T^{2/3})$速度（与标准的$O(T^{3/4})$相反，对于凸但不是强凸函数），其中$T$是序列长度。这有点令人惊讶，因为众所周知，对于离线优化，一般来说，强凸性不会导致Frank-Wolfe的更快速度。我们还重新审视了强凸性下的bandit设置，并证明了$\tilde O(T^{2/3})$（而不是没有强凸性的$O(T^{3/4})$）的一个类似的界。因此，在目前的事态，最好的投影自由的上界的全信息和强盗设置强凸和非光滑的功能匹配的对数因子在$T$。
2021-02-23 cs.LG math.OC
Structured Prediction with Projection Oracles
NTT Communication Science Laboratories（NTT通信科学实验室）
在本文中，我们提出了一个一般的框架，推导出结构化预测的损失函数。在我们的框架中，用户选择一个包含输出空间的凸集，并提供一个用于投影到该集合上的预言。给定该预言，我们的框架自动生成相应的凸和光滑损失函数。正如我们所展示的，添加投影作为输出层可以证明会使损失更小。我们确定的边缘多面体，输出空间的凸包，作为最佳的凸集上的项目。然而，由于到边缘多面体上的投影有时可能是昂贵的计算，我们允许使用任何凸超集代替，具有潜在的更便宜的计算投影。由于有效的投影算法可用于许多凸集，这使我们能够为各种任务构建损失函数。在理论方面，当与校准解码相结合时，我们证明了我们的损失函数可以用作感兴趣的（潜在非凸的）目标损失函数的一致代理。我们证明了我们在标签排名，有序回归和多标签分类上的损失，证实了预测能够提高准确性。
2020-02-26 cs.LG stat.ML
Formulation of Weighted Average Smoothing as a Projection of the Origin onto a Convex Polytope
我们的研究重点是确定加权移动平均平滑平方损失下的最佳权重窗口。我们发现，存在一个最佳的权重窗口，是对称的中心。我们研究了一类锥形权重窗口，其权重随着远离中心而减小。我们制定相应的最小二乘问题作为一个二次规划，最后作为一个投影的原点到凸多面体。此外，当输入数据满足某些条件时，我们提供了一些最佳窗口的解析解。
2023-03-19 cs.LG eess.SP math.OC
Robust Online Learning for Resource Allocation -- Beyond Euclidean Projection and Dynamic Fit
Technische Universität München（慕尼黑工业大学）
在线学习的文献集中在设计算法，以确保次线性增长的累积长期约束违反。这种保证的缺点是严格可行的动作可能会抵消其他时隙上的约束违反。出于这个原因，我们引入了一个新的性能指标称为$\hCFit$，其特定的实例是累积的约束违反的积极的一部分。我们提出了一类非因果关系的在线决策，保证，在缓慢变化的环境中，这个数量的次线性增长，尽管嘈杂的一阶反馈算法。此外，我们通过数值实验证明了我们的方法相对于最先进的性能增益。
2019-10-21 cs.LG math.OC
Projection-Free Multi-level Algorithms for Stochastic Constrained Compositional Optimization
Nanjing University of Science and Technology（南京理工大学）；Nanjing University（南京大学）；Zhejiang University（浙江大学）
本文提出针对随机约束多级组合优化的无投影算法，利用线性最小化预言机，涵盖非凸、凸及强凸情形，并给出复杂度保证与实验验证。
2026-09-15 cs.LG math.OC
Sparse projections onto the simplex
大多数具有秩或稀疏性约束的学习方法使用凸松弛，这导致使用核范数或$\ell_1$范数进行优化。然而，几个重要的学习应用程序不能受益于这种方法，因为他们的特点，这些凸规范的约束，除了非凸秩和稀疏性约束。在这种情况下，我们推导出有效的稀疏投影到单纯形及其扩展，并说明如何使用它们来解决量子断层扫描，稀疏密度估计和非凸约束的投资组合选择中的高维学习问题。
2013-04-10 cs.LG stat.ML
Fast Algorithms for Online Stochastic Convex Programming
Microsoft Research（微软研究院）
我们介绍了在线随机凸规划（CP）问题，一个非常一般的版本的随机在线问题，允许任意凹目标和凸可行性约束。在线随机包装与覆盖、在线随机匹配等问题是在线随机CP的一个特例。我们提出了快速算法，这些问题，实现了近最佳的遗憾保证的i.i.d.以及随机输入的随机置换模型。当应用到特殊情况下的在线包装，我们的想法产生一个更简单，更快的原始-对偶算法，这个研究问题，实现了最佳的竞争比。我们的技术明确的连接原始-对偶范式和在线学习在线随机CP。
2014-10-28 cs.DS cs.LG math.OC
