Online Nonconvex Bilevel Optimization with Bregman Divergences
Stony Brook University（石溪大学）；Bloomberg（彭博公司）；Institute for Advanced Computational Science（高级计算科学研究所）
该研究针对在线非凸-强凸双层优化问题，提出基于自适应Bregman散度的确定性OBBO和带窗口平均方差缩减的随机SOBBO算法，提升双层局部悔值速率，实验验证其在超参数优化、元学习任务上优于现有基准。
2024-09-16 cs.LG math.OC
Predictive Online Convex Optimization
University of California, Berkeley（加州大学伯克利分校）；University of Melbourne（墨尔本大学）；University of Toronto（多伦多大学）
在在线凸优化中，我们以未来梯度的估计值的形式引入未来信息。这是由电力系统中的需求响应激发的，其中关于当前回合的预测，例如，天气或负载的行为，可以用来改进仅通过过去的观察所做的预测。具体来说，我们引入了一个额外的预测步骤，遵循标准的在线凸优化步骤时，估计的梯度和下降方向的某些条件得到满足。我们表明，在这些条件下，没有任何假设的环境的可预测性，预测更新严格提高了标准更新的性能。对于不同的损失函数族，我们给出了两种类型的预测更新。我们提供了一个遗憾界，我们的预测在线凸优化算法。最后，我们将我们的框架应用到一个基于需求响应的例子中，该例子证明了其优于标准在线凸优化算法的性能。
2019-11-29 cs.LG math.OC
A Survey on Distributed Online Optimization and Game
Tongji University（同济大学）；Shanghai Research Institute for Intelligent Autonomous Systems（上海智能自主系统研究院）；Nanyang Technological University（南洋理工大学）；Harvard University（哈佛大学）
分布式在线优化和博弈在过去十年中得到了越来越多的研究，主要是由于其在传感器网络，机器人（例如，分布式目标跟踪和编队控制）、智能电网、深度学习等等。在这些问题中，有一个可以合作的代理网络（即，分布式在线优化）或非协作（即，网络游戏，通过信息交流。在动态甚至对抗环境中，每个代理的局部成本函数往往是时变的。每一次，决策必须由每个代理人根据手头的历史信息做出，而不知道成本函数的未来信息。对于这些问题，目前还缺乏一个全面的调查。本文旨在从问题设置、通信、计算、算法和性能的角度对分布式在线优化和博弈进行全面的概述。此外，还讨论了一些潜在的未来发展方向。
2023-01-21 cs.LG math.OC
Online Mixed-Integer Optimization in Milliseconds
我们提出了一种使用机器学习以非常高的速度解决在线混合整数优化（MIO）问题的方法。通过利用在线优化的重复性，我们能够大大加快解决方案的时间。我们的方法使用[BS 21]中提出的优化框架的声音将最优解编码为表示为策略的少量信息量。这样，优化算法的核心部分就变成了一个可以很快解决的多类分类问题。在这项工作中，我们将该框架扩展到实时和高速应用程序，重点是参数混合整数二次优化（MIQO）。我们提出了一个非常快速的在线优化算法，包括一个前馈神经网络（NN）的评价和一个线性系的解决方案，其中矩阵已经被分解。因此，这种在线方法不需要任何求解器或迭代算法。我们所提出的方法的速度都在所需的总计算和测量的执行时间。我们估计的浮点运算（触发器）的数量需要完全恢复的最优解的函数的问题尺寸。与最先进的MIO例程相比，我们的方法的在线运行时间是非常可预测的，并且可以低于单个矩阵分解时间。我们基准我们的方法对国家的最先进的求解器Guesthouse获得从两到三个数量级的加速从燃料电池能源管理，稀疏的投资组合优化和运动规划与避障的例子。
2021-03-23 cs.LG math.OC
Dynamic and Distributed Online Convex Optimization for Demand Response of Commercial Buildings
University of California, Berkeley（加州大学伯克利分校）
本文将在线分布式加权对偶平均（DWDA）算法[1]的遗憾分析扩展到动态设置，并为分布式在线凸优化（OCO）算法提供了迄今为止已知的关于时间范围的最紧动态遗憾界。我们的界限是线性的连续最优值之间的累积差异，并不显着依赖于时间范围。我们使用动态在线DWDA（D-ODWDA），制定了一个性能保证的分布式在线需求响应方法的供热，通风和空调（HVAC）系统的商业建筑。我们展示了我们的方法在数值模拟的快速时间尺度的需求响应的性能，并获得需求响应的决定，密切再现集中的最优。
2020-04-17 cs.LG math.OC
Stochastic Learning Rate Optimization in the Stochastic Approximation and Online Learning Settings
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Nevada（内华达大学）
在这项工作中，乘性随机适用于学习率的随机最优化算法，从而产生随机学习率计划。随机梯度下降配备这种新的随机学习率计划下的随机设置，以及在线优化设置下的收敛结果的预期理论收敛结果。实证结果考虑的情况下，自适应均匀分布的乘法随机性，不仅包括随机梯度下降，但也配备了随机学习率的其他流行的算法。相对于其确定性学习率版本，它们表现出明显的优化性能增益。
2022-03-21 cs.LG math.OC
Inverse Multiobjective Optimization Through Online Learning
Amazon（亚马逊）；University of Pittsburgh（匹兹堡大学）
我们研究的问题，学习的目标函数或约束的多目标决策模型的基础上，一组顺序到达的决定。特别是，这些决策可能不准确，可能带有测量噪声，或者是决策者有限理性的结果。在本文中，我们提出了一个通用的在线学习框架来处理这个学习问题，使用逆多目标优化。更准确地说，我们开发了两个在线学习算法与隐式更新规则，可以处理噪声数据。数值结果表明，这两种算法都能很好地学习参数，并且对噪声具有很好的鲁棒性。
2022-12-24 cs.LG math.OC
Projection-Free Online Convex Optimization with Stochastic Constraints
KAIST（韩国科学技术院）；The University of Sydney（悉尼大学）
针对具有随机约束的在线凸优化问题，本文提出了一种通用的在线原始-对偶无投影框架，并推导出多种设定下的次线性遗憾与约束违背界，在平滑与随机强对偶条件下进一步优化了约束违背的渐近增长率。
2023-05-16 cs.LG math.OC
Online Dynamic Submodular Optimization
Polytechnique Montreal（蒙特利尔理工学院）；GERAD（GERAD研究院）；Mila（米拉人工智能研究所）
本文针对动态环境下的在线子模优化问题，提出OSGA和OSPGD两种算法，给出与在线凸优化可比的动态遗憾界，并在电力系统需求响应与配电网重构中验证了有效性。
2024-05-02 cs.LG math.OC
Boosting One-Point Derivative-Free Online Optimization via Residual Feedback
Duke University（杜克大学）；The University of Utah（犹他大学）；The Ohio State University（俄亥俄州立大学）
零阶优化（ZO）通常依赖于两点反馈来估计目标函数的未知梯度。然而，两点反馈不能用于时变目标函数的在线优化，其中在每个时间步仅可能对函数值进行单个查询。在这项工作中，我们提出了一个新的一点反馈在线优化方法，估计目标函数梯度使用两个反馈点之间的残差在连续的时刻。此外，我们开发的遗憾界ZO与剩余反馈的凸和非凸在线优化问题。具体而言，对于确定性和随机性问题，Lipschitz和光滑的目标函数，我们表明，使用残差反馈可以产生梯度估计与传统的一点反馈方法相比，具有更小的方差。因此，我们的遗憾界更严格相比，现有的遗憾界与传统的一点反馈，这表明，ZO与剩余反馈可以更好地跟踪在线优化问题的优化器。此外，我们的遗憾界依赖于较弱的假设比传统的一点反馈方法。数值实验表明，ZO与剩余反馈显着优于现有的一点反馈方法在实践中也。
2020-12-03 cs.LG math.OC
Online Stochastic Optimization with Multiple Objectives
Michigan State University（密歇根州立大学）；GE Global Research（通用电气全球研究中心）
在本文中，我们提出了一个通用的框架来描述和解决多目标随机优化问题的许多现实世界的学习应用。我们首先提出了一个基于投影的算法，达到了$O(T^{-1/3})$收敛速度。然后，利用约束优化中的拉格朗日理论，设计了一种新的原始-对偶随机近似算法，该算法在一般Lipschitz连续目标下获得了$O(T^{-1/2})$的最优收敛速度.
2013-07-14 cs.LG math.OC
Tight Bounds for Online Convex Optimization with Adversarial Constraints
School of Technology and Computer Science, Tata Institute of Fundamental Research（塔塔基础研究院技术与计算机科学学院）
本研究解决了约束在线凸优化的长期开放问题，通过结合AdaGrad自适应悔值界与李雅普诺夫优化，首次证明无额外假设下可同时实现$O(\sqrt{T})$悔值与$\tilde{O}(\sqrt{T})$累积约束违反量。
2024-05-15 cs.LG math.OC
Online Submodular Maximization via Online Convex Optimization
Northeastern University（东北大学）；Boston University（波士顿大学）
研究一般拟阵约束下的单调次模最大化在线优化问题，通过证明加权阈值势函数可凹松弛，将其归约为在线凸优化（OCO），结合舍入方案实现次线性遗憾，并扩展至动态遗憾、老虎机和乐观学习设定。
2024-01-08 cs.AI cs.LG math.OC
Online Convex Optimization Perspective for Learning from Dynamically Revealed Preferences
Carnegie Mellon University（卡内基梅隆大学）
我们研究的问题，在线学习（OL）从显示的偏好：学习者希望学习一个非战略代理的私人效用函数，通过观察代理的效用最大化的行动，在不断变化的环境。我们采用了在线逆优化设置，学习者观察代理的行动流在网上的时尚和学习性能的衡量与损失函数的遗憾。我们首先刻画了一类特殊但广泛的智能体效用函数，然后利用这种结构设计了一个新的凸损失函数。我们建立了关于我们的新损失函数的后悔也限制了关于文献中所有其他常见的损失函数的后悔。这使我们能够设计一个灵活的OL框架，使一个统一的处理损失函数，并支持各种在线凸优化算法。我们证明与理论和实证证据表明，我们的框架的基础上新的损失函数（特别是在线镜像下降）的遗憾性能和解决方案的时间比其他OL算法从文献和绕过以前的技术假设，以及显着的优势。
2021-06-04 cs.LG math.OC
Efficient Online Linear Optimization with Approximation Algorithms
Technion - Israel Institute of Technology（以色列理工学院）
我们重新审视问题的\textit{online linear optimization}的情况下，一组可行的行动是通过一个近似的线性优化预言与因子$α$乘法近似保证。这种设置是特别有趣的，因为它捕获了自然的在线扩展的研究\textit{offline}线性优化问题，这是NP难，但承认有效的近似算法。这里的目标是最小化$α$ \textit{-regret}，它是\textit{online learning}中标准\textit{regret}对此设置的自然扩展。我们提出了新的算法，显着提高了甲骨文的复杂性，为充分的信息和土匪的变种的问题。主要是，对于这两种变体，我们提出了$α$ -遗憾界的$O(T^{-1/3})$，$T$是预测轮数，平均每次迭代仅使用$O(\log{T})$调用近似oracle。这些是第一个结果，以获得平均预言复杂性的$O(\log{T})$（或甚至多对数的$T$）和$α$ -遗憾界$O(T^{-c})$为一个常数$c>0$，为两个变种。
2017-09-10 cs.LG math.OC
Oracle-Based Robust Optimization via Online Learning
Technion（以色列理工学院）
鲁棒优化是不确定性优化中的一种常用框架，它是指当问题参数未知时，但已知参数属于某个给定的不确定性集合。在鲁棒优化框架中，所解决的问题是一个最小-最大问题，其中根据参数的最差可能实现的性能来判断解决方案。在许多情况下，某种类型的鲁棒最优化问题的直接解决方案需要解决更复杂类型的最优化问题，并且在某些情况下甚至是NP难的。例如，解决一个强大的圆锥二次规划，如在强大的SVM，椭球不确定性一般导致一个半定的计划。在本文中，我们开发了一种方法，近似解决一个强大的最优化问题使用工具，从在线凸优化，在每一个阶段的标准（非鲁棒）优化程序解决。我们的算法找到一个近似的强大的解决方案，使用一些调用的预言，解决了原来的（非鲁棒性）的问题，是成反比的目标精度的平方。
2014-02-25 cs.LG math.OC
A Distributed Online Convex Optimization Algorithm with Improved Dynamic Regret
Duke University（杜克大学）
在本文中，我们考虑的问题，分布式在线凸优化，在网络的本地代理的目的是共同优化一个凸函数在一段时间内的多个时间步长。特工们对未来一无所知。现有的算法已经建立了明确的依赖于时间步长的数量的动态遗憾界。在这项工作中，我们表明，我们可以消除这种依赖性，假设当地的目标函数是强凸的。更准确地说，我们提出了一个梯度跟踪算法，代理联合通信和下降的基础上校正梯度步骤。我们通过数值实验验证了我们的理论结果。
2019-11-12 cs.LG math.OC
Online Strongly Convex Optimization with Unknown Delays
Nanjing University（南京大学）；Paradigm Inc.（第四范式公司）
研究了具有未知时滞的在线凸优化问题，其中决策反馈具有任意时滞。以往的研究提出了一种延迟的在线梯度下降算法（OGD），并仅利用凸性条件得到了$O(\sqrt{T+D})$的遗憾界，其中$D$是$T$轮上的延迟之和.在本文中，我们进一步利用强凸性来提高遗憾界。具体地说，我们首先扩展了强凸函数的OGD的延迟变体，并建立了$O(d\log T)$的更好的遗憾界，其中$d$是最大延迟。其基本思想是让学习率随接收到的反馈总数线性衰减。此外，我们考虑更具挑战性的强盗设置，并获得类似的理论保证，将经典的多点梯度估计到我们的扩展方法。据我们所知，这是第一个工作，解决在线强凸优化一般延迟设置。
2021-03-21 cs.LG math.OC
Adaptive Composite Online Optimization: Predictions in Static and Dynamic Environments
TU Delft（代尔夫特理工大学）
在线凸优化（OCO）由于其灵活的实时性和强大的性能保证，在过去的几年中受到了控制文献的关注。在本文中，我们提出了新的步长规则和OCO算法，同时利用梯度预测，功能预测和动态，特别是有关控制应用的功能。所提出的算法享有静态和动态的遗憾界的动态参考动作序列，梯度预测误差和功能预测误差，这是从文献中已知的规律性措施的概括。我们目前的结果凸和强凸成本。我们验证了所提出的算法在轨迹跟踪案例研究中的性能，以及使用真实世界的数据集进行投资组合优化。
2023-01-14 cs.LG math.OC
Safe Online Convex Optimization with Unknown Linear Safety Constraints
Texas A&M University（德克萨斯农工大学）
研究了安全在线凸优化问题，其中每个时间步的行动必须满足一组线性安全约束。我们的目标是选择一系列的行动，以尽量减少遗憾，而不违反安全约束在任何时间步骤（高概率）。指定线性安全约束的参数对于算法是未知的。该算法只能访问所选动作的约束的噪声观测。我们提出了一种算法，称为{安全在线投影梯度下降}（SO-PGD）算法，以解决这个问题。我们表明，在假设的安全基线行动的可用性，SO-PGD算法实现了遗憾$O(T^{2/3})$。虽然有许多算法的在线凸优化（OCO）的安全约束问题在文献中，他们允许在学习/优化过程中的约束违反，并一直专注于特征的累积约束违反。据我们所知，我们的工作是第一次提供了一个算法与可证明的保证遗憾，而不违反线性安全约束（高概率）在任何时间步。
2021-11-14 cs.LG math.OC
Online Alternating Direction Method (longer version)
University of Minnesota, Twin Cities（明尼苏达大学双城分校）
在线优化已经成为大规模优化的有力工具。本文介绍了一种基于交替方向法（ADM）的在线优化算法，该算法可以求解线性约束下的非光滑凸优化问题。我们引入了新的证明技术，ADM在批处理设置，这产生了O（1/T）的收敛速度ADM和形成的基础上，后悔分析在线设置。我们考虑两种情况下，在线设置，根据是否需要一个额外的Bregman分歧。在这两种情况下，我们建立遗憾的目标函数，以及一般和强凸函数的约束违反界限。我们还考虑了不精确的ADM更新，其中某些条款被线性化，以产生有效的更新，并显示随机收敛速度。此外，我们还简要讨论了在线ADM在某些场景下可以作为无投影的在线学习算法。初步的结果来说明所提出的算法的性能。
2013-07-10 cs.LG math.OC
A Unified Approach to Adaptive Regularization in Online and Stochastic Optimization
Google Brain（谷歌大脑）
我们描述了一个框架，推导和分析在线优化算法，包括自适应，数据相关的正则化，也称为预处理。这样的算法已被证明是有用的随机优化，根据数据的几何形状重塑梯度。我们的框架捕获并统一了许多关于自适应在线方法的现有文献，包括AdaGrad和在线牛顿步算法以及它们的对角版本。因此，我们获得了新的收敛性证明，这些算法比以前的分析要简单得多。我们的框架还揭示了常见的随机优化方法中使用的不同的预处理更新的基本原理。
2017-06-20 cs.LG math.OC stat.ML
Regret Bound by Variation for Online Convex Optimization
Michigan State University（密歇根州立大学）；NEC Laboratories America（NEC美国实验室）
在citep{Hazan-2008-extract}中，作者证明了在线线性优化的遗憾可以由成本向量的总变差限制。在本文中，我们将这个结果推广到一般的在线凸优化。首先分析了\citep{Hazan-2008-extract}中的算法在应用于在线凸优化时的局限性。然后，我们提出了两个算法的在线凸优化的遗憾是有界的变化的成本函数。最后，我们考虑了强盗设置，并提出了一个随机算法在线强盗凸优化与基于变分的遗憾界。我们证明，当成本函数的变化与试验次数无关时，在线强盗凸优化的遗憾界是最优的。
2012-06-14 cs.LG
Online Non-Stationary Stochastic Quasar-Convex Optimization
The Australian National University（澳大利亚国立大学）
本文研究动态环境下的在线随机类星体凸优化，建立基于累积路径变化和梯度方差的在线梯度下降遗憾界，并将其应用于时变参数的广义线性模型，给出多种激活函数下的遗憾界并通过数值实验验证。
2024-07-04 cs.LG math.OC
Distributionally Time-Varying Online Stochastic Optimization under Polyak-Łojasiewicz Condition with Application in Conditional Value-at-Risk Statistical Learning
The Australian National University（澳大利亚国立大学）；The University of Melbourne（墨尔本大学）
本文在 Polyak-Łojasiewicz 条件下研究分布时变的在线随机优化问题，利用 Wasserstein 距离度量分布漂移，建立在线随机梯度下降及近端梯度下降的动态遗憾界，并将其应用于条件风险价值统计学习问题。
2023-09-18 cs.LG math.OC
Online Bilevel Optimization: Regret Analysis of Online Alternating Gradient Methods
University of Pennsylvania（宾夕法尼亚大学）；Amirkabir University of Technology（阿米尔卡比尔理工大学）；University of Michigan（密歇根大学）
该研究提出在线双层优化问题，定义新的双层悔度概念，设计可利用平滑性的在线交替时间平均梯度方法，将单层在线算法悔度界拓展至双层场景，给出基于内外层最小化子序列路径长度的悔度界。
2024-07-08 cs.DS cs.LG math.OC
Primal-Dual Contextual Bayesian Optimization for Control System Online Optimization with Time-Average Constraints
EPFL（洛桑联邦理工学院）；Swiss Federal Laboratories for Materials Science and Technology (Empa)（瑞士联邦材料科学与技术研究所（Empa））
本文提出原始-对偶上下文贝叶斯优化算法，用于受约束控制系统的在线优化，在实现次线性累积遗憾的同时保证零时间平均约束违反，并通过仿真验证了其性能优势。
2023-09-20 cs.LG math.OC
Smoothed Online Convex Optimization Based on Discounted-Normal-Predictor
Nanjing University（南京大学）；the University of Iowa（爱荷华大学）
在本文中，我们研究了一种在线预测策略，称为贴现正态预测器（Kapralov和Panigrahy，2010），用于平滑在线凸优化（SOCO），其中学习者不仅需要最小化命中成本，还需要最小化切换成本。在专家建议的学习环境中，Daniely和Mansour（2019）证明了贴现正态预测器可以在任何时间间隔内产生接近最优的后悔界限，即使存在转换成本。受他们结果的启发，我们开发了一种简单的SOCO算法：通过贴现正态预测器将在线梯度下降（OGD）与不同的步长顺序组合。尽管它的简单性，我们证明了它是能够最小化的自适应遗憾与切换成本，即，在每一区间上都能得到具有切换成本的近似最优后悔。通过利用OGD对动态后悔的理论保证，进一步证明了该算法在每个区间内都能最小化动态后悔且具有切换代价。
2022-05-02 cs.LG math.OC
Recursive Exponential Weighting for Online Non-convex Optimization
The Chinese University of Hong Kong（香港中文大学）
本文研究了在线非凸优化问题，它通过放松对代价函数的凸性假设，推广了经典的在线凸优化问题。对于这种类型的问题，经典的指数加权在线算法最近已被证明可以达到$O(\sqrt{T\log T})$的次线性遗憾。在本文中，我们引入了一种新的递归结构的在线算法定义一个递归指数加权算法，达到了遗憾的$O(\sqrt{T})$，匹配著名的遗憾下界。据我们所知，这是第一个在线算法与可证明的$O(\sqrt{T})$遗憾的在线非凸优化问题。
2017-09-13 cs.LG
Black-Box Reductions for Parameter-free Online Learning in Banach Spaces
Stanford University（斯坦福大学）；Stony Brook University（石溪大学）
我们介绍了几个新的黑盒约简，通过简化分析，提高遗憾保证，有时甚至提高运行时间，显着改善自适应和无参数在线学习算法的设计。我们把无参数的在线学习简化为在线指数凹优化，把Banach空间中的优化简化为一维优化，把约束域上的优化简化为无约束优化。我们所有的缩减都和在线梯度下降一样快。我们使用我们的新技术，以改善以前的最佳遗憾界的参数自由学习，这样做的任意规范。
2018-06-26 cs.LG math.OC stat.ML
Online Optimization with Memory and Competitive Control
Tsinghua University（清华大学）
针对一类新的带记忆的在线优化问题，提出了竞争算法。我们考虑的设置，学习者寻求最小化的命中成本和切换成本，取决于以前的$p$决定的总和。此设置泛化平滑在线凸优化。所提出的方法，乐观正则化在线平衡下降，实现了恒定的，无量纲的竞争比。此外，我们展示了具有记忆的在线优化与具有对抗性干扰的在线控制之间的联系。这种联系，反过来，导致一个新的恒定竞争的政策，丰富的在线控制问题。
2021-01-08 cs.LG cs.SY eess.SY
A Linearly Convergent Conditional Gradient Algorithm with Applications to Online and Stochastic Optimization
Technion - Israel Inst. of Tech.（以色列理工学院）
线性优化在算法上比非线性凸优化简单许多倍。线性优化拟阵多面体，匹配多面体和路径多面体的问题，我们有简单而有效的组合算法的例子，但其非线性凸对应更难，并承认显着效率较低的算法。这就激发了凸优化的计算模型，包括离线，在线和随机设置，使用线性优化预言机。在这个计算模型中，我们给出了几个新的结果，改善了以前的国家的最先进的。我们的主要结果是一个新的条件梯度算法光滑和强凸优化多面体集，执行只有一个单一的线性优化步骤，在每个迭代的域上，并享有线性收敛速度。这给出了一个指数级的改善收敛速度比以前的结果。基于这个新的条件梯度算法，我们给出了第一个算法的在线凸优化多面体集，只执行一个单一的线性优化步骤的域，同时有最佳的遗憾保证，回答一个悬而未决的问题Kalai和Vempala，Hazan和羽衣甘蓝。我们的在线算法也意味着条件梯度算法的非光滑和随机凸优化与投影（子）梯度方法相同的收敛速度。
2015-08-14 cs.LG math.OC stat.ML
Learning-Assisted Algorithm Unrolling for Online Optimization with Budget Constraints
University of California, Riverside（加州大学河滨分校）
多预算约束的在线优化是具有挑战性的，因为在短时间内的在线决策是由严格的库存约束耦合在一起的。现有的人工设计的算法不能达到令人满意的平均性能，因为他们往往需要大量的时间步长收敛和/或可能违反库存约束。在本文中，我们提出了一种新的机器学习（ML）辅助展开方法，称为LAAU（学习辅助算法展开），它展开在线决策管道，并利用ML模型在线更新拉格朗日乘子。为了通过反向传播进行有效的训练，我们推导出决策管道随时间的梯度。我们还提供了两种情况下的平均成本界限时，训练数据离线和在线收集，分别。最后，我们提出了数值结果，以强调LAAU可以优于现有的基线。
2023-03-07 cs.AI cs.LG math.OC
Online hyperparameter optimization by real-time recurrent learning
New York University（纽约大学）
传统的超参数优化方法是计算密集型的，并且难以推广到需要动态适应超参数的场景，例如终身学习。在这里，我们提出了一个在线的超参数优化算法，是渐近精确和计算易处理的，无论是在理论上和实践中。我们的框架利用了超参数优化和递归神经网络（RNN）中参数学习之间的类比。它采用了一系列经过充分研究的RNN在线学习算法来同时调整超参数和网络参数，而无需重复进行迭代优化。与标准方法相比，该过程在挂钟时间的一小部分上系统地产生更好的泛化性能。
2021-04-08 cs.LG
Generalized Inverse Optimization through Online Learning
University of Pittsburgh（匹兹堡大学）；Duke University（杜克大学）
逆优化是一种强大的学习偏好和限制的范例，可以根据一组外部信号和相应的决策对来解释决策者的行为。然而，大多数逆优化算法是专门设计在批量设置，其中所有的数据是预先可用的。因此，很少在适合于实时应用的在线设置中使用这些方法。在本文中，我们提出了一个通用的框架，通过在线学习逆优化。具体来说，我们开发了一个在线学习算法，使用隐式更新规则，可以处理噪声数据。此外，在额外的规律性假设的数据和模型，我们证明了我们的算法收敛速度为$\mathcal{O}(1/\sqrt{T})$，是统计上一致的。在我们的实验中，我们表明，在线学习方法可以学习的参数具有很高的精度，是非常强大的噪声，并实现了显着提高计算效率的批处理学习方法。
2018-11-02 cs.LG math.OC stat.ML
The Online Saddle Point Problem and Online Convex Optimization with Knapsacks
我们研究在线鞍点问题，在线学习问题，在每次迭代的一对行动需要选择不知道当前和未来的（凹凸）支付函数。我们的目标是最大限度地减少累积收益和鞍点值的总收益函数，我们使用称为“SP遗憾”的度量测量之间的差距。这个问题推广了在线凸优化框架，但在这里我们必须确保两个玩家的累积收益接近于游戏总和的纳什均衡。我们提出了一种算法，实现SP-遗憾成正比的$\sqrt{\ln(T)T}$在一般情况下，和$\log(T)$ SP-遗憾的强凹凸的情况下。我们还考虑了支付函数是双线性的，决策集是概率单形的特殊情况。在这种情况下，我们能够设计的算法，减少SP-遗憾的界限，从一个线性依赖的维度的问题，一个\textit{logarithmic}。我们还研究了强盗反馈下的问题，并提供了一个算法，实现次线性SP-Regret。然后，我们考虑一个在线凸优化背包问题的动机是各种各样的应用程序，如：动态定价，拍卖和众包。我们将这个问题的在线鞍点问题，并建立$O(\sqrt{T})$后悔使用原始-对偶算法。
2020-04-05 cs.LG math.OC stat.ML
Multiplicative Updates for Online Convex Optimization over Symmetric Cones
SUTD（新加坡科技设计大学）
本文提出对称锥乘法权重更新算法SCMWU，将乘法权重更新方法推广到任意对称锥的迹一元素集合上，并证明其无遗憾性质。
2023-07-06 cs.LG math.OC stat.ML
Smoothed Online Optimization for Regression and Control
Caltech（加州理工学院）
我们认为在线凸优化（OCO）的设置中的成本是$m$ -强凸和在线学习者支付切换成本的轮之间改变决定。我们发现，最近提出的在线平衡下降（OBD）算法是恒定的竞争力，在这种设置中，与竞争比$3 + O(1/m)$，无论周围的尺寸。此外，我们表明，当成本函数的序列是$ε$ -光滑，OBD具有接近最佳的动态遗憾，并保持较强的每轮精度。我们证明了我们的方法的一般性，通过显示OBD框架可用于构建各种在线学习和控制问题的竞争算法，包括岭回归，逻辑回归，最大似然估计和LQR控制的在线变体。
2019-04-04 cs.DS cs.LG math.OC
Accelerated Randomized Coordinate Descent Algorithms for Stochastic Optimization and Online Learning
Indian Institute of Science（印度科学学院）
我们提出了加速随机坐标下降算法的随机优化和在线学习。我们的算法有显着减少每迭代的复杂性比已知的加速梯度算法。所提出的在线学习算法具有更好的后悔性能比已知的随机在线坐标下降算法。此外，所提出的随机优化算法表现出良好的收敛速度，最有名的随机坐标下降算法。我们还展示了仿真结果来证明所提出的算法的性能。
2018-07-16 cs.LG stat.ML
Online Optimization on Hadamard Manifolds: Curvature Independent Regret Bounds on Horospherically Convex Objectives
Department of Mechanical & Industrial Engineering, Northeastern University（机械与工业工程系，东北大学）
本文研究Hadamard流形上基于horospherical凸性的在线Riemannian优化，提出与曲率无关的遗憾界，并在SPD矩阵流形上验证了方法有效性。
2025-09-14 cs.LG math.OC stat.ML
Online Convex Optimization with Switching Cost with Only One Single Gradient Evaluation
Indian Institute of Technology Bombay (IITB)（印度理工学院班加罗尔分校）；Indian Institute of Technology Delhi (IITD)（印度理工学院德里分校）；Tata Institute of Fundamental Research (TIFR)（塔塔基础研究机构）
本文研究仅需一次梯度评估的带切换代价在线凸优化问题，在节俭信息设定下针对线性切换代价推导出最优阶竞争比算法，并给出噪声梯度情形下竞争比随噪声幅度二次增长的算法。
2025-07-05 cs.DS cs.LG math.OC
No-Regret Algorithms for Unconstrained Online Convex Optimization
Duolingo, Inc.（多邻国公司）；Google, Inc.（谷歌公司）
在线凸优化的一些最引人注目的应用，包括在线预测和分类，是无约束的：自然可行集是R^n。现有的算法无法实现次线性遗憾，在这种情况下，除非对比较点x^* 的约束是已知的。我们提出的算法，没有这样的先验知识，提供接近最优的遗憾界相对于任何选择x^*。特别地，关于x^* = 0的后悔是恒定的。然后，我们证明下界表明，我们的保证在这种情况下是接近最优的。
2012-11-09 cs.LG
Introduction to Online Convex Optimization
Technion（以色列理工学院）；Princeton University（普林斯顿大学）
本文提出将优化视为一个动态学习过程，强调在复杂环境中通过在线学习和经验积累进行稳健优化，并展示了该方法在现实系统中的成功应用。
2023-08-06 cs.LG math.OC stat.ML
Exponentiated Subgradient Algorithm for Online Optimization under the Random Permutation Model
University of Washington（华盛顿大学）
在线最优化问题出现在许多资源分配任务中，其中对每个资源的未来需求和相关联的效用函数随时间而改变并且不是先验已知的，然而尽管未来不确定性，资源仍需要在每个时间点被分配。本文研究了具有一般凹效用的在线最优化问题。我们修改和扩展Devanur等人提出的在线优化算法。线性规划，这一一般设置。我们用于效用和需求到达的模型被称为随机排列模型，其中效用和需求的固定集合以随机顺序呈现给算法。我们证明，在此模型下，该算法实现了一个接近最优的假设，即投标预算比为$O (\frac{ε^2}{\log({m}/ε)})$，其中$m$是资源的数量的竞争比$1-O(ε)$，同时享有显着降低计算成本比Kesselheim等人提出的最优算法。我们绘制了所提出的算法和次梯度方法之间的连接在凸优化。此外，我们提出了数值实验，证明该算法的性能和速度相比，现有的算法。
2015-02-05 cs.DS cs.LG math.OC
Optimal Rates for Random Order Online Optimization
Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
我们研究在线凸优化的随机顺序模型，最近提出的\citet{garber2020online}，其中的损失函数可能会选择由对手，但然后提交给在线算法在一个统一的随机顺序。聚焦的情况下，累积损失函数是（强）凸的，但个别损失函数是光滑的，但可能是非凸的，我们给出的算法，实现最佳的界限，并显着优于结果的\citet{garber2020online}，完全消除了维度的依赖性，并提高其缩放方面的强凸性参数。我们的分析依赖于算法稳定性和泛化之间的新联系，类似于在带替换i.i.d.~设置，以及对随机梯度下降的精细平均稳定性分析。
2021-06-29 cs.LG math.OC stat.ML
Surrogate Losses for Online Learning of Stepsizes in Stochastic Non-Convex Optimization
Boston University（波士顿大学）；Google（谷歌）
随机梯度下降（SGD）在机器学习中发挥了核心作用。然而，它需要一个精心挑选的步长来快速收敛，这是众所周知的繁琐和耗时的调整。在过去的几年里，大量的自适应梯度算法已经出现，以改善这个问题。他们已被证明有效地减少劳动调整在实践中，但他们中的许多人缺乏理论保证，即使在凸设置。在本文中，我们提出了新的代理损失铸造的问题学习的最佳步长的随机优化的非凸光滑的目标函数到一个在线凸优化问题。这允许使用无遗憾在线算法来计算最佳步长。反过来，这导致SGD算法具有自调整的步长，保证了自动适应噪声水平的收敛速度。
2019-06-07 cs.LG math.OC stat.ML
Adaptivity and Optimality: A Universal Algorithm for Online Convex Optimization
National Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）
本文研究了自适应在线凸优化问题，旨在设计一种通用的算法，该算法能对多种常见类型的损失函数达到最优后悔界。现有的通用方法是有限的，在这个意义上，他们是最佳的损失函数的一个子类。为了解决这个问题，我们提出了一种新的在线方法，即Maler，它享有最佳的$O(\sqrt{T})$，$O(d\log T)$和$O(\log T)$遗憾边界一般凸，指数凹，和强凸函数分别。其基本思想是并行运行具有不同学习率的多种类型的学习算法，并利用Meta算法动态跟踪最佳学习算法。实验结果证明了该方法的有效性。
2019-05-15 cs.LG math.OC stat.ML
Hot Swapping for Online Adaptation of Optimization Hyperparameters
University of California, Irvine（加州大学尔湾分校）；eBay Research Labs（eBay研究实验室）
我们描述了一个一般的框架在线适应优化超参数“热交换”在学习过程中的值。我们调查这种方法的背景下，自适应学习率选择使用的探索-利用策略，从多臂土匪文献。在一个基准神经网络上的实验表明，与AdaDelta和具有穷举超参数搜索的随机梯度等知名替代方案相比，热插拔方法始终导致更好的解决方案。
2015-04-13 cs.LG
An Application of Online Learning to Spacecraft Memory Dump Optimization
Università degli Studi di Milano（米兰大学）；Toulouse School of Economics（图卢兹经济学院）；CLC Space GmbH（CLC航天有限公司）；Politecnico di Milano（米兰理工大学）
在本文中，我们提出了一个真实世界的应用程序的在线学习与专家的意见，空间业务领域，测试我们的理论现实生活中的数据来自哥白尼哨兵-6卫星。我们表明，在航天器内存转储优化，一个轻量级的跟随领导者算法导致性能的增加超过$60\%$相比，传统的技术。
2022-09-24 cs.LG
A Unified Framework for Analyzing Meta-algorithms in Online Convex Optimization
Mila - Quebec AI Institute/McGill University（魁北克人工智能研究所/麦吉尔大学）；Purdue University（普渡大学）
本文提出了一种统一框架，用于分析在线凸优化中不同反馈类型和对手设定下的元算法，通过转换一阶算法为零阶算法，实现了在不同场景下的优化方法统一和性能保证。
2026-02-20 cs.LG math.OC stat.ML
Hardness of Online Sleeping Combinatorial Optimization Problems
Google Research（谷歌研究院）；Yahoo Research（雅虎研究院）；Univ. of Michigan, Ann Arbor（密歇根大学安娜堡分校）
我们发现，几个在线组合优化的问题，承认有效的无悔算法成为计算困难的睡眠设置中的一个子集的行动变得不可用，在每一轮。具体来说，我们表明，这些问题的睡眠版本至少像PAC学习DNF表达式一样困难，这是一个长期存在的开放问题。我们显示了在线最短路径，在线最小生成树，在线$k$ -子集，在线$k$ -截断排列，在线最小割，在线二分匹配的睡眠版本的硬度。在线最短路径问题的睡眠版本的硬度结果解决了COLT 2015上提出的一个开放问题（Koolen等人，2015年）。
2016-12-19 cs.DS cs.LG
Online Optimization with Feedback Delay and Nonlinear Switching Cost
Stony Brook University（石溪大学）；Caltech（加州理工学院）
我们研究了在线优化的一个变体，其中学习者接收$k$ -关于命中成本的$\textit{delayed feedback}$轮，并且存在多步非线性切换成本，即，成本以非线性方式取决于多个先前的动作。我们的主要结果表明，一种新的迭代正则化在线平衡下降（iROBD）算法具有恒定的，无量纲的竞争比是$O(L^{2k})$，其中$L$是Lipschitz常数的切换成本。此外，我们提供了下限，说明Lipschitz条件是必需的，并且对$k$和$L$的依赖性是紧密的。最后，通过减少，我们表明，这种设置是密切相关的延迟，非线性动力学和对抗性干扰，其中iROBD直接提供恒定的竞争力的在线政策的在线控制问题。
2021-10-29 cs.LG cs.SY eess.SY
Online Optimization with Costly and Noisy Measurements using Random Fourier Expansions
Delft University of Technology（代尔夫特理工大学）
本文分析了DONE，在线优化算法，迭代最小化一个未知的功能的基础上昂贵和嘈杂的测量。该算法以随机傅立叶展开（RFE）的形式维护未知函数的代理。每当有新的测量值可用时，替代值就会更新，然后用于确定下一个测量点。该算法与贝叶斯优化算法相当，但其每次迭代的计算复杂性不依赖于测量的数量。我们得出了几个理论结果，提供洞察力的超参数的算法应该如何选择。该算法相比，贝叶斯优化算法的基准问题和三个应用程序，即，光学相干断层扫描，光学波束形成网络调整，和机器人手臂控制。结果发现，DONE算法是明显快于贝叶斯优化在讨论的问题，同时实现类似或更好的性能。
2016-09-29 cs.LG math.OC stat.ML
SACOBRA with Online Whitening for Solving Optimization Problems with High Conditioning
Leiden University（莱顿大学）
现实世界的优化问题往往有昂贵的目标函数的成本和时间。希望找到具有非常少的函数评估的接近最优的解决方案。代理辅助优化器倾向于通过用建立在少数评估点上的有效数学模型替换实函数来减少所需的函数评估数量。高条件数的问题对于包括SACOBRA在内的许多代理辅助优化器来说是一个挑战。为了解决这些问题，我们提出了一个新的在线白化操作的黑箱优化范例。我们展示了一组高条件函数，在线白化解决了SACOBRA的早期停滞问题，并将优化误差降低了10到1 e12之间的因子，尽管它施加了许多额外的函数评估。协方差阵自适应进化策略（CMA-ES）具有非常高数量的功能评估，甚至更低的错误，而SACOBRA在昂贵的设置（小于1 e03功能评估）表现更好。如果我们将所有可并行化的函数评估（CMA-ES中的群体评估，我们的方法中的在线白化）作为一次迭代，那么即使从长远来看，这两种算法也具有相当的强度。这适用于维数D <= 20的问题。
2019-04-17 cs.LG math.OC stat.ML
