Dynamic and Distributed Online Convex Optimization for Demand Response of Commercial Buildings
University of California, Berkeley（加州大学伯克利分校）
本文将在线分布式加权对偶平均（DWDA）算法[1]的遗憾分析扩展到动态设置，并为分布式在线凸优化（OCO）算法提供了迄今为止已知的关于时间范围的最紧动态遗憾界。我们的界限是线性的连续最优值之间的累积差异，并不显着依赖于时间范围。我们使用动态在线DWDA（D-ODWDA），制定了一个性能保证的分布式在线需求响应方法的供热，通风和空调（HVAC）系统的商业建筑。我们展示了我们的方法在数值模拟的快速时间尺度的需求响应的性能，并获得需求响应的决定，密切再现集中的最优。
2020-04-17 cs.LG math.OC
Stochastic Learning Rate Optimization in the Stochastic Approximation and Online Learning Settings
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Nevada（内华达大学）
在这项工作中，乘性随机适用于学习率的随机最优化算法，从而产生随机学习率计划。随机梯度下降配备这种新的随机学习率计划下的随机设置，以及在线优化设置下的收敛结果的预期理论收敛结果。实证结果考虑的情况下，自适应均匀分布的乘法随机性，不仅包括随机梯度下降，但也配备了随机学习率的其他流行的算法。相对于其确定性学习率版本，它们表现出明显的优化性能增益。
2022-03-21 cs.LG math.OC
Projection-Free Online Convex Optimization with Stochastic Constraints
KAIST（韩国科学技术院）；The University of Sydney（悉尼大学）
针对具有随机约束的在线凸优化问题，本文提出了一种通用的在线原始-对偶无投影框架，并推导出多种设定下的次线性遗憾与约束违背界，在平滑与随机强对偶条件下进一步优化了约束违背的渐近增长率。
2023-05-16 cs.LG math.OC
Online Dynamic Submodular Optimization
Polytechnique Montreal（蒙特利尔理工学院）；GERAD（GERAD研究院）；Mila（米拉人工智能研究所）
本文针对动态环境下的在线子模优化问题，提出OSGA和OSPGD两种算法，给出与在线凸优化可比的动态遗憾界，并在电力系统需求响应与配电网重构中验证了有效性。
2024-05-02 cs.LG math.OC
Boosting One-Point Derivative-Free Online Optimization via Residual Feedback
Duke University（杜克大学）；The University of Utah（犹他大学）；The Ohio State University（俄亥俄州立大学）
零阶优化（ZO）通常依赖于两点反馈来估计目标函数的未知梯度。然而，两点反馈不能用于时变目标函数的在线优化，其中在每个时间步仅可能对函数值进行单个查询。在这项工作中，我们提出了一个新的一点反馈在线优化方法，估计目标函数梯度使用两个反馈点之间的残差在连续的时刻。此外，我们开发的遗憾界ZO与剩余反馈的凸和非凸在线优化问题。具体而言，对于确定性和随机性问题，Lipschitz和光滑的目标函数，我们表明，使用残差反馈可以产生梯度估计与传统的一点反馈方法相比，具有更小的方差。因此，我们的遗憾界更严格相比，现有的遗憾界与传统的一点反馈，这表明，ZO与剩余反馈可以更好地跟踪在线优化问题的优化器。此外，我们的遗憾界依赖于较弱的假设比传统的一点反馈方法。数值实验表明，ZO与剩余反馈显着优于现有的一点反馈方法在实践中也。
2020-12-03 cs.LG math.OC
Online Stochastic Optimization with Multiple Objectives
Michigan State University（密歇根州立大学）；GE Global Research（通用电气全球研究中心）
在本文中，我们提出了一个通用的框架来描述和解决多目标随机优化问题的许多现实世界的学习应用。我们首先提出了一个基于投影的算法，达到了$O(T^{-1/3})$收敛速度。然后，利用约束优化中的拉格朗日理论，设计了一种新的原始-对偶随机近似算法，该算法在一般Lipschitz连续目标下获得了$O(T^{-1/2})$的最优收敛速度.
2013-07-14 cs.LG math.OC
Tight Bounds for Online Convex Optimization with Adversarial Constraints
School of Technology and Computer Science, Tata Institute of Fundamental Research（塔塔基础研究院技术与计算机科学学院）
本研究解决了约束在线凸优化的长期开放问题，通过结合AdaGrad自适应悔值界与李雅普诺夫优化，首次证明无额外假设下可同时实现$O(\sqrt{T})$悔值与$\tilde{O}(\sqrt{T})$累积约束违反量。
2024-05-15 cs.LG math.OC
Online Submodular Maximization via Online Convex Optimization
Northeastern University（东北大学）；Boston University（波士顿大学）
研究一般拟阵约束下的单调次模最大化在线优化问题，通过证明加权阈值势函数可凹松弛，将其归约为在线凸优化（OCO），结合舍入方案实现次线性遗憾，并扩展至动态遗憾、老虎机和乐观学习设定。
2024-01-08 cs.AI cs.LG math.OC
Online Convex Optimization Perspective for Learning from Dynamically Revealed Preferences
Carnegie Mellon University（卡内基梅隆大学）
我们研究的问题，在线学习（OL）从显示的偏好：学习者希望学习一个非战略代理的私人效用函数，通过观察代理的效用最大化的行动，在不断变化的环境。我们采用了在线逆优化设置，学习者观察代理的行动流在网上的时尚和学习性能的衡量与损失函数的遗憾。我们首先刻画了一类特殊但广泛的智能体效用函数，然后利用这种结构设计了一个新的凸损失函数。我们建立了关于我们的新损失函数的后悔也限制了关于文献中所有其他常见的损失函数的后悔。这使我们能够设计一个灵活的OL框架，使一个统一的处理损失函数，并支持各种在线凸优化算法。我们证明与理论和实证证据表明，我们的框架的基础上新的损失函数（特别是在线镜像下降）的遗憾性能和解决方案的时间比其他OL算法从文献和绕过以前的技术假设，以及显着的优势。
2021-06-04 cs.LG math.OC
Oracle-Based Robust Optimization via Online Learning
Technion（以色列理工学院）
鲁棒优化是不确定性优化中的一种常用框架，它是指当问题参数未知时，但已知参数属于某个给定的不确定性集合。在鲁棒优化框架中，所解决的问题是一个最小-最大问题，其中根据参数的最差可能实现的性能来判断解决方案。在许多情况下，某种类型的鲁棒最优化问题的直接解决方案需要解决更复杂类型的最优化问题，并且在某些情况下甚至是NP难的。例如，解决一个强大的圆锥二次规划，如在强大的SVM，椭球不确定性一般导致一个半定的计划。在本文中，我们开发了一种方法，近似解决一个强大的最优化问题使用工具，从在线凸优化，在每一个阶段的标准（非鲁棒）优化程序解决。我们的算法找到一个近似的强大的解决方案，使用一些调用的预言，解决了原来的（非鲁棒性）的问题，是成反比的目标精度的平方。
2014-02-25 cs.LG math.OC
A Distributed Online Convex Optimization Algorithm with Improved Dynamic Regret
Duke University（杜克大学）
在本文中，我们考虑的问题，分布式在线凸优化，在网络的本地代理的目的是共同优化一个凸函数在一段时间内的多个时间步长。特工们对未来一无所知。现有的算法已经建立了明确的依赖于时间步长的数量的动态遗憾界。在这项工作中，我们表明，我们可以消除这种依赖性，假设当地的目标函数是强凸的。更准确地说，我们提出了一个梯度跟踪算法，代理联合通信和下降的基础上校正梯度步骤。我们通过数值实验验证了我们的理论结果。
2019-11-12 cs.LG math.OC
Online Strongly Convex Optimization with Unknown Delays
Nanjing University（南京大学）；Paradigm Inc.（第四范式公司）
研究了具有未知时滞的在线凸优化问题，其中决策反馈具有任意时滞。以往的研究提出了一种延迟的在线梯度下降算法（OGD），并仅利用凸性条件得到了$O(\sqrt{T+D})$的遗憾界，其中$D$是$T$轮上的延迟之和.在本文中，我们进一步利用强凸性来提高遗憾界。具体地说，我们首先扩展了强凸函数的OGD的延迟变体，并建立了$O(d\log T)$的更好的遗憾界，其中$d$是最大延迟。其基本思想是让学习率随接收到的反馈总数线性衰减。此外，我们考虑更具挑战性的强盗设置，并获得类似的理论保证，将经典的多点梯度估计到我们的扩展方法。据我们所知，这是第一个工作，解决在线强凸优化一般延迟设置。
2021-03-21 cs.LG math.OC
Adaptive Composite Online Optimization: Predictions in Static and Dynamic Environments
TU Delft（代尔夫特理工大学）
在线凸优化（OCO）由于其灵活的实时性和强大的性能保证，在过去的几年中受到了控制文献的关注。在本文中，我们提出了新的步长规则和OCO算法，同时利用梯度预测，功能预测和动态，特别是有关控制应用的功能。所提出的算法享有静态和动态的遗憾界的动态参考动作序列，梯度预测误差和功能预测误差，这是从文献中已知的规律性措施的概括。我们目前的结果凸和强凸成本。我们验证了所提出的算法在轨迹跟踪案例研究中的性能，以及使用真实世界的数据集进行投资组合优化。
2023-01-14 cs.LG math.OC
Safe Online Convex Optimization with Unknown Linear Safety Constraints
Texas A&M University（德克萨斯农工大学）
研究了安全在线凸优化问题，其中每个时间步的行动必须满足一组线性安全约束。我们的目标是选择一系列的行动，以尽量减少遗憾，而不违反安全约束在任何时间步骤（高概率）。指定线性安全约束的参数对于算法是未知的。该算法只能访问所选动作的约束的噪声观测。我们提出了一种算法，称为{安全在线投影梯度下降}（SO-PGD）算法，以解决这个问题。我们表明，在假设的安全基线行动的可用性，SO-PGD算法实现了遗憾$O(T^{2/3})$。虽然有许多算法的在线凸优化（OCO）的安全约束问题在文献中，他们允许在学习/优化过程中的约束违反，并一直专注于特征的累积约束违反。据我们所知，我们的工作是第一次提供了一个算法与可证明的保证遗憾，而不违反线性安全约束（高概率）在任何时间步。
2021-11-14 cs.LG math.OC
Online Alternating Direction Method (longer version)
University of Minnesota, Twin Cities（明尼苏达大学双城分校）
在线优化已经成为大规模优化的有力工具。本文介绍了一种基于交替方向法（ADM）的在线优化算法，该算法可以求解线性约束下的非光滑凸优化问题。我们引入了新的证明技术，ADM在批处理设置，这产生了O（1/T）的收敛速度ADM和形成的基础上，后悔分析在线设置。我们考虑两种情况下，在线设置，根据是否需要一个额外的Bregman分歧。在这两种情况下，我们建立遗憾的目标函数，以及一般和强凸函数的约束违反界限。我们还考虑了不精确的ADM更新，其中某些条款被线性化，以产生有效的更新，并显示随机收敛速度。此外，我们还简要讨论了在线ADM在某些场景下可以作为无投影的在线学习算法。初步的结果来说明所提出的算法的性能。
2013-07-10 cs.LG math.OC
Regret Bound by Variation for Online Convex Optimization
Michigan State University（密歇根州立大学）；NEC Laboratories America（NEC美国实验室）
在citep{Hazan-2008-extract}中，作者证明了在线线性优化的遗憾可以由成本向量的总变差限制。在本文中，我们将这个结果推广到一般的在线凸优化。首先分析了\citep{Hazan-2008-extract}中的算法在应用于在线凸优化时的局限性。然后，我们提出了两个算法的在线凸优化的遗憾是有界的变化的成本函数。最后，我们考虑了强盗设置，并提出了一个随机算法在线强盗凸优化与基于变分的遗憾界。我们证明，当成本函数的变化与试验次数无关时，在线强盗凸优化的遗憾界是最优的。
2012-06-14 cs.LG
Online Non-Stationary Stochastic Quasar-Convex Optimization
The Australian National University（澳大利亚国立大学）
本文研究动态环境下的在线随机类星体凸优化，建立基于累积路径变化和梯度方差的在线梯度下降遗憾界，并将其应用于时变参数的广义线性模型，给出多种激活函数下的遗憾界并通过数值实验验证。
2024-07-04 cs.LG math.OC
Distributionally Time-Varying Online Stochastic Optimization under Polyak-Łojasiewicz Condition with Application in Conditional Value-at-Risk Statistical Learning
The Australian National University（澳大利亚国立大学）；The University of Melbourne（墨尔本大学）
本文在 Polyak-Łojasiewicz 条件下研究分布时变的在线随机优化问题，利用 Wasserstein 距离度量分布漂移，建立在线随机梯度下降及近端梯度下降的动态遗憾界，并将其应用于条件风险价值统计学习问题。
2023-09-18 cs.LG math.OC
Online Bilevel Optimization: Regret Analysis of Online Alternating Gradient Methods
University of Pennsylvania（宾夕法尼亚大学）；Amirkabir University of Technology（阿米尔卡比尔理工大学）；University of Michigan（密歇根大学）
该研究提出在线双层优化问题，定义新的双层悔度概念，设计可利用平滑性的在线交替时间平均梯度方法，将单层在线算法悔度界拓展至双层场景，给出基于内外层最小化子序列路径长度的悔度界。
2024-07-08 cs.DS cs.LG math.OC
Nonlinear Online Learning with Adaptive Nyström Approximation
Google Research（谷歌研究院）
通过核近似使用非线性特征映射已经在许多在线学习任务中取得了成功。Nyström近似作为一种流行的核近似方法，已经得到了很好的研究，并且已经提出了各种标志点选择方法来提高近似质量。然而，这些改进的Nyström方法不能直接应用于在线学习设置，因为它们需要访问整个数据集来学习标志点，而我们需要在在线设置中动态更新模型。为了解决这一挑战，我们提出了自适应Nyström近似解决非线性在线学习问题。其核心思想是通过在线kmeans自适应地修改标志点，并通过求解最小二乘问题和随后的梯度下降步骤来相应地调整模型。我们表明，由此产生的算法优于国家的最先进的在线学习方法在相同的预算。
2018-02-23 cs.LG
Recursive Exponential Weighting for Online Non-convex Optimization
The Chinese University of Hong Kong（香港中文大学）
本文研究了在线非凸优化问题，它通过放松对代价函数的凸性假设，推广了经典的在线凸优化问题。对于这种类型的问题，经典的指数加权在线算法最近已被证明可以达到$O(\sqrt{T\log T})$的次线性遗憾。在本文中，我们引入了一种新的递归结构的在线算法定义一个递归指数加权算法，达到了遗憾的$O(\sqrt{T})$，匹配著名的遗憾下界。据我们所知，这是第一个在线算法与可证明的$O(\sqrt{T})$遗憾的在线非凸优化问题。
2017-09-13 cs.LG
Black-Box Reductions for Parameter-free Online Learning in Banach Spaces
Stanford University（斯坦福大学）；Stony Brook University（石溪大学）
我们介绍了几个新的黑盒约简，通过简化分析，提高遗憾保证，有时甚至提高运行时间，显着改善自适应和无参数在线学习算法的设计。我们把无参数的在线学习简化为在线指数凹优化，把Banach空间中的优化简化为一维优化，把约束域上的优化简化为无约束优化。我们所有的缩减都和在线梯度下降一样快。我们使用我们的新技术，以改善以前的最佳遗憾界的参数自由学习，这样做的任意规范。
2018-06-26 cs.LG math.OC stat.ML
Online Optimization with Memory and Competitive Control
Tsinghua University（清华大学）
针对一类新的带记忆的在线优化问题，提出了竞争算法。我们考虑的设置，学习者寻求最小化的命中成本和切换成本，取决于以前的$p$决定的总和。此设置泛化平滑在线凸优化。所提出的方法，乐观正则化在线平衡下降，实现了恒定的，无量纲的竞争比。此外，我们展示了具有记忆的在线优化与具有对抗性干扰的在线控制之间的联系。这种联系，反过来，导致一个新的恒定竞争的政策，丰富的在线控制问题。
2021-01-08 cs.LG cs.SY eess.SY
A Linearly Convergent Conditional Gradient Algorithm with Applications to Online and Stochastic Optimization
Technion - Israel Inst. of Tech.（以色列理工学院）
线性优化在算法上比非线性凸优化简单许多倍。线性优化拟阵多面体，匹配多面体和路径多面体的问题，我们有简单而有效的组合算法的例子，但其非线性凸对应更难，并承认显着效率较低的算法。这就激发了凸优化的计算模型，包括离线，在线和随机设置，使用线性优化预言机。在这个计算模型中，我们给出了几个新的结果，改善了以前的国家的最先进的。我们的主要结果是一个新的条件梯度算法光滑和强凸优化多面体集，执行只有一个单一的线性优化步骤，在每个迭代的域上，并享有线性收敛速度。这给出了一个指数级的改善收敛速度比以前的结果。基于这个新的条件梯度算法，我们给出了第一个算法的在线凸优化多面体集，只执行一个单一的线性优化步骤的域，同时有最佳的遗憾保证，回答一个悬而未决的问题Kalai和Vempala，Hazan和羽衣甘蓝。我们的在线算法也意味着条件梯度算法的非光滑和随机凸优化与投影（子）梯度方法相同的收敛速度。
2015-08-14 cs.LG math.OC stat.ML
The Online Saddle Point Problem and Online Convex Optimization with Knapsacks
我们研究在线鞍点问题，在线学习问题，在每次迭代的一对行动需要选择不知道当前和未来的（凹凸）支付函数。我们的目标是最大限度地减少累积收益和鞍点值的总收益函数，我们使用称为“SP遗憾”的度量测量之间的差距。这个问题推广了在线凸优化框架，但在这里我们必须确保两个玩家的累积收益接近于游戏总和的纳什均衡。我们提出了一种算法，实现SP-遗憾成正比的$\sqrt{\ln(T)T}$在一般情况下，和$\log(T)$ SP-遗憾的强凹凸的情况下。我们还考虑了支付函数是双线性的，决策集是概率单形的特殊情况。在这种情况下，我们能够设计的算法，减少SP-遗憾的界限，从一个线性依赖的维度的问题，一个\textit{logarithmic}。我们还研究了强盗反馈下的问题，并提供了一个算法，实现次线性SP-Regret。然后，我们考虑一个在线凸优化背包问题的动机是各种各样的应用程序，如：动态定价，拍卖和众包。我们将这个问题的在线鞍点问题，并建立$O(\sqrt{T})$后悔使用原始-对偶算法。
2020-04-05 cs.LG math.OC stat.ML
Multiplicative Updates for Online Convex Optimization over Symmetric Cones
SUTD（新加坡科技设计大学）
本文提出对称锥乘法权重更新算法SCMWU，将乘法权重更新方法推广到任意对称锥的迹一元素集合上，并证明其无遗憾性质。
2023-07-06 cs.LG math.OC stat.ML
Smoothed Online Optimization for Regression and Control
Caltech（加州理工学院）
我们认为在线凸优化（OCO）的设置中的成本是$m$ -强凸和在线学习者支付切换成本的轮之间改变决定。我们发现，最近提出的在线平衡下降（OBD）算法是恒定的竞争力，在这种设置中，与竞争比$3 + O(1/m)$，无论周围的尺寸。此外，我们表明，当成本函数的序列是$ε$ -光滑，OBD具有接近最佳的动态遗憾，并保持较强的每轮精度。我们证明了我们的方法的一般性，通过显示OBD框架可用于构建各种在线学习和控制问题的竞争算法，包括岭回归，逻辑回归，最大似然估计和LQR控制的在线变体。
2019-04-04 cs.DS cs.LG math.OC
Accelerated Randomized Coordinate Descent Algorithms for Stochastic Optimization and Online Learning
Indian Institute of Science（印度科学学院）
我们提出了加速随机坐标下降算法的随机优化和在线学习。我们的算法有显着减少每迭代的复杂性比已知的加速梯度算法。所提出的在线学习算法具有更好的后悔性能比已知的随机在线坐标下降算法。此外，所提出的随机优化算法表现出良好的收敛速度，最有名的随机坐标下降算法。我们还展示了仿真结果来证明所提出的算法的性能。
2018-07-16 cs.LG stat.ML
Online Optimization on Hadamard Manifolds: Curvature Independent Regret Bounds on Horospherically Convex Objectives
Department of Mechanical & Industrial Engineering, Northeastern University（机械与工业工程系，东北大学）
本文研究Hadamard流形上基于horospherical凸性的在线Riemannian优化，提出与曲率无关的遗憾界，并在SPD矩阵流形上验证了方法有效性。
2025-09-14 cs.LG math.OC stat.ML
Stochastic Approximation for Online Tensorial Independent Component Analysis
University of California, Berkeley（加州大学伯克利分校）
独立分量分析（ICA）是统计机器学习和信号处理领域的一种常用降维工具。在本文中，我们提出了一个在线张量ICA算法的收敛性分析，通过查看问题作为一个非凸随机逼近问题。对于估计一个组件，我们提供了一个基于动力学的分析，以证明我们的在线张量ICA算法与特定的步长选择实现了尖锐的有限样本误差界。特别地，在对数据生成分布和缩放条件的温和假设下，使得$d^4/T$足够小直到数据维度$d$和样本大小$T$的多对数因子，可以获得$\tilde{O}(\sqrt{d/T})$的尖锐有限样本误差界。
2021-07-29 cs.LG math.OC stat.ML
Online Convex Optimization with Switching Cost with Only One Single Gradient Evaluation
Indian Institute of Technology Bombay (IITB)（印度理工学院班加罗尔分校）；Indian Institute of Technology Delhi (IITD)（印度理工学院德里分校）；Tata Institute of Fundamental Research (TIFR)（塔塔基础研究机构）
本文研究仅需一次梯度评估的带切换代价在线凸优化问题，在节俭信息设定下针对线性切换代价推导出最优阶竞争比算法，并给出噪声梯度情形下竞争比随噪声幅度二次增长的算法。
2025-07-05 cs.DS cs.LG math.OC
No-Regret Algorithms for Unconstrained Online Convex Optimization
Duolingo, Inc.（多邻国公司）；Google, Inc.（谷歌公司）
在线凸优化的一些最引人注目的应用，包括在线预测和分类，是无约束的：自然可行集是R^n。现有的算法无法实现次线性遗憾，在这种情况下，除非对比较点x^* 的约束是已知的。我们提出的算法，没有这样的先验知识，提供接近最优的遗憾界相对于任何选择x^*。特别地，关于x^* = 0的后悔是恒定的。然后，我们证明下界表明，我们的保证在这种情况下是接近最优的。
2012-11-09 cs.LG
Introduction to Online Convex Optimization
Technion（以色列理工学院）；Princeton University（普林斯顿大学）
本文提出将优化视为一个动态学习过程，强调在复杂环境中通过在线学习和经验积累进行稳健优化，并展示了该方法在现实系统中的成功应用。
2023-08-06 cs.LG math.OC stat.ML
Exponentiated Subgradient Algorithm for Online Optimization under the Random Permutation Model
University of Washington（华盛顿大学）
在线最优化问题出现在许多资源分配任务中，其中对每个资源的未来需求和相关联的效用函数随时间而改变并且不是先验已知的，然而尽管未来不确定性，资源仍需要在每个时间点被分配。本文研究了具有一般凹效用的在线最优化问题。我们修改和扩展Devanur等人提出的在线优化算法。线性规划，这一一般设置。我们用于效用和需求到达的模型被称为随机排列模型，其中效用和需求的固定集合以随机顺序呈现给算法。我们证明，在此模型下，该算法实现了一个接近最优的假设，即投标预算比为$O (\frac{ε^2}{\log({m}/ε)})$，其中$m$是资源的数量的竞争比$1-O(ε)$，同时享有显着降低计算成本比Kesselheim等人提出的最优算法。我们绘制了所提出的算法和次梯度方法之间的连接在凸优化。此外，我们提出了数值实验，证明该算法的性能和速度相比，现有的算法。
2015-02-05 cs.DS cs.LG math.OC
Optimal Rates for Random Order Online Optimization
Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
我们研究在线凸优化的随机顺序模型，最近提出的\citet{garber2020online}，其中的损失函数可能会选择由对手，但然后提交给在线算法在一个统一的随机顺序。聚焦的情况下，累积损失函数是（强）凸的，但个别损失函数是光滑的，但可能是非凸的，我们给出的算法，实现最佳的界限，并显着优于结果的\citet{garber2020online}，完全消除了维度的依赖性，并提高其缩放方面的强凸性参数。我们的分析依赖于算法稳定性和泛化之间的新联系，类似于在带替换i.i.d.~设置，以及对随机梯度下降的精细平均稳定性分析。
2021-06-29 cs.LG math.OC stat.ML
Surrogate Losses for Online Learning of Stepsizes in Stochastic Non-Convex Optimization
Boston University（波士顿大学）；Google（谷歌）
随机梯度下降（SGD）在机器学习中发挥了核心作用。然而，它需要一个精心挑选的步长来快速收敛，这是众所周知的繁琐和耗时的调整。在过去的几年里，大量的自适应梯度算法已经出现，以改善这个问题。他们已被证明有效地减少劳动调整在实践中，但他们中的许多人缺乏理论保证，即使在凸设置。在本文中，我们提出了新的代理损失铸造的问题学习的最佳步长的随机优化的非凸光滑的目标函数到一个在线凸优化问题。这允许使用无遗憾在线算法来计算最佳步长。反过来，这导致SGD算法具有自调整的步长，保证了自动适应噪声水平的收敛速度。
2019-06-07 cs.LG math.OC stat.ML
Adaptivity and Optimality: A Universal Algorithm for Online Convex Optimization
National Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）
本文研究了自适应在线凸优化问题，旨在设计一种通用的算法，该算法能对多种常见类型的损失函数达到最优后悔界。现有的通用方法是有限的，在这个意义上，他们是最佳的损失函数的一个子类。为了解决这个问题，我们提出了一种新的在线方法，即Maler，它享有最佳的$O(\sqrt{T})$，$O(d\log T)$和$O(\log T)$遗憾边界一般凸，指数凹，和强凸函数分别。其基本思想是并行运行具有不同学习率的多种类型的学习算法，并利用Meta算法动态跟踪最佳学习算法。实验结果证明了该方法的有效性。
2019-05-15 cs.LG math.OC stat.ML
A Unified Framework for Analyzing Meta-algorithms in Online Convex Optimization
Mila - Quebec AI Institute/McGill University（魁北克人工智能研究所/麦吉尔大学）；Purdue University（普渡大学）
本文提出了一种统一框架，用于分析在线凸优化中不同反馈类型和对手设定下的元算法，通过转换一阶算法为零阶算法，实现了在不同场景下的优化方法统一和性能保证。
2026-02-20 cs.LG math.OC stat.ML
Hardness of Online Sleeping Combinatorial Optimization Problems
Google Research（谷歌研究院）；Yahoo Research（雅虎研究院）；Univ. of Michigan, Ann Arbor（密歇根大学安娜堡分校）
我们发现，几个在线组合优化的问题，承认有效的无悔算法成为计算困难的睡眠设置中的一个子集的行动变得不可用，在每一轮。具体来说，我们表明，这些问题的睡眠版本至少像PAC学习DNF表达式一样困难，这是一个长期存在的开放问题。我们显示了在线最短路径，在线最小生成树，在线$k$ -子集，在线$k$ -截断排列，在线最小割，在线二分匹配的睡眠版本的硬度。在线最短路径问题的睡眠版本的硬度结果解决了COLT 2015上提出的一个开放问题（Koolen等人，2015年）。
2016-12-19 cs.DS cs.LG
Boosting for Online Convex Optimization
Princeton University（普林斯顿大学）；Google AI（谷歌人工智能）
我们考虑了在线凸优化的决策框架与大量的专家。此设置在上下文和强化学习问题中普遍存在，其中策略类的大小使得在策略类内进行枚举和搜索不可行。相反，我们考虑推广在线提升的方法。我们定义了一个弱学习算法作为一种机制，保证乘法近似的遗憾对一个基类的专家。在这个访问模型中，我们给出了一个有效的提升算法，保证接近最优的遗憾对凸包的基类。我们认为完全和部分（a.k.a.）。Bandit）信息反馈模型。我们也给出了一个类似的有效的提升算法的i.i.d.统计设置。我们的研究结果同时推广在线助推和梯度提升保证上下文学习模型，在线凸优化和强盗线性优化设置。
2021-02-18 cs.LG stat.ML
Adaptive Bound Optimization for Online Convex Optimization
Google, Inc.（谷歌公司）
我们引入了一个新的在线凸优化算法，自适应地选择其正则化函数的基础上观察到的损失函数。这与使用固定正则化函数（如L2平方）并仅通过单个时间相关参数对其进行修改的先前算法形成对比。我们的算法的遗憾界是最坏情况下的最优，并为某些现实类的损失函数，他们比现有的界限。这些边界是依赖于问题的，这意味着它们可以利用实际问题实例的结构。然而，至关重要的是，我们的算法不需要提前知道这个结构。相反，我们证明竞争的保证，表明算法提供了一个最好的约束（一定的功能形式）在事后的一个恒定的因素内的界限。
2010-07-07 cs.LG
Online Convex Optimization Against Adversaries with Memory and Application to Statistical Arbitrage
Technion（以色列理工学院）
具有记忆的在线学习的框架自然地捕获具有时间约束的学习问题，并且先前针对专家设置进行了研究。在这项工作中，我们扩展的概念，学习与记忆的一般在线凸优化（OCO）的框架，并提出了两个算法，达到低遗憾。第一个算法适用于Lipschitz连续损失函数，获得凸和强凸损失的最优遗憾界。第二个算法达到最佳遗憾界，并适用于更广泛的凸损失，而不需要Lipschitz连续性，但更复杂的实现。我们补充我们的理论结果与金融统计套利的应用：我们设计算法构建均值回复投资组合。
2014-06-10 cs.LG
Online Convex Optimization Using Predictions
利用预测是在线算法的一个关键领域，但尚未得到充分开发。本文研究了一类在线优化问题，我们有外部噪声预测。我们提出了一个随机预测误差模型，该模型概括了学习和随机控制社区中的先验模型，结合了预测误差之间的相关性，并捕捉到预测随着时间的推移而改善的事实。我们证明，实现次线性的遗憾和恒定的竞争比在线算法需要使用一个无界的预测窗口在对抗设置，但在更现实的随机预测误差模型下，可以使用平均固定地平线控制（AFHC），同时实现次线性的遗憾和恒定的竞争比在预期中使用一个恒定大小的预测窗口。此外，我们表明，AFHC的性能是紧密集中在其平均值。
2015-04-25 cs.LG
Online Convex Optimization with Long Term Constraints for Predictable Sequences
University of California Irvine（加州大学欧文分校）；Expedia Group（亿客行集团）
在本文中，我们研究了用于在线学习的在线凸优化（OCO）框架。OCO为许多应用程序提供了非常强大的在线学习框架。在这种情况下，我们研究了一个特定的框架OCO称为{ \it OCO长期约束}。长期约束通常被引入作为替代方案，以降低在线优化中的每个更新步骤处的投影的复杂性。虽然已经在具有长期约束的在线优化方面取得了许多算法进步，但是这些算法通常假设确定在线学习者的成本的特定$T$有限步骤上的成本函数序列是逆向生成的。在许多情况下，成本函数的序列可能不是不相关的，并且因此可以从直到某个时间点所观察到的那些成本函数预测。在本文中，我们研究的设置序列是可预测的。我们提出了一种新的在线优化算法，可以利用这种可预测性的长期约束的在线优化。我们表明，与预测，可以提供序列中的下一个函数的梯度信息，我们的算法可以实现一个整体的遗憾和约束违反率，严格小于没有预测的情况下可实现的速率。
2022-10-30 cs.LG cs.SY eess.SY
Online Stochastic Linear Optimization under One-bit Feedback
Nanjing University（南京大学）；the University of Iowa（爱荷华大学）；Michigan State University（密歇根州立大学）
在本文中，我们研究了在线随机线性优化的一个特殊的强盗设置，其中只有一位的信息是在每一轮透露给学习者。这个问题已经在很多领域得到应用，包括在线广告和在线推荐。我们假设二进制反馈是一个随机变量产生的logit模型，并以最小化的遗憾所定义的未知线性函数。虽然现有的广义线性强盗的方法可以应用到我们的问题，高的计算成本使其不切实际的现实世界的问题。为了解决这个问题，我们开发了一个有效的在线学习算法，利用特定的结构的观察模型。具体地说，我们采用在线牛顿步骤来估计未知参数，并推导出一个紧的置信区域的基础上的指数的逻辑损失。分析表明，该算法达到了$O(d\sqrt{T})$的遗憾界，与随机线性强盗的最优解相匹配.
2015-09-25 cs.LG
Hybrid Preference Optimization for Alignment: Provably Faster Convergence Rates by Combining Offline Preferences with Online Exploration
University of Washington（华盛顿大学）；Apple（苹果公司）
本文提出混合偏好优化（HPO），结合在线探索与离线偏好，放宽集中性条件并提高样本效率，首次给出混合RLHF的可证明最优理论界，证明其优于纯离线或纯在线方法。
2024-12-13 cs.LG
Online Convex Optimization with Unconstrained Domains and Losses
Stanford University（斯坦福大学）
我们提出了一个在线凸优化算法（RescaledExp），实现了最佳的遗憾，在无约束的设置没有任何先验知识的损失函数的界限。我们证明了一个下界显示现有的算法，需要一个已知的界上的损失函数和任何算法，不需要这样的知识的遗憾之间的指数分离。RescaledExp在迭代次数上渐进地匹配此下限。RescaledExp本质上是无超参数的，我们根据经验证明它与需要超参数优化的先前优化算法相匹配。
2017-03-07 cs.LG stat.ML
Online Sharp-Calibrated Bayesian Optimization
ELLIS Institute Finland（芬兰ELLIS研究所）；Aalto University（阿尔托大学）；University of Manchester（曼彻斯特大学）
本文提出在线锐化校准贝叶斯优化算法，通过将超参数选择转化为约束在线学习问题，平衡高斯过程的锐度和校准，保持子线性 regrets 并在合成和现实基准中表现优异。
2026-05-11 cs.LG
Regret Analysis of Policy Optimization over Submanifolds for Linearly Constrained Online LQG
Department of Mechanical and Industrial Engineering, Northeastern University, Boston, USA（机械与工业工程系，东北大学，波士顿，美国）
本文研究线性约束下在线 LQG 控制问题，提出基于黎曼流形的在线牛顿法（ONM）算法，利用代价函数二阶信息即时生成控制器，并证明了基于路径长度的遗憾界限。
2025-07-13 cs.LG cs.SY eess.SY
Provable Regret Bounds for Deep Online Learning and Control
Google AI Princeton（谷歌AI普林斯顿）；Princeton University（普林斯顿大学）
深度学习的理论几乎完全集中在监督学习、使用随机梯度下降的非凸优化和过度参数化的神经网络上。人们普遍认为，优化器动态、网络架构、初始化过程和其他因素联系在一起，是其成功的所有组成部分。这为分析基于状态和/或在线深度学习提出了理论挑战。受控制应用的启发，我们给出了从深度学习到在线凸优化的一般黑箱约简。这使我们能够解耦优化，遗憾，表达能力，并为具有ReLU激活的完全连接的深度神经网络获得不可知的在线学习保证。我们量化的收敛性和遗憾的保证，任何范围内的参数，并允许任何优化程序，如自适应梯度方法和二阶方法。作为一个应用程序，我们推导出可证明的算法在在线情节设置的深度控制。
2022-02-16 cs.LG
Online Optimization Perspective on First-Order and Zero-Order Decentralized Nonsmooth Nonconvex Stochastic Optimization
Northeastern University（东北大学）
研究去中心化非光滑非凸随机优化中寻找稳定点的问题，提出ME-DOL算法，利用在线优化技术在一阶和零阶设置下实现了与最优集中式方案匹配的样本复杂度。
2024-06-03 cs.LG cs.SY eess.SY
Online Learning via Offline Greedy Algorithms: Applications in Market Design and Optimization
Chicago Booth School of Business（芝加哥大学布斯商学院）；MIT Sloan School of Management（麻省理工学院斯隆管理学院）；Google Research（谷歌研究院）
在线决策的动机在时变组合环境中，我们研究的问题，离线算法转换到他们的在线同行。我们专注于离线组合的问题，是服从一个常数因子近似使用贪心算法，是强大的本地错误。对于这样的问题，我们提供了一个通用的框架，有效地将离线强大的贪心算法在线使用Blackwell逼近。我们表明，由此产生的在线算法有$O(\sqrt{T})$（近似）遗憾下的充分信息设置。我们进一步介绍了一个强盗扩展的Blackwell可接近性，我们称之为强盗Blackwell可接近性。我们利用这个概念，将贪婪的强大的离线算法转化为$O(T^{2/3})$（近似）的遗憾，在强盗设置。展示了我们的框架的灵活性，我们将我们的离线到在线的转换应用于收入管理，市场设计和在线优化的交叉点上的几个问题，包括在线平台中的产品排名优化，拍卖中的底价优化和子模块最大化。我们还扩展我们的减少贪婪的连续优化中使用的一阶方法，如用于最大化连续强DR单调子模函数凸约束。我们表明，我们的变换，当应用到这些应用程序中，导致新的遗憾界或改善目前已知的界限。我们补充我们的理论研究进行数值模拟我们的两个应用程序，在这两个我们观察到，我们的转换的数值性能优于理论保证在实际情况下。
2023-02-04 cs.DS cs.GT cs.LG
Universal Online Optimization in Dynamic Environments via Uniclass Prediction
近年来，提出了几种通用的在线凸优化方法，可以同时处理凸、强凸和指数凹的代价函数。然而，这些算法中的大多数都是基于静态遗憾最小化设计的，但是这种遗憾的概念可能不适合变化的环境。为了解决这个缺点，我们提出了一个新的和直观的框架，在动态环境中的通用在线优化。与现有的通用算法不同，我们的策略不依赖于一组专家和相应的元算法的建设。相反，我们表明，动态在线优化的问题可以减少到一个单类预测问题。通过将单类损失函数的选择权留给用户，他们能够控制和优化动态遗憾边界，这反过来又会延续到原始问题中。据我们所知，这是第一篇论文提出了一个普遍的方法，国家的最先进的动态遗憾保证，即使是一般的凸成本函数。
2023-02-13 cs.LG stat.ML
Capacity Provisioning Motivated Online Non-Convex Optimization Problem with Memory and Switching Cost
本文研究带记忆和切换代价的在线非凸优化问题，通过调节活跃服务器数量最小化作业总延迟，并针对最坏情况和随机输入分别提出竞争算法。
2024-07-01 cs.DS cs.LG
