Online Optimisation for Online Learning and Control -- From No-Regret to Generalised Error Convergence
本文介绍了早期的工作，旨在开发一个新的框架，在线学习的预测和控制算法的设计和分析。首先，我们考虑的任务，预测值的函数或时间序列的基础上，通过利用在线编程的输入增量到达序列。引入一个概括的标准概念的收敛，我们得到理论保证的渐近行为的预测精度时，预测模型更新的无外部遗憾算法。我们证明了广义学习保证在线回归，并提供了一个例子，这可以应用于在线学习为基础的控制。我们设计了一个模型参考自适应控制器，在先验动态不确定性的存在下，具有新的在线性能保证跟踪成功。我们的理论结果是伴随着简单的回归和控制问题的插图。
2019-03-23 math.OC
Dynamic Regret of Distributed Online Frank-Wolfe Convex Optimization
本文研究了分布式在线凸约束优化问题，在该问题中，多智能体系统中的多个智能体通过与时变网络中的邻居进行通信来协作以最小化全局费用函数。当最优化问题的约束集是高维的、复杂的时，投影运算的计算量往往变得令人望而却步。为了解决这个问题，我们开发了一个分布式的在线Frank-Wolfe优化算法结合梯度跟踪技术。我们严格建立动态遗憾界的建议优化算法为$\mathcal{O}(\sqrt{T(1+H_T)}+D_T)$，这显式地依赖于迭代轮$T$，功能变化$H_T$，和梯度变化$D_T$。最后，在分布式在线岭回归问题的情况下，对理论结果进行了验证和比较。
2023-02-01 math.OC
Forgetting-Factor Regret for Online Zero-Sum Games
Peking University（北京大学）；Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；University of Chinese Academy of Sciences（中国科学院大学）
研究在线两人零和博弈中动态均衡跟踪，引入带遗忘因子的遗憾函数，分析不同反馈下的三种算法，建立遗憾界，给出收敛条件，通过数值示例验证理论结果，体现所提遗憾度量的跟踪优势。
2026-07-09 math.OC
Distributed Online Convex Optimization with Improved Dynamic Regret
在本文中，我们考虑分布式在线凸优化的问题，其中一组代理合作，以在线方式跟踪全局极小值的时变目标函数的总和。具体来说，我们提出了一种新的分布式在线梯度下降算法，依赖于静态优化中使用的梯度跟踪技术的在线适应。我们表明，该算法的动态遗憾界没有明确的时间范围的依赖，因此，可以比现有的界限，特别是对于长期的问题。我们的边界依赖于一个新的正则性度量，该度量量化了每个时刻最佳点处梯度的总变化。此外，当优化近似线性动力学，我们表明，动态遗憾界可以进一步收紧取代的规律性措施，捕获路径长度的优化与累积的预测误差，这可以在这种特殊情况下低得多。我们提出了数值实验来证实我们的理论结果。
2020-10-13 math.OC
An Iterative Riccati Algorithm for Online Linear Quadratic Control
研究线性控制系统的在线策略学习问题。在这个问题中，控制系统是已知的和线性的，并且二次费用函数的序列在事后被揭示给控制器，并且控制器更新其策略以实现次线性遗憾，类似于在线优化。提出了一种改进的在线Riccati算法，在一定的有界性假设下，得到了对数遗憾界。特别地，在没有有界性假设的情况下，获得了标量情形的对数遗憾。我们的算法，同时实现了更好的遗憾界，也降低了复杂性相比，早期的算法依赖于解决半定方案在每个阶段。
2021-01-26 math.OC
Dynamic Regret for Online Composite Optimization
本文研究动态环境中的在线复合优化问题，其中每个目标或损失函数包含一个时变不可微正则化子。为了解决这个问题，在线近似梯度算法研究了两种不同的情况下，包括凸和强凸目标没有光滑条件。在这两种情况下，与大多数工作不同，采用传统路径变化的扩展版本来约束所考虑的性能度量，即，动态后悔在凸的情况下，一个绑定$\mathcal{O}(\sqrt{T^{1-β}D_β(T)+T})$是最有名的结果，其中$D_β(T)$是扩展的路径变化与$β\in[0,1)$和$T$的总轮数。在强凸情形下，建立了动态后悔的一个界$\mathcal{O}(\log T(1+T^{-β}D_β(T)))$.最后给出了数值例子来支持理论结果。
2023-03-23 math.OC
Online Mixed Discrete and Continuous Optimization: Algorithms, Regret Analysis and Applications
本文研究在线混合离散与连续优化问题，提出具有次线性遗憾保证的算法，并验证其在多种实际应用中的有效性。
2024-08-26 math.OC
Online Distributed Optimization with Clipped Stochastic Gradients: High Probability Bound of Regrets
本文针对智能体网络的分布式优化问题，提出带截断的在线分布式随机梯度下降算法，在重尾噪声下证明了凸与非凸场景下动态悔值的高概率次线性界，并通过仿真验证理论有效性。
2024-01-26 math.OC
Online Optimization with Predictions and Switching Costs: Fast Algorithms and the Fundamental Limit
本文研究了一个在线最优化问题，该问题具有有限的预测窗口的费用函数和额外的切换成本的决策。我们提出了两个基于梯度的在线算法：滚动时域梯度下降（RHGD）和滚动时域加速梯度（RHAG）。这两种算法在每个阶段只需要有限数量的投影梯度评估。我们提供了上界的动态遗憾的算法，并表明遗憾的上界与预测窗口的长度呈指数衰减。此外，我们研究的基本下界的动态遗憾的广泛的一类确定性在线算法。的下界接近RHAG的遗憾上界，表明我们的基于梯度的RHAG是一个近最优的在线算法。最后，我们进行了数值实验，以补充我们的理论分析。
2020-03-07 math.OC
A Continuous-Time Nesterov Accelerated Gradient Method for Centralized and Distributed Online Convex Optimization
利用在线连续时间Nesterov加速梯度法（OCT-NAG）研究了在线凸优化问题。我们表明，在线版本的布雷格曼拉格朗日产生的连续时间动态实现了恒定的静态遗憾$\frac{c}σ$独立的$T$，提供了一些有界性假设的目标函数和最优解。据作者所知，这是文献中最低的静态遗憾（低于$O(\text{log}(T))$）。我们进一步证明了在相同的假设条件下，该算法的动态遗憾是$O(T)$，这是与现有的方法相媲美。仿真结果验证了该方法的有效性。此外，仿真结果表明，该算法表现出良好的动态遗憾的一些特定的缩放条件。此外，我们考虑所提出的在线优化方法在分布式在线最优化问题中的应用，并表明所提出的算法实现了$O(\sqrt{T})$静态遗憾，这是与现有的分布式在线最优化方法。与这些方法不同的是，该方法既不需要梯度有界性假设，也不需要紧约束集假设，从而允许与文献中不同的目标函数和最优化问题。一个可比的动态后悔。仿真结果表明了分布式算法的有效性和效率。
2020-09-26 math.OC
Randomized Gradient-Free Distributed Online Optimization via a Dynamic Regret Analysis
本文考虑了一个在线分布式最优化问题，其中一组代理的局部目标函数随时间变化。此外，目标函数的值被透露给相应的代理后，决定是执行每个时间步。因此，每个代理只能更新决策变量的基础上透露的价值和信息收集的邻居，没有知识的明确表达的目标函数。为了解决这个问题，提出了一种在线无梯度的分布式投影梯度下降（DPGD）算法，其中每个智能体基于两个点值局部逼近梯度。在通信图和目标函数的一些标准假设下，我们给出了动态后悔的界作为最小路径长度、步长和平滑参数的函数。在适当的步长和平滑参数的选择下，我们证明了动态后悔是次线性的持续时间$T$，如果最小路径长度也增长次线性。最后通过数值模拟说明了该算法的有效性。
2021-08-13 math.OC
Tracking and regret bounds for online zeroth-order Euclidean and Riemannian optimisation
我们研究数值优化算法，使用零阶信息，以尽量减少随时间变化的geodesically凸费用函数的黎曼流形。在欧几里德环境中，零阶算法在时变和时不变的情况下都受到了很多关注。然而，推广到黎曼流形是少得多的发展。我们专注于阿达玛流形，这是一类特殊的黎曼流形的整体非正曲率，提供方便的理由，推广凸性概念。具体来说，我们推导出的预期瞬时跟踪误差的界限，我们提供算法的性能最小化的算法参数值。我们的结果说明如何在截面曲率方面的流形几何影响这些界限。此外，我们提供了动态的遗憾界限，这种在线优化设置。据我们所知，这些是第一个遗憾的界限，即使是欧几里德版本的问题。最后，通过数值模拟，我们证明了我们的算法在线Karcher均值问题的适用性。
2022-02-14 math.OC
Online estimation and control with optimal pathlength regret
Caltech（加州理工学院）
当为非平稳环境设计在线学习算法时，一个自然的目标是根据输入序列的时间变化限制算法的遗憾。直觉上，当变化很小时，算法应该更容易实现低遗憾，因为过去的观察可以预测未来的输入。这种依赖于数据的“路径长度”遗憾界最近已经获得了各种各样的在线学习问题，包括OCO和土匪。我们获得了线性动态系统在线控制和估计（如卡尔曼滤波）的第一个路径长度遗憾界。在我们的推导中的关键思想是减少路径长度最优滤波和控制的鲁棒估计和控制的某些变分问题，这些减少可能是独立的利益。数值模拟证实，我们的路径长度优化算法优于传统的$H_2$和$H_{\infty}$算法时，环境随时间变化。
2021-12-07 cs.LG math.OC
Online Bilevel Optimization: Regret Analysis of Online Alternating Gradient Methods
University of Pennsylvania（宾夕法尼亚大学）；Amirkabir University of Technology（阿米尔卡比尔理工大学）；University of Michigan（密歇根大学）
该研究提出在线双层优化问题，定义新的双层悔度概念，设计可利用平滑性的在线交替时间平均梯度方法，将单层在线算法悔度界拓展至双层场景，给出基于内外层最小化子序列路径长度的悔度界。
2024-07-08 cs.DS cs.LG math.OC
A Unified Analysis Method for Online Optimization in Normed Vector Space
China University of Petroleum-Beijing（中国石油大学（北京））
本文从高层次统一理论的角度研究在线优化问题。本文不仅在赋范向量空间中推广了Optimistic-DA和Optimistic-MD，而且统一了它们的动态后悔分析方法。由于引入了$ϕ$ -convex，遗憾边界是最严格的。作为实例，归一化指数次梯度和贪婪/懒惰投影的遗憾界优于目前已知的最优结果。通过用单调算子代替在线博弈中的损失，并扩展后悔算子的定义，即后悔$^n$，将在线凸优化问题推广到在线单调优化问题。
2022-02-13 cs.LG math.OC
Logarithmic Regret for Online Control
Google AI Princeton（谷歌AI普林斯顿）；Princeton University（普林斯顿大学）
在转移动力学的基础上，研究了线性动力系统在逆变强凸代价函数下的最优后悔界。这包括几个良好的研究和基本框架，如卡尔曼滤波器和线性二次调节器。现有技术的方法实现了按$O(\sqrt{T})$缩放的后悔，其中$T$是时间范围。我们发现，在这种情况下，最佳遗憾可以显着较小，缩放为$O(\text{poly}(\log T))$。通过两种不同的有效迭代法，在线梯度下降和在线自然梯度来实现该遗憾界。
2019-09-11 cs.LG math.OC stat.ML
Logarithmic Regret for Adversarial Online Control
MIT（麻省理工学院）；UC Berkeley（加州大学伯克利分校）
针对一类已知的具有对抗性干扰的系统，提出了一种在线线性二次型控制的新算法。现有的遗憾界为$\sqrt{T}$的设置规模，除非强随机假设施加在扰动过程。我们给出了第一个算法与对数遗憾任意对抗性干扰序列，提供的状态和控制成本由已知的二次函数。我们的算法和分析使用的最优离线控制律的表征减少在线控制问题（延迟）在线学习近似优势函数。与以前的技术相比，我们的方法不需要控制迭代的移动成本，导致对数遗憾。
2020-06-23 cs.LG math.OC stat.ML
Online Learning with Continuous Variations: Dynamic Regret and Reductions
Georgia Tech（佐治亚理工学院）；UC Berkeley（加州大学伯克利分校）
在线学习是分析迭代算法的有力工具。然而，经典的对抗性设置有时无法捕捉到实践中在线问题的某些规律性。出于这一动机，我们建立了一个新的设置，称为连续在线学习（COL），在线损失函数的梯度不断变化，跨轮相对于学习者的决定。我们表明，COL涵盖并更恰当地描述了许多有趣的应用，从一般均衡问题（EPs）的优化，在情节MDPs。特别是，我们发现单调EP承认减少实现次线性静态遗憾COL。使用这个新的设置，我们重新审视的困难，次线性动态遗憾。我们证明了一个基本的等价实现次线性动态遗憾COL和解决某些EP。有了这个洞察力，我们提供的条件，实现次线性动态遗憾的有效算法，即使是在没有任何先验变化预算的情况下，自适应地选择损失。此外，我们表明COL减少从动态遗憾到静态遗憾和收敛在相关的EP，使我们能够分析许多现有的算法的动态遗憾。
2022-04-04 cs.LG math.OC stat.ML
Achieving Better Local Regret Bound for Online Non-Convex Bilevel Optimization
East China Normal University（华东师范大学）
本文提出优化在线非凸双层优化的局部遗憾界，设计了自适应迭代算法和单循环算法，分别在标准和窗口平均设置中取得最优遗憾界。
2026-05-09 cs.LG math.OC
Regret Bounds without Lipschitz Continuity: Online Learning with Relative-Lipschitz Losses
University of British Columbia（不列颠哥伦比亚大学）；Amii（阿尔伯塔机器智能研究所）
在线凸优化（OCO）中，通常假设函数的Lipschitz连续性以获得次线性遗憾。而且，当这些函数也是强凸函数时，许多算法只有对数遗憾。近年来，凸优化领域的研究者提出了“相对Lipschitz连续性”和“相对强凸性”的概念。这两个概念都是经典概念的推广。它已被证明，次梯度方法在相对设置具有类似于他们的性能在经典设置的性能。在这项工作中，我们考虑OCO相对Lipschitz和相对强凸函数。我们扩展了经典OCO算法的遗憾界的相对设置。具体来说，我们显示遗憾的界限遵循正规化的领导者算法和在线镜像下降的一个变体。由于这些方法的通用性，这些结果产生各种各样的OCO算法的遗憾界。此外，我们进一步扩展的结果与额外的正则化算法，如正则化双平均。
2020-12-28 cs.LG math.OC
Dynamic Regret of Online Mirror Descent for Relatively Smooth Convex Cost Functions
University of Toronto（多伦多大学）
在线凸优化算法在动态环境中的性能通常用动态后悔来表示，动态后悔度量决策者对一系列时变比较器的性能。在分析动态后悔问题时，以往的研究往往假设代价函数是Lipschitz连续或一致光滑的。然而，在实践中有许多重要的成本函数不满足这些条件。在这种情况下，先前的分析是不适用的，不能保证优化性能。在这封信中，我们表明，它是可能的约束的动态遗憾，即使没有Lipschitz连续性和一致光滑性。我们采用相对光滑的概念，相对于一些用户定义的正则化函数，这是一个更温和的要求的成本函数。我们首先表明，相对平滑下，动态后悔有一个上界的基础上的路径长度和功能的变化。然后，我们表明，与一个相对较强的凸性的附加条件，动态后悔可以有界的路径长度和梯度变化。这些遗憾的界限提供了性能保证各种各样的在线优化问题，出现在不同的应用领域。最后，我们提出了数值实验，证明了采用正则化函数的优势，在该函数下的成本函数是相对平滑的。
2022-02-25 cs.LG math.OC
A Distributed Online Convex Optimization Algorithm with Improved Dynamic Regret
Duke University（杜克大学）
在本文中，我们考虑的问题，分布式在线凸优化，在网络的本地代理的目的是共同优化一个凸函数在一段时间内的多个时间步长。特工们对未来一无所知。现有的算法已经建立了明确的依赖于时间步长的数量的动态遗憾界。在这项工作中，我们表明，我们可以消除这种依赖性，假设当地的目标函数是强凸的。更准确地说，我们提出了一个梯度跟踪算法，代理联合通信和下降的基础上校正梯度步骤。我们通过数值实验验证了我们的理论结果。
2019-11-12 cs.LG math.OC
Small Gradient Norm Regret for Online Convex Optimization
Stanford University（斯坦福大学）；Shanghai University of Finance and Economics（上海财经大学）
本文提出了一种新的在线凸优化遗憾度量$G^\star$，通过改进的遗憾分析和实验验证，提升了对平滑损失的收敛性能。
2026-09-22 cs.LG math.OC stat.ML
Online Optimization in Dynamic Environments: Improved Regret Rates for Strongly Convex Problems
University of Pennsylvania（宾夕法尼亚大学）；Harvard University（哈佛大学）
在本文中，我们解决跟踪的时变参数与未知的动态。我们正式的问题作为一个实例，在一个动态的设置在线优化。使用在线梯度下降，我们提出了一种方法，顺序预测的参数值，反过来又遭受损失。其目标是尽量减少在一段时间内累积的损失，这一概念被称为动态后悔。虽然现有的方法集中在凸损失函数，我们认为强凸函数，以便提供更好的性能保证。我们得到一个遗憾的界限，捕获的路径长度的时变参数，定义在其连续值之间的距离。换句话说，边界表示跟踪质量与参数变化率的自然联系。我们提供数值实验来补充我们的理论研究结果。
2016-03-16 cs.LG math.OC
Online Monotone Optimization
本文提出了一个新的框架，分析和设计的无悔算法的动态（可能是敌对的）系统。该框架概括了流行的在线凸优化框架，并将其扩展到其自然极限，使其能够捕获一个概念的遗憾，这是直观的更一般的问题，如在博弈论和变分不等式中遇到的。该框架取决于我们开发的系统范围损失函数的特殊选择。使用这个框架，我们证明了一个简单的更新计划提供了一个无遗憾算法单调系统。虽然以前的结果在博弈论证明个人代理可以享受单边无遗憾的保证，我们的结果证明单调性足以保证无遗憾时，考虑到多个代理策略的调整并行。此外，据我们所知，这是第一个框架，提供了一个合适的概念变分不等式的遗憾。最重要的是，我们提出的框架确保单调性的充分条件，安全地并行使用多个在线学习者。
2016-08-29 cs.LG math.OC
Unconstrained Online Optimization: Dynamic Regret Analysis of Strongly Convex and Smooth Problems
Texas A&M University（德克萨斯A&M大学）
动态在线学习算法的后悔界通常用函数序列（$V_T$）的变化和/或最小化序列在$T$轮之后的路径长度来表示。对于强凸光滑函数，Zhang等人建立了极小序列的平方路径长度（$C^*_{2,T}$）作为后悔的下界。他们还表明，在线梯度下降（OGD）实现了这个下限使用多个梯度查询每轮。在本文中，我们专注于无约束在线优化。我们首先表明，OGD的预处理变体实现了$O(C^*_{2,T})$，每轮一个梯度查询。然后，我们提出了在线乐观牛顿（OON）方法的情况下，一阶和二阶信息的函数序列是可预测的。OON的后悔界是通过最小化序列的四次路径长度（$C^*_{4,T}$）捕获的，它可以比$C^*_{2,T}$小得多。最后，我们表明，通过使用多梯度OGD，我们可以实现$O(\min\{C^*_{2,T},V_T\})$上界的遗憾。
2020-08-14 cs.LG math.OC stat.ML
Bi-Level Online Control without Regret
本文提出一种双层离散时间控制框架，结合在线凸优化与实时控制，通过小动态遗憾算法解决电力电网频率控制问题。
2017-02-18 cs.LG cs.SY eess.SY
Universal Online Convex Optimization with Minimax Optimal Second-Order Dynamic Regret
Bilkent University（比尔肯特大学）；Turkcell Teknoloji（土耳其电信技术公司）；DataBoss A.S.（DataBoss公司）
我们介绍了一个在线凸优化算法，利用投影次梯度下降与最佳自适应学习率。对于一般的凸函数序列，我们的方法提供了二阶极小极大最优的动态后悔保证（即依赖于次梯度范数的平方和），这类函数序列可能不具有强凸性、光滑性、指数连续性甚至Lipschitz连续性.遗憾保证针对具有有界路径变化的任何比较器决策序列（即连续决策之间的距离之和）。通过引入实际次梯度范数，我们得到了最坏情况下二阶动态后悔的下界。我们表明，这个下界匹配我们的遗憾保证在一个常数的因素，这使得我们的算法最小最大的最优。我们还分别推导了每个决策坐标中的学习扩展。我们演示了如何最好地保持我们的遗憾保证在一个真正的在线方式，当比较器序列的路径变化的约束增长的时间或反馈关于这样的约束到达部分随着时间的推移，我们进一步建立在我们的算法，以消除需要的任何知识的比较器路径变化，并提供minimax最优二阶遗憾保证没有先验信息。我们的方法可以竞争对所有比较器序列同时（普遍）在一个最小最大的最佳方式，即每个遗憾的保证取决于各自的比较器路径变化。我们讨论修改我们的方法，解决时间，计算和内存的复杂性降低。我们进一步改善我们的结果，使遗憾的保证也依赖于比较器集的直径，除了各自的路径变化。
2022-09-13 cs.LG math.OC
Adaptive Gradient Online Control
在这项工作中，我们考虑了在线控制一个已知的线性动态系统的对抗干扰和对抗控制器的成本。在线控制的目标是最小化后悔，后悔定义为一段时间内的累积成本$T$和来自比较类的最佳策略的累积成本之间的差异。对于我们考虑的设置，我们推广以前提出的在线扰动响应控制器（DRC）的自适应梯度在线扰动响应控制器。使用修改后的控制器，我们提出了新的遗憾保证，提高了既定的遗憾保证相同的设置。我们表明，建议的在线学习控制器是能够实现中间的中间遗憾率之间的$\sqrt{T}$和$\log{T}$中间凸条件，而它恢复了以前建立的遗憾结果一般凸控制器成本和强凸控制器成本。
2021-10-13 cs.SY eess.SY math.OC
Follow The Approximate Sparse Leader for No-Regret Online Sparse Linear Approximation
IIT (ISM) Dhanbad（印度理工学院（达姆达德印度矿业学院））
针对在线稀疏线性逼近问题，提出 Follow-The-Approximate-Sparse-Leader 元策略，并证明其静态遗憾具有从对数到平方根范围的依赖数据次线性界，仿真验证了有效性。
2025-01-07 cs.LG math.OC
Sublinear Regret with Barzilai-Borwein Step Sizes
本文采用Barzilai-Borwein拟牛顿法对在线情况进行了研究。在一个在线最优化问题中，一个在线代理使用一定的算法来决定一个目标在每一个时间步之后，一个可能的损失是遇到。尽管在线玩家在每个时间步都会尽可能做出最好的决定，但玩家的决定会让人后悔。本研究探讨使用最优化方法，如拟牛顿法，由于其快速收敛性能的在线播放器的遗憾。由于Barzilai-Borwein（BB）梯度法具有较低的计算复杂性，本文选择了它来代替Broyden-Fletcher-Goldfarb-Shanno（BFGS）等拟牛顿法。此外，BB梯度法适用于大规模的最优化问题，包括本文提出的在线优化方案。为了验证Barzilai-Borwein（BB）梯度算法的有效性，本文采用了一种基于两种BB步长的贪婪在线梯度算法。通过对BB算法步长进行严格的后悔分析，证明了BB算法得到的后悔在时间上是次线性的。此外，本文表明，使用在线BB算法的平均遗憾接近零，而不假设强凸性的费用函数被最小化。
2021-04-01 cs.SY eess.SY math.OC
Online Min-Max Optimization: From Individual Regrets to Cumulative Saddle Points
Purdue University（普渡大学）
本文提出了一种基于累积鞍点的在线极小极大优化方法，解决了静态纳什均衡与个体遗憾不兼容的问题，并引入动态鞍点遗憾概念，同时推导了在强凸-强凹性和极小极大指数凹性下的理论界限。
2026-02-11 cs.LG math.OC
Dynamic Regret Analysis for Online Tracking of Time-varying Structural Equation Model Topologies
确定复杂系统中变量之间的依赖关系是网络科学中的一个重要问题。结构方程模型（SEM）由于具有易处理性和模型中引入了外生影响等优点，在拓扑推理中得到了广泛的应用。基于静态SEM的拓扑识别在静态环境中是有用的，然而，在许多应用中，寻求时变的底层拓扑。本文提出了一种动态环境下稀疏时变拓扑结构的在线跟踪算法，并对算法的性能保证进行了详细的分析。跟踪能力的特点是在所提出的算法的动态遗憾的约束。数值试验表明，该算法可以跟踪不同模型下的时变拓扑结构的变化。
2020-03-18 eess.SP math.OC
Minimizing Regret of Bandit Online Optimization in Unconstrained Action Spaces
TU Darmstadt（达姆施塔特工业大学）；University of British Columbia（不列颠哥伦比亚大学）
本文研究了带零阶预言反馈的在线凸优化问题。特别地，决策者不知道时变费用函数或其梯度的显式表示。在每个时间步，她观察在她选择的动作（零阶预言）处评估的对应费用函数的值。目标是最小化遗憾，也就是说，她积累的成本和静态最优行动之间的差异，她知道的序列的费用函数先验。我们提出了一个新的算法，以尽量减少无约束的行动空间中的遗憾。我们的算法取决于一个经典的思想，一个点估计的梯度的费用函数的基础上，他们的观测值。该算法与问题参数无关。令$T$表示零阶预言机的查询次数，$n$表示问题维数，得到的遗憾率为$O(n^{2/3}T^{2/3})$。此外，我们适应所提出的算法的设置与两点反馈，并证明了适应过程达到理论上的下限$(n^{1/2}T^{1/2})$的遗憾。
2020-05-02 cs.LG math.OC
Online switching control with stability and regret guarantees
本文研究了具有有限候选控制器池、未知动力系统和未知费用函数的在线切换控制问题。候选控制器可以是不稳定策略。我们只需要至少一个候选控制器来满足某些稳定性性质，但我们不知道哪一个是稳定的。我们设计了一个在线算法，保证有限增益的稳定性，在整个执行期间。我们还提供了一个次线性的政策后悔保证相比，最优稳定候选控制器。最后，我们数值测试我们的算法上的四旋翼平面飞行，并将其与经典的切换控制算法，基于伪造的切换，和经典的多臂强盗算法，Exp3与批次。
2023-01-24 cs.SY eess.SY math.OC
Smoothed Online Convex Optimization Based on Discounted-Normal-Predictor
Nanjing University（南京大学）；the University of Iowa（爱荷华大学）
在本文中，我们研究了一种在线预测策略，称为贴现正态预测器（Kapralov和Panigrahy，2010），用于平滑在线凸优化（SOCO），其中学习者不仅需要最小化命中成本，还需要最小化切换成本。在专家建议的学习环境中，Daniely和Mansour（2019）证明了贴现正态预测器可以在任何时间间隔内产生接近最优的后悔界限，即使存在转换成本。受他们结果的启发，我们开发了一种简单的SOCO算法：通过贴现正态预测器将在线梯度下降（OGD）与不同的步长顺序组合。尽管它的简单性，我们证明了它是能够最小化的自适应遗憾与切换成本，即，在每一区间上都能得到具有切换成本的近似最优后悔。通过利用OGD对动态后悔的理论保证，进一步证明了该算法在每个区间内都能最小化动态后悔且具有切换代价。
2022-05-02 cs.LG math.OC
Improving Dynamic Regret in Distributed Online Mirror Descent Using Primal and Dual Information
我们考虑分布式在线优化的问题，一组学习者通过动态通信图连接。学习器的目标是以分布式的方式跟踪时变损失函数之和的全局最小值。我们提出了一种新的算法，称为分布式在线镜像下降与多个平均决策和梯度共识（DOMD-MADGC），这是基于镜像下降，但结合了多个共识平均迭代局部梯度以及局部决策。其关键思想是允许局部学习器收集足够量的全局信息，这使它们能够更准确地近似时变全局损失，从而使它们能够随着时间的推移密切跟踪动态全局最小值。我们证明了DOMD-MADGC的动态后悔是由路径长度上界的，路径长度定义为连续最小值之间的累积距离。由此产生的界限改善现有的分布式在线算法的界限，并消除了显式依赖$T$。
2021-12-07 cs.DC math.OC
New Projection-free Algorithms for Online Convex Optimization with Adaptive Regret Guarantees
Technion - Israel Institute of Technology（以色列理工学院）
我们提出了新的有效的\textit{projection-free}算法在线凸优化（OCO），其中的投影免费，我们指的算法，避免计算正交投影到可行集，而不是依赖于不同的和潜在的更有效的预言。虽然大多数国家的最先进的无投影算法的基础上的\textit{follow-the-leader}框架，我们的算法是根本不同的，是基于\textit{online gradient descent}算法与一种新的和有效的方法来计算所谓的\textit{infeasible projections}。因此，我们获得了自然产生\textit{adaptive regret}保证的第一个无投影算法，即，遗憾的界限，持有w.r.t.序列的任何子区间。具体地说，当假设一个线性优化预言（LOO）的可行集的可用性，在一个序列的长度$T$，我们的算法保证$O(T^{3/4})$自适应遗憾和$O(T^{3/4})$自适应预期遗憾，分别为全信息和强盗设置，只使用$O(T)$调用LOO。这些界限与基于LOO的无投影OCO的当前最先进的遗憾界限匹配，该遗憾界限是\textit{not adaptive}。我们还考虑了一个新的自然环境中的可行集是通过分离预言机访问。我们提出的算法，使用整体$O(T)$调用的分离预言，保证$O(\sqrt{T})$自适应遗憾和$O(T^{3/4})$自适应预期遗憾的全部信息和强盗设置，分别。
2023-03-19 cs.LG math.OC
Online Optimization on Hadamard Manifolds: Curvature Independent Regret Bounds on Horospherically Convex Objectives
Department of Mechanical & Industrial Engineering, Northeastern University（机械与工业工程系，东北大学）
本文研究Hadamard流形上基于horospherical凸性的在线Riemannian优化，提出与曲率无关的遗憾界，并在SPD矩阵流形上验证了方法有效性。
2025-09-14 cs.LG math.OC stat.ML
Regret Analysis of Online LQR Control via Trajectory Prediction and Tracking: Extended Version
The Australian National University（澳大利亚国立大学）；The University of Texas at Dallas（德克萨斯大学达拉斯分校）
本文提出并分析了一种新的在线线性二次型调节器（LQR）控制方法。成本矩阵按顺序显示，并有可能在很短的时间内预览未来的值。我们的新方法包括使用可用的成本矩阵来预测的最优轨迹，和跟踪控制器来驱动系统走向it.We采用动态后悔的概念来衡量这种建议的在线LQR控制方法的性能，我们的主要结果是，我们的方法的（动态）遗憾的上限由一个常数。此外，遗憾上界与预览窗口的长度呈指数衰减，是可扩展的干扰系统。我们在模拟中表明，我们提出的方法提供了改进的性能相比，其他先前提出的在线LQR方法。
2023-02-21 cs.LG cs.SY eess.SY
On the Regret Minimization of Nonconvex Online Gradient Ascent for Online PCA
Technion - Israel Institute of Technology（以色列理工学院）
在本文中，我们专注于问题的在线主成分分析的后悔最小化框架。对于这个问题，所有现有的后悔最小化算法的完全对抗设置是基于一个半正定凸松弛，因此需要二次记忆和SVD计算（薄或全）的每一个迭代，这相当于至少二次运行时间每次迭代。这与相应的随机i.i.d.的问题，这是最近被广泛研究的变种，并承认非常有效的梯度上升算法，直接对自然的非凸制定的问题，因此只需要线性内存和线性运行时间每次迭代。这就提出了一个问题：非凸在线梯度上升算法是否可以在在线对抗环境中最大限度地减少遗憾？在本文中，我们采取了一个步骤来回答这个问题。我们引入了一个\textit{adversarially-perturbed spiked-covariance model}，其中每个数据点被假设为遵循一个固定的随机分布，在协方差矩阵中具有非零的谱间隙，但随后被一些对抗向量扰动。该模型是一个经过充分研究的标准随机设置的自然扩展，允许在数据中出现非平稳（对抗）模式，因此可能会更好地近似真实世界的数据流。我们表明，在一个有趣的制度的参数，当非凸的在线梯度上升算法初始化的“热启动”向量，它可证明最大限度地减少遗憾的概率很高。我们进一步讨论了计算这样一个“热启动”向量的可能性，以及使用正则化来获得快速的后悔率。我们的理论研究结果得到了合成和真实世界数据的实证实验的支持。
2019-01-31 cs.LG math.OC stat.ML
Matrix-Free Preconditioning in Online Learning
Google Research（谷歌研究院）
我们提供了一个在线凸优化算法的遗憾，插值之间的遗憾，使用最佳的预处理矩阵和一个使用对角预处理矩阵的算法。我们的遗憾界永远不会比对角预处理得到的遗憾界更差，在某些情况下甚至超过了全矩阵预处理算法。重要的是，我们的算法运行在相同的时间和空间复杂度的在线梯度下降。一路上，我们采用新的技术，温和地精简和改善对数因素在以前的遗憾分析。最后，我们对我们的算法进行了合成数据和深度学习任务的基准测试。
2019-05-29 cs.LG math.OC stat.ML
Optimal Dynamic Regret in Proper Online Learning with Strongly Convex Losses and Beyond
UC Santa Barbara（加州大学圣塔芭芭拉分校）
研究了强凸损失下泛动态后悔最小化问题的框架。我们回答了Baby和Wang 2021中的一个公开问题，表明在适当的学习设置中，强自适应算法可以同时实现$\tilde O(d^{1/3} n^{1/3}\text{TV}[u_{1:n}]^{2/3} \vee d)$对任何比较器序列$u_1,\ldots,u_n$的近最优动态遗憾，其中$n$是时间范围，$\text{TV}[u_{1:n}]$是比较器的总变差。这些结果是通过利用Baby和Wang 2021中没有考虑的KKT条件所施加的一些新结构来促进的，这些结构也导致了对他们结果的其他改进，例如：（a）处理非光滑损失和（b）改善对遗憾的维度依赖。此外，我们还获得了接近最优的动态后悔率的特殊情况下，适当的在线学习的exp-convex损失和$L_\infty$约束的决策集。
2022-01-21 cs.LG math.OC stat.ML
Damped Online Newton Step for Portfolio Selection
Massachusetts Institute of Technology（麻省理工学院）
我们重新审视经典的在线投资组合选择问题，在每一轮中，学习者选择一组投资组合的分布来分配其财富。众所周知，对于这个问题，例如，使用通用投资组合选择算法可以实现关于覆盖损失的对数后悔。然而，所有现有的算法，实现了对数遗憾这个问题的每轮时间和空间复杂度的规模与总轮数的多项式，使他们不切实际。在本文中，我们以Haipeng等人2018年的最新工作为基础，提出了第一个实用的在线投资组合选择算法，该算法具有对数遗憾，其每轮时间和空间复杂度仅在数学上依赖于地平线。在我们的方法背后是两个独立兴趣的关键技术创新。我们首先表明，即使在处理时变正则化器时，阻尼在线牛顿步骤也可以很好地逼近镜像下降迭代。其次，我们提出了一个新的元算法，实现了自适应对数遗憾（即对数遗憾的任何子区间）的混合损失。
2022-02-15 cs.LG math.OC
Revisiting Regret Benchmarks in Online Non-Stochastic Control
本文针对在线非随机控制中线性控制器基准可能次优的问题，提出以最佳固定输入为基准，并设计新算法实现次线性遗憾，且与原始方法对比验证。
2025-04-23 cs.SY eess.SY math.OC
Online optimization and regret guarantees for non-additive long-term constraints
University of Edinburgh（爱丁堡大学）
我们认为在线优化的1-前瞻设置，目标不分解添加在轮的在线游戏。由此产生的配方使我们能够处理非静态和/或长期的约束，这产生的，例如，在在线显示广告的问题。我们提出了一个在线的原始-对偶算法，我们获得动态累积后悔保证。它们依赖于非加性惩罚的凸性和平滑性，以及捕获非平稳和长期约束的残差在各轮中变化的平滑性的术语。我们对合成数据进行实验，以说明非加性惩罚的好处，并显示在生产中的显示广告平台收集的实时流量数据上的遗憾收敛消失。
2016-06-08 cs.LG math.OC math.ST
Regret and Cumulative Constraint Violation Analysis for Online Convex Optimization with Long Term Constraints
KTH Royal Institute of Technology（瑞典皇家理工学院）；Tongji University（同济大学）；Northeastern University（东北大学）；Nanyang Technological University（南洋理工大学）
本文研究了具有长期约束的在线凸优化问题，其中约束在中间轮次可以被违反，但在长期运行中需要被满足。采用累积约束违反作为度量约束违反的尺度，排除了严格可行约束可以补偿违反约束影响的情况。首先提出了一种新的算法，它实现了一个$\mathcal{O}(T^{\max\{c,1-c\}})$界的静态遗憾和$\mathcal{O}(T^{(1-c)/2})$界的累积约束违反，其中$c\in(0,1)$是一个用户定义的权衡参数，从而提高了性能相比，现有的结果。当损失函数为强凸函数时，静态后悔和累积约束违反界都约化为$\mathcal{O}(\log(T))$，改进了已有的结果.为了实现相对于任何比较器序列的最佳遗憾，然后提出了另一种算法，并且它实现了最佳$\mathcal{O}(\sqrt{T(1+P_T)})$遗憾和$\mathcal{O}(\sqrt{T})$累积约束违反，其中$P_T$是比较器序列的路径长度。最后，通过数值仿真验证了理论结果的有效性.
2021-06-09 cs.LG math.OC
Nonstationary Nonparametric Online Learning: Balancing Dynamic Regret and Model Parsimony
U.S. Army Research Laboratory（美国陆军研究实验室）；Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）
监督学习中的一个开放性挑战是\emph{conceptual drift}：数据点开始时根据一个标签进行分类，但随着时间的推移，该标签的概念会发生变化。除了线性自回归模型之外，迁移和Meta学习解决了漂移问题，但在训练开始时需要代表不同领域的数据。为了放宽这一要求，我们提出了一个内存有效的\emph{online}通用函数逼近压缩核方法的基础上。我们的方法取决于将非平稳学习视为具有动态比较器的在线凸优化，其性能通过动态遗憾来量化。以前的工作控制动态遗憾增长的线性模型。相反，我们假设行动属于再生核希尔伯特空间（RKHS）。我们提出了一个函数的在线梯度下降（OGD）的操作与贪婪的子空间投影的变体。投影是必要的，以克服RKHS功能的复杂性与时间成正比的事实。对于这个计划，我们建立了次线性动态后悔增长的损失变化和功能路径长度，并保持适度的功能序列的记忆。实验表明，所提出的技术在线非线性回归和非平稳数据的分类问题的实用性。
2019-09-12 cs.LG eess.SP math.OC
Logarithmic Regret for Online Gradient Descent Beyond Strong Convexity
Technion - Israel Institute of Technology（以色列理工学院）
Hoffman的经典结果给出了一个关于一个点到一个凸紧多面体的距离的界，这个界是根据违反约束的大小而定的。最近，一些结果表明，霍夫曼的界限可以用来获得强凸状率的一阶方法的\textit{offline}凸优化曲线，但不是强凸，功能，在多面体集。在这项工作中，我们使用这个经典的结果，第一次获得更快的速度为\textit{online convex optimization}在多面体集弯曲凸，虽然不是强凸，损失函数。我们表明，在几个合理的假设下的数据，标准的\textit{Online Gradient Descent}算法保证对数遗憾。据我们所知，唯一以前的算法，以实现对数遗憾在所考虑的设置是\textit{Online Newton Step}算法，它需要二次（在维度）的内存和至少二次运行时间每次迭代，这大大限制了其适用于大规模的问题。特别是，我们的研究结果适用于\textit{semi-adversarial}设置，其中数据是任意（对抗）序列和随机序列的组合，这可能为许多真实世界的序列提供合理的近似，或者在自然假设数据是低秩的情况下。我们通过实验证明，遗憾的OGD确实是可比的ONS（甚至更好）弯曲，但不是强凸损失。
2019-02-18 cs.LG math.OC
Distributed Online Bandit Nonconvex Optimization with One-Point Residual Feedback via Dynamic Regret
本文研究时变有向图上的分布式在线赌博机非凸优化问题，提出了一种单点残差反馈算法，利用两点残差估计梯度，在保持每次迭代O(1)采样复杂度的同时有效降低了动态遗憾界，其性能与两点反馈算法相当。
2024-09-24 cs.LG math.OC
Continuous-time Online Learning via Mean-Field Neural Networks: Regret Analysis in Diffusion Environments
University of Michigan（密歇根大学）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
本文研究了由未知系数生成的数据的连续时间在线学习问题，采用两层神经网络进行非前瞻性参数更新，通过均场极限建立随机Wasserstein梯度流，并在扩散环境中推导出均场极限和有限粒子系统的遗憾界。
2026-04-13 cs.AI cs.LG math.OC
The Online Saddle Point Problem and Online Convex Optimization with Knapsacks
我们研究在线鞍点问题，在线学习问题，在每次迭代的一对行动需要选择不知道当前和未来的（凹凸）支付函数。我们的目标是最大限度地减少累积收益和鞍点值的总收益函数，我们使用称为“SP遗憾”的度量测量之间的差距。这个问题推广了在线凸优化框架，但在这里我们必须确保两个玩家的累积收益接近于游戏总和的纳什均衡。我们提出了一种算法，实现SP-遗憾成正比的$\sqrt{\ln(T)T}$在一般情况下，和$\log(T)$ SP-遗憾的强凹凸的情况下。我们还考虑了支付函数是双线性的，决策集是概率单形的特殊情况。在这种情况下，我们能够设计的算法，减少SP-遗憾的界限，从一个线性依赖的维度的问题，一个\textit{logarithmic}。我们还研究了强盗反馈下的问题，并提供了一个算法，实现次线性SP-Regret。然后，我们考虑一个在线凸优化背包问题的动机是各种各样的应用程序，如：动态定价，拍卖和众包。我们将这个问题的在线鞍点问题，并建立$O(\sqrt{T})$后悔使用原始-对偶算法。
2020-04-05 cs.LG math.OC stat.ML
Online Allocation and Pricing: Constant Regret via Bellman Inequalities
School of Operations Research and Information Engineering, Cornell University（康奈尔大学运营研究与信息工程学院）
我们开发了一个框架，设计简单而有效的政策，一个家庭的在线分配和定价问题，其中包括在线包装，约束探测，动态定价，和在线上下文土匪背包。在每种情况下，我们都根据他们的遗憾（即，附加间隙），该附加间隙相对于离线控制器被赋予比在线控制器更多的信息。我们的框架基于Bellman不等式，它将算法的损失分解为两个不同的误差来源：（1）由计算易处理性问题引起的，以及（2）由随机轨迹的估计/预测引起的。平衡这些错误可以指导基准的选择，并导致既易于处理又具有强大性能保证的策略。特别是，在我们所有的例子中，我们证明了恒定遗憾的政策，只需要重新解决LP在每个时期，其次是一个简单的贪婪的行动选择规则，因此，我们的政策是实用的，以及可证明接近最优。
2020-07-30 cs.DS cs.LG math.OC
Decentralized Parameter-Free Online Learning
Center for Pervasive Communications & Computing and EECS Department, University of California, Irvine（普及通信与计算中心及电子工程与计算机科学系，加州大学伊文斯顿分校）
提出首批无参数去中心化在线学习算法，通过八卦步骤结合多智能体硬币投注，实现无需调参的次线性网络遗憾，并适用于分布式感知与协作学习。
2025-10-17 cs.LG eess.SP math.OC
