Regret in Online Combinatorial Optimization
Université Paris Est（巴黎东大学）；CNRS（法国国家科学研究中心）；ENS（巴黎高等师范学院）；INRIA（法国国家信息与自动化研究所）；Princeton University（普林斯顿大学）；ICREA（加泰罗尼亚研究与高等教育机构）；Pompeu Fabra University（庞培法布拉大学）
我们解决在线线性优化问题时，决策者的可能行动是由二进制向量。决策者的后悔是指他已经意识到的损失和他在事后采取最佳行动时所能获得的最佳损失之间的差异。我们的目标是了解最佳可能（极大极小）后悔的程度。我们研究了三种不同的假设下的反馈决策者收到的问题：充分的信息，和部分信息模型的所谓的“半土匪”和“土匪”的问题。结合镜像下降算法和INF（隐式归一化预测器）的策略，我们能够证明半强盗的情况下的最佳界限。我们还恢复了最佳的界限，充分的信息设置。在强盗的情况下，我们讨论了现有的结果，根据一个新的下限，并建议在这种情况下的最佳后悔的猜想。最后，我们还证明了标准的指数加权平均预测器是可证明的次优设置在线组合优化。
2013-03-29 cs.LG stat.ML
Minimizing Regret of Bandit Online Optimization in Unconstrained Action Spaces
TU Darmstadt（达姆施塔特工业大学）；University of British Columbia（不列颠哥伦比亚大学）
本文研究了带零阶预言反馈的在线凸优化问题。特别地，决策者不知道时变费用函数或其梯度的显式表示。在每个时间步，她观察在她选择的动作（零阶预言）处评估的对应费用函数的值。目标是最小化遗憾，也就是说，她积累的成本和静态最优行动之间的差异，她知道的序列的费用函数先验。我们提出了一个新的算法，以尽量减少无约束的行动空间中的遗憾。我们的算法取决于一个经典的思想，一个点估计的梯度的费用函数的基础上，他们的观测值。该算法与问题参数无关。令$T$表示零阶预言机的查询次数，$n$表示问题维数，得到的遗憾率为$O(n^{2/3}T^{2/3})$。此外，我们适应所提出的算法的设置与两点反馈，并证明了适应过程达到理论上的下限$(n^{1/2}T^{1/2})$的遗憾。
2020-05-02 cs.LG math.OC
Improved Regret for Efficient Online Reinforcement Learning with Linear Function Approximation
Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
我们研究了具有线性函数近似和逆向变化代价函数的强化学习，这种设置大多被认为是在完全信息反馈或探索性条件等简化假设下进行的。我们提出了一种计算效率高的策略优化算法，用于具有挑战性的未知动态和强盗反馈的一般设置，在计算探索奖金的辅助MDP中结合了镜像下降和最小二乘策略评估。我们的算法获得了$\widetilde O(K^{6/7})$遗憾界，在这种情况下明显优于现有技术的$\widetilde O (K^{14/15})$。此外，我们提出了一个版本的相同的算法的假设下，环境的模拟器可供学习者（但否则没有探索性的假设），并证明它获得了国家的最先进的遗憾$\widetilde O (K^{2/3})$。
2023-01-30 cs.LG stat.ML
Regret and Sample Complexity of Online Q-Learning via Concentration of Stochastic Approximation with Time-Inhomogeneous Markov Chains
MBZUAI, UAE（MBZUAI, 阿拉伯联合酋长国）；Stanford University, USA（斯坦福大学, 美国）；EPITA, France（EPITA, 法国）；Indian Institute of Technology Bombay, India（印度班加罗尔理工学院, 印度）
本文首次为无限时间折扣马尔可夫决策过程中的经典在线Q学习提供了后悔界，不依赖乐观或奖励项。通过分析退火Q学习并结合平滑ε_n-贪心探索方案，证明了近似O(N^{9/10})的后悔界，并获得样本复杂性保证。
2026-05-15 cs.LG stat.ML
Distributed Online Bandit Nonconvex Optimization with One-Point Residual Feedback via Dynamic Regret
本文研究时变有向图上的分布式在线赌博机非凸优化问题，提出了一种单点残差反馈算法，利用两点残差估计梯度，在保持每次迭代O(1)采样复杂度的同时有效降低了动态遗憾界，其性能与两点反馈算法相当。
2024-09-24 cs.LG math.OC
Online Regret Bounds for Undiscounted Continuous Reinforcement Learning
Montanuniversitaet Leoben（莱奥本矿业大学）；INRIA Lille-Nord Europe（法国国家信息与自动化研究所里尔-北欧中心）
在连续状态空间中，我们得到了非折扣强化学习的次线性后悔界。该算法结合了状态聚合与使用置信上界实现乐观面对不确定性。除了存在满足泊松方程的最优策略外，唯一的假设是报酬和转移概率的Holder连续性。
2013-02-11 cs.LG
Multi-Point Bandit Algorithms for Nonstationary Online Nonconvex Optimization
University of California, Davis（加州大学戴维斯分校）；Princeton University（普林斯顿大学）
Bandit算法主要是在凸环境下分析的，其性能指标是基于函数值的固定后悔。在本文中，在线强化学习问题的动机，我们提出并分析了一般和结构化的非凸问题与非平稳（或动态）遗憾的性能指标，在随机和非随机设置的强盗算法。首先，对于一般的非凸函数，我们考虑非平稳版本的一阶和二阶固定的解决方案作为一个遗憾的措施，出于类似的性能措施离线非凸优化。在二阶固定解决方案的遗憾的情况下，我们提出并分析在线和土匪版本的立方正则化牛顿的方法。强盗版本是基于估计的海森矩阵的强盗设置，基于二阶高斯斯坦的身份。我们的非平稳遗憾界的二阶固定的解决方案有有趣的后果，避免鞍点的强盗设置。其次，对于弱拟凸函数和单调弱次模函数，我们考虑用函数值表示的非平稳后悔测度;这样的非凸函数的结构类使得人们可以考虑用函数值定义的后悔测度，类似于凸函数。对于这种情况下的功能值，和一阶固定的解决方案为基础的遗憾措施，我们提供遗憾的界限，在低维和高维的设置，在某些情况下。
2019-09-11 cs.DS cs.LG math.OC
Online Allocation and Pricing: Constant Regret via Bellman Inequalities
School of Operations Research and Information Engineering, Cornell University（康奈尔大学运营研究与信息工程学院）
我们开发了一个框架，设计简单而有效的政策，一个家庭的在线分配和定价问题，其中包括在线包装，约束探测，动态定价，和在线上下文土匪背包。在每种情况下，我们都根据他们的遗憾（即，附加间隙），该附加间隙相对于离线控制器被赋予比在线控制器更多的信息。我们的框架基于Bellman不等式，它将算法的损失分解为两个不同的误差来源：（1）由计算易处理性问题引起的，以及（2）由随机轨迹的估计/预测引起的。平衡这些错误可以指导基准的选择，并导致既易于处理又具有强大性能保证的策略。特别是，在我们所有的例子中，我们证明了恒定遗憾的政策，只需要重新解决LP在每个时期，其次是一个简单的贪婪的行动选择规则，因此，我们的政策是实用的，以及可证明接近最优。
2020-07-30 cs.DS cs.LG math.OC
Optimistic Regret Bounds for Online Learning in Adversarial Markov Decision Processes
School of Electrical and Computer Engineering, Purdue University（普渡大学电气与计算机工程学院）
本文针对对抗性马尔可夫决策过程提出利用代价预测器的新变体，并设计乐观偏置代价估计器与策略搜索方法，首次以高概率获得随预测能力优雅退化的次线性乐观遗憾界。
2024-05-03 cs.AI cs.LG stat.ML
Efficient Rate Optimal Regret for Adversarial Contextual MDPs Using Online Function Approximation
Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
提出 OMG-CMDP! 算法，在在线回归预言机与可实现函数类假设下，实现对抗性上下文 MDP 的高效、鲁棒且速率最优遗憾保证。
2023-08-14 cs.LG
Simple Regret Optimization in Online Planning for Markov Decision Processes
Technion - Israel Institute of Technology（以色列理工学院）
我们考虑在马尔可夫决策过程（MDP）的在线规划。在在线计划中，智能体只关注其当前状态，从该状态开始仔细考虑可能的策略集，当被打断时，使用探索性审议的结果来选择下一步要执行的操作。在线规划算法的性能评估方面的简单的遗憾，这是代理的预期性能损失时，选择的行动，而不是一个最佳的，遵循。到目前为止，国家的最先进的在线规划算法一般MDPs要么是最好的努力，或保证随着时间的推移，简单的遗憾，只有多项式率减少。在这里，我们介绍了一个新的蒙特卡罗树搜索算法，BRUE，保证指数率减少简单的遗憾和错误概率。该算法是基于一个简单而非标准的状态空间采样方案，MCTS2e，其中每个样本的不同部分专用于不同的探索性目标。我们的实证评估表明，BRUE不仅提供了优越的性能保证，但在实践中也是非常有效的，并有利地比较国家的最先进的。“由此产生的一组算法，BRUE（alpha），概括了BRUE，提高了其减少率上限的指数因子，并表现出更有吸引力的经验性能。
2012-12-19 cs.AI cs.LG
Logarithmic Regret for Online Control
Google AI Princeton（谷歌AI普林斯顿）；Princeton University（普林斯顿大学）
在转移动力学的基础上，研究了线性动力系统在逆变强凸代价函数下的最优后悔界。这包括几个良好的研究和基本框架，如卡尔曼滤波器和线性二次调节器。现有技术的方法实现了按$O(\sqrt{T})$缩放的后悔，其中$T$是时间范围。我们发现，在这种情况下，最佳遗憾可以显着较小，缩放为$O(\text{poly}(\log T))$。通过两种不同的有效迭代法，在线梯度下降和在线自然梯度来实现该遗憾界。
2019-09-11 cs.LG math.OC stat.ML
Logarithmic Regret for Adversarial Online Control
MIT（麻省理工学院）；UC Berkeley（加州大学伯克利分校）
针对一类已知的具有对抗性干扰的系统，提出了一种在线线性二次型控制的新算法。现有的遗憾界为$\sqrt{T}$的设置规模，除非强随机假设施加在扰动过程。我们给出了第一个算法与对数遗憾任意对抗性干扰序列，提供的状态和控制成本由已知的二次函数。我们的算法和分析使用的最优离线控制律的表征减少在线控制问题（延迟）在线学习近似优势函数。与以前的技术相比，我们的方法不需要控制迭代的移动成本，导致对数遗憾。
2020-06-23 cs.LG math.OC stat.ML
Small Gradient Norm Regret for Online Convex Optimization
Stanford University（斯坦福大学）；Shanghai University of Finance and Economics（上海财经大学）
本文提出了一种新的在线凸优化遗憾度量$G^\star$，通过改进的遗憾分析和实验验证，提升了对平滑损失的收敛性能。
2026-09-22 cs.LG math.OC stat.ML
Unconstrained Online Optimization: Dynamic Regret Analysis of Strongly Convex and Smooth Problems
Texas A&M University（德克萨斯A&M大学）
动态在线学习算法的后悔界通常用函数序列（$V_T$）的变化和/或最小化序列在$T$轮之后的路径长度来表示。对于强凸光滑函数，Zhang等人建立了极小序列的平方路径长度（$C^*_{2,T}$）作为后悔的下界。他们还表明，在线梯度下降（OGD）实现了这个下限使用多个梯度查询每轮。在本文中，我们专注于无约束在线优化。我们首先表明，OGD的预处理变体实现了$O(C^*_{2,T})$，每轮一个梯度查询。然后，我们提出了在线乐观牛顿（OON）方法的情况下，一阶和二阶信息的函数序列是可预测的。OON的后悔界是通过最小化序列的四次路径长度（$C^*_{4,T}$）捕获的，它可以比$C^*_{2,T}$小得多。最后，我们表明，通过使用多梯度OGD，我们可以实现$O(\min\{C^*_{2,T},V_T\})$上界的遗憾。
2020-08-14 cs.LG math.OC stat.ML
Proximal Online Gradient is Optimum for Dynamic Regret
National University of Defense Technology（国防科技大学）；University of Michigan（密歇根大学）；Uiversity of Rochester（罗切斯特大学）
在在线学习中，动态后悔度量选择可能随时间变化的参考（最优）解，而典型（静态）后悔度量假设参考解在整个时间范围内是恒定的。动态后悔度量对于诸如在线推荐之类的应用特别有趣（因为客户的偏好总是随着时间而演变）。虽然在线梯度法已被证明是最佳的静态遗憾度量，动态遗憾的最佳算法仍然未知。在本文中，我们表明，近端的在线梯度（在线梯度的一般版本）是最佳的动态遗憾，证明下限匹配的上限，稍微提高现有的上限。
2019-09-03 cs.LG stat.ML
A Local Regret in Nonconvex Online Learning
Stevens Institute of Technology（史蒂文斯理工学院）；Amazon（亚马逊）
我们考虑一个在线学习过程来预测非凸模型的结果序列。评价在线学习算法的一个典型的度量是后悔，但是这种后悔的标准定义对于非凸模型是难以处理的，即使在离线设置中。因此，基于梯度的遗憾定义是常见的离线和在线非凸问题。最近，引入了基于局部梯度的后悔的概念。受校准和基于局部梯度的遗憾的概念的启发，我们引入了另一种遗憾的定义，我们讨论了为什么我们的定义是更可解释的预测问题。在一定的假设条件下，我们还对我们的遗憾进行了约束分析。
2018-11-28 cs.LG stat.ML
Online Optimization on Hadamard Manifolds: Curvature Independent Regret Bounds on Horospherically Convex Objectives
Department of Mechanical & Industrial Engineering, Northeastern University（机械与工业工程系，东北大学）
本文研究Hadamard流形上基于horospherical凸性的在线Riemannian优化，提出与曲率无关的遗憾界，并在SPD矩阵流形上验证了方法有效性。
2025-09-14 cs.LG math.OC stat.ML
On the Regret Minimization of Nonconvex Online Gradient Ascent for Online PCA
Technion - Israel Institute of Technology（以色列理工学院）
在本文中，我们专注于问题的在线主成分分析的后悔最小化框架。对于这个问题，所有现有的后悔最小化算法的完全对抗设置是基于一个半正定凸松弛，因此需要二次记忆和SVD计算（薄或全）的每一个迭代，这相当于至少二次运行时间每次迭代。这与相应的随机i.i.d.的问题，这是最近被广泛研究的变种，并承认非常有效的梯度上升算法，直接对自然的非凸制定的问题，因此只需要线性内存和线性运行时间每次迭代。这就提出了一个问题：非凸在线梯度上升算法是否可以在在线对抗环境中最大限度地减少遗憾？在本文中，我们采取了一个步骤来回答这个问题。我们引入了一个\textit{adversarially-perturbed spiked-covariance model}，其中每个数据点被假设为遵循一个固定的随机分布，在协方差矩阵中具有非零的谱间隙，但随后被一些对抗向量扰动。该模型是一个经过充分研究的标准随机设置的自然扩展，允许在数据中出现非平稳（对抗）模式，因此可能会更好地近似真实世界的数据流。我们表明，在一个有趣的制度的参数，当非凸的在线梯度上升算法初始化的“热启动”向量，它可证明最大限度地减少遗憾的概率很高。我们进一步讨论了计算这样一个“热启动”向量的可能性，以及使用正则化来获得快速的后悔率。我们的理论研究结果得到了合成和真实世界数据的实证实验的支持。
2019-01-31 cs.LG math.OC stat.ML
The Interplay Between Stability and Regret in Online Learning
University of Chicago（芝加哥大学）；Microsoft Research India（微软印度研究院）；University of Michigan（密歇根大学）
本文考虑了在线学习算法的稳定性及其对可学习性（有界遗憾）的影响。我们引入了一个新的数量称为{ \em forward regret}，直观地衡量一个在线学习算法是多么好，如果它被允许一步前瞻到未来。我们表明，给定的稳定性，有界向前后悔是等价的有界后悔。我们还证明了有界遗憾算法的存在性意味着有界遗憾和有界前向遗憾的稳定算法的存在性。等价结果适用于一般的，可能是非凸的问题。据我们所知，我们的分析提供了第一个一般性的稳定性和遗憾之间的连接，在网上设置，不限于特定类别的算法。我们的稳定性-后悔关系为分析任何在线学习算法所引发的后悔提供了一个简单的方法。使用我们的框架，我们分析了几个现有的在线学习算法，以及“近似”版本的算法，如RDA，解决了优化问题，在每次迭代。我们的证明比现有的分析各自的算法简单，表现出明确的稳定性和前向遗憾之间的权衡，并提供更严格的遗憾界在某些情况下。此外，使用我们的配方，我们分析了几种算法的“近似”版本，例如在每一步都需要解决一个优化问题的跟随正则化领导者（FTRL）。
2012-11-26 cs.LG stat.ML
Matrix-Free Preconditioning in Online Learning
Google Research（谷歌研究院）
我们提供了一个在线凸优化算法的遗憾，插值之间的遗憾，使用最佳的预处理矩阵和一个使用对角预处理矩阵的算法。我们的遗憾界永远不会比对角预处理得到的遗憾界更差，在某些情况下甚至超过了全矩阵预处理算法。重要的是，我们的算法运行在相同的时间和空间复杂度的在线梯度下降。一路上，我们采用新的技术，温和地精简和改善对数因素在以前的遗憾分析。最后，我们对我们的算法进行了合成数据和深度学习任务的基准测试。
2019-05-29 cs.LG math.OC stat.ML
Optimal Dynamic Regret in Proper Online Learning with Strongly Convex Losses and Beyond
UC Santa Barbara（加州大学圣塔芭芭拉分校）
研究了强凸损失下泛动态后悔最小化问题的框架。我们回答了Baby和Wang 2021中的一个公开问题，表明在适当的学习设置中，强自适应算法可以同时实现$\tilde O(d^{1/3} n^{1/3}\text{TV}[u_{1:n}]^{2/3} \vee d)$对任何比较器序列$u_1,\ldots,u_n$的近最优动态遗憾，其中$n$是时间范围，$\text{TV}[u_{1:n}]$是比较器的总变差。这些结果是通过利用Baby和Wang 2021中没有考虑的KKT条件所施加的一些新结构来促进的，这些结构也导致了对他们结果的其他改进，例如：（a）处理非光滑损失和（b）改善对遗憾的维度依赖。此外，我们还获得了接近最优的动态后悔率的特殊情况下，适当的在线学习的exp-convex损失和$L_\infty$约束的决策集。
2022-01-21 cs.LG math.OC stat.ML
The Online Saddle Point Problem and Online Convex Optimization with Knapsacks
我们研究在线鞍点问题，在线学习问题，在每次迭代的一对行动需要选择不知道当前和未来的（凹凸）支付函数。我们的目标是最大限度地减少累积收益和鞍点值的总收益函数，我们使用称为“SP遗憾”的度量测量之间的差距。这个问题推广了在线凸优化框架，但在这里我们必须确保两个玩家的累积收益接近于游戏总和的纳什均衡。我们提出了一种算法，实现SP-遗憾成正比的$\sqrt{\ln(T)T}$在一般情况下，和$\log(T)$ SP-遗憾的强凹凸的情况下。我们还考虑了支付函数是双线性的，决策集是概率单形的特殊情况。在这种情况下，我们能够设计的算法，减少SP-遗憾的界限，从一个线性依赖的维度的问题，一个\textit{logarithmic}。我们还研究了强盗反馈下的问题，并提供了一个算法，实现次线性SP-Regret。然后，我们考虑一个在线凸优化背包问题的动机是各种各样的应用程序，如：动态定价，拍卖和众包。我们将这个问题的在线鞍点问题，并建立$O(\sqrt{T})$后悔使用原始-对偶算法。
2020-04-05 cs.LG math.OC stat.ML
Online Agnostic Boosting via Regret Minimization
Princeton University（普林斯顿大学）；Google AI Princeton（谷歌人工智能普林斯顿（Google AI Princeton））
Boosting是一种广泛使用的机器学习方法，它基于聚集弱学习规则的思想。虽然在统计学习中，许多提升方法存在于可实现和不可知的设置中，但在在线学习中，它们只存在于可实现的情况下。在这项工作中，我们提供了第一个不可知的在线提升算法，也就是说，给定一个弱学习者，只有边际优于平凡的遗憾保证，我们的算法将其提升为一个强学习者与次线性遗憾。我们的算法是基于一个抽象的（和简单的）减少在线凸优化，有效地将任意在线凸优化在线助推器。此外，这种减少扩展到统计以及在线可实现的设置，从而统一了统计/在线和不可知/可实现的提升的4种情况。
2020-03-02 cs.LG stat.ML
Tracking Slowly Moving Clairvoyant: Optimal Dynamic Regret of Online Learning with True and Noisy Gradient
The University of Iowa（爱荷华大学）；Nanjing University（南京大学）；Alibaba Group（阿里巴巴集团）；IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）
本文主要研究在线凸优化的动态后悔问题，将在线学习的性能与一个预先知道损失函数序列的千里眼进行比较，从而在每一步选择损失函数的最小值。假设千里眼移动缓慢（即，最小值变化缓慢），我们提出了几个改进的基于变分的上界的动态遗憾下的真实和噪声梯度反馈，这是{ \it最优}鉴于所提出的下限.我们分析的关键是探索一个规律性的度量，衡量千里眼的最小化，我们称之为{ \it路径变化}的时间变化。首先，我们提出了一个一般的下界的路径变化，然后表明，在完全信息或梯度反馈下，我们能够实现最佳的动态后悔。其次，我们提出了一个下界与噪声梯度反馈，然后证明我们可以实现最优动态遗憾下的随机梯度反馈和两点强盗反馈。此外，对于一个序列的光滑损失函数，承认一个小的变化的梯度，我们的动态遗憾下的两点强盗反馈匹配所取得的全部信息。
2016-05-16 cs.LG math.OC stat.ML
Online estimation and control with optimal pathlength regret
Caltech（加州理工学院）
当为非平稳环境设计在线学习算法时，一个自然的目标是根据输入序列的时间变化限制算法的遗憾。直觉上，当变化很小时，算法应该更容易实现低遗憾，因为过去的观察可以预测未来的输入。这种依赖于数据的“路径长度”遗憾界最近已经获得了各种各样的在线学习问题，包括OCO和土匪。我们获得了线性动态系统在线控制和估计（如卡尔曼滤波）的第一个路径长度遗憾界。在我们的推导中的关键思想是减少路径长度最优滤波和控制的鲁棒估计和控制的某些变分问题，这些减少可能是独立的利益。数值模拟证实，我们的路径长度优化算法优于传统的$H_2$和$H_{\infty}$算法时，环境随时间变化。
2021-12-07 cs.LG math.OC
Continuous Online Learning and New Insights to Online Imitation Learning
University of California, Berkeley（加州大学伯克利分校）；Georgia Institute of Technology（佐治亚理工学院）
在线学习是分析迭代算法的有力工具。然而，经典的对抗性设置有时无法捕捉到实践中在线问题的某些规律性。出于这一动机，我们建立了一个新的设置，称为连续在线学习（COL），在线损失函数的梯度不断变化，跨轮相对于学习者的决定。我们表明，COL涵盖并更恰当地描述了许多有趣的应用，从一般均衡问题（EPs）的优化，在情节MDPs。使用这个新的设置，我们重新审视实现次线性动态后悔的困难。我们证明了在COL中实现次线性动态遗憾和解决某些EP之间存在基本等价性，并且我们提出了从动态遗憾到静态遗憾和相关EP的收敛速度的减少。最后，我们将这些新的见解专门用于在线模仿学习，并对其学习稳定性进行了改进。
2019-12-03 cs.LG math.OC stat.ML
Between Stochastic and Adversarial Online Convex Optimization: Improved Regret Bounds via Smoothness
University of Amsterdam（阿姆斯特丹大学）；Korteweg-de Vries Institute for Mathematics（科尔特韦格-德弗里斯数学研究所）；University of Twente（特文特大学）；Pontificia Universidad Católica de Chile（智利天主教大学）
随机数据和对抗数据是在线学习中被广泛研究的两种环境。但许多优化任务既不是独立同分布的。也不是完全敌对的，这使得它的根本利益，以获得更好的理论理解之间的世界这两个极端。在这项工作中，我们建立了新的遗憾界在线凸优化的设置，随机i.i.d.之间插值。和完全对抗性的损失通过利用预期损失的平滑性，这些界限用梯度的方差代替了对最大梯度长度的依赖性，这在以前只针对线性损失是已知的。另外，他们削弱了i.i.d.假设，例如，允许敌对中毒轮，这是以前考虑在专家和土匪设置。我们的结果扩展到在线凸优化框架。在完整的身份证上。在这种情况下，我们的边界匹配随机加速结果的预期速率，并且在完全对抗的情况下，它们优雅地恶化以匹配极小极大遗憾。我们还提供了下限表明，我们的遗憾上限是紧的随机方差和对抗性变化的损失梯度的所有中间制度。
2022-06-08 cs.LG math.OC stat.ML
A Regret-Variance Trade-Off in Online Learning
Università degli Studi di Milano（米兰大学）；ETH Zürich（苏黎世联邦理工学院）
我们考虑预测与专家的意见，为强凸和有界损失，并调查之间的权衡遗憾和“方差”（即，学习者预测和最佳专家预测的平方差）。对于$K$专家，已知指数加权平均（EWA）算法可以实现$O(\log K)$后悔。我们证明了EWA的一个变体要么实现了消极的遗憾（即，该算法优于最佳专家），或者保证方差和遗憾的$O(\log K)$界限。基于这一结果，我们展示了几个例子，说明如何在学习中利用预测的方差。在在线批量分析中，我们表明，一个大的经验方差允许提前停止在线批量转换，并优于类中最好的预测器的风险。当不考虑提前停止时，我们还恢复了模型选择聚集的最优速率。在在线预测与腐败的损失，我们表明，腐败的遗憾的影响可以补偿一个大的方差。在在线选择性抽样中，我们设计了一个算法，当方差较大时，抽样较少，同时保证期望中的最优后悔界。在在线学习中，我们使用一个类似的术语作为方差，以推导出该设置中的第一个高概率$O(\log K)$遗憾界。最后，我们将我们的结果扩展到在线线性回归的设置。
2022-06-06 cs.LG stat.ML
Online Bilevel Optimization: Regret Analysis of Online Alternating Gradient Methods
University of Pennsylvania（宾夕法尼亚大学）；Amirkabir University of Technology（阿米尔卡比尔理工大学）；University of Michigan（密歇根大学）
该研究提出在线双层优化问题，定义新的双层悔度概念，设计可利用平滑性的在线交替时间平均梯度方法，将单层在线算法悔度界拓展至双层场景，给出基于内外层最小化子序列路径长度的悔度界。
2024-07-08 cs.DS cs.LG math.OC
Optimal Dynamic Regret in Exp-Concave Online Learning
UC Santa Barbara（加州大学圣巴巴拉分校）
我们考虑了具有指数凹损失的在线学习中的Zinkevich（2003）式动态后悔最小化问题。我们表明，只要允许不适当的学习，强适应性在线学习者实现了动态遗憾的$\tilde O^*(n^{1/3}C_n^{2/3} \vee 1)$，其中$C_n$是总的变化（a.k.a.路径长度）的任意序列的比较器，其可能事先不为学习者所知。即使对于1D中的平方损失，达到这一速率也是非常重要的，其中最著名的上限是$O(\sqrt{nC_n} \vee \log n)$（Yuan和Lamperski，2019）。我们的新证明技术优雅地利用了KKT条件所施加的原始变量和对偶变量的复杂结构，并且可能具有独立的兴趣。最后，我们将我们的结果应用于经典的局部自适应非参数回归的统计问题（Mammen，1991; Donoho和Johnstone，1998），并获得一个更强大，更灵活的算法，不需要任何统计假设或任何超参数调整。
2021-07-03 cs.LG math.OC stat.ML
Adaptivity and Universality: Problem-dependent Universal Regret for Online Convex Optimization
National Key Laboratory for Novel Software Technology, Nanjing University, China（国家新型软件技术重点实验室，南京大学，中国）；School of Artificial Intelligence, Nanjing University, China（人工智能学院，南京大学，中国）
本文提出UniGrad方法，实现在线凸优化的通用性和问题依赖性，通过两种实现方式达到不同函数类的最优遗憾界。
2025-11-25 cs.LG math.OC stat.ML
A Unified Analysis Method for Online Optimization in Normed Vector Space
China University of Petroleum-Beijing（中国石油大学（北京））
本文从高层次统一理论的角度研究在线优化问题。本文不仅在赋范向量空间中推广了Optimistic-DA和Optimistic-MD，而且统一了它们的动态后悔分析方法。由于引入了$ϕ$ -convex，遗憾边界是最严格的。作为实例，归一化指数次梯度和贪婪/懒惰投影的遗憾界优于目前已知的最优结果。通过用单调算子代替在线博弈中的损失，并扩展后悔算子的定义，即后悔$^n$，将在线凸优化问题推广到在线单调优化问题。
2022-02-13 cs.LG math.OC
Distributed Online Non-convex Optimization with Composite Regret
Johnson Controls（江森自控）；Iowa State University（爱荷华州立大学）；New York University（纽约大学）
遗憾已被广泛采用的分布式，多智能体系统的在线优化算法的性能评估的选择度量。然而，与代理相关的数据/模型变化可能会显著影响决策，并需要代理之间的共识。此外，大多数现有的工作都集中在开发方法（无论是强或非强）凸损失，并已获得很少的结果，在分布式在线优化一般非凸损失的遗憾界。为了解决这两个问题，我们提出了一种新的复合遗憾与一个新的网络遗憾为基础的度量来评估分布式在线优化算法。我们具体定义了复合遗憾的静态和动态形式。通过利用我们的复合遗憾的动态形式，我们开发了一个基于共识的在线归一化梯度（CONGD）方法的伪凸损失，它证明了一个次线性的行为有关的规则项的路径变化的优化。对于一般的非凸损失，我们首先阐明了遗憾的设置分布式在线非凸学习的基础上，最近的进展，没有确定性算法可以实现次线性遗憾。然后，我们开发了分布式在线非凸优化与复合遗憾（DINOCO）没有访问的梯度，依赖于离线优化预言。DINOCO实现了次线性遗憾;据我们所知，这是一般分布式在线非凸学习的第一个遗憾界。
2022-09-21 cs.DC cs.LG stat.ML
Beyond $\mathcal{O}(\sqrt{T})$ Regret: Decoupling Learning and Decision-making in Online Linear Programming
Stanford University（斯坦福大学）；Antai College of Economics and Management, Shanghai Jiao Tong University（上海交通大学安泰经济与管理学院）；RIIS, Shanghai University of Finance and Economics（上海财经大学RIIS）；Management Science and Engineering, Stanford University（斯坦福大学管理科学与工程学院）
本文提出学习与决策解耦的在线线性规划框架，在 LP 对偶误差界条件下证明一阶算法可达到 $o(\sqrt{T})$ 乃至 $\mathcal{O}(\log T)$ 遗憾。
2025-01-06 cs.LG math.OC stat.ML
A Low Complexity Algorithm with $O(\sqrt{T})$ Regret and $O(1)$ Constraint Violations for Online Convex Optimization with Long Term Constraints
University of Southern California（南加州大学）
研究了复杂约束集上的在线凸优化问题，该约束集通常由多个函数约束和一个集合约束组成。传统的在线投影算法（Zinkevich，2003）可能难以实现，由于投影操作的潜在高计算复杂性。在本文中，我们放宽了功能的限制，允许他们在每一轮被违反，但仍然需要他们在长期内得到满足。这种类型的放松在线凸优化（具有长期约束）首先在Mahdavi等人（2012）中考虑。先前的工作提出了一种算法，以实现$O(\sqrt{T})$遗憾和$O(T^{3/4})$约束违反一般问题和另一种算法，以实现$O(T^{2/3})$界的遗憾和约束违反时，约束集可以被描述为有限数量的线性约束。\citet{Jenatton16ICML}中的最新扩展可以实现$O(T^{\max\{θ,1-θ\}})$遗憾和$O(T^{1-θ/2})$约束违反，其中$θ\in (0,1)$。目前的论文提出了一种新的简单的算法，产生改进的性能相比，以前的作品。新算法实现了一个$O(\sqrt{T})$遗憾界$O(1)$约束违反。
2020-05-18 cs.LG math.OC stat.ML
Online Convex Optimisation: The Optimal Switching Regret for all Segmentations Simultaneously
The Alan Turing Institute（阿兰·图灵研究所）；University College London（伦敦大学学院）
研究在线凸优化问题，提出一种高效算法，能够在所有可能的分割上同时实现渐近最优的切换后悔，并在动态后悔上获得适应比较序列变化率的新界限。
2025-03-05 cs.LG stat.ML
Adaptive Regret for Control of Time-Varying Dynamics
UC Berkeley（加州大学伯克利分校）；Google AI Princeton（谷歌人工智能普林斯顿）；Princeton University（普林斯顿大学）
本文研究具有时变线性动态系统的在线控制问题。这是一个一般的配方，是由使用局部线性化控制的非线性动力系统的动机。为了在不断变化的环境中陈述有意义的保证，我们将{ \it自适应后悔}的度量引入到控制领域。该度量最初在在线学习中研究，在{ \it any interval in time}上根据事后对最佳策略的后悔来测量性能，从而捕获控制器对变化的动态的适应。我们的主要贡献是一种新的有效的元算法：它将一个控制器与次线性遗憾界到一个与次线性{ \it自适应遗憾}界的设置时变线性动力系统。主要的技术创新是第一个自适应遗憾界的更一般的框架，在线凸优化与记忆。此外，我们给出了一个下界，表明我们获得的自适应遗憾界是接近紧的一般框架。
2022-02-12 cs.LG math.OC stat.ML
No-regret Non-convex Online Meta-Learning
University of Minnesota（明尼苏达大学）
在线元学习框架是为持续的终身学习环境而设计的。它连接了两个领域：元学习，它试图从过去的任务中提取先验知识，以便快速学习未来的任务，以及在线学习，它处理问题一个接一个地被揭示的顺序设置。本文将原有的框架从凸环境推广到非凸环境，并引入局部遗憾作为替代性能度量。然后，我们应用这个框架的随机设置，并从理论上表明，它享有对数本地遗憾，是强大的任何超参数初始化。通过对一个真实任务的实证测试，证明了该方法相对于传统方法的优越性。
2020-02-19 cs.LG stat.ML
Efficient Online Portfolio with Logarithmic Regret
University of Southern California（南加州大学）；Peking University（北京大学）；Beijing Institute of Big Data Research（北京大数据研究院）
我们研究了几十年来的在线投资组合管理的问题，并提出了第一个算法与对数遗憾，不是基于封面的通用投资组合算法，并承认更快的实现。具体地说，通用投资组合在$T$轮上对$N$金融工具享有最优后悔$\mathcal{O}(N\ln T)$，但需要对数凹采样并且具有大的多项式运行时间。我们的算法，另一方面，确保一个稍大，但仍然对数遗憾的$\mathcal{O}(N^2(\ln T)^4)$，是基于研究的在线镜像下降框架与一个新的正则化，可以通过标准的优化方法，在每轮时间$\mathcal{O}(TN^{2.5})$。遗憾的所有其他现有的作品要么是多项式在$T$或有一个潜在的无界因素，如逆的最小价格相对。
2018-11-16 cs.LG stat.ML
Curvature-Independent Regret Bounds for Distributed Online Optimization on Hadamard Manifolds
Northeastern University（东北大学）
本文提出分布式黎曼在线梯度下降（D-ROGD）算法，在Hadamard流形上针对h-凸函数实现曲率无关的遗憾界，分别达到O(√T)和O(log T)的静态遗憾，并通过实验验证。
2026-09-15 cs.LG math.OC stat.ML
Online Learning on Hidden-Convex Losses via Algorithmic Equivalence: Optimal Regret, Geometric Barrier, and Bandit Feedback
Singapore University of Technology and Design（新加坡科技设计大学）；National Technical University of Athens（雅典国家技术大学）；National and Kapodistrian University of Athens（雅典国家与卡多斯大学）；University of California, Irvine（加州大学 Irvine 分校）；Archimedes, Athena Research Center, Greece（希腊阿提卡研究中心 Archimedes）；National University of Singapore, Centre for Quantum Technologies（新加坡国立大学 量子技术中心）
本文通过更精确的离散时间算法等价性论证，证明在线梯度下降在隐凸损失上达到最优的$\mathcal{O}(\sqrt{T})$遗憾，并澄清了所需几何条件，同时扩展到单点Bandit反馈得到$\mathcal{O}(T^{3/4})$期望遗憾。
2026-05-25 cs.LG math.OC stat.ML
A Unified Framework for Analyzing Meta-algorithms in Online Convex Optimization
Mila - Quebec AI Institute/McGill University（魁北克人工智能研究所/麦吉尔大学）；Purdue University（普渡大学）
本文提出了一种统一框架，用于分析在线凸优化中不同反馈类型和对手设定下的元算法，通过转换一阶算法为零阶算法，实现了在不同场景下的优化方法统一和性能保证。
2026-02-20 cs.LG math.OC stat.ML
Online Non-Convex Learning: Following the Perturbed Leader is Optimal
Carnegie Mellon University（卡内基梅隆大学）；Microsoft Research, India（微软研究院（印度））
我们研究了非凸损失的在线学习问题，学习者可以访问离线优化预言。我们表明，经典的跟随扰动领导（FTPL）算法实现了最佳的遗憾率$O(T^{-1/2})$在这种情况下。这改善了之前最著名的FTPL的$O(T^{-1/3})$后悔率。我们进一步表明，乐观的FTPL变体实现更好的后悔界限时，学习者遇到的损失序列是“可预测的”。
2019-09-21 cs.LG math.OC stat.ML
Understand Dynamic Regret with Switching Cost for Online Decision Making
National University of Defense Technology（国防科技大学）；Xinjiang University（新疆大学）；Beijing Jiaotong University（北京交通大学）；Dongguan University of Technology（东莞理工学院）
作为衡量在线决策方法性能的一个指标，带切换成本的动态后悔问题在在线决策问题中受到了广泛的关注。虽然在以往的研究中已经提出了次线性后悔模型，但是对于动态后悔与转换成本之间的关系，我们仍然知之甚少。在本文中，我们研究了两个经典的在线设置：在线算法（OA）和在线凸优化（OCO）的关系。我们提供了一个新的理论分析框架，它显示了一个有趣的观察，即转换成本和动态后悔之间的关系是不同的设置的OA和OCO。具体而言，转换成本对OA设置中的动态后悔有显著影响。但是，在OCO情境下，它对动态后悔没有影响。此外，我们还给出了OCO的后悔下限，该下限与无切换成本时的后悔下限相同。结果表明，在OCO环境下，切换成本并没有改变在线决策问题的难度。
2019-11-28 cs.GT cs.LG stat.ML
Adversarial Online Learning with Changing Action Sets: Efficient Algorithms with Approximate Regret Bounds
University of Southern California（南加州大学）
我们重新讨论了在线学习与睡眠专家/土匪的问题：在每个时间步中，只有一个子集的行动可供算法选择（和学习）。Kleinberg等人（2010年）的工作表明，存在不后悔算法，其性能不会比渐进的最佳行为排名更差。不幸的是，实现这种遗憾界限似乎在计算上很难：Kanade和Steinke（2014）表明，实现这种无遗憾表现至少与PAC学习DNF一样困难，这是一个众所周知的难题。在目前的工作中，我们放松了原来的问题，研究计算效率的无近似遗憾算法：这种算法可能会超过最佳成本的乘法常数除了添加剂遗憾。我们给出了一个算法，提供了一个无近似遗憾保证一般的睡眠专家/土匪问题。对于几个典型的特殊情况下的问题，我们给出了算法有显着更好的近似比，这些算法还说明了不同的技术实现无近似遗憾的保证。
2021-04-26 cs.LG stat.ML
Dynamic Regret for Strongly Adaptive Methods and Optimality of Online KRR
University of California, Santa Barbara（加州大学圣巴巴拉分校）；Amazon Research（亚马逊研究院）
我们考虑非平稳在线凸优化的框架，学习者试图控制其动态后悔对任意序列的比较。当损失函数是强凸或指数凹，我们证明，强自适应（SA）算法可以被看作是一个原则性的方式来控制动态遗憾的路径变化$V_T$的比较器序列。具体来说，我们发现SA算法享受$\tilde O(\sqrt{TV_T} \vee \log T)$和$\tilde O(\sqrt{dTV_T} \vee d\log T)$动态遗憾强凸和指数凹损失分别没有先验知识的$V_T$。的多功能性的原则性的方法进一步证明了新的结果，在设置学习对有界线性预测和在线回归高斯内核。在相关的设置下，论文的第二部分解决了Zhdanov和Kalnishkan（2010）提出的一个悬而未决的问题，该问题涉及具有平方误差损失的在线内核回归。我们得到了一个新的下界，一定的惩罚遗憾，建立了近极大极小最优的在线核岭回归（KRR）。我们的下界可以被看作是对Vovk（2001）中有限维在线线性回归下界的RKHS扩展。
2021-11-22 cs.LG stat.ML
Minimizing Dynamic Regret and Adaptive Regret Simultaneously
Nanjing University（南京大学）；The University of Iowa（爱荷华大学）
在传统的在线学习研究中，后悔最小化被视为黄金法则。然而，遗憾最小化算法往往收敛到静态最优，因此是次优的变化的环境。为了解决这个问题，新的性能指标，包括动态后悔和自适应后悔已被提出来指导在线算法的设计。前者的目标是最小化关于一系列变化的比较器的全局遗憾，后者试图最小化关于一个固定的比较器的每个局部遗憾。现有的动态后悔和自适应后悔算法都是独立开发的，并且只针对一个性能指标。在本文中，我们提出了新的在线算法，能够最大限度地减少动态遗憾和自适应遗憾，同时弥合这一差距。事实上，我们的理论保证甚至更强，因为一个算法能够在任何时间间隔内最小化动态遗憾。
2020-02-06 cs.LG stat.ML
Achieving Better Local Regret Bound for Online Non-Convex Bilevel Optimization
East China Normal University（华东师范大学）
本文提出优化在线非凸双层优化的局部遗憾界，设计了自适应迭代算法和单循环算法，分别在标准和窗口平均设置中取得最优遗憾界。
2026-05-09 cs.LG math.OC
Dynamical Models and Tracking Regret in Online Convex Programming
Duke University（杜克大学）
本文介绍了一种新的在线凸优化方法，它结合了一个家庭的候选动力学模型，并建立了新的跟踪遗憾界的规模与比较器的偏差，在这个家庭中的最佳动力学模型。先前的在线优化方法被设计为具有与最佳比较器序列的总累积损失相当的总累积损失，并且现有的跟踪或移位遗憾界限随着比较器序列的总体变化而缩放。然而，在许多实际情况下，环境是非平稳的，并且具有小变化的比较器序列是相当弱的，从而导致大的损失。相比之下，所提出的动态镜像下降方法可以通过跟踪最佳动态模型并基于该模型形成预测来产生相对于高度可变的比较器序列的低遗憾。这一概念在动态场景的连续压缩观察和跟踪动态社交网络的背景下实证。
2013-01-07 cs.LG stat.ML
Pushing the Efficiency-Regret Pareto Frontier for Online Learning of Portfolios and Quantum States
Google Research（谷歌研究院）
我们重新审视经典的在线投资组合选择问题。人们普遍认为，计算复杂性和遗憾之间的权衡是不可避免的，与封面的通用Portfolio算法，B-BAYES和ADA-BARRONS目前构成其最先进的帕累托前沿。在本文中，我们提出了第一个有效的算法，BISONS，获得多对数遗憾的内存和每一步的运行时间的要求是多项式的维度，取代ADA-BARRONS从帕累托前沿。此外，我们解决了COLT 2020公开问题，通过显示具有对数屏障正则化的某个Follow-The-Regularized-Leader算法对维度的依赖性比以前所描述的要大得多。因此，我们排除了这个算法作为帕累托边界的候选者。我们还将我们的算法和分析扩展到比在线投资组合选择更一般的问题，即具有对数损失的量子态的在线学习。这种算法，称为薛定谔的BISONS，是第一个有效的算法与多对数遗憾这个更一般的问题。
2022-02-06 cs.LG stat.ML
Trading-Off Static and Dynamic Regret in Online Least-Squares and Beyond
University of Minnesota（明尼苏达大学）
递归最小二乘算法通常使用遗忘因子作为启发式算法来适应非平稳数据流。本文的第一个贡献是严格刻画了遗忘因子对一类在线牛顿算法的影响。对于指数凹和强凸目标，算法实现了$\max\{O(\log T),O(\sqrt{TV})\}$的动态后悔，其中$V$是比较序列路径长度的一个界.特别是，我们展示了如何经典的递归最小二乘遗忘因子实现这个动态的遗憾界。通过改变$V$，我们得到了静态和动态后悔之间的权衡。为了获得更高的计算效率的算法，我们的第二个贡献是一个新的梯度下降步长规则的强凸函数。我们的梯度下降规则恢复了上述顺序最优动态后悔界限。对于光滑问题，我们还可以得到$O(T^{1-β})$的静态遗憾和$O(T^βV^*)$的动态遗憾，其中$β\in (0,1)$和$V^*$是极小元序列的路径长度.通过改变$β$，我们得到了静态和动态后悔之间的权衡。
2019-11-21 cs.LG stat.ML
Online optimization and regret guarantees for non-additive long-term constraints
University of Edinburgh（爱丁堡大学）
我们认为在线优化的1-前瞻设置，目标不分解添加在轮的在线游戏。由此产生的配方使我们能够处理非静态和/或长期的约束，这产生的，例如，在在线显示广告的问题。我们提出了一个在线的原始-对偶算法，我们获得动态累积后悔保证。它们依赖于非加性惩罚的凸性和平滑性，以及捕获非平稳和长期约束的残差在各轮中变化的平滑性的术语。我们对合成数据进行实验，以说明非加性惩罚的好处，并显示在生产中的显示广告平台收集的实时流量数据上的遗憾收敛消失。
2016-06-08 cs.LG math.OC math.ST
Regret Bound by Variation for Online Convex Optimization
Michigan State University（密歇根州立大学）；NEC Laboratories America（NEC美国实验室）
在citep{Hazan-2008-extract}中，作者证明了在线线性优化的遗憾可以由成本向量的总变差限制。在本文中，我们将这个结果推广到一般的在线凸优化。首先分析了\citep{Hazan-2008-extract}中的算法在应用于在线凸优化时的局限性。然后，我们提出了两个算法的在线凸优化的遗憾是有界的变化的成本函数。最后，我们考虑了强盗设置，并提出了一个随机算法在线强盗凸优化与基于变分的遗憾界。我们证明，当成本函数的变化与试验次数无关时，在线强盗凸优化的遗憾界是最优的。
2012-06-14 cs.LG
