Adversarial Tracking Control via Strongly Adaptive Online Learning with Memory
Boston University（波士顿大学）
我们考虑的问题，跟踪一个敌对状态序列的线性动力系统的敌对干扰和损失函数，推广早期的设置在文献中。为此，我们开发了三种技术，每一个独立的利益。首先，我们提出了一个比较器自适应算法的移动成本的在线线性优化。如果不进行调整，事后看来，它几乎与最佳调整的梯度下降的性能相匹配。接下来，考虑到一个相关的问题，称为在线学习与记忆，我们构建了一个新的强自适应算法，使用我们的第一个贡献作为积木。最后，我们提出了第一个减少从对抗跟踪控制强自适应在线学习与记忆。总结这些单独的技术，我们得到了一个对抗跟踪控制器具有很强的性能保证，即使参考轨迹有很大的运动范围。
2022-02-22 cs.LG cs.SY eess.SY
Discounted Adaptive Online Learning: Towards Better Regularization
Harvard University（哈佛大学）
该研究针对对抗性非平稳环境在线学习的历史遗忘难题，提出基于FTRL的自适应折扣遗憾算法，改进恒定学习率梯度下降基线，还将其用于在线共形预测，简化分析并得到实例依赖性能保证。
2024-06-18 cs.LG stat.ML
POLA: Online Time Series Prediction by Adaptive Learning Rates
Institute for Infocomm Research（资讯通信研究院）
流时间序列数据的在线预测对于许多实际应用具有实际用途，其中下游决策取决于对未来的准确预测。动态环境中的部署要求模型快速适应不断变化的数据分布，而不会过度拟合。我们提出了POLA（通过学习率适应在线预测）来自动调节递归神经网络模型的学习率，以适应随时间变化的时间序列模式。POLA通过吸收用于在线预测的先决或先测试后训练评估方案来元学习随机梯度下降（SGD）算法的学习率。我们在三个常用的递归神经网络模型的两个真实数据集上评估POLA。POLA表现出与其他在线预测方法相比具有可比或更好的预测性能。
2021-02-17 cs.LG stat.ML
Online to Offline Conversions, Universality and Adaptive Minibatch Sizes
ETH Zürich（苏黎世联邦理工学院）
我们提出了一种凸优化的方法，依赖于一个新的计划，在线自适应算法转换为离线方法。在离线优化设置中，我们推导出的方法，以获得有利的自适应保证，这取决于查询梯度的谐波和。我们进一步表明，我们的方法隐式地适应目标的结构：在光滑的情况下，快速收敛速度，确保没有任何先验知识的平滑参数，同时仍然保持在非光滑设置的保证。我们的方法具有对随机设置的自然扩展，从而导致SGD（随机GD）的懒惰版本，其中根据梯度的大小选择\emph{adaptively} minibathes。从而提供了一个原则性的方法来选择小批量的大小。
2017-05-31 cs.LG math.OC stat.ML
Adaptive Bound Optimization for Online Convex Optimization
Google, Inc.（谷歌公司）
我们引入了一个新的在线凸优化算法，自适应地选择其正则化函数的基础上观察到的损失函数。这与使用固定正则化函数（如L2平方）并仅通过单个时间相关参数对其进行修改的先前算法形成对比。我们的算法的遗憾界是最坏情况下的最优，并为某些现实类的损失函数，他们比现有的界限。这些边界是依赖于问题的，这意味着它们可以利用实际问题实例的结构。然而，至关重要的是，我们的算法不需要提前知道这个结构。相反，我们证明竞争的保证，表明算法提供了一个最好的约束（一定的功能形式）在事后的一个恒定的因素内的界限。
2010-07-07 cs.LG
Adaptive Feature Selection: Computationally Efficient Online Sparse Linear Regression under RIP
Google Research（谷歌研究院）；Amazon（亚马逊）；University of Chicago（芝加哥大学）；Yahoo Research（雅虎研究院）
在线稀疏线性回归是一个在线问题，其中算法重复选择一个坐标子集以在反向选择的特征向量中进行观察，进行实值预测，接收真实标签，并产生平方损失。目标是设计一个在线学习算法，具有次线性遗憾的最佳稀疏线性预测后见之明。在没有任何假设的情况下，这个问题在计算上是难以处理的。在本文中，我们假设数据矩阵满足限制等距性质，并表明，这一假设导致计算效率的算法与次线性遗憾的两个变种的问题。在第一种变体中，根据具有加性高斯噪声的稀疏线性模型生成真实标签。在第二种情况下，真正的标签被对立地选择。
2017-06-14 cs.LG
Online Adaptive Methods, Universality and Acceleration
ETH Zurich（苏黎世联邦理工学院）；EPFL（洛桑联邦理工学院）
我们提出了一种新的方法，凸无约束优化，没有任何修改，确保：（i）加速收敛速度光滑的目标，（ii）在一般（非光滑）设置的标准收敛速度，和（iii）在随机优化设置的标准收敛速度。据我们所知，这是第一个同时适用于所有上述设置的方法。我们方法的核心是自适应学习率规则，其采用重要性权重，本着自适应在线学习算法的精神（Duchi et al.，2011; Levy，2017），结合线性耦合两个序列的更新，本着（Allen-Zhu和Orecchia，2017）的精神。我们的方法的实证检验证明了它的适用性，上述情况下，并证实了我们的理论研究结果。
2018-09-08 cs.LG math.OC stat.ML
A Survey of Algorithms and Analysis for Adaptive Online Learning
Google, Inc.（谷歌公司）
我们提出的工具，用于分析以下的正则化领导者（FTRL），双平均，镜像下降算法时，正则化（相当于，学习函数或学习率调度）的数据的基础上自适应地选择。自适应性可以用来证明在每一轮上保持的遗憾界限，并且还允许像AdaGrad风格的算法中那样的数据依赖的遗憾界限（例如，具有自适应每坐标学习率的在线梯度下降）。我们目前的结果，从大量的以前的作品在一个统一的方式，使用模块化和严密的分析，隔离的关键参数，易于重用的引理。这种方法增强了前已知的FTRL分析技术，以产生与潜在函数或原始对偶分析所实现的边界一样紧的边界。此外，我们证明了一个任意的自适应镜像下降算法和相应的FTRL更新，这使我们能够分析任何镜像下降算法在同一框架之间的一般和精确的等价性。弥合双重平均和镜像下降算法之间差距的关键在于对FTRL-Proximal算法家族的分析。我们的遗憾界证明在最一般的形式，持有任意规范和非光滑正则化与时变权重。
2015-11-09 cs.LG
DADAM: A Consensus-based Distributed Adaptive Gradient Method for Online Optimization
Amirkabir University of Technology（阿米尔卡比尔理工大学）；University of Florida（佛罗里达大学）
诸如\textsc{Adagrad}、\textsc{Rmsprop}和\textsc{Adam}的基于自适应梯度的优化方法被广泛用于解决包括深度学习的大规模机器学习问题。在文献中已经提出了许多方案，旨在并行化它们，基于外围节点与中心节点的通信，但产生高的通信成本。为了解决这个问题，我们开发了一种新的共识为基础的分布式自适应矩估计方法（\textsc{Dadam}）在线优化的分散网络，使数据并行化，以及分散计算。该方法特别有用，因为它可以适应允许访问本地数据的设置。此外，在这项工作中建立的理论，它可以优于集中式自适应算法，为某些类别的损失函数中使用的应用程序。我们分析了所提出的算法的收敛特性，并提供了一个动态的遗憾界的收敛速度的自适应矩估计方法在随机和确定性设置。实验结果表明，\textsc{Dadam}工程也很好地在实践中，并媲美竞争在线优化方法。
2019-05-28 cs.LG math.OC stat.ML
Adaptive scale-invariant online algorithms for learning linear models
Poznan University of Technology（波兹南理工大学）；Google Inc.（谷歌公司）；UC Santa Cruz（加州大学圣克鲁兹分校）
我们考虑使用线性模型的在线学习，其中算法对顺序显示的实例（特征向量）进行预测，并在事后与最佳线性函数（比较器）进行比较。该框架中的流行算法，如在线梯度下降（OGD），具有参数（学习率），理想情况下，应该根据特征的尺度和最佳比较器进行调整，但这些量只有在学习过程结束时才可用。在本文中，我们解决了调整问题，提出在线算法的预测是不变的任意重新缩放的功能。该算法没有参数调整，不需要任何先验知识的规模的实例或比较器，并实现遗憾边界匹配（对数因子），OGD与优化调整单独的学习率每维，同时保持可比的运行时性能。
2019-02-20 cs.LG stat.ML
Dynamic Regret for Strongly Adaptive Methods and Optimality of Online KRR
University of California, Santa Barbara（加州大学圣巴巴拉分校）；Amazon Research（亚马逊研究院）
我们考虑非平稳在线凸优化的框架，学习者试图控制其动态后悔对任意序列的比较。当损失函数是强凸或指数凹，我们证明，强自适应（SA）算法可以被看作是一个原则性的方式来控制动态遗憾的路径变化$V_T$的比较器序列。具体来说，我们发现SA算法享受$\tilde O(\sqrt{TV_T} \vee \log T)$和$\tilde O(\sqrt{dTV_T} \vee d\log T)$动态遗憾强凸和指数凹损失分别没有先验知识的$V_T$。的多功能性的原则性的方法进一步证明了新的结果，在设置学习对有界线性预测和在线回归高斯内核。在相关的设置下，论文的第二部分解决了Zhdanov和Kalnishkan（2010）提出的一个悬而未决的问题，该问题涉及具有平方误差损失的在线内核回归。我们得到了一个新的下界，一定的惩罚遗憾，建立了近极大极小最优的在线核岭回归（KRR）。我们的下界可以被看作是对Vovk（2001）中有限维在线线性回归下界的RKHS扩展。
2021-11-22 cs.LG stat.ML
Adaptive Composite Online Optimization: Predictions in Static and Dynamic Environments
TU Delft（代尔夫特理工大学）
在线凸优化（OCO）由于其灵活的实时性和强大的性能保证，在过去的几年中受到了控制文献的关注。在本文中，我们提出了新的步长规则和OCO算法，同时利用梯度预测，功能预测和动态，特别是有关控制应用的功能。所提出的算法享有静态和动态的遗憾界的动态参考动作序列，梯度预测误差和功能预测误差，这是从文献中已知的规律性措施的概括。我们目前的结果凸和强凸成本。我们验证了所提出的算法在轨迹跟踪案例研究中的性能，以及使用真实世界的数据集进行投资组合优化。
2023-01-14 cs.LG math.OC
FOAL: Fast Online Adaptive Learning for Cardiac Motion Estimation
United Imaging Intelligence（联影智能）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Oregon（俄勒冈大学）
心脏MRI视频的运动估计对于评价人体心脏解剖和功能具有重要意义。最近的研究表明，基于深度学习的方法取得了可喜的成果。然而，在临床部署中，由于训练和测试数据集之间的分布不匹配，它们的性能会急剧下降，这在临床环境中很常见。另一方面，可以说不可能收集所有代表性数据集并在部署之前训练通用跟踪器。在这种情况下，我们提出了一种新的快速在线自适应学习（FOAL）框架：一个在线的基于梯度下降的优化器，优化的元学习器。元学习器使在线优化器能够执行快速且强大的自适应。我们通过在两个公共临床数据集上进行广泛的实验来评估我们的方法。结果表明，FOAL在准确性方面优于离线训练的跟踪方法。平均而言，FOAL只需要$0.4$秒就可以完成每个视频的在线优化。
2020-08-14 cs.AI cs.CV cs.LG
Rate-Optimal Online Convex Optimization in Adaptive Linear Control
Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
研究了在状态和代价函数均为全反馈且凸代价函数反向变化的情况下，未知线性动力系统的控制问题。我们提出了第一个计算效率高的算法，达到最佳的$\smash{\sqrt{T}}$ -后悔率相比，最好的稳定线性控制器在事后，同时避免严格的假设，如强凸性的成本。我们的方法是基于一个精心设计的非凸置信下限的在线成本，并使用一种新的技术，利用其特定的非凸结构的计算效率的遗憾最小化这些界限。
2022-06-03 cs.LG math.OC stat.ML
Adaptive Online Learning in Dynamic Environments
National Key Laboratory for Novel Software Technology（新型软件技术国家重点实验室）；Nanjing University（南京大学）
本文研究了动态环境中的在线凸优化问题，目标是约束关于任意比较器序列的动态后悔。现有的工作表明，在线梯度下降享有$O(\sqrt{T}(1+P_T))$动态遗憾，其中$T$是迭代次数和$P_T$是比较器序列的路径长度。然而，这一结果是不令人满意的，因为存在一个很大的差距，从$Ω(\sqrt{T(1+P_T)})$下限建立在我们的文件。为了解决这个问题，我们开发了一种新的在线方法，即动态环境自适应学习（Ader），它实现了最佳的$O(\sqrt{T(1+P_T)})$动态遗憾。其基本思想是维护一组专家，每个专家都能针对特定的路径长度获得最优的动态后悔，并将它们与专家跟踪算法相结合。在此基础上，提出了一种基于代理损失的Ader算法，将每轮的梯度计算次数从$O(\log T)$减少到$1$ .最后，我们将Ader扩展到一系列动态模型可用于描述比较器的设置。
2018-10-25 cs.LG stat.ML
Adaptive Variational Particle Filtering in Non-stationary Environments
Cylance Inc.（Cylance公司）
在线凸优化是一种顺序预测框架，其目标是通过评估适当的凸损失函数来跟踪和适应环境。我们从这样一个框架的角度来研究有效的粒子滤波方法。我们制定了一个有效的粒子滤波方法的非平稳环境中的连接与在线镜像下降算法，这是已知的是一个通用的在线凸优化算法。作为这种连接的结果，我们提出的粒子滤波算法证明，达到最佳的粒子效率。
2018-07-19 cs.LG stat.ML
Adaptive Algorithms for Online Convex Optimization with Long-term Constraints
Amazon（亚马逊）
我们提出了一个自适应在线梯度下降算法来解决在线凸优化问题的长期约束，这是限制，需要满足时，积累了有限数量的轮T，但可以违反在中间轮。对于用户自定义的权衡参数$β$ $\in$（0，1），该算法分别实现了损失和约束违反的累积遗憾界为O（T^max{ $β$，1-$β$ }）和O（T^（1- $β$ /2））。我们的结果保持凸损失，可以处理任意凸约束，而不需要事先知道轮数。我们的贡献改进了Mahdavi等人（2012）最著名的累积遗憾界，对于一般凸域分别为O（T^1/2）和O（T^3/4），当进一步限制到多面体域时分别为O（T^2/3）和O（T^2/3）。我们补充的分析与实验验证我们的算法在实践中的性能。
2015-12-23 cs.LG math.OC stat.ML
New Projection-free Algorithms for Online Convex Optimization with Adaptive Regret Guarantees
Technion - Israel Institute of Technology（以色列理工学院）
我们提出了新的有效的\textit{projection-free}算法在线凸优化（OCO），其中的投影免费，我们指的算法，避免计算正交投影到可行集，而不是依赖于不同的和潜在的更有效的预言。虽然大多数国家的最先进的无投影算法的基础上的\textit{follow-the-leader}框架，我们的算法是根本不同的，是基于\textit{online gradient descent}算法与一种新的和有效的方法来计算所谓的\textit{infeasible projections}。因此，我们获得了自然产生\textit{adaptive regret}保证的第一个无投影算法，即，遗憾的界限，持有w.r.t.序列的任何子区间。具体地说，当假设一个线性优化预言（LOO）的可行集的可用性，在一个序列的长度$T$，我们的算法保证$O(T^{3/4})$自适应遗憾和$O(T^{3/4})$自适应预期遗憾，分别为全信息和强盗设置，只使用$O(T)$调用LOO。这些界限与基于LOO的无投影OCO的当前最先进的遗憾界限匹配，该遗憾界限是\textit{not adaptive}。我们还考虑了一个新的自然环境中的可行集是通过分离预言机访问。我们提出的算法，使用整体$O(T)$调用的分离预言，保证$O(\sqrt{T})$自适应遗憾和$O(T^{3/4})$自适应预期遗憾的全部信息和强盗设置，分别。
2023-03-19 cs.LG math.OC
Adaptive Online Learning for Gradient-Based Optimizers
Sharif University of Technology（谢里夫理工大学）；Amirkabir University of Technology（阿米尔卡比尔理工大学）
随着对在线凸优化的应用需求的加速，设计同时覆盖一大类凸函数并施加尽可能低的遗憾的新方法的需求正在急剧上升。已知的在线优化方法通常仅在特定设置中表现良好，并且它们的性能高度依赖于决策空间和成本函数的几何形状。然而，在实践中，缺乏这样的几何信息导致在使用适当的算法的混乱。为了解决这个问题，已经提出了一些自适应的方法，专注于自适应学习参数，如步长，Lipschitz常数，和强凸系数，或特定的参数家庭，如二次正则化。在这项工作中，我们概括了这些方法，并提出了一个框架，在一个家庭的专家算法的最佳算法竞争。我们的框架包括许多著名的自适应方法，包括MetaGrad，MetaGrad+C和Ader。我们还介绍了第二个算法，计算优于我们的第一个算法，最多一个常数的因素增加遗憾。最后，作为我们所提出的算法的一个代表性的应用，我们研究了从一个家庭的正则化在线镜像下降学习的最佳正则化的问题。从经验上讲，我们支持我们的理论研究结果在学习问题的最佳正则化的单纯形和$l_2$球在多类学习问题。
2019-06-01 cs.AI cs.LG math.OC
Adaptive Matrix Online Learning through Smoothing with Guarantees for Nonsmooth Nonconvex Optimization
Google Research（谷歌研究）
本文提出两种高效方法，通过平滑技术实现自适应矩阵在线学习，解决了传统方法中二次投影的高成本问题，并在非光滑非凸优化中提供收敛保证。
2026-02-09 cs.LG math.OC stat.ML
Adaptive Decision-Making with Constraints and Dependent Losses: Performance Guarantees and Applications to Online and Nonlinear Identification
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
研究适应性决策中带约束和依赖损失的优化问题，提出实例依赖的高效算法，利用损失结构和预算约束改进遗憾界限，并在在线与非线性系统辨识任务中验证性能。
2023-04-06 cs.LG cs.SY eess.SY
ZigZag: A new approach to adaptive online learning
Cornell University（康奈尔大学）；University of Pennsylvania（宾夕法尼亚大学）
我们开发了一个新的家庭的算法的在线学习设置与遗憾对任何数据序列的经验Rademacher的复杂性，该序列的界限。为了发展一个关于何时可以实现这种类型的自适应遗憾界的一般理论，我们建立了与Banach空间中鞅的解耦不等式理论的联系。当假设类是一组在某个范数下有界的线性函数时，这样的后悔界是可达到的当且仅当范数满足一定的鞅解耦不等式。唐纳德·伯克霍尔德（Donald Burkholder）对解耦不等式的著名几何刻画（1984年）指出，这样的不等式成立当且仅当存在一个特殊的函数，称为伯克霍尔德函数，满足某些限制的非线性性质。我们的在线学习算法在查询这个函数方面是有效的。我们实现我们的一般理论，给出新的有效算法类，包括LP规范，Schatten p-规范，群规范，再生核希尔伯特空间。经验Rademacher复杂性遗憾界限意味着-当用于i.i.d.设置-在线到批处理转换后的过度风险的数据依赖复杂性。为了展示经验Rademacher复杂性遗憾界的力量，我们得到了改进的率与低秩专家任务和在线矩阵预测任务的在线学习的监督学习推广。除了获得严格的数据相关的遗憾界限，我们的算法享有提高效率比以前的技术的基础上Rademacher复杂性，自动工作在无限的地平线设置，是无标度的。为了获得这样的自适应方法，我们引入了新的机械，所得到的算法不是基于在线凸优化的标准工具。
2017-04-13 cs.LG math.OC stat.ML
Minimax-optimal and Locally-adaptive Online Nonparametric Regression
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；Université Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；INRIA（法国国家信息与自动化研究所）；Grenoble INP（格勒诺布尔理工学院）；Vienna University（维也纳大学）
本文针对对抗性在线非参数回归提出一种无参数算法，通过修剪链式树动态适应局部 Hölder 平滑性，首次实现计算高效且局部自适应的极小极大最优速率。
2025-04-11 cs.LG math.ST stat.ML
GTAdam: Gradient Tracking with Adaptive Momentum for Distributed Online Optimization
University of Bologna（博洛尼亚大学）
本文提出GTAdam分布式在线优化算法，结合梯度跟踪与一阶和二阶动量估计，在强凸条件下证明动态遗憾上界并保证静态线性收敛，多智能体实验验证其优于现有方法。
2023-09-12 cs.DC cs.LG math.OC
Optimal Regularized Online Allocation by Adaptive Re-Solving
HKUST（香港科技大学）
针对非凹奖励、硬约束和不可分离正则化的在线资源分配问题，提出自适应更新约束的对偶重求解框架，以近似解获得最优对数遗憾并消除 log-log 因子。
2023-07-16 cs.IT cs.LG math.IT
Adaptive and optimal online linear regression on $\ell^1$-balls
École Normale Supérieure（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；IBM Research（IBM研究院）
我们考虑单个序列的在线线性回归问题。本文的目标是预测器输出连续的预测，在$T$时间轮之后，几乎与$\\R^d$中给定的$\ell^1$ -球中的最佳线性预测器输出的预测一样好。我们考虑两种情况下的维度~ $d$是小的和大的相对于时间范围$T$。首先，我们提出了遗憾界与$d$，$T$，和大小$U$，$X$和$Y$的$\ell^1$ -球，输入数据和观察的最佳依赖。极小极大后悔模型在$d = \sqrt{T} U X / (2 Y)$点附近表现出一个状态转换。此外，我们提出了有效的算法，是自适应的，\ie，不需要知识的$U$，$X$，$Y$，和$T$，但仍然达到接近最佳的遗憾界限。
2019-01-16 cs.LG math.ST stat.ML
