On the Regret Minimization of Nonconvex Online Gradient Ascent for Online PCA
Technion - Israel Institute of Technology(以色列理工学院)
在本文中,我们专注于问题的在线主成分分析的后悔最小化框架。对于这个问题,所有现有的后悔最小化算法的完全对抗设置是基于一个半正定凸松弛,因此需要二次记忆和SVD计算(薄或全)的每一个迭代,这相当于至少二次运行时间每次迭代。这与相应的随机i.i.d.的问题,这是最近被广泛研究的变种,并承认非常有效的梯度上升算法,直接对自然的非凸制定的问题,因此只需要线性内存和线性运行时间每次迭代。这就提出了一个问题:非凸在线梯度上升算法是否可以在在线对抗环境中最大限度地减少遗憾?在本文中,我们采取了一个步骤来回答这个问题。我们引入了一个\textit{adversarially-perturbed spiked-covariance model},其中每个数据点被假设为遵循一个固定的随机分布,在协方差矩阵中具有非零的谱间隙,但随后被一些对抗向量扰动。该模型是一个经过充分研究的标准随机设置的自然扩展,允许在数据中出现非平稳(对抗)模式,因此可能会更好地近似真实世界的数据流。我们表明,在一个有趣的制度的参数,当非凸的在线梯度上升算法初始化的“热启动”向量,它可证明最大限度地减少遗憾的概率很高。我们进一步讨论了计算这样一个“热启动”向量的可能性,以及使用正则化来获得快速的后悔率。我们的理论研究结果得到了合成和真实世界数据的实证实验的支持。
2019-01-31 cs.LG math.OC stat.ML
Online Agnostic Boosting via Regret Minimization
Princeton University(普林斯顿大学);Google AI Princeton(谷歌人工智能普林斯顿(Google AI Princeton))
Boosting是一种广泛使用的机器学习方法,它基于聚集弱学习规则的思想。虽然在统计学习中,许多提升方法存在于可实现和不可知的设置中,但在在线学习中,它们只存在于可实现的情况下。在这项工作中,我们提供了第一个不可知的在线提升算法,也就是说,给定一个弱学习者,只有边际优于平凡的遗憾保证,我们的算法将其提升为一个强学习者与次线性遗憾。我们的算法是基于一个抽象的(和简单的)减少在线凸优化,有效地将任意在线凸优化在线助推器。此外,这种减少扩展到统计以及在线可实现的设置,从而统一了统计/在线和不可知/可实现的提升的4种情况。
2020-03-02 cs.LG stat.ML
Distributed Online Bandit Nonconvex Optimization with One-Point Residual Feedback via Dynamic Regret
本文研究时变有向图上的分布式在线赌博机非凸优化问题,提出了一种单点残差反馈算法,利用两点残差估计梯度,在保持每次迭代O(1)采样复杂度的同时有效降低了动态遗憾界,其性能与两点反馈算法相当。
2024-09-24 cs.LG math.OC
Dynamic Regret of Online Markov Decision Processes
Nanjing University(南京大学)
我们研究在线马尔可夫决策过程(MDP)的不利变化的损失函数和已知的过渡。我们选择动态后悔作为绩效指标,定义为学习者与任何可行的改变策略序列之间的绩效差异。该措施是严格强于标准的静态后悔基准学习者的表现与一个固定的比较政策。我们认为在线MDP的三个基本模型,包括情节无环随机最短路径(SSP),情节SSP,和无限地平线MDP。对于这三个模型,我们提出了新的在线集成算法,并建立他们的动态后悔保证,其中的结果情节(无环)SSP是可证明的minimax最优的时间范围和一定的非平稳性措施。此外,当学习者遇到的在线环境是可预测的,我们设计了改进的算法,并实现了更好的动态遗憾界的情节(无循环)SSP,而且,我们证明了不可能的结果为无限地平线MDPs。
2022-08-26 cs.LG stat.ML
A Regret-Variance Trade-Off in Online Learning
Università degli Studi di Milano(米兰大学);ETH Zürich(苏黎世联邦理工学院)
我们考虑预测与专家的意见,为强凸和有界损失,并调查之间的权衡遗憾和“方差”(即,学习者预测和最佳专家预测的平方差)。对于$K$专家,已知指数加权平均(EWA)算法可以实现$O(\log K)$后悔。我们证明了EWA的一个变体要么实现了消极的遗憾(即,该算法优于最佳专家),或者保证方差和遗憾的$O(\log K)$界限。基于这一结果,我们展示了几个例子,说明如何在学习中利用预测的方差。在在线批量分析中,我们表明,一个大的经验方差允许提前停止在线批量转换,并优于类中最好的预测器的风险。当不考虑提前停止时,我们还恢复了模型选择聚集的最优速率。在在线预测与腐败的损失,我们表明,腐败的遗憾的影响可以补偿一个大的方差。在在线选择性抽样中,我们设计了一个算法,当方差较大时,抽样较少,同时保证期望中的最优后悔界。在在线学习中,我们使用一个类似的术语作为方差,以推导出该设置中的第一个高概率$O(\log K)$遗憾界。最后,我们将我们的结果扩展到在线线性回归的设置。
2022-06-06 cs.LG stat.ML
Online Convex Optimisation: The Optimal Switching Regret for all Segmentations Simultaneously
The Alan Turing Institute(阿兰·图灵研究所);University College London(伦敦大学学院)
研究在线凸优化问题,提出一种高效算法,能够在所有可能的分割上同时实现渐近最优的切换后悔,并在动态后悔上获得适应比较序列变化率的新界限。
2025-03-05 cs.LG stat.ML
No-regret Non-convex Online Meta-Learning
University of Minnesota(明尼苏达大学)
在线元学习框架是为持续的终身学习环境而设计的。它连接了两个领域:元学习,它试图从过去的任务中提取先验知识,以便快速学习未来的任务,以及在线学习,它处理问题一个接一个地被揭示的顺序设置。本文将原有的框架从凸环境推广到非凸环境,并引入局部遗憾作为替代性能度量。然后,我们应用这个框架的随机设置,并从理论上表明,它享有对数本地遗憾,是强大的任何超参数初始化。通过对一个真实任务的实证测试,证明了该方法相对于传统方法的优越性。
2020-02-19 cs.LG stat.ML
Efficient Online Portfolio with Logarithmic Regret
University of Southern California(南加州大学);Peking University(北京大学);Beijing Institute of Big Data Research(北京大数据研究院)
我们研究了几十年来的在线投资组合管理的问题,并提出了第一个算法与对数遗憾,不是基于封面的通用投资组合算法,并承认更快的实现。具体地说,通用投资组合在$T$轮上对$N$金融工具享有最优后悔$\mathcal{O}(N\ln T)$,但需要对数凹采样并且具有大的多项式运行时间。我们的算法,另一方面,确保一个稍大,但仍然对数遗憾的$\mathcal{O}(N^2(\ln T)^4)$,是基于研究的在线镜像下降框架与一个新的正则化,可以通过标准的优化方法,在每轮时间$\mathcal{O}(TN^{2.5})$。遗憾的所有其他现有的作品要么是多项式在$T$或有一个潜在的无界因素,如逆的最小价格相对。
2018-11-16 cs.LG stat.ML
Adversarial Online Learning with Changing Action Sets: Efficient Algorithms with Approximate Regret Bounds
University of Southern California(南加州大学)
我们重新讨论了在线学习与睡眠专家/土匪的问题:在每个时间步中,只有一个子集的行动可供算法选择(和学习)。Kleinberg等人(2010年)的工作表明,存在不后悔算法,其性能不会比渐进的最佳行为排名更差。不幸的是,实现这种遗憾界限似乎在计算上很难:Kanade和Steinke(2014)表明,实现这种无遗憾表现至少与PAC学习DNF一样困难,这是一个众所周知的难题。在目前的工作中,我们放松了原来的问题,研究计算效率的无近似遗憾算法:这种算法可能会超过最佳成本的乘法常数除了添加剂遗憾。我们给出了一个算法,提供了一个无近似遗憾保证一般的睡眠专家/土匪问题。对于几个典型的特殊情况下的问题,我们给出了算法有显着更好的近似比,这些算法还说明了不同的技术实现无近似遗憾的保证。
2021-04-26 cs.LG stat.ML
Efficient Online Bandit Multiclass Learning with $\tilde{O}(\sqrt{T})$ Regret
Yahoo Research(雅虎研究院);Stony Brook University(石溪大学);University of California, San Diego(加利福尼亚大学圣迭戈分校)
我们提出了一个有效的二阶算法与$\tilde{O}(\frac{1}η\sqrt{T})$遗憾的强盗在线多类问题。遗憾界同时举行关于一个家庭的损失函数参数化的$η$,为一个范围内的$η$的规范的竞争对手。损失函数族的范围从铰链损失($η=0$)到平方铰链损失($η=1$)。这为(J. Abernethy和A.拉赫林在线多类预测中$\sqrt{T}$ -regret问题的一种有效的bandit算法?In COLT,2009).我们测试我们的算法实验,表明它也表现出良好的对早期的算法。
2018-01-17 cs.LG stat.ML
Dynamic Regret for Strongly Adaptive Methods and Optimality of Online KRR
University of California, Santa Barbara(加州大学圣巴巴拉分校);Amazon Research(亚马逊研究院)
我们考虑非平稳在线凸优化的框架,学习者试图控制其动态后悔对任意序列的比较。当损失函数是强凸或指数凹,我们证明,强自适应(SA)算法可以被看作是一个原则性的方式来控制动态遗憾的路径变化$V_T$的比较器序列。具体来说,我们发现SA算法享受$\tilde O(\sqrt{TV_T} \vee \log T)$和$\tilde O(\sqrt{dTV_T} \vee d\log T)$动态遗憾强凸和指数凹损失分别没有先验知识的$V_T$。的多功能性的原则性的方法进一步证明了新的结果,在设置学习对有界线性预测和在线回归高斯内核。在相关的设置下,论文的第二部分解决了Zhdanov和Kalnishkan(2010)提出的一个悬而未决的问题,该问题涉及具有平方误差损失的在线内核回归。我们得到了一个新的下界,一定的惩罚遗憾,建立了近极大极小最优的在线核岭回归(KRR)。我们的下界可以被看作是对Vovk(2001)中有限维在线线性回归下界的RKHS扩展。
2021-11-22 cs.LG stat.ML
Minimizing Dynamic Regret and Adaptive Regret Simultaneously
Nanjing University(南京大学);The University of Iowa(爱荷华大学)
在传统的在线学习研究中,后悔最小化被视为黄金法则。然而,遗憾最小化算法往往收敛到静态最优,因此是次优的变化的环境。为了解决这个问题,新的性能指标,包括动态后悔和自适应后悔已被提出来指导在线算法的设计。前者的目标是最小化关于一系列变化的比较器的全局遗憾,后者试图最小化关于一个固定的比较器的每个局部遗憾。现有的动态后悔和自适应后悔算法都是独立开发的,并且只针对一个性能指标。在本文中,我们提出了新的在线算法,能够最大限度地减少动态遗憾和自适应遗憾,同时弥合这一差距。事实上,我们的理论保证甚至更强,因为一个算法能够在任何时间间隔内最小化动态遗憾。
2020-02-06 cs.LG stat.ML
Dynamical Models and Tracking Regret in Online Convex Programming
Duke University(杜克大学)
本文介绍了一种新的在线凸优化方法,它结合了一个家庭的候选动力学模型,并建立了新的跟踪遗憾界的规模与比较器的偏差,在这个家庭中的最佳动力学模型。先前的在线优化方法被设计为具有与最佳比较器序列的总累积损失相当的总累积损失,并且现有的跟踪或移位遗憾界限随着比较器序列的总体变化而缩放。然而,在许多实际情况下,环境是非平稳的,并且具有小变化的比较器序列是相当弱的,从而导致大的损失。相比之下,所提出的动态镜像下降方法可以通过跟踪最佳动态模型并基于该模型形成预测来产生相对于高度可变的比较器序列的低遗憾。这一概念在动态场景的连续压缩观察和跟踪动态社交网络的背景下实证。
2013-01-07 cs.LG stat.ML
Pushing the Efficiency-Regret Pareto Frontier for Online Learning of Portfolios and Quantum States
Google Research(谷歌研究院)
我们重新审视经典的在线投资组合选择问题。人们普遍认为,计算复杂性和遗憾之间的权衡是不可避免的,与封面的通用Portfolio算法,B-BAYES和ADA-BARRONS目前构成其最先进的帕累托前沿。在本文中,我们提出了第一个有效的算法,BISONS,获得多对数遗憾的内存和每一步的运行时间的要求是多项式的维度,取代ADA-BARRONS从帕累托前沿。此外,我们解决了COLT 2020公开问题,通过显示具有对数屏障正则化的某个Follow-The-Regularized-Leader算法对维度的依赖性比以前所描述的要大得多。因此,我们排除了这个算法作为帕累托边界的候选者。我们还将我们的算法和分析扩展到比在线投资组合选择更一般的问题,即具有对数损失的量子态的在线学习。这种算法,称为薛定谔的BISONS,是第一个有效的算法与多对数遗憾这个更一般的问题。
2022-02-06 cs.LG stat.ML
Trading-Off Static and Dynamic Regret in Online Least-Squares and Beyond
University of Minnesota(明尼苏达大学)
递归最小二乘算法通常使用遗忘因子作为启发式算法来适应非平稳数据流。本文的第一个贡献是严格刻画了遗忘因子对一类在线牛顿算法的影响。对于指数凹和强凸目标,算法实现了$\max\{O(\log T),O(\sqrt{TV})\}$的动态后悔,其中$V$是比较序列路径长度的一个界.特别是,我们展示了如何经典的递归最小二乘遗忘因子实现这个动态的遗憾界。通过改变$V$,我们得到了静态和动态后悔之间的权衡。为了获得更高的计算效率的算法,我们的第二个贡献是一个新的梯度下降步长规则的强凸函数。我们的梯度下降规则恢复了上述顺序最优动态后悔界限。对于光滑问题,我们还可以得到$O(T^{1-β})$的静态遗憾和$O(T^βV^*)$的动态遗憾,其中$β\in (0,1)$和$V^*$是极小元序列的路径长度.通过改变$β$,我们得到了静态和动态后悔之间的权衡。
2019-11-21 cs.LG stat.ML
Online Learning with Gradient-Variation Interval Regret
State Key Laboratory for Novel Software Technology and the School of Artificial Intelligence, Nanjing University(新型软件技术国家重点实验室和人工智能学院,南京大学);Institute of Operations Research and Analytics, National University of Singapore(运筹与分析研究所,新加坡国立大学)
本文提出首个基于梯度变化量实现区间遗憾界的在线学习算法,采用两层在线集成结构,自适应多种问题相关量并达到极小化最优率,同时引入Lipschitz和平滑性无关的变体。
2026-06-02 cs.LG stat.ML
General framework for online-to-nonconvex conversion: Schedule-free SGD is also effective for nonconvex optimization
Microsoft Research(微软研究院);MIT(麻省理工学院);Boston University(波士顿大学)
本文提出了在线到非凸转换的通用框架,证明了 Schedule-free SGD 在非光滑非凸优化中具有最优迭代复杂度,并为其参数选择提供了理论见解。
2024-11-11 cs.LG math.OC stat.ML
Online ICA: Understanding Global Dynamics of Nonconvex Optimization via Diffusion Processes
Princeton University(普林斯顿大学)
解决统计学习问题通常涉及非凸优化。尽管非凸统计优化方法在经验上取得了成功,但它们的全局动态,特别是收敛到期望的局部极小值,在理论上仍然不太清楚。在本文中,我们提出了一个新的分析范式的基础上扩散过程的非凸统计优化的全局动力学特征。作为一个具体的例子,我们研究了随机梯度下降(SGD)的张量分解公式的独立成分分析。特别地,我们将SGD的不同相铸造成扩散过程,即,随机微分方程的解从一个不稳定的平衡初始化,SGD的全球动态过渡到三个连续的阶段:(i)一个不稳定的Ornstein-Uhlenbeck过程慢慢地离开初始化,(ii)一个常微分方程的解决方案,它迅速朝着理想的局部最小值,(iii)一个稳定的Ornstein-Uhlenbeck过程振荡周围的理想的局部最小值。我们的证明技术是基于Stroock和Varadhan的弱收敛的马尔可夫链扩散过程,这是独立的利益。
2018-08-29 cs.LG stat.ML
Online Policy Gradient for Model Free Learning of Linear Quadratic Regulators with $\sqrt{T}$ Regret
School of Computer Science, Tel Aviv University(特拉维夫大学计算机科学学院);Google Research(谷歌研究院)
我们考虑的任务是学习控制一个线性动态系统下固定的二次成本,被称为线性二次调节器(LQR)的问题。虽然无模型方法在实践中通常是有利的,但到目前为止,只有依赖于昂贵的系统辨识的基于模型的方法已被证明可以实现与时间范围T的最佳依赖性成比例的遗憾。我们提出了第一个无模型算法,实现了类似的遗憾保证。我们的方法依赖于一个有效的策略梯度计划,和一个新的和更严格的分析,在政策空间的探索在这种情况下。
2021-02-25 cs.LG stat.ML
Online Learning in Unknown Markov Games
Massachusetts Institute of Technology(麻省理工学院);Princeton University(普林斯顿大学)
我们研究了未知马尔可夫博弈中的在线学习,这是一个在对手的行为不可观察的情景多智能体强化学习中出现的问题。我们表明,在这种具有挑战性的设置,实现次线性后悔对最佳对策事后诸葛亮是统计上很难。然后,我们考虑一个较弱的概念的遗憾与\emph{minimax value}的游戏,并提出了一个算法,实现了次线性$\tilde{\mathcal{O}}(K^{2/3})$遗憾后,$K$事件。这是未知马尔可夫博弈中在线学习的第一个次线性后悔界(据我们所知)。重要的是,我们的后悔界限与对手行动空间的大小无关。因此,即使对手的行为是完全可观察的,我们的遗憾界限也会改善现有的分析(例如,(Xie例如,2020年))的对手数量的指数因子。
2021-02-06 cs.LG stat.ML
Online Adaptive Principal Component Analysis and Its extensions
University of Minnesota(明尼苏达大学)
我们提出了在线主成分分析(PCA)和方差最小化自适应设置的算法。以往的研究主要集中在静态对抗性后悔的上界上,其比较对象是事后最优固定行为。然而,当潜在环境发生变化时,静态后悔并不是一个合适的指标。相反,我们采用自适应遗憾度量从以前的文献中,并提出在线自适应算法PCA和方差最小化,具有次线性自适应遗憾的保证。我们从理论上和实验上证明,所提出的算法可以适应不断变化的环境。
2019-05-13 cs.LG stat.ML
A Reduction from Reinforcement Learning to No-Regret Online Learning
Georgia Tech(佐治亚理工学院);Microsoft Research Montreal(蒙特利尔微软研究院)
我们提出了一个减少从强化学习(RL)到无遗憾在线学习的基础上的鞍点公式化的RL,“任何”在线算法与次线性遗憾可以产生的政策,可证明的性能保证。这种新的视角将强化学习问题分解为两个部分:后悔最小化和函数逼近。第一部分允许标准的在线学习分析,第二部分可以独立于学习算法进行量化。因此,所提出的约简可以作为一种工具,系统地设计新的RL算法。我们证明了这一点,设计一个简单的RL算法的基础上镜像下降和生成模型的预言。对于任何概率至少为$1-δ$的$γ$ -折扣表格RL问题,它使用最多$\tilde{O}\left(\frac{|\mathcal{S}||\mathcal{A}|\log(\frac{1}δ)}{(1-γ)^4ε^2}\right)$样本学习$ε$ -最优策略。此外,该算法允许直接扩展到线性参数化函数逼近器的大规模应用,与计算和样本的复杂性独立的$|\mathcal{S}|$,$|\mathcal{A}|$,但在潜在的近似偏差的成本。
2020-01-01 cs.LG stat.ML
Dynamic Local Regret for Non-convex Online Forecasting
Stevens Institute of Technology(史蒂文斯理工学院);Amazon(亚马逊)
我们考虑非凸机器学习模型的在线预测问题。预测引入了若干挑战,例如(i)频繁更新对于处理概念漂移问题是必要的,因为环境的动态随时间变化,以及(ii)现有技术的模型是非凸模型。我们用一个新的后悔框架来应对这些挑战。标准的后悔度量通常不考虑动态环境和非凸模型。我们引入了一个局部遗憾的非凸模型在动态环境中。我们提出了一个更新规则招致的成本,根据我们提出的本地遗憾,这是次线性的时间T。我们的更新使用时间平滑梯度。使用真实世界的数据集,我们表明,与最先进的竞争对手相比,我们的时间平滑方法产生了几个好处:结果对新数据更稳定;训练对超参数选择更鲁棒;我们的方法比其他方法计算效率更高。
2019-10-25 cs.LG stat.ML
No-regret Algorithms for Fair Resource Allocation
Tata Institute of Fundamental Research(塔塔基础研究所);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
我们考虑一个公平的资源分配问题,在无遗憾设置对一个不受限制的对手。我们的目标是在几个代理之间公平地分配资源,在一个在线的方式,使不同的聚合$α$ -公平效用的代理之间的最佳静态千里眼分配和在线政策的增长次线性随时间的推移。由于$α$公平性函数的非加性性质,该问题是具有挑战性的。以前,它表明,没有在线政策可以存在这个问题的次线性标准遗憾。在本文中,我们提出了一个有效的在线资源分配政策,称为在线比例公平(OPF),实现$c_α$ -近似次线性遗憾的近似因子$c_α=(1-α)^{-(1-α)}\leq 1.445,$为$0\leq α< 1$。对这个问题的$c_α$ -遗憾的上限表现出令人惊讶的相变现象。遗憾界从幂律变化到临界指数$α=\frac{1}{2}.$处的常数作为推论,我们的结果也解决了Even-Dar等人提出的一个开放问题。[2009]关于在某些参数范围内为在线作业调度问题设计一个有效的无遗憾策略。我们的结果的证明引入了新的算法和分析技术,包括贪婪估计的未来梯度的非加性的全球奖励功能和自举自适应遗憾界,这可能是独立的利益。
2023-03-11 cs.LG stat.ML
Distributed Online Non-convex Optimization with Composite Regret
Johnson Controls(江森自控);Iowa State University(爱荷华州立大学);New York University(纽约大学)
遗憾已被广泛采用的分布式,多智能体系统的在线优化算法的性能评估的选择度量。然而,与代理相关的数据/模型变化可能会显著影响决策,并需要代理之间的共识。此外,大多数现有的工作都集中在开发方法(无论是强或非强)凸损失,并已获得很少的结果,在分布式在线优化一般非凸损失的遗憾界。为了解决这两个问题,我们提出了一种新的复合遗憾与一个新的网络遗憾为基础的度量来评估分布式在线优化算法。我们具体定义了复合遗憾的静态和动态形式。通过利用我们的复合遗憾的动态形式,我们开发了一个基于共识的在线归一化梯度(CONGD)方法的伪凸损失,它证明了一个次线性的行为有关的规则项的路径变化的优化。对于一般的非凸损失,我们首先阐明了遗憾的设置分布式在线非凸学习的基础上,最近的进展,没有确定性算法可以实现次线性遗憾。然后,我们开发了分布式在线非凸优化与复合遗憾(DINOCO)没有访问的梯度,依赖于离线优化预言。DINOCO实现了次线性遗憾;据我们所知,这是一般分布式在线非凸学习的第一个遗憾界。
2022-09-21 cs.DC cs.LG stat.ML
Logarithmic Regret for Online Control
Google AI Princeton(谷歌AI普林斯顿);Princeton University(普林斯顿大学)
在转移动力学的基础上,研究了线性动力系统在逆变强凸代价函数下的最优后悔界。这包括几个良好的研究和基本框架,如卡尔曼滤波器和线性二次调节器。现有技术的方法实现了按$O(\sqrt{T})$缩放的后悔,其中$T$是时间范围。我们发现,在这种情况下,最佳遗憾可以显着较小,缩放为$O(\text{poly}(\log T))$。通过两种不同的有效迭代法,在线梯度下降和在线自然梯度来实现该遗憾界。
2019-09-11 cs.LG math.OC stat.ML
Dynamic Regret Analysis for Online Meta-Learning
Amirkabir University of Technology(阿米卡比尔理工大学)
在线元学习框架已经成为持续终身学习的有力工具。智能体的目标是在面对一个接一个的任务时,利用先前的经验快速学习新的任务。该公式包括两个层次:外部层次学习元学习者和内部层次学习特定任务模型,只有少量的数据来自当前任务。虽然现有的方法提供了静态的遗憾分析的在线元学习框架,我们建立的动态遗憾,处理不断变化的环境,从全球的角度来看,性能。我们还构建了一个通用版本的自适应梯度方法,涵盖了ADAM和ADAGRAD,以在外层学习元学习者。我们进行了我们的分析,在随机设置,并在期望证明了一个对数的局部动态遗憾,这取决于明确的迭代次数T和参数的学习。此外,我们还指出了所提出的算法的收敛速度与适当的参数选择的高概率界,这是以前没有讨论过的。
2021-09-29 cs.LG stat.ML
An Optimistic Acceleration of AMSGrad for Nonconvex Optimization
Cognitive Computing Lab(认知计算实验室);Baidu Research(百度研究院)
我们提出了AMSGrad的一个新变体,AMSGrad是一种流行的基于自适应梯度的优化算法,广泛用于训练深度神经网络。我们的算法添加了有关连续小批量梯度序列的先验知识,并利用其底层结构使梯度序列可预测。通过利用乐观在线学习的可预测性和思想,该算法可以加快收敛速度,提高样本效率。在建立了一个更严格的上限在一些凸性条件下的遗憾,我们提供了一个免费的看法,我们的算法,概括了离线和随机版本的非凸优化。在非凸的情况下,我们建立了一个独立于初始化的非渐近收敛界。我们通过数值实验说明了几种深度学习模型的实际加速。
2020-11-03 cs.LG stat.ML
Regret in Online Combinatorial Optimization
Université Paris Est(巴黎东大学);CNRS(法国国家科学研究中心);ENS(巴黎高等师范学院);INRIA(法国国家信息与自动化研究所);Princeton University(普林斯顿大学);ICREA(加泰罗尼亚研究与高等教育机构);Pompeu Fabra University(庞培法布拉大学)
我们解决在线线性优化问题时,决策者的可能行动是由二进制向量。决策者的后悔是指他已经意识到的损失和他在事后采取最佳行动时所能获得的最佳损失之间的差异。我们的目标是了解最佳可能(极大极小)后悔的程度。我们研究了三种不同的假设下的反馈决策者收到的问题:充分的信息,和部分信息模型的所谓的“半土匪”和“土匪”的问题。结合镜像下降算法和INF(隐式归一化预测器)的策略,我们能够证明半强盗的情况下的最佳界限。我们还恢复了最佳的界限,充分的信息设置。在强盗的情况下,我们讨论了现有的结果,根据一个新的下限,并建议在这种情况下的最佳后悔的猜想。最后,我们还证明了标准的指数加权平均预测器是可证明的次优设置在线组合优化。
2013-03-29 cs.LG stat.ML
Temporal Variability in Implicit Online Learning
Università di Milano(米兰大学);Boston University(波士顿大学)
在在线学习的背景下,隐式算法从实用的角度来看是非常成功的。然而,最严格的遗憾分析只显示了在线镜像下降的边际改善。在这项工作中,我们揭示了这种行为进行了仔细的遗憾分析。我们证明了一个新的静态遗憾界,依赖于时间的变化序列的损失函数,一个数量,这是经常遇到的考虑动态竞争对手。例如,我们表明,如果时间变异性是恒定的,并且学习率被适当地调整,而不需要平滑损失,则后悔可以是恒定的。此外,我们提出了一个自适应算法,实现了这个遗憾界的时间变化性的先验知识,并证明了一个匹配的下限。最后,我们在分类和回归数据集上验证了我们的理论发现。
2020-11-06 cs.LG stat.ML
Logarithmic Regret for Adversarial Online Control
MIT(麻省理工学院);UC Berkeley(加州大学伯克利分校)
针对一类已知的具有对抗性干扰的系统,提出了一种在线线性二次型控制的新算法。现有的遗憾界为$\sqrt{T}$的设置规模,除非强随机假设施加在扰动过程。我们给出了第一个算法与对数遗憾任意对抗性干扰序列,提供的状态和控制成本由已知的二次函数。我们的算法和分析使用的最优离线控制律的表征减少在线控制问题(延迟)在线学习近似优势函数。与以前的技术相比,我们的方法不需要控制迭代的移动成本,导致对数遗憾。
2020-06-23 cs.LG math.OC stat.ML
Online Learning with Continuous Variations: Dynamic Regret and Reductions
Georgia Tech(佐治亚理工学院);UC Berkeley(加州大学伯克利分校)
在线学习是分析迭代算法的有力工具。然而,经典的对抗性设置有时无法捕捉到实践中在线问题的某些规律性。出于这一动机,我们建立了一个新的设置,称为连续在线学习(COL),在线损失函数的梯度不断变化,跨轮相对于学习者的决定。我们表明,COL涵盖并更恰当地描述了许多有趣的应用,从一般均衡问题(EPs)的优化,在情节MDPs。特别是,我们发现单调EP承认减少实现次线性静态遗憾COL。使用这个新的设置,我们重新审视的困难,次线性动态遗憾。我们证明了一个基本的等价实现次线性动态遗憾COL和解决某些EP。有了这个洞察力,我们提供的条件,实现次线性动态遗憾的有效算法,即使是在没有任何先验变化预算的情况下,自适应地选择损失。此外,我们表明COL减少从动态遗憾到静态遗憾和收敛在相关的EP,使我们能够分析许多现有的算法的动态遗憾。
2022-04-04 cs.LG math.OC stat.ML
Adaptive Matrix Online Learning through Smoothing with Guarantees for Nonsmooth Nonconvex Optimization
Google Research(谷歌研究)
本文提出两种高效方法,通过平滑技术实现自适应矩阵在线学习,解决了传统方法中二次投影的高成本问题,并在非光滑非凸优化中提供收敛保证。
2026-02-09 cs.LG math.OC stat.ML
Understand Dynamic Regret with Switching Cost for Online Decision Making
National University of Defense Technology(国防科技大学);Xinjiang University(新疆大学);Beijing Jiaotong University(北京交通大学);Dongguan University of Technology(东莞理工学院)
作为衡量在线决策方法性能的一个指标,带切换成本的动态后悔问题在在线决策问题中受到了广泛的关注。虽然在以往的研究中已经提出了次线性后悔模型,但是对于动态后悔与转换成本之间的关系,我们仍然知之甚少。在本文中,我们研究了两个经典的在线设置:在线算法(OA)和在线凸优化(OCO)的关系。我们提供了一个新的理论分析框架,它显示了一个有趣的观察,即转换成本和动态后悔之间的关系是不同的设置的OA和OCO。具体而言,转换成本对OA设置中的动态后悔有显著影响。但是,在OCO情境下,它对动态后悔没有影响。此外,我们还给出了OCO的后悔下限,该下限与无切换成本时的后悔下限相同。结果表明,在OCO环境下,切换成本并没有改变在线决策问题的难度。
2019-11-28 cs.GT cs.LG stat.ML
Beyond Worst-Case Online Classification: VC-Based Regret Bounds for Relaxed Benchmarks
Yale University(耶鲁大学);MIT(麻省理工学院);UC Berkeley(加州大学伯克利分校)
该研究针对在线二分类,提出与捕捉平滑最优性的松弛基准竞争的方法,算法后悔界仅依赖VC维与实例空间复杂度,对广义间隔γ呈O(log(1/γ))依赖并补充匹配下界,连接对抗鲁棒性与平滑在线学习思想。
2025-04-14 cs.LG stat.ML
Online-to-PAC Conversions: Generalization Bounds via Regret Analysis
ICREA(加泰罗尼亚研究与高级研究所);Universitat Pompeu Fabra(庞培法布拉大学);Barcelona School of Economics(巴塞罗那经济学院)
提出基于在线学习的“generalization game”框架,通过有界 regret 推导统计学习算法的泛化界,并恢复多种 PAC-Bayesian 和信息论保证。
2024-10-17 cs.LG stat.ML
On the Minimax Regret in Online Ranking with Top-k Feedback
University of Pennsylvania(宾夕法尼亚大学);University of Michigan(密歇根大学)
该研究针对带top-k反馈的在线排序问题,解决了已有工作的开放问题,完整刻画了多类排序指标下的极小极大遗憾率,并提出了可实现Precision@n最优遗憾率的高效算法。
2024-04-12 cs.LG stat.ML
Gradient-Variation Regret Bounds for Unconstrained Online Learning
Universita degli Studi di Milano & Politecnico di Milano(米兰大学与米兰理工大学)
本文提出无约束在线学习的参数无关算法,其后悔界与梯度变化$V_T(u)$相关,无需预先知道比较器范数、Lipschitz常数或光滑度。
2026-07-28 cs.LG stat.ML
Improved Regret for Efficient Online Reinforcement Learning with Linear Function Approximation
Tel Aviv University(特拉维夫大学);Google Research(谷歌研究院)
我们研究了具有线性函数近似和逆向变化代价函数的强化学习,这种设置大多被认为是在完全信息反馈或探索性条件等简化假设下进行的。我们提出了一种计算效率高的策略优化算法,用于具有挑战性的未知动态和强盗反馈的一般设置,在计算探索奖金的辅助MDP中结合了镜像下降和最小二乘策略评估。我们的算法获得了$\widetilde O(K^{6/7})$遗憾界,在这种情况下明显优于现有技术的$\widetilde O (K^{14/15})$。此外,我们提出了一个版本的相同的算法的假设下,环境的模拟器可供学习者(但否则没有探索性的假设),并证明它获得了国家的最先进的遗憾$\widetilde O (K^{2/3})$。
2023-01-30 cs.LG stat.ML
Regret and Sample Complexity of Online Q-Learning via Concentration of Stochastic Approximation with Time-Inhomogeneous Markov Chains
MBZUAI, UAE(MBZUAI, 阿拉伯联合酋长国);Stanford University, USA(斯坦福大学, 美国);EPITA, France(EPITA, 法国);Indian Institute of Technology Bombay, India(印度班加罗尔理工学院, 印度)
本文首次为无限时间折扣马尔可夫决策过程中的经典在线Q学习提供了后悔界,不依赖乐观或奖励项。通过分析退火Q学习并结合平滑ε_n-贪心探索方案,证明了近似O(N^{9/10})的后悔界,并获得样本复杂性保证。
2026-05-15 cs.LG stat.ML
Discounted Online Convex Optimization: Uniform Regret Across a Continuous Interval
National Key Laboratory for Novel Software Technology, Nanjing University, China(新型软件技术国家实验室,南京大学,中国);School of Artificial Intelligence, Nanjing University, China(人工智能学院,南京大学,中国)
本文提出平滑在线梯度下降(SOGD)算法,通过维护多个OGD实例并利用DNP预测器聚合,实现对未知折扣因子的自适应,在连续区间上同时达到统一折扣遗憾界。
2025-05-26 cs.LG stat.ML
Distributed Online Learning for Joint Regret with Communication Constraints
Università degli Studi di Milano(米兰大学);University of Amsterdam(阿姆斯特丹大学)
我们考虑分布式在线学习的联合遗憾与通信约束。在此设置中,有多个连接在图中的代理。每一轮,对手首先激活其中一个代理发布预测并提供相应的梯度,然后允许代理向图中的邻居发送$b$位消息。所有的代理合作,以控制联合遗憾,这是激活代理的损失减去损失的最佳固定的共同比较参数$u$评估的总和。我们观察到,这是次优代理等待梯度,需要太长的时间才能到达。相反,应该将图划分为相互通信的本地集群。我们的主要结果是一种新的方法,可以适应对抗激活和梯度的最佳图分区,其中图分区是从一组候选分区中选择的。一个关键的构建模块是一个新的算法,用于在线凸优化与延迟梯度信息,是比较器自适应,这意味着其联合遗憾尺度与比较器$||u||$的范数。我们进一步提供了接近最优的梯度压缩方案,这取决于$b$的比率和图的直径的维数。
2021-10-25 cs.LG stat.ML
Regret Bound by Variation for Online Convex Optimization
Michigan State University(密歇根州立大学);NEC Laboratories America(NEC美国实验室)
在citep{Hazan-2008-extract}中,作者证明了在线线性优化的遗憾可以由成本向量的总变差限制。在本文中,我们将这个结果推广到一般的在线凸优化。首先分析了\citep{Hazan-2008-extract}中的算法在应用于在线凸优化时的局限性。然后,我们提出了两个算法的在线凸优化的遗憾是有界的变化的成本函数。最后,我们考虑了强盗设置,并提出了一个随机算法在线强盗凸优化与基于变分的遗憾界。我们证明,当成本函数的变化与试验次数无关时,在线强盗凸优化的遗憾界是最优的。
2012-06-14 cs.LG
Competitive ratio versus regret minimization: achieving the best of both worlds
The Hebrew University of Jerusalem(耶路撒冷希伯来大学);Google Research(谷歌研究院);Tel Aviv University(特拉维夫大学)
我们认为在线算法的竞争比标准和遗憾最小化之一。我们的主要目标是建立一个统一的方法,能够同时保证这两个标准。对于一般类的在线算法,即任何度量任务系统(MTS),我们表明,可以同时保证最好的竞争比和自然的遗憾界。对于分页问题,我们进一步展示了一个有效的在线算法(多项式的页数),这种保证。为此,我们扩展了现有的遗憾最小化算法(具体来说,Kapralov和Panigrahy)来处理移动成本(在线系统状态之间切换的成本)。然后,我们展示了如何使用扩展的后悔最小化算法结合多个在线算法。我们的最终结果是一个在线算法,可以结合一个“基地”的在线算法,有保证的竞争比,与一系列的在线算法,保证在任何时间间隔的一个小遗憾。组合算法既保证了竞争比匹配的基础算法和低遗憾在任何时间间隔。作为一个产品,我们得到了一个专家算法,接近最优的遗憾界的每一个时间间隔,即使在存在的转换成本。这个结果是独立的利益。
2019-04-07 cs.DS cs.LG stat.ML
Small Gradient Norm Regret for Online Convex Optimization
Stanford University(斯坦福大学);Shanghai University of Finance and Economics(上海财经大学)
本文提出了一种新的在线凸优化遗憾度量$G^\star$,通过改进的遗憾分析和实验验证,提升了对平滑损失的收敛性能。
2026-09-22 cs.LG math.OC stat.ML
The Relationship between No-Regret Learning and Online Conformal Prediction
University of Pennsylvania(宾夕法尼亚大学)
本文探究无悔学习与在线保形预测的关系,发现标准无悔保证在对抗环境或组条件覆盖场景下失效,证明阈值校准覆盖与交换无悔的紧密联系,且跟随扰动领导者家族算法可提供组条件覆盖保证,还分析实验了ACI算法的多组泛化版本。
2025-02-16 cs.GT cs.LG stat.ML
Unconstrained Online Optimization: Dynamic Regret Analysis of Strongly Convex and Smooth Problems
Texas A&M University(德克萨斯A&M大学)
动态在线学习算法的后悔界通常用函数序列($V_T$)的变化和/或最小化序列在$T$轮之后的路径长度来表示。对于强凸光滑函数,Zhang等人建立了极小序列的平方路径长度($C^*_{2,T}$)作为后悔的下界。他们还表明,在线梯度下降(OGD)实现了这个下限使用多个梯度查询每轮。在本文中,我们专注于无约束在线优化。我们首先表明,OGD的预处理变体实现了$O(C^*_{2,T})$,每轮一个梯度查询。然后,我们提出了在线乐观牛顿(OON)方法的情况下,一阶和二阶信息的函数序列是可预测的。OON的后悔界是通过最小化序列的四次路径长度($C^*_{4,T}$)捕获的,它可以比$C^*_{2,T}$小得多。最后,我们表明,通过使用多梯度OGD,我们可以实现$O(\min\{C^*_{2,T},V_T\})$上界的遗憾。
2020-08-14 cs.LG math.OC stat.ML
No-Regret Algorithms for Unconstrained Online Convex Optimization
Duolingo, Inc.(多邻国公司);Google, Inc.(谷歌公司)
在线凸优化的一些最引人注目的应用,包括在线预测和分类,是无约束的:自然可行集是R^n。现有的算法无法实现次线性遗憾,在这种情况下,除非对比较点x^* 的约束是已知的。我们提出的算法,没有这样的先验知识,提供接近最优的遗憾界相对于任何选择x^*。特别地,关于x^* = 0的后悔是恒定的。然后,我们证明下界表明,我们的保证在这种情况下是接近最优的。
2012-11-09 cs.LG
No-Regret and Incentive-Compatible Online Learning
Microsoft Research NYC(微软研究院纽约分部);DIMACS Center, Rutgers University(罗格斯大学DIMACS中心);Harvard University(哈佛大学)
我们研究在线学习设置中,专家采取战略行动,以最大限度地提高他们的影响力的学习算法的预测,潜在的误报他们的信念的一系列二进制事件。我们的目标是双重的。首先,我们希望学习算法在事后对最佳固定专家没有遗憾。其次,我们需要激励相容性,保证每个专家的最佳策略是报告他对每个事件实现的真实信念。为了实现这一目标,我们建立在文献上的投注机制,一种类型的多代理评分规则。我们提供的算法,实现没有遗憾和激励兼容性近视专家的全部和部分信息设置。在FiveThirtyEight数据集上的实验中,我们的算法与经典的无遗憾算法相比具有遗憾性,而经典的无遗憾算法与激励不兼容。最后,我们确定了一个激励兼容的算法,前瞻性的战略代理,表现出减少遗憾在实践中。
2020-06-30 cs.GT cs.LG stat.ML
Online Optimization on Hadamard Manifolds: Curvature Independent Regret Bounds on Horospherically Convex Objectives
Department of Mechanical & Industrial Engineering, Northeastern University(机械与工业工程系,东北大学)
本文研究Hadamard流形上基于horospherical凸性的在线Riemannian优化,提出与曲率无关的遗憾界,并在SPD矩阵流形上验证了方法有效性。
2025-09-14 cs.LG math.OC stat.ML
Online Learning: Beyond Regret
University of Pennsylvania(宾夕法尼亚大学);TTIC(丰田技术研究所(芝加哥));University of Texas at Austin(德克萨斯大学奥斯汀分校)
我们研究在线学习的广泛的一类问题,扩展(Rakhlin,Sridharan,Tewari,2010)的结果,以一般的概念,远远超出外部遗憾的性能测量。我们的框架同时捕捉这些著名的概念,如内部和一般的Phi遗憾,学习与非添加剂的全球成本函数,布莱克威尔的可接近性,校准的预测,自适应遗憾,等等。我们表明,在所有这些情况下的可学习性是由于控制相同的三个量:一个鞅收敛项,一个术语描述的能力,表现良好,如果未来是已知的,和序列的广义拉德马赫复杂度,研究(Rakhlin,Sridharan,Tewari,2010)。由于我们直接研究问题的复杂性,而不是专注于有效的算法,我们能够改进和扩展许多已知的结果,这些结果以前已经通过一个算法的建设。
2011-03-24 cs.GT cs.LG stat.ML
Data-Driven Online Model Selection With Regret Guarantees
Boston University(波士顿大学);Broad Institute of MIT and Harvard(布罗德研究所);Google Research(谷歌研究院)
本文研究随机赌博机反馈下的在线模型选择,提出两种数据驱动算法,利用基学习器的实际遗憾而非先验遗憾上界进行遗憾平衡,并给出理论保证与实验验证。
2024-01-23 cs.AI cs.LG stat.ML
Matrix-Free Preconditioning in Online Learning
Google Research(谷歌研究院)
我们提供了一个在线凸优化算法的遗憾,插值之间的遗憾,使用最佳的预处理矩阵和一个使用对角预处理矩阵的算法。我们的遗憾界永远不会比对角预处理得到的遗憾界更差,在某些情况下甚至超过了全矩阵预处理算法。重要的是,我们的算法运行在相同的时间和空间复杂度的在线梯度下降。一路上,我们采用新的技术,温和地精简和改善对数因素在以前的遗憾分析。最后,我们对我们的算法进行了合成数据和深度学习任务的基准测试。
2019-05-29 cs.LG math.OC stat.ML
Optimal Dynamic Regret in Proper Online Learning with Strongly Convex Losses and Beyond
UC Santa Barbara(加州大学圣塔芭芭拉分校)
研究了强凸损失下泛动态后悔最小化问题的框架。我们回答了Baby和Wang 2021中的一个公开问题,表明在适当的学习设置中,强自适应算法可以同时实现$\tilde O(d^{1/3} n^{1/3}\text{TV}[u_{1:n}]^{2/3} \vee d)$对任何比较器序列$u_1,\ldots,u_n$的近最优动态遗憾,其中$n$是时间范围,$\text{TV}[u_{1:n}]$是比较器的总变差。这些结果是通过利用Baby和Wang 2021中没有考虑的KKT条件所施加的一些新结构来促进的,这些结构也导致了对他们结果的其他改进,例如:(a)处理非光滑损失和(b)改善对遗憾的维度依赖。此外,我们还获得了接近最优的动态后悔率的特殊情况下,适当的在线学习的exp-convex损失和$L_\infty$约束的决策集。
2022-01-21 cs.LG math.OC stat.ML