Online Regularized Learning Algorithm for Functional Data
Zhejiang University(浙江大学)
近年来,函数线性模型在统计学和机器学习中引起了越来越多的关注,其目的是恢复斜率函数或其函数预测器。研究再生核Hilbert空间中泛函线性模型的在线正则化学习算法。分别给出了多项式衰减步长和常数步长下超差预测误差和估计误差的收敛性分析。快速收敛速度可以通过容量相关分析得出。通过引入显式正则化项,提高了非正则化在线学习算法在步长多项式衰减时的饱和边界,并在没有容量假设的情况下建立了估计误差的快速收敛速度.然而,它仍然是一个开放的问题,以获得容量无关的收敛速度的估计误差的非正则化在线学习算法与衰减步长。在定步长条件下,预测误差和估计误差的收敛速度与文献中的结果相当。
2022-11-24 cs.LG stat.ML
Online Learning Guided Curvature Approximation: A Quasi-Newton Method with Global Non-Asymptotic Superlinear Convergence
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
该研究针对现有拟牛顿法无法同时保证全局收敛与显式非渐近超线性速率的局限,结合混合邻近外梯度法与在线学习框架更新海森近似,首次提出具备该特性的全局收敛拟牛顿方法。
2023-07-25 cs.LG math.OC stat.ML
Gradient Methods with Online Scaling Part I. Theoretical Foundations
Stanford University(斯坦福大学)
本文建立在线缩放梯度方法OSGM的理论基础,该框架用在线学习自适应调步长加速一阶方法,在光滑凸问题上有多重收敛保证,还解释了超梯度下降启发式的经验成功。
2025-09-05 cs.LG math.OC stat.ML
Optimizing Convergence for Iterative Learning of ARIMA for Stationary Time Series
TU Berlin(柏林工业大学)
由于物联网和5G的最新发展,连续系统中的时间序列预测变得越来越重要。流行的预测模型ARIMA几十年来被应用于各种各样的应用。ARIMA的在线变体应用在线牛顿步骤来学习时间序列的基本过程。这种优化方法在计算复杂性和收敛性方面存在缺陷。因此,这项工作的重点是计算成本较低的在线梯度下降优化方法,这成为流行的学习神经网络在最近几年。对于此类模型的迭代训练,我们提出了一种新的方法,结合不同的在线梯度下降学习器(如Adam,AMSGrad,Adagrad,Nesterov),以实现快速收敛。对合成数据和实验数据集的评价表明,该方法优于现有的方法,从而导致整体较低的预测误差。
2021-01-25 cs.LG stat.ML
Online Learning Guided Quasi-Newton Methods with Global Non-Asymptotic Convergence
The University of Texas at Austin(得克萨斯大学奥斯汀分校)
本文提出一种在线学习引导的拟牛顿方法,用于求解光滑单调非线性方程组,在不查询雅可比矩阵的情况下首次证明其全局收敛性可超越超梯度方法。
2024-10-03 cs.LG math.OC stat.ML
On The Global Convergence Of Online RLHF With Neural Parametrization
本文针对神经参数化下的在线RLHF,采用双层公式与弱梯度支配假设,提出一阶算法并证明全局收敛,获得样本复杂度ε^{-7/2},首次建立收敛速率界限与全局最优性。
2025-05-23 cs.LG
Gradient Methods with Online Scaling
Stanford University(斯坦福大学);ICME, Stanford University(斯坦福大学 ICME);Department of Mathematics, Stanford University(斯坦福大学数学系);Department of Management Science and Engineering, Stanford University(斯坦福大学管理科学与工程系)
提出基于在线学习缩放梯度的框架,加速梯度方法收敛,在光滑强凸优化中达到最优预条件器条件数相关的复杂度,并首次证明超梯度下降优于梯度下降。
2024-11-05 cs.LG math.OC
Capacity dependent analysis for functional online learning algorithms
The University of Queensland(昆士兰大学);Zhejiang University(浙江大学);Fudan University(复旦大学)
本文给出了泛函线性模型的在线随机梯度下降算法的收敛性分析。通过对斜率函数正则性、核空间容量和采样过程协方差算子容量的刻画,显著提高了算法的收敛速度.预测问题和估计问题进行了研究,我们表明,容量假设可以减轻饱和的收敛速度的正则性的目标函数的增加。我们表明,适当选择的内核,容量假设可以完全补偿预测问题的正则性假设(但不是估计问题)。这表明了函数数据分析中的预测问题和估计问题之间的显著差异。
2022-09-25 cs.LG stat.ML
A Novel Framework for Online Supervised Learning with Feature Selection
Florida State University(佛罗里达州立大学);Peking University(北京大学)
本文提出一种基于运行平均的在线学习新框架,为Lasso等离线正则化方法引入在线版本,证明了等价性并提供真实支持恢复与收敛保证,实验表明其具备更高精度与更快收敛速度。
2024-05-19 cs.LG stat.ML
Online Gradient Descent in Function Space
在机器学习和运筹学的许多问题中,我们需要优化一个函数,其输入是随机变量或概率密度函数,即在无限维空间中求解优化问题。另一方面,在线学习具有处理流示例的优势,并且可以更好地模拟不断变化的环境。本文将著名的在线梯度下降算法推广到Hilbert空间(函数空间),并分析了算法的收敛性保证。最后,我们证明了我们的算法可以在几个重要的问题是有用的。
2019-02-08 cs.LG
The Crucial Role of Samplers in Online Direct Preference Optimization
IIIS, Tsinghua University(清华大学交叉信息研究院);University of Washington(华盛顿大学)
本文严格分析了不同采样策略对DPO收敛速度的影响,提出在线采样器实现二次收敛,并通过结合后验分布和logit混合在实际设置中改进性能,在Safe-RLHF数据集上比原始DPO高出7.4%以上。
2025-02-02 cs.CL cs.LG
Anytime Online-to-Batch Conversions, Optimism, and Acceleration
Google(谷歌(公司))
在随机凸优化中获得收敛保证的一个标准方法是运行一个在线学习算法,然后输出其迭代的平均值:在线学习算法的实际迭代没有单独的保证。我们通过引入黑盒修改任何在线学习算法,其迭代收敛到随机场景中的最优值来缩小这一差距。然后,我们考虑光滑损失的情况下,并表明,我们的方法与乐观的在线学习算法相结合,立即产生一个快速的收敛速度$O(L/T^{3/2}+σ/\sqrt{T})$ $L$ -光滑的问题,$σ^2$方差的梯度。最后,我们提供了一个减少,将任何自适应在线算法转换成一个获得最佳加速率的$\tilde O(L/T^2 + σ/\sqrt{T})$,同时仍然保持$\tilde O(1/\sqrt{T})$收敛在非光滑设置。重要的是,我们的算法自动适应$L$和$σ$:它们不需要知道也可以获得这些速率。
2019-03-03 cs.LG math.OC stat.ML
Convergence Analyses of Online ADAM Algorithm in Convex Setting and Two-Layer ReLU Neural Network
Northwestern University(西北大学)
如今,在线学习是一种吸引人的学习范式,由于最近出现的大规模应用,如在线广告投放和在线网络排名,这在实践中引起了极大的兴趣。标准的在线学习假设有限数量的样本,而在实践中,数据是无限流的。在这样的设置中,具有递减的学习率的梯度下降不起作用。我们首先介绍了滚动窗口的遗憾,这是一种新的在线流学习性能指标,它测量算法在每个固定数量的连续样本上的性能。在同一时间,我们提出了一个家庭的算法的基础上梯度下降与恒定或自适应学习率,并提供非常技术性的分析,建立遗憾的边界属性的算法。我们覆盖了凸设置,显示了在恒定和动态学习率场景中窗口大小的平方根的顺序的遗憾。我们的证明也适用于标准的在线设置,我们提供了相同的后悔订单的第一次分析(以前的证明有缺陷)。我们还研究了具有ReLU激活的两层神经网络设置。在这种情况下,我们建立,如果初始权重接近一个稳定点,相同的平方根遗憾界是可达到的。我们进行计算实验证明了所提出的算法的优越性能。
2019-11-26 cs.DS cs.LG stat.ML
Online Learning, Stability, and Stochastic Gradient Descent
Massachusetts Institute of Technology(麻省理工学院)
在批处理学习中,稳定性以及解的存在性和唯一性对应于经验风险最小化(ERM)方法的适定性;最近,证明了CV_loo稳定性对于ERM的推广性和一致性是必要和充分的。在本文中,我们介绍CV_on稳定性,它在在线学习中起着类似的作用。我们证明了在通常的假设下随机梯度下降(SDG)是CV_on稳定的,并讨论了CV_on稳定性对SGD收敛性的影响.
2011-09-08 cs.LG
From Recency Bias to Stable Convergence Block Kaczmarz Methods for Online Preference Learning in Matchmaking Applications
University of California, Irvine(加州大学尔湾分校)
本文提出了一种基于Kaczmarz的偏好学习算法,通过改进的Tikhonov正则化投影分母,解决了近期偏差问题,提升了匹配系统的稳定性和鲁棒性。
2026-04-11 cs.LG
Unregularized Online Learning Algorithms with General Loss Functions
State University of New York at Albany(纽约州立大学奥尔巴尼分校);City University of Hong Kong(香港城市大学)
在本文中,我们考虑再生核希尔伯特空间(RKHS)中的非正则化在线学习算法。首先,我们得到显式的非正则化在线学习算法的收敛速度与一般的伽玛激活损失(见定义1的文件)的分类。我们的结果扩展和改进了Ying和Pontil(2008)中关于最小二乘损失的结果以及Bach和Moulines(2011)中关于具有Lipschitz连续梯度的损失函数的最新结果。此外,我们建立了一个非常一般的条件,保证了这种算法的最后一个收敛的步长。其次,我们建立了,第一次,非正则成对学习算法与一般损失函数的收敛性,并推导出明确的速度多项式衰减步长的假设下。具体的例子来说明我们的主要结果。主要的技术是凸分析工具,高斯平均值的精细不等式,和归纳法。
2015-04-26 cs.LG stat.ML
Online Stochastic Optimization with Multiple Objectives
Michigan State University(密歇根州立大学);GE Global Research(通用电气全球研究中心)
在本文中,我们提出了一个通用的框架来描述和解决多目标随机优化问题的许多现实世界的学习应用。我们首先提出了一个基于投影的算法,达到了$O(T^{-1/3})$收敛速度。然后,利用约束优化中的拉格朗日理论,设计了一种新的原始-对偶随机近似算法,该算法在一般Lipschitz连续目标下获得了$O(T^{-1/2})$的最优收敛速度.
2013-07-14 cs.LG math.OC
Online Adaptive Methods, Universality and Acceleration
ETH Zurich(苏黎世联邦理工学院);EPFL(洛桑联邦理工学院)
我们提出了一种新的方法,凸无约束优化,没有任何修改,确保:(i)加速收敛速度光滑的目标,(ii)在一般(非光滑)设置的标准收敛速度,和(iii)在随机优化设置的标准收敛速度。据我们所知,这是第一个同时适用于所有上述设置的方法。我们方法的核心是自适应学习率规则,其采用重要性权重,本着自适应在线学习算法的精神(Duchi et al.,2011; Levy,2017),结合线性耦合两个序列的更新,本着(Allen-Zhu和Orecchia,2017)的精神。我们的方法的实证检验证明了它的适用性,上述情况下,并证实了我们的理论研究结果。
2018-09-08 cs.LG math.OC stat.ML
Stochastic Learning Rate Optimization in the Stochastic Approximation and Online Learning Settings
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Nevada(内华达大学)
在这项工作中,乘性随机适用于学习率的随机最优化算法,从而产生随机学习率计划。随机梯度下降配备这种新的随机学习率计划下的随机设置,以及在线优化设置下的收敛结果的预期理论收敛结果。实证结果考虑的情况下,自适应均匀分布的乘法随机性,不仅包括随机梯度下降,但也配备了随机学习率的其他流行的算法。相对于其确定性学习率版本,它们表现出明显的优化性能增益。
2022-03-21 cs.LG math.OC
Online Alternating Direction Method (longer version)
University of Minnesota, Twin Cities(明尼苏达大学双城分校)
在线优化已经成为大规模优化的有力工具。本文介绍了一种基于交替方向法(ADM)的在线优化算法,该算法可以求解线性约束下的非光滑凸优化问题。我们引入了新的证明技术,ADM在批处理设置,这产生了O(1/T)的收敛速度ADM和形成的基础上,后悔分析在线设置。我们考虑两种情况下,在线设置,根据是否需要一个额外的Bregman分歧。在这两种情况下,我们建立遗憾的目标函数,以及一般和强凸函数的约束违反界限。我们还考虑了不精确的ADM更新,其中某些条款被线性化,以产生有效的更新,并显示随机收敛速度。此外,我们还简要讨论了在线ADM在某些场景下可以作为无投影的在线学习算法。初步的结果来说明所提出的算法的性能。
2013-07-10 cs.LG math.OC
Online Linear Programming: Dual Convergence, New Algorithms, and Regret Bounds
Stanford University(斯坦福大学)
研究了一个随机输入模型下的在线线性规划问题,其中约束矩阵的列和目标函数中的相应系数是独立同分布生成的.从一个未知的分布,并揭示了随着时间的推移顺序。实际上,所有先前存在的在线算法都是基于学习线性规划(LP)的对偶最优解/价格,并且它们的分析集中在聚合目标值和求解约束矩阵和目标中的所有系数都是非负的包装LP。然而,两个主要的开放问题是:(i)在现有算法中学习的LP最优对偶价格集是否收敛于“离线”LP的最优对偶价格集,以及(ii)结果是否可以扩展到系数可以是正或负的一般LP问题。我们解决这两个问题,建立收敛结果的双重价格一般LP问题的适度正则性条件下。具体来说,我们确定了一个等价形式的对偶问题,涉及到一个随机程序的样本平均近似的对偶LP。此外,我们提出了一种新型的OLP算法,基于历史的学习算法,它通过考虑过去的输入数据以及已经做出的决策/动作来改善以前的算法性能。我们推导出一个$O(\log n \log \log n)$遗憾界(在局部强凸性和光滑性条件下)的建议算法,对$O(\sqrt{n})$界典型的双价格学习算法,其中$n$是决策变量的数量。数值实验验证了所提算法和动作历史相关设计的有效性。
2021-04-19 cs.DS cs.LG
Improving SGD convergence by online linear regression of gradients in multiple statistically relevant directions
Jagiellonian University(雅盖隆大学)
深度神经网络通常使用随机梯度下降(SGD)进行训练,该算法使用非常粗略的梯度近似来最小化目标函数,仅对实际梯度进行平均。标准的方法,如动量或ADAM只考虑一个方向,并不试图从极值模型的距离-忽略了有价值的信息,从计算的梯度序列,往往停滞在一些次优的高原。二阶方法可以利用这些错过的机会,然而,除了遭受非常大的成本和数值不稳定性之外,由于忽略曲率的符号(作为Hessian的特征值),其中许多方法会吸引到次优点,如鞍点。无鞍牛顿法是解决这个问题的一个罕见的例子-将鞍吸引力变为排斥力,并被证明可以通过这种方式对最终值提供本质的改进。然而,它忽略了噪声,而建模二阶行为,专注于Krylov子空间的数值原因,并需要昂贵的特征分解。在保持SFN优势的情况下,提出了用于利用这些机会的廉价方式。二阶行为是一阶导数的线性依赖-我们可以用最小二乘线性回归从噪声梯度序列中最佳地估计它,在这里的在线设置中:用旧梯度的弱化权重。统计相关子空间由最近的噪声梯度的PCA建议-在在线设置中,它可以通过缓慢地将所考虑的方向旋转到新的梯度,逐渐用最近的统计相关取代旧的方向来实现。特征分解也可以在线执行:定期执行QR方法的步骤,以保持对角Hessian。在二阶建模子空间之外,我们可以同时执行梯度下降。
2023-03-13 cs.LG stat.ML
An improved convergence analysis for decentralized online stochastic non-convex optimization
Carnegie Mellon University(卡内基梅隆大学);Tufts University(塔夫茨大学)
本文研究节点网络上分散在线随机非凸优化问题。在分散式随机梯度下降中集成一种称为梯度跟踪的技术,我们证明了所得到的算法GT-DSGD具有一定的理想特性,可以最小化光滑非凸函数的总和。特别是,对于一般光滑的非凸函数,我们建立了非渐近的GT-DSGD的特征,并推导出条件下,它实现网络无关的性能,匹配的集中minibatch SGD。相比之下,现有的结果表明,GT-DSGD总是依赖于网络,因此严格比集中式小批量SGD更差。当全局非凸函数另外满足Polyak-Lojasiewics(PL)条件时,我们证明了GT-DSGD算法在适当的常数步长下直到稳态误差是线性收敛的.此外,在随机逼近步长下,我们首次给出了在几乎每一条样本路径上的最优全局次线性收敛速度,以及期望的渐近最优次线性收敛速度.由于强凸函数是满足PL条件的函数的特殊情况,我们的结果不仅是立即适用,而且还改善了目前已知的最佳收敛速度和它们对问题参数的依赖性。
2020-12-29 cs.LG cs.MA cs.SY
Data Sampling Affects the Complexity of Online SGD over Dependent Data
University of Utah(犹他大学);Ohio State University(俄亥俄州立大学)
传统的机器学习应用通常假设数据样本是独立且同分布(i.i.d.)的。然而,实际场景通常涉及产生高度依赖的数据样本的数据生成过程,已知这会严重影响随机优化过程并减缓学习的收敛。本文对不同的随机数据采样方案如何影响高度依赖数据的在线随机梯度下降(SGD)的样本复杂度进行了基础研究。具体而言,与$ϕ$混合模型的数据依赖,我们表明,在线SGD与适当的周期性数据子采样实现了改进的样本复杂度超过标准的在线SGD在全谱的数据依赖水平。有趣的是,即使对数据样本的子集进行二次采样,也可以加速在线SGD在高度依赖数据上的收敛。此外,我们表明,在线SGD与小批量采样可以进一步大大提高样本的复杂性,在线SGD与周期性数据子采样高度依赖的数据。数值实验验证了我们的理论结果。
2022-03-31 cs.LG math.OC
On the Convergence of Self-Improving Online LLM Alignment
The University of Hong Kong(香港大学);Yale University(耶鲁大学);Purdue University(普渡大学)
针对SAIL算法收敛性分析缺失的问题,提出SAIL-RevKL正则化目标,证明其满足PL条件并实现近线性样本复杂度,在MuJoCo和LLM对齐任务上优于原始SAIL。
2026-07-01 cs.AI cs.LG stat.ML
Stochastic Online Optimization for Cyber-Physical and Robotic Systems
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);ETH Zürich(苏黎世联邦理工学院)
本文提出了一种基于梯度的在线优化框架,用于解决网络物理和机器人系统中的随机规划问题,通过整合动态近似模型和非凸设置下的收敛分析,提升算法收敛性并验证其在多种机器人仿真和实际实验中的有效性。
2026-01-03 cs.LG cs.RO
Multi-Step Alignment as Markov Games: An Optimistic Online Gradient Descent Approach with Convergence Guarantees
EPFL(洛桑联邦理工学院);UCLA(加州大学洛杉矶分校)
本文提出将RLHF对齐建模为两人常数和马尔可夫博弈,并基于乐观在线镜像下降设计OMPO算法,理论上保证O(ε⁻¹)次更新收敛到ε-近似纳什均衡,在多轮对话和数学推理数据集上验证了有效性。
2025-05-24 cs.AI cs.CL cs.LG
The Generalization Ability of Online Algorithms for Dependent Data
我们研究的泛化性能的在线学习算法训练样本来自一个依赖的数据源。我们发现,任何稳定的在线算法的泛化误差集中在其遗憾-一个容易计算的统计算法的在线性能-当底层遍历过程是$β$ -或$ϕ$ -混合。假设损失函数是凸的,我们显示了高概率的误差界,我们还建立了强凸损失和几个线性预测问题,如线性和逻辑斯谛回归,最小二乘支持向量机,并提高依赖数据的急剧收敛速度和偏差界。此外,我们的结果有直接的应用程序随机最优化与相关数据,我们的分析只需要鞅收敛参数,我们不需要依赖于更强大的统计工具,如经验过程理论。
2012-06-07 cs.LG math.OC stat.ML
Tight Convergence Rates for Online Distributed Linear Estimation with Adversarial Measurements
Dept. of Computer Science and Automation, Indian Institute of Science, Bengaluru(印度科学理工学院计算机科学与自动化系);Department of Computer Science, IMT Atlantique, Plouzané(IMT Atlantique计算机科学系)
本文研究了在分布式参数服务器-工人架构中随机向量X的均值估计问题,提出了一种两时间尺度l1最小化算法,并在相同空域性质条件下建立了紧非渐近收敛速率,同时识别了在某些条件下即使无法精确恢复X,也能恢复其投影分量的条件。
2026-04-07 cs.LG stat.ML
Online Orthogonal Dictionary Learning Based on Frank-Wolfe Method
Hong Kong University of Science and Technology(香港科技大学)
字典学习是信号处理和机器学习中广泛使用的一种无监督学习方法。现有的大多数词典学习工作都是以离线方式进行的。词典学习主要有两种离线方式。一种是对字典和稀疏代码进行替代优化;另一种方法是通过将字典限制在正交组上来优化字典。后者被称为正交字典学习,其具有较低的复杂度实现,因此,它更有利于低成本设备。然而,现有的正交字典学习方案只能处理批量数据,不能在线实现,不适用于实时应用。本文提出了一种新的在线正交字典计划,动态学习的字典从流数据,而无需存储的历史数据。该方案包括一个新的问题制定和有效的在线算法设计与收敛性分析。在问题的制定,我们放松正交约束,使一个有效的在线算法。在算法设计中,我们提出了一种新的基于Frank-Wolfe的在线算法,其收敛速度为O(lnt/t^(1/4))。的收敛速度的关键系统参数也来自。合成数据和真实世界的传感器读数的实验证明了所提出的在线正交字典学习方案的有效性和效率。
2021-11-25 cs.LG eess.SP math.OC
Generalization Analysis of Online Stochastic Gradient Descent for Overparameterized Two-Layer Neural Networks
School of Mathematical Sciences, Zhejiang University(浙江大学数学科学学院);Shanghai Key Laboratory for Contempo(上海市现代(暂未完整,按原文提取))
本文在NTK机制下分析过参数化两层神经网络在线SGD的泛化误差,提出统一框架推导最后迭代的尖锐收敛速率,并将网络宽度要求从指数降至多项式,缩小理论与实践的差距。
2026-09-29 cs.LG stat.ML
Non-Asymptotic Analysis of Online Local Private Learning with SGD
本研究针对在线本地差分隐私模型下的随机优化问题,提出了基于DP-SGD的估计器,并进行了全面的非渐近收敛分析,为超参数选择提供了实践指导,并通过数学推导和数值实验验证了方法的有效性。
2025-07-09 cs.LG stat.ME stat.ML
Beyond Time-Average Convergence: Near-Optimal Uncoupled Online Learning via Clairvoyant Multiplicative Weights Update
SUTD(新加坡科技设计大学);EPFL(洛桑联邦理工学院)
在本文中,我们提供了一个新的和简单的算法,千里眼乘法权重更新(CMWU)的遗憾最小化在一般的游戏。CMWU有效地对应于标准MWU算法,但其中所有代理在更新其混合策略时,使用基于明天的行为的收益配置文件,即代理是千里眼。CMWU在所有具有m个动作和固定步长$η$的正规形式游戏中实现了$\ln(m)/η$的恒定遗憾。虽然CMWU在其定义中编码了一个固定点计算,这在原则上可能会导致既不计算效率也不解耦的动态,但我们表明,这两个问题都可以在很大程度上规避。具体地,只要步长$η$由$\frac{1}{(n-1)V}$上界,其中$n$是代理的数量,$[0,V]$是支付范围,则CMWU更新可以通过收缩映射线性快速计算。这种实现导致解耦的在线学习动态,其允许$O (\log T)$稀疏子序列,其中每个代理最多经历$O(nV\log m)$遗憾。这意味着CMWU动态以速率$O(nV \log m \log T / T)$收敛到\textit{Coarse Correlated Equilibrium}。后者改进了\textit{uncoupled online learning dynamics} \cite{daskalakis2021near,anagnostides2021near}的当前最先进的收敛速度。
2022-06-29 cs.AI cs.GT cs.LG
Gradient-Variation Online Adaptivity for Accelerated Optimization with Hölder Smoothness
本文研究了Hölder平滑函数的在线学习,设计了无需预知平滑参数的梯度变分在线学习算法,通过在线到批处理转换及检测程序,首次为离线强凸优化提出了一种在平滑与非平滑机制下均具最优或近最优收敛的通用加速方法。
2025-11-04 cs.LG math.OC
A Linearly Convergent Conditional Gradient Algorithm with Applications to Online and Stochastic Optimization
Technion - Israel Inst. of Tech.(以色列理工学院)
线性优化在算法上比非线性凸优化简单许多倍。线性优化拟阵多面体,匹配多面体和路径多面体的问题,我们有简单而有效的组合算法的例子,但其非线性凸对应更难,并承认显着效率较低的算法。这就激发了凸优化的计算模型,包括离线,在线和随机设置,使用线性优化预言机。在这个计算模型中,我们给出了几个新的结果,改善了以前的国家的最先进的。我们的主要结果是一个新的条件梯度算法光滑和强凸优化多面体集,执行只有一个单一的线性优化步骤,在每个迭代的域上,并享有线性收敛速度。这给出了一个指数级的改善收敛速度比以前的结果。基于这个新的条件梯度算法,我们给出了第一个算法的在线凸优化多面体集,只执行一个单一的线性优化步骤的域,同时有最佳的遗憾保证,回答一个悬而未决的问题Kalai和Vempala,Hazan和羽衣甘蓝。我们的在线算法也意味着条件梯度算法的非光滑和随机凸优化与投影(子)梯度方法相同的收敛速度。
2015-08-14 cs.LG math.OC stat.ML
Accelerated Randomized Coordinate Descent Algorithms for Stochastic Optimization and Online Learning
Indian Institute of Science(印度科学学院)
我们提出了加速随机坐标下降算法的随机优化和在线学习。我们的算法有显着减少每迭代的复杂性比已知的加速梯度算法。所提出的在线学习算法具有更好的后悔性能比已知的随机在线坐标下降算法。此外,所提出的随机优化算法表现出良好的收敛速度,最有名的随机坐标下降算法。我们还展示了仿真结果来证明所提出的算法的性能。
2018-07-16 cs.LG stat.ML
Robust Online and Distributed Mean Estimation Under Adversarial Data Corruption
Purdue University(普渡大学)
我们研究了在线和分布式场景中存在对抗性数据攻击的鲁棒均值估计。在每一个时间步,网络中的每个代理都接收到一个可能被破坏的数据点,其中数据点最初是随机变量的独立和相同分布的样本。我们提出了在线和分布式算法的所有代理渐近估计的平均值。我们提供的误差界和收敛性的估计下,我们的算法的真均值。基于网络拓扑结构,我们进一步评估每个代理的收敛速度之间的权衡,将数据从邻居和学习只有本地的意见。
2022-09-17 cs.CR cs.LG cs.MA
Online Newton Step Algorithm with Estimated Gradient
China University of Petroleum(中国石油大学);National Space Science Center, CAS(中国科学院国家空间科学中心);Arizona State University(亚利桑那州立大学)
有限信息反馈的在线学习(bandit)试图解决在线学习者在学习过程中从环境接收部分反馈信息的问题。在这种情况下,Flaxman et al. [8]通过提出具有期望梯度的在线梯度下降(OGDEG)算法,扩展了Zinkevich的经典在线梯度下降(OGD)算法[29]。具体来说,它使用一个简单的技巧来近似损失函数$f_t$的梯度,方法是在一个点上对其进行评估,并将预期后悔限制为$\mathcal{O}(T^{5/6})$ [8],其中轮数为$T$。同时,过去的研究工作表明,与一阶算法相比,二阶在线学习算法(如在线牛顿步(ONS)[11])可以显著加快传统在线学习算法的收敛速度。基于此,本文旨在利用二阶信息来加快OGDEG算法的收敛速度。特别地,我们用期望梯度的技巧扩展了ONS算法,并开发了一种新的二阶在线学习算法,即,在线牛顿步与期望梯度(ONSEG)。从理论上讲,我们表明,所提出的ONSEG算法显着降低了OGDEG算法的预期遗憾从$\mathcal{O}(T^{5/6})$到$\mathcal{O}(T^{2/3})$在强盗反馈的情况下。实证上,我们进一步证明了所提出的算法在多个真实世界的数据集上的优势。
2019-03-15 cs.LG stat.ML
Provable and Practical Online Learning Rate Adaptation with Hypergradient Descent
Stanford University(斯坦福大学);ICME, Stanford University(斯坦福大学ICME);Department of Mathematics, Stanford University(斯坦福大学数学系);Department of Management Science and Engineering, Stanford University(斯坦福大学管理科学与工程学院)
本文用在线学习框架严格分析超梯度下降HDM的收敛性,解释其不稳定性并提出修正,还构造动量变体;HDM-HB在凸优化实验中显著优于自适应一阶方法并可媲美L-BFGS。
2025-03-16 cs.LG math.OC
Stabilized Sparse Online Learning for Sparse Data
Columbia University(哥伦比亚大学)
随机梯度下降(SGD)通常用于大规模机器学习问题的优化。Langford等人(2009)介绍了一种稀疏在线学习方法,通过截断梯度来诱导稀疏性。然而,对于高维稀疏数据,由于特征稀疏性的异质性,该方法收敛速度慢且方差大。为了缓解这个问题,我们引入了一个稳定的截断随机梯度下降算法。我们采用软阈值方案的权重向量,其中施加的收缩是自适应的每个功能中可用的信息量。所得到的稀疏权重向量的可变性进一步控制的稳定性选择集成的信息截断。为了更好地收敛,我们采用了一种退火策略的截断率,这导致了一个平衡的权衡之间的探索和利用学习稀疏的权重向量。数值实验表明,该算法在预测精度、稀疏性和稳定性方面优于原算法。
2017-05-09 cs.LG stat.ML
Decentralized Cooperative Online Estimation With Random Observation Matrices, Communication Graphs and Time Delays
Shanghai University(上海大学);East China Normal University(华东师范大学)
分析了不确定环境下多节点网络通过信息交换实现的分散协作在线估计算法的收敛性。每个节点都有一个未知参数的线性观测,随机时变观测矩阵。底层通信网络由一系列随机有向图建模,并在信道中受到非均匀随机时变延迟的影响。每个节点运行一个在线估计算法,该算法由共识项和创新项组成,共识项取其自己的估计和邻居的延迟估计的加权和,创新项在每个时间步处理其自己的新测量。利用随机时变系统、鞅收敛理论和随机矩阵乘积的二项式展开式,将算法的收敛性分析转化为随机矩阵乘积的数学期望分析。首先,对于无时延的情况,我们证明了算法的增益可以被适当地设计,使得所有节点的估计都以均方收敛到真参数,并且几乎必然地,如果观测矩阵和通信图满足随机时空持久性的激励条件。其次,对于具有时间延迟的情况,我们引入延迟矩阵来模拟节点间随机时变的通信延迟。结果表明,在随机时空持续激励条件下,对于任意给定的有界时滞,在条件平衡有向图的情况下,可以设计适当的算法增益以保证均方收敛。
2020-12-07 cs.LG cs.SY eess.SP
Surrogate Losses for Online Learning of Stepsizes in Stochastic Non-Convex Optimization
Boston University(波士顿大学);Google(谷歌)
随机梯度下降(SGD)在机器学习中发挥了核心作用。然而,它需要一个精心挑选的步长来快速收敛,这是众所周知的繁琐和耗时的调整。在过去的几年里,大量的自适应梯度算法已经出现,以改善这个问题。他们已被证明有效地减少劳动调整在实践中,但他们中的许多人缺乏理论保证,即使在凸设置。在本文中,我们提出了新的代理损失铸造的问题学习的最佳步长的随机优化的非凸光滑的目标函数到一个在线凸优化问题。这允许使用无遗憾在线算法来计算最佳步长。反过来,这导致SGD算法具有自调整的步长,保证了自动适应噪声水平的收敛速度。
2019-06-07 cs.LG math.OC stat.ML
Communication-Constrained Private Decentralized Online Personalized Mean Estimation
New Jersey Institute of Technology(新泽西理工学院);Newark, New Jersey 07102, USA(新泽西州纽克塞尔07102, 美国)
本文研究通信受限下多智能体协作个性化均值估计的隐私保护问题,提出基于共识的差分隐私算法,并从理论和数值上证明私有协作可快于完全本地方法收敛。
2025-11-02 cs.IT cs.LG cs.SI
A Forward Propagation Algorithm for Online Optimization of Nonlinear Stochastic Differential Equations
University of Oxford(牛津大学)
在平稳分布的随机微分方程(SDEs)上进行优化在计算上具有挑战性。最近提出了一种新的前向传播算法在线优化的SDES。该算法求解使用前向微分推导出的SDE,它提供了梯度的随机估计。该算法同时不断更新模型的参数和梯度估计。本文研究了非线性耗散随机微分方程前向传播算法的收敛性。我们利用这类非线性微分方程的遍历性来刻画过渡半群及其导数的收敛速度。然后,我们证明的解决方案的泊松偏微分方程(PDE)的预期时间积分的算法的随机波动周围的方向的最速下降。然后,我们重写的算法使用PDE解决方案,这使我们能够表征参数的演变方向周围的最速下降。我们的主要结果是一个收敛定理的前向传播算法的非线性耗散SDES。
2022-07-10 cs.LG math.PR q-fin.MF
OLR-WA: Online Weighted Average Linear Regression in Multivariate Data Streams
University of California, San Diego(加州大学圣地亚哥分校)
本文提出OLR-WA模型,用于多变量数据流的在线线性回归,通过处理数据漂移和置信度场景,实现与批量回归相当甚至更优的性能。
2025-12-16 cs.AI cs.LG
Online and stochastic Douglas-Rachford splitting method for large scale machine learning
Fujitsu Research & Development Center(富士通研究开发中心)
本文提出在线和随机Douglas-Rachford分裂方法,用于大规模优化问题,证明其在在线和随机设置下的收敛性,并通过实验验证其有效性。
2016-12-21 cs.LG cs.NA math.NA
BSO: Binary Spiking Online Optimization Algorithm
University of Electronic Science(电子科学大学);Northumbria University(北umbria大学)
针对二进制脉冲神经网络(BSNNs)训练中潜在权重存储和时间处理导致的内存开销大问题,提出BSO在线优化算法及时域感知变体T-BSO,通过翻转信号直接更新权重并消除潜在权重需求,理论证明收敛性且实验性能更优。
2025-11-16 cs.CV cs.LG
Taming the Exponential Action Set: Sublinear Regret and Fast Convergence to Nash Equilibrium in Online Congestion Games
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));University of Science and Technology of China(中国科学技术大学);Microsoft Research Asia(微软亚洲研究院)
研究在线拥塞博弈,提出去中心化算法 CongestEXP。通过在设施层面维护权重,避免了动作集规模的指数级依赖,实现了 $O(kF\sqrt{T})$ 的次线性遗憾,并在存在严格纳什均衡时实现几乎指数级的快速收敛。
2023-06-19 cs.GT cs.LG stat.ML
Online Alternating Direction Method
University of Minnesota, Twin Cities(明尼苏达大学双城校区)
在线优化已经成为大规模优化的有力工具。在本文中,我们介绍了有效的在线算法的交替方向法(ADM)的基础上。我们引入了一个新的证明技术,ADM在批处理设置,产生的O(1/T)收敛速度的ADM,形成的基础上遗憾分析在线设置。我们考虑两种情况下,在线设置,根据解决方案是否需要躺在可行集或不。在这两种情况下,我们建立遗憾的目标函数,以及一般和强凸函数的约束违反界。初步的结果来说明所提出的算法的性能。
2012-06-27 cs.LG stat.ML
DADAM: A Consensus-based Distributed Adaptive Gradient Method for Online Optimization
Amirkabir University of Technology(阿米尔卡比尔理工大学);University of Florida(佛罗里达大学)
诸如\textsc{Adagrad}、\textsc{Rmsprop}和\textsc{Adam}的基于自适应梯度的优化方法被广泛用于解决包括深度学习的大规模机器学习问题。在文献中已经提出了许多方案,旨在并行化它们,基于外围节点与中心节点的通信,但产生高的通信成本。为了解决这个问题,我们开发了一种新的共识为基础的分布式自适应矩估计方法(\textsc{Dadam})在线优化的分散网络,使数据并行化,以及分散计算。该方法特别有用,因为它可以适应允许访问本地数据的设置。此外,在这项工作中建立的理论,它可以优于集中式自适应算法,为某些类别的损失函数中使用的应用程序。我们分析了所提出的算法的收敛特性,并提供了一个动态的遗憾界的收敛速度的自适应矩估计方法在随机和确定性设置。实验结果表明,\textsc{Dadam}工程也很好地在实践中,并媲美竞争在线优化方法。
2019-05-28 cs.LG math.OC stat.ML
Stochastic Averaging for Constrained Optimization with Application to Online Resource Allocation
University of Minnesota(明尼苏达大学);University of Pennsylvania(宾夕法尼亚大学);Fudan University(复旦大学);Florida Atlantic University(佛罗里达大西洋大学)
现有的随机网络资源分配方法面临着快速收敛和可容忍延迟的挑战。本文利用在线学习的进步,以促进随机资源分配任务。通过认识到拉格朗日乘数的核心作用,基本的约束最优化问题被制定为一个机器学习任务,涉及训练和操作模式,以学习所寻求的乘数在一个快速和有效的方式的目标。为此,一个订单最优的离线学习方法首先开发的批量训练,然后将其推广到在线设置称为学习和适应的过程。新的资源分配协议渗透随机逼近和统计学习的好处,以获得低复杂度的在线更新与学习误差接近统计精度限制,同时仍然保持适应性能,这在随机网络优化的上下文中保证队列稳定性。理论分析和仿真实验表明,该方法在延迟和收敛性能上都有明显的改善。
2017-02-26 cs.DC cs.LG math.OC
Escaping From Saddle Points --- Online Stochastic Gradient for Tensor Decomposition
Microsoft Research New England(微软新英格兰研究院);University of California Irvine(加州大学欧文分校);University of California Berkeley(加州大学伯克利分校);Cornell University(康奈尔大学)
我们分析了优化非凸函数的随机梯度下降。在许多情况下,非凸函数的目标是找到一个合理的局部最小值,主要问题是梯度更新被困在鞍点。在本文中,我们确定严格的鞍性质的非凸问题,允许有效的优化。利用这一性质,我们证明了随机梯度下降收敛到一个局部最小的多项式迭代次数。据我们所知,这是第一个工作,使全球收敛保证随机梯度下降的非凸函数指数许多局部极小值和鞍点。我们的分析可以应用于正交张量分解,它被广泛用于学习丰富的潜变量模型。针对具有严格鞍点性质的张量分解问题,提出了一种新的优化公式。从而得到了第一个具有全局收敛性保证的正交张量分解的在线算法。
2015-03-06 cs.LG math.OC stat.ML
Without-Replacement Sampling for Stochastic Gradient Methods: Convergence Results and Application to Distributed Optimization
Weizmann Institute of Science(魏茨曼科学研究学院)
机器学习和优化问题的随机梯度方法通常假设数据点被采样\emph{with}替换。但在实践中,采样\emph{without}替换非常常见,在许多情况下更容易实现,并且通常性能更好。在本文中,我们在各种场景下为三种类型的算法提供了无替换抽样的竞争性收敛保证:任何具有在线遗憾保证的算法、随机梯度下降和SVRG。我们的SVRG分析的一个有用的应用是一个接近最优的算法,正则化最小二乘在分布式设置,在通信复杂性和运行时复杂性,当数据被随机分区和条件数可以大到每台机器的数据大小(对数因子)。我们的证明技术结合了随机优化,对抗性在线学习和转导学习理论的思想,并且可以潜在地应用于其他随机优化和学习问题。
2016-10-17 cs.LG math.OC stat.ML
Learning from time-dependent streaming data with online stochastic algorithms
Sorbonne Université(索邦大学)
该研究针对带时间相关有偏梯度的流式随机优化问题,分析多种一阶SGD方法及其Polyak-Ruppert平均,通过非渐近分析得到加速收敛的启发式规则,并通过模拟与真实数据实验验证理论结论。
2023-07-18 cs.LG math.OC stat.ML