Combining Adversarial Guarantees and Stochastic Fast Rates in Online Learning
Centrum Wiskunde & Informatica(荷兰国家数学与计算机科学研究所);Leiden University(莱顿大学)
我们考虑在线学习算法,保证最坏情况下的后悔率在对抗性的环境(因此,他们可以安全地部署,并将执行鲁棒性),但最佳地适应有利的随机环境(因此,他们将在各种实际重要性的设置表现良好)。我们通过著名的伯恩斯坦(a.k.a.广义Tsybakov边限)条件。对于最近的两个算法(眯着眼睛的对冲设置和MetaGrad的在线凸优化),我们表明,他们的数据依赖的个人序列的遗憾保证的特定形式意味着他们自动适应随机环境的伯恩斯坦参数。我们证明,这些算法在各自的设置中达到快速的速度都在预期和高概率。
2016-05-20 cs.LG
Stochastic Online Linear Regression: the Forward Algorithm to Replace Ridge
Univ. Lille(里尔大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Centrale Lille(里尔中央理工学院);Criteo(Criteo公司);ENSAE(法国国立统计与经济管理学院);ENS PARIS-SACLAY(巴黎萨克雷高等师范学院)
我们考虑随机环境下的在线线性回归问题。我们推导了在线岭回归和前向算法的高概率后悔界。这使我们能够更准确地比较在线回归算法,并消除有界观测和预测的假设。我们的研究主张使用前向算法代替岭,由于其增强的边界和鲁棒性的正则化参数。此外,我们解释了如何将其集成到算法中,涉及线性函数逼近,以消除有界性假设,而不恶化理论界。我们展示了这种修改在线性强盗设置,它产生改进的遗憾界限。最后,我们提供了数值实验来说明我们的结果和支持我们的直觉。
2021-11-02 cs.LG
Randomized Block Coordinate Descent for Online and Stochastic Optimization
University of Minnesota, Twin Cities(明尼苏达大学双城分校)
两种类型的低成本每次迭代梯度下降方法已被广泛研究并行。一种是在线或随机梯度下降(OGD/SGD),另一种是随机坐标下降(RBCD)。在本文中,我们结合这两种类型的方法在一起,提出了在线随机块坐标下降(ORBCD)。在每次迭代中,ORBCD只计算一个小批量样本的一个块坐标的部分梯度。ORBCD非常适合于复合最小化问题,其中一个函数是大量样本损失的平均值,另一个是定义在高维变量上的简单正则化子。我们证明了ORBCD的迭代复杂度与OGD或SGD具有相同的数量级。对于强凸函数,通过降低随机梯度的方差,证明了ORBCD可以以几何速度收敛,与方差降低的SGD和RBCD的收敛速度相当.
2014-07-26 cs.LG
Stochastic Learning Rate Optimization in the Stochastic Approximation and Online Learning Settings
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Nevada(内华达大学)
在这项工作中,乘性随机适用于学习率的随机最优化算法,从而产生随机学习率计划。随机梯度下降配备这种新的随机学习率计划下的随机设置,以及在线优化设置下的收敛结果的预期理论收敛结果。实证结果考虑的情况下,自适应均匀分布的乘法随机性,不仅包括随机梯度下降,但也配备了随机学习率的其他流行的算法。相对于其确定性学习率版本,它们表现出明显的优化性能增益。
2022-03-21 cs.LG math.OC
Accelerated Randomized Coordinate Descent Algorithms for Stochastic Optimization and Online Learning
Indian Institute of Science(印度科学学院)
我们提出了加速随机坐标下降算法的随机优化和在线学习。我们的算法有显着减少每迭代的复杂性比已知的加速梯度算法。所提出的在线学习算法具有更好的后悔性能比已知的随机在线坐标下降算法。此外,所提出的随机优化算法表现出良好的收敛速度,最有名的随机坐标下降算法。我们还展示了仿真结果来证明所提出的算法的性能。
2018-07-16 cs.LG stat.ML
HAMSI: A Parallel Incremental Optimization Algorithm Using Quadratic Approximations for Solving Partially Separable Problems
Sabancı University(萨班哲大学);İstanbul Bilgi University(伊斯坦布尔比尔基大学);Boğaziçi University(海峡大学);LTCI, Télécom ParisTech, Université Paris-Saclay(巴黎萨克雷大学巴黎电信技术学院)
我们提出HAMSI(Hessian Approximated Multiple Subsets Iteration),这是一个可证明收敛的二阶增量算法,用于解决大规模部分可分离优化问题。该算法是基于一个局部二次近似,因此,允许将曲率信息,以加快收敛。HAMSI本质上是并行的,它可以很好地随处理器的数量而扩展。结合有效利用现代并行计算机体系结构的技术,我们说明了所提出的方法比并行随机梯度下降收敛更快,当这两种方法被用来解决大规模矩阵分解问题。这种性能提升的代价是使用的内存与优化变量的总大小成线性比例。我们的结论是,HAMSI可以被认为是一个可行的替代方案,在许多大规模的问题,一阶方法的基础上的随机梯度下降的变种是适用的。
2017-08-04 cs.LG stat.ML
Distributionally Time-Varying Online Stochastic Optimization under Polyak-Łojasiewicz Condition with Application in Conditional Value-at-Risk Statistical Learning
The Australian National University(澳大利亚国立大学);The University of Melbourne(墨尔本大学)
本文在 Polyak-Łojasiewicz 条件下研究分布时变的在线随机优化问题,利用 Wasserstein 距离度量分布漂移,建立在线随机梯度下降及近端梯度下降的动态遗憾界,并将其应用于条件风险价值统计学习问题。
2023-09-18 cs.LG math.OC
Stochastic Online Convex Optimization. Application to probabilistic time series forecasting
Laboratoire de Probabilités, Statistique et Modélisation(概率、统计与建模实验室);Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心)
本文构建随机在线凸优化框架,证明在线牛顿步与 Bernstein online aggregation 在无界随机设定下达到已知最优遗憾速率,并用于校准非平稳次高斯时间序列的概率预测器。
2023-04-21 cs.LG math.ST stat.TH
Projection-Free Online Convex Optimization with Stochastic Constraints
KAIST(韩国科学技术院);The University of Sydney(悉尼大学)
针对具有随机约束的在线凸优化问题,本文提出了一种通用的在线原始-对偶无投影框架,并推导出多种设定下的次线性遗憾与约束违背界,在平滑与随机强对偶条件下进一步优化了约束违背的渐近增长率。
2023-05-16 cs.LG math.OC
Online Stochastic Optimization with Multiple Objectives
Michigan State University(密歇根州立大学);GE Global Research(通用电气全球研究中心)
在本文中,我们提出了一个通用的框架来描述和解决多目标随机优化问题的许多现实世界的学习应用。我们首先提出了一个基于投影的算法,达到了$O(T^{-1/3})$收敛速度。然后,利用约束优化中的拉格朗日理论,设计了一种新的原始-对偶随机近似算法,该算法在一般Lipschitz连续目标下获得了$O(T^{-1/2})$的最优收敛速度.
2013-07-14 cs.LG math.OC
Online Covariance Matrix Estimation in Stochastic Gradient Descent
University of Chicago(芝加哥大学);New York University(纽约大学)
随机梯度下降(SGD)算法被广泛应用于参数估计,特别是大数据集和在线学习。虽然这种递归算法是流行的计算和内存效率,量化的可变性和随机性的解决方案很少被研究。本文旨在在线环境下对基于SGD的估计值进行统计推断。特别是,我们提出了一个完全在线估计协方差阵的平均SGD迭代(ASGD)只使用从SGD迭代。我们正式建立我们的在线估计的一致性,并表明收敛速度与离线同行。基于ASGD的经典渐近正态性结果,构造了模型参数的渐近有效置信区间。在接收到新的观测值后,我们可以快速更新协方差阵估计值和置信区间。这种方法适合在线设置,并充分利用SGD:计算和内存效率。
2021-06-22 cs.LG stat.ML
The Implicit Bias of Adam on Separable Data
The University of Hong Kong(香港大学)
本文研究Adam在线性逻辑回归中的隐式偏差,证明在线性可分数据上其收敛于最大$\ell_\infty$-间隔分类器,且在一般递减学习率下可多项式时间收敛。
2024-06-15 cs.LG stat.ML
Online Non-Stationary Stochastic Quasar-Convex Optimization
The Australian National University(澳大利亚国立大学)
本文研究动态环境下的在线随机类星体凸优化,建立基于累积路径变化和梯度方差的在线梯度下降遗憾界,并将其应用于时变参数的广义线性模型,给出多种激活函数下的遗憾界并通过数值实验验证。
2024-07-04 cs.LG math.OC
Online Statistical Inference for Contextual Bandits via Stochastic Gradient Descent
New York University(纽约大学);University of Texas at Austin(得克萨斯大学奥斯汀分校);Purdue University(普渡大学)
本文提出了一种基于随机梯度下降的在线统计推断框架,通过逆概率权重提高估计效率,并分析了自适应数据收集对收敛速度的影响。
2026-01-21 cs.LG stat.ML
Statistical Inference for Online Decision Making via Stochastic Gradient Descent
Department of Statistics, North Carolina State University(北卡罗来纳州立大学统计系)
在线决策旨在通过个性化决策和递归更新决策规则来学习最优决策规则。在大数据的帮助下,这变得比以前更容易,但新的挑战也随之而来。由于决策规则应该每步更新一次,因此使用所有历史数据的离线更新在计算和存储方面是低效的。为此,我们提出了一个完全在线的算法,可以通过随机梯度下降在线决策和更新决策规则。它不仅是有效的,而且支持各种参数奖励模型。针对在线决策的统计推断问题,建立了算法产生的参数估计量和用于估计最优值的在线逆概率加权值估计量的渐近正态性。在线插件估计的参数和值估计的方差也被提供,并显示是一致的,使区间估计和假设检验是可能的,使用我们的方法。通过仿真和新闻文章推荐的实际数据应用,对所提出的算法和理论结果进行了测试。
2020-10-14 cs.LG stat.ML
Imitating Deep Learning Dynamics via Locally Elastic Stochastic Differential Equations
University of Pennsylvania(宾夕法尼亚大学)
理解深度学习模型的训练动态可能是揭开这些模型有效性神秘面纱的必要一步。特别是,当使用随机梯度下降训练神经网络时,来自不同类别的数据如何在其特征空间中逐渐变得可分离?在这项研究中,我们使用一组随机微分方程(SDEs)来模拟深度学习训练期间特征的演变,每个随机微分方程对应于一个训练样本。作为我们建模策略中的一个重要组成部分,每个样本都包含一个漂移项,反映了输入端的反向传播对所有样本特征的影响。我们的主要发现揭示了关于类内影响的急剧相变现象:如果SDEs在某种意义上是局部弹性的,即对与输入相同的类的样本的影响更显著,则训练数据的特征变得线性可分离,这意味着训练损失消失;否则,无论训练时间多长,特征都不可分离。此外,在局部弹性的存在下,我们的SDES的分析表明,出现了一个简单的几何结构,称为神经崩溃的功能。总之,我们的研究结果揭示了局部弹性在神经网络的训练动力学中的决定性作用。我们证实了我们的理论分析与实验的合成数据集的几何形状和CIFAR-10。
2021-10-11 cs.CV cs.LG stat.ML
Online Second Order Methods for Non-Convex Stochastic Optimizations
基于预条件随机梯度下降(PSGD)理论,提出了一类求解可能非凸随机最优化的在线二阶方法,该方法可以看作是一种增强的随机牛顿法,同时具有处理梯度噪声和非凸性的能力.我们以几种方式改进了原始PSGD的实现,例如,新形式的预条件,更精确的海森向量积计算,以及更好的数值稳定性与消失或病态海森,等等。我们还揭示了Kronecker乘积预处理器的特征归一化和PSGD之间的关系,这解释了Kronecker乘积预处理器在深度神经网络学习中的优异性能。提供了一个在Tensorflow中实现的软件包(https://github.com/lixilinx/psgd_tf),用于在具有常用神经网络架构的各种基准问题上比较随机梯度下降(SGD)和PSGD的变化,卷积和递归神经网络。实验结果清楚地表明PSGD的泛化性能和收敛速度方面的优势。
2018-04-29 cs.LG stat.ML
Online and stochastic Douglas-Rachford splitting method for large scale machine learning
Fujitsu Research & Development Center(富士通研究开发中心)
本文提出在线和随机Douglas-Rachford分裂方法,用于大规模优化问题,证明其在在线和随机设置下的收敛性,并通过实验验证其有效性。
2016-12-21 cs.LG cs.NA math.NA
Online DR-Submodular Maximization with Stochastic Cumulative Constraints
University of Washington(华盛顿大学)
本文研究了线性随机长期约束下的在线连续DR-子模极大化问题。与在线次模最大化的先前工作相比,我们的设置引入了随机线性约束函数的额外复杂性,这些函数是独立同分布的。在每一轮产生。确切地说,在步骤$t\in\{1,\dots,T\}$,DR-子模效用函数$f_t(\cdot)$和约束向量$p_t$,i.i.d.从具有平均$p$的未知分布中生成,在提交动作$x_t$后显示,并且我们的目标是在预期的累积资源消耗$\sum_{t=1}^T \langle p,x_t\rangle$低于固定预算$B_T$时最大化总体效用。随机长期约束自然出现在应用程序中,其中有一个有限的预算或资源可用,在每一步的资源消耗是由随机时变环境。我们提出了在线拉格朗日Frank-Wolfe(OLFW)算法来解决这类在线问题。我们分析了OLFW算法的性能,我们得到了次线性遗憾界以及次线性累积约束违反界,无论是在期望和高概率。
2021-05-21 cs.LG math.OC stat.ML
Efficient Projection-Free Online Methods with Stochastic Recursive Gradient
Zhejiang University(浙江大学);University of Pennsylvania(宾夕法尼亚大学);Tencent AI Lab(腾讯人工智能实验室);University of Western Ontario(西安大略大学)
本文主要研究求解光滑在线凸优化(OCO)问题的无投影方法。现有的无投影方法要么达到次优的遗憾界限,或有很高的每次迭代的计算成本。为了填补这一空白,两个有效的投影免费在线方法被称为ORGFW和MORGFW提出解决随机和对抗OCO问题,分别。通过采用递归梯度估计,我们的方法实现了最佳的遗憾界(对数因子),同时具有较低的每次迭代的计算成本。实验结果表明,所提出的方法相比,国家的最先进的效率。
2019-10-24 cs.LG math.OC stat.ML
Online Multilinear Dictionary Learning
Department of Electrical & Electronic Engineering, Imperial College London, United Kingdom(伦敦帝国理工学院电子与电气工程系)
提出了一种在线张量字典学习方法。在可分字典的假设下,利用张量收缩将$\mathcal{O}\left(L^N\right)$的$N$ -路模型简化为具有实时性的简单的$\mathcal{O}\left(NL^2\right)$矩阵方程。为了避免稀疏矩阵求逆引起的数值不稳定性,通过最小二乘解构造了一类具有记忆的随机梯度算法,以保证算法的收敛性和鲁棒性。讨论并实现了精确线搜索的梯度下降法和牛顿法。还详细解释了如何处理不良初始化和离群值的扩展。两个合成信号的实验证实了我们所提出的方法令人印象深刻的性能。
2020-03-10 cs.LG stat.ML
Surrogate Losses for Online Learning of Stepsizes in Stochastic Non-Convex Optimization
Boston University(波士顿大学);Google(谷歌)
随机梯度下降(SGD)在机器学习中发挥了核心作用。然而,它需要一个精心挑选的步长来快速收敛,这是众所周知的繁琐和耗时的调整。在过去的几年里,大量的自适应梯度算法已经出现,以改善这个问题。他们已被证明有效地减少劳动调整在实践中,但他们中的许多人缺乏理论保证,即使在凸设置。在本文中,我们提出了新的代理损失铸造的问题学习的最佳步长的随机优化的非凸光滑的目标函数到一个在线凸优化问题。这允许使用无遗憾在线算法来计算最佳步长。反过来,这导致SGD算法具有自调整的步长,保证了自动适应噪声水平的收敛速度。
2019-06-07 cs.LG math.OC stat.ML
Stochastic Approximation for Online Tensorial Independent Component Analysis
University of California, Berkeley(加州大学伯克利分校)
独立分量分析(ICA)是统计机器学习和信号处理领域的一种常用降维工具。在本文中,我们提出了一个在线张量ICA算法的收敛性分析,通过查看问题作为一个非凸随机逼近问题。对于估计一个组件,我们提供了一个基于动力学的分析,以证明我们的在线张量ICA算法与特定的步长选择实现了尖锐的有限样本误差界。特别地,在对数据生成分布和缩放条件的温和假设下,使得$d^4/T$足够小直到数据维度$d$和样本大小$T$的多对数因子,可以获得$\tilde{O}(\sqrt{d/T})$的尖锐有限样本误差界。
2021-07-29 cs.LG math.OC stat.ML
Minimax Optimal Online Stochastic Learning for Sequences of Convex Functions under Sub-Gradient Observation Failures
Bilkent University(比尔肯特大学)
研究了随机次梯度观测故障下的在线凸优化问题,引入了具有极大极小最优遗憾保证的自适应算法。我们专门研究的情况下,我们的次梯度观测可以是嘈杂的,甚至完全丢失的随机方式。为此,我们提出了基于子梯度下降方法的算法,它实现了紧极小极大最优遗憾界。必要时,这些算法利用潜在的随机设置的属性来优化它们的学习率(步长)。这些优化是提供最小最大最优性能保证的主要因素,特别是当观测值随机丢失时。然而,在现实世界的场景中,底层随机设置的这些属性可能不会透露给优化器。对于这样的情况下,我们提出了一个盲目的算法,估计这些属性的经验,在一个普遍适用的方式。通过大量的实验,我们表明,这种经验方法是一个自然的组合定期随机梯度下降和最小最大优化算法(最好的随机和对抗功能序列,分别)。
2019-04-19 cs.LG math.OC stat.ML
Stochastic Averaging for Constrained Optimization with Application to Online Resource Allocation
University of Minnesota(明尼苏达大学);University of Pennsylvania(宾夕法尼亚大学);Fudan University(复旦大学);Florida Atlantic University(佛罗里达大西洋大学)
现有的随机网络资源分配方法面临着快速收敛和可容忍延迟的挑战。本文利用在线学习的进步,以促进随机资源分配任务。通过认识到拉格朗日乘数的核心作用,基本的约束最优化问题被制定为一个机器学习任务,涉及训练和操作模式,以学习所寻求的乘数在一个快速和有效的方式的目标。为此,一个订单最优的离线学习方法首先开发的批量训练,然后将其推广到在线设置称为学习和适应的过程。新的资源分配协议渗透随机逼近和统计学习的好处,以获得低复杂度的在线更新与学习误差接近统计精度限制,同时仍然保持适应性能,这在随机网络优化的上下文中保证队列稳定性。理论分析和仿真实验表明,该方法在延迟和收敛性能上都有明显的改善。
2017-02-26 cs.DC cs.LG math.OC
Optimal Stochastic Non-smooth Non-convex Optimization through Online-to-Non-convex Conversion
Boston University(波士顿大学);Google Research(谷歌研究)
本文提出新算法,通过将非光滑非凸优化归约为在线学习,将随机梯度查询复杂度从O(ε^{-4}δ^{-1})降至最优的O(ε^{-3}δ^{-1}),并扩展至确定性和二阶光滑情形。
2025-08-07 cs.LG math.OC stat.ML
Between Stochastic and Adversarial Online Convex Optimization: Improved Regret Bounds via Smoothness
University of Amsterdam(阿姆斯特丹大学);Korteweg-de Vries Institute for Mathematics(科尔特韦格-德弗里斯数学研究所);University of Twente(特文特大学);Pontificia Universidad Católica de Chile(智利天主教大学)
随机数据和对抗数据是在线学习中被广泛研究的两种环境。但许多优化任务既不是独立同分布的。也不是完全敌对的,这使得它的根本利益,以获得更好的理论理解之间的世界这两个极端。在这项工作中,我们建立了新的遗憾界在线凸优化的设置,随机i.i.d.之间插值。和完全对抗性的损失通过利用预期损失的平滑性,这些界限用梯度的方差代替了对最大梯度长度的依赖性,这在以前只针对线性损失是已知的。另外,他们削弱了i.i.d.假设,例如,允许敌对中毒轮,这是以前考虑在专家和土匪设置。我们的结果扩展到在线凸优化框架。在完整的身份证上。在这种情况下,我们的边界匹配随机加速结果的预期速率,并且在完全对抗的情况下,它们优雅地恶化以匹配极小极大遗憾。我们还提供了下限表明,我们的遗憾上限是紧的随机方差和对抗性变化的损失梯度的所有中间制度。
2022-06-08 cs.LG math.OC stat.ML
Projection-Free Online Optimization with Stochastic Gradient: From Convexity to Submodularity
Yale Institute for Network Science(耶鲁网络科学研究所);Yale University(耶鲁大学);University of Pennsylvania(宾夕法尼亚大学)
在线优化已经成为解决计算约束和部分信息下的大规模问题的成功框架。目前的在线凸优化方法在每一步都需要投影或精确的梯度计算,这两者对于大规模应用来说都是非常昂贵的。与此同时,在机器学习社区中,非凸优化的趋势日益增长,并且需要在线方法。连续DR-次模函数具有收益递减的性质,是一类可以有效优化的非凸函数。虽然已经引入了在线方法,但它们也存在类似的问题。在这项工作中,我们提出Meta-Frank-Wolfe,第一个在线投影算法,使用随机梯度估计。该算法依赖于在每一轮梯度的仔细采样,并实现了凸和连续子模块优化的最佳$O( \sqrt{T})$对抗遗憾界。我们还提出了一个简单的算法,只需要一个单一的随机梯度估计,在每一轮,并实现了$O(T^{2/3})$随机遗憾界凸和连续的子模块优化。我们应用我们的方法来开发一种新的“提升”框架的在线离散子模块最大化,也看到他们优于目前最先进的技术在各种实验。
2018-06-14 cs.AI cs.DS cs.LG
Condition Number Analysis of Logistic Regression, and its Implications for Standard First-Order Solution Methods
MIT Sloan School of Management(麻省理工学院斯隆管理学院);University of California, Berkeley(加州大学伯克利分校)
逻辑斯谛回归是二分类中最流行的方法之一,其中模型参数的估计通过求解最大似然(ML)最优化问题来进行,并且ML估计被定义为该问题的最优解。当数据不可分时,ML估计量存在,而当数据可分时,ML估计量不存在。一阶方法是解决大规模逻辑斯谛回归问题的首选算法。在本文中,我们引入了一对条件数,衡量的程度的不可分离或可分离的一个给定的数据集在设置的二进制分类,我们研究这些条件数如何涉及和通知的性质和一阶方法的收敛保证。当训练数据是不可分离的,我们表明,不可分离的程度自然进入分析,并通知两个标准的一阶方法的属性和收敛保证:最速下降(对于任何给定的范数)和随机梯度下降。扩展巴赫的工作,我们还展示了如何进入分析的线性收敛的最速下降(不需要强凸性),以及随机梯度下降的自适应收敛的不可分离的程度。当训练数据是可分离的时,一阶方法相当奇怪地具有良好的经验成功,这在理论上还没有得到很好的理解。在可分离数据的情况下,我们演示了如何进入分析的$\ell_2$最速下降和随机梯度下降提供近似最大利润率的解决方案,以及相关的计算保证的可分离程度。这表明一阶方法可以在可分离的情况下产生统计上有意义的解,即使ML解不存在。
2018-10-20 cs.LG math.OC stat.CO
A Linearly Convergent Conditional Gradient Algorithm with Applications to Online and Stochastic Optimization
Technion - Israel Inst. of Tech.(以色列理工学院)
线性优化在算法上比非线性凸优化简单许多倍。线性优化拟阵多面体,匹配多面体和路径多面体的问题,我们有简单而有效的组合算法的例子,但其非线性凸对应更难,并承认显着效率较低的算法。这就激发了凸优化的计算模型,包括离线,在线和随机设置,使用线性优化预言机。在这个计算模型中,我们给出了几个新的结果,改善了以前的国家的最先进的。我们的主要结果是一个新的条件梯度算法光滑和强凸优化多面体集,执行只有一个单一的线性优化步骤,在每个迭代的域上,并享有线性收敛速度。这给出了一个指数级的改善收敛速度比以前的结果。基于这个新的条件梯度算法,我们给出了第一个算法的在线凸优化多面体集,只执行一个单一的线性优化步骤的域,同时有最佳的遗憾保证,回答一个悬而未决的问题Kalai和Vempala,Hazan和羽衣甘蓝。我们的在线算法也意味着条件梯度算法的非光滑和随机凸优化与投影(子)梯度方法相同的收敛速度。
2015-08-14 cs.LG math.OC stat.ML
Escaping From Saddle Points --- Online Stochastic Gradient for Tensor Decomposition
Microsoft Research New England(微软新英格兰研究院);University of California Irvine(加州大学欧文分校);University of California Berkeley(加州大学伯克利分校);Cornell University(康奈尔大学)
我们分析了优化非凸函数的随机梯度下降。在许多情况下,非凸函数的目标是找到一个合理的局部最小值,主要问题是梯度更新被困在鞍点。在本文中,我们确定严格的鞍性质的非凸问题,允许有效的优化。利用这一性质,我们证明了随机梯度下降收敛到一个局部最小的多项式迭代次数。据我们所知,这是第一个工作,使全球收敛保证随机梯度下降的非凸函数指数许多局部极小值和鞍点。我们的分析可以应用于正交张量分解,它被广泛用于学习丰富的潜变量模型。针对具有严格鞍点性质的张量分解问题,提出了一种新的优化公式。从而得到了第一个具有全局收敛性保证的正交张量分解的在线算法。
2015-03-06 cs.LG math.OC stat.ML
Fast and Robust Online Inference with Stochastic Gradient Descent via Random Scaling
Columbia University(哥伦比亚大学);Rutgers University(罗格斯大学);Seoul National University(首尔国立大学);McMaster University(麦克马斯特大学)
我们开发了一种新的方法在线推断的参数估计的Polyak-Ruppert平均过程的随机梯度下降(SGD)算法的向量。我们利用计量经济学中时间序列回归的见解,通过随机尺度构建渐近关键统计。我们的方法是完全可操作的在线数据,并严格支持的功能中心极限定理。我们提出的推理方法与现有方法相比具有几个关键优势。首先,检验统计量以仅SGD迭代的在线方式计算,并且可以在没有任何重新排序方法的情况下获得临界值,从而允许适合于大量在线数据的高效实现。其次,没有必要估计渐近方差和我们的推理方法被证明是强大的SGD算法在模拟实验中的调整参数的变化与合成数据。
2021-10-07 cs.LG econ.EM math.ST
A Forward Propagation Algorithm for Online Optimization of Nonlinear Stochastic Differential Equations
University of Oxford(牛津大学)
在平稳分布的随机微分方程(SDEs)上进行优化在计算上具有挑战性。最近提出了一种新的前向传播算法在线优化的SDES。该算法求解使用前向微分推导出的SDE,它提供了梯度的随机估计。该算法同时不断更新模型的参数和梯度估计。本文研究了非线性耗散随机微分方程前向传播算法的收敛性。我们利用这类非线性微分方程的遍历性来刻画过渡半群及其导数的收敛速度。然后,我们证明的解决方案的泊松偏微分方程(PDE)的预期时间积分的算法的随机波动周围的方向的最速下降。然后,我们重写的算法使用PDE解决方案,这使我们能够表征参数的演变方向周围的最速下降。我们的主要结果是一个收敛定理的前向传播算法的非线性耗散SDES。
2022-07-10 cs.LG math.PR q-fin.MF
Nesterov Meets Optimism: Rate-Optimal Separable Minimax Optimization
University of California, Berkeley(加州大学伯克利分校);University of California, Los Angeles(加州大学洛杉矶分校);Université de Montréal(蒙特利尔大学);Mila(米拉研究所)
针对可分离双线性耦合极小极大问题,论文提出 AG-OG Descent Ascent,将 Nesterov 加速与乐观梯度结合并辅以重启,在确定性和随机设置下均实现最优收敛速率。
2023-08-14 cs.GT cs.LG math.OC
Regularized Online Allocation Problems: Fairness and Beyond
Columbia Business School(哥伦比亚大学商学院);Google Research(谷歌研究院);University of Chicago Booth School of Business(芝加哥大学布斯商学院);Google(谷歌)
具有资源约束的在线分配问题在运筹学中有着丰富的历史。在本文中,我们介绍了\emph{regularized online allocation problem},一个变种,其中包括一个非线性正则化的总资源消耗。在这个问题中,请求会随着时间的推移重复到达,对于每个请求,决策者需要采取一个产生奖励并消耗资源的行动。我们的目标是同时最大化可加可分的回报和一个不可分的正则化的资源约束下的价值。我们的主要动机是允许决策者权衡可分离的目标,如分配的经济效率与辅助,不可分离的目标,如分配的公平或公正。我们设计了一个简单、快速的算法,并且在随机i.i.d.~和对抗性输入。特别是,我们的算法是渐近最优下随机i.i.d.当输入是对抗性的时,输入建模并获得取决于正则化器的固定竞争比。此外,该算法和分析不需要报酬函数和消费函数的凸性或凸性,这允许更大的模型灵活性。数值实验证实了所提出的算法和正则化在互联网广告应用中的有效性。
2021-11-05 cs.LG math.OC
Stochastic Online Learning with Feedback Graphs: Finite-Time and Asymptotic Optimality
Google Research(谷歌研究院);Courant Institute(库朗研究所)
我们重新审视随机在线学习与反馈图的问题,设计的目标是最佳的算法,常数,渐近和在有限的时间。我们发现,令人惊讶的是,最佳有限时间后悔的概念是不是一个唯一定义的属性在这种情况下,在一般情况下,它是解耦的渐近速率。我们讨论替代选择,并提出了有限时间最优性的概念,我们认为是\emph{meaningful}。对于这一概念,我们给出了一个算法,承认准最优后悔在有限时间和渐近。
2022-06-20 cs.LG
S$^{2}$-PINN: Stochastic Separable Physics-Informed Neural Networks
Lehigh University(理海大学)
针对随机PDE的UQ,提出S$^{2}$-PINN,利用可分离张量结构结合gPC基,在多个基准上优于九种基线,参数更少,并验证了泛化能力。
2026-11-05 cs.LG math-ph math.MP
Offline Local Search for Online Stochastic Bandits
Boston University(波士顿大学);University of Houston(休斯顿大学);University of Texas at Dallas(德克萨斯大学达拉斯分校)
本文提出一种将离线局部搜索算法转化为在线随机组合老虎机算法的方法,实现O(log^3 T)的近似遗憾,优于现有方法的多项式依赖T的遗憾。
2026-04-10 cs.LG
Online Reinforcement Learning in Stochastic Games
我们研究了平均奖励随机博弈中的在线强化学习。SG在马尔可夫环境中对两人零和博弈进行建模,其中状态转换和一步支付由学习者和对手同时确定。我们提出了UCSG算法,实现了一个次线性的遗憾相比,与任意对手竞争时的游戏值。该结果改进了相同设置下的先前结果。遗憾边界依赖于直径,这是一个内在的价值有关的混合性质的SGs。如果我们让对手对学习者采取乐观的最佳对策,UCSG会找到样本复杂度为$\tilde{\mathcal{O}}\left(\text{poly}(1/\varepsilon)\right)$的$\varepsilon$ -maximin平稳策略,其中$\varepsilon$是最佳策略的差距。
2017-12-02 cs.LG
Non-separable Spatio-temporal Graph Kernels via SPDEs
Finnish Center for Artificial Intelligence FCAI(芬兰人工智能中心FCAI);Aalto University(阿尔托大学);University of Manchester(曼彻斯特大学)
本文利用SPDE与图上高斯过程的联系,提出推导不可分离时空图核的框架,并在热方程与波动方程上构建图核,在实际应用中优于现有图核。
2024-12-27 cs.LG stat.ML
Fast Algorithms for Online Stochastic Convex Programming
Microsoft Research(微软研究院)
我们介绍了在线随机凸规划(CP)问题,一个非常一般的版本的随机在线问题,允许任意凹目标和凸可行性约束。在线随机包装与覆盖、在线随机匹配等问题是在线随机CP的一个特例。我们提出了快速算法,这些问题,实现了近最佳的遗憾保证的i.i.d.以及随机输入的随机置换模型。当应用到特殊情况下的在线包装,我们的想法产生一个更简单,更快的原始-对偶算法,这个研究问题,实现了最佳的竞争比。我们的技术明确的连接原始-对偶范式和在线学习在线随机CP。
2014-10-28 cs.DS cs.LG math.OC
Sequential Stochastic Optimization in Separable Learning Environments
The Coca-Cola Company(可口可乐公司);Georgia Institute of Technology(佐治亚理工学院)
我们考虑一类顺序决策问题的不确定性,可以包括各种类型的监督学习的概念。这些问题有完全可观察的状态过程和部分可观察的调制过程,其中状态过程仅通过观察过程受到调制过程的影响,观察过程仅观察调制过程,并且调制过程对于控制是外生的。我们将这类问题建模为部分观测的马尔可夫决策过程(POMDP)。调制过程的置信函数是控制不变的,从而将调制过程的估计与状态过程的控制分离。我们将这种特殊结构的POMDP称为可分离的POMDP,或SEP-POMDP,并表明它(i)可以作为广泛的应用领域的模型,例如,库存控制、金融、医疗保健系统,(ii)从一组完全观察到的MDP中继承价值函数和最优策略结构,(iii)可以作为具有完全指定的模型工件的不确定性下的顺序决策的经典模型与未完全指定并需要使用来自统计和机器学习的预测方法的模型之间的桥梁,以及(iv)允许专门的近似解过程。
2021-08-21 cs.LG math.OC stat.ML
On the Value of Stochastic Side Information in Online Learning
University of Melbourne(墨尔本大学)
我们研究了随机边信息在确定性在线学习场景中的有效性。我们提出了一个预测器来预测一个确定性的序列,其性能进行评估,对一个专家类。我们假设,某些随机边信息是提供给预测,但不是专家。我们定义了极大极小期望后悔的预测性能进行评估,我们得到的上限和下限。因此,我们的研究结果的特点,由于随机边信息的遗憾的改善。与经典的具有后悔尺度的在线学习问题相比,当随机边信息比专家信息更强时,后悔可以是负的,时间复杂度为O(\sqrt(n)).为了说明这一点,我们将建议的界限应用于两个不同类型边信息的具体例子。
2023-03-09 cs.LG eess.SP
Learning Mixtures of Separable Dictionaries for Tensor Data: Analysis and Algorithms
Rutgers, The State University of New Jersey(罗格斯大学新泽西州立大学);Electronic Arts(美国艺电)
这项工作解决了使用结构化字典学习学习张量数据的稀疏表示的问题。它提出了通过推广可分离字典学习模型来学习可分离字典的混合,以更好地捕获张量数据的结构。两种不同的方法学习混合的可分离的字典进行了探讨,并在每种情况下的基础字典的局部可识别性的充分条件。此外,计算算法的开发,以解决学习混合的可分离字典在批处理和在线设置的问题。数值实验表明,所提出的模型和算法的有效性。
2020-06-14 cs.IT cs.LG eess.SP
An Online Stochastic Kernel Machine for Robust Signal Classification
U.S. Naval Research Laboratory(美国海军研究实验室)
我们提出了一种新的变化的在线内核机,其中我们利用基于共识的优化机制,以指导决策函数的演变从再生核希尔伯特空间,有效地模拟所观察到的平稳过程。
2019-12-16 cs.LG eess.SP stat.ML
Deep Reinforcement Learning for Online Control of Stochastic Partial Differential Equations
University of Toronto(多伦多大学);Vector Institute(向量研究所)
在许多领域,如物理科学,生命科学和金融,控制方法被用来实现由微分方程控制的复杂动力系统的预期目标。在这项工作中,我们制定了控制随机偏微分方程(SPDE)的问题作为一个强化学习问题。提出了一种基于学习的分布式控制方法,利用深度确定性策略梯度方法对具有高维状态-动作空间的SPDE系统进行在线控制。我们测试了我们的方法控制随机Burgers方程的问题上的性能,描述了一个湍流流体流动在一个无限大的域。
2021-12-08 cs.LG math.DS
A Unified Approach to Adaptive Regularization in Online and Stochastic Optimization
Google Brain(谷歌大脑)
我们描述了一个框架,推导和分析在线优化算法,包括自适应,数据相关的正则化,也称为预处理。这样的算法已被证明是有用的随机优化,根据数据的几何形状重塑梯度。我们的框架捕获并统一了许多关于自适应在线方法的现有文献,包括AdaGrad和在线牛顿步算法以及它们的对角版本。因此,我们获得了新的收敛性证明,这些算法比以前的分析要简单得多。我们的框架还揭示了常见的随机优化方法中使用的不同的预处理更新的基本原理。
2017-06-20 cs.LG math.OC stat.ML
Online Passive-Aggressive Total-Error-Rate Minimization
National University of Singapore(新加坡国立大学);Department of Statistics and Applied Probability, National University of Singapore(新加坡国立大学统计与应用概率系)
我们提供了一个新的在线学习算法,利用在线被动攻击学习(PA)和总错误率最小化(TER)的二进制分类。PA学习不仅建立了大范围的训练,而且还建立了处理不可分离数据的能力。另一方面,TER学习最小化基于目标函数的近似分类误差。我们提出了一个在线PATER算法,结合这些有用的属性。此外,我们还提出了一个加权的PATER算法,以提高处理数据不平衡问题的能力。实验结果表明,所提出的PATER算法在效率和有效性方面比现有的最先进的在线学习算法在现实世界的数据集上取得了更好的性能。
2020-02-05 cs.LG stat.ML
Learning-Augmented Online Bidding in Stochastic Settings
CNRS and International Laboratory on Learning Systems, Montreal, Canada(法国国家科学研究中心和学习系统国际实验室,加拿大蒙特利尔);Université Grenoble Alpes, CNRS, INRIA, Grenoble INP, LIG, Grenoble, France(格勒诺布尔阿尔卑斯大学,法国国家科学研究中心,法国国家信息与自动化研究所,格勒诺布尔INP,格勒诺布尔理工大学,法国)
该研究针对结合随机性的学习增强场景下的在线竞价问题,分别探究分布预测下的帕累托最优竞价算法,以及随机竞价算法的能力与局限,弥补了过往研究对随机信息和随机算法关注不足的问题。
2025-10-29 cs.GT cs.LG
Deep Online Learning with Stochastic Constraints
Technion - Israel Institute of Technology(以色列理工学院)
深度学习模型在许多离线机器学习任务中被认为是最先进的。然而,开发的许多技术不适合在线学习任务。当需要同时考虑多个损失函数时,将深度学习模型用于序列数据的问题变得更加困难,正如在许多现实世界的应用中一样。因此,在本文中,我们提出了一种新的在线深度学习训练过程,无论神经网络的架构如何,都可以使用该过程,旨在处理多目标情况。我们证明了我们的算法在几个基准数据集上的Neyman-Pearson分类问题的有效性。
2019-05-26 cs.LG stat.ML
A Survey of Online Experiment Design with the Stochastic Multi-Armed Bandit
University of British Columbia(不列颠哥伦比亚大学)
自适应序贯试验设计是众多领域的研究热点。我们调查和综合的在线统计学习范式的工作,被称为多武装土匪整合现有的研究作为资源,为某一类在线实验。我们首先探讨了传统的随机模型的多臂土匪,然后探讨该模型的并发症的分类方案,对于每个并发症涉及到一个特定的要求或考虑的实验设计背景。最后,在本文的最后,我们提出了一个表的所有研究算法的遗憾的已知上限提供了未来的理论工作的角度和决策工具的从业者寻找理论保证。
2015-11-03 cs.LG stat.ML
Bandit Multiclass Linear Classification for the Group Linear Separable Case
Kasetsart University(农业大学)
我们考虑了在线多类线性分类下的强盗反馈设置。Beygelzimer,Pál,Szörényi,Thiruvenkatachari,Wei和Zhang [ICML'19]考虑了两个线性可分性的概念,弱线性可分性和强线性可分性。当样本是强线性可分的且边界为$γ$时,他们提出了一种基于多类感知器的错误界为$O(K/γ^2)$的算法,其中$K$是类的数目。在弱线性可分的条件下,利用有理核对例子进行了处理,得到了$\min(K\cdot 2^{\tilde{O}(K\log^2(1/γ))},K\cdot 2^{\tilde{O}(\sqrt{1/γ}\log K)})$的错误界。本文改进了弱线性可分性的概念来支持类分组的概念,称为组弱线性可分条件。这种情况可能是由于类结构包含固有的分组。证明了在此条件下,我们也可以利用有理核得到$K\cdot 2^{\tilde{O}(\sqrt{1/γ}\log L)})$的错误界,其中$L\leq K$表示群的个数.
2021-08-31 cs.LG stat.ML
slimTrain -- A Stochastic Approximation Method for Training Separable Deep Neural Networks
Emory University(埃默里大学);Virginia Tech(弗吉尼亚理工学院暨州立大学);Fictional University(虚构大学);Imagination Corp.(想象公司)
深度神经网络(DNN)已经在许多应用中成功地作为高维函数逼近器;然而,训练DNN通常具有挑战性。DNN训练通常被称为随机优化问题,其挑战包括非凸性,非平滑性,正则化不足和复杂的数据分布。因此,DNN在给定任务上的性能关键取决于调整超参数,特别是学习率和正则化参数。在缺乏类似任务的理论指导或先前经验的情况下,这需要解决许多训练问题,这可能非常耗时,并且对计算资源要求很高。这可能会限制DNN对非标准、复杂和稀缺数据集问题的适用性,例如,在许多科学应用中出现的问题。为了弥补DNN训练的挑战,我们提出了slimTrain,这是一种随机优化方法,用于训练DNN,降低对选择超参数的敏感性和快速初始收敛。slimTrain的中心思想是利用许多DNN架构中固有的可分性;也就是说,我们将DNN分成一个非线性特征提取器,然后是一个线性模型。这种可分性使我们能够利用最近的进展,解决大规模,线性,不适定的逆问题。至关重要的是,对于线性权重,slimTrain不需要学习率,并自动适应正则化参数。由于我们的方法在小批量上操作,因此每次迭代的计算开销是适度的。在我们的数值实验中,slimTrain在推荐的超参数设置下优于现有的DNN训练方法,并降低了DNN训练对其余超参数的敏感性。
2021-09-28 cs.LG cs.NA math.NA
Average performance analysis of the stochastic gradient method for online PCA
National Physical Laboratory(国家物理实验室);FEMTO-ST Institute(FEMTO-ST研究所);Université de Bourgogne Franche-Comté(勃艮第弗朗什-孔泰大学)
本文研究了随机梯度PCA算法的复杂性时,数据是在流设置观察。我们还提出了一个在线的方法来选择学习率。仿真实验证实了平原随机梯度方法的实际相关性,并通过学习学习率可以实现大幅改善。
2018-04-03 cs.LG math.ST stat.ML