Variance Reduction in Stochastic Particle-Optimization Sampling
Fudan University(复旦大学);SUNY at Buffalo(纽约州立大学布法罗分校)
随机粒子优化采样(SPOS)是最近发展起来的可扩展贝叶斯采样框架,它统一了基于Wasserstein梯度流的随机梯度MCMC(SG-MCMC)和Stein变分梯度下降(SVGD)算法。SPOS算法采用严格的非渐近收敛理论,避免了SVGD算法的粒子坍缩缺陷。然而,SPOS的方差减少从未被研究过。在本文中,我们提出了几个方差减少技术SPOS弥合差距。具体来说,我们提出了三种变体的方差减少SPOS,称为SAGA粒子优化采样(SAGA-POS),SVRG粒子优化采样(SVRG-POS)和SVRG-POS的变体,它避免了完整的梯度计算,表示为SVRG-POS $^+$。重要的是,我们根据2-Wasserstein度量为这些算法提供了非渐进收敛保证,并分析了它们的复杂性。值得注意的是,结果表明,我们的算法比随机Langevin动力学的现有方差减少变体产生更好的收敛速度,即使需要更多的空间来存储训练中的粒子。我们的理论与合成和真实数据集上的实验结果一致。
2018-11-20 cs.LG stat.ML
On Variance Reduction in Stochastic Gradient Descent and its Asynchronous Variants
Carnegie Mellon University(卡内基梅隆大学);Massachusetts Institute of Technology(麻省理工学院)
研究了基于方差缩减的随机梯度下降优化算法。最近通过SAG、SVRG、SAGA等算法的发展,在这个方向上取得了显著的进展。这些算法已经被证明优于SGD,无论是理论上还是经验上。然而,这些算法的异步版本-现代大规模应用程序的一个关键要求-还没有被研究。我们提出了一个统一的框架,许多方差减少技术弥合这一差距。随后,我们提出了一个异步算法接地在我们的框架,并证明了其快速收敛。我们的一般方法的一个重要后果是,它会产生异步版本的方差减少算法,如SVRG和SAGA作为副产品。我们的方法在机器学习常见的稀疏设置中实现了接近线性的加速。我们证明了我们的方法通过具体实现异步SVRG的经验性能。
2016-01-25 cs.LG stat.ML
Stochastic Variance Reduction for Deep Q-learning
Carnegie Mellon University(卡内基梅隆大学);Shanghai Jiao Tong University(上海交通大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
深度强化学习的最新进展已经在各种现实世界的应用中实现了人类水平的性能。然而,目前的算法仍然遭受差的梯度估计与过多的方差,导致不稳定的训练和低的样本效率。在我们的论文中,我们提出了一个创新的优化策略,利用随机方差降低梯度(SVRG)技术。通过对Atari域的广泛实验,我们的方法在20个游戏中的18个上优于深度q学习基线。
2019-05-20 cs.LG stat.ML
Deep Variational Sufficient Dimensionality Reduction
University of Waterloo(滑铁卢大学);Vector Institute(向量研究所)
我们考虑充分降维(SDR)的问题,其中高维观测被转换到一个低维的子空间,在该子空间中,关于标签变量的观测信息被保留。我们提出了DVSDR,一个深度变分方法,充分降维。我们模型中的深层结构有一个瓶颈,代表数据的低维嵌入。我们使用图形模型解释SDR问题,并使用变分自编码器的框架来最大化观察和标签的联合分布的对数似然的下限。我们表明,这样的最大化问题可以解释为解决SDR问题。DVSDR可以很容易地应用到半监督学习环境中。在我们的实验中,我们表明,DVSDR在分类任务上具有竞争力,同时能够生成新的数据样本。
2018-12-18 cs.LG stat.ML
Finding Local Minima via Stochastic Nested Variance Reduction
University of Virginia(弗吉尼亚大学)
我们提出了两个算法,可以找到局部极小值的速度比国家的最先进的算法在有限和一般的随机非凸优化。所提出的算法的核心是使用随机嵌套方差减少的$\text{One-epoch-SNVRG}^+$(Zhou等人,2018 a),其性能优于最先进的方差缩减算法,如SCSG(Lei等人,2017年)的报告。特别是,对于有限和优化问题,所提出的$\text{SNVRG}^{+}+\text{Neon2}^{\text{finite}}$算法实现了$\tilde{O}(n^{1/2}ε^{-2}+nε_H^{-3}+n^{3/4}ε_H^{-7/2})$梯度复杂度,以收敛到$(ε, ε_H)$ -二阶稳定点,在广泛的范围内优于$\text{SVRG}+\text{Neon2}^{\text{finite}}$(Allen-Zhu和Li,2017),这是现有的最佳算法。对于一般的随机优化问题,提出的$\text{SNVRG}^{+}+\text{Neon2}^{\text{online}}$实现了$\tilde{O}(ε^{-3}+ε_H^{-5}+ε^{-2}ε_H^{-3})$梯度复杂度,在某些情况下优于$\text{SVRG}+\text{Neon2}^{\text{online}}$(Allen-Zhu和Li,2017)和Natasha 2(Allen-Zhu,2017)。此外,我们探讨了三阶…
2018-06-22 cs.LG stat.ML
Stochastic Optimization with Variance Reduction for Infinite Datasets with Finite-Sum Structure
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔理工学院);LJK(让·昆茨曼实验室)
具有方差减少的随机最优化算法已被证明是成功的,用于最小化函数的大有限和。不幸的是,这些技术无法处理输入数据的随机扰动,例如由数据扩增引起的。在这种情况下,目标不再是有限和,优化的主要候选是随机梯度下降法(SGD)。在本文中,我们引入了一个方差减少的方法,这些设置时,目标是复合和强凸的。收敛速度优于SGD与一个典型的小得多的常数因子,这取决于梯度估计的方差,仅由于一个单一的例子扰动。
2017-11-15 cs.LG math.OC stat.ML
Stochastic dual averaging methods using variance reduction techniques for regularized empirical risk minimization problems
Tokyo Institute of Technology(东京工业大学);Japan Science and Technology Agency(日本科学技术振兴机构)
我们考虑一个复合凸最小化问题与正则化的经验风险最小化,这经常出现在机器学习。本文提出了两种新的随机梯度法,它们是基于方差缩减的随机对偶平均方法。我们的方法生成一个稀疏的解决方案比现有的方法,因为我们不需要采取的平均历史的解决方案。这在可解释性和概括性方面都是有利的。此外,我们的方法有理论支持的强和非强凸正则化,并实现现有的非加速随机梯度法之间的最佳收敛速度。
2016-03-08 cs.LG math.OC stat.ML
Kalman Gradient Descent: Adaptive Variance Reduction in Stochastic Optimization
我们介绍卡尔曼梯度下降,一个随机最优化算法,使用卡尔曼滤波,自适应地减少梯度方差随机梯度下降的梯度估计过滤。我们提出了在非凸设置和实验结果表明,在各种机器学习领域,包括神经网络和黑箱变分推断的性能提高收敛的理论分析。我们还提出了一个分布式版本,我们的算法,使大规模的优化,我们扩展我们的算法SGD与动量和RMSProp。
2018-10-29 cs.LG math.OC stat.ML
Amortized variance reduction for doubly stochastic objectives
University of Warwick(华威大学)
在复杂的概率模型,如深高斯过程的近似推理需要优化的双随机目标函数。这些目标将随机性从小批量抽样的数据和蒙特卡罗估计的期望。如果梯度方差高,则随机优化问题变得困难,收敛速度慢。控制变量可以用来减少方差,但过去的方法没有考虑小批量随机性如何影响抽样随机性,导致次优方差减少。我们提出了一种新的方法,在该方法中,我们使用一个识别网络来廉价地近似每个小批量的最优控制变量,没有额外的模型梯度计算。我们说明了这个建议的性质,并测试其性能的逻辑斯谛回归和深高斯过程。
2020-03-09 cs.LG stat.ME stat.ML
Stochastic Variance Reduction for Variational Inequality Methods
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Linköping University(林雪平大学)
我们提出了求解凸凹鞍点问题、单调变分不等式和单调包含的随机方差缩减算法。我们的框架适用于外梯度,向前向后向前,向前反射向后的方法在欧几里得和布雷格曼设置。所有提出的方法收敛于相同的设置,因为他们的确定性同行,他们要么匹配或提高最知名的复杂性,解决结构化的最小最大问题。我们的结果加强了变分不等式的方差约化与极小化之间的对应关系。我们还说明了我们的方法的改进与数值计算上的矩阵对策。
2022-06-11 cs.LG math.OC stat.ML
A Unified Framework for Stochastic Matrix Factorization via Variance Reduction
National University of Singapore(新加坡国立大学)
我们提出了一个统一的框架,以加快现有的随机阵分解(SMF)算法,通过减少方差。我们的框架是一般的,它包括几个著名的SMF配方在文献中。我们进行了非渐近收敛分析我们的框架,并得出计算和样本的复杂性,我们的算法收敛到一个$ε$ -平稳点的期望。此外,广泛的SMF配方类的广泛实验表明,我们的框架始终产生更快的收敛和更准确的输出字典相对于国家的最先进的框架。
2017-05-22 cs.LG math.OC stat.ML
Sufficient dimension reduction for feature matrices
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
我们解决的问题,充分降维的特征矩阵,这经常出现在传感器网络定位,脑神经成像,脑电图分析。通常,特征矩阵具有行和列两种解释,并且包含可能在朴素向量化方法中丢失的结构信息。为了解决这个问题,我们提出了一种方法称为主支持矩阵机(PSMM)的矩阵充分降维。PSMM通过将响应变量划分为切片,将充分降降维问题转化为一系列分类问题。它有效地利用了矩阵结构,通过寻找超平面与秩-1正常矩阵,最佳地分离切片响应。此外,我们将我们的方法扩展到高阶张量的情况下。我们的数值分析表明,PSMM优于现有的方法,并在实际数据应用中具有很强的可解释性。
2023-03-07 cs.LG stat.ME stat.ML
Nonconvex Sparse Learning via Stochastic Optimization with Progressive Variance Reduction
University of Minnesota Twin Cities(明尼苏达大学双城分校);Johns Hopkins University(约翰斯·霍普金斯大学);Northwestern University(西北大学)
针对基数约束下的稀疏学习问题,提出了一种随机方差缩减优化算法。充分条件下,该算法具有很强的线性收敛保证和最佳的估计精度在高维。我们进一步扩展所提出的算法的异步并行变种与近线性加速比。数值实验表明,我们的算法在参数估计和计算性能方面的效率。
2017-12-23 cs.LG math.OC stat.ML
Sufficient dimension reduction for classification using principal optimal transport direction
Institute of Statistics and Big Data, Renmin University of China(中国人民大学统计与大数据研究院);School of Mathematics and Statistics, Beijing Institute of Technology(北京理工大学数学与统计学院);Center for Statistical Science, Tsinghua University(清华大学统计科学中心);Department of Statistics, University of Georgia(佐治亚大学统计系)
充分降维作为一种有监督的降维方法被广泛使用。现有的大多数充分降维方法都是针对连续响应的数据开发的,并且对于分类响应,特别是对于二进制响应,可能具有不令人满意的性能。为了解决这个问题,我们提出了一种新的估计方法,充分降维子空间(SDR子空间)使用最佳运输。所提出的方法,命名为主最优传输方向(POTD),估计SDR子空间的基础上使用的最优传输耦合的数据之间的主方向尊重不同的响应类别。所提出的方法还揭示了三个看似无关的主题之间的关系,即,充分降维、支持向量机和最优传输。我们研究了POTD的渐近性质,并表明,在类标签不包含错误的情况下,POTD估计SDR子空间排他。实证研究表明,POTD优于大多数最先进的线性降维方法。
2021-02-02 cs.LG stat.ME stat.ML
Variance Reduction for Distributed Stochastic Gradient Descent
University of Maryland, College Park(马里兰大学帕克分校);United States Naval Academy(美国海军学院)
方差缩减(VR)方法通过使用更大的恒定步长和保持线性收敛速度来提高随机梯度下降(SGD)的性能。然而,当前方差减小的SGD方法需要高存储器使用率或在每个时期结束时的精确梯度计算(使用整个数据集)。这限制了VR方法在实际分布式环境中的使用。在本文中,我们提出了一种方差降低方法,称为VR-lite,不需要完整的梯度计算或额外的存储。我们探索分布式的同步和异步的变种,可扩展的,保持稳定的低通信频率。我们经验比较的顺序和分布式算法的国家的最先进的随机优化方法,并发现我们提出的算法表现良好,其他随机方法。
2017-04-07 cs.DC cs.LG math.OC
Stochastic Recursive Variance Reduction for Efficient Smooth Non-Convex Compositional Optimization
Peking University(北京大学);University of Rochester(罗切斯特大学);Kwai Inc.(快手公司)
随机组合优化出现在许多重要的机器学习任务中,例如强化学习和投资组合管理中的价值函数评估。目标函数是随机函数的两个期望的组合,并且比普通随机最优化问题更具有挑战性。本文研究了一般光滑非凸环境下的随机合成优化问题。我们采用最近发展起来的\textit{Stochastic Recursive Gradient Descent}的思想设计了一个新的算法SARAH-Compositional,并证明了一个尖锐的增量一阶Oracle(IFO)复杂性上界:$\mathcal{O}((n+m)^{1/2} \varepsilon^{-2})$在有限和情况下和$\mathcal{O}(\varepsilon^{-3})$在线的情况下.这样的复杂性是已知的最好的一个IFO复杂性结果的非凸随机组合优化,并被认为是最优的。我们的实验验证了我们的算法的理论性能。
2020-01-25 cs.LG math.OC stat.ML
Variance Reduction and Low Sample Complexity in Stochastic Optimization via Proximal Point Method
Goergen Institute for Data Science and Artificial Intelligence (GIDS-AI)(数据科学与人工智能研究所);Department of Computer Science, University of Rochester(计算机科学系)
本文提出一种随机近点法,通过方差缩减和概率增强技术,在无需强噪声假设的情况下实现低样本复杂度的随机优化收敛。
2025-12-21 cs.LG math.OC stat.ML
Stochastic Halpern Iteration with Variance Reduction for Stochastic Monotone Inclusions
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Pontificia Universidad Católica de Chile(智利天主教大学)
我们研究随机单调包含问题,它广泛出现在机器学习应用中,包括鲁棒回归和对抗学习。我们提出了新的变种随机Halpern迭代递归方差减少。在共强制(更一般地是Lipschitz单调)设置中,我们的算法通过$\mathcal{O}(\frac{1}{ε^3})$随机算子评估获得了算子的$ε$范数,这显着改善了现有单调包含求解器所需的最新技术水平的$\mathcal{O}(\frac{1}{ε^4})$随机算子评估。应用于相同的问题类。我们进一步展示了如何耦合的随机Halpern迭代与预定的重新启动计划,以解决随机单调包含问题的${\mathcal{O}}(\frac{\log(1/ε)}{ε^2})$随机算子评估下额外的锐度或强单调性假设的一个拟议的变种。
2023-01-08 cs.LG math.OC
Zeroth-order Asynchronous Doubly Stochastic Algorithm with Variance Reduction
University of Texas at Arlington(德克萨斯大学阿灵顿分校)
零阶(无导数)优化在机器学习中吸引了很多关注,因为显式梯度计算可能在计算上昂贵或不可行。为了处理体积和维数都很大的问题,近年来提出了异步双随机零阶算法。现有的异步双随机零阶优化算法的收敛速度为$O(\frac{1}{\sqrt{T}})$(序列随机零阶优化算法也是如此)。针对光滑但不一定凸的函数的有限和问题,提出了一种基于加速方差缩减技术的异步双随机零阶优化算法(AsyDSZOVR).严格的理论分析表明,收敛速度可以从现有算法的最佳结果$O(\frac{1}{\sqrt{T}})$提高到$O(\frac{1}{T})$。我们的理论结果也是对序列随机零阶优化算法的改进。
2016-12-05 cs.LG
MM Algorithms for Distance Covariance based Sufficient Dimension Reduction and Sufficient Variable Selection
Southern University of Science and Technology(南方科技大学)
利用距离协方差(DCOV)的充分降维(SDR)是最近提出的一种降维方法。与其他SDR方法相比,它是无模型的,不需要估计链接函数,也不需要预测变量的任何特定分布(参见Sheng和Yin,2013,2016)。然而,基于DCOV的SDR方法涉及在Stiefel流形上优化非光滑和非凸目标函数。为了解决数值上的挑战,我们新颖地制定了原来的目标函数等价到一个DC(凸函数的差异)计划,并构造了一个迭代算法的基础上优化最小化(MM)原则。在MM算法的每一步,我们不精确地解决二次子问题的Stiefel流形上的黎曼牛顿迭代方法。该算法也可以很容易地扩展到足够的变量选择(SVS)使用距离协方差。在一定的正则条件下证明了算法的收敛性。仿真结果表明,与现有方法相比,该算法大大提高了计算效率,并且在各种环境下都具有较好的鲁棒性。这篇文章的补充材料是可用的。
2021-03-03 cs.LG stat.CO stat.ML
Estimate Sequences for Stochastic Composite Optimization: Variance Reduction, Acceleration, and Robustness to Noise
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔理工学院);LJK(让·昆茨曼实验室)
本文通过推广Nesterov提出的估计序列的概念,提出了随机凸复合优化的基于梯度的算法的统一观点。更确切地说,我们解释了一大类的随机最优化方法的程序,迭代最小化代理的目标,其中包括随机梯度下降法和变量的增量方法SAGA,SVRG,和MISO/MISO/SDCA。这种观点有几个优点:(i)我们提供了一个简单的通用证明收敛的所有上述方法;(ii)我们自然地获得新的算法具有相同的保证;(iii)我们得出通用的策略,使这些算法的鲁棒性随机噪声,这是有用的,当数据被破坏的小随机扰动。最后,我们提出了一个新的加速随机梯度下降算法和一个加速SVRG算法具有最佳的复杂性,是强大的随机噪声。
2020-09-04 cs.LG math.OC stat.ML
Stochastic Nested Variance Reduction for Nonconvex Optimization
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
我们研究有限和非凸优化问题,其中的目标函数是一个平均的$n$非凸函数。提出了一种新的基于嵌套方差约简的随机梯度下降算法。与传统的随机方差降低梯度(SVRG)算法在每次迭代中使用两个参考点来构造一个方差逐渐减小的半随机梯度相比,该算法在每次迭代中使用$K+1$嵌套参考点来构造一个方差进一步减小的半随机梯度.对于光滑非凸函数,所提出的算法收敛到$ε$近似的一阶稳定点(即,$\|\nabla F(\mathbf{x})\|_2\leq ε$)在随机梯度评估的$\tilde O(n\land ε^{-2}+ε^{-3}\land n^{1/2}ε^{-2})$数量内。这改进了SVRG $O(n+n^{2/3}ε^{-2})$和SCSG $O(n\land ε^{-2}+ε^{-10/3}\land n^{2/3}ε^{-2})$的最佳已知梯度复杂度。对于梯度控制函数,我们的算法也实现了更好的梯度复杂度比国家的最先进的算法。在不同的非凸优化问题上的实验结果支持了我们的理论。
2020-10-19 cs.LG math.OC stat.ML
Dimensionality Reduction for Stationary Time Series via Stochastic Nonconvex Optimization
Georgia Tech(佐治亚理工学院);Princeton University(普林斯顿大学)
随机优化自然出现在机器学习中。然而,有效的算法与可证明的保证,仍然在很大程度上失踪,当目标函数是非凸的数据点是依赖的。本文研究了这一基本挑战,通过平稳时间序列数据的流PCA问题。具体来说,我们的目标是估计时间序列数据的主成分相对于平稳分布的协方差矩阵。在计算上,我们提出了一个变种的Oja的算法结合下采样来控制由数据依赖性引起的随机梯度的偏差。理论上,我们量化的不确定性,我们提出的随机算法的基础上扩散近似。这使我们能够证明的渐近收敛速度,并进一步意味着接近最佳的渐近样本复杂性。数值实验支持我们的分析。
2018-10-01 cs.LG math.OC stat.ML
Enhancing Sufficient Dimension Reduction via Hellinger Correlation
Korea University(高丽大学);Yonsei University(延世大学)
本文针对单指标模型中的充分降维(SDR)问题,基于Hellinger相关性作为依赖性度量,提出了一种能有效检测降维子空间的新方法,并通过数值实验证明其显著优于现有SDR方法。
2024-05-30 cs.LG stat.ME stat.ML
Bridging Graph Drawing and Dimensionality Reduction with Stochastic Stress Optimization
Technical University of Munich(慕尼黑技术大学)
本文通过将图绘制中的随机梯度下降技术应用于向量数据嵌入,提出一种兼容scikit-learn的估计器,通过局部成对更新降低全局应力,实验显示其收敛速度优于SMACOF且应力更优。
2026-05-01 cs.LG
Riemannian stochastic quasi-Newton algorithm with variance reduction and its convergence analysis
The University of Electro-Communications(电气通信大学);Tokyo University of Science(东京理科大学)
随机方差缩减算法最近变得流行,用于最小化大的但有限数量的损失函数的平均值。提出了一种具有方差缩减的黎曼随机拟牛顿算法(R-SQN-VR)。平均,添加和减去多个梯度的关键挑战是解决与收缩和矢量传输的概念。在收缩算子和向量迁移算子下,我们给出了R-SQN-VR在非凸函数和收缩凸函数上的收敛性分析。在对称正定流形上的Karcher均值计算和Grassmann流形上的低秩矩阵完备化上对该算法进行了评价。在所有情况下,该算法优于最先进的黎曼批处理和随机梯度算法。
2017-09-16 cs.LG cs.NA math.NA
Guaranteed Sufficient Decrease for Variance Reduced Stochastic Gradient Descent
The Chinese University of Hong Kong(香港中文大学);National Institute of Informatics(国立信息学研究所);Preferred Infrastructure, Inc.(Preferred Infrastructure公司)
在本文中,我们提出了一种新的充分减少技术的方差减少随机梯度下降方法,如SAG,SVRG和SAGA。为了使随机优化问题得到充分的降阶,我们设计了一个新的充分降阶准则,该准则产生了SVRG-SD和SAGA-SD等方差降阶算法的充分降阶版本。我们引入一个系数来缩放当前向量,并满足充分减少性质,决定收缩、扩张或向相反方向移动,然后给出Lasso和岭回归的两个具体的系数更新规则。此外,我们分析了我们的算法的收敛性强凸问题,这表明我们的算法达到线性收敛速度。我们还为非强凸问题提供了算法的收敛性保证。我们的实验结果进一步验证了我们的算法实现显着优于他们的同行。
2017-06-04 cs.LG math.OC stat.ML
Distributed estimation of principal support vector machines for sufficient dimension reduction
East China Normal University(华东师范大学)
主支持向量机方法(Li等人,2011)是一个强大的工具,充分的降维,取代原来的预测与他们的低维线性组合,而不会丢失信息。然而,主支持向量机方法的计算负担限制了其在海量数据中的应用。为了解决这个问题,我们在本文中提出了两个分布式估计算法的快速实现时,样本量是大的。这两种分布充分降维估计量具有与合并所有数据相同的统计效率,为它们在大规模数据集上的应用提供了严格的统计保证。这两种分布式算法进一步适用于主加权支持向量机(Shin等人,2016)用于在二进制分类中充分的降维。我们提出的方法的统计精度和计算复杂性进行了检查,通过全面的模拟研究和实际数据应用超过60万个样本。
2019-11-28 cs.LG math.ST stat.ML
Stochastic Gradient Langevin Dynamics with Variance Reduction
Michigan State University(密歇根州立大学);University of Colorado Boulder(科罗拉多大学博尔德分校)
本文研究带方差缩减的随机梯度朗之万动力学,证明其对非凸目标局部极小值的改进收敛性及遍历性,揭示其寻找全局极小值的潜力。
2021-02-12 cs.LG math.OC
Belted and Ensembled Neural Network for Linear and Nonlinear Sufficient Dimension Reduction
Department of Statistics, The Pennsylvania State University(统计学系,宾夕法尼亚州立大学)
本文提出带状集成神经网络(BENN)统一框架,通过窄带层和响应变换集成实现线性和非线性充分降维,兼顾条件分布与均值,计算高效,克服传统方法矩阵求逆瓶颈。
2025-06-20 cs.LG math.ST stat.ML
Forward-backward-forward methods with variance reduction for stochastic variational inequalities
University of Vienna(维也纳大学);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Grenoble INP(格勒诺布尔国立理工学院);LIG(格勒诺布尔信息学实验室);Maastricht University(马斯特里赫特大学)
提出了一种新的求解伪单调随机变分不等式的方差缩减随机算法。我们的方法建立在Tseng的前向-后向-前向(FBF)算法,这是已知的在确定性文献中是一个有价值的替代Korpelevich的外梯度方法时,解决变分不等式在一个凸的和闭集由伪单调,Lipschitz连续算子。Tseng算法的主要计算优势在于它仅依赖于单个投影步骤和随机预言机的两个独立查询。我们的算法结合了方差减少机制,并导致几乎必然(a.s.)收敛到最优解。据我们所知,这是第一个随机前瞻算法,通过在每次迭代中仅使用单个投影来实现这一点。
2019-02-09 cs.LG math.OC
Guaranteed Sufficient Decrease for Stochastic Variance Reduced Gradient Optimization
Department of Computer Science and Engineering, The Chinese University of Hong Kong(香港中文大学计算机科学与工程学系);National Institute of Informatics(日本国家信息学研究所)
在本文中,我们提出了一种新的充分减少技术的随机方差减少梯度下降方法,如SVRG和SAGA。为了使随机最优化得到充分的降阶,设计了一个新的充分降阶准则,该准则产生了SVRG-SD和SAGA-SD等随机方差降阶算法的充分降阶版本。我们引入一个系数来衡量当前回归的尺度,并满足充分减少性,它决定了收缩、扩张甚至向相反方向移动,然后给出了Lasso和岭回归的两个具体的系数更新规则.此外,我们分析了我们的算法的收敛性强凸问题,这表明我们的算法达到线性收敛速度。对于非强凸问题,我们也给出了算法的收敛性保证。我们的实验结果进一步验证了我们的算法实现显着优于他们的同行。
2018-02-26 cs.DS cs.LG math.OC
Stochastic Variance Reduction for Nonconvex Optimization
Carnegie Mellon University(卡内基梅隆大学);Massachusetts Institute of Technology(麻省理工学院)
我们研究非凸有限和问题,并分析随机方差约减梯度(SVRG)方法。SVRG和相关的方法最近在凸优化中脱颖而出,因为它们比随机梯度下降(SGD)更有优势;但它们的理论分析几乎完全假设凸性。相比之下,我们证明了非渐近速度的收敛(稳定点)的SVRG非凸优化,并证明它是可证明的速度比SGD和梯度下降。我们还分析了一类非凸问题,SVRG达到线性收敛的全局最优值。我们扩展我们的分析,SVRG的小批量变体,显示(理论)线性加速,由于在并行设置中的小批量。
2016-04-04 cs.LG cs.NE math.OC
Asynchronous Stochastic Block Coordinate Descent with Variance Reduction
University of Texas at Arlington(德克萨斯大学阿灵顿分校)
随机优化问题的异步并行实现近年来在理论和实践上都取得了巨大的成功。无锁的异步实现比有写锁或读锁的异步实现效率更高。本文主要研究了一种由光滑凸函数$f$和块可分凸函数组成的复合目标函数,它广泛存在于机器学习和计算机视觉中。提出了一种基于加速方差缩减技术的异步随机块坐标下降算法(AsySBCDVR),该算法在实现和分析上都是无锁的。AsySBCDVR特别重要,因为它可以同时与样本大小和维度进行良好的缩放。证明了当函数$f$具有最优强凸性时,AsySBCDVR具有线性收敛速度;当函数$f$具有一般凸性时,AsySBCDVR具有次线性收敛速度.更重要的是,在共享内存的并行系统上,可以获得接近线性的加速比。
2016-11-14 cs.LG
Sufficient Dimension Reduction for High-Dimensional Regression and Low-Dimensional Embedding: Tutorial and Survey
University of Waterloo(滑铁卢大学)
这是一个教程和调查文件的各种方法充分降维(SDR)。我们涵盖了这些方法与统计高维回归的角度和机器学习的降维方法。我们首先介绍逆回归方法,包括切片逆回归(SIR),切片平均方差估计(SAVE),轮廓回归,方向回归,主拟合分量(PFC),Likestive Acquired Direction(LAD)和图形回归。然后,我们介绍了前向回归方法,包括主Hessian方向(pHd),最小平均方差估计(MAVE),条件方差估计(CVE)和深度SDR方法。最后,我们解释了核降维(KDR)的监督和无监督学习。我们还证明了监督KDR和监督PCA是等价的。
2021-10-18 cs.LG math.ST stat.ME
Asynchronous Stochastic Gradient Descent with Variance Reduction for Non-Convex Optimization
我们提供了第一个非凸优化的异步随机方差降低梯度(SVRG)下降算法的收敛速度的理论分析。最近的研究表明,基于异步随机梯度下降(SGD)算法的方差减少收敛于凸问题的线性收敛速度。然而,目前还没有工作来分析异步SGD方差缩减技术的非凸问题。在本文中,我们研究了SVRG的两个异步并行实现:一个是在分布式存储系统上,另一个是在共享存储系统上。我们提供的理论分析,这两种算法可以获得$O(1/T)$的收敛速度,和线性加速是可以实现的,如果工人的数量是上界。由于参考问题,V1、V2、V3已被撤回,请参考最新版本V4。
2016-12-20 cs.LG math.OC
Push-SAGA: A decentralized stochastic algorithm with variance reduction over directed graphs
Tufts University(塔夫茨大学);Carnegie Mellon University(卡内基梅隆大学)
在本文中,我们提出了Push-SAGA,一个分散的随机一阶方法有限和最小化的有向网络的节点。Push-SAGA结合了节点级方差缩减以消除随机梯度引起的不确定性,网络级梯度跟踪以解决数据的分布式性质,以及推和共识以解决有向通信链路的挑战。我们表明,Push-SAGA实现了线性收敛到光滑和强凸问题的精确解,因此是第一个线性收敛的随机算法在任意强连通有向图。我们还描述了制度,其中Push-SAGA实现了线性加速相比,其集中的对应,并实现了独立于网络的收敛速度。我们说明的行为和收敛性能的Push-SAGA的强凸和非凸问题的数值实验的帮助下。
2020-10-22 cs.DC cs.LG cs.MA
Prescriptive PCA: Dimensionality Reduction for Two-stage Stochastic Optimization
George Washington University(乔治华盛顿大学);Georgetown University(乔治城大学)
针对上游降维与下游随机优化不对齐的问题,提出Prescriptive PCA处方性降维框架,通过分布鲁棒优化及半定规划松弛最小化优化次优性,在两类问题的实验中性能显著优于PCA。
2023-06-04 cs.LG math.OC
Adaptive Stochastic Variance Reduction for Non-convex Finite-Sum Minimization
EPFL(洛桑联邦理工学院)
我们提出了一种自适应方差缩减方法,称为AdaSpider,用于最小化具有有限和结构的$L$ -光滑非凸函数。本质上,AdaSpider结合了AdaGrad启发的[Duchi等人,2011,McMahan & Streeter,2010],但是在[Fang等人,2018年]。据我们所知,Adaspider是第一个无参数非凸方差缩减方法,因为它不需要问题相关参数的知识,例如平滑常数$L$,目标精度$ε$或梯度范数的任何界限。在这样做的时候,我们能够计算一个$ε$ -固定点与$\tilde{O}\left(n + \sqrt{n}/ε^2\right)$ oracle-calls,它匹配相应的下界的对数因子。
2022-11-03 cs.LG math.OC
Decoupled Asynchronous Proximal Stochastic Gradient Descent with Variance Reduction
在大数据时代,优化大规模机器学习问题成为一项具有挑战性的任务,并引起了极大的关注。异步优化算法是一种很有前途的解决方案。最近,解耦异步近似随机梯度下降(DAP-SGD)被提出来最小化一个复合函数。它声称能够通过允许工作者评估邻近运算符来将计算瓶颈从服务器卸载到工作者,因此,服务器只需要进行元素操作。但由于随机梯度的方差不为零,该算法收敛速度较慢。本文提出了一种更快的方法,解耦异步近似随机方差降低梯度下降方法(DAP-SVRG)。证明了该方法对强凸问题具有线性收敛性。本文还进行了大规模的实验,结果证实了我们的理论分析。
2016-09-29 cs.LG math.OC
Direct Acceleration of Stochastic Root-Finding Without Variance Reduction and Regularization
Johns Hopkins University(约翰斯·霍普金斯大学)
针对传统锚点类加速方法因误差累积无法直接用于随机求根的问题,提出双锚点加速机制,在无方差缩减、固定批量规模下实现了对应复杂度,强单调场景下接近下界。
2026-08-13 cs.LG math.OC
Variance reduction techniques for stochastic proximal point algorithms
Malga Center(马尔加中心);Università degli Studi di Genova(热那亚大学);Sapienza Università di Roma(罗马第一大学(萨皮恩扎大学))
本文统一研究随机近端点算法的方差缩减,提出可实例化为 SVRG、SAGA 近端点版本的通用框架,并证明凸及 PL 条件下更优收敛率。
2024-08-06 cs.LG math.OC
Golden Ratio-Based Sufficient Dimension Reduction
提出一种基于神经网络的充分降维方法,利用对Barron类函数的逼近能力有效识别结构维度并估计中心空间,降低计算成本且可扩展至实际降维场景。
2025-01-29 cs.LG stat.ME
Wind Noise Reduction with a Diffusion-based Stochastic Regeneration Model
Universität Hamburg(汉堡大学);Advanced Bionics(高级仿生公司)
本文提出结合预测与生成建模的基于扩散的随机再生模型进行单通道风噪降低,引入非加性语音模型处理非线性形变与削波,在模拟与真实数据上优于现有方法且泛化良好。
2024-01-09 cs.LG cs.SD eess.AS