On Noisy Negative Curvature Descent: Competing with Gradient Descent for Faster Non-convex Optimization
Hessian向量积已被用于找到具有强复杂性保证的二阶稳态解(例如,在问题的维度上几乎是线性的时间复杂度)。在本文中,我们提出了进一步减少的海森向量积的数量更快的非凸优化。先前的算法需要以足够的精度近似最小的特征值(例如,$ε_2\ll 1$)以获得足够精确的二阶稳态解(即,$λ_{\min}(\nabla^2 f(\x))\geq -ε_2)$。相比之下,所提出的算法只需要计算最小的特征向量近似相应的特征值的电流梯度的范数的一个小的权力。因此,它可以在达到一阶稳定点之前的优化过程中显著减少海森向量乘积的数量(例如,鞍点)。所提出的算法的关键构建块是一个新的更新步骤命名为NCG步骤,它让一个嘈杂的负曲率下降与梯度下降竞争。我们表明,最坏情况下的时间复杂度的算法,其有利的规定的精度要求可以匹配最好的文献中实现二阶稳定点,但可以说是较小的每次迭代的成本。我们还表明,所提出的算法可以受益于不精确的Hessian通过发展他们的变种接受不精确的Hessian在温和的条件下实现相同的目标。此外,我们还发展了一个求解有限和或无限和非凸优化问题的随机算法。据我们所知,建议的随机算法是第一个收敛到二阶平稳点在{ \it高概率}的时间复杂度独立的样本量和几乎线性的维度。
2017-10-01 math.OC stat.ML
Shampoo: Preconditioned Stochastic Tensor Optimization
Google Brain(谷歌大脑);Princeton University(普林斯顿大学)
预条件梯度法是最优化中最常用和最有效的工具之一。然而,预处理需要存储和操作过大的矩阵。我们描述和分析了一个新的结构感知预处理算法,称为洗发水,随机优化张量空间。Shampoo维护一组预处理矩阵,每个预处理矩阵在单个维度上操作,在其余维度上收缩。我们建立了收敛保证随机凸设置,其证明建立在矩阵迹不等式。我们对最先进的深度学习模型的实验表明,Shampoo能够比常用的优化器更快地收敛。虽然Shampoo涉及更复杂的更新规则,但它的每步运行时间与SGD、AdaGrad和Adam等简单梯度方法相当。
2018-03-02 cs.LG math.OC stat.ML
Enhancing Pure-Pixel Identification Performance via Preconditioning
The Chinese University of Hong Kong(香港中文大学)
本文分析了不同预条件化方法以提升纯像素搜索算法的鲁棒性,针对SPA算法提出近似解的鲁棒性分析,并探讨了预白化和基于SPA的预条件化方法的鲁棒性与效率。
2014-06-20 cs.LG cs.NA math.NA
Sketching Meets Random Projection in the Dual: A Provable Recovery Algorithm for Big and High-dimensional Data
University of Chicago(芝加哥大学);University of Southern California(南加州大学);Toyota Technological Institute at Chicago(芝加哥丰田技术研究所)
草图技术已经变得流行,用于通过减少大量数据集的样本大小或维度来扩展机器学习算法,同时仍然保持大数据的统计能力。本文从优化的角度研究了草图绘制问题:首先证明了迭代Hessian草图是一个带预处理的优化过程,并通过共轭方向的搜索提出了加速迭代Hessian草图;然后,我们建立了Hessian草图和对偶随机投影之间的原始-对偶联系,并将预条件共轭梯度法应用于对偶问题,这导致加速迭代对偶随机投影方法。最后,为了解决来自大样本量和高维的挑战,我们提出了原始-对偶草图,它迭代地绘制原始和对偶公式。我们表明,使用对数调用的小规模问题的求解器,原始对偶草图是能够恢复到任意精度的原始问题的最佳。所提出的算法进行了验证,通过大量的实验合成和真实的数据集,补充了我们的理论结果。
2016-10-10 cs.LG math.OC stat.ML
Weighted SGD for $\ell_p$ Regression with Randomized Preconditioning
近年来,随机梯度下降(SGD)方法和随机线性代数(RLA)算法已被应用于机器学习和数据分析中的许多大规模问题。我们的目标是弥合这两种方法在解决约束超定线性回归问题中的差距-例如,$\ell_2$和$\ell_1$回归问题。我们提出了一种混合算法命名为RLA SGD,使用RLA技术的预处理和构造一个重要的采样分布,然后进行SGD样的迭代过程中,加权采样的预处理系统。我们证明了,RISKSGD继承了更快的收敛速度,只依赖于较低的维度的线性系统,同时保持低的计算复杂度。特别地,当通过$d$求解具有大小$n$的$\ell_1$回归时,PDMATHSGD返回在$\mathcal{O}(\log n \cdot \text{nnz}(A) + \text{poly}(d)/ε^2)$时间中具有目标值的$ε$相对误差的近似解。当问题是无约束的时,这种复杂性在$ε$和$d$方面一致优于RLA方法。对于$\ell_2$回归,PDMATHSGD返回一个近似解,其中包含目标值中的$ε$相对误差和在$\mathcal{O}(\log n \cdot \text{nnz}(A) + \text{poly}(d) \log(1/ε) /ε)$时间中以预测范数度量的解向量。我们还提供了更一般的回归问题的coreset的复杂性的下限,表明仍然需要新的想法来扩展类似的RLA预处理的想法加权SGD算法更一般的回归问题…
2017-07-10 math.OC stat.ML
PolarGrad: A Class of Matrix-Gradient Optimizers from a Unifying Preconditioning Perspective
University of Pennsylvania(宾夕法尼亚大学);Wharton(沃顿商学院)
PolarGrad是一种基于矩阵梯度极分解的新型预条件优化方法,通过统一视角分析矩阵感知预条件方法,提升语言模型预训练和矩阵优化性能。
2026-02-05 cs.LG math.OC stat.ML
Faster Computation of Entropic Optimal Transport via Stable Low Frequency Modes
针对熵最优输运基准算法Sinkhorn在正则化减弱时收敛指数变慢的问题,本文基于Hessian谱分析提出谱热启动策略,实现了更快的收敛速度并经数值实验验证。
2025-05-23 cs.NA math.NA math.OC
Permutation Compressors for Provably Faster Distributed Nonconvex Optimization
University of Warwick(华威大学);KAUST(阿卜杜拉国王科技大学)
我们研究了Gorbunov等人(2021)的MARINA方法--从理论通信复杂性的角度来看,这是当前最先进的分布式非凸优化方法。这种方法的理论优势可以在很大程度上归因于两个来源:使用一个精心设计的偏置随机梯度估计器,这导致了通信轮数的减少,以及依赖于{ \em独立}随机通信压缩算子,这导致了每个通信轮内的传输比特数的减少。在本文中,我们i)扩展的理论,以支持更广泛的一类潜在的{ \em相关}压缩机,扩展的方法超出了经典的独立压缩机设置的范围,ii)表明,一个新的数量,我们硬币的名称{ \em海森方差},使我们能够显着细化原始分析的MARINA没有任何额外的假设,以及iii)基于{ \em随机置换}的思想识别特殊类别的相关压缩器,为此我们创造了术语$K$,其使用导致$O(\sqrt{n})$(分别地,$O(1 + d/\sqrt{n})$)在低Hessian方差状态下MARINA的理论通信复杂性的改进,当$d\geq n$(分别为$d \leq n$),其中$n$是工作者的数量,$d$是描述我们正在学习的模型的参数的数量。我们证实了我们的理论结果与精心设计的合成实验,最大限度地减少非凸二次曲线的平均值,并与MNIST数据集的自动编码器训练。
2021-10-07 cs.LG math.OC stat.ML
Dual Space Preconditioning for Gradient Descent in the Overparameterized Regime
研究双空间预条件化梯度下降的收敛性质,分析其在过参数化线性模型中的隐式偏置及收敛特性。
2026-08-12 cs.LG stat.ML
SAPPHIRE: Preconditioned Stochastic Variance Reduction for Faster Large-Scale Statistical Learning
Stanford University(斯坦福大学)
针对病态目标与非平滑正则化导致传统随机梯度法收敛慢的问题,提出SAPPHIRE算法,结合基于sketch的预条件与缩放近端映射,实现与条件数无关的线性收敛,实验证明其比Catalyst、SAGA和SVRG快20倍。
2025-01-27 cs.LG stat.ML
Accelerated Gradient Descent Escapes Saddle Points Faster than Gradient Descent
University of California, Berkeley(加州大学伯克利分校);Microsoft Research, India(微软印度研究院)
Nesterov的加速梯度下降(AGD),一般家庭的“动量方法”的一个例子,证明了实现更快的收敛速度比梯度下降(GD)在凸设置。然而,这些方法是否优于GD在非凸设置仍然开放。本文研究了AGD的一个简单的变形,并证明了它在$\tilde{O}(1/ε^{7/4})$迭代中能逃脱鞍点并找到二阶稳定点,比GD所需的$\tilde{O}(1/ε^{2})$迭代快。据我们所知,这是第一个Hessian-free算法找到一个二阶稳定点比GD更快,也是第一个单循环算法,甚至在设置中找到一个一阶稳定点的速度比GD更快。我们的分析基于两个关键思想:(1)使用一个简单的哈密顿函数,灵感来自连续时间的角度,AGD单调递减每一步,即使是非凸函数,和(2)一个新的框架称为改善或本地化,这是有用的跟踪基于梯度的优化算法的长期行为。我们相信这些技术可以加深我们对加速算法和非凸优化的理解。
2017-11-28 cs.LG math.OC stat.ML
Stein Variational Newton Neural Network Ensembles
Helmholtz AI(亥姆霍兹人工智能研究所);Technical University of Munich(慕尼黑工业大学);Munich Center for Machine Learning(慕尼黑机器学习中心)
针对现有深度神经网络集成方法未充分利用损失景观二阶信息的问题,提出融入Stein变分牛顿更新的近似贝叶斯推理方法,结合可扩展Hessian近似,在多任务上实现更优性能、更少训练轮数及更好的不确定性量化与抗过拟合性。
2024-11-04 cs.LG stat.ML
Neumann Optimizer: A Practical Optimization Algorithm for Deep Neural Networks
Google Research(谷歌研究院)
深度学习的进展因训练大型模型所需的数天或数周时间而放缓。使用更多硬件的自然解决方案受到收益递减的限制,并导致额外资源的低效使用。在本文中,我们提出了一个大批量,随机优化算法,这是既快于广泛使用的算法,固定的计算量,也扩大了更好地为更多的计算资源变得可用。我们的算法隐式计算每个小批量的逆Hessian产生下降方向,我们这样做没有明确的近似Hessian或Hessian向量产品。我们通过成功训练大型ImageNet模型(Inception-V3,Resnet-50,Resnet-101和Inception-Resnet-V2)来证明我们算法的有效性,小批量大小高达32000,相对于当前基线,验证误差没有损失,总步骤数没有增加。在较小的小批量时,我们的优化器将这些模型中的验证误差提高了0.8- 0.9%。或者,我们可以权衡这种准确性,以减少大约10- 30%的训练步骤。我们的工作是实用的,易于使用的其他人-只有一个超参数(学习率)需要调整,而且,该算法是作为常用的亚当优化计算便宜。
2017-12-08 cs.LG stat.ML