Non-asymptotic bounds for stochastic optimization with biased noisy gradient oracles
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
我们引入有偏梯度预言机来捕获一个设置，其中函数测量具有可以通过批量大小参数控制的估计误差。我们提出的预言是有吸引力的，在几个实际情况下，例如，风险度量估计从一批独立同分布（i.i.d.）样本或模拟优化，其中函数测量由于计算约束而“有偏”。在任何一种情况下，增加批量大小都会减少估计误差。我们强调了我们的有偏梯度预言在风险敏感的强化学习环境中的适用性。在随机非凸优化的背景下，我们分析了一个变种的随机梯度（RSG）算法与有偏梯度预言。我们量化该算法的收敛速度，通过推导其性能的非渐近界。接下来，在随机凸优化设置，我们推导出非渐近界的随机梯度下降（SGD）算法的最后一个有偏梯度预言。
2021-05-16 cs.LG math.OC stat.ML
A Stochastic Gradient Method with Biased Estimation for Faster Nonconvex Optimization
University of Southampton（南安普顿大学）
已经提出了许多优化方法来优化非凸目标（例如深度学习模型），例如批量梯度下降、随机梯度下降和随机方差减少的梯度下降。理论表明，这些优化方法可以通过使用无偏梯度估计器来收敛。然而，在实践中，有偏梯度估计可以允许更有效地收敛到附近，因为无偏方法在计算上更昂贵。为了产生快速收敛，这些优化策略有两个权衡，即随机/批量和有偏/无偏之间。本文提出了一种综合的方法，可以控制的性质的随机元素的优化，并可以平衡的权衡估计之间的有偏和无偏通过使用超参数。理论和实验表明，这个超参数可以配置为提供一个有效的平衡，以提高收敛速度。
2019-05-13 cs.LG math.OC stat.ML
Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework
Syracuse University（雪城大学）；Northeastern University（东北大学）；MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室）；IBM Research（IBM研究院）
在这项工作中，我们专注于研究随机零阶（ZO）优化，不需要一阶梯度信息，只使用功能评估。ZO优化的问题已经出现在许多最近的机器学习应用中，其中目标函数的梯度不可用或难以计算。在这种情况下，我们可以通过基于函数值的梯度估计来近似全梯度或随机梯度。在这里，我们提出了一种新的混合梯度估计器（HGE），它利用了随机梯度估计的查询效率以及坐标方向梯度估计的方差减少。我们表明，在协调重要性抽样的优雅设计，建议HGE为基础的ZO优化方法是有效的，无论是在迭代复杂度以及功能查询成本。我们提供了一个彻底的理论分析，我们提出的方法的收敛性非凸，凸，强凸优化。我们表明，我们得到的收敛速度推广了一些突出的现有方法在非凸的情况下的结果，并匹配凸的情况下的最佳结果。我们还证实了一个现实世界的黑盒攻击生成应用程序的理论，以证明我们的方法比国家的最先进的ZO优化方法的经验优势。
2020-12-21 cs.LG math.OC stat.ML
From inexact optimization to learning via gradient concentration
Humboldt University of Berlin（柏林洪堡大学）；Technical University Braunschweig（不伦瑞克工业大学）；Universitá di Genova（热那亚大学）；MIT（麻省理工学院）；Istituto Italiano di Tecnologia（意大利技术研究所）
机器学习中的优化通常处理由训练数据定义的经验目标的最小化。然而，学习的最终目标是最小化未来数据的错误（测试错误），训练数据仅提供部分信息。在这种观点中，实际可行的优化问题是基于随机性质的不精确量。在本文中，我们将展示如何概率结果，特别是梯度浓度，可以结合不精确优化的结果，以获得尖锐的测试误差保证。通过考虑无约束的目标，我们强调了学习优化的隐式正则化特性。
2021-11-05 cs.LG math.OC stat.ML
Gradient Sparsification Can Improve Performance of Differentially-Private Convex Machine Learning
The University of Melbourne（墨尔本大学）
我们使用梯度稀疏化来减少差分隐私噪声对私有机器学习模型性能的不利影响。为此，我们采用压缩感知和加性拉普拉斯噪声来评估差分私有梯度。噪声隐私保护梯度用于执行随机梯度下降以训练机器学习模型。通过将最小梯度项设置为零来实现的稀疏化可以降低训练算法的收敛速度。然而，通过稀疏化和压缩感知，可以降低所传递的梯度的维数和加性噪声的幅度。这些效应之间的相互作用决定了梯度稀疏化是否提高了差分私有机器学习模型的性能。我们在论文中对此进行了分析研究。我们证明，对于小的隐私预算，压缩可以提高隐私保护机器学习模型的性能。然而，对于大的隐私预算，压缩不一定提高性能。直观地说，这是因为隐私保护噪声的影响在大隐私预算制度中是最小的，因此梯度稀疏化的改进不能补偿其较慢的收敛。
2020-12-01 cs.CR cs.LG math.OC
Parameterless Stochastic Natural Gradient Method for Discrete Optimization and its Application to Hyper-Parameter Optimization for Neural Network
Shinshu University（信州大学）；Yokohama National University（横滨国立大学）；University of Tsukuba（筑波大学）
黑箱离散优化（BBDO）在工程中有着广泛的应用.已经应用了进化或其他BBDO方法，旨在自动化系统参数的必要调整，诸如当针对特定任务安装时基于机器学习的系统的超参数调整。然而，自动化往往是危及的BBDO算法的策略参数调整的需要。具有领域知识的专家必须经历耗时的策略参数调整。本文提出了一种基于信息几何优化的无参数BBDO算法，该算法是一种基于随机自然梯度的黑箱优化框架。受一些理论启发，我们提出了一种离散搜索域随机自然梯度方法的策略参数自适应机制。所提出的算法进行评估常用的测试问题。它被进一步扩展到两个同时优化超参数和深度学习模型的连接权重的例子，导致比现有方法更快的优化，而无需任何参数调整的努力。
2018-09-18 cs.LG math.OC stat.ML
Gradient boosting machine with partially randomized decision trees
Peter the Great St.Petersburg Polytechnic University（彼得大帝圣彼得堡理工大学）
梯度提升机是一种用于解决回归问题的强大的基于集成的机器学习方法。然而，其使用的困难之一是回归函数可能出现不连续性，这是当训练数据区域没有被训练点密集覆盖时出现的。为了克服这一困难，并降低计算复杂性的梯度提升机，我们建议应用部分随机树，可以被视为一个特殊情况下的极端随机树应用于梯度提升。部分随机树的梯度提升机说明了许多数值例子，使用合成和真实的数据。
2020-06-19 cs.LG stat.ML
Monte Carlo Gradient Estimation in Machine Learning
DeepMind；University College London（伦敦大学学院）
本文是一个广泛的和可访问的调查的方法，我们在我们的处置蒙特卡罗梯度估计在机器学习和整个统计科学：计算梯度的期望函数的参数定义的分布是集成的问题;的问题的敏感性分析。在机器学习研究中，这种梯度问题是监督学习、无监督学习和强化学习中许多学习问题的核心。我们通常会尝试以允许蒙特卡罗估计的形式重写这种梯度，从而使它们能够轻松有效地使用和分析。我们探讨三种策略-路径，得分函数，和测量值梯度估计-探索他们的历史发展，推导，和基本假设。我们描述他们在其他领域的使用，显示它们是如何相关的，可以结合起来，并扩大其可能的概括。无论蒙特卡罗梯度估计已经推导和部署在过去，重要的进展随之而来。对这一问题的更深刻和更广泛的理解将导致进一步的进展，我们希望支持的正是这些进展。
2020-09-29 cs.LG math.OC stat.ML
Corridor Geometry in Gradient-Based Optimization
Google（谷歌）；Google DeepMind（谷歌DeepMind）
本文提出走廊几何概念，指梯度流为直线的损失表面区域，在此梯度下降与梯度流轨迹相同且损失线性下降，无隐式正则化或不稳定性；据此设计走廊学习率(CLR)方案，其与Polyak步长特例一致，并在CIFAR-10和ImageNet上验证了收敛性。
2024-02-13 cs.LG math.OC stat.ML
A Survey of Optimization Methods from a Machine Learning Perspective
East China Normal University（华东师范大学）
机器学习发展迅速，取得了许多理论突破，在各个领域得到广泛应用。优化作为机器学习的重要组成部分，受到了研究者的广泛关注。随着数据量的指数级增长和模型复杂度的增加，机器学习中的优化方法面临着越来越多的挑战。在机器学习中，人们相继提出了许多解决优化问题或改进优化方法的工作。从机器学习的角度对优化方法进行系统的回顾和总结，对优化技术的发展和机器学习的研究都具有重要的指导意义。在本文中，我们首先描述了机器学习中的优化问题。然后介绍了常用优化方法的原理和进展。接下来，我们总结了优化方法在一些热门的机器学习领域的应用和发展。最后，我们对机器学习中的优化问题进行了探讨和展望。
2019-10-23 cs.LG math.OC stat.ML
Second-Order Guarantees of Stochastic Gradient Descent in Non-Convex Optimization
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；University of California, Los Angeles（加州大学洛杉矶分校）
近年来，人们对非凸优化的梯度下降算法的性能保证越来越感兴趣。大量的研究表明，梯度噪声对梯度下降递归算法有效地逃离鞍点并到达二阶稳定点的能力起着至关重要的作用。大多数现有的作品限制梯度噪声分量以概率1或亚高斯为界，并利用浓度不等式来获得高概率结果。我们提出了一种替代方法，主要依赖于均方参数，并表明梯度噪声方差上的一个更宽松的相对界限足以确保有效地逃离鞍点，而不需要注入额外的噪声，采用交替步长或依赖于一个全球性的分散噪声假设，只要梯度噪声分量是存在于每个鞍点的下降方向。
2019-08-19 cs.LG math.OC stat.ML
Gradient Boosting Machine: A Survey
Point Zero One Technology（Point Zero One科技公司）；Fordham University（福特汉姆大学）；Imperial College London（帝国理工学院）；Massachusetts Institute of Technology（麻省理工学院）
在本综述中，我们讨论了几种不同类型的梯度提升算法，并详细说明了它们的数学框架：1。梯度提升的引入导致2.目标函数优化，3.损失函数估计，以及4.模型构建5.在排名中应用boosting。
2019-08-19 cs.LG stat.ML
Gradient-based Hyperparameter Optimization through Reversible Learning
调整学习算法的超参数很难，因为梯度通常不可用。我们通过在整个训练过程中向后链接导数来计算关于所有超参数的交叉验证性能的精确梯度。这些梯度使我们能够优化数千个超参数，包括步长和动量计划，权重初始化分布，丰富的参数化正则化方案和神经网络架构。我们计算超参数梯度的动力学完全逆转的随机梯度下降与动量。
2015-04-02 cs.LG stat.ML
Gradient descent GAN optimization is locally stable
Carnegie-Mellon University（卡内基梅隆大学）
尽管生成对抗网络（GANs）日益突出，但GANs中的优化仍然是一个知之甚少的话题。在本文中，我们分析了GAN优化的“梯度下降“形式，即，在自然设置中，我们同时在生成器和卷积器参数中采取小的梯度步骤。我们表明，即使GAN优化不对应于一个凹凸游戏（即使是简单的参数化），在适当的条件下，这个优化过程的平衡点仍然是\emph{locally asymptotically stable}为传统的GAN制定。另一方面，我们证明了最近提出的Wasserstein GAN在平衡点附近可以有非收敛极限环。受此稳定性分析的启发，我们提出了一个额外的正则化项的梯度下降GAN更新，\emph{is}能够保证局部稳定的WGAN和传统的GAN，也显示了实际的承诺，在加快收敛和解决模式坍塌。
2018-01-13 cs.AI cs.LG math.OC
Optimizing for Generalization in Machine Learning with Cross-Validation Gradients
Department of Electrical Engineering（电气工程系）；Stanford University（斯坦福大学）
交叉验证是现代应用统计学和机器学习的主力，因为它为选择最大化泛化性能的模型提供了原则性框架。在本文中，我们证明了交叉验证风险对于许多常见的机器学习算法，包括逻辑斯谛回归，弹性网络回归和支持向量机的超参数和训练数据是可区分的。利用这种可微性，我们提出了一种用于超参数优化的交叉验证梯度方法（CVGM）。我们的方法可以在高维超参数空间中有效地优化交叉验证风险，这是我们学习算法真正泛化能力的最佳替代。
2018-05-18 cs.LG stat.ML
Bayesian Optimization with Gradients
Cornell University（康奈尔大学）；University of Arizona（亚利桑那大学）
贝叶斯优化在评估费用高的多峰目标函数的全局优化方面取得了成功。然而，与大多数优化方法不同，贝叶斯优化通常不使用导数信息。在本文中，我们将展示如何贝叶斯优化可以利用导数信息，以减少良好的性能所需的目标函数评估的数量。特别是，我们开发了一种新的贝叶斯优化算法，导数启用知识梯度（dKG），我们显示一步贝叶斯最优性，渐近一致性，更大的一步价值的信息比可能在导数自由设置。我们的程序可以容纳嘈杂和不完整的衍生信息，有顺序和批量的形式，并可以通过自动选择保留一个单一的方向衍生物，可以选择性地减少推理的计算成本。我们还计算的d-KG采集函数和梯度使用一种新的快速离散化的自由技术。我们表明，与各种有梯度和无梯度的优化程序相比，d-KG提供了最先进的性能，包括逻辑斯谛回归，深度学习，内核学习和k-最近邻。
2018-02-07 cs.AI cs.LG math.OC
PowerSGD: Practical Low-Rank Gradient Compression for Distributed Optimization
EPFL（洛桑联邦理工学院）
本文研究了梯度压缩方法来缓解数据并行分布优化中的通信瓶颈。尽管受到了很大的关注，但当前的压缩方案要么不能很好地扩展，要么不能达到目标测试精度。我们提出了一种新的基于幂迭代的低秩梯度压缩器，它可以i）快速压缩梯度，ii）使用all-reduce有效地聚合压缩的梯度，iii）实现与SGD相当的测试性能。所提出的算法是唯一的方法评估，实现一致的挂钟加速时，基准对常规SGD与优化的通信后端。我们证明了卷积网络和LSTM在常见数据集上的训练时间减少。我们的代码可在https://github.com/epfml/powersgd上获得。
2020-02-18 cs.DC cs.LG math.OC
On Distributed Adaptive Optimization with Gradient Compression
Baidu Research（百度研究院）
我们研究了COMP-AMS，一个基于梯度平均和自适应AMSGrad算法的分布式优化框架。在梯度传输过程中，采用带误差反馈的梯度压缩，以降低通信开销。我们对COMP-AMS算法的收敛性分析表明，这种压缩梯度平均策略与标准AMSGrad算法具有相同的收敛速度，并且具有线性加速比效应。当地工人的数量。与最近提出的分布式自适应方法的协议相比，COMP-AMS是简单和方便的。数值实验验证了理论分析的正确性，并表明该方法可以达到与全梯度AMSGrad相同的测试精度，同时节省了大量的通信开销。由于其简单和高效，COMP-AMS可以作为一个有用的自适应梯度方法的分布式训练框架。
2022-05-11 cs.LG stat.ML
Binary Search and First Order Gradient Based Method for Stochastic Optimization
Indian Institute of Technology Kharagpur（印度理工学院卡拉格普尔分校）
在本文中，我们提出了一种新的随机优化方法，它使用二进制搜索技术与一阶梯度为基础的优化方法，称为二进制搜索梯度优化（BSG）或BiGrad。在这种优化设置中，非凸曲面被视为一组凸曲面。在BSG中，首先定义一个区域，假设区域是凸的。如果区域不是凸的，则算法很快离开该区域并定义一个新的区域，否则，算法试图收敛于该区域的最优点。在BSG中，二叉搜索的核心目的是确定区域在对数时间内是否是凸的，而基于一阶梯度的方法主要用于定义新的区域。在本文中，Adam被用作基于一阶梯度的方法，然而，也可以考虑这类的其他方法。在深度神经网络设置中，它有效地处理了梯度消失和爆炸的问题。我们使用逻辑回归和深度神经网络在MNIST手写数字、IMDB和CIFAR10数据集上评估BSG。与其他基于一阶梯度的优化方法相比，我们产生了更有前途的结果。此外，与其他方法相比，该算法在看不见的数据上具有更好的泛化能力。
2020-07-27 cs.LG stat.ML
Policy Optimization as Wasserstein Gradient Flows
Duke University（杜克大学）；SUNY at Buffalo（纽约州立大学布法罗分校）
策略优化是强化学习（RL）的核心组成部分，并且大多数现有的RL方法基于最大化期望总回报或其代理来直接优化策略的参数。虽然经常取得令人鼓舞的经验成功，其基本的数学原理{ \em policy-distribution}优化是不清楚的。我们把政策优化的概率措施的空间，并解释为Wasserstein梯度流。在概率测度空间上，在一定条件下，策略优化问题就成为一个关于分配优化的凸问题。为了使优化可行，我们开发了有效的算法，通过数值求解相应的离散梯度流。我们的技术适用于几个RL设置，并与许多国家的最先进的政策优化算法。实验结果验证了我们的框架的有效性，往往获得更好的性能相比，相关的算法。
2018-08-09 cs.LG stat.ML
A Communication-Efficient Distributed Gradient Clipping Algorithm for Training Deep Neural Networks
George Mason University（乔治梅森大学）；Meta Platforms, Inc.（元平台公司）；University of Birmingham（伯明翰大学）；Texas A&M University（得克萨斯农工大学）
在深度神经网络的分布式训练中，人们通常在每台机器上运行随机梯度下降（SGD）或其变体，并定期与其他机器进行通信。然而，SGD在训练一些深度神经网络（例如，RNN，LSTM），因为梯度爆炸问题。梯度裁剪通常用于解决单机环境中的这个问题，但在分布式环境中探索这项技术仍处于起步阶段：梯度裁剪方案是否可以利用多台机器来享受并行加速仍然是个谜。其主要技术难点在于同时处理非凸损失函数、非Lipschitz连续梯度和跳过通信轮。在本文中，我们探索了LSTM在以前的工作中所满足的损失景观的松弛平滑假设，并设计了一种通信高效的梯度裁剪算法。该算法可以在多台机器上运行，其中每台机器采用梯度裁剪方案，并在多个基于梯度的更新步骤之后与其他机器通信。我们的算法被证明有$O\left(\frac{1}{Nε^4}\right)$迭代复杂性和$O(\frac{1}{ε^3})$通信复杂性，寻找一个$ε$ -平稳点在齐次数据设置，其中$N$是机器的数量。这表明，我们的算法享有线性加速比和减少通信轮。我们的证明依赖于新的分析技术估计截断随机变量，我们相信是独立的利益。我们在多个基准数据集和各种场景上的实验表明，我们的算法在实践中确实表现出快速的收敛速度，从而验证了我们的理论。
2022-10-13 cs.DC cs.LG math.OC
Guided Learning of Nonconvex Models through Successive Functional Gradient Optimization
RJ Research Consulting（RJ研究咨询公司）；Hong Kong University of Science and Technology（香港科技大学）
本文提出了一个连续函数梯度优化的框架，用于训练非凸模型，如神经网络，其中训练是由函数空间中的镜像下降驱动的。我们提供了一个理论分析和实证研究的培训方法，从这个框架。结果表明，该方法导致更好的性能比标准的训练技术。
2020-06-30 cs.LG stat.ML
A Generalized Stacking for Implementing Ensembles of Gradient Boosting Machines
Peter the Great St.Petersburg Polytechnic University（圣彼得堡彼得大帝理工大学）
梯度提升机是求解回归问题的有力工具之一。针对其不足，提出了一种构造梯度提升模型集成的方法。该方法背后的主要思想是使用堆叠算法来学习第二级元模型，该第二级元模型可以被视为用于实现梯度提升模型的各种集合的模型。首先，梯度提升模型的线性回归被认为是在线性模型关于其系数（权重）可微的条件下的元模型的最简单实现。然后，它表明，所提出的方法可以简单地扩展到任意可微的组合模型，例如，神经网络是可微的，可以实现任意功能的梯度提升模型。各种数值例子说明了所提出的方法。
2020-10-12 cs.LG stat.ML
A Gentle Introduction to Gradient-Based Optimization and Variational Inequalities for Machine Learning
Ecole Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；University of California, Berkeley（加州大学伯克利分校）；Flatiron Institute（弗拉蒂伦研究所）
本文面向机器学习中的决策与多智能体问题，系统介绍从鞍点、单调博弈到一般变分不等式的基于梯度的优化框架，强调算法动机与直觉而非仅给出收敛性证明。
2024-02-26 cs.LG stat.ML
Optimization of Graph Neural Networks with Natural Gradient Descent
University of Notre Dame（圣母大学）
在这项工作中，我们建议采用信息几何工具来优化图神经网络架构，如图卷积网络。更具体地说，我们开发了基于图的半监督学习的优化算法，通过在优化过程中采用自然梯度信息。这使我们能够有效地利用底层统计模型或参数空间的几何结构进行优化和推理。据我们所知，这是第一个利用自然梯度优化图神经网络的工作，可以扩展到其他半监督问题。高效的计算算法的开发和广泛的数值研究进行了证明我们的算法优于现有的算法，如ADAM和SGD的性能。
2020-08-21 cs.LG stat.ML
Double Adaptive Stochastic Gradient Optimization
Carnegie Mellon University（卡内基梅隆大学）；ITAM（墨西哥自治技术研究所）
自适应矩方法在深度学习优化中非常成功，特别是在存在噪声和/或稀疏梯度的情况下。我们进一步的优势，自适应矩技术，提出了一个家庭的双重自适应随机梯度方法\textsc{DASGrad}。它们利用了深度学习社区广泛使用的自适应矩算法的互补思想，以及自适应概率算法的最新进展。我们分析了我们的方法在随机凸优化设置中的理论收敛性改进，并提供了凸和非凸目标的实证验证。我们观察到，~ \textsc{DASGrad}的好处随着模型的复杂性和梯度的可变性而增加，我们探索了分布匹配多任务学习扩展中的实用性。
2018-11-06 cs.LG stat.ML
Gradient Perturbation is Underrated for Differentially Private Convex Optimization
The School of Data and Computer Science, Sun Yat-sen University（中山大学数据与计算机学院）；Microsoft Research Asia（微软亚洲研究院）；Guangdong Key Laboratory of Big Data Analysis and Processing（广东省大数据分析与处理重点实验室）
梯度扰动，广泛用于差分隐私优化，注入噪声在每次迭代更新，以保证差分隐私。以前的工作首先确定的噪声水平，可以满足隐私的要求，然后在非私人的情况下，分析噪声梯度更新的效用。相反，我们探讨隐私噪声如何影响优化性能。我们发现，差分私人凸优化，差分私人（随机）梯度下降的效用保证是由一个\emph{expected curvature}，而不是最小曲率。表示优化路径上的平均曲率的\emph{expected curvature}通常比最小曲率大得多。通过使用的\emph{expected curvature}，我们表明，梯度扰动可以实现显着提高效用保证，可以在理论上证明梯度扰动优于其他扰动方法的优势。最后，我们广泛的实验表明，梯度扰动与先进的合成方法确实优于其他扰动方法的大幅度，匹配我们的理论研究结果。
2020-10-26 cs.LG stat.ML
$\bar{G}_{mst}$:An Unbiased Stratified Statistic and a Fast Gradient Optimization Algorithm Based on It
Guangdong University of Finance and Economics（广东财经大学）
- 当前主流梯度优化算法忽略或混淆了连续迭代之间参数更新引起的梯度期望和方差的波动效应。本文通过引入一种新的无偏分层统计量$\bar{G}_{mst}$来弥补这一不足，并建立了$\bar{G}_{mst}$快速收敛的充分条件。基于$\bar{G}_{mst}$设计了一种新的算法MSSG，其性能优于其他sgd类算法。理论结论和实验证据强烈建议在训练深度模型时使用MSSG。
2021-10-07 cs.LG stat.ML
Wasserstein Gradient Flow over Variational Parameter Space for Variational Inference
Hokkaido University（北海道大学）；University of Tsukuba（茨口大学）；Kyoto University（京都大学）
本文将变分推断重构为变分参数空间上的概率分布优化问题，提出Wasserstein梯度下降方法，统一了黑箱VI与自然梯度VI，并通过合成数据实验和理论分析验证了其有效性。
2025-04-22 cs.LG stat.ML
From Optimization Dynamics to Generalization Bounds via Łojasiewicz Gradient Inequality
National University of Singapore（新加坡国立大学）
优化和泛化是统计机器学习的两个基本方面。本文通过分析梯度流算法下基于优化轨迹的泛化误差，提出了一个将优化与泛化相结合的框架。该框架的关键成分是Uniform-LGI，这是在训练机器学习模型时通常满足的属性。利用Uniform-LGI，我们首先推导了梯度流算法的收敛速度，然后给出了一大类机器学习模型的泛化界。我们进一步将我们的框架应用于三种不同的机器学习模型：线性回归，核回归和两层神经网络。通过我们的方法，我们得到的泛化估计匹配或扩展以前的结果。
2022-10-12 cs.LG stat.ML
Trajectory Normalized Gradients for Distributed Optimization
University of Pennsylvania（宾夕法尼亚大学）；University of California, Berkeley（加州大学伯克利分校）
最近，研究人员提出了各种低精度梯度压缩，以实现大规模分布式优化中的高效通信。在此基础上，我们尝试从一个新的方向来降低通信复杂性。我们追求两个梯度分布空间之间的理想双射映射，使得映射后的梯度在压缩后携带更大的信息熵。在我们的设置中，所有服务器都应该事先共享一个参考梯度，它们通过归一化梯度进行通信，归一化梯度是当前梯度和参考梯度之间的减法或商。为了获得产生更强信噪比的参考向量，在每次迭代中动态地，我们事后从过去的轨迹中提取和融合信息，并搜索用于压缩的最佳参考。我们将其命名为基于概率的归一化梯度（TNG）。它连接了来自不同社会的研究，如编码，优化，系统和学习。该算法易于实现，可与现有算法通用。我们对硬非凸函数，凸问题（如逻辑回归）进行基准测试的实验表明，TNG对于一般函数的分布式优化通信更具压缩效率。
2019-01-24 cs.CV cs.DC cs.LG
Adaptive Proximal Gradient Method for Convex Optimization
Faculty of Mathematics, University of Vienna（维也纳大学数学学院）；Samsung AI Center（三星人工智能中心）
本文通过利用局部曲率信息提出了无额外计算成本的自适应GD和ProxGD算法，并在仅假设梯度局部Lipschitz连续的条件下证明了其收敛性，且允许比[MM20]更大的步长。
2024-02-12 cs.LG cs.NA math.NA
Gradient Descent based Optimization Algorithms for Deep Learning Models Training
Information Fusion and Mining Laboratory（信息融合与挖掘实验室）
在本文中，我们旨在介绍用于学习深度神经网络模型的基于梯度下降的优化算法。涉及多个非线性投影层的深度学习模型的训练非常具有挑战性。目前，大部分的深度学习模型训练实际上仍然依赖于反向传播算法。在反向传播中，将迭代地更新模型变量，直到利用基于梯度下降的优化算法收敛。除了传统的vanilla梯度下降算法外，近年来还提出了许多梯度下降变体来提高学习性能，包括Momentum，Adagrad，Adam，Gadam等，本文将分别介绍这几种方法。
2019-03-11 cs.AI cs.LG stat.ML
Discretization-free Knowledge Gradient Methods for Bayesian Optimization
研究了先验信息相关且连续域的贝叶斯排序与选择问题，即贝叶斯优化问题。知识梯度方法[Frazier等人，2008年，2009年]已被广泛研究的离散R&S问题，抽样的一步贝叶斯最优点。当在连续域上使用时，先前关于知识梯度的工作[Scott等人，2011，Wu和Frazier，2016，Wu等人，[2017]通常依赖于离散有限近似。然而，离散化引入了误差，并且随着域的维数的增加，尺度变差。本文提出了一种求解贝叶斯优化的快速无离散化知识梯度方法。我们的方法并不局限于完全顺序设置，但在所有设置中，知识梯度可以使用连续域有用。我们展示了如何将我们的方法推广到处理（i）批量点建议（并行知识梯度）;（ii）在优化过程中可获得衍生信息的设置（启用衍生知识梯度）。在数值实验中，我们证明了离散化自由知识梯度方法找到全局最优解显着快于以前的贝叶斯优化算法的合成测试功能和现实世界的应用，特别是当功能评估是嘈杂的;和导数启用知识梯度可以进一步提高性能，甚至优于基于梯度的优化器，如BFGS导数信息可用。
2017-07-26 cs.AI cs.LG math.OC
Effect of barren plateaus on gradient-free optimization
Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）；Center for Nonlinear Studies（非线性研究中心）
贫瘠的高原景观对应于量子比特数量呈指数级消失的梯度。这样的景观已经被证明是变分量子算法和量子神经网络的深层电路或全局成本函数。由于显而易见的原因，基于梯度的优化器将受到贫瘠高原的显著影响。然而，无梯度优化器是否受到影响是一个争论的话题，一些人认为无梯度方法不受贫瘠高原的影响。在这里，我们表明，确实，梯度自由优化不解决贫瘠的高原问题。我们的主要结果证明，成本函数的差异，这是在无梯度优化决策的基础，是指数抑制在贫瘠的高原。因此，如果没有指数精度，无梯度优化器将不会在优化中取得进展。我们通过在一个贫瘠的高原上使用几个无梯度优化器（Nelder-Mead，Powell和COBYLA算法）进行训练，在数值上证实了这一点，并表明优化中所需的射击次数随着量子比特的数量呈指数增长。
2021-09-30 cs.LG quant-ph stat.ML
Gradient-based Hyperparameter Optimization Over Long Horizons
University of Edinburgh（爱丁堡大学）
基于一致性的超参数优化在Few-Shot元学习的上下文中获得了广泛的普及，但由于内存缩放和梯度退化问题，对于具有长视野（许多梯度步骤）的任务仍然是广泛不切实际的。一个常见的解决方法是在线学习超参数，但这会引入贪婪，从而导致性能显著下降。我们提出了前向模式差分与共享（FDS），一个简单而有效的算法，解决内存扩展问题与前向模式差分，和梯度退化问题，通过共享超参数，在时间上是连续的。我们提供了理论保证我们的算法的降噪性能，并证明其效率的经验，通过$\sim 10^4$梯度步骤展开优化区分。我们考虑在CIFAR-10上大的超参数搜索范围，在那里我们显著优于基于贪婪梯度的替代方案，同时与最先进的黑盒方法相比，实现了$\times 20$加速。代码可在：\url{https://github.com/polo5/FDS}
2021-09-30 cs.CV cs.LG stat.ML
Gradient Flow Sampler-based Distributionally Robust Optimization
Weierstrass Institute（韦伊尔斯特拉斯研究所）；KTH Royal Institute of Technology（皇家理工学院）
提出一种基于PDE梯度流框架的分布鲁棒优化方法，利用MCMC采样与梯度流理论实现最坏情况分布采样，并统一了现有DRO方法。
2026-05-25 math.AP math.OC stat.ML
Metric-Free Natural Gradient for Joint-Training of Boltzmann Machines
Université de Montréal（蒙特利尔大学）
本文介绍了用于训练玻尔兹曼机的无度量自然梯度（MFNG）算法。与Martens [8]的Hessian-Free方法的精神相似，我们的算法属于截断牛顿方法家族，并利用有效的矩阵向量积来避免显式存储自然梯度度量$L$。该度量被示出为对数配分函数的预期二阶导数（在模型分布下），或者等价地，能量函数的偏导数的向量的方差。我们在联合训练3层深度玻尔兹曼机的任务上评估了我们的方法，并表明MFNG确实比具有中心的随机最大似然函数具有更快的每历元收敛，尽管挂钟性能目前没有竞争力。
2013-03-16 cs.LG cs.NE stat.ML
Stochastic Gradient Line Bayesian Optimization for Efficient Noise-Robust Optimization of Parameterized Quantum Circuits
The University of Tokyo（东京大学）；Austrian Academy of Sciences（奥地利科学院）；Technische Universität Wien（维也纳工业大学）
优化参数化量子线路是使用近期量子器件的关键步骤。然而，现有的算法，这样的优化需要大量的量子测量拍摄估计的期望值的可观测量和重复多次迭代，其成本已经成为一个关键的障碍，实际使用。我们开发了一个有效的替代优化算法，随机梯度线贝叶斯优化（SGLBO），来解决这个问题。SGLBO通过基于随机梯度下降（SGD）估计更新电路参数的适当方向并进一步利用贝叶斯优化（BO）来估计SGD中每次迭代的最佳步长来降低测量发射成本。此外，我们制定了一个自适应的测量拍摄策略，并介绍了后缀平均技术，以减少统计和硬件噪声的影响。我们的数值模拟表明，与这些技术增强的SGLBO可以大大减少测量拍摄成本，提高精度，并使优化噪声鲁棒性。
2022-08-03 cs.LG quant-ph stat.ML
Stochastic gradient descent with noise of machine learning type. Part II: Continuous time analysis
Texas A&M University（德克萨斯A&M大学）
人工神经网络的函数表示依赖于大量的非线性参数。通过最小化“损失函数”，通常通过随机梯度下降（SGD）或基于SGD的高级算法，找到这些的合适参数。在一个连续时间模型的SGD噪声，遵循“机器学习缩放”，我们表明，在一定的噪声制度，优化算法更喜欢“平坦”的最小值的目标函数在某种意义上是不同的平坦的最小值选择连续时间SGD均匀的噪声。
2021-09-15 cs.LG math.AP stat.ML
Where Did My Optimum Go?: An Empirical Analysis of Gradient Descent Optimization in Policy Gradient Methods
Stanford University（斯坦福大学）；MILA（蒙特利尔学习算法研究所）；McGill University（麦吉尔大学）；Facebook（脸书）
最近对某些梯度下降优化方法的分析表明，性能在某些设置中可能会下降-例如随机性或隐式动量。在深度强化学习（Deep RL）中，这种优化方法通常用于通过时间差异误差或策略梯度来训练神经网络。随着代理随时间的推移而改进，优化目标会发生变化，因此损失景观（和局部最优值）也会发生变化。由于这些方法的失败模式，Deep RL优化器的理想选择仍然不清楚。因此，我们提供了一个实证分析的影响，广泛的梯度下降优化器和他们的超参数对策略梯度方法，深度RL算法的子集，基准连续控制任务。我们发现，自适应优化有一个狭窄的窗口有效的学习率，发散在其他情况下，和动量的有效性取决于环境的属性。我们的分析表明，环境的动态和Deep RL算法属性之间存在显着的相互作用，而传统的自适应梯度方法不一定能解释这些特性。根据我们的研究结果，我们为当前方法的最佳设置和进一步的研究提供了建议。
2018-10-05 cs.AI cs.LG stat.ML
Compositional Stochastic Average Gradient for Machine Learning and Related Applications
The Pennsylvania State University（宾夕法尼亚州立大学）；College of Information Science and Technology（信息科学与技术学院）；Department of Computer Science and Engineering（计算机科学与工程系）
许多机器学习、统计推断和投资组合优化问题需要期望价值函数组合（CEVF）的最小化。特别感兴趣的是有限和版本的组合优化问题（FS-CEVF）。组合随机方差约减梯度（C-SVRG）方法结合了随机组合梯度下降（SCGD）和随机方差约减梯度下降（SVRG）方法，是求解FS-CEVF问题的最新方法。本文介绍了合成随机平均梯度下降法（C-SAG），它是随机平均梯度法（SAG）的一种新的扩展，用于最小化有限和函数的合成。与SAG类似，C-SAG通过合并先前梯度信息的记忆来估计梯度。我们提出了C-SAG的理论分析表明，C-SAG，SAG，和C-SVRG，实现了线性收敛速度时，目标函数是强凸的，但C-CAG实现了较低的Oracle查询的复杂度比C-SVRG每次迭代。最后，我们提出的实验结果表明，C-SAG收敛速度大大快于全梯度（FG），以及C-SVRG。
2018-09-07 cs.CC cs.LG stat.ML
Coherent Gradients: An Approach to Understanding Generalization in Gradient Descent-based Optimization
Google AI（谷歌人工智能）
深度学习社区中的一个悬而未决的问题是，为什么用梯度下降训练的神经网络在真实数据集上泛化得很好，即使它们能够拟合随机数据。我们提出了一种方法来回答这个问题的基础上的一个假设的动态梯度下降，我们称之为相干的相干性：来自类似的例子的相干性是相似的，所以整体梯度是强的，在某些方向上，这些相互加强。因此，在训练过程中对网络参数的改变偏向于那些（局部）同时有益于许多示例（当存在这种相似性时）的参数。我们用启发式论证和微扰实验来支持这一假设，并概述了这一假设如何解释关于深度学习的几个常见经验观察。此外，我们的分析不仅是描述性的，而且是规定性的。它建议对梯度下降进行自然修改，可以大大减少过拟合。
2020-02-25 cs.CV cs.LG stat.ML
How to Learn a Useful Critic? Model-based Action-Gradient-Estimator Policy Optimization
MILA（米拉人工智能研究所）；Université de Montréal（蒙特利尔大学）；NNAISENSE（恩奈瑟思）
用于连续控制的确定性策略行动者-批评者算法通过将其行动插入批评者并使行动值梯度上升来改进行动者，该行动值梯度通过将行动者的雅可比矩阵与批评者相对于输入行动的梯度链接来获得。然而，批评者通常只接受训练以准确预测预期回报，而不是梯度，这本身对政策优化毫无用处。在本文中，我们提出了MAGE，一个基于模型的actor-critic算法，接地理论的策略梯度，明确学习的动作值梯度。MAGE反向传播通过学习动态计算梯度目标的时间差异学习，导致一个批评家定制的政策改进。在一组MuJoCo连续控制任务上，我们证明了该算法与无模型和基于模型的最先进基线相比的效率。
2020-10-22 cs.AI cs.LG stat.ML
Channel-Directed Gradients for Optimization of Convolutional Neural Networks
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
我们介绍了卷积神经网络的优化方法，可以用来改善现有的基于梯度的优化方面的泛化误差。该方法只需要简单处理现有的随机梯度，可以与任何优化器结合使用，并且与随机梯度的计算相比，只有线性开销（在参数的数量上）。该方法通过计算损失函数相对于输出通道定向的重新加权L2或Sobolev度量的梯度来工作，这具有在参数张量的某个方向上平滑梯度分量的效果。我们表明，定义沿输出通道方向的梯度会导致性能提升，而其他方向可能是有害的。我们提出了这种梯度的连续理论，它的离散化，以及在深度网络中的应用。在基准数据集、多个网络和基线优化器上的实验表明，优化器可以通过简单地计算输出通道定向度量的随机梯度来改善泛化误差。
2020-08-25 cs.AI cs.CV cs.LG
Distributed Statistical Machine Learning in Adversarial Settings: Byzantine Gradient Descent
Cornell（康奈尔大学）；UIUC（伊利诺伊大学厄巴纳-香槟分校）；Purdue（普渡大学）
我们考虑了分布式统计机器学习在对抗环境中的问题，其中一些未知的和时变的工作机器子集可能会受到损害，并任意行为，以防止准确的模型被学习。此设置捕捉了联邦学习面临的潜在对抗性攻击-这是一种由Google研究人员提出的现代机器学习范式，并已被深入研究以确保用户隐私。形式上，我们专注于一个分布式系统组成的参数服务器和$m$工作机。每台工作机器都保存$N/m$数据样本，其中$N$是样本的总数。我们的目标是共同学习维度$d$的底层真实模型参数。在经典的批量梯度下降方法中，工作机器向服务器报告的梯度通过简单的平均来聚合，这容易受到单个拜占庭失败的影响。在本文中，我们提出了一个拜占庭梯度下降方法的基础上的几何中值的平均梯度。我们表明，我们的方法可以容忍$q \le (m-1)/2$拜占庭故障，参数估计收敛在$O(\log N)$轮估计误差为$\sqrt{d(2q+1)/N}$，因此接近最佳的错误率$\sqrt{d/N}$在集中式和无故障设置。该算法在每台工作机上的总计算复杂度为$O((Nd/m) \log N)$，在中心服务器上的总计算复杂度为$O(md + kd \log^3 N)$，总通信开销为$O(m d \log N)$。我们进一步提供了我们的一般结果的线性回归问题的应用。上述问题中出现的关键挑战是拜占庭故障在迭代和聚合梯度之间创建任意和未指定的依赖性。我们证明了聚集梯度一致收敛于真梯度函…
2017-10-23 cs.CR cs.DC cs.LG
Gradient Sparsification for Communication-Efficient Distributed Optimization
Tencent AI Lab（腾讯人工智能实验室）；University of Chicago（芝加哥大学）；University of Rochester（罗切斯特大学）
本文提出通过凸优化方法减少梯度通信开销，设计高效算法实现梯度稀疏化，验证了在逻辑回归、支持向量机和卷积神经网络中的有效性。
2017-10-26 cs.LG cs.NA math.NA
A Principle for Global Optimization with Gradients
针对含大量次优局部极小值的可微函数全局优化问题，提出基于目标梯度、由非局部二次逼近生成搜索方向的原则，并通过实验对比所提简单算法、CMA-ES 与随机重启 BFGS。
2023-08-18 cs.NA cs.NE math.NA
