Efficient coordinate-descent for orthogonal matrices through Givens rotations
Hebrew University of Jerusalem（耶路撒冷希伯来大学）；Bar Ilan University（巴伊兰大学）
优化正交矩阵集是稀疏PCA或张量分解等问题的核心组成部分。不幸的是，这样的优化是困难的，因为对正交矩阵的简单操作容易破坏正交性，并且校正正交性通常花费大量的计算。在这里，我们提出了一个优化正交矩阵的框架，即坐标下降在欧氏空间中的并行。它基于{ \em Givens-rotations}，这是一种快速计算操作，影响学习矩阵中的少量条目，并保持正交性。我们展示了这种方法的两个应用：用于学习混合模型的张量分解算法和稀疏PCA算法。我们研究了Givens旋转方法收敛速度更快并在全基因组全脑mRNA表达数据集上实现卓越模型的参数制度。
2013-12-13 cs.LG stat.ML
Training L1-Regularized Models with Orthant-Wise Passive Descent Algorithms
Tencent AI Lab（腾讯人工智能实验室）
$L_1$正则化模型广泛用于稀疏回归或分类任务。在本文中，我们提出了正交明智的被动下降算法（OPDA）优化$L_1$正则化模型，作为一个改进的替代邻近算法，这是目前的标准工具，优化模型。OPDA使用一个随机方差缩减梯度（SVRG）来初始化下降方向，然后应用一种新的对齐算子来鼓励每个元素在一次迭代更新后保持相同的符号，从而使参数保持与以前相同的正体。它还显式地抑制每个元素的大小以施加稀疏性。拟牛顿更新可以用来合并曲率信息并加快速度。证明了OPDA在一般光滑强凸损失函数上的线性收敛速度。通过对$L_1$ -正则化逻辑回归和卷积神经网络进行实验，我们表明OPDA优于最先进的随机邻近算法，这意味着在训练稀疏模型方面有广泛的应用。
2018-02-22 cs.LG stat.ML
Optimizing the CVaR via Sampling
The Technion - Israel Institute of Technology（以色列理工学院）
条件风险价值（CVaR）是一种重要的风险度量方法，广泛应用于各个领域。我们开发了一个新的公式的梯度CVaR的形式的条件期望。基于此公式，我们提出了一种新的基于采样的估计CVaR梯度，在似然比方法的精神。我们分析了估计的偏差，并证明了相应的随机梯度下降算法收敛到局部CVaR最优。我们的方法可以考虑在新的领域CVaR优化。作为一个例子，我们考虑强化学习应用程序，并学习俄罗斯方块游戏的风险敏感控制器。
2014-11-22 cs.AI cs.LG stat.ML
Convergence Analysis for Rectangular Matrix Completion Using Burer-Monteiro Factorization and Gradient Descent
University of Chicago（芝加哥大学）
我们解决的矩形矩阵完成问题，提升未知矩阵的一个半正定矩阵在更高的维度，并使用一个简单的梯度下降方案优化的半定因子的非凸目标。利用$O( μr^2 κ^2 n \max(μ, \log n))$对$n_1 \times n_2$ $μ$ -秩为$r$且条件数为$n = \max(n_1, n_2)$的非相干矩阵的随机观测，该算法以高概率线性收敛到全局最优。
2016-11-22 cs.LG stat.ML
Mirror Descent with Relative Smoothness in Measure Spaces, with application to Sinkhorn and EM
Ecole normale supérieure（巴黎高等师范学院）；Université PSL（巴黎文理研究大学）；CNRS（法国国家科学研究中心）；INRIA Paris（法国国家信息与自动化研究所巴黎分所）；CREST（经济与统计研究中心）；ENSAE（法国国立统计与经济管理学院）；IP Paris（巴黎理工学院）
机器学习中的许多问题都可以表述为在测度的向量空间上优化凸泛函。本文研究了无限维情形下镜像下降算法的收敛性。定义Bregman发散通过方向导数，我们推导出该计划的相对光滑和凸的泛函对的收敛性。这样的假设允许处理非光滑泛函，如Kullback-Leibler（KL）分歧。应用我们的结果到联合分布和KL，我们证明了连续情形下熵最优输运的Sinkhorn原迭代对应于镜像下降，并得到了它的（次）线性收敛的新证明.我们还表明，期望最大化（EM）总是可以正式书面作为一个镜像下降。当只优化的潜在分布，而固定的混合物参数-这对应于Richardson-露西反卷积方案在信号处理-我们得到次线性收敛率。
2022-10-11 cs.LG math.OC stat.ML
Efficient displacement convex optimization with particle gradient descent
MIT（麻省理工学院）
粒子梯度下降使用粒子来表示概率度量并并行地对粒子执行梯度下降，其被广泛地用于优化概率度量的函数。本文考虑粒子数有限的粒子梯度下降，并建立其理论保证，以优化功能，是\emph{displacement convex}的措施。具体地，对于定义在$\mathbb{R}^d$上概率上的Lipschitz位移凸函数，我们证明了$O(1/ε^2)$粒子和$O(d/ε^4)$计算足以找到$ε$ -最优解.我们进一步提供了优化光滑位移凸函数的改进的复杂性界限。我们展示了我们的结果与特定的神经结构与二维输入函数逼近的应用。
2023-02-09 cs.LG stat.ML
Optimizing Regret
Risk AI Center（风险人工智能中心）
本文基于成本与决策协方差发展协方差遗憾泛函导数理论，推导线性策略梯度，扩展到约束优化等，得出通用最速下降方向，还给出收敛界及算法，应用于投资组合倾斜与大语言模型分配策略。
2026-07-31 cs.LG econ.EM stat.ML
Implicit Regularization in Matrix Factorization
我们研究隐式正则化优化欠定二次目标时，在矩阵$X$上的$X$的因式分解的梯度下降。我们猜想，并提供经验和理论证据，足够小的步长和初始化足够接近原点，梯度下降全维分解收敛到最小核范数的解决方案。
2017-05-25 cs.LG stat.ML
Task-Driven Data Verification via Gradient Descent
New York University（纽约大学）；Facebook AI Research（脸书人工智能研究院）
我们引入了一种新的算法，用于检测可能的样本腐败，如在一个小的干净的验证集的训练数据集中的错误标记的样本。我们使用一组包含变量来确定是否应该将噪声训练集的任何元素包含在网络的训练中。我们通过基于“梯度下降上的梯度下降“的学习优化网络在干净验证集上的性能来计算这些包含变量。包含变量以及以这种方式训练的网络形成了我们的方法的基础，我们称之为通过梯度下降（CDGD）的腐败检测。该算法可以应用于任何有监督的机器学习任务，并且不限于分类问题。我们提供了一个定量的比较，这些方法在合成和真实世界的数据集。
2019-05-14 cs.LG stat.ML
Gradient Descent for Spiking Neural Networks
Salk Institute（索尔克研究所）
尽管大脑中的信息处理主要由产生称为尖峰的离散脉冲的动态神经元执行，但许多关于神经计算的研究都基于产生模拟输出的静态神经元的网络模型。由于缺乏有效的尖峰网络监督学习算法，阻碍了基于尖峰计算的研究。在这里，我们提出了一个梯度下降法优化尖峰网络模型，通过引入一个可微的制定尖峰网络，并推导出精确的梯度计算。为了演示，我们在两个动态任务上训练了循环尖峰网络：一个是需要优化快速（~毫秒）基于尖峰的交互以有效编码信息，另一个是在延长的持续时间（~秒）内延迟记忆XOR任务。结果表明，我们的方法确实优化了尖峰网络动态的时间尺度上的个人尖峰以及行为的时间尺度。总之，我们的研究结果提供了一个通用的监督学习算法的尖峰神经网络，从而推动了进一步的研究基于尖峰的计算。
2017-06-19 cs.LG cs.NE q-bio.NC
Information-Theoretic Generalization Bounds for Stochastic Gradient Descent
Universitat Pompeu Fabra（庞培法布拉大学）；Element AI（Element AI公司）；Mila（米拉实验室）；University of Toronto（多伦多大学）；Vector Institute（矢量研究院）
我们研究了流行的随机优化方法称为随机梯度下降（SGD）优化一般非凸损失函数的推广性能。我们的主要贡献是提供上界的泛化误差，依赖于本地统计的随机梯度评估沿路径的迭代计算SGD。我们的边界取决于梯度的方差（相对于数据分布）和目标函数沿SGD路径的局部平滑度，以及损失函数对最终输出扰动的敏感性。我们的关键技术工具是结合信息理论的推广边界先前用于分析随机变量的SGD与扰动分析的迭代。
2021-08-15 cs.LG stat.ML
Optimizing Neural Networks with Kronecker-factored Approximate Curvature
University of Toronto（多伦多大学）
我们提出了一种有效的方法来近似自然梯度下降的神经网络，我们称之为克罗内克因子近似曲率（K-FAC）。K-FAC是基于一个有效的可逆近似的神经网络的Fisher信息矩阵，既不是对角也不是低秩，在某些情况下是完全非稀疏的。它是通过近似费舍尔的各种大块（对应于整个层）作为两个小得多的矩阵的克罗内克积而得出的。虽然计算成本仅比普通随机梯度高几倍，但K-FAC产生的更新在优化目标方面取得了更大的进展，这导致实际上可以比具有动量的随机梯度下降快得多的算法。与之前提出的一些使用高质量非对角曲率矩阵（如Hessian-free优化）的近似自然梯度/牛顿方法不同，K-FAC在高度随机的优化机制中工作得非常好。这是因为存储K-FAC近似值并将其求逆到曲率矩阵的成本不取决于用于估计它的数据量，这是通常仅与曲率矩阵的对角或低秩近似相关联的特征。
2020-06-08 cs.LG cs.NE stat.ML
Multi-Gradient Descent for Multi-Objective Recommender Systems
Oracle Labs（甲骨文实验室）；EPFL（洛桑联邦理工学院）；Swisscom（瑞士电信）
推荐系统需要反映它们所应用的环境的复杂性。我们对用户可能受益的了解越多，推荐系统的目标就越多。此外，除了法律和道德约束外，还可能有多个利益攸关方-卖方、买方、股东。到目前为止，同时优化多个目标，相关和不相关，具有相同的规模或不具有相同的规模，已经证明是困难的。我们引入了一个随机多梯度下降推荐系统（MGDRec）的方法来解决这个问题。我们表明，这超过了传统的客观混合物，如收入和召回的最先进的方法。不仅如此，通过梯度归一化，我们还可以将具有不同尺度的根本不同的目标结合到一个统一的框架中。我们表明，不相关的目标，如优质产品的比例，可以提高精度。通过使用随机性，我们避免了计算全梯度的陷阱，并为其适用性提供了明确的设置。
2020-04-17 cs.AI cs.IR cs.LG
Implicit Gradient Regularization
DeepMind（深度思维）；Google（谷歌）
梯度下降在优化深度神经网络方面可以非常出色，而不会过度拟合，也不会显式正则化。我们发现梯度下降的离散步骤通过惩罚具有大损失梯度的梯度下降轨迹来隐式地正则化模型。我们称之为隐式梯度正则化（IGR），我们使用向后误差分析来计算这个正则化的大小。我们证实经验，隐式梯度正则化偏向梯度下降平坦的最小值，测试误差小，解决方案是强大的噪声参数扰动。此外，我们证明了隐式梯度正则化项可以用作显式正则化，使我们能够直接控制这个梯度正则化。更广泛地说，我们的工作表明，向后误差分析是一个有用的理论方法，学习率，模型大小和参数正则化如何相互作用，以确定使用梯度下降优化的过参数化模型的属性。
2022-07-18 cs.LG stat.ML
Tight Complexity Bounds for Optimizing Composite Objectives
Toyota Technological Institute at Chicago（芝加哥丰田理工学院）
我们提供严格的上限和下界的复杂性最小化的平均$m$凸函数使用梯度和prox预言的组件功能。我们发现确定性与随机优化的复杂性之间存在显着的差距。对于光滑函数，我们表明，加速梯度下降（AGD）和SVRG的加速变体分别是最佳的确定性和随机设置，梯度预言是足够的最佳速率。对于非光滑函数，有接近预言机的访问降低了复杂性，我们提出了最佳的方法的基础上平滑，提高了方法，只使用梯度访问。
2019-04-04 cs.LG math.OC stat.ML
Sequential Gradient Descent and Quasi-Newton's Method for Change-Point Analysis
Texas A&M University（得克萨斯农工大学）
检测变点的一种常见方法是在变点的可能数量和位置上最小化成本函数。该框架包括几个完善的程序，如惩罚的可能性和最小描述长度。这种方法需要在数据集的不同段上重复地找到成本值，当（i）数据序列很长并且（ii）获得成本值涉及解决非平凡优化问题时，这可能是耗时的。本文介绍了一种新的顺序方法（SE），可以耦合梯度下降（SeGD）和拟牛顿法（SeN），以有效地找到成本值。其核心思想是使用先前步骤中的信息更新成本值，而无需重新优化目标函数。将该方法应用于广义线性模型和惩罚回归的变点检测。数值研究表明，新的方法可以比修剪精确线性时间（PELT）方法快几个数量级，而不牺牲估计精度。
2022-10-21 cs.LG stat.ML
Simple Linear Neuron Boosting
本文提出一种基于Boosted Backpropagation的在线无矩阵预条件梯度下降算法，通过白化神经元特征加速网络收敛，适用于各类可微架构且易于在分布式环境中实现。
2025-02-03 cs.LG stat.ML
Optimizing Deep Neural Network Architecture: A Tabu Search Based Approach
Jamia Millia Islamia（贾米亚·米利亚·伊斯兰亚大学）
前馈神经网络（FNN）的性能完全取决于网络结构和训练算法的选择。FNN架构可以使用几个参数进行调整，例如隐藏层的数量，每个隐藏层的隐藏神经元数量以及层之间的连接数量。这些体系结构属性的组合可能是指数型的，这可能是人工无法管理的，所以它需要一个算法，可以自动设计一个最优的体系结构，具有较高的泛化能力。许多优化算法已被用于FNN结构的确定。本文提出了一种新的方法，它可以工作的模糊神经网络的隐层和各自的神经元的估计。结合禁忌搜索（TS）和梯度下降与动量反向传播（GDM）训练算法的优点，演示了禁忌搜索如何基于最小测试误差标准从填充的体系结构中自动选择最佳体系结构。所提出的方法已被测试的四个不同大小的分类基准数据集。
2018-08-17 cs.AI cs.LG cs.NE
Convergence of Gradient Descent on Separable Data
Technion（以色列理工学院）；USC（南加利福尼亚大学）；TTI Chicago（芝加哥丰田技术研究所）
我们提供了一个详细的研究梯度下降的隐式偏差优化损失函数时，严格单调的尾巴，如逻辑损失，在可分离的数据集。我们看两个基本问题：（一）什么条件下的损失函数的尾部梯度下降收敛在$L_2$最大利润分离的方向？(b)保证金收敛的速度如何取决于损失函数的尾部和步长的选择？我们发现，对于一个大家庭的超多项式尾部损失，梯度下降迭代线性网络的任何深度收敛的方向$L_2$最大利润的解决方案，而这并不适用于损失较重的尾巴。在这个家庭中，对于简单的线性模型，我们证明了最优利率与固定步长确实得到了常用的指数尾损失，如逻辑损失。然而，在固定步长的情况下，最佳收敛速度与$1/\log(t)$一样非常慢，Soudry等人（2018）也证明了这一点。对于指数损失的线性模型，我们进一步证明了收敛速度可以提高到$\log (t) /\sqrt{t}$通过使用积极的步长，补偿迅速消失的梯度。数值结果表明，这种方法可能是有用的深层网络。
2019-03-24 cs.LG stat.ML
Evolutionary Stochastic Gradient Descent for Optimization of Deep Neural Networks
IBM Research AI（IBM研究院人工智能部门）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）
我们提出了一个基于种群的进化随机梯度下降（ESGD）框架，用于优化深度神经网络。ESGD结合SGD和无梯度进化算法作为一个框架中的互补算法，其中优化交替之间的SGD步骤和进化步骤，以提高人口的平均适应度。通过在SGD步骤中的退避策略和在进化步骤中的精英策略，它保证了种群中的最佳适应度永远不会下降。此外，在SGD步骤中使用不同的超参数的各种基于SGD的优化器优化的群体中的个体被认为是协同进化设置中的竞争物种，使得优化器的互补性也被考虑在内。ESGD的有效性在包括语音识别、图像识别和语言建模在内的多个应用中得到了证明，使用了具有各种深度架构的网络。
2018-10-16 cs.LG cs.NE stat.ML
On the influence of stochastic roundoff errors and their bias on the convergence of the gradient descent method with low-precision floating-point computation
Eindhoven University of Technology（埃因霍温理工大学）；Università di Pisa（比萨大学）
当在低精度下实现梯度下降方法时，采用随机舍入方案有助于防止由消失梯度效应引起的收敛停滞。无偏随机舍入通过保留与其相对大小成比例的概率的小更新来产生零偏差。该研究为梯度下降法在低精度计算中的停滞现象提供了理论解释。此外，我们提出了两个新的随机舍入方案，以更大的概率交易零偏置属性，以保持小梯度。我们的方法产生一个恒定的舍入偏差，平均而言，在于下降的方向。对于凸问题，我们证明了所提出的舍入方法通常对梯度下降的收敛速度有有益的影响。我们验证了我们的理论分析，通过比较性能的各种舍入方案时，优化多项逻辑回归模型和训练一个简单的神经网络与8位浮点格式。
2023-02-25 cs.LG cs.NA math.NA
SGB: Stochastic Gradient Bound Method for Optimizing Partition Functions
Department of Electrical and Computer Engineering, New York University（纽约大学电气工程与计算机科学系）
本文讨论了随机学习环境中优化配分函数的问题。我们提出了一个随机变量的约束优化算法，依赖于上界的分区函数与二次代理。所提出的方法的更新，我们称之为随机配分函数界（SPFB），类似于缩放的随机梯度下降，其中缩放因子依赖于二阶项，然而不同于Hessian。类似于拟牛顿格式，这一项是使用函数值及其梯度的随机近似来构造的。我们证明了所提出的方法的次线性收敛速度，并显示其低秩变体（LSPFB）的建设。逻辑回归实验表明，所提出的计划显着优于SGD。我们还讨论了如何使用二次配分函数界来有效训练深度学习模型和非凸优化。
2020-11-03 cs.LG math.OC stat.ML
Gradient Descent Maximizes the Margin of Homogeneous Neural Networks
Institute for Interdisciplinary Information Sciences（交叉信息研究院）；Tsinghua University（清华大学）
在本文中，我们研究了均匀神经网络中梯度下降算法的隐式正则化，包括具有ReLU或LeakyReLU激活的全连接和卷积神经网络。特别地，我们研究了梯度下降或梯度流（即，具有无穷小步长的梯度下降）优化任何齐次模型（可能是非平滑的）的逻辑损失或交叉熵损失，并表明如果训练损失降低到某个阈值以下，则我们可以定义随时间增加的归一化余量的平滑版本。我们还制定了一个自然的约束优化问题的利润最大化，并证明了归一化利润和其平滑版本收敛到目标值的KKT点的优化问题。我们的结果推广了以前的结果与一层或多层线性网络的逻辑回归，并提供了更多的定量收敛结果与较弱的假设比以前的结果均匀光滑神经网络。我们进行了几个实验，以证明我们的理论发现MNIST和CIFAR-10数据集。最后，由于裕度与鲁棒性密切相关，我们讨论了更长时间的训练对提高模型鲁棒性的潜在好处。
2020-12-29 cs.LG cs.NE stat.ML
Direction Matters: On the Implicit Bias of Stochastic Gradient Descent with Moderate Learning Rate
Johns Hopkins University（约翰霍普金斯大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
理解\emph{stochastic gradient descent}（SGD）的算法偏见是现代机器学习和深度学习理论的关键挑战之一。然而，大多数现有的工作集中在\emph{very small or even infinitesimal}学习率制度，并未能涵盖实际的情况下，学习率是\emph{moderate and annealing}。在本文中，我们作出了初步的尝试，以描述特定的正则化效果的SGD在中等学习率制度，通过研究其行为优化过参数化线性回归问题。在这种情况下，SGD和GD是已知的收敛到唯一的最小范数的解决方案，然而，与温和的和退火学习率，我们表明，他们表现出不同的\emph{directional bias}：SGD收敛沿大特征值方向的数据矩阵，而GD后的小特征值方向。此外，我们表明，这样的方向性偏差的问题时，采用早期停止，其中SGD输出接近最优，但GD输出是次优的。最后，我们的理论解释了几个民间艺术在实践中用于SGD超参数调整，如（1）线性缩放初始学习率与批量大小;（2）超越SGD高学习率，即使损失停止下降。
2021-03-29 cs.LG stat.ML
An Energy-Based Self-Adaptive Learning Rate for Stochastic Gradient Descent: Enhancing Unconstrained Optimization with VAV method
Purdue University（普渡大学）
针对学习率优化难题，本文提出基于能量的VAV自适应学习率方法，通过辅助变量实现无回溯能量近似，在保证稳定性的同时加速收敛，并优于SGD。
2024-11-10 cs.LG math.OC stat.ML
On the Convergence of the Gradient Descent Method with Stochastic Fixed-point Rounding Errors under the Polyak-Lojasiewicz Inequality
Eindhoven University of Technology（埃因霍温理工大学）；Università di Pisa（比萨大学）
本文证明在Polyak-Lojasiewicz条件下，有偏随机舍入误差可消除梯度消失并引导下降，且收敛速率上界优于无偏随机舍入，实验验证了理论。
2025-01-18 cs.LG cs.NA math.NA
Stochastic Gradient Descent with Biased but Consistent Gradient Estimators
MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Research（IBM研究院）
随机梯度下降（SGD），可以追溯到20世纪50年代，是执行随机优化的最流行和最有效的方法之一。SGD的研究最近在机器学习中重新兴起，用于优化凸损失函数和训练非凸深度神经网络。该理论假设人们可以很容易地计算一个无偏梯度估计，这通常是由于经验风险最小化的样本平均性质的情况。然而，存在许多场景（例如，图），其中无偏估计器的计算可能与全梯度一样昂贵，因为训练样本是互连的。最近，Chen等人。（2018）提出使用一致梯度估计作为经济替代方案。鼓励经验的成功，我们表明，在一般情况下，一致的估计结果在相同的收敛行为做无偏的。我们的分析涵盖了强凸，凸和非凸目标。我们验证了合成和真实世界的数据与说明性的实验结果。这项工作开辟了几个新的研究方向，包括开发具有一致估计量的更有效的SGD更新，以及为大规模图设计有效的训练算法。
2019-12-23 cs.LG math.OC stat.ML
Stochastic Chebyshev Gradient Descent for Spectral Optimization
Korea Advanced Institute of Science and Technology（韩国科学技术院）；Tel Aviv University（特拉维夫大学）；AItrics
大量的机器学习技术需要解决涉及参数矩阵的谱函数的优化问题，例如对数行列式和核范数。不幸的是，计算谱函数的梯度通常具有立方复杂度，因为这样的梯度下降方法对于优化涉及谱函数的目标是相当昂贵的。因此，人们自然转向随机梯度方法，希望它们将提供一种减少或完全避免全梯度计算的方法。然而，这里出现了一个新的挑战：没有直接的方法来计算谱函数的无偏随机梯度。在本文中，我们发展了无偏随机梯度的谱和，一个重要的子类的谱函数。我们的无偏随机梯度的基础上相结合的随机跟踪估计与随机截断的切比雪夫展开。截断分布的精心设计使我们能够提供方差最优的分布，这对于随机梯度方法的快速和稳定收敛至关重要。我们进一步利用我们提出的随机梯度设计随机方法的目标函数涉及谱和，并严格分析其收敛速度。我们的方法的效用是在数值实验中证明。
2018-10-30 cs.CC cs.LG stat.ML
Adaptive Distributed Stochastic Gradient Descent for Minimizing Delay in the Presence of Stragglers
Rutgers University（罗格斯大学）；Indian Institute of Science（印度科学学院）；US Army Research Laboratory（美国陆军研究实验室）
针对分布式SGD中掉队者导致的延迟问题，本文提出自适应调整最快工作节点数量k的策略和算法，基于误差上界优化误差-运行时间权衡，并通过数值模拟验证了有效性。
2020-02-25 cs.LG stat.ML
Adaptive Kernel Selection for Stein Variational Gradient Descent
Universität Mannheim（曼海姆大学）；MIT（麻省理工学院）；Universität Heidelberg（海德堡大学）
本文提出Ad-SVGD方法，通过自适应调整核参数提升SVGD在高维数据中的性能。
2025-12-04 cs.LG stat.ML
A Stochastic Gradient Method with Biased Estimation for Faster Nonconvex Optimization
University of Southampton（南安普顿大学）
已经提出了许多优化方法来优化非凸目标（例如深度学习模型），例如批量梯度下降、随机梯度下降和随机方差减少的梯度下降。理论表明，这些优化方法可以通过使用无偏梯度估计器来收敛。然而，在实践中，有偏梯度估计可以允许更有效地收敛到附近，因为无偏方法在计算上更昂贵。为了产生快速收敛，这些优化策略有两个权衡，即随机/批量和有偏/无偏之间。本文提出了一种综合的方法，可以控制的性质的随机元素的优化，并可以平衡的权衡估计之间的有偏和无偏通过使用超参数。理论和实验表明，这个超参数可以配置为提供一个有效的平衡，以提高收敛速度。
2019-05-13 cs.LG math.OC stat.ML
Optimizing generalization on the train set: a novel gradient-based framework to train parameters and hyperparameters simultaneously
Ecole Polytechnique（巴黎综合理工学院）；Paris Dauphine-PSL（巴黎多芬大学-巴黎文理研究大学）
泛化是机器学习的核心问题。大多数预测方法都需要对保留的\textit{validation}数据集进行仔细的超参数校准，以实现泛化。本文的主要目标是提出一种新的方法，基于一种新的风险度量，使我们能够开发新的全自动程序的泛化。我们说明了这个新的框架在回归问题的相关性。这种新方法的主要优点是：（i）它可以同时训练模型，并在所有可用数据上的基于梯度的优化器的单次运行中执行正则化，而无需任何先前的超参数调整;（ii）这种框架可以同时处理几个额外的目标（相关性，稀疏性，.）$via$正则化参数的引入。值得注意的是，我们的方法转换超参数调整以及特征选择（组合离散优化问题）到一个连续的优化问题，这是通过经典的基于梯度的方法求解;（iii）我们的方法的计算复杂性是$O(npK)$其中$n,p,K$分别表示观测，功能和迭代的梯度下降算法的数量。我们在实验中观察到，与基准方法相比，我们的方法具有更小的运行时间，以获得相等的预测分数。我们的过程在PyTorch中实现（代码可用于复制）。
2020-06-11 cs.LG stat.ML
Functional Gradient Descent with Adaptive Representations
FGV EMAp；IMPA；Stanford University（斯坦福大学）
提出一种自适应表示的函数梯度下降算法，通过将近似误差纳入分析，在平滑损失下收敛到驻点，在PL条件下收敛到全局最小值，在回归、PDE求解和计算机视觉中优于固定近似FGD和神经网络基线。
2026-06-16 cs.LG math.OC stat.ML
Closed-Form Last Layer Optimization
Google DeepMind Gatsby Unit, University College London（谷歌深Mind加布兹单位，伦敦大学学院）；Tübingen AI Center, University of Tübingen（图宾根人工智能中心，图宾根大学）；University College London（伦敦大学学院）
本文提出在优化神经网络时，利用线性最后一层权重的闭式解，通过交替梯度下降和闭式更新提升回归任务性能。
2026-11-09 cs.LG stat.ML
Escaping From Saddle Points --- Online Stochastic Gradient for Tensor Decomposition
Microsoft Research New England（微软新英格兰研究院）；University of California Irvine（加州大学欧文分校）；University of California Berkeley（加州大学伯克利分校）；Cornell University（康奈尔大学）
我们分析了优化非凸函数的随机梯度下降。在许多情况下，非凸函数的目标是找到一个合理的局部最小值，主要问题是梯度更新被困在鞍点。在本文中，我们确定严格的鞍性质的非凸问题，允许有效的优化。利用这一性质，我们证明了随机梯度下降收敛到一个局部最小的多项式迭代次数。据我们所知，这是第一个工作，使全球收敛保证随机梯度下降的非凸函数指数许多局部极小值和鞍点。我们的分析可以应用于正交张量分解，它被广泛用于学习丰富的潜变量模型。针对具有严格鞍点性质的张量分解问题，提出了一种新的优化公式。从而得到了第一个具有全局收敛性保证的正交张量分解的在线算法。
2015-03-06 cs.LG math.OC stat.ML
LipschitzLR: Using theoretically computed adaptive learning rates for fast convergence
North Carolina State University（北卡罗来纳州立大学）；BITS Pilani K K Birla Goa Campus（比尔拉理工学院皮拉尼 K K 比尔拉果阿校区）；PES University（PES大学）
优化深度神经网络在很大程度上被认为是一个经验过程，需要手动调整多个超参数，如学习率、权重衰减和丢弃率。可以说，学习率是其中最重要的调整，这在最近的工作中得到了更多的关注。在本文中，我们提出了一种新的方法来计算使用随机梯度下降训练深度神经网络的学习率。首先，我们推导出一个理论框架来计算学习率动态的基础上的Lipschitz常数的损失函数。然后，我们将这个框架扩展到其他常用的优化算法，如梯度下降与动量和亚当。我们运行了一组广泛的实验，证明了我们的方法在流行的架构和数据集上的有效性，并表明常用的学习率比理想值小一个数量级。
2020-08-01 cs.LG stat.ML
SSRGD: Simple Stochastic Recursive Gradient Descent for Escaping Saddle Points
Tsinghua University（清华大学）
我们分析了优化非凸问题的随机梯度算法。特别是，我们的目标是找到局部极小值（二阶稳定点），而不仅仅是找到一阶稳定点，这可能是一些坏的不稳定鞍点。我们表明，一个简单的扰动版本的随机递归梯度下降算法（称为SSRGD）可以找到一个$(ε,δ)$ -二阶稳定点与$\widetilde{O}(\sqrt{n}/ε^2 + \sqrt{n}/δ^4 + n/δ^3)$随机梯度复杂的非凸有限和问题。作为一个副产品，SSRGD发现一个$ε$ -一阶平稳点与$O(n+\sqrt{n}/ε^2)$随机梯度。这些结果几乎是最佳的，因为Fang等人[2018]提供了一个下限$Ω(\sqrt{n}/ε^2)$，即使只是找到一个$ε$ -一阶稳定点。我们强调，SSRGD算法寻找二阶稳定点是一样简单的寻找一阶稳定点只是增加一个均匀扰动有时，而所有其他算法寻找二阶稳定点具有类似的梯度复杂性需要结合负曲率搜索子程序（例如，Neon 2 [Allen-Zhu和Li，2018]）。此外，简单的SSRGD算法得到了更简单的分析。此外，我们还将所得结果从非凸有限和问题推广到非凸在线（期望）问题，并证明了相应的收敛性结果。
2019-06-20 cs.DS cs.LG math.OC
Variance reduction for Riemannian non-convex optimization with batch size adaptation
University of Sydney（悉尼大学）
方差缩减技术在欧几里得空间和黎曼流形上定义的最优化问题的加速梯度下降和随机梯度下降中很流行。本文进一步改进了已有的求解非凸黎曼优化问题的方差缩减方法，包括R-SVRG和R-SRG/R-SPIDER。我们表明，这种策略可以实现较低的总复杂性优化一般非凸和梯度主导的功能下，有限和在线设置。因此，我们还提供了更简单的收敛性分析R-SVRG和有限和设置下，提高R-SRG的复杂性界限。具体来说，我们证明了R-SRG实现了相同的接近最优的复杂性，R-SPIDER，而不需要一个小的步长。在多种任务上的实验结果证明了所提出的自适应批量策略的有效性。
2020-07-03 cs.LG math.OC stat.ML
Optimizing Pipelined Computation and Communication for Latency-Constrained Edge Learning
King’s College London（伦敦国王学院）
考虑通过通信信道连接到边缘处理器的设备。该设备保存要卸载到边缘处理器的本地数据，以便训练机器学习模型，例如，用于回归或分类。数据到学习处理器的传输以及基于随机梯度下降（SGD）的训练都必须在时限内完成。假设通信和计算可以流水线，这封信调查的最佳选择的数据包有效载荷大小，给定的开销，每个数据包传输和计算和通信速率之间的比率。这相当于偏差和方差之间的权衡，因为首先传达整个数据集会减少训练过程的偏差，但可能不会留下足够的时间进行学习。解析界的预期最优性差距推导，从而使一个有效的优化，这是在数值结果中验证。
2019-06-12 cs.DC cs.IT cs.LG
Euclidean Distance Matrix Completion via Asymmetric Projected Gradient Descent
School of Electronics and Communication Engineering, Shenzhen Campus of Sun Yat-sen University（中山大学电子与通信工程学院（深圳校区））
本文提出非对称投影梯度下降算法，用于欧几里得距离矩阵补全，首次给出无需样本分割的全局收敛保证，实验显示丰富样本下线性收敛，但有限样本下性能逊于s-stress优化。
2025-10-17 cs.LG eess.SP stat.ML
Scaling up Stochastic Gradient Descent for Non-convex Optimisation
Bournemouth University（伯恩茅斯大学）；Warwick University（华威大学）
随机梯度下降（SGD）是一种被广泛采用的优化可微目标函数的迭代方法。在本文中，我们提出并讨论了一种新的方法来扩大SGD在涉及非凸函数和大型数据集的应用。我们解决了使用共享和分布式内存时出现的瓶颈问题。通常，前者受有限的计算资源和带宽的限制，而后者则受到通信开销的影响。我们提出了一个统一的分布式和并行实现的SGD（命名为DPSGD），依赖于异步分布和无锁并行。通过将两种策略结合到一个统一的框架中，DPSGD能够在本地计算和通信之间取得更好的平衡。DPSGD的收敛性能研究的非凸问题，如统计建模和机器学习中出现的。我们的理论分析表明，DPSGD导致的速度方面的核心和工人的数量，同时保证$O(1/\sqrt{T})$的渐近收敛速度给定的核心的数量是由$T^{1/4}$和工人的数量是由$T^{1/2}$，其中$T$是迭代次数的限制。DPSGD可以实现的潜在收益在随机变分推断问题（潜在狄利克雷分配）和深度强化学习（DRL）问题（优势演员评论家-A2 C）上进行了经验证明，从而产生了两种算法：DPSVI和HSA 2C。实证结果验证了我们的理论研究结果。进行比较研究，以显示所提出的DPSGD对国家的最先进的DRL算法的性能。
2022-10-06 cs.DC cs.LG math.OC
Optimizing Sparse Generalized Singular Vectors for Feature Selection in Proximal Support Vector Machines with Application to Breast and Ovarian Cancer Detection
Tufts University（塔夫茨大学）；Colorado State University（科罗拉多州立大学）
本研究提出基于ℓ₁范数和ℓ_q惩罚的稀疏GSVP求解方法，结合近端梯度下降与SVM构建特征选择分类框架，在乳腺癌和卵巢癌检测中用少量特征实现接近完美的平衡准确率。
2024-10-04 cs.LG cs.NA math.NA
Online stochastic gradient descent on non-convex losses from high-dimensional inference
University of California, Berkeley（加州大学伯克利分校）；University of Waterloo（滑铁卢大学）
本文研究高维推断中非凸损失上的在线随机梯度下降，提出基于信息指数的样本复杂度阈值，揭示初始搜索阶段消耗大部分数据，随后快速收敛。
2021-05-10 cs.LG math.PR math.ST
