Path-Normalized Optimization of Recurrent Neural Networks with ReLU Activations
Toyota Technological Institute at Chicago（芝加哥丰田技术研究院）；University of Toronto（多伦多大学）；Carnegie Mellon University（卡内基梅隆大学）
我们研究了循环神经网络（RNN）的参数空间几何结构，并开发了一种适应这种几何结构的路径SGD优化方法，该方法可以学习具有ReLU激活的普通RNN。在几个需要捕获长期依赖结构的数据集上，我们表明，与使用SGD训练的RNN相比，即使使用各种最近建议的初始化方案，path-SGD也可以显着提高ReLU RNN的可训练性。
2016-05-23 cs.LG cs.NE
Provable Constrained Stochastic Convex Optimization with XOR-Projected Gradient Descent
Purdue University（普渡大学）；Indiana University（印第安纳大学）；Peking University（北京大学）
可证明地求解带约束的随机凸优化问题对于科学、商业和统计中的各种问题都是必不可少的。最近提出的XOR-随机梯度下降（XOR-SGD）提供了一个收敛速度保证解决约束的版本的问题，利用XOR-采样。然而，当需要满足额外的等式和不等式约束时，任务变得更加困难。本文提出了一种基于投影梯度下降（PGD）和异或采样器相结合的新算法XOR-PGD，通过选择合适的步长，保证了该算法能够以线性收敛速率求解约束随机凸优化问题。我们表明，在合成随机库存管理和现实世界的道路网络设计问题的约束满足率优化的解决方案的XOR-PGD是$10\%$比竞争的方法在一个非常大的搜索空间。实验结果表明，改进的XOR-PGD算法比XOR-SGD算法和结合MCMC采样器的SGD算法具有更高的精度和效率。它也被证明是更可扩展的样本个数和处理器内核，通过实验与大尺寸。
2022-03-22 cs.LG math.OC
Revisiting the Provable-Auditable Privacy Gap of DP-SGD
University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Waterloo（滑铁卢大学）；Vector Institute（矢量研究院）
本研究针对DP-SGD的可证明可审计隐私差距，提出轻量级防御框架提升其经验隐私且不损失理论隐私，经多场景评估验证其灵活性。
2026-09-01 cs.LG
Provable Efficient Online Matrix Completion via Non-convex Stochastic Gradient Descent
UC Berkeley（加州大学伯克利分校）；University of Washington（华盛顿大学）；Microsoft Research New England（微软新英格兰研究院）
矩阵完备化是一个在理论和实践中都有广泛研究和应用的问题，它是通过对低秩矩阵的几个元素的观测来恢复低秩矩阵。到目前为止，大多数关于这个问题的可证明算法都局限于离线设置，在离线设置中，它们同时使用所有观测值来提供未知矩阵的估计。然而，在许多应用程序中，在线版本更有吸引力，我们一次观察一个条目并动态更新我们的估计。虽然现有的算法对于离线设置是有效的，但是它们对于在线设置可能是非常低效的。在本文中，我们提出了第一个可证明的，有效的在线算法矩阵完成。我们的算法从矩阵的初始估计开始，然后执行非凸随机梯度下降（SGD）。在每次观察之后，它执行仅涉及两个高矩阵的一行的快速更新，从而提供接近线性的总运行时间。我们的算法也可以自然地用于离线设置，在离线设置中，它为最先进的算法提供了具有竞争力的样本复杂性和运行时间。我们的证明引入了一个通用的框架，以表明SGD更新往往远离鞍面，并可能对其他非凸问题证明紧速率具有更广泛的意义。
2016-05-26 cs.LG math.OC stat.ML
Provable Adaptivity of Adam under Non-uniform Smoothness
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Peking University（北京大学）；Chinese Academy of Mathematics and Systems Science（中国科学院数学与系统科学研究院）；Microsoft（微软）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
本文针对现有Adam收敛分析依赖的L-光滑假设不适用于多数深度学习任务的问题，首次在$(L_0, L_1)$-光滑条件下证明了学习率递减的RR Adam的收敛性，并在相同设置下严谨对比证明Adam收敛速度优于SGD。
2024-06-24 cs.LG math.OC
Global Convergence of SGD For Logistic Loss on Two Layer Neural Nets
University of Michigan, Ann Arbor（密歇根大学安娜堡分校）；Indian Institute of Technology, Bombay（印度理工学院孟买分校）；The University of Manchester（曼彻斯特大学）
本文首次证明SGD在两层神经网络的正则化逻辑损失上可收敛至全局最小值，适用于任意数据和多种激活函数，并给出连续时间下的指数收敛速率。
2024-03-17 cs.LG math.OC stat.ML
Training Recurrent Neural Networks by Diffusion
Massachusetts Institute of Technology（麻省理工学院）
这项工作提出了一种训练循环神经网络的新算法（尽管思想也适用于前馈网络）。该算法是从一个理论在非凸优化有关的扩散方程。在这项工作中作出的贡献是双重的。首先，我们展示了深度学习中使用的一些看似不相关的机制，如智能初始化、退火学习率、分层预训练和噪声注入（如dropout和SGD中所做的），是如何从这个框架中自然自动地产生的，而无需手动将它们添加到算法中。其次，我们提出了一些初步的结果比较所提出的方法对SGD。结果表明，新算法可以在更少的时期内达到与SGD相似的泛化精度水平。
2016-02-04 cs.LG
On the Convergence Rate of Training Recurrent Neural Networks
Microsoft Research AI（微软研究院AI）；Stanford University（斯坦福大学）；Princeton University（普林斯顿大学）；UT-Austin（德克萨斯大学奥斯汀分校）；University of Washington（华盛顿大学）；Harvard University（哈佛大学）
局部搜索方法如随机梯度下降（SGD）如何避免训练多层神经网络时出现不良的局部极小值？为什么他们可以适应随机标签，即使给定非凸和非光滑的架构？大多数现有的理论只涵盖了一个隐藏层的网络，那么我们可以更深入吗？在本文中，我们专注于循环神经网络（RNN），这是一种广泛应用于自然语言处理的多层网络。它们比前馈神经网络更难分析，因为$\textit{same}$递归单元在长度为$L$的整个时间范围内重复应用，这类似于深度为$L$的前馈网络。我们表明，当神经元的数量是足够大的，这意味着多项式的训练数据的大小和$L$，那么SGD是能够最大限度地减少回归损失的线性收敛速度。这为RNN如何记忆数据提供了理论证据。更重要的是，在本文中，我们构建了通用工具包来分析具有ReLU激活的多层网络。例如，我们证明了为什么ReLU激活可以防止指数梯度爆炸或消失，并建立了一个扰动理论来分析多层网络的一阶近似。
2019-05-27 cs.DS cs.LG cs.NE
On the Provable Generalization of Recurrent Neural Networks
Beijing Jiaotong University（北京交通大学）
递归神经网络（RNN）是深度学习的基本结构。最近，一些工作研究过参数化神经网络的训练过程，并表明，过参数化网络可以学习一些显着的概念类的函数，具有可证明的泛化误差界。本文分析了随机初始化RNN的训练和泛化问题，并对已有的研究工作进行了如下改进：1）对于输入序列为$x=(X_1,X_2,...,X_L)$的RNN，以前的研究工作主要是学习$f(β^T_lX_l)$的求和函数，并且要求$||X_l||\leqε$具有一些非常小的$ε$，这取决于$f$的复杂度。本文通过对神经正切核矩阵的详细分析，证明了在没有归一化条件的情况下学习这类函数的泛化误差界，并证明了一些值得注意的概念类是可学习的，其迭代次数和样本在输入长度$L$上几乎是多项式的。2)此外，我们证明了一个新的结果，学习N元函数的输入序列的形式$f(β^T[X_{l_1},...,X_{l_N}])$，这不属于“加性”的概念类，即，函数$f(X_l)$的求和。当$N$或$l_0=\max(l_1,..,l_N)-\min(l_1,..,l_N)$都很小时，$f(β^T[X_{l_1},...,X_{l_N}])$将是可学习的，迭代次数和样本在输入长度$L$上几乎是多项式的.
2022-01-26 cs.LG stat.ML
Convergence of Online Adaptive and Recurrent Optimization Algorithms
我们证明了机器学习中使用的几个显着的梯度下降算法的局部收敛性，标准的随机梯度下降理论不直接适用。这包括，首先，用于递归模型和动态系统的在线算法，例如\emph{Real-time recurrent learning}（RTRL）及其计算上更轻的近似NoBackTrack和UORO;二是几种自适应算法，如RMSProp、在线自然梯度、Adam与$β^2\to 1$，尽管局部收敛是一个相对较弱的要求，但据我们所知，这些算法没有局部分析。这些算法的分析并不直接遵循标准随机梯度（SGD）理论。事实上，Adam在一些简单的情况下已经被证明缺乏局部收敛性\citep{j.2018on} .对于递归模型，在线算法在模型运行时修改参数，这进一步使简单SGD的分析复杂化。这些不同算法的局部收敛来自于在线学习动态系统的设置中的单个、更一般的假设集合。因此，这些结果可以涵盖其他变种的算法considered.We采用“遍历”，而不是概率的观点，工作经验的时间平均值，而不是概率分布。这与数据无关，并与标准SGD理论产生了差异，特别是对于可能的学习率范围。例如，在有限数据集上进行循环或按时期重新洗牌，而不是纯粹的i.i.d.。放回抽样，梯度的经验平均值以速率$1/T$而不是$1/\sqrt{T}$收敛（循环用作方差减小方法），理论上允许比SGD中更大的学习速率。
2021-01-08 math.DS math.OC stat.ML
On the insufficiency of existing momentum schemes for Stochastic Optimization
University of Washington（华盛顿大学）；Microsoft Research（微软研究院）
基于动量的随机梯度方法，如重球（HB）和Nesterov的加速梯度下降（NAG）方法，在实践中广泛用于训练深度网络和其他监督学习模型，因为它们通常比随机梯度下降（SGD）提供显着改进。严格地说，“快速梯度”方法只有在确定性的情况下才比梯度下降有可证明的改进，其中梯度是精确的。在随机的情况下，他们的广泛适用性的流行的解释是，当这些快速梯度方法应用于随机的情况下，他们部分地模仿他们的确切梯度对应，导致一些实际的增益。这项工作提供了一个对立面，这种信念证明存在简单的问题的情况下，这些方法不能优于SGD，尽管其参数的最佳设置。从非正式的意义上说，这些负面问题实例是通用的;它们看起来不像是精心构造的病态实例。这些结果表明（连同经验证据），HB或NAG的实际性能增益是一个副产品的迷你。此外，这项工作提供了一个可行的（和可证明的）替代方案，在同一组问题实例上，显着提高了HB，NAG和SGD的性能。该算法被称为加速随机梯度下降（ASGD），是一种基于Nesterov加速的相对不太流行的变体的简单实现的随机算法。本文的大量实证结果表明，ASGD具有HB，NAG和SGD的性能增益。
2018-07-31 cs.LG math.OC stat.ML
A Mean-field Analysis of Deep ResNet and Beyond: Towards Provable Optimization Via Overparameterization From Depth
Stanford University（斯坦福大学）；Princeton University（普林斯顿大学）；Duke University（杜克大学）
使用随机梯度下降（SGD）训练深度神经网络通常可以在现实世界的任务中实现零训练损失，尽管已知优化景观是高度非凸的。为了理解SGD在训练深度神经网络方面的成功，这项工作提出了深度残差网络的平均场分析，基于一系列工作，这些工作将深度残差网络的连续极限解释为网络容量趋于无穷大时的常微分方程。具体来说，我们提出了一个新的深度残差网络的连续极限，它在每个局部极小点都是全局的意义上享有良好的景观。这一特征使我们能够推导出多层神经网络在平均场机制下的第一个全局收敛结果。此外，在不假设损失景观的凸性的情况下，我们的证明依赖于全局最小值处的零损失假设，当模型具有普适近似属性时，可以实现该假设。我们的结果的关键是观察到深残差网络类似于浅网络集成，即两层网络。我们通过伴随灵敏度方法限制了浅层网络和ResNet模型之间的差异，这使我们能够将现有的双层网络平均场分析应用于深层网络。此外，我们提出了几种新的训练方案的基础上，新的连续模型，包括一个训练过程，切换残差块的顺序，并在基准数据集上的强大的经验表现。
2020-06-11 cs.LG cs.NA math.NA
Parallelizing Stochastic Gradient Descent for Least Squares Regression: mini-batching, averaging, and model misspecification
Microsoft Research（微软研究院）；University of Washington（华盛顿大学）；Stanford University（斯坦福大学）
这项工作的特点的好处，广泛使用的平均计划与随机梯度下降（SGD）。特别是，这项工作提供了一个尖锐的分析：（1）mini-squares，平均随机梯度的许多样本，以减少随机梯度估计的方差和并行SGD和（2）尾平均，涉及平均SGD的最后几次迭代，以减少SGD的最终squares的方差的方法。这项工作提出了非渐近的超额风险界，这些计划的随机逼近问题的最小二乘回归。此外，这项工作建立了一个精确的问题依赖的程度，小批量SGD产生可证明的近线性并行化加速比SGD与批量大小1。这允许理解SGD方法的最终迭代的学习率与批量大小的权衡。这些结果，然后利用在提供一个高度并行化的SGD方法，获得极小极大风险与几乎相同数量的串行更新批量梯度下降，显着改善现有的SGD方法。然后提供了一个非渐近分析的通信有效的并行化方案，如模型平均/参数混合方法。最后，这项工作揭示了SGD的行为在处理（不可实现的）最小二乘回归问题中的不可知噪声时的一些根本差异。特别是，工作表明，确保极小极大风险的不可知的情况下的步长必须是一个函数的噪声属性。本文基于Defossez和Bach（2015）介绍的分析SGD方法的操作员视图，然后开发了一种新的分析方法来界定这些操作员以表征超额风险。这些技术在分析随机逼近的计算方面具有更广泛的意义。
2018-07-31 cs.DS cs.LG stat.ML
Adaptive Gradient Methods Can Be Provably Faster than SGD after Finite Epochs
Bytedance AI Lab（字节跳动人工智能实验室）；Peking University（北京大学）；Ohio State University（俄亥俄州立大学）
自适应梯度法因其高效性而受到机器学习界的广泛关注。然而，它们在实践中的加速效果，特别是在神经网络训练中，很难从理论上分析。理论收敛结果和实际性能之间的巨大差距阻碍了对现有优化器的进一步理解和更先进的最优化方法的发展。在本文中，我们提供了自适应梯度法一个新的分析与额外的温和的假设，并修改AdaGrad为\radagrad匹配一个更好的可证明的收敛速度。为了找到一个$ε$ -近似的一阶驻点在非凸目标，我们证明随机洗牌\radagrad实现$\tilde{O}(T^{-1/2})$收敛速度，这是显着改善的因素$\tilde{O}(T^{-1/4})$和$\tilde{O}(T^{-1/6})$相比，现有的自适应梯度法和随机洗牌SGD，分别。据我们所知，这是第一次证明，自适应梯度法可以确定性地比SGD有限时期后更快。此外，我们进行了全面的实验，以验证额外的温和的假设和加速效果受益于二阶矩和随机洗牌。
2020-06-12 cs.LG math.OC
The Marginal Value of Momentum for Small Learning Rate SGD
Princeton University（普林斯顿大学）；Yale University（耶鲁大学）；Stanford University（斯坦福大学）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
本文通过理论分析与实验表明，在小学习率、梯度噪声主导的随机优化中，带动量与不带动量的 SGD 表现相近，动量对优化和泛化的实际收益有限。
2024-04-16 cs.LG math.OC
HomeAdam: Adam and AdamW Algorithms Sometimes Go Home to Obtain Better Provable Generalization
College of Computer Science and Technology（计算机科学与技术学院）；Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；MIIT Key Laboratory of Pattern Analysis and Machine Intelligence（模式分析与机器智能重点实验室）
本文提出 HomeAdam(W) 算法，通过有时返回动量 SGD 提高泛化能力，证明其泛化误差优于 Adam(W)-srf 并具有更快的收敛速度。
2026-03-03 cs.LG math.OC stat.ML
Efficient DP-SGD for LLMs with Randomized Clipping
Meta Platforms Inc（Meta平台公司）；University of Southern California（南加州大学）
提出DP-SGD-RC算法，利用随机迹估计（Hutchinson和Hutch++）降低每样本梯度范数估计的内存开销，在保持隐私保证的同时减少内存和计算复杂度。
2026-05-24 cs.LG math.OC
Improving Generalization Performance by Switching from Adam to SGD
Salesforce Research（Salesforce 研究院）
尽管训练结果优越，但与随机梯度下降（SGD）相比，Adam、Adagrad或RMSprop等自适应优化方法的泛化能力较差。这些方法往往在训练的初始阶段表现良好，但在训练的后期阶段被SGD优于。我们研究了一种混合策略，该策略以自适应方法开始训练，并在适当时切换到SGD。具体地说，我们提出了SWATS，一个简单的策略，从亚当到SGD时，触发条件得到满足。我们提出的条件涉及到亚当步骤的梯度子空间上的投影。通过设计，对这种情况的监视过程只会增加很少的开销，并且不会增加优化器中的超参数数量。我们报告了几个标准基准测试的实验，例如：CIFAR-10和CIFAR-100数据集的ResNet，SENet，DenseNet和PyramidNet，tiny-ImageNet数据集的ResNet以及PTB和WT 2数据集上使用递归网络的语言建模。结果表明，我们的策略能够在大多数任务上缩小SGD和Adam之间的泛化差距。
2017-12-20 cs.LG math.OC
Efficient SGD Neural Network Training via Sublinear Activated Neuron Identification
UCSB（加州大学圣巴巴拉分校）；Adobe Research（Adobe研究院）；The University of Washington（华盛顿大学）
针对神经网络训练成本高的问题，本文提出静态半空间报告数据结构，利用两层平移 ReLU 网络以次线性时间识别激活神经元，并证明算法具有 $O(M^2/ε^2)$ 收敛时间。
2023-07-13 cs.LG
Sparse Data Augmentation for Optimization with Provable Guarantees
Harvard John A. Paulson School of Engineering and Applied Sciences, Harvard University（哈佛大学约翰·A·保尔森工程与应用科学学院）
针对几何机器学习中数据增强计算昂贵的问题，提出用固定稀疏变换样本近似完全增强，证明梯度下降在更少查询下达到ε-稳定点，优于完全增强GD和group-SGD。
2026-09-18 cs.AI cs.LG math.OC
Random Reshuffling Dominates Stochastic Gradient Descent
Stern School of Business, New York University（纽约大学斯特恩商学院）
针对光滑凸优化中随机重排（RR）的收敛理论局限，本文首次证明在任意合理步长下，经过任意有限轮次后RR始终优于随机梯度下降（SGD），解决了长期悬而未决的问题。
2026-07-01 cs.LG math.OC stat.ML
Bias-Aware Minimisation: Understanding and Mitigating Estimator Bias in Private SGD
Institute for AI in Medicine, Technical University of Munich（慕尼黑工业大学医学人工智能研究所）；Konrad Zuse School for Excelllence in Reliable AI（康拉德·楚泽卓越可靠人工智能学院）；V7 Labs（V7实验室）；Imperial College London（帝国理工学院）
针对DP-SGD的私有梯度估计有偏导致模型效用受限的问题，提出偏差感知最小化BAM方法，可证明降低偏差且适配大网络，在多个数据集上显著改善隐私-效用权衡。
2023-08-23 cs.CR cs.LG
Entropy-SGD: Biasing Gradient Descent Into Wide Valleys
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；New York University（纽约大学）；Facebook AI Research（Facebook人工智能研究院）；Politecnico di Torino（都灵理工大学）；Microsoft Research New England（微软研究院新英格兰分部）
本文提出了一种新的优化算法，称为Entropy-SGD，用于训练深度神经网络，其动机是能量景观的局部几何形状。具有低泛化误差的局部极值在具有很少的正或负特征值的Hessian中具有大比例的几乎为零的特征值。我们利用这一观察，构建一个局部熵为基础的目标函数，有利于良好的概括性的解决方案，躺在大的平坦地区的能源景观，同时避免较差的概括性的解决方案位于尖锐的山谷。从概念上讲，我们的算法类似于SGD的两个嵌套循环，其中我们在内部循环中使用Langevin动力学来计算每次更新权重之前的局部熵的梯度。我们表明，新的目标具有更平滑的能量景观，并在一定的假设下，使用一致稳定性，显示出比SGD更好的泛化能力。我们在卷积和递归网络上的实验表明，熵SGD在泛化误差和训练时间方面优于最先进的技术。
2017-04-21 cs.LG stat.ML
Provable Advantage of Curriculum Learning on Parity Targets with Mixed Inputs
EPFL (École Polytechnique Fédérale de Lausanne)（洛桑联邦理工学院）
本文证明了在混合稀疏与密集输入的数据分布上，课程学习能以更少步数训练2层ReLU网络学习高阶奇偶性，优于在无序样本上训练的更大全连接网络。
2023-06-29 cs.LG stat.ML
On The Concurrence of Layer-wise Preconditioning Methods and Provable Feature Learning
University of Pennsylvania（宾夕法尼亚大学）
本文从统计角度证明逐层预条件方法在非理想输入条件下对特征学习的必要性，并通过线性表示学习和单索引学习两个原型模型从理论与数值上证明 SGD 的次优性，同时表明 Adam 和批归一化仅能轻微缓解该问题。
2025-02-03 cs.LG math.OC stat.ML
Recurrent neural network training with preconditioned stochastic gradient descent
研究了最近提出的预条件随机梯度下降（PSGD）算法在循环神经网络（RNN）训练中的性能。PSGD自适应地估计预条件子以加速梯度下降，并且被设计为简单、通用和易于使用，如随机梯度下降（SGD）。RNN，特别是那些需要极长时间记忆的RNN，很难训练。我们已经在一组合成病理RNN学习问题和真实世界的MNIST手写数字识别任务上测试了PSGD。实验结果表明，PSGD是能够实现高度竞争力的性能，而无需使用任何技巧，如预处理，预训练或参数调整。
2016-12-08 cs.LG stat.ML
Online Bootstrap Inference with Nonconvex Stochastic Gradient Descent Estimator
针对含多个局部最小值的一般非凸目标，提出两种结合 SGD 与乘子 bootstrap 的在线统计推断方法，并证明置信区间渐近有效。
2023-06-03 math.ST stat.ME stat.ML
Direction-oriented Multi-objective Learning: Simple and Provable Stochastic Algorithms
University at Buffalo（布法罗大学）；Zuoyi Technology（佐一科技）
本文提出面向方向的多目标优化框架及随机算法SDMGrad和SDMGrad-OS，通过正则化共同下降方向实现可证明收敛到Pareto平稳点，并在多任务监督学习和强化学习中验证了优越性能。
2023-11-29 cs.LG math.OC stat.ML
Frequency-aware SGD for Efficient Embedding Learning with Provable Benefits
Georgia Institute of Technology（佐治亚理工学院）；Facebook
嵌入式学习在推荐系统和自然语言建模等领域有着广泛的应用。为了有效地学习质量嵌入，自适应学习率算法已经证明了优于SGD的经验性能，这主要归功于它们依赖于令牌的学习率。然而，令牌依赖的学习率的效率的潜在机制仍然未被探索。我们表明，将频率信息的令牌嵌入学习问题导致可证明有效的算法，并证明常见的自适应算法隐式利用的频率信息在很大程度上。具体来说，我们提出了（基于计数器的）频率感知的随机梯度下降，它为每个令牌应用依赖于频率的学习率，并且当令牌分布不平衡时，与SGD相比，表现出可证明的加速。经验上，我们表明，所提出的算法能够改善或匹配自适应算法的基准推荐任务和大规模的工业推荐系统，缩小SGD和自适应算法之间的性能差距。我们的结果是第一次表明令牌依赖的学习率可证明地提高了非凸嵌入学习问题的收敛性。
2021-11-23 cs.LG math.OC
Anon: Extrapolating Adaptivity Beyond SGD and Adam
Wuhan University（武汉大学）；University of Macau（澳门大学）；University of Calgary（卡尔加里大学）
Anon优化器突破SGD与Adam的插值限制，实现全实数谱的自适应性外推，通过增量延迟更新保证稳定性，在图像分类、扩散和语言建模任务中性能优异。
2026-09-24 cs.AI cs.LG
Stochastic Gradient Descent Learns State Equations with Nonlinear Activations
University of California, Riverside（加州大学河滨分校）
我们研究由状态方程$h_{t+1}=ϕ(Ah_t+Bu_t)$控制的离散时间动力系统。这里，$A,B$是权重矩阵，$ϕ$是激活函数，而$u_t$是输入数据。这种关系是递归神经网络（例如LSTM）的支柱，在顺序学习任务中具有广泛的应用。我们利用随机梯度下降学习的权重矩阵从一个有限的输入/状态轨迹$(u_t,h_t)_{t=0}^N$。我们证明了SGD估计线性收敛到地面真值权重，同时使用接近最佳的样本量。我们的结果适用于增加激活的衍生物有界远离零。分析是基于i）一个新的SGD收敛结果与非线性激活和ii）仔细的统计特征的状态向量。数值实验验证了SGD在ReLU和Leaky ReLU上的快速收敛性与我们的理论一致。
2018-09-09 cs.LG math.OC stat.ML
Federated Accelerated Stochastic Gradient Descent
Stanford University（斯坦福大学）
我们提出了联邦加速随机梯度下降（FedAc），联邦平均（FedAvg，也称为本地SGD）的分布式优化的原则性加速。FedAc是FedAvg的第一个可证明的加速，它提高了各种凸函数的收敛速度和通信效率。例如，对于强凸和光滑函数，当使用$M$工作器时，如果给定$M$同步轮，则先前最先进的FedAvg分析可以在$M$中实现线性加速，而FedAc仅需要$M^{\frac{1}{3}}$轮。此外，我们证明了更强的保证FedAc时，目标是三阶顺利。我们的技术是基于一个潜在的基于扰动的稳定性分析，一种新的稳定性分析广义加速SGD，加速和稳定性之间的战略权衡。
2021-06-05 cs.DC cs.LG math.OC
Enriched Deep Recurrent Visual Attention Model for Multiple Object Recognition
Institute for Infocomm Research（资讯通信研究院）；Nanyang Technological University（南洋理工大学）
我们设计了一个丰富的深度递归视觉注意力模型（EDRAM）-一种改进的基于注意力的多对象识别架构。该模型是一个完全可微的单元，可以使用随机梯度下降（SGD）进行端到端的优化。空间Transformer（ST）被用作视觉注意力机制，其允许学习图像内的对象的几何变换。结合空间Transformer和强大的递归结构，提出的EDRAM可以同时定位和识别对象。EDRAM已经在两个公开的数据集上进行了评估，包括MNIST Cluttered（具有70 K杂乱数字）和SVHN（具有高达250 K的真实世界房屋号码图像）。实验结果表明，该模型与现有的模型相比具有更好的性能。
2017-06-12 cs.CV cs.LG
Preconditioned Stochastic Gradient Descent
随机梯度下降（SGD）仍然是许多实际问题的主力。然而，它收敛缓慢，并且可能难以调谐。对SGD进行预处理可以显著加快其收敛速度。但是在这个方向上的许多尝试要么旨在解决专门的问题，要么导致比SGD更复杂的方法。本文提出了一种新的方法来估计一个预条件，使预条件随机梯度的扰动幅度匹配的扰动的参数进行优化的方式可比牛顿法确定性优化。与确定性拟牛顿方法中基于正割方程拟合的预条件不同，该方法假设正定Hessian并近似其逆，新的预条件对于具有精确梯度或噪声梯度的凸和非凸优化同样有效。当使用随机梯度时，它可以自然地阻尼梯度噪声以稳定SGD。有效的预条件估计方法的发展，并与合理的简化，他们适用于大规模的问题。实验结果表明，配备了新的预处理器，没有任何调整的努力，预处理SGD可以有效地解决许多具有挑战性的问题，如训练的深度神经网络或递归神经网络需要极长的长期记忆。
2017-02-22 cs.LG stat.ML
Provable Benefit of SignGD: A Minimal Model Under Heavy-Tailed Class Imbalance
Toyota Technological Institute at Chicago（丰田技术研究所）
本文研究了在重尾类不平衡数据下，符号下降算法相较于GD的收敛优势，通过最小模型证明其有效性。
2026-10-01 cs.AI cs.LG
Sampling-based Gradient Regularization for Capturing Long-Term Dependencies in Recurrent Neural Networks
Institute of MMS of NASU（乌克兰国家科学院建模系统研究所）；Center for Cybernetics（控制论中心）
梯度消失（和爆炸）效应是具有非线性激活函数的循环神经网络使用反向传播方法计算导数的常见问题。具有许多隐藏层的深度前馈神经网络也会受到这种影响。在本文中，我们提出了一种新的通用技术，使梯度的范数保持在适当的范围内。我们构造了一种方法来估计每个训练样本对目标函数梯度的长期分量的范数的贡献。使用此子例程，我们可以构建用于随机梯度下降（SGD）训练的小批量，即使对于非常复杂的任务，也可以实现训练网络的高性能和准确性。我们提供了一个简单的数学估计的minibatch的影响的梯度范数，并证明其正确性理论。为了实验性地检查我们的框架，我们使用一些特殊的合成基准来测试RNN捕获长期依赖关系的能力。我们的网络可以检测（时间）序列中事件之间的联系，范围约为。100或更长。
2017-02-13 cs.LG cs.NE
Adaptive Step Sizes for Preconditioned Stochastic Gradient Descent
University of Bayreuth（拜罗伊特大学）；Heidelberg University（海德堡大学）
本文提出一种利用梯度Lipschitz常数和局部方差的自适应步长SGD算法，几乎无需超参数，具有收敛保证，在图像分类中表现问题自适应，并支持预条件器。
2024-09-18 cs.LG math.OC
Learning Curves of Stochastic Gradient Descent in Kernel Regression
Peking University（北京大学）
本文分析了核回归中单遍SGD在模型错误指定条件下的超额风险曲线，发现其通过指数衰减步长克服了饱和现象，在多数尺度下达到min-max最优速率，并首次证明该方案优于迭代平均方法。
2025-05-28 cs.LG stat.ML
Provable limitations of deep learning
EPFL（洛桑联邦理工学院）；MIT（麻省理工学院）
随着深度学习的成功越来越多，人们也想想象一下深度学习的潜在局限性。本文给出了第一组结果，证明某些深度学习算法在学习某些可有效学习的函数时失败。结果提出了一个概念的交叉可预测性的特点，当这种故障发生。奇偶函数提供了一个极端的例子，交叉可预测性呈指数衰减，而仅仅是超多项式衰减的交叉可预测性被证明是足以获得失败。文中还讨论了社区发现和算术学习中的实例。回想一下，众所周知，具有多项式网络大小的神经网络（NN）类可以表示可以在多项式时间内实现的任何函数，并且它们的样本复杂度与网络大小成多项式比例。挑战在于优化错误（ERM是NP难的），深度学习背后的成功是用下降算法训练深度NN。本文中所示的失败适用于在低交叉可预测性的函数分布上训练多大小NN，该下降算法要么在每个样本的有限内存下运行，要么在初始化并以足够的随机性运行。我们进一步声称，这种类型的约束是必要的，以获得失败，在精确的SGD与仔细的非随机初始化可以学习奇偶校验。我们的研究结果中的交叉可预测性在统计查询（SQ）算法中起着类似的作用，并在论文中解释了区别。证明技术基于展示算法约束，这些约束意味着测试模型上的算法输出与测试模型上的算法输出之间的统计不一致性。零模型，使用信息度量来约束总变化距离。
2019-04-29 cs.CC cs.IT cs.LG
Recombination of Artificial Neural Networks
Cray Inc.（克雷公司）
我们提出了一种用于人工神经网络超参数优化的遗传算法（GA），该算法包括染色体交叉以及参数解耦（即，权重和偏差）来自超参数（例如，学习率、权重衰减和脱落）。子节点由三个父节点生成;两个贡献超参数，一个贡献参数。我们的基于群体的训练（PBT）版本将传统的基于梯度的方法（如随机梯度下降（SGD））与我们的GA相结合，以优化SGD时期的参数和超参数。我们对传统PBT的改进提供了更快的适应速度和更大的能力，以摆脱有害基因的人口。我们的方法在各种深度神经网络架构上提高了最终精度以及达到固定精度的时间，包括卷积神经网络、递归神经网络、密集神经网络和胶囊网络。
2019-01-12 cs.LG cs.NE
Central Limit Theorems for Stochastic Gradient Descent Quantile Estimators
Department of Statistics, University of Chicago（芝加哥大学统计系）；Department of Statistics and Data Science, Washington University in St. Louis（圣路易斯华盛顿大学统计与数据科学系）
本文针对常学习率SGD分位数估计，利用马尔可夫链理论证明其平稳分布随学习率趋于零时收敛到高斯分布，首次给出CLT型理论保证，并提出置信区间递归算法。
2026-06-12 cs.LG stat.ML
Simulating Network Paths with Recurrent Buffering Units
Microsoft Research India（微软印度研究院）
模拟物理网络路径（例如，互联网）是新兴的网络AI子领域的基石研究问题。我们寻求一个模型，生成端到端的数据包延迟值响应于发送方提供的时变负载，这通常是以前的输出延迟的函数。问题设置是独特的，并呈现国家的最先进的文本和时间序列生成模型不适用或无效。我们在动态系统、顺序决策和时间序列建模的交叉点上制定了一个ML问题。我们提出了一种新的网络模拟灰盒方法，将物理网络路径的语义嵌入到一种新的RNN风格的模型RBU中，提供标准网络模拟器工具的可解释性，神经模型的功能，基于SGD的学习技术的效率，并在合成和真实世界的网络跟踪上产生有希望的结果。
2022-12-07 cs.LG cs.NI cs.SY
Learning with Local Gradients at the Edge
为了实现在边缘设备上快速收敛和低内存的学习，我们提出了一种新的无反向传播优化算法，称为目标投影随机梯度下降（tpSGD）。tpSGD将直接随机目标投影推广到任意损失函数，并将目标投影扩展到训练递归神经网络（RNN）以及前馈网络。tpSGD使用逐层随机梯度下降（SGD）和通过标签的随机投影生成的局部目标，仅通过向前传递逐层训练网络。tpSGD不需要在优化过程中保留梯度，与SGD反向传播（BP）方法相比，大大减少了内存分配，后者需要整个神经网络权重、输入/输出和中间结果的多个实例。我们的方法在完全连接层、卷积层和递归层的相对较浅的网络上，在5%的准确度内执行了BP到BP的梯度下降。tpSGD在由多层感知器、卷积神经网络（CNN）和RNN组成的浅层模型中的性能也优于其他最先进的无梯度算法，具有竞争力的准确性和更少的内存和时间。我们评估了tpSGD在训练深度神经网络（例如VGG）方面的性能，并将该方法扩展到多层RNN。这些实验突出了与优化的基于层的适配器训练相关的新研究方向，用于在边缘使用tpSGD进行域转移。
2022-09-16 cs.AI cs.LG
Improving Deep Knowledge Tracing via Gated Architectures and Adaptive Optimization
University of Virginia（弗吉尼亚大学）
本研究通过引入LSTM和GRU门控架构及PyTorch框架重构，并评估多种自适应优化算法，显著提升了深度知识追踪模型的预测准确性与训练稳定性。
2025-04-24 cs.LG
Provable FDR Control for Deep Feature Selection: Deep MLPs and Beyond
The University of Tokyo, Bunkyo, Tokyo, Japan（东京大学）
本文提出了一种基于深度神经网络的特征选择方法，首次在通用深度学习设置中提供可证明的FDR控制理论保证。
2026-10-02 cs.LG math.ST stat.ML
Learning to Shuffle: Block Reshuffling and Reversal Schemes for Stochastic Optimization
IBM Research, Thomas J. Watson Research Center（IBM研究院，托马斯·J·沃森研究中心）
本文提出块重排和配对反转结构，通过分析证明其在统一洗牌框架下减少前缀梯度方差常数，并降低顺序敏感性，实验验证了其在凸和非凸基准上的优势。
2026-03-31 cs.LG math.OC
Training Neural Networks with Stochastic Hessian-Free Optimization
University of Alberta（阿尔伯塔大学）
Hessian-free（HF）优化已成功用于训练深度自动编码器和递归网络。HF使用共轭梯度算法通过曲率向量乘积来构造更新方向，曲率向量乘积可以在与梯度相同的时间顺序上计算。在本文中，我们利用这个属性，研究随机HF的梯度和曲率小批量独立的数据集大小。我们修改马滕斯的HF为这些设置和集成dropout，一种方法，用于防止特征检测器的共同适应，以防止过度拟合。随机无Hessian优化提供了SGD和HF之间的中介，在分类和深度自动编码器实验中都实现了有竞争力的性能。
2013-05-01 cs.LG cs.NE stat.ML
Communication Efficient and Provable Federated Unlearning
Shandong University（山东大学）；KAUST（阿卜杜拉国王科技大学）；University of Houston（休斯顿大学）
针对联邦学习中的数据遗忘需求，本文提出兼具通信效率与精确遗忘可证明性的 FATS 框架，并在客户端级和样本级设置下验证其理论与性能优势。
2024-01-19 cs.DC cs.LG
AGGLIO: Global Optimization for Locally Convex Functions
IIT Kanpur（印度理工学院坎普尔分校）
提出了AGGLIO（Accelerated Graduated广义线性模型优化）算法，它是一种分阶段的、渐进的优化技术，能够为非凸优化问题提供整体收敛保证，这些问题的目标仅具有局部凸性，甚至在全局尺度上可能不是准凸的。特别是，这包括使用流行的激活函数（如sigmoid，softplus和SiLU）的学习问题，这些函数会产生非凸训练目标。AGGLIO可以很容易地实现使用点以及小批量SGD更新，并提供可证明的收敛到一般条件下的全局最优值。在实验中，AGGLIO优于几个最近提出的优化技术，非凸和局部凸的目标方面的收敛速度以及收敛精度。AGGLIO依赖于广义线性模型的分级技术，以及一种新颖的证明策略，这两种方法可能都是独立的。
2021-11-06 cs.LG math.OC stat.ML
Learning What Data to Learn
University of Science and Technology of China（中国科学技术大学）；Microsoft Research（微软研究院）
机器学习本质上是处理数据的科学。自适应数据选择策略，能够在各个训练阶段动态选择不同的数据，可以以更有效的方式达到更有效的模型。在本文中，我们提出了一个深度强化学习框架，我们称之为\emph{\textbf{N}eural \textbf{D}ata \textbf{F}ilter}（\textbf{NDF}），以探索训练过程中的自动和自适应数据选择。具体地，NDF利用深度神经网络来从训练数据的顺序流中自适应地选择和过滤重要数据实例，使得未来的累积奖励（例如，收敛速度）被最大化。与以往主要基于启发式策略的数据选择研究相比，NDF具有相当的通用性，因此可以广泛适用于许多机器学习任务。以利用随机梯度下降（SGD）的神经网络训练为例，针对各种神经网络建模（例如，多层感知器网络、卷积神经网络和循环神经网络）和若干应用（例如，图像分类和文本理解）表明，NDF驱动的SGD可以通过使用更少的数据和更少的迭代来实现与标准SGD过程相当的准确性。
2017-02-28 cs.AI cs.LG stat.ML
Immediate Derivatives Suffice for Online Recurrent Adaptation
Independent Researcher（独立研究者）
本文证明在线递归学习无需传播雅可比张量，通过即时导数实现与全RTRL相似的性能，展示了在不同优化器和网络结构下的有效性。
2026-04-26 cs.LG
Deductron -- A Recurrent Neural Network
University of Arizona（亚利桑那大学）
本文是对递归神经网络（RNN）的研究，其动机是缺乏足够简单的示例，以便在理论上彻底理解它们，但又足够复杂以实现现实。我们构建了一个结构化数据的例子，其动机是图像到文本转换（OCR）的问题，这需要长期记忆来解码。我们的数据是一个简单的书写系统，将字符'X'和'O'编码为它们的上半部分，这是可能的，因为这两个字符是对称的。字符可以连接，如在一些使用草书的语言中，如阿拉伯语（abjad）。字符串“XOOXXO”可以被编码为“${\vee}{\wedge}\kern-1.5pt{\wedge}{\vee}\kern-1.5pt{\vee}{\wedge}$”。因此，我们可能需要知道任意长的过去来解码当前字符，因此需要长期记忆。随后，我们构建了一个能够解码以这种方式编码的序列的RNN。我们不是通过训练，而是“通过检查”构建RNN，即我们猜测它的权重。这涉及一系列步骤。我们编写了一个传统的程序来解码上面的例子中的序列。随后，我们将该程序解释为神经网络（这是我们已知的唯一一个此类例子）。最后，我们推广了这个神经网络，发现了一个新的RNN架构，其实例是我们手工制作的RNN。它原来是一个3层网络，其中中间层能够执行简单的逻辑推理;因此命名为“deductron”。证明了用模拟退火方法对网络进行训练是可行的。此外，随机梯度下降（SGD）方法的已知变体被证明是有效的。
2019-11-24 cs.LG stat.ML
Spatio-Temporal Neural Network for Fitting and Forecasting COVID-19
School of Mathematical Sciences, Shanghai Jiao Tong University（上海交通大学数学科学学院）；SJTU-Paristech Elite Institute of Technology, Shanghai Jiao Tong University（上海交通大学-巴黎高科精英理工学院）；Institute for Data and Decision Analytics, Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）数据与决策分析研究所）；Normandie University（诺曼底大学）；INSA Rouen（鲁恩国立应用科学学院）；UNIROUEN（鲁昂大学）；UNIHAVRE（勒阿弗尔大学）；LITIS（信息处理与系统实验室）
我们建立了时空神经网络，即STNN，以预测2020年全球COVID-19疫情的蔓延。STNN的基本结构类似于递归神经网络（RNN），既包含时间数据，又包含空间特征。提出了两种改进的STNN结构，即增强空间状态STNN（STNN-A）和输入门STNN（STNN-I），保证了更高的可预测性和灵活性。可以使用随机梯度下降（SGD）算法及其改进的变体（例如，Adam、AdaGrad和RMSProp）。我们的STNN模型与几个经典的流行病预测模型，包括全连接神经网络（BPNN），递归神经网络（RNN），经典的曲线拟合模型，以及SEIR动力系统模型进行了比较。数值模拟表明，STNN模型优于许多其他提供更准确的拟合和预测，并通过处理空间和时间数据。
2021-03-22 cs.LG stat.ML
Understanding Self-supervised Learning with Dual Deep Networks
Facebook AI Research（脸书人工智能研究院）；Stanford University（斯坦福大学）
我们提出了一个新的理论框架来理解对比自监督学习（SSL）方法，该方法采用双对深度ReLU网络（例如，Simplified）。首先，我们证明，在每个SGD更新Simplified与各种损失函数，包括简单的对比损失，软三重损失和InfoNCE损失，在每一层的权重更新的\emph{covariance operator}，专门放大初始随机选择性，不同的数据样本，但生存的平均值超过数据增强。为了进一步研究协方差算子扮演的角色以及在这样的过程中学习到的特征，我们通过\emph{hierarchical latent tree model}（HLTM）对数据生成和增强过程进行建模，并证明深度ReLU网络的隐藏神经元可以学习HLTM中的潜变量，尽管网络从这些未观察到的潜变量中接收\emph{no direct supervision}。这导致通过对比SSL放大最初的随机选择性来证明分层特征的出现。大量的数值研究证明了我们的理论发现。代码发布在https://github.com/facebookresearch/luckmatters/tree/master/ssl。
2021-02-15 cs.AI cs.LG stat.ML
