Projected Stochastic Gradient Descent with Quantum Annealed Binary Gradients
Aalto University（阿尔托大学）；Imperial College London（帝国理工学院）；University of Adelaide（阿德莱德大学）；MPI for Informatics（马克斯·普朗克信息学研究所）
本文提出 QP-SBGD 优化器，通过二次约束二值优化将梯度映射为二值变量，并利用量子退火器执行 NP 难投影，实现二值神经网络的高效训练，在多项任务中达到或超越现有基线。
2024-09-03 cs.CV cs.LG quant-ph
Variational Principles for Mirror Descent and Mirror Langevin Dynamics
Columbia University（哥伦比亚大学）；University of Illinois（伊利诺伊大学）；INRIA（法国国家信息与自动化研究所）；Ecole Normale Supérieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）
镜像下降法是由Nemirovski和Yudin在20世纪70年代提出的一种原始-对偶凸优化方法，它可以通过选择强凸势函数来适应当前最优化问题的几何形状。它在各种应用中作为基本的原语出现，包括大规模优化，机器学习和控制。本文提出了一种变分形式的镜像下降及其随机变量，镜像朗之万动力学。受Brezis和Ekeland关于梯度流的变分原理的经典工作的启发，本文的主要思想是证明镜像下降是作为某个最优控制问题的闭环解出现的，而Bellman值函数是由初始条件和目标函数的全局极小值之间的Bregman发散给出的。
2023-03-16 cs.LG math.OC
A stochastic Stein Variational Newton method
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Stanford University（斯坦福大学）
Stein变分梯度下降（SVGD）是一种通用的基于优化的采样算法，最近流行起来，但受到两个问题的限制：已知它会产生有偏差的样本，并且它在复杂分布上收敛速度较慢。最近提出的SVGD（sSVGD）的随机变量解决了第一个问题，通过将一个特殊的噪声到SVGD动态，从而保证渐近收敛产生无偏样本。同时，Stein变分牛顿（SVN），一个类似于牛顿的SVGD扩展，通过将Hessian信息纳入动力学，大大加快了SVGD的收敛速度，但也产生有偏的样本。在本文中，我们推导出，并提供了一个实际的实施，随机变量的SVN（sSVN），这是渐近正确的，收敛迅速。我们证明了我们的算法在一类困难的测试问题-混合Rosenbrock密度-的有效性，并表明sSVN收敛使用三个数量级的梯度评估的对数似然比随机SVGD对应。我们的研究结果表明，sSVN是一种很有前途的方法，以加速高精度贝叶斯推断任务与适度的维，$d\sim\mathcal{O}(10)$。
2022-04-19 astro-ph.CO cs.LG stat.ML
Optimizing Optimizers: Regret-optimal gradient descent algorithms
ETH Zürich（苏黎世联邦理工学院）
对快速和鲁棒的优化算法的需求在机器学习的所有领域都至关重要。本文将设计优化算法的任务视为一个最优控制问题。利用遗憾度作为算法性能的度量，研究了遗憾优化算法的存在性、唯一性和相容性。通过提供一阶最优性条件的控制问题，我们表明，遗憾的最优算法必须满足一个特定的结构，在他们的动态，我们表现出相当于执行双预处理梯度下降的价值函数产生的遗憾。使用这些最优动态，我们提供了他们的收敛速度的凸优化问题的解决方案的界限。虽然封闭形式的最优动态不能在一般情况下，我们提出了快速的数值方法来近似它们，生成优化算法，直接优化他们的长期遗憾。最后，这些是基准对常用的优化算法，以证明其有效性。
2021-01-19 cs.LG math.OC
Closed-Form Last Layer Optimization
Google DeepMind Gatsby Unit, University College London（谷歌深Mind加布兹单位，伦敦大学学院）；Tübingen AI Center, University of Tübingen（图宾根人工智能中心，图宾根大学）；University College London（伦敦大学学院）
本文提出在优化神经网络时，利用线性最后一层权重的闭式解，通过交替梯度下降和闭式更新提升回归任务性能。
2026-11-09 cs.LG stat.ML
Multitask Online Mirror Descent
University of Milan（米兰大学）；Istituto Italiano di Tecnologia（意大利技术研究院）；University College London（伦敦大学学院）
我们介绍和分析MT-OMD，一个多任务泛化的在线镜像下降（OMD），通过共享任务之间的更新。我们证明了MT-OMD的后悔是$\sqrt{1 + σ^2(N-1)}\sqrt{T}$阶的，其中$σ^2$是根据正则化子诱导的几何形状的任务方差，$N$是任务数，$T$是时间范围.当任务相似时，即$σ^2 \le 1$，我们的方法改进了通过在每个任务上运行独立的OMD获得的$\sqrt{NT}$界限。我们进一步提供了一个匹配的下限，并表明，我们的多任务扩展的在线梯度下降和指数梯度，两个主要的实例OMD，享受封闭形式的更新，使他们易于在实践中使用。最后，我们提出了支持我们的理论研究结果的实验。
2022-11-01 cs.LG
Super Gradient Descent: Global Optimization requires Global Gradient
针对传统优化易陷入局部极小的问题，提出面向一维k-Lipschitz函数的超级梯度下降法，引入全局梯度概念，保证收敛到全局最小值，填补优化理论空白并助力线搜索等机器学习问题。
2024-10-29 cs.LG cs.NA math.NA
In-context learning of closed form solution to simple linear regression task using transformer with linear self-attention
Faculty of Education, Mie University（三重大学教育学部）
研究利用具有线性自注意力的变压器在简单线性回归任务中进行上下文学习闭式解，通过层归一化近似获得解，以区别于基于梯度下降算法的近似解，并给出了在经 l1 正则化训练的变压器中的实验示例。
2026-07-20 cs.AI cs.LG
Comparing the Moore-Penrose Pseudoinverse and Gradient Descent for Solving Linear Regression Problems: A Performance Analysis
University of Pittsburgh（匹兹堡大学）
本文比较了求解线性回归问题的Moore-Penrose伪逆与梯度下降法，分析了两者在计算时间、数值稳定性和预测准确性方面的表现，为选择直接精确解或迭代近似解提供实用指导。
2025-05-29 cs.LG
Constants of Motion: The Antidote to Chaos in Optimization and Game Dynamics
Singapore University of Technology and Design（新加坡科技设计大学）；Shanghai University of Finance and Economics（上海财经大学）
最近在在线优化和游戏动态方面的几项工作已经建立了强大的负复杂性结果，包括即使在小的这种设置中也会出现不稳定和混乱，例如，$2\times 2$游戏。这些结果激发了以下问题：哪些方法工具可以保证这种动态的规律性，以及我们如何将它们应用于标准设置的兴趣，如离散时间一阶优化动态？我们展示了如何证明不变函数的存在性，即，运动常数是这个方向的基本贡献，并且在优化以及游戏设置中建立了过多的这种积极结果（例如梯度下降、乘法权重更新、交替梯度下降和流形梯度下降）。在技术层面上，对于某些守恒律，我们提供了一个明确和简洁的封闭形式，而对于其他的，我们提出了非建设性的证明使用的工具，从动力系统。
2021-09-10 cs.LG math.OC
On the Double Descent of Random Features Models Trained with SGD
EPFL（洛桑联邦理工学院）；KU Leuven（鲁汶大学）
我们研究了随机特征（RF）回归在下/过参数化机制下通过随机梯度下降（SGD）优化的高维空间中的泛化特性。在这项工作中，我们得到了精确的非渐近误差界的RF回归下的常数和多项式衰减步长SGD设置，并观察双下降现象的理论和经验。我们的分析展示了如何处理初始化，标签噪声和数据采样（以及随机梯度）的多个随机性来源，而没有封闭形式的解决方案，并且也超越了常用的高斯/球形数据假设。我们的理论结果表明，使用SGD训练，RF回归仍然可以很好地推广插值学习，并且能够通过方差的单峰性和偏差的单调减少来表征双下降行为。此外，我们还证明了恒定步长的SGD设置时，收敛速度没有损失相比，精确的最小范数的最小值，作为一个理论上的理由，在实践中使用SGD。
2022-10-16 cs.LG stat.ML
Whiplash Gradient Descent Dynamics
The Australian National University（澳大利亚国立大学）
本文提出 Whiplash 惯性梯度动力学，一种利用梯度信息的闭环优化方法，通过辛渐近分析、松弛序列及探索性变体实现凸函数最小化并确定性逃离鞍点，在二次代价下达到多项式与指数收敛速率。
2023-06-19 cs.LG cs.SY eess.SY
Learning ReLUs via Gradient Descent
University of Southern California（南加州大学）
在本文中，我们研究的问题，学习纠正线性单元（ReLU），这是形式$max(0,<w,x>)$与$w$表示的权重向量的功能。我们研究这个问题在高维政权的观察数小于的权重向量的维度。我们假设权重向量属于某个封闭集合（凸或非凸），该集合捕获了关于其结构的已知边信息。我们关注的是可变现模型，其中输入被独立同分布地选择。从高斯分布，并根据种植的权重向量生成标签。我们表明，预计的梯度下降，当初始化为0时，以线性速度收敛到种植模型的样本数是最佳的数值常数。我们对这些非常浅的神经网络收敛动力学的研究结果可能会为理解更深层次架构的动力学提供一些见解。
2017-08-01 cs.IT cs.LG math.IT
Stochastic gradient descent performs variational inference, converges to limit cycles for deep networks
University of California, Los Angeles（加州大学洛杉矶分校）
人们普遍认为，随机梯度下降（SGD）在用于训练深度神经网络时可以执行隐式正则化，但迄今为止，这种情况发生的精确方式还很难理解。我们证明，SGD最小化的平均潜力后验分布的权重随着熵正则化项。然而，该势一般不是原始损失函数。因此SGD确实执行变分推理，但损失与用于计算梯度的损失不同。更令人惊讶的是，SGD甚至没有在经典意义上收敛：我们表明，深度网络的SGD最有可能的轨迹并不像临界点周围的布朗运动。相反，它们类似于具有确定性组件的闭环。我们证明了这种“失衡”行为是SGD中高度非各向同性梯度噪声的结果;深度网络的小批量梯度的协方差矩阵的秩小到其维数的1%。我们提供了这些主张的广泛的经验验证，证明在附录中。
2018-01-16 cond-mat.stat-mech cs.LG math.OC
Multi-scale Feature Learning Dynamics: Insights for Double Descent
Mila, Université de Montréal（蒙特利尔大学 Mila 研究院）；University of California, Riverside（加州大学河滨分校）
构建深度学习理论基础的一个关键挑战是神经网络的复杂优化动态，这是由大量网络参数之间的高维相互作用造成的。这种非平凡的动态导致有趣的行为，如“双下降“的现象的泛化误差。这种现象的更常见的研究方面对应于模型方面的双下降，其中测试误差随着模型复杂性的增加而呈现出第二次下降，超出了经典的U形误差曲线。在这项工作中，我们调查的起源较少研究的逐时双下降，其中的测试误差经历了两个非单调的过渡，或下降的训练时间的增加。通过利用统计物理学的工具，我们研究了一个线性师生设置，该设置表现出与深度神经网络类似的逐时双下降。在这种情况下，我们推导出封闭形式的解析表达式的演变泛化误差的训练。我们发现，双下降可以归因于在不同尺度上学习的不同特征：随着快速学习特征过拟合，学习较慢的特征开始拟合，导致测试错误的第二次下降。我们通过数值实验验证了我们的发现，我们的理论准确地预测了经验发现，并与深度神经网络中的观察结果保持一致。
2021-12-06 cs.AI cs.LG stat.ML
Leveraging Two Reference Functions in Block Bregman Proximal Gradient Descent for Non-convex and Non-Lipschitz Problems
Iowa State University（爱荷华州立大学）；IBM Research AI（IBM研究院人工智能部门）；IBM Thomas J. Waston Research Center（IBM托马斯·J·沃森研究中心）
在信号处理和数据分析的应用中，存在广泛的一类非凸问题，其目标函数不受常见的全局Lipschitz连续梯度假设的约束（例如，非负矩阵分解（NMF）问题。近年来，Bregman近似梯度法（BPG）解决了这类具有某些特殊结构的问题。这启发我们提出了一种新的逐块两参考Bregman近端梯度（B2B）方法，该方法采用两个参考函数，从而获得Bregman投影中的封闭形式解。基于相对光滑性，我们证明了所提出的算法的整体收敛的各种块选择规则。特别地，我们建立了B2B的贪婪和随机块更新规则的$O(\frac{\sqrt{s}}{\sqrt{k}})$的整体收敛速度，其比循环变量快$O(\sqrt{s})$倍，即，$O(\frac{s}{\sqrt{k}} )$，其中$s$是块数，$k$是迭代次数。多个数值结果表明，所提出的B2B相比，在解决NMF问题的最先进的作品的优越性。
2019-12-16 cs.LG math.OC
Small steps and giant leaps: Minimal Newton solvers for Deep Learning
Visual Geometry Group, University of Oxford（视觉几何组，牛津大学）
本文提出一种快速的二阶方法，可作为现有深度学习求解器的替代方案。该方法仅需每个迭代两次额外的前向模式自动微分操作，计算成本与两次标准前向传递相当，易于实现。方法解决了现有二阶求解器的长期问题，避免了计算Hessian矩阵的近似逆矩阵的高成本和噪声敏感性。
2018-05-21 cs.CV cs.LG cs.NA
On the Complexity Analysis of Randomized Block-Coordinate Descent Methods
Simon Fraser University（西蒙弗雷泽大学）；Microsoft Research（微软研究院）
本文分析了[8，11]中提出的随机块坐标下降（RBCD）方法，该方法用于极小化光滑凸函数与块可分凸函数之和.特别地，我们将Nesterov在[8]中提出的用于分析块可分闭凸集上最小化光滑凸函数的RBCD方法的技术推广到上述更一般的问题，并获得了比[11]中隐含的更尖锐的期望值型收敛速度。此外，我们获得了更好的高概率类型的迭代复杂度，它比[11]中的迭代复杂度至少提高了$O(n/ε)$，其中$ε$是目标解精度，$n$是问题块的数量。此外，对于无约束光滑凸极小化问题，我们提出了一种新的技术，称为{ \it随机估计序列}，用于分析Nesterov [11]提出的加速RBCD方法，并建立了比[11]更精确的期望值型收敛速度.
2013-05-21 cs.LG cs.NA math.NA
Convergence diagnostics for stochastic gradient descent with constant step size
University of Chicago（芝加哥大学）；University of Chicago, Booth School of Business（芝加哥大学布斯商学院）
随机最优化中的许多迭代过程都表现出一个过渡阶段，然后是一个稳定阶段。在瞬态阶段期间，该过程朝向感兴趣的区域收敛，并且在稳定阶段期间，该过程在该区域中振荡，通常围绕单个点。在本文中，我们开发了一个统计诊断测试，以检测这样的相变的背景下，随机梯度下降恒定的学习率。我们目前的理论和实验表明，该地区的建议的诊断被激活与收敛区域相吻合。对于一类损失函数，我们得到了一个封闭形式的解决方案，描述这样的区域。最后，我们提出了一个应用程序，以加快收敛的随机梯度下降减半的学习率，每次检测到平稳。这导致了随机梯度下降的一个新变体，在许多情况下可以与最先进的方法相媲美。
2018-02-23 cs.LG math.ST stat.CO
Incremental Gauss-Newton Descent for Machine Learning
IMT School for Advanced Studies Lucca（利卡学院高级研究学院）
针对标量输出损失逐样本评估的场景，提出增量高斯-牛顿下降法（IGND），通过闭式标量归一化随机梯度实现无需存储或求解曲率矩阵的高效更新，并证明其收敛性。
2026-05-26 cs.LG math.OC stat.ML
Optimal Mini-Batch Size Selection for Fast Gradient Descent
IBM T.J. Watson Research Center（IBM托马斯·J·沃森研究中心）；Amazon Alexa（亚马逊Alexa）；Morgan Stanley（摩根士丹利）；Rice University（莱斯大学）
本文提出了一种方法来选择小批量的大小，最大限度地减少随机梯度下降（SGD）的学习时间为单个和多个学习者的问题。通过从硬件和软件实现细节解耦算法分析问题，我们揭示了小批量大小和收敛到指定错误阈值所需的SGD更新的平均数量之间的鲁棒经验逆律。结合这一经验逆定律与测量的系统性能，我们创建了一个准确的，封闭形式的平均训练时间模型，并展示了如何使用该模型来识别机器学习的算法和硬件方面的量化影响。我们在图像识别（MNIST，CIFAR10和CIFAR100）和机器翻译（Europarl）任务上经验性地证明了逆规律，并通过证明小批量SGD训练的新界限提供了理论依据。
2019-11-15 cs.DC cs.LG stat.ML
A Unified View of Regularized Dual Averaging and Mirror Descent with Implicit Updates
Google, Inc.（谷歌公司）
我们研究了三个家庭的在线凸优化算法：跟随邻近正则化领导（FTRL-Proximal），正则化的双重平均（RDA），和复合目标镜像下降。我们首先证明等价定理，表明所有这些算法的实例一般FTRL更新。这为以前的实验观察提供了理论上的见解。特别是，尽管FOBOS复合镜像下降算法显式地处理L1正则化，但已经观察到RDA在产生稀疏性方面甚至更有效。我们的研究结果表明，FOBOS使用次梯度近似的L1罚款从以前的回合，导致较少的稀疏性比RDA，它处理的累积罚款在封闭的形式。FTRL-Proximal算法可以被视为这两种算法的混合，并且在大型真实世界数据集上的性能优于两者。我们的第二个贡献是一个统一的分析，产生遗憾的界限，匹配（对数项）或改善以前已知的最好的界限。这种分析还扩展了这些算法在两个重要的方面：我们支持更一般类型的复合目标，我们分析隐式更新，它取代了次梯度近似的当前损失函数的精确优化。
2011-09-20 cs.LG
Fast Training of Effective Multi-class Boosting Using Coordinate Descent Optimization
The University of Adelaide（阿德莱德大学）
提出了一种基于列生成的多类分类的Boosting方法。我们的多类提升是在一个单一的优化问题中制定的，如Shen和Hao（2011）。与大多数现有的多类提升方法不同，这些方法对所有类使用相同的弱学习器集合，我们训练类指定的弱学习器（即，每个类具有不同的弱学习者集合）。我们表明，使用单独的弱学习者集为每个类导致快速收敛，而不会在训练过程中引入额外的计算开销。为了进一步提高训练的效率和可扩展性，我们还提出了一种快速坐标下降方法来解决每次提升迭代的优化问题。所提出的坐标下降法是概念上简单，易于实现，因为它是一个封闭形式的解决方案，为每个坐标更新。在多种数据集上的实验结果表明，与现有的多类Boosting方法相比，该方法在大多数情况下具有更快的收敛速度和更好的泛化性能.我们还通过经验证明，所提出的快速坐标下降算法比Shen和Hao（2011）中的MultiBoost算法需要更少的训练时间。
2013-11-23 cs.CV cs.LG stat.CO
A Symplectic Analysis of Alternating Mirror Descent
Yale University（耶鲁大学）
本文针对双线性零和博弈中的AMD算法，基于辛欧拉方法结合哈密顿动力学等理论分析其离散化特性，推导得到更优的遗憾与对偶间隙界，并提出关于收敛量级的猜想。
2025-11-17 cs.GT cs.LG cs.NA
Stochastic Primal-Dual Proximal ExtraGradient Descent for Compositely Regularized Optimization
UC Berkeley（加州大学伯克利分校）；National University of Defense Technology（国防科技大学）；Stanford University（斯坦福大学）；National University of Singapore（新加坡国立大学）
我们考虑了广泛的正则化随机极小化问题的两个正则化项，其中之一是由一个线性函数。该优化模型抽象了人工智能和机器学习中的许多重要应用，例如融合Lasso，融合Logistic回归和一类图引导正则化最小化。这个模型的计算挑战有两个方面。一方面，与组合正则化项或期望目标函数相关联的邻近映射的封闭形式解是不可用的。另一方面，当输入数据样本的数量相当大时，目标中期望的全梯度的计算是非常昂贵的。为了解决这些问题，我们提出了一个随机变量的额外梯度型方法，即\textsf{Stochastic Primal-Dual Proximal ExtraGradient descent (SPDPEG)}，并分析其收敛性的凸和强凸目标。对于一般的凸目标，由\textsf{SPDPEG}产生的一致平均迭代以$O(1/\sqrt{t})$速率按期望收敛。而对于强凸目标，由\textsf{SPDPEG}产生的一致和非一致平均迭代分别以$O(\log(t)/t)$和$O(1/t)$速率收敛.所提出的算法的速度的顺序是已知的，以匹配一阶随机算法的最佳收敛速度。融合逻辑回归和图引导正则化逻辑回归问题的实验表明，该算法的性能非常有效，并始终优于其他竞争算法。
2018-02-01 cs.LG math.OC stat.ML
Dynamical mean-field theory for stochastic gradient descent in Gaussian mixture classification
Institut de physique théorique, Université Paris-Saclay（巴黎萨克雷大学理论物理研究所）；CNRS（法国国家科学研究中心）；CEA（法国原子能和替代能源委员会）；IdePHICS Laboratory, EPFL（洛桑联邦理工学院IdePHICS实验室）；SPOC Laboratory, EPFL（洛桑联邦理工学院SPOC实验室）
我们在一个封闭的形式分析的学习动态随机梯度下降（SGD）的单层神经网络分类的高维高斯混合，其中每个集群被分配两个标签之一。这个问题提供了一个原型的非凸损失景观插值制度和一个大的推广差距。我们定义了一个特殊的随机过程，SGD可以扩展到一个连续的时间限制，我们称之为随机梯度流。在全批限制下，我们恢复了标准梯度流。我们应用统计物理学中的动态平均场理论，通过自洽随机过程来跟踪高维极限中算法的动态。我们探讨了该算法的性能作为控制参数的函数，揭示了它如何导航的损失景观。
2021-11-09 cond-mat.dis-nn cs.LG math.ST
Rigorous dynamical mean field theory for stochastic gradient descent methods
本文通过严格动力学平均场理论推导了随机梯度下降方法的闭式方程，揭示了记忆核的形成机制并实现了非分离更新函数的处理。
2023-11-29 cs.IT cs.LG math-ph
On Barycenter Computation: Semi-Unbalanced Optimal Transport-based Method on Gaussians
The University of Texas, Austin（德克萨斯大学奥斯汀分校）；VinAI Research（VinAI研究院）
本文针对高斯分布提出基于半不平衡最优传输的鲁棒重心方法，在 Bures-Wasserstein 流形上开发了两种梯度下降优化算法，证明了其理论收敛性，并通过实验验证了优于常规 Wasserstein 重心的表现。
2024-10-10 cs.LG
Cramer Type Distances for Learning Gaussian Mixture Models by Gradient Descent
Tsinghua University（清华大学）
本文提出 Sliced Cramér 2-distance，以闭式、可微且无需采样的方式通过梯度下降学习多变量 GMM，并给出理论保证与分布式强化学习示例。
2023-07-13 cs.LG stat.ML
Subgradient Regularization: A Descent-Oriented Subgradient Method for Nonsmooth Optimization
本文揭示束方法与梯度采样算法的统一原理，提出次梯度正则化框架以生成稳定下降方向，并证明其收敛性及对 prox-linear 方法的对偶解释。
2025-05-11 math.OC
On the Theory of Continual Learning with Gradient Descent for Neural Networks
Department of Computer Science and Engineering, University of California, San Diego（加州大学圣地亚哥分校计算机科学与工程系）；Department of Computer Science and Engineering, IIT, Bombay（印度孟买理工学院计算机科学与工程系）；Halicioğlu Data Science Institute, University of California, San Diego（加州大学圣地亚哥分校Halicioğlu数据科学研究所）
本文研究了持续学习中梯度下降法的限制，通过分析具有隐藏层的二次神经网络在包含高斯噪声的XOR聚类数据集上的表现，得出了训练时间遗忘率的显式界限，并通过算法稳定性框架提供了测试时间遗忘的保证。
2026-04-20 cs.IT cs.LG math.IT
Modified Loss of Momentum Gradient Descent: Fine-Grained Analysis
Princeton University（普林斯顿大学）
本研究细粒度分析了Polyak重球动量梯度下降，证明其等价于修正损失的梯度下降，并揭示了隐藏的欧拉与纳拉亚纳多项式，为优化算法分析提供了新视角。
2026-10-08 cs.LG cs.NA math.NA
Better Parameter-free Stochastic Optimization with ODE Updates for Coin-Betting
Boston University（波士顿大学）；Microsoft Research（微软研究院）
无参数随机梯度下降（PFSGD）算法不需要设置学习率，同时达到最佳的理论性能。然而，在实际应用中，调谐随机梯度下降（SGD）和PFSGD之间仍然存在经验差距。在本文中，我们关闭的经验差距与一个新的无参数算法的基础上连续时间硬币投注截断模型。新的更新是通过求解常微分方程（ODE）得到的，并以封闭形式求解。我们的经验表明，这种新的无参数算法优于算法的"最佳默认"学习率，几乎匹配的性能微调基线没有任何调整。
2022-05-03 cs.LG stat.ML
Kalman Bayesian Neural Networks for Closed-form Online Learning
Fraunhofer Institute for Manufacturing Engineering and Automation IPA（弗劳恩霍夫制造工程与自动化研究所IPA）；University of Stuttgart（斯图加特大学）
与由标准神经网络计算的点估计相比，贝叶斯神经网络（BNN）提供输出预测和模型参数的概率分布，即，重量然而，由于底层贝叶斯推理问题的棘手性，训练BNN的权重分布更加复杂，因此需要有效的近似。在本文中，我们提出了一种新的方法，通过封闭式贝叶斯推理的BNN学习。为此，输出的预测分布的计算和权重分布的更新被视为贝叶斯滤波和平滑问题，其中权重被建模为高斯随机变量。这允许用于以顺序/在线方式训练网络参数的封闭形式表达式，而无需梯度下降。我们在几个UCI数据集上展示了我们的方法，并将其与最先进的方法进行了比较。
2022-11-30 cs.AI cs.LG stat.ML
The Benefits of Reusing Batches for Gradient Descent in Two-Layer Networks: Breaking the Curse of Information and Leap Exponents
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
本文研究两层网络多索引目标函数学习中多次遍历梯度下降重用批次的训练动态，证明其能突破信息指数和跳跃指数限制，并刻画了有限时间内可高效学习的函数类。
2024-06-30 cs.LG stat.ML
Bilevel learning of l1-regularizers with closed-form gradients(BLORC)
Michigan State University（密歇根州立大学）；Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
我们提出了一种方法，监督学习稀疏促进正则化，在许多现代信号重建问题的关键成分。学习正则化器的参数以最小化在地面真实信号和测量对的训练集上重建的均方误差。训练涉及解决具有非光滑低层目标的具有挑战性的双层优化问题。我们推导出一个表达式的梯度的训练损失使用的隐式封闭形式的解决方案的较低级别的变分问题给出其对偶问题，并提供了一个配套的梯度下降算法（被称为BLORC），以尽量减少损失。我们对简单自然图像和一维信号去噪的实验表明，该方法可以学习有意义的算子，计算的分析梯度比标准的自动微分方法更快。虽然我们提出的方法适用于去噪，但我们相信它可以适用于各种线性测量模型的逆问题，从而使其适用于各种场景。
2021-11-21 cs.LG
Negative Feedback System as Optimizer for Machine Learning Systems
University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）
本文提出将负反馈系统的函数求逆过程作为机器学习优化的物理类比，证明其能学习不可微函数并在特定约束下等价于梯度下降，为神经网络优化提供了新视角。
2024-12-22 cs.AI cs.LG
Closed-Form Spectral Regularization for Multi-Task Model Merging
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系）；Sun Yat-sen University（中山大学）；Nanyang Technological University（南洋理工大学）
针对多任务模型融合中的干扰最小化问题，发现迭代求解器实际充当隐式谱正则化器，据此提出基于谱滤波的闭式方法SWUDI及其自适应变体SWUDI-A，显著提升效率并匹配或超越现有方法。
2026-06-05 cs.CV cs.LG
Friction-adaptive descent: a family of dynamics-based optimization methods
本文提出摩擦自适应下降（FAD）框架，通过引入辅助自由度构造改进稳定性的动力系统，并重点研究动能稳定化变体KFAD，在凸优化和原子团簇结构优化中展现出比线性耗散哈密顿动力学更高的效率与鲁棒性。
2023-09-20 math.DS math.OC
Efficient Sum of Outer Products Dictionary Learning (SOUP-DIL) - The $\ell_0$ Method
University of Michigan（密歇根大学）
自然信号和图像在变换域或变换字典中的稀疏性在压缩、去噪和逆问题等应用中得到了广泛的利用。最近，与固定或分析词典模型相比，数据驱动的合成词典适应在许多应用中显示出了希望。然而，字典学习问题通常是非凸和NP难的，并且用于这些问题的通常交替最小化方法通常在计算上是昂贵的，其中计算由NP难合成稀疏编码步骤主导。在这项工作中，我们研究了一种有效的方法$\ell_{0}$“规范”为基础的字典学习，首先近似的训练数据集与稀疏秩一矩阵的总和，然后使用块坐标下降的方法来估计未知数。所提出的块坐标下降算法涉及有效的封闭形式的解决方案。特别地，稀疏编码步骤涉及简单形式的阈值化。我们提供了一个收敛性分析所提出的块坐标下降方法。我们的数值实验表明，我们的方法提供了良好的性能和显着的速度比经典的K-SVD计划在稀疏信号表示和图像去噪。
2017-04-21 cs.LG
Truncated Kernel Stochastic Gradient Descent on Spheres
Fudan University（复旦大学）
受球面调和函数启发，提出截断核随机梯度下降算法，通过低维子空间投影实现动态正则化，在常数步长下达到最优收敛率并克服饱和问题，同时大幅降低计算与存储成本。
2025-07-16 cs.LG
Efficient Elastic Net Regularization for Sparse Linear Models
University of California, San Diego（加州大学圣地亚哥分校）
本文提出了一种基于弹性网正则化的稀疏线性模型的有效训练算法。新算法扩展了先前关于延迟更新的工作，仅将随机梯度更新应用于非零特征，并根据需要使用闭合形式更新来带来当前权重。前面已经描述了$\ell_1$、$\ell_{\infty}$和很少使用的$\ell_2$正则化器的闭合形式延迟更新。本文提供了流行的平方范数$\ell^2_2$和弹性网正则化的封闭形式更新。我们提供了动态规划算法，在恒定时间内执行每个延迟更新。新的$\ell^2_2$和弹性网络方法处理固定和变化的学习率，以及标准的{随机梯度下降}（SGD）和{向前向后分裂（FoBoS）}。实验结果表明，在具有$260,941$特征的词袋数据集上，但每个训练样本平均仅具有$88$非零特征，动态规划方法训练具有弹性网络正则化的逻辑回归分类器比其他方法快$2000$倍。
2015-07-02 cs.LG
REAL-Q: E2E LLM Quantization via Dynamic Gradient Descent
Peking University（北京大学）；Northeastern University（东北大学）；ZTE Corporation（中兴通讯股份有限公司）
针对现有大语言模型训练后量化方法的信息失配问题，REAL-Q采用端到端损失对齐代理与动态块级梯度下降，在主流模型W4A16量化下将端到端KL散度最高降低约49%。
2026-09-11 cs.AI cs.LG
Analytical Study of Momentum-Based Acceleration Methods in Paradigmatic High-Dimensional Non-Convex Problems
University of Oxford（牛津大学）；Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；CEA（法国原子能和替代能源委员会）；Institut de physique théorique（理论物理研究所）
许多机器学习问题中的优化步骤很少依赖于香草梯度下降，但通常使用基于动量的加速方法。尽管这些算法被广泛应用于任意损失函数，但它们在一般非凸，高维景观中的行为却知之甚少。在这项工作中，我们使用动态平均场论技术来描述这些方法的平均动态分析在一个典型的非凸模型：（尖峰）矩阵张量模型。我们推导出一组封闭的方程，描述的行为的重球动量和Nesterov加速度在无限维的限制。通过对这些方程的数值积分，我们观察到这些方法加快了动力学，但并没有改善尖峰模型中关于梯度下降的算法阈值。
2021-10-27 cond-mat.dis-nn cs.LG stat.ML
A Function Fitting Method
在这篇文章中，我们描述了一个函数拟合方法，在机器学习中有潜在的应用，并证明了相关定理。所描述的函数拟合方法是凸最小化问题，并且可以使用梯度下降算法来求解。并对该函数拟合方法的数据拟合度进行了定性分析。函数拟合问题也被证明是一个线性，弱偏微分方程（PDE）的解决方案。通过给出一种选择最佳$λ$参数的方法来拟合Sobolev函数。我们描述了一个封闭形式的解决方案，导出偏微分方程，使参数化的解决方案功能。我们描述了一个简单的数值解使用梯度下降算法，一致收敛到实际的解决方案。由于最小化问题的泛函是二次型，因此也存在使用线性代数的数值方法。最后，我们给出了一些数值例子，也数值演示了它的应用程序的二进制分类问题。
2019-12-14 cs.AI cs.LG math.AP
Trajectory-Oriented Control Using Gradient Descent: An Unconventional Approach
本研究提出一种基于梯度下降的非常规轨迹导向控制方法，通过将稳定闭环动力学表示为步长/方向矩阵与李雅普诺夫代价函数值矩阵的函数构建新框架，证明其可表示任意稳定系统、等价于特定加权下的LQR，且可实现轨迹塑形。
2024-09-16 cs.SY eess.SY math.OC
Natural Gradient Descent for Control
本文提出基于自然梯度下降的闭环控制框架，利用Fisher信息矩阵显式塑造系统轨迹，并通过旋转倒立摆仿真验证其在轨迹塑造上的优势。
2025-03-08 cs.SY eess.SY math.OC
Comparative Analysis of Gradient-Based Optimization Techniques Using Multidimensional Surface 3D Visualizations and Initial Point Sensitivity
本文比较了多种梯度优化方法在多个基准函数上的计算效率与精度，并通过三维可视化揭示初始点选择对优化结果及局部与全局最优区分的重要影响。
2025-05-09 math.OC
A Low-Rank Coordinate-Descent Algorithm for Semidefinite Programming Relaxations of Optimal Power Flow
交流最优潮流（ACOPF）是最著名的非凸非线性优化问题之一。我们提出了一种新的重新制定的ACOPF，这是基于提升的矩形功率电压等级约束的制定，并使之有可能获得替代SDP松弛。针对这些问题，我们提出了一种基于平行坐标下降的一阶方法，该方法具有基于三次多项式根的新的封闭形式步骤。
2016-10-16 math.OC
DID: Distributed Incremental Block Coordinate Descent for Nonnegative Matrix Factorization
Iowa State University（爱荷华州立大学）
非负矩阵分解（NMF）作为一种降维方法在过去的十年中引起了人们的广泛关注。由于数据量的爆炸性增长，自然地，样本被收集并分布存储在本地计算节点中。因此，越来越需要在分布式存储器架构中开发算法。我们提出了一种新的分布式算法，称为\textit{distributed incremental block coordinate descent}（DID），来解决这个问题。通过调整块坐标下降框架，获得封闭形式的更新规则在DID。此外，DID基于最近更新的残差矩阵递增地执行更新。因此，每次迭代只需要一个沟通步骤。一系列的数值实验验证了算法的正确性、高效性和可扩展性。
2018-02-25 cs.AI cs.LG math.OC
Online Gradient Descent for Linear Dynamical Systems
本文将在线凸优化应用于线性动力系统的控制问题。提出了一种类似于在线梯度下降的算法，它可以处理时变和未知的费用函数。然后，性能保证的遗憾分析。我们表明，所提出的控制方案实现次线性遗憾，如果费用函数的变化是次线性的。此外，作为一种特殊情况，如果费用函数在有限时间后不变，则系统收敛到最优平衡点。最后，通过数值模拟说明了所得闭环的性能。
2020-05-22 math.OC
Global minimisation of nonconvex functions by generalising the mirror descent method
本文提出两种算法用于非凸函数的全局最小化，通过泛化镜像下降法并利用抽象Bregman距离实现收敛性证明与数值验证。
2026-01-08 math.OC
Local Curvature Descent: Squeezing More Curvature out of Standard and Polyak Gradient Descent
本文提出局部曲率下降（LCD1、LCD2、LCD3）三种新方法，利用现成局部曲率信息构造矩阵值步长，推广标准及Polyak梯度下降，理论恢复已知速率且实证优于梯度下降。
2024-05-26 math.OC
Fixed-point and coordinate descent algorithms for regularized kernel methods
本文研究了两类具有凸损失函数和二次范数正则化的核方法的最优化算法，并分析了它们的收敛性。第一种方法基于定点迭代，易于实现和分析，并且可以很容易地并行化。第二，基于坐标下降，利用结构的可加性分离的损失函数计算线搜索的解决方案，在封闭的形式。这些一般类别的算法中的大多数已经被结合到用于大规模问题的最新机器学习软件中。我们开始从一个解决方案的正则化问题，使用次微分和单调算子的解决方案，适用于一般的凸损失函数，无论可微性。文中所描述的两种方法可以看作是非线性Jacobi和Gauss-Seidel算法的实例，并且都非常适合于解决大规模问题。
2010-08-30 cs.LG math.OC stat.CO
