R-Linear Convergence of Limited Memory Steepest Descent
Fletcher提出的有限记忆最速下降法（LMSD）是Barzilai-Borwein“两点步长“策略在求解无约束最优化问题的最速下降法中的推广。众所周知，当Barzilai-Borwein策略用于极小化一个强凸二次型时，它给出了一个具有R-线性收敛速率的方法.本文将这一分析推广到LMSD，也推广到强凸二次型。特别是，它表明，该方法是R-线性收敛的历史长度参数的任何选择。数值实验的结果被提供来说明通过理论分析所揭示的方法的行为。
2016-10-12 math.OC
An implementation of steepest-descent augmentation for linear programs
推广单纯形法，电路增强计划的线性规划遵循电路方向通过内部的基础多面体。最速下降增强是特别有前途的，但迭代方案的实现是一个重大的挑战。我们通过一个模型，其中一个线性程序动态更新，始终保持在内存中的一个可行的实现。计算实验表现出显着的改进，一个天真的方法，并揭示了洞察大规模计算所需的下一步。
2019-11-20 math.OC
Improved Front Steepest Descent for Multi-objective Optimization
本文讨论了求解多目标最优化问题的前最速下降算法。我们指出，从文献中的算法往往是无法，通过设计，跨越大部分的帕累托前。因此，我们引入了一些修改的算法，旨在克服这一重大限制。我们证明了该算法的渐近收敛性质的保持和数值计算表明，所提出的方法显着优于原来的。
2023-01-09 math.OC
A Fully Adaptive Steepest Descent Method
针对伪凸全局最优化问题，提出了一种新的完全自适应最速下降算法（简称ASDM）。对于在$\varepsilon$归一化方向上的步长调节，我们使用确定性规则，其在J. Optim.理论应用（2019，\，DOI：10.1007/S10957 - 019 - 01585-W）。我们得到了由ASDM迭代点序列生成的最优收敛估计。即迭代函数值序列具有严格单调性的优点，并以次线性速度全局收敛于目标函数最优。这种收敛速率现在已知是非凸目标上下文中的最速下降方法的最佳收敛速度。初步的计算测试证实了所提出的方法的效率和其实现的低计算成本。
2021-08-11 math.OC
Improvements to steepest descent method for multi-objective optimization
本文通过在迭代公式中乘法引入含二阶信息的正修正参数，提出两种改进的多目标最速下降算法，并证明其收敛性及强凸情形下的线性收敛，数值实验表明其持续优于原始算法。
2024-01-12 math.OC
Nonsmooth Steepest Descent Method by Proximal Subdifferentials in Hilbert Spaces
本文首先研究了定义在希尔伯特空间上的非光滑函数的非光滑最速下降方法，并利用邻近次梯度建立了相应的算法。然后，我们用这个算法来寻找那些满足正则性和利普希茨连续性的函数的驻点。作为一个应用，将所建立的算法用于有限维空间上的下连续凸函数的极小值的搜索。作为对已有的关于二次连续可微凸函数的收敛性结果的推广和改进，文中给出了收敛性定理。
2013-10-10 math.OC
Geodesic Convexity of the Symmetric Eigenvalue Problem and Convergence of Riemannian Steepest Descent
本文研究Grassmann流形上对称矩阵Rayleigh商块版本最小化的黎曼最速下降法，发现其具有弱-强凸性结构，从而在不依赖特征间隙的初始化条件下证明指数或代数收敛速率，并刻画了全局极小值点附近的测地凸邻域。
2023-09-19 math.OC
Hierarchical Convex Optimization by the Hybrid Steepest Descent Method with Proximal Splitting Operators -- Enhancements of SVM and Lasso
现代邻近分裂方法的突破性思想使我们能够将多个非光滑凸函数叠加的所有极小元的集合表示为可计算非扩张算子的不动点集。在本文中，我们提出了实用的算法策略的分层凸优化问题，需要进一步的战略选择的最理想的向量从标准的凸优化的解决方案。所提出的算法是通过将混合最速下降法应用于通过邻近分裂艺术设计的特殊非扩张算子而建立的。我们还提出了应用所提出的策略，以某些未开发的层次增强的支持向量机和Lasso估计。
2022-06-30 math.OC
Convergence of a Steepest Descent Algorithm for Ratio Cut Clustering
散乱、噪声、高维数据点的无监督聚类是一个重要而又困难的问题。最近已经证明，平衡切割问题的紧连续松弛提供了出色的聚类结果。本文对松弛比截问题提出了一种显隐梯度流格式，并证明了该算法收敛于能量的一个临界点。我们还显示了该算法的效率上的两个月亮数据集。
2012-04-30 math.OC
Solution of a NxN System of Linear algebraic Equations: 1 -- The Steepest Descent Method Revisited
这是第一次在一系列的文件处理的发展新的方法解决系统的线性代数方程的时间复杂性低于现有的算法。NxN线性方程组系统Ax = b通常通过使用公知的优化技术最小化相应的二次型来迭代求解。其中最简单的是最速下降法，它的解在开始时通常非常快，但在几次迭代后会急剧减慢。本文探讨了可能的方法，可以减少或避免这种放缓。这里使用的两种方法涉及迭代之间点的随机移动，以及迭代之间可能的矩阵变换。本文报告了计算实验的结果，并表明显着改善性能的最速下降方法是可能的。这里描述的方法并不能立即给出一个实用的算法。然而，他们为开发基于SD的实用算法奠定了基础，这将在以后的出版物中介绍。
2022-05-31 math.OC
Iteration-complexity and asymptotic analysis of steepest descent method for multiobjective optimization on Riemannian manifolds
研究了具有下界截面曲率的黎曼流形上多目标优化的最速下降法。本文件的目的是双重的。首先，该方法的渐近分析提出了三种不同的有限程序来确定步长，即Lipschitz步长，自适应步长和Armijo型步长。第二个目的是目前，通过假设的目标函数的雅可比矩阵是分量Lipschitz连续的，迭代复杂性的界限的方法，这三个步长的战略。此外，还列举了一些实例，以强调在这一新的背景下开展工作的重要性。数值实验验证了该方法的有效性，并验证了理论结果。
2019-06-14 math.OC
Quasi-Newton method of Optimization is proved to be a steepest descent method under the ellipsoid norm
本文引入并推广经典 Cauchy-Schwartz 不等式，严格证明了无需计算 Hessian 且具超线性收敛速度的拟牛顿法在椭球范数下本质上是一种最速下降法。
2024-11-18 math.OC
Global convergence of $W^{1,\infty}$-steepest descent for PDE constrained shape optimisation with semilinear elliptic equations in function space
Otto-von-Guericke-University Magdeburg（奥托·冯·古里克马格德堡大学）；University of Sussex（萨塞克斯大学）；University of Koblenz（科布伦茨大学）
本文研究了PDE约束形状优化中半线性椭圆方程的$W^{1,\infty}$-最陡下降法的全局收敛性，证明了在函数空间中的收敛性及二维空间中的条件收敛结果。
2026-03-03 math.AP math.OC
Triangle Steepest Descent: A Geometry-Based Gradient Algorithm with Guaranteed R-Linear Convergence
本文提出三角最速下降（TSD）梯度算法，利用几何性质周期组合历史搜索方向，在强凸二次问题上保证R-线性收敛且数值上超线性，优于BB和DY方法。
2025-10-17 math.OC
On variational problems related to steepest descent curves and self dual convex sets on the sphere
设$\mathcal{C}$是$\rn$中半球的紧凸子集族$S$，且$S$包含其对偶$S^*;$，设$u\in S^*$，设$ \inf \big\{Φ(S,u), S \in \mathcal{C}, \, u\in S^* \big\} $。证明了$ Φ$的极小是边界上有$ u $的等宽集$ π/2 $.对于$n=3$可以说得更多：最小集是球面上的一个三角形。前一个问题涉及到一个寻找最大长度的最速下降曲线的拟凸函数，满足适当的约束。对于$ n=2 $，让我们参考\cite{Manselli-Pucci}。这里，对$ n\geq 3$得到了完全不同的结果。
2016-03-04 math.OC
Curves of Descent
最速下降是变分数学中的核心问题。我们提出了一个新的透明的存在性证明曲线的近最大斜率--一个有影响力的概念，最速下降在非光滑设置。此外，我们表明，半代数函数-原型非病态功能在非光滑最优化-这样的曲线正是次梯度动力系统的解决方案。
2013-05-07 math.OC
Generalized Steepest Descent Methods on Riemannian Manifolds and Hilbert Spaces: Convergence Analysis and Stochastic Extensions
本文在黎曼流形与希尔伯特空间中研究广义最速下降法，分析其收敛性，提出带动量自适应方法并达到O(1/k^2)精度，同时扩展至非高斯噪声下的随机情形。
2025-02-27 math.FA math.OC
A note on the hybrid steepest descent methods
本文的目的是证明，在适当的条件下，由混合最速下降法生成的迭代序列是收敛的，只要由Halpern型迭代法生成的迭代序列也是收敛的.
2011-01-05 math.FA math.OC
Lower Envelopes and Steepest Descent Directions in Vector Optimization
本文的目的是利用c-正则性的概念给出无限维空间中下包络连续性的一个完整刻画。作为应用，我们引入了一个光滑函数的变分无约束向量最优化问题，并刻画了变分最速下降方向关于所考虑的生成集是连续的.
2011-08-09 math.FA math.OC
Note on Steepest Descent Algorithm for Quasi L$^{\natural}$-convex Function Minimization
该研究定义了半严格拟L$^{\ atural}$-凸函数这类离散拟凸函数，证明L$^{\ atural}$-凸函数最小化的最速下降算法对其适用，并拓展迭代次数分析，揭示该算法的测地性质。
2023-07-21 math.CO math.OC
An iteration count estimate for a mesh-dependent steepest descent method based on finite elements and Riesz inner product representation
基于梯度的优化方法的现有实现通常假设问题在欧几里得空间中提出。在求解函数空间上的最优性问题时，函数导数是不精确地表示为$\ell^2$，而不是由函数空间引起的内积。这种错误表现为网格依赖于解决优化问题所需的迭代次数。在本文中，一个简单的和通用的离散优化问题的情况下，这个迭代计数的解析估计。所分析的系统是应用于有限元问题的最速下降法。该估计是基于Kantorovich不等式和Galerkin质量矩阵的条件数的上界。计算机模拟验证了迭代次数估计。类似的数值结果被发现为一个更复杂的优化问题约束的偏微分方程。表示的功能相对于连续控制空间诱导的内积的导数导致网格独立收敛。
2016-06-26 math.OC
Fejér-monotone hybrid steepest descent method for affinely constrained and composite convex minimization tasks
本文介绍了Fejér-单调混合最速下降算法（FM-HSDM），它是HSDM算法族的一个新成员，用于求解实希尔伯特空间中的仿射约束极小化问题，其中凸光滑和非光滑损失构成目标函数. FM-HSDM提供的序列的估计收敛弱，并在一定的假设下，强烈的解决方案的任务。不动点理论，变分不等式和仿射非扩张映射被用来设计一个计划，以适应仿射约束在一个更通用的方式比国家的最先进的原始-对偶技术和交替方向法的乘数做。可以调整递归以获得低计算占用，非常适合大规模优化任务，而不会影响收敛保证。与HSDM的前体相比，FM-HSDM具有Fejér单调性，步长参数在迭代过程中保持不变，以促进估计序列收敛到最小值，而仅需要光滑损失函数的导数的利普希茨连续性而不是强单调性来确保收敛。文中还给出了收敛到最优点的收敛速率的结果。
2018-04-10 math.OC
Approximate Steepest Coordinate Descent
EPFL（洛桑联邦理工学院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
提出了一种新的坐标选择规则，用于求解大规模优化问题的坐标下降法中的坐标选择。这种新方案的效率被证明优于均匀随机选择的效率，并且可以达到最速坐标下降（SCD）的效率，使得加速因子高达$n$，坐标的数量。在许多实际应用中，我们的计划可以实现在没有额外的成本和计算效率非常接近更快的均匀选择。Lasso和Ridge回归的数值实验显示了有希望的改进，符合我们的理论保证。
2017-06-26 cs.LG math.OC
Steepest Descent Preconditioning for Nonlinear GMRES Optimization
研究了最近提出的求解无约束非线性最优化的非线性广义极小残差（N-GMRES）优化算法的最速下降预处理问题。提出了两种最速下降预处理方法。第一个采用线搜索，而第二个采用预定义的小步。在对目标函数和线搜索过程的较弱标准条件下，给出了带第一最速下降预条件子（带线搜索）的N-GMRES优化算法的一个简单的整体收敛证明. N-GMRES优化的最速下降预处理也是通过在具有对称正定算子的二次最优化问题的情况下将其与线性系统的标准非预处理GMRES相关联而激发的。对多种模型问题的数值试验表明，N-GMRES优化算法能够非常显著地加快独立最速下降优化的收敛速度。此外，最速下降预处理N-GMRES的性能被证明是具有竞争力的标准的非线性共轭梯度法和有限记忆Broyden-Fletcher-Goldfarb-Shanno方法所考虑的模型问题。这些结果有助于理论和数值建立最陡下降预处理N-GMRES作为无约束非线性最优化的一般最优化方法，与性能相比，已建立的技术似乎很有前途。此外，有人认为，真正的潜力的N-GMRES优化框架在于，它可以利用问题相关的非线性预条件，比最速下降更强大（或者，等价地，N-GMRES可以被用作一个简单的包装周围的任何其他迭代优化过程，以寻求该过程的加速），并说明了这种潜力与进一步的应用程序的例子。
2011-07-24 cs.NA math.NA math.OC
A Steepest Descent Method for Set Optimization Problems with Set-Valued Mappings of Finite Cardinality
本文研究了一类特殊的集合最优化问题的一阶解法，其中解的概念由集合方法给出。我们考虑的情况下，集值目标映射是由有限个连续可微的选择。相应的集合优化问题则等价于在有限不确定性集合上寻找不确定性下向量最优化问题的乐观解。我们发展这些类型的问题的最优性条件，并引入两个概念的临界点。此外，我们提出了一个下降法，并提供了一个收敛到满足先前推导的最优性条件的点。一些数值例子说明了该方法的性能进行了讨论。本文是Quintana博士论文（关于集合关系的集合优化：最优性条件和算法的标量化方法，Martin-Luther-Universität Halle-Wittenberg，2020）中第5章的修改和抛光版本。
2021-07-26 math.OC
The Stochastic Fejér-Monotone Hybrid Steepest Descent Method and the Hierarchical RLS
本文介绍了随机Fejér-monotone混合最速下降方法（S-FM-HSDM），用于求解带约束的复合凸极小化问题。最小化任务并不确切知道;噪声污染了关于复合损失函数和仿射约束的信息。S-FM-HSDM生成随机变量序列，在某些条件下，相对于概率空间，逐点收敛到无噪声最小化任务的解。S-FM-HSDM具有优化技术的理想属性，例如变量的分裂和恒定的步长（学习率）。此外，它提供了一种新的方式来利用信息的仿射约束通过适当的非扩张映射的不动点集。在S-FM-HSDM的后代中，分层递归最小二乘（HRLS）利用S-FM-HSDM对仿射约束的多功能性，并通过生成收敛到分层优化任务的解决方案的估计序列来提供对LS的新扭曲：最小化集合LS损失的最小化的凸损失。稀疏感知LS任务的数值测试表明，HRLS相比有利的几个国家的最先进的凸，以及非凸，随机近似和在线学习的同行。
2019-03-16 math.OC
Application of p-Laplacian relaxed steepest descent to shape optimization in two-phase flows
本文研究了商船在两相湍流中的最小阻力优化问题。本文用有限体积法求解雷诺平均Navier-斯托克斯方程。核心方面是使用p-Laplacian松弛最速下降方向，并将关键技术约束引入优化过程，即浮力中心和水下船体的位移。所列的例子是经常调查的Kriso集装箱船。
2022-07-18 math.OC physics.flu-dyn
Counterexamples to $R$-superlinear convergence of cyclic steepest descent
Lanzhou University（兰州大学）；Peking University（北京大学）
针对Dai关于循环最速下降法在凸二次函数上R-超线性收敛的普遍断言，本文构造两个闭式反例（二维平衡锯齿轨道和三维周期二轨道），证明该断言在阈值m≥⌈(n+1)/2⌉下不成立。
2026-10-19 math.OC
Convergence of cyclic steepest descent for quadratics with two distinct eigenvalues
Lanzhou University（兰州大学）；Peking University（北京大学）
本文针对Hessian恰有两个不同特征值的严格凸二次型，证明循环最速下降法在几乎所有初始点下为R-超线性收敛，例外集测度为零，且结果由生成式AI工作流辅助获得。
2026-10-19 math.OC
Wasserstein Steepest Descent Flows of Discrepancies with Riesz Kernels
该研究引入Wasserstein最速下降流，证明其与λ-凸泛函的Wasserstein梯度流等价，给出Riesz核相互作用能对应流的解析表达式，并建立其与位势理论的关联，补充了数值模拟结果。
2023-10-04 cs.NA math.NA math.OC
Fast convex optimization via time scale and averaging of the steepest descent
本研究在希尔伯特空间下通过对连续最速下降法应用时间尺度、平均与扰动技术，得到Nesterov和Ravine方法的高分辨率ODE，无需惯性系统李雅普诺夫分析即可证明收敛，方法可推广至多种优化动力学并揭示两类方法新关联。
2023-05-03 math.OC
Doubly exponential convergence of the cyclic steepest descent method for strictly convex quadratics in arbitrary dimensions
Nankai University（南开大学）
本文证明任意维数下，当不同特征值数小于两倍循环长度时，循环最速下降法具有双重指数收敛，首次给出严格证明并确认阈值。
2026-09-23 math.OC
The self regulation problem as an inexact steepest descent method for multicriteria optimization
IME-Universidade Federal de Goiás（戈亚斯联邦大学数学与工程学院）；DM, Universidade Federal do Piauí（皮奥伊联邦大学数学系）；COPPE/Sistemas-Universidade Federal do Rio de Janeiro（里约热内卢联邦大学科佩系统工程研究所）；Aix-Marseille University（艾克斯-马赛大学）
本文提出一种带Armijo规则的不精确最速下降法求解多准则优化问题，在拟凸性假设下证明序列收敛到临界Pareto点，并将其应用于心理学中的自调节模型。
2012-07-03 cs.NA math.NA math.OC
Addressing Discrete Dynamic Optimization via a Logic-Based Discrete-Steepest Descent Algorithm
针对含离散决策的动态优化问题求解难题，提出基于逻辑的离散最速下降算法LD-SDA，利用问题逻辑-微分结构高效探索组合空间，在基准测试中效率与动态场景处理能力均优于传统方法，并提供开源实现。
2024-09-14 math.OC
A Riemannian smoothing steepest descent method for non-Lipschitz optimization on submanifolds
Beijing Jiaotong University（北京交通大学）；The Hong Kong Polytechnic University（香港理工大学）；University of California, Davis（加利福尼亚大学戴维斯分校）
本文提出了一种黎曼光滑最速下降方法来极小化子流形上的非凸非Lipschitz函数。定义并讨论了黎曼流形上的广义次微分和黎曼梯度次相合性。证明了由黎曼光滑最速下降方法生成的序列的任何聚点都是与该方法中所用的光滑函数相关联的驻点，这是原非Lipschitz问题局部最优性所必需的.在黎曼梯度次相合条件下，我们还证明了任一聚点都是原非Lipschitz问题的黎曼极限稳定点。数值实验证明了该方法的有效性。
2021-04-09 cs.IT cs.LG eess.SP
Logic-Based Discrete-Steepest Descent: A Solution Method for Process Synthesis Generalized Disjunctive Programs
针对化学过程综合中的广义析取规划问题，提出基于逻辑的离散最速下降算法，通过两级分解利用问题结构，在多个案例中较传统求解器提升收敛效率与解质量。
2025-01-27 math.OC
Minimum Flow Steepest Descent Approach for Nonlinear PDE
本文提出最小流最陡下降算法，通过最小化内部能量并施加最小流约束，推广$H^{-1}$理论至非线性扩散，可处理多孔介质流、Stefan问题及非线性算子，优于JKO方案。
2024-02-03 math.AP math.OC
A Barzilai-Borwein Descent Method for Multiobjective Optimization Problems
Fliege等人提出的最速下降方法是多目标优化问题下降法研究的一个热点，近年来得到了广泛的关注。然而，实验结果表明，Armijo线搜索往往给出一个非常小的步长沿最陡的方向，这严重减慢收敛。本文指出，这主要是由于目标函数之间的不平衡造成的。为了解决这个问题，我们提出了一个Barzilai-Borwein下降法的多目标优化（BBDMO），动态调谐梯度幅度使用Barzilai-Borwein的规则，在测向子问题。利用单调和非单调线搜索技术，证明了BBDMO生成的聚点是Pareto临界点。理论结果表明，在BBDMO算法中，Armijo线搜索可以获得更好的搜索步长.最后，数值实验的比较结果报告，说明BBDMO的效率和验证的理论结果。
2022-04-19 math.OC
Shape Optimisation with $W^{1,\infty}$: A connection between the steepest descent and Optimal Transport
在这项工作中，我们讨论的任务，找到一个方向的最佳下降的形状优化问题和它的关系，在最优输运的对偶问题。这种联系是首次观察到在以前的工作寻求极小的形状衍生物的空间Lipschitz函数可能是密切相关的$\infty$ -拉普拉斯算子。我们提供了一些结果的形状优化使用这种新的Lipschitz方法，突出Lipschitz和$W^{1,\infty}$半规范之间的差异。在此之后，我们提供了从最优输运的必要结果的概述，以便直接链接到星形区域的形状优化。提供了示范性的数值实验。
2023-01-19 cs.NA math.NA math.OC
Piecewise rigid curve deformation via a Finsler steepest descent
INRIA Sophia-Antipolis（法国国家信息与自动化研究所索菲亚抗波利斯）；Ceremade, Université Paris-Dauphine（巴黎第九大学数学与决策研究中心）
本文提出一种Banach空间中的新型最速下降流，扩展了Charpiat等人关于广义梯度下降的研究，应用于Finsler度量。通过非Hilbertian范数研究非凸优化问题，避免局部极小值。应用于曲线匹配问题，研究分段刚性变形。
2015-12-07 cs.NA math.NA math.OC
Steepest descent algorithm on orthogonal Stiefel manifolds
West University of Timişoara（蒂米什瓦拉西大学）
本文研究正交Stiefel流形上的最陡下降算法，通过局部坐标生成切空间基，推导出梯度向量场的必要充分条件，并在嵌入空间中描述算法，展示了算法递推序列对全秩子矩阵选择的依赖性。
2017-09-19 cs.NA math.NA math.OC
Analyzing and Improving Greedy 2-Coordinate Updates for Equality-Constrained Optimization via Steepest Descent in the 1-Norm
University of British Columbia（不列颠哥伦比亚大学）；Stanford University（斯坦福大学）；Amii（阿尔伯塔机器智能研究所）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；DeepMind（深度思维）
本文通过建立贪婪2-坐标更新与1-范数最速下降的联系，在近端Polyak-Lojasiewicz假设下证明了快于随机选择且与维度无关的收敛速率，并针对含求和与边界约束的优化问题提出仅需$O(n \log n)$时间即可保证更大迭代进展的改进方法。
2023-07-03 cs.LG math.OC stat.ML
Convergence of Steepest Descent and Adam under Non-Uniform Smoothness
Simon Fraser University（西蒙弗雷泽大学）；Stony Brook University（石溪大学）
本文在非均匀光滑假设下，研究最速下降法及RMSProp和Adam的确定性对角变体的收敛率，证明在逻辑回归、softmax策略梯度等目标上符号梯度下降线性收敛且快于梯度下降，并在两层神经网络上证明RMSProp和Adam可线性收敛。
2026-05-28 cs.LG math.OC
Manifold constrained steepest descent for smooth and closed-set optimization
Department of Mathematics, University of Hong Kong, Hong Kong, China（香港大学数学系）
本文提出流形约束最速下降（MCSD）方法，通过单循环框架在流形上进行优化，并引入SPEL在Stiefel流形上的应用，实现了更稳定的性能和可扩展性。
2026-08-14 cs.LG math.OC
Refining asymptotic complexity bounds for nonconvex optimization methods, including why steepest descent is $o(ε^{-2})$ rather than $\mathcal{O}(ε^{-2})$
本研究重新分析光滑非凸优化的望远镜求和论证，将复杂度界从$\boldsymbol{\text{O}}(ε^{-α})$细化为$o(ε^{-α})$，探究适用算法并给出两类界的接近度示例。
2024-08-17 cs.CC math.OC
Preconditioned Norms: A Unified Framework for Steepest Descent, Quasi-Newton and Adaptive Methods
Basic Research of Artificial Intelligence Laboratory (BRAIn Lab)（人工智能基础研究实验室（BRAIn Lab））；Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)（人工智能 Mohamed bin Zayed 大学）；Innopolis University（Innopolis 大学）
本文提出一种统一框架，通过预条件矩阵范数概括了最速下降、拟牛顿和自适应方法，系统研究了仿射和尺度不变性，并引入了MuAdam和MuAdam-SANIA两种新方法，实验表明其在某些情况下优于现有方法。
2026-05-16 cs.LG math.OC
Convergence of a steepest descent algorithm in shape optimisation using $W^{1,\infty}$ functions
Otto-von-Guericke-University Magdeburg（奥托·冯·古里克马格德堡大学）；University of Sussex（萨塞克斯大学）；University of Koblenz（科布伦茨大学）
本文提出了一个基于 $W^{1,\infty}$ 拓扑和有限元离散的形状优化框架，设计了带 Armijo-Goldstein 步长规则的最速下降算法，并证明了其全局收敛性及离散形状在 Hausdorff 互补度量下的收敛性。
2023-10-23 cs.NA math.NA math.OC
A Steepest Gradient Method with Nonmonotone Adaptive Step-sizes for the Nonconvex Minimax and Multi-Objective Optimization Problems
本文提出一种采用非单调自适应步长的新的最速梯度下降法，用于求解非凸极小极大问题，并将其扩展到多目标优化，证明了在拟凸和伪凸条件下的收敛性，数值实验验证了理论结果。
2025-02-04 math.OC
Faster Acceleration for Steepest Descent
Purdue University（普渡大学）
针对非欧光滑凸优化问题，提出一种基于$\textit{differing}$范数下原对偶序列与插值参数耦合的新型加速一阶方法，突破了最速下降的维度依赖障碍，显著降低了迭代复杂度。
2025-06-17 cs.LG math.OC stat.ML
The Stochastic Steepest Descent Method for Robust Optimization in Banach Spaces
本文提出随机最速下降法（SSD），将随机梯度下降扩展到Banach空间，用于鲁棒优化，在温和假设下给出收敛理论，并通过p-拉普拉斯和最优控制问题验证性能。
2025-09-25 cs.NA math.NA math.OC
PowerStep: Memory-Efficient Adaptive Optimization via $\ell_p$-Norm Steepest Descent
Pengcheng Laboratory（鹏城实验室）；Peking University（北京大学）
PowerStep是一种内存高效的自适应优化器，通过非线性变换直接作用于动量缓冲区实现坐标自适应，无需存储二阶统计量，具有最优收敛速度和更低的内存消耗。
2026-09-30 cs.AI cs.CL cs.LG
SPGD: Steepest Perturbed Gradient Descent Optimization
School of Mechanical, Aerospace, and Manufacturing Engineering University of Connecticut（机械、航空航天与制造工程学院 美国康涅狄格大学）
SPGD通过结合梯度下降与周期性扰动采样，有效克服局部极小值和鞍点等障碍，提升复杂优化问题的求解能力。
2026-01-14 cs.AI cs.CE cs.LG
Interpreting Adaptive Gradient Methods by Parameter Scaling for Learning-Rate-Free Optimization
Seoul National University（首尔大学）
针对深度神经网络训练中自适应梯度方法的学习率估计难题，本文将其解释为参数缩放网络上的最速下降，提出免学习率自适应梯度方法，实验证明其性能与手动调优相当。
2024-01-06 cs.LG math.OC
First-order Methods for Unconstrained Vector Optimization Problems: A Unified Majorization-Minimization Perspective
College of Mathematics, Sichuan University（四川大学数学学院）；National Center for Applied Mathematics in Chongqing, Chongqing Normal University（重庆师范大学重庆应用数学国家中心）
本文提出了一种统一的主导最小化方法，通过缩小替代函数与目标函数之间的差距来提升一阶方法在无约束向量优化问题中的性能。
2026-01-13 math.OC
