Convergence to minima for the continuous version of Backtracking Gradient Descent
Universitetet i Oslo（奥斯陆大学）
本文的主要结果是：{PDMATHAMM定理。}设$f:\mathbb{R}^k\rightarrow \mathbb{R}$是一个$C^{1}$函数，使得$\nabla f$是局部Lipschitz连续的。此外，假设$f$在其广义鞍点附近是$C^2$。修正实数$δ_0>0$和$0<α<1$。然后存在光滑函数$h:\mathbb{R}^k\rightarrow (0,δ_0]$，使得由$H(x)=x-h(x)\nabla f(x)$定义的映射$H:\mathbb{R}^k\rightarrow \mathbb{R}^k$具有以下性质：（i）对于所有$x\in \mathbb{R}^k$，我们有$f(H(x)))-f(x)\leq -αh(x)||\nabla f(x)||^2$。(ii)对于每个$x_0\in \mathbb{R}^k$，序列$x_{n+1}=H(x_n)$或者满足$\lim_{n\rightarrow\infty}||x_{n+1}-x_n||=0$或者满足$ \lim_{n\rightarrow\infty}||x_n||=\infty$。$\{x_n\}$的每个聚类点都是$f$的一个临界点。此外，如果$f$具有至多可数个临界点，则$\{x_n\}$或者收敛到$f$的临界点，或者收敛到$\lim_{n\rightarrow\infty}||x_n||=\infty…
2019-11-13 cs.LG cs.NA math.NA
A Line-Search Descent Algorithm for Strict Saddle Functions with Complexity Guarantees
我们描述了一个线搜索算法，实现了最著名的最坏情况下的复杂性结果的问题，具有一定的“严格的鞍”属性，已被观察到举行低秩矩阵最优化问题。我们的算法是自适应的，在这个意义上说，它利用回溯线搜索，不需要先验知识的参数，定义严格的鞍属性。
2020-06-14 math.OC
Backtracking New Q-Newton's method: a good algorithm for optimization and solving systems of equations
在本文中，通过结合新Q-牛顿法的算法-在以前的联合工作的作者-与Armijo的回溯线搜索，我们解决了收敛问题所遇到的牛顿法（例如收敛到鞍点或吸引周期超过1点），同时保持快速收敛速率的牛顿法。我们还开发了一个家庭的这样的方法，一般的二阶方法，其中一些人的青睐准牛顿法。所开发的算法非常容易实现。从动力系统的观点来看，新的迭代法有一个有趣的功能：：虽然它是确定性的，但它对Armijo回溯线搜索的依赖性使它的行为像一个随机过程，从而有助于它具有良好的性能。在实验方面，我们比较我们的算法的性能与众所周知的变化的牛顿法的一些系统的方程（包括真正的和复变数）。我们还探讨了回溯新Q-牛顿法所产生的一些吸引域，这些吸引域看起来很规则，并且不具有标准牛顿法所观察到的分形结构。回溯梯度下降的吸引力盆地似乎不是那么有规律。
2022-09-12 cs.NA math.AG math.CV
A Preconditioned Descent Algorithm for Variational Inequalities of the Second Kind Involving the $p$-Laplacian Operator
Escuela Politécnica Nacional（国立理工学院）；Research Center on Mathematical Modeling (ModeMat)（数学建模研究中心）
本文提出了一种预条件下降法用于求解包含$p$-拉普拉斯算子的第二类变分不等式，并分析了该方法在函数空间中的收敛性。
2017-11-10 cs.NA math.NA math.OC
Some convergent results for Backtracking Gradient Descent method on Banach spaces
Universitetet i Oslo（奥斯陆大学）
我们的主要结果涉及以下条件：{ \bf条件C}。设$X$是一个Banach空间。一个$C^1$函数$f:X\rightarrow \mathbb{R}$满足条件C，如果只要$\{x_n\}$弱收敛于$x$和$\lim _{n\rightarrow\infty}||\nabla f(x_n)||=0$，则$\nabla f(x)=0$。我们假设在$X$和它的对偶$X^*$之间有一个正则同构，例如当$X$是一个希尔伯特空间时。（\bf Theorem）设$X$是自反完备Banach空间，$f:X\rightarrow \mathbb{R}$是满足条件C的$C^2$函数.此外，我们假设对于每个有界集合$S\subset X$，则$\sup _{x\in S}||\nabla ^2f(x)||<\infty$。我们选择一个随机点$x_0\in X$并通过本地回溯GD过程（取决于$3$超参数$α,β,δ_0$，请参阅稍后的详细信息）构建序列$x_{n+1}=x_n-δ(x_n)\nabla f(x_n)$。在{ \bf weak}拓扑中，$\{x_n\}$的每个聚点都是$f$的临界点。2)$\lim _{n\rightarrow\infty}f(x_n)=-\infty$或$\lim _{n\rightarrow\infty}||x_{n+1}-x_n||=0$。3)这里我们使用弱拓扑。令$…
2020-01-22 cs.LG math.AP math.FA
Adaptive Mirror Descent Methods for Convex Programming Problems with delta-subgradients
本文提出了求解具有增量次梯度的凸规划问题的自适应镜像下降方法，并证明了一些理论结果。
2020-12-23 math.OC
Line Search and Trust-Region Methods for Convex-Composite Optimization
我们考虑求解非有限值非光滑凸复合最优化问题的下降法，该问题采用高斯-牛顿子问题来确定迭代更新。具体来说，我们建立了整体收敛性能的下降法，使用回溯线搜索，弱Wolfe线搜索，或置信域更新。所有这些方法的目的是利用与凸复合问题的结构。
2019-09-10 math.OC
Gradient descent avoids strict saddles with a simple line-search method too
Ecole Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
本文提出一种改进的线搜索方法，证明梯度下降在特定条件下能避免严格鞍点，并扩展至黎曼流形设置。
2026-09-23 cs.NA math.DS math.NA
Swarm-Based Gradient Descent Method for Non-Convex Optimization
提出一种用于非凸优化的基于群体的梯度下降（SBGD）方法，通过智能体间质量转移与自适应步长动态划分领导者与探索者，实验证明其作为全局优化器有效。
2024-04-30 cs.NA math.NA math.OC
Primal-dual mirror descent for the stochastic programming problems with functional constraints
针对带函数约束的凸优化问题，提出了原始-对偶随机镜像下降算法。我们得到的收敛速率的大偏差的概率。
2017-07-30 math.OC
Convergence rate analysis of randomized and cyclic coordinate descent for convex optimization through semidefinite programming
本文研究了凸无约束最优化问题的随机坐标下降和循环坐标下降。利用数值半定规划的性能估计方法，在某些情况下改进了已知的收敛速度。作为一个副产品，我们提供了一种方法来分析最坏情况下的性能的高斯-赛德尔迭代法的线性系的系数矩阵是半正定的正对角。
2022-12-23 math.OC
Semi-Anchored Multi-Step Gradient Descent Ascent Method for Structured Nonconvex-Nonconcave Composite Minimax Problems
生成对抗网络、对抗训练、公平训练等极大极小问题，在实际中被广泛采用多步梯度下降上升（MGDA）方法来解决。然而，它的收敛保证是有限的。在本文中，受原始-对偶混合梯度法的启发，我们提出了一种新的半锚定（SA）技术的MGDA方法。这使得MGDA方法可以找到结构化非凸-非凹复合Minimax问题的一个不动点，其鞍次微分算子满足弱Minty变分不等式条件.由此产生的方法，命名为SA-MGDA，是建立在Bregman近点法。我们进一步发展其回溯线搜索版本，其非欧版本的平滑适应功能。数值实验，包括公平的分类训练，提供。
2022-06-09 math.OC
A Distributed Line Search for Network Optimization
对偶下降法用于解决网络最优化问题，因为下降方向可以使用本地或相邻节点处可用的信息以分布式方式计算。然而，在下降方向上选择步长仍然是一个挑战，因为其计算需要全局信息。这项工作提出了一种算法的基础上的本地版本的Armijo规则，允许只使用本地和邻域信息的步长的计算。我们表明，当我们的分布式线搜索算法与下降方向计算根据加速双下降法\cite{acc11}，使用Armijo规则的标准回溯线搜索的关键属性恢复。我们使用模拟来证明，我们的算法是一个实际的替代其集中式。
2012-03-13 math.OC
A Low-Rank Coordinate-Descent Algorithm for Semidefinite Programming Relaxations of Optimal Power Flow
交流最优潮流（ACOPF）是最著名的非凸非线性优化问题之一。我们提出了一种新的重新制定的ACOPF，这是基于提升的矩形功率电压等级约束的制定，并使之有可能获得替代SDP松弛。针对这些问题，我们提出了一种基于平行坐标下降的一阶方法，该方法具有基于三次多项式根的新的封闭形式步骤。
2016-10-16 math.OC
Optimal control of nonlocal continuity equations: numerical solution
本文研究概率测度空间上非局部连续性方程的最优系综控制问题，推导带解耦哈密顿系统的新型庞特里亚金极大值原理，提出带回溯的间接确定性数值下降算法，证明其收敛性并通过Kuramoto型模型案例验证。
2023-07-31 cs.NA math.NA math.OC
AGDA+: Proximal Alternating Gradient Descent Ascent Method with a Nonmonotone Adaptive Step-Size Search for Nonconvex Minimax Problems
针对双正则化非凸-强凹极小极大问题，提出自适应非单调步长的近端交替梯度下降上升法AGDA+，无需全局参数即可达到最优迭代复杂度，且每次回溯迭代平均仅需3次梯度调用。
2025-01-29 math.OC
Greedy coordinate descent method on non-negative quadratic programming
坐标下降（CD）方法最近成为解决非常大规模问题的流行，部分原因是它的简单更新，低内存需求和快速收敛。本文探讨了贪婪CD求解非负二次规划（NQP）的方法。贪婪CD通常比其循环和随机对应物具有更昂贵的每次更新复杂度。然而，在NQP上，这三个CD具有几乎相同的每次更新成本，而贪婪CD可以具有显著更快的整体收敛速度。我们也将提出的贪婪CD作为子程序来求解线性约束NQP和非负矩阵分解。这两个问题的数值结果与合成数据和图像数据的实例观察。
2020-12-10 math.OC
Gradient descent procedure for solving linear programming relaxations of combinatorial optimization problems in parallel mode on extra large scale
线性规划（LP）松弛是求解组合优化（CO）难题的标准技术。在这里，我们提出了一个梯度下降算法，利用一些LP松弛CO问题引起的特殊结构。该算法可以并行运行，并以CUDA C/C++程序的形式在GPU上实现。通过求解一个分数2-匹配问题，验证了算法的有效性.我们的结果表明，分数2匹配问题与100，000节点的解决我们的算法在现代GPU上的规模为一秒，而单纯形方法解决问题将需要一个多小时。该算法可以修改，以解决更复杂的LP松弛来自CO问题。
2020-11-16 math.OC
Efficient Online Mirror Descent Stochastic Approximation for Multi-Stage Stochastic Programming
Operations Research Center, MIT（麻省理工学院运筹学中心）；Department of Electrical Engineering and Computer Science, MIT（麻省理工学院电气与计算机科学与工程系）
本文提出一种高效的在线镜像下降随机逼近算法，用于解决多阶段随机规划问题，通过分解更新提升计算效率。
2026-02-27 math.OC
Techniques for Solving Sudoku Puzzles
解决数独谜题是世界上最受欢迎的消遣之一。谜题的难度从简单到非常具有挑战性;最难的谜题往往有最多的空单元。本文介绍并比较了数独问题的三种求解算法。回溯法、模拟退火法和交替投影法是求解组合最优化问题的常用方法。我们的结果支持回溯。它绝对正确地解决了数独难题或推断出一个唯一的解决方案不存在。然而，回溯在高维组合优化中不能很好地扩展。因此，让数学科学的学生在具体的环境中接触其他两种解决方法是有用的。模拟退火算法与马尔可夫链蒙特卡罗算法（MCMC）具有共同的结构，具有广泛的适用性.交替投影法解决了凸规划中的可行性问题。将离散最优化问题转换为连续的最优化问题开辟了处理更高维的组合问题的可能性。
2013-05-16 cs.DS math.OC stat.CO
Fast Monte Carlo Analysis for 6-DoF Powered-Descent Guidance via GPU-Accelerated Sequential Convex Programming
提出一种基于GPU加速的蒙特卡洛框架，采用SCP算法族中的prox-linear方法及PIPG求解器，在6自由度动力下降制导问题中实现了比CPU更快的非凸轨迹优化求解。
2024-04-28 math.OC
Adaptive algorithms for mirror descent in convex programming problems with Lipschitz constraints
对最近提出的求解多个凸泛函约束下凸极小化问题的镜像下降自适应算法进行了新的改进。两类问题的方法被认为是。第一类问题是Lipschitz连续的目标（一般来说，非光滑）泛函。第二类是目标光滑泛函具有Lipschitz连续梯度的问题。考虑一类目标泛函为非光滑泛函且梯度为Lipschitz连续的光滑泛函的极大值的问题。请注意，函数约束一般来说是非光滑和Lipschitz连续的。所提出的修改允许节省算法的运行时间，由于考虑到非生产性步骤的所有功能约束。估计的收敛速率的方法正在审议中获得。从较低的预言估计的角度来看，所提出的方法是最佳的。数值实验的结果说明了所提出的方法的优点，一些例子。
2018-05-27 math.OC
On the convergence of mirror descent beyond stochastic convex programming
Stanford University（斯坦福大学）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）
在本文中，我们研究了一类随机最优化问题的镜像下降的收敛性，这些问题不一定是凸的（甚至是拟凸的），我们称之为变分相干的。由于标准技术的“遍历平均”提供没有实际的好处以外的凸规划，我们直接专注于算法的最后生成的样本（其“最后一个”），我们表明，它收敛的概率$1$，如果根本的问题是一致的。我们进一步考虑了一个局部版本的变分相干，它确保随机镜像下降（SMD）的局部收敛的高概率。这些结果表明（准）凸性对于收敛到全局极小值并不是必需的，从而为非凸随机最优化的前景做出了贡献：相反，变分相干性（一个弱得多的要求）就足够了。最后，在上述基础上，我们揭示了一个关于SMD收敛速度的有趣见解：在具有尖锐极小值的问题（如一般线性规划或凹极小化问题）中，SMD在有限步数（a.s.）中达到极小点，即使存在持续的梯度噪声。这一结果是对比现有的黑盒收敛速度估计，只有渐近。
2018-07-16 cs.LG math.OC
An Energy-Based Self-Adaptive Learning Rate for Stochastic Gradient Descent: Enhancing Unconstrained Optimization with VAV method
Purdue University（普渡大学）
针对学习率优化难题，本文提出基于能量的VAV自适应学习率方法，通过辅助变量实现无回溯能量近似，在保证稳定性的同时加速收敛，并优于SGD。
2024-11-10 cs.LG math.OC stat.ML
PDE-constrained shape optimization: towards product shape spaces and stochastic models
本章考虑具有一个或多个形状的形状最优化模型。特别感兴趣的应用程序中的问题，其中一个所谓的形状功能是由一个偏微分方程（PDE）描述的基础物理约束。形状优化的经典观点和形状空间的微分几何结构之间可以建立联系。为了处理的问题，形状功能取决于多个形状，提出了一个理论框架，从而优化变量可以表示为属于产品形状空间的形状的向量。定义了多形状梯度和多形状导数，从而严格证明了带Armijo回溯的最速下降方法的合理性.只要作为保持所有域的子集的形状不相交，求解单个变形方程就足以提供关于每个形状的下降方向。此外，一个框架来处理不确定性所产生的输入或参数偏微分方程。为了处理潜在高维随机空间，提出了一种随机梯度法。构造了一个模型问题，演示了如何将不确定性引入问题，并通过使用期望来转换目标。最后，在确定性和随机情况下的数值实验，证明了所提出的算法的有效性。
2021-07-16 cs.NA math.NA math.OC
A Sequential Quadratic Programming Method for Constrained Multi-objective Optimization Problems
针对不等式约束的多目标最优化问题，提出了一种全局收敛的序列二次规划方法。通过对所有目标函数和约束函数进行线性逼近，得到了一个可行的下降方向。子问题在序列的每一次迭代中都有可行解。一个不可微的罚函数被用来处理约束违反。在Mangasarian-Fromovitz约束规格和其他一些温和的假设下，生成收敛到临界点的下降序列。该方法与现有的方法选择一组合适的测试问题进行比较。
2020-04-30 math.OC
The Mixing method: low-rank coordinate descent for semidefinite programming with diagonal constraints
Carnegie Mellon University（卡内基梅隆大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
本文提出了一种低秩坐标下降方法，用于求解带对角约束的结构半正定规划问题。该方法在优化性能上显著优于现有方法，并证明其在随机初始化下以局部线性速率收敛到全局最优解。
2026-05-10 cs.LG math.OC stat.ML
Resource-Adaptive Stochastic Gradient Descent for Online Linear Programming without Re-solving
Fudan University（复旦大学）
针对大规模在线线性规划，提出资源自适应随机梯度下降算法，以O(m)复杂度实现无需重新求解的库存定价，达到O(log T)遗憾，兼顾效率与分配质量。
2026-09-24 cs.LG math.OC
A Comparison of the Embedding Method to Multi-Parametric Programming, Mixed-Integer Programming, Gradient-Descent, and Hybrid Minimum Principle Based Methods
Purdue University（普渡大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
本文通过六个实例比较了嵌入方法与多参数规划、混合整数规划、梯度下降及混合最小原理方法在求解切换最优控制问题中的性能，展示了嵌入方法在成本、求解时间和收敛性方面的数值优势，并阐述了其理论优势。
2013-12-23 cs.SY eess.SY math.OC
Linear programming using diagonal linear networks
该研究探索过参数化对角线性网络结合梯度下降的隐式偏置求解线性规划，提出首个相关综合框架，证明离散与连续动力学均线性收敛，可应用于基追踪、最优输运等问题。
2023-10-04 math.OC
A Stochastic Line Search Method with Convergence Rate Analysis
对于确定性优化，线-搜索法通过提供稳定性和改进的效率来增强算法。我们采用经典的回溯Armijo线搜索的随机最优化设置。虽然传统的线搜索依赖于梯度和目标函数的值的精确计算，但我们的方法假设这些值可达到一些动态调整的精度，该精度具有足够大但固定的概率。我们表明，达到近稳定点的预期迭代次数与典型一阶方法的最差情况效率相匹配，而对于凸和强凸目标，它实现了函数值的确定性梯度下降率。
2018-07-20 math.OC
KKT Conditions, First-Order and Second-Order Optimization, and Distributed Optimization: Tutorial and Survey
University of Waterloo（滑铁卢大学）；Department of Electrical and Computer Engineering（电气与计算机工程系）；Department of Statistics and Actuarial Science（统计与精算科学系）；David R. Cheriton School of Computer Science（大卫·R·谢里顿计算机科学学院）；Centre for Pattern Analysis and Machine Intelligence（模式分析与机器智能中心）；Machine Learning Laboratory（机器学习实验室）；Data Analytics Laboratory（数据分析实验室）
这是一篇关于Karush-Kuhn-Tucker（KKT）条件、一阶和二阶数值优化以及分布式优化的教程和综述论文。在简要回顾了最优化的历史之后，我们从集合、范数、函数和最优化概念的性质开始。然后介绍了最优化问题、标准最优化问题（包括线性规划、二次规划和半定规划）和凸问题。我们还介绍了一些技术，如消除不等式，等式和集合约束，添加松弛变量，epigraph形式。介绍了拉格朗日函数、对偶变量、KKT条件（包括原始可行性、对偶可行性、弱对偶性、强对偶性、互补松弛性和平稳性条件）以及用拉格朗日乘子法求解最优化问题。然后，我们涵盖了一阶优化，包括梯度下降，线搜索，收敛的梯度法，动量，最速下降，和反向传播。介绍了加速梯度法、随机梯度下降法、小批量梯度下降法、随机平均梯度法、随机方差约简梯度法、AdaGrad、RMSProp和Adam优化器、近似方法等一阶方法（包括邻近标测、邻近点法和邻近梯度法）和约束梯度法（包括投影梯度法、凸集投影法和Frank-Wolfe法）。我们还介绍了非光滑和$\ell_1$最优化方法，包括套索正则化，凸共轭，Huber函数，软阈值，坐标下降和次梯度方法。然后，我们解释二阶方法，包括牛顿法无约束，等式约束和不等式约束问题。
2021-10-05 cs.DC cs.LG cs.NA
First-order optimization on stratified sets
考虑了分层集上具有局部Lipschitz连续梯度的可微函数的极小化问题，并给出了求该问题的一阶稳定点的算法.我们对分层集的假设特别满足行列式簇（即，有界秩的矩阵）、其与正半定矩阵的锥的交集以及非负稀疏向量的集合。所提出的算法的迭代映射将投影-投影梯度下降与回溯线搜索的步骤（如Schneider和Uschmajew（2015）所提出的）应用于其输入，但也应用于输入到其被认为接近的每个较低层的投影，并输出由此产生的最大限度地降低费用函数的点。在我们对分层集的假设下，我们证明了该算法产生的序列的累积点是平稳的，因此不遵循Levin，Kileel和Boumal（2022）描述的所谓启示录。我们通过一个行列式簇的数值实验说明了我们的方法的启示自由属性。
2023-03-28 cs.NA math.NA math.OC
A projected descent method for minimization of weakly semismooth functions over polyhedral sets
Isfahan University of Technology（伊斯法罕理工大学）；University of Tehran（德黑兰大学）
本研究提出一种投影下降方法，用于在多面体集上最小化弱半光滑函数，通过Clarke ε-次微分近似和线搜索策略，在温和假设下保证收敛，并在图像去噪等应用中验证了有效性。
2026-09-30 math.OC
A Stochastic GDA Method With Backtracking For Solving Nonconvex Concave Minimax Problems
Penn State University（宾夕法尼亚州立大学）；Rutgers University（罗格斯大学）
本文提出一种随机GDA方法（SGDA-B）用于求解非凸非凹极小极大问题，该方法不依赖L、μ和σ²参数，且支持随机块坐标更新，具有更优的复杂度。
2026-05-13 math.OC
Conic Descent Redux for Memory-Efficient Optimization
University of Minnesota（明尼苏达大学）
本文改进一阶锥下降求解器，给出对偶几何推导、动量算法 MOCO、停止准则与预条件思路，并提出内存高效变体以支持低秩半定规划。
2023-08-13 cs.LG math.OC
Convergence rate analysis of the gradient descent-ascent method for convex-concave saddle-point problems
本文研究了求解凸-凹鞍点问题的梯度下降-上升法。利用半定规划的性能估计方法，得到了一个新的以到解集的距离表示的非渐近整体收敛速度。所给出的收敛速度包含了问题的大多数参数，并且对于一大类强凸-强凹鞍点问题的一次迭代是精确的.我们还研究了非强凸性的算法，给出了梯度下降-上升算法线性收敛的充要条件。
2022-09-16 math.OC
A Multi-objective Sequential Quadratic Programming Algorithm Based on Low-order Smooth Penalty Function
提出一种以低阶光滑罚函数为线搜索价值函数的MOSQP算法，通过QP子问题、非支配点过滤、Armijo规则及Powell修正求解约束多目标优化问题，并证明其收敛至近似Pareto前沿。
2025-03-12 math.OC
SVGD: A Virtual Gradients Descent Method for Stochastic Optimization
Xiangtan University（湘潭大学）
受动态规划的启发，提出了随机虚拟梯度下降（SVGD）算法，其中虚拟梯度由计算图和自动微分定义。该方法计算效率高，内存需求小。我们还分析了算法的理论收敛性和实现。在多个数据集和网络模型上的实验结果表明，SVGD具有其他随机优化方法的优势。
2019-07-31 cs.LG math.OC stat.ML
A Second-Order Algorithm Based on Affine Scaling Interior-Point Methods for nonlinear Optimisation with bound constraints
School of Mathematics and Statistics, Henan Normal University（河南师范大学数学与统计学院）；Instituto de Matemática e Estatística, Universidade Federal de Goiás（戈亚斯联邦大学数学与统计研究所）；Mathematics and Science College, Shanghai Normal University（上海师范大学数理学院）
本文提出基于仿射缩放内点法的二阶算法SOBASIP，用于解决有界约束非线性优化问题，通过构造仿射缩放子问题并利用同质化技术获得下降方向，理论分析显示其具有O(ε^{-3/2})的全局迭代复杂度和局部超线性收敛性。
2026-04-07 math.OC
Distributed Computing for Huge-Scale Linear Programming
本研究提出一种基于全局一致性和增广拉格朗日的分布式算法，用于求解大规模线性规划，通过块坐标高斯-赛德尔、近端方法和ADMM更新变量，并证明其收敛性及O(1/k^1/2)速率。
2025-08-06 math.OC
Distributed Multi-Area Optimal Power Flow via Rotated Coordinate Descent Critical Region Exploration
研究了多区域电力系统的分布式最优潮流问题。提出了一种新的分布式算法--旋转坐标下降临界区域探索算法（RCDCRE）。它允许每个实体独立地更新其边界信息，并以异步方式最优地求解其局部OPF。RCDCRE方法使用坐标系旋转来缝合坐标下降和参数规划，以减少协调，保持隐私并确保收敛。该解决方案的过程不需要热启动，可以从不可行的初始点使用基于惩罚的配方。基于IEEE 2区域44节点和4区域472节点系统验证了RCDCRE的有效性。
2022-06-17 math.OC
Stochastic Subspace Descent Accelerated via Bi-fidelity Line Search
Department of Applied Mathematics（应用数学系）；University of Colorado Boulder（科罗拉多大学博尔德分校）；Smead Aerospace Engineering Sciences Department（斯梅德航空航天工程科学系）
本文提出双保真随机子空间下降算法（BF-SSD），通过结合低保真和高保真函数评估构建代理模型以加速零阶优化中的步长线搜索，在减少高保真评估次数的同时显著提升了大规模高维问题的优化性能。
2025-11-01 cs.LG math.OC
Enhancing sharp augmented Lagrangian methods with smoothing techniques for nonlinear programming
本文针对锐增广拉格朗日方法中非凸不可微函数全局极小化困难的问题，引入光滑化近似，并提出基于标准下降和坐标下降的两种算法，在保持理论严谨性的同时提升计算效率与鲁棒性。
2024-10-04 math.OC
A construction-free coordinate-descent augmented-Lagrangian method for embedded linear MPC based on ARX models
本文提出了一种基于带外生项自回归（ARX）输入输出模型的线性预测控制问题的免构造算法。该解决方案的算法依赖于坐标下降增广拉格朗日（CDAL）的方法，以前提出的作者，我们在这里适应利用基于ARX的MPC的特殊结构。CDAL-ARX算法具有免构造的特点，避免了显式构造与MPC相关的二次规划（QP）问题，避免了ARX模型在线改变/自适应时的构造成本。例如，ARX模型参数依赖于线性变参数（LPV）调度信号，或者以低计算成本从流式输入输出数据递归地适应，这使得ARX模型在适应控制中得到广泛应用。此外，所得到的CDAL-ARX算法的实现是矩阵和图书馆免费，因此适合部署在工业嵌入式平台。我们展示了CDAL-ARX的效率在两个数值例子中，也比较与MPC的实现基于其他通用的二次规划求解器。
2022-09-27 cs.SY eess.SY math.OC
An implicit gradient-descent procedure for minimax problems
提出了一种基于对策论的求解函数鞍点的方法。虽然显式下降法已知具有严重的收敛问题，但隐式方法在对抗环境中是自然的，因为它们考虑了其他玩家的最优策略。所提出的隐格式格式具有自适应的学习率，使其在鞍点附近过渡到牛顿法。收敛性通过局部分析，并在非凹凸设置，在最优输运和线性规划彻底的数值例子。提出了一种适用于高维问题的自组织拟牛顿法，该方法需要对目标函数的Hessian函数进行反演，计算量大.
2019-06-01 math.OC
Finding a second Hamiltonian decomposition of a 4-regular multigraph by integer linear programming
针对4-正则多重图的第二个Hamilton分解问题，提出基于DFJ与MTZ公式的整数线性规划模型，并结合变邻域下降和链式边固定，实验表明二者分别在有向与无向情形表现突出。
2022-01-11 math.CO math.OC
A Jacobi-type Newton method for Nash equilibrium problems with descent guarantees
本文提出一种带回溯下降保证的雅可比型牛顿法，通过预测对手行动重新解释牛顿迭代，使搜索方向成为参数化函数的下降方向，从而提升非凸纳什均衡问题求解的全局收敛性和稳健性。
2025-01-01 math.OC
Differentiable Integer Linear Programming is not Differentiable & it's not a mere technical problem
Stanford University（斯坦福大学）
该研究指出可微整数线性规划方法存在根本性错误，其原因在于替代损失在随机性实现中不连续，影响了随机梯度下降的稳定性。
2026-01-29 cs.LG math.OC
A Scalable Min-Max Multi-Gradient Descent Method for Multi-Objective Transportation Problems
University of Maryland（马里兰大学）
提出一种可扩展的最小-最大多梯度下降框架，通过求解约束最小-最大问题构建平衡公共下降方向，解决多目标交通问题中竞争目标和高维约束的优化，理论证明与实验验证其有效性。
2026-06-11 math.OC
Boosted scaled subgradient method for DC programming
提出了一种求解两个凸函数（DC函数）之差的提升尺度次梯度型方法（BSSM），其中第一个函数是可微的，第二个函数可能是非光滑的.虽然目标函数一般是非光滑的，但在温和的假设下，问题的结构允许证明在当前顶点处的负尺度广义次梯度是从辅助点的下降方向。因此，不是应用Armijo线性搜索并从当前次梯度计算下一个次梯度，而是从该辅助点沿着负缩放的广义次梯度的方向计算线性搜索和新次梯度。结果表明，该方法具有与通常的采用Armijo线性搜索的最小化可微凸函数的下降法相似的渐近收敛性质和迭代复杂度界.最后，对于适当的尺度矩阵，BSSM的二次子问题具有一个闭公式，因此，该方法比经典的DC算法具有更好的计算性能，后者必须求解凸（不一定是二次子）问题.
2021-03-19 math.OC
A Conjugate Gradient Method for Nonlinear Programming Problems using Caputo Fractional Gradients
IIT Jodhpur（印度理工学院焦特布尔分校）
本文提出了一种基于Caputo分数梯度的共轭梯度方法，用于解决非线性规划问题，通过改进的线搜索技术和正则化方法，提升了优化效率和稳定性。
2025-12-19 math.OC
Anytime-Feasible Gradient Descent for Constrained Optimization Under Gradient Uncertainty
Johns Hopkins University（约翰斯·霍普金斯大学）
针对梯度不确定下的非线性约束优化，提出任意时刻可行的一阶方法，通过二阶锥规划和带保护回溯保证严格可行性与目标下降，并在多智能体导航中验证了噪声下的无碰撞性能。
2026-09-22 cs.SY eess.SY math.OC
Convergence of the Iterates for Momentum and RMSProp for Local Smooth Functions: Adaptation is the Key
本文通过动力系统稳定性理论，将Armijo线搜索推广至动量与RMSProp优化器，在Lojasiewicz假设下建立收敛结果，并首次在非凸无界假设下保证RMSProp迭代收敛。
2024-07-22 math.OC
