On the acceleration of the Barzilai-Borwein method
Barzilai-Borwein（BB）梯度法是求解大规模无约束优化问题的有效方法，具有精度适中的优点，并且易于推广到求解大范围的约束最优化问题。在本文中，我们提出了一个新的步长，以加快BB方法，要求有限终止，以最小化二维强凸二次函数。结合这一新的步长，我们发展了求解一般强凸二次函数极小化问题的自适应非单调BB步长和一定单调步长的梯度法.此外，通过引入非单调线搜索和梯度投影技术，我们将这些新的梯度法推广到求解一般光滑无约束和有界约束优化问题。大量的数值实验表明，我们的策略，适当插入单调梯度步骤的非单调BB方法可以显着提高其性能，新的方法可以优于最成功的梯度下降方法在最近的文献中发展。
2020-01-08 math.OC
A Nonmonotone Descent Method for Optimization Problems Defined by Upper-$\mathcal{C}^2 $ Functions over Submanifolds
University of Würzburg（维尔茨堡大学）
针对流形上满足非光滑下降引理的非光滑优化问题，提出非单调次梯度方法，利用投影次微分证明子流形上的下降性质，并在Kurdyka-Lojasiewicz性质下证明收敛性和收敛速率。
2026-05-26 math.OC
A modified adaptive cubic regularization method for large-scale unconstrained optimization problem
本文对求解大规模无约束最优化问题的自适应三次正则化方法进行了改进，用一个实正定的标量矩阵逼近精确Hessian。结合非单调技术，我们还给出了改进算法的一个变形。在一定的条件下，我们分析了所提方法的整体收敛性.数值实验表明，与标准置信域方法、三次函数自适应正则化算法和简单模型信赖域方法相比，所得到的结果是令人满意的。
2019-04-16 math.OC
Variable Metric Method for Unconstrained Multiobjective Optimization Problems
本文提出了一种求解无约束多目标最优化问题的变度量法。首先，在一般框架中使用不同的正定矩阵生成点序列。证明了序列的聚点是Pareto临界点。然后，没有凸性假设，强收敛性所提出的方法。此外，我们使用一个公共矩阵来逼近所有目标函数的黑塞矩阵，并由此提出了一种新的非单调线搜索技术，以获得局部超线性收敛速率.最后，数值结果验证了该方法的有效性.
2022-07-15 math.OC
Convergence of Nonmonotone Proximal Gradient Methods under the Kurdyka-Lojasiewicz Property without a Global Lipschitz Assumption
本文首次证明在Kurdyka-Łojasiewicz性质下，无需全局Lipschitz假设和迭代有界性先验知识，非单调近端梯度方法具有与单调方法相同的全局收敛性与收敛速率。
2024-11-19 math.OC
A Globally and Quadratically Convergent Algorithm with Efficient Implementation for Unconstrained Optimization
本文对非线性无约束最优化问题提出了一种有效的修正牛顿型算法。修正的Hessian矩阵是单位矩阵（用于最速下降算法）和黑塞矩阵（用于Newton算法）的凸组合。在每次迭代中动态地选择凸组合的系数。证明了该算法对（凸和非凸）非线性函数是全局收敛的和二次收敛的。高效的实施描述。对广泛应用的CUTE测试问题进行了数值试验。并将试验结果与MATLAB优化工具箱函数{ \tt fminunc}的结果进行了比较。测试结果也比较了一些既定的和国家的最先进的算法，如有限的记忆BFGS，下降和共轭梯度算法，和有限的记忆和下降共轭梯度算法。实验结果表明，该算法具有较好的性能.
2012-12-21 math.OC
Nonmonotone Trust-Region Methods for Optimization of Set-Valued Mapping of Finite Cardinality
本文针对有限基数集值映射优化问题，提出最大值型和平均值型两种非单调信赖域方法，通过向量化和有向距离标量化寻找K-临界点，并证明其全局收敛性，数值实验表明其优于现有方法。
2025-09-22 math.OC
New subspace minimization conjugate gradient methods based on regularization model for unconstrained optimization
本文提出了两种新的基于$p - $正则化模型的子空间极小化共轭梯度法，其中分析了$p - $正则化模型中的一种特殊尺度范数.对特殊尺度范数的不同选择导致$p - $正则化子问题的不同解。通过对二维子空间中解的分析，得到了满足充分下降条件的新方向。在较弱的假设下，利用一种改进的非单调线搜索，证明了算法的整体收敛性。对所提方法的$R - $线性收敛进行了分析。数值结果表明，对于CUTEr库，所提出的方法优于Hager和Zhang（SIAM J Optim 16（1）：170-192，2005）、Dai和Kou（SIAM J Optim 23（1）：296-320，2013）、Liu和Liu（J Optim Theory Appl 180（3）：879-906，2019）以及Li等人（Comput Appl Math 38（1）：2019）分别提出的四种共轭梯度法。
2020-04-03 math.OC
A Regularized Limited Memory Subspace Minimization Conjugate Gradient Method for Unconstrained Optimization
本文基于有限记忆技术和子空间最小共轭梯度法，提出了一种正则化有限记忆子空间最小共轭梯度法，它包含两种迭代方式。在SMCG迭代中，我们通过最小化近似二次模型或近似正则化模型来获得搜索方向。在RQN迭代中，结合正则化技术和BFGS方法，在子空间中采用了一种改进的正则化拟牛顿法，以提高算法的正交性。此外，设计了一些简单的加速准则和一种改进的初始步长选择策略，以提高算法的效率。此外，利用广义非单调线搜索，并在较弱的条件下证明了算法的整体收敛性。最后，数值结果表明，该算法比ASMCG_PR算法有明显的改进，并且优于CUTEr库的有限内存共轭梯度软件包CG_DESCENT（6.8）和CGOPT（2.0）.
2023-01-07 math.OC
Nonmonotone Coderivative-Based Newton Methods for Nonsmooth Optimization with Machine Learning Applications
Wayne State University（韦恩州立大学）
针对非光滑优化中二阶信息利用困难的问题，提出基于余导数的牛顿框架，结合自适应正则化与非单调线搜索，实现全局及局部超线性收敛，并在Lasso、逻辑Lasso和SVM上验证了高效性与鲁棒性。
2026-10-08 math.OC
A Regularized Limited Memory BFGS method for Large-Scale Unconstrained Optimization and its Efficient Implementations
Kyoto University（京都大学）
有限记忆BFGS（L-BFGS）方法是求解大规模无约束优化问题的常用方法之一。由于标准的L-BFGS方法使用线搜索来保证其整体收敛，因此它有时需要大量的函数求值。为了克服这个困难，我们提出了一个新的L-BFGS与一定的正则化技术。在通常的假设下，证明了算法的整体收敛.为了使该方法更加鲁棒和有效，我们还扩展了几个技术，如非单调技术和同时使用的Wolfe线搜索。最后，我们给出了一些数值结果测试问题在CUTEst，这表明所提出的方法是强大的解决问题的数量。
2021-01-12 cs.LG math.OC stat.ML
A globally convergent gradient-like method based on the Armijo line search
本文提出了一种新的求解无约束最优化问题的共轭类梯度算法。新算法产生的步长方向满足与线搜索无关的充分下降条件。在Armijo回溯线搜索下，证明了新算法的整体收敛性.数值实验表明了新算法的有效性和鲁棒性。
2021-05-09 math.OC
Structured two-point stepsize gradient methods for nonlinear least squares
本文提出了两种求解非线性最小二乘问题的结构谱梯度法。在所提出的方法中，单位逼近的Hessian逆的标量倍通过施加结构化的拟牛顿条件。此外，我们提出了一个简单的策略来选择结构标量的情况下，负曲率方向。利用非单调线搜索和二次插值回溯技术，我们证明了在适当的条件下，这些方法是全局收敛的。数值实验表明，该方法与最近发展的一些方法相比具有竞争力。
2018-07-30 math.OC
Efficient globalization of heavy-ball type methods for unconstrained optimization based on curve searches
University of Florence（佛罗伦萨大学）
本文提出基于曲线搜索的非约束优化方法，通过曲线路径搜索实现重球算法的高效全球化，保证全局收敛性并优化非凸问题的最坏情况复杂度。
2025-05-26 math.OC
Finding Zeros of Hölder Metrically Subregular Mappings via Globally Convergent Levenberg-Marquardt Methods
本文给出了两个全局收敛的Levenberg-Marquardt方法，用于寻找可能具有非孤立零点的Hölder度量次正则映射的零点.第一种方法统一了Levenberg- Marquardt方向和Armijo型线搜索，而第二种方法则将此方向与非单调信赖域技术相结合。对于这两种方法，我们证明了整体收敛到一个一阶稳定点的相关的价值函数。此外，这些方法的最坏情况下的全球复杂性，表明近似的稳定点可以计算在最多$\mathcal{O}(\varepsilon^{-2})$功能和梯度的评价，为一个准确度参数$\varepsilon>0$。我们还研究了所提出的方法收敛到零的相关映射的条件。计算生化反应网络的部分保守稳态可以转化为寻找Hölder度量次正则映射的零点的问题。我们报告了令人鼓舞的数值结果，找到一个零的这种映射来自现实世界的生物数据，这支持我们的理论基础。
2018-12-05 math.OC q-bio.MN
A Globally Convergent Gradient Method with Momentum
本文提出了一种具有动量的梯度方法，通过在二维子空间中最小化二次模型来实现全局收敛和最优复杂度界，适用于非凸无约束优化问题。
2025-09-29 math.OC
Nonmonotone Barzilai-Borwein Gradient Algorithm for $\ell_1$-Regularized Nonsmooth Minimization in Compressive Sensing
Institute of Applied Mathematics, College of Mathematics and Information Science, Henan University（河南大学数学与信息科学学院应用数学研究所）；National Center for Theoretical Sciences (South), National Cheng Kung University（台湾成功大学南方理论科学中心）；Department of Applied Mathematics, Hong Kong Polytechnic University（香港理工大学应用数学系）
提出一种非单调Barzilai-Borwein梯度算法，通过局部二次模型和$\ell_1$范数结构生成下降方向，结合非单调线搜索，全局收敛，在压缩感知$\ell_1$正则化最小二乘问题上优于现有算法。
2012-07-19 cs.NA math.NA math.OC
Full Convergence of Regularized Methods for Unconstrained Optimization
University of Rome “Tor Vergata”（罗马托维加塔大学）
研究无约束优化中使用特定正则化局部二次模型的方法，在目标函数为伪凸且仅评估目标函数及其梯度时，通过仔细选择正则化模型及使用适当矩阵，使算法生成的点序列收敛。
2026-07-17 math.OC
Convergent plug-and-play with proximal denoiser and unconstrained regularization parameter
Univ. Bordeaux（波尔多大学）；CNRS（法国国家科学研究中心）；Bordeaux INP（波尔多国立理工学院）；IMB（波尔多数学研究所）；CEREMADE（巴黎多菲纳大学CEREMADE实验室）；Université Paris-Dauphine（巴黎多菲纳大学）；PSL（巴黎文理研究大学）
针对PnP图像逆问题中正则化参数受限影响复原的问题，本文证明无参数限制的PnP-DRS收敛性并提出宽参数范围收敛的松弛PGD，实验表明二者提升了复原精度。
2023-11-02 cs.CV math.OC
A Unified Framework for Continuous-time Unconstrained Distributed Optimization
我们介绍了一类分布式非线性控制系统，被称为流量跟踪器动态，它捕捉的现象，其中的平均状态控制的平均控制输入，没有个别代理直接访问这个平均值。智能体通过非线性观测器更新其对平均值的估计。我们证明，利用适当的梯度反馈的任何分布式控制系统，满足这些条件将导致相应的分布式最优化问题的解决方案。我们发现，许多现有的算法解决分布式优化的实例，这种动态，因此，他们的收敛性能可以遵循其属性。从这个意义上说，所提出的方法建立了一个统一的框架，在连续时间的分布式优化。此外，这种提法使我们能够引入一套新的连续时间分布式优化算法，很容易扩展的图论条件下，这种动态收敛。
2022-11-08 math.OC
Finite-Time Convergent Algorithms for Time-Varying Distributed Optimization
本文提出两类有限时间收敛的分布式算法，分别解决无约束时变共识优化和带耦合约束的时变资源分配问题，通过扩展零梯度和对偶变换实现，无需Hessian逆，并用数值实验验证。
2023-09-01 math.OC
First-Order Projected Algorithms With the Same Linear Convergence Rate Bounds as Their Unconstrained Counterparts
Graduate School of Advanced Science and Engineering, Hiroshima University（广岛大学先进理工学研究科）；Department of Engineering, University of Cambridge（剑桥大学工程系）
本文提出一种系统方法，将无约束强凸问题的一阶优化算法扩展至闭凸集约束，通过Lyapunov矩阵诱导范数下的投影，使得投影算法保持与原算法相同的线性收敛速率界。
2026-06-06 math.OC
A robust BFGS algorithm for unconstrained nonlinear optimization problems
本文提出一种改进BFGS算法，通过动态选择凸组合系数构造修正Hessian矩阵，证明其全局收敛且在局部优化器邻域超线性收敛，计算成本与BFGS相当，CUTE测试集上性能优于多种经典算法。
2025-11-12 math.OC
Approximately Gaussian Replicator Flows: Nonconvex Optimization as a Nash-Convergent Evolutionary Game
本文将无约束非凸优化提升为概率测度优化并对应到种群博弈纳什均衡，提出可用现成 ODE 求解器积分的近似高斯复制子流（AGRFs），并通过理论分析与基准实验验证其收敛与下降性质。
2024-09-10 math.OC
Globally Convergent Coderivative-Based Generalized Newton Methods in Nonsmooth Optimization
本文提出两种基于余导数和广义 Hessian 的全局收敛广义 Newton 方法，分别处理正定与半正定情形，并在 Lasso 和箱约束二次规划上验证其性能。
2023-04-26 math.OC
Revisiting Superlinear Convergence of Proximal Newton-Like Methods to Degenerate Solutions
Institute of Statistical Mathematics（统计数学研究所）；Graduate University for Advanced Studies, SOKENDAI（高等研究院）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文提出了一种适用于退化正则化优化问题的近似牛顿-类方法，实现了超线性收敛性，且无需预先了解问题参数。
2026-02-11 math.OC
On the equivalence between the modifier-adaptation and trust-region frameworks
在这个简短的说明中，最近流行的修改器自适应框架的实时优化的讨论与发达的置信域框架的数值优化，它表明，前者的基本版本是一个简化的问题是无约束时，后者。然后利用这种关系提出了一个全局收敛的修改器自适应算法，使用已经开发的置信域理论。案件时，这两个可能是不等价的，并扩展到约束问题进行了讨论。
2014-07-28 math.OC
Iterative algorithm with structured diagonal Hessian approximation for solving nonlinear least squares problems
非线性最小二乘问题是一类特殊的无约束最优化问题，其梯度和Hessian具有特殊的结构。在本文中，我们利用这些结构，并提出了一个无矩阵算法与对角Hessian近似求解非线性最小二乘问题。我们设计了适当的保护策略，以确保黑塞矩阵是正定的整个迭代过程。该算法产生下降方向，是全局收敛的。初步的数值实验表明，该方法是具有竞争力的最近开发的类似方法。
2020-02-05 math.OC
Logarithmic Quasi-distance Proximal Point Scalarization Method for Multi-Objective Programming
最近，Gregório和Oliveira开发了一种用于抽象严格标量表示的近点标量化方法（应用于多目标最优化问题），其中Auslender等人的对数二次函数的变体作为正则化。在这项研究中，这种方法的一个变化，提出了使用正则化与对数和准距离，这需要失去重要的属性，如凸性和可微性。但从不同的角度出发，证明了由该方法生成的序列\{（x^k，z^k）\} \includ R^n \times R^{m}_{++}满足：\{z^k\}收敛，\{x^k\}有界，其聚点是无约束多目标最优化问题的弱Pareto解
2013-05-07 math.OC
Trust-Region Method for Optimization of Set-Valued Maps Given by Finitely Many Functions
本文提出一种全局收敛且具有下降性质的信赖域方法，用于求解由有限多个二次连续可微函数定义的集值优化问题的临界点，并通过性能剖面图验证其有效性。
2025-09-09 math.OC
CMA Light: a novel Minibatch Algorithm for large-scale non convex finite sum optimization
针对深度神经网络训练中的非凸有限和优化问题，提出CMA Light小批量梯度算法，消除每次迭代的全目标函数评估需求，在温和假设下证明全局收敛，并在实验中展现优于多数先进优化器的计算效率。
2024-05-22 math.OC
A Newton-Type Proximal Gradient Method for Nonlinear Multi-objective Optimization Problems
针对光滑与非光滑函数之和构成的无约束凸多目标优化问题，提出一种无需预设参数或目标排序的 Newton 型邻近梯度法，并证明其全局收敛性。
2022-05-09 math.OC
A Globally Convergent Third-Order Newton Method via Unified Semidefinite Programming Subproblems
Massachusetts Institute of Technology（麻省理工学院）；University of Oxford（牛津大学）
ALMTON通过统一半定规划子问题实现了无约束非凸优化的全局收敛三次牛顿法，具有更稳定的收敛性和更广的吸引盆地。
2026-08-24 cs.NA math.NA math.OC
A novel augmented Lagrangian method of multipliers for optimization with general inequality constraints
我们引入了一个二次可微的增广拉格朗日函数来求解具有一般不等式约束的非线性最优化问题，并证明了原问题的严格局部极小值是增广拉格朗日函数的一个近似严格局部解.提出了一种新的增广拉格朗日乘子法。我们的方法起源于Hetenes-Powell增广拉格朗日量的推广，并且是增广拉格朗日量和邻近点技术的组合。它与现有的ALM共享类似的算法框架，用于具有不等式约束的优化，但是它可以使用二阶导数并且不依赖于不等式约束集合上的投影。在每次迭代中，我们的方法解决了一个两次连续可微的无约束优化子问题的原始变量。对偶迭代、惩罚和平滑参数自适应更新。分析了算法的全局收敛性和局部收敛性。在不假设任何约束规格的情况下，证明了该方法具有强的整体收敛性。当收敛点是极小点时，该方法既可以收敛到KKT点，也可以收敛到奇异平稳点。当问题不可行时，它也可能收敛到非线性规划的不可行稳定点。此外，我们的方法是能够快速检测可能的不可行性的解决问题。在适当的条件下，它是局部线性收敛到KKT点，这是一致的ALMs的等式约束优化。一些小的基准测试问题的初步数值实验证明了我们的理论结果。
2021-06-29 math.OC
New Globalized Newton-Type Methods for Nonconvex Optimization Problems
University of North Dakota（北达科他大学）；Loyola University Chicago（芝加哥洛约拉大学）
针对非凸优化问题，提出通用线搜索牛顿框架，避免重复海森正则化，在温和假设下建立全局收敛性，适当条件下证明局部收敛性，应用于强拟凸优化并给出算法及分析，数值实验验证方法有效性。
2026-07-28 cs.NA math.NA math.OC
