A globally convergent SQP-type method with least constraint violation for nonlinear semidefinite programming
提出一种基于两阶段策略和线搜索的全局收敛SQP型方法，用于非线性半定规划，能在原问题不可行时最小化约束违反并收敛至Fritz-John点。
2023-08-24 math.OC
A Globally Convergent LCL Method for Nonlinear Optimization
对于具有非线性约束的最优化问题，线性约束拉格朗日（LCL）方法顺序地最小化受线性化约束的拉格朗日函数。这些方法在解附近快速收敛，但从任意起点开始可能不可靠。众所周知的例子\MINOS \已证明对许多大型问题是有效的。它的成功促使我们提出一个全球收敛的变体。我们的稳定LCL方法具有两个重要性质：子问题总是可行的，他们可能会不精确地解决。这些功能在\MINOS中仅作为语法存在。新算法已在\Matlab中实现，可选择使用\MINOS或\SNOPT Fortran代码来求解线性约束子问题。只需要一阶导数。我们提出了数值计算结果的非线性子集的\COPS，\CUTE和HS测试问题集，其中包括许多大型的例子。结果表明，稳定的LCL程序的鲁棒性和效率。
2003-01-10 math.OC
A Globally and Quadratically Convergent Algorithm with Efficient Implementation for Unconstrained Optimization
本文对非线性无约束最优化问题提出了一种有效的修正牛顿型算法。修正的Hessian矩阵是单位矩阵（用于最速下降算法）和黑塞矩阵（用于Newton算法）的凸组合。在每次迭代中动态地选择凸组合的系数。证明了该算法对（凸和非凸）非线性函数是全局收敛的和二次收敛的。高效的实施描述。对广泛应用的CUTE测试问题进行了数值试验。并将试验结果与MATLAB优化工具箱函数{ \tt fminunc}的结果进行了比较。测试结果也比较了一些既定的和国家的最先进的算法，如有限的记忆BFGS，下降和共轭梯度算法，和有限的记忆和下降共轭梯度算法。实验结果表明，该算法具有较好的性能.
2012-12-21 math.OC
Two globally convergent nonmonotone trust-region methods for unconstrained optimization
本文讨论了求解非线性无约束最优化问题的几种具有非单调策略的置信域方法。更具体地说，使用非单调技术在非线性最优化的重要性，然后提出了两个新的非单调项，并将其组合到传统的置信域框架进行了研究。证明了这两种算法整体收敛于一阶和二阶稳定点，并具有局部超线性和平方收敛速率。数值实验的\textsf{CUTEst}测试收集无约束问题和一些高度非线性的检验函数，其中最先进的非单调置信域方法之间的比较显示所提出的非单调格式的效率。
2015-01-09 math.OC
A Globally Convergent Penalty-Based Gauss-Newton Algorithm with Applications
我们提出了一个全局收敛的高斯-牛顿算法，用于寻找非凸和可能非光滑最优化问题的局部最优解。我们提出的算法是基于高斯-牛顿型迭代的非光滑处罚制定的原始问题。我们建立了一个整体收敛速度从任何初始点的问题的一个稳定点，同时使用一个精确的惩罚制定。在一些更严格的条件下，我们还得到了该格式的局部平方收敛。我们应用我们提出的算法来解决的交流最优潮流问题的网状电力网络，这是一个基本的应用在电力系统工程。我们验证了所提出的方法的性能，通过显示与IPOPT，一个完善的求解器可比的行为。我们执行我们的最优潮流问题，这是来自MATPOWER库的几个代表性的实例验证。
2020-12-07 math.OC
A new, globally convergent Riemannian conjugate gradient method
本文讨论了黎曼流形上的共轭梯度法，并讨论了其整体收敛.现有的共轭梯度算法需要假设向量迁移不增加切向量的范数，以保证生成的序列具有整体收敛性质.在本文中，一个缩放矢量传输的概念被引入到改进的算法，使所产生的序列可以有一个整体收敛的性质，在一个宽松的假设。在所提出的算法中，传输向量的范数在传输过程中增加的情况下被重新缩放。理论上证明了算法的整体收敛性，并通过实例进行了数值观察.实际上，数值实验表明，存在最小化问题，现有的算法产生发散序列，但所提出的算法产生收敛序列。
2013-08-02 math.OC
On a globally convergent semismooth* Newton method in nonsmooth nonconvex optimization
本文提出 GSSN 方法，结合近端梯度法保证全局收敛，利用 SCD semismooth* Newton 方法在弱假设下实现局部超线性收敛，并通过等式约束二次规划计算 Newton 方向，注重高效数值实现。
2025-01-24 math.OC
A Globally Convergent Proximal Newton-Type Method in Nonsmooth Convex Optimization
本文提出并证明了一个新的近似牛顿型算法，以解决广泛的一类非光滑复合凸优化问题，没有强凸性假设。基于变分分析的先进概念和技术，我们建立了该算法的整体收敛以及超线性和二次收敛率的局部收敛的可实现结果.对于某些结构化问题，所得到的局部收敛条件不要求相应的Hessian映射的局部Lipschitz连续性，而这是文献中用来保证邻近Newton型的其他算法的超线性收敛的一个重要假设.通过求解$l_1$正则化逻辑斯谛回归模型的数值实验，说明了该算法应用于实际问题的可行性。
2022-02-28 math.OC
Observability is Sufficient for the Design of Globally Exponentially Convergent State Observers for State-affine Nonlinear Systems
本文研究状态仿射非线性系统的状态观测问题。我们的主要贡献是提出了一个全球指数收敛的观测器，只需要必要的假设系统的可观测性。据作者所知，这是第一次在文献中报道这样的结果。
2021-08-21 cs.SY eess.SY math.OC
A Globally Convergent Distributed Jacobi Scheme for Block-Structured Nonconvex Constrained Optimization Problems
针对高性能并行计算的需求，设计了一种求解线性耦合块结构非凸约束最优化问题的分布式并行算法.我们的算法进行雅可比型的增广拉格朗日函数的近端更新，只需要可分块非线性规划（NLP）问题的局部解。我们提供了一个便宜的，明确可计算的李雅普诺夫函数，使我们能够建立我们的算法，其迭代复杂性，以及简单，实用和理论上的收敛规则，自动调整其参数的全局和局部次线性收敛。这与现有的算法相比，非凸约束优化的基础上的交替方向法的乘法器，依赖于至少以下之一：高斯-赛德尔或顺序更新，全局解决方案的NLP问题，不可计算的李雅普诺夫函数，手动调整参数。数值实验展示了其在大规模问题上的优势，包括在168个时间段内对9000总线AC最优潮流测试用例进行多周期优化，并使用开源Julia代码在Summit超级计算机上解决。
2021-12-16 math.OC
Globally Convergent Coderivative-Based Generalized Newton Methods in Nonsmooth Optimization
本文提出两种基于余导数和广义 Hessian 的全局收敛广义 Newton 方法，分别处理正定与半正定情形，并在 Lasso 和箱约束二次规划上验证其性能。
2023-04-26 math.OC
A Globally Convergent LP and SOCP-based algorithm for Semidefinite Programming
半定规划（SDP）是数值优化中最通用的框架之一，作为许多圆锥规划的推广和NP-难组合问题的松弛。它们的主要缺点是它们的计算和内存复杂性，这对现成的SDP求解器可解决的问题的大小设置了实际限制。为了规避这一事实，已经提出了许多算法来利用特定问题的结构，并增加这些问题实例的SDP的可扩展性。然而，一般情况下的服务提供点的进展并不那么陡峭。在本文中，由Ahmadi和霍尔的早期结果的动机，我们表明，一般SDP可以解决$ε$ -最优性，在多项式时间内，通过执行一系列计算要求较低的线性或二阶锥程序。此外，我们提供了一个界上的迭代次数需要达到$ε$ -最优。这些结果使用随机SDPs和来自SDPLib数据集的众所周知的问题来说明。
2022-02-24 math.OC
Design of Globally Exponentially Convergent Continuous Observers for Velocity Bias and State for Systems on Real Matrix Groups
我们提出了有限维矩阵李群上不变运动系统的全局指数收敛连续观测器。这样的观测器估计，从地标，矢量和偏置速度的测量，系统状态和速度测量中的未知常数偏置，其中状态属于状态空间李群和速度的李群的李代数。其主要技术是将定义在矩阵李群上的给定系统嵌入到欧几里得空间中，并在欧几里得空间中构造观测器。用三维空间中的特殊欧氏群来说明这个理论。
2019-09-23 cs.SY eess.SY math.OC
An Efficient and Globally Convergent Algorithm for $\ell_{p,q}$-$\ell_{r}$ Model in Group Sparse Optimization
School of Mathematical Sciences and LPMC, Nankai University（南开大学数学科学学院和LPMC）
本文提出了一种高效的全局收敛算法InISSAPL，用于解决非利普斯尼兹组稀疏$\ell_{p,q}$-$\ell_r$优化问题，结合了数据的底层稀疏性和分组结构。
2019-04-03 cs.NA math.NA math.OC
A Globally Convergent Flow for Time-Dependent Mean Field Games and a Solver-Agnostic Framework for Inverse Problems
City University of Hong Kong（香港城市大学）；California Institute of Technology（加州理工学院）；National University of Singapore（新加坡国立大学）
提出Hessian-Riemannian流用于时间依赖平均场博弈的全局收敛求解，并构建求解器无关的逆问题框架，通过双层优化和伴随梯度实现参数估计。
2026-06-19 math.OC
A globally convergent modified Newton method for the direct minimization of the Ohta-Kawasaki energy with application to the directed self-assembly of diblock copolymers
我们提出了一个快速和强大的计划，直接最小化的Ohta-Kawasaki能量的特点的微相分离的二嵌段共聚物熔体。该方案采用了一种全局收敛的修正牛顿法与线搜索被证明是质量守恒，能量下降，渐近二次收敛，和三个数量级的效率比常用的梯度流方法。分析了极小元的正则性和一阶条件。基于一种新的聚合物-基质相互作用模型和所提出的方案，对化学基质引导的二嵌段共聚物熔体定向自组装进行了数值研究。
2020-10-28 cs.CE cs.NA math.NA
On the global convergent of an inexact quasi-Newton conditional gradient method for constrained nonlinear systems
本文提出一种求解约束非线性系统的全局收敛方法。该方法结合了一个有效的牛顿条件梯度法与导数自由和非单调线性搜索策略。在适当的条件下建立了所提方法的整体收敛分析，并给出了一些初步的数值实验来说明其性能。
2018-06-05 math.OC
A globally convergent method to accelerate topology optimization using on-the-fly model reduction
本文提出了一种基于投影的降阶模型和信赖域方法的全局收敛方法来加速基于密度的拓扑优化。为了加快拓扑优化，我们取代了大规模的有限元模拟，这占主导地位的计算成本，与ROM，降低成本的目标函数和梯度评估的数量级。为了保证收敛性，我们首先介绍了一个信赖域方法，采用广义信赖域约束，并证明它是全局收敛的。然后，我们设计了一类全局收敛的ROM加速拓扑最优化方法通知两个理论：上述信赖域理论，确定ROM的精度条件，保证该方法收敛到一个临界点的原始拓扑最优化问题;后验误差估计理论的投影为基础的ROM，通知ROM的建设过程，以满足精度条件。这导致信赖域方法，构建和更新ROM的飞行过程中优化，该方法保证收敛到一个临界点的原始，未简化的拓扑最优化问题，无论起点。对三个不同结构拓扑最优化问题的数值实验表明，所提出的约简拓扑最优化方法使收敛速度提高了数量级.
2020-12-10 cs.NA math.NA math.OC
Globally Convergent Block Coordinate Descent Algorithms for Semi-Nonnegative Independent Component Analysis
School of Science, Sun Yat-sen University（中山大学理学院）；Department of Systems Engineering and Engineering Management, The Chinese University of Hong Kong（香港中文大学系统工程及工程管理学系）；School of Mathematical Sciences, Xiamen University（厦门大学数学科学学院）
针对半非负独立成分分析，提出全局收敛的块坐标下降框架，推导显式更新规则，在合成数据与磁共振波谱数据实验中表现出更低恢复误差、更短运行时间及更低目标值。
2026-10-14 math.OC
Finding Zeros of Hölder Metrically Subregular Mappings via Globally Convergent Levenberg-Marquardt Methods
本文给出了两个全局收敛的Levenberg-Marquardt方法，用于寻找可能具有非孤立零点的Hölder度量次正则映射的零点.第一种方法统一了Levenberg- Marquardt方向和Armijo型线搜索，而第二种方法则将此方向与非单调信赖域技术相结合。对于这两种方法，我们证明了整体收敛到一个一阶稳定点的相关的价值函数。此外，这些方法的最坏情况下的全球复杂性，表明近似的稳定点可以计算在最多$\mathcal{O}(\varepsilon^{-2})$功能和梯度的评价，为一个准确度参数$\varepsilon>0$。我们还研究了所提出的方法收敛到零的相关映射的条件。计算生化反应网络的部分保守稳态可以转化为寻找Hölder度量次正则映射的零点的问题。我们报告了令人鼓舞的数值结果，找到一个零的这种映射来自现实世界的生物数据，这支持我们的理论基础。
2018-12-05 math.OC q-bio.MN
Generalized Damped Newton Algorithms in Nonsmooth Optimization via Second-Order Subdifferentials
本文提出并发展了求解重要的非光滑最优化问题的新的全局收敛的广义阻尼牛顿型算法。这些算法是基于非光滑函数的二阶次微分的理论和计算，采用二阶变分分析和广义微分的机械。首先，我们发展了一类全局超线性收敛的阻尼牛顿型算法的连续可微函数的Lipschitz梯度，这是非光滑的二阶。然后，我们设计这样一个全局收敛的算法来解决一类结构化的非光滑二次组合问题的扩展实值费用函数，这通常出现在机器学习和统计。最后，我们提出了数值实验的结果，并比较我们的主要算法应用到一个重要的一类Lasso问题与其他一阶和二阶优化算法所取得的性能。
2022-01-18 math.OC
Globally Convergent Multilevel Training of Deep Residual Networks
Università della Svizzera italiana（瑞士意大利语大学）；Euler Institute（欧拉研究所）
我们提出了一种全局收敛的深度残差网络多级训练方法（ResNets）。所设计的方法可以被看作是一种新的变体的递归多级信赖域（RMTR）的方法，它在混合（随机确定性）设置自适应调整小批量大小在训练过程中。多层层次结构和传输算子是通过利用动力系统的观点来构造的，该观点将通过ResNet的前向传播解释为初始值问题的前向欧拉离散化。与传统的训练方法相比，我们的新RMTR方法还采用了有限内存SR1方法的多层层次结构的所有级别上的曲率信息。我们的多级训练方法的整体性能和收敛性能进行了数值研究，使用分类和回归领域的例子。
2022-06-12 cs.LG cs.NA math.NA
A Globally Convergent Gradient Method with Momentum
本文提出了一种具有动量的梯度方法，通过在二维子空间中最小化二次模型来实现全局收敛和最优复杂度界，适用于非凸无约束优化问题。
2025-09-29 math.OC
A globally and superlinearly convergent QO-free method for nonlinear optimization on Riemannian manifolds
Guangxi University（广西大学）；South China University of Technology（华南理工大学）；Xiamen University（厦门大学）；Guangxi Minzu University（广西民族大学）
本研究将无二次优化（QO-free）方法推广至带约束的黎曼流形优化，提出含主搜索方向、高阶校正方向及黎曼弧搜索的算法，证明其全局与超线性收敛性，数值实验显示其具竞争力。
2026-08-11 math.OC
A Globally Convergent Policy Gradient Method for Linear Quadratic Gaussian (LQG) Control
本文提出一种基于输入-输出历史的模型化策略梯度方法，通过建立动态输出反馈与静态增益的等价性并引入随机扰动，实现了LQG控制的全局线性收敛，仿真验证其控制器接近最优。
2024-02-25 cs.SY eess.SY math.OC
Globally convergent homotopies for discrete-time optimal control
本文基于非线性规划全局收敛同伦理论，提出离散时间最优控制问题的零曲线系统构造框架，保证几乎任意初始猜测均存在便于数值追踪的同伦路径，并通过线性系统与Dubins载具路径规划验证。
2024-12-07 cs.SY eess.SY math.OC
A globally convergent algorithm for nonconvex optimization based on block coordinate update
非凸最优化问题出现在计算科学和工程的许多领域中，并且可以通过各种算法（近似）求解。现有的算法通常只具有迭代的局部收敛或子序列收敛性。我们提出了一种算法的一般非凸优化配方，建立其整个的收敛序列的一个临界点，随着收敛速率，并数值证明其效率。特别地，我们考虑了非凸目标函数的极小化问题。它的变量可以被视为一个块或被划分为多个不相交的块。假设目标函数的每个不可微分量或每个约束应用于一个变量块。然而，目标函数的可微分量可以一起应用于一个或多个变量块。我们的算法通过最小化某个非线性代理来更新一个变量块。更新的顺序可以是确定性的，也可以在每轮中随机打乱。我们得到的收敛性的整个序列相当宽松的条件下，包括，特别是，Kurdyka-Eschojasiewicz（KL）条件，这是满足广泛的一类非凸/非光滑的应用。我们将收敛结果应用于非凸正则线性回归的坐标下降法和非负矩阵分解的一种改进的秩一留数迭代法。我们证明了这两种方法都具有整体收敛性。数值上，我们测试我们的算法上的非负矩阵和张量分解问题，随机洗牌，使避免局部解决方案。
2015-08-20 math.OC
Globally convergent Jacobi-type algorithms for simultaneous orthogonal symmetric tensor diagonalization
Tianjin University（天津大学）；GIPSA-Lab, CNRS and Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学CNRS GIPSA实验室）
本文提出一种全局收敛的雅可比型算法，用于对称张量的正交对角化问题，并证明其在光滑函数下的收敛性。
2017-07-27 cs.IT cs.NA math.IT
A globally convergent Carleman-Picard method for an inverse initial-value problem for a nonlinear diffusive coagulation-fragmentation equation coagulation-fragmentation equation
California State University, Long Beach（加州州立大学长滩分校）；Texas A&M University（德克萨斯农工大学）；University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）
本文提出一种基于Legendre-指数时间缩减和Carleman-皮卡迭代的全局收敛方法，用于恢复非线性扩散聚并-裂变方程的未知初始粒子尺寸分布，通过边界观测和其尺寸导数的时间依赖数据实现准确稳定重建。
2026-03-22 cs.NA math.NA math.OC
Hybrid Acceleration Scheme for Variance Reduced Stochastic Optimization Algorithms
随机方差缩减的最优化方法具有全局收敛性，但存在局部收敛慢的问题，特别是当需要中精度或高精度时。为了缓解这个问题，我们提出了一个优化算法-我们称之为一个混合加速计划-一类近似方差减少随机最优化算法。所提出的优化方案结合了快速局部收敛的算法，如拟牛顿法，与全局收敛的方差减少的随机算法，如SAGA或L-SVRG。我们的混合加速方法的整体收敛结果是基于特定的保障条件，需要满足一个步骤的局部快速收敛的方法被接受。我们证明了由混合加速方案产生的迭代序列几乎必然收敛到底层最优化问题的解。我们还提供了数值实验，显示显着改善的收敛性的混合加速计划相比，基本的随机方差减少优化算法。
2021-11-12 math.OC
A Globally Convergent Method for Computing B-stationary Points of Mathematical Programs with Equilibrium Constraints
University of Freiburg（弗赖堡大学）；Argonne National Laboratory（阿贡国家实验室）
本文提出一种全局收敛方法，用于计算具有均衡约束的数学规划的B-stationary点，通过求解一系列线性规划和非线性规划问题，提高计算效率和鲁棒性。
2026-09-09 math.OC
A globally convergent flow for computing the best low rank approximation of a matrix
我们研究了具有Frobenius内积的$m$ -by- $n$实矩阵空间.考虑下面的问题：给定一个m × n实矩阵A和一个正整数k，找出最接近A的秩为k的m × n矩阵。本文讨论一类保秩微分方程（d.e.）这解决了这个问题。如果X（t）是这个d.e.的解，则$X(t)$和$A$之间的距离随着t的增加而减小;该距离函数是d.e.如果$A$具有不同的正奇异值（这是一般条件），则该d.e.只有一个稳定的平衡点其他的平衡点在数量上是有限的并且是不稳定的。换句话说，秩为$k$的矩阵流形上的稳定平衡点吸引区域由几乎所有的矩阵组成。这个特殊的平衡点就是给定问题的解。通常约束最优化问题有许多局部极小值（其中大多数是不期望的）。因此，这里考虑的约束最优化问题是非常特殊的。
2007-02-21 math.DS math.OC
Globally Convergent Policy Gradient Methods for Linear Quadratic Control of Partially Observed Systems
针对部分观测线性系统的LQ控制，本文提出基于有限历史输入输出轨迹的策略参数化，证明梯度优势与全局收敛，并通过仿真验证。
2023-04-22 cs.SY eess.SY math.OC
INTHOP: A Second-Order Globally Convergent Method for Nonconvex Optimization
Indian Institute of Technology Kanpur（坎普尔印度理工学院）；Indian Institute of Technology Roorkee（鲁尔基印度理工学院）
INTHOP通过区间Hessian方法解决非凸优化中的高计算成本、Hessian求逆和非定性Hessian方向问题，证明了算法的全局收敛性，并在测试问题中表现出更高的效率。
2026-04-07 math.OC
Gauss-Newton meets PANOC: A fast and globally convergent algorithm for nonlinear optimal control
本研究提出一种结合高斯-牛顿方向的PANOC变体算法，将其高斯-牛顿步转化为LQR问题通过Riccati递推高效求解，在最优控制基准问题上速度是传统L-BFGS变体PANOC的两倍以上，且性能随时域长度增加有良好扩展性。
2022-12-08 cs.SY eess.SY math.OC
A Globally Convergent Evolutionary Strategy for Stochastic Constrained Optimization with Applications to Reinforcement Learning
Polytechnique Montréal（蒙特利尔综合理工学院）；University of Basel（巴塞尔大学）；Johannes Kepler University Linz（林茨约翰·开普勒大学）
进化策略最近被证明可以在强化学习中实现复杂优化问题的性能竞争水平。在这样的问题中，人们经常需要优化一个受一组约束的目标函数，包括例如对策略熵的约束，或者限制代理可访问的可能的动作或状态集。然而，文献中缺乏优化随机约束问题的进化策略的收敛保证。在这项工作中，我们解决这个问题，通过设计一种新的优化算法，有足够的减少机制，确保收敛，这是只基于估计的功能。我们证明了该算法对两种类型的实验的适用性：i）最大化奖励的控制任务和ii）最大化奖励受一组不可放松的约束。
2022-02-21 cs.LG cs.NE math.OC
A globally convergent fast iterative shrinkage-thresholding algorithm with a new momentum factor for single and multi-objective convex optimization
Kyoto University（京都大学）
凸复合优化（Convex-composite optimization）是一种最小化由可微函数和凸函数之和表示的目标函数的优化方法，广泛应用于机器学习和信号/图像处理中。快速迭代收缩保持算法（FISTA）是求解该问题的一种典型方法，具有$O(1 / k^2)$的整体收敛速度。最近，这已被扩展到多目标最优化，连同$O(1 / k^2)$的整体收敛率的证明。然而，它的动量因子是经典的，其迭代的收敛性尚未得到证明。在这项工作中，引入一些额外的超参数$(a, b)$，我们提出了另一种加速邻近梯度方法与一般的动量因子，这是新的单目标的情况下。我们表明，我们提出的方法也有一个整体收敛速度$O(1/k^2)$的任何$(a,b)$，并进一步生成的迭代序列收敛到一个弱Pareto解时，$a$是积极的，有限时间流形识别的一个基本属性。此外，我们报告的数值结果与各种$(a,b)$，表明这些选择中的一些给出了更好的结果比经典的动量因子。
2022-05-11 cs.LG math.OC
A Globally Convergent Algorithm for Neural Network Parameter Optimization Based on Difference-of-Convex Functions
ETH Zurich（苏黎世联邦理工学院）；FAU Erlangen-Nuremberg（埃尔朗根-纽伦堡大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；LMU Munich（慕尼黑大学）
本文针对单隐藏层神经网络参数优化，提出基于分块差分凸表示并结合分块坐标下降与DCA的全局收敛算法，并给出线性或更快收敛条件，数值实验验证其优于主流梯度求解器。
2024-01-15 cs.LG cs.NE math.OC
Globally Convergent Newton Methods for Ill-conditioned Generalized Self-concordant Losses
INRIA（法国国家信息与自动化研究所）；Département d’Informatique de l’École Normale Supérieure（巴黎高等师范学院计算机系）；PSL Research University（巴黎文理研究大学）
本文研究了基于牛顿法的大规模凸优化算法在正则化广义自协调损失问题中的应用，包括逻辑斯谛回归和softmax回归。我们首先证明，我们的新的简单的计划的基础上减少正则化参数的一系列问题是可证明的全局收敛，这种收敛是线性的一个常数因子的规模只有数学上的条件数。在参数设置中，我们得到了一个算法，具有相同的缩放比常规的一阶方法，但具有改进的行为，特别是在病态问题。其次，在非参数机器学习环境中，我们给出了一个结合Nystr{<$}m投影技术的显式算法，并证明了该算法的时间复杂度为O（ndf $λ$），记忆复杂度为O（df 2 $λ$），并且不依赖于条件数，从而推广了最小二乘回归的结果.这里n是观测数，df $λ$是相关的自由度。特别是，这是第一个在具有大条件数和理论保证的非参数设置中解决logistic和softmax回归的大规模算法。
2019-11-21 cs.AI cs.LG math.OC
Globally Convergent Policy Search over Dynamic Filters for Output Estimation
MIT（麻省理工学院）；University of California, Berkeley（加州大学伯克利分校）
我们介绍了第一个直接的政策搜索算法，可证明收敛到全局最优的$\textit{dynamic}$过滤器的经典问题，预测输出的线性动力系统，噪声，部分意见。尽管部分可观测性在实践中无处不在，但直接策略搜索算法（现代强化学习的支柱之一）的理论保证已被证明难以实现。这主要是由于在优化保持内部状态的过滤器时出现的退化。在本文中，我们提供了一个新的视角，这个具有挑战性的问题的基础上的概念，$\textit{informativity}$，直观地要求，所有组件的过滤器的内部状态的真实状态的底层动力系统的代表。我们表明，信息克服了上述退化。具体来说，我们提出了一个$\textit{regularizer}$，明确执行信息，并建立在这个正规化的目标梯度下降-结合"重新调整步骤“-收敛到全局最优成本的$\mathcal{O}(1/T)$率。我们的分析依赖于几个新的结果，这可能是独立的利益，包括一个新的框架，通过凸重构分析非凸梯度下降，和新的边界的解决方案，线性李雅普诺夫方程（我们的定量措施）的信息。
2022-02-25 cs.DS cs.LG math.OC
Globally-convergent Iteratively Reweighted Least Squares for Robust Regression Problems
IIT Kanpur（印度理工学院坎普尔分校）；Microsoft Research India（微软印度研究院）
我们提供了第一个全局模型恢复结果的IRLS（迭代加权最小二乘）启发式鲁棒回归问题。IRLS是众所周知的，提供优良的性能，尽管坏的初始化和数据损坏，几个参数估计问题。现有的IRLS分析经常需要仔细的初始化，从而只提供局部收敛保证。我们通过对基本的IRLS例程提出增强来弥补这一点，这些例程不仅提供有保证的全局恢复，而且在实践中还优于最先进的鲁棒回归算法。我们的例程在基本回归任务以及线性武装强盗问题等应用任务中更不受超参数错误指定的影响。我们的理论分析依赖于一个新的扩展的概念，强凸性和光滑加权强凸性和光滑性，并建立次高斯设计提供有界加权条件数。这些概念在分析其他算法时也可能是有用的。
2020-06-25 cs.LG math.OC stat.ME
A Linearly Convergent Majorized ADMM with Indefinite Proximal Terms for Convex Composite Programming and Its Applications
研究凸组合最优化问题的一种优化的不定邻近项乘子交替方向法（iPADMM）.我们发现，优化的iPADMM的2块凸最优化问题的全局收敛的条件下较弱的文献中所使用的，并表现出线性收敛速率下的局部误差界条件。在此基础上，我们建立了一个基于对称Gaussian-Seidel的优化iPADMM的线性速度收敛结果，该算法是针对多块复合凸优化问题而设计的。此外，我们应用优化的iPADMM来解决不同类型的正则化逻辑斯谛回归问题。合成和真实数据集上的数值结果证明了优化的iPADMM的有效性，也说明了引入的不定邻近项的有效性。
2018-02-07 math.OC
A Fast Globally Linearly Convergent Algorithm for the Computation of Wasserstein Barycenters
我们考虑的问题计算Wasserstein重心的一组离散概率分布与有限的支持，发现许多领域，如统计，机器学习和图像处理。当重心的支撑点是预先指定的，这个问题可以建模为一个线性规划（LP）的问题，其大小可以是非常大的。为了处理这个大规模的LP，我们分析了其对偶问题的结构，这是可以想象的更容易处理，可以重新表述为一个结构良好的凸问题与3种块变量和耦合线性等式约束。然后，我们适应基于对称高斯-赛德尔的交替方向法的乘法器（sGS-ADMM）来解决由此产生的对偶问题，并建立其整体收敛和全局线性收敛速率。作为有效计算的一个关键组成部分，我们还展示了如何准确有效地解决所有涉及的子问题。这使得我们的方法适合于计算一个大规模的数据集上的Wasserstein重心，而不引入熵正则化项，因为通常是实践。此外，我们的sGS-ADMM可以用作交替最小化方法中的子程序，以计算重心时，它的支持点没有预先指定。在合成数据集和图像数据集上的数值结果表明，与现有的两种代表性方法和商业软件Guesthouse相比，该方法在求解大规模Wasserstein质心问题上具有很强的竞争力.
2020-12-26 math.OC stat.ML
A Globally Convergent Third-Order Newton Method via Unified Semidefinite Programming Subproblems
Massachusetts Institute of Technology（麻省理工学院）；University of Oxford（牛津大学）
ALMTON通过统一半定规划子问题实现了无约束非凸优化的全局收敛三次牛顿法，具有更稳定的收敛性和更广的吸引盆地。
2026-08-24 cs.NA math.NA math.OC
Block BFGS Methods
我们介绍了一种块更新的拟牛顿法，称为块BFGS。我们表明，这种方法，进行不精确的Armijo-Wolfe线搜索，全局收敛和超线性BFGS相同的凸性假设下。我们还表明，块BFGS是全局收敛到一个稳定点时，适用于非凸函数有界Hessian，并讨论了其他修改的非凸极小化。数值实验比较块BFGS，BFGS和梯度下降。
2017-11-30 math.OC
Verifying Global Optimality of Candidate Solutions to Polynomial Optimization Problems using a Determinant Relaxation Hierarchy
我们提出了一种方法来验证一个给定的可行点的多项式最优化问题是全局最优的。该方法依赖于Lasserre层次结构和Lasserre关于凸性的重要性的结果的可行集，而不是个人的约束。通过只专注于证明全局最优性和放松Lasserre层次结构使用必要条件的正半定性的基础上矩阵行列式，所提出的方法是可实现的计算易处理的线性规划。我们证明了这种方法通过应用程序的多项式优化，包括用于操作电力系统的最优潮流问题的几个实例。
2021-01-03 math.OC
Global linear convergent algorithm to compute the minimum volume enclosing ellipsoid
最小体积封闭椭球（MVEE）问题是在许多实际问题的基础上提出的一个最优化问题。本文描述了这个模型的一些新的性质，并提出了一个一阶预言算法，调整坐标下降（ACD）算法，以解决MVEE问题。ACD算法是全局线性收敛的，并且在数据维数较大的情况下具有压倒性的优势。此外，作为ACD算法收敛性的副产品，我们证明了Frank-Wolfe型算法的全局线性收敛（以Wolfe-Atwood算法为例），支持了Todd的猜想.进而从坐标轴的光滑性角度对Frank-Wolfe型算法的坐标轴选取方法给出了新的解释，即：该算法在每次迭代中选择具有最差平滑度的坐标轴。这一发现将MVEE问题的一阶预言算法和线性最优化预言算法联系起来。数值试验支持了我们的理论结果。
2018-04-02 math.OC
A globally convergent method to accelerate large-scale optimization using on-the-fly model hyperreduction: application to shape optimization
针对大规模非线性PDE约束优化，本文提出在信赖域框架中即时构建超约简降阶模型的方法，无需离线训练即可保证全局收敛，并在流体形状优化中实现超过18倍加速。
2022-06-20 cs.NA math.NA math.OC
Augmented L1 and Nuclear-Norm Models with a Globally Linearly Convergent Algorithm
本文研究了在稀疏优化的背景下添加一个光滑函数来“光滑”不可微目标函数的长期存在的思想，特别是$||x||_1+1/(2α)||x||_2^2$的最小化，其中$x$是一个向量，以及$||X||_*+1/(2α)||X||_F^2$的最小化，其中$X$是一个矩阵，$||X||_*$和$||X||_F$分别是$X$的核和Frobenius范数。我们表明，他们可以有效地恢复稀疏向量和低秩矩阵。特别是，他们享有准确和稳定的恢复保证类似于那些已知的最小化$||x||_1$和$||X||_*$的条件下的传感运营商，如其零空间属性，限制等距属性，球面截面属性，或RIP属性。为了恢复（几乎）稀疏向量$x^0$，最小化$||x||_1+1/(2α)||x||_2^2$几乎每当$α\ge 10||x^0||_\infty$时返回与最小化$||x||_1$（几乎）相同的解。在最小化$||X||_*+1/(2α)||X||_F^2$和最小化$||X||_*$以恢复（接近）低秩矩阵$X^0$（如果$α\ge 10||X^0||_2$）之间也保持相同的关系。此外，我们证明了线性化Bregman算法的最小化$||x||_1+1/(2α)||x||_2^2$受$Ax=b$享有全局线性收敛，只要一个非零解存在，我们给出了一个明确的收敛速度。收敛属性不需要解或$A$上的任何属性。据我们所知，这是一阶稀疏优化算法最著名的…
2013-03-14 cs.IT math.IT math.OC
Enclosing minima in nonsmooth optimization via trust regions of higher-order cutting-plane models
Technical University of Munich（慕尼黑工业大学）
本文提出一种全局收敛的信赖域束法，用于求解下$C^2$函数的最小值，通过高阶切割平面模型，并在满足一定增长假设下，能计算出包含极小值的无限多个缩小信赖域。
2026-03-25 math.OC
A Globally Convergent Gradient-based Bilevel Hyperparameter Optimization Method
Centre for Data Science and AI（数据科学与人工智能中心）；Indian Institute of Management Ahmedabad（印度艾哈迈达巴德管理学院）；QI-CAP（QI-CAP公司）
本文提出一种基于梯度的双层超参数优化方法，利用高斯过程回归近似下层最优值函数，将双层问题转化为单层约束优化，保证全局收敛，并在MNIST和CIFAR-10上验证了其高效性和更好的泛化性能。
2023-06-18 cs.LG math.OC
Modified Armijo line search in optimization on Riemannian submanifolds with reduced computational cost
本文针对欧氏空间黎曼子流形上的优化问题，提出一种仅在必要时才计算收缩映射的新型黎曼线搜索策略，并证明基于该策略的最速下降法和牛顿法具有全局收敛性，数值实验表明其优于标准黎曼Armijo线搜索方法。
2025-04-10 math.OC
Sub-Sampled Newton Methods I: Globally Convergent Algorithms
International Computer Science Institute（国际计算机科学研究所）；University of California at Berkeley（加州大学伯克利分校）
大规模最优化问题在机器学习和数据分析中普遍存在，并且存在大量用于解决此类问题的算法。这些算法中的许多采用子采样，作为加速计算和/或隐式实现统计正则化形式的一种方式。在本文中，我们考虑二阶迭代优化算法，我们提供的范围上的收敛的变种的牛顿法，将均匀子采样作为一种手段来估计梯度和/或海森。我们的界限是非渐近的和定量的。我们的算法是全球性的，并保证从任何初始收敛。使用随机矩阵浓度不等式，可以对Hessian进行子采样以保持曲率信息。我们的第一个算法结合了海森子采样，同时使用全梯度。我们还给出了额外的收敛结果时，通过修改其频谱或脊型正则化的子采样海森正则化。接下来，除了Hessian子采样之外，我们还考虑对梯度进行子采样，以进一步降低每次迭代的计算复杂性。我们使用随机数值线性代数的近似矩阵乘法结果来获得适当的采样策略。在所有这些算法中，计算更新归结为求解大规模线性系，这在计算上是昂贵的。作为一种补救措施，对于我们所有的算法，我们也给出了整体收敛结果的情况下，不精确的更新，这样的线性系只解决近似。本文有一个更先进的配套文件，[42]，其中我们证明，通过做更细粒度的分析，我们可以得到这些算法的局部收敛的问题无关的界限，并探索权衡，以改善本文的基本结果。
2016-02-26 cs.LG math.OC stat.ML
An efficient, globally convergent method for optimization under uncertainty using adaptive model reduction and sparse grids
Department of Mathematics, Lawrence Berkeley National Laboratory, University of California, Berkeley（加州大学伯克利分校劳伦斯伯克利国家实验室数学系）；University of California, Berkeley（加州大学伯克利分校）；Department of Aerospace and Mechanical Engineering, University of Notre Dame（圣母院大学航空航天与机械工程系）；University of Notre Dame（圣母院大学）；Sandia National Laboratories（桑迪亚国家实验室）
本文提出了一种新的方法，用于高效求解受偏微分方程约束的优化问题，该方法通过自适应稀疏网格和降阶模型来平衡精度与速度，利用信任区域方法保证全局收敛性，适用于误差界难以精确计算的问题。
2019-05-16 cs.NA math.NA math.OC
