A globally convergent and locally quadratically convergent modified B-semismooth Newton method for $\ell_1$-penalized minimization
本文研究了一类带$\ell_1$ -罚项的非线性严格凸泛函的有效极小化问题。这样的最小化问题出现在广泛的应用，如吉洪诺夫正则化的（非）线性反问题的稀疏约束。在（2015 Inverse Problems（31）025005）中，针对线性反问题的$\ell_1$ -Tikhonov正则化，提出了一种全局化的Bouligand-semismooth Newton方法。然而，为了证明整体收敛，必须对迭代序列的聚点进行技术假设。在这里，我们将这种方法推广到一般的非线性问题，并提出了一个修改的半光滑牛顿法的整体收敛证明，没有任何额外的要求。此外，在一个技术假设下，完整的牛顿步骤最终被接受，并实现局部平方收敛。图像去模糊和鲁棒回归的数值算例验证了该方法的有效性。
2016-04-11 math.OC
A Globally Convergent Evolutionary Strategy for Stochastic Constrained Optimization with Applications to Reinforcement Learning
Polytechnique Montréal（蒙特利尔综合理工学院）；University of Basel（巴塞尔大学）；Johannes Kepler University Linz（林茨约翰·开普勒大学）
进化策略最近被证明可以在强化学习中实现复杂优化问题的性能竞争水平。在这样的问题中，人们经常需要优化一个受一组约束的目标函数，包括例如对策略熵的约束，或者限制代理可访问的可能的动作或状态集。然而，文献中缺乏优化随机约束问题的进化策略的收敛保证。在这项工作中，我们解决这个问题，通过设计一种新的优化算法，有足够的减少机制，确保收敛，这是只基于估计的功能。我们证明了该算法对两种类型的实验的适用性：i）最大化奖励的控制任务和ii）最大化奖励受一组不可放松的约束。
2022-02-21 cs.LG cs.NE math.OC
A globally convergent incremental Newton method
受大数据集上机器学习问题和网络上分布式优化问题的启发，我们提出并分析了一种新的方法，称为增量牛顿法，用于最小化大量强凸函数之和。我们表明，我们的方法是全局收敛的变步长规则。我们进一步证明了在梯度增长条件下，变步长和定步长规则的收敛速度都是线性的。通过一个例子，我们证明了没有梯度增长条件，增量牛顿法不能达到线性收敛。我们的分析可以扩展到研究其他增量方法：特别是，我们得到了一个线性收敛速率的增量高斯-牛顿算法下的变步长规则的结果。
2014-10-20 math.OC
Design of Globally Exponentially Convergent Continuous Observers for Velocity Bias and State for Systems on Real Matrix Groups
我们提出了有限维矩阵李群上不变运动系统的全局指数收敛连续观测器。这样的观测器估计，从地标，矢量和偏置速度的测量，系统状态和速度测量中的未知常数偏置，其中状态属于状态空间李群和速度的李群的李代数。其主要技术是将定义在矩阵李群上的给定系统嵌入到欧几里得空间中，并在欧几里得空间中构造观测器。用三维空间中的特殊欧氏群来说明这个理论。
2019-09-23 cs.SY eess.SY math.OC
A globally convergent modified Newton method for the direct minimization of the Ohta-Kawasaki energy with application to the directed self-assembly of diblock copolymers
我们提出了一个快速和强大的计划，直接最小化的Ohta-Kawasaki能量的特点的微相分离的二嵌段共聚物熔体。该方案采用了一种全局收敛的修正牛顿法与线搜索被证明是质量守恒，能量下降，渐近二次收敛，和三个数量级的效率比常用的梯度流方法。分析了极小元的正则性和一阶条件。基于一种新的聚合物-基质相互作用模型和所提出的方案，对化学基质引导的二嵌段共聚物熔体定向自组装进行了数值研究。
2020-10-28 cs.CE cs.NA math.NA
An Efficient and Globally Convergent Algorithm for $\ell_{p,q}$-$\ell_{r}$ Model in Group Sparse Optimization
School of Mathematical Sciences and LPMC, Nankai University（南开大学数学科学学院和LPMC）
本文提出了一种高效的全局收敛算法InISSAPL，用于解决非利普斯尼兹组稀疏$\ell_{p,q}$-$\ell_r$优化问题，结合了数据的底层稀疏性和分组结构。
2019-04-03 cs.NA math.NA math.OC
Globally Convergent Newton Methods for Ill-conditioned Generalized Self-concordant Losses
INRIA（法国国家信息与自动化研究所）；Département d’Informatique de l’École Normale Supérieure（巴黎高等师范学院计算机系）；PSL Research University（巴黎文理研究大学）
本文研究了基于牛顿法的大规模凸优化算法在正则化广义自协调损失问题中的应用，包括逻辑斯谛回归和softmax回归。我们首先证明，我们的新的简单的计划的基础上减少正则化参数的一系列问题是可证明的全局收敛，这种收敛是线性的一个常数因子的规模只有数学上的条件数。在参数设置中，我们得到了一个算法，具有相同的缩放比常规的一阶方法，但具有改进的行为，特别是在病态问题。其次，在非参数机器学习环境中，我们给出了一个结合Nystr{<$}m投影技术的显式算法，并证明了该算法的时间复杂度为O（ndf $λ$），记忆复杂度为O（df 2 $λ$），并且不依赖于条件数，从而推广了最小二乘回归的结果.这里n是观测数，df $λ$是相关的自由度。特别是，这是第一个在具有大条件数和理论保证的非参数设置中解决logistic和softmax回归的大规模算法。
2019-11-21 cs.AI cs.LG math.OC
Globally Convergent Policy Search over Dynamic Filters for Output Estimation
MIT（麻省理工学院）；University of California, Berkeley（加州大学伯克利分校）
我们介绍了第一个直接的政策搜索算法，可证明收敛到全局最优的$\textit{dynamic}$过滤器的经典问题，预测输出的线性动力系统，噪声，部分意见。尽管部分可观测性在实践中无处不在，但直接策略搜索算法（现代强化学习的支柱之一）的理论保证已被证明难以实现。这主要是由于在优化保持内部状态的过滤器时出现的退化。在本文中，我们提供了一个新的视角，这个具有挑战性的问题的基础上的概念，$\textit{informativity}$，直观地要求，所有组件的过滤器的内部状态的真实状态的底层动力系统的代表。我们表明，信息克服了上述退化。具体来说，我们提出了一个$\textit{regularizer}$，明确执行信息，并建立在这个正规化的目标梯度下降-结合"重新调整步骤“-收敛到全局最优成本的$\mathcal{O}(1/T)$率。我们的分析依赖于几个新的结果，这可能是独立的利益，包括一个新的框架，通过凸重构分析非凸梯度下降，和新的边界的解决方案，线性李雅普诺夫方程（我们的定量措施）的信息。
2022-02-25 cs.DS cs.LG math.OC
A globally convergent SQP-type method with least constraint violation for nonlinear semidefinite programming
提出一种基于两阶段策略和线搜索的全局收敛SQP型方法，用于非线性半定规划，能在原问题不可行时最小化约束违反并收敛至Fritz-John点。
2023-08-24 math.OC
A Globally Convergent LCL Method for Nonlinear Optimization
对于具有非线性约束的最优化问题，线性约束拉格朗日（LCL）方法顺序地最小化受线性化约束的拉格朗日函数。这些方法在解附近快速收敛，但从任意起点开始可能不可靠。众所周知的例子\MINOS \已证明对许多大型问题是有效的。它的成功促使我们提出一个全球收敛的变体。我们的稳定LCL方法具有两个重要性质：子问题总是可行的，他们可能会不精确地解决。这些功能在\MINOS中仅作为语法存在。新算法已在\Matlab中实现，可选择使用\MINOS或\SNOPT Fortran代码来求解线性约束子问题。只需要一阶导数。我们提出了数值计算结果的非线性子集的\COPS，\CUTE和HS测试问题集，其中包括许多大型的例子。结果表明，稳定的LCL程序的鲁棒性和效率。
2003-01-10 math.OC
A Globally and Quadratically Convergent Algorithm with Efficient Implementation for Unconstrained Optimization
本文对非线性无约束最优化问题提出了一种有效的修正牛顿型算法。修正的Hessian矩阵是单位矩阵（用于最速下降算法）和黑塞矩阵（用于Newton算法）的凸组合。在每次迭代中动态地选择凸组合的系数。证明了该算法对（凸和非凸）非线性函数是全局收敛的和二次收敛的。高效的实施描述。对广泛应用的CUTE测试问题进行了数值试验。并将试验结果与MATLAB优化工具箱函数{ \tt fminunc}的结果进行了比较。测试结果也比较了一些既定的和国家的最先进的算法，如有限的记忆BFGS，下降和共轭梯度算法，和有限的记忆和下降共轭梯度算法。实验结果表明，该算法具有较好的性能.
2012-12-21 math.OC
Two globally convergent nonmonotone trust-region methods for unconstrained optimization
本文讨论了求解非线性无约束最优化问题的几种具有非单调策略的置信域方法。更具体地说，使用非单调技术在非线性最优化的重要性，然后提出了两个新的非单调项，并将其组合到传统的置信域框架进行了研究。证明了这两种算法整体收敛于一阶和二阶稳定点，并具有局部超线性和平方收敛速率。数值实验的\textsf{CUTEst}测试收集无约束问题和一些高度非线性的检验函数，其中最先进的非单调置信域方法之间的比较显示所提出的非单调格式的效率。
2015-01-09 math.OC
A Globally Convergent Penalty-Based Gauss-Newton Algorithm with Applications
我们提出了一个全局收敛的高斯-牛顿算法，用于寻找非凸和可能非光滑最优化问题的局部最优解。我们提出的算法是基于高斯-牛顿型迭代的非光滑处罚制定的原始问题。我们建立了一个整体收敛速度从任何初始点的问题的一个稳定点，同时使用一个精确的惩罚制定。在一些更严格的条件下，我们还得到了该格式的局部平方收敛。我们应用我们提出的算法来解决的交流最优潮流问题的网状电力网络，这是一个基本的应用在电力系统工程。我们验证了所提出的方法的性能，通过显示与IPOPT，一个完善的求解器可比的行为。我们执行我们的最优潮流问题，这是来自MATPOWER库的几个代表性的实例验证。
2020-12-07 math.OC
A globally convergent method to accelerate topology optimization using on-the-fly model reduction
本文提出了一种基于投影的降阶模型和信赖域方法的全局收敛方法来加速基于密度的拓扑优化。为了加快拓扑优化，我们取代了大规模的有限元模拟，这占主导地位的计算成本，与ROM，降低成本的目标函数和梯度评估的数量级。为了保证收敛性，我们首先介绍了一个信赖域方法，采用广义信赖域约束，并证明它是全局收敛的。然后，我们设计了一类全局收敛的ROM加速拓扑最优化方法通知两个理论：上述信赖域理论，确定ROM的精度条件，保证该方法收敛到一个临界点的原始拓扑最优化问题;后验误差估计理论的投影为基础的ROM，通知ROM的建设过程，以满足精度条件。这导致信赖域方法，构建和更新ROM的飞行过程中优化，该方法保证收敛到一个临界点的原始，未简化的拓扑最优化问题，无论起点。对三个不同结构拓扑最优化问题的数值实验表明，所提出的约简拓扑最优化方法使收敛速度提高了数量级.
2020-12-10 cs.NA math.NA math.OC
Globally-convergent Iteratively Reweighted Least Squares for Robust Regression Problems
IIT Kanpur（印度理工学院坎普尔分校）；Microsoft Research India（微软印度研究院）
我们提供了第一个全局模型恢复结果的IRLS（迭代加权最小二乘）启发式鲁棒回归问题。IRLS是众所周知的，提供优良的性能，尽管坏的初始化和数据损坏，几个参数估计问题。现有的IRLS分析经常需要仔细的初始化，从而只提供局部收敛保证。我们通过对基本的IRLS例程提出增强来弥补这一点，这些例程不仅提供有保证的全局恢复，而且在实践中还优于最先进的鲁棒回归算法。我们的例程在基本回归任务以及线性武装强盗问题等应用任务中更不受超参数错误指定的影响。我们的理论分析依赖于一个新的扩展的概念，强凸性和光滑加权强凸性和光滑性，并建立次高斯设计提供有界加权条件数。这些概念在分析其他算法时也可能是有用的。
2020-06-25 cs.LG math.OC stat.ME
A new, globally convergent Riemannian conjugate gradient method
本文讨论了黎曼流形上的共轭梯度法，并讨论了其整体收敛.现有的共轭梯度算法需要假设向量迁移不增加切向量的范数，以保证生成的序列具有整体收敛性质.在本文中，一个缩放矢量传输的概念被引入到改进的算法，使所产生的序列可以有一个整体收敛的性质，在一个宽松的假设。在所提出的算法中，传输向量的范数在传输过程中增加的情况下被重新缩放。理论上证明了算法的整体收敛性，并通过实例进行了数值观察.实际上，数值实验表明，存在最小化问题，现有的算法产生发散序列，但所提出的算法产生收敛序列。
2013-08-02 math.OC
On a globally convergent semismooth* Newton method in nonsmooth nonconvex optimization
本文提出 GSSN 方法，结合近端梯度法保证全局收敛，利用 SCD semismooth* Newton 方法在弱假设下实现局部超线性收敛，并通过等式约束二次规划计算 Newton 方向，注重高效数值实现。
2025-01-24 math.OC
A Globally Convergent Proximal Newton-Type Method in Nonsmooth Convex Optimization
本文提出并证明了一个新的近似牛顿型算法，以解决广泛的一类非光滑复合凸优化问题，没有强凸性假设。基于变分分析的先进概念和技术，我们建立了该算法的整体收敛以及超线性和二次收敛率的局部收敛的可实现结果.对于某些结构化问题，所得到的局部收敛条件不要求相应的Hessian映射的局部Lipschitz连续性，而这是文献中用来保证邻近Newton型的其他算法的超线性收敛的一个重要假设.通过求解$l_1$正则化逻辑斯谛回归模型的数值实验，说明了该算法应用于实际问题的可行性。
2022-02-28 math.OC
Sampled-data and event-triggered control of globally Lipschitz infinite-dimensional systems
本文证明紧致反馈指数镇定的线性无限维系统可通过足够小扇区界和采样时间的采样数据反馈镇定，并提出减少切换事件的事件触发控制方案，以Sturm-Liouville系统为例验证。
2025-03-31 math.OC
Finding Zeros of Hölder Metrically Subregular Mappings via Globally Convergent Levenberg-Marquardt Methods
本文给出了两个全局收敛的Levenberg-Marquardt方法，用于寻找可能具有非孤立零点的Hölder度量次正则映射的零点.第一种方法统一了Levenberg- Marquardt方向和Armijo型线搜索，而第二种方法则将此方向与非单调信赖域技术相结合。对于这两种方法，我们证明了整体收敛到一个一阶稳定点的相关的价值函数。此外，这些方法的最坏情况下的全球复杂性，表明近似的稳定点可以计算在最多$\mathcal{O}(\varepsilon^{-2})$功能和梯度的评价，为一个准确度参数$\varepsilon>0$。我们还研究了所提出的方法收敛到零的相关映射的条件。计算生化反应网络的部分保守稳态可以转化为寻找Hölder度量次正则映射的零点的问题。我们报告了令人鼓舞的数值结果，找到一个零的这种映射来自现实世界的生物数据，这支持我们的理论基础。
2018-12-05 math.OC q-bio.MN
Globally convergent Jacobi-type algorithms for simultaneous orthogonal symmetric tensor diagonalization
Tianjin University（天津大学）；GIPSA-Lab, CNRS and Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学CNRS GIPSA实验室）
本文提出一种全局收敛的雅可比型算法，用于对称张量的正交对角化问题，并证明其在光滑函数下的收敛性。
2017-07-27 cs.IT cs.NA math.IT
A Globally Convergent Policy Gradient Method for Linear Quadratic Gaussian (LQG) Control
本文提出一种基于输入-输出历史的模型化策略梯度方法，通过建立动态输出反馈与静态增益的等价性并引入随机扰动，实现了LQG控制的全局线性收敛，仿真验证其控制器接近最优。
2024-02-25 cs.SY eess.SY math.OC
A globally convergent fast iterative shrinkage-thresholding algorithm with a new momentum factor for single and multi-objective convex optimization
Kyoto University（京都大学）
凸复合优化（Convex-composite optimization）是一种最小化由可微函数和凸函数之和表示的目标函数的优化方法，广泛应用于机器学习和信号/图像处理中。快速迭代收缩保持算法（FISTA）是求解该问题的一种典型方法，具有$O(1 / k^2)$的整体收敛速度。最近，这已被扩展到多目标最优化，连同$O(1 / k^2)$的整体收敛率的证明。然而，它的动量因子是经典的，其迭代的收敛性尚未得到证明。在这项工作中，引入一些额外的超参数$(a, b)$，我们提出了另一种加速邻近梯度方法与一般的动量因子，这是新的单目标的情况下。我们表明，我们提出的方法也有一个整体收敛速度$O(1/k^2)$的任何$(a,b)$，并进一步生成的迭代序列收敛到一个弱Pareto解时，$a$是积极的，有限时间流形识别的一个基本属性。此外，我们报告的数值结果与各种$(a,b)$，表明这些选择中的一些给出了更好的结果比经典的动量因子。
2022-05-11 cs.LG math.OC
Globally convergent homotopies for discrete-time optimal control
本文基于非线性规划全局收敛同伦理论，提出离散时间最优控制问题的零曲线系统构造框架，保证几乎任意初始猜测均存在便于数值追踪的同伦路径，并通过线性系统与Dubins载具路径规划验证。
2024-12-07 cs.SY eess.SY math.OC
A Globally Convergent Algorithm for Neural Network Parameter Optimization Based on Difference-of-Convex Functions
ETH Zurich（苏黎世联邦理工学院）；FAU Erlangen-Nuremberg（埃尔朗根-纽伦堡大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；LMU Munich（慕尼黑大学）
本文针对单隐藏层神经网络参数优化，提出基于分块差分凸表示并结合分块坐标下降与DCA的全局收敛算法，并给出线性或更快收敛条件，数值实验验证其优于主流梯度求解器。
2024-01-15 cs.LG cs.NE math.OC
A Globally Convergent Distributed Jacobi Scheme for Block-Structured Nonconvex Constrained Optimization Problems
针对高性能并行计算的需求，设计了一种求解线性耦合块结构非凸约束最优化问题的分布式并行算法.我们的算法进行雅可比型的增广拉格朗日函数的近端更新，只需要可分块非线性规划（NLP）问题的局部解。我们提供了一个便宜的，明确可计算的李雅普诺夫函数，使我们能够建立我们的算法，其迭代复杂性，以及简单，实用和理论上的收敛规则，自动调整其参数的全局和局部次线性收敛。这与现有的算法相比，非凸约束优化的基础上的交替方向法的乘法器，依赖于至少以下之一：高斯-赛德尔或顺序更新，全局解决方案的NLP问题，不可计算的李雅普诺夫函数，手动调整参数。数值实验展示了其在大规模问题上的优势，包括在168个时间段内对9000总线AC最优潮流测试用例进行多周期优化，并使用开源Julia代码在Summit超级计算机上解决。
2021-12-16 math.OC
A globally convergent Carleman-Picard method for an inverse initial-value problem for a nonlinear diffusive coagulation-fragmentation equation coagulation-fragmentation equation
California State University, Long Beach（加州州立大学长滩分校）；Texas A&M University（德克萨斯农工大学）；University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）
本文提出一种基于Legendre-指数时间缩减和Carleman-皮卡迭代的全局收敛方法，用于恢复非线性扩散聚并-裂变方程的未知初始粒子尺寸分布，通过边界观测和其尺寸导数的时间依赖数据实现准确稳定重建。
2026-03-22 cs.NA math.NA math.OC
Globally Convergent Coderivative-Based Generalized Newton Methods in Nonsmooth Optimization
本文提出两种基于余导数和广义 Hessian 的全局收敛广义 Newton 方法，分别处理正定与半正定情形，并在 Lasso 和箱约束二次规划上验证其性能。
2023-04-26 math.OC
A Globally Convergent LP and SOCP-based algorithm for Semidefinite Programming
半定规划（SDP）是数值优化中最通用的框架之一，作为许多圆锥规划的推广和NP-难组合问题的松弛。它们的主要缺点是它们的计算和内存复杂性，这对现成的SDP求解器可解决的问题的大小设置了实际限制。为了规避这一事实，已经提出了许多算法来利用特定问题的结构，并增加这些问题实例的SDP的可扩展性。然而，一般情况下的服务提供点的进展并不那么陡峭。在本文中，由Ahmadi和霍尔的早期结果的动机，我们表明，一般SDP可以解决$ε$ -最优性，在多项式时间内，通过执行一系列计算要求较低的线性或二阶锥程序。此外，我们提供了一个界上的迭代次数需要达到$ε$ -最优。这些结果使用随机SDPs和来自SDPLib数据集的众所周知的问题来说明。
2022-02-24 math.OC
A Fast Globally Linearly Convergent Algorithm for the Computation of Wasserstein Barycenters
我们考虑的问题计算Wasserstein重心的一组离散概率分布与有限的支持，发现许多领域，如统计，机器学习和图像处理。当重心的支撑点是预先指定的，这个问题可以建模为一个线性规划（LP）的问题，其大小可以是非常大的。为了处理这个大规模的LP，我们分析了其对偶问题的结构，这是可以想象的更容易处理，可以重新表述为一个结构良好的凸问题与3种块变量和耦合线性等式约束。然后，我们适应基于对称高斯-赛德尔的交替方向法的乘法器（sGS-ADMM）来解决由此产生的对偶问题，并建立其整体收敛和全局线性收敛速率。作为有效计算的一个关键组成部分，我们还展示了如何准确有效地解决所有涉及的子问题。这使得我们的方法适合于计算一个大规模的数据集上的Wasserstein重心，而不引入熵正则化项，因为通常是实践。此外，我们的sGS-ADMM可以用作交替最小化方法中的子程序，以计算重心时，它的支持点没有预先指定。在合成数据集和图像数据集上的数值结果表明，与现有的两种代表性方法和商业软件Guesthouse相比，该方法在求解大规模Wasserstein质心问题上具有很强的竞争力.
2020-12-26 math.OC stat.ML
Globally Convergent Policy Gradient Methods for Linear Quadratic Control of Partially Observed Systems
针对部分观测线性系统的LQ控制，本文提出基于有限历史输入输出轨迹的策略参数化，证明梯度优势与全局收敛，并通过仿真验证。
2023-04-22 cs.SY eess.SY math.OC
Gauss-Newton meets PANOC: A fast and globally convergent algorithm for nonlinear optimal control
本研究提出一种结合高斯-牛顿方向的PANOC变体算法，将其高斯-牛顿步转化为LQR问题通过Riccati递推高效求解，在最优控制基准问题上速度是传统L-BFGS变体PANOC的两倍以上，且性能随时域长度增加有良好扩展性。
2022-12-08 cs.SY eess.SY math.OC
A Globally Convergent Flow for Time-Dependent Mean Field Games and a Solver-Agnostic Framework for Inverse Problems
City University of Hong Kong（香港城市大学）；California Institute of Technology（加州理工学院）；National University of Singapore（新加坡国立大学）
提出Hessian-Riemannian流用于时间依赖平均场博弈的全局收敛求解，并构建求解器无关的逆问题框架，通过双层优化和伴随梯度实现参数估计。
2026-06-19 math.OC
A globally convergent flow for computing the best low rank approximation of a matrix
我们研究了具有Frobenius内积的$m$ -by- $n$实矩阵空间.考虑下面的问题：给定一个m × n实矩阵A和一个正整数k，找出最接近A的秩为k的m × n矩阵。本文讨论一类保秩微分方程（d.e.）这解决了这个问题。如果X（t）是这个d.e.的解，则$X(t)$和$A$之间的距离随着t的增加而减小;该距离函数是d.e.如果$A$具有不同的正奇异值（这是一般条件），则该d.e.只有一个稳定的平衡点其他的平衡点在数量上是有限的并且是不稳定的。换句话说，秩为$k$的矩阵流形上的稳定平衡点吸引区域由几乎所有的矩阵组成。这个特殊的平衡点就是给定问题的解。通常约束最优化问题有许多局部极小值（其中大多数是不期望的）。因此，这里考虑的约束最优化问题是非常特殊的。
2007-02-21 math.DS math.OC
On the global convergent of an inexact quasi-Newton conditional gradient method for constrained nonlinear systems
本文提出一种求解约束非线性系统的全局收敛方法。该方法结合了一个有效的牛顿条件梯度法与导数自由和非单调线性搜索策略。在适当的条件下建立了所提方法的整体收敛分析，并给出了一些初步的数值实验来说明其性能。
2018-06-05 math.OC
Linearly Convergent Algorithm with Variance Reduction for Distributed Stochastic Optimization
本文考虑了一个分布式随机强凸优化问题，其中连接在一个网络上的多个智能体的目标是合作地最小化所有智能体的局部费用函数的平均值。由于梯度估计的随机性和局部目标的分布性，目前还没有快速线性收敛的分布式算法。本文提出了一种新的分布式随机梯度跟踪算法，该算法通过增加采样梯度的批量大小来估计局部梯度。与一个无向连接的通信图和一个几何增加的批量大小，迭代收敛的平均几何速度（实现线性收敛）的最优解。建立了获得$ε$ -最优解的迭代、通信和预言复杂性。特别地，通信复杂度是$\mathcal{O}(\ln (1/ε))$，而预言复杂度（采样梯度的数量）是$\mathcal{O}(1/ε^2)$，其与集中式方法的数量级相同。因此，所提出的方案是通信高效的，而不需要额外的采样梯度。通过数值模拟验证了理论结果。
2020-02-14 cs.MA math.OC
Globally Convergent Block Coordinate Descent Algorithms for Semi-Nonnegative Independent Component Analysis
School of Science, Sun Yat-sen University（中山大学理学院）；Department of Systems Engineering and Engineering Management, The Chinese University of Hong Kong（香港中文大学系统工程及工程管理学系）；School of Mathematical Sciences, Xiamen University（厦门大学数学科学学院）
针对半非负独立成分分析，提出全局收敛的块坐标下降框架，推导显式更新规则，在合成数据与磁共振波谱数据实验中表现出更低恢复误差、更短运行时间及更低目标值。
2026-10-14 math.OC
Generalized Damped Newton Algorithms in Nonsmooth Optimization via Second-Order Subdifferentials
本文提出并发展了求解重要的非光滑最优化问题的新的全局收敛的广义阻尼牛顿型算法。这些算法是基于非光滑函数的二阶次微分的理论和计算，采用二阶变分分析和广义微分的机械。首先，我们发展了一类全局超线性收敛的阻尼牛顿型算法的连续可微函数的Lipschitz梯度，这是非光滑的二阶。然后，我们设计这样一个全局收敛的算法来解决一类结构化的非光滑二次组合问题的扩展实值费用函数，这通常出现在机器学习和统计。最后，我们提出了数值实验的结果，并比较我们的主要算法应用到一个重要的一类Lasso问题与其他一阶和二阶优化算法所取得的性能。
2022-01-18 math.OC
A Globally Convergent Gradient Method with Momentum
本文提出了一种具有动量的梯度方法，通过在二维子空间中最小化二次模型来实现全局收敛和最优复杂度界，适用于非凸无约束优化问题。
2025-09-29 math.OC
A globally and superlinearly convergent QO-free method for nonlinear optimization on Riemannian manifolds
Guangxi University（广西大学）；South China University of Technology（华南理工大学）；Xiamen University（厦门大学）；Guangxi Minzu University（广西民族大学）
本研究将无二次优化（QO-free）方法推广至带约束的黎曼流形优化，提出含主搜索方向、高阶校正方向及黎曼弧搜索的算法，证明其全局与超线性收敛性，数值实验显示其具竞争力。
2026-08-11 math.OC
A globally convergent difference-of-convex algorithmic framework and application to log-determinant optimization problems
针对凸差分算法（DCA）理论与框架不足，本文提出扩展Polyak–Łojasiewicz条件下的线性全局收敛理论，并构建高效DCProx邻近计算框架，成功应用于网络信息论中的对数行列式优化问题。
2023-06-03 math.OC
A Globally Convergent Third-Order Newton Method via Unified Semidefinite Programming Subproblems
Massachusetts Institute of Technology（麻省理工学院）；University of Oxford（牛津大学）
ALMTON通过统一半定规划子问题实现了无约束非凸优化的全局收敛三次牛顿法，具有更稳定的收敛性和更广的吸引盆地。
2026-08-24 cs.NA math.NA math.OC
A globally convergent algorithm for nonconvex optimization based on block coordinate update
非凸最优化问题出现在计算科学和工程的许多领域中，并且可以通过各种算法（近似）求解。现有的算法通常只具有迭代的局部收敛或子序列收敛性。我们提出了一种算法的一般非凸优化配方，建立其整个的收敛序列的一个临界点，随着收敛速率，并数值证明其效率。特别地，我们考虑了非凸目标函数的极小化问题。它的变量可以被视为一个块或被划分为多个不相交的块。假设目标函数的每个不可微分量或每个约束应用于一个变量块。然而，目标函数的可微分量可以一起应用于一个或多个变量块。我们的算法通过最小化某个非线性代理来更新一个变量块。更新的顺序可以是确定性的，也可以在每轮中随机打乱。我们得到的收敛性的整个序列相当宽松的条件下，包括，特别是，Kurdyka-Eschojasiewicz（KL）条件，这是满足广泛的一类非凸/非光滑的应用。我们将收敛结果应用于非凸正则线性回归的坐标下降法和非负矩阵分解的一种改进的秩一留数迭代法。我们证明了这两种方法都具有整体收敛性。数值上，我们测试我们的算法上的非负矩阵和张量分解问题，随机洗牌，使避免局部解决方案。
2015-08-20 math.OC
A Globally Convergent Gradient-based Bilevel Hyperparameter Optimization Method
Centre for Data Science and AI（数据科学与人工智能中心）；Indian Institute of Management Ahmedabad（印度艾哈迈达巴德管理学院）；QI-CAP（QI-CAP公司）
本文提出一种基于梯度的双层超参数优化方法，利用高斯过程回归近似下层最优值函数，将双层问题转化为单层约束优化，保证全局收敛，并在MNIST和CIFAR-10上验证了其高效性和更好的泛化性能。
2023-06-18 cs.LG math.OC
Hybrid Acceleration Scheme for Variance Reduced Stochastic Optimization Algorithms
随机方差缩减的最优化方法具有全局收敛性，但存在局部收敛慢的问题，特别是当需要中精度或高精度时。为了缓解这个问题，我们提出了一个优化算法-我们称之为一个混合加速计划-一类近似方差减少随机最优化算法。所提出的优化方案结合了快速局部收敛的算法，如拟牛顿法，与全局收敛的方差减少的随机算法，如SAGA或L-SVRG。我们的混合加速方法的整体收敛结果是基于特定的保障条件，需要满足一个步骤的局部快速收敛的方法被接受。我们证明了由混合加速方案产生的迭代序列几乎必然收敛到底层最优化问题的解。我们还提供了数值实验，显示显着改善的收敛性的混合加速计划相比，基本的随机方差减少优化算法。
2021-11-12 math.OC
A Globally Convergent Method for Computing B-stationary Points of Mathematical Programs with Equilibrium Constraints
University of Freiburg（弗赖堡大学）；Argonne National Laboratory（阿贡国家实验室）
本文提出一种全局收敛方法，用于计算具有均衡约束的数学规划的B-stationary点，通过求解一系列线性规划和非线性规划问题，提高计算效率和鲁棒性。
2026-09-09 math.OC
A globally convergent method to accelerate large-scale optimization using on-the-fly model hyperreduction: application to shape optimization
针对大规模非线性PDE约束优化，本文提出在信赖域框架中即时构建超约简降阶模型的方法，无需离线训练即可保证全局收敛，并在流体形状优化中实现超过18倍加速。
2022-06-20 cs.NA math.NA math.OC
INTHOP: A Second-Order Globally Convergent Method for Nonconvex Optimization
Indian Institute of Technology Kanpur（坎普尔印度理工学院）；Indian Institute of Technology Roorkee（鲁尔基印度理工学院）
INTHOP通过区间Hessian方法解决非凸优化中的高计算成本、Hessian求逆和非定性Hessian方向问题，证明了算法的全局收敛性，并在测试问题中表现出更高的效率。
2026-04-07 math.OC
Augmented L1 and Nuclear-Norm Models with a Globally Linearly Convergent Algorithm
本文研究了在稀疏优化的背景下添加一个光滑函数来“光滑”不可微目标函数的长期存在的思想，特别是$||x||_1+1/(2α)||x||_2^2$的最小化，其中$x$是一个向量，以及$||X||_*+1/(2α)||X||_F^2$的最小化，其中$X$是一个矩阵，$||X||_*$和$||X||_F$分别是$X$的核和Frobenius范数。我们表明，他们可以有效地恢复稀疏向量和低秩矩阵。特别是，他们享有准确和稳定的恢复保证类似于那些已知的最小化$||x||_1$和$||X||_*$的条件下的传感运营商，如其零空间属性，限制等距属性，球面截面属性，或RIP属性。为了恢复（几乎）稀疏向量$x^0$，最小化$||x||_1+1/(2α)||x||_2^2$几乎每当$α\ge 10||x^0||_\infty$时返回与最小化$||x||_1$（几乎）相同的解。在最小化$||X||_*+1/(2α)||X||_F^2$和最小化$||X||_*$以恢复（接近）低秩矩阵$X^0$（如果$α\ge 10||X^0||_2$）之间也保持相同的关系。此外，我们证明了线性化Bregman算法的最小化$||x||_1+1/(2α)||x||_2^2$受$Ax=b$享有全局线性收敛，只要一个非零解存在，我们给出了一个明确的收敛速度。收敛属性不需要解或$A$上的任何属性。据我们所知，这是一阶稀疏优化算法最著名的…
2013-03-14 cs.IT math.IT math.OC
A Dai-Yuan-type Riemannian conjugate gradient method with the weak Wolfe conditions
本文提出了一种新的黎曼共轭梯度法，并给出了整体收敛性分析。现有的Fletcher-Reeves型黎曼共轭梯度法在强Wolfe条件下保证全局收敛.另一方面，戴元型欧氏共轭梯度法在弱Wolfe条件下产生全局收敛序列.本文将戴元的欧几里德算法推广到只需要弱Wolfe条件的黎曼算法。通过与微分收缩相关联的尺度矢量输运证明了该方法的整体收敛性质。数值实验结果表明了该算法的有效性。
2016-06-17 math.OC
An efficient, globally convergent method for optimization under uncertainty using adaptive model reduction and sparse grids
Department of Mathematics, Lawrence Berkeley National Laboratory, University of California, Berkeley（加州大学伯克利分校劳伦斯伯克利国家实验室数学系）；University of California, Berkeley（加州大学伯克利分校）；Department of Aerospace and Mechanical Engineering, University of Notre Dame（圣母院大学航空航天与机械工程系）；University of Notre Dame（圣母院大学）；Sandia National Laboratories（桑迪亚国家实验室）
本文提出了一种新的方法，用于高效求解受偏微分方程约束的优化问题，该方法通过自适应稀疏网格和降阶模型来平衡精度与速度，利用信任区域方法保证全局收敛性，适用于误差界难以精确计算的问题。
2019-05-16 cs.NA math.NA math.OC
A Linearly Convergent Majorized ADMM with Indefinite Proximal Terms for Convex Composite Programming and Its Applications
研究凸组合最优化问题的一种优化的不定邻近项乘子交替方向法（iPADMM）.我们发现，优化的iPADMM的2块凸最优化问题的全局收敛的条件下较弱的文献中所使用的，并表现出线性收敛速率下的局部误差界条件。在此基础上，我们建立了一个基于对称Gaussian-Seidel的优化iPADMM的线性速度收敛结果，该算法是针对多块复合凸优化问题而设计的。此外，我们应用优化的iPADMM来解决不同类型的正则化逻辑斯谛回归问题。合成和真实数据集上的数值结果证明了优化的iPADMM的有效性，也说明了引入的不定邻近项的有效性。
2018-02-07 math.OC
Distributed State Estimation for Linear Time-invariant Systems with Aperiodic Sampled Measurement
本文针对不满足可观测性条件的线性时不变系统，提出基于时变采样和异步通信的分布式观测器设计方法，给出采样周期显式上界，实现状态指数估计。
2024-06-07 cs.SY eess.SY math.DS
Block BFGS Methods
我们介绍了一种块更新的拟牛顿法，称为块BFGS。我们表明，这种方法，进行不精确的Armijo-Wolfe线搜索，全局收敛和超线性BFGS相同的凸性假设下。我们还表明，块BFGS是全局收敛到一个稳定点时，适用于非凸函数有界Hessian，并讨论了其他修改的非凸极小化。数值实验比较块BFGS，BFGS和梯度下降。
2017-11-30 math.OC
