Gauss-Newton-type methods for bilevel optimization
本文研究了求解超定系统双层规划问题的Gauss-Newton型方法。为了进行,我们使用较低级别的价值函数重新制定的双层计划,并考虑必要的最优性条件在适当的假设。首先严格互补的上下层的可行性约束下,我们证明了收敛的高斯-牛顿型方法在计算点满足这些最优性条件下额外的易处理的资格条件。潜在的方法,以解决该方法的缺点,然后提出,导致替代品,如伪或平滑高斯-牛顿型方法的双层优化。我们的数值实验进行了124个例子,从最近发布的双层优化库(BOLIB)比较我们的方法在不同的情况下的性能,并表明这是一个易于处理的方法来解决连续变量的双层最优化问题。
2020-03-06 math.OC
Forward-backward truncated Newton methods for convex composite optimization
针对复合形式的凸非光滑最优化问题,提出了两种近似Newton-CG方法。该算法是基于一个重新制定的原始非光滑问题的无约束极小化的连续可微函数,即向前向后包络(FBE)。第一个算法是基于一个标准的线搜索策略,而第二个结合了相应的一阶方法的全局效率估计,同时实现快速的渐近收敛率。此外,它们在计算上是有吸引力的,因为每个牛顿迭代需要通常小维度的线性系的近似解。
2014-02-28 math.OC
Quasi-Newton method of Optimization is proved to be a steepest descent method under the ellipsoid norm
本文引入并推广经典 Cauchy-Schwartz 不等式,严格证明了无需计算 Hessian 且具超线性收敛速度的拟牛顿法在椭球范数下本质上是一种最速下降法。
2024-11-18 math.OC
Proximal Quasi-Newton Methods for Multiobjective Optimization Problems
针对无约束多目标最优化问题(简称UMOP),提出了几种新的近似拟牛顿法,其中每个目标函数是一个二次连续可微强凸函数和一个适当的下连续凸但不一定是可微函数之和.我们提出了近似BFGS方法,近似自缩放BFGS方法,和近似黄BFGS方法(UMOP)与线搜索和没有线搜索的情况下。在温和的假设下,我们证明了由这些算法产生的序列的每个聚点,如果存在的话,是(UMOP)的Pareto平稳点。此外,我们还介绍了它们在约束多目标最优化问题和鲁棒多目标最优化问题中的应用。特别地,对于鲁棒多目标最优化问题,我们证明了近似拟牛顿算法的子问题可以看作是带二次不等式约束的二次极小化问题。数值实验也验证了所提出的近似拟牛顿法的有效性。
2022-04-07 math.OC
Analysis of Newton-Raphson Consensus for multi-agent convex optimization under asynchronous and lossy communications
我们扩展了一个多代理凸优化算法牛顿-拉夫森共识的网络场景,涉及定向,异步和有损通信。我们从理论上分析了算法的稳定性和性能,特别是,提供充分条件,保证局部指数收敛的节点状态的全局集中式极小,即使在存在数据包丢失。最后,我们补充的理论分析与数值模拟,比较性能的牛顿-拉夫森共识对异步实现的分布式次梯度方法从开源数据库中提取的真实数据集。
2017-04-20 math.OC
Stochastic Quasi-Newton Methods for Nonconvex Stochastic Optimization
本文研究了非凸随机最优化的随机拟牛顿法,其中我们假设只有目标函数的梯度的随机信息可以通过随机一阶预言机(SFO)得到.首先,我们提出了求解非凸随机最优化的随机拟牛顿法的一般框架。建议的框架扩展了经典的拟牛顿法在确定性设置随机设置,我们证明了其几乎必然收敛平稳点。其次,我们提出了一类随机随机拟牛顿法的一般框架,其中算法进行的迭代次数是随机变量。分析了这类方法的最坏情况SFO调用复杂度。第三,我们提出了两个具体的方法,即随机阻尼BFGS方法和随机循环Barzilai-Borwein方法。最后,我们报告的数值结果来证明所提出的方法的效率。
2014-12-04 math.OC
Gradient Projection Newton Pursuit for Sparsity Constrained Optimization
基于硬阈值的算法在控制稀疏性和允许快速计算方面具有稀疏优化的各种优势。最近的研究表明,当牛顿型方法的技术集成,其数值性能可以得到惊人的改善。本文提出了一种梯度投影牛顿追踪算法,该算法主要采用硬阈值算子,仅在满足一定条件时才使用牛顿追踪。该算法能够在标准假设下全局收敛和二次收敛。当涉及到压缩感知问题时,强加的假设比许多最先进的算法要弱得多。此外,大量的数值实验证明了其与其他领先求解器相比的高性能。
2022-06-06 math.OC
Mixed Newton Method for Optimization in Complex Spaces
MIPT(莫斯科物理技术学院);HSE University(高等经济大学);Innopolis University(因诺波利斯大学);IITP RAS(俄罗斯科学院信息传输问题研究所);ISP RAS(俄罗斯科学院系统编程研究所);FRC CSC RAS(俄罗斯科学院计算机科学与控制研究中心);Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院);IAI MSU(莫斯科大学信息安全与信息研究所);Yandex(Yandex公司)
本文将 Mixed Newton Method 扩展至实变量实值函数优化,证明任意正则化可保持其局部收敛性,提出特殊正则化防止收敛至复数极小值,并在训练实数与复数参数神经网络中比较了该方法的多种变体。
2024-11-13 cs.LG math.OC
Proximal Quasi-Newton Method for Composite Optimization over the Stiefel Manifold
针对Stiefel流形上的复合优化问题,提出名为ManPQN的黎曼近端拟牛顿法,证明其全局与局部线性收敛性并分析迭代复杂度,数值实验验证该方法可加速近端梯度法。
2025-01-16 math.OC
A Primal-Dual Quasi-Newton Method for Exact Consensus Optimization
我们引入原始-对偶拟牛顿(PD-QN)方法作为求解分散最优化问题的近似二阶方法。PD-QN方法对共识最优化问题的原始变量和对偶变量执行拟牛顿更新,以找到增广拉格朗日的最优点。通过优化增广拉格朗日量,PD-QN方法能够以线性收敛速率找到一致性问题的精确解。我们推导出完全分散的拟牛顿更新,近似二阶信息,以减少相对于对偶方法的计算负担,并使该方法在病态问题中相对于一阶方法更具鲁棒性。形式上建立了PD-QN的线性收敛速率,数值上显示了相对于现有对偶方法和原始-对偶方法的强大性能优势。
2019-07-10 math.OC
Convergence of a Randomized Newton Method in Nonconvex Optimization
本文分析了一种结合牛顿算法与状态相关高斯噪声的随机牛顿方法,用于非凸优化中定位唯一全局极小值点,并证明了有界域下的全局几乎必然收敛性。
2026-09-10 math.OC
On a globally convergent semismooth* Newton method in nonsmooth nonconvex optimization
本文提出 GSSN 方法,结合近端梯度法保证全局收敛,利用 SCD semismooth* Newton 方法在弱假设下实现局部超线性收敛,并通过等式约束二次规划计算 Newton 方向,注重高效数值实现。
2025-01-24 math.OC
Variational discretization and semi-smooth Newton methods; implementation, convergence and globalization in pde constrained optimization with control constraints
当结合变分离散的数值概念和半光滑牛顿法求解带有控制约束的偏微分方程约束优化的数值解时,必须特别强调数值算法的实现、收敛性和全局性。在目前的工作中,我们解决所有这些问题。特别是,我们证明了快速局部收敛的算法,并提出了两种不同的全球化战略,适用于许多实际相关的数学设置。我们通过数值实验说明了我们的分析和算法研究结果。
2009-12-02 math.OC
The Quasi-Newton Method for the Composite Multiobjective Optimization Problems
本文针对复合多目标优化问题(CMOP)提出了结合Armijo线搜索的BFGS、自标度BFGS和Huang BFGS等新拟牛顿方法,并证明了算法生成序列的聚点为Pareto稳定点和最优点。
2023-09-10 math.OC
Proximal Diagonal Newton Methods for Composite Optimization Problems
本文提出一种基于对角度量的近端牛顿型方法,用于求解复合优化问题,理论分析与数值实验表明其在非凸情形下优于近端梯度法。
2023-10-10 math.OC
New Proximal Newton-Type Methods for Convex Optimization
本文对复合形式的凸优化问题提出了新的近似牛顿型方法。应用包括模型预测控制(MPC)和嵌入式MPC。我们的新方法在计算上是有吸引力的,因为它们不需要在每次迭代时评估Hessian,同时保持快速的收敛速度。更具体地说,我们证明了整体收敛性的保证和超线性收敛是在附近的最优解。我们还结合拟牛顿和不精确子问题求解方案,开发了几种实用的变型,并在一定条件下为它们提供了理论保证。在真实数据集上的实验结果证明了新方法的有效性和效率。
2020-07-18 math.OC
Newton-type method for bilevel programs with linear lower level problem and application to toll optimization
本文考虑一个下层线性问题的左扰动双层规划。然后,我们考虑Karush-Kuhn-Tucker重新制定的问题,并随后建立一个易于处理的最优化问题的线性约束的部分精确惩罚。最后,我们将该算法应用于交通网络中的最优收费问题,证明了该算法的收敛性和实际实现。
2020-10-22 math.OC
Incremental Quasi-Newton Algorithms for Solving Nonconvex, Nonsmooth, Finite-Sum Optimization Problems
提出并测试了求解非凸、非光滑、有限和最优化问题的算法。特别是,算法提出和测试的上下文中产生的半监督机器学习的最优化问题制定。所有算法的共同特征是它们采用增量拟牛顿(IQN)策略,特别是增量BFGS(IBFGS)策略。一个应用IBFGS策略的问题直接,而其他应用IBFGS策略的差异凸重构,平滑逼近,或(强)凸局部逼近。实验表明,所有IBFGS方法在实践中表现良好,并且都优于最先进的捆绑方法。
2022-07-20 math.OC
A Newton-CG Algorithm with Complexity Guarantees for Smooth Unconstrained Optimization
我们考虑最小化的光滑非凸目标函数使用迭代算法的基础上牛顿法和线性共轭梯度算法,明确检测和使用负曲率方向的Hessian的目标函数。该算法密切跟踪20世纪80年代开发的牛顿共轭梯度程序,但包括增强功能,允许证明最坏情况下的复杂性结果收敛到满足近似一阶和二阶最优性条件的点。的复杂性结果匹配的最佳已知的结果在文献中的二阶方法。
2018-11-12 math.OC
Trust-Region Newton-CG with Strong Second-Order Complexity Guarantees for Nonconvex Optimization
非凸优化算法的最坏情况复杂性保证是一个越来越受关注的话题。已经提出了多个框架,实现了最知名的复杂性界限之间的广泛的一类一阶和二阶策略。这些方法通常主要是在考虑复杂性保证的情况下设计的,因此,它们偏离了在实践中被证明是最有效的算法。在本文中,我们考虑置信域牛顿法,最流行的一类算法解决非凸最优化问题。通过对原方案进行轻微修改,我们得到了两种方法-一种是基于精确子问题解决方案,另一种是利用不精确子问题解决方案,如在流行的“置信域牛顿共轭梯度”(置信域牛顿CG)方法-迭代和操作复杂性边界匹配上述一类一阶和二阶方法的最佳已知边界。由此产生的置信域牛顿-CG方法也保留了经典的置信域牛顿-CG,我们证明了一个标准的基准测试集上的数值比较有吸引力的实际行为。
2020-11-19 math.OC
A unified framework for inexact adaptive stepsizes in the gradient methods, the conjugate gradient methods and the quasi-Newton methods for strictly convex quadratic optimization
School of Mathematics and Statistics, Guizhou University(贵州大学数学与统计学院)
本文提出了一种统一框架,用于梯度法、共轭梯度法和拟牛顿法在严格凸二次优化中的不精确自适应步长,分析了其全局收敛性及收敛速率,并通过数值结果验证了其有效性。
2026-04-22 math.OC
A Quasi Newton Method for Uncertain Multiobjective Optimization Problems via Robust Optimization Approach
本文提出一种拟牛顿法求解任意有限不确定性集下不确定多目标优化问题的鲁棒对应问题,通过构造子问题确定下降方向,结合Armijo线搜索和修正BFGS公式,证明算法超线性收敛,并用数值实验验证其优于加权和方法。
2023-10-11 math.OC
Newton-type Multilevel Optimization Method
受线性方程组多重网格方法的启发,提出了求解结构化最优化问题的多层最优化方法。多层方法对最优化模型的结构做了更多的假设,因此,它们优于单级方法,特别是对于大规模模型。多级最优化方法的令人印象深刻的性能是一个经验观察,迄今为止还没有提出理论解释。为了解决这个问题,我们研究了一个多层方法,这是由二阶方法的收敛性。我们采取的第一步,建立一个最优化问题的结构是如何与多级算法的收敛速度。
2019-11-26 math.OC
A Semismooth Newton based Augmented Lagrangian Method for Nonsmooth Optimization on Matrix Manifolds
研究了一类具有非光滑目标函数和非线性约束的流形最优化问题的增广拉格朗日方法。在流形上线性依赖为常数的条件下,证明了该方法收敛于非光滑流形最优化问题的一个稳定点。此外,我们提出了一个全球化的半光滑牛顿方法,有效地解决流形上的增广拉格朗日子问题。在适当的条件下,证明了流形半光滑牛顿法的局部超线性收敛。我们还证明了子流形上的半光滑性可以继承于环境流形上的半光滑性。最后,压缩模式和(约束)稀疏主成分分析的数值实验说明了所提出的方法的优点。
2022-07-19 math.OC
Adaptive Multilevel Newton: A Quadratically Convergent Optimization Method
UniDistance Suisse(瑞士远程大学);Oxford University(牛津大学);Imperial College London(伦敦帝国学院)
本文提出了一种自适应多级牛顿法,通过自动切换至全牛顿法实现二次收敛,实验证实其在强凸问题中优于传统牛顿法和梯度下降法。
2026-03-04 math.OC
From Convex Optimization to MDPs: A Review of First-Order, Second-Order and Quasi-Newton Methods for MDPs
本文综述了求解马尔可夫决策过程的经典算法与凸优化中基于梯度的经典算法之间的联系。其中一些联系可以追溯到20世纪80年代,但近年来它们的发展势头越来越大,并导致了求解MDP的更快算法。特别地,用于求解MDP的两个最流行的方法,值迭代和策略迭代,可以链接到凸优化中的一阶和二阶方法。此外,最近的结果在拟牛顿法导致新的算法MDP,如安德森加速。通过将MDP的算法明确地分为一阶、二阶和拟牛顿法,我们希望能更好地理解这些算法,并进一步扩展这种类比,以帮助基于凸优化的最新进展开发新的MDP算法。
2021-11-25 math.OC
Generalized Newton Algorithms for Tilt-Stable Minimizers in Nonsmooth Optimization
本文的目的是发展两个版本的广义牛顿法计算不仅是任意的局部极小值的非光滑最优化问题,但只是那些,它具有一个重要的稳定性称为倾斜稳定性。我们开始与无约束极小化的连续可微费用函数具有Lipschitzian梯度,并建议两个二阶算法的牛顿型:一个涉及的Lipschitzian梯度映射,和其他的基础上,后者的图形衍生物。然后,我们继续传播这些算法的最小化的扩展实值的prox-正则函数,同时以这种方式覆盖的问题的约束优化,通过使用Moreau算法。采用先进的技术,二阶变分分析和倾斜稳定性的特征,使我们能够建立在这两个算法的子问题的可解性,并证明其迭代的Q-超线性收敛。
2020-12-29 math.OC
Decentralized Approximate Newton Methods for Convex Optimization on Networked Systems
本文提出了一类求解网络系统上凸优化的分散近似牛顿(DEAN)方法,网络系统中的节点仅通过局部相互作用寻求使各自目标函数之和最小的一致性.所提出的DEAN算法允许每个节点重复执行局部近似牛顿更新,这利用跟踪全局牛顿方向和消散节点之间的差异。与大多数现有的二阶方法相比,在较少限制的问题假设下,DEAN算法使节点能够达成共识,可以任意接近最优。此外,对于一个特定的DEAN算法,节点线性收敛到一个显式的误差界的共同的次优解。最后,仿真结果表明DEAN在收敛速度,精度和效率方面具有竞争力的性能。
2020-11-28 math.OC
A Log-Barrier Newton-CG Method for Bound Constrained Optimization with Complexity Guarantees
我们描述了一个算法的基础上的对数障碍函数,牛顿法,和线性共轭梯度,获得一个近似极小的光滑函数的非负正交。我们开发的方法的复杂性,所需的精度和成本的一个单一的梯度评价的目标函数和/或矩阵向量乘法涉及的Hessian的目标方面的限制。该方法可以在不显式计算或存储Hessian的情况下实现。
2019-12-03 math.OC
A Stochastic Newton-type Method for Non-smooth Optimization
提出分析非光滑优化中随机牛顿型方法的新框架,利用停时Chernoff界推导迭代次数界限,无需无偏或有限方差假设,并在层析成像与图像去噪中验证。
2025-03-04 math.OC
A Newton-Type Active Set Method for Nonlinear Optimization with Polyhedral Constraints
提出了一种求解多面体约束下大规模极小化问题的牛顿型有效集算法。该算法由梯度投影步骤、约束矩阵零空间中的二阶牛顿型步骤和两步之间的分支规则组成。我们表明,所提出的方法渐近牛顿步骤时,积极约束是线性无关和一个强的二阶充分最优性条件举行。我们还表明,该方法在标准条件下具有二次收敛速率。数值实验说明了该算法的性能CUTEst和一类特定的问题,找到二阶稳定点是至关重要的。
2021-01-09 math.OC
A Quasi-Newton Method to Solve Uncertain Multiobjective Optimization Problems with Uncertainty Set of Finite Cardinality
针对不确定集基数有限的不确定多目标优化问题,提出一种结合集值优化划分集概念的拟牛顿迭代方法,证明其全局收敛与局部超线性收敛性,数值算例验证了方法有效性。
2025-05-20 math.OC
Complexity iteration analysis for strongly convex multi-objective optimization using a Newton path-following procedure
本文研究了强凸多目标最优化的迭代复杂性。我们讨论了这个问题的确切含义,并指出它是松散的定义,但最自然的概念是找到一组帕累托最优点跨越网格的标量化问题。我们得出,在大多数情况下,执行灵敏度为基础的路径跟踪后,获得一个解决方案是最优策略的迭代复杂度方面的这项任务。
2020-04-06 math.OC
A Newton-MR algorithm with complexity guarantees for nonconvex smooth unconstrained optimization
针对非凸光滑无约束优化,提出利用 MINRES 检测非正曲率并保持单调性的 Newton-MR 变体,给出一阶与二阶最坏情况复杂度保证,数值实验验证其性能。
2023-09-29 math.OC
An Adaptive Regularized Proximal Newton-Type Methods for Composite Optimization over the Stiefel Manifold
本文针对Stiefel流形上的复合优化问题,提出自适应二次正则化近端拟牛顿方法ARPQN和近端牛顿方法ARPN,分别建立了全局/局部线性收敛与局部超线性收敛性质,并通过数值实验验证了其有效性。
2025-02-10 math.OC
A Distributed Continuous-time Modified Newton-Raphson Algorithm
提出了一个求解具有有界Hessian的无约束凸优化问题的连续时间二阶优化算法。我们表明,这种替代算法具有可比的收敛速度的连续时间的牛顿-拉夫逊方法,但在结构上,它是服从一个更有效的分布式实现。我们提出了一个分布式实现我们提出的优化算法,并通过李雅普诺夫分析证明其收敛性。一个数值例子证明了我们的结果。
2021-05-20 math.OC
Coderivative-Based Newton Methods in Structured Nonconvex and Nonsmooth Optimization
Ho Chi Minh City University of Education(胡志明市教育大学);Wayne State University(韦恩州立大学);University of North Dakota(北达科他大学)
本文提出了一种基于编码导数的牛顿方法,用于解决结构非凸和非光滑优化问题,并通过改进的线搜索方法和前向-后向包裹机制实现了快速收敛。
2026-03-01 math.OC
A Globally Convergent Proximal Newton-Type Method in Nonsmooth Convex Optimization
本文提出并证明了一个新的近似牛顿型算法,以解决广泛的一类非光滑复合凸优化问题,没有强凸性假设。基于变分分析的先进概念和技术,我们建立了该算法的整体收敛以及超线性和二次收敛率的局部收敛的可实现结果.对于某些结构化问题,所得到的局部收敛条件不要求相应的Hessian映射的局部Lipschitz连续性,而这是文献中用来保证邻近Newton型的其他算法的超线性收敛的一个重要假设.通过求解$l_1$正则化逻辑斯谛回归模型的数值实验,说明了该算法应用于实际问题的可行性。
2022-02-28 math.OC
A Communication Efficient Quasi-Newton Method for Large-scale Distributed Multi-agent Optimization
针对大规模多智能体凸组合优化问题,提出了一种通信效率高的拟牛顿法。我们假设设置的代理网络,合作解决一个全球性的最小化问题,强凸的本地费用函数增强了非光滑凸正则化。通过引入一致性变量,我们得到了一个块对角Hessian,从而消除了在近似客观曲率信息时对额外通信的需要。此外,通过存储维度为$d$的向量对$c$,我们降低了现有原始-对偶拟牛顿法从$\mathcal{O}(d^3)$到$\mathcal{O}(cd)$的计算成本。一个异步实现,消除了协调的需要。建立了算法的全局线性收敛速率,并通过实际数据验证了算法的有效性。
2022-02-17 math.OC
Generalized Damped Newton Algorithms in Nonsmooth Optimization via Second-Order Subdifferentials
本文提出并发展了求解重要的非光滑最优化问题的新的全局收敛的广义阻尼牛顿型算法。这些算法是基于非光滑函数的二阶次微分的理论和计算,采用二阶变分分析和广义微分的机械。首先,我们发展了一类全局超线性收敛的阻尼牛顿型算法的连续可微函数的Lipschitz梯度,这是非光滑的二阶。然后,我们设计这样一个全局收敛的算法来解决一类结构化的非光滑二次组合问题的扩展实值费用函数,这通常出现在机器学习和统计。最后,我们提出了数值实验的结果,并比较我们的主要算法应用到一个重要的一类Lasso问题与其他一阶和二阶优化算法所取得的性能。
2022-01-18 math.OC
Quasi-Newton Method for Set Optimization Problems with Set-Valued Mapping Given by Finitely Many Vector-Valued Functions
本文提出一种求解无约束集合优化问题弱极小解的拟牛顿法,通过划分构造向量优化问题族并随迭代切换,证明了算法的良定性、收敛性及局部超线性收敛。
2024-12-29 math.OC
Convergence analysis of a regularized Newton method with generalized regularization terms for convex optimization problems
针对无约束凸优化问题,提出带广义正则项的通用正则化牛顿法框架,涵盖多种现有及新型RNM,证明其具有与三次RNM一致的全局$\u2a7c(k^{-2})$和局部超线性收敛性。
2024-07-10 math.OC
Newton method for $\ell_0$-regularized optimization
正则化是稀疏优化中常用的一种方法。这导致了正则化优化,旨在最小化表征稀疏性的$\ell_0$范数或其连续代理。从代理的连续性到$\ell_0$范数的离散性,最具挑战性的模型是$\ell_0$ -正则化优化。为了克服这一困难,有大量的工作在发展数值有效的方法。然而,他们中的大多数人只享受要么(子)序列收敛到一个固定的点从确定性优化的角度来看,或之间的距离,每个子序列和任何给定的稀疏参考点是有界的误差界的概率意义上。在本文中,我们开发了一个牛顿型方法的$\ell_0$ -正则化优化,并证明了所产生的序列收敛到一个稳定点的标准假设下,全球和二次,从理论上解释,我们的方法是能够执行令人惊讶的好。
2020-08-14 math.OC
Modified Block Newton Algorithm for $\ell_0$-Regularized Optimization
Beijing Institute of Technology(北京理工大学)
本文提出改进的块牛顿算法,用于解决ℓ0正则化稀疏优化问题,通过线搜索策略实现全局收敛并提高计算效率。
2025-11-25 math.OC
On the Convergence of Newton-type Proximal Gradient Method for Multiobjective Optimization Problems
针对Ansary提出的NPGMO缺乏收敛性证明的问题,本文构建分析框架,在强凸性假设下证明其二次终止、超线性收敛与二次收敛性质。
2023-08-20 math.OC
The LP-Newton Method and Conic Optimization
我们建议,LP牛顿法可以用来解决锥盒上的锥LP,只要线性最优化,否则无约束的锥盒是容易的。特别地,如果$\leq_\mathcal{K}$是由一个适当的凸锥$\mathcal{K}$诱导的偏序,那么只要在$[{l},{u}]_{\mathcal{K}}$上优化一个线性函数是有效的,就可以用这种方法在$[{l},{u}]_\mathcal{K}=\{{l}\leq_\mathcal{K} {x}\leq_\mathcal{K}{u}\}$和仿射子空间的交集上优化一个线性函数。这推广了最初提出使用该方法的$\mathcal{K}=\mathbb{R}^n_+$的情况下的结果。具体来说,我们将展示如何适应这种方法的SOCP和SDP问题,并说明了一些实验的方法。虽然该方法是有前途的,由于少量的牛顿步骤所需的,解决最小范数点的问题,涉及牛顿步骤与弗兰克-沃尔夫算法是不可取的。
2017-08-15 math.OC
Second-order geometry and Riemannian Newton-type methods for optimization on the indefinite Stiefel manifold
Ritsumeikan University(立命馆大学)
本文提出在不定Stiefel流形上应用Riemannian牛顿法,通过分析二阶几何并解析计算Hessian,结合共轭梯度法求解牛顿方程,验证了方法的高效性与收敛性。
2026-07-28 math.OC
OFF Newton-type Methods for Unconstrained Optimization with Inexact Derivatives
School of Mathematical Sciences, Jiangsu University(江苏大学数学科学学院)
本文提出了一种无需目标函数的近端牛顿方法变体,用于非凸复合优化问题,以及用于无约束优化问题的正则化牛顿方法,利用近似梯度和Hessian。理论分析证明,所提出算法的全局和局部收敛速度与精确计算目标函数和导数时的结果一致。为了验证理论假设的实际适用性,采用了一种惰性梯度策略来提供一种可验证的方案以满足近似梯度的精度要求。对于有限和优化问题,进一步开发了一种自适应采样策略以消除样本大小与梯度估计之间的循环依赖。所提出的算法被证明在期望下可以实现局部超线性和二次收敛。此外,我们还提出了一个使用近似导数的无约束优化的正则化牛顿和负曲率算法,用于定位近似二阶 stationary 点。所开发算法的最坏情况迭代和(样本)操作复杂度与现有文献中的最优结果一致。
2026-10-23 math.OC
Adaptive Regularized Newton Method for Riemannian Optimization
黎曼流形上的优化问题广泛应用于特征值计算、密度泛函理论、玻色-爱因斯坦凝聚、低秩最近相关、图像配准和信号处理等领域。本文提出了一种自适应正则化牛顿方法,该方法在保持黎曼流形约束的前提下,利用欧几里得空间中的二阶泰勒展开逼近原目标函数。正则化项的目标函数的子问题,使我们能够建立一个柯西点的条件作为标准的信赖域方法证明整体收敛。子问题可以不精确地解决,无论是一阶方法或修改的黎曼牛顿法。在后一种情况下,它可以进一步利用负曲率方向。在较弱的条件下,保证了算法的整体收敛和超线性局部收敛。大量的计算实验和与其他国家的最先进的方法的比较表明,该算法是非常有前途的。
2017-08-07 math.OC
Distributed Approximate Newton Algorithms and Weight Design for Constrained Optimization
针对经济调度和线性约束资源分配问题,提出了一类新的近似牛顿最优化方法的分布式近似牛顿算法。我们首先开发的概念,代理实现二阶算法的通信图的最佳边缘加权,并提出了一个凸近似的非凸权重设计问题。接下来,我们建立在最优权重设计开发一个离散的分布式近似牛顿算法,该算法线性收敛到最优解的经济调度问题的未知费用函数和放松的局部框约束。对于满箱约束问题,我们开发了一个连续的分布式近似牛顿算法,该算法受到一阶鞍点方法的启发,并严格证明了其收敛到原始和对偶优化器。这些分布式算法的一个主要特性是,它们只需要代理交换恒定大小的通信消息,这有助于可扩展的实现。仿真结果表明,与一阶鞍点法和梯度下降法的加权策略相比,采用我们的加权设计的分布式近似牛顿算法具有更好的收敛性能.
2019-11-19 math.OC
Communication efficient quasi-Newton distributed optimization based on the Douglas-Rachford envelope
针对客户端–服务器分布式优化,本文利用 Douglas–Rachford 分裂构造免线搜索的 BFGS 方法,以每轮每客户端仅收发一个向量实现最少通信和超线性收敛,并通过实验验证其降本优势。
2024-10-29 math.OC
Linesearch Newton-CG methods for convex optimization with noise
本文研究了严格凸无约束最优化问题的线性Newton-CG方法的数值解。我们专注于方法采用不精确的评估的目标函数和不精确的,可能是随机的梯度和海森估计。导数估计不需要在每次迭代时满足适当的精度要求,但具有足够高的概率。关于目标函数的评估,我们首先假设目标函数评估中的噪声在绝对值上是有界的。然后,我们分析的情况下,误差满足规定的动态精度要求。我们提供了这两种情况下的复杂性分析,并得出预期的迭代复杂性界限。最后,我们集中在有限和最小化的特定情况下,这是典型的机器学习应用程序。
2022-05-13 math.OC
DINO: Distributed Newton-Type Optimization Method
我们提出了一种新的通信高效的牛顿型算法在分布式计算环境中的有限和优化。我们的方法,命名为DINO,克服了现有的类似方法的理论和实践的缺点。在最小假设条件下,对于一般非凸函数和网络上任意数据分布,我们保证了DINO的全局次线性收敛到一阶稳定点.对于满足Polyak-Lojasiewicz(PL)不等式的函数,证明了DINO具有线性收敛速率.我们提出的算法实际上是无参数的,因为它将收敛,而不管所选择的超参数,这是很容易调整。此外,它的子问题是简单的线性最小二乘,其中存在有效的求解器。数值模拟表明DINO的效率与类似的替代品相比。
2020-06-05 math.OC
Subspace Newton's Method for $\ell_0$-Regularized Optimization Problems with Box Constraint
本文针对带盒约束的 $\ell_0$ 正则化稀疏优化问题,提出子空间牛顿法,通过 $\tau$-稳定点划分支撑集,结合牛顿法与近端梯度法更新变量,证明了全局收敛和局部二次收敛,实验验证了效率。
2025-05-23 math.OC