Gradient Projection Newton Pursuit for Sparsity Constrained Optimization
基于硬阈值的算法在控制稀疏性和允许快速计算方面具有稀疏优化的各种优势。最近的研究表明,当牛顿型方法的技术集成,其数值性能可以得到惊人的改善。本文提出了一种梯度投影牛顿追踪算法,该算法主要采用硬阈值算子,仅在满足一定条件时才使用牛顿追踪。该算法能够在标准假设下全局收敛和二次收敛。当涉及到压缩感知问题时,强加的假设比许多最先进的算法要弱得多。此外,大量的数值实验证明了其与其他领先求解器相比的高性能。
2022-06-06 math.OC
Broyden quasi-Newton secant-type method for solving constrained mixed generalized equations
本文提出一种Broyden拟牛顿割线型方法变体,结合条件梯度法处理约束,用于求解含不可微函数的约束混合广义方程,并在Lipschitz连续性、修正Broyden更新和度量正则性假设下证明了算法的Q-线性局部收敛性。
2025-03-08 math.OC
Heaviside Set Constrained Optimization: Optimality and Newton Method
现实世界中的数据经常涉及二元状态:真或假,正或负,相似或不相似,垃圾或非垃圾,以及仅举几例,应用于回归,分类问题等。为了表征二元状态,理想的函数之一是Heaviside阶梯函数,它为一种状态返回1,为另一种状态返回0。因此,它是不连续的。正因为如此,处理二元状态的传统方法极大地受益于其连续代理。本文以Heaviside阶梯函数为目标,研究了Heaviside集约束优化问题:计算了可行集的切锥和法锥,建立了几个一阶最优性充分必要条件最优性条件,并发展了一个局部平方收敛的Newton型方法.
2021-12-24 math.OC
An Exact Method for Constrained Maximization of the Conditional Value-at-Risk of a Class of Stochastic Submodular Functions
考虑了一类风险厌恶次模最大化问题(RASM),其目标是给定风险水平下随机非减次模函数的条件风险价值(CVaR).我们提出了有效的不等式和精确的一般方法求解RASM的假设下,我们有一个有效的预言计算CVaR的随机函数。我们证明了所提出的方法上的随机集合覆盖问题,承认一个有效的CVaR预言的随机覆盖函数。
2020-04-16 math.OC
PDE constrained shape optimisation with first-order and Newton-type methods in the $W^{1,\infty}$ topology
本文提出了基于 $W^{1,\infty}$ 拓扑映射方法的通用 PDE 约束形状优化框架,设计了最速下降和类牛顿最小化算法,并通过实例与经典 Hilbert 空间方法和 $p$-近似结果进行了比较。
2023-12-21 math.OC
A path-following inexact Newton method for PDE-constrained optimal control in BV (extended version)
我们研究了一个偏微分方程约束的最优控制问题,该问题涉及有界变差函数作为控制,并在目标中包含控制的TV值。我们应用路径跟踪不精确牛顿方法平滑TV的时间和添加$H^1$正则化所产生的问题。我们证明了在无限维设置,首先,这些辅助问题的解决方案收敛到原问题的解决方案,第二,不精确牛顿法享有快速局部收敛时,应用到最优性系统,其中控制出现的伴随状态的隐函数的重新制定。我们证明了一个有限元近似的收敛性,提供了一个全球化的预处理不精确牛顿方法作为离散辅助问题的求解器,并将其嵌入到一个不精确的路径跟踪计划。我们构造了一个二维的测试问题与完全显式的解决方案,并提出了数值结果来说明该方法的准确性和鲁棒性。这是一个扩展版本的相应期刊文章出现在“计算优化和应用”。它包含了一些在期刊版本中被省略的证明。
2022-03-30 math.OC
A Limited-Memory Quasi-Newton Algorithm for Bound-Constrained Nonsmooth Optimization
我们考虑最小化一个连续函数的问题,该函数可能是非光滑和非凸的,受边界约束。我们提出了一个算法,使用L-BFGS拟牛顿近似的问题的曲率与一个变种的弱沃尔夫线搜索。该方法的关键成分是活动集选择策略,该策略定义了计算搜索方向的子空间。为了克服非光滑函数梯度的固有短视性,我们提出了两种策略。第一个依赖于一个近似的$ε$最小范数次梯度,第二个使用迭代校正循环,增加活动集的基础上产生的搜索方向。我们描述了所提出算法的Python实现,并给出了一组标准测试问题的数值结果,以说明我们方法的有效性。
2016-12-21 math.OC
Gradient projection and conditional gradient methods for constrained nonconvex minimization
球面上的光滑函数的极小化,或者更一般地说,光滑流形上的光滑函数的极小化,是最简单的非凸优化问题。它有很多应用。我们的目标是提出一个版本的梯度投影算法的解决方案,并获得的结果,保证收敛的算法在一些最小的自然假设。利用流形上的Lezanski-Polyak-Lojasiewicz条件证明了算法的全局线性收敛性.另一种很好地适合这个问题的方法是条件梯度(Frank-Wolfe)算法。我们研究了一些条件,保证整体收敛的全步版本的方法与线性率。
2019-06-27 math.OC
Modified projected Gauss-Newton method for constrained nonlinear least-squares: application to power flow analysis
本文提出一种改进的投影Gauss-Newton方法求解约束非线性最小二乘问题,通过线性化约束并添加二次正则化构建强凸子问题,证明了全局收敛性及基于KL性质的收敛速率,并在潮流分析中验证了有效性。
2025-04-01 math.OC
A Framework for Nonlinearly-Constrained Gradient-Enhanced Local Bayesian Optimization with Comparisons to Quasi-Newton Optimizers
University of Toronto(多伦多大学)
本文提出两种非线性约束局部优化方法,通过贝叶斯优化实现快速深入收敛,针对非线性等式约束问题,相较于传统方法更高效,且在2-30变量问题中函数评估次数更少。
2026-05-13 math.OC
Cubic-Regularized Newton for Spectral Constrained Matrix Optimization and its Application to Fairness
University of Minnesota(明尼苏达大学)
利用矩阵函数将光滑谱约束矩阵最优化问题改写为对称矩阵集上的光滑无约束问题,然后用正则化牛顿法求解.证明了矩阵函数的二阶链式法则恒等式可以计算高阶导数来实现三次正则化牛顿,并对矩阵向量空间的三次正则化牛顿提供了新的收敛性分析。我们证明了我们的方法的适用性进行数值实验合成和真实的数据集。在我们的实验中,我们制定了一个新的模型来估计公平和强大的协方差阵的泰勒的M-估计(TME)模型的精神,并证明其优势。
2022-09-02 cs.LG math.OC
Sparse Quadratically Constrained Quadratic Programming via Semismooth Newton Method
School of Mathematics and Statistics, Beijing Jiaotong University(北京交通大学数学与统计学院)
本文提出一种基于P-稳定性和半光滑牛顿法的直接求解稀疏二次约束二次规划问题的高效算法,具有低计算复杂度和局部二次收敛性,数值实验验证了其准确性与效率。
2025-10-08 math.OC
Approximate solution of system of equations arising in interior-point methods for bound-constrained optimization
针对界约束优化内点法的牛顿系统求解权衡问题,提出基于有效/无效约束启发式估计的部分与完全近似解,及两种含部分近似解中间步骤的类牛顿法,给出理论误差界与数值验证结果。
2020-11-15 math.OC
Newton Hard Thresholding Pursuit for Sparse LCP via A New Merit Function
线性互补性问题(LCP)的解在双矩阵博弈和投资组合问题等许多应用中是稀疏的。尽管它会增加难度,但稀疏性使优化速度更快,并且能够进行相对大规模的计算。出于这一动机,我们考虑到稀疏LCP,调查其解集的存在性和有界性,以及引入一个新的价值函数,这使我们能够将问题转化为稀疏约束优化。对于某些参数,该函数是连续可微的,并且是二次连续可微的。有趣的是,如果涉及的矩阵是半正定的,它也是凸的。然后,我们探索的解决方案集之间的关系,稀疏LCP和固定点的稀疏约束优化。最后采用牛顿硬阈值追踪算法对稀疏约束模型进行求解。数值实验表明,新的价值函数可以有效地解决问题。
2020-04-05 math.OC
An Extended Newton-type Algorithm for $\ell_2$-Regularized Sparse Logistic Regression and Its Efficiency for Classifying Large-scale Datasets
稀疏逻辑斯谛回归作为一种有效的分类工具,从最初的$\ell_1$正则化模型到稀疏约束模型,在近二十年来得到了长足的发展。本文用牛顿法对稀疏约束下的逻辑斯谛回归进行了研究。我们首先建立与$τ$ -平稳点相关联的一阶最优性条件。这一点可以等效地解释为一个方程组,然后用牛顿法有效地求解。该方法具有相当低的计算复杂性,并具有全局和平方收敛性质。随机和真实数据的数值实验证明了其优越的性能时,对七个国家的最先进的求解器。
2021-11-19 math.OC
A conditional-gradient-based single-loop augmented Lagrangian method for inequality constrained optimization
School of Mathematical Sciences, South China Normal University(华南师范大学数学科学学院);Department of Applied Mathematics, The Hong Kong Polytechnic University(香港理工大学应用数学系);Department of Mathematics and Statistics, James Madison University(詹姆斯麦迪逊大学数学与统计系)
本文提出了一种基于条件梯度的单循环增广拉格朗日方法,用于解决具有多个光滑凸不等式约束的优化问题,通过分析两种标准步长规则下的收敛速度,证明了该方法在该类问题中的最优复杂度,并在特定条件下实现了加速收敛。
2026-05-21 math.OC
Efficient Parameter Selection for Scaled Trust-Region Newton Algorithm in Solving Bound-constrained Nonlinear Systems
研究了求解有界约束非线性方程组的尺度置信域牛顿(STRN)算法的参数选择问题。对大量的测试问题进行了数值实验,以找到最佳的参数值范围,给出最少的算法迭代次数和函数评价。我们的实验表明,在一般情况下,有没有最好的参数可供选择,每个特定的值显示了一些问题的有效性能和其他的弱性能。在这项研究中,我们报告的性能的STRN的各种选择的参数,然后建议最有效的。
2020-09-09 cs.NA math.NA math.OC
A Gauss-Newton Method with No Additional PDE Solves Beyond Gradient Evaluation for Large-Scale PDE-Constrained Inverse Problems
Colorado School of Mines(科罗拉多矿业学院);University of California Santa Barbara(加州大学圣塔芭芭拉分校)
本文提出了一种无需额外PDE求解的Gauss-Newton方法,用于解决大规模PDE约束反问题,提升了FWI的计算效率与收敛速度。
2026-03-06 cs.NA math.NA math.OC
A Semi-smooth Newton Method for the Constrained Optimal Control of Continuous-Time Linear Systems
University of Colorado Boulder(科罗拉多大学博尔德分校);University of British Columbia(不列颠哥伦比亚大学)
本文提出一种新的间接方法,直接在连续时间函数空间中求解带约束的最优控制问题,通过将KKT条件嵌入非光滑互补函数,将其转化为Banach空间中的根寻找问题,并利用非光滑牛顿方法求解。最终通过求解修改后的微分Riccati方程,利用约束乘子重新加权成本项,实现超线性收敛。
2026-05-07 cs.SY eess.SY math.OC
Global and Quadratic Convergence of Newton Hard-Thresholding Pursuit
基于硬阈值原理的算法已经得到了很好的研究,在压缩感知和更一般的稀疏约束优化中具有合理的理论保证。在现有的经验研究中广泛观察到,当使用限制性牛顿步骤(作为去偏步骤)时,硬阈值算法倾向于在显著低的迭代次数中满足停止条件,并且非常有效。因此,由此获得的牛顿硬阈值算法要求更强的理论保证比他们简单的硬阈值对应。本文提供了一个理论上的理由,使用限制牛顿步骤。我们建立了稀疏约束优化的理论和算法-牛顿硬约束追踪算法(NHTP)。我们的主要结果表明,NHTP是二次收敛的限制强凸性和光滑的标准假设下。在一个较弱的假设条件下,我们证明了算法的整体收敛到一个稳定点.在压缩感知的特殊情况下,NHTP有效地减少了一些现有的硬阈值算法与牛顿步骤。因此,我们的快速收敛结果证明了为什么这些算法比没有牛顿步骤的性能更好。在压缩感知和稀疏逻辑斯谛回归中,NHTP在合成数据和真实数据上的有效性得到了证明。
2020-04-05 math.OC
A Newton Frank-Wolfe Method for Constrained Self-Concordant Minimization
The University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);EPFL(洛桑联邦理工学院)
我们展示了如何可伸缩地解决一类约束自协调极小化问题使用线性极小化神谕(LMO)在约束集。我们证明了我们的方法的LMO调用的数量是几乎相同的L-光滑的情况下的Frank-Wolfe方法。具体来说,我们的牛顿弗兰克-沃尔夫方法使用$\mathcal{O}(ε^{-ν})$ LMO,其中$ε$是所需的精度,而$ν:= 1 + o(1)$。此外,我们证明了我们的算法可以利用改进的变体的LMO为基础的计划,包括远离步骤,达到线性收敛速率。我们还提供了数值证据与投资组合设计的竞争比,D-最优试验设计,和逻辑斯谛回归与弹性网牛顿弗兰克沃尔夫优于国家的最先进的。
2020-02-17 cs.LG math.OC stat.ML
Subspace Newton's Method for $\ell_0$-Regularized Optimization Problems with Box Constraint
本文针对带盒约束的 $\ell_0$ 正则化稀疏优化问题,提出子空间牛顿法,通过 $\tau$-稳定点划分支撑集,结合牛顿法与近端梯度法更新变量,证明了全局收敛和局部二次收敛,实验验证了效率。
2025-05-23 math.OC
Preconditioning of Active-Set Newton Methods for PDE-constrained Optimal Control Problems
Università di Bologna(博洛尼亚大学)
本文提出基于Schur补矩阵因子化的两种新预处理方法,用于求解偏微分方程约束最优控制问题中的鞍点线性系统,通过合并主动集块到约束块中提升鲁棒性。
2015-05-22 cs.NA math.NA math.OC
An Inexact Conditional Gradient Method for Constrained Bilevel Optimization
本文提出一种单循环无投影的不精确条件梯度方法,用于解决约束双层优化问题,在凸与非凸情形下均达到最优收敛率,且每次迭代复杂度更低,数值实验验证其优越性。
2024-03-13 math.OC
A semi-smooth Newton method for solving convex quadratic programming problem under simplicial cone constraint
研究了单纯锥约束凸二次规划问题。该问题的最优性条件是一个线性互补性问题。在适当的条件下,这一事实导致了单纯锥约束凸二次规划问题与非光滑方程组的唯一解问题的等价性.它表明,半光滑牛顿法适用于这个非光滑的方程组总是定义良好,并在一个温和的假设下,单纯锥的方法产生一个序列,线性收敛到它的解决方案。此外,我们还证明了生成序列对任意起点是有界的,并给出了该序列的任意聚点的计算公式。数值结果表明,这种方法实现了精确的解决方案,在几个迭代大的问题。
2015-03-10 math.OC
Constrained Optimization via Constraint-Induced Geometry: Implicit Feasible Dynamics and Optimality from Stationarity
该研究提出几何感知约束优化框架Gravidy,针对不同可行集设计适配几何与隐式算法,实验表明其收敛快且能保持迭代可行性,可利用稀疏性。
2026-08-04 math.OC
Weight Design of Distributed Approximate Newton Algorithms for Constrained Optimization
University of California, San Diego(加州大学圣迭戈分校)
本文提出一种分布式近似牛顿算法,用于解决约束优化问题,通过优化通信拓扑和权重提升收敛性能。
2017-03-22 cs.MA cs.NA math.NA
Efficient Gauss-Newton-Krylov momentum conservation constrained PDE-LDDMM using the band-limited vector field parameterization
Aragon Institute on Engineering Research(阿拉贡工程研究所);University of Zaragoza(萨拉戈萨大学)
在偏微分方程约束的大变形非纯度量映射框架下提出的一类非刚性配准方法是一类特别有趣的物理意义非纯配准方法。PDE约束LDDMM方法被配制成约束变分问题,其中不同的物理模型施加使用相关的偏微分方程作为硬约束。非精确Newton-Krylov优化在此框架下表现出优异的数值精度和极快的收敛速度。然而,非定常速度场的Galerkin表示不能提供适当的测地线路径。在以前的工作中,我们提出了一种方法的PDE约束LDDMM参数化的初始速度场的空间下的EPDiff方程。该方法在PDE约束的LDDMM框架下提供了测地线,并表现出与基准PDE约束的LDDMM和EPDiff-LDDMM方法相竞争的性能。然而,这种方法的主要缺点是偏微分方程约束LDDMM方法固有的大内存负载和相对于基准方法的计算时间增加。在这项工作中,我们优化的计算复杂性的方法使用带限向量场参数化关闭循环与我们以前的作品。
2018-07-27 cs.LG math.OC stat.ML
A Scalable Interior-Point Gauss-Newton Method for PDE-Constrained Optimization with Bound Constraints
本文针对带边界约束的PDE约束优化问题,提出基于全空间内点高斯-牛顿法的可扩展求解框架,并设计两种谱相关预条件子,使线性求解迭代次数与离散化和内点病态性无关,实现并行可扩展求解。
2024-10-19 cs.NA math.NA math.OC
Admissibility-Preserving Constraint Lifting for Conditional Deadbeat Control of Discrete-Time Nonlinear Systems
针对离散时间严格反馈非线性系统,提出保容许性约束提升控制框架,通过Sigmoid映射转化约束问题,实现递归反步设计,经Roup振荡器仿真验证可强化状态约束并跟踪参考指令。
2026-10-14 math.OC
Multigrid preconditioning of linear systems for semismooth Newton methods applied to optimization problems constrained by smoothing operators
Department of Mathematics and Statistics, University of Maryland, Baltimore County(马里兰大学巴尔的摩分校数学与统计系)
针对控制变量带盒约束的平滑算子约束线性二次优化问题,提出一种多重网格预处理器,使得半光滑牛顿法迭代次数随网格细化而减少。
2013-11-07 cs.NA math.NA math.OC
A semi-smooth Newton method for a special piecewise linear system with application to positively constrained convex quadratic programming
IME/UFG(联邦大学戈亚斯州理工学院);The University of Birmingham(伯明翰大学)
本文提出一种半光滑牛顿方法用于求解特殊分段线性系统,证明其收敛性并应用于正约束凸二次规划问题,展示了该方法在大规模问题中高效求解的能力。
2015-11-12 cs.NA math.NA math.OC
Action constrained quasi-Newton methods
The University of Edinburgh(爱丁堡大学)
本文提出了一种基于动作约束的准牛顿方法,用于高效求解对称线性系统序列,通过维护逆系统矩阵的估计作为预处理程序,实现二次终止并提高鲁棒性。
2014-12-27 cs.NA math.NA math.OC
Contextual Distributionally Robust Chance-Constrained Programs: Exact Reformulations and Valid Inequalities
The Hong Kong University of Science and Technology(香港科技大学)
本文针对上下文分布鲁棒机会约束规划提出精确MIP重构与有效不等式,利用Wasserstein距离和运输预算耦合特征,生成增强分位数割与秩不等式,显著缩小松弛间隙并加速求解。
2026-09-22 math.OC
Conditional gradient methods for stochastically constrained convex minimization
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
提出了两种新的基于条件梯度的方法来求解具有大量线性约束的结构随机凸优化问题。这个模板的迭代自然产生于组合问题的SDP松弛,其涉及在问题维度上是多项式的许多约束。我们的框架的最重要的特点是,只有一个子集的约束处理在每次迭代,从而获得了计算优势,需要完整的通行证。我们的算法依赖于方差减少和平滑结合使用的条件梯度步骤,并伴随着严格的收敛保证。初步的数值实验说明了该方法的实际性能。
2020-07-07 cs.LG math.OC stat.ML
A Mini-Batch Quasi-Newton Proximal Method for Constrained Total-Variation Nonlinear Image Reconstruction
Oden Institute for Computational Engineering and Sciences, University of Texas at Austin(德克萨斯大学奥斯汀分校奥登计算工程与科学研究所);Biomedical Imaging Group, Ecole polytechnique fédérale de Lausanne(洛桑联邦理工学院生物医学成像组);Department of Computer Science, Technion-Israel Institute of Technology(以色列理工学院计算机科学系)
本文提出了一种小批量拟牛顿近似方法,用于解决带约束总变分非线性图像重建问题,通过减少迭代次数和高效计算近似映射,提高了重建效率和效果。
2026-02-21 eess.IV math.OC
A Newton-CG based augmented Lagrangian method for finding a second-order stationary point of nonconvex equality constrained optimization with complexity guarantees
University of Minnesota(明尼苏达大学);The Hong Kong Polytechnic University(香港理工大学)
本文考虑了在已知近似可行点的情况下,求非凸等式约束优化问题的二阶稳定点的问题。特别是,我们首先提出了一种新的Newton-CG方法来寻找无约束优化的近似SOSP,并表明它比Newton-CG方法具有更好的复杂性[56]。然后,我们提出了一个基于Newton-CG的增广拉格朗日(AL)方法找到一个近似的SOSP的非凸等式约束优化,其中建议的Newton-CG方法被用作子问题求解器。我们表明,在广义线性独立约束规格(GLICQ)下,我们的AL方法具有$\widetilde{\cal O}(ε^{-7/2})$的总内迭代复杂度和$\widetilde{\cal O}(ε^{-7/2}\min\{n,ε^{-3/4}\})$的操作复杂度,用于以高概率找到非凸等式约束优化的$(ε,\sqrtε)$ -SOSP,这明显优于近似AL方法[60]。此外,我们还证明了当GLICQ不成立时,它的总内迭代复杂度为$\widetilde{\cal O}(ε^{-11/2})$,运算复杂度为$\widetilde{\cal O}(ε^{-11/2}\min\{n,ε^{-5/4}\})$。据我们所知,本文所得到的所有复杂性结果是新的寻找一个近似SOSP的非凸等式约束优化的高概率。初步的数值结果也证明了我们提出的方法优于[56,60]中的方法。
2023-01-09 cs.LG cs.NA math.NA
FrankWolfe.jl: a high-performance and flexible toolbox for Frank-Wolfe algorithms and Conditional Gradients
我们提出了FrankWolfe.jl,一个开源的实现几个流行的Frank-Wolfe和条件约束变量的一阶约束优化。该软件包的设计考虑到了灵活性和高性能,允许轻松扩展,并依赖于用户提供的功能的假设很少。它支持Julia独特的多重分派功能,并使用MathOptInterface. jl与通用线性最优化公式顺利对接。
2021-10-05 math.OC
NewVEM: A Newton Vertex Exchange Method for a Class of Constrained Self-Concordant Minimization Problems
Ling Liang Department of Mathematics University of Tennessee, Knoxville 1403 Circle Drive, Knoxville, TN 37916, USA Kim-Chuan Toh Department of Mathematics;Institute of Operations Research;Analytics National University of Singapore 10 Lower Kent Ridge Road, Singapore 119076 Haizhao Yang Department of Mathematics;Department of Computer Science University of Maryland, College Park 4176 Campus Drive, College Park, MD 20742, USA
提出NewVEM算法,结合投影牛顿与顶点交换方法,高效求解广义单纯形约束下的自和谐最小化问题,并辅以半光滑牛顿投影方法,实验验证其高效性与可扩展性。
2025-10-14 cs.LG math.OC
On a globally convergent semismooth* Newton method in nonsmooth nonconvex optimization
本文提出 GSSN 方法,结合近端梯度法保证全局收敛,利用 SCD semismooth* Newton 方法在弱假设下实现局部超线性收敛,并通过等式约束二次规划计算 Newton 方向,注重高效数值实现。
2025-01-24 math.OC
RSN: Randomized Subspace Newton
我们开发了一种随机牛顿方法,能够解决具有巨大维度特征空间的学习问题,这是医学成像,基因组学和地震学等应用中的常见设置。我们的方法以一种新的方式利用随机草图,通过找到约束到随机草图所跨越的空间的牛顿方向。我们开发了一个简单的全球线性收敛理论,适用于几乎所有的素描技术,这使得从业者的自由设计自定义草图适合特定应用的方法。我们进行数值实验,证明我们的方法相比,加速梯度下降和全牛顿法的效率。我们的方法可以被视为Karimireddy,Stich和Jaggi(2019)结果的细化和随机扩展。
2019-10-03 math.OC
Newton and interior-point methods for (constrained) nonconvex-nonconcave minmax optimization with stability and instability guarantees
本文提出修正Hessian的牛顿类方法求解非凸-非凹极小极大问题,确保仅收敛到局部极小极大点,计算时间与Hessian非零元素数近似线性。
2024-02-11 cs.SY eess.SY math.OC
An O(log N) Parallel Algorithm for Newton Step Computations with Applications to Moving Horizon Estimation
在滚动时域估计(MHE)中,通过以滚动时域的方式在每个样本处实时地求解约束有限时间最优估计问题来找到计算的估计。约束估计问题可以通过例如,邻域点(IP)或活动集(AS)方法,其中已知两种方法中的主要计算工作是搜索方向的计算,即,牛顿步这通常使用通用稀疏性利用算法或串行Riccati递归来完成,但随着并行硬件变得越来越普遍,对用于计算牛顿步的并行算法的需求也在增加。本文提出了一种用Riccati递推计算牛顿步的非迭代并行算法。该算法利用Karush-Kuhn-Tucker系统的特殊结构来求解最优估计问题。因此,它是可能的,以获得对数复杂性增长的估计范围长度,这可以用来减少IP和AS方法的计算时间时,适用于什么是今天被认为是具有挑战性的估计问题。使用ANSI-C实现所提出的算法在真正的并行硬件上运行,已经获得了有前途的数值结果。除了MHE,由于问题结构的相似性,该算法可以应用于各种形式的在线和离线平滑问题。
2015-10-20 math.OC
Gradient Methods with Regularization for Constrained Optimization Problems and Their Complexity Estimates
我们建议简单的实施修改的条件梯度和梯度投影法光滑凸优化问题在希尔伯特空间。通常,自定义方法只能达到弱收敛。我们证明了新版本的强收敛性,并建立了它们的复杂性估计,这似乎类似于弱收敛版本的收敛速度。
2017-05-03 math.OC
A dual semismooth Newton based augmented Lagrangian method for large-scale linearly constrained sparse group square-root Lasso problems
Southwest Jiaotong University(西南交通大学);Zhejiang University City College(浙江大学城市学院)
平方根Lasso问题被证明是鲁棒回归问题。此外,具有结构稀疏性的平方根回归问题在统计和机器学习中也起着重要的作用。本文主要研究大规模线性约束稀疏群平方根Lasso问题的数值计算。为了克服目标函数中存在两个非光滑项的困难,提出了一种基于对偶半光滑牛顿(SSN)的增广拉格朗日方法(ALM),即把ALM应用于子问题由SSN方法求解的对偶问题。应用SSN方法时,广义雅可比矩阵的正定性是非常重要的。因此,我们刻画了它的正定性与相应原问题的约束非退化条件的等价性。在数值实现中,我们充分利用了二阶稀疏性,从而可以有效地获得牛顿方向。数值实验证明了该算法的有效性。
2021-11-27 cs.LG cs.NA math.NA
Sublinear Circuits and the Constrained Signomial Nonnegativity Problem
条件AM/GM指数和(Conditional Sums-of-AM/GM-Exponentials,Conditional SAGE)是一种分解方法,用于证明实空间$X$上的符号项或多项式的非负性。在这篇文章中,我们进行了第一次结构分析的条件SAGE信号的凸集$X$。引入了有限子集$\mathcal{A} \subset \mathbb{R}^n$的$X$ -圈,将由$\mathcal{A}$诱导的仿射线性拟阵的单纯圈推广到了约束集上。的$X$ -电路作为我们的分析的主要工具,并表现出特别丰富的组合性质的多面体$X$,在这种情况下的一组$X$ -电路是由合适的多面体风扇的一维锥。$X$ -电路的框架透明地揭示了何时$X$ -非负条件AM/GM-指数实际上可以进一步分解为更简单的$X$ -非负符号之和。我们发展了一个对偶理论的$X$ -电路连接到几何的集合是凸的根据几何平均。当$X$为多面体时,该理论给出了条件SAGE信号的最优幂锥重构。结合减少$X$电路的概念,对偶理论有利于条件SAGE锥的极端射线的表征。由于对数变量替换下的符号多项式,我们的结果也有影响的非负多项式和多项式优化。
2022-01-20 math.AG math.OC
Feasible Newton's methods for symmetric tensor Z-eigenvalue problems
找到一个对称张量的Z-特征对等价于找到一个球面约束极小化问题的KKT点。基于这一等价性,本文首先提出了一类求对称张量Z-特征对的迭代法。每种方法都可以生成一个可行点序列,使得函数求值的序列是递减的。这些方法可以看作是无约束最优化问题下降法的推广。我们特别注意牛顿法。我们证明了在适当的条件下,牛顿法是全局收敛和二次收敛的。此外,在多次迭代之后,单位步长将始终被接受。我们还提出了一个基于非线性方程组的牛顿法,并证明了它的全局收敛性和平方收敛性。最后,我们做了几个数值实验来检验所提出的牛顿法。结果表明,这两种牛顿法都是非常有效的。
2022-03-14 math.OC
An adaptive projected Newton non-conforming dual approach for trust-region reduced basis approximation of PDE-constrained parameter optimization
在这方面的贡献,我们设备和分析的非协调对偶方法的置信域减少基础(TR-RB)逼近的PDE约束参数最优化,最近已在[Keil等人。偏微分方程约束优化的自适应置信域缩减基逼近的非协调对偶方法。arXiv:2006.09297,2020]。所提出的方法使用模型降阶技术的参数化偏微分方程显着减少的参数最优化的计算需求,在大规模或多尺度应用的背景下,偏微分方程的约束。自适应TR方法允许沿着优化路径相对于参数空间局部化减少,而不会在离线阶段浪费不必要的资源。改进的变体采用投影牛顿法来解决每个TR步骤内的局部最优化问题,以受益于高收敛速度。这意味着新的战略,在建设的RB空间,以及估计的近似海森。此外,我们提出了一个新的证明收敛的TR-RB方法的基础上无限维的参数,不限于特定情况下的RB近似,并提供了一个后验误差估计的最佳参数的近似。数值实验证明了所提出方法的有效性。
2020-12-21 cs.NA math.NA math.OC
A Semi-Lagrangian two-level preconditioned Newton-Krylov solver for constrained diffeomorphic image registration
The Institute for Computational Engineering and Sciences, The University of Texas at Austin(得克萨斯大学奥斯汀分校计算工程与科学研究所);Department of Mathematics at the University of Houston(休斯顿大学数学系)
本文提出了一种有效的数值算法来解决非纯图像配准问题。我们使用一个变分公式约束的偏微分方程(PDE),其中的约束是一个标量输运方程。我们使用一个伪谱离散空间和二阶精度的半拉格朗日时间步进格式的输运方程。我们解决了一个固定的速度场使用预处理,全球化,无矩阵的牛顿-克雷洛夫计划。我们提出并测试了一个两级Hessian预条件子。我们考虑两种策略,用于反演粗网格上的预条件:嵌套预条件共轭梯度法(精确求解)和嵌套Chebyshev迭代法(不精确求解)与固定的迭代次数。我们测试我们的求解器在不同的合成和现实世界的二维应用场景的性能。我们研究了新格式的网格收敛性和计算效率。我们比较我们的求解器的性能对我们的初始实现,使用相同的空间离散化,但一个标准的,明确的,二阶龙格-库塔格式的数值时间积分的输运方程和单级预处理。我们的改进方案提供了显着的加速比我们原来的实现。作为一个亮点,我们观察到一个20 $\times$加速二维,现实世界的多学科医学图像配准问题。
2018-02-28 cs.CV math.OC
Quasi-Newton Methods for Topology Optimization Using a Level-Set Method
Fraunhofer ITWM(弗劳恩霍夫工业数学研究所);Institute of Analysis and Scientific Computing, TU Wien(维也纳工业大学分析与科学计算研究所)
本文提出基于水平集方法的新型拟牛顿方法求解PDE约束拓扑优化问题,通过引入演化方程新视角扩展经典算法,数值实验表明该方法在迭代次数和资源消耗上显著优于现有方法。
2023-09-02 math.OC
A Semismooth Newton based Augmented Lagrangian Method for Nonsmooth Optimization on Matrix Manifolds
研究了一类具有非光滑目标函数和非线性约束的流形最优化问题的增广拉格朗日方法。在流形上线性依赖为常数的条件下,证明了该方法收敛于非光滑流形最优化问题的一个稳定点。此外,我们提出了一个全球化的半光滑牛顿方法,有效地解决流形上的增广拉格朗日子问题。在适当的条件下,证明了流形半光滑牛顿法的局部超线性收敛。我们还证明了子流形上的半光滑性可以继承于环境流形上的半光滑性。最后,压缩模式和(约束)稀疏主成分分析的数值实验说明了所提出的方法的优点。
2022-07-19 math.OC
Distributed Interior-point Method for Loosely Coupled Problems
本文提出了求解松耦合无约束和约束最优化问题的分布式算法。这些问题通常使用基于分解和一阶方法的组合的算法来解决。这些算法通常非常慢,需要多次迭代才能收敛。为了缓解这个问题,我们提出了算法,结合牛顿和内点的方法与邻近分裂方法来解决这些问题。特别地,用于求解无约束松耦合问题的算法基于牛顿法并且利用邻近分裂来分配用于在每次迭代中计算牛顿步长的计算。将该算法与内点法相结合,提出了求解约束松耦合问题的分布式算法。我们还提供了如何有效地实现所提出的方法的指导方针,并简要讨论了所得到的解决方案的属性。
2013-12-19 math.OC
Generalized Newton Algorithms for Tilt-Stable Minimizers in Nonsmooth Optimization
本文的目的是发展两个版本的广义牛顿法计算不仅是任意的局部极小值的非光滑最优化问题,但只是那些,它具有一个重要的稳定性称为倾斜稳定性。我们开始与无约束极小化的连续可微费用函数具有Lipschitzian梯度,并建议两个二阶算法的牛顿型:一个涉及的Lipschitzian梯度映射,和其他的基础上,后者的图形衍生物。然后,我们继续传播这些算法的最小化的扩展实值的prox-正则函数,同时以这种方式覆盖的问题的约束优化,通过使用Moreau算法。采用先进的技术,二阶变分分析和倾斜稳定性的特征,使我们能够建立在这两个算法的子问题的可解性,并证明其迭代的Q-超线性收敛。
2020-12-29 math.OC
Semismooth Newton Method for Boundary Bilinear Control
针对边界双线性作用的半线性椭圆约束最优控制问题,分析状态方程与最优性条件,并证明半光滑 Newton 方法在严格互补和无间隙二阶充分条件下超线性收敛。
2024-03-02 math.OC