Inexact proximal DC Newton-type method for nonconvex composite functions
针对目标为光滑函数加非光滑DC函数的DC优化问题,提出结合近似DC算法与非精确近似牛顿法的非精确近似DC牛顿型方法,证明全局收敛性,设计高效缩放近似映射求解方案,实验验证其优于现有方法。
2023-08-29 math.OC
Inexact Newton method for minimization of convex piecewise quadratic functions
研究了凸分段二次函数数值极小化问题的一种不精确牛顿型方法,并分析了其收敛性。早些时候,一个类似的方法被成功地应用于优化问题中出现的数值网格生成。该方法可用于计算线性方程的欠定组的最小范数非负解,也可用于求凸多面体间的距离。该方法的性能进行了测试,使用的样本数据从NETLIB家庭的佛罗里达大学的稀疏矩阵收集以及准随机数据。
2019-01-10 math.OC
A globalized inexact semismooth Newton method for strongly convex optimal control problems
Universität Würzburg(维尔茨堡大学)
本文提出一种全局化的近似半光滑牛顿方法,用于解决强凸最优控制问题,在希尔伯特空间中证明了算法的全局强收敛性及局部超线性收敛性。
2026-03-25 math.OC
A unified framework for inexact adaptive stepsizes in the gradient methods, the conjugate gradient methods and the quasi-Newton methods for strictly convex quadratic optimization
School of Mathematics and Statistics, Guizhou University(贵州大学数学与统计学院)
本文提出了一种统一框架,用于梯度法、共轭梯度法和拟牛顿法在严格凸二次优化中的不精确自适应步长,分析了其全局收敛性及收敛速率,并通过数值结果验证了其有效性。
2026-04-22 math.OC
An Inexact Newton-like conditional gradient method for constrained nonlinear systems
本文提出一种求解约束非线性方程组的不精确Newton型条件梯度法。利用一般的优势条件,证明了新方法的局部收敛和收敛速度。给出了这一条件的两个应用:一个是导数满足Holder-like条件的函数,另一个是满足Smale条件的函数,其中包括大量的解析函数.文中还给出了一些数值实验,说明了该方法对中大型问题的适用性。
2017-05-22 math.OC
A path-following inexact Newton method for PDE-constrained optimal control in BV (extended version)
我们研究了一个偏微分方程约束的最优控制问题,该问题涉及有界变差函数作为控制,并在目标中包含控制的TV值。我们应用路径跟踪不精确牛顿方法平滑TV的时间和添加$H^1$正则化所产生的问题。我们证明了在无限维设置,首先,这些辅助问题的解决方案收敛到原问题的解决方案,第二,不精确牛顿法享有快速局部收敛时,应用到最优性系统,其中控制出现的伴随状态的隐函数的重新制定。我们证明了一个有限元近似的收敛性,提供了一个全球化的预处理不精确牛顿方法作为离散辅助问题的求解器,并将其嵌入到一个不精确的路径跟踪计划。我们构造了一个二维的测试问题与完全显式的解决方案,并提出了数值结果来说明该方法的准确性和鲁棒性。这是一个扩展版本的相应期刊文章出现在“计算优化和应用”。它包含了一些在期刊版本中被省略的证明。
2022-03-30 math.OC
Inexact Proximal Cubic Regularized Newton Methods for Convex Optimization
在本文中,我们使用近似三次正则化牛顿方法(PCNM)优化光滑凸函数和非光滑凸函数的总和,其中我们使用不精确梯度和Hessian,以及三次正则化二阶子问题的不精确子求解器。我们分别提出了PCNM和加速PCNM的不精确变体,并证明了这两种变体可以达到与精确情况相同的收敛速度,前提是不精确梯度、Hessian和子求解器中的误差以适当的速率减小。同时,在数据源源不断的在线随机设置中,我们给出了所提出的算法的总体复杂度,并表明它们与随机梯度下降一样具有竞争力。此外,我们给出了所提出的算法在有限和设置的整体复杂性,并表明它是最先进的方差减少算法的竞争力。最后,我们提出了一个有效的算法的立方正则二阶子问题,它可以收敛到一个足够小的邻域的最优解在一个超线性的速度。
2019-02-26 math.OC
An Inexact Semi-smooth Newton Method on Riemannian Manifolds with Application to Duality-based Total Variation Denoising
本文提出黎曼流形上的非精确半光滑牛顿方法,用于求解非光滑原始-对偶最优性系统,并证明其不受曲率符号影响的局部收敛性,且在类 l2-TV 去噪实验中验证了超线性收敛。
2021-08-16 math.OC
Sequential Subspace Optimization for Quasar-Convex Optimization Problems with Inexact Gradient
对于凸光滑极小化问题,加速梯度一阶方法具有最优的复杂性估计。在许多实际情况下,使用不精确的梯度信息是有意义的。然而,这可能导致相应的不精确性积累在理论估计的收敛速率。本文对序列子空间最优化方法(SESOP)进行了一些改进,用于求解梯度不精确的类凸函数极小化问题。理论结果表明,没有积累的梯度不精确。的SESOP方法的建议版本和它的比较与已知的相似三角形方法与不精确的梯度的数值实现进行。
2021-08-13 math.OC
An efficient semismooth Newton-AMG-based inexact primal-dual algorithm for generalized transport problems
本文研究了求解一类最优质量输运问题的有效最优化方法。从动力系统的时间离散化出发,提出了一种非精确原始对偶法,并利用李雅普诺夫函数工具,对函数残差和可行性破坏建立了全局(超)线性收敛速率.该算法包含一个内部问题,具有较强的半光滑性,并激励使用半光滑牛顿迭代。通过探索问题本身的隐藏结构,将Newton迭代产生的线性系等价转化为图Laplacian系统,提出了一种鲁棒代数多重网格方法,并利用著名的Xu-Zikatanov恒等式进行了分析.最后,数值实验验证了我们的方法的有效性。
2022-07-28 math.OC
Convergence of Newton-MR under Inexact Hessian Information
最近,人们对设计经典Newton-CG的变体产生了浓厚的兴趣,其中(强)凸函数的Hessian被合适的近似所取代。这主要是由许多机器学习应用中出现的大规模有限和最小化问题所激发的。超越凸性,不精确的Hessian信息最近也被认为是在算法的背景下,如信赖域或(自适应)立方正则化一般非凸问题。在这里,我们这样做的Newton-MR,这扩展了经典的Newton-CG的应用范围以外的凸性不变凸问题。不同于牛顿-CG的收敛性分析,它依赖于在Löwner偏序意义下的保谱Hessian近似,我们的工作在这里从矩阵扰动理论来估计精确和近似黑塞矩阵的子空间之间的距离。数值实验表明,这种海森近似的弹性很大程度上,相当于一个高效的算法在大规模的问题。
2020-07-10 math.OC
Inexact Tensor Methods and Their Application to Stochastic Convex Optimization
在目标导数信息不精确的情况下,提出了一般的非加速和加速张量方法,分析了它们的收敛速度。此外,我们提供的条件,在每个衍生物是足够的每个算法,以达到所需的精度的不精确性。作为推论,我们提出了随机张量方法的凸优化,并获得足够的小批量的每个衍生物。
2022-12-21 math.OC
Inexact Newton-CG Algorithms With Complexity Guarantees
我们考虑一个最近开发的牛顿CG算法的非凸问题\citep{royer2018newton},其中不精确的估计的梯度和Hessian信息用于各种步骤的变种。在一定条件下的不精确措施,我们推导出迭代复杂性界实现$ε$ -近似二阶最优匹配最佳已知的下界。我们对梯度的不精确条件是自适应的,允许在具有大梯度的区域中的粗略精度。我们描述了我们的方法的两个变体,其中一个是自适应地选择沿计算搜索方向的步长,另一个是预定义的步长。为了获得二阶最优性,我们的算法将在某些步骤上使用负曲率方向。这些方向可以使用某种随机算法以高概率获得。从这个意义上说,我们所有的结果在算法的运行中具有很高的概率。我们在几个机器学习模型上根据经验评估了我们提出的算法的性能。
2022-04-11 math.OC
Subgradient method with feasible inexact projections for constrained convex optimization problems
本文提出了一种新的求解不可微约束凸优化问题的不精确投影次梯度方法。该方法将$ε$ -次梯度方法与一个过程相结合,以获得一个可行的不精确投影到约束集。采用众所周知的外源步长,Polyak的步长,和动态步长的方法所产生的序列的渐近收敛的结果和迭代复杂性的界限建立。
2020-06-15 math.OC
Inexact Bregman Sparse Newton Method for Efficient Optimal Transport
School of Data Science, The Chinese University of Hong Kong, Shenzhen(香港中文大学深圳数据科学学院)
本文提出近似Bregman稀疏牛顿方法,通过半对偶子问题序列框架高效求解精确最优传输问题,结合稀疏牛顿求解器和Hessian稀疏化策略,提升计算效率与精度。
2026-11-03 math.OC
An Inexact Proximal Newton Method for Nonconvex Composite Minimization
本文提出一种求解非凸复合问题的不精确近端牛顿型方法,在KKT残差范数下实现O(k^{-1/2})全局收敛与局部超线性收敛,无需线搜索且数值实验验证其性能媲美现有最优方法。
2024-12-21 math.OC
Distributed Inexact Newton Method with Adaptive Step Sizes
本文提出带自适应步长的分布式非精确牛顿法DINAS,可求解两类分布式优化问题,具备收敛速率优势且减少全局参数需求,实验表现优于现有方法,还首次给出相关非精确牛顿法的收敛性分析。
2025-01-14 math.OC
Worst-case convergence analysis of inexact gradient and Newton methods through semidefinite programming performance estimation
我们提供了新的工具,最坏情况下的性能分析的梯度(或最速下降)的柯西光滑强凸函数的方法,和牛顿法的自协调函数,包括不精确的搜索方向的情况下。该分析使用半定规划性能估计,如Drori和Teboulle [数学规划,145(1-2):451-482,2014]所开创的,并扩展了作者[Optimization Letters,11(7),1185-1199,2017]柯西方法的最新性能估计结果。为了说明工具的适用性,我们展示了一个新的复杂性分析的短步骤内点方法使用不精确的搜索方向。作为这个框架中的一个例子,我们概述了如何对Abernethy和Hazan最近的内点方法进行严格的最坏情况复杂性分析[PMLR,48:2520-2528,2016]。
2020-06-22 math.OC
Composite Convex Optimization with Global and Local Inexact Oracles
本文对复合凸极小化中的一类广泛的凸函数引入了新的全局和局部不精确预言的概念。这种不精确的预言自然来自原始对偶框架,障碍平滑,梯度和Hessian的不精确计算以及许多其他情况。我们还提供的例子表明,类的凸函数配备了新的不精确的二阶预言是大于标准的自协调以及Lipschitz梯度函数类。此外,我们研究了凸函数和/或自协调函数在不精确二阶预言机下的几个性质,这对算法的发展是有用的。接下来,我们应用我们的理论来开发不精确的近端牛顿型计划,以最小化一般复合凸最小化问题,配备了这样的不精确的预言。我们的理论结果包括新的优化算法,并具有整体收敛保证,可解决广泛的复合凸优化问题。当第一个目标项是额外的自协调,我们建立了不同的局部收敛结果,我们的方法。特别是,我们证明,根据选择的不精确的二阶预言机的精度水平,我们得到不同的局部收敛速度范围从$R$ -线性和$R$ -超线性到$R$ -二次。在特殊情况下,收敛界限是已知的,我们的理论恢复最好的已知速率。我们还应用我们的设置,以获得一个新的原始-对偶复合凸极小化问题的方法。最后,我们提出了一些有代表性的数值例子来说明我们的新算法的好处。
2020-02-23 math.OC
A search-free $O(1/k^{3/2})$ homotopy inexact proximal-Newton extragradient algorithm for monotone variational inequalities
该研究提出一种基于同伦的无搜索不精确邻近牛顿外梯度算法,用于求解实希尔伯特空间中的光滑单调变分不等式,具备更优的迭代复杂度,且初步实验显示其性能优于部分已有邻近牛顿方案。
2024-04-14 math.OC
Stochastic Intermediate Gradient Method for Convex Problems with Inexact Stochastic Oracle
本文介绍了求解具有不精确随机预言的凸优化问题的新方法。第一种方法是Devolder,Glineur和Nesterov提出的中间梯度法的推广,用于求解不精确预言问题。我们的新方法可以应用于复合结构,随机不精确预言的问题,并允许使用非欧设置。我们证明估计的平均收敛速率和概率的大偏差从这个速度。对于强凸问题,我们还介绍了该方法的两个修正。对于第一个修改,我们证明了平均收敛速率估计和第二个,我们证明了大偏差的平均收敛速度收敛速率估计。所有速率给出了所提出的方法的复杂性估计,直到乘法常数符合所考虑的一类凸组合最优化问题的随机不精确预言的复杂性下界。
2015-12-07 math.OC
Auxiliary problem principle and inexact variable metric forward-backward algorithm for minimizing the sum of a differentiable function and a convex function
针对一类由可微函数$f$与凸函数$g$之和构成的函数的极小化问题,我们引入了下降法,它可以看作是由不精确辅助问题原理或不精确变尺度前后向算法产生的.假设全局目标函数满足Kurdyka-Lojasiewicz不等式,我们证明了所提出的算法的收敛性,削弱了前人工作中的假设.
2016-09-10 math.OC
Inexact and Implementable Accelerated Newton Proximal Extragradient Method for Convex Optimization
本文研究非精确 Hessian 下的加速牛顿近端 extragradient 方法(IA-NPE),通过动态平衡计算成本与收敛进度并证明线搜索鲁棒性,保持了近最优复杂度,且数值实验表明其优于现有二阶方法。
2024-02-19 math.OC
OFF Newton-type Methods for Unconstrained Optimization with Inexact Derivatives
School of Mathematical Sciences, Jiangsu University(江苏大学数学科学学院)
本文提出了一种无需目标函数的近端牛顿方法变体,用于非凸复合优化问题,以及用于无约束优化问题的正则化牛顿方法,利用近似梯度和Hessian。理论分析证明,所提出算法的全局和局部收敛速度与精确计算目标函数和导数时的结果一致。为了验证理论假设的实际适用性,采用了一种惰性梯度策略来提供一种可验证的方案以满足近似梯度的精度要求。对于有限和优化问题,进一步开发了一种自适应采样策略以消除样本大小与梯度估计之间的循环依赖。所提出的算法被证明在期望下可以实现局部超线性和二次收敛。此外,我们还提出了一个使用近似导数的无约束优化的正则化牛顿和负曲率算法,用于定位近似二阶 stationary 点。所开发算法的最坏情况迭代和(样本)操作复杂度与现有文献中的最优结果一致。
2026-10-23 math.OC
Gradient Method With Inexact Oracle for Composite Non-Convex Optimization
本文对具有简单约束和不精确预言的复合非凸极小化问题提出了一种新的一阶方法。该目标函数被给定为“硬”部分(可能为非凸部分)和“简单”部分的和。非正式地说,甲骨文的不精确性意味着,对于“困难”部分,在任何一点,我们都可以近似地计算函数的值,并构造一个二次函数,它近似地从上面限制了这个函数。我们给出了几个这样的不精确的例子:光滑的非凸函数与不精确的Hölder连续梯度,辅助一致凹最大化问题,这只能近似解决的功能。对于引入的一类问题,我们提出了一种梯度型方法,它允许使用不同的邻近设置,以适应几何的可行集,自适应地选择控制的预言错误,允许不精确的邻近映射。我们给出了我们的方法的收敛速度的广义梯度映射的范数,并表明,在不精确的Hölder连续梯度的情况下,我们的方法是通用的Hölder参数的问题。最后,在一个特殊的情形下,证明了广义梯度映射的范数在一点处的小值意味着局部极小值的一个必要条件在该点处近似成立.
2017-03-27 math.OC
Gradient and gradient-free methods for stochastic convex optimization with inexact oracle
本文推广了通用梯度法(Yu. Nesterov)推广到强凸情形和中间梯度法(Devolder-Glineur-Nesterov)。我们还考虑可能的泛化随机和在线环境。我们展示了如何将这些结果推广到无梯度方法和随机方向搜索方法。但本文的主要内容是对神谕的假设。我们认为神谕不准确。
2016-03-28 math.OC
On the acceleration of forward-backward splitting via an inexact Newton method
提出了一种求解两个凸函数之和的前向后截断牛顿法(FBTN),其中一个凸函数是光滑的。与其他近端牛顿方法不同,我们的方法不涉及可变度量的就业,而是基于重新制定的原始问题的连续可微函数的无约束极小化,向前向后包络(FBE)。我们引入了一个广义Hessian的FBE对称的广义雅可比矩阵的非线性方程组的最优性条件的问题。这使得共轭梯度法(CG)的就业有效地解决所产生的(正则化)线性系,这可能是不精确的。CG的使用防止了完整的(广义)雅可比矩阵的计算,因为它只需要(广义)方向导数。所得到的算法是全局(渐进)收敛,$Q$ -线性误差界条件下,并高达$Q$ -超线性和$Q$ -二次在可能的非孤立极限点的正则性假设。
2018-11-07 math.OC
Convergence Analysis of an Inexact Feasible Interior Point Method for Convex Quadratic Programming
本文讨论凸二次规划的不精确可行内点算法的两种变型。我们将考虑两个不同的邻域:一个(小)诱导使用欧几里德范数产生一个短的步骤算法和一个对称的诱导使用无穷范数产生一个(实用)长的步骤算法。这两种算法都允许不精确地求解牛顿方程组。对于这两种算法,我们将提供牛顿方程中可接受的误差水平的条件,并建立最坏情况下的复杂性结果。
2012-08-29 math.OC
A relative-error inexact ADMM splitting algorithm for convex optimization with inertial effects
本研究提出一种带惯性效应的凸优化相对误差非精确ADMM分裂算法,证明其渐近收敛性与残差的逐点、遍历迭代复杂度,并通过回归问题初步数值实验验证了算法有效性。
2024-09-16 math.OC
An inexact perturbed path-following method for Lagrangian decomposition in large-scale separable convex optimization
本文在拉格朗日对偶分解的框架下,提出了一种求解大规模结构凸优化问题的不精确扰动路径跟踪算法。与文献中考虑的确切版本不同,我们允许一个解决原始问题不精确到一个给定的精度。不精确扰动算法允许使用近似黑塞矩阵和近似梯度向量来计算对偶问题的牛顿型方向。该算法分为两个阶段。第一阶段利用不精确扰动阻尼牛顿型迭代计算初始点,而第二阶段利用不精确扰动全步牛顿型迭代执行路径跟踪算法。我们分析了这两个阶段的收敛性,并估计了最坏情况下的复杂度。作为一种特殊情况,导出了拉格朗日松弛的精确路径跟踪算法,并估计了其最坏情况的复杂度。该变体与先前已知的方法相比具有一些差异。实施细节进行了讨论和数值结果报告。
2011-09-15 math.OC
Primal-Dual Inexact Newton-MR for Nonconvex Optimization with Equality Constraints
School of Mathematics and Physics, The University of Queensland(昆士兰大学数理学院)
针对带等式约束的非凸优化,提出一种基于共轭残差法的非精确原始-对偶牛顿方法,直接处理子问题非正定性,避免有害正则化,并具有全局收敛保证和良好实证表现。
2026-09-10 math.OC
An Inexact Regularized Newton Framework with a Worst-Case Iteration Complexity of $\mathcal{O}(ε^{-3/2})$ for Nonconvex Optimization
提出了一种求解光滑非凸最优化问题的算法,在最坏的情况下,该算法采用$\mathcal{O}(ε^{-3/2})$迭代来驱动目标函数的梯度范数低于一个指定的正实数$ε$,并且可以采用$\mathcal{O}(ε^{-3})$迭代来驱动目标函数的Hessian的最左特征值高于$-ε$ .所提出的算法是一个通用的框架,涵盖了广泛的技术,包括二次和三次正则化牛顿方法,如自适应正则化使用三次(ARC)方法和最近提出的信赖域算法与收缩和扩张(TRACE)。我们的方法的一般性是通过引入通用的条件,每个试验步骤需要满足,特别是允许使用不精确的正则化牛顿步骤。这些条件围绕一个新的子问题,可以近似求解,以获得满足条件的试验步骤。一个新的实例的框架,不同的ARC和TRACE,可以被视为二次和三次正则化牛顿方法之间的混合。数值结果表明,我们的混合算法优于三次正则化牛顿法。
2018-03-15 math.OC
Inexact Regularized Quasi-Newton Algorithm for Solving Monotone Variational Inequality Problems
针对单调变分不等式求解问题,提出一种结合新型价值函数与超平面全局化技术的非精确正则化拟牛顿算法,具备无正则性假设下的全局收敛性,数值实验验证了其效率。
2025-05-18 math.OC
An Inexact Riemannian Gradient Descent Algorithm on the Stiefel Manifold with One Newton-Schulz Iteration
School of Mathematical Sciences, Xiamen University(厦门大学数学科学学院)
本文提出一种Stiefel流形上带一次Newton-Schulz迭代的不精确黎曼梯度下降算法,可保证收敛性,性能优于同类算法,还提出其随机版本且表现优异。
2026-08-25 math.OC
Inexact alternating direction multiplier methods for separable convex optimization
本文提出了一种非精确交替方向乘子法(ADMMs),用于求解一般的可分凸优化问题,其目标函数为光滑项和非光滑项之和,且带有线性约束.该方法包括线性化子问题,一个回代步骤,梯度或加速梯度技术。建立了整体收敛。当ADMM子问题没有封闭形式解或子问题的解是昂贵的时,该方法特别有用。基于图像重建问题的数值实验表明了所提方法的有效性。
2016-04-08 math.OC
Adaptive inexact fast augmented Lagrangian methods for constrained convex optimization
本文分析了求解线性约束凸优化问题的几种不精确快速增广拉格朗日方法。主要地,我们的方法依赖于[15]中开发的过度间隙式平滑技术和[4]中新引入的不精确Oracle框架的组合。我们分析了几个算法的实例与常数和自适应平滑参数,并得出总的计算复杂性的结果在一个简单的原始集的投影。对于基本的不精确的快速增广拉格朗日算法,我们得到的整体计算复杂性为$\mathcal{O}\left(\frac{1}{ε^{5/4}}\right)$,而对于自适应的变体,我们得到$\mathcal{O}\left(\frac{1}ε\right)$,投影到一个原始的集合,以获得一个$ε-$最优解为我们原来的问题。
2015-05-12 math.OC
Fast Inexact Decomposition Algorithms For Large-Scale Separable Convex Optimization
本文提出了一种新的求解可分凸优化问题的不精确对偶分解算法。该算法结合了对偶拉格朗日分解、平滑和过度间隔三种技术。该算法在每次迭代中只需要一个原始步骤和两个对偶步骤,并允许不精确地并行求解每个分量的子问题。此外,算法参数自动更新,没有任何调整策略,在增广拉格朗日方法。我们分析了算法的收敛性,并估计了其$O(\frac{1}{\varepsilon})$最坏情况的复杂度。数值算例验证了理论结果。
2013-02-07 math.OC
An Inexact Regularized Proximal Newton Method without Line Search
针对光滑函数与凸非光滑函数之和的最小化问题,提出一种无需线搜索、依据上次迭代成败更新正则化参数的 IRPNM,并证明其全局与超线性收敛性。
2024-04-08 math.OC
Inexact proximal $ε$-subgradient methods for composite convex optimization problems
我们提出了两个近似版本的近端次梯度法最小化两个凸函数(不一定是可微的)的总和。该算法涉及,在每次迭代中,不精确的评价的近端运营商和近似次梯度的功能(即:的$ε$ -次梯度)。这些方法使用不同的误差标准来近似近端算子。我们提供了一个分析的收敛性和收敛速率这些方法的属性,考虑到各种步长规则,包括两个,递减和恒定步长。对于其中一个函数是光滑的情况,我们提出了一个不精确的加速版本的邻近梯度法,并证明了最佳的收敛速度的函数值可以实现。
2019-07-11 math.OC
Inexact cuts for Deterministic and Stochastic Dual Dynamic Programming applied to convex nonlinear optimization problems
本文将对偶动态规划(DDP)推广到求解凸非线性动态规划方程。我们称之为不精确的DDP(IDDP)这种扩展适用于一些或所有的原始和对偶子问题,以解决沿迭代的方法解决有界误差的情况。我们证明了决策序列的任何聚点都是动态规划方程的近似解。当这些错误趋于零的迭代次数趋于无穷大,我们表明,IDDP解决了动态规划方程。我们扩展的分析随机凸非线性动态规划方程,引入不精确随机对偶动态规划(ISDDP),SDDP的不精确的变种对应的情况下,一些或所有的问题要解决的前向和向后传递的SDDP近似解决。我们还证明了ISDDP在误差消失时的几乎必然收敛。
2017-11-22 math.OC
A New Inexact Gradient Descent Method with Applications to Nonsmooth Convex Optimization
本文提出一种新的非精确梯度法(IGD),在KL性质下保证收敛到稳定点,并将其应用于设计非精确邻近点法和非精确增广拉格朗日法,数值实验表明其优于现有非光滑凸优化算法。
2024-01-12 math.OC
Lipschitz-Free Mirror Descent Methods for Relatively Strongly Convex Functions with/without Absolute and Relative Inexactness
Innopolis University(伊诺波利斯大学);Moscow Institute of Physics and Technology(莫斯科物理技术学院);V. I. Vernadsky Crimean Federal University(V·I·维尔纳茨基克里米亚联邦大学)
本文提出了一种无需Lipschitz连续性假设的镜像下降方法,用于解决相对强凸函数的非光滑优化问题,并通过实验验证了其有效性。
2026-01-30 math.OC
Exploring Jacobian Inexactness in Second-Order Methods for Variational Inequalities: Lower Bounds, Optimal Algorithms and Quasi-Newton Approximations
针对变分不等式,研究二阶方法中雅可比不精确性的影响,建立下界并提出最优算法,引入拟牛顿近似降低辅助问题求解成本,实现全局次线性收敛,并扩展至高阶导数情形。
2024-05-28 math.OC
Robust Learning Meets Quasar-Convex Optimization: Inexact High-Order Proximal-Point Methods
University of Antwerp(安特卫普大学);Universidad de Tarapacá(塔拉帕卡大学)
本文将鲁棒学习问题转化为强准凸优化问题,提出HiPPA方法,通过模型-值间隙控制子问题的不精确性,证明其全局收敛性和线性或超线性收敛性。
2026-05-08 math.OC
Distributed Inexact Damped Newton Method: Data Partitioning and Load-Balancing
Lehigh University(里海大学)
本文研究了在分布式环境下实现的不精确转储牛顿法。我们从原始的DiSCO算法开始[Communication-Efficient Distributed Optimization of Self-Concordant Empirical Loss,Yushan Zhang and Lin Xiao,2015]。我们将证明这种算法可能无法很好地扩展,并提出一种算法修改,这将导致更少的通信,更好负载均衡和更有效的计算。我们进行了数值实验,正则化的经验损失最小化的情况下描述的273 GB的数据集。
2016-03-16 cs.LG math.OC
Newton-MR: Inexact Newton Method With Minimum Residual Sub-problem Solver
University of Queensland(昆士兰大学);The Centre for Information Resilience(信息弹性中心);International Computer Science Institute(国际计算机科学研究所);Stanford University(斯坦福大学);University of California at Berkeley(加州大学伯克利分校)
我们考虑一个变种的不精确牛顿法,称为牛顿MR,其中的最小二乘法的子问题近似求解使用最小残差方法。通过构造,牛顿-MR可以很容易地应用于一类称为不变凸的非凸问题的无约束优化,其中包含凸性作为子类。对于不变凸优化问题,取代经典的关于梯度和Hessian的Lipschitz连续性假设,在一个较弱的Hessian和梯度的联合正则性概念下,可以保证Newton-MR的整体收敛.我们还得到了Newton-MR问题无关的局部收敛到极小点集。我们证明了快速局部/整体收敛可以保证一个新的不精确条件下,据我们所知,这是远远弱于以前的相关工作。数值结果表明,与其他几个牛顿型的替代品在一些机器学习问题的性能相比,牛顿-MR。
2022-05-06 cs.LG math.OC
A scaled, inexact and adaptive Fast Iterative Soft-Thresholding Algorithm for convex image restoration
在这篇文章中,我们考虑了最近在(Rebegoldi,Calatroni,'21)中提出的用于强凸复合优化问题的有效解的缩放的、不精确的和自适应的广义快速迭代软保持算法(SAGE-FISTA)的一个特殊实例。特别是,我们在这里解决的唯一(非强)凸优化的情况下,这是经常遇到的许多成像应用。所提出的不精确S-FISTA算法示出了与(Bonettini,Rebegoldi,Ruggiero,'19)中研究的FISTA的可变度量和不精确版本的类比,主要区别是使用自适应(非单调)回溯策略,允许沿着迭代自动调整算法步长(参见(Scheinberg,Goldfarb,Bai,'14,Calatroni,Chambolle,'19))。给出了函数值依赖于回溯参数和变度量算子谱的上、下界的一个平方收敛结果。电视图像去模糊问题的泊松噪声的实验结果,然后报告的数值验证,显示出提高计算效率和精度。
2021-04-01 math.OC
An Efficient Inexact Newton-CG Algorithm for the Smallest Enclosing Ball Problem of Large Dimensions
本文研究了在积$mn$较大的情况下,计算$\mathbb{R}^n,$中的一组$m$球的最小包围球(SEB)的问题.我们首先近似的不可微SEB问题的对数指数聚集函数,然后提出了一个计算效率高的不精确牛顿CG算法的平滑逼近问题,利用其特殊的(近似)稀疏结构。与经典Newton-CG算法的主要区别在于,该算法对梯度和Hessian向量积的计算是不精确的,这使得该算法能够求解大规模的SEB问题.我们给出了一个不精确计算梯度/Hessian的自适应准则,并证明了算法的整体收敛性。我们使用经典的Newton-CG算法以及[Zhou. {et al.}在Comput。Opt.\& Appl. 30,147- 160(2005)]作为基准。
2015-09-22 cs.CG math.OC
Difference-of-Convex Optimization via Inexact Smoothing Descent Methods: Difference of High-Order Moreau Envelopes
University of Antwerp(安特卫普大学)
提出HOME-DC函数并建立其性质,通过非精确一阶预言机设计下降方法求解DC优化问题,理论分析收敛性,稀疏聚类实验验证有效性。
2026-07-01 math.OC
Inexact indefinite proximal ADMMs for 2-block separable convex programs and applications to 4-block DNNSDPs
本文研究了带线性约束的两块可分凸极小化问题,对于这类问题,用乘子的交替方向法(ADMM)求其子问题的精确解是不可能的或代价太高.这类结构化凸极小化问题通常出现在具有线性约束的三块或四块可分凸优化问题的两块重组求解中,或者出现在图像处理中的约束全变差超分辨率图像重建问题中。针对这些问题,我们提出了一种步长为$τ\in\!(0,\frac{\sqrt{5}+1}{2})$的非精确不确定邻近ADMM,并利用两个易于实现的不精确准则来控制子问题的解的精度,在不确定邻近项的温和假设下证明了算法的收敛性.我们将所提出的不精确不定近似ADMM应用于具有线性约束的三块或四块可分凸极小化问题,这些问题来自于一类重要的具有多个线性等式和/或不等式约束的双非负半定规划(DNNSDP)问题的对偶.数值结果表明,基于绝对误差准则的非精确不定邻近ADMM算法无论在迭代次数还是计算时间上,都与不保证收敛的步长为$τ=1.618$的直接扩展多块ADMM算法具有相当的性能.
2015-07-29 math.OC
Inexact proximal methods for weakly convex functions
本文提出不精确近端方法求解光滑与弱凸非光滑函数之和的稳定点,基于连续映射求零点框架,证明了近端点法与近端梯度法在KL性质下的全局收敛性与构造性收敛速率。
2023-08-04 math.OC
On the (linear) convergence of Generalized Newton Inexact ADMM
本文提出GeNI-ADMM统一框架,分析非精确ADMM的收敛性,给出标准与强凸下的速率,并解决随机化加速变体的收敛开放问题。
2025-06-18 math.OC
An Inexact Interior-Point Lagrangian Decomposition Algorithm with Inexact Oracles
本文提出了一种新的非精确内点拉格朗日分解方法来求解一类广泛的约束组合凸优化问题。我们的方法依赖于四种技术:拉格朗日对偶分解,自协调障碍平滑,路径跟踪,和近似牛顿技术。它还允许近似计算原始子问题(称为从属问题)的解,这导致不精确的预言(即,不精确梯度和Hessians)的光滑对偶问题(称为主问题)。光滑对偶问题是非光滑的,我们提出用不精确近似牛顿法来求解,通过适当地控制从问题和主问题两个层次上的不精确计算,我们仍然估计了算法的多项式时间迭代复杂度,就像标准的短步内点方法一样.我们还提供了一个策略,以恢复原始解决方案,并建立复杂性,以实现近似原始解决方案。我们说明了我们的方法,通过两个数值例子知名的模型与合成和真实的数据,并比较它与一些现有的国家的最先进的方法。
2019-04-18 math.OC
Efficiency and Convergence Insights in Large-Scale Optimization Using the Improved Inexact-Newton-Smart Algorithm and Interior-Point Framework
本文对比评估大规模非线性优化中改进INS算法与原对偶内点框架的性能,发现内点法效率、精度、稳定性更优可作基准,调优后的INS可作为适配特定问题结构的替代方案。
2025-11-15 math.OC