Inexact Proximal Newton methods in Hilbert spaces
我们考虑近似牛顿方法的更新步骤的不精确计算。为此,我们引入了两个不精确的标准,表征这些更新步骤的足够的精度,并借助这些调查的整体收敛和局部加速我们的方法。的不精确性标准的设计是足够的希尔伯特空间的框架,我们发现自己,而传统的不精确性标准,从光滑牛顿或有限维近似牛顿方法似乎是低效的,在这种情况下。在函数空间中考虑一个简单的模型问题,展示了该方法的性能和它的增益的有效性与确切的情况相比。
2022-04-26 math.OC
Inexact proximal methods for weakly convex functions
本文提出不精确近端方法求解光滑与弱凸非光滑函数之和的稳定点,基于连续映射求零点框架,证明了近端点法与近端梯度法在KL性质下的全局收敛性与构造性收敛速率。
2023-08-04 math.OC
Inexact proximal $ε$-subgradient methods for composite convex optimization problems
我们提出了两个近似版本的近端次梯度法最小化两个凸函数(不一定是可微的)的总和。该算法涉及,在每次迭代中,不精确的评价的近端运营商和近似次梯度的功能(即:的$ε$ -次梯度)。这些方法使用不同的误差标准来近似近端算子。我们提供了一个分析的收敛性和收敛速率这些方法的属性,考虑到各种步长规则,包括两个,递减和恒定步长。对于其中一个函数是光滑的情况,我们提出了一个不精确的加速版本的邻近梯度法,并证明了最佳的收敛速度的函数值可以实现。
2019-07-11 math.OC
Inexact proximal DC Newton-type method for nonconvex composite functions
针对目标为光滑函数加非光滑DC函数的DC优化问题,提出结合近似DC算法与非精确近似牛顿法的非精确近似DC牛顿型方法,证明全局收敛性,设计高效缩放近似映射求解方案,实验验证其优于现有方法。
2023-08-29 math.OC
A Doubly Accelerated Inexact Proximal Point Method for Nonconvex Composite Optimization Problems
本文描述并建立了求解目标函数为$f+h$形式的非凸复合极小化问题的双加速非精确邻近点(D-AIPP)方法的迭代复杂性,其中$f$是梯度为Lipschitz连续的(可能非凸)可微函数,$h$是有界区域的闭凸函数. D-AIPP执行两种类型的迭代,即内部迭代和外部迭代。其外迭代对应于加速的不精确邻近点格式。它的内迭代是由加速复合梯度法执行的,用于不精确地求解在外迭代期间产生的凸邻近子问题。因此,D-AIPP采用内部加速度和外部加速度。
2018-12-18 math.OC
Linear convergence of inexact descent method and inexact proximal gradient algorithms for lower-order regularization problems
基于$0< p< 1$的$\ell_p$正则化问题在求解线性反问题的稀疏解方面得到了广泛的研究,并在各种数学和应用科学领域得到了成功的应用。近似梯度算法是求解$\ell_p$正则化问题的最流行的算法之一。本文研究了一种非精确下降法和两种非精确邻近梯度算法(PGA)的线性收敛问题。为此,最优性条件定理的探索,以提供之间的等价性局部极小值,二阶最优性条件和二阶增长性质的$\ell_p$正则化问题。利用二阶最优性条件和二阶增长性,在一些简单的假设下,证明了非精确下降法和非精确PGA的线性收敛性质.线性收敛到局部极小值和线性收敛到局部极小值。最后,将非精确数值方法的线性收敛结果推广到无限维希尔伯特空间.
2017-08-23 math.OC
Convergence and Stability Analysis of a Generalized Proximal Point Algorithm and Its Inexact Version
Ton Duc Thang University(胡志明市通德大学);Wayne State University(韦恩州立大学);Université de Limoges(利摩日大学)
本文在希尔伯特空间中引入自适应强单调性概念,建立广义邻近点算法(GPPA)求解非单调包含问题近似解的线性收敛性,同时研究了存在非递减误差时的不精确广义邻近点算法(IGPPA)。
2026-08-04 math.OC
An Inexact Riemannian Proximal Gradient Method
本文考虑了黎曼流形上的一个可微函数与一个非光滑函数之和的极小化问题。最近几年,近似梯度法及其不变量被推广到黎曼环境下求解这类问题。将近端标测推广到黎曼近端梯度法的黎曼设置导联版本的不同方法。然而,它们的收敛性分析都依赖于精确求解它们的黎曼邻近映射,这要么代价太高,要么不切实际。本文研究了一类不精确黎曼逼近梯度法的收敛性。证明了如果足够精确地求解邻近映射,则可以保证基于RiemannianKurdyka-Schojasiewicz性质的整体收敛和局部收敛速度。此外,还给出了黎曼邻近映射精确解的实用条件。作为副产品,在~[CMSZ 2020]中提出的Stiefel流形上的邻近梯度法可以被看作是不精确的黎曼邻近梯度法,只要邻近映射被求解到一定的精度。最后,对稀疏主成分分析进行了数值实验,以检验所提出的实用条件。
2021-11-14 math.OC
On Inexact Accelerated Proximal Gradient Methods with Relative Error Rules
最流行和最重要的一阶迭代之一是“快速迭代收缩/保持算法”(FISTA),它提供了经典的近端梯度法(PGM)的最佳复杂度。本文研究了极小化两个凸函数和的两种不精确形式的FISTA。所提出的计划不精确地解决他们的子问题,使用相对误差标准,而不是外生和减少误差的规则。当近端操作者的评估是困难的,不精确版本的FISTA是必要的,这里提出的相对误差规则可能比以前的误差规则具有一定的优势。两种算法都具有相同的FISTA最优收敛速度。一些数值实验报告,以说明新方法的数值行为。
2020-05-07 math.OC
Inexact-Proximal Accelerated Gradient Method for Stochastic Nonconvex Constrained Optimization Problems
具有非线性约束的随机非凸最优化问题在智能交通、网络安全和智能电网等领域有着广泛的应用。本文首先提出了一种非精确邻近加速梯度法来求解一类非凸随机复合最优化问题,其中目标函数为光滑函数和非光滑函数之和,约束函数为确定性函数,且每次迭代时非光滑部分的邻近映射的解是不精确计算的.我们证明了一个渐进的次线性收敛速度收敛速率随机设置使用增加的样本大小考虑在邻近的操作员的错误减少在一个适当的速度。然后,我们定制所提出的方法来解决随机非凸最优化问题与非线性约束,并证明了收敛速度保证。数值结果表明了该算法的有效性。
2021-07-07 math.OC
Efficient Inexact Proximal Gradient Algorithm for Nonconvex Problems
近似梯度算法是求解凸优化问题的一种常用算法。最近,它也被扩展到非凸问题,目前最先进的是非单调加速邻近梯度算法。然而,它通常在每次迭代中需要两个精确的近端步骤,并且当近端步骤昂贵时可能是低效的。在本文中,我们提出了一个有效的近端梯度算法,只需要一个不精确的(因此成本较低)在每次迭代的近端步骤。收敛到一个临界点的非凸问题的%仍然是有保证的,并有一个$O(1/k)$收敛速度,这是最好的速度为非凸问题的一阶方法。通过对多个问题的实验表明,该算法具有与现有算法相当的性能,但速度要快得多。
2017-05-23 math.OC
Halpern Acceleration of the Inexact Proximal Point Method of Rockafellar
Dongguan University of Technology(东莞理工学院)
本文提出了一种Halpern加速的不精确近端点法,用于解决最大单调包含问题,并在约束凸优化中扩展了该方法,实现了O(1/k²)和线性收敛速度。
2026-01-07 math.OC
An inexact version of the symmetric proximal ADMM for solving separable convex optimization
本文提出并分析了求解线性约束最优化问题的对称邻近交替方向法(ADMM)的一个不精确形式。基本上,该方法允许它的第一个子问题不精确地解决,以这种方式,一个相对近似的标准是满意的。根据迭代次数$k$,我们建立了该方法在加速度参数域上的全局$\mathcal{O} (1/ \sqrt{k})$逐点收敛速度和$\mathcal{O} (1/ {k})$各态历经收敛速度,这与精确情形下已知的最大收敛速度一致.由于对称邻近ADMM可以看作是一类ADMM的变种,新算法以及它的收敛速度推广,特别是在文献中的许多其他。数值实验说明了该方法的实际优势的报告。据我们所知,这项工作是第一个研究对称近端ADMM的不精确版本。
2020-06-04 math.OC
Inexact JKO and proximal-gradient algorithms in the Wasserstein space
该研究针对Wasserstein空间中JKO格式与近端梯度算法的非精确求解问题,分析两类误差的影响,给出受控误差下的严格收敛保证,证明非精确步长仍可实现弱收敛,且结论可拓展至近端梯度算法。
2025-06-18 math.OC
Inexact Proximal Point and Tseng Algorithms with Nonsummable Errors to Solve Monotone Inclusions
Ton Duc Thang University(胡志明市铁城大学);Wayne State University(韦恩州立大学);Université de Limoges(利摩日大学)
本文首次在Hilbert空间中,利用Tikhonov正则化、单调算子的压缩性质及R-连续性理论,证明了带不可和误差的非精确近端点算法和Tseng算法的收敛性。
2026-09-09 math.OC
Bregman Proximal Point Algorithm Revisited: A New Inexact Version and its Inertial Variant
我们研究的是一个一般的凸优化问题,它涵盖了不同领域的各种经典问题,特别是近年来出现的许多与最优输运相关的问题。为了解决这个问题,我们重新审视了经典的Bregman邻近点法(BPPA),并引入了一个新的不精确停止条件来求解子问题,当问题具有复杂的可行集时,该条件可以避免现有不精确条件中经常出现的潜在可行性困难.我们的不精确条件也涵盖了几个现有的不精确条件作为特殊情况,因此使我们的不精确BPPA(iBPPA)更灵活,以适应不同的场景在实践中。此外,受Nesterov的加速技术的启发,我们开发了一个惯性变体的iBPPA,表示为V-iBPPA,并建立了迭代复杂度的$O(1/k^λ)$,其中$λ\geq1$是一个四边形的标度指数的核函数。特别是,当邻近参数是一个常数,核函数是强凸的Lipschitz连续梯度(因此$λ=2$),我们的V-iBPPA实现了更快的速度$O(1/k^2)$,就像现有的加速不精确邻近点法。通过求解标准OT问题的初步数值实验,验证了iBPPA和V-iBPPA在不同不精确度下的收敛性.实验也验证了我们的V-iBPPA在提高收敛速度方面的潜力。
2022-05-17 math.OC
Convergence Analysis of an Inexact Proximal Trust-Region Method
Sandia National Laboratories(桑迪亚国家实验室);Oregon State University(俄勒冈州立大学)
本文提出并分析了一种非精确近端信赖域算法,用于求解光滑非凸与非光滑凸函数之和的最小化问题,通过允许近端算子非精确评估保证全局收敛,并在PDE约束优化中验证了其有效性。
2026-09-23 math.OC
Complexity of a quadratic penalty accelerated inexact proximal point method for solving linearly constrained nonconvex composite programs
分析了求解线性约束非凸组合规划的二次罚加速不精确邻近点方法的迭代复杂性。更具体地,目标函数具有$f + h$的形式,其中$f$是梯度为Lipschitz连续的可微函数,而$h$是具有有界域的闭凸函数。该方法,基本上,包括应用加速不精确的邻近点法近似求解一系列的二次惩罚的线性约束问题的子问题。近似点法的每个子问题依次近似求解的加速复合梯度(ACG)方法。结果表明,该方案在最多${\cal{O}}(ρ^{-3})$ ACG迭代生成一个$ρ$ -近似稳定点。最后,数值结果表明所提出的方法的有效性。
2019-07-16 math.OC
A Relative Inexact Proximal Gradient Method with an Explicit Linesearch
针对目标函数为全定义域可微凸函数与非可微凸函数之和的复合凸优化问题,提出带显式线搜索的相对不精确邻近梯度法,证明收敛性并建立迭代复杂度,数值实验验证其实际有效性。
2025-04-14 math.OC
Inexact indefinite proximal ADMMs for 2-block separable convex programs and applications to 4-block DNNSDPs
本文研究了带线性约束的两块可分凸极小化问题,对于这类问题,用乘子的交替方向法(ADMM)求其子问题的精确解是不可能的或代价太高.这类结构化凸极小化问题通常出现在具有线性约束的三块或四块可分凸优化问题的两块重组求解中,或者出现在图像处理中的约束全变差超分辨率图像重建问题中。针对这些问题,我们提出了一种步长为$τ\in\!(0,\frac{\sqrt{5}+1}{2})$的非精确不确定邻近ADMM,并利用两个易于实现的不精确准则来控制子问题的解的精度,在不确定邻近项的温和假设下证明了算法的收敛性.我们将所提出的不精确不定近似ADMM应用于具有线性约束的三块或四块可分凸极小化问题,这些问题来自于一类重要的具有多个线性等式和/或不等式约束的双非负半定规划(DNNSDP)问题的对偶.数值结果表明,基于绝对误差准则的非精确不定邻近ADMM算法无论在迭代次数还是计算时间上,都与不保证收敛的步长为$τ=1.618$的直接扩展多块ADMM算法具有相当的性能.
2015-07-29 math.OC
An inexact proximal MM method for a class of nonconvex composite image reconstruction models
针对脉冲噪声去除的非凸非光滑图像重建问题,提出带非精确准则的近端MM算法并证明其收敛性,在图像去模糊与修复任务中验证了算法效率。
2024-03-26 math.OC
An accelerated inexact proximal point method for solving nonconvex-concave min-max problems
本文提出了光滑计划获得近似的无约束或线性约束的复合非凸-凹最小-最大(因此非光滑)问题的稳定点,通过应用著名的算法,以复合光滑近似的原始问题。更具体地说,在不受约束的(resp。约束)的情况下,原问题的近似稳定点,通过应用,其复合光滑近似,加速不精确的邻近点(分别)。二次罚分)的方法在以前的文件中提出的作者。迭代的复杂性界限,这两个平滑计划也成立。最后,数值结果证明了无约束光顺格式的有效性。
2021-06-17 math.OC
Improved Analysis of Restarted Accelerated Gradient and Augmented Lagrangian Methods via Inexact Proximal Point Frameworks
University of Rochester(罗切斯特大学)
本文提出了一种重启加速复合梯度方法和不精确增广拉格朗日方法,分别在无约束和线性约束问题中达到最优一阶复杂度,通过不精确近似点框架实现统一分析。
2026-02-19 math.OC
Convergence Analysis of a Relative-type Inexact Preconditioned Proximal ALM for Convex Nonlinear Programming
Sun Yat-sen University(中山大学);The University of Tennessee, Knoxville(田纳西大学诺克斯维尔分校);National University of Singapore(新加坡国立大学)
本文研究了相对型不精确预条件近似增广拉格朗日方法在凸非线性规划中的收敛性,证明了该方法的全局收敛性和渐进线性收敛速度,同时给出了关于原可行性偏差和原目标残差的全局均值收敛率。
2026-03-28 math.OC
Local convergence of an inexact proximal algorithm for weakly convex functions
针对弱凸函数提出一种非精确近端点算法变体,利用Moreau envelope证明其局部收敛性并给出复杂度结果,提升了算法在优化场景中的通用性与适用性。
2023-08-03 math.OC
Computing proximal points of convex functions with inexact subgradients
定位邻近点是许多最小化算法的组成部分。本文主要研究在不精确的预言下,如何求出凸函数在某一点的逼近点。我们的方法假设精确的函数值在手边,但精确的子梯度要么不可用,要么没有用。我们使用近似次梯度来建立目标函数的模型,并证明了该方法在可接受的误差范围内收敛到真实的收敛点。在每个步骤$k$中使用的次梯度$g_k$是这样的,即从$g_k$到当前迭代点处的目标函数的真次微分的距离由某个固定的$\varepsilon>0.$限定。该算法包括应用于近似次梯度的新颖的倾斜校正步骤。
2016-11-02 math.OC
Robust Learning Meets Quasar-Convex Optimization: Inexact High-Order Proximal-Point Methods
University of Antwerp(安特卫普大学);Universidad de Tarapacá(塔拉帕卡大学)
本文将鲁棒学习问题转化为强准凸优化问题,提出HiPPA方法,通过模型-值间隙控制子问题的不精确性,证明其全局收敛性和线性或超线性收敛性。
2026-05-08 math.OC
High-order methods beyond the classical complexity bounds, I: inexact high-order proximal-point methods
在本文中,我们介绍了一个\textit{Bi-level OPTimization}(BiOPT)的框架,最小化两个凸函数,其中都可以是非光滑的总和。BiOPT框架涉及两个层次的方法。在BiOPT的上层,我们首先通过一个$(p+1)$阶近似项来正则化目标,然后利用标准估计序列技术发展了通用的不精确高阶近似点格式及其加速.在较低的层次上,对于精度参数$\varepsilon>0$,我们用$p$阶张量方法的一次迭代或用复杂度为$\mathcal{O}(\log \tfrac{1}{\varepsilon})$的低阶非欧复合梯度格式不精确地求解相应的$p$阶邻近辅助问题.最后,如果在上层应用加速的邻近点方法,并且辅助问题由非欧几里德复合梯度方案处理,则我们最终得到具有收敛速度$\mathcal{O}(k^{-(p+1)})$的$2q$阶方法,对于$q=\lfloor p/2 \rfloor$,其中$k$是迭代计数器。
2021-07-13 math.OC
Iteration-complexity of an inner accelerated inexact proximal augmented Lagrangian method based on the classical Lagrangian function
建立了求解线性约束光滑非凸复合最优化问题的基于经典增广拉格朗日(AL)函数的内加速非精确近似增广拉格朗日(IAIPAL)方法的迭代复杂性.更具体地说,每个IAIPAL迭代包括不精确地解决一个近端AL子问题的加速复合梯度(ACG)的方法,其次是一个经典的拉格朗日乘子更新。假设复合函数的域是有界的,问题有一个斯莱特点,它表明,IAIPAL产生一个近似的稳态解在${\cal O}(\varepsilon^{-5/2}\log^2 \varepsilon^{-1})$ ACG迭代,其中$\varepsilon>0$是一个公差的平稳性和可行性。此外,在不假设初始点可行的情况下,导出了上述界。最后,数值结果表明,强大的实用性能的IAIPAL。
2022-06-14 math.OC
On inexact relative-error hybrid proximal extragradient, forward-backward and Tseng's modified forward-backward methods with inertial effects
本文提出并研究了求解单调包含问题的一种惯性欠松弛的相对误差混合邻近超梯度(HPE)方法的渐近收敛性和非渐近整体收敛速度(迭代复杂度).我们分析了所提出的方法下更灵活的假设比现有的外推和相对误差参数。作为应用,我们提出和/或研究了求解结构单调包含的惯性欠松弛前后向和Tseng的修正前后向方法。
2018-12-05 math.OC
A New Inexact Manifold Proximal Linear Algorithm with Adaptive Stopping Criteria
University of Notre Dame(圣母大学);The Pennsylvania State University(宾夕法尼亚州立大学);Johns Hopkins University(约翰斯·霍普金斯大学)
本文提出IManPL算法,通过自适应停止准则非精确求解凸子问题,用于嵌入子流形上的非光滑非凸复合优化,并证明其达到最优一阶oracle复杂度,在稀疏谱聚类和稀疏主成分分析上优于现有方法。
2026-10-06 math.OC
Iteration-complexity of an inexact proximal accelerated augmented Lagrangian method for solving linearly constrained smooth nonconvex composite optimization problems
提出并建立了求解线性约束光滑非凸复合最优化问题的非精确近似加速增广拉格朗日(IPAAL)方法的迭代复杂度.每个IPAAL迭代包括不精确地解决一个近端增广拉格朗日子问题的加速复合梯度(ACG)方法,然后由一个合适的拉格朗日乘子更新。结果表明,IPAAL生成一个近似的稳态解在最多${\cal O}(\log(1/ρ)/ρ^{3})$ ACG迭代,其中$ρ>0$是给定的公差。它还表明,以前的复杂性界可以锐化为${\cal O}(\log(1/ρ)/ρ^{2.5})$下额外的轻度更强的假设。上述界是在假设初始点既不可行,也不假设目标函数的复合项的域有界的条件下导出的。一些初步的数值结果来说明IPAAL方法的性能。
2020-06-14 math.OC
Inexact Proximal Cubic Regularized Newton Methods for Convex Optimization
在本文中,我们使用近似三次正则化牛顿方法(PCNM)优化光滑凸函数和非光滑凸函数的总和,其中我们使用不精确梯度和Hessian,以及三次正则化二阶子问题的不精确子求解器。我们分别提出了PCNM和加速PCNM的不精确变体,并证明了这两种变体可以达到与精确情况相同的收敛速度,前提是不精确梯度、Hessian和子求解器中的误差以适当的速率减小。同时,在数据源源不断的在线随机设置中,我们给出了所提出的算法的总体复杂度,并表明它们与随机梯度下降一样具有竞争力。此外,我们给出了所提出的算法在有限和设置的整体复杂性,并表明它是最先进的方差减少算法的竞争力。最后,我们提出了一个有效的算法的立方正则二阶子问题,它可以收敛到一个足够小的邻域的最优解在一个超线性的速度。
2019-02-26 math.OC
Inexact Proximal-Gradient Methods with Support Identification
我们考虑最小化一个目标函数的近似梯度法,该目标函数是一个光滑函数和一个非光滑凸函数的和。一个特点,区分我们的工作从大多数文献中是,我们假设相关的近端运营商不承认一个封闭形式的解决方案。为了应对这一挑战,我们研究了两个自适应和可实现的终止条件,决定如何准确地解决了近端梯度子问题。我们证明了所需的迭代次数为不精确的近端梯度法达到$τ> 0$近似一阶稳定点是$\mathcal{O}(τ^{-2})$,这匹配类似的结果,持有精确的子问题的解决方案时计算。此外,通过关注重叠组$\ell_1$正则化,我们提出了一个算法近似解决的近似梯度子问题,然后证明其迭代识别(渐近)的支持最优解。如果一个施加额外的控制,每个子问题的解决的准确性,我们给出了一个上界的最大迭代次数之前,得到一个最优解的支持。
2022-11-04 math.OC
Proximal gradient methods with inexact oracle of degree q for composite optimization
本文提出 q 阶不精确一阶预言机概念,并分析用于复合优化的不精确近似梯度方法,揭示预言机精度与目标精度的复杂度关系。
2024-01-19 math.OC
An Inexact Riemannian Proximal Momentum Variance-Reduced Method: Complexity Bounds and KL Sequential Convergence
South China Agricultural University(华南农业大学)
针对紧嵌入子流形上的有限和非光滑复合问题,提出不精确黎曼邻近动量方差缩减方法,建立其复杂度界,并基于普通逐点KL性质推导带记忆的条件期望下降抽象KL原理,证明序列收敛性与速率。
2026-08-18 math.OC
An Inexact Proximal Newton Method for Nonconvex Composite Minimization
本文提出一种求解非凸复合问题的不精确近端牛顿型方法,在KKT残差范数下实现O(k^{-1/2})全局收敛与局部超线性收敛,无需线搜索且数值实验验证其性能媲美现有最优方法。
2024-12-21 math.OC
An adaptive superfast inexact proximal augmented Lagrangian method for smooth nonconvex composite optimization problems
提出了一种求解线性约束光滑非凸复合最优化问题的自适应超快近似增广拉格朗日(AS-PAL)方法。AS-PAL的每次迭代不精确地解决了一个可能的非凸近端增广拉格朗日(AL)子问题获得的一个积极的/自适应的选择接近步长的目的是大大提高其计算性能,其次是一个完整的拉格朗日乘子更新。与其他AL方法相比,AS-PAL的主要优点是它不需要参数的知识(例如,约束矩阵的大小,目标函数曲率等)与最优化问题相关联,由于其自适应性质,不仅在选择接近步长,而且在使用一个关键的自适应加速复合梯度变量来解决接近AL子问题。AS-PAL的速度和效率通过大量的计算实验证明,它可以解决许多情况下超过十倍的速度比其他国家的最先进的惩罚和AL方法,特别是当需要高精度。
2022-10-05 math.OC
A search-free $O(1/k^{3/2})$ homotopy inexact proximal-Newton extragradient algorithm for monotone variational inequalities
该研究提出一种基于同伦的无搜索不精确邻近牛顿外梯度算法,用于求解实希尔伯特空间中的光滑单调变分不等式,具备更优的迭代复杂度,且初步实验显示其性能优于部分已有邻近牛顿方案。
2024-04-14 math.OC
An Inexact Preconditioned Zeroth-order Proximal Method for Composite Optimization
针对仅有函数值可用的复合优化问题,提出基于相同试验点有限差分估计梯度和预条件子的预处理零阶近端梯度法,并证明其全局收敛性与最坏情况复杂度,数值实验验证了方法的优越性。
2024-01-07 math.OC
A Near-Optimal Total Complexity for the Inexact Accelerated Proximal Gradient Method via Quadratic Growth
The University of British Columbia(不列颠哥伦比亚大学)
本文研究了优化问题的总复杂度,证明在ω为锥形多面体函数时,双循环结构的不精确加速近端梯度法在函数值ε-最优性上具有O(ln(1/ε)/√ε)的复杂度。
2026-04-06 math.OC
Online Learning with Inexact Proximal Online Gradient Descent Algorithms
我们考虑不可微的动态最优化问题,如在机器人和子空间跟踪。考虑到计算约束和问题的时变性质,低复杂度算法是可取的,而解决方案的准确性可能只会随着时间的推移缓慢增加。提出了一种用于跟踪由可微损失函数和不可微正则化子组成的复合目标函数最优解的近似在线梯度下降(OGD)算法。在线学习框架被认为是和梯度的损失函数允许是错误的。梯度误差以及函数最优或目标的动态都是对抗性的,并且不精确的近端OGD的性能以其动态遗憾为特征,其动态遗憾以目标的累积误差和路径长度表示。建议的不精确的近端OGD的推广应用到大规模的问题,其中的损失函数具有有限和结构。在这种情况下,评估的全梯度可能是不可行的,并提出了一个方差减少的版本,允许子采样的组件功能。所提出的算法的有效性进行了测试,在机器人的形成控制问题和动态前景-背景分离问题的视频。
2018-06-01 math.OC
Generalized Inexact Proximal Algorithms: Habit's/ Routine's Formation with Resistance to Change, following Worthwhile Changes
本文展示了如何,在准度量空间,一个不精确的近似算法与广义扰动项似乎是一个很好的工具,行为科学(心理学,经济学,管理学,对策论,.)。更确切地说,新的扰动项表示对变化的抵抗力的指数,定义为两个连续迭代之间的准距离的“足够弯曲”的函数。使用这种行为的角度来看,本文件显示了这样一个广义的不精确的近端算法可以建模的习惯和惯例的形成,在一个惊人的方式。这个想法来自于最近的“变分理性方法”的人类行为,它联系了许多不同的稳定理论(习惯,惯例,平衡,陷阱,......)和变化(创造,创新,学习和破坏,.)以及变分分析中的许多概念和算法。在这种变分的背景下,微扰项代表了对变化的抵抗的非常普遍的概念的一个具体实例,这是一些对变化不利的因素的负效用。分析的核心是“有价值的变化”和“边际有价值的停留”的原始变分概念。在行为层面上,本文主张,近似算法非常适合模拟习惯化/非习惯化人类行为的出现。我们展示了什么时候,以及以什么速度,一个“值得改变”的过程收敛到一个行为陷阱。
2014-03-31 math.OC
An efficient adaptive accelerated inexact proximal point method for solving linearly constrained nonconvex composite problems
本文提出了一种有效的自适应二次惩罚加速不精确邻近点(QP-AIPP)的方法提出了较早的作者。QP-AIPP方法和它的变体都使用二次惩罚方法来解决线性集约束的非凸复合最优化问题,其中生成的惩罚子问题由底层AIPP方法的变体来解决。该变体,反过来,解决了一个给定的惩罚子问题,产生一系列的近端子问题,然后解决了加速复合梯度算法。AIPP和它的变体之间的主要区别是,在前者的近端子问题总是凸的,而在后者的不一定是凸的,由于事实上,他们的prox参数选择尽可能积极,以提高效率。AIPP变体产生的可能非凸邻近子问题也尝试解决了一种新的自适应加速复合梯度算法的有效性的基础上,一些关键的收敛不等式。其结果是,该变体生成一系列的近端子问题,其中的步长自适应地改变根据从调用到加速复合梯度算法的响应。最后,数值结果证明了所提出的AIPP和QP-AIPP变体的效率。
2019-12-05 math.OC
Characterizations of inexact proximal operators
本文研究不精确近 operator 的特性,探讨其正则性、近似能力及固定点,并分析误差情况下近算法的收敛性。
2026-02-02 math.OC
High-order methods beyond the classical complexity bounds, II: inexact high-order proximal-point methods with segment search
文献[3]提出了一种求解凸复合优化问题的双层优化框架(BiOPT),它是文献[20]给出的双层无约束最小化框架(BLUM)的推广。在这篇续篇中,我们引入了一个$p$阶近似点段搜索算子,用于开发新的加速方法。我们的第一个算法结合了这个运营商的确切元素与估计序列技术,以获得新的迭代点,这是达到收敛速度$\mathcal{O}(k^{-(3p+1)/2})$,迭代计数器$k$。接下来,我们考虑在BiOPT框架中使用的高阶邻近点片段搜索运算符的不精确元素。我们特别适用于加速高阶近似点方法在上层,而我们找到近似解的近似点段搜索辅助问题的非欧复合梯度和二分法的组合。对于$q=\lfloor p/2 \rfloor$,这相当于$2q$阶方法,对于偶数$p$($p=2q$)具有收敛速度$\mathcal{O}(k^{-(6q+1)/2})$(与$2q$阶方法的最优界相同),对于奇数$p$($p=2q+1$)具有超快收敛速度$\mathcal{O}(k^{-(3q+1)})$。
2021-09-25 math.OC
An efficient implementable inexact entropic proximal point algorithm for a class of linear programming problems
介绍了一类特殊结构的线性规划(LP)问题,它对最优输运、离散层析成像和经济学等不同领域的重要应用问题具有良好的建模能力.为了有效地解决这些大规模的LP问题,我们设计了一个可实现的不精确熵邻近点法(iEPPA)结合一个易于实现的双块坐标下降法作为子求解器。与现有的熵型邻近点法,我们的iEPPA采用了更实际的检查停止条件解决相关的子问题,同时实现可证明的收敛性。此外,当解决容量约束的多边际最优输运(CMOT)问题(我们的LP问题的一个特殊情况),我们的iEPPA是能够绕过基本的数值不稳定性的问题,经常出现在流行的熵正则化方法,因为我们的算法不需要的邻近参数非常小,以获得一个准确的近似解。大量的数值实验表明,我们的iEPPA是有效的和强大的解决大规模CMOT问题。对离散层析成像问题的实验也突出了我们的模型的潜在建模能力。
2022-04-23 math.OC
Distributed and Inexact Proximal Gradient Method for Online Convex Optimization
本文提出在线分布式近端梯度方法(DPGM),用于时变复合凸优化问题,并证明在通信噪声或量化等非精确条件下,跟踪误差受收敛线性系统上界约束,保证收敛到最优解邻域。
2021-04-01 math.OC
A strongly convergent inertial inexact proximal-point algorithm for monotone inclusions with applications to variational inequalities
本文提出一种在更弱惯性参数假设下强收敛的惯性非精确邻近点算法,并给出迭代复杂度分析,将其应用于变分不等式,得到多种经典方法的强收敛惯性变体,数值实验验证了其有效性。
2025-09-23 math.OC
Inexact Accelerated Proximal Gradient Method Revisit: An Economical Variant via Shadow Points
Singapore University of Technology and Design(新加坡科技设计大学)
本文提出SpinAPG方法,通过引入影点实现不精确APG方法的改进,保留加速收敛特性并减少计算开销。
2026-02-11 math.OC
Inexact Proximal Point Algorithms for Zeroth-Order Global Optimization
本文研究连续非凸函数的零阶全局优化问题,构建了非精确近端点方法的理论框架,提出了基于张量列近似和蒙特卡洛积分的两种实用算法,并证明了其收敛性与有效性。
2025-06-02 math.OC
An Inexact Proximal Linearized DC Algorithm with Provably Terminating Inner Loop
针对现有不精确DC算法内循环无法保证有限终止的问题,本文利用ε-次微分提出了不精确近端线性化DC算法tPLDCA,在保证收敛性的同时实现了内循环有限次终止,并给出了可行实现与数值验证。
2025-09-16 math.OC
An Inexact Regularized Proximal Newton Method without Line Search
针对光滑函数与凸非光滑函数之和的最小化问题,提出一种无需线搜索、依据上次迭代成败更新正则化参数的 IRPNM,并证明其全局与超线性收敛性。
2024-04-08 math.OC
On the Equivalence of Inexact Proximal ALM and ADMM for a Class of Convex Composite Programming
本文证明了对于一类线性约束凸复合最优化问题,基于(不精确)对称Gauss-Seidel的优化多块近似交替方向法(ADMM)等价于{ \em不精确}近似增广拉格朗日方法(ALM).这种等价性不仅为理解某些ADMM类算法提供了新的视角,而且为实现它们以获得更好的计算效率提供了有意义的指导。即使对于两个块的情况下,这种等价的副产品是由经典的ADMM产生的整个序列的收敛,其步长超过了$(1+\sqrt{5})/2$的常规上界,如果目标的一部分是线性的。这正是问题的设置,其中第一次收敛分析的ADMM进行了Gabay和Mercier在1976年,但即使在明显更强的假设,只有收敛的原始序列是已知的。一组说明性的例子来证明我们的结果可以用于应用的广度。通过求解大量线性和凸二次半定规划问题的数值实验,说明了本文所建立的理论结果对相应的实际实现的改进.
2019-01-28 math.OC