An accelerated inexact proximal point method for solving nonconvex-concave min-max problems
本文提出了光滑计划获得近似的无约束或线性约束的复合非凸-凹最小-最大（因此非光滑）问题的稳定点，通过应用著名的算法，以复合光滑近似的原始问题。更具体地说，在不受约束的（resp。约束）的情况下，原问题的近似稳定点，通过应用，其复合光滑近似，加速不精确的邻近点（分别）。二次罚分）的方法在以前的文件中提出的作者。迭代的复杂性界限，这两个平滑计划也成立。最后，数值结果证明了无约束光顺格式的有效性。
2021-06-17 math.OC
An Accelerated Inexact Dampened Augmented Lagrangian Method for Linearly-Constrained Nonconvex Composite Optimization Problems
提出并分析了求解线性约束非凸组合最优化问题的加速不精确阻尼增广拉格朗日（AIDAL）方法。AIDAL方法的每次迭代包括：（i）通过调用加速复合梯度（ACG）子例程不精确地求解阻尼近端增广拉格朗日（AL）子问题;（ii）应用阻尼和欠松弛拉格朗日乘子更新;以及（iii）使用新的测试来检查AL函数的罚参数是否应该增加。在几个温和的假设下，涉及阻尼因子和下松弛常数，它表明，AIDAL方法产生的约束问题的近似稳定点在${\cal O}(\varepsilon^{-5/2}\log\varepsilon^{-1})$迭代的ACG子程序，对于一个给定的公差$\varepsilon>0$。数值实验也显示了所提出的方法的计算效率。
2023-02-07 math.OC
On Inexact Accelerated Proximal Gradient Methods with Relative Error Rules
最流行和最重要的一阶迭代之一是“快速迭代收缩/保持算法”（FISTA），它提供了经典的近端梯度法（PGM）的最佳复杂度。本文研究了极小化两个凸函数和的两种不精确形式的FISTA。所提出的计划不精确地解决他们的子问题，使用相对误差标准，而不是外生和减少误差的规则。当近端操作者的评估是困难的，不精确版本的FISTA是必要的，这里提出的相对误差规则可能比以前的误差规则具有一定的优势。两种算法都具有相同的FISTA最优收敛速度。一些数值实验报告，以说明新方法的数值行为。
2020-05-07 math.OC
Inexact-Proximal Accelerated Gradient Method for Stochastic Nonconvex Constrained Optimization Problems
具有非线性约束的随机非凸最优化问题在智能交通、网络安全和智能电网等领域有着广泛的应用。本文首先提出了一种非精确邻近加速梯度法来求解一类非凸随机复合最优化问题，其中目标函数为光滑函数和非光滑函数之和，约束函数为确定性函数，且每次迭代时非光滑部分的邻近映射的解是不精确计算的.我们证明了一个渐进的次线性收敛速度收敛速率随机设置使用增加的样本大小考虑在邻近的操作员的错误减少在一个适当的速度。然后，我们定制所提出的方法来解决随机非凸最优化问题与非线性约束，并证明了收敛速度保证。数值结果表明了该算法的有效性。
2021-07-07 math.OC
Iteration-complexity of an inner accelerated inexact proximal augmented Lagrangian method based on the classical Lagrangian function
建立了求解线性约束光滑非凸复合最优化问题的基于经典增广拉格朗日（AL）函数的内加速非精确近似增广拉格朗日（IAIPAL）方法的迭代复杂性.更具体地说，每个IAIPAL迭代包括不精确地解决一个近端AL子问题的加速复合梯度（ACG）的方法，其次是一个经典的拉格朗日乘子更新。假设复合函数的域是有界的，问题有一个斯莱特点，它表明，IAIPAL产生一个近似的稳态解在${\cal O}(\varepsilon^{-5/2}\log^2 \varepsilon^{-1})$ ACG迭代，其中$\varepsilon>0$是一个公差的平稳性和可行性。此外，在不假设初始点可行的情况下，导出了上述界。最后，数值结果表明，强大的实用性能的IAIPAL。
2022-06-14 math.OC
Iteration-complexity of an inexact proximal accelerated augmented Lagrangian method for solving linearly constrained smooth nonconvex composite optimization problems
提出并建立了求解线性约束光滑非凸复合最优化问题的非精确近似加速增广拉格朗日（IPAAL）方法的迭代复杂度.每个IPAAL迭代包括不精确地解决一个近端增广拉格朗日子问题的加速复合梯度（ACG）方法，然后由一个合适的拉格朗日乘子更新。结果表明，IPAAL生成一个近似的稳态解在最多${\cal O}(\log(1/ρ)/ρ^{3})$ ACG迭代，其中$ρ>0$是给定的公差。它还表明，以前的复杂性界可以锐化为${\cal O}(\log(1/ρ)/ρ^{2.5})$下额外的轻度更强的假设。上述界是在假设初始点既不可行，也不假设目标函数的复合项的域有界的条件下导出的。一些初步的数值结果来说明IPAAL方法的性能。
2020-06-14 math.OC
Inexact Tensor Methods and Their Application to Stochastic Convex Optimization
在目标导数信息不精确的情况下，提出了一般的非加速和加速张量方法，分析了它们的收敛速度。此外，我们提供的条件，在每个衍生物是足够的每个算法，以达到所需的精度的不精确性。作为推论，我们提出了随机张量方法的凸优化，并获得足够的小批量的每个衍生物。
2022-12-21 math.OC
Inexact Accelerated Proximal Gradient Method Revisit: An Economical Variant via Shadow Points
Singapore University of Technology and Design（新加坡科技设计大学）
本文提出SpinAPG方法，通过引入影点实现不精确APG方法的改进，保留加速收敛特性并减少计算开销。
2026-02-11 math.OC
Nonasymptotic Analysis of Accelerated Methods With Inexact Oracle Under Absolute Error Bound
Beijing International Center for Mathematical Research, Peking University（北京大学北京国际数学研究中心）；The Ohio State University（俄亥俄州立大学）
研究具有不精确梯度预言机的加速方法用于解决确定性光滑凸问题，用PEP分析收敛界，得出GOGM和GFGM新收敛界，分析权衡与最优策略，建立累积误差下界并开发满足下界的PEP解。
2026-07-14 math.OC
Accelerated Inexact Composite Gradient Methods for Nonconvex Spectral Optimization Problems
针对一类非凸谱复合最优化问题，提出了两种不精确复合梯度法，一种是内加速法，另一种是双加速法。更具体地说，这些问题的目标函数是$f_1 + f_2 + h$的形式，其中$f_1$和$f_2$是具有Lipschitz连续梯度的可微非凸矩阵函数，$h$是适当的闭凸矩阵函数，并且$f_2$和$h$都可以表示为对它们的输入的奇异值进行运算的函数。该方法基本上使用加速复合梯度法来解决一系列的近端子问题，涉及的线性逼近的$f_1$和奇异值函数的基础$f_2$和$h$。与其他基于复合梯度的方法不同，所提出的方法利用了目标函数的复合结构和谱结构，以有效地生成它们的解决方案。数值实验表明，这些方法的实用性，一组现实世界和随机生成的谱最优化问题。
2022-05-03 math.OC
Intermediate Gradient Methods with Relative Inexactness
本文研究光滑凸优化中梯度相对不精确问题，分析强凸情形下加速梯度法的鲁棒误差界，并用PEP证明其最优性，进而提出自适应相对误差中间梯度法。
2023-09-30 math.OC
Numerical methods in large-scale optimization: inexact oracle and primal-dual analysis
这是一个简短的总结，已经发表的结果加速第一和零阶最优化方法，以及加速方法的问题与线性约束。这个简短的摘要是获得俄罗斯联邦科学博士学位的要求。详情见导言中所列的文件。
2020-09-08 math.OC
An Inexact Halpern-accelerated Preconditioned Generalized Proximal Point Algorithm for the Maximal Monotone Inclusion Problem
Sun Yat-sen University（中山大学）；National University of Singapore（新加坡国立大学）；University of Tennessee, Knoxville（田纳西大学诺克斯维尔分校）
本文提出一种非精确 Halpern 加速预条件广义近端点算法，结合锚定、非精确预解与全范围松弛，求解极大单调包含问题，并给出 O(1/k²) 收敛率及 pADMM 和 PDHG 的非精确加速版本。
2026-10-06 math.OC
IDEAL: Inexact DEcentralized Accelerated Augmented Lagrangian Method
NYU（纽约大学）；Rutgers University（罗格斯大学）；MIT（麻省理工学院）
我们介绍了一个框架下的分散优化设置，局部函数是光滑的，强凸的设计原始方法。我们的方法包括近似求解加速增广拉格朗日方法引起的一系列子问题，从而提供了一种系统的方法来推导几个著名的分散算法，包括EXTRA arXiv：1404.6264和SSDA arXiv：1702.08704。当与加速梯度下降相结合时，我们的框架产生了一种新的原始算法，其收敛速度是最佳的，并且与最近导出的下界相匹配。我们提供的实验结果表明，所提出的算法对高度病态的问题的有效性。
2020-06-11 cs.LG math.OC
An efficient adaptive accelerated inexact proximal point method for solving linearly constrained nonconvex composite problems
本文提出了一种有效的自适应二次惩罚加速不精确邻近点（QP-AIPP）的方法提出了较早的作者。QP-AIPP方法和它的变体都使用二次惩罚方法来解决线性集约束的非凸复合最优化问题，其中生成的惩罚子问题由底层AIPP方法的变体来解决。该变体，反过来，解决了一个给定的惩罚子问题，产生一系列的近端子问题，然后解决了加速复合梯度算法。AIPP和它的变体之间的主要区别是，在前者的近端子问题总是凸的，而在后者的不一定是凸的，由于事实上，他们的prox参数选择尽可能积极，以提高效率。AIPP变体产生的可能非凸邻近子问题也尝试解决了一种新的自适应加速复合梯度算法的有效性的基础上，一些关键的收敛不等式。其结果是，该变体生成一系列的近端子问题，其中的步长自适应地改变根据从调用到加速复合梯度算法的响应。最后，数值结果证明了所提出的AIPP和QP-AIPP变体的效率。
2019-12-05 math.OC
Inexact and Implementable Accelerated Newton Proximal Extragradient Method for Convex Optimization
本文研究非精确 Hessian 下的加速牛顿近端 extragradient 方法（IA-NPE），通过动态平衡计算成本与收敛进度并证明线搜索鲁棒性，保持了近最优复杂度，且数值实验表明其优于现有二阶方法。
2024-02-19 math.OC
Empirical and computer-aided robustness analysis of long-step and accelerated methods in smooth convex optimization
Mathematical Engineering Department, UCLouvain（UCLouvain数学工程系）
本文通过性能估计方法从理论与实验两方面分析一阶优化方法在梯度相对不精确时的鲁棒性，发现长步长与加速方法理论上不鲁棒，提出缩短因子改进保证，并验证加速方法实际鲁棒性优于预期。
2025-06-30 cs.LG math.OC
An Inexact Accelerated Stochastic ADMM for Separable Convex Optimization
提出了一种求解带线性约束的结构可分凸优化问题的非精确加速随机交替方向法（AS-ADMM）格式。目标函数是一个可能非光滑的凸函数和一个光滑函数的和，光滑函数是许多分量凸函数的平均。具有这种结构的问题经常出现在机器学习和数据挖掘应用中。AS-ADMM结合了ADMM和使用方差缩减技术的随机梯度法的思想。其中一个ADMM子问题采用线性化技术，而类似的线性化可以引入其他子问题。对于一个指定的选择的算法参数，它示出的目标误差和约束违反是$\mathcal{O}(1/k)$相对于外部迭代$k$的数量。在强凸性假设下，期望误差线性收敛到零。还讨论了AS-ADMM的线性化变体和增量采样策略。随机和确定性ADMM算法的数值实验表明，AS-ADMM可以特别有效的大数据应用中出现的结构化优化。
2020-10-24 math.OC
The iterates of FISTA converge even under inexact computations and stochastic gradients
Sapienza Università di Roma（罗马第一大学）；Istituto Italiano di Tecnologia（意大利理工学院）
本研究证明在无限维Hilbert空间中，即使使用近似计算和随机梯度，FISTA算法的迭代仍能收敛。
2026-10-26 math.OC
A Near-Optimal Total Complexity for the Inexact Accelerated Proximal Gradient Method via Quadratic Growth
The University of British Columbia（不列颠哥伦比亚大学）
本文研究了优化问题的总复杂度，证明在ω为锥形多面体函数时，双循环结构的不精确加速近端梯度法在函数值ε-最优性上具有O(ln(1/ε)/√ε)的复杂度。
2026-04-06 math.OC
Inexact Alternating Minimization Algorithm for Distributed Optimization with an Application to Distributed MPC
在本文中，我们提出了不精确交替最小化算法（不精确AMA），它允许在算法中的不精确迭代，和它的加速变体，称为不精确快速交替最小化算法（不精确FAMA）。我们表明，不精确的AMA和不精确FAMA是等价的不精确的近梯度法和它的加速变种适用于对偶问题。基于这种等价性，我们推导出了不精确算法的迭代次数的复杂性上界。我们应用不精确AMA和不精确FAMA的分布式最优化问题，重点是分布式MPC的应用，并显示这种特殊情况下的收敛性。利用迭代次数的复杂性上界，给出了算法收敛的非精确迭代的充分条件。进一步研究了分布式最优化问题中二次局部目标的特殊情况，这是分布式MPC的一个标准式。对于这种特殊情况，我们允许在每次迭代的局部计算误差。利用一种热启动策略和误差收敛的充分条件，提出了一种确定求解局部问题迭代次数的方法，该方法保证了局部计算误差满足充分条件，使得不精确分布式优化算法收敛到最优解.
2016-08-01 math.OC
Unifying Framework for Accelerated Randomized Methods in Convex Optimization
本文研究了具有简单约束和不精确预言信息的光滑凸优化问题，预言信息包括目标函数的值、偏导数或方向导数。我们引入了一个统一的框架，它允许构建不同类型的加速随机方法，这样的问题，并证明他们的收敛速度定理。我们专注于加速随机块坐标下降，加速随机方向搜索，加速随机无导数方法，并使用我们的框架，提供他们的版本与不精确的预言信息的问题。我们的贡献还包括加速随机块坐标下降与不精确的预言和熵接近的设置，以及衍生的自由版本的这种方法。此外，我们提出了一个扩展的强凸优化问题的框架。我们还讨论了目标函数的不精确模型的情况下的推广。
2020-12-16 cs.NA math.NA math.OC
Inexact accelerated proximal gradient method with line search and reduced complexity for affine-constrained and bilinear saddle-point structured convex problems
本文的目标是降低两类问题的基于梯度的方法的总复杂度：仿射约束复合凸优化和双线性鞍点结构非光滑凸优化。我们的技术是基于一个双循环不精确加速邻近梯度（APG）方法，用于最小化一个非光滑但可逼近的凸函数和两个光滑凸函数具有不同的光滑常数和计算成本的总和。与标准APG方法相比，不精确APG方法可以减少总的计算成本，如果一个光滑分量具有较高的计算成本，但比其他较小的光滑常数。利用这一性质，非精确APG方法可以近似求解仿射约束复合凸优化的近似增广拉格朗日方法的子问题，以及双线性鞍点结构非光滑凸优化的光滑逼近问题，其中光滑常数较小的光滑函数具有较高的计算代价.因此，它可以降低总的复杂性，找到一个近似的最佳/稳定的解决方案。该技术类似于文献中的梯度滑动技术。不同之处在于，我们的不精确APG方法可以通过使用基于平稳性破坏度量的可计算条件来有效地停止内部循环，而梯度滑动方法需要预先指定内部循环的迭代次数。数值实验表明，显着更高的效率，我们的方法比最佳的原始-对偶一阶方法和梯度滑动方法。
2022-01-04 cs.NA math.NA math.OC
Accelerated Bregman gradient methods for relatively smooth and relatively Lipschitz continuous minimization problems
本文针对相对光滑与相对Lipschitz连续优化问题，提出多种带不精确oracle的加速Bregman梯度方法及自适应中间方法，并通过Poisson逆问题数值实验验证其优势。
2024-11-23 math.OC
Rapid Robust Principal Component Analysis: CUR Accelerated Inexact Low Rank Estimation
University of California, Los Angeles（加州大学洛杉矶分校）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）；Sun Yat-sen University（中山大学）
鲁棒主成分分析（RPCA）是一种广泛应用的降维工具。在这项工作中，我们提出了一种新的非凸算法，创造迭代鲁棒CUR（IRCUR），解决RPCA问题，这大大提高了计算效率相比，现有的算法。IRCUR通过在更新低秩分量时采用CUR分解来实现这种加速，这使得我们可以仅通过三个小的子矩阵来获得准确的低秩近似。因此，IRCUR是能够处理只有小的子矩阵，并避免昂贵的计算上的整个算法的全矩阵。数值实验建立了IRCUR的计算优势，在合成和真实世界的数据集上的最先进的算法。
2021-02-07 cs.AI cs.IT cs.LG
An Efficient Inexact ABCD Method for Least Squares Semidefinite Programming
考虑最小二乘半定规划（LSSDP），其中原矩阵变量必须满足给定的线性等式和不等式约束，并且必须位于对称正半定矩阵的锥与一个简单多面体集的交集中.我们提出了一个不精确的加速块坐标下降（ABCD）方法来求解LSSDP，通过其对偶，可以将其转化为一个凸复合极小化问题，其目标是一个包含四个变量块的耦合二次函数和两个分别包含第一和第二个变量块的可分离非光滑函数之和.我们的不精确ABCD方法有吸引力的$O(1/k^2)$迭代复杂性，如果逐步更准确地解决子问题。我们的ABCD方法的设计依赖于对称高斯-赛德尔技术解决凸最小化问题的最新进展，其目标是一个多块二次函数和一个非光滑函数只涉及第一块的总和。对600多个大规模LSSDP问题的数值实验表明，我们提出的ABCD方法不仅能获得高精度的解，而且比著名的BCD方法效率高得多（块坐标下降）方法，（b）eARBCG（加速随机区组坐标梯度的增强版本）方法，和（c）APG（加速近端梯度）方法。
2015-05-25 math.OC
Sequential Subspace Optimization for Quasar-Convex Optimization Problems with Inexact Gradient
对于凸光滑极小化问题，加速梯度一阶方法具有最优的复杂性估计。在许多实际情况下，使用不精确的梯度信息是有意义的。然而，这可能导致相应的不精确性积累在理论估计的收敛速率。本文对序列子空间最优化方法（SESOP）进行了一些改进，用于求解梯度不精确的类凸函数极小化问题。理论结果表明，没有积累的梯度不精确。的SESOP方法的建议版本和它的比较与已知的相似三角形方法与不精确的梯度的数值实现进行。
2021-08-13 math.OC
A Class of Accelerated Fixed-Point-Based Methods with Delayed Inexact Oracles and Its Applications
本文提出了一种基于延迟不精确算子的加速固定点方法，改进了经典KM方法的收敛率，并应用于矩阵博弈和神经网络训练问题。
2025-12-15 math.OC stat.ML
Second-Order Methods with Cubic Regularization Under Inexact Information
本文对（强）凸优化问题在不精确二阶信息下推广了三次正则化的（加速）牛顿法。在适当的假设下，我们给出了这些方法的全局收敛速率，并给出了收敛速度收敛速率与问题参数的显式关系。虽然我们提出的算法的复杂性界限理论上比他们的确切的同行，他们至少是一样好的最佳一阶方法。我们的数值实验也表明，使用不精确的海森可以显着加快算法在实践中。
2017-10-16 math.OC
Gradient Methods with Dynamic Inexact Oracles
我们表明，原始-对偶梯度法，也被称为梯度下降上升法，解决凸-凹极大极小问题，可以被视为一个不精确的梯度法适用于原始问题。梯度的精确计算依赖于求解内部最大化问题，通过另一种梯度法近似计算。为了模拟由迭代算法实现的近似计算例程，我们引入了动态不精确预言机的概念，这是离散时间动力系统，其输出渐近接近精确预言机的输出。我们提出了一个统一的收敛性分析一般的一阶方法实现的动态不精确预言机，并证明其使用在创建新的加速原始对偶法。
2020-07-02 math.OC
Inexact alternating direction multiplier methods for separable convex optimization
本文提出了一种非精确交替方向乘子法（ADMMs），用于求解一般的可分凸优化问题，其目标函数为光滑项和非光滑项之和，且带有线性约束.该方法包括线性化子问题，一个回代步骤，梯度或加速梯度技术。建立了整体收敛。当ADMM子问题没有封闭形式解或子问题的解是昂贵的时，该方法特别有用。基于图像重建问题的数值实验表明了所提方法的有效性。
2016-04-08 math.OC
Unifying restart accelerated gradient and proximal bundle methods
本文提出一种重启版 Nesterov 加速梯度法并证明其最优复杂度，同时将该方法与近似束方法统一纳入加速不精确近似点框架。
2025-01-07 math.OC
Inexact proximal $ε$-subgradient methods for composite convex optimization problems
我们提出了两个近似版本的近端次梯度法最小化两个凸函数（不一定是可微的）的总和。该算法涉及，在每次迭代中，不精确的评价的近端运营商和近似次梯度的功能（即：的$ε$ -次梯度）。这些方法使用不同的误差标准来近似近端算子。我们提供了一个分析的收敛性和收敛速率这些方法的属性，考虑到各种步长规则，包括两个，递减和恒定步长。对于其中一个函数是光滑的情况，我们提出了一个不精确的加速版本的邻近梯度法，并证明了最佳的收敛速度的函数值可以实现。
2019-07-11 math.OC
An Inexact Augmented Lagrangian Method for $(L_0, L_1)$-Smooth Convex Optimization
Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Innopolis University（因诺波利斯大学）；Adyghe State University（阿迪格国立大学）；V. I. Vernadsky Crimean Federal University（V.I.维尔纳茨基克里米亚联邦大学）
本文针对带$(L_0, L_1)$-光滑目标函数的线性约束凸优化问题，提出一种不精确增广拉格朗日方法，结合两阶段加速过程求解，突破了经典方法的梯度利普希茨连续性假设限制。
2026-09-02 math.OC
Communication Acceleration of Local Gradient Methods via an Accelerated Primal-Dual Algorithm with Inexact Prox
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）
受Mishchenko等人（2022）最近的一项突破的启发，他们首次表明局部梯度步骤可以导致可证明的通信加速，我们提出了一种替代算法，该算法获得了与他们的方法（ProxSkip）相同的通信加速。然而，我们的方法非常不同：它基于Chambolle和Pock（2011）的著名方法，并进行了几个重要的修改：i）我们允许通过适当的基于梯度的方法（例如，GD，快速GD或FSFOM），ii）我们执行对偶更新步骤的仔细修改，以保持线性收敛。我们的一般结果提供了新的国家的最先进的速率类强凹凸鞍点问题的双线性耦合的特点是缺乏光滑的对偶函数。当应用于联邦学习时，我们得到了一个理论上更好的替代ProxSkip的方法：我们的方法需要更少的局部步骤（与ProxSkip的$O(κ^{1/2})$相比，$O(κ^{1/3})$或$O(κ^{1/4})$），并执行确定数量的局部步骤。像ProxSkip一样，我们的方法可以应用于连接网络的优化，并且我们在这里也获得了理论上的改进。
2022-07-08 cs.DC cs.LG math.OC
Halpern Acceleration of the Inexact Proximal Point Method of Rockafellar
本文提出了一种Halpern加速的不精确近端点法，用于解决最大单调包含问题，并在约束凸优化中扩展了该方法，实现了O(1/k²)和线性收敛速度。
2026-01-07 math.OC
Acceleration of SVRG and Katyusha X by Inexact Preconditioning
经验风险最小化是一类重要的最优化问题，在机器学习中有着广泛的应用，随机方差缩减方法是解决这类问题的常用方法。在这些方法中，SVRG和Katyusha X（Nesterov加速的SVRG）实现了快速收敛，而无需大量的内存需求。在本文中，我们提出了\textit{inexact preconditioning}加速这两个算法，所提出的方法使用\textit{fixed}预处理器，虽然在每个时期的子问题变得更加困难，它足以应用\textit{fixed}数量的简单的子程序来解决它不精确，而不会失去整体的收敛性。因此，这种不精确的预处理策略可以证明比SVRG和Katyusha X具有更好的迭代复杂度和梯度复杂度。我们还允许每个函数的有限和是非凸的，而总和是强凸的。在我们的数值实验中，我们观察到一个平均$8\times$加速迭代次数和$7\times$加速运行时。
2019-05-23 math.OC
From Inexact Gradients to Byzantine Robustness: Acceleration and Optimization under Similarity
Centre de Mathématiques Appliquées, École polytechnique, Institut Polytechnique de Paris, Palaiseau France（应用数学中心、巴黎高等理工学院、巴黎理工研究所，Palaiseau法国）；Centre Inria de l'Univ. Grenoble Alpes, CNRS, LJK, Grenoble, France（格勒诺布尔阿尔卑斯大学Inria中心、法国国家科学研究中心、LJK，格勒诺布尔法国）
本文提出通过不精确梯度 oracle 将拜占庭鲁棒分布式优化问题转化为一般优化问题，并提出两种加速方案以提升收敛速度。
2026-02-03 cs.LG math.OC
DCatalyst: A Unified Accelerated Framework for Decentralized Optimization
School of Industrial Engineering, Purdue University（普渡大学工业工程学院）
针对无中心服务器的去中心化网络优化问题，提出统一黑盒加速框架 DCatalyst，通过非精确动量近端外循环结合任意去中心化内循环算法，引入非精确估计序列处理共识误差，实现最优通信与计算复杂度。
2025-01-30 cs.LG math.OC
Accelerated differential inclusion for convex optimization
本文提出了一个求解无约束凸优化的二阶微分包含。在连续水平下，得到了解的存在性，并得到了一个新的李雅普诺夫函数随解的轨迹指数衰减。然后在离散层，基于连续模型的数值离散化，提出了两种非精确邻近点法，并通过离散的李雅普诺夫函数建立了新的收敛速度。
2022-02-28 math.OC
On Some Versions of Subspace Optimization Methods with Inexact Gradient Information
Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Research Center for Artificial Intelligence, Innopolis University（因诺波利斯大学人工智能研究中心）；National Research University Higher School of Economics（国立高等经济大学）；V. Vernadsky Crimean Federal University（V.维尔纳茨基克里米亚联邦大学）
针对带不精确梯度的凸优化问题，提出基于子空间优化的一阶方法改进，研究其在不同不精确条件下的收敛性及对拟凸函数的推广，拓展了加速梯度方法的适用场景。
2026-08-13 math.OC
Inexact Proximal Cubic Regularized Newton Methods for Convex Optimization
在本文中，我们使用近似三次正则化牛顿方法（PCNM）优化光滑凸函数和非光滑凸函数的总和，其中我们使用不精确梯度和Hessian，以及三次正则化二阶子问题的不精确子求解器。我们分别提出了PCNM和加速PCNM的不精确变体，并证明了这两种变体可以达到与精确情况相同的收敛速度，前提是不精确梯度、Hessian和子求解器中的误差以适当的速率减小。同时，在数据源源不断的在线随机设置中，我们给出了所提出的算法的总体复杂度，并表明它们与随机梯度下降一样具有竞争力。此外，我们给出了所提出的算法在有限和设置的整体复杂性，并表明它是最先进的方差减少算法的竞争力。最后，我们提出了一个有效的算法的立方正则二阶子问题，它可以收敛到一个足够小的邻域的最优解在一个超线性的速度。
2019-02-26 math.OC
Accelerated Riemannian Optimization: Handling Constraints with a Prox to Bound Geometric Penalties
Zuse Institute Berlin（柏林祖斯研究所）；Technische Universität Berlin（柏林工业大学）
我们提出了一种全局加速的一阶方法，用于在广泛的一类Hadamard流形中优化光滑和（强或非）测地线凸函数。我们实现了与Nesterov加速梯度下降相同的收敛速度，直到乘法几何惩罚和对数因子。至关重要的是，我们可以强制我们的方法保持在我们定义的紧致集内。现有的完全加速的作品\emph{resort to assuming}，他们的算法的迭代停留在一些预先指定的紧集，除了两个有限的适用性的前方法。对于我们的流形，这解决了[KY22]中关于获得全局广义加速度而不迭代地停留在可行集中的公开问题。在我们的解决方案中，我们设计了一个加速的黎曼不精确邻近点法，这是一个结果，是未知的，甚至与精确访问的邻近算子，是独立的利益。对于光滑函数，我们证明了我们可以在一定直径的黎曼球上用一阶方法不精确地实现逼近步骤，这足以进行全局加速优化。
2023-01-13 cs.LG math.OC
A Universal Transfer Theorem for Convex Optimization Algorithms Using Inexact First-order Oracles
本文提出了一种通用转换定理，能够将任何基于精确一阶信息的凸优化算法以黑盒方式转换为可处理非精确一阶信息的算法，适用于更广泛的算法类别及结构化非凸问题。
2024-06-01 math.OC
Efficient Inexact Proximal Gradient Algorithm for Nonconvex Problems
近似梯度算法是求解凸优化问题的一种常用算法。最近，它也被扩展到非凸问题，目前最先进的是非单调加速邻近梯度算法。然而，它通常在每次迭代中需要两个精确的近端步骤，并且当近端步骤昂贵时可能是低效的。在本文中，我们提出了一个有效的近端梯度算法，只需要一个不精确的（因此成本较低）在每次迭代的近端步骤。收敛到一个临界点的非凸问题的%仍然是有保证的，并有一个$O(1/k)$收敛速度，这是最好的速度为非凸问题的一阶方法。通过对多个问题的实验表明，该算法具有与现有算法相当的性能，但速度要快得多。
2017-05-23 math.OC
Application of Optimal Inexact Second-Order Acceleration to Distributed Stochastic Optimization under Statistical Similarity
Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Innopolis University（因诺波利斯大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
针对分布式随机凸优化，提出基于最优非精确二阶加速的分布式重启方法，在统计相似性下达到最优通信复杂度，显著改善样本量依赖。
2026-09-21 math.OC
Inexact Model: A Framework for Optimization and Variational Inequalities
本文提出了广义最优化中一阶方法的一般算法框架，包括极小化问题、鞍点问题和变分不等式。这个框架允许获得许多已知的方法作为特例，列表包括加速梯度法、复合最优化方法、水平集方法、邻近方法。该框架的思想是基于构建一个不精确的模型的主要问题组件，即目标函数在优化或操作员在变分不等式。除了再现已知的结果，我们的框架允许构建新的方法，我们通过构建一个通用的方法与复合结构的变分不等式说明。该方法适用于光滑和非光滑问题，具有最佳的复杂性，而无需先验知识的问题的光滑性。我们还推广了强凸目标和强单调变分不等式的框架。
2020-01-05 math.OC
A new convergence analysis and perturbation resilience of some accelerated proximal forward-backward algorithms with errors
University of São Paulo（圣保罗大学）
本文分析了带误差的加速近端前向-后向算法的收敛性，证明其在Hilbert空间中保持非渐近收敛速度，并扩展了超级化方法的应用范围。
2016-06-29 cs.NA math.NA math.OC
A frequency-domain analysis of inexact gradient methods
在相对误差模型下，我们研究了强凸函数的一些基于梯度的迭代方法的鲁棒性，以及具有扇区有界梯度的较大类函数的鲁棒性。相应的收敛速度的证明是基于非线性系统稳定性的频域准则。应用程序给出不精确版本的梯度下降和三重动量法。为了进一步强调频域方法的有用性，我们推导出Nesterov加速方法（在精确设置下）在强凸函数上收敛速度的改进解析界。
2021-05-10 cs.LG cs.NA cs.SY
Optimal inexactness schedules for Tunable Oracle based Methods
本文研究可调非精确 oracle 的一阶优化方法，提出最优非精确性调度策略，在收敛性与计算成本间取得最佳折中，并通过 Fast Gradient 算法的数值实验验证了其实际有效性。
2023-09-14 math.OC
On the (linear) convergence of Generalized Newton Inexact ADMM
本文提出GeNI-ADMM统一框架，分析非精确ADMM的收敛性，给出标准与强凸下的速率，并解决随机化加速变体的收敛开放问题。
2025-06-18 math.OC
Optimal Convex Optimization with Inexact Second-Order Oracles
IIIS, Tsinghua University（清华大学交叉信息研究院）；Department of Artificial Intelligence, Westlake University（西湖大学人工智能学院）；School of Data Science, Fudan University（复旦大学数据科学系）；Department of Computer Science and Engineering, The Chinese University of Hong Kong（香港中文大学计算机科学与工程学系）
研究使用不精确二阶预言机的凸优化问题，提出加速不精确牛顿外梯度法，给出不同条件下找到ε-解的复杂度，且每次迭代时间与矩阵乘法相当，还建立匹配下界证明方法最优性。
2026-08-03 math.OC
Inexact Relative Smoothness and Strong Convexity for Optimization and Variational Inequalities by Inexact Model
在本文中，我们提出了一个通用的算法框架，一阶方法在广义优化，包括极小化问题，鞍点问题，和变分不等式。该框架允许获得许多已知方法作为特例，该列表包括加速梯度法、复合最优化方法、水平集方法、Bregman邻近方法。该框架的思想是基于构建一个不精确的模型的主要问题组件，即目标函数在优化或操作员在变分不等式。除了再现已知的结果，我们的框架允许构建新的方法，我们通过构建一个通用的条件梯度法和一个通用的方法与复合结构的变分不等式说明。该方法适用于光滑和非光滑问题，具有最佳的复杂性，而无需先验知识的问题的光滑性。作为我们的一般框架的一个特殊情况下，我们引入相对光滑的运营商，并提出了一个算法的变分不等式（VI）与这样的运营商。我们还推广了我们的框架相对强凸目标和强单调变分不等式。本文是[arXiv：1902.00990]的扩展和更新版本。特别地，我们对最优化和变分不等式增加了一个相对强凸性的推广。
2021-12-19 math.OC
An adaptive superfast inexact proximal augmented Lagrangian method for smooth nonconvex composite optimization problems
提出了一种求解线性约束光滑非凸复合最优化问题的自适应超快近似增广拉格朗日（AS-PAL）方法。AS-PAL的每次迭代不精确地解决了一个可能的非凸近端增广拉格朗日（AL）子问题获得的一个积极的/自适应的选择接近步长的目的是大大提高其计算性能，其次是一个完整的拉格朗日乘子更新。与其他AL方法相比，AS-PAL的主要优点是它不需要参数的知识（例如，约束矩阵的大小，目标函数曲率等）与最优化问题相关联，由于其自适应性质，不仅在选择接近步长，而且在使用一个关键的自适应加速复合梯度变量来解决接近AL子问题。AS-PAL的速度和效率通过大量的计算实验证明，它可以解决许多情况下超过十倍的速度比其他国家的最先进的惩罚和AL方法，特别是当需要高精度。
2022-10-05 math.OC
