Computational Complexity of Inexact Gradient Augmented Lagrangian Methods: Application to Constrained MPC
研究了求解复杂约束凸优化问题的不精确梯度增广拉格朗日方法的计算复杂性证明。我们解决了增广拉格朗日对偶问题，所产生的复杂的约束松弛梯度和快速梯度法的基础上不精确的一阶信息。此外，由于增广拉格朗日原问题的精确解在实践中很难计算，因此我们在给定的内部精度下求解了该问题。我们推导出原始和对偶问题的内部和外部精度之间的关系，我们给出了一个完整的梯度和快速梯度算法的收敛速度分析。我们提供估计的原始和对偶次优性和原始可行性违反所产生的近似原始和对偶解。我们的分析依赖于Lipschitz性质的对偶函数和不精确的对偶梯度。我们还讨论了嵌入式线性系的约束模型预测控制问题的算法的实施方面。
2013-02-18 math.OC
Gradient Methods with Dynamic Inexact Oracles
我们表明，原始-对偶梯度法，也被称为梯度下降上升法，解决凸-凹极大极小问题，可以被视为一个不精确的梯度法适用于原始问题。梯度的精确计算依赖于求解内部最大化问题，通过另一种梯度法近似计算。为了模拟由迭代算法实现的近似计算例程，我们引入了动态不精确预言机的概念，这是离散时间动力系统，其输出渐近接近精确预言机的输出。我们提出了一个统一的收敛性分析一般的一阶方法实现的动态不精确预言机，并证明其使用在创建新的加速原始对偶法。
2020-07-02 math.OC
Stochastic Intermediate Gradient Method for Convex Problems with Inexact Stochastic Oracle
本文介绍了求解具有不精确随机预言的凸优化问题的新方法。第一种方法是Devolder，Glineur和Nesterov提出的中间梯度法的推广，用于求解不精确预言问题。我们的新方法可以应用于复合结构，随机不精确预言的问题，并允许使用非欧设置。我们证明估计的平均收敛速率和概率的大偏差从这个速度。对于强凸问题，我们还介绍了该方法的两个修正。对于第一个修改，我们证明了平均收敛速率估计和第二个，我们证明了大偏差的平均收敛速度收敛速率估计。所有速率给出了所提出的方法的复杂性估计，直到乘法常数符合所考虑的一类凸组合最优化问题的随机不精确预言的复杂性下界。
2015-12-07 math.OC
Nonlinear stochastic multiarmed bandit problems with inexact oracle
本文考虑单点和两点多臂机器人问题。换句话说，我们考虑在线随机凸优化问题的oracle返回值（实现）的功能在一个点或两个点。我们允许这些值不精确，但噪声水平应该足够小。我们推广了不精确预言机情况下的已知结果。并且将经典的结果推广到不同于欧几里德的非线性结构。
2017-03-17 math.OC
An efficient semismooth Newton-AMG-based inexact primal-dual algorithm for generalized transport problems
本文研究了求解一类最优质量输运问题的有效最优化方法。从动力系统的时间离散化出发，提出了一种非精确原始对偶法，并利用李雅普诺夫函数工具，对函数残差和可行性破坏建立了全局（超）线性收敛速率.该算法包含一个内部问题，具有较强的半光滑性，并激励使用半光滑牛顿迭代。通过探索问题本身的隐藏结构，将Newton迭代产生的线性系等价转化为图Laplacian系统，提出了一种鲁棒代数多重网格方法，并利用著名的Xu-Zikatanov恒等式进行了分析.最后，数值实验验证了我们的方法的有效性。
2022-07-28 math.OC
Gradient and gradient-free methods for stochastic convex optimization with inexact oracle
本文推广了通用梯度法（Yu. Nesterov）推广到强凸情形和中间梯度法（Devolder-Glineur-Nesterov）。我们还考虑可能的泛化随机和在线环境。我们展示了如何将这些结果推广到无梯度方法和随机方向搜索方法。但本文的主要内容是对神谕的假设。我们认为神谕不准确。
2016-03-28 math.OC
Composite Convex Optimization with Global and Local Inexact Oracles
本文对复合凸极小化中的一类广泛的凸函数引入了新的全局和局部不精确预言的概念。这种不精确的预言自然来自原始对偶框架，障碍平滑，梯度和Hessian的不精确计算以及许多其他情况。我们还提供的例子表明，类的凸函数配备了新的不精确的二阶预言是大于标准的自协调以及Lipschitz梯度函数类。此外，我们研究了凸函数和/或自协调函数在不精确二阶预言机下的几个性质，这对算法的发展是有用的。接下来，我们应用我们的理论来开发不精确的近端牛顿型计划，以最小化一般复合凸最小化问题，配备了这样的不精确的预言。我们的理论结果包括新的优化算法，并具有整体收敛保证，可解决广泛的复合凸优化问题。当第一个目标项是额外的自协调，我们建立了不同的局部收敛结果，我们的方法。特别是，我们证明，根据选择的不精确的二阶预言机的精度水平，我们得到不同的局部收敛速度范围从$R$ -线性和$R$ -超线性到$R$ -二次。在特殊情况下，收敛界限是已知的，我们的理论恢复最好的已知速率。我们还应用我们的设置，以获得一个新的原始-对偶复合凸极小化问题的方法。最后，我们提出了一些有代表性的数值例子来说明我们的新算法的好处。
2020-02-23 math.OC
An Inexact Interior-Point Lagrangian Decomposition Algorithm with Inexact Oracles
本文提出了一种新的非精确内点拉格朗日分解方法来求解一类广泛的约束组合凸优化问题。我们的方法依赖于四种技术：拉格朗日对偶分解，自协调障碍平滑，路径跟踪，和近似牛顿技术。它还允许近似计算原始子问题（称为从属问题）的解，这导致不精确的预言（即，不精确梯度和Hessians）的光滑对偶问题（称为主问题）。光滑对偶问题是非光滑的，我们提出用不精确近似牛顿法来求解，通过适当地控制从问题和主问题两个层次上的不精确计算，我们仍然估计了算法的多项式时间迭代复杂度，就像标准的短步内点方法一样.我们还提供了一个策略，以恢复原始解决方案，并建立复杂性，以实现近似原始解决方案。我们说明了我们的方法，通过两个数值例子知名的模型与合成和真实的数据，并比较它与一些现有的国家的最先进的方法。
2019-04-18 math.OC
Primal-Dual Inexact Newton-MR for Nonconvex Optimization with Equality Constraints
School of Mathematics and Physics, The University of Queensland（昆士兰大学数理学院）
针对带等式约束的非凸优化，提出一种基于共轭残差法的非精确原始-对偶牛顿方法，直接处理子问题非正定性，避免有害正则化，并具有全局收敛保证和良好实证表现。
2026-09-10 math.OC
Robustness of the Frank-Wolfe Method under Inexact Oracles and the Cost of Linear Minimization
School of Mathematics and Statistics, Xi’an Jiaotong University（西安交通大学数学与统计学院）
本文研究了在不精确oracle下Frank-Wolfe方法的鲁棒性，证明了线性最小化与投影的计算成本差异，并展示了非凸函数的收敛性保证。
2026-01-25 math.OC
Rate analysis of inexact dual first order methods: Application to distributed MPC for network systems
在本文中，我们提出并分析了两个对偶方法的基础上不精确的梯度信息和平均，产生近似原始解光滑凸优化问题。使用拉格朗日乘数将复杂的约束移动到成本中。对偶问题的解决是基于近似梯度的不精确一阶方法，我们证明了这些方法的次线性收敛速率。特别是，我们提供了，第一次，估计原始可行性违反和原始和对偶次优生成的近似原始和对偶解。此外，我们用一个并行坐标下降算法近似地解决了内部问题，并证明了它具有线性收敛速率。在我们的分析中，我们依赖于Lipschitz性质的对偶函数和不精确的对偶梯度。此外，我们将这些方法应用于网络系统的分布式模型预测控制。通过收紧复杂的约束条件，我们也能够确保所提出的算法产生的近似解的原始可行性。我们得到了一个分布式控制策略，具有以下特点：状态和输入约束得到满足，工厂的稳定性得到保证，而次优解的迭代次数可以精确地确定。
2013-02-13 math.OC
Proximal gradient methods with inexact oracle of degree q for composite optimization
本文提出 q 阶不精确一阶预言机概念，并分析用于复合优化的不精确近似梯度方法，揭示预言机精度与目标精度的复杂度关系。
2024-01-19 math.OC
Optimal inexactness schedules for Tunable Oracle based Methods
本文研究可调非精确 oracle 的一阶优化方法，提出最优非精确性调度策略，在收敛性与计算成本间取得最佳折中，并通过 Fast Gradient 算法的数值实验验证了其实际有效性。
2023-09-14 math.OC
Gradient Method With Inexact Oracle for Composite Non-Convex Optimization
本文对具有简单约束和不精确预言的复合非凸极小化问题提出了一种新的一阶方法。该目标函数被给定为“硬”部分（可能为非凸部分）和“简单”部分的和。非正式地说，甲骨文的不精确性意味着，对于“困难”部分，在任何一点，我们都可以近似地计算函数的值，并构造一个二次函数，它近似地从上面限制了这个函数。我们给出了几个这样的不精确的例子：光滑的非凸函数与不精确的Hölder连续梯度，辅助一致凹最大化问题，这只能近似解决的功能。对于引入的一类问题，我们提出了一种梯度型方法，它允许使用不同的邻近设置，以适应几何的可行集，自适应地选择控制的预言错误，允许不精确的邻近映射。我们给出了我们的方法的收敛速度的广义梯度映射的范数，并表明，在不精确的Hölder连续梯度的情况下，我们的方法是通用的Hölder参数的问题。最后，在一个特殊的情形下，证明了广义梯度映射的范数在一点处的小值意味着局部极小值的一个必要条件在该点处近似成立.
2017-03-27 math.OC
An inexact golden ratio primal-dual algorithm with linesearch step for a saddle point problem
本文提出带线搜索的非精确黄金比例原始-对偶算法IP-GRPDAL，通过凸组合替代外推实现更大步长，证明了O(1/N)遍历收敛率，并在强凸条件下获得加速O(1/N²)及线性收敛速率。
2025-09-20 math.OC
Universal method with inexact oracle and its applications for searching equillibriums in multistage transport problems
本文提出了一种新的多阶段输运问题平衡点数值计算的有效方法。在我们的方法的核心在于适当的组合，通用梯度法提出的Yu。Nesterov（2013）和不精确甲骨文的概念（Devolder-Glineur-Nesterov，2011）。特别地，我们的技术允许我们以快速的方式计算Wasserstein的重心（该结果推广了M。Cuturi等人（2014））。
2016-04-17 math.OC
DuQuad: an inexact (augmented) dual first order algorithm for quadratic programming
在本文中，我们提出了求解器DuQuad专门解决一般凸二次问题，在许多工程应用中出现的。当难以投影到原始可行集上时，利用（增广）拉格朗日松弛法处理复杂的约束条件，然后利用基于不精确对偶梯度信息的对偶一阶算法求解相应的对偶问题.迭代复杂性分析是基于两种类型的近似原始解：原始最后一次迭代和原始迭代的平均值。我们提供了计算复杂性估计的原始次优性和可行性违反所产生的近似原始解决方案。然后，在DuQuad中用C语言实现了这些算法，并针对低迭代复杂度和低内存占用进行了优化。DuQuad具有动态的Matlab接口，使得测试、比较和分析算法的过程变得简单。该算法只使用基本的算术和逻辑运算来实现，并且适合于在低成本硬件上运行。结果表明，如果一个近似解是足够的一个给定的应用程序，存在的问题，其中一些实现的算法获得的解决方案比国家的最先进的商业求解器。
2015-04-22 math.OC
Gradient-free prox-methods with inexact oracle for stochastic convex optimization problems on a simplex
在本文中，我们表明，欧几里德随机化在某些情况下（即梯度自由的方法在一个单纯形）可以作为良好的随机化的单位球上的1-范数。即在单纯形的例子中，我们证明了对于无梯度方法，随机结构的选择和随机化方式的选择必须相互联系。我们演示了如何以最佳方式完成。重要的是我们要考虑不精确的神谕。
2016-04-17 math.OC
Inexact First-Order Primal-Dual Algorithms
在本文中，我们研究了最近流行的一类一阶原始对偶法的收敛性的鞍点问题的存在下发生的误差在邻近映射和梯度。我们研究了几种类型的错误，并表明，提供了一个足够的衰减这些错误，相同的收敛速度的无错算法可以建立。更准确地说，我们证明了（最佳）$O(1/N)$收敛到鞍点在有限维的一类非光滑问题，在本文中考虑，并证明了一个$O(1/N^2)$，甚至线性$O(θ^N)$收敛速度，如果无论是原始或对偶目标分别都是强凸的。此外，我们还表明，在较慢的误差衰减下，我们可以建立速率，但是更慢，直接取决于误差的衰减。我们演示的性能和实际使用的嵌套算法的例子上的算法，并显示它们如何可以被用来更有效地分裂的全球目标。
2020-02-24 math.OC
Inertial primal-dual methods for linear equality constrained convex optimization problems
本文提出了一种求解线性等式约束凸优化问题的惯性加速原-对偶方法。当目标函数具有“非光滑+光滑”的复合结构时，通过对光滑个体函数进行线性化，并不精确地求解子问题，提出了一种不精确惯性原对偶方法.仅假设凸性，我们证明了所提出的方法享有$\mathcal{O}(1/k^2)$收敛速度的目标残差和可行性违反的原始模型。数值结果表明所提出的方法的有效性。
2021-06-29 math.OC
Abs-Smooth Frank-Wolfe Method: Primal-Dual Analysis, Heavy Ball Momentum, and Inexact Oracles
Institut für Mathematik, Humboldt-Universität zu Berlin（柏林洪堡大学数学研究所）；Zuse Institute Berlin（柏林祖斯研究所）；Institut für Mathematik, Technische Universität Berlin（柏林工业大学数学研究所）
本文研究了满足abs-smoothness属性的凸目标的无投影优化问题，提出了一种统一的Abs-Smooth Frank-Wolfe方法框架，通过清晰的对偶分析保证收敛性，无需传统光滑性假设。该框架在两个重要方向上扩展了现有结果：首先引入重力球动量变体，证明在abs-smoothness下动量可以自然融入并保持收敛性；其次分析近似最小化Oracle，展示对近似内解的鲁棒性。此外，放宽了全凸性假设，研究仅在目标的分段线性近似中保持凸性的情况，进一步扩大了条件梯度方法在更广泛非光滑问题中的应用范围。
2026-05-19 math.OC
On the Oracle Complexity of a Riemannian Inexact Augmented Lagrangian Method for Riemannian Nonsmooth Composite Problems
本文研究黎曼非光滑复合优化，证明带经典对偶更新的 RiAL 方法通过非精确内子问题求解仅需 O(ε^{-3}) 次一阶预言机调用即可找到 ε-稳定点，达到已知最优复杂度。
2024-10-02 math.OC
Generalized Mirror Prox for Monotone Variational Inequalities: Universality and Inexact Oracle
引入了一类带单调算子的变分不等式（VI）的不精确预言模型，提出了求解此类VI的一种数值方法，并分析了其收敛速度.作为一个特例，我们考虑了具有Hölder连续算子的VI，并证明了我们的算法是通用的。这意味着，在不知道Hölder参数$ν$和Hölder常数$L_ν$的情况下，它具有这类VI的最佳可能的复杂性，即我们的算法具有复杂性$O\left( \inf_{ν\in[0,1]}\left(\frac{L_ν}{\varepsilon} \right)^{\frac{2}{1+ν}}R^2 \right)$，其中$R$是可行集的大小，$\varepsilon$是解决方案的期望精度。我们还考虑了具有强单调算子的VI的情形，推广了我们对具有不精确预言的VI的方法和我们对这类问题的通用方法。最后，我们展示了如何将我们的方法应用于具有Hölder连续部分次梯度的凹凸鞍点问题。
2022-02-17 math.OC
Convergence analysis of the Riemannian proximal gradient method with inexact oracle
Shenzhen University（深圳大学）；Sun Yat-sen University（中山大学）；Guangdong Polytechnic Normal University（广东技术师范大学）
将不精确一阶oracle概念推广到黎曼优化，分析带有该oracle的黎曼近端梯度方法（RPG-IO）的全局收敛性，并基于KL性质证明迭代序列收敛到稳定点及收敛速率。
2026-06-25 math.OC
An Inexact Tensor-Train Primal-Dual Interior-Point Method for Semidefinite Programs
Imperial College London（帝国理工学院）；University of Bath（巴斯大学）
针对半定规划中解非低秩但可低张量列车秩近似的问题，介绍一种利用张量分解和原始对偶不可行内点框架的方法，实验表明该方法能处理大规模问题，有精度保证且张量列车秩适中，为相关问题求解提供新途径。
2026-07-15 math.OC
Convex semi-infinite programming algorithms with inexact separation oracles
针对分离问题难以精确求解的凸SIP，本文提出用不精确预言机驱动CP与IOA算法，分别证明CP在强凸目标下的O(1/k)速率及IOA在QCQP分离情形下的可行性与最优收敛性。
2025-06-10 math.OC
Optimal Convex Optimization with Inexact Second-Order Oracles
IIIS, Tsinghua University（清华大学交叉信息研究院）；Department of Artificial Intelligence, Westlake University（西湖大学人工智能学院）；School of Data Science, Fudan University（复旦大学数据科学系）；Department of Computer Science and Engineering, The Chinese University of Hong Kong（香港中文大学计算机科学与工程学系）
研究使用不精确二阶预言机的凸优化问题，提出加速不精确牛顿外梯度法，给出不同条件下找到ε-解的复杂度，且每次迭代时间与矩阵乘法相当，还建立匹配下界证明方法最优性。
2026-08-03 math.OC
Adaptive inexact fast augmented Lagrangian methods for constrained convex optimization
本文分析了求解线性约束凸优化问题的几种不精确快速增广拉格朗日方法。主要地，我们的方法依赖于[15]中开发的过度间隙式平滑技术和[4]中新引入的不精确Oracle框架的组合。我们分析了几个算法的实例与常数和自适应平滑参数，并得出总的计算复杂性的结果在一个简单的原始集的投影。对于基本的不精确的快速增广拉格朗日算法，我们得到的整体计算复杂性为$\mathcal{O}\left(\frac{1}{ε^{5/4}}\right)$，而对于自适应的变体，我们得到$\mathcal{O}\left(\frac{1}ε\right)$，投影到一个原始的集合，以获得一个$ε-$最优解为我们原来的问题。
2015-05-12 math.OC
Inexact Primal-Dual Gradient Projection Methods for Nonlinear Optimization on Convex Set
School of Information Science and Technology, ShanghaiTech University（上海科技大学信息科学与技术学院）；Shanghai Institute of Microsystem and Information Technology, Chinese Academy of Sciences（中国科学院上海微系统与信息技术研究所）；University of Washington（华盛顿大学）；Tongji University（同济大学）；University of Chinese Academy of Sciences（中国科学院大学）
针对凸集约束下的非线性最优化问题，提出了一种新的原始-对偶非精确梯度投影法。该方法每次迭代只需要不精确地计算投影到凸集上，从而减少了每次迭代投影的计算量。这一特点是有吸引力的，特别是解决问题的预测是计算上不容易计算。在较宽松的假设下，证明了最优性残差的整体收敛保证和O（1/k）的遍历收敛速度.我们将我们提出的策略应用于l1球约束问题。数值结果表明，我们的非精确梯度投影法求解l1-ball约束问题比精确方法更有效。
2019-11-18 cs.LG math.OC
Accuracy Certificates for Convex Minimization with Inexact Oracle
本文将凸优化精度证书推广至不精确一阶 Oracle，并为基于多面体的割平面方法给出显式构造，实现在线停止、原始解恢复及紧致目标残差界。
2023-09-30 math.OC
Nonasymptotic Analysis of Accelerated Methods With Inexact Oracle Under Absolute Error Bound
Beijing International Center for Mathematical Research, Peking University（北京大学北京国际数学研究中心）；The Ohio State University（俄亥俄州立大学）
研究具有不精确梯度预言机的加速方法用于解决确定性光滑凸问题，用PEP分析收敛界，得出GOGM和GFGM新收敛界，分析权衡与最优策略，建立累积误差下界并开发满足下界的PEP解。
2026-07-14 math.OC
Complexity of first order inexact Lagrangian and penalty methods for conic convex programming
在本文中，我们提出了一个完整的迭代复杂性分析的不精确的一阶拉格朗日和惩罚方法解决锥约束凸问题，有或可能没有最佳拉格朗日乘子，关闭的对偶差距。我们首先假设存在最佳的拉格朗日乘子和研究原始对偶一阶方法的基础上不精确的信息和增广拉格朗日平滑或Nesterov型平滑。对于不精确（快速）梯度增广拉格朗日方法，我们推导出总的计算复杂性的$\mathcal{O}\left(\frac{1}ε\right)$投影到一个简单的原始集，以达到$ε-$最优解的圆锥凸问题。对于不精确的快速梯度法结合Nesterov型平滑，我们推导出计算复杂性$\mathcal{O}\left(\frac{1}{ε^{3/2}}\right)$投影到同一个集合上。然后，我们假设锥约束凸问题的最优Lagrange乘子可能不存在，并分析了求解该问题的罚变换的快速梯度法。对于结合惩罚框架的快速梯度法，我们还推导出了$\mathcal{O}\left(\frac{1}{ε^{3/2}}\right)$投影到一个简单的原始集合上以获得原问题的$ε-$最优解的总计算复杂性。
2017-03-23 math.OC
A Universal Transfer Theorem for Convex Optimization Algorithms Using Inexact First-order Oracles
本文提出了一种通用转换定理，能够将任何基于精确一阶信息的凸优化算法以黑盒方式转换为可处理非精确一阶信息的算法，适用于更广泛的算法类别及结构化非凸问题。
2024-06-01 math.OC
An Inexact Deflected Subgradient Algorithm in Infinite Dimensional spaces
提出了一种求解自反巴拿赫空间中约束非光滑非凸最优化问题的对偶格式。我们建立强对偶的一个非常一般的类型的增广拉格朗日，在其中，我们假设一个限制较少的类型的增广函数上的davivity。我们解决的对偶问题（在希尔伯特空间）使用偏转次梯度法通过这个一般的增广拉格朗日。我们提供了两种选择的步长的方法。对于这两种选择，我们证明了原始序列的每个弱聚点都是原始解。我们还证明了对偶序列的强收敛性。
2023-02-04 math.OC
Solving smooth min-min and min-max problems by mixed oracle algorithms
在本文中，我们考虑两类问题，有一些相似的结构，即极小极小问题和极小极大鞍点问题。我们的方法是基于考虑外部最小化问题的最小化问题与不精确的预言。这个不精确的预言是通过内部问题的不精确解来计算的，内部问题是最小化或最大化问题。我们的主要假设是问题是光滑的，并且可用的预言是混合的：它只可能评估梯度w.r.t.对应于外部最小化问题的外部变量块，而对于内部问题，只有零阶Oracle可用。为了解决内部问题，我们使用零阶预言机加速无梯度方法。为了解决外部问题，我们使用Vaydya的割平面法的不精确变体或加速梯度法的变体。因此，我们提出了一个框架，导致非渐近的复杂性界的最小-最小和最小-最大的问题。此外，我们分别估计的数量的第一和零阶Oracle调用，这是足以达到任何所需的精度。
2021-02-28 math.OC
Universal Intermediate Gradient Method for Convex Problems with Inexact Oracle
在本文中，我们提出了一个新的一阶方法，用于最小化一个简单的凸集上的凸函数。我们假设目标函数是一个复合函数，它是一个简单的凸函数和一个具有不精确Hölder连续次梯度的凸函数的和。本文提出了通用中间梯度法。我们的方法具有普适性和中介性。继Y. Nesterov（Math.Prog.，2015）在通用梯度法上，我们的方法不需要任何关于Hölder参数和常数的信息，并自动调整自身以适应局部平滑度。另一方面，在O. Devolder，F.Glineur，and Y. Nesterov（CORE DP 2013/17），我们的方法是介于通用梯度法和通用快速梯度法之间的中间方法。这允许平衡该方法的收敛速率和预言错误累积的速度。在目标函数强凸性的假设下，我们证明了如何利用重新启动技术来获得一个具有更快收敛速率的算法。
2019-10-21 math.OC
Decentralized and Parallel Primal and Dual Accelerated Methods for Stochastic Convex Programming Problems
介绍了求解分散凸优化问题的原始和对偶随机梯度预言方法。无论是原始和双重预言机，所提出的方法是最佳的通信步骤的数量。然而，对于目标的所有类，每个节点的Oracle调用的数量方面的最优性只发生到对数因子和平滑的概念。通过使用mini-technique，我们表明，所提出的方法与随机预言可以在每个节点上额外并行化。所考虑的算法可以应用于许多数据科学问题和反问题。
2021-02-10 math.OC
Optimal Nonergodic Primal-Dual Complexity of Efficient Inexact Parameter-Free Augmented Lagrangian Methods
University of Waterloo（滑铁卢大学）
针对线性约束凸复合问题，提出三种保留标准AL子问题结构的非精确无参数增广拉格朗日方法，达到凸设定下最优$\fancyscript{O}(ε^{-1})$非遍历原-对偶复杂度，强凸下接近最优，实验较PAL方法提速5至50倍。
2026-08-11 math.OC
Distributed Optimization with Inexact Oracle
本文研究了使用近似一阶信息的分布式最优化问题。我们假设智能体可以重复调用每个目标函数的不精确一阶预言，并与其随时间变化的邻居交换信息。在这种情况下，我们重新讨论了分布式次梯度方法，并证明了它在平方可和但不可和步长下的次优性。我们还提出了几个条件上的不精确的本地神谕，以确保精确收敛的迭代序列的全球最优解。数值算例验证了算法的有效性。
2022-08-25 cs.SY eess.SY math.OC
Higher Degree Inexact Model for Optimization problems
本文提出不精确高阶 $(δ, L, q)$-模型，并基于该模型构造自适应梯度法、快速梯度法和 Generalized Mirror Prox，用于求解凸优化、变分不等式及非光滑问题，证明了收敛速率并通过数值实验验证了有效性。
2024-10-03 math.OC
Primal-dual accelerated gradient methods with small-dimensional relaxation oracle
本文提出了一种新的加速梯度下降算法。该方法不需要目标函数的任何信息，用精确线搜索来加速收敛，对凸和非凸目标函数都能收敛于已知的下界，具有原-对偶性质，并可应用于非欧几里德问题。据我们所知，这是第一个这样的方法同时拥有所有上述性质。我们还提出了一个通用的版本的方法，这是适用于非光滑问题。我们演示了在实践中如何通过考虑具有简单结构（例如线性约束）的凸优化问题来有效地使用线搜索和原始二元性的结合。
2019-05-12 math.OC
Difference-of-Convex Optimization via Inexact Smoothing Descent Methods: Difference of High-Order Moreau Envelopes
University of Antwerp（安特卫普大学）
提出HOME-DC函数并建立其性质，通过非精确一阶预言机设计下降方法求解DC优化问题，理论分析收敛性，稀疏聚类实验验证有效性。
2026-07-01 math.OC
An Inexact Frank-Wolfe Algorithm for Composite Convex Optimization Involving a Self-Concordant Function
本文提出一种带不精确预言机的Frank-Wolfe算法变体，用于求解涉及对数齐次自协和函数的复合凸优化问题，在放宽子问题精确求解假设的同时保持相似收敛保证，并应用于大规模半定规划。
2023-10-23 math.OC
Decentralized Constraint-Coupled Optimization with Inexact Oracle
针对带全局耦合等式约束的去中心化优化问题，提出采用可控不精确度非精确对偶梯度的iDDGT方法，计算效率更优且可在无约束矩阵条件的有向图上线性收敛，适用范围更广。
2023-10-05 cs.SY eess.SY math.OC
Universality of AdaGrad Stepsizes for Stochastic Optimization: Inexact Oracle, Acceleration and Variance Reduction
本文针对仅能通过可能有偏的随机梯度预言机访问的近似光滑凸复合优化问题，提出基于AdaGrad步长的基础与加速自适应梯度方法，并统一证明了其在方差有界、隐式方差缩减及显式SVRG型方差缩减三种情形下均达到最优复杂度。
2024-06-10 math.OC
An Adaptively Inexact Method for Bilevel Learning Using Primal-Dual Style Differentiation
University of Zurich（苏黎世大学）；University of Bath（巴斯大学）；Graz University of Technology（格拉茨技术大学）
针对依赖凸下层问题极小解的双层学习，本文用 piggyback 迭代计算非精确超梯度，给出后验误差界与自适应步长方法。
2025-06-07 cs.LG math.OC
Fast Inexact Decomposition Algorithms For Large-Scale Separable Convex Optimization
本文提出了一种新的求解可分凸优化问题的不精确对偶分解算法。该算法结合了对偶拉格朗日分解、平滑和过度间隔三种技术。该算法在每次迭代中只需要一个原始步骤和两个对偶步骤，并允许不精确地并行求解每个分量的子问题。此外，算法参数自动更新，没有任何调整策略，在增广拉格朗日方法。我们分析了算法的收敛性，并估计了其$O(\frac{1}{\varepsilon})$最坏情况的复杂度。数值算例验证了理论结果。
2013-02-07 math.OC
Revisiting the Primal-Dual Method of Multipliers for Optimisation over Centralised Networks
原始对偶乘数法（PDMM）最初是为解决一般网络上的可分解优化问题而设计的。在本文中，我们重新PDMM优化集中式网络。我们首先注意到最近提出的方法FedSplit [1]实现了集中式网络的PDMM。在[1]中，不精确的FedSplit（即，基于梯度的FedSplit）也在经验和理论上进行了研究。我们确定了报告的不精确FedSplit性能不佳的原因，这是由于客户端梯度操作的初始化不正确。为了解决不精确的FedSplit问题，我们提出了两个版本的不精确的PDMM，这被称为基于梯度的PDMM（GPDMM）和加速的GPDMM（AGPDMM），分别。与GPDMM相比，AGPDMM加速了GPDMM，但每次迭代从服务器向每个客户端传输的参数数量是GPDMM的两倍。对于一类凸优化问题，我们给出了GPDMM的一个新的收敛界。我们的新的界限是更严格的比不精确FedSplit。我们还研究了AGPDMM和SCAFFOLD的更新表达式，以找到它们的相似之处。研究发现，当客户端每次迭代的梯度步数K=1时，AGPDMM和SCAFFOLD都可以通过适当的参数设置，简化为香草梯度下降.实验结果表明，当K>1时，AGPDMM比SCAFFOLD收敛得快，而GPDMM比SCAFFOLD收敛得稍差。
2021-07-19 cs.DC math.OC
A primal-dual backward reflected forward splitting algorithm for structured monotone inclusions
本文提出一种原对偶后向反射前向分裂方法，用于求解实Hilbert空间中的结构化单调包含问题，支持算子非精确计算，并证明了在相应条件下的强收敛与弱收敛性。
2024-01-10 math.OC
A Class of Accelerated Fixed-Point-Based Methods with Delayed Inexact Oracles and Its Applications
本文提出了一种基于延迟不精确算子的加速固定点方法，改进了经典KM方法的收敛率，并应用于矩阵博弈和神经网络训练问题。
2025-12-15 math.OC stat.ML
IDEAL: Inexact DEcentralized Accelerated Augmented Lagrangian Method
NYU（纽约大学）；Rutgers University（罗格斯大学）；MIT（麻省理工学院）
我们介绍了一个框架下的分散优化设置，局部函数是光滑的，强凸的设计原始方法。我们的方法包括近似求解加速增广拉格朗日方法引起的一系列子问题，从而提供了一种系统的方法来推导几个著名的分散算法，包括EXTRA arXiv：1404.6264和SSDA arXiv：1702.08704。当与加速梯度下降相结合时，我们的框架产生了一种新的原始算法，其收敛速度是最佳的，并且与最近导出的下界相匹配。我们提供的实验结果表明，所提出的算法对高度病态的问题的有效性。
2020-06-11 cs.LG math.OC
On the Primal Feasibility in Dual Decomposition Methods Under Additive and Bounded Errors
随着信号处理和机器学习应用领域的前所未有的增长，人们对分布式最优化方法来解决潜在的大规模问题的兴趣得到了极大的扩展。然而，不可避免的系统特定的挑战，如有限的计算能力，有限的通信，延迟要求，测量误差，和无线信道中的噪声强加限制的精确性的基础算法。这种限制引起了对算法在不精确条件下收敛行为的研究。尽管在该领域进行了广泛的研究，它似乎是关于原始最优性违反对偶分解方法的收敛性分析，连同对偶最优性违反较少调查。在这里，我们提供了一个系统的阐述的可行点在不精确设置下的对偶分解方法的收敛性，一类重要的全球共识最优化问题。收敛和收敛的算法的收敛速率的数学证实，不仅从双域的观点，而且从主域的观点。分析结果表明，该算法收敛到一个最优邻域，其大小取决于潜在的失真水平。进一步阐述了一个广义的问题制定还提供，连同底层算法的收敛性能。最后，通过数值实验验证了理论推导的正确性.
2022-10-22 math.OC
Inexact Augmented Lagrangian Methods for Conic Programs: Quadratic Growth and Linear Convergence
本文针对半定规划中原迭代收敛速率不明确的问题，通过建立严格互补条件下的二次增长与误差界性质，证明仅需严格互补和有界解集假设，增广拉格朗日方法的原、对偶迭代均线性收敛，解决了相关公开问题。
2024-10-30 cs.SY eess.SY math.OC
Inexact cuts for Deterministic and Stochastic Dual Dynamic Programming applied to convex nonlinear optimization problems
本文将对偶动态规划（DDP）推广到求解凸非线性动态规划方程。我们称之为不精确的DDP（IDDP）这种扩展适用于一些或所有的原始和对偶子问题，以解决沿迭代的方法解决有界误差的情况。我们证明了决策序列的任何聚点都是动态规划方程的近似解。当这些错误趋于零的迭代次数趋于无穷大，我们表明，IDDP解决了动态规划方程。我们扩展的分析随机凸非线性动态规划方程，引入不精确随机对偶动态规划（ISDDP），SDDP的不精确的变种对应的情况下，一些或所有的问题要解决的前向和向后传递的SDDP近似解决。我们还证明了ISDDP在误差消失时的几乎必然收敛。
2017-11-22 math.OC
