Robustness of the Frank-Wolfe Method under Inexact Oracles and the Cost of Linear Minimization
School of Mathematics and Statistics, Xi’an Jiaotong University（西安交通大学数学与统计学院）
本文研究了在不精确oracle下Frank-Wolfe方法的鲁棒性，证明了线性最小化与投影的计算成本差异，并展示了非凸函数的收敛性保证。
2026-01-25 math.OC
An Inexact Interior-Point Lagrangian Decomposition Algorithm with Inexact Oracles
本文提出了一种新的非精确内点拉格朗日分解方法来求解一类广泛的约束组合凸优化问题。我们的方法依赖于四种技术：拉格朗日对偶分解，自协调障碍平滑，路径跟踪，和近似牛顿技术。它还允许近似计算原始子问题（称为从属问题）的解，这导致不精确的预言（即，不精确梯度和Hessians）的光滑对偶问题（称为主问题）。光滑对偶问题是非光滑的，我们提出用不精确近似牛顿法来求解，通过适当地控制从问题和主问题两个层次上的不精确计算，我们仍然估计了算法的多项式时间迭代复杂度，就像标准的短步内点方法一样.我们还提供了一个策略，以恢复原始解决方案，并建立复杂性，以实现近似原始解决方案。我们说明了我们的方法，通过两个数值例子知名的模型与合成和真实的数据，并比较它与一些现有的国家的最先进的方法。
2019-04-18 math.OC
Proximal gradient methods with inexact oracle of degree q for composite optimization
本文提出 q 阶不精确一阶预言机概念，并分析用于复合优化的不精确近似梯度方法，揭示预言机精度与目标精度的复杂度关系。
2024-01-19 math.OC
Numerical methods in large-scale optimization: inexact oracle and primal-dual analysis
这是一个简短的总结，已经发表的结果加速第一和零阶最优化方法，以及加速方法的问题与线性约束。这个简短的摘要是获得俄罗斯联邦科学博士学位的要求。详情见导言中所列的文件。
2020-09-08 math.OC
Optimal inexactness schedules for Tunable Oracle based Methods
本文研究可调非精确 oracle 的一阶优化方法，提出最优非精确性调度策略，在收敛性与计算成本间取得最佳折中，并通过 Fast Gradient 算法的数值实验验证了其实际有效性。
2023-09-14 math.OC
Gradient Method With Inexact Oracle for Composite Non-Convex Optimization
本文对具有简单约束和不精确预言的复合非凸极小化问题提出了一种新的一阶方法。该目标函数被给定为“硬”部分（可能为非凸部分）和“简单”部分的和。非正式地说，甲骨文的不精确性意味着，对于“困难”部分，在任何一点，我们都可以近似地计算函数的值，并构造一个二次函数，它近似地从上面限制了这个函数。我们给出了几个这样的不精确的例子：光滑的非凸函数与不精确的Hölder连续梯度，辅助一致凹最大化问题，这只能近似解决的功能。对于引入的一类问题，我们提出了一种梯度型方法，它允许使用不同的邻近设置，以适应几何的可行集，自适应地选择控制的预言错误，允许不精确的邻近映射。我们给出了我们的方法的收敛速度的广义梯度映射的范数，并表明，在不精确的Hölder连续梯度的情况下，我们的方法是通用的Hölder参数的问题。最后，在一个特殊的情形下，证明了广义梯度映射的范数在一点处的小值意味着局部极小值的一个必要条件在该点处近似成立.
2017-03-27 math.OC
Universal method with inexact oracle and its applications for searching equillibriums in multistage transport problems
本文提出了一种新的多阶段输运问题平衡点数值计算的有效方法。在我们的方法的核心在于适当的组合，通用梯度法提出的Yu。Nesterov（2013）和不精确甲骨文的概念（Devolder-Glineur-Nesterov，2011）。特别地，我们的技术允许我们以快速的方式计算Wasserstein的重心（该结果推广了M。Cuturi等人（2014））。
2016-04-17 math.OC
Gradient-free prox-methods with inexact oracle for stochastic convex optimization problems on a simplex
在本文中，我们表明，欧几里德随机化在某些情况下（即梯度自由的方法在一个单纯形）可以作为良好的随机化的单位球上的1-范数。即在单纯形的例子中，我们证明了对于无梯度方法，随机结构的选择和随机化方式的选择必须相互联系。我们演示了如何以最佳方式完成。重要的是我们要考虑不精确的神谕。
2016-04-17 math.OC
On the Oracle Complexity of a Riemannian Inexact Augmented Lagrangian Method for Riemannian Nonsmooth Composite Problems
本文研究黎曼非光滑复合优化，证明带经典对偶更新的 RiAL 方法通过非精确内子问题求解仅需 O(ε^{-3}) 次一阶预言机调用即可找到 ε-稳定点，达到已知最优复杂度。
2024-10-02 math.OC
Generalized Mirror Prox for Monotone Variational Inequalities: Universality and Inexact Oracle
引入了一类带单调算子的变分不等式（VI）的不精确预言模型，提出了求解此类VI的一种数值方法，并分析了其收敛速度.作为一个特例，我们考虑了具有Hölder连续算子的VI，并证明了我们的算法是通用的。这意味着，在不知道Hölder参数$ν$和Hölder常数$L_ν$的情况下，它具有这类VI的最佳可能的复杂性，即我们的算法具有复杂性$O\left( \inf_{ν\in[0,1]}\left(\frac{L_ν}{\varepsilon} \right)^{\frac{2}{1+ν}}R^2 \right)$，其中$R$是可行集的大小，$\varepsilon$是解决方案的期望精度。我们还考虑了具有强单调算子的VI的情形，推广了我们对具有不精确预言的VI的方法和我们对这类问题的通用方法。最后，我们展示了如何将我们的方法应用于具有Hölder连续部分次梯度的凹凸鞍点问题。
2022-02-17 math.OC
Convergence analysis of the Riemannian proximal gradient method with inexact oracle
Shenzhen University（深圳大学）；Sun Yat-sen University（中山大学）；Guangdong Polytechnic Normal University（广东技术师范大学）
将不精确一阶oracle概念推广到黎曼优化，分析带有该oracle的黎曼近端梯度方法（RPG-IO）的全局收敛性，并基于KL性质证明迭代序列收敛到稳定点及收敛速率。
2026-06-25 math.OC
Convex semi-infinite programming algorithms with inexact separation oracles
针对分离问题难以精确求解的凸SIP，本文提出用不精确预言机驱动CP与IOA算法，分别证明CP在强凸目标下的O(1/k)速率及IOA在QCQP分离情形下的可行性与最优收敛性。
2025-06-10 math.OC
Optimal Convex Optimization with Inexact Second-Order Oracles
IIIS, Tsinghua University（清华大学交叉信息研究院）；Department of Artificial Intelligence, Westlake University（西湖大学人工智能学院）；School of Data Science, Fudan University（复旦大学数据科学系）；Department of Computer Science and Engineering, The Chinese University of Hong Kong（香港中文大学计算机科学与工程学系）
研究使用不精确二阶预言机的凸优化问题，提出加速不精确牛顿外梯度法，给出不同条件下找到ε-解的复杂度，且每次迭代时间与矩阵乘法相当，还建立匹配下界证明方法最优性。
2026-08-03 math.OC
Nonasymptotic Analysis of Accelerated Methods With Inexact Oracle Under Absolute Error Bound
Beijing International Center for Mathematical Research, Peking University（北京大学北京国际数学研究中心）；The Ohio State University（俄亥俄州立大学）
研究具有不精确梯度预言机的加速方法用于解决确定性光滑凸问题，用PEP分析收敛界，得出GOGM和GFGM新收敛界，分析权衡与最优策略，建立累积误差下界并开发满足下界的PEP解。
2026-07-14 math.OC
A Universal Transfer Theorem for Convex Optimization Algorithms Using Inexact First-order Oracles
本文提出了一种通用转换定理，能够将任何基于精确一阶信息的凸优化算法以黑盒方式转换为可处理非精确一阶信息的算法，适用于更广泛的算法类别及结构化非凸问题。
2024-06-01 math.OC
Solving smooth min-min and min-max problems by mixed oracle algorithms
在本文中，我们考虑两类问题，有一些相似的结构，即极小极小问题和极小极大鞍点问题。我们的方法是基于考虑外部最小化问题的最小化问题与不精确的预言。这个不精确的预言是通过内部问题的不精确解来计算的，内部问题是最小化或最大化问题。我们的主要假设是问题是光滑的，并且可用的预言是混合的：它只可能评估梯度w.r.t.对应于外部最小化问题的外部变量块，而对于内部问题，只有零阶Oracle可用。为了解决内部问题，我们使用零阶预言机加速无梯度方法。为了解决外部问题，我们使用Vaydya的割平面法的不精确变体或加速梯度法的变体。因此，我们提出了一个框架，导致非渐近的复杂性界的最小-最小和最小-最大的问题。此外，我们分别估计的数量的第一和零阶Oracle调用，这是足以达到任何所需的精度。
2021-02-28 math.OC
Universal Intermediate Gradient Method for Convex Problems with Inexact Oracle
在本文中，我们提出了一个新的一阶方法，用于最小化一个简单的凸集上的凸函数。我们假设目标函数是一个复合函数，它是一个简单的凸函数和一个具有不精确Hölder连续次梯度的凸函数的和。本文提出了通用中间梯度法。我们的方法具有普适性和中介性。继Y. Nesterov（Math.Prog.，2015）在通用梯度法上，我们的方法不需要任何关于Hölder参数和常数的信息，并自动调整自身以适应局部平滑度。另一方面，在O. Devolder，F.Glineur，and Y. Nesterov（CORE DP 2013/17），我们的方法是介于通用梯度法和通用快速梯度法之间的中间方法。这允许平衡该方法的收敛速率和预言错误累积的速度。在目标函数强凸性的假设下，我们证明了如何利用重新启动技术来获得一个具有更快收敛速率的算法。
2019-10-21 math.OC
Abs-Smooth Frank-Wolfe Method: Primal-Dual Analysis, Heavy Ball Momentum, and Inexact Oracles
Institut für Mathematik, Humboldt-Universität zu Berlin（柏林洪堡大学数学研究所）；Zuse Institute Berlin（柏林祖斯研究所）；Institut für Mathematik, Technische Universität Berlin（柏林工业大学数学研究所）
本文研究了满足abs-smoothness属性的凸目标的无投影优化问题，提出了一种统一的Abs-Smooth Frank-Wolfe方法框架，通过清晰的对偶分析保证收敛性，无需传统光滑性假设。该框架在两个重要方向上扩展了现有结果：首先引入重力球动量变体，证明在abs-smoothness下动量可以自然融入并保持收敛性；其次分析近似最小化Oracle，展示对近似内解的鲁棒性。此外，放宽了全凸性假设，研究仅在目标的分段线性近似中保持凸性的情况，进一步扩大了条件梯度方法在更广泛非光滑问题中的应用范围。
2026-05-19 math.OC
An Inexact Primal-Dual Smoothing Framework for Large-Scale Non-Bilinear Saddle Point Problems
该研究提出非精确原始-对偶一阶平滑框架及随机版本，求解带原始强凸性的非双线性鞍点问题，显著提升原始预言复杂度，适配多函数约束凸优化时达已知最优预言复杂度。
2023-07-24 math.OC
Distributed Optimization with Inexact Oracle
本文研究了使用近似一阶信息的分布式最优化问题。我们假设智能体可以重复调用每个目标函数的不精确一阶预言，并与其随时间变化的邻居交换信息。在这种情况下，我们重新讨论了分布式次梯度方法，并证明了它在平方可和但不可和步长下的次优性。我们还提出了几个条件上的不精确的本地神谕，以确保精确收敛的迭代序列的全球最优解。数值算例验证了算法的有效性。
2022-08-25 cs.SY eess.SY math.OC
Higher Degree Inexact Model for Optimization problems
本文提出不精确高阶 $(δ, L, q)$-模型，并基于该模型构造自适应梯度法、快速梯度法和 Generalized Mirror Prox，用于求解凸优化、变分不等式及非光滑问题，证明了收敛速率并通过数值实验验证了有效性。
2024-10-03 math.OC
Difference-of-Convex Optimization via Inexact Smoothing Descent Methods: Difference of High-Order Moreau Envelopes
University of Antwerp（安特卫普大学）
提出HOME-DC函数并建立其性质，通过非精确一阶预言机设计下降方法求解DC优化问题，理论分析收敛性，稀疏聚类实验验证有效性。
2026-07-01 math.OC
An Inexact Frank-Wolfe Algorithm for Composite Convex Optimization Involving a Self-Concordant Function
本文提出一种带不精确预言机的Frank-Wolfe算法变体，用于求解涉及对数齐次自协和函数的复合凸优化问题，在放宽子问题精确求解假设的同时保持相似收敛保证，并应用于大规模半定规划。
2023-10-23 math.OC
Decentralized Constraint-Coupled Optimization with Inexact Oracle
针对带全局耦合等式约束的去中心化优化问题，提出采用可控不精确度非精确对偶梯度的iDDGT方法，计算效率更优且可在无约束矩阵条件的有向图上线性收敛，适用范围更广。
2023-10-05 cs.SY eess.SY math.OC
Universality of AdaGrad Stepsizes for Stochastic Optimization: Inexact Oracle, Acceleration and Variance Reduction
本文针对仅能通过可能有偏的随机梯度预言机访问的近似光滑凸复合优化问题，提出基于AdaGrad步长的基础与加速自适应梯度方法，并统一证明了其在方差有界、隐式方差缩减及显式SVRG型方差缩减三种情形下均达到最优复杂度。
2024-06-10 math.OC
A Class of Accelerated Fixed-Point-Based Methods with Delayed Inexact Oracles and Its Applications
The University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
本文提出了一种基于延迟不精确算子的加速固定点方法，改进了经典KM方法的收敛率，并应用于矩阵博弈和神经网络训练问题。
2025-12-15 math.OC stat.ML
Inexact and Implementable Accelerated Newton Proximal Extragradient Method for Convex Optimization
本文研究非精确 Hessian 下的加速牛顿近端 extragradient 方法（IA-NPE），通过动态平衡计算成本与收敛进度并证明线搜索鲁棒性，保持了近最优复杂度，且数值实验表明其优于现有二阶方法。
2024-02-19 math.OC
Adaptive inexact fast augmented Lagrangian methods for constrained convex optimization
本文分析了求解线性约束凸优化问题的几种不精确快速增广拉格朗日方法。主要地，我们的方法依赖于[15]中开发的过度间隙式平滑技术和[4]中新引入的不精确Oracle框架的组合。我们分析了几个算法的实例与常数和自适应平滑参数，并得出总的计算复杂性的结果在一个简单的原始集的投影。对于基本的不精确的快速增广拉格朗日算法，我们得到的整体计算复杂性为$\mathcal{O}\left(\frac{1}{ε^{5/4}}\right)$，而对于自适应的变体，我们得到$\mathcal{O}\left(\frac{1}ε\right)$，投影到一个原始的集合，以获得一个$ε-$最优解为我们原来的问题。
2015-05-12 math.OC
Gradient Methods for Problems with Inexact Model of the Objective
我们考虑在目标函数的不精确信息下凸极小化问题的最优化方法。我们引入了目标的不精确模型，作为特例，它包括$(δ,L)$不精确预言和相对光滑条件。我们分析了使用这种不精确模型的梯度法，并得到了凸和强凸问题的收敛速度。为了展示我们的一般框架的潜在应用，我们考虑三个特定的问题。第一个是通过[Nesterov，2018]中引入的选举模型进行聚类。第二个是近似的最优输运距离，我们提出了一个近端Sinkhorn算法。第三部分是关于最优输运重心的近似计算，提出了一种近似迭代Bregman投影算法。我们还通过数值实验说明了我们的算法的实际性能。
2019-03-23 math.OC
An Inexact Augmented Lagrangian Framework for Nonconvex Optimization with Nonlinear Constraints
提出了一种求解非凸非线性约束问题的实用不精确增广拉格朗日方法。我们的总计算复杂性的特征，我们的方法受到可验证的几何条件，这是密切相关的Polyak-Lojasiewicz和Mangasarian-Fromowitz条件。特别是，当一阶求解器用于内部迭代，我们证明了iALM发现一阶不动点与$\tilde{\mathcal{O}}(1/ε^4)$调用一阶Oracle。此外，如果问题是光滑的，并且二阶求解器用于内部迭代，则iALM通过对二阶oracle的$\tilde{\mathcal{O}}(1/ε^5)$调用找到二阶稳定点，这与文献中已知的理论复杂度结果相匹配。我们还提供了强有力的数值证据，大规模的机器学习问题，包括Burer-Monteiro分解的半定程序，和一种新的非凸松弛的标准基追求模板。对于这些例子，我们还展示了如何验证我们的几何条件。
2022-04-21 math.OC
An Inexact Variance-Reduced Method For Stochastic Quasi-Variational Inequality Problems With An Application In Healthcare
研究了一类闭凸集上具有连续强单调映射的随机拟变分不等式（SQVI）问题，其中到约束集上的投影不容易计算.提出了一种求解SQVI问题的不精确方差缩减随机格式，并分析了其收敛速度和预言复杂度。通过逐步增加样本量和近似投影算子，获得线性的收敛速率。此外，我们展示了如何献血组织之间的竞争可以建模为SQVI，我们提供了一些初步的模拟结果来验证我们的研究结果。
2022-08-31 math.OC
Data-Driven Learning of Two-Stage Beamformers in Passive IRS-Assisted Systems with Inexact Oracles
针对无源IRS辅助的两阶段波束成形优化问题，提出基于零阶随机梯度上升的无模型无监督学习算法，无需信道模型与IRS主动感知，在MISO下行链路等场景验证了有效性。
2024-10-31 cs.SY eess.SP eess.SY
Bounds for the Tracking Error and Dynamic Regret of Inexact Online Optimization Methods: A General Analysis via Sequential Semidefinite Programs
在本文中，我们开发了一个统一的框架，分析跟踪误差和动态遗憾的不精确在线最优化方法在各种设置。具体来说，我们利用二次约束方法从控制理论制定顺序半定规划（SDP）的可行点自然对应于跟踪误差界的各种不精确的在线最优化方法，包括不精确的在线梯度下降（OGD）方法，在线梯度下降上升法，在线随机梯度法，和不精确的近端在线梯度法。我们提供了精确的解析解，我们建议的顺序SDPs，并获得细粒度的跟踪误差界的在线算法在本文中研究。我们还提供了一个简单的例程来转换所获得的跟踪误差界到动态遗憾界。我们的分析的主要新颖之处是，我们得到了精确的分析解决方案，我们提出的顺序SDPs在各种不精确的预言假设下，以统一的方式。
2023-03-02 math.OC
A New Inexact Manifold Proximal Linear Algorithm with Adaptive Stopping Criteria
University of Notre Dame（圣母大学）；The Pennsylvania State University（宾夕法尼亚州立大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出IManPL算法，通过自适应停止准则非精确求解凸子问题，用于嵌入子流形上的非光滑非凸复合优化，并证明其达到最优一阶oracle复杂度，在稀疏谱聚类和稀疏主成分分析上优于现有方法。
2026-10-06 math.OC
Computing proximal points of convex functions with inexact subgradients
定位邻近点是许多最小化算法的组成部分。本文主要研究在不精确的预言下，如何求出凸函数在某一点的逼近点。我们的方法假设精确的函数值在手边，但精确的子梯度要么不可用，要么没有用。我们使用近似次梯度来建立目标函数的模型，并证明了该方法在可接受的误差范围内收敛到真实的收敛点。在每个步骤$k$中使用的次梯度$g_k$是这样的，即从$g_k$到当前迭代点处的目标函数的真次微分的距离由某个固定的$\varepsilon>0.$限定。该算法包括应用于近似次梯度的新颖的倾斜校正步骤。
2016-11-02 math.OC
Accelerated Bregman gradient methods for relatively smooth and relatively Lipschitz continuous minimization problems
本文针对相对光滑与相对Lipschitz连续优化问题，提出多种带不精确oracle的加速Bregman梯度方法及自适应中间方法，并通过Poisson逆问题数值实验验证其优势。
2024-11-23 math.OC
Normalized First-Order Methods for Convex (L0, L1)-Smooth Optimization with Inexact Gradients
Innopolis University（因诺波利斯大学）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）
针对需不精确梯度的凸(L0, L1)-光滑优化问题，提出两种基于比较预言机的归一化一阶方法，推导收敛速率并通过实验验证理论结果。
2026-08-06 math.OC
Nonsmooth Riemannian optimization with inexact manifold primitives via bundle methods
Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出一种非光滑几何凸优化的近似包方法，通过引入子梯度和近似原语，建立了首个依赖于子梯度和近似原语的oracle复杂度界，实现了通用目标的次线性收敛和线性收敛。
2026-04-29 math.OC
Inexact Zeroth-Order Nonsmooth and Nonconvex Stochastic Composite Optimization and Applications
King’s College London（伦敦国王学院）；Yale University（耶鲁大学）
本文提出了一种近似零阶方法，用于解决非光滑非凸随机复合优化问题，并展示了其在广泛问题中的应用，超越了现有方法的局限性。
2025-12-10 math.OC
Inexact Direct-Search Methods for Bilevel Optimization Problems
本文提出了求解双层优化问题的新型非精确直接搜索方法，利用固定精度黑盒预言机处理平滑与非平滑目标，首次给出收敛性保证与复杂度界限，并扩展了网格自适应直接搜索方案，初步数值实验验证了其有效性。
2023-09-13 math.OC
Convergence analysis of inexact MBA method for constrained upper-$\mathcal{C}^2$ optimization problems
针对目标与约束均为上-$\mathcal{C}^2$的非凸非光滑约束优化问题，本文提出带可行非精确子问题求解准则的非精确MBA方法，证明其全局收敛性与局部收敛速率，给出KL性质验证条件，是首个具备全局收敛保证的可实现该类方法。
2025-11-13 math.OC
ItsDEAL: Inexact two-level smoothing descent algorithms for weakly convex optimization
University of Antwerp（安特卫普大学）
本文提出 ItsDEAL 框架，利用高阶 Moreau 包络对弱凸优化问题进行两层光滑化，并结合非精确一阶方法与无参数下降策略，在 KL 性质下证明了全局收敛性和线性速率，数值实验验证了其有效性。
2026-10-23 math.OC
Beyond the Ideal: Analyzing the Inexact Muon Update
KAUST（卡塔尔人工智能研究所在读博士）
本文首次分析Muon优化器核心的不精确正交化更新，提出加性误差模型，揭示LMO不精确性与步长和动量的耦合，并通过NanoGPT实验验证。研究将近似精度提升为需与学习计划共同调优的关键参数。
2025-10-22 cs.LG math.OC
Convergence Analysis of an Inexact MBA Method for Constrained DC Problems
本文针对约束DC优化问题提出一种基于全局误差界的不精确MBA方法，在KL性质下建立完全收敛性、局部收敛速率及迭代复杂度，并通过数值实验验证其在解质量和运行时间上优于DCA-MOSEK。
2025-07-04 math.OC
Unifying Framework for Accelerated Randomized Methods in Convex Optimization
本文研究了具有简单约束和不精确预言信息的光滑凸优化问题，预言信息包括目标函数的值、偏导数或方向导数。我们引入了一个统一的框架，它允许构建不同类型的加速随机方法，这样的问题，并证明他们的收敛速度定理。我们专注于加速随机块坐标下降，加速随机方向搜索，加速随机无导数方法，并使用我们的框架，提供他们的版本与不精确的预言信息的问题。我们的贡献还包括加速随机块坐标下降与不精确的预言和熵接近的设置，以及衍生的自由版本的这种方法。此外，我们提出了一个扩展的强凸优化问题的框架。我们还讨论了目标函数的不精确模型的情况下的推广。
2020-12-16 cs.NA math.NA math.OC
Convex optimization in Hilbert space with applications to inverse problems
本文提出了求解希尔伯特空间中凸优化问题的加速梯度下降格式。我们考虑不精确甲骨文的情况。
2019-10-15 math.OC
Dimension-Adaptive Accuracy Certificates for Convex Optimization
HSE University（高等经济大学）
针对凸优化中保留完整梯度成本高的问题，提出维度自适应精度证书，结合二次正则化的精确校正项，在核SVM等实验中减少了证书通信量和停止时间。
2026-10-09 math.OC
Inexact and Stochastic Generalized Conditional Gradient with Augmented Lagrangian and Proximal Step
在本文中，我们提出并分析了不精确和随机版本的CGALP算法在作者的前一篇论文中，我们表示ICGALP，允许在几个重要的数量的计算错误。特别地，这允许人们以不精确的方式计算一些梯度、近似项和/或线性最小化预言，这有助于将算法实际应用于计算密集型设置，例如在机器学习问题中常见的高维（或可能无限）希尔伯特空间中。该算法能够解决复合极小化问题，涉及三个凸真下连续函数的和受到形式为$Ax=b$的仿射约束的一些有界线性算子$A$。目标函数中只有一个函数是可微的，另外两个函数是可达的prox算子和线性最小化预言。作为主要结果，我们显示收敛的拉格朗日的最佳和渐近可行的仿射约束，以及弱收敛的对偶变量的对偶问题的解决方案，所有的几乎必然的意义。对于拉格朗日值和可行性间隙，给出了逐点和遍历的几乎必然收敛率。数值实验验证了预测的收敛速度。
2020-05-11 math.OC stat.ML
Rate-improved Inexact Augmented Lagrangian Method for Constrained Nonconvex Optimization
在增广拉格朗日法（ALM）或罚函数法的框架内，一阶方法已经被研究用于非线性约束优化。我们提出了一种改进的不精确ALM（iALM），并进行了统一的分析，无论是仿射等式或非凸约束的非凸问题。在一定的规律性条件下（也假设现有的作品），我们展示了一个$\tilde{O}(\varepsilon^{-\frac{5}{2}})$复杂性的结果与非凸目标和仿射等式约束的问题和一个$\tilde{O}(\varepsilon^{-3})$复杂性的结果与非凸目标和非凸约束的问题，其中的复杂性是由一阶预言机的数量来衡量，以产生一个$\varepsilon$ -KKT解决方案。这两个结果都是最有名的。通过惩罚方法得到了同阶复杂度的结果。然而，使用两种不同的分析技术来获得结果，更重要的是，惩罚方法在实践中通常比iALM表现得更差。我们改进的iALM和分析缩小了理论与实践之间的差距。数值实验证明了该方法的有效性。
2021-03-24 math.OC
Inexact Moreau Envelope Lagrangian Method for Non-Convex Constrained Optimization under Local Error Bound Conditions on Constraint Functions
Department of Information System, Arizona State University（亚利桑那州立大学信息系统系）；Department of Business Analytics, University of Iowa（爱荷华大学商业分析系）；Department of Mathematical Sciences, Rensselaer Polytechnic Institute（伦塞拉尔_polytechnic学院数学科学系）
本文提出了一种近似Moreau包络Lagrangian方法，在局部误差界条件下实现非凸优化问题的高效求解，证明了其在不同误差界指数下的复杂度界。
2026-01-30 cs.LG math.OC
A randomized algorithm for nonconvex minimization with inexact evaluations and complexity guarantees
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
本文研究光滑非凸函数的最小化问题，提出一种基于非精确梯度和Hessian访问的随机算法，通过等概率选择负曲率方向实现近似二阶最优性，并提供了期望界和高概率界的收敛性分析，在经验风险最小化中改进了梯度样本复杂度。
2024-03-26 cs.LG math.OC
On Accelerated Methods for Saddle-Point Problems with Composite Structure
考虑了具有一般非双线性目标函数的强凸-强凹鞍点问题，其原始变量和对偶变量具有不同的条件数。首先，我们考虑这样的问题与光滑的复合项，其中之一具有有限和结构。对于这种设置，我们提出了一个方差降低算法的复杂性估计优于现有的界限在文献中。其次，我们考虑了有限和鞍点问题的复合项，并提出了几个算法取决于复合项的性质。当复合项是光滑的，我们得到更好的复杂性界比文献中的，包括最近提出的近最优算法，不考虑复合结构的问题的界限。如果复合条款是友好的，我们提出了一个方差减少算法，一方面，加速相比，现有的方差减少算法，另一方面，在复合设置类似的复杂性范围内的接近最佳的算法，这是专为非复合设置。除此之外，我们的算法允许分离的复杂性界限，即估计，分别为目标的每一部分，Oracle调用的数量，足以达到给定的精度。这是重要的，因为不同的部分可以具有不同的算术复杂度的预言机，并且期望调用昂贵的预言机比调用廉价的预言机更少。所有这些结果的关键是我们的鞍点问题的一般框架，这可能是独立的利益。这个框架，反过来是基于我们提出的加速元算法的复合优化与概率不精确的预言和概率不精确的最接近的映射，这可能是独立的利益，以及。
2021-06-14 math.OC
Uniformly Optimal and Parameter-free First-order Methods for Convex and Function-constrained Optimization
Shanghai Jiao Tong University（上海交通大学）；Georgia Institute of Technology（佐治亚理工学院）；Purdue University（普渡大学）
本文提出了一种无参数的一阶方法，用于在凸优化中实现最优oracle复杂度，通过利用计算oracle解决子问题中的对角二次规划，无需了解平滑度或梯度Hölder连续性参数，达到最优复杂度界。
2026-04-16 math.OC
High Probability Complexity Bounds for Adaptive Step Search Based on Stochastic Oracles
针对只能通过有偏、不精确随机零阶/一阶预言机获取信息的连续优化问题，提出一种自适应步长搜索算法，并给出非凸、凸及 PL 条件下迭代复杂度的高概率尾界。
2023-11-02 math.OC
