Multiply Accelerated Value Iteration for Non-Symmetric Affine Fixed Point Problems and application to Markov Decision Processes
我们分析了Nesterov加速梯度算法的一个修改版本，它适用于仿射不动点问题与非自伴随矩阵，如出现在马尔可夫决策过程理论与折扣或平均支付标准。我们刻画了该算法确实以加速的渐近速度收敛的矩阵的谱。我们还介绍了一个$d$第阶算法，并表明，它会产生一个乘法加速率在更苛刻的条件下的频谱。随后，我们应用这些方法来开发非线性不动点问题所产生的马尔可夫决策过程的加速计划。数值实验说明了这一点。
2021-07-02 math.OC
Exact Optimal Accelerated Complexity for Fixed-Point Iterations
尽管不动点迭代在整个应用数学中得到了广泛的应用，但非扩张非线性算子的一般不动点问题的最优收敛速度还没有得到证明.本文提出了一种不动点迭代的加速机制，该机制包含非扩张算子、压缩算子和满足Hölder型增长条件的非扩张算子。然后，我们提供匹配的复杂性下界，以建立精确的最优性的非扩张和收缩设置的加速机制。最后，我们提供了CT成像，最优输运，分散优化的实验，以证明加速机制的实际有效性。
2022-06-27 math.OC
Iteration-complexity of an inexact proximal accelerated augmented Lagrangian method for solving linearly constrained smooth nonconvex composite optimization problems
提出并建立了求解线性约束光滑非凸复合最优化问题的非精确近似加速增广拉格朗日（IPAAL）方法的迭代复杂度.每个IPAAL迭代包括不精确地解决一个近端增广拉格朗日子问题的加速复合梯度（ACG）方法，然后由一个合适的拉格朗日乘子更新。结果表明，IPAAL生成一个近似的稳态解在最多${\cal O}(\log(1/ρ)/ρ^{3})$ ACG迭代，其中$ρ>0$是给定的公差。它还表明，以前的复杂性界可以锐化为${\cal O}(\log(1/ρ)/ρ^{2.5})$下额外的轻度更强的假设。上述界是在假设初始点既不可行，也不假设目标函数的复合项的域有界的条件下导出的。一些初步的数值结果来说明IPAAL方法的性能。
2020-06-14 math.OC
On the Convergence of the Accelerated Riccati Iteration Method
University of Jaffna（贾夫纳大学）；Southern Illinois University Carbondale（南伊利诺伊大学卡本代尔分校）
本文解决两个关于加速Riccati迭代法求解连续耦合代数Riccati方程收敛性的开放问题，验证了该方法的单调性、有界性、解的存在性判定能力及极端解计算能力，且收敛速度优于常规Riccati迭代法。
2017-05-22 math.OC
ADMM for Convex Quadratic Programs: Q-Linear Convergence and Infeasibility Detection
本文分析了乘子的交替方向法（ADMM）求解具有线性等式和界约束的凸二次规划问题的收敛性。ADMM公式在等式约束QP和边界上的投影之间交替。在（i）目标投影到等式约束零空间上的Hessian（约化Hessian）的正定性和（ii）线性无关约束规格保持在最优解的假设下，我们得到了每次迭代收敛到解的收敛速率的上界.特别是，我们提供了一个明确的表征的收敛速率方面：（a）的特征值的减少海森，（b）之间的弗里德里希角的余弦的子空间跨越的等式约束和子空间跨越的梯度的组件，是积极的解决方案和（c）的距离不活动的组件的解决方案从边界。使用这种分析，我们表明，如果QP是可行的，迭代收敛在Q-线性速率，并规定ADMM步长参数的最佳设置。对于不可行的QP，我们证明了ADMM中的原始变量收敛于由等式约束定义的超平面和由边界定义的凸集之间的欧几里得距离的最小值。约束的乘数示出发散沿范围空间的等式约束。利用这种特性，我们还提出了ADMM的终止标准。最后通过数值算例对理论进行了实验验证。
2015-10-02 math.OC
From Halpern's Fixed-Point Iterations to Nesterov's Accelerated Interpretations for Root-Finding Problems
The University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
本文通过将Halpern迭代与Nesterov加速方法等价转换，推导出求根问题的新收敛率，并改进了非单调算子的加速梯度方法。
2026-04-15 math.OC
An Accelerated Fitted Value Iteration Algorithm for MDPs with Finite and Vector-Valued Action Space
研究了求解高维马尔可夫决策过程的一种加速拟合值迭代算法。FVI是一种近似的动态规划算法，具有理想的理论性质。然而，当动作空间是有限的但向量值时，它可能是棘手的。为了通过FVI解决这样的MDP，我们首先通过一个双层神经网络（NN）来近似值函数，其中整流线性单元（ReLU）是激活函数。然后，我们验证，这样的逼近是足够强大的MDP。为了加快FVI，我们重铸的行动选择问题作为一个两阶段的随机规划问题，其中产生的追索权功能来自两层神经网络。然后，动作选择问题的解决与一个专门的多割分解算法。更具体地说，我们设计有效的削减利用近似值函数的结构来更新的行动。我们证明了分解可以在有限次迭代中找到全局最优解，并且整体加速FVI是一致的。最后，我们通过一个多设施容量投资问题（MCIP）验证了FVI算法的性能。一个全面的数值研究实施，结果表明，FVI显着加快，而不会牺牲太多的精度。
2020-11-26 math.OC
On the Minimal Displacement Vector of the Douglas-Rachford Operator
Douglas-Rachford算法可以表示为一个强非扩张算子的不动点迭代。当算子没有不动点时，算法的迭代步发散，但相邻迭代步之间的差收敛于所谓的最小位移向量，这可以用来证明一个最优化问题的不可行性.本文建立了最小位移向量的新性质，推广了已有的一些结果。
2021-02-12 math.OC
A First-Order Approach To Accelerated Value Iteration
马尔可夫决策过程（MDP）在许多应用中被用来建模随机系统。已有文献研究了几种计算最优策略的有效算法，包括值迭代法和策略迭代法。然而，这些不能很好地扩展，特别是当无限范围折扣奖励的折扣因子$λ$接近$1$时。特别地，对于这些算法，运行时间按$O \left( 1/(1-λ) \right)$缩放。在本文中，我们的目标是设计新的算法，规模比以前的方法时，$λ$方法$1$更好。我们的主要贡献是提出了VI和梯度下降之间的联系，并适应凸优化的加速和动量的想法，设计更快的算法MDP。我们证明了理论上的保证，我们的算法更快的收敛计算的价值函数的政策，我们的算法的运行时间的规模为$O \left( 1/\sqrt{1-λ} \right)$可逆MDP实例。这种改进与Nesterov在凸优化中提出的加速度和动量问题十分相似。我们还提供了一个下界的收敛性能的任何一阶算法求解MDP，提出了一个家庭的MDP的情况下，没有算法可以收敛速度比VI时，迭代次数是小于的状态数。我们引入了安全加速值迭代（S-AVI），它交替加速更新和值迭代更新。我们的算法S-AVI是最坏情况下的最佳选择，并保留VI的理论收敛特性，同时表现出强大的经验性能，提供显着的加速比经典的方法（在许多情况下高达一个数量级）的MDP实例的大型测试床。
2021-08-27 math.OC
Mesh Independence of an Accelerated Block Coordinate Descent Method for Sparse Optimal Control Problems
利用希尔伯特空间中的加速块坐标下降法（ABCD）的对偶，分析了求解稀疏最优控制问题的ABCD方法。研究了该方法的有限元逼近，并给出了收敛性结果。基于对偶目标函数的二阶增长条件，证明了对偶变量的迭代序列具有$O(1/k)$的迭代复杂性。此外，我们还证明了原问题的迭代复杂性。证明了ABCD方法的两类网格无关性，证明了无限维ABCD方法与有限维离散方法具有相同的收敛性，且ABCD方法的迭代次数随着离散的细化而几乎保持不变.
2020-01-03 math.OC
A Nesterov-style Accelerated Gradient Descent Algorithm for the Symmetric Eigenvalue Problem
本文提出一种在 Grassmann 流形上的 Nesterov 风格加速梯度下降算法，用于计算对称半正定矩阵的前导特征向量子空间，在谱间隙极小时显著降低了迭代复杂度。
2024-06-26 math.OC
Construction and Iteration-Complexity of Primal Sequences in Alternating Minimization Algorithms
在求解原型约束凸优化的交替极小化算法（AMA）中，引入了一种新的加权平均算法，该算法利用“Fenchel型”算子来恢复原始解.我们的方法结合了\cite{Tseng1991}中经典的AMA思想和Nesterov的函数平滑技术，而不需要目标函数的强凸性。我们提出了一种新的非加速的原始-对偶AMA方法，并在目标残差和可行性间隙上估计了它的原始收敛速度。然后，我们将Nesterov的加速步骤到这个算法，并获得一个新的加速原始-对偶AMA变种赋予严格的收敛速度保证。我们证明了该算法的最坏情况下的迭代复杂度是最优的（在一阶黑盒模型的意义上），而不施加充分的强凸性假设的目标。
2020-08-08 math.OC
Boosting Accelerated Proximal Gradient Method with Adaptive Sampling for Stochastic Composite Optimization
本文提出带自适应采样的 adaNAPG 算法以增强随机复合优化中的 NAPG，并证明其达到最优迭代与样本复杂度，且迭代序列满足中心极限定理。
2025-07-24 math.OC
A relaxation accelerated two-sweep modulus-based matrix splitting iteration method for solving linear complementarity problems
对于线性互补性问题，提出了一种松弛加速的双扫描矩阵分裂迭代法。收敛性分析表明，当系统矩阵为$H_+$ -矩阵时，该方法收敛于线性互补性问题的精确解，并给出了收敛条件.数值实验表明，该方法比现有的方法更有效。
2020-12-01 cs.NA math.NA math.OC
A one-phase interior point method for nonconvex optimization
Wachter和Biegler的工作表明，为线性规划开发的不可行启动内点方法（IPM）在没有显著修改的情况下不能适用于非线性最优化，即，使用两阶段或惩罚方法。我们提出了一个IPM，通过仔细的初始化和更新的松弛变量，保证找到一个一阶证书的局部不可行性，局部最优性或无界的（移位）可行域。我们提出的算法不同于其他IPM方法的非凸规划，因为我们减少原始可行性在同一速率的障碍参数。这给出了具有更鲁棒收敛特性的算法，并且非常类似于来自线性规划的成功算法。我们实现了该算法，并与IPOPT的CUTEst问题的一个子集。我们的算法需要类似的中位数迭代次数，但只有9%的问题失败，而IPOPT为16%。不可行的变种的CUTEst问题的实验表明检测不可行性的优越性能。我们实现的代码可以在https://github.com/ohinder/OnePhase上找到。
2018-01-11 math.OC
Inexact Accelerated Proximal Gradient Method Revisit: An Economical Variant via Shadow Points
Singapore University of Technology and Design（新加坡科技设计大学）
本文提出SpinAPG方法，通过引入影点实现不精确APG方法的改进，保留加速收敛特性并减少计算开销。
2026-02-11 math.OC
Complexity of a quadratic penalty accelerated inexact proximal point method for solving linearly constrained nonconvex composite programs
分析了求解线性约束非凸组合规划的二次罚加速不精确邻近点方法的迭代复杂性。更具体地，目标函数具有$f + h$的形式，其中$f$是梯度为Lipschitz连续的可微函数，而$h$是具有有界域的闭凸函数。该方法，基本上，包括应用加速不精确的邻近点法近似求解一系列的二次惩罚的线性约束问题的子问题。近似点法的每个子问题依次近似求解的加速复合梯度（ACG）方法。结果表明，该方案在最多${\cal{O}}(ρ^{-3})$ ACG迭代生成一个$ρ$ -近似稳定点。最后，数值结果表明所提出的方法的有效性。
2019-07-16 math.OC
A Note on Nesterov's Accelerated Method in Nonconvex Optimization: a Weak Estimate Sequence Approach
我们提出了一个变种的加速梯度下降算法，改编自Nesterov的最佳一阶方法，弱拟凸和弱拟强凸函数。我们证明了通过调整所谓的估计序列方法，导出的算法实现了最优的收敛速度的预言复杂度方面的弱拟凸和弱拟强凸。特别地，对于具有Lipschitz连续梯度的弱拟凸函数，我们需要$O(\frac{1}{\sqrt{\varepsilon}})$迭代来获得$\varepsilon$ -解;对于弱拟强凸函数，迭代复杂度为$O\left( \ln\left(\frac{1}{\varepsilon}\right) \right)$。此外，我们讨论了这些算法的线性二次最优控制问题的影响。
2020-06-15 math.OC
Semi-infinite Nonconvex Constrained Min-Max Optimization
The University of Arizona（亚利桑那大学）
本文研究具有非凸无限约束的半无限极小-极大优化问题，提出一种非精确动态障碍原始-对偶算法，在Lojasiewicz不等式假设下证明了其收敛复杂度，并通过鲁棒多任务学习实验验证了有效性。
2025-10-13 math.OC
An Accelerated Inexact Dampened Augmented Lagrangian Method for Linearly-Constrained Nonconvex Composite Optimization Problems
提出并分析了求解线性约束非凸组合最优化问题的加速不精确阻尼增广拉格朗日（AIDAL）方法。AIDAL方法的每次迭代包括：（i）通过调用加速复合梯度（ACG）子例程不精确地求解阻尼近端增广拉格朗日（AL）子问题;（ii）应用阻尼和欠松弛拉格朗日乘子更新;以及（iii）使用新的测试来检查AL函数的罚参数是否应该增加。在几个温和的假设下，涉及阻尼因子和下松弛常数，它表明，AIDAL方法产生的约束问题的近似稳定点在${\cal O}(\varepsilon^{-5/2}\log\varepsilon^{-1})$迭代的ACG子程序，对于一个给定的公差$\varepsilon>0$。数值实验也显示了所提出的方法的计算效率。
2023-02-07 math.OC
The convergence analysis of an accelerated iteration for solving algebraic Riccati equations
离散时间代数Riccati方程（DARE）在最优控制问题中有着广泛的应用。我们为DARE解的稳定性提供了新的理论支持，并降低了加速不动点迭代（AFPI）计算DARE数值解的收敛条件.特别地，我们证明了当闭环矩阵的谱半径大于1时，AFPI的收敛是R-超线性的，这是通过温和的假设和只用初等矩阵理论证明的。数值例子表明了我们的理论结果的一致性和有效性。
2021-10-22 cs.NA math.NA math.OC
An Incremental Gradient Method for Optimization Problems with Variational Inequality Constraints
我们考虑极小化一个变分不等式（VI）问题的解集上的特定于个体的不可微凸函数之和，其中每个个体与一个局部单调映射相关联.该问题可用于求解运输网络中的非线性互补性问题的最佳平衡点。我们开发了一个迭代正则化增量梯度法，在每次迭代，代理通信的循环图更新他们的解决方案迭代使用他们的本地信息的目标和映射。所提出的方法是单时标的意义上说，它不涉及任何过多的难以预测的计算每次迭代。我们推导出非渐近代理明智的全局目标函数的次优收敛速度和不可行的VI约束测量一个适当定义的双间隙函数。所提出的方法似乎是第一个完全迭代的计划，配备了迭代复杂性，可以解决分布式最优化问题VI约束循环图。初步的数值实验的运输网络问题和支持向量机模型。
2022-12-11 math.OC
Accelerated Inexact First-Order Methods for Solving Nonconvex Composite Optimization Problems
本论文的重点是发展和分析加速和不精确的一阶方法来解决或找到各种非凸复合优化（NCO）问题的稳定点。主要工具来自于变分和凸分析，主要结果是迭代复杂性界的形式，以及这些界与文献中其他界的比较。
2021-12-26 math.OC
On iteratively regularized first-order methods for simple bilevel optimization
Rutgers University（罗格斯大学）
针对不同上层目标设定，提出三类迭代正则化一阶方法，证明其收敛性与收敛速率，为简单双层优化问题提供新的收敛保证，并通过初步数值实验验证方法有效性。
2026-08-17 math.OC
Iteration Complexity of Fixed-Step Methods by Nesterov and Polyak for Convex Quadratic Functions
本文考虑了Polyak的动量法和Nesterov的加速梯度法，这两种方法都没有线搜索，但具有固定的步长，适用于严格凸的二次函数，假设使用了精确的梯度，并且已知黑塞矩阵的极值特征值的上界和下界。简单的二维算例表明，迭代到最优解的欧氏距离是非单调的。在这种情况下，一个明确的界限，以保证减少的欧氏距离的最优解的一个因素$\varepsilon$所需的迭代次数。对于这两种方法的界限是最佳的常数因子，它补充了早期的渐近最优结果的动量法，它建立了另一个链接的动量法和Nesterov的加速梯度法。
2022-12-13 math.OC
An Inexact First-order Method for Constrained Nonlinear Optimization
本文的主要重点是设计一个求解约束非线性最优化问题的不精确一阶算法。通过控制子问题解的不精确性，我们可以显著减少每次迭代所需的计算量。在子问题求解过程中引入罚参数更新策略，使算法能够自动检测不可行性。证明了算法在可行和不可行情况下的整体收敛。KKT残差的复杂性分析也来自温和的假设。数值实验表明，该算法能够以较低的计算代价快速找到不精确的最优解。
2019-11-18 math.OC
On Partial Optimal Transport: Revising the Infeasibility of Sinkhorn and Efficient Gradient Methods
National University of Singapore（新加坡国立大学）；University of Pennsylvania（宾夕法尼亚大学）；Massachusetts Institute of Technology（麻省理工学院）；Georgia Institute of Technology（佐治亚理工学院）；IBM Research（IBM研究院）
本文针对部分最优传输问题，指出Sinkhorn算法因取整不兼容而不可行，提出新取整算法及修正Sinkhorn，并开发两种高效一阶方法，在复杂度上达到最优。
2023-12-22 cs.AI cs.LG math.OC
A Few Accelerated Algorithms for Convex Optimization under $(H_0,H_1)$-Smoothness
MSU AI Center, IAI MSU（莫斯科国立大学人工智能中心，IAI MSU）；HSE（高等经济学院）
本文针对$(H_0,H_1)$-光滑凸优化，结合Nesterov型加速梯度等技术提出全梯度与随机坐标加速算法，给出迭代复杂度并经实验验证，为该类优化提供了首个加速理论保证。
2026-08-06 math.OC
Coordinate-Update Algorithms can Efficiently Detect Infeasible Optimization Problems
本研究揭示了随机坐标更新不动点迭代（RC-FPI）的归一化迭代序列收敛于极小位移向量的特性，据此设计出高效的不可行性检测方法，并将其扩展至非正交基设定与去中心化优化问题。
2024-10-11 math.OC
Accelerated Coordinate Descent with Arbitrary Sampling and Best Rates for Minibatches
加速坐标下降算法是一种广泛流行的优化算法，由于其对高维问题的效率。它在一类重要的经验风险最小化问题上实现了最先进的复杂性。在本文中，我们设计和分析的加速坐标下降（ACD）方法，在每次迭代更新的随机子集的坐标根据任意但固定的概率法，这是一个参数的方法。如果在每次迭代中更新所有坐标，我们的方法减少到Nesterov的经典加速梯度下降法AGD。如果在每次迭代中更新单个坐标，并且我们选择与坐标方面的Lipschitz常数的平方根成比例的概率，则我们的方法简化为Allen-Zhu，Qu，Richtárik和Yuan的当前最快的坐标下降法NUACDM。虽然ACD的小批量变体在实践中更受欢迎和相关，但ACD的重要性抽样没有优于标准均匀小批量抽样的。通过我们的一般分析，我们设计了新的重要性抽样的小批量ACD显着优于以前的国家的最先进的小批量ACD在实践中。我们证明了一个速率，最多是${\cal O}(\sqrtτ)$倍，比均匀采样的minibatch ACD速率差，但可以是${\cal O}(n/τ)$倍，其中$τ$是minibatch大小。由于在现代监督学习训练系统中，选择$τ\ll n$是标准做法，而且通常是$τ={\cal O}(1)$，因此我们的方法可以导致显著的加速。最后，我们也得到了类似的结果，minibatch nonaccelerated CD，实现了以前的最佳速率的改进。
2018-09-27 math.OC
Exact penalty method for D-stationary point of nonlinear optimization
本文针对带约束违反$\ell_1$-范数度量的非线性优化问题，提出一种具有内外迭代的精确罚SQP方法，可收敛到D-稳定点并快速检测不可行性，无需将罚参数趋于零。
2023-09-25 math.OC
Efficient parameter-free restarted accelerated gradient methods for convex and strongly convex optimization
本文针对凸与强凸复合优化问题，提出了无需参数的重启方法RPF-SFISTA和激进正则化方法A-REG，通过动态检查重启条件，在多类问题上比现有方法快3至15倍。
2024-10-12 math.OC
Accelerated Linearized Bregman Method
本文提出并分析了一种加速线性化Bregman（ALB）方法，用于求解基追踪及相关的稀疏最优化问题。这种加速算法是基于这样一个事实，即线性化Bregman（LB）算法是等价的梯度下降法适用于某一对偶公式。我们表明，LB方法需要$O(1/ε)$迭代，以获得$ε$ -最优解和ALB算法减少了这种迭代的复杂性，$O(1/\sqrtε)$，而需要几乎相同的计算工作量，每次迭代。压缩传感和矩阵补全问题的数值结果表明，ALB方法可以显着快于LB方法。
2011-06-27 cs.IT math.IT math.OC
Monotonicity for Multiobjective Accelerated Proximal Gradient Methods
针对多目标FISTA中目标函数值可能上升及不精确子问题导致发散的问题，本文提出一种保证单调性的FISTA变体，证明其具有$O(1/k^2)$的全局收敛速率，并展示数值优势。
2023-06-01 math.OC
Solving the Infinite-horizon Constrained LQR Problem using Accelerated Dual Proximal Methods
本文提出了一种求解无限时间约束线性二次调节问题的算法。我们采用一个流行的近端梯度计划，通常被称为前向向后分裂（FBS）的加速版本，并证明其收敛到我们的无限维设置的最优解。该算法的每次迭代只需要有限的内存，计算成本低，并且不使用终端不变集;因此，该算法可以应用于非常大尺寸的系统。加速带来了最佳的收敛速度O（1/k^2）的函数值和O（1/k）的原始迭代，并提出了一个实用的替代模型预测控制方案的设定点跟踪方法。此外，当真实系统受到干扰或建模误差的情况下，我们提出了一个有效的热启动程序，这显着减少了迭代次数时，该算法被应用于闭环。数值例子证明了这种方法。
2015-01-18 math.OC
Accelerated Algorithms for Stochastic Monotone Inclusions with Fixed Queries
Samsung Electronics（三星电子）；Korea Advanced Institute of Science and Technology（韩国科学技术院）
针对固定查询次数的随机单调包含问题，提出VRAF和RRSEG两种加速算法，分别实现最优方差依赖和近乎最优复杂度，并证明确定性项下界不可达。
2026-09-29 math.OC
Accelerated First-Order Methods for Hyperbolic Programming
一个框架，适用于加速方法一般双曲规划，包括线性，二阶锥，半定规划的特殊情况。该方法用一个光滑的目标函数是显式的凸优化问题来代替双曲规划，并且该问题的唯一约束是线性方程（比原问题多一个线性方程）。实际上任何一阶方法都可以应用。一个代表性的加速方法的迭代界。
2017-05-26 math.OC
A warmstarting technique for general conic optimization in interior point methods
EPFL（洛桑联邦理工学院）；University of Oxford（牛津大学）
本文提出了一种基于平滑算子的热启动方法，用于提高内点法在一般锥优化中的效率，通过保持对中心路径的接近性减少迭代次数和计算时间。
2025-11-30 math.OC
Accelerated Optimization With Orthogonality Constraints
我们开发了一个推广的Nesterov的加速梯度下降法，旨在处理正交约束。为了证明我们的方法的有效性，我们进行了数值实验，表明迭代次数的规模与条件数的平方根，并与现有的最先进的拟牛顿法的Stiefel流形上进行比较。我们的实验表明，我们的方法优于现有的国家的最先进的拟牛顿法对一些大的，病态的问题。
2021-01-06 math.OC
An Infeasible Method with Feasibility Safeguard for Nonsmooth Composite Optimization Over Manifolds
School of Mathematics, Sun Yat-sen University（中山大学数学学院）；School of Computer Science and Engineering, Guangdong Province Key Laboratory of Computational Science, Sun Yat-sen University（中山大学计算机科学与工程学院）
提出一种可行性保护的非精确近端线性化方法（FSIPL），允许不可行迭代但限制在流形附近，通过校正步和线搜索控制不可行性，证明收敛性和复杂度，并在稀疏PCA和谱聚类中验证效率。
2026-10-20 math.OC
H-PDLP: GPU-Accelerated Linear Programming via Generalized PDHG and Homogeneous Self-Dual Embedding
MIT, Sloan School of Management（麻省理工学院斯隆管理学院）
本文提出基于广义PDHG和齐次自对偶嵌入的GPU加速LP求解器H-PDLP，引入含229个不可行、105个无界LP的基准MIPLIBInfeas，实验验证其在各类LP上的有效性。
2026-10-14 math.OC
Accelerated Price Adjustment for Fisher Markets with Exact Recovery of Competitive Equilibrium
The Chinese University of Hong Kong（香港中文大学）；Massachusetts Institute of Technology（麻省理工学院）
针对tâtonnement无法精确收敛且复杂度高的问题，提出加速价格调整方法（APM）结合恢复预言机，在线性和拟线性Fisher市场中以更低迭代复杂度实现精确竞争均衡的有限步收敛。
2025-10-09 math.OC
A Note on the Gradient-Evaluation Sequence in Accelerated Gradient Methods
Clemson University（克莱姆森大学）
本文研究了加速梯度方法中梯度评估序列的迭代复杂度，证明其在凸光滑优化问题中能达到最优复杂度。
2026-03-06 math.OC
Accelerated Gradient Methods with Memory
针对强凸函数的极小化问题，提出了一组带记忆的一阶加速算法。这些算法的区别在于它们使用梯度步骤的历史记录。所提出的算法的收敛速度的增加是以鲁棒性为代价的，这是一个通过基于自适应重启的切换控制器来解决的问题。几个数值例子突出了所提出的方法的好处，快速梯度法。例如，它示出，这些基于梯度的方法可以最小化的Rosenbrock香蕉函数$7.58 \times 10^{-12}$在43次迭代从初始条件的$(-1,1)$。
2018-08-29 math.OC
Second-Order Bilevel Optimization with Accelerated Convergence Rates
University of California, Riverside（加州大学河滨分校）；The Chinese University of Hong Kong（香港中文大学）；IIIS, Tsinghua University（清华大学交叉信息研究院）
本文提出完全二阶双层近似方法FSBA，实现非凸强凸双层优化的加速收敛率，并引入懒惰变种LFSBA提升计算效率，同时应用于非凸强凹最小化最大优化，提出LMCN方法。
2026-05-07 math.OC
Accelerated Stochastic Power Iteration
Stanford University（斯坦福大学）
本文提出一种带有动量项的幂迭代变种，实现了最优的样本和迭代复杂度，适用于在线和离线设置的随机PCA算法，加速了迭代复杂度至O(1/√Δ)。
2017-07-10 cs.DS cs.LG cs.NA
A Unifying Framework of Accelerated First-Order Approach to Strongly Monotone Variational Inequalities
在本文中，我们提出了一个统一的框架，包括几个动量相关的搜索方向，解决强单调变分不等式。该框架中的搜索方向的特定组合是为了保证$\mathcal{O}\left(κ\ln(1/ε)\right)$的最优迭代复杂度界以达到$ε$ -解，其中$κ$是条件数。这个框架为算法设计者提供了灵活性，可以在不同的参数组合中训练最适合当前问题类结构的参数。所提出的框架包括以下迭代点和方向作为其组成部分：额外梯度，乐观梯度下降上升（OGDA）方向（又名“乐观”），“重球”方向和Nesterov的外推点。因此，上述方法都成为一般加分方案下的特例。我们还专门这种方法强凸最小化，并表明，一个类似的额外的点的方法实现了最佳的迭代复杂性界的$\mathcal{O}(\sqrtκ\ln(1/ε))$这一类问题。
2021-03-29 math.OC
An accelerated inexact proximal point method for solving nonconvex-concave min-max problems
本文提出了光滑计划获得近似的无约束或线性约束的复合非凸-凹最小-最大（因此非光滑）问题的稳定点，通过应用著名的算法，以复合光滑近似的原始问题。更具体地说，在不受约束的（resp。约束）的情况下，原问题的近似稳定点，通过应用，其复合光滑近似，加速不精确的邻近点（分别）。二次罚分）的方法在以前的文件中提出的作者。迭代的复杂性界限，这两个平滑计划也成立。最后，数值结果证明了无约束光顺格式的有效性。
2021-06-17 math.OC
Inexact Alternating Minimization Algorithm for Distributed Optimization with an Application to Distributed MPC
在本文中，我们提出了不精确交替最小化算法（不精确AMA），它允许在算法中的不精确迭代，和它的加速变体，称为不精确快速交替最小化算法（不精确FAMA）。我们表明，不精确的AMA和不精确FAMA是等价的不精确的近梯度法和它的加速变种适用于对偶问题。基于这种等价性，我们推导出了不精确算法的迭代次数的复杂性上界。我们应用不精确AMA和不精确FAMA的分布式最优化问题，重点是分布式MPC的应用，并显示这种特殊情况下的收敛性。利用迭代次数的复杂性上界，给出了算法收敛的非精确迭代的充分条件。进一步研究了分布式最优化问题中二次局部目标的特殊情况，这是分布式MPC的一个标准式。对于这种特殊情况，我们允许在每次迭代的局部计算误差。利用一种热启动策略和误差收敛的充分条件，提出了一种确定求解局部问题迭代次数的方法，该方法保证了局部计算误差满足充分条件，使得不精确分布式优化算法收敛到最优解.
2016-08-01 math.OC
Accelerated Minimax Algorithms Flock Together
本文提出加速极小极大算法的“合并路径”性质，据此证明现有算法的逐点收敛性，并为强凸-强凹及邻近梯度情形推出新的最优算法。
2025-03-18 math.OC
An Accelerated Newton-Dinkelbach Method and its Application to Two Variables Per Inequality Systems
我们提出了一个加速，或“前瞻性”版本的牛顿-Dinkelbach方法，一个众所周知的技术，用于解决分数和参数优化问题。这种加速在每两次迭代内将当前的最优解和最优解之间的Bregman发散减半。使用Bregman发散作为结合组合参数的势，我们在三个应用领域中获得了强多项式算法：（i）对于线性分式组合优化，我们给出了$O(m \log m)$迭代的收敛界;以前的最佳界是Wang et al.（2006）的$O(m^2 \log m)$。(ii)本文给出了求解二元线性可行不等式组（2 VPI）的一个强多项式标号校正算法。对于具有$n$变量和$m$约束的2 VPI系统，我们的算法运行在$O(mn)$迭代中。对于一般的2 VPI系统，每次迭代需要$O(mn)$时间，而对于确定性马尔可夫决策过程（DMDP）的特殊情况，每次迭代需要$O(m + n \log n)$时间。这扩展并加强了Madani（2002）的先前结果，该结果显示了用于求解DMDP的Newton-Dinkelbach方法的变体的弱多项式界。(iii)我们给出了Goemans等人（2017）的参数次模函数最小化结果的简化变体。
2021-05-21 cs.DS math.OC
On the Complexity Analysis of the Primal Solutions for the Accelerated Randomized Dual Coordinate Ascent
对偶一阶方法是求解大规模约束凸优化问题的基本方法。然而，当恢复原始解时，我们需要$T(ε^{-2})$迭代来获得$ε$ -最优原始解，当我们将算法应用于具有$T(ε^{-1})$迭代的非强凸对偶问题以获得$ε$ -最优对偶解时，其中$T(x)$可以是$x$或$\sqrt{x}$。本文证明了对于加速随机对偶坐标上升，原解和对偶解的迭代复杂性具有相同的$O\left(\frac{1}{\sqrtε}\right)$数量级。当对偶函数进一步满足二次函数增长条件时，通过在任意时间段重新启动算法，即使条件数未知，我们也建立了原解和对偶解的线性迭代复杂度。当应用于正则化的经验风险最小化问题时，我们证明了$O\left(n\log n+\sqrt{\frac{n}ε}\right)$在原始空间和对偶空间中的迭代复杂性，其中$n$是样本数。与基于平滑/正则化或催化剂还原的方法相比，我们的结果去掉了$\left(\log \frac{1}ε\right)$因子。据我们所知，这是第一次建立了基于对偶坐标上升的随机算法在原空间中的最优$O\left(\sqrt{\frac{n}ε}\right)$迭代复杂度。我们还建立了一些非光滑损失问题的加速线性复杂度，即，最小一乘偏差和SVM。
2019-08-15 cs.NA math.NA math.OC
An objective-function-free algorithm for general smooth constrained optimization
Dipartimento di Ingegneria Industriale, Università degli Studi di Firenze（佛罗伦萨大学工业工程系）；Université de Toulouse, INP, IRIT（图卢兹大学国立理工学院IRIT）；Namur Center for Complex Systems (naXys), University of Namur（那慕尔大学复杂系统中心(纳克斯)）；INdAM Research Group GNCS（意大利国家数学研究院GNCS研究组）
本文提出了一种无需计算目标函数的算法，用于解决一般光滑约束优化问题，通过自适应切换策略提高收敛性并减少对噪声的敏感性。
2026-02-12 math.OC
An Incremental Gradient Method for Large-scale Distributed Nonlinearly Constrained Optimization
从传感器网络和机器学习的应用所产生的动机，我们考虑的问题，最小化的有限和不可微的凸函数，每个组件功能与代理和一个难以项目的约束集。在众所周知的途径，以解决有限和问题是一类增量梯度（IG）的方法，其中一个单一的组件功能选择在每次迭代在一个循环或随机的方式。当问题有约束时，现有的IG方法（包括投影IG，邻近IAG和SAGA）需要在每次迭代时投影到可行集上。因此，当问题包括：（1）非线性约束，或（2）大量的线性约束时，这些方案的性能受到昂贵的预测的影响。本文的重点在于解决这两个挑战。我们开发了一种算法称为平均迭代正则化增量梯度（aIR-IG），不涉及任何难以预测的计算。在温和的假设下，我们得到的次优性和不可行性度量的非渐近收敛速度。数值上，我们表明，该方案优于标准的投影IG方法的分布式软利润支持向量机问题。
2021-03-18 math.OC
