Inertial Accelerated Stochastic Mirror Descent for Large-Scale Generalized Tensor CP Decomposition
本文针对广义张量CP分解问题，提出基于Bregman距离的惯性加速分块随机镜像下降算法iTableSMD，证明了其O(ε^{-2})迭代复杂度和全局收敛性，并在真实数据上取得优于现有方法的性能。
2024-02-24 math.OC
Adaptive Inertial Method
本研究提出自适应惯性方法（AIM），一种带可定制惯性项的加速一阶优化框架，具备自适应调参能力，可转化为拟牛顿法，特定情形下无需海森求逆即达O(1/k²)收敛率，实验验证其在多类优化问题中性能优异。
2025-05-21 math.OC
A unified analysis on the speedup of accelerated gradient methods: An inertial dynamics approach
University of Groningen（格罗宁根大学）
本文通过惯性动力学框架统一分析加速梯度方法的因子2加速，提出基于Hessian阻尼的离散化变体，并在强凸、二次增长及Polyak-Łojasiewicz条件下证明加速收敛，拓展至非唯一最小化器情形。
2026-09-14 math.OC
Riccati observers for velocity-aided attitude estimation of accelerated vehicles using coupled velocity measurements
受无人机自主导航应用的启发，我们解决了一个新的问题，速度辅助姿态估计相结合的两个线速度分量测量的身体固定的框架和一个线速度分量测量的惯性框架与惯性测量单元（IMU）的测量。本文的主要贡献是Riccati非线性观测器的设计，它可以被看作是确定性版本的扩展卡尔曼滤波器（EKF），和可观测性条件下，局部指数稳定的观察员实现的分析。报告的模拟结果进一步表明，观察员的收敛域很大。
2017-03-21 math.OC
TAMUNA: Doubly Accelerated Distributed Optimization under Partial Participation
Computer Science Program, CEMSE Division, King Abdullah University of Science and Technology (KAUST)（卡布斯王国科学与技术大学计算机科学项目，CEMSE部门）；SDAIA-KAUST Center of Excellence in Data Science and Artificial Intelligence (SDAIA-KAUST AI)（数据科学与人工智能卓越中心（SDAIA-KAUST AI））；Brno University of Technology（布拉格技术大学）；Kempelen Institute of Intelligent Technologies (KInIT)（智能技术研究所（KInIT））
提出TAMUNA算法，首次结合本地训练、压缩和部分参与，实现双重加速收敛，支持任意客户端参与水平。
2026-06-07 cs.LG math.OC
Doubly Accelerated Methods for Faster CCA and Generalized Eigendecomposition
Institute for Advanced Study（高等研究院）；Princeton University（普林斯顿大学）
我们研究了$k$ -GenEV，找到顶部$k$广义特征向量的问题，和$k$ -CCA，在典型相关分析中找到顶部$k$向量的问题。我们提出了算法$\mathtt{LazyEV}$和$\mathtt{LazyCCA}$来解决这两个问题的运行时间线性依赖于输入大小和$k$。此外，我们的算法是双重加速的：我们的运行时间只取决于矩阵条件数的平方根，和特征间隙的平方根。这是$k$ -GenEV或$k$ -CCA的第一个此类结果。我们还提供了第一个无间隙的结果，它提供的运行时间依赖于$1/\sqrt{\varepsilon}$，而不是本征间隙。
2016-11-26 cs.DS cs.LG math.OC
SympFormer: Accelerated attention blocks via Inertial Dynamics on Density Manifolds
Department of Mathematics, University of South Carolina（南卡罗来纳大学数学系）；Institute of Mathematics, Technische Universität Berlin（柏林技术大学数学研究所）
SympFormer通过在密度流形上引入惯性Nesterov动力学，提出加速注意力块架构，利用哈密顿动量注意力块提升效率，保留Oracle调用次数的同时加快收敛速度。
2026-03-17 cs.LG math.OC stat.ML
Doubly Accelerated Stochastic Variance Reduced Dual Averaging Method for Regularized Empirical Risk Minimization
NTT DATA Mathematical Systems Inc.（NTT DATA 数理系统公司）；The University of Tokyo（东京大学）
在本文中，我们发展了一个新的加速随机梯度法有效地解决凸正则化经验风险最小化问题的小批量设置。小批量的使用正在成为机器学习社区的黄金标准，因为小批量设置稳定了梯度估计，并且可以很容易地利用并行计算。我们提出的方法的核心是我们新的“双加速”技术和方差减少技术的结合。我们从理论上分析了我们提出的方法，并表明，我们的方法大大提高了以前的加速随机方法的小批量效率，基本上只需要大小$\sqrt{n}$小批量实现非强凸和强凸目标的最佳迭代复杂度，其中$n$是训练集的大小。此外，我们表明，即使在非小批量设置，我们的方法实现了最好的已知的收敛速度为非强和强凸的目标。
2017-09-19 cs.LG math.OC stat.ML
Convergence of a Multi-Inertial-Iteration Scheme in Cone b, p-Normed Banach Spaces
University of Elbasan “Aleksandër Xhuvani”（埃利巴桑亚历山大·朱瓦尼大学）
本文提出一种在锥b, p-范数Banach空间中用于加速收敛的多惯性迭代方案，并证明其收敛性及固定点存在性。
2025-10-31 math.OC
Fast convex optimization via inertial systems with asymptotically vanishing viscosity and Hessian-driven damping
本文研究了一族由渐近消失粘性和Hessian驱动阻尼惯性系统离散化得到的惯性算法的收敛速度，证明了在凸及Polyak-Łojasiewicz条件下的次线性收敛和强凸条件下的线性收敛，为Nesterov加速梯度法提供了新见解。
2025-07-17 math.OC
Inertial primal-dual methods for linear equality constrained convex optimization problems
本文提出了一种求解线性等式约束凸优化问题的惯性加速原-对偶方法。当目标函数具有“非光滑+光滑”的复合结构时，通过对光滑个体函数进行线性化，并不精确地求解子问题，提出了一种不精确惯性原对偶方法.仅假设凸性，我们证明了所提出的方法享有$\mathcal{O}(1/k^2)$收敛速度的目标残差和可行性违反的原始模型。数值结果表明所提出的方法的有效性。
2021-06-29 math.OC
First order optimization methods based on Hessian-driven Nesterov accelerated gradient flow
提出了一种新的动态惯性牛顿系统--Hessian-driven Nesterov加速梯度流（H-NAG）。通过裁剪的李雅普诺夫函数建立了连续轨迹的收敛性，并提出了新的一阶加速最优化方法。结果表明，对于凸和强凸目标，（半）隐格式总是能达到线性速率，而显格式具有最优（加速）速率。特别是，Nesterov的最佳方法是从我们的H-NAG流的显式方案中恢复的。此外，还提出了求解复合最优化问题的加速分裂算法。
2019-12-24 math.OC
Accelerated Convergence of a Second-Order Dynamical System and its Application to Splitting Algorithms for Comonotone Inclusions
School of Mathematics and Statistics, Chongqing Technology and Business University（重庆工商大学数学与统计学院）
本文提出一种新型二阶动力系统，经分析其具有加速收敛性，时间离散化后得到双惯性Halpern前向-后向分裂算法，数值实验验证了该算法在分裂可行性等问题上的有效性。
2026-09-03 math.OC
Distributed stochastic inertial-accelerated methods with delayed derivatives for nonconvex problems
随机梯度法是求解随机最优化问题的主要方法。在光滑非凸问题上，一些加速技术被用来提高SGM的收敛速度。然而，很少有人探索应用某种加速技术的随机次梯度方法（SsGM）的非光滑非凸问题。此外，很少有人努力分析（加速）SsGM与延迟衍生物。信息延迟自然发生在分布式系统中，其中计算工作者彼此不协调。本文提出了一种求解非光滑非凸随机最优化问题的惯性近似SsGM。该方法可以保证收敛，即使在分布式环境中的延迟导数信息。对三类非凸问题：弱凸非光滑凸正则化问题、复合非凸非光滑凸正则化问题和光滑非凸问题建立了收敛速度结果.对于每个问题类，对于$K$迭代，收敛速度是梯度范数平方的期望值的$O(1/K^{\frac{1}{2}})$。在分布式环境中，所提出的方法的收敛速度将被信息延迟减慢。然而，对于后两个问题类，慢化效果将随着迭代次数的增加而衰减。我们测试所提出的方法在三个应用程序。数值结果清楚地表明了使用基于惯性的加速度的优点。此外，我们观察到更高的并行化速度在异步更新同步对应，虽然前者使用延迟导数。我们的信源编码发布于https://github.com/RPI-OPT/Inertial-SsGM
2021-12-23 cs.DC cs.NA math.NA
Computing the Best Approximation Over the Intersection of a Polyhedral Set and the Doubly Nonnegative Cone
本文给出了一个有效的算法，用于计算给定矩阵到线性等式、不等式和双非负锥（所有元素非负的正半定矩阵的锥）的交的最佳逼近。与直接应用块坐标下降型方法不同，我们提出了一种不精确加速（两）块坐标下降算法来求解四块无约束非光滑对偶规划。该算法采用高效的半光滑牛顿法求解子问题，由于原始的四个块被合并为两个更大的块，因此没有封闭形式的解。建立了该算法的$O(1/k^2)$迭代复杂度。对组合松弛问题的各种大规模半定规划实例的数值结果表明了该算法的有效性。
2018-03-17 math.OC
Accelerated iterative regularization via dual diagonal descent
提出加速迭代双重对角下降算法求解线性逆问题，分析惯性方法的收敛性与稳定性，并利用非精确近端演算证明早停最优收敛速率。
2019-12-27 math.OC
Fast convergence of dynamical ADMM via time scaling of damped inertial dynamics
在本文中，我们提出了一个二阶时间连续动态系统的快速收敛保证，以解决仿射约束的结构凸极小化问题的希尔伯特设置。该系统是与增广拉格朗日制定的最小化问题。相应的动力学发挥作用的三个一般的时变参数，每个特定的属性，并分别与粘性阻尼，外推和时间缩放。通过适当地调整这些参数，我们开发了一个李雅普诺夫分析，它提供了快速收敛性能的值和可行性差距。这些结果自然会为开发相应的加速ADMM算法铺平道路，通过时间离散化获得。
2021-03-23 math.OC
Distributed accelerated proximal conjugate gradient methods for multi-agent constrained optimization problems
针对多智能体约束优化问题，提出两类结合近似、共轭梯度与Halpern方法的惯性加速分布式近似共轭梯度算法，并通过数值实验验证了方法有效性。
2024-06-20 math.OC
Accelerated DC Algorithms for the Asymmetric Eigenvalue Complementarity Problem
本文研究非对称特征值互补问题（AEiCP），提出两种新型混合加速DCA（HDCA-LI和HDCA-NI），基于DC-SOS分解技术构建三种DC规划公式，应用经典DCA及6种加速变体，数值实验表明7种DCA型方法优于IPOPT、KNITRO和FILTERSD求解器。
2023-05-20 cs.NA math.NA math.OC
Accelerated projection-based forward-backward splitting algorithms for monotone inclusion problems
本文基于惯性和Tseng的思想，提出了两个求解无穷维希尔伯特空间中单调包含问题的投影算法。在一定条件下得到了强收敛解定理。数值实验表明，本文算法比已有的结果更有效。
2020-05-05 math.FA math.OC
An inertial forward-backward algorithm for monotone inclusions
TU Braunschweig（布伦瑞克工业大学）；Graz University of Technology（格拉茨工业大学）；AIT Austrian Institute of Technology GmbH（AIT奥地利技术研究所有限公司）
在本文中，我们提出了一个惯性向前向后分裂算法来计算两个单调算子之和的零点，其中两个算子之一是共强制的。该算法的灵感来自Nesterov的加速梯度法，但可以应用于更大的一类问题，包括凹凸鞍点问题和一般单调包含。我们证明了该算法在Hilbert空间设置的收敛性，并表明，最近提出的几个一阶方法可以得到的一般算法的特殊情况。数值结果表明，该算法在保持每次迭代的计算量基本不变的情况下，比现有方法收敛更快。
2014-09-12 cs.CV cs.NA math.NA
Inertial Block Proximal Methods for Non-Convex Non-Smooth Optimization
我们提出了惯性版本的块坐标下降法解决非凸非光滑复合最优化问题。与当前最先进的加速一阶方法相比，我们的方法具有三个主要优势：（1）它们允许使用两个不同的外推点来评估梯度并添加惯性力（我们将凭经验证明它比使用单个外推点更有效），（2）它们允许随机挑选要更新的变量块，以及（3）它们不需要重新启动步骤。在较弱的假设下证明了生成序列的渐近收敛性，在一些附加的假设下证明了生成序列的整体收敛性，并给出了收敛速度.我们部署所提出的方法来解决非负矩阵分解（NMF），并表明它们与最先进的NMF算法竞争。还提供了关于非负近似规范多进分解（也称为非负张量因子分解）的其他实验。
2020-06-01 cs.NA math.NA math.OC
