On randomized batch-sampling coordinate descent methods for solving linear least-squares problems
Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
本文提出细粒度随机批量采样坐标下降框架,推导列缩放不变的收敛界,并设计学习式采样策略,在CT重建中显著加速收敛并优于现有方法。
2026-10-06 cs.NA math.NA math.OC
On the Finite Time Convergence of Cyclic Coordinate Descent Methods
University of Chicago(芝加哥大学)
本文证明了在等调性假设下,两种循环坐标下降变体具有O(1/k)的收敛速率,并通过与梯度下降的比较展示了其优越性。
2010-05-12 cs.LG cs.NA math.NA
Projected Block Coordinate Descent for sparse spike estimation
针对网格外脉冲恢复问题,本文提出基于块坐标下降的新算法,利用问题稀疏结构加速现有OP-COMP算法的全局下降步骤,并在合成显微镜实验中显著缩短了计算时间。
2024-02-19 cs.NA math.NA math.OC
On the Relation Between the Randomized Extended Kaczmarz Algorithm and Coordinate Descent
University Politehnica of Bucharest(布加勒斯特理工大学);Tampere University of Technology(坦佩雷理工大学)
本文比较了随机扩展Kaczmarz算法与随机坐标下降算法在求解满秩过定线性最小二乘问题中的效率,证明坐标下降在满足相同残差终止条件时操作更少,且先用坐标下降计算残差再用标准Kaczmarz求解一致系统比扩展Kaczmarz更高效。
2014-08-30 cs.DS cs.NA math.NA
On the global convergence of randomized coordinate gradient descent for non-convex optimization
在本文中,我们分析了非凸优化问题中随机选择坐标和步长的坐标梯度下降法的整体收敛性。在一般的假设下,我们证明了该算法几乎肯定会逃脱严格的鞍点的目标函数。因此,如果所有鞍点都是严格的,则保证算法收敛到局部极小。我们的证明是基于观察坐标下降算法作为一个非线性随机动力系统和定量有限块分析其线性化周围的鞍点。
2022-11-30 cs.NA math.DS math.NA
Randomized coordinate gradient descent almost surely escapes strict saddle points
本文分析了非凸优化中随机坐标梯度下降的行为,通过将其表述为非线性随机动力系统并利用中心稳定流形定理,证明了迭代在标准假设下几乎必然逃离严格鞍点。
2025-08-11 cs.NA math.DS math.NA
A better convergence analysis of the block coordinate descent method for large scale machine learning
Fujitsu Research & Development Center(富士通研发中心)
本文研究了大规模光滑凸函数无约束最小化问题,提出基于性能估计问题的新方法,将块坐标下降法的下界降低至现有最佳的16p³倍,并通过数值测试验证了分析结果。
2016-08-17 cs.NA math.NA math.OC
Subspace-constrained randomized coordinate descent for linear systems with good low-rank matrix approximations
Princeton University(普林斯顿大学)
本文提出了一种子空间约束随机坐标下降法,用于求解具有良好低秩矩阵近似的线性系统,该方法能有效应对大谱异常值问题。
2026-02-12 cs.NA math.NA math.OC
Accelerating Block Coordinate Descent for Nonnegative Tensor Factorization
Université de Mons(蒙斯大学);Université de Rennes(雷恩大学);INRIA(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);IRISA(雷恩第一大学计算机科学研究所)
研究了改进块坐标下降算法的经验收敛速度问题。我们提出了一个外推策略之间的块更新,称为启发式外推与重启(HER)。HER显着加快了大多数现有的块坐标算法的经验收敛速度密集NTF,特别是具有挑战性的计算场景,同时需要一个可以忽略不计的额外的计算预算。
2020-11-20 cs.LG cs.NA math.NA
The Convergence and Error Analysis of Coordinate Descent Methods with Compression for Full Configuration Interaction
Fudan University(复旦大学);School of Mathematical Sciences, Shanghai Key Laboratory for Contemporary Applied Mathematics, Fudan University and Key Laboratory of Computational Physical Sciences, Ministry of Education(复旦大学数学科学学院、当代应用数学上海市重点实验室及教育部计算物理科学重点实验室)
研究全组态相互作用基态问题的坐标下降法中压缩的作用,通过局部假设证明压缩迭代线性收敛,刻画收敛点,在特定假设下得出特征值误差阶数,数值结果支持分析。
2026-07-28 cs.NA math.NA math.OC
Backward error analysis and the qualitative behaviour of stochastic optimization algorithms: Application to stochastic coordinate descent
本文利用修正方程理论构建随机微分方程,以更精确地逼近随机优化方法的动力学,并通过对随机坐标下降的均方稳定性分析,揭示其定性行为。
2023-09-05 cs.NA math.NA math.OC
Even Faster Accelerated Coordinate Descent Using Non-Uniform Sampling
Princeton University(普林斯顿大学);University of Hong Kong(香港大学);University of Edinburgh(爱丁堡大学);Cornell University(康奈尔大学)
本文通过非均匀采样将加速坐标下降法的运行时间提升至$\sqrt{n}$,方法基于坐标光滑性参数的平方根比例采样,适用于经验风险最小化和线性系统求解。
2016-05-27 cs.DS cs.NA math.NA
Accelerated, Parallel and Proximal Coordinate Descent
本文提出了一种新的随机坐标下降法,用于极小化仅依赖于少量坐标的凸函数之和。我们的方法(APPROX)同时加速,并行和PROXALITY,这是第一次提出这样的方法。在处理器的数量等于坐标的数量的特殊情况下,该方法以速率$2\barω\bar{L} R^2/(k+1)^2 $收敛,其中$k$是迭代计数器,$\barω$是损失函数的平均可分性程度,$\bar{L}$是与坐标和中的各个函数相关联的Lipschitz常数的平均值,并且$R$是初始点到最小值的距离。我们表明,该方法可以实现,而不需要执行全维向量运算,这是现有的加速坐标下降法的主要瓶颈。事实上,该方法依赖于平均程度的可分性,而不是最大程度的可分性,可以归因于使用新的安全的大步长,从而改善预期的可分离过逼近(ESO)。这些都是独立的利益,并可以利用在所有现有的并行随机坐标下降算法的概念的基础上ESO。
2014-03-01 cs.DC cs.NA math.NA
Coordinate Descent with Arbitrary Sampling II: Expected Separable Overapproximation
The University of Edinburgh(爱丁堡大学)
随机坐标下降法的设计和复杂性分析,特别是在每次迭代中更新坐标的随机子集(采样)的变体,取决于预期可分离过逼近(ESO)的概念。这是指涉及目标函数和采样的不等式,以紧凑的方式捕获由采样坐标跨越的随机子空间中的函数的某些平滑特性。ESO不等式以前建立的特殊类的采样,几乎总是均匀的采样。在本文中,我们开发了一个系统的技术来推导这些不等式的一大类功能和任意采样。我们证明,可以恢复现有的ESO结果,使用我们的一般方法,这是基于与采样和数据描述的功能相关的特征值的研究。
2015-05-28 cs.LG cs.NA math.NA
A Local Analysis of Block Coordinate Descent for Gaussian Phase Retrieval
Stanford University(斯坦福大学)
本文研究了非凸问题中块坐标下降法的收敛性,通过高斯相位恢复问题的特殊结构,证明了该方法在确定性初始化下以线性速率收敛到全局极小值。
2017-12-06 cs.IT cs.NA math.IT
A Coordinate Descent Primal-Dual Algorithm and Application to Distributed Asynchronous Optimization
本文提出一种基于随机坐标下降的对偶优化算法,用于解决分布式异步优化问题,通过随机更新坐标实现共识。
2015-09-30 cs.DC cs.NA cs.SY
An iterative coordinate descent algorithm to compute sparse low-rank approximations
University Politehnica of Bucharest(布加勒斯特理工大学);University of Bucharest(布加勒斯特大学)
在本文中,我们描述了一个新的算法,建立一些稀疏的主成分从一个给定的数据矩阵。我们的方法不显式地创建数据的协方差矩阵,并且可以被视为Kogbetliantz算法的扩展,以建立几个主成分的近似奇异值分解。我们展示了所提出的算法的性能,从文献中的各种数据集上恢复稀疏主成分,并进行降维分类应用。
2021-07-30 cs.DS cs.LG cs.NA
Coordinate Descent Methods for Fractional Minimization
Peng Cheng Laboratory(鹏城实验室)
考虑一类结构分式极小化问题,其中目标的分子部分是可微凸函数和凸非光滑函数之和,而分母部分是凸或凹函数。这个问题很难解决,因为它是非凸的。通过利用问题的结构,我们提出了两个坐标下降(CD)的方法来解决这个问题。所提出的方法迭代求解一维子问题\textit{globally},并保证收敛到坐标系平稳点。在分母为凸的情况下,在弱\textit{locally bounded non-convexity condition}下,证明了坐标系驻点的最优性强于标准临界点和方向点的最优性。在适当的条件下,CD方法Q-线性收敛到坐标系稳定点。在凹分母的情况下,我们证明了任何临界点是一个全局极小值,CD方法收敛到全局极小值值的次线性收敛速度。我们证明了所提出的方法的适用性,一些机器学习和信号处理模型。我们对真实数据的实验表明,我们的方法在准确性方面显著且一致地优于现有方法。
2023-03-24 cs.LG cs.NA math.NA
Rows vs Columns for Linear Systems of Equations - Randomized Kaczmarz or Coordinate Descent?
Carnegie Mellon University(卡内基梅隆大学)
本文研究了线性系$X β= y$在不同情况下的随机迭代算法。当Strohmer和Vershynin(2009)证明了随机Kaczmarz(RK)算法在$X$(数据点)行上的线性收敛速率时,最近对该主题的兴趣被重新点燃。之后,Leventhal和Lewis(2010)证明了随机坐标下降(RCD)算法的线性收敛性,该算法适用于$X$(特征)的列。本文的目的是简化我们对这两种算法的理解,建立它们之间的直接关系(尽管RK经常与随机梯度下降进行比较),并检查算法的共性或涉及行或列的权衡。我们还讨论了核岭回归,并提出了一种Kaczmarz风格的算法,该算法适用于数据点,并且具有解决问题的优势,而无需存储或形成Gram矩阵,这是扩展核化方法时遇到的公认问题之一。
2014-06-20 cs.LG cs.NA math.NA
Coordinate Descent Methods for Symmetric Nonnegative Matrix Factorization
University of Mons(蒙斯大学);University of Texas, Austin(德克萨斯大学奥斯汀分校)
本文提出高效的坐标下降方法用于对称非负矩阵分解,适用于大规模稀疏矩阵,通过实验证明其在合成和实际数据集上的有效性。
2016-05-31 cs.CV cs.LG cs.NA