Accelerated Randomized Coordinate Descent Algorithms for Stochastic Optimization and Online Learning
Indian Institute of Science（印度科学学院）
我们提出了加速随机坐标下降算法的随机优化和在线学习。我们的算法有显着减少每迭代的复杂性比已知的加速梯度算法。所提出的在线学习算法具有更好的后悔性能比已知的随机在线坐标下降算法。此外，所提出的随机优化算法表现出良好的收敛速度，最有名的随机坐标下降算法。我们还展示了仿真结果来证明所提出的算法的性能。
2018-07-16 cs.LG stat.ML
Hybrid Coordinate Descent for Efficient Neural Network Learning Using Line Search and Gradient Descent
University of Connecticut（康涅狄格大学）
针对平方误差损失的神经网络训练，提出按梯度模长阈值在线搜索与梯度更新间切换的混合坐标下降法，并通过两层 ReLU 网络实验揭示超参数对收敛与效率的影响。
2024-08-02 cs.LG
Random Coordinate Descent on the Wasserstein Space of Probability Measures
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文提出随机坐标下降框架，针对Wasserstein流形优化问题，提出RWCD和RWCP方法，适用于复合目标，理论分析显示其在非凸、Polyak-Łojasiewicz及仿射凸条件下具有收敛性，实验表明在病态能量下比传统全梯度方法更高效。
2026-04-02 cs.LG math.OC stat.ML
Randomized Block Coordinate Descent for Online and Stochastic Optimization
University of Minnesota, Twin Cities（明尼苏达大学双城分校）
两种类型的低成本每次迭代梯度下降方法已被广泛研究并行。一种是在线或随机梯度下降（OGD/SGD），另一种是随机坐标下降（RBCD）。在本文中，我们结合这两种类型的方法在一起，提出了在线随机块坐标下降（ORBCD）。在每次迭代中，ORBCD只计算一个小批量样本的一个块坐标的部分梯度。ORBCD非常适合于复合最小化问题，其中一个函数是大量样本损失的平均值，另一个是定义在高维变量上的简单正则化子。我们证明了ORBCD的迭代复杂度与OGD或SGD具有相同的数量级。对于强凸函数，通过降低随机梯度的方差，证明了ORBCD可以以几何速度收敛，与方差降低的SGD和RBCD的收敛速度相当.
2014-07-26 cs.LG
A Proximal Block Coordinate Descent Algorithm for Deep Neural Network Training
The Hong Kong University of Science and Technology（香港科技大学）；Jiangxi Normal University（江西师范大学）；Tencent AI Lab（腾讯人工智能实验室）
由于相关的高度非凸优化，有效地训练深度神经网络（DNN）是一项挑战。反向传播（backprop）算法长期以来一直是DNN参数梯度计算中最广泛使用的算法，并与梯度下降型算法一起用于此优化任务。最近的工作已经证明了块坐标下降（BCD）类型方法在训练DNN方面的效率。鉴于此，我们提出了一种新的算法的基础上的BCD方法训练DNN，并提供其全局收敛结果建立在强大的框架上的Kurdyka-Lojasiewicz（KL）属性。标准数据集上的数值实验表明，该算法对标准的反向传播优化算法具有较好的竞争力。
2018-03-24 cs.LG math.OC stat.ML
Model identification and local linear convergence of coordinate descent
Université de Bourgogne（勃艮第大学）；Institut de Mathématiques de Bourgogne（勃艮第数学研究所）；Université Paris-Saclay（巴黎萨克雷大学）；Inria（法国国家信息与自动化研究所）；CEA（法国原子能委员会）；IMAG（格勒诺布尔阿尔卑斯大学综合理工学院（注：IMAG通常指Institut de Mathématiques et d'Informatique de Grenoble，中文常译为“格勒诺布尔数学与信息研究所”，但根据上下文与“Université de Montpellier”关联，此处更准确的常见译法为“格勒诺布尔阿尔卑斯大学数学与信息研究所”，但为简洁，按机构名直译或保留缩写的话，通常Institut de Mathématiques de Grenoble，此处IMAG为其缩写，可译为“格勒诺布尔数学与信息研究所”））；Université de Montpellier（蒙彼利埃大学）；CNRS（法国国家科学研究中心）；IMB（蒙彼利埃大学数学研究所（注：IMB通常指Institut de Mathématiques de Bordeaux，但此处根据上下文与“Université de Bourgogne”关联，应为Institut de Mathématiques de Bourgogne的缩写，即“勃艮第数学研究所”，但原文本中Samuel Vaiter的Affiliation同时有“CNRS and IMB, Université de Bourgogne”，需确认IMB是否为“IMB”，原文本中Samuel Vaiter的Affiliation为“CNRS and IMB, Université de Bourgogne, Dijon, France”，而前面Quentin Klopfenstein的Affiliation是“Université de Bourgogne, Institut de Mathématiques de Bourgogne, Dijon, France”，因此IMB应为“IMB”的独立机构，可能是Institut de Mathématiques de Bourgogne的缩写，即“勃艮第数学研究所”，此处按原文本保留“IMB”，中文译为“勃艮第数学研究所”））
对于复合非光滑优化问题，Forward-Backward算法在有限次迭代后实现模型识别（例如Lasso的支撑识别），前提是目标函数足够正则。关于坐标下降的结果是罕见的，模型识别只显示为特定的估计，例如支持向量机。在这项工作中，我们表明，循环坐标下降实现模型识别在有限的时间内广泛的功能。此外，我们证明了明确的局部线性收敛速度的坐标下降。在各种估计器和真实数据集上的广泛实验表明，这些速率与经验结果相匹配。
2020-10-22 cs.LG math.OC stat.ML
Stability and Generalization for Randomized Coordinate Descent
Northwest University（西北大学）；Southwestern University of Finance and Economics（西南财经大学）；University of Birmingham（伯明翰大学）
随机坐标下降算法（RCD）是一种广泛应用于解决各种机器学习问题的优化算法，对其收敛性进行了大量的理论分析。相比之下，没有研究RCD训练的模型如何推广到测试示例。在本文中，我们初始化的RCD的推广分析，利用算法稳定性的强大工具。我们建立了凸和强凸目标的RCD的参数稳定性界，从中我们通过展示如何提前停止算法来权衡估计和优化来开发最佳推广界。我们的分析表明，RCD享有更好的稳定性相比，随机梯度下降。
2021-08-17 cs.LG
Markov Chain Block Coordinate Descent
National University of Defense Technology（国防科技大学）；Rensselaer Polytechnic Institute（伦斯勒理工学院）
块坐标梯度下降法（BCD）是求解大规模优化问题的一种有效方法。本文考虑的BCD方法，连续更新一系列的块选择根据马尔可夫链。这种区块选择既不是独立同分布的。随机的或循环的。另一方面，它也是分布式优化和马尔可夫决策过程等应用的自然选择，其中i.i.d.随机和循环选择要么是不可行的要么是非常昂贵的。利用马尔可夫链的混合时间性质，证明了马尔可夫链BCD对极小化非凸Lipschitz可微函数的收敛性.当函数是凸的和强凸的时，我们分别建立了次线性和线性收敛速率。本文还提出了一种马尔可夫链惯性BCD方法。最后，我们讨论了潜在的应用。
2018-11-22 cs.LG math.OC stat.ML
Laplacian-based Semi-Supervised Learning in Multilayer Hypergraphs by Coordinate Descent
University of Padova（帕多瓦大学）；University of Rome “Tor Vergata”（罗马第二大学）；Gran Sasso Science Institute（格兰萨索科学研究所）
本文提出将基于拉普拉斯的图半监督学习优化形式扩展到多层超图，并采用多种坐标下降方法求解，实验证明在合适选择规则下坐标下降优于经典梯度下降。
2023-09-24 cs.DM cs.LG
Feature Clustering for Accelerating Parallel Coordinate Descent
University of Michigan（密歇根大学）；Pacific Northwest National Laboratory（太平洋西北国家实验室）
大规模L1正则化损失最小化问题出现在高维应用中，例如压缩感知和高维监督学习，包括分类和回归问题。高性能算法和实现对于有效解决这些问题至关重要。建立在以前的工作坐标下降算法的L1正则化问题，我们引入了一个新的家庭的算法称为块贪婪坐标下降，包括，作为特殊情况下，现有的几种算法，如SCD，贪婪CD，猎枪，线程贪婪。给出了块贪婪算法族的统一收敛性分析。分析表明，块贪婪坐标下降可以更好地利用并行性，如果特征被聚类，使得不同块中的特征之间的最大内积很小。我们的理论收敛性分析与实验结果支持，使用来自不同的现实世界的应用程序的数据。我们希望我们提供的算法方法和收敛性分析不仅能推动该领域的发展，而且还能鼓励研究人员系统地探索解决大规模L1正则化问题的算法的设计空间。
2012-12-17 cs.DC cs.LG math.OC
Robust Training in High Dimensions via Block Coordinate Geometric Median Descent
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Google AI（谷歌人工智能）；Amazon Search（亚马逊搜索）
几何中值（\textsc{Gm}）是统计学中用于实现未损坏数据的鲁棒估计的经典方法;在严重损坏情况下，它实现0.5的最佳崩溃点。然而，它的计算复杂性使得它不可行的鲁棒随机梯度下降（SGD）的高维优化问题。在本文中，我们表明，通过应用\textsc{Gm}，只有一个明智地选择块的坐标在同一时间，并使用记忆机制，可以保持崩溃点0.5光滑的非凸问题，非渐近收敛速度可比的SGD与\textsc{Gm}。
2021-06-16 cs.DC cs.LG math.OC
Efficiency of Coordinate Descent Methods For Structured Nonconvex Optimization
Shanghai University of Finance and Economics（上海财经大学）
提出了一种新的坐标下降（CD）方法来最小化由三项组成的非凸函数：（i）连续可微项，（ii）简单凸项，（iii）凹连续项.首先，通过扩展随机CD到非光滑非凸设置，我们开发了一个坐标次梯度方法，通过使用块复合次梯度映射随机更新块坐标变量。该方法在一定的最优性测度下，以证明的次线性收敛速度渐近收敛到临界点。其次，我们开发了一个随机置换CD方法，它有两个交替的步骤：线性化凹部和循环通过变量。我们证明了渐近收敛到临界点和次线性复杂率的目标光滑和凹的部分。第三，我们扩展加速坐标下降（ACD）的非光滑和非凸优化，开发一种新的随机邻近DC算法，我们解决子问题不精确的ACD。对于每个DC子问题，最多只需要几次ACD迭代就可以保证收敛，并建立了收敛复杂度来确定一些近似的临界点。第四，我们进一步发展了第三种方法来最小化某些病态的非凸函数：具有高Lipschitz常数与负曲率比的弱凸函数。我们表明，在特定的标准下，ACD为基础的随机化方法具有优越的复杂性相比，传统的梯度法。最后，稀疏诱导学习模型的实证研究表明，CD方法优于基于梯度的方法，某些大规模的问题。
2019-09-03 cs.LG math.OC stat.ML
Efficient Greedy Coordinate Descent for Composite Problems
EPFL（洛桑联邦理工学院）
随机坐标选择的坐标下降法是解决大规模最优化问题的一种有效方法。然而，在光滑问题上贪婪地选择最陡的坐标可以产生与维度$n$无关的收敛速度，并且需要多达$n$倍的更少的迭代。本文研究了基于次梯度的贪婪更新算法在一类非光滑组合问题中的应用，包括$L1$ -正则化问题、支持向量机及其相关应用。对于这些问题，我们提供（i）的第一个线性收敛速度独立的$n$，并表明，我们的贪婪更新规则提供了类似的光滑的情况下获得的加速比。这是以前被证明是真实的一个更强的贪婪坐标选择策略。此外，我们表明，（ii）我们的新的选择规则可以映射到实例的最大内积搜索，允许利用标准的最近邻算法，以加快实施。我们通过大量的数值实验证明了该方法的有效性。
2018-10-16 cs.LG math.OC stat.CO
On the Finite Time Convergence of Cyclic Coordinate Descent Methods
University of Chicago（芝加哥大学）
本文证明了在等调性假设下，两种循环坐标下降变体具有O(1/k)的收敛速率，并通过与梯度下降的比较展示了其优越性。
2010-05-12 cs.LG cs.NA math.NA
Coordinate Descent for MCP/SCAD Penalized Least Squares Converges Linearly
Wuhan University（武汉大学）
从观测数据中恢复稀疏信号是信号/成像处理、统计学和机器学习中的一个重要课题。非凸惩罚最小二乘因其良好的统计性质而受到广泛关注。在计算上，坐标下降（CD）是一个主力最小化非凸惩罚最小二乘准则，由于其简单性和可扩展性。在这项工作中，我们证明了线性收敛速度CD解决MCP/SCAD惩罚最小二乘问题。
2021-09-18 cs.LG stat.CO stat.ML
Faster Coordinate Descent via Adaptive Importance Sampling
ETH Zurich（苏黎世联邦理工学院）；EPFL（洛桑联邦理工学院）
坐标下降法采用随机部分更新的决策变量，以解决大规模的凸优化问题。在这项工作中，我们引入了新的自适应规则，随机选择他们的更新。所谓自适应，我们的意思是我们的选择规则是基于对偶残差或原始-对偶间隙估计，并且可以在每次迭代时改变。我们从理论上描述了我们的选择规则的性能，并证明了最先进的改进，并将我们的理论和算法扩展到一般的凸目标。用铰链损失支持向量机和Lasso的数值实验证实了理论与实践的一致性。
2017-03-07 cs.CV cs.LG math.OC
Federated Coordinate Descent for Privacy-Preserving Multiparty Linear Regression
North China Electric Power University（华北电力大学）；Shandong University of Finance and Economics（山东财经大学）；Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）
分布式隐私保护回归方案已经在各个领域中得到开发和扩展，其中多方协作和私有地运行优化算法，例如，梯度下降，学习一组最佳参数。然而，传统的基于递归下降的方法无法解决包含L1正则化的目标函数的问题，例如Lasso回归。在本文中，我们提出了联邦坐标下降，一个新的分布式计划，称为FCD，安全地解决这个问题下多方的情况。具体来说，通过安全聚合和增加扰动，我们的方案保证：（1）没有本地信息泄露给其他方，（2）全局模型参数不暴露给云服务器。增加的扰动最终可以由各方消除，以获得具有高性能的全局模型。我们发现，FCD方案填补了多方安全的坐标下降方法的空白，适用于一般的线性回归，包括线性，岭和套索回归。理论安全性分析和实验结果表明，FCD算法能够有效地执行三种类型线性回归任务，并在真实世界UCI数据集上提供与集中式方法一样低的MAE度量。
2022-10-16 cs.LG
Asynchronous Delay-Aware Accelerated Proximal Coordinate Descent for Nonconvex Nonsmooth Problems
University of Central Florida（中佛罗里达大学）
非凸和非光滑问题最近在机器学习中引起了相当大的关注。然而，对于非凸和非光滑最优化问题，在保证一定性能的前提下，开发有效的方法仍然是一个挑战。近点坐标下降法（PCD）已被广泛应用于求解最优化问题，但对非凸环境下的PCD方法的认识非常有限。另一方面，异步最近坐标下降（APCD）最近受到了广泛的关注，以解决大规模的问题。然而，APCD算法的加速变体很少被研究。在本文中，我们扩展APCD方法的加速算法（AAPCD）的非光滑和非凸的问题，满足充分下降的性质，通过比较在最近的更新和线性外推点使用延迟感知动量值的函数值。据我们所知，我们是第一个提供随机和确定性加速扩展APCD算法一般非凸和非光滑问题，确保有界延迟和无界延迟的每一个极限点是一个临界点。利用Kurdyka-Lojasiewicz性质，我们将证明线性和次线性收敛速度的确定性AAPCD与有界延迟。数值结果表明，我们的算法在速度上的实际效率。
2019-02-05 cs.DC cs.LG math.OC
Random Coordinate Descent Methods for Minimizing Decomposable Submodular Functions
University of Warwick（华威大学）
次模函数最小化是在机器学习和计算机视觉中的若干应用中出现的基本优化问题。已知该问题在多项式时间内是可解的，但是通用算法具有高运行时间并且不适合于大规模问题。最近的工作已经使用凸优化技术，以获得非常实用的算法，最小化的功能，是“简单”的功能。在本文中，我们使用随机坐标下降方法，以获得更快的线性收敛速度和更便宜的迭代费用的算法。与交替投影方法相比，我们的算法不依赖于全维向量运算，并且它们在更少的迭代中收敛。
2015-02-09 cs.AI cs.LG
Convergent Block Coordinate Descent for Training Tikhonov Regularized Deep Neural Networks
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室）
通过将ReLU函数提升到更高维的空间，我们开发了一种用于训练前馈深度神经网络（DNN）的光滑多凸公式。这使我们能够开发一个块坐标下降（BCD）训练算法，由一系列数值上表现良好的凸优化组成。利用凸分析中邻近点方法的思想，证明了该BCD算法将以一阶R-线性收敛速度全局收敛到一个稳定点。在MNIST数据库的实验中，使用该BCD算法训练的DNN始终比通过Caffe工具箱中的所有随机梯度下降（SGD）变体训练的相同DNN架构产生更好的测试集错误率。
2017-11-20 cs.CV cs.LG stat.ML
Coordinate Descent Methods for Fractional Minimization
Peng Cheng Laboratory（鹏城实验室）
考虑一类结构分式极小化问题，其中目标的分子部分是可微凸函数和凸非光滑函数之和，而分母部分是凸或凹函数。这个问题很难解决，因为它是非凸的。通过利用问题的结构，我们提出了两个坐标下降（CD）的方法来解决这个问题。所提出的方法迭代求解一维子问题\textit{globally}，并保证收敛到坐标系平稳点。在分母为凸的情况下，在弱\textit{locally bounded non-convexity condition}下，证明了坐标系驻点的最优性强于标准临界点和方向点的最优性。在适当的条件下，CD方法Q-线性收敛到坐标系稳定点。在凹分母的情况下，我们证明了任何临界点是一个全局极小值，CD方法收敛到全局极小值值的次线性收敛速度。我们证明了所提出的方法的适用性，一些机器学习和信号处理模型。我们对真实数据的实验表明，我们的方法在准确性方面显著且一致地优于现有方法。
2023-03-24 cs.LG cs.NA math.NA
Adaptive Stochastic Primal-Dual Coordinate Descent for Separable Saddle Point Problems
The University of Edinburgh（爱丁堡大学）
考虑一类具有可分结构的一般凸凹鞍点问题，这种形式涵盖了广泛的机器学习应用。在这种问题结构下，我们遵循鞍点问题的原始-对偶更新框架，并将具有自适应步长的随机块坐标下降纳入该框架中。我们从理论上表明，我们的建议的自适应步长可能实现一个尖锐的线性收敛速度相比，现有的方法。此外，由于我们可以选择“小批量”块坐标更新，我们的方法也适合于大规模数据的并行处理。我们将所提出的方法应用于正则化经验风险最小化，并表明它在合成数据集和真实数据集上的表现往往优于最先进的方法。
2015-06-12 cs.LG stat.ML
Asynchronous Stochastic Block Coordinate Descent with Variance Reduction
University of Texas at Arlington（德克萨斯大学阿灵顿分校）
随机优化问题的异步并行实现近年来在理论和实践上都取得了巨大的成功。无锁的异步实现比有写锁或读锁的异步实现效率更高。本文主要研究了一种由光滑凸函数$f$和块可分凸函数组成的复合目标函数，它广泛存在于机器学习和计算机视觉中。提出了一种基于加速方差缩减技术的异步随机块坐标下降算法（AsySBCDVR），该算法在实现和分析上都是无锁的。AsySBCDVR特别重要，因为它可以同时与样本大小和维度进行良好的缩放。证明了当函数$f$具有最优强凸性时，AsySBCDVR具有线性收敛速度;当函数$f$具有一般凸性时，AsySBCDVR具有次线性收敛速度.更重要的是，在共享内存的并行系统上，可以获得接近线性的加速比。
2016-11-14 cs.LG
Rows vs Columns for Linear Systems of Equations - Randomized Kaczmarz or Coordinate Descent?
Carnegie Mellon University（卡内基梅隆大学）
本文研究了线性系$X β= y$在不同情况下的随机迭代算法。当Strohmer和Vershynin（2009）证明了随机Kaczmarz（RK）算法在$X$（数据点）行上的线性收敛速率时，最近对该主题的兴趣被重新点燃。之后，Leventhal和Lewis（2010）证明了随机坐标下降（RCD）算法的线性收敛性，该算法适用于$X$（特征）的列。本文的目的是简化我们对这两种算法的理解，建立它们之间的直接关系（尽管RK经常与随机梯度下降进行比较），并检查算法的共性或涉及行或列的权衡。我们还讨论了核岭回归，并提出了一种Kaczmarz风格的算法，该算法适用于数据点，并且具有解决问题的优势，而无需存储或形成Gram矩阵，这是扩展核化方法时遇到的公认问题之一。
2014-06-20 cs.LG cs.NA math.NA
A Novel Stochastic Gradient Descent Algorithm for Learning Principal Subspaces
University of Oxford（牛津大学）；Google Brain（谷歌大脑）；McGill University（麦吉尔大学）；DeepMind（深度思维）
许多机器学习问题将其数据编码为具有可能非常大量的行和列的矩阵。在神经科学、图像压缩或深度强化学习等应用中，这种矩阵的主子空间提供了个体数据的有用的低维表示。在这里，我们感兴趣的是确定一个给定的矩阵的$d$维主子空间的样本条目，即从小的随机子矩阵。虽然存在许多基于样本的方法来解决这个问题（例如Oja的规则\citep{oja1982simplified}），但这些方法假设可以访问矩阵的全部列或特定的矩阵结构，例如对称性，并且不能与神经网络\citep{baldi1989neural}组合。在本文中，我们推导出一个算法，学习一个主要的子空间从样本条目，可以应用时，近似子空间表示的神经网络，因此可以扩展到数据集的行和列的有效无限数量。我们的方法包括定义一个损失函数，其最小值是所需的主子空间，并构造一个梯度估计的偏差可以控制的损失。我们补充我们的理论分析与一系列的实验合成矩阵，MNIST数据集\citep{lecun2010mnist}和强化学习域PuddleWorld \citep{sutton1995generalization}证明我们的方法的有用性。
2022-12-08 cs.AI cs.LG stat.ML
Parallel Distributed Block Coordinate Descent Methods based on Pairwise Comparison Oracle
Nagoya Institute of Technology（名古屋工业大学）；Kanagawa University（神奈川大学）；Nagoya University（名古屋大学）
提出了一种求解无约束优化问题的块坐标下降算法。在我们的算法中，不需要计算函数值或梯度。相反，使用函数值的成对比较。我们的算法包括两个步骤，一个是方向估计步骤，另一个是搜索步骤。这两个步骤都只需要对函数值进行成对比较，这只告诉我们函数值在两个点上的顺序。在方向估计步骤中，估计牛顿型搜索方向。一种计算方法，如块坐标下降法与成对比较。在搜索步骤中，沿着所估计的方向更新数值解。方向估计步骤的计算可以很容易地并行化，因此，该算法可以有效地找到目标函数的最小值。此外，我们还证明了收敛速度的一个上界。在数值实验中，我们表明，我们的方法有效地找到最优解相比，一些现有的方法的基础上成对比较。
2014-09-13 cs.LG stat.ML
Fast Training of Effective Multi-class Boosting Using Coordinate Descent Optimization
The University of Adelaide（阿德莱德大学）
提出了一种基于列生成的多类分类的Boosting方法。我们的多类提升是在一个单一的优化问题中制定的，如Shen和Hao（2011）。与大多数现有的多类提升方法不同，这些方法对所有类使用相同的弱学习器集合，我们训练类指定的弱学习器（即，每个类具有不同的弱学习者集合）。我们表明，使用单独的弱学习者集为每个类导致快速收敛，而不会在训练过程中引入额外的计算开销。为了进一步提高训练的效率和可扩展性，我们还提出了一种快速坐标下降方法来解决每次提升迭代的优化问题。所提出的坐标下降法是概念上简单，易于实现，因为它是一个封闭形式的解决方案，为每个坐标更新。在多种数据集上的实验结果表明，与现有的多类Boosting方法相比，该方法在大多数情况下具有更快的收敛速度和更好的泛化性能.我们还通过经验证明，所提出的快速坐标下降算法比Shen和Hao（2011）中的MultiBoost算法需要更少的训练时间。
2013-11-23 cs.CV cs.LG stat.CO
Robust supervised learning with coordinate gradient descent
Université Paris Diderot（巴黎第七大学）；École normale supérieure（巴黎高等师范学院）
本文考虑了当特征和标签都可能被损坏时，无论是重尾数据和/或损坏行的形式，用线性方法进行监督学习的问题。我们引入了一个组合的坐标梯度下降作为一个学习算法与鲁棒估计的偏导数。这导致稳健的统计学习方法，其具有与基于经验风险最小化的非稳健方法几乎相同的数值复杂度。主要的想法很简单：虽然利用梯度下降的鲁棒学习需要鲁棒地估计整个梯度以更新所有参数的计算成本，但是在坐标梯度下降中，可以使用单个偏导数的鲁棒估计器来立即更新参数。我们证明了上界的泛化误差的算法来自这个想法，控制优化和统计误差，没有一个强凸性假设的风险。最后，我们提出了一个有效的实现这种方法在一个新的Python库称为linlearn，并通过大量的数值实验表明，我们的方法引入了一个新的有趣的妥协之间的鲁棒性，统计性能和数值效率为这个问题。
2022-01-31 cs.LG math.ST stat.ML
A Fast and Scalable Pathwise-Solver for Group Lasso and Elastic Net Penalized Regression via Block-Coordinate Descent
Stanford University（斯坦福大学）
本研究提出基于块坐标下降的快速可扩展算法，结合Newton法与自适应二分法求解组Lasso及组弹性网正则化路径，开发的adelie包速度比同类最快工具快3-10倍，且lasso求解性能媲美glmnet。
2024-05-14 cs.LG cs.MS cs.SE
Approximate Steepest Coordinate Descent
EPFL（洛桑联邦理工学院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
提出了一种新的坐标选择规则，用于求解大规模优化问题的坐标下降法中的坐标选择。这种新方案的效率被证明优于均匀随机选择的效率，并且可以达到最速坐标下降（SCD）的效率，使得加速因子高达$n$，坐标的数量。在许多实际应用中，我们的计划可以实现在没有额外的成本和计算效率非常接近更快的均匀选择。Lasso和Ridge回归的数值实验显示了有希望的改进，符合我们的理论保证。
2017-06-26 cs.LG math.OC
Derivation of Coordinate Descent Algorithms from Optimal Control Theory
Naval Postgraduate School（海军研究生院）
本文进一步推进了优化算法可由最优控制理论统一的主张，展示了如何利用极大值原理与作为“控制”Lyapunov 函数的 max 函数推导出坐标下降算法，并将其收敛性与Lyapunov函数的受控耗散相联系。
2023-09-07 cs.LG math.OC
Importance sampling strategy for non-convex randomized block-coordinate descent
Université Côte d’Azur（蔚蓝海岸大学）；Université de Rouen（鲁昂大学）；Université Aix-Marseille（艾克斯-马赛大学）；INSA de Rouen（鲁昂国立应用科学学院）
随着与统计和机器学习相关的优化问题的样本数量和维度的爆炸，块坐标下降算法由于将原始问题减少到几个较小的问题而变得流行。待优化的坐标通常根据给定的概率分布随机选择。我们引入了一个重要性采样策略，帮助随机坐标下降算法集中在块，仍然远离收敛。该框架适用于由两个可能的非凸项之和组成的问题，其中一个是可分离的和非光滑的。我们已经比较了我们的算法，一个完整的梯度近似的方法，以及随机块坐标算法，认为均匀采样和循环块坐标下降。实验证据表明使用重要性采样策略的明显好处。
2016-06-23 cs.LG math.OC
Variance Reduced Coordinate Descent with Acceleration: New Method With a Surprising Application to Finite-Sum Problems
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
我们提出了一个加速版本的随机方差减少坐标下降- ASVRCD。与SEGA或SVRCD等其他方差减少的坐标下降法一样，我们的方法可以处理包括不可分离和非光滑正则化子的问题，同时在每次迭代中仅访问随机块的偏导数。然而，ASVRCD结合了Nesterov的动量，它提供了优于SEGA和SVRCD的迭代复杂度保证。作为我们理论的一个副产品，我们证明了Allen-Zhu（2017）的一个变体是ASVRCD的一个特定案例，恢复了有限和目标的最佳预言复杂度。
2020-02-11 cs.LG math.OC
Distributionally Robust Fair Principal Components via Geodesic Descents
VinAI Research（VinAI 研究院）；Hong Kong Polytechnic University（香港理工大学）
主成分分析是现代机器学习管道中一种简单而有用的降维技术。在大学入学、医疗保健和信贷审批等重要领域，必须考虑新兴标准，如学习预测的公平性和稳健性。在本文中，我们提出了一个分布鲁棒优化问题的主成分分析，内在的公平性标准的目标函数。因此，学习的投影平衡了总重构误差与子组之间的重构误差间隙之间的权衡，在基于矩的模糊度集合中的所有分布上在最小-最大意义上采取。由此产生的Stiefel流形上的优化问题可以有效地解决了黎曼次梯度下降算法的次线性收敛速度。我们在真实世界数据集上的实验结果显示了我们所提出的方法在最先进的基线上的优点。
2022-02-07 cs.LG math.OC stat.ML
Block Coordinate Descent Only Converge to Minimizers
给定一个非凸的二次连续可微费用函数，且梯度为Lipschitz连续，证明了在随机初始化条件下，块坐标梯度下降法、块镜像下降法和邻近块坐标下降法几乎必然收敛于局部极小点.此外，我们表明，这些结果也适用于非孤立的临界点的费用函数。
2017-10-25 math.OC
Coordinate descent on the orthogonal group for recurrent neural network training
National Physical Laboratory（国家物理实验室）；Mathematical Institute（数学研究所）；University of Oxford（牛津大学）；IIIT Delhi（德里印度理工学院）
我们建议使用正交群上的随机黎曼坐标下降来训练循环神经网络。该算法连续旋转递归矩阵的两列，这种操作可以有效地实现为与Givens矩阵相乘。在每次迭代中随机均匀选择坐标的情况下，我们证明了该算法在标准假设下对损失函数、步长和小批量噪声的收敛性。此外，我们数值证明了循环神经网络训练中的黎曼梯度具有近似稀疏的结构。利用这一观察结果，我们提出了一个更快的变种，所提出的算法依赖于高斯-索斯韦尔规则。在一个标准的循环神经网络训练问题上的实验证明了该算法的有效性。
2021-07-30 cs.LG math.OC
Analyzing Random Permutations for Cyclic Coordinate Descent
我们考虑凸二次问题的坐标下降法，其中精确线搜索在每次迭代执行。(This算法在等价对称正定线性系上与Gauss-Seidel算法相同。我们描述了一类凸二次问题的随机置换版本的循环坐标下降（RPCD）优于标准的循环坐标下降（CCD）的方法，产生类似于完全随机变量（RCD）的收敛行为。收敛性分析的发展来解释的经验观察。
2020-01-13 math.OC
Large Scale Kernel Learning using Block Coordinate Descent
UC Berkeley（加州大学伯克利分校）
我们证明了分布式块坐标下降可以快速解决数百万数据点的核回归和分类问题。有了这种能力，我们进行了全面的内核，Nyström方法，并从不同领域的三个大型分类任务的随机特征之间的彻底比较。我们的研究结果表明，Nyström方法通常比随机特征实现更好的统计准确性，但可能需要更多的优化迭代。最后，我们推导出新的速率块坐标下降，支持我们的实验结果时，专门的内核方法。
2016-02-17 cs.LG math.OC stat.ML
Coordinate Descent Without Coordinates: Tangent Subspace Descent on Riemannian Manifolds
我们将坐标下降法推广到流形域，并对测地线凸和非凸光滑目标函数进行了收敛性分析。我们的主要观点是在欧几里得空间中的坐标块和流形的切子空间之间进行类比。因此，我们的方法被称为切线子空间下降（TSD）。确保TSD收敛的核心原则是在每次迭代时选择适当的子空间。为此，我们提出了两个新的条件，间隙确保和$C$ -随机范数条件的确定性和随机模式的子空间选择，承诺收敛的光滑函数，并在实际情况下得到满足。我们提出了两个子空间的选择规则，特别是实际利益，满足这些条件：一个确定性的平方正交矩阵的流形，和一个随机的Stiefel流形。我们的概念验证的正交Procrustes问题的数值实验证明TSD的有效性。
2020-06-13 math.OC
Coordinate Descent with Bandit Sampling
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
坐标下降法通常通过一次更新一个随机决策变量（对应于一个坐标）来最小化成本函数。理想情况下，我们应该更新在成本函数中产生最大下降的决策变量。然而，找到这个坐标将需要检查所有这些坐标，这将有效地否定坐标下降旨在提供的计算易处理性的改进。为了解决这个问题，我们提出了一个新的自适应方法来选择一个坐标。首先，我们找到一个下限的金额成本函数减少时，坐标更新。然后，我们使用一个多臂的强盗算法来学习的坐标结果在最大的下限，通过交错这种学习与传统的坐标下降更新，除了坐标选择成比例的预期减少。我们表明，我们的方法提高了理论和实验上的坐标下降方法的收敛性。
2018-12-04 cs.AI cs.LG math.OC
Coordinate Descent Algorithms
坐标下降算法通过沿坐标方向或坐标超平面连续执行近似最小化来解决最优化问题。它们已经在应用程序中使用了很多年，并且由于它们在数据分析，机器学习和其他当前感兴趣的领域中的有用性，它们的受欢迎程度继续增长。本文介绍了坐标下降法的基本原理，连同变体和扩展及其收敛性，主要是参考凸目标。我们特别注意在机器学习应用中经常出现的某种问题结构，表明加速坐标下降算法的有效实现对于这种类型的问题是可能的。我们还提出了一些并行变量，并讨论了它们的收敛性能下的几种模型的并行执行。
2015-02-17 math.OC
A Block Coordinate Descent-based Projected Gradient Algorithm for Orthogonal Non-negative Matrix Factorization
University of Applied Sciences and Arts, Northwestern Switzerland（瑞士西北应用科学与艺术大学）；University of Ljubljana（卢布尔雅那大学）
本文利用投影梯度法（PG）求解非负矩阵分解问题（NMF），其中一个或两个矩阵因子必须具有正交的列或行。我们惩罚正交约束，并通过块坐标下降法应用PG方法。这意味着在某个时间，一个矩阵因子是固定的，而另一个矩阵因子通过沿着从惩罚的目标函数计算出的最速下降方向移动并投影到非负矩阵空间上来更新。我们的方法进行了测试的两组合成数据的各种值的罚参数。性能与Ding（2006）的著名乘法更新（MU）方法进行了比较，并与Mirzal（2014）最近提出的MU算法的修改后的全局收敛变体进行了比较。我们提供了大量的数值结果，加上适当的可视化，这表明我们的方法是非常有竞争力的，通常优于其他两种方法。
2020-03-23 cs.LG math.OC
Parallel coordinate descent for the Adaboost problem
University of Edinburgh（爱丁堡大学）
我们设计了一个随机平行版本的Adaboost基于以前的研究平行坐标下降。该算法利用指数损失的对数是一个具有坐标方向Lipschitz连续梯度的函数这一事实来定义步长。我们提供了这个随机Adaboost算法的收敛性证明和理论上的并行加速因子。最后，我们提供了各种规模的学习问题的数值例子表明，该算法是具有竞争力的并发方法，特别是对于大规模的问题。
2013-10-07 cs.LG math.OC stat.ML
A Rate of Convergence for Two-Block Coordinate Descent
这个简短的报告给出了一个非渐近收敛速率证明解决两块坐标下降问题。这个非渐近证明是一个简单的结果，可以很容易地从文献中的结果。我们在本报告中给出了结果，因为在这种一般形式下，我们没有看到文献中的陈述。
2019-01-25 math.OC
Frictionless Hamiltonian Descent and Coordinate Hamiltonian Descent for Strongly Convex Quadratic Problems
University of California San Diego（加利福尼亚大学圣地亚哥分校）
本文提出无摩擦哈密顿下降法及坐标哈密顿下降法，用于解决强凸二次问题，展示了其在加速速率和线性方程组求解中的广泛应用。
2026-09-22 math.OC
Iteration complexity analysis of random coordinate descent methods for $\ell_0$ regularized convex problems
本文分析了一类求解$\ell_0$正则化最优化问题的一般随机块坐标下降法，即目标函数由光滑凸函数和$\ell_0$正则化函数组成.我们的方法家族涵盖了诸如随机块坐标梯度下降和随机邻近坐标下降法等特殊情况。我们分析了必要的最优性条件，这个非凸$\ell_0$正则化问题，并设计了一个分离的局部极小值集的限制类的基础上的近似版本的目标函数。我们提供了一个统一的分析的几乎必然收敛这一家庭的块坐标下降算法，并证明，对于每个近似版本，极限点是局部极小从相应的限制类的局部极小。在强凸性假设下，我们证明了这类方法的概率线性收敛。
2014-07-18 math.OC
A Primer on Coordinate Descent Algorithms
这本专著提出了一类算法称为坐标下降算法的数学家，统计学家和工程师以外的领域的最优化。这类特殊的算法最近由于其在解决机器学习、压缩传感、图像处理和计算统计中的大规模最优化问题方面的有效性而受到欢迎。坐标下降算法通过沿每个坐标或坐标超平面连续最小化来解决最优化问题，这对于并行和分布式计算是理想的。避免详细的技术和证明，这本专著为从业者提供了相关的理论和示例，以有效地将坐标下降应用于数据科学和工程中的现代问题。
2017-01-12 math.OC stat.ML
Accelerating Greedy Coordinate Descent Methods
我们研究如何在理论和实践中加速贪婪坐标下降，其中“加速”是指$O(1/k^2)$收敛在理论上，在实践中，或两者兼而有之。本文介绍并研究了两种算法：加速半贪婪坐标下降算法（ASCD）和加速贪婪坐标下降算法（AGCD）。虽然ASCD在$x$更新中采取贪婪步骤，在$z$更新中采取随机步骤，但AGCD是标准贪婪坐标下降的直接扩展，仅采取贪婪步骤。在理论方面，我们的主要结果是ASCD：我们表明，ASCD实现$O(1/k^2)$收敛，它也实现了加速线性收敛强凸函数。在经验方面，我们观察到AGCD和ASCD在各种情况下都优于加速随机坐标下降。特别是，我们注意到，AGCD显着优于其他加速坐标下降法在数值测试中，尽管缺乏理论保证这种方法。为了补充AGCD的实证研究，我们提出了一个李雅普诺夫能量函数的论点，指出为什么直接扩展的加速AGCD证明不工作的解释，我们还介绍了一个技术条件下，AGCD保证有加速收敛。最后，我们证实了这一技术条件在我们的实证研究中成立。
2018-06-07 math.OC
A stochastic coordinate descent primal-dual algorithm with dynamic stepsize for large-scale composite optimization
本文考虑了两个凸函数之和与另一个凸函数与一个连续线性算子的复合的极小化问题。利用坐标下降的思想，设计了一种具有动态步长的随机坐标下降原对偶分裂算法。基于随机化的修正Krasnosel'skiii-Mann迭代和邻近算子的强非扩张性，我们证明了算法的收敛性.此外，我们给出了我们的方法的两个应用。
2016-04-14 math.OC
Distributed Multi-Area Optimal Power Flow via Rotated Coordinate Descent Critical Region Exploration
研究了多区域电力系统的分布式最优潮流问题。提出了一种新的分布式算法--旋转坐标下降临界区域探索算法（RCDCRE）。它允许每个实体独立地更新其边界信息，并以异步方式最优地求解其局部OPF。RCDCRE方法使用坐标系旋转来缝合坐标下降和参数规划，以减少协调，保持隐私并确保收敛。该解决方案的过程不需要热启动，可以从不可行的初始点使用基于惩罚的配方。基于IEEE 2区域44节点和4区域472节点系统验证了RCDCRE的有效性。
2022-06-17 math.OC
Convergence rate analysis of randomized and cyclic coordinate descent for convex optimization through semidefinite programming
本文研究了凸无约束最优化问题的随机坐标下降和循环坐标下降。利用数值半定规划的性能估计方法，在某些情况下改进了已知的收敛速度。作为一个副产品，我们提供了一种方法来分析最坏情况下的性能的高斯-赛德尔迭代法的线性系的系数矩阵是半正定的正对角。
2022-12-23 math.OC
A Randomized Coordinate Descent Method with Volume Sampling
我们分析了坐标下降法与一个新的坐标选择策略，称为体积采样。该策略规定选择与矩阵的主子矩阵的行列式成比例的一定大小的变量的子集，其限制目标函数的曲率。在特定的情况下，当子集的大小等于1时，体积采样符合与其Lipschitz常数成比例地采样坐标的众所周知的策略。对于带体采样的坐标下降法，我们建立了凸问题和强凸问题的收敛速度。我们的理论结果表明，通过增加的子集的大小，它是可能的，以加快该方法的因素，这取决于相应的曲率矩阵的最大特征值之间的谱间隙。几个数值实验证实了我们的理论结论。
2020-04-29 math.OC
Smooth Primal-Dual Coordinate Descent Algorithms for Nonsmooth Convex Optimization
提出了一种新的适用于凸优化模板的随机坐标下降法。我们的分析依赖于一个新的组合的四个想法适用于原始-对偶间隙函数：平滑，加速，同伦和坐标下降与非均匀采样。因此，我们的方法具有第一个收敛速度保证之间的坐标下降法，这是最有名的各种常见的结构假设下的模板。我们提供了数值证据来支持的理论结果与国家的最先进的算法进行比较。
2017-11-09 math.OC stat.ML
Dykstra's Algorithm, ADMM, and Coordinate Descent: Connections, Insights, and Extensions
我们研究Dykstra的算法投影到交集的凸集，增广拉格朗日乘子法或ADMM，和块坐标下降之间的连接。我们证明了坐标下降的正则化回归问题，其中（可分离的）罚函数是双范数，是完全等价的Dykstra的算法适用于对偶问题。ADMM的对偶问题也被认为是等价的，在特殊情况下的两个集，其中一个是线性子空间。这些联系，除了本身很有趣之外，还提出了分析和扩展坐标下降的新方法。例如，从现有的Dykstra算法在多面体上的收敛理论，我们发现坐标下降的套索问题收敛于（渐近）线性速率。我们还开发了两个并行版本的坐标下降，基于Dykstra和ADMM连接。
2017-05-12 math.OC stat.CO
