首页/论文/2203.02153

arXiv 2203.021532022-03math.OCcs.NAmath.NA

基于正交化的贪婪双子空间坐标下降法

Greedy double subspaces coordinate descent method via orthogonalization

Li-Li Jin, Hou-Biao Li

备注：: 12 pages,4 tables,8 figures

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

摘要英文摘要相关论文

摘要：

坐标下降法是求解大型线性最小二乘问题的一种有效的迭代法。在本文中，对于高度相干列的情况下，我们构造了一个有效的坐标下降法迭代投影的估计到一个解决方案的空间，通过Gram-Schmidt正交化的两个greenly选定的超平面形成。我们的方法可以被看作是一个简单的块版本的坐标下降法，其中涉及两个活动列。文中给出了该方法的收敛性分析，并通过数值模拟证实了该方法对具有高度相干列的矩阵的有效性。

英文摘要：

The coordinate descent method is an effective iterative method for solving large linear least-squares problems. In this paper, for the highly coherent columns case, we construct an effective coordinate descent method which iteratively projects the estimate onto a solution space formed by two greedily selected hyperplanes via Gram-Schmidt orthogonalization. Our methods may be regarded as a simple block version of coordinate descent method which involves two active columns. The convergence analysis of this method is provided and numerical simulations also confirm the effectiveness for matrices with highly coherent columns.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

加速贪婪协调下降法

Accelerating Greedy Coordinate Descent Methods

我们研究如何在理论和实践中加速贪婪坐标下降，其中“加速”是指$O(1/k^2)$收敛在理论上，在实践中，或两者兼而有之。本文介绍并研究了两种算法：加速半贪婪坐标下降算法（ASCD）和加速贪婪坐标下降算法（AGCD）。虽然ASCD在$x$更新中采取贪婪步骤，在$z$更新中采取随机步骤，但AGCD是标准贪婪坐标下降的直接扩展，仅采取贪婪步骤。在理论方面，我们的主要结果是ASCD：我们表明，ASCD实现$O(1/k^2)$收敛，它也实现了加速线性收敛强凸函数。在经验方面，我们观察到AGCD和ASCD在各种情况下都优于加速随机坐标下降。特别是，我们注意到，AGCD显着优于其他加速坐标下降法在数值测试中，尽管缺乏理论保证这种方法。为了补充AGCD的实证研究，我们提出了一个李雅普诺夫能量函数的论点，指出为什么直接扩展的加速AGCD证明不工作的解释，我们还介绍了一个技术条件下，AGCD保证有加速收敛。最后，我们证实了这一技术条件在我们的实证研究中成立。

2018-06-07math.OC

SUMO：子空间感知的矩正交化用于加速内存高效的大语言模型训练

SUMO: Subspace-Aware Moment-Orthogonalization for Accelerating Memory-Efficient LLM Training

Faculty of Engineering（工程学院）；Tel Aviv University（特拉维夫大学）；Department of Computer science（计算机科学系）；Ben Gurion University（本· Gurion大学）；Faculty of Engineering Bar-Ilan University（巴伊兰大学工程学院）；Bar-Ilan University（巴伊兰大学）

SUMO是一种利用子空间内精确SVD进行矩正交化的优化器，通过对齐损失景观谱特征，加速LLM训练收敛，提升稳定性，并减少高达20%的内存需求。

2025-10-25cs.CLcs.LGmath.OC

非负二次规划的贪婪坐标下降法

Greedy coordinate descent method on non-negative quadratic programming

坐标下降（CD）方法最近成为解决非常大规模问题的流行，部分原因是它的简单更新，低内存需求和快速收敛。本文探讨了贪婪CD求解非负二次规划（NQP）的方法。贪婪CD通常比其循环和随机对应物具有更昂贵的每次更新复杂度。然而，在NQP上，这三个CD具有几乎相同的每次更新成本，而贪婪CD可以具有显著更快的整体收敛速度。我们也将提出的贪婪CD作为子程序来求解线性约束NQP和非负矩阵分解。这两个问题的数值结果与合成数据和图像数据的实例观察。

2020-12-10math.OC

单形软保持投影加速随机贪婪坐标下降

Accelerated Stochastic Greedy Coordinate Descent by Soft Thresholding Projection onto Simplex

本文研究了求解$\ell_1$ -正则化问题的贪婪坐标下降（Greedy Coordinate Descent，GCD）算法，并利用Nesterov加速策略和随机最优化策略对GCD算法进行了改进。首先提出了一种新的基于$\ell_1$ -范数平方逼近的贪婪选择规则，该规则是凸的，但非平凡的，然后提出了一种有效的算法SOTOPO（SoftThresholdingPrOjection）来精确求解由新规则导出的$\ell_1$ -正则化的$\ell_1$ -范数平方逼近问题.在此基础上，将Nesterov加速策略和随机最优化策略成功地应用于GCD算法。该算法称为加速随机贪婪坐标下降算法（ASGCD），具有最优的收敛速度$O(\sqrt{1/ε})$，同时将贪婪选择的迭代复杂度降低到样本量的1倍.无论是理论上还是经验上，我们都表明ASGCD对于高维稠密稀疏解问题具有更好的性能。

2017-06-24math.OC

组合问题的有效贪婪坐标下降法

Efficient Greedy Coordinate Descent for Composite Problems

EPFL（洛桑联邦理工学院）

随机坐标选择的坐标下降法是解决大规模最优化问题的一种有效方法。然而，在光滑问题上贪婪地选择最陡的坐标可以产生与维度$n$无关的收敛速度，并且需要多达$n$倍的更少的迭代。本文研究了基于次梯度的贪婪更新算法在一类非光滑组合问题中的应用，包括$L1$ -正则化问题、支持向量机及其相关应用。对于这些问题，我们提供（i）的第一个线性收敛速度独立的$n$，并表明，我们的贪婪更新规则提供了类似的光滑的情况下获得的加速比。这是以前被证明是真实的一个更强的贪婪坐标选择策略。此外，我们表明，（ii）我们的新的选择规则可以映射到实例的最大内积搜索，允许利用标准的最近邻算法，以加快实施。我们通过大量的数值实验证明了该方法的有效性。

2018-10-16cs.LGmath.OCstat.CO

通过1-范数中的最速下降分析并改进等式约束优化的贪婪2-坐标更新

Analyzing and Improving Greedy 2-Coordinate Updates for Equality-Constrained Optimization via Steepest Descent in the 1-Norm

University of British Columbia（不列颠哥伦比亚大学）；Stanford University（斯坦福大学）；Amii（阿尔伯塔机器智能研究所）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；DeepMind（深度思维）

本文通过建立贪婪2-坐标更新与1-范数最速下降的联系，在近端Polyak-Lojasiewicz假设下证明了快于随机选择且与维度无关的收敛速率，并针对含求和与边界约束的优化问题提出仅需$O(n \log n)$时间即可保证更大迭代进展的改进方法。

2023-07-03cs.LGmath.OCstat.ML

更多相关论文收起更多论文

基于模型的高效凹效用强化学习：通过贪心镜像下降

Efficient Model-Based Concave Utility Reinforcement Learning through Greedy Mirror Descent

本文针对CURL问题提出MD-CURL算法，利用非标准正则化实现闭式解和低计算复杂度，并进一步提出在线版本Greedy MD-CURL，在部分未知动态下保证次线性甚至对数遗憾。

2023-11-30math.OCphysics.data-anstat.ML

加速并行坐标下降的特征聚类

Feature Clustering for Accelerating Parallel Coordinate Descent

University of Michigan（密歇根大学）；Pacific Northwest National Laboratory（太平洋西北国家实验室）

大规模L1正则化损失最小化问题出现在高维应用中，例如压缩感知和高维监督学习，包括分类和回归问题。高性能算法和实现对于有效解决这些问题至关重要。建立在以前的工作坐标下降算法的L1正则化问题，我们引入了一个新的家庭的算法称为块贪婪坐标下降，包括，作为特殊情况下，现有的几种算法，如SCD，贪婪CD，猎枪，线程贪婪。给出了块贪婪算法族的统一收敛性分析。分析表明，块贪婪坐标下降可以更好地利用并行性，如果特征被聚类，使得不同块中的特征之间的最大内积很小。我们的理论收敛性分析与实验结果支持，使用来自不同的现实世界的应用程序的数据。我们希望我们提供的算法方法和收敛性分析不仅能推动该领域的发展，而且还能鼓励研究人员系统地探索解决大规模L1正则化问题的算法的设计空间。

2012-12-17cs.DCcs.LGmath.OC

让块坐标下降收敛得更快：更快的贪婪规则，消息传递，活动集复杂性和超线性收敛

Let's Make Block Coordinate Descent Converge Faster: Faster Greedy Rules, Message-Passing, Active-Set Complexity, and Superlinear Convergence

块坐标下降法（BCD）因其迭代费用低、内存需求小、易于并行化和利用问题结构的能力而被广泛应用于大规模数值优化。三个主要的算法选择影响BCD方法的性能：块划分策略，块选择规则和块更新规则。在本文中，我们将探索所有这三个构建块，并为每个构建块提出变体，这些变体可以显着提高每次BCD迭代的进度。我们（i）提出了新的贪婪块选择策略，保证每次迭代比Gauss-Southwell规则有更多的进展;（ii）探索了实际问题，如如何在使用"可变"块时实现新规则;（iii）探索了使用消息传递来计算变量之间稀疏依赖问题的巨大块上的矩阵或牛顿更新;以及（iv）考虑最优活动流形识别，这导致BCD方法的"活动集复杂性"上的界限，并且导致具有稀疏解的某些问题的超线性收敛（并且在某些情况下有限终止于最优解）。我们支持我们所有的研究结果与经典的机器学习问题的最小二乘，逻辑斯谛回归，多类逻辑斯谛回归，标签传播和L1正则化的数值结果。

2022-07-31math.OC

用于高维二次规划的贪心块坐标下降（GBCD）方法

Greedy Block Coordinate Descent (GBCD) Method for High Dimensional Quadratic Programs

Tata Institute of Fundamental Research（塔塔基础研究所）；Indian Institute of Technology Bombay（孟买印度理工学院）；IBM Research - India（IBM 印度研究院）

本文提出一种贪心块坐标下降方法，用于解决高维二次规划问题，通过适应可用计算资源，提升求解效率，实验表明其在高维问题中表现优异。

2014-07-12cs.SYeess.SYmath.OC

带有稀疏约束的随机迭代贪心算法的线性收敛性

Linear Convergence of Stochastic Iterative Greedy Algorithms with Sparse Constraints

本文提出两种随机贪心算法变体，用于解决可能非凸优化问题中的稀疏约束，证明了在指定容差内的期望线性收敛性，并展示了在压缩感知、低秩矩阵恢复和协方差矩阵估计中的应用。

2014-07-01cs.ITcs.NAmath.IT

在线定价的ε-策略梯度

$ε$-Policy Gradient for Online Pricing

University of Edinburgh（爱丁堡大学）；Alan Turing Institute（阿兰·图灵研究所）；Naresuan University（那黎宣大学）；Imperial College London（伦敦帝国学院）

本文提出ε-策略梯度算法用于在线定价，用梯度下降替代ε-贪婪中的贪婪利用并结合模型推断，通过量化探索与利用成本实现O(√T)阶期望遗憾。

2024-05-06cs.LGmath.OCq-fin.ST

传感器增益未知的压缩感知贪婪盲校正方法

A Greedy Blind Calibration Method for Compressed Sensing with Unknown Sensor Gains

基于压缩感测原理的感测模态的实现通常受到其感测算子的数学模型（这在信号恢复期间是必要的）与其实际物理实现之间的差异的阻碍，实际物理实现可能与假设的模型有很大不同。在本文中，我们解决了双线性逆问题的恢复稀疏的输入信号和一些未知的，非结构化的乘法因素影响的传感器捕获每个压缩测量。我们的方法依赖于收集几个快照下的新绘制的传感算子，并应用一个贪心算法的基础上投影梯度下降和迭代硬阈值的原则。我们探索经验的样本复杂性的要求，该算法通过测试其相变，并显示在一个实际相关的情况下，这个问题的压缩成像，可以得到精确的解决方案，只有几个快照。

2018-02-20cs.ITmath.ITmath.OC

一种求解离散最优化的组合搜索与坐标下降混合方法

A Hybrid Method of Combinatorial Search and Coordinate Descent for Discrete Optimization

离散最优化是数学最优化中的一个中心问题，有着广泛的应用，其中二元最优化和稀疏最优化是两种常见的优化问题。然而，这些问题是NP难的，因此一般难以解决。组合搜索法，如分支定界和穷举搜索找到全局最优解，但限于小规模的问题，而坐标下降法，如坐标梯度下降是有效的，但往往遭受穷人的局部最小值。在本文中，我们考虑一种混合方法，结合了组合搜索的有效性和协调下降的效率。具体地说，我们考虑随机策略或/和贪婪策略来选择一个坐标子集作为工作集，然后基于原始目标函数在工作集上进行全局组合搜索。此外，我们提供了一些最优性分析和收敛性分析所提出的方法。我们的方法找到了比现有方法更强的稳定点。最后，我们证明了我们的方法在一些稀疏优化和二进制优化应用的有效性。因此，我们的方法在准确性方面达到了最先进的性能。例如，我们的方法通常优于著名的正交匹配追踪方法在稀疏优化。关键词：稀疏优化，二进制优化，坐标下降，组合搜索，离散最优化，收敛性分析。

2018-11-22math.OC

非凸非Lipschitz问题的块Bregman近似梯度下降法中的两个参考函数

Leveraging Two Reference Functions in Block Bregman Proximal Gradient Descent for Non-convex and Non-Lipschitz Problems

Iowa State University（爱荷华州立大学）；IBM Research AI（IBM研究院人工智能部门）；IBM Thomas J. Waston Research Center（IBM托马斯·J·沃森研究中心）

在信号处理和数据分析的应用中，存在广泛的一类非凸问题，其目标函数不受常见的全局Lipschitz连续梯度假设的约束（例如，非负矩阵分解（NMF）问题。近年来，Bregman近似梯度法（BPG）解决了这类具有某些特殊结构的问题。这启发我们提出了一种新的逐块两参考Bregman近端梯度（B2B）方法，该方法采用两个参考函数，从而获得Bregman投影中的封闭形式解。基于相对光滑性，我们证明了所提出的算法的整体收敛的各种块选择规则。特别地，我们建立了B2B的贪婪和随机块更新规则的$O(\frac{\sqrt{s}}{\sqrt{k}})$的整体收敛速度，其比循环变量快$O(\sqrt{s})$倍，即，$O(\frac{s}{\sqrt{k}} )$，其中$s$是块数，$k$是迭代次数。多个数值结果表明，所提出的B2B相比，在解决NMF问题的最先进的作品的优越性。

2019-12-16cs.LGmath.OC

随机梯度提升机

Randomized Gradient Boosting Machine

Booth School of Business, University of Chicago（芝加哥大学布斯商学院）；MIT Sloan School of Management（麻省理工学院斯隆管理学院）；Operations Research Center（运筹学中心）；MIT Center for Statistics（麻省理工学院统计中心）

由Friedman提出的梯度提升机（GBM）是一种功能强大的监督学习算法，在实践中得到了广泛的应用--它经常在Kaggle和KDDCup等机器学习竞赛中成为领先的算法。尽管GBM在实践中很有用，但我们目前对这种方法的理论理解相当有限。在这项工作中，我们提出了随机梯度提升机（RGBM），导致大量的计算增益相比，GBM，通过使用一个随机化方案，以减少在弱学习空间中的搜索。我们得到新的计算保证RGBM。我们还提供了一个原则性的指导方针，以更好的步长选择RGBM，不需要线搜索。我们提出的框架的灵感来自于坐标下降的一个特殊变体，该变体结合了随机坐标下降和贪婪坐标下降的优点;并且作为优化算法可能具有独立的兴趣。作为一个特殊的情况下，我们的RGBM的结果导致优越的计算保证GBM。我们的计算保证取决于一个奇怪的几何量，我们称之为最小余弦角，它与预测空间中弱学习者的密度有关。在真实数据集上的一系列数值实验中，我们证明了RGBM在获得具有良好训练和/或测试数据保真度的模型方面优于GBM的有效性，而计算成本只有一小部分。

2020-09-16cs.LGmath.OCstat.ML