Coordinate Descent Methods for DC Minimization: Optimality Conditions and Global Convergence
Peng Cheng Laboratory(鹏城实验室)
凸差最小化(Difference-of-Convex,DC)是指最小化两个凸函数之差的问题,在统计学习中有着广泛的应用和研究。然而,现有的方法主要是基于多阶段的凸松弛,只导致弱的临界点的最优性。提出了一种基于序列非凸逼近的求解一类DC函数极小化问题的坐标下降法。我们的方法全局迭代求解非凸一维子问题,并且保证收敛到坐标系稳定点。我们证明了在弱\textit{locally bounded nonconvexity assumption}下,这个新的最优性条件总是强于标准的临界点条件和方向点条件。为了比较,我们还包括一个朴素的坐标下降法的基础上顺序凸近似在我们的研究。当目标函数满足一个\textit{globally bounded nonconvexity assumption}和\textit{Luo-Tseng error bound assumption}时,坐标下降法达到\textit{Q-linear}收敛速度。此外,对于许多感兴趣的应用程序,我们表明,非凸一维子问题可以计算准确,有效地使用断点搜索方法。最后,我们对几个统计学习任务进行了大量的实验,以显示我们的方法的优越性。保留字:坐标下降,DC最小化,DC规划,凸规划的差异,非凸优化,稀疏优化,二进制优化。
2022-12-18 cs.LG math.OC
On Matching Pursuit and Coordinate Descent
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);ETH Zurich(苏黎世联邦理工学院);EPFL(洛桑联邦理工学院)
线性空间上的一阶优化方法的两个流行的例子是坐标下降和匹配追踪算法,以及它们的随机变体。虽然前者的目标是通过沿坐标移动来优化,但后者考虑了方向的广义概念。利用这两种算法之间的连接,我们提出了一个统一的分析,提供仿射不变的次线性$\mathcal{O}(1/t)$率光滑的目标和线性收敛的强凸目标。作为匹配追踪的仿射不变分析的副产品,我们的最陡坐标下降率是已知最紧的。此外,我们显示的第一个加速收敛速度$\mathcal{O}(1/t^2)$匹配追求和最速坐标下降凸目标。
2019-05-31 cs.LG math.OC stat.ML
Anderson acceleration of coordinate descent
Université Paris-Saclay(巴黎-萨克雷大学);Inria(法国国家信息与自动化研究所);CEA(法国原子能与替代能源委员会);University of Genova(热那亚大学)
一阶方法的加速主要通过Nesterov惯性技术或通过非线性外推获得。后者已经知道最近的兴趣激增,成功应用于梯度和近端梯度技术。在多个机器学习问题上,坐标下降的性能明显优于全梯度方法。在实践中加速坐标下降并不容易:惯性加速的坐标下降在理论上是加速的,但可能并不总是导致实际的加速。我们提出了一个加速版本的坐标下降使用外推,在实践中表现出相当大的速度,惯性加速坐标下降和外推(近端)梯度下降相比。在最小二乘、Lasso、弹性网和逻辑斯谛回归上的实验验证了该方法的有效性。
2021-10-28 cs.LG stat.ML
Limited Memory Online Gradient Descent for Kernelized Pairwise Learning with Dynamic Averaging
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Jilin University(吉林大学)
针对现有成对学习OGD算法仅适用于线性模型、需样本独立假设的问题,提出基于随机样本与移动平均的轻量级核化OGD算法,结合随机傅里叶特征降核计算复杂度,在多场景下性能更优。
2024-02-02 cs.LG
Accelerated Randomized Coordinate Descent Algorithms for Stochastic Optimization and Online Learning
Indian Institute of Science(印度科学学院)
我们提出了加速随机坐标下降算法的随机优化和在线学习。我们的算法有显着减少每迭代的复杂性比已知的加速梯度算法。所提出的在线学习算法具有更好的后悔性能比已知的随机在线坐标下降算法。此外,所提出的随机优化算法表现出良好的收敛速度,最有名的随机坐标下降算法。我们还展示了仿真结果来证明所提出的算法的性能。
2018-07-16 cs.LG stat.ML
A block-coordinate descent framework for non-convex composite optimization. Application to sparse precision matrix estimation
Laboratoire J.A. Dieudonné(拉格朗日J.A.迪乌多夫实验室);Université Côte d'Azur(蔚蓝海岸大学)
本文提出了一种通用的块坐标下降框架,用于解决非凸复合优化问题,并应用于稀疏精度矩阵估计,提供收敛保证和加速迭代次数。
2026-01-29 cs.LG math.OC
Random Coordinate Descent on the Wasserstein Space of Probability Measures
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文提出随机坐标下降框架,针对Wasserstein流形优化问题,提出RWCD和RWCP方法,适用于复合目标,理论分析显示其在非凸、Polyak-Łojasiewicz及仿射凸条件下具有收敛性,实验表明在病态能量下比传统全梯度方法更高效。
2026-04-02 cs.LG math.OC stat.ML
Hybrid Coordinate Descent for Efficient Neural Network Learning Using Line Search and Gradient Descent
University of Connecticut(康涅狄格大学)
针对平方误差损失的神经网络训练,提出按梯度模长阈值在线搜索与梯度更新间切换的混合坐标下降法,并通过两层 ReLU 网络实验揭示超参数对收敛与效率的影响。
2024-08-02 cs.LG
Randomized Block Coordinate Descent for Online and Stochastic Optimization
University of Minnesota, Twin Cities(明尼苏达大学双城分校)
两种类型的低成本每次迭代梯度下降方法已被广泛研究并行。一种是在线或随机梯度下降(OGD/SGD),另一种是随机坐标下降(RBCD)。在本文中,我们结合这两种类型的方法在一起,提出了在线随机块坐标下降(ORBCD)。在每次迭代中,ORBCD只计算一个小批量样本的一个块坐标的部分梯度。ORBCD非常适合于复合最小化问题,其中一个函数是大量样本损失的平均值,另一个是定义在高维变量上的简单正则化子。我们证明了ORBCD的迭代复杂度与OGD或SGD具有相同的数量级。对于强凸函数,通过降低随机梯度的方差,证明了ORBCD可以以几何速度收敛,与方差降低的SGD和RBCD的收敛速度相当.
2014-07-26 cs.LG
A Proximal Block Coordinate Descent Algorithm for Deep Neural Network Training
The Hong Kong University of Science and Technology(香港科技大学);Jiangxi Normal University(江西师范大学);Tencent AI Lab(腾讯人工智能实验室)
由于相关的高度非凸优化,有效地训练深度神经网络(DNN)是一项挑战。反向传播(backprop)算法长期以来一直是DNN参数梯度计算中最广泛使用的算法,并与梯度下降型算法一起用于此优化任务。最近的工作已经证明了块坐标下降(BCD)类型方法在训练DNN方面的效率。鉴于此,我们提出了一种新的算法的基础上的BCD方法训练DNN,并提供其全局收敛结果建立在强大的框架上的Kurdyka-Lojasiewicz(KL)属性。标准数据集上的数值实验表明,该算法对标准的反向传播优化算法具有较好的竞争力。
2018-03-24 cs.LG math.OC stat.ML
Model identification and local linear convergence of coordinate descent
Université de Bourgogne(勃艮第大学);Institut de Mathématiques de Bourgogne(勃艮第数学研究所);Université Paris-Saclay(巴黎萨克雷大学);Inria(法国国家信息与自动化研究所);CEA(法国原子能委员会);IMAG(格勒诺布尔阿尔卑斯大学综合理工学院(注:IMAG通常指Institut de Mathématiques et d'Informatique de Grenoble,中文常译为“格勒诺布尔数学与信息研究所”,但根据上下文与“Université de Montpellier”关联,此处更准确的常见译法为“格勒诺布尔阿尔卑斯大学数学与信息研究所”,但为简洁,按机构名直译或保留缩写的话,通常Institut de Mathématiques de Grenoble,此处IMAG为其缩写,可译为“格勒诺布尔数学与信息研究所”));Université de Montpellier(蒙彼利埃大学);CNRS(法国国家科学研究中心);IMB(蒙彼利埃大学数学研究所(注:IMB通常指Institut de Mathématiques de Bordeaux,但此处根据上下文与“Université de Bourgogne”关联,应为Institut de Mathématiques de Bourgogne的缩写,即“勃艮第数学研究所”,但原文本中Samuel Vaiter的Affiliation同时有“CNRS and IMB, Université de Bourgogne”,需确认IMB是否为“IMB”,原文本中Samuel Vaiter的Affiliation为“CNRS and IMB, Université de Bourgogne, Dijon, France”,而前面Quentin Klopfenstein的Affiliation是“Université de Bourgogne, Institut de Mathématiques de Bourgogne, Dijon, France”,因此IMB应为“IMB”的独立机构,可能是Institut de Mathématiques de Bourgogne的缩写,即“勃艮第数学研究所”,此处按原文本保留“IMB”,中文译为“勃艮第数学研究所”))
对于复合非光滑优化问题,Forward-Backward算法在有限次迭代后实现模型识别(例如Lasso的支撑识别),前提是目标函数足够正则。关于坐标下降的结果是罕见的,模型识别只显示为特定的估计,例如支持向量机。在这项工作中,我们表明,循环坐标下降实现模型识别在有限的时间内广泛的功能。此外,我们证明了明确的局部线性收敛速度的坐标下降。在各种估计器和真实数据集上的广泛实验表明,这些速率与经验结果相匹配。
2020-10-22 cs.LG math.OC stat.ML
Laplacian-based Semi-Supervised Learning in Multilayer Hypergraphs by Coordinate Descent
University of Padova(帕多瓦大学);University of Rome “Tor Vergata”(罗马第二大学);Gran Sasso Science Institute(格兰萨索科学研究所)
本文提出将基于拉普拉斯的图半监督学习优化形式扩展到多层超图,并采用多种坐标下降方法求解,实验证明在合适选择规则下坐标下降优于经典梯度下降。
2023-09-24 cs.DM cs.LG
Feature Clustering for Accelerating Parallel Coordinate Descent
University of Michigan(密歇根大学);Pacific Northwest National Laboratory(太平洋西北国家实验室)
大规模L1正则化损失最小化问题出现在高维应用中,例如压缩感知和高维监督学习,包括分类和回归问题。高性能算法和实现对于有效解决这些问题至关重要。建立在以前的工作坐标下降算法的L1正则化问题,我们引入了一个新的家庭的算法称为块贪婪坐标下降,包括,作为特殊情况下,现有的几种算法,如SCD,贪婪CD,猎枪,线程贪婪。给出了块贪婪算法族的统一收敛性分析。分析表明,块贪婪坐标下降可以更好地利用并行性,如果特征被聚类,使得不同块中的特征之间的最大内积很小。我们的理论收敛性分析与实验结果支持,使用来自不同的现实世界的应用程序的数据。我们希望我们提供的算法方法和收敛性分析不仅能推动该领域的发展,而且还能鼓励研究人员系统地探索解决大规模L1正则化问题的算法的设计空间。
2012-12-17 cs.DC cs.LG math.OC
Robust Training in High Dimensions via Block Coordinate Geometric Median Descent
University of Texas at Austin(德克萨斯大学奥斯汀分校);Google AI(谷歌人工智能);Amazon Search(亚马逊搜索)
几何中值(\textsc{Gm})是统计学中用于实现未损坏数据的鲁棒估计的经典方法;在严重损坏情况下,它实现0.5的最佳崩溃点。然而,它的计算复杂性使得它不可行的鲁棒随机梯度下降(SGD)的高维优化问题。在本文中,我们表明,通过应用\textsc{Gm},只有一个明智地选择块的坐标在同一时间,并使用记忆机制,可以保持崩溃点0.5光滑的非凸问题,非渐近收敛速度可比的SGD与\textsc{Gm}。
2021-06-16 cs.DC cs.LG math.OC
On the Finite Time Convergence of Cyclic Coordinate Descent Methods
University of Chicago(芝加哥大学)
本文证明了在等调性假设下,两种循环坐标下降变体具有O(1/k)的收敛速率,并通过与梯度下降的比较展示了其优越性。
2010-05-12 cs.LG cs.NA math.NA
Coordinate Descent for MCP/SCAD Penalized Least Squares Converges Linearly
Wuhan University(武汉大学)
从观测数据中恢复稀疏信号是信号/成像处理、统计学和机器学习中的一个重要课题。非凸惩罚最小二乘因其良好的统计性质而受到广泛关注。在计算上,坐标下降(CD)是一个主力最小化非凸惩罚最小二乘准则,由于其简单性和可扩展性。在这项工作中,我们证明了线性收敛速度CD解决MCP/SCAD惩罚最小二乘问题。
2021-09-18 cs.LG stat.CO stat.ML
Markov Chain Block Coordinate Descent
National University of Defense Technology(国防科技大学);Rensselaer Polytechnic Institute(伦斯勒理工学院)
块坐标梯度下降法(BCD)是求解大规模优化问题的一种有效方法。本文考虑的BCD方法,连续更新一系列的块选择根据马尔可夫链。这种区块选择既不是独立同分布的。随机的或循环的。另一方面,它也是分布式优化和马尔可夫决策过程等应用的自然选择,其中i.i.d.随机和循环选择要么是不可行的要么是非常昂贵的。利用马尔可夫链的混合时间性质,证明了马尔可夫链BCD对极小化非凸Lipschitz可微函数的收敛性.当函数是凸的和强凸的时,我们分别建立了次线性和线性收敛速率。本文还提出了一种马尔可夫链惯性BCD方法。最后,我们讨论了潜在的应用。
2018-11-22 cs.LG math.OC stat.ML
Stability and Generalization for Randomized Coordinate Descent
Northwest University(西北大学);Southwestern University of Finance and Economics(西南财经大学);University of Birmingham(伯明翰大学)
随机坐标下降算法(RCD)是一种广泛应用于解决各种机器学习问题的优化算法,对其收敛性进行了大量的理论分析。相比之下,没有研究RCD训练的模型如何推广到测试示例。在本文中,我们初始化的RCD的推广分析,利用算法稳定性的强大工具。我们建立了凸和强凸目标的RCD的参数稳定性界,从中我们通过展示如何提前停止算法来权衡估计和优化来开发最佳推广界。我们的分析表明,RCD享有更好的稳定性相比,随机梯度下降。
2021-08-17 cs.LG
Faster Coordinate Descent via Adaptive Importance Sampling
ETH Zurich(苏黎世联邦理工学院);EPFL(洛桑联邦理工学院)
坐标下降法采用随机部分更新的决策变量,以解决大规模的凸优化问题。在这项工作中,我们引入了新的自适应规则,随机选择他们的更新。所谓自适应,我们的意思是我们的选择规则是基于对偶残差或原始-对偶间隙估计,并且可以在每次迭代时改变。我们从理论上描述了我们的选择规则的性能,并证明了最先进的改进,并将我们的理论和算法扩展到一般的凸目标。用铰链损失支持向量机和Lasso的数值实验证实了理论与实践的一致性。
2017-03-07 cs.CV cs.LG math.OC
Efficient Greedy Coordinate Descent for Composite Problems
EPFL(洛桑联邦理工学院)
随机坐标选择的坐标下降法是解决大规模最优化问题的一种有效方法。然而,在光滑问题上贪婪地选择最陡的坐标可以产生与维度$n$无关的收敛速度,并且需要多达$n$倍的更少的迭代。本文研究了基于次梯度的贪婪更新算法在一类非光滑组合问题中的应用,包括$L1$ -正则化问题、支持向量机及其相关应用。对于这些问题,我们提供(i)的第一个线性收敛速度独立的$n$,并表明,我们的贪婪更新规则提供了类似的光滑的情况下获得的加速比。这是以前被证明是真实的一个更强的贪婪坐标选择策略。此外,我们表明,(ii)我们的新的选择规则可以映射到实例的最大内积搜索,允许利用标准的最近邻算法,以加快实施。我们通过大量的数值实验证明了该方法的有效性。
2018-10-16 cs.LG math.OC stat.CO
Rank-smoothed Pairwise Learning In Perceptual Quality Assessment
Google Research(谷歌研究院)
进行成对比较是管理人类感知偏好数据的一种广泛使用的方法。通常情况下,评分员被指示根据一组特定的规则来做出选择,这些规则涉及图像质量和美学的某些方面。这个过程的结果是采样图像对的数据集,以及它们相关的经验偏好概率。根据这些成对偏好训练模型是一种常见的深度学习方法。然而,通过小批量学习通过梯度下降进行优化意味着图像的“全局”排名没有被明确考虑。换句话说,梯度下降的每个步骤仅依赖于有限数量的成对比较。在这项工作中,我们证明了用聚合的秩向概率正则化成对经验概率会导致更可靠的训练损失。我们表明,用我们的秩平滑损失训练深度图像质量评估模型,可以持续提高预测人类偏好的准确性。
2020-11-21 cs.CV cs.LG
Efficiency of Coordinate Descent Methods For Structured Nonconvex Optimization
Shanghai University of Finance and Economics(上海财经大学)
提出了一种新的坐标下降(CD)方法来最小化由三项组成的非凸函数:(i)连续可微项,(ii)简单凸项,(iii)凹连续项.首先,通过扩展随机CD到非光滑非凸设置,我们开发了一个坐标次梯度方法,通过使用块复合次梯度映射随机更新块坐标变量。该方法在一定的最优性测度下,以证明的次线性收敛速度渐近收敛到临界点。其次,我们开发了一个随机置换CD方法,它有两个交替的步骤:线性化凹部和循环通过变量。我们证明了渐近收敛到临界点和次线性复杂率的目标光滑和凹的部分。第三,我们扩展加速坐标下降(ACD)的非光滑和非凸优化,开发一种新的随机邻近DC算法,我们解决子问题不精确的ACD。对于每个DC子问题,最多只需要几次ACD迭代就可以保证收敛,并建立了收敛复杂度来确定一些近似的临界点。第四,我们进一步发展了第三种方法来最小化某些病态的非凸函数:具有高Lipschitz常数与负曲率比的弱凸函数。我们表明,在特定的标准下,ACD为基础的随机化方法具有优越的复杂性相比,传统的梯度法。最后,稀疏诱导学习模型的实证研究表明,CD方法优于基于梯度的方法,某些大规模的问题。
2019-09-03 cs.LG math.OC stat.ML
Asynchronous Delay-Aware Accelerated Proximal Coordinate Descent for Nonconvex Nonsmooth Problems
University of Central Florida(中佛罗里达大学)
非凸和非光滑问题最近在机器学习中引起了相当大的关注。然而,对于非凸和非光滑最优化问题,在保证一定性能的前提下,开发有效的方法仍然是一个挑战。近点坐标下降法(PCD)已被广泛应用于求解最优化问题,但对非凸环境下的PCD方法的认识非常有限。另一方面,异步最近坐标下降(APCD)最近受到了广泛的关注,以解决大规模的问题。然而,APCD算法的加速变体很少被研究。在本文中,我们扩展APCD方法的加速算法(AAPCD)的非光滑和非凸的问题,满足充分下降的性质,通过比较在最近的更新和线性外推点使用延迟感知动量值的函数值。据我们所知,我们是第一个提供随机和确定性加速扩展APCD算法一般非凸和非光滑问题,确保有界延迟和无界延迟的每一个极限点是一个临界点。利用Kurdyka-Lojasiewicz性质,我们将证明线性和次线性收敛速度的确定性AAPCD与有界延迟。数值结果表明,我们的算法在速度上的实际效率。
2019-02-05 cs.DC cs.LG math.OC
Random Coordinate Descent Methods for Minimizing Decomposable Submodular Functions
University of Warwick(华威大学)
次模函数最小化是在机器学习和计算机视觉中的若干应用中出现的基本优化问题。已知该问题在多项式时间内是可解的,但是通用算法具有高运行时间并且不适合于大规模问题。最近的工作已经使用凸优化技术,以获得非常实用的算法,最小化的功能,是“简单”的功能。在本文中,我们使用随机坐标下降方法,以获得更快的线性收敛速度和更便宜的迭代费用的算法。与交替投影方法相比,我们的算法不依赖于全维向量运算,并且它们在更少的迭代中收敛。
2015-02-09 cs.AI cs.LG
Convergent Block Coordinate Descent for Training Tikhonov Regularized Deep Neural Networks
Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室)
通过将ReLU函数提升到更高维的空间,我们开发了一种用于训练前馈深度神经网络(DNN)的光滑多凸公式。这使我们能够开发一个块坐标下降(BCD)训练算法,由一系列数值上表现良好的凸优化组成。利用凸分析中邻近点方法的思想,证明了该BCD算法将以一阶R-线性收敛速度全局收敛到一个稳定点。在MNIST数据库的实验中,使用该BCD算法训练的DNN始终比通过Caffe工具箱中的所有随机梯度下降(SGD)变体训练的相同DNN架构产生更好的测试集错误率。
2017-11-20 cs.CV cs.LG stat.ML
Federated Coordinate Descent for Privacy-Preserving Multiparty Linear Regression
North China Electric Power University(华北电力大学);Shandong University of Finance and Economics(山东财经大学);Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所)
分布式隐私保护回归方案已经在各个领域中得到开发和扩展,其中多方协作和私有地运行优化算法,例如,梯度下降,学习一组最佳参数。然而,传统的基于递归下降的方法无法解决包含L1正则化的目标函数的问题,例如Lasso回归。在本文中,我们提出了联邦坐标下降,一个新的分布式计划,称为FCD,安全地解决这个问题下多方的情况。具体来说,通过安全聚合和增加扰动,我们的方案保证:(1)没有本地信息泄露给其他方,(2)全局模型参数不暴露给云服务器。增加的扰动最终可以由各方消除,以获得具有高性能的全局模型。我们发现,FCD方案填补了多方安全的坐标下降方法的空白,适用于一般的线性回归,包括线性,岭和套索回归。理论安全性分析和实验结果表明,FCD算法能够有效地执行三种类型线性回归任务,并在真实世界UCI数据集上提供与集中式方法一样低的MAE度量。
2022-10-16 cs.LG
Learning Rates for Nonconvex Pairwise Learning
Renmin University of China(中国人民大学)
成对学习正受到越来越多的关注,因为它涵盖了许多重要的机器学习任务,例如,度量学习、AUC最大化和排名。因此,研究成对学习的泛化行为具有重要意义。然而,现有的推广分析主要集中在凸目标函数,离开非凸学习的探索还远远不够。此外,目前的学习率推导出的成对学习的泛化性能大多是较慢的顺序。受这些问题的启发,我们研究了非凸成对学习的泛化性能,并提供了改进的学习率。具体来说,我们开发了不同的一致收敛的梯度成对学习在不同的假设下,基于此,我们分析了经验风险最小化,梯度下降,和随机梯度下降成对学习。我们首先成功地建立学习率,这些算法在一般的非凸设置,其中的分析揭示了优化和泛化之间的权衡和早期停止的作用。然后,我们研究了具有梯度优势曲率条件的非凸学习的泛化性能。在此设置中,我们导出了$\mathcal{O}(1/n)$阶的更快学习率,其中$n$是样本大小。在最优种群风险较小的条件下,我们进一步将学习率提高到$\mathcal{O}(1/n^2)$,这是第一个$\mathcal{O}(1/n^2)$型的成对学习率,无论是凸学习还是非凸学习.总之,我们系统地分析了非凸成对学习的推广性能。
2021-11-09 cs.LG
Adaptive Stochastic Primal-Dual Coordinate Descent for Separable Saddle Point Problems
The University of Edinburgh(爱丁堡大学)
考虑一类具有可分结构的一般凸凹鞍点问题,这种形式涵盖了广泛的机器学习应用。在这种问题结构下,我们遵循鞍点问题的原始-对偶更新框架,并将具有自适应步长的随机块坐标下降纳入该框架中。我们从理论上表明,我们的建议的自适应步长可能实现一个尖锐的线性收敛速度相比,现有的方法。此外,由于我们可以选择“小批量”块坐标更新,我们的方法也适合于大规模数据的并行处理。我们将所提出的方法应用于正则化经验风险最小化,并表明它在合成数据集和真实数据集上的表现往往优于最先进的方法。
2015-06-12 cs.LG stat.ML
Coordinate Descent Methods for Fractional Minimization
Peng Cheng Laboratory(鹏城实验室)
考虑一类结构分式极小化问题,其中目标的分子部分是可微凸函数和凸非光滑函数之和,而分母部分是凸或凹函数。这个问题很难解决,因为它是非凸的。通过利用问题的结构,我们提出了两个坐标下降(CD)的方法来解决这个问题。所提出的方法迭代求解一维子问题\textit{globally},并保证收敛到坐标系平稳点。在分母为凸的情况下,在弱\textit{locally bounded non-convexity condition}下,证明了坐标系驻点的最优性强于标准临界点和方向点的最优性。在适当的条件下,CD方法Q-线性收敛到坐标系稳定点。在凹分母的情况下,我们证明了任何临界点是一个全局极小值,CD方法收敛到全局极小值值的次线性收敛速度。我们证明了所提出的方法的适用性,一些机器学习和信号处理模型。我们对真实数据的实验表明,我们的方法在准确性方面显著且一致地优于现有方法。
2023-03-24 cs.LG cs.NA math.NA
Rows vs Columns for Linear Systems of Equations - Randomized Kaczmarz or Coordinate Descent?
Carnegie Mellon University(卡内基梅隆大学)
本文研究了线性系$X β= y$在不同情况下的随机迭代算法。当Strohmer和Vershynin(2009)证明了随机Kaczmarz(RK)算法在$X$(数据点)行上的线性收敛速率时,最近对该主题的兴趣被重新点燃。之后,Leventhal和Lewis(2010)证明了随机坐标下降(RCD)算法的线性收敛性,该算法适用于$X$(特征)的列。本文的目的是简化我们对这两种算法的理解,建立它们之间的直接关系(尽管RK经常与随机梯度下降进行比较),并检查算法的共性或涉及行或列的权衡。我们还讨论了核岭回归,并提出了一种Kaczmarz风格的算法,该算法适用于数据点,并且具有解决问题的优势,而无需存储或形成Gram矩阵,这是扩展核化方法时遇到的公认问题之一。
2014-06-20 cs.LG cs.NA math.NA
Asynchronous Stochastic Block Coordinate Descent with Variance Reduction
University of Texas at Arlington(德克萨斯大学阿灵顿分校)
随机优化问题的异步并行实现近年来在理论和实践上都取得了巨大的成功。无锁的异步实现比有写锁或读锁的异步实现效率更高。本文主要研究了一种由光滑凸函数$f$和块可分凸函数组成的复合目标函数,它广泛存在于机器学习和计算机视觉中。提出了一种基于加速方差缩减技术的异步随机块坐标下降算法(AsySBCDVR),该算法在实现和分析上都是无锁的。AsySBCDVR特别重要,因为它可以同时与样本大小和维度进行良好的缩放。证明了当函数$f$具有最优强凸性时,AsySBCDVR具有线性收敛速度;当函数$f$具有一般凸性时,AsySBCDVR具有次线性收敛速度.更重要的是,在共享内存的并行系统上,可以获得接近线性的加速比。
2016-11-14 cs.LG
Randomized Pairwise Learning with Adaptive Sampling: A PAC-Bayes Analysis
School of Computer Science, University of Birmingham(伯明翰大学计算机学院);The University of Hong Kong(香港大学)
本文针对成对学习中输入对之间的统计依赖问题,将算法稳定性与PAC-Bayes框架相结合,为任意数据自适应采样方案下的成对随机梯度下降及其对抗训练变体在光滑与非光滑凸问题中提供了泛化保证。
2025-04-08 cs.LG
Fast Training of Effective Multi-class Boosting Using Coordinate Descent Optimization
The University of Adelaide(阿德莱德大学)
提出了一种基于列生成的多类分类的Boosting方法。我们的多类提升是在一个单一的优化问题中制定的,如Shen和Hao(2011)。与大多数现有的多类提升方法不同,这些方法对所有类使用相同的弱学习器集合,我们训练类指定的弱学习器(即,每个类具有不同的弱学习者集合)。我们表明,使用单独的弱学习者集为每个类导致快速收敛,而不会在训练过程中引入额外的计算开销。为了进一步提高训练的效率和可扩展性,我们还提出了一种快速坐标下降方法来解决每次提升迭代的优化问题。所提出的坐标下降法是概念上简单,易于实现,因为它是一个封闭形式的解决方案,为每个坐标更新。在多种数据集上的实验结果表明,与现有的多类Boosting方法相比,该方法在大多数情况下具有更快的收敛速度和更好的泛化性能.我们还通过经验证明,所提出的快速坐标下降算法比Shen和Hao(2011)中的MultiBoost算法需要更少的训练时间。
2013-11-23 cs.CV cs.LG stat.CO
Robust supervised learning with coordinate gradient descent
Université Paris Diderot(巴黎第七大学);École normale supérieure(巴黎高等师范学院)
本文考虑了当特征和标签都可能被损坏时,无论是重尾数据和/或损坏行的形式,用线性方法进行监督学习的问题。我们引入了一个组合的坐标梯度下降作为一个学习算法与鲁棒估计的偏导数。这导致稳健的统计学习方法,其具有与基于经验风险最小化的非稳健方法几乎相同的数值复杂度。主要的想法很简单:虽然利用梯度下降的鲁棒学习需要鲁棒地估计整个梯度以更新所有参数的计算成本,但是在坐标梯度下降中,可以使用单个偏导数的鲁棒估计器来立即更新参数。我们证明了上界的泛化误差的算法来自这个想法,控制优化和统计误差,没有一个强凸性假设的风险。最后,我们提出了一个有效的实现这种方法在一个新的Python库称为linlearn,并通过大量的数值实验表明,我们的方法引入了一个新的有趣的妥协之间的鲁棒性,统计性能和数值效率为这个问题。
2022-01-31 cs.LG math.ST stat.ML
A Fast and Scalable Pathwise-Solver for Group Lasso and Elastic Net Penalized Regression via Block-Coordinate Descent
Stanford University(斯坦福大学)
本研究提出基于块坐标下降的快速可扩展算法,结合Newton法与自适应二分法求解组Lasso及组弹性网正则化路径,开发的adelie包速度比同类最快工具快3-10倍,且lasso求解性能媲美glmnet。
2024-05-14 cs.LG cs.MS cs.SE
Accelerated Variance Reduced Block Coordinate Descent
Zhejiang University(浙江大学)
在大数据时代,由于对在\emph{ultra-high}维空间中具有\emph{a large number of samples}的问题获得\emph{highly accurate solutions}的需求,具有快速收敛、小数据访问数量和低每次迭代复杂度的算法特别有利。现有的算法缺乏这些品质中的至少一种,因此在处理这种大数据挑战时效率低下。在本文中,我们提出了一种方法享受所有这些优点与加速收敛速度$O(\frac{1}{k^2})$。在超过100万个特征的大规模数据集上进行了实验研究,以证明我们的方法在实践中的有效性。
2016-11-13 cs.LG stat.ML
Random coordinate descent: a simple alternative for optimizing parameterized quantum circuits
本文提出一种随机坐标下降算法,每次迭代仅需一个偏导数,在噪声环境下优化参数化量子电路时,具备与全梯度下降相当的随机稳定性,且在特定问题中复杂度更优。
2024-06-28 math.OC quant-ph