Integral control of the proximal gradient method for unbiased sparse optimization
针对近端梯度法在稀疏优化中存在的有偏解和迭代次数多的问题,本文设计不增加显著计算复杂度的积分控制超参数策略,实现强凸问题下合理迭代次数内的无偏解,数值仿真验证并扩展至非强凸框架。
2025-04-17 cs.SY eess.SY math.OC
SUCAG: Stochastic Unbiased Curvature-aided Gradient Method for Distributed Optimization
本文提出并分析了一种新的求解有限和最优化问题的随机梯度法,我们称之为随机无偏曲率辅助梯度法(SUCAG)。SUCAG构成了一种无偏的总梯度跟踪技术,它使用Hessian信息来加速收敛。我们分析我们的方法下的一般异步计算模型,其中每个函数被选择无限经常可能无界(但次线性)延迟。对于强凸问题,我们建立了SUCAG方法的线性收敛。当初始化点足够接近最优解时,所建立的收敛速度仅依赖于问题的条件数,使得它严格快于SAGA方法的已知速度。此外,我们描述了一个马尔可夫驱动的方法实现的SUCAG方法在一个分布式异步多代理设置,通过八卦沿无向通信图上的随机行走。我们表明,我们的分析适用,只要图是连接的,特别是,建立一个渐近线性收敛速率,是强大的图形拓扑结构。数值结果表明,我们的算法优于现有的方法。
2018-10-26 math.OC stat.ML
On the Optimal Construction of Unbiased Gradient Estimators for Zeroth-Order Optimization
Department of Computer Science University of Maryland College Park(计算机科学系大学马里兰大学学院公园)
本文针对零阶优化中梯度估计器存在偏差的问题,提出基于函数评估的无偏估计器族,通过望远镜级数重表述和精心采样消除偏差,并证明其在光滑非凸目标上达到最优复杂度,实验验证了其优越性。
2025-10-22 cs.AI cs.LG math.OC
A Stochastic Gradient Method with Biased Estimation for Faster Nonconvex Optimization
University of Southampton(南安普顿大学)
已经提出了许多优化方法来优化非凸目标(例如深度学习模型),例如批量梯度下降、随机梯度下降和随机方差减少的梯度下降。理论表明,这些优化方法可以通过使用无偏梯度估计器来收敛。然而,在实践中,有偏梯度估计可以允许更有效地收敛到附近,因为无偏方法在计算上更昂贵。为了产生快速收敛,这些优化策略有两个权衡,即随机/批量和有偏/无偏之间。本文提出了一种综合的方法,可以控制的性质的随机元素的优化,并可以平衡的权衡估计之间的有偏和无偏通过使用超参数。理论和实验表明,这个超参数可以配置为提供一个有效的平衡,以提高收敛速度。
2019-05-13 cs.LG math.OC stat.ML
Blended Conditional Gradients: the unconditioning of conditional gradients
Georgia Institute of Technology(佐治亚理工学院)
本研究提出混合条件梯度方法,结合Frank–Wolfe算法与梯度步,保留无投影、迭代点稀疏等特性,采用惰性策略求解子问题,实现强凸函数线性收敛,性能优于已有惰性条件梯度算法,还给出概率单纯形上的简化版本。
2025-03-21 cs.CC cs.LG math.OC
Non-convex Conditional Gradient Sliding
本文研究了分批、随机、有限和非凸问题的一种无投影方法,即条件梯度滑动法。CGS是Nesterov的加速梯度法和Frank-Wolfe(FW)方法的巧妙结合,在凸环境下通过节省梯度计算而优于FW。然而,在非凸环境下的CGS的研究是有限的。本文提出了非凸条件梯度滑动算法(NCGS),它在批量、随机和有限和条件下优于非凸Frank-Wolfe算法。
2017-08-16 math.OC
Decentralized conditional gradient method over time-varying graphs
该研究将分布式条件梯度法拓展至时变网络场景,建模时变网络为图随机序列的确定性形式,分析了算法收敛性并给出数值实验验证。
2023-07-20 math.OC
Simplified Versions of the Conditional Gradient Method
对求解光滑最优化问题的条件梯度法进行了简单的改进,在保持基本收敛性的同时,大大降低了每次迭代的执行代价.也就是说,我们提出的步长程序没有任何线搜索,和不精确的解决方案的方向发现子问题。计算测试的初步结果证实了所提出的修改的效率。
2018-01-16 math.OC
Lower bounds for conditional gradient type methods for minimizing smooth strongly convex functions
在本文中,我们考虑条件梯度方法。这些方法使用线性最小化预言,对于给定的向量$p \in \mathbb{R}^n$,计算子问题的解$$\arg \min_{x\in X}{\langle p,x \rangle}.$$有各种条件梯度方法,在强凸情况下具有线性收敛速率。然而,在所有这些方法中,问题的维度包括在收敛速率中,其在现代应用中可能非常大。本文证明了在强凸情形下,条件梯度法在最佳情形下的收敛速度依赖于问题$ n $的维数为$ \widetilde Ω (\sqrt {n}) $ .因此,条件梯度方法可能是无效的解决强凸优化问题的大规模。此外,应用条件梯度法的二次型极小化问题被认为是。Frank-Wolfe方法在单纯形凸情形下求解二次最优化问题的有效性(PageRank)已经被证明。这项工作表明,使用条件梯度方法来解决最小化问题的二次型在一个强凸的情况下是无效的,由于存在的尺寸在这些方法的收敛速度。因此,考虑收缩条件梯度方法。它与条件梯度法的不同之处在于它使用了一个改进的线性最小化预言。这种算法的收敛速度不依赖于维数。利用收缩条件梯度法,得到了求解$ \infty $ -球上二次型极小化问题的复杂性。该方法的评价结果与梯度法的复杂性相当。
2020-03-16 math.OC
Unbiased Gradient Low-Rank Projection
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);National University of Singapore(新加坡国立大学)
针对 GaLore 等低秩梯度投影存在偏差和收敛保证不足的问题,本文提出结合逐层采样与 Muon 的无偏方法 GUM,在保持低内存的同时实现理论收敛保证,并在 LLM 训练中优于 GaLore 及全参数训练。
2025-10-20 cs.AI cs.LG math.OC
RC Circuits based Distributed Conditional Gradient Method
本文研究了无向连通图上的分布优化问题。提出了一种新的分布式条件梯度法,其收敛速度为O(1/ \sqrt{k}).与现有方法相比,该方法的每次迭代只使用一次通信和线性最小化步骤,而不是多次。我们进一步扩展我们的结果与复合局部约束的情况下。我们证明我们的结果通过分布式矩阵完成问题的例子。
2020-03-15 math.OC
Stochastic Gradient Descent with Biased but Consistent Gradient Estimators
MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);IBM Research(IBM研究院)
随机梯度下降(SGD),可以追溯到20世纪50年代,是执行随机优化的最流行和最有效的方法之一。SGD的研究最近在机器学习中重新兴起,用于优化凸损失函数和训练非凸深度神经网络。该理论假设人们可以很容易地计算一个无偏梯度估计,这通常是由于经验风险最小化的样本平均性质的情况。然而,存在许多场景(例如,图),其中无偏估计器的计算可能与全梯度一样昂贵,因为训练样本是互连的。最近,Chen等人。(2018)提出使用一致梯度估计作为经济替代方案。鼓励经验的成功,我们表明,在一般情况下,一致的估计结果在相同的收敛行为做无偏的。我们的分析涵盖了强凸,凸和非凸目标。我们验证了合成和真实世界的数据与说明性的实验结果。这项工作开辟了几个新的研究方向,包括开发具有一致估计量的更有效的SGD更新,以及为大规模图设计有效的训练算法。
2019-12-23 cs.LG math.OC stat.ML
On the global convergent of an inexact quasi-Newton conditional gradient method for constrained nonlinear systems
本文提出一种求解约束非线性系统的全局收敛方法。该方法结合了一个有效的牛顿条件梯度法与导数自由和非单调线性搜索策略。在适当的条件下建立了所提方法的整体收敛分析,并给出了一些初步的数值实验来说明其性能。
2018-06-05 math.OC
Gradient projection and conditional gradient methods for constrained nonconvex minimization
球面上的光滑函数的极小化,或者更一般地说,光滑流形上的光滑函数的极小化,是最简单的非凸优化问题。它有很多应用。我们的目标是提出一个版本的梯度投影算法的解决方案,并获得的结果,保证收敛的算法在一些最小的自然假设。利用流形上的Lezanski-Polyak-Lojasiewicz条件证明了算法的全局线性收敛性.另一种很好地适合这个问题的方法是条件梯度(Frank-Wolfe)算法。我们研究了一些条件,保证整体收敛的全步版本的方法与线性率。
2019-06-27 math.OC
Convergence of linesearch-based generalized conditional gradient methods without smoothness assumptions
本文研究了无平滑假设下基于线搜索的广义条件梯度方法的收敛性,提出一种自动适应Hölder指数的无参数变体,证明了即使目标函数平滑部分梯度不满足Hölder连续性也能保证收敛。
2025-05-02 math.OC
The Alternating Descent Conditional Gradient Method for Sparse Inverse Problems
我们提出了一个变种的经典条件梯度法稀疏反问题的可微测量模型。这种模型出现在许多实际问题中,包括超分辨率,时间序列建模和矩阵完成。我们的算法结合了非凸和凸优化技术:我们提出了全球的条件梯度步骤交替利用可微测量模型的非凸局部搜索。这种混合给出了凸优化的理论全局最优性保证和停止条件,以及与非凸优化相关的性能和建模灵活性。我们的实验表明,我们的技术在几个应用中达到了最先进的结果。
2015-07-06 math.OC
Improved Complexities for Stochastic Conditional Gradient Methods under Interpolation-like Conditions
University of California, Davis(加州大学戴维斯分校);University of Waterloo(滑铁卢大学)
我们分析了随机条件梯度法的约束最优化问题在过参数化机器学习。我们表明,人们可以利用这样的模型所满足的插值样条件,以获得改进的预言复杂性。具体而言,当目标函数是凸的,我们表明,条件梯度法需要$\mathcal{O}(ε^{-2})$调用随机梯度预言找到一个$ε$ -最优解。此外,通过包括一个梯度滑动步骤,我们表明,电话的数量减少到$\mathcal{O}(ε^{-1.5})$。
2022-01-26 cs.LG math.OC stat.ML
The Cyclic Block Conditional Gradient Method for Convex Optimization Problems
本文研究了一个光滑函数与一个具有特定可分形式的紧支撑非光滑项之和的优化凸问题。我们分析了块版本的广义条件梯度法时,块被选择在一个循环顺序。对于这类方法中常用的两种不同步长策略,建立了全局次线性收敛速率。与经典的条件梯度算法及其随机块算法的数值比较表明了循环块更新规则的有效性。
2015-09-25 math.OC
On the convergence of conditional gradient method for unbounded multiobjective optimization problems
针对可行域无界的多目标优化问题,提出一种基于回收锥保证良定的条件梯度算法,并在温和假设下证明其渐近收敛性与迭代复杂度界,数值算例验证了性能。
2024-03-05 math.OC
FrankWolfe.jl: a high-performance and flexible toolbox for Frank-Wolfe algorithms and Conditional Gradients
我们提出了FrankWolfe.jl,一个开源的实现几个流行的Frank-Wolfe和条件约束变量的一阶约束优化。该软件包的设计考虑到了灵活性和高性能,允许轻松扩展,并依赖于用户提供的功能的假设很少。它支持Julia独特的多重分派功能,并使用MathOptInterface. jl与通用线性最优化公式顺利对接。
2021-10-05 math.OC
Hybrid Conditional Gradient - Smoothing Algorithms with Applications to Sparse and Low Rank Regularization
École Centrale Paris(巴黎中央理工学院);KU Leuven(鲁汶大学)
研究了求解有界集上多项复合凸优化问题的混合条件梯度光滑算法。这些例子包括正则化问题与几个规范作为惩罚和规范约束。HCGS将条件梯度法扩展到具有多个非光滑项的情况,其中标准条件梯度法可能难以应用。HCGS算法借用了平滑邻近方法的技术,需要一阶计算(次梯度和邻近运算)。与近似方法不同,HCGS受益于条件梯度法的优点,这使得它在某些大规模最优化问题上更有效。我们证明了这些优势与模拟上的两个矩阵最优化问题:正则化的矩阵结合$\ell_1$和迹范数罚款;和稀疏PCA的凸松弛。
2014-04-15 cs.LG math.OC stat.ML
A Conditional Gradient-Based Augmented Lagrangian Framework
本文考虑了一个通用的凸最小化模板与仿射约束的紧域,其中包括关键的半定规划应用。现有的条件梯度法要么不适用于我们的模板,要么在实践中太慢。为此,我们提出了一个新的条件梯度法,基于统一的处理平滑和增广拉格朗日框架。该方法保持了经典条件梯度法的优点,如廉价的线性最小化预言调用和决策变量的稀疏表示。我们证明了在目标残差和可行性差下的$\mathcal{O}(1/\sqrt{k})$收敛速度。这个速率基本上是相同的最先进的CG型方法,我们的问题模板,但所提出的方法是显着优于现有的方法在各种半定编程应用。
2019-01-15 math.OC
A hybrid proximal generalized conditional gradient method and application to total variation parameter learning
本文提出了一种新的方法来求解涉及两个正常的、凸的、下连续函数之和的最优化问题,其中一个函数具有Lipschitz连续梯度。所提出的方法具有混合性质,结合了通常的向前向后和广义条件梯度法。我们建立了一个收敛速度$o(k^{-1/3})$在温和的假设下,一个特定的步长规则,并显示了应用程序的全变差参数学习问题,这表明它的好处,在非光滑凸优化的背景下。
2022-11-02 math.OC
Duality between subgradient and conditional gradient methods
INRIA(法国国家信息与自动化研究所);Ecole Normale Supérieure(巴黎高等师范学院)
给定一个凸优化问题及其对偶,有许多可能的一阶算法。在本文中,我们证明了镜像下降算法和推广条件梯度法的算法之间的等价性。这是通过凸对偶完成的,并且特别地意味着对于某些问题,例如对于具有非光滑损失的监督机器学习问题或由非光滑正则化器正则化的问题,原始次梯度方法和对偶条件梯度方法在形式上是等价的。对偶解释导致了一种镜像下降的线搜索形式,以及原始-对偶证书的收敛保证。
2013-10-18 cs.LG math.OC stat.ML
An Accelerated Variance-Reduced Conditional Gradient Sliding Algorithm for First-order and Zeroth-order Optimization
Nanjing University of Information Science & Technology(南京信息工程大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学);JD Finance America Corporation(京东金融美国公司);University of Pittsburgh(匹兹堡大学)
条件梯度算法(也称为Frank-Wolfe算法)最近在机器学习社区中重新流行起来,因为它具有解决约束问题的无投影特性。虽然已经提出了条件梯度算法的许多变体来提高性能,但它们依赖于一阶信息(梯度)来优化。自然,这些算法无法在日益流行的零阶优化领域正常工作,其中只有零阶信息(函数值)可用。为了填补这一空白,我们提出了一种新的加速方差减少条件梯度滑动(ARCS)算法的有限和问题,它可以使用一阶或零阶信息进行优化。据我们所知,ARCS是第一个零阶条件梯度滑动型算法解决凸问题的零阶优化。在一阶优化中,ARCS的收敛结果在梯度查询预言机的数量方面大大优于以前的算法。最后,通过在真实数据集上的实验,验证了ARCS的优越性。
2021-09-18 cs.LG math.OC
Generalized conditional gradient: analysis of convergence and applications
Université de Rouen(鲁昂大学);Lagrange(拉格朗日);CNRS(法国国家科学研究中心);UNS(尼斯大学);OCA(蔚蓝海岸天文台);Université de Bretagne du Sud(南布列塔尼大学);IRISA(法国国家信息与自动化研究所雷恩分院)
本技术报告的目的是提供Bredies等人[BLM05]引入的广义条件梯度方法的其他结果。事实上,当目标函数是光滑的,我们提供了一个新的证书的最优性,我们表明,该算法具有线性收敛速度。文中还讨论了该算法的应用。
2015-10-22 cs.LG math.OC stat.ML
Zero-Order Stochastic Conditional Gradient Sliding Method for Non-smooth Convex Optimization
本文针对带约束的非光滑随机凸优化问题,提出零阶随机条件梯度滑动算法 ZO-SCGS,在非光滑与光滑黑箱情形下均表现鲁棒,并在光滑情形下以更少 oracle 调用超越现有最优算法。
2023-05-25 math.OC
Adaptive Conditional Gradient Descent
Institute for Research in Fundamental Sciences (IPM)(伊朗基础科学研究院);Iran University of Science and Technology(伊朗科技大学);CentraleSupélec(中央苏黎世高等电力学院);Université Paris-Saclay(巴黎萨克雷大学);Inria(法国国家信息与自动化研究所)
本文提出一种基于线性最小化预言机的自适应步长策略,通过估计局部Lipschitz常数保证迭代充分下降,在非凸、星形凸和强凸设置下实现了匹配最优理论界限的收敛率。
2025-10-13 math.OC stat.ML
A Parameter-Free Conditional Gradient Method for Composite Minimization under Hölder Condition
本文针对弱光滑函数与凸函数之和的复合优化问题,提出一种无需已知Hölder参数的无参数条件梯度法,通过局部二次上近似和自适应线搜索确定步长,达到与依赖参数方法相同的收敛速率,并通过实验验证其优越性。
2023-05-29 math.OC
A Variance Controlled Stochastic Method with Biased Estimation for Faster Non-convex Optimization
School of Electronic and Computer Science(电子与计算机科学学院);University of Southampton(南安普顿大学)
本文提出了一种新的技术,{ \em方差控制随机梯度}(VCSG),以提高性能的随机方差降低梯度(SVRG)算法。为了避免SVRG对梯度方差的过度减小,在VCSG中引入了一个超参数$λ$来控制SVRG减小后的方差。理论表明,优化方法可以通过使用无偏梯度估计器来收敛,但在实践中,有偏梯度估计可以允许更有效地收敛到附近,因为无偏方法在计算上更昂贵。$λ$还具有平衡无偏估计和有偏估计之间的权衡的效果。其次,为了最小化SVRG中的完全梯度计算的数量,引入方差有界批处理以减少每次迭代中所需的梯度计算的数量。对于光滑非凸函数,该算法在$\mathcal{O}(min\{1/ε^{3/2},n^{1/4}/ε\})$次数内收敛到一个近似的一阶稳定点($\mathbb{E}\|\nabla{f}(x)\|^{2}\leqε$),改善了基于随机梯度的SCS方法$(\mathcal{O}(min\{1/ε^{5/3},n^{2/3}/ε\})$的前导梯度复杂度.理论和实验表明,VCSG可以部署,以提高收敛。
2021-02-19 cs.AI cs.LG math.OC
A generalized conditional gradient method for multiobjective composite optimization problems
本文研究多目标复合最优化问题,它是由同时极小化若干个目标函数组成的,每个目标函数由光滑和非光滑函数组成。为了解决这些问题,我们提出了一个广义版本的条件梯度法,也被称为弗兰克-沃尔夫方法。该方法进行了分析与三个步长策略,包括Armijo型,自适应,并减少步长。我们建立了渐近收敛性质和迭代复杂性的界限,有和没有凸性假设的目标函数。数值实验说明的方法的实际行为。
2023-02-24 math.OC
An Inexact Newton-like conditional gradient method for constrained nonlinear systems
本文提出一种求解约束非线性方程组的不精确Newton型条件梯度法。利用一般的优势条件,证明了新方法的局部收敛和收敛速度。给出了这一条件的两个应用:一个是导数满足Holder-like条件的函数,另一个是满足Smale条件的函数,其中包括大量的解析函数.文中还给出了一些数值实验,说明了该方法对中大型问题的适用性。
2017-05-22 math.OC
Generalized conditional gradient and learning in potential mean field games
本文将广义条件梯度算法用于二阶势单调平均场博弈,证明其等价于虚拟博弈,并给出多种步长下最优性差距、可利用性和解距离的收敛速率,线搜索步长可实现线性收敛。
2023-08-20 math.OC
Linear convergence of accelerated conditional gradient algorithms in spaces of measures
给出了Radon测度空间中求解最优化问题的一类广义条件梯度算法。该方法迭代地插入额外的Dirac-delta函数,并优化相应的系数。在一般假设下,得到了目标泛函的次线性$\mathcal{O}(1/k)$速率,该速率在大多数情况下是尖锐的。为了提高效率,可以完全解决在每次迭代的方法中出现的有限维子问题。我们提供了一个分析所产生的过程:在最优解的结构假设下,线性$\mathcal{O}(ζ^k)$收敛速度得到本地。
2021-03-26 math.OC
Conditional gradient methods for stochastically constrained convex minimization
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
提出了两种新的基于条件梯度的方法来求解具有大量线性约束的结构随机凸优化问题。这个模板的迭代自然产生于组合问题的SDP松弛,其涉及在问题维度上是多项式的许多约束。我们的框架的最重要的特点是,只有一个子集的约束处理在每次迭代,从而获得了计算优势,需要完整的通行证。我们的算法依赖于方差减少和平滑结合使用的条件梯度步骤,并伴随着严格的收敛保证。初步的数值实验说明了该方法的实际性能。
2020-07-07 cs.LG math.OC stat.ML
Conditional Gradient Methods for Convex Optimization with General Affine and Nonlinear Constraints
Georgia Institute of Technology(佐治亚理工学院)
近年来,条件梯度法在机器学习和优化领域引起了广泛的关注。这些简单的方法可以保证稀疏解的产生。此外,无需计算全梯度,它们有时甚至可以处理决策变量数量呈指数级增长的大规模问题。本文旨在通过提出求解一般仿射约束和非线性约束的凸优化问题的新的条件梯度法,大大扩展这些方法的应用范围。更具体地说,我们首先提出了一个新的约束外推条件梯度(CoexCG)的方法,可以实现一个${\cal O}(1/ε^2)$迭代复杂性光滑和结构非光滑函数约束凸优化。我们进一步开发了CoexCG的新变体,即约束外推和双正则条件梯度(CoexDurCG)方法,可以实现与CoexCG相似的迭代复杂度,但允许自适应选择算法参数。我们说明了这些方法的有效性,解决了一类重要的放射治疗治疗计划问题所产生的医疗保健行业。据我们所知,所有的算法方案和它们的复杂性结果在无投影方法领域都是新的。
2021-06-29 cs.LG math.OC
A Newton conditional gradient method for constrained nonlinear systems
本文考虑了一类约束非线性方程组的求解问题。我们提出了一个基于牛顿法和条件梯度法相结合的算法,并建立了它的局部收敛分析。我们的分析是通过使用优势条件技术,使我们能够证明在一个统一的方式收敛结果的两个大家庭的非线性函数。第一个包括函数的衍生物满足霍尔德样条件,和第二个由一个实质性的子类的解析函数。数值实验表明,所提出的方法的适用性,并与其他一些方法进行了比较讨论。
2016-08-24 math.OC
Non-Uniform Stochastic Average Gradient Method for Training Conditional Random Fields
University of British Columbia(不列颠哥伦比亚大学);Ambiata;Simon Fraser University(西蒙弗雷泽大学)
我们采用随机平均梯度(SAG)算法训练条件随机场(CRF)。我们描述了一个实际的实现,使用结构的CRF梯度,以减少这种线性收敛的随机梯度方法的内存需求,提出了一个非均匀采样方案,大大提高了实际性能,并分析了收敛速度的SAGA变量下的非均匀采样。我们的实验结果表明,我们的方法在训练目标方面往往显着优于现有的方法,并且在测试误差方面表现得与最优调整的随机梯度方法一样好或更好。
2015-04-16 cs.LG math.OC stat.CO
Affine invariant convergence rates of the conditional gradient method
本文研究了条件梯度法求解凸复合问题的收敛性,证明在合适的增长性质和步长选择下对偶间隙收敛到零,并给出从次线性到线性的仿射不变收敛速率。
2023-05-26 math.OC
Adaptive generalized conditional gradient method for multiobjective optimization
本研究提出一种适用于有/无约束多目标优化的广义条件梯度法,结合归一化下降方向与线搜索,证明了Pareto最优性收敛性并分析复杂度,数值实验验证了其可行性与竞争力。
2025-03-22 math.OC
Backtracking linesearch for conditional gradient sliding
我们提出了一个修改的条件梯度滑动(CGS)方法,最初是在\cite{lan2016conditional}。虽然CGS方法是无投影一阶方法理论中的理论突破,因为它是第一个达到理论性能极限的方法,但在实现中,它需要知道目标函数$L$的梯度的Lipschitz常数和总梯度评估$N$的数量。这样的要求在实际实现中带来了困难,不仅因为可能难以选择满足收敛条件的$L$和$N$的适当值,而且因为$L$和$N$的保守选择可能使CGS方法的实际数值性能恶化。我们所提出的方法,称为条件梯度滑动法与线搜索(CGS-ls),不需要知识的$L$和$N$,并能够提前终止理论上所需的迭代次数之前。虽然在数值实现中更实用,但我们提出的CGS-ls方法的理论性能仍然与CGS方法一样好。我们提出了数值实验,以显示我们所提出的方法在实践中的效率。
2020-06-09 math.OC
Locally Accelerated Conditional Gradients
Univeristy of California, Berkeley(加州大学伯克利分校);Georgia Institute of Technology(佐治亚理工学院);Zuse Institute Berlin(柏林祖斯研究所);Technische Universität Berlin(柏林工业大学)
条件梯度是光滑凸优化的一类无投影一阶算法。正因为如此,它们经常被用来解决光滑的凸优化问题的多面体,其中正交投影的计算成本将是禁止的。然而,他们不享受最佳的收敛速度实现基于投影的加速方法,而且,实现这样的全球加速率是信息理论上不可能的这些方法。为了解决这个问题,我们提出了局部加速条件的约束-一个算法框架,耦合加速步骤与条件梯度步骤,以实现局部加速光滑强凸问题。我们的方法不需要投影到可行集,但只在(通常是低维)单纯形,从而保持在海湾投影的计算成本。此外,它实现了最佳的加速局部收敛。我们的理论结果得到了数值实验的支持,数值实验表明,我们的框架在每次迭代的进度和挂钟时间方面都比最先进的方法有显著的加速。
2019-10-11 cs.LG math.OC stat.ML
Generalized conditional gradient methods for multiobjective composite optimization problems with H{ö}lder condition
针对多目标复合优化问题,提出依赖参数与无参数两种广义条件梯度方法,并通过指示函数和不确定函数测试验证其收敛与性能。
2024-10-24 math.OC
A Conditional Gradient Framework for Composite Convex Minimization with Applications to Semidefinite Programming
我们提出了一个具有广泛应用的复合凸最小化模板的条件梯度框架。我们的方法结合了平滑和同伦技术的CGM框架下,并证明达到最佳的$\mathcal{O}(1/\sqrt{k})$收敛速度。我们证明了,同样的速度举行,如果线性子问题近似解决加性或乘性误差。与相关工作相比,当非光滑项是指示函数时,我们能够刻画收敛性。我们的框架的具体应用包括非光滑最小化,半定规划,最小化与线性包含约束的紧域。数字证据证明了我们的框架的好处。
2018-08-20 math.OC
Universal Conditional Gradient Sliding for Convex Optimization
本文提出了一种一阶无投影方法,即通用条件梯度滑动(UCGS)方法,用于求解凸可微优化问题的$\varepsilon$ -近似解。对于具有Hölder连续梯度的目标函数,我们证明了UCGS能够以至多具有$O((M_νD_X^{1+ν}/{\varepsilon})^{2/(1+3ν)})$梯度评估和$O((M_νD_X^{1+ν}/{\varepsilon})^{4/(1+3ν)})$线性目标优化的$\varepsilon$ -解终止,其中$ν\in (0,1]$和$M_ν>0$是Hölder条件的指数和常数。此外,UCGS能够执行这样的计算,而不需要平滑度信息$ν$和$M_ν$的任何特定知识。在弱光滑的情况下,当$ν\in (0,1)$,这两个复杂性的结果改善了当前的国家的最先进的$O((M_νD_X^{1+ν}/{\varepsilon})^{1/ν})$结果的一阶投影的自由方法实现的条件梯度方法。在滑动型算法类中,据我们所知,这是第一次滑动型算法不仅能够提高梯度复杂度,而且能够提高计算近似解的整体复杂度。在平滑情况下,当$ν=1$时,UCGS匹配最先进的复杂度结果,但增加了更多的功能,允许实际实现。
2021-03-19 math.OC
Improved conditional gradient method for the generalized cone order optimization problem on the local sphere
本文提出局部球面上广义锥序优化问题,用改进条件梯度方法(ICGM)求解,通过Armijo规则更新步长并在非凸条件下证明收敛性,凸性假设下证明聚点为球面弱Pareto解。
2024-12-18 math.OC
Sparser Kernel Herding with Pairwise Conditional Gradients without Swap Steps
Pairwise Conditional Quantients(PCG)算法是Frank-Wolfe算法的一个强大的扩展,导致特别稀疏的解决方案,这使得PCG非常吸引人的问题,如稀疏信号恢复,稀疏回归和内核放牧。不幸的是,PCG展示了所谓的交换步骤,这些步骤可能无法提供足够的原始进展。这些坏步骤的数量由维度上的函数限定,因此已知的保证不能推广到无限维的情况,而这是内核羊群所需要的。我们提出了一个新的变体的PCG,所谓的混合成对条件一致性(BPCG)。这种新算法不需要任何交换步骤,非常容易实现,并且不需要任何内部梯度对齐过程。如果不发生丢弃阶跃,则BPCG的收敛速度基本上是PCG的收敛速度,并且因此不比PCG差,但是在许多情况下改进并提供新的速度。此外,我们在数值实验中观察到,BPCG的解比PCG的解稀疏得多。我们应用BPCG的内核放牧设置,在那里我们得到很好的正交规则,并提供数值结果证明我们的方法的性能。
2022-02-08 math.OC
A Linearly Convergent Conditional Gradient Algorithm with Applications to Online and Stochastic Optimization
Technion - Israel Inst. of Tech.(以色列理工学院)
线性优化在算法上比非线性凸优化简单许多倍。线性优化拟阵多面体,匹配多面体和路径多面体的问题,我们有简单而有效的组合算法的例子,但其非线性凸对应更难,并承认显着效率较低的算法。这就激发了凸优化的计算模型,包括离线,在线和随机设置,使用线性优化预言机。在这个计算模型中,我们给出了几个新的结果,改善了以前的国家的最先进的。我们的主要结果是一个新的条件梯度算法光滑和强凸优化多面体集,执行只有一个单一的线性优化步骤,在每个迭代的域上,并享有线性收敛速度。这给出了一个指数级的改善收敛速度比以前的结果。基于这个新的条件梯度算法,我们给出了第一个算法的在线凸优化多面体集,只执行一个单一的线性优化步骤的域,同时有最佳的遗憾保证,回答一个悬而未决的问题Kalai和Vempala,Hazan和羽衣甘蓝。我们的在线算法也意味着条件梯度算法的非光滑和随机凸优化与投影(子)梯度方法相同的收敛速度。
2015-08-14 cs.LG math.OC stat.ML
On the Equivalence between Herding and Conditional Gradient Algorithms
INRIA(法国国家信息与自动化研究所)
我们证明了Welling(2009)的羊群过程完全采用标准凸优化算法的形式-即最小化二次矩差异的条件梯度算法。这个链接使我们能够调用凸优化的收敛结果,并考虑更快的替代品的再生核希尔伯特空间中的积分近似的任务。我们通过数值模拟研究了不同变体的行为。实验表明,虽然我们可以在近似积分的任务上改进羊群算法,但原始羊群算法往往更接近最大熵分布,从而更多地揭示了羊群算法背后的学习偏差。
2012-09-11 cs.LG math.OC stat.ML
Model Function Based Conditional Gradient Method with Armijo-like Line Search
Univeristy of Göttingen(哥廷根大学);Saarland University(萨尔大学)
将条件梯度法推广到一类非光滑非凸优化问题,在机器学习中有着广泛的应用。该算法通过在约束集上最小化所谓的模型函数来迭代。补充Amijo线搜索程序,我们证明了连续收敛到一个稳定点。模型函数的抽象框架为具体算法的设计提供了极大的灵活性。作为特殊情况,例如,我们开发了一个算法添加剂复合问题和算法的非线性复合问题,导致高斯-牛顿型算法。这两个例子在非光滑非凸优化中是新颖的,并且在机器学习中有许多应用。此外,我们得到了一个混合版本的条件梯度和邻近最小化计划的免费,它结合了两者的优点。我们的算法表现出良好的稀疏非线性鲁棒回归问题,我们讨论了所提出的框架在几个矩阵分解公式的灵活性。
2019-01-23 cs.LG math.OC
Faster One-Sample Stochastic Conditional Gradient Method for Composite Convex Minimization
ETH Zürich(苏黎世联邦理工学院);EPFL(洛桑联邦理工学院);Amazon Web Services(亚马逊云科技);Umeå University(于默奥大学)
我们提出了一个随机条件梯度法(CGM)的最小化凸有限和目标形成的光滑和非光滑的总和。该模板的现有CGM变体要么收敛速度慢,要么需要在算法执行过程中仔细增加批量大小,这导致计算全梯度。相比之下,所提出的方法,配备了随机平均梯度(SAG)估计,每次迭代只需要一个样本。然而,它保证了与更复杂的方差减少技术相当的快速收敛速度。在应用中,我们特别强调了大量的可分离约束的问题。这种问题在机器学习和理论计算机科学中出现的半定编程(SDP)公式中普遍存在。我们提供了矩阵完成,无监督聚类和稀疏切割SDP的数值实验。
2022-04-17 cs.LG math.OC
Heavy Ball Momentum for Conditional Gradient
University of Minnesota(明尼苏达大学)
条件梯度算法,又称Frank Wolfe(FW)算法,在机器学习和信号处理应用中具有良好的记录优点。与基于投影的方法不同,动量不能提高FW的收敛速度。这种限制促使目前的工作,这涉及沉重的球的势头,其影响FW。具体而言,它是建立重球提供了一个统一的观点上的原始-对偶(PD)收敛,并享有更严格的每迭代PD差错率,多个选择的步长,其中PD误差可以作为停止标准,在实践中。此外,它被断言,重新启动,通常采用的计划与涅斯捷罗夫的动量,可以进一步收紧这个PD误差界。数值结果表明,重球动量在FW迭代中的有效性。
2021-10-08 cs.LG math.OC
Conditional gradient methods on unbounded feasible regions
School of Information Technology, Deakin University(迪肯大学信息技术学院)
研究无界可行域上条件梯度法的收敛性,提出两种紧致限制原则,一种用含初始目标子水平集的紧致凸集,另一种通过迭代中紧致凸集交集更新限制,在特定条件下目标值收敛到全局最优,还给出相关构造性限制及数值实验结果。
2026-07-29 math.OC
Primal-dual proximal bundle and conditional gradient methods for convex problems
Goergen Institute for Data Science and Artificial Intelligence (GIDS-AI) and Department of Computer Science, University of Rochester(罗切斯特大学高根数据科学与人工智能研究所及计算机系)
本文提出原始-对偶近端束方法求解凸非光滑复合优化与鞍点问题,建立迭代复杂度,发现与条件梯度的对偶性,并验证其优于次梯度方法。
2025-09-25 math.OC