Accelerating Frank-Wolfe via Averaging Step Directions
Frank-Wolfe方法因其快速的每次迭代复杂度而成为稀疏约束优化中的一种流行方法。然而,折衷是其最坏情况下整体收敛相对较慢,并且重要的是,从根本上慢于其流率--也就是说,收敛速度被离散化误差抑制。在这项工作中,我们考虑修改后的弗兰克-沃尔夫的步骤方向是一个简单的加权平均过去的甲骨文调用。这种方法需要非常少的内存和计算开销,并证明衰减这个离散化误差项。数值上,我们表明,这种方法提高了收敛速度在几个问题,特别是在稀疏流形已被检测。理论上,我们证明了该方法具有$O(1/k^p)$的整体收敛速度,其中$0< p < 1$ ;流形识别后,该速度加快到$O(1/k^{3p/2})$。我们还观察到,该方法从很早的阶段就实现了这种加速率,这表明这一系列方法的加速模式很有前途。
2022-05-24 cs.LG math.OC
Stochastic In-Face Frank-Wolfe Methods for Non-Convex Optimization and Sparse Neural Network Training
University of California, Berkeley(加州大学伯克利分校)
Frank-Wolfe方法及其扩展非常适合于提供具有理想结构属性(例如稀疏性或低秩结构)的解决方案。我们引入了一个新的变体的Frank-Wolfe方法,结合Frank-Wolfe步骤和最速下降步骤,以及一个新的修改的“Frank-Wolfe间隙”,以衡量在非凸的情况下收敛。我们进一步扩展这种方法,将在面方向保持结构化的解决方案,以及块坐标步骤,我们证明了计算保证修改后的Frank-Wolfe间隙的所有这些变体。我们特别受到这种方法的应用稀疏属性的神经网络的训练,我们将我们的块坐标方法的问题,$\ell_1$正则化神经网络的训练。我们提出了几个数值实验的结果,人工和真实的数据集证明我们的方法在训练稀疏神经网络的显着改进。
2019-06-09 cs.LG math.OC stat.ML
Efficient Optimization of Dominant Set Clustering with Frank-Wolfe Algorithms
Chalmers University of Technology(查尔姆斯理工大学)
我们研究弗兰克-沃尔夫算法-标准的,成对的,和远离步骤-有效的优化优势集聚类。我们提出了一个统一的和计算效率高的框架,采用不同的变体的弗兰克-沃尔夫方法,我们调查其有效性,通过几个实验研究。此外,我们提供了明确的收敛速度的算法在所谓的Frank-Wolfe差距。理论分析专门针对优势集聚类,并始终涵盖不同的变体。
2022-12-05 cs.LG math.OC stat.ML
Primal-Dual Block Frank-Wolfe
UT Austin(德克萨斯大学奥斯汀分校);Amazon(亚马逊)
我们提出了一个变种的Frank-Wolfe算法解决一类稀疏/低秩优化问题。我们的公式包括弹性网络,正则化支持向量机和相位恢复作为特殊情况。提出的原始-对偶块Frank-Wolfe算法在保持线性收敛速度的同时降低了每次迭代的代价。我们的方法的每次迭代成本取决于解决方案的结构复杂性(即稀疏性/低秩),而不是环境维度。我们的经验表明,我们的算法优于最先进的方法(多类)分类任务。
2019-06-06 cs.LG math.OC stat.ML
Linear Convergence of the Frank-Wolfe Algorithm over Product Polytopes
Zuse Institute Berlin(柏林泽尼克研究所);Carlos III University(卡洛斯三世大学);CUNEF Universidad(CUNEF大学);Technische Universität Berlin(柏林技术大学)
本文研究Frank-Wolfe算法在乘积多胞形上的线性收敛性,引入基于分量条件数的金字塔宽度和顶点-面距离,证明对μ-Polyak-Łojasiewicz凸目标线性收敛,并应用于高维多胞形交集可行点近似求解。
2025-09-10 cs.LG math.OC
A Randomized Linearly Convergent Frank-Wolfe-type Method for Smooth Convex Minimization over the Spectrahedron
Technion - Israel Institute of Technology(技术学院-以色列理工学院)
本文提出了一种随机线性收敛的Frank-Wolfe型方法,用于在谱hedron上高效最小化平滑凸函数。
2026-03-02 cs.LG math.OC
A Newton Frank-Wolfe Method for Constrained Self-Concordant Minimization
The University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);EPFL(洛桑联邦理工学院)
我们展示了如何可伸缩地解决一类约束自协调极小化问题使用线性极小化神谕(LMO)在约束集。我们证明了我们的方法的LMO调用的数量是几乎相同的L-光滑的情况下的Frank-Wolfe方法。具体来说,我们的牛顿弗兰克-沃尔夫方法使用$\mathcal{O}(ε^{-ν})$ LMO,其中$ε$是所需的精度,而$ν:= 1 + o(1)$。此外,我们证明了我们的算法可以利用改进的变体的LMO为基础的计划,包括远离步骤,达到线性收敛速率。我们还提供了数值证据与投资组合设计的竞争比,D-最优试验设计,和逻辑斯谛回归与弹性网牛顿弗兰克沃尔夫优于国家的最先进的。
2020-02-17 cs.LG math.OC stat.ML
Fast block-coordinate Frank-Wolfe algorithm for semi-relaxed optimal transport
WASEDA University(早稻田大学)
最优运输(OT)通过考虑两个概率分布之间的空间位置来提供它们之间的距离,已被应用于广泛的各种应用。计算OT问题需要求解具有严格质量守恒约束的线性规划。这一要求阻碍了其应用于大规模的问题。为了缓解这个问题,最近提出的松弛OT方法通过放松这些约束来使用更快的算法。其有效性的实际应用已被证明。然而,它仍然表现出缓慢的收敛。为此,针对凸半松弛OT,我们提出了一个快速块坐标Frank-Wolfe(BCFW)算法,它给出了稀疏的解决方案。具体地说,我们提供了它们的最差收敛迭代的上界,以及线性化对偶间隙和拉格朗日对偶间隙之间的等价性。还提出了三个快速变种的建议BCFW。在颜色传递问题的数值计算表明,所提出的算法优于国家的最先进的算法在不同的设置。
2021-03-10 cs.LG math.OC
Faster Rates for the Frank-Wolfe Algorithm Using Jacobi Polynomials
Indian Institute of Science(印度科学学院)
Frank Wolfe算法(FW)是求解大规模约束最优化问题的一种流行的无投影算法。然而,FW算法在最小化紧致凸集上的光滑凸函数时具有次线性收敛速度。因此,探索产生更快收敛速度的技术变得至关重要。获得更快速率的经典方法是组合先前的迭代以获得下一个迭代。在这项工作中,我们将这种方法扩展到FW设置,并表明,最佳的方式来结合过去的迭代是使用一组正交的雅可比多项式。我们还提出了一种基于多项式的加速技术,称为雅可比多项式加速的FW,它使用与雅可比递归相关的组合权重将当前递归与过去递归相结合。通过仔细选择雅可比多项式的参数,我们获得了更快的次线性收敛速度。我们提供了真实数据集上的数值实验,以证明所提出的算法的有效性。
2021-10-19 cs.LG math.OC
Approximate Frank-Wolfe Algorithms over Graph-structured Support Sets
Fudan University(复旦大学);Stony Brook University(石溪大学)
本文考虑求解图结构支撑集上凸优化问题的近似Frank-Wolfe(FW)算法,其中线性最小化预言(LMO)一般不能有效地获得.我们首先证明了两个流行的近似假设(加法和乘法间隙误差)是不适用的,没有廉价的间隙近似LMO预言存在。因此,提出了近似对偶最大化神谕(DMO),它近似的内积,而不是差距。我们证明了使用$δ$ -近似DMO的标准FW方法在最坏情况下收敛为$\mathcal{O}((1-δ) \sqrt{s}/δ)$,并且在约束集的$δ$ -松弛上收敛为$\mathcal{O}(L/(δ^2 t))$。此外,当解在边界上时,FW的一个变体在二次增长假设下收敛为$\mathcal{O}(1/t^2)$。我们的实证结果表明,即使这些改进的界限是悲观的,在恢复现实世界的图像与图形结构的稀疏性显示快速收敛。
2022-06-17 cs.LG math.OC
Linear Convergence of a Frank-Wolfe Type Algorithm over Trace-Norm Balls
Microsoft Research(微软研究院);Princeton University(普林斯顿大学)
我们提出了一个秩$k$变种的经典Frank-Wolfe算法来解决凸优化的轨迹范数球。我们的算法用一个顶- $k$奇异向量计算($k$-SVD)代替了Frank-Wolfe算法中的顶奇异向量计算($1$-SVD),这可以通过重复应用$1$ -SVD $k$次来完成。或者,我们的算法可以被看作是一个排名$k$限制版本的投影梯度下降。当目标函数光滑且强凸时,我们的算法具有线性收敛速度,且最优解的秩至多为$k$。这提高了收敛速度和总的时间复杂度的Frank-Wolfe方法及其变种。
2017-11-09 cs.DS cs.LG math.OC
Block-Coordinate Frank-Wolfe Optimization for Structural SVMs
Machine Learning Laboratory, ETH Zurich(苏黎世联邦理工学院机器学习实验室)
我们提出了一个随机块坐标的经典Frank-Wolfe算法的凸优化与块可分离的约束。尽管其较低的迭代成本,我们表明,它达到了类似的收敛速度在对偶间隙的完整的弗兰克-沃尔夫算法。我们还表明,当应用到双结构支持向量机(SVM)的目标,这产生了一个在线算法,具有相同的低迭代复杂度的原始随机次梯度方法。然而,与随机次梯度方法不同,块坐标Frank-Wolfe算法允许我们计算最佳步长,并产生可计算的对偶间隙保证。我们的实验表明,这种简单的算法优于竞争结构SVM求解器。
2013-01-14 cs.LG math.OC stat.ML
Linear Convergence of Frank-Wolfe for Rank-One Matrix Recovery Without Strong Convexity
Technion - Israel Institute of Technology(以色列理工学院)
我们考虑凸优化问题,这是广泛使用的低秩矩阵恢复问题的凸松弛。特别是,在几个重要的问题,如相位恢复和鲁棒PCA,在许多情况下的基本假设是,最优解是秩一。在本文中,我们考虑一个简单而自然的充分条件的目标,使这些松弛的最优解确实是唯一的和秩1。主要地,我们证明了在这种条件下,标准的Frank-Wolfe方法与线搜索(即,不需要任何参数调整),其每次迭代仅需要单个秩一SVD计算,仅在$O(\log{1/ε})$迭代中找到$ε$近似解(与$O(1/ε)$的先前最佳已知边界相反),尽管事实上目标不是强凸的。我们考虑了几个变种的基本方法,提高了复杂性,以及由强大的PCA动机的扩展,最后,扩展到非光滑问题。
2022-06-19 cs.LG math.OC
Frank Wolfe Meets Metric Entropy
Frank-Wolfe算法由于其能够有效地解决机器学习和高维统计中的约束优化问题而重新流行起来。因此,有很多兴趣在建立时,算法可以拥有一个“线性”的$O(\log(1/ε))$无量纲迭代的复杂性相比,投影梯度下降。在本文中,我们提供了一个通用的技术,建立特定领域的和易于估计的下限Frank-Wolfe及其变种使用度量熵的域。最值得注意的是,我们表明,一个无量纲的线性上限必须失败,不仅在最坏的情况下,但在\emph{average case}:高斯或球形随机多面体在$\mathbb{R}^d$与$\mathrm{poly}(d)$顶点,弗兰克-沃尔夫需要高达$\tildeΩ(d)$迭代,以实现$O(1/d)$的错误界,具有很高的概率。我们还建立了核规范球的这种现象。与度量熵的联系也对统计学中的条件梯度算法有着有趣的积极影响,例如梯度提升和匹配追踪。特别是,我们表明,它是可能的提取快速衰减的上限直接从分析的基础优化过程中的超额风险。
2022-05-17 cs.LG math.OC stat.ML
Faster Unbalanced Optimal Transport: Translation invariant Sinkhorn and 1-D Frank-Wolfe
DMA, ENS, PSL(巴黎文理研究大学高等师范学校数学系);LIGM, UPEM(巴黎东马恩拉瓦莱大学加斯帕尔·蒙日信息实验室);CNRS, DMA, ENS, PSL(法国国家科学研究中心、巴黎文理研究大学高等师范学校数学系)
不平衡最优输运(UOT)扩展了最优输运(OT),以考虑质量变化来比较分布。这对于OT在ML应用中取得成功至关重要,使其对数据标准化和离群值具有鲁棒性。基线算法是Sinkhorn,但UOT的收敛速度可能比OT慢得多。在这项工作中,我们确定了这种缺陷的原因,即缺乏一个全局规范化的迭代,这相当于一个翻译的双重OT潜力。我们的第一个贡献是利用这个想法开发一个可证明加速的Sinkhorn算法(创造了“平移不变Sinkhorn”)的UOT,弥合计算差距与OT。我们的第二个贡献集中在1-D UOT,并提出了一个Frank-Wolfe求解器应用到这个平移不变制定。每个步骤的线性预言相当于解决1-D OT问题,导致每次迭代的线性时间复杂度。本文的最后一个贡献是将此方法推广到一维测度的UOT重心的计算。数值模拟显示了这三种方法带来的收敛速度的改善。
2022-01-03 cs.LG math.OC
Scalable Frank-Wolfe on Generalized Self-concordant Functions via Simple Steps
Georgia Institute of Technology(佐治亚理工学院);Zuse Institute Berlin(柏林祖斯研究所);Univ. Grenoble Alpes(格勒诺布尔大学);Inria(法国国家信息与自动化研究所);Technische Universität Berlin(柏林工业大学)
本文针对广义自协调函数提出一种使用开环步长 $γ_t = 2/(t+2)$ 的简单Frank-Wolfe变体,证明其达到 $\mathcal{O}(1/t)$ 收敛速率,无需二阶信息或光滑参数估计,并进一步给出可行域一致凸或多面体情形下的改进速率。
2024-04-08 cs.LG math.OC stat.ML
Reducing Discretization Error in the Frank-Wolfe Method
Stony Brook University(石溪大学)
本文针对Frank-Wolfe方法因离散化误差导致锯齿状路径和收敛缓慢的问题,提出多步高阶离散化和LMO平均两种改进方案,将局部收敛速率从O(1/k)提升至O(1/k^{3/2})。
2023-04-13 cs.AI cs.LG math.OC
Frank-Wolfe Splitting via Augmented Lagrangian Method
MILA;DIRO;Université de Montréal(蒙特利尔大学);UC Berkeley(加州大学伯克利分校);ETH Zurich(苏黎世联邦理工学院)
在凸集的交集上最小化函数是优化中的一个重要任务,通常比在每个单独的约束集上最小化它更具挑战性。虽然传统的方法,如弗兰克-沃尔夫(FW)或近似梯度下降假设访问一个线性或二次预言的交集,分裂技术利用每个集的结构,只需要访问的预言的个人约束。在这项工作中,我们开发和分析的弗兰克-沃尔夫增广拉格朗日(FW-AL)算法,一种方法,用于最小化一个光滑函数相关的凸紧集的“线性一致性”的约束,只需要访问一个线性最小化预言的个人约束。它基于增广拉格朗日方法(ALM),也称为乘数方法,但与大多数现有的分裂方法不同,它只需要访问线性(而不是二次)最小化神谕。利用Frank-Wolfe分析的最新进展和乘子算法的交替方向法证明了FW-AL在一般凸紧集上的次线性收敛速度和在多面体上的线性收敛速率.
2018-04-09 cs.LG math.OC stat.ML
Convergence Rate of Frank-Wolfe for Non-Convex Objectives
INRIA(法国国家信息与自动化研究所);ENS(巴黎高等师范学院)
本文证明Frank-Wolfe算法在非凸目标函数上以O(1/√t)速度收敛,且分析为仿射不变,首次在不同稳定性度量下达到与投影梯度方法相似的收敛速度。
2016-07-01 cs.LG cs.NA math.NA
On the Global Linear Convergence of Frank-Wolfe Optimization Variants
INRIA(法国国家信息与自动化研究所);École Normale Supérieure(巴黎高等师范学院);ETH Zürich(苏黎世联邦理工学院)
Frank-Wolfe(FW)优化算法最近重新流行起来,特别是由于它能够很好地处理机器学习应用程序中出现的结构化约束。然而,当解位于边界时,其收敛速度已知是慢的(次线性)。一个简单的不太为人所知的修复方法是在优化过程中添加删除“步骤”的可能性,重要的是,该操作不需要可行性预言。在本文中,我们强调和澄清几个变种的Frank-Wolfe优化算法,已成功地应用于实践中:远离步骤FW,成对FW,完全校正FW和Wolfe的最小范数点算法,并证明了第一次,他们都享有全球线性收敛,在一个较弱的条件下比强凸的目标。收敛速度中的常数有一个优雅的解释,即函数的(经典)条件数与一个新的几何量的乘积,该几何量扮演约束集的“条件数”的角色。我们提供了指针,这些算法在实践中有所作为,特别是与流多面体,边际多面体和基本多面体的子模块优化。
2015-11-18 cs.LG math.OC stat.ML
DFWLayer: Differentiable Frank-Wolfe Optimization Layer
Tsinghua University(清华大学);Tencent AI Lab(腾讯AI实验室)
本文提出可微分Frank-Wolfe层(DFWLayer),通过展开Frank-Wolfe方法高效处理带范数约束的大规模凸优化问题,实验证明其在解和梯度精度上具有竞争力且始终满足约束。
2024-03-29 cs.AI cs.LG
Using Taylor-Approximated Gradients to Improve the Frank-Wolfe Method for Empirical Risk Minimization
MIT Operations Research Center(麻省理工学院运筹学中心);MIT Sloan School of Management(麻省理工学院斯隆管理学院)
针对经验风险最小化中Frank-Wolfe方法计算效率随数据量$n$线性增长的问题,提出结合泰勒近似梯度的改进方法,含确定性与随机变体,在凸和非凸场景下均实现对$n$依赖的降低与最优收敛速率,并通过实验验证了显著加速效果。
2023-11-21 cs.LG math.OC stat.ML
Revisiting the Approximate Carathéodory Problem via the Frank-Wolfe Algorithm
Georgia Institute of Technology(佐治亚理工学院);Technische Universität Berlin(柏林工业大学);Zuse Institute Berlin(柏林楚泽研究所)
近似Carathéodory定理指出,给定紧致凸集$\mathcal{C}\subset\mathbb{R}^n$和$p\in\left[2,+\infty\right[$,每个点$x^*\in\mathcal{C}$可以近似为$\ell_p$ -范数中的$ε$ -精度,作为$\mathcal{C}$的$\mathcal{O}(pD_p^2/ε^2)$顶点的凸组合,其中$D_p$是$\mathcal{C}$在$\ell_p$ -范数中的直径。满足这些性质的解可以使用概率参数或通过将镜像下降应用于对偶问题来构建。我们重新审视近似Carathéodory问题,通过Frank-Wolfe算法解决原始问题,提供了一个简化的分析,并导致一个有效的实用方法。此外,当$x^*$在$\mathcal{C}$的内部时,当$x^*$是小直径顶点子集的凸组合时,或者当$\mathcal{C}$是一致凸的时,利用Frank-Wolfe算法现有的收敛速度自然地导出了改进的基数界.我们还提出了基数界限时,$p\in\left[1,2\right[\cup\{+\infty\}$通过一个非光滑的算法变体。最后,我们解决的问题,找到稀疏的近似投影到$\mathcal{C}$的$\ell_p$规范,$p\in\left[1,+\infty\right]$。
2021-12-05 cs.DS cs.LG math.OC
Self-Concordant Analysis of Frank-Wolfe Algorithms
Weierstrass Institute for Applied Analysis and Stochastics(魏尔斯特拉斯应用分析和随机研究所);HSE University(俄罗斯高等经济学院);Moscow Institute of Physics and Technology(莫斯科物理技术学院);Technion - Israel Institute of Technology(以色列理工学院);Maastricht University(马斯特里赫特大学)
通过Frank-Wolfe(FW)的不同变体进行无投影优化,条件梯度法已经成为机器学习优化的基石之一,因为在许多情况下,线性最小化预言比投影更便宜,并且需要保留一些稀疏性。在一些应用中,例如泊松逆问题或量子态层析成像,损失由具有无界曲率的自协调(SC)函数给出,这意味着现有FW方法缺乏理论保证。我们利用SC函数的理论为FW方法提供了一个新的自适应步长,并证明了k次迭代后的整体收敛率为O(1/k)。如果该问题存在更强的局部线性极小预言,我们构造了一种新的具有线性收敛速率的FW方法。
2020-06-27 cs.LG math.OC stat.CO
One Sample Stochastic Frank-Wolfe
Yale University(耶鲁大学);University of Pennsylvania(宾夕法尼亚大学);The University of Texas at Austin(得克萨斯大学奥斯汀分校)
投影梯度下降法的优点之一在于其相当简单的机制和具有不精确随机梯度的稳定行为,这导致其在许多机器学习应用中广泛使用。然而,一旦我们用一个更简单的线性规划来代替投影算子,就像在弗兰克-沃尔夫方法中所做的那样,简单性和稳定性都受到了严重的打击。本文的目的是在不牺牲效率的情况下将它们带回来。在本文中,我们提出了第一个单样本随机Frank-Wolfe算法,称为1-SFW,避免了需要仔细调整批量大小,步长,学习率,和其他复杂的超参数。特别是,1-SFW实现了最佳的收敛速度的$\mathcal{O}(1/ε^2)$达到$ε$ -次优解的随机凸设置,和$(1-1/e)-ε$近似解的随机单调DR-次模极大化问题。此外,在一般的非凸设置中,1-SFW在至多$\mathcal{O}(1/ε^3)$迭代之后找到$ε$ -一阶稳定点,实现当前最佳已知的收敛速度。所有这些都可以通过设计一种新的无偏动量估计器来实现,该估计器在每次迭代时使用单个样本来控制优化过程的稳定性。
2019-10-10 cs.LG math.OC stat.ML
Block-coordinate Frank-Wolfe algorithm and convergence analysis for semi-relaxed optimal transport problem
WASEDA University(早稻田大学)
最优运输问题在机器学习中有着广泛的应用。OT问题的计算需要求解具有紧质量守恒约束的线性规划。这些限制阻止了它的应用到大规模的问题。为了解决这个问题,放松这样的约束,使我们能够提出松弛OT方法使用更快的算法。该方法在实际应用中取得了较好的效果。然而,它仍然缓慢。作为一个更好的选择,我们提出了一个快速块坐标Frank-Wolfe(BCFW)算法的凸半松弛OT。具体地,我们证明了它们的最差收敛迭代的上界,以及线性化对偶间隙和拉格朗日对偶间隙之间的等价性。此外,我们开发了两个快速的变种建议BCFW。数值实验表明,我们提出的算法是有效的颜色传递,并超越了国家的最先进的算法。本报告提供arXiv的简短版本:2103.05857。
2022-05-27 cs.AI cs.LG math.OC
Frank-Wolfe with Subsampling Oracle
École Normale Supérieure(巴黎高等师范学院);UC Berkeley(加州大学伯克利分校);ETH Zurich(苏黎世联邦理工学院);CNRS(法国国家科学研究中心)
我们分析了两个新的随机化的弗兰克-沃尔夫(FW)或条件梯度算法的变种。经典的FW算法需要在每次迭代时求解域上的线性最小化问题,而所提出的方法只需要在原始域的小\emph{subset}上求解线性最小化问题。我们提出的第一个算法是一个随机变量的原始FW算法,并实现了$\mathcal{O}(1/t)$次线性收敛速度的确定性对应。第二算法是离开步骤FW算法的随机化变体,并且再次作为其确定性对应物,达到线性(即,指数)收敛速度,使其成为第一个可证明收敛的随机变量的离开步骤FW。在这两种情况下,虽然子采样以恒定因子降低了收敛速度,但是线性最小化步骤可以是确定性版本的成本的一小部分,特别是当数据被流式传输时。我们说明了回归问题的算法的计算收益,涉及$\ell_1$和潜在的组套索处罚。
2018-03-20 cs.LG math.OC stat.ML
A Unified Optimization View on Generalized Matching Pursuit and Frank-Wolfe
ETH Zürich(苏黎世联邦理工学院);UT Austin(德克萨斯大学奥斯汀分校);EPFL(洛桑联邦理工学院)
贪婪优化的两个最基本的原型是匹配追踪和Frank-Wolfe算法。在本文中,我们采取统一的观点,这两类方法,导致第一个明确的收敛速度匹配追踪方法在优化意义上,一般的原子集。我们推导出次线性($1/t$)收敛的一般光滑的目标,和线性收敛的强凸目标,以及一个明确的对应算法的变种。我们提出的算法和速率是仿射不变的,并且不需要任何不相干或稀疏性假设。
2017-03-07 cs.LG stat.ML
Frank-Wolfe optimization for deep networks
深度神经网络是当今分类、回归和函数逼近中最受欢迎的选择之一。然而,这种深度网络的训练远非微不足道,因为通常有数百万个参数需要调整。通常,人们使用一些希望收敛到某个最小值的优化方法。最流行和最成功的方法是基于梯度下降。本文将另一种优化方法Frank-Wolfe优化应用于小型深度网络,并与梯度下降进行了比较。虽然优化确实收敛,但它收敛得很慢,并且不接近梯度下降的速度。此外,在随机设置中,优化变得非常不稳定,并且似乎不收敛,除非使用线搜索方法。
2020-06-06 cs.LG stat.ML
Stochastic Frank-Wolfe for Composite Convex Minimization
ETH Zurich(苏黎世联邦理工学院);Ecole Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);Télécom Paris(巴黎高等电信学院);Université Paris-Saclay(巴黎萨克雷大学)
一类广泛的凸优化问题可以表述为半定规划(SDP),即在某些仿射约束下,在半正定锥上最小化凸函数。大多数经典的SDP求解器都是为确定性设置而设计的,其中问题数据很容易获得。在这种情况下,广义条件梯度法(又名Frank-Wolfe型方法)通过利用所谓的线性最小化预言而不是投影到半定锥上来提供可扩展的解决方案。然而,机器学习和现代工程应用中的大多数问题都包含一定程度的随机性。本文提出了求解仿射约束下随机最优化问题的第一种条件梯度型方法。我们的方法保证$\mathcal{O}(k^{-1/3})$收敛速度在期望的目标残差和$\mathcal{O}(k^{-5/12})$的可行性差距。
2019-10-29 cs.AI cs.LG math.OC
Riemannian Optimization via Frank-Wolfe Methods
Princeton University(普林斯顿大学);MIT(麻省理工学院)
本文研究了求解约束黎曼优化问题的无投影方法。特别是,我们提出了黎曼Frank-Wolfe(RFW)方法。我们分析非渐近收敛率RFW的最佳(测地线)凸问题,并为非凸目标的临界点。我们还提出了一个实用的设置下,RFW可以达到线性收敛速率。作为一个具体的例子,我们专门RFW的正定矩阵的流形,并将其应用到两个任务:(i)计算矩阵几何平均(黎曼质心);(ii)计算Bures-Wasserstein重心。这两项任务涉及测地线凸区间约束,我们证明了黎曼“线性”预言所需的RFW承认一个封闭形式的解决方案,这一结果可能是独立的利益。我们进一步专门RFW的特殊正交群,并表明,在这里也可以解决的黎曼“线性”神谕的封闭形式。在这里,我们描述了一个应用程序的同步数据矩阵(Procrustes问题)。我们补充我们的理论结果与经验比较RFW对国家的最先进的黎曼最优化方法,并观察到RFW执行竞争力的任务计算黎曼质心。
2021-11-25 cs.LG math.FA math.OC
Quantized Frank-Wolfe: Faster Optimization, Lower Communication, and Projection Free
Yale University(耶鲁大学);Massachusetts Institute of Technology(麻省理工学院);University of Pennsylvania(宾夕法尼亚大学)
我们如何有效地减轻分布式优化中梯度通信的开销?这个问题是训练可扩展的机器学习模型的核心,并且主要在无约束设置中进行了研究。在本文中,我们提出了量化弗兰克-沃尔夫(QFW),第一个投影自由和通信效率的算法,用于解决约束优化问题的规模。我们考虑凸和非凸目标函数,表示为有限和或更一般的随机优化问题,并提供强有力的理论保证QFW的收敛速度。这是通过提出新的量化方案,有效地压缩梯度,同时控制在此过程中引入的噪声方差。最后,我们实证验证QFW的效率,在沟通和返回的解决方案的质量对自然基线。
2019-05-30 cs.DC cs.DS cs.LG
RNN Training along Locally Optimal Trajectories via Frank-Wolfe Algorithm
Worcester Polytechnic Institute(伍斯特理工学院);Boston University(波士顿大学)
我们提出了一种新颖有效的RNN训练方法,通过迭代地在小区域内的损失表面上寻找局部最小值,并在外循环中利用该方向向量进行更新。我们建议在这种情况下,利用弗兰克-沃尔夫(FW)算法。虽然FW隐含地涉及归一化梯度,这可能导致收敛速度缓慢,但我们开发了一种新的RNN训练方法,令人惊讶的是,即使有额外的成本,根据经验观察,总的训练成本也低于反向传播。我们的方法导致了一个新的Frank-Wolfe方法,这在本质上是一个SGD算法与重新启动计划。我们证明了在一定条件下,我们的算法有一个次线性收敛速度$O(1/ε)$的$ε$错误。然后,我们在几个基准数据集上进行实证实验,包括那些表现出长期依赖性的数据集,并显示出显着的性能改善。我们还对深度RNN架构进行了实验,并显示出高效的训练性能。最后,我们证明了我们的训练方法对噪声数据具有鲁棒性。
2020-10-15 cs.CV cs.LG
Communication-Efficient Asynchronous Stochastic Frank-Wolfe over Nuclear-norm Balls
University of Texas at Austin(德克萨斯大学奥斯汀分校)
大规模机器学习训练面临两个挑战,特别是对于分布式系统的核规范约束问题:由于分散的工人而导致的同步速度减慢,以及高通信成本。在这项工作中,我们提出了一个异步随机弗兰克沃尔夫(SFW-asyn)的方法,这是第一次,同时解决了这两个问题,同时成功地保持了相同的收敛速度香草SFW。我们在python中实现了我们的算法(使用MPI),并在Amazon EC2上运行,并证明了与vanilla SFW相比,SFW-asyn的速度几乎与机器数量成线性关系。
2019-10-17 cs.DC cs.LG cs.NA
Learning Infinite RBMs with Frank-Wolfe
Computer Science, UC Irvine(加州大学尔湾分校计算机科学)
本文提出了一个无限约束Boltzmann机,其极大似然估计对应于一个约束凸优化。我们认为弗兰克-沃尔夫算法来解决的程序,它提供了一个稀疏的解决方案,可以被解释为在每次迭代插入一个隐藏的单元,使优化过程采取的形式的一系列有限的模型的复杂性不断增加。作为附带的好处,这可以用于在优化期间容易且有效地识别适当数量的隐藏单元。由此产生的模型也可以用作典型的最先进的RBM训练算法的初始化,例如对比发散,导致模型具有比随机初始化更高的测试可能性。
2017-10-15 cs.AI cs.LG stat.ML
Sarah Frank-Wolfe: Methods for Constrained Optimization with Best Rates and Practical Features
Innopolis University(因诺波利斯大学);Skolkovo Institute of Science and Technology(斯科尔科沃科技学院);Moscow Institute of Physics and Technology(莫斯科物理技术学院);Yandex(Yandex公司);Mila(米拉研究所)
针对随机有限和约束优化问题,提出两种新型Sarah Frank-Wolfe算法变体,兼具最优收敛保证与无持续大批量采样等实用优势,理论速率经实验验证。
2024-09-15 cs.LG math.OC stat.ML
Sinkhorn Barycenters with Free Support via Frank-Wolfe Algorithm
University College London(伦敦大学学院);Istituto Italiano di Tecnologia(意大利理工学院);Imperial College London(帝国理工学院)
我们提出了一种新的算法来估计任意概率分布相对于Sinkhorn发散的重心。基于Frank-Wolfe优化策略,我们的方法通过增量填充重心的支持来进行,而不需要任何预分配。我们考虑离散以及连续分布,证明所提出的算法在这两种设置的收敛速度。我们的分析的关键要素是一个新的结果表明,在紧凑的域上的Sinkhorn发散具有Lipschitz连续梯度的总变差和表征的样本复杂性的Sinkhorn潜在的。实验验证了该方法在实际应用中的有效性。
2019-05-30 cs.LG math.ST stat.ML
On the Online Frank-Wolfe Algorithms for Convex and Non-convex Optimizations
Institut Mines-Telecom, Telecom ParisTech, CNRS LTCI(法国矿业电信研究院,巴黎高等电信学院,法国国家科学研究中心LTCI);Arizona State University(亚利桑那州立大学);Ecole Polytechnique(巴黎综合理工学院)
在本文中,经典的Frank-Wolfe算法的在线变种被认为是。我们考虑在随机成本下最小化后悔。在线算法只需要简单的迭代更新和非自适应步长规则,在文献中通常考虑的混合计划。几个新的结果推导出凸和非凸损失。在强凸随机费用下,当最优解位于约束集内部或约束集为多胞形时,其后悔界和最优性分别为${\cal O}( \log^3 T / T )$和${\cal O}( \log^2 T / T)$,其中$T$为博弈轮数.这些结果是基于对随机Frank-Wolfe算法的改进分析。此外,在线算法收敛,即使当损失是非凸的,即,算法以${\cal O}(\sqrt{1/T})$的速率找到时变/随机损失的平稳点。现实数据集的数值实验,以支持我们的理论主张。
2016-08-15 cs.LG stat.ML
Greedy Frank-Wolfe Algorithm for Exemplar Selection
UC Berkeley(加州大学伯克利分校)
在本文中,我们考虑的问题,选择代表从一个数据集的任意监督/无监督学习任务。我们识别数据集$A$的子集$S$,使得1)$S$的大小比$A$小得多,以及2)$S$以经由凸优化形式化的方式有效地描述整个数据集。为了生成$|S| = k$样本,我们的可核化算法,Frank-Wolfe稀疏表示(FWSR),只需要执行$\approx k$迭代,每次迭代的成本是$A$大小的二次方。这与需要执行直到收敛的其他现有技术方法形成对比,其中每次迭代花费额外的因子$d$(数据的维度)。此外,我们还证明了我们的方法的线性收敛性。我们支持我们的实证实验结果,我们测试我们的算法对当前的方法在三个不同的实验设置在四个不同的数据集。FWSR在几乎所有场景中的速度和准确性都优于其他范例发现方法。
2020-02-23 cs.LG stat.ML
An Enhanced Zeroth-Order Stochastic Frank-Wolfe Framework for Constrained Finite-Sum Optimization
School of Management, Xi’an Jiaotong University(西安交通大学管理学院)
提出增强的零阶随机Frank-Wolfe框架,通过双重方差缩减降低梯度近似和采样方差,在凸与非凸有限和优化中实现最优查询复杂度,并在多项机器学习任务中验证了高效性与可扩展性。
2025-01-23 cs.LG cs.NA math.NA
Lloyd's $K$-Means Clustering Algorithm Is Frank-Wolfe in Disguise
Old Dominion University(奥多明尼昂大学);Miami University(迈阿密大学);Université de Montréal(蒙特利尔大学);Mila(米拉研究所)
研究劳埃德K均值算法与弗兰克-沃尔夫算法的联系,证明前者是后者特殊情况,利用FW方法进展得出SSE目标局部最小值收敛速度,开发处理空聚类的FW变体,通过模拟研究说明结果。
2026-07-29 cs.LG stat.CO stat.ML
Global Convergence of Frank Wolfe on One Hidden Layer Networks
CNRS(法国国家科学研究中心);École Normale Supérieure(巴黎高等师范学院);Stanford University(斯坦福大学)
在训练一个隐层神经网络时,我们给出了Frank Wolfe算法的整体收敛界.当使用ReLU激活函数时,并且在样本数据集上的易于处理的预处理假设下,用于增量形成解决方案的线性最小化预言可以作为二阶锥程序显式求解。然后,经典的Frank Wolfe算法以速率$O(1/T)$收敛,其中$T$是神经元的数量和对oracle的调用的数量。
2020-02-06 cs.LG math.OC
Non-polyhedral extensions of the Frank-and-Wolfe theorem
在1956年玛格丽特弗兰克和保罗沃尔夫证明,一个二次函数是有界以下的多面体$P$达到其下确界的$P$。在这项工作中,我们寻找更大的类集$F$与此弗兰克和沃尔夫财产。我们建立了非多面体Frank-and-Wolfe集的存在性,通过渐近性质得到了内部特征,并研究了Frank-and-Wolfe类在各种操作下的稳定性。
2018-05-09 math.OC
Stochastic Frank-Wolfe for Constrained Finite-Sum Minimization
University of California, Berkeley(加州大学伯克利分校);ETH Zurich(苏黎世联邦理工学院);SumUp Analytics(SumUp分析公司);Max-Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);MIT Sloan School of Management(麻省理工学院斯隆管理学院);Google Research(谷歌研究院)
我们提出了一种新的随机Frank-Wolfe(a.k.a.条件梯度)算法的约束光滑有限和最小化与广义线性预测/结构。这类问题包括具有稀疏、低秩或其他结构化约束的经验风险最小化。该方法实现简单,不需要调整步长,并且具有与数据集大小无关的恒定每次迭代成本。此外,作为该方法的副产品,我们得到的Frank-Wolfe间隙的随机估计,可以用作停止准则。根据设置,所提出的方法匹配或改进的最佳计算保证随机弗兰克-沃尔夫算法。几个数据集上的基准突出了不同的制度,其中所提出的方法表现出更快的经验收敛比相关的方法。最后,我们在一个开源包中提供了所有考虑的方法的实现。
2022-09-08 cs.LG math.OC
Revisiting Frank-Wolfe for Structured Nonconvex Optimization
Umeå University(于默奥大学);Technical University of Munich(慕尼黑工业大学)
本文提出了一种无投影Frank-Wolfe方法,用于优化结构非凸函数,通过精心选择DC分解以提高效率并找到更好的局部解。
2025-11-27 cs.LG math.OC
Frank-Wolfe Methods with an Unbounded Feasible Region and Applications to Structured Learning
Frank-Wolfe(FW)方法是解决结构化统计学习中出现的大规模凸优化问题的一种常用算法。然而,传统的Frank-Wolfe方法仅适用于可行域有界的情况,这限制了其在实际中的适用性。基于统计学习中的两个应用,$\ell_1$趋势滤波问题和广义核范数约束下的矩阵最优化问题,研究了一类凸优化问题,其中无界可行域是无界线性子空间和有界约束集的直和.针对这类具有无界可行域的凸优化问题,提出了两种新的Frank-Wolfe方法:无界Frank-Wolfe方法(uFW)和无界Away-Step Frank-Wolfe方法(uAFW).我们证明了在适当的正则性条件下,无界Frank-Wolfe方法具有$O(1/k)$次线性收敛速度,无界Away-Step Frank-Wolfe方法具有线性收敛速率,当可行域有界时,与著名的Frank-Wolfe方法结果相匹配.此外,计算实验表明,我们提出的方法似乎优于其他解决方案。
2021-10-07 math.OC
FrankWolfe.jl: a high-performance and flexible toolbox for Frank-Wolfe algorithms and Conditional Gradients
我们提出了FrankWolfe.jl,一个开源的实现几个流行的Frank-Wolfe和条件约束变量的一阶约束优化。该软件包的设计考虑到了灵活性和高性能,允许轻松扩展,并依赖于用户提供的功能的假设很少。它支持Julia独特的多重分派功能,并使用MathOptInterface. jl与通用线性最优化公式顺利对接。
2021-10-05 math.OC
Fast Learning of Multidimensional Hawkes Processes via Frank-Wolfe
Massachusetts Institute of Technology(麻省理工学院);JP Morgan AI Research(摩根大通人工智能研究院)
Hawkes过程最近已经上升到建模和生成序列事件数据的工具的最前沿。多维Hawkes过程对不同类型事件之间的自激励和交叉激励进行建模,并已成功应用于金融,流行病学和个性化推荐等各个领域。在这项工作中,我们提出了一个适应的Frank-Wolfe算法学习多维霍克斯过程。实验结果表明,我们的方法具有更好的或在杆的准确性参数估计比其他一阶方法,同时享受一个显着更快的运行时间。
2022-12-12 cs.LG math.OC
Convergence Analysis of the Frank-Wolfe Algorithm and Its Generalization in Banach Spaces
Frank-Wolfe算法是一种最早的优化方法,也被称为条件梯度法,由Frank和Wolfe于1956年提出。Frank-Wolfe算法由于其简单的线性子问题,近年来在解决信号处理和机器学习等应用领域中的大规模结构化最优化问题方面受到广泛关注。本文详细讨论了巴拿赫空间中Frank-Wolfe算法的收敛性分析。讨论了步长的两种选择方法:直线最小搜索法和开环规则。在这两种情况下,我们证明了收敛的Frank-Wolfe算法的情况下,目标函数$f$具有一致连续的(有界集)Fréchet导数$f'$。引入$σ\in (1,2]$阶曲率常数的概念,得到了Frank-Wolfe算法的收敛速度$O(\frac{1}{k^{σ-1}})$.特别地,如果$f'$对于$ν\in (0,1]$是$ν$连续的,则该速率降低到$O(\frac{1}{k^ν})$,如果$f'$是Lipschitz连续的,则该速率降低到$O(\frac{1}{k})$。一个广义的Frank-Wolfe算法也被引入到解决问题的最小化的复合目标函数。研究了Frank-Wolfe算法和广义Frank-Wolfe算法的迭代收敛性。
2017-10-19 math.OC
Frank-Wolfe variants for minimization of a sum of functions
我们提出了几个变种的Frank-Wolfe算法,以尽量减少功能的总和。所提出的主要算法的灵感来自于Nesterov的双平均方案,适用于Frank Wolfe在随机环境中。还建议了该方案的分布式版本。此外,我们提出了一个基于增量梯度技术的Frank-Wolfe变体。建立了所有算法的收敛速度。最小二乘回归和多项式分类的性能进行了研究。
2023-01-10 math.OC
Fast convergence of Frank-Wolfe algorithms on polytopes
该研究提出一个统一推导框架,基于误差界和扩展曲率这两个仿射不变性质,推导多面体上四类Frank-Wolfe算法从次线性到线性的收敛速率,速率结果不依赖仿射相关对象。
2025-05-20 math.OC
Spectral Frank-Wolfe Algorithm: Strict Complementarity and Linear Convergence
我们开发了一个新的变种的经典的Frank-Wolfe算法,我们称之为谱Frank-Wolfe,凸优化的谱面体。谱Frank-Wolfe算法有一个新的成分:它计算梯度的一些特征向量,并在每次迭代中求解一个小规模的SDP。该方法克服了经典Frank-Wolfe算法因忽略特征值融合而导致的收敛速度慢的缺点。我们证明,严格互补的最优化问题是关键,证明线性收敛的各种算法,如频谱弗兰克-沃尔夫算法以及投影梯度法及其加速版本。
2020-08-17 math.OC
Boosting as Frank-Wolfe
Kyushu University(九州大学);RIKEN AIP(理化学研究所先进智能项目中心)
一些boosting算法,如LPBoost、ERLPBoost和C-ERLPBoost,旨在用$\ell_1$ -范数正则化来解决软间隔优化问题。LPBoost在实践中快速收敛到$ε$近似解,但已知在最差情况下进行$Ω(m)$迭代,其中$m$是样本量。另一方面,ERLPBoost和C-ERLPBoost保证在$O(\frac{1}{ε^2} \ln \frac{m}ν)$迭代中收敛到$ε$近似解。然而,与LPBoost相比,每次迭代的计算量非常高。为了解决这个问题,我们提出了一个通用的升压方案,结合了弗兰克-沃尔夫算法和任何辅助算法,并切换到其他迭代。我们表明,该计划保留了相同的收敛保证ERLPBoost和C-ERLPBoost。可以结合任何辅助算法来在实践中改进。该方案来自于对用于软余量优化的提升算法的统一观点。更具体地说,我们表明,LPBoost,ERLPBoost,和C-ERLPBoost是弗兰克-沃尔夫算法的实例。在真实数据集上的实验中,我们的方案的一个实例利用了次级算法的更好更新,并使用LPBoost进行了优化。
2022-09-30 cs.LG math.OC
Stochastic Compositional Optimization via Hybrid Momentum Frank--Wolfe
Machine Learning and Optimization Laboratory (MLO)(机器学习与优化实验室)
本文提出混合动量随机Frank-Wolfe算法,无需假设外层函数F的光滑性,结合动量Jacobian追踪器与泰勒修正函数追踪器,实现非凸目标函数的O(K^{-1/4})收敛率。
2026-10-12 cs.LG math.OC