Primal-Dual Block Frank-Wolfe
UT Austin（德克萨斯大学奥斯汀分校）；Amazon（亚马逊）
我们提出了一个变种的Frank-Wolfe算法解决一类稀疏/低秩优化问题。我们的公式包括弹性网络，正则化支持向量机和相位恢复作为特殊情况。提出的原始-对偶块Frank-Wolfe算法在保持线性收敛速度的同时降低了每次迭代的代价。我们的方法的每次迭代成本取决于解决方案的结构复杂性（即稀疏性/低秩），而不是环境维度。我们的经验表明，我们的算法优于最先进的方法（多类）分类任务。
2019-06-06 cs.LG math.OC stat.ML
A Newton Frank-Wolfe Method for Constrained Self-Concordant Minimization
The University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；EPFL（洛桑联邦理工学院）
我们展示了如何可伸缩地解决一类约束自协调极小化问题使用线性极小化神谕（LMO）在约束集。我们证明了我们的方法的LMO调用的数量是几乎相同的L-光滑的情况下的Frank-Wolfe方法。具体来说，我们的牛顿弗兰克-沃尔夫方法使用$\mathcal{O}(ε^{-ν})$ LMO，其中$ε$是所需的精度，而$ν:= 1 + o(1)$。此外，我们证明了我们的算法可以利用改进的变体的LMO为基础的计划，包括远离步骤，达到线性收敛速率。我们还提供了数值证据与投资组合设计的竞争比，D-最优试验设计，和逻辑斯谛回归与弹性网牛顿弗兰克沃尔夫优于国家的最先进的。
2020-02-17 cs.LG math.OC stat.ML
Boosting Frank-Wolfe by Chasing Gradients
Georgia Institute of Technology（佐治亚理工学院）；Technische Universität Berlin（柏林工业大学）；Zuse Institute Berlin（柏林祖斯研究所）
Frank-Wolfe算法以其简单、无投影等优点成为一种流行的一阶优化算法，并成功地应用于各种实际问题。然而，它的主要缺点在于其收敛速度，由于朴素的下降方向，收敛速度可能非常慢。我们建议通过一个子程序，更好地对齐的下降方向的负梯度的Frank-Wolfe算法的速度。该子例程以匹配追踪方式追踪负梯度方向，同时仍保持无投影属性。虽然这种方法相当自然，但它产生了非常重要的结果。我们推导出收敛速度$\mathcal{O}(1/t)$到$\mathcal{O}(e^{-ωt})$的我们的方法，我们证明了它的竞争优势，每次迭代和CPU的时间在国家的最先进的一系列计算实验。
2020-06-23 cs.LG math.OC
Linear Convergence of a Frank-Wolfe Type Algorithm over Trace-Norm Balls
Microsoft Research（微软研究院）；Princeton University（普林斯顿大学）
我们提出了一个秩$k$变种的经典Frank-Wolfe算法来解决凸优化的轨迹范数球。我们的算法用一个顶- $k$奇异向量计算（$k$-SVD）代替了Frank-Wolfe算法中的顶奇异向量计算（$1$-SVD），这可以通过重复应用$1$ -SVD $k$次来完成。或者，我们的算法可以被看作是一个排名$k$限制版本的投影梯度下降。当目标函数光滑且强凸时，我们的算法具有线性收敛速度，且最优解的秩至多为$k$。这提高了收敛速度和总的时间复杂度的Frank-Wolfe方法及其变种。
2017-11-09 cs.DS cs.LG math.OC
Deep Neural Network Training with Frank-Wolfe
Zuse Institute Berlin（柏林祖斯研究所）；Technische Universität Berlin（柏林工业大学）
本文研究了使用无投影一阶方法的经验有效性和好处的形式条件约束，a.k.a. Frank-Wolfe方法，用于训练具有约束参数的神经网络。我们绘制比较当前国家的最先进的随机梯度下降的方法，以及在不同的变种的随机条件约束。特别是，我们显示了一般的可行性训练神经网络，其参数的约束下，使用Frank-Wolfe算法和比较不同的随机变量。然后，我们表明，通过选择一个适当的区域，可以实现性能超过无约束的随机梯度下降和匹配的最先进的结果依赖于$L^2$ -正则化。最后，我们还证明了，除了影响性能，特定的约束选择可以有一个巨大的影响学习表示。
2020-10-21 cs.LG math.OC
Accelerating Frank-Wolfe via Averaging Step Directions
Frank-Wolfe方法因其快速的每次迭代复杂度而成为稀疏约束优化中的一种流行方法。然而，折衷是其最坏情况下整体收敛相对较慢，并且重要的是，从根本上慢于其流率--也就是说，收敛速度被离散化误差抑制。在这项工作中，我们考虑修改后的弗兰克-沃尔夫的步骤方向是一个简单的加权平均过去的甲骨文调用。这种方法需要非常少的内存和计算开销，并证明衰减这个离散化误差项。数值上，我们表明，这种方法提高了收敛速度在几个问题，特别是在稀疏流形已被检测。理论上，我们证明了该方法具有$O(1/k^p)$的整体收敛速度，其中$0< p < 1$ ;流形识别后，该速度加快到$O(1/k^{3p/2})$。我们还观察到，该方法从很早的阶段就实现了这种加速率，这表明这一系列方法的加速模式很有前途。
2022-05-24 cs.LG math.OC
Block-Coordinate Frank-Wolfe Optimization for Structural SVMs
Machine Learning Laboratory, ETH Zurich（苏黎世联邦理工学院机器学习实验室）
我们提出了一个随机块坐标的经典Frank-Wolfe算法的凸优化与块可分离的约束。尽管其较低的迭代成本，我们表明，它达到了类似的收敛速度在对偶间隙的完整的弗兰克-沃尔夫算法。我们还表明，当应用到双结构支持向量机（SVM）的目标，这产生了一个在线算法，具有相同的低迭代复杂度的原始随机次梯度方法。然而，与随机次梯度方法不同，块坐标Frank-Wolfe算法允许我们计算最佳步长，并产生可计算的对偶间隙保证。我们的实验表明，这种简单的算法优于竞争结构SVM求解器。
2013-01-14 cs.LG math.OC stat.ML
Linear Convergence of the Frank-Wolfe Algorithm over Product Polytopes
Zuse Institute Berlin（柏林泽尼克研究所）；Carlos III University（卡洛斯三世大学）；CUNEF Universidad（CUNEF大学）；Technische Universität Berlin（柏林技术大学）
本文研究Frank-Wolfe算法在乘积多胞形上的线性收敛性，引入基于分量条件数的金字塔宽度和顶点-面距离，证明对μ-Polyak-Łojasiewicz凸目标线性收敛，并应用于高维多胞形交集可行点近似求解。
2025-09-10 cs.LG math.OC
A Randomized Linearly Convergent Frank-Wolfe-type Method for Smooth Convex Minimization over the Spectrahedron
Technion - Israel Institute of Technology（技术学院-以色列理工学院）
本文提出了一种随机线性收敛的Frank-Wolfe型方法，用于在谱hedron上高效最小化平滑凸函数。
2026-03-02 cs.LG math.OC
Frank Wolfe Meets Metric Entropy
Frank-Wolfe算法由于其能够有效地解决机器学习和高维统计中的约束优化问题而重新流行起来。因此，有很多兴趣在建立时，算法可以拥有一个“线性”的$O(\log(1/ε))$无量纲迭代的复杂性相比，投影梯度下降。在本文中，我们提供了一个通用的技术，建立特定领域的和易于估计的下限Frank-Wolfe及其变种使用度量熵的域。最值得注意的是，我们表明，一个无量纲的线性上限必须失败，不仅在最坏的情况下，但在\emph{average case}：高斯或球形随机多面体在$\mathbb{R}^d$与$\mathrm{poly}(d)$顶点，弗兰克-沃尔夫需要高达$\tildeΩ(d)$迭代，以实现$O(1/d)$的错误界，具有很高的概率。我们还建立了核规范球的这种现象。与度量熵的联系也对统计学中的条件梯度算法有着有趣的积极影响，例如梯度提升和匹配追踪。特别是，我们表明，它是可能的提取快速衰减的上限直接从分析的基础优化过程中的超额风险。
2022-05-17 cs.LG math.OC stat.ML
Convergence Rate of Frank-Wolfe for Non-Convex Objectives
INRIA（法国国家信息与自动化研究所）；ENS（巴黎高等师范学院）
本文证明Frank-Wolfe算法在非凸目标函数上以O(1/√t)速度收敛，且分析为仿射不变，首次在不同稳定性度量下达到与投影梯度方法相似的收敛速度。
2016-07-01 cs.LG cs.NA math.NA
Fast block-coordinate Frank-Wolfe algorithm for semi-relaxed optimal transport
WASEDA University（早稻田大学）
最优运输（OT）通过考虑两个概率分布之间的空间位置来提供它们之间的距离，已被应用于广泛的各种应用。计算OT问题需要求解具有严格质量守恒约束的线性规划。这一要求阻碍了其应用于大规模的问题。为了缓解这个问题，最近提出的松弛OT方法通过放松这些约束来使用更快的算法。其有效性的实际应用已被证明。然而，它仍然表现出缓慢的收敛。为此，针对凸半松弛OT，我们提出了一个快速块坐标Frank-Wolfe（BCFW）算法，它给出了稀疏的解决方案。具体地说，我们提供了它们的最差收敛迭代的上界，以及线性化对偶间隙和拉格朗日对偶间隙之间的等价性。还提出了三个快速变种的建议BCFW。在颜色传递问题的数值计算表明，所提出的算法优于国家的最先进的算法在不同的设置。
2021-03-10 cs.LG math.OC
Faster Rates for the Frank-Wolfe Algorithm Using Jacobi Polynomials
Indian Institute of Science（印度科学学院）
Frank Wolfe算法（FW）是求解大规模约束最优化问题的一种流行的无投影算法。然而，FW算法在最小化紧致凸集上的光滑凸函数时具有次线性收敛速度。因此，探索产生更快收敛速度的技术变得至关重要。获得更快速率的经典方法是组合先前的迭代以获得下一个迭代。在这项工作中，我们将这种方法扩展到FW设置，并表明，最佳的方式来结合过去的迭代是使用一组正交的雅可比多项式。我们还提出了一种基于多项式的加速技术，称为雅可比多项式加速的FW，它使用与雅可比递归相关的组合权重将当前递归与过去递归相结合。通过仔细选择雅可比多项式的参数，我们获得了更快的次线性收敛速度。我们提供了真实数据集上的数值实验，以证明所提出的算法的有效性。
2021-10-19 cs.LG math.OC
Scalable Frank-Wolfe on Generalized Self-concordant Functions via Simple Steps
Georgia Institute of Technology（佐治亚理工学院）；Zuse Institute Berlin（柏林祖斯研究所）；Univ. Grenoble Alpes（格勒诺布尔大学）；Inria（法国国家信息与自动化研究所）；Technische Universität Berlin（柏林工业大学）
本文针对广义自协调函数提出一种使用开环步长 $γ_t = 2/(t+2)$ 的简单Frank-Wolfe变体，证明其达到 $\mathcal{O}(1/t)$ 收敛速率，无需二阶信息或光滑参数估计，并进一步给出可行域一致凸或多面体情形下的改进速率。
2024-04-08 cs.LG math.OC stat.ML
Reducing Discretization Error in the Frank-Wolfe Method
Stony Brook University（石溪大学）
本文针对Frank-Wolfe方法因离散化误差导致锯齿状路径和收敛缓慢的问题，提出多步高阶离散化和LMO平均两种改进方案，将局部收敛速率从O(1/k)提升至O(1/k^{3/2})。
2023-04-13 cs.AI cs.LG math.OC
Frank-Wolfe Splitting via Augmented Lagrangian Method
MILA；DIRO；Université de Montréal（蒙特利尔大学）；UC Berkeley（加州大学伯克利分校）；ETH Zurich（苏黎世联邦理工学院）
在凸集的交集上最小化函数是优化中的一个重要任务，通常比在每个单独的约束集上最小化它更具挑战性。虽然传统的方法，如弗兰克-沃尔夫（FW）或近似梯度下降假设访问一个线性或二次预言的交集，分裂技术利用每个集的结构，只需要访问的预言的个人约束。在这项工作中，我们开发和分析的弗兰克-沃尔夫增广拉格朗日（FW-AL）算法，一种方法，用于最小化一个光滑函数相关的凸紧集的“线性一致性”的约束，只需要访问一个线性最小化预言的个人约束。它基于增广拉格朗日方法（ALM），也称为乘数方法，但与大多数现有的分裂方法不同，它只需要访问线性（而不是二次）最小化神谕。利用Frank-Wolfe分析的最新进展和乘子算法的交替方向法证明了FW-AL在一般凸紧集上的次线性收敛速度和在多面体上的线性收敛速率.
2018-04-09 cs.LG math.OC stat.ML
Approximate Frank-Wolfe Algorithms over Graph-structured Support Sets
Fudan University（复旦大学）；Stony Brook University（石溪大学）
本文考虑求解图结构支撑集上凸优化问题的近似Frank-Wolfe（FW）算法，其中线性最小化预言（LMO）一般不能有效地获得.我们首先证明了两个流行的近似假设（加法和乘法间隙误差）是不适用的，没有廉价的间隙近似LMO预言存在。因此，提出了近似对偶最大化神谕（DMO），它近似的内积，而不是差距。我们证明了使用$δ$ -近似DMO的标准FW方法在最坏情况下收敛为$\mathcal{O}((1-δ) \sqrt{s}/δ)$，并且在约束集的$δ$ -松弛上收敛为$\mathcal{O}(L/(δ^2 t))$。此外，当解在边界上时，FW的一个变体在二次增长假设下收敛为$\mathcal{O}(1/t^2)$。我们的实证结果表明，即使这些改进的界限是悲观的，在恢复现实世界的图像与图形结构的稀疏性显示快速收敛。
2022-06-17 cs.LG math.OC
DFWLayer: Differentiable Frank-Wolfe Optimization Layer
Tsinghua University（清华大学）；Tencent AI Lab（腾讯AI实验室）
本文提出可微分Frank-Wolfe层（DFWLayer），通过展开Frank-Wolfe方法高效处理带范数约束的大规模凸优化问题，实验证明其在解和梯度精度上具有竞争力且始终满足约束。
2024-03-29 cs.AI cs.LG
Linear Convergence of Frank-Wolfe for Rank-One Matrix Recovery Without Strong Convexity
Technion - Israel Institute of Technology（以色列理工学院）
我们考虑凸优化问题，这是广泛使用的低秩矩阵恢复问题的凸松弛。特别是，在几个重要的问题，如相位恢复和鲁棒PCA，在许多情况下的基本假设是，最优解是秩一。在本文中，我们考虑一个简单而自然的充分条件的目标，使这些松弛的最优解确实是唯一的和秩1。主要地，我们证明了在这种条件下，标准的Frank-Wolfe方法与线搜索（即，不需要任何参数调整），其每次迭代仅需要单个秩一SVD计算，仅在$O(\log{1/ε})$迭代中找到$ε$近似解（与$O(1/ε)$的先前最佳已知边界相反），尽管事实上目标不是强凸的。我们考虑了几个变种的基本方法，提高了复杂性，以及由强大的PCA动机的扩展，最后，扩展到非光滑问题。
2022-06-19 cs.LG math.OC
On the Global Linear Convergence of Frank-Wolfe Optimization Variants
INRIA（法国国家信息与自动化研究所）；École Normale Supérieure（巴黎高等师范学院）；ETH Zürich（苏黎世联邦理工学院）
Frank-Wolfe（FW）优化算法最近重新流行起来，特别是由于它能够很好地处理机器学习应用程序中出现的结构化约束。然而，当解位于边界时，其收敛速度已知是慢的（次线性）。一个简单的不太为人所知的修复方法是在优化过程中添加删除“步骤”的可能性，重要的是，该操作不需要可行性预言。在本文中，我们强调和澄清几个变种的Frank-Wolfe优化算法，已成功地应用于实践中：远离步骤FW，成对FW，完全校正FW和Wolfe的最小范数点算法，并证明了第一次，他们都享有全球线性收敛，在一个较弱的条件下比强凸的目标。收敛速度中的常数有一个优雅的解释，即函数的（经典）条件数与一个新的几何量的乘积，该几何量扮演约束集的“条件数”的角色。我们提供了指针，这些算法在实践中有所作为，特别是与流多面体，边际多面体和基本多面体的子模块优化。
2015-11-18 cs.LG math.OC stat.ML
Using Taylor-Approximated Gradients to Improve the Frank-Wolfe Method for Empirical Risk Minimization
MIT Operations Research Center（麻省理工学院运筹学中心）；MIT Sloan School of Management（麻省理工学院斯隆管理学院）
针对经验风险最小化中Frank-Wolfe方法计算效率随数据量$n$线性增长的问题，提出结合泰勒近似梯度的改进方法，含确定性与随机变体，在凸和非凸场景下均实现对$n$依赖的降低与最优收敛速率，并通过实验验证了显著加速效果。
2023-11-21 cs.LG math.OC stat.ML
A Unified Optimization View on Generalized Matching Pursuit and Frank-Wolfe
ETH Zürich（苏黎世联邦理工学院）；UT Austin（德克萨斯大学奥斯汀分校）；EPFL（洛桑联邦理工学院）
贪婪优化的两个最基本的原型是匹配追踪和Frank-Wolfe算法。在本文中，我们采取统一的观点，这两类方法，导致第一个明确的收敛速度匹配追踪方法在优化意义上，一般的原子集。我们推导出次线性（$1/t$）收敛的一般光滑的目标，和线性收敛的强凸目标，以及一个明确的对应算法的变种。我们提出的算法和速率是仿射不变的，并且不需要任何不相干或稀疏性假设。
2017-03-07 cs.LG stat.ML
Faster Unbalanced Optimal Transport: Translation invariant Sinkhorn and 1-D Frank-Wolfe
DMA, ENS, PSL（巴黎文理研究大学高等师范学校数学系）；LIGM, UPEM（巴黎东马恩拉瓦莱大学加斯帕尔·蒙日信息实验室）；CNRS, DMA, ENS, PSL（法国国家科学研究中心、巴黎文理研究大学高等师范学校数学系）
不平衡最优输运（UOT）扩展了最优输运（OT），以考虑质量变化来比较分布。这对于OT在ML应用中取得成功至关重要，使其对数据标准化和离群值具有鲁棒性。基线算法是Sinkhorn，但UOT的收敛速度可能比OT慢得多。在这项工作中，我们确定了这种缺陷的原因，即缺乏一个全局规范化的迭代，这相当于一个翻译的双重OT潜力。我们的第一个贡献是利用这个想法开发一个可证明加速的Sinkhorn算法（创造了“平移不变Sinkhorn”）的UOT，弥合计算差距与OT。我们的第二个贡献集中在1-D UOT，并提出了一个Frank-Wolfe求解器应用到这个平移不变制定。每个步骤的线性预言相当于解决1-D OT问题，导致每次迭代的线性时间复杂度。本文的最后一个贡献是将此方法推广到一维测度的UOT重心的计算。数值模拟显示了这三种方法带来的收敛速度的改善。
2022-01-03 cs.LG math.OC
Frank-Wolfe optimization for deep networks
深度神经网络是当今分类、回归和函数逼近中最受欢迎的选择之一。然而，这种深度网络的训练远非微不足道，因为通常有数百万个参数需要调整。通常，人们使用一些希望收敛到某个最小值的优化方法。最流行和最成功的方法是基于梯度下降。本文将另一种优化方法Frank-Wolfe优化应用于小型深度网络，并与梯度下降进行了比较。虽然优化确实收敛，但它收敛得很慢，并且不接近梯度下降的速度。此外，在随机设置中，优化变得非常不稳定，并且似乎不收敛，除非使用线搜索方法。
2020-06-06 cs.LG stat.ML
Revisiting the Approximate Carathéodory Problem via the Frank-Wolfe Algorithm
Georgia Institute of Technology（佐治亚理工学院）；Technische Universität Berlin（柏林工业大学）；Zuse Institute Berlin（柏林楚泽研究所）
近似Carathéodory定理指出，给定紧致凸集$\mathcal{C}\subset\mathbb{R}^n$和$p\in\left[2,+\infty\right[$，每个点$x^*\in\mathcal{C}$可以近似为$\ell_p$ -范数中的$ε$ -精度，作为$\mathcal{C}$的$\mathcal{O}(pD_p^2/ε^2)$顶点的凸组合，其中$D_p$是$\mathcal{C}$在$\ell_p$ -范数中的直径。满足这些性质的解可以使用概率参数或通过将镜像下降应用于对偶问题来构建。我们重新审视近似Carathéodory问题，通过Frank-Wolfe算法解决原始问题，提供了一个简化的分析，并导致一个有效的实用方法。此外，当$x^*$在$\mathcal{C}$的内部时，当$x^*$是小直径顶点子集的凸组合时，或者当$\mathcal{C}$是一致凸的时，利用Frank-Wolfe算法现有的收敛速度自然地导出了改进的基数界.我们还提出了基数界限时，$p\in\left[1,2\right[\cup\{+\infty\}$通过一个非光滑的算法变体。最后，我们解决的问题，找到稀疏的近似投影到$\mathcal{C}$的$\ell_p$规范，$p\in\left[1,+\infty\right]$。
2021-12-05 cs.DS cs.LG math.OC
Self-Concordant Analysis of Frank-Wolfe Algorithms
Weierstrass Institute for Applied Analysis and Stochastics（魏尔斯特拉斯应用分析和随机研究所）；HSE University（俄罗斯高等经济学院）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Technion - Israel Institute of Technology（以色列理工学院）；Maastricht University（马斯特里赫特大学）
通过Frank-Wolfe（FW）的不同变体进行无投影优化，条件梯度法已经成为机器学习优化的基石之一，因为在许多情况下，线性最小化预言比投影更便宜，并且需要保留一些稀疏性。在一些应用中，例如泊松逆问题或量子态层析成像，损失由具有无界曲率的自协调（SC）函数给出，这意味着现有FW方法缺乏理论保证。我们利用SC函数的理论为FW方法提供了一个新的自适应步长，并证明了k次迭代后的整体收敛率为O（1/k）。如果该问题存在更强的局部线性极小预言，我们构造了一种新的具有线性收敛速率的FW方法。
2020-06-27 cs.LG math.OC stat.CO
One Sample Stochastic Frank-Wolfe
Yale University（耶鲁大学）；University of Pennsylvania（宾夕法尼亚大学）；The University of Texas at Austin（得克萨斯大学奥斯汀分校）
投影梯度下降法的优点之一在于其相当简单的机制和具有不精确随机梯度的稳定行为，这导致其在许多机器学习应用中广泛使用。然而，一旦我们用一个更简单的线性规划来代替投影算子，就像在弗兰克-沃尔夫方法中所做的那样，简单性和稳定性都受到了严重的打击。本文的目的是在不牺牲效率的情况下将它们带回来。在本文中，我们提出了第一个单样本随机Frank-Wolfe算法，称为1-SFW，避免了需要仔细调整批量大小，步长，学习率，和其他复杂的超参数。特别是，1-SFW实现了最佳的收敛速度的$\mathcal{O}(1/ε^2)$达到$ε$ -次优解的随机凸设置，和$(1-1/e)-ε$近似解的随机单调DR-次模极大化问题。此外，在一般的非凸设置中，1-SFW在至多$\mathcal{O}(1/ε^3)$迭代之后找到$ε$ -一阶稳定点，实现当前最佳已知的收敛速度。所有这些都可以通过设计一种新的无偏动量估计器来实现，该估计器在每次迭代时使用单个样本来控制优化过程的稳定性。
2019-10-10 cs.LG math.OC stat.ML
Stochastic Frank-Wolfe for Composite Convex Minimization
ETH Zurich（苏黎世联邦理工学院）；Ecole Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；Télécom Paris（巴黎高等电信学院）；Université Paris-Saclay（巴黎萨克雷大学）
一类广泛的凸优化问题可以表述为半定规划（SDP），即在某些仿射约束下，在半正定锥上最小化凸函数。大多数经典的SDP求解器都是为确定性设置而设计的，其中问题数据很容易获得。在这种情况下，广义条件梯度法（又名Frank-Wolfe型方法）通过利用所谓的线性最小化预言而不是投影到半定锥上来提供可扩展的解决方案。然而，机器学习和现代工程应用中的大多数问题都包含一定程度的随机性。本文提出了求解仿射约束下随机最优化问题的第一种条件梯度型方法。我们的方法保证$\mathcal{O}(k^{-1/3})$收敛速度在期望的目标残差和$\mathcal{O}(k^{-5/12})$的可行性差距。
2019-10-29 cs.AI cs.LG math.OC
Block-coordinate Frank-Wolfe algorithm and convergence analysis for semi-relaxed optimal transport problem
WASEDA University（早稻田大学）
最优运输问题在机器学习中有着广泛的应用。OT问题的计算需要求解具有紧质量守恒约束的线性规划。这些限制阻止了它的应用到大规模的问题。为了解决这个问题，放松这样的约束，使我们能够提出松弛OT方法使用更快的算法。该方法在实际应用中取得了较好的效果。然而，它仍然缓慢。作为一个更好的选择，我们提出了一个快速块坐标Frank-Wolfe（BCFW）算法的凸半松弛OT。具体地，我们证明了它们的最差收敛迭代的上界，以及线性化对偶间隙和拉格朗日对偶间隙之间的等价性。此外，我们开发了两个快速的变种建议BCFW。数值实验表明，我们提出的算法是有效的颜色传递，并超越了国家的最先进的算法。本报告提供arXiv的简短版本：2103.05857。
2022-05-27 cs.AI cs.LG math.OC
Communication-Efficient Asynchronous Stochastic Frank-Wolfe over Nuclear-norm Balls
University of Texas at Austin（德克萨斯大学奥斯汀分校）
大规模机器学习训练面临两个挑战，特别是对于分布式系统的核规范约束问题：由于分散的工人而导致的同步速度减慢，以及高通信成本。在这项工作中，我们提出了一个异步随机弗兰克沃尔夫（SFW-asyn）的方法，这是第一次，同时解决了这两个问题，同时成功地保持了相同的收敛速度香草SFW。我们在python中实现了我们的算法（使用MPI），并在Amazon EC2上运行，并证明了与vanilla SFW相比，SFW-asyn的速度几乎与机器数量成线性关系。
2019-10-17 cs.DC cs.LG cs.NA
Frank-Wolfe with Subsampling Oracle
École Normale Supérieure（巴黎高等师范学院）；UC Berkeley（加州大学伯克利分校）；ETH Zurich（苏黎世联邦理工学院）；CNRS（法国国家科学研究中心）
我们分析了两个新的随机化的弗兰克-沃尔夫（FW）或条件梯度算法的变种。经典的FW算法需要在每次迭代时求解域上的线性最小化问题，而所提出的方法只需要在原始域的小\emph{subset}上求解线性最小化问题。我们提出的第一个算法是一个随机变量的原始FW算法，并实现了$\mathcal{O}(1/t)$次线性收敛速度的确定性对应。第二算法是离开步骤FW算法的随机化变体，并且再次作为其确定性对应物，达到线性（即，指数）收敛速度，使其成为第一个可证明收敛的随机变量的离开步骤FW。在这两种情况下，虽然子采样以恒定因子降低了收敛速度，但是线性最小化步骤可以是确定性版本的成本的一小部分，特别是当数据被流式传输时。我们说明了回归问题的算法的计算收益，涉及$\ell_1$和潜在的组套索处罚。
2018-03-20 cs.LG math.OC stat.ML
Quantized Frank-Wolfe: Faster Optimization, Lower Communication, and Projection Free
Yale University（耶鲁大学）；Massachusetts Institute of Technology（麻省理工学院）；University of Pennsylvania（宾夕法尼亚大学）
我们如何有效地减轻分布式优化中梯度通信的开销？这个问题是训练可扩展的机器学习模型的核心，并且主要在无约束设置中进行了研究。在本文中，我们提出了量化弗兰克-沃尔夫（QFW），第一个投影自由和通信效率的算法，用于解决约束优化问题的规模。我们考虑凸和非凸目标函数，表示为有限和或更一般的随机优化问题，并提供强有力的理论保证QFW的收敛速度。这是通过提出新的量化方案，有效地压缩梯度，同时控制在此过程中引入的噪声方差。最后，我们实证验证QFW的效率，在沟通和返回的解决方案的质量对自然基线。
2019-05-30 cs.DC cs.DS cs.LG
Learning Infinite RBMs with Frank-Wolfe
Computer Science, UC Irvine（加州大学尔湾分校计算机科学）
本文提出了一个无限约束Boltzmann机，其极大似然估计对应于一个约束凸优化。我们认为弗兰克-沃尔夫算法来解决的程序，它提供了一个稀疏的解决方案，可以被解释为在每次迭代插入一个隐藏的单元，使优化过程采取的形式的一系列有限的模型的复杂性不断增加。作为附带的好处，这可以用于在优化期间容易且有效地识别适当数量的隐藏单元。由此产生的模型也可以用作典型的最先进的RBM训练算法的初始化，例如对比发散，导致模型具有比随机初始化更高的测试可能性。
2017-10-15 cs.AI cs.LG stat.ML
RNN Training along Locally Optimal Trajectories via Frank-Wolfe Algorithm
Worcester Polytechnic Institute（伍斯特理工学院）；Boston University（波士顿大学）
我们提出了一种新颖有效的RNN训练方法，通过迭代地在小区域内的损失表面上寻找局部最小值，并在外循环中利用该方向向量进行更新。我们建议在这种情况下，利用弗兰克-沃尔夫（FW）算法。虽然FW隐含地涉及归一化梯度，这可能导致收敛速度缓慢，但我们开发了一种新的RNN训练方法，令人惊讶的是，即使有额外的成本，根据经验观察，总的训练成本也低于反向传播。我们的方法导致了一个新的Frank-Wolfe方法，这在本质上是一个SGD算法与重新启动计划。我们证明了在一定条件下，我们的算法有一个次线性收敛速度$O(1/ε)$的$ε$错误。然后，我们在几个基准数据集上进行实证实验，包括那些表现出长期依赖性的数据集，并显示出显着的性能改善。我们还对深度RNN架构进行了实验，并显示出高效的训练性能。最后，我们证明了我们的训练方法对噪声数据具有鲁棒性。
2020-10-15 cs.CV cs.LG
Sinkhorn Barycenters with Free Support via Frank-Wolfe Algorithm
University College London（伦敦大学学院）；Istituto Italiano di Tecnologia（意大利理工学院）；Imperial College London（帝国理工学院）
我们提出了一种新的算法来估计任意概率分布相对于Sinkhorn发散的重心。基于Frank-Wolfe优化策略，我们的方法通过增量填充重心的支持来进行，而不需要任何预分配。我们考虑离散以及连续分布，证明所提出的算法在这两种设置的收敛速度。我们的分析的关键要素是一个新的结果表明，在紧凑的域上的Sinkhorn发散具有Lipschitz连续梯度的总变差和表征的样本复杂性的Sinkhorn潜在的。实验验证了该方法在实际应用中的有效性。
2019-05-30 cs.LG math.ST stat.ML
Riemannian Optimization via Frank-Wolfe Methods
Princeton University（普林斯顿大学）；MIT（麻省理工学院）
本文研究了求解约束黎曼优化问题的无投影方法。特别是，我们提出了黎曼Frank-Wolfe（RFW）方法。我们分析非渐近收敛率RFW的最佳（测地线）凸问题，并为非凸目标的临界点。我们还提出了一个实用的设置下，RFW可以达到线性收敛速率。作为一个具体的例子，我们专门RFW的正定矩阵的流形，并将其应用到两个任务：（i）计算矩阵几何平均（黎曼质心）;（ii）计算Bures-Wasserstein重心。这两项任务涉及测地线凸区间约束，我们证明了黎曼“线性”预言所需的RFW承认一个封闭形式的解决方案，这一结果可能是独立的利益。我们进一步专门RFW的特殊正交群，并表明，在这里也可以解决的黎曼“线性”神谕的封闭形式。在这里，我们描述了一个应用程序的同步数据矩阵（Procrustes问题）。我们补充我们的理论结果与经验比较RFW对国家的最先进的黎曼最优化方法，并观察到RFW执行竞争力的任务计算黎曼质心。
2021-11-25 cs.LG math.FA math.OC
On the Online Frank-Wolfe Algorithms for Convex and Non-convex Optimizations
Institut Mines-Telecom, Telecom ParisTech, CNRS LTCI（法国矿业电信研究院，巴黎高等电信学院，法国国家科学研究中心LTCI）；Arizona State University（亚利桑那州立大学）；Ecole Polytechnique（巴黎综合理工学院）
在本文中，经典的Frank-Wolfe算法的在线变种被认为是。我们考虑在随机成本下最小化后悔。在线算法只需要简单的迭代更新和非自适应步长规则，在文献中通常考虑的混合计划。几个新的结果推导出凸和非凸损失。在强凸随机费用下，当最优解位于约束集内部或约束集为多胞形时，其后悔界和最优性分别为${\cal O}( \log^3 T / T )$和${\cal O}( \log^2 T / T)$，其中$T$为博弈轮数.这些结果是基于对随机Frank-Wolfe算法的改进分析。此外，在线算法收敛，即使当损失是非凸的，即，算法以${\cal O}(\sqrt{1/T})$的速率找到时变/随机损失的平稳点。现实数据集的数值实验，以支持我们的理论主张。
2016-08-15 cs.LG stat.ML
Greedy Frank-Wolfe Algorithm for Exemplar Selection
UC Berkeley（加州大学伯克利分校）
在本文中，我们考虑的问题，选择代表从一个数据集的任意监督/无监督学习任务。我们识别数据集$A$的子集$S$，使得1）$S$的大小比$A$小得多，以及2）$S$以经由凸优化形式化的方式有效地描述整个数据集。为了生成$|S| = k$样本，我们的可核化算法，Frank-Wolfe稀疏表示（FWSR），只需要执行$\approx k$迭代，每次迭代的成本是$A$大小的二次方。这与需要执行直到收敛的其他现有技术方法形成对比，其中每次迭代花费额外的因子$d$（数据的维度）。此外，我们还证明了我们的方法的线性收敛性。我们支持我们的实证实验结果，我们测试我们的算法对当前的方法在三个不同的实验设置在四个不同的数据集。FWSR在几乎所有场景中的速度和准确性都优于其他范例发现方法。
2020-02-23 cs.LG stat.ML
An Enhanced Zeroth-Order Stochastic Frank-Wolfe Framework for Constrained Finite-Sum Optimization
School of Management, Xi’an Jiaotong University（西安交通大学管理学院）
提出增强的零阶随机Frank-Wolfe框架，通过双重方差缩减降低梯度近似和采样方差，在凸与非凸有限和优化中实现最优查询复杂度，并在多项机器学习任务中验证了高效性与可扩展性。
2025-01-23 cs.LG cs.NA math.NA
Global Convergence of Frank Wolfe on One Hidden Layer Networks
CNRS（法国国家科学研究中心）；École Normale Supérieure（巴黎高等师范学院）；Stanford University（斯坦福大学）
在训练一个隐层神经网络时，我们给出了Frank Wolfe算法的整体收敛界.当使用ReLU激活函数时，并且在样本数据集上的易于处理的预处理假设下，用于增量形成解决方案的线性最小化预言可以作为二阶锥程序显式求解。然后，经典的Frank Wolfe算法以速率$O(1/T)$收敛，其中$T$是神经元的数量和对oracle的调用的数量。
2020-02-06 cs.LG math.OC
Stochastic Frank-Wolfe for Constrained Finite-Sum Minimization
University of California, Berkeley（加州大学伯克利分校）；ETH Zurich（苏黎世联邦理工学院）；SumUp Analytics（SumUp分析公司）；Max-Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；MIT Sloan School of Management（麻省理工学院斯隆管理学院）；Google Research（谷歌研究院）
我们提出了一种新的随机Frank-Wolfe（a.k.a.条件梯度）算法的约束光滑有限和最小化与广义线性预测/结构。这类问题包括具有稀疏、低秩或其他结构化约束的经验风险最小化。该方法实现简单，不需要调整步长，并且具有与数据集大小无关的恒定每次迭代成本。此外，作为该方法的副产品，我们得到的Frank-Wolfe间隙的随机估计，可以用作停止准则。根据设置，所提出的方法匹配或改进的最佳计算保证随机弗兰克-沃尔夫算法。几个数据集上的基准突出了不同的制度，其中所提出的方法表现出更快的经验收敛比相关的方法。最后，我们在一个开源包中提供了所有考虑的方法的实现。
2022-09-08 cs.LG math.OC
Revisiting Frank-Wolfe for Structured Nonconvex Optimization
Umeå University（于默奥大学）；Technical University of Munich（慕尼黑工业大学）
本文提出了一种无投影Frank-Wolfe方法，用于优化结构非凸函数，通过精心选择DC分解以提高效率并找到更好的局部解。
2025-11-27 cs.LG math.OC
Fast Learning of Multidimensional Hawkes Processes via Frank-Wolfe
Massachusetts Institute of Technology（麻省理工学院）；JP Morgan AI Research（摩根大通人工智能研究院）
Hawkes过程最近已经上升到建模和生成序列事件数据的工具的最前沿。多维Hawkes过程对不同类型事件之间的自激励和交叉激励进行建模，并已成功应用于金融，流行病学和个性化推荐等各个领域。在这项工作中，我们提出了一个适应的Frank-Wolfe算法学习多维霍克斯过程。实验结果表明，我们的方法具有更好的或在杆的准确性参数估计比其他一阶方法，同时享受一个显着更快的运行时间。
2022-12-12 cs.LG math.OC
How Does Momentum Help Frank Wolfe?
University of Minnesota - Twin Cities（明尼苏达大学双城分校）；Delft University of Technology（代尔夫特理工大学）
我们揭示了弗兰克沃尔夫（FW）型算法和加速梯度法（AGM）的动量之间的联系。在消极的一面，这些联系说明了为什么动量不太可能对FW类型的算法有效。另一方面，这种联系背后令人鼓舞的信息是，动量对FW在一类问题上是有用的。特别是，我们证明了一个动量的FW的变体，我们的加速弗兰克沃尔夫（AFW），收敛速度更快的速度$\tilde{\cal O}(\frac{1}{k^2})$某些约束集，尽管在一般情况下，FW相同的${\cal O}(\frac{1}{k})$率。考虑到AFW几乎没有额外成本的可能加速，因此它是FW的有竞争力的替代品。基准机器学习任务的数值实验进一步验证了我们的理论研究结果。
2020-06-19 cs.LG math.OC stat.ML
Fast Rates for Bandit Optimization with Upper-Confidence Frank-Wolfe
University of Cambridge（剑桥大学）；ENS Paris–Saclay（巴黎萨克雷高等师范学校）；Criteo Research, Paris（Criteo 研究院，巴黎）
我们考虑的问题的强盗优化，启发随机优化和在线学习问题的强盗反馈。在这个问题中，目标是最小化所有动作的全局损失函数，而不一定是累积损失。这个框架允许我们研究一个非常一般的问题，在统计学，机器学习和其他领域的应用。为了解决这个问题，我们分析了上置信度Frank-Wolfe算法，该算法受到了强盗和凸优化技术的启发。我们给出了理论上的保证，该算法的性能在各类功能，并讨论这些结果的最优性。
2017-09-06 cs.LG math.OC stat.ML
Boosting as Frank-Wolfe
Kyushu University（九州大学）；RIKEN AIP（理化学研究所先进智能项目中心）
一些boosting算法，如LPBoost、ERLPBoost和C-ERLPBoost，旨在用$\ell_1$ -范数正则化来解决软间隔优化问题。LPBoost在实践中快速收敛到$ε$近似解，但已知在最差情况下进行$Ω(m)$迭代，其中$m$是样本量。另一方面，ERLPBoost和C-ERLPBoost保证在$O(\frac{1}{ε^2} \ln \frac{m}ν)$迭代中收敛到$ε$近似解。然而，与LPBoost相比，每次迭代的计算量非常高。为了解决这个问题，我们提出了一个通用的升压方案，结合了弗兰克-沃尔夫算法和任何辅助算法，并切换到其他迭代。我们表明，该计划保留了相同的收敛保证ERLPBoost和C-ERLPBoost。可以结合任何辅助算法来在实践中改进。该方案来自于对用于软余量优化的提升算法的统一观点。更具体地说，我们表明，LPBoost，ERLPBoost，和C-ERLPBoost是弗兰克-沃尔夫算法的实例。在真实数据集上的实验中，我们的方案的一个实例利用了次级算法的更好更新，并使用LPBoost进行了优化。
2022-09-30 cs.LG math.OC
Frank-Wolfe Algorithm for the Exact Sparse Problem
Aix Marseille Univ（艾克斯-马赛大学）；Université de Toulon（土伦大学）；CNRS（法国国家科学研究中心）；Centrale Marseille（马赛中央理工学院）
本文研究了求解\ExactSparse重建问题的Frank-Wolfe算法的性质。我们证明，当字典是准不相干的，在每次迭代中，Frank-Wolfe算法拿起一个原子索引的支持。我们还证明了，当字典是准不相干的，存在一个迭代，超过该算法的指数快速收敛。
2018-12-18 cs.LG stat.ML
Revisiting Frank-Wolfe for Polytopes: Strict Complementarity and Sparsity
Technion - Israel Institute of Technology（以色列理工学院）
近年来，在假设目标函数具有二次增长性质的条件下，证明了求解凸紧多面体上光滑凸极小化问题的经典Frank-Wolfe算法（又称条件梯度算法）的简单修改以线性速度收敛。然而，这些方法的速度明显取决于问题的维度，这不能解释它们在大规模问题中的经验成功。在本文中，我们首先证明，已经非常简单的问题，甚至当最优解位于低维面的多面体，这种依赖的尺寸不能避免在最坏的情况下。然后，我们重新审视了一个严格的互补性假设已经考虑在沃尔夫的经典书籍\cite{Wolfe1970}，并证明在这种条件下，弗兰克-沃尔夫方法与远离步骤和线搜索的线性收敛率，明确地只依赖于最佳面的尺寸。我们激励严格互补证明，它意味着稀疏鲁棒性的最优解噪声。
2021-01-06 cs.LG math.OC stat.ML
Stochastic Compositional Optimization via Hybrid Momentum Frank--Wolfe
Machine Learning and Optimization Laboratory (MLO)（机器学习与优化实验室）
本文提出混合动量随机Frank-Wolfe算法，无需假设外层函数F的光滑性，结合动量Jacobian追踪器与泰勒修正函数追踪器，实现非凸目标函数的O(K^{-1/4})收敛率。
2026-10-12 cs.LG math.OC
Frank-Wolfe Algorithms for Saddle Point Problems
INRIA（法国国家信息与自动化研究所）；École normale supérieure, Paris（巴黎高等师范学院）；Netflix Inc.（Netflix公司）；Université de Montréal（蒙特利尔大学）
将Frank-Wolfe（FW）优化算法推广到求解约束光滑凹凸鞍点（SP）问题。值得注意的是，该方法只需要访问线性最小化神谕。利用FW优化的最新进展，我们提供了第一个证明收敛的FW型鞍点求解多面体，从而部分回答了30岁的猜想。我们还调查了其他的收敛结果，并强调FW式算法的理论基础的差距。激励应用程序没有已知的有效的替代品，探索通过结构化预测与组合的处罚，以及游戏在匹配多面体涉及指数数量的约束。
2017-03-03 cs.LG math.OC stat.ML
Regularized Frank-Wolfe for Dense CRFs: Generalizing Mean Field and Beyond
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）
我们介绍了正则化的Frank-Wolfe，一个通用的和有效的算法的推理和学习的稠密条件随机场（CRF）。该算法优化了一个非凸连续松弛的CRF推理问题，使用香草弗兰克-沃尔夫近似更新，这相当于最小化一个正则化的能量函数。我们所提出的方法是现有的算法，如平均场或凹凸过程的推广。这种观点不仅提供了对这些算法的统一分析，而且还允许探索可能产生更好性能的不同变体的简单方法。我们在标准语义分割数据集上的经验结果中说明了这一点，其中我们正则化的Frank-Wolfe的几个实例优于平均场推理，无论是作为独立组件还是作为神经网络中的端到端可训练层。我们还表明，密集的CRF，加上我们的新算法，产生显着的改善强CNN基线。
2022-09-07 cs.CV cs.LG math.OC
Scalable DC Optimization via Adaptive Frank-Wolfe Algorithms
Institute of Mathematics, Technische Universität Berlin and Zuse Institute Berlin（数学研究所、柏林技术大学和柏林泽尼茨研究所）
针对约束DC优化问题，提出结合BPCG算法与自适应误差界的Frank-Wolfe变体，实现高效可扩展的无投影求解。
2025-08-02 cs.LG math.OC
Minding the Gaps for Block Frank-Wolfe Optimization of Structured SVMs
INRIA（法国国家信息与自动化研究所）；École Normale Supérieure（巴黎高等师范学院）；CentraleSupélec（中央理工-高等电力学院）
在本文中，我们提出了几个改进的块坐标Frank-Wolfe（BCFW）算法从Lacoste-Julien等人。（2013）最近用于优化结构化支持向量机（SSVM）目标的结构化预测的背景下，虽然它有更广泛的应用。我们的改进背后的关键直觉是，由BCFW保持的块间隙的估计揭示了块次优性，可以用作自适应标准。首先，我们在BCFW的每次迭代中通过基于间隙的采样以自适应非均匀的方式对对象进行采样。第二，我们将成对和远离步骤的弗兰克-沃尔夫到块坐标设置的变体。第三，我们用基于块间隙的缓存命中标准来缓存Oracle调用。第四，我们提供了第一种计算SSVM近似正则化路径的方法。最后，我们提供了一个详尽的实证评估我们所有的方法在四个结构化的预测数据集。
2016-05-30 cs.LG math.OC stat.ML
A PARTAN-Accelerated Frank-Wolfe Algorithm for Large-Scale SVM Classification
Federico Santa María University（费德里科·圣玛丽亚大学）；KU Leuven（荷语鲁汶大学）
Frank-Wolfe算法最近重新获得了机器学习社区的关注。它们坚实的理论性质和稀疏性保证使它们成为该领域广泛问题的合适选择。此外，存在几种基本程序的变体，以提高其理论特性和实际性能。在本文中，我们调查的应用程序中的一些技术，机器学习，特别是集中在并行切线（PARTAN）的FW算法的变种，以前没有建议或研究这类问题。我们提供的实验都在一个标准的设置和使用随机加速技术，表明所考虑的算法在几个中型和大型的SVM分类基准数据集上取得了可喜的成果。
2015-02-05 cs.LG math.OC stat.ML
