How Does Momentum Help Frank Wolfe?
University of Minnesota - Twin Cities（明尼苏达大学双城分校）；Delft University of Technology（代尔夫特理工大学）
我们揭示了弗兰克沃尔夫（FW）型算法和加速梯度法（AGM）的动量之间的联系。在消极的一面，这些联系说明了为什么动量不太可能对FW类型的算法有效。另一方面，这种联系背后令人鼓舞的信息是，动量对FW在一类问题上是有用的。特别是，我们证明了一个动量的FW的变体，我们的加速弗兰克沃尔夫（AFW），收敛速度更快的速度$\tilde{\cal O}(\frac{1}{k^2})$某些约束集，尽管在一般情况下，FW相同的${\cal O}(\frac{1}{k})$率。考虑到AFW几乎没有额外成本的可能加速，因此它是FW的有竞争力的替代品。基准机器学习任务的数值实验进一步验证了我们的理论研究结果。
2020-06-19 cs.LG math.OC stat.ML
Fast Rates for Bandit Optimization with Upper-Confidence Frank-Wolfe
University of Cambridge（剑桥大学）；ENS Paris–Saclay（巴黎萨克雷高等师范学校）；Criteo Research, Paris（Criteo 研究院，巴黎）
我们考虑的问题的强盗优化，启发随机优化和在线学习问题的强盗反馈。在这个问题中，目标是最小化所有动作的全局损失函数，而不一定是累积损失。这个框架允许我们研究一个非常一般的问题，在统计学，机器学习和其他领域的应用。为了解决这个问题，我们分析了上置信度Frank-Wolfe算法，该算法受到了强盗和凸优化技术的启发。我们给出了理论上的保证，该算法的性能在各类功能，并讨论这些结果的最优性。
2017-09-06 cs.LG math.OC stat.ML
Frank Wolfe Meets Metric Entropy
Frank-Wolfe算法由于其能够有效地解决机器学习和高维统计中的约束优化问题而重新流行起来。因此，有很多兴趣在建立时，算法可以拥有一个“线性”的$O(\log(1/ε))$无量纲迭代的复杂性相比，投影梯度下降。在本文中，我们提供了一个通用的技术，建立特定领域的和易于估计的下限Frank-Wolfe及其变种使用度量熵的域。最值得注意的是，我们表明，一个无量纲的线性上限必须失败，不仅在最坏的情况下，但在\emph{average case}：高斯或球形随机多面体在$\mathbb{R}^d$与$\mathrm{poly}(d)$顶点，弗兰克-沃尔夫需要高达$\tildeΩ(d)$迭代，以实现$O(1/d)$的错误界，具有很高的概率。我们还建立了核规范球的这种现象。与度量熵的联系也对统计学中的条件梯度算法有着有趣的积极影响，例如梯度提升和匹配追踪。特别是，我们表明，它是可能的提取快速衰减的上限直接从分析的基础优化过程中的超额风险。
2022-05-17 cs.LG math.OC stat.ML
Linear Convergence of a Frank-Wolfe Type Algorithm over Trace-Norm Balls
Microsoft Research（微软研究院）；Princeton University（普林斯顿大学）
我们提出了一个秩$k$变种的经典Frank-Wolfe算法来解决凸优化的轨迹范数球。我们的算法用一个顶- $k$奇异向量计算（$k$-SVD）代替了Frank-Wolfe算法中的顶奇异向量计算（$1$-SVD），这可以通过重复应用$1$ -SVD $k$次来完成。或者，我们的算法可以被看作是一个排名$k$限制版本的投影梯度下降。当目标函数光滑且强凸时，我们的算法具有线性收敛速度，且最优解的秩至多为$k$。这提高了收敛速度和总的时间复杂度的Frank-Wolfe方法及其变种。
2017-11-09 cs.DS cs.LG math.OC
Frank-Wolfe Style Algorithms for Large Scale Optimization
我们介绍了几个变种适合大规模优化的弗兰克-沃尔夫风格的算法。我们将展示如何修改标准的Frank-Wolfe算法，使用随机梯度，近似子问题的解决方案，并勾勒决策变量，以规模庞大的问题，同时保持（常数）的最佳收敛速度$\mathcal{O}(\frac{1}{k})$。
2018-08-15 math.OC stat.ML
Beyond Short Steps in Frank-Wolfe Algorithms
Zuse Institute Berlin（柏林Zuse研究所）；Carlos III University（卡洛斯三世大学）；Technische Universität Berlin（柏林工业大学）
本文通过利用函数平滑性提出新技术以增强 Frank-Wolfe 算法，引入结合原始对偶保证的乐观框架与广义短步长策略，并证明其具有更紧的收敛速率和更优的实际性能。
2025-01-30 cs.LG math.OC
Global Convergence of Frank Wolfe on One Hidden Layer Networks
CNRS（法国国家科学研究中心）；École Normale Supérieure（巴黎高等师范学院）；Stanford University（斯坦福大学）
在训练一个隐层神经网络时，我们给出了Frank Wolfe算法的整体收敛界.当使用ReLU激活函数时，并且在样本数据集上的易于处理的预处理假设下，用于增量形成解决方案的线性最小化预言可以作为二阶锥程序显式求解。然后，经典的Frank Wolfe算法以速率$O(1/T)$收敛，其中$T$是神经元的数量和对oracle的调用的数量。
2020-02-06 cs.LG math.OC
A Multistep Frank-Wolfe Method
Stony Brook University（石溪大学）
Frank-Wolfe算法在结构受限的机器学习应用中重新获得了很大的兴趣。然而，Frank-Wolfe算法的一个主要限制是由于锯齿行为而导致的缓慢的局部收敛特性。我们观察到的锯齿形的现象在Frank-Wolfe方法作为一个工件的离散化，并提出多步骤的Frank-Wolfe变量的截断误差衰减为$O(Δ^p)$，其中$p$是该方法的顺序。这种策略“稳定”了方法，并允许像线搜索和动量这样的工具有更多的好处。然而，我们的研究结果表明，Runge-Kutta型离散格式的最坏情况下的收敛速度不能改善香草Frank-Wolfe方法的速度依赖于$k$。尽管如此，我们相信这种分析增加了对最优化方法的流动分析的不断增长的知识，并且是对多步法的最终有用性的警示。
2022-10-14 cs.LG math.OC
Scalable Frank-Wolfe on Generalized Self-concordant Functions via Simple Steps
Georgia Institute of Technology（佐治亚理工学院）；Zuse Institute Berlin（柏林祖斯研究所）；Univ. Grenoble Alpes（格勒诺布尔大学）；Inria（法国国家信息与自动化研究所）；Technische Universität Berlin（柏林工业大学）
本文针对广义自协调函数提出一种使用开环步长 $γ_t = 2/(t+2)$ 的简单Frank-Wolfe变体，证明其达到 $\mathcal{O}(1/t)$ 收敛速率，无需二阶信息或光滑参数估计，并进一步给出可行域一致凸或多面体情形下的改进速率。
2024-04-08 cs.LG math.OC stat.ML
Frank-Wolfe Algorithms for Saddle Point Problems
INRIA（法国国家信息与自动化研究所）；École normale supérieure, Paris（巴黎高等师范学院）；Netflix Inc.（Netflix公司）；Université de Montréal（蒙特利尔大学）
将Frank-Wolfe（FW）优化算法推广到求解约束光滑凹凸鞍点（SP）问题。值得注意的是，该方法只需要访问线性最小化神谕。利用FW优化的最新进展，我们提供了第一个证明收敛的FW型鞍点求解多面体，从而部分回答了30岁的猜想。我们还调查了其他的收敛结果，并强调FW式算法的理论基础的差距。激励应用程序没有已知的有效的替代品，探索通过结构化预测与组合的处罚，以及游戏在匹配多面体涉及指数数量的约束。
2017-03-03 cs.LG math.OC stat.ML
Frank-Wolfe Splitting via Augmented Lagrangian Method
MILA；DIRO；Université de Montréal（蒙特利尔大学）；UC Berkeley（加州大学伯克利分校）；ETH Zurich（苏黎世联邦理工学院）
在凸集的交集上最小化函数是优化中的一个重要任务，通常比在每个单独的约束集上最小化它更具挑战性。虽然传统的方法，如弗兰克-沃尔夫（FW）或近似梯度下降假设访问一个线性或二次预言的交集，分裂技术利用每个集的结构，只需要访问的预言的个人约束。在这项工作中，我们开发和分析的弗兰克-沃尔夫增广拉格朗日（FW-AL）算法，一种方法，用于最小化一个光滑函数相关的凸紧集的“线性一致性”的约束，只需要访问一个线性最小化预言的个人约束。它基于增广拉格朗日方法（ALM），也称为乘数方法，但与大多数现有的分裂方法不同，它只需要访问线性（而不是二次）最小化神谕。利用Frank-Wolfe分析的最新进展和乘子算法的交替方向法证明了FW-AL在一般凸紧集上的次线性收敛速度和在多面体上的线性收敛速率.
2018-04-09 cs.LG math.OC stat.ML
Boosted Stochastic Frank-Wolfe for Constrained Nonconvex Optimization
National University of Singapore（新加坡国立大学）；School of Mathematics and Computer Science, Iran University of Science and Technology（伊朗科技大学数学与计算机科学学院）；CentraleSupélec, Université Paris-Saclay, Inria（中央理工-高等电力学院，巴黎萨克雷大学，法国国家信息与自动化研究所）
提出一种不依赖梯度Lipschitz常数的步长策略，将增强型Frank-Wolfe算法扩展到随机设置，并证明其与多种梯度估计器结合时保持收敛率，首次给出非凸和拟凸目标上的收敛率。
2026-05-24 math.OC stat.ML
Minding the Gaps for Block Frank-Wolfe Optimization of Structured SVMs
INRIA（法国国家信息与自动化研究所）；École Normale Supérieure（巴黎高等师范学院）；CentraleSupélec（中央理工-高等电力学院）
在本文中，我们提出了几个改进的块坐标Frank-Wolfe（BCFW）算法从Lacoste-Julien等人。（2013）最近用于优化结构化支持向量机（SSVM）目标的结构化预测的背景下，虽然它有更广泛的应用。我们的改进背后的关键直觉是，由BCFW保持的块间隙的估计揭示了块次优性，可以用作自适应标准。首先，我们在BCFW的每次迭代中通过基于间隙的采样以自适应非均匀的方式对对象进行采样。第二，我们将成对和远离步骤的弗兰克-沃尔夫到块坐标设置的变体。第三，我们用基于块间隙的缓存命中标准来缓存Oracle调用。第四，我们提供了第一种计算SSVM近似正则化路径的方法。最后，我们提供了一个详尽的实证评估我们所有的方法在四个结构化的预测数据集。
2016-05-30 cs.LG math.OC stat.ML
A PARTAN-Accelerated Frank-Wolfe Algorithm for Large-Scale SVM Classification
Federico Santa María University（费德里科·圣玛丽亚大学）；KU Leuven（荷语鲁汶大学）
Frank-Wolfe算法最近重新获得了机器学习社区的关注。它们坚实的理论性质和稀疏性保证使它们成为该领域广泛问题的合适选择。此外，存在几种基本程序的变体，以提高其理论特性和实际性能。在本文中，我们调查的应用程序中的一些技术，机器学习，特别是集中在并行切线（PARTAN）的FW算法的变种，以前没有建议或研究这类问题。我们提供的实验都在一个标准的设置和使用随机加速技术，表明所考虑的算法在几个中型和大型的SVM分类基准数据集上取得了可喜的成果。
2015-02-05 cs.LG math.OC stat.ML
Frank-Wolfe with a Nearest Extreme Point Oracle
Technion - Israel Institute of Technology（以色列理工学院）
我们认为经典的Frank-Wolfe算法的变种约束光滑凸最小化，而不是访问标准的甲骨文最小化的线性函数的可行集，有访问一个甲骨文，可以找到一个极值点的可行集是最接近的欧几里得距离到一个给定的向量。我们首先表明，对于许多可行的兴趣集，这样的预言可以实现与标准的线性最优化预言相同的复杂性。然后，我们表明，与这样的预言，我们可以设计新的Frank-Wolfe变种享有显着改善的复杂性界限的情况下，最优解的集合在于在凸包的一个子集的极值点与小直径（例如，多面体的低维面）。特别是，对于许多$0\text{--}1$多面体，在二次增长和严格互补的条件下，我们得到的第一个线性收敛的变化率，只依赖于最佳的面的尺寸，而不是周围的尺寸。
2022-02-09 cs.LG math.OC stat.ML
Non-polyhedral extensions of the Frank-and-Wolfe theorem
在1956年玛格丽特弗兰克和保罗沃尔夫证明，一个二次函数是有界以下的多面体$P$达到其下确界的$P$。在这项工作中，我们寻找更大的类集$F$与此弗兰克和沃尔夫财产。我们建立了非多面体Frank-and-Wolfe集的存在性，通过渐近性质得到了内部特征，并研究了Frank-and-Wolfe类在各种操作下的稳定性。
2018-05-09 math.OC
On the Global Linear Convergence of Frank-Wolfe Optimization Variants
INRIA（法国国家信息与自动化研究所）；École Normale Supérieure（巴黎高等师范学院）；ETH Zürich（苏黎世联邦理工学院）
Frank-Wolfe（FW）优化算法最近重新流行起来，特别是由于它能够很好地处理机器学习应用程序中出现的结构化约束。然而，当解位于边界时，其收敛速度已知是慢的（次线性）。一个简单的不太为人所知的修复方法是在优化过程中添加删除“步骤”的可能性，重要的是，该操作不需要可行性预言。在本文中，我们强调和澄清几个变种的Frank-Wolfe优化算法，已成功地应用于实践中：远离步骤FW，成对FW，完全校正FW和Wolfe的最小范数点算法，并证明了第一次，他们都享有全球线性收敛，在一个较弱的条件下比强凸的目标。收敛速度中的常数有一个优雅的解释，即函数的（经典）条件数与一个新的几何量的乘积，该几何量扮演约束集的“条件数”的角色。我们提供了指针，这些算法在实践中有所作为，特别是与流多面体，边际多面体和基本多面体的子模块优化。
2015-11-18 cs.LG math.OC stat.ML
Interpretable Neural Networks with Frank-Wolfe: Sparse Relevance Maps and Relevance Orderings
Institut für Mathematik, Technische Universität Berlin（柏林工业大学数学研究所）；Department for AI in Society, Science, and Technology, Zuse Institute Berlin（柏林楚泽研究所社会、科学与技术人工智能系）
我们研究了约束优化公式和Frank-Wolfe算法对获得可解释的神经网络预测的影响。将相关性归因的率失真校正（RDE）方法重新表述为约束优化问题，提供了对相关性图稀疏性的精确控制。这使得一种新的多速率以及RDE的相关排序变体在经验上优于标准RDE和其他基线方法，在一个完善的比较测试。我们展示了几个确定性和随机变量的弗兰克-沃尔夫算法和它们的有效性RDE。
2022-01-31 cs.LG math.OC
Lions and Muons: Optimization via Stochastic Frank-Wolfe under Heavy-Tailed Noise
University of California San Diego（加州大学圣地亚哥分校）
本文通过将Lion和Muon视为随机Frank-Wolfe的特例，提出鲁棒变体以应对厚尾噪声，提升非凸优化的收敛性和实用性。
2026-08-26 math.OC stat.ML
Using Taylor-Approximated Gradients to Improve the Frank-Wolfe Method for Empirical Risk Minimization
MIT Operations Research Center（麻省理工学院运筹学中心）；MIT Sloan School of Management（麻省理工学院斯隆管理学院）
针对经验风险最小化中Frank-Wolfe方法计算效率随数据量$n$线性增长的问题，提出结合泰勒近似梯度的改进方法，含确定性与随机变体，在凸和非凸场景下均实现对$n$依赖的降低与最优收敛速率，并通过实验验证了显著加速效果。
2023-11-21 cs.LG math.OC stat.ML
Barrier Frank-Wolfe for Marginal Inference
Courant Institute（库朗研究所）；New York University（纽约大学）；INRIA（法国国家信息与自动化研究所）；École Normale Supérieure, Paris（巴黎高等师范学院）
我们介绍了一个全局收敛的算法优化树加权（TRW）变分目标的边缘多面体。该算法基于条件梯度法（Frank-Wolfe），通过重复的最大后验概率（MAP）调用在边缘多面体内移动伪随机数。这种模块化结构使我们能够利用黑盒MAP求解器（精确和近似）的变分推断，并获得更准确的结果比树重加权算法，优化了局部一致性松弛。从理论上讲，尽管TRW目标在边缘多面体的边界处具有无界梯度，但我们约束了所提出算法的次优性。从经验上讲，我们证明了通过在合成和现实世界的实例中收紧边缘多面体以及生成树多面体的松弛，可以提高结果的质量。
2015-11-25 cs.LG math.OC stat.ML
Regularized Frank-Wolfe for Dense CRFs: Generalizing Mean Field and Beyond
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）
我们介绍了正则化的Frank-Wolfe，一个通用的和有效的算法的推理和学习的稠密条件随机场（CRF）。该算法优化了一个非凸连续松弛的CRF推理问题，使用香草弗兰克-沃尔夫近似更新，这相当于最小化一个正则化的能量函数。我们所提出的方法是现有的算法，如平均场或凹凸过程的推广。这种观点不仅提供了对这些算法的统一分析，而且还允许探索可能产生更好性能的不同变体的简单方法。我们在标准语义分割数据集上的经验结果中说明了这一点，其中我们正则化的Frank-Wolfe的几个实例优于平均场推理，无论是作为独立组件还是作为神经网络中的端到端可训练层。我们还表明，密集的CRF，加上我们的新算法，产生显着的改善强CNN基线。
2022-09-07 cs.CV cs.LG math.OC
Frank-Wolfe Methods with an Unbounded Feasible Region and Applications to Structured Learning
Frank-Wolfe（FW）方法是解决结构化统计学习中出现的大规模凸优化问题的一种常用算法。然而，传统的Frank-Wolfe方法仅适用于可行域有界的情况，这限制了其在实际中的适用性。基于统计学习中的两个应用，$\ell_1$趋势滤波问题和广义核范数约束下的矩阵最优化问题，研究了一类凸优化问题，其中无界可行域是无界线性子空间和有界约束集的直和.针对这类具有无界可行域的凸优化问题，提出了两种新的Frank-Wolfe方法：无界Frank-Wolfe方法（uFW）和无界Away-Step Frank-Wolfe方法（uAFW）.我们证明了在适当的正则性条件下，无界Frank-Wolfe方法具有$O(1/k)$次线性收敛速度，无界Away-Step Frank-Wolfe方法具有线性收敛速率，当可行域有界时，与著名的Frank-Wolfe方法结果相匹配.此外，计算实验表明，我们提出的方法似乎优于其他解决方案。
2021-10-07 math.OC
FrankWolfe.jl: a high-performance and flexible toolbox for Frank-Wolfe algorithms and Conditional Gradients
我们提出了FrankWolfe.jl，一个开源的实现几个流行的Frank-Wolfe和条件约束变量的一阶约束优化。该软件包的设计考虑到了灵活性和高性能，允许轻松扩展，并依赖于用户提供的功能的假设很少。它支持Julia独特的多重分派功能，并使用MathOptInterface. jl与通用线性最优化公式顺利对接。
2021-10-05 math.OC
Parallel and Distributed Block-Coordinate Frank-Wolfe Algorithms
我们开发并行和分布式的弗兰克-沃尔夫算法，前者在共享内存的机器上的迷你，后者在延迟更新框架。只要有可能，我们就异步执行计算，这有助于在多核机器和分布式环境中实现加速。此外，而不是最坏情况下的有界延迟，我们的方法只依赖于（轻度）\emph{expected}延迟，使他们能够强大的掉队者和故障工作线程。我们的算法假设了块可分的约束条件，并继承了最近的块坐标Frank-Wolfe（BCFW）方法\citep{lacoste2013block}。我们的分析揭示了问题相关的数量，我们的方法在BCFW的加速。我们目前的实验结构SVM和组融合套索，获得显着的加速比竞争国家的最先进的（和同步）的方法。
2016-02-13 math.OC stat.ML
Convergence Rate of Frank-Wolfe for Non-Convex Objectives
INRIA（法国国家信息与自动化研究所）；ENS（巴黎高等师范学院）
本文证明Frank-Wolfe算法在非凸目标函数上以O(1/√t)速度收敛，且分析为仿射不变，首次在不同稳定性度量下达到与投影梯度方法相似的收敛速度。
2016-07-01 cs.LG cs.NA math.NA
Convergence Analysis of the Frank-Wolfe Algorithm and Its Generalization in Banach Spaces
Frank-Wolfe算法是一种最早的优化方法，也被称为条件梯度法，由Frank和Wolfe于1956年提出。Frank-Wolfe算法由于其简单的线性子问题，近年来在解决信号处理和机器学习等应用领域中的大规模结构化最优化问题方面受到广泛关注。本文详细讨论了巴拿赫空间中Frank-Wolfe算法的收敛性分析。讨论了步长的两种选择方法：直线最小搜索法和开环规则。在这两种情况下，我们证明了收敛的Frank-Wolfe算法的情况下，目标函数$f$具有一致连续的（有界集）Fréchet导数$f'$。引入$σ\in (1,2]$阶曲率常数的概念，得到了Frank-Wolfe算法的收敛速度$O(\frac{1}{k^{σ-1}})$.特别地，如果$f'$对于$ν\in (0,1]$是$ν$连续的，则该速率降低到$O(\frac{1}{k^ν})$，如果$f'$是Lipschitz连续的，则该速率降低到$O(\frac{1}{k})$。一个广义的Frank-Wolfe算法也被引入到解决问题的最小化的复合目标函数。研究了Frank-Wolfe算法和广义Frank-Wolfe算法的迭代收敛性。
2017-10-19 math.OC
Frank-Wolfe variants for minimization of a sum of functions
我们提出了几个变种的Frank-Wolfe算法，以尽量减少功能的总和。所提出的主要算法的灵感来自于Nesterov的双平均方案，适用于Frank Wolfe在随机环境中。还建议了该方案的分布式版本。此外，我们提出了一个基于增量梯度技术的Frank-Wolfe变体。建立了所有算法的收敛速度。最小二乘回归和多项式分类的性能进行了研究。
2023-01-10 math.OC
Fast convergence of Frank-Wolfe algorithms on polytopes
该研究提出一个统一推导框架，基于误差界和扩展曲率这两个仿射不变性质，推导多面体上四类Frank-Wolfe算法从次线性到线性的收敛速率，速率结果不依赖仿射相关对象。
2025-05-20 math.OC
Frank-Wolfe-based Algorithms for Approximating Tyler's M-estimator
Technion - Israel Institute of Technology（以色列理工学院）
泰勒M-估计量是一个著名的稳健和重尾协方差估计程序。Tyler自己提出了一种迭代定点算法来计算他的估计量，然而，它需要每次迭代的超线性（在数据大小上）运行时间，这在大规模上可能是禁止的。在这项工作中，我们提出，据我们所知，第一弗兰克-沃尔夫为基础的算法计算泰勒的估计。一种变体使用标准Frank-Wolfe步骤，第二种也考虑\textit{away-steps}（AFW），第三种是AFW的\textit{geodesic}版本（GAFW）。AFW可证明地要求，直到对数因子，每次迭代仅线性时间，而GAFW在大的$n$（数据点的数量）制度中以线性时间（直到对数因子）运行。所有三个变种证明收敛到最优解次线性率，在标准假设下，尽管事实上，根本的最优化问题是不凸也不光滑。在一个额外的相当温和的假设下，当（归一化的）数据点是i.i.d.时，概率为1。对于全单位球面上连续分布的样本，证明了AFW和GAFW以线性速度收敛。重要的是，所有三种变体都是无参数的，并使用自适应步长。
2022-10-25 cs.LG math.OC stat.ML
One Sample Stochastic Frank-Wolfe
Yale University（耶鲁大学）；University of Pennsylvania（宾夕法尼亚大学）；The University of Texas at Austin（得克萨斯大学奥斯汀分校）
投影梯度下降法的优点之一在于其相当简单的机制和具有不精确随机梯度的稳定行为，这导致其在许多机器学习应用中广泛使用。然而，一旦我们用一个更简单的线性规划来代替投影算子，就像在弗兰克-沃尔夫方法中所做的那样，简单性和稳定性都受到了严重的打击。本文的目的是在不牺牲效率的情况下将它们带回来。在本文中，我们提出了第一个单样本随机Frank-Wolfe算法，称为1-SFW，避免了需要仔细调整批量大小，步长，学习率，和其他复杂的超参数。特别是，1-SFW实现了最佳的收敛速度的$\mathcal{O}(1/ε^2)$达到$ε$ -次优解的随机凸设置，和$(1-1/e)-ε$近似解的随机单调DR-次模极大化问题。此外，在一般的非凸设置中，1-SFW在至多$\mathcal{O}(1/ε^3)$迭代之后找到$ε$ -一阶稳定点，实现当前最佳已知的收敛速度。所有这些都可以通过设计一种新的无偏动量估计器来实现，该估计器在每次迭代时使用单个样本来控制优化过程的稳定性。
2019-10-10 cs.LG math.OC stat.ML
Spectral Frank-Wolfe Algorithm: Strict Complementarity and Linear Convergence
我们开发了一个新的变种的经典的Frank-Wolfe算法，我们称之为谱Frank-Wolfe，凸优化的谱面体。谱Frank-Wolfe算法有一个新的成分：它计算梯度的一些特征向量，并在每次迭代中求解一个小规模的SDP。该方法克服了经典Frank-Wolfe算法因忽略特征值融合而导致的收敛速度慢的缺点。我们证明，严格互补的最优化问题是关键，证明线性收敛的各种算法，如频谱弗兰克-沃尔夫算法以及投影梯度法及其加速版本。
2020-08-17 math.OC
Frank-Wolfe Optimization for Symmetric-NMF under Simplicial Constraint
Carnegie Mellon University（卡内基梅隆大学）
对称非负矩阵分解提供了非负矩阵的对称低秩分解，在许多领域有着广泛的应用。在本文中，我们提出了一个Frank-Wolfe（FW）求解器优化对称非负矩阵分解问题的单纯形约束下，最近提出的概率聚类。与现有的解决方案相比，该算法实现简单，且无需调整超参数。基于FW算法在非凸优化中的最新进展，我们证明了$O(1/\varepsilon^2)$收敛到$\varepsilon$ -近似KKT点的速度，通过对曲率常数的紧界$Θ(n^2)$，这与使用梯度方法的无约束非凸设置中的最佳已知结果相匹配.数值结果表明了算法的有效性。作为一个侧面的贡献，我们构造了一个简单的非光滑凸问题的FW算法无法收敛到最佳。这一结果提出了一个有趣的问题的必要条件的FW算法的成功凸问题。
2018-06-26 cs.LG math.OC stat.ML
Frank-Wolfe with Subsampling Oracle
École Normale Supérieure（巴黎高等师范学院）；UC Berkeley（加州大学伯克利分校）；ETH Zurich（苏黎世联邦理工学院）；CNRS（法国国家科学研究中心）
我们分析了两个新的随机化的弗兰克-沃尔夫（FW）或条件梯度算法的变种。经典的FW算法需要在每次迭代时求解域上的线性最小化问题，而所提出的方法只需要在原始域的小\emph{subset}上求解线性最小化问题。我们提出的第一个算法是一个随机变量的原始FW算法，并实现了$\mathcal{O}(1/t)$次线性收敛速度的确定性对应。第二算法是离开步骤FW算法的随机化变体，并且再次作为其确定性对应物，达到线性（即，指数）收敛速度，使其成为第一个可证明收敛的随机变量的离开步骤FW。在这两种情况下，虽然子采样以恒定因子降低了收敛速度，但是线性最小化步骤可以是确定性版本的成本的一小部分，特别是当数据被流式传输时。我们说明了回归问题的算法的计算收益，涉及$\ell_1$和潜在的组套索处罚。
2018-03-20 cs.LG math.OC stat.ML
Stochastic Frank-Wolfe for Constrained Finite-Sum Minimization
University of California, Berkeley（加州大学伯克利分校）；ETH Zurich（苏黎世联邦理工学院）；SumUp Analytics（SumUp分析公司）；Max-Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；MIT Sloan School of Management（麻省理工学院斯隆管理学院）；Google Research（谷歌研究院）
我们提出了一种新的随机Frank-Wolfe（a.k.a.条件梯度）算法的约束光滑有限和最小化与广义线性预测/结构。这类问题包括具有稀疏、低秩或其他结构化约束的经验风险最小化。该方法实现简单，不需要调整步长，并且具有与数据集大小无关的恒定每次迭代成本。此外，作为该方法的副产品，我们得到的Frank-Wolfe间隙的随机估计，可以用作停止准则。根据设置，所提出的方法匹配或改进的最佳计算保证随机弗兰克-沃尔夫算法。几个数据集上的基准突出了不同的制度，其中所提出的方法表现出更快的经验收敛比相关的方法。最后，我们在一个开源包中提供了所有考虑的方法的实现。
2022-09-08 cs.LG math.OC
Boosting Frank-Wolfe by Chasing Gradients
Georgia Institute of Technology（佐治亚理工学院）；Technische Universität Berlin（柏林工业大学）；Zuse Institute Berlin（柏林祖斯研究所）
Frank-Wolfe算法以其简单、无投影等优点成为一种流行的一阶优化算法，并成功地应用于各种实际问题。然而，它的主要缺点在于其收敛速度，由于朴素的下降方向，收敛速度可能非常慢。我们建议通过一个子程序，更好地对齐的下降方向的负梯度的Frank-Wolfe算法的速度。该子例程以匹配追踪方式追踪负梯度方向，同时仍保持无投影属性。虽然这种方法相当自然，但它产生了非常重要的结果。我们推导出收敛速度$\mathcal{O}(1/t)$到$\mathcal{O}(e^{-ωt})$的我们的方法，我们证明了它的竞争优势，每次迭代和CPU的时间在国家的最先进的一系列计算实验。
2020-06-23 cs.LG math.OC
Revisiting Frank-Wolfe for Structured Nonconvex Optimization
Umeå University（于默奥大学）；Technical University of Munich（慕尼黑工业大学）
本文提出了一种无投影Frank-Wolfe方法，用于优化结构非凸函数，通过精心选择DC分解以提高效率并找到更好的局部解。
2025-11-27 cs.LG math.OC
Nonsmooth Frank-Wolfe using Uniform Affine Approximations
Frank-Wolfe方法（FW）在机器学习领域引起了极大的兴趣，因为它能够有效地解决包含稀疏结构（例如稀疏向量和低秩矩阵）的大型问题。然而，现有的FW方法的性能取决于线性近似的质量。这通常将FW限制为平滑函数，其逼近质量（由全局曲率度量指示）相当好。在本文中，我们提出了一个修改后的FW算法适用于非光滑函数的近似质量进行优化，在所有仿射近似给定的邻域的兴趣。我们分析了该算法的理论性质，并证明了它克服了许多问题与现有的方法在非光滑低秩矩阵估计的背景下。
2018-03-20 math.OC stat.ML
Deep Neural Network Training with Frank-Wolfe
Zuse Institute Berlin（柏林祖斯研究所）；Technische Universität Berlin（柏林工业大学）
本文研究了使用无投影一阶方法的经验有效性和好处的形式条件约束，a.k.a. Frank-Wolfe方法，用于训练具有约束参数的神经网络。我们绘制比较当前国家的最先进的随机梯度下降的方法，以及在不同的变种的随机条件约束。特别是，我们显示了一般的可行性训练神经网络，其参数的约束下，使用Frank-Wolfe算法和比较不同的随机变量。然后，我们表明，通过选择一个适当的区域，可以实现性能超过无约束的随机梯度下降和匹配的最先进的结果依赖于$L^2$ -正则化。最后，我们还证明了，除了影响性能，特定的约束选择可以有一个巨大的影响学习表示。
2020-10-21 cs.LG math.OC
Accelerating Frank-Wolfe via Averaging Step Directions
Frank-Wolfe方法因其快速的每次迭代复杂度而成为稀疏约束优化中的一种流行方法。然而，折衷是其最坏情况下整体收敛相对较慢，并且重要的是，从根本上慢于其流率--也就是说，收敛速度被离散化误差抑制。在这项工作中，我们考虑修改后的弗兰克-沃尔夫的步骤方向是一个简单的加权平均过去的甲骨文调用。这种方法需要非常少的内存和计算开销，并证明衰减这个离散化误差项。数值上，我们表明，这种方法提高了收敛速度在几个问题，特别是在稀疏流形已被检测。理论上，我们证明了该方法具有$O(1/k^p)$的整体收敛速度，其中$0< p < 1$ ;流形识别后，该速度加快到$O(1/k^{3p/2})$。我们还观察到，该方法从很早的阶段就实现了这种加速率，这表明这一系列方法的加速模式很有前途。
2022-05-24 cs.LG math.OC
CCCP is Frank-Wolfe in disguise
本文揭示了一个简单但令人惊讶的联系：它表明，著名的凹凸过程（CCCP）及其推广到约束问题都是特殊情况下的弗兰克-沃尔夫（FW）方法。这种联系不仅提供了深刻的洞察力（在我们看来）的教学价值，但最近发现的收敛理论的非凸弗兰克-沃尔夫方法立即CCCP，关闭长期存在的差距，其非渐近收敛理论。我们希望本文所揭示的观点能促使FW的其他进展转移到CCCP及其推广。
2022-06-23 math.OC
Fast and Scalable Lasso via Stochastic Frank-Wolfe Methods with a Convergence Guarantee
Federico Santa María Technical University（费德里科·圣玛丽亚技术大学）；KU Leuven（荷语鲁汶大学）；University of Bologna（博洛尼亚大学）
在过去的几年中，Frank-Wolfe（FW）算法经常被提出来作为机器学习领域中出现的各种优化问题的有效求解器。使用廉价的无投影迭代的能力和该方法的增量性质使FW成为许多需要计算稀疏模型的大规模问题的非常有效的选择。在本文中，我们提出了一个高性能的FW方法的实现量身定制，以解决大规模的Lasso回归问题，基于一个随机迭代，并证明了标准FW方法的收敛保证被保存在随机设置。我们的实验表明，我们的算法优于几个现有的最先进的方法，包括坐标下降算法由弗里德曼等人。（已知最快的Lasso解算器之一），在几个基准数据集具有非常大量的功能，而不牺牲模型的准确性。我们的结果表明，该算法能够在不到一分钟的时间内生成大小高达400万个变量的问题的完整正则化路径。
2015-10-24 cs.LG math.OC stat.ML
Frank-Wolfe and friends: a journey into projection-free first-order optimization methods
大约65年前，Marguerite Straus-Frank和Philip Wolfe在一篇开创性的论文中发明了Frank-Wolfe方法，由于数据科学和其他相关应用领域对快速可靠的一阶最优化方法的需求，Frank-Wolfe方法最近获得了显着的复兴。这篇评论试图解释这种方法的成功，说明在广泛的背景下的通用性和适用性，结合帐户的最新进展的变体，这两个令人惊讶的简单的一阶优化的原则，提高了速度和效率。
2021-06-18 math.OC
Fast Learning of Multidimensional Hawkes Processes via Frank-Wolfe
Massachusetts Institute of Technology（麻省理工学院）；JP Morgan AI Research（摩根大通人工智能研究院）
Hawkes过程最近已经上升到建模和生成序列事件数据的工具的最前沿。多维Hawkes过程对不同类型事件之间的自激励和交叉激励进行建模，并已成功应用于金融，流行病学和个性化推荐等各个领域。在这项工作中，我们提出了一个适应的Frank-Wolfe算法学习多维霍克斯过程。实验结果表明，我们的方法具有更好的或在杆的准确性参数估计比其他一阶方法，同时享受一个显着更快的运行时间。
2022-12-12 cs.LG math.OC
An Affine Invariant Linear Convergence Analysis for Frank-Wolfe Algorithms
研究了几类强凸问题的Frank-Wolfe算法的变种的线性收敛，只使用仿射不变量.与Guelat & Marcotte（1986）一样，我们证明了当解在区域内部，但具有仿射不变常数时，标准Frank-Wolfe算法的线性收敛。我们还显示了线性收敛的远离步骤的变型的弗兰克-沃尔夫算法，但常数只依赖于几何的域，而不是任何属性的位置的最优解。运行这些算法不需要知道任何问题特定的参数。
2014-01-03 math.OC
Linear Convergence of Stochastic Frank Wolfe Variants
本文证明了逐步随机Frank-Wolfe算法（ASFW）和成对随机Frank-Wolfe算法（PSFW）按期望线性收敛。我们还表明，如果一个算法的线性收敛的期望，那么它几乎肯定线性收敛。为了证明这些结果，我们开发了一种新的证明技术的基础上的经验过程和浓度不等式的概念。这样的技术很少被用来推导随机最优化算法的收敛速度。在大规模的数值实验中，ASFW和PSFW在实际CPU时间上表现得与它们的随机竞争对手一样好或更好。
2017-03-21 math.OC
Frank-Wolfe Algorithms for (L0, L1)-smooth functions
Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Innopolis University（伊诺波利斯大学）；Adyghe State University（阿迪亚耶州立大学）；V. I. Vernadsky Crimean Federal University（弗拉基米尔·伊万诺维奇·维尔纳茨基克里米亚联邦大学）
本文提出了一种新的Frank-Wolfe方法，称为(L0, L1)-Frank-Wolfe算法，用于解决具有(L0, L1)-光滑目标函数的优化问题。该算法在理论上实现了优于传统Frank-Wolfe方法的收敛速度，并引入了一种自适应过程，即自适应(L0, L1)-Frank-Wolfe算法，动态调整平滑参数以进一步提高性能和稳定性。全面的数值实验验证了理论结果，并展示了所提出算法在现有Frank-Wolfe变体中的明显实际优势。
2026-10-06 math.OC
Robustness of the Frank-Wolfe Method under Inexact Oracles and the Cost of Linear Minimization
School of Mathematics and Statistics, Xi’an Jiaotong University（西安交通大学数学与统计学院）
本文研究了在不精确oracle下Frank-Wolfe方法的鲁棒性，证明了线性最小化与投影的计算成本差异，并展示了非凸函数的收敛性保证。
2026-01-25 math.OC
Stochastic Frank-Wolfe for Composite Convex Minimization
ETH Zurich（苏黎世联邦理工学院）；Ecole Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；Télécom Paris（巴黎高等电信学院）；Université Paris-Saclay（巴黎萨克雷大学）
一类广泛的凸优化问题可以表述为半定规划（SDP），即在某些仿射约束下，在半正定锥上最小化凸函数。大多数经典的SDP求解器都是为确定性设置而设计的，其中问题数据很容易获得。在这种情况下，广义条件梯度法（又名Frank-Wolfe型方法）通过利用所谓的线性最小化预言而不是投影到半定锥上来提供可扩展的解决方案。然而，机器学习和现代工程应用中的大多数问题都包含一定程度的随机性。本文提出了求解仿射约束下随机最优化问题的第一种条件梯度型方法。我们的方法保证$\mathcal{O}(k^{-1/3})$收敛速度在期望的目标残差和$\mathcal{O}(k^{-5/12})$的可行性差距。
2019-10-29 cs.AI cs.LG math.OC
On the Convergence Rate of the Duality Gap in the Generalized Frank-Wolfe Method Under the Weak Growth Condition
Tippie College of Business, University of Iowa（爱荷华大学蒂皮商学院）
本文研究Peña（2023）提出的弱增长条件下广义Frank-Wolfe方法的对偶间隙收敛速率，借助递推引理展开分析，相关引理或具独立研究价值。
2026-08-26 math.OC
Decomposition-Invariant Pairwise Frank-Wolfe Algorithm for Constrained Multiobjective Optimization
针对可行域为任意有界多面体的约束多目标优化问题，提出分解不变的成对 Frank-Wolfe 算法，并仅在强凸性下证明其整体序列线性收敛至 Pareto 最优解。
2024-09-07 math.OC
Linear Convergence of the Frank-Wolfe Algorithm over Product Polytopes
Zuse Institute Berlin（柏林泽尼克研究所）；Carlos III University（卡洛斯三世大学）；CUNEF Universidad（CUNEF大学）；Technische Universität Berlin（柏林技术大学）
本文研究Frank-Wolfe算法在乘积多胞形上的线性收敛性，引入基于分量条件数的金字塔宽度和顶点-面距离，证明对μ-Polyak-Łojasiewicz凸目标线性收敛，并应用于高维多胞形交集可行点近似求解。
2025-09-10 cs.LG math.OC
Complexity Issues and Randomization Strategies in Frank-Wolfe Algorithms for Machine Learning
KU Leuven（鲁汶大学）；Universidad Técnica Federico Santa María（费德里科·圣玛丽亚理工大学）
本文研究了Frank-Wolfe算法在大规模数据集中的有效性，分析了随机采样策略的替代方案，并提供了一些指导原则。
2014-10-15 cs.LG cs.NA math.NA
A Randomized Linearly Convergent Frank-Wolfe-type Method for Smooth Convex Minimization over the Spectrahedron
Technion - Israel Institute of Technology（技术学院-以色列理工学院）
本文提出了一种随机线性收敛的Frank-Wolfe型方法，用于在谱hedron上高效最小化平滑凸函数。
2026-03-02 cs.LG math.OC
