Stochastic Frank-Wolfe for Constrained Finite-Sum Minimization
University of California, Berkeley（加州大学伯克利分校）；ETH Zurich（苏黎世联邦理工学院）；SumUp Analytics（SumUp分析公司）；Max-Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；MIT Sloan School of Management（麻省理工学院斯隆管理学院）；Google Research（谷歌研究院）
我们提出了一种新的随机Frank-Wolfe（a.k.a.条件梯度）算法的约束光滑有限和最小化与广义线性预测/结构。这类问题包括具有稀疏、低秩或其他结构化约束的经验风险最小化。该方法实现简单，不需要调整步长，并且具有与数据集大小无关的恒定每次迭代成本。此外，作为该方法的副产品，我们得到的Frank-Wolfe间隙的随机估计，可以用作停止准则。根据设置，所提出的方法匹配或改进的最佳计算保证随机弗兰克-沃尔夫算法。几个数据集上的基准突出了不同的制度，其中所提出的方法表现出更快的经验收敛比相关的方法。最后，我们在一个开源包中提供了所有考虑的方法的实现。
2022-09-08 cs.LG math.OC
Boosting Frank-Wolfe by Chasing Gradients
Georgia Institute of Technology（佐治亚理工学院）；Technische Universität Berlin（柏林工业大学）；Zuse Institute Berlin（柏林祖斯研究所）
Frank-Wolfe算法以其简单、无投影等优点成为一种流行的一阶优化算法，并成功地应用于各种实际问题。然而，它的主要缺点在于其收敛速度，由于朴素的下降方向，收敛速度可能非常慢。我们建议通过一个子程序，更好地对齐的下降方向的负梯度的Frank-Wolfe算法的速度。该子例程以匹配追踪方式追踪负梯度方向，同时仍保持无投影属性。虽然这种方法相当自然，但它产生了非常重要的结果。我们推导出收敛速度$\mathcal{O}(1/t)$到$\mathcal{O}(e^{-ωt})$的我们的方法，我们证明了它的竞争优势，每次迭代和CPU的时间在国家的最先进的一系列计算实验。
2020-06-23 cs.LG math.OC
Revisiting Frank-Wolfe for Structured Nonconvex Optimization
Umeå University（于默奥大学）；Technical University of Munich（慕尼黑工业大学）
本文提出了一种无投影Frank-Wolfe方法，用于优化结构非凸函数，通过精心选择DC分解以提高效率并找到更好的局部解。
2025-11-27 cs.LG math.OC
Deep Neural Network Training with Frank-Wolfe
Zuse Institute Berlin（柏林祖斯研究所）；Technische Universität Berlin（柏林工业大学）
本文研究了使用无投影一阶方法的经验有效性和好处的形式条件约束，a.k.a. Frank-Wolfe方法，用于训练具有约束参数的神经网络。我们绘制比较当前国家的最先进的随机梯度下降的方法，以及在不同的变种的随机条件约束。特别是，我们显示了一般的可行性训练神经网络，其参数的约束下，使用Frank-Wolfe算法和比较不同的随机变量。然后，我们表明，通过选择一个适当的区域，可以实现性能超过无约束的随机梯度下降和匹配的最先进的结果依赖于$L^2$ -正则化。最后，我们还证明了，除了影响性能，特定的约束选择可以有一个巨大的影响学习表示。
2020-10-21 cs.LG math.OC
Accelerating Frank-Wolfe via Averaging Step Directions
Frank-Wolfe方法因其快速的每次迭代复杂度而成为稀疏约束优化中的一种流行方法。然而，折衷是其最坏情况下整体收敛相对较慢，并且重要的是，从根本上慢于其流率--也就是说，收敛速度被离散化误差抑制。在这项工作中，我们考虑修改后的弗兰克-沃尔夫的步骤方向是一个简单的加权平均过去的甲骨文调用。这种方法需要非常少的内存和计算开销，并证明衰减这个离散化误差项。数值上，我们表明，这种方法提高了收敛速度在几个问题，特别是在稀疏流形已被检测。理论上，我们证明了该方法具有$O(1/k^p)$的整体收敛速度，其中$0< p < 1$ ;流形识别后，该速度加快到$O(1/k^{3p/2})$。我们还观察到，该方法从很早的阶段就实现了这种加速率，这表明这一系列方法的加速模式很有前途。
2022-05-24 cs.LG math.OC
Stochastic In-Face Frank-Wolfe Methods for Non-Convex Optimization and Sparse Neural Network Training
University of California, Berkeley（加州大学伯克利分校）
Frank-Wolfe方法及其扩展非常适合于提供具有理想结构属性（例如稀疏性或低秩结构）的解决方案。我们引入了一个新的变体的Frank-Wolfe方法，结合Frank-Wolfe步骤和最速下降步骤，以及一个新的修改的“Frank-Wolfe间隙”，以衡量在非凸的情况下收敛。我们进一步扩展这种方法，将在面方向保持结构化的解决方案，以及块坐标步骤，我们证明了计算保证修改后的Frank-Wolfe间隙的所有这些变体。我们特别受到这种方法的应用稀疏属性的神经网络的训练，我们将我们的块坐标方法的问题，$\ell_1$正则化神经网络的训练。我们提出了几个数值实验的结果，人工和真实的数据集证明我们的方法在训练稀疏神经网络的显着改进。
2019-06-09 cs.LG math.OC stat.ML
Frank-Wolfe Methods with an Unbounded Feasible Region and Applications to Structured Learning
Frank-Wolfe（FW）方法是解决结构化统计学习中出现的大规模凸优化问题的一种常用算法。然而，传统的Frank-Wolfe方法仅适用于可行域有界的情况，这限制了其在实际中的适用性。基于统计学习中的两个应用，$\ell_1$趋势滤波问题和广义核范数约束下的矩阵最优化问题，研究了一类凸优化问题，其中无界可行域是无界线性子空间和有界约束集的直和.针对这类具有无界可行域的凸优化问题，提出了两种新的Frank-Wolfe方法：无界Frank-Wolfe方法（uFW）和无界Away-Step Frank-Wolfe方法（uAFW）.我们证明了在适当的正则性条件下，无界Frank-Wolfe方法具有$O(1/k)$次线性收敛速度，无界Away-Step Frank-Wolfe方法具有线性收敛速率，当可行域有界时，与著名的Frank-Wolfe方法结果相匹配.此外，计算实验表明，我们提出的方法似乎优于其他解决方案。
2021-10-07 math.OC
FrankWolfe.jl: a high-performance and flexible toolbox for Frank-Wolfe algorithms and Conditional Gradients
我们提出了FrankWolfe.jl，一个开源的实现几个流行的Frank-Wolfe和条件约束变量的一阶约束优化。该软件包的设计考虑到了灵活性和高性能，允许轻松扩展，并依赖于用户提供的功能的假设很少。它支持Julia独特的多重分派功能，并使用MathOptInterface. jl与通用线性最优化公式顺利对接。
2021-10-05 math.OC
Fast Learning of Multidimensional Hawkes Processes via Frank-Wolfe
Massachusetts Institute of Technology（麻省理工学院）；JP Morgan AI Research（摩根大通人工智能研究院）
Hawkes过程最近已经上升到建模和生成序列事件数据的工具的最前沿。多维Hawkes过程对不同类型事件之间的自激励和交叉激励进行建模，并已成功应用于金融，流行病学和个性化推荐等各个领域。在这项工作中，我们提出了一个适应的Frank-Wolfe算法学习多维霍克斯过程。实验结果表明，我们的方法具有更好的或在杆的准确性参数估计比其他一阶方法，同时享受一个显着更快的运行时间。
2022-12-12 cs.LG math.OC
Efficient Optimization of Dominant Set Clustering with Frank-Wolfe Algorithms
Chalmers University of Technology（查尔姆斯理工大学）
我们研究弗兰克-沃尔夫算法-标准的，成对的，和远离步骤-有效的优化优势集聚类。我们提出了一个统一的和计算效率高的框架，采用不同的变体的弗兰克-沃尔夫方法，我们调查其有效性，通过几个实验研究。此外，我们提供了明确的收敛速度的算法在所谓的Frank-Wolfe差距。理论分析专门针对优势集聚类，并始终涵盖不同的变体。
2022-12-05 cs.LG math.OC stat.ML
Convergence Analysis of the Frank-Wolfe Algorithm and Its Generalization in Banach Spaces
Frank-Wolfe算法是一种最早的优化方法，也被称为条件梯度法，由Frank和Wolfe于1956年提出。Frank-Wolfe算法由于其简单的线性子问题，近年来在解决信号处理和机器学习等应用领域中的大规模结构化最优化问题方面受到广泛关注。本文详细讨论了巴拿赫空间中Frank-Wolfe算法的收敛性分析。讨论了步长的两种选择方法：直线最小搜索法和开环规则。在这两种情况下，我们证明了收敛的Frank-Wolfe算法的情况下，目标函数$f$具有一致连续的（有界集）Fréchet导数$f'$。引入$σ\in (1,2]$阶曲率常数的概念，得到了Frank-Wolfe算法的收敛速度$O(\frac{1}{k^{σ-1}})$.特别地，如果$f'$对于$ν\in (0,1]$是$ν$连续的，则该速率降低到$O(\frac{1}{k^ν})$，如果$f'$是Lipschitz连续的，则该速率降低到$O(\frac{1}{k})$。一个广义的Frank-Wolfe算法也被引入到解决问题的最小化的复合目标函数。研究了Frank-Wolfe算法和广义Frank-Wolfe算法的迭代收敛性。
2017-10-19 math.OC
Frank-Wolfe variants for minimization of a sum of functions
我们提出了几个变种的Frank-Wolfe算法，以尽量减少功能的总和。所提出的主要算法的灵感来自于Nesterov的双平均方案，适用于Frank Wolfe在随机环境中。还建议了该方案的分布式版本。此外，我们提出了一个基于增量梯度技术的Frank-Wolfe变体。建立了所有算法的收敛速度。最小二乘回归和多项式分类的性能进行了研究。
2023-01-10 math.OC
Primal-Dual Block Frank-Wolfe
UT Austin（德克萨斯大学奥斯汀分校）；Amazon（亚马逊）
我们提出了一个变种的Frank-Wolfe算法解决一类稀疏/低秩优化问题。我们的公式包括弹性网络，正则化支持向量机和相位恢复作为特殊情况。提出的原始-对偶块Frank-Wolfe算法在保持线性收敛速度的同时降低了每次迭代的代价。我们的方法的每次迭代成本取决于解决方案的结构复杂性（即稀疏性/低秩），而不是环境维度。我们的经验表明，我们的算法优于最先进的方法（多类）分类任务。
2019-06-06 cs.LG math.OC stat.ML
Fast convergence of Frank-Wolfe algorithms on polytopes
该研究提出一个统一推导框架，基于误差界和扩展曲率这两个仿射不变性质，推导多面体上四类Frank-Wolfe算法从次线性到线性的收敛速率，速率结果不依赖仿射相关对象。
2025-05-20 math.OC
Linear Convergence of the Frank-Wolfe Algorithm over Product Polytopes
Zuse Institute Berlin（柏林泽尼克研究所）；Carlos III University（卡洛斯三世大学）；CUNEF Universidad（CUNEF大学）；Technische Universität Berlin（柏林技术大学）
本文研究Frank-Wolfe算法在乘积多胞形上的线性收敛性，引入基于分量条件数的金字塔宽度和顶点-面距离，证明对μ-Polyak-Łojasiewicz凸目标线性收敛，并应用于高维多胞形交集可行点近似求解。
2025-09-10 cs.LG math.OC
Spectral Frank-Wolfe Algorithm: Strict Complementarity and Linear Convergence
我们开发了一个新的变种的经典的Frank-Wolfe算法，我们称之为谱Frank-Wolfe，凸优化的谱面体。谱Frank-Wolfe算法有一个新的成分：它计算梯度的一些特征向量，并在每次迭代中求解一个小规模的SDP。该方法克服了经典Frank-Wolfe算法因忽略特征值融合而导致的收敛速度慢的缺点。我们证明，严格互补的最优化问题是关键，证明线性收敛的各种算法，如频谱弗兰克-沃尔夫算法以及投影梯度法及其加速版本。
2020-08-17 math.OC
A Randomized Linearly Convergent Frank-Wolfe-type Method for Smooth Convex Minimization over the Spectrahedron
Technion - Israel Institute of Technology（技术学院-以色列理工学院）
本文提出了一种随机线性收敛的Frank-Wolfe型方法，用于在谱hedron上高效最小化平滑凸函数。
2026-03-02 cs.LG math.OC
A Newton Frank-Wolfe Method for Constrained Self-Concordant Minimization
The University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；EPFL（洛桑联邦理工学院）
我们展示了如何可伸缩地解决一类约束自协调极小化问题使用线性极小化神谕（LMO）在约束集。我们证明了我们的方法的LMO调用的数量是几乎相同的L-光滑的情况下的Frank-Wolfe方法。具体来说，我们的牛顿弗兰克-沃尔夫方法使用$\mathcal{O}(ε^{-ν})$ LMO，其中$ε$是所需的精度，而$ν:= 1 + o(1)$。此外，我们证明了我们的算法可以利用改进的变体的LMO为基础的计划，包括远离步骤，达到线性收敛速率。我们还提供了数值证据与投资组合设计的竞争比，D-最优试验设计，和逻辑斯谛回归与弹性网牛顿弗兰克沃尔夫优于国家的最先进的。
2020-02-17 cs.LG math.OC stat.ML
Boosting as Frank-Wolfe
Kyushu University（九州大学）；RIKEN AIP（理化学研究所先进智能项目中心）
一些boosting算法，如LPBoost、ERLPBoost和C-ERLPBoost，旨在用$\ell_1$ -范数正则化来解决软间隔优化问题。LPBoost在实践中快速收敛到$ε$近似解，但已知在最差情况下进行$Ω(m)$迭代，其中$m$是样本量。另一方面，ERLPBoost和C-ERLPBoost保证在$O(\frac{1}{ε^2} \ln \frac{m}ν)$迭代中收敛到$ε$近似解。然而，与LPBoost相比，每次迭代的计算量非常高。为了解决这个问题，我们提出了一个通用的升压方案，结合了弗兰克-沃尔夫算法和任何辅助算法，并切换到其他迭代。我们表明，该计划保留了相同的收敛保证ERLPBoost和C-ERLPBoost。可以结合任何辅助算法来在实践中改进。该方案来自于对用于软余量优化的提升算法的统一观点。更具体地说，我们表明，LPBoost，ERLPBoost，和C-ERLPBoost是弗兰克-沃尔夫算法的实例。在真实数据集上的实验中，我们的方案的一个实例利用了次级算法的更好更新，并使用LPBoost进行了优化。
2022-09-30 cs.LG math.OC
Fast block-coordinate Frank-Wolfe algorithm for semi-relaxed optimal transport
WASEDA University（早稻田大学）
最优运输（OT）通过考虑两个概率分布之间的空间位置来提供它们之间的距离，已被应用于广泛的各种应用。计算OT问题需要求解具有严格质量守恒约束的线性规划。这一要求阻碍了其应用于大规模的问题。为了缓解这个问题，最近提出的松弛OT方法通过放松这些约束来使用更快的算法。其有效性的实际应用已被证明。然而，它仍然表现出缓慢的收敛。为此，针对凸半松弛OT，我们提出了一个快速块坐标Frank-Wolfe（BCFW）算法，它给出了稀疏的解决方案。具体地说，我们提供了它们的最差收敛迭代的上界，以及线性化对偶间隙和拉格朗日对偶间隙之间的等价性。还提出了三个快速变种的建议BCFW。在颜色传递问题的数值计算表明，所提出的算法优于国家的最先进的算法在不同的设置。
2021-03-10 cs.LG math.OC
Stochastic Compositional Optimization via Hybrid Momentum Frank--Wolfe
Machine Learning and Optimization Laboratory (MLO)（机器学习与优化实验室）
本文提出混合动量随机Frank-Wolfe算法，无需假设外层函数F的光滑性，结合动量Jacobian追踪器与泰勒修正函数追踪器，实现非凸目标函数的O(K^{-1/4})收敛率。
2026-10-12 cs.LG math.OC
Faster Rates for the Frank-Wolfe Algorithm Using Jacobi Polynomials
Indian Institute of Science（印度科学学院）
Frank Wolfe算法（FW）是求解大规模约束最优化问题的一种流行的无投影算法。然而，FW算法在最小化紧致凸集上的光滑凸函数时具有次线性收敛速度。因此，探索产生更快收敛速度的技术变得至关重要。获得更快速率的经典方法是组合先前的迭代以获得下一个迭代。在这项工作中，我们将这种方法扩展到FW设置，并表明，最佳的方式来结合过去的迭代是使用一组正交的雅可比多项式。我们还提出了一种基于多项式的加速技术，称为雅可比多项式加速的FW，它使用与雅可比递归相关的组合权重将当前递归与过去递归相结合。通过仔细选择雅可比多项式的参数，我们获得了更快的次线性收敛速度。我们提供了真实数据集上的数值实验，以证明所提出的算法的有效性。
2021-10-19 cs.LG math.OC
CCCP is Frank-Wolfe in disguise
本文揭示了一个简单但令人惊讶的联系：它表明，著名的凹凸过程（CCCP）及其推广到约束问题都是特殊情况下的弗兰克-沃尔夫（FW）方法。这种联系不仅提供了深刻的洞察力（在我们看来）的教学价值，但最近发现的收敛理论的非凸弗兰克-沃尔夫方法立即CCCP，关闭长期存在的差距，其非渐近收敛理论。我们希望本文所揭示的观点能促使FW的其他进展转移到CCCP及其推广。
2022-06-23 math.OC
Frank-Wolfe and friends: a journey into projection-free first-order optimization methods
大约65年前，Marguerite Straus-Frank和Philip Wolfe在一篇开创性的论文中发明了Frank-Wolfe方法，由于数据科学和其他相关应用领域对快速可靠的一阶最优化方法的需求，Frank-Wolfe方法最近获得了显着的复兴。这篇评论试图解释这种方法的成功，说明在广泛的背景下的通用性和适用性，结合帐户的最新进展的变体，这两个令人惊讶的简单的一阶优化的原则，提高了速度和效率。
2021-06-18 math.OC
Scalable DC Optimization via Adaptive Frank-Wolfe Algorithms
Institute of Mathematics, Technische Universität Berlin and Zuse Institute Berlin（数学研究所、柏林技术大学和柏林泽尼茨研究所）
针对约束DC优化问题，提出结合BPCG算法与自适应误差界的Frank-Wolfe变体，实现高效可扩展的无投影求解。
2025-08-02 cs.LG math.OC
Approximate Frank-Wolfe Algorithms over Graph-structured Support Sets
Fudan University（复旦大学）；Stony Brook University（石溪大学）
本文考虑求解图结构支撑集上凸优化问题的近似Frank-Wolfe（FW）算法，其中线性最小化预言（LMO）一般不能有效地获得.我们首先证明了两个流行的近似假设（加法和乘法间隙误差）是不适用的，没有廉价的间隙近似LMO预言存在。因此，提出了近似对偶最大化神谕（DMO），它近似的内积，而不是差距。我们证明了使用$δ$ -近似DMO的标准FW方法在最坏情况下收敛为$\mathcal{O}((1-δ) \sqrt{s}/δ)$，并且在约束集的$δ$ -松弛上收敛为$\mathcal{O}(L/(δ^2 t))$。此外，当解在边界上时，FW的一个变体在二次增长假设下收敛为$\mathcal{O}(1/t^2)$。我们的实证结果表明，即使这些改进的界限是悲观的，在恢复现实世界的图像与图形结构的稀疏性显示快速收敛。
2022-06-17 cs.LG math.OC
Linear Convergence of a Frank-Wolfe Type Algorithm over Trace-Norm Balls
Microsoft Research（微软研究院）；Princeton University（普林斯顿大学）
我们提出了一个秩$k$变种的经典Frank-Wolfe算法来解决凸优化的轨迹范数球。我们的算法用一个顶- $k$奇异向量计算（$k$-SVD）代替了Frank-Wolfe算法中的顶奇异向量计算（$1$-SVD），这可以通过重复应用$1$ -SVD $k$次来完成。或者，我们的算法可以被看作是一个排名$k$限制版本的投影梯度下降。当目标函数光滑且强凸时，我们的算法具有线性收敛速度，且最优解的秩至多为$k$。这提高了收敛速度和总的时间复杂度的Frank-Wolfe方法及其变种。
2017-11-09 cs.DS cs.LG math.OC
An Affine Invariant Linear Convergence Analysis for Frank-Wolfe Algorithms
研究了几类强凸问题的Frank-Wolfe算法的变种的线性收敛，只使用仿射不变量.与Guelat & Marcotte（1986）一样，我们证明了当解在区域内部，但具有仿射不变常数时，标准Frank-Wolfe算法的线性收敛。我们还显示了线性收敛的远离步骤的变型的弗兰克-沃尔夫算法，但常数只依赖于几何的域，而不是任何属性的位置的最优解。运行这些算法不需要知道任何问题特定的参数。
2014-01-03 math.OC
Linear Convergence of Stochastic Frank Wolfe Variants
本文证明了逐步随机Frank-Wolfe算法（ASFW）和成对随机Frank-Wolfe算法（PSFW）按期望线性收敛。我们还表明，如果一个算法的线性收敛的期望，那么它几乎肯定线性收敛。为了证明这些结果，我们开发了一种新的证明技术的基础上的经验过程和浓度不等式的概念。这样的技术很少被用来推导随机最优化算法的收敛速度。在大规模的数值实验中，ASFW和PSFW在实际CPU时间上表现得与它们的随机竞争对手一样好或更好。
2017-03-21 math.OC
Frank-Wolfe Algorithms for (L0, L1)-smooth functions
Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Innopolis University（伊诺波利斯大学）；Adyghe State University（阿迪亚耶州立大学）；V. I. Vernadsky Crimean Federal University（弗拉基米尔·伊万诺维奇·维尔纳茨基克里米亚联邦大学）
本文提出了一种新的Frank-Wolfe方法，称为(L0, L1)-Frank-Wolfe算法，用于解决具有(L0, L1)-光滑目标函数的优化问题。该算法在理论上实现了优于传统Frank-Wolfe方法的收敛速度，并引入了一种自适应过程，即自适应(L0, L1)-Frank-Wolfe算法，动态调整平滑参数以进一步提高性能和稳定性。全面的数值实验验证了理论结果，并展示了所提出算法在现有Frank-Wolfe变体中的明显实际优势。
2026-10-06 math.OC
Robustness of the Frank-Wolfe Method under Inexact Oracles and the Cost of Linear Minimization
School of Mathematics and Statistics, Xi’an Jiaotong University（西安交通大学数学与统计学院）
本文研究了在不精确oracle下Frank-Wolfe方法的鲁棒性，证明了线性最小化与投影的计算成本差异，并展示了非凸函数的收敛性保证。
2026-01-25 math.OC
On the Convergence Rate of the Duality Gap in the Generalized Frank-Wolfe Method Under the Weak Growth Condition
Tippie College of Business, University of Iowa（爱荷华大学蒂皮商学院）
本文研究Peña（2023）提出的弱增长条件下广义Frank-Wolfe方法的对偶间隙收敛速率，借助递推引理展开分析，相关引理或具独立研究价值。
2026-08-26 math.OC
Decomposition-Invariant Pairwise Frank-Wolfe Algorithm for Constrained Multiobjective Optimization
针对可行域为任意有界多面体的约束多目标优化问题，提出分解不变的成对 Frank-Wolfe 算法，并仅在强凸性下证明其整体序列线性收敛至 Pareto 最优解。
2024-09-07 math.OC
Block-Coordinate Frank-Wolfe Optimization for Structural SVMs
Machine Learning Laboratory, ETH Zurich（苏黎世联邦理工学院机器学习实验室）
我们提出了一个随机块坐标的经典Frank-Wolfe算法的凸优化与块可分离的约束。尽管其较低的迭代成本，我们表明，它达到了类似的收敛速度在对偶间隙的完整的弗兰克-沃尔夫算法。我们还表明，当应用到双结构支持向量机（SVM）的目标，这产生了一个在线算法，具有相同的低迭代复杂度的原始随机次梯度方法。然而，与随机次梯度方法不同，块坐标Frank-Wolfe算法允许我们计算最佳步长，并产生可计算的对偶间隙保证。我们的实验表明，这种简单的算法优于竞争结构SVM求解器。
2013-01-14 cs.LG math.OC stat.ML
Linear Convergence of Frank-Wolfe for Rank-One Matrix Recovery Without Strong Convexity
Technion - Israel Institute of Technology（以色列理工学院）
我们考虑凸优化问题，这是广泛使用的低秩矩阵恢复问题的凸松弛。特别是，在几个重要的问题，如相位恢复和鲁棒PCA，在许多情况下的基本假设是，最优解是秩一。在本文中，我们考虑一个简单而自然的充分条件的目标，使这些松弛的最优解确实是唯一的和秩1。主要地，我们证明了在这种条件下，标准的Frank-Wolfe方法与线搜索（即，不需要任何参数调整），其每次迭代仅需要单个秩一SVD计算，仅在$O(\log{1/ε})$迭代中找到$ε$近似解（与$O(1/ε)$的先前最佳已知边界相反），尽管事实上目标不是强凸的。我们考虑了几个变种的基本方法，提高了复杂性，以及由强大的PCA动机的扩展，最后，扩展到非光滑问题。
2022-06-19 cs.LG math.OC
How Does Momentum Help Frank Wolfe?
University of Minnesota - Twin Cities（明尼苏达大学双城分校）；Delft University of Technology（代尔夫特理工大学）
我们揭示了弗兰克沃尔夫（FW）型算法和加速梯度法（AGM）的动量之间的联系。在消极的一面，这些联系说明了为什么动量不太可能对FW类型的算法有效。另一方面，这种联系背后令人鼓舞的信息是，动量对FW在一类问题上是有用的。特别是，我们证明了一个动量的FW的变体，我们的加速弗兰克沃尔夫（AFW），收敛速度更快的速度$\tilde{\cal O}(\frac{1}{k^2})$某些约束集，尽管在一般情况下，FW相同的${\cal O}(\frac{1}{k})$率。考虑到AFW几乎没有额外成本的可能加速，因此它是FW的有竞争力的替代品。基准机器学习任务的数值实验进一步验证了我们的理论研究结果。
2020-06-19 cs.LG math.OC stat.ML
Avoiding bad steps in Frank Wolfe variants
Frank Wolfe（FW）变体的分析通常由于存在不同种类的“好”和“坏”步骤而变得复杂。在这篇文章中，我们的目标是通过消除步骤之间的这种区别来简化其中一些变量的收敛性分析，并通过确保每次迭代时目标的大幅降低来提高现有的速率。为了做到这一点，我们定义了短步链（SSC）的过程，跳过梯度计算在连续的短步骤，直到适当的停止条件得到满足。这种方法使我们能够给出一个统一的分析和收敛速度在一般光滑非凸设置，以及线性收敛速率下的Kurdyka-Lojasiewicz（KL）性质。虽然这种设置已被广泛研究的近端梯度类型的方法，据我们所知，它还没有被分析之前的弗兰克沃尔夫变种的研究。角条件，确保所选择的方向的方法具有最陡的斜率可能达到一个常数，是用来进行我们的分析。我们证明了这个条件是满足多面体的远离步骤Frank-Wolfe（AFW），两两Frank-Wolfe（PFW），和Frank-Wolfe方法与面对方向（FDFW）。
2022-11-20 math.OC
Fast Rates for Bandit Optimization with Upper-Confidence Frank-Wolfe
University of Cambridge（剑桥大学）；ENS Paris–Saclay（巴黎萨克雷高等师范学校）；Criteo Research, Paris（Criteo 研究院，巴黎）
我们考虑的问题的强盗优化，启发随机优化和在线学习问题的强盗反馈。在这个问题中，目标是最小化所有动作的全局损失函数，而不一定是累积损失。这个框架允许我们研究一个非常一般的问题，在统计学，机器学习和其他领域的应用。为了解决这个问题，我们分析了上置信度Frank-Wolfe算法，该算法受到了强盗和凸优化技术的启发。我们给出了理论上的保证，该算法的性能在各类功能，并讨论这些结果的最优性。
2017-09-06 cs.LG math.OC stat.ML
Stochastic Origin Frank-Wolfe for traffic assignment
针对交通分配中的平衡流分布求解问题，提出属于块坐标Frank-Wolfe算法特例的SOFW方法，通过减少最短路径计算提升效率，补充了批量版本收敛证明，实验验证其在大规模数据集上性能优于经典算法。
2025-10-01 math.OC
Frank Wolfe Meets Metric Entropy
Frank-Wolfe算法由于其能够有效地解决机器学习和高维统计中的约束优化问题而重新流行起来。因此，有很多兴趣在建立时，算法可以拥有一个“线性”的$O(\log(1/ε))$无量纲迭代的复杂性相比，投影梯度下降。在本文中，我们提供了一个通用的技术，建立特定领域的和易于估计的下限Frank-Wolfe及其变种使用度量熵的域。最值得注意的是，我们表明，一个无量纲的线性上限必须失败，不仅在最坏的情况下，但在\emph{average case}：高斯或球形随机多面体在$\mathbb{R}^d$与$\mathrm{poly}(d)$顶点，弗兰克-沃尔夫需要高达$\tildeΩ(d)$迭代，以实现$O(1/d)$的错误界，具有很高的概率。我们还建立了核规范球的这种现象。与度量熵的联系也对统计学中的条件梯度算法有着有趣的积极影响，例如梯度提升和匹配追踪。特别是，我们表明，它是可能的提取快速衰减的上限直接从分析的基础优化过程中的超额风险。
2022-05-17 cs.LG math.OC stat.ML
$k$FW: A Frank-Wolfe style algorithm with stronger subproblem oracles
The Chinese University of Hong Kong（香港中文大学）；Cornell University（康奈尔大学）
提出了一种新的Frank-Wolfe（FW）算法，称为$k$ FW。标准FW收敛速度慢：迭代通常是Z字形的，因为更新方向围绕约束集的极值点振荡。新的变体，$k$ FW，克服了这个问题，在每次迭代中使用两个更强的子问题预言。第一个是计算$k$最佳更新方向（而不是仅一个）的$k$线性最优化oracle（$k$ LOO）。第二个是$k$方向搜索（$k$ DS），其在由$k$最佳更新方向和先前的方向表示的约束集上最小化目标。当问题的解决方案承认一个稀疏的表示，这两个预言是很容易计算，和$k$ FW收敛迅速光滑凸目标和几个有趣的约束集：$k$ FW实现有限的$\frac{4L_f^3D^4}{γδ^2}$收敛多面体和群范数球，和线性收敛的谱面体和核范数球。数值实验验证了$k$ FW的有效性，并证明了一个数量级的速度比现有的方法。
2021-11-15 cs.LG math.OC
Generalized Stochastic Frank-Wolfe Algorithm with Stochastic "Substitute" Gradient for Structured Convex Optimization
随机Frank-Wolfe方法最近在统计和机器学习的优化背景下引起了广泛的兴趣，因为它能够与更一般的可行域一起工作。然而，有一个复杂的差距，在保证收敛速度的随机弗兰克-沃尔夫相比，其确定性对应。在这项工作中，我们提出了一种新的广义随机Frank-Wolfe方法，它弥补了统计和机器学习中遇到的结构化最优化问题的这一差距，其特征在于具有某种类型的"线性预测“性质（在本文中正式定义）的经验损失最小化，这是典型的损失最小化问题。我们的方法还引入了“替代梯度”的概念，这是梯度的不一定无偏样本。我们表明，我们的新方法是等价于一个特定的随机坐标镜像下降算法适用于对偶问题，这反过来又提供了一个新的解释随机对偶坐标下降在原始空间。此外，在强凸正则化的特殊情况下，我们的广义随机Frank-Wolfe方法（以及随机对偶坐标下降法）表现出线性收敛。此外，我们提出的计算实验表明，我们的方法优于其他随机Frank-Wolfe方法与本文开发的理论相一致。
2019-11-05 math.OC
Continuous Time Frank-Wolfe Does Not Zig-Zag, But Multistep Methods Do Not Accelerate
Frank-Wolfe算法在结构受限的机器学习应用中重新获得了很大的兴趣。然而，Frank-Wolfe算法的一个主要限制是由于锯齿行为而导致的缓慢的局部收敛特性。我们观察到，这种曲折的现象可以被视为一个工件的离散化，当该方法被视为一个连续的时间流的欧拉离散化，该流不曲折。出于这个原因，我们提出了多步Frank-Wolfe变量的基础上离散的相同的流的截断误差衰减为$O(Δ^p)$，其中$p$是该方法的顺序。这种策略“稳定”了方法，并允许像线搜索和动量这样的工具有更多的好处。然而，就收敛速度而言，我们的结果最终是负的，这表明没有Runge-Kutta型离散方案可以实现比香草Frank-Wolfe方法更好的收敛速度。我们相信，这种分析增加了不断增长的知识流分析的最优化方法，是一个警示故事的最终用途的多步法。
2022-02-01 math.OC
Revisiting Frank-Wolfe for Polytopes: Strict Complementarity and Sparsity
Technion - Israel Institute of Technology（以色列理工学院）
近年来，在假设目标函数具有二次增长性质的条件下，证明了求解凸紧多面体上光滑凸极小化问题的经典Frank-Wolfe算法（又称条件梯度算法）的简单修改以线性速度收敛。然而，这些方法的速度明显取决于问题的维度，这不能解释它们在大规模问题中的经验成功。在本文中，我们首先证明，已经非常简单的问题，甚至当最优解位于低维面的多面体，这种依赖的尺寸不能避免在最坏的情况下。然后，我们重新审视了一个严格的互补性假设已经考虑在沃尔夫的经典书籍\cite{Wolfe1970}，并证明在这种条件下，弗兰克-沃尔夫方法与远离步骤和线搜索的线性收敛率，明确地只依赖于最佳面的尺寸。我们激励严格互补证明，它意味着稀疏鲁棒性的最优解噪声。
2021-01-06 cs.LG math.OC stat.ML
Frank-Wolfe Style Algorithms for Large Scale Optimization
我们介绍了几个变种适合大规模优化的弗兰克-沃尔夫风格的算法。我们将展示如何修改标准的Frank-Wolfe算法，使用随机梯度，近似子问题的解决方案，并勾勒决策变量，以规模庞大的问题，同时保持（常数）的最佳收敛速度$\mathcal{O}(\frac{1}{k})$。
2018-08-15 math.OC stat.ML
The Frank-Wolfe algorithm: a short introduction
本文简要介绍用于复杂约束下光滑凸优化的Frank-Wolfe算法，涵盖其关键概念、原始与对偶收敛结果，并提出新的自适应步长策略及应用。
2023-11-28 math.OC
Secant Line Search for Frank-Wolfe Algorithms
本文为 Frank-Wolfe 算法提出基于割线法的步长策略，能以更低计算成本实现完整线性搜索效果并适应局部光滑性，兼具理论保证与实验验证。
2025-06-10 math.OC
Modifications of the Frank-Wolfe algorithm in the problem of finding an equilibrium distribution of traffic flows
针对均衡交通分配问题，提出Frank-Wolfe算法的NFW、WFFW等多种改进方案，通过多组城市路网数据集实验验证，利用前序方向的改进算法收敛性能优于经典版本。
2024-03-07 math.OC
Auto-Conditioned Frank-Wolfe Algorithms
Cornell University（康奈尔大学）；The University of Sydney（悉尼大学）
本文提出一种自动条件化框架，通过局部 Lipschitz 估计替代全局光滑常数，实现无先验知识的 Frank-Wolfe 类方法，并证明其在非凸和凸设置下的收敛性。
2026-05-28 math.OC
Faster Unbalanced Optimal Transport: Translation invariant Sinkhorn and 1-D Frank-Wolfe
DMA, ENS, PSL（巴黎文理研究大学高等师范学校数学系）；LIGM, UPEM（巴黎东马恩拉瓦莱大学加斯帕尔·蒙日信息实验室）；CNRS, DMA, ENS, PSL（法国国家科学研究中心、巴黎文理研究大学高等师范学校数学系）
不平衡最优输运（UOT）扩展了最优输运（OT），以考虑质量变化来比较分布。这对于OT在ML应用中取得成功至关重要，使其对数据标准化和离群值具有鲁棒性。基线算法是Sinkhorn，但UOT的收敛速度可能比OT慢得多。在这项工作中，我们确定了这种缺陷的原因，即缺乏一个全局规范化的迭代，这相当于一个翻译的双重OT潜力。我们的第一个贡献是利用这个想法开发一个可证明加速的Sinkhorn算法（创造了“平移不变Sinkhorn”）的UOT，弥合计算差距与OT。我们的第二个贡献集中在1-D UOT，并提出了一个Frank-Wolfe求解器应用到这个平移不变制定。每个步骤的线性预言相当于解决1-D OT问题，导致每次迭代的线性时间复杂度。本文的最后一个贡献是将此方法推广到一维测度的UOT重心的计算。数值模拟显示了这三种方法带来的收敛速度的改善。
2022-01-03 cs.LG math.OC
Frank-Wolfe with Moreau Envelope Smoothing for Nonsmooth Nonconvex Problems
CentraleSupélec（中央苏佩莱克高等学院）；Università di Genova（热那亚大学）；James Madison University（詹姆斯麦迪逊大学）
提出 FRAMES 算法，通过 Moreau 包络迭代平滑后每步执行一次 Frank-Wolfe 步骤，解决非光滑非凸约束优化问题，证明收敛速率并改进先前分析。
2026-05-30 math.OC
Scalable Frank-Wolfe on Generalized Self-concordant Functions via Simple Steps
Georgia Institute of Technology（佐治亚理工学院）；Zuse Institute Berlin（柏林祖斯研究所）；Univ. Grenoble Alpes（格勒诺布尔大学）；Inria（法国国家信息与自动化研究所）；Technische Universität Berlin（柏林工业大学）
本文针对广义自协调函数提出一种使用开环步长 $γ_t = 2/(t+2)$ 的简单Frank-Wolfe变体，证明其达到 $\mathcal{O}(1/t)$ 收敛速率，无需二阶信息或光滑参数估计，并进一步给出可行域一致凸或多面体情形下的改进速率。
2024-04-08 cs.LG math.OC stat.ML
Reducing Discretization Error in the Frank-Wolfe Method
Stony Brook University（石溪大学）
本文针对Frank-Wolfe方法因离散化误差导致锯齿状路径和收敛缓慢的问题，提出多步高阶离散化和LMO平均两种改进方案，将局部收敛速率从O(1/k)提升至O(1/k^{3/2})。
2023-04-13 cs.AI cs.LG math.OC
Frank-Wolfe Algorithms for Saddle Point Problems
INRIA（法国国家信息与自动化研究所）；École normale supérieure, Paris（巴黎高等师范学院）；Netflix Inc.（Netflix公司）；Université de Montréal（蒙特利尔大学）
将Frank-Wolfe（FW）优化算法推广到求解约束光滑凹凸鞍点（SP）问题。值得注意的是，该方法只需要访问线性最小化神谕。利用FW优化的最新进展，我们提供了第一个证明收敛的FW型鞍点求解多面体，从而部分回答了30岁的猜想。我们还调查了其他的收敛结果，并强调FW式算法的理论基础的差距。激励应用程序没有已知的有效的替代品，探索通过结构化预测与组合的处罚，以及游戏在匹配多面体涉及指数数量的约束。
2017-03-03 cs.LG math.OC stat.ML
