Stochastic In-Face Frank-Wolfe Methods for Non-Convex Optimization and Sparse Neural Network Training
University of California, Berkeley（加州大学伯克利分校）
Frank-Wolfe方法及其扩展非常适合于提供具有理想结构属性（例如稀疏性或低秩结构）的解决方案。我们引入了一个新的变体的Frank-Wolfe方法，结合Frank-Wolfe步骤和最速下降步骤，以及一个新的修改的“Frank-Wolfe间隙”，以衡量在非凸的情况下收敛。我们进一步扩展这种方法，将在面方向保持结构化的解决方案，以及块坐标步骤，我们证明了计算保证修改后的Frank-Wolfe间隙的所有这些变体。我们特别受到这种方法的应用稀疏属性的神经网络的训练，我们将我们的块坐标方法的问题，$\ell_1$正则化神经网络的训练。我们提出了几个数值实验的结果，人工和真实的数据集证明我们的方法在训练稀疏神经网络的显着改进。
2019-06-09 cs.LG math.OC stat.ML
Efficient Optimization of Dominant Set Clustering with Frank-Wolfe Algorithms
Chalmers University of Technology（查尔姆斯理工大学）
我们研究弗兰克-沃尔夫算法-标准的，成对的，和远离步骤-有效的优化优势集聚类。我们提出了一个统一的和计算效率高的框架，采用不同的变体的弗兰克-沃尔夫方法，我们调查其有效性，通过几个实验研究。此外，我们提供了明确的收敛速度的算法在所谓的Frank-Wolfe差距。理论分析专门针对优势集聚类，并始终涵盖不同的变体。
2022-12-05 cs.LG math.OC stat.ML
Primal-Dual Block Frank-Wolfe
UT Austin（德克萨斯大学奥斯汀分校）；Amazon（亚马逊）
我们提出了一个变种的Frank-Wolfe算法解决一类稀疏/低秩优化问题。我们的公式包括弹性网络，正则化支持向量机和相位恢复作为特殊情况。提出的原始-对偶块Frank-Wolfe算法在保持线性收敛速度的同时降低了每次迭代的代价。我们的方法的每次迭代成本取决于解决方案的结构复杂性（即稀疏性/低秩），而不是环境维度。我们的经验表明，我们的算法优于最先进的方法（多类）分类任务。
2019-06-06 cs.LG math.OC stat.ML
Revisiting the Approximate Carathéodory Problem via the Frank-Wolfe Algorithm
Georgia Institute of Technology（佐治亚理工学院）；Technische Universität Berlin（柏林工业大学）；Zuse Institute Berlin（柏林楚泽研究所）
近似Carathéodory定理指出，给定紧致凸集$\mathcal{C}\subset\mathbb{R}^n$和$p\in\left[2,+\infty\right[$，每个点$x^*\in\mathcal{C}$可以近似为$\ell_p$ -范数中的$ε$ -精度，作为$\mathcal{C}$的$\mathcal{O}(pD_p^2/ε^2)$顶点的凸组合，其中$D_p$是$\mathcal{C}$在$\ell_p$ -范数中的直径。满足这些性质的解可以使用概率参数或通过将镜像下降应用于对偶问题来构建。我们重新审视近似Carathéodory问题，通过Frank-Wolfe算法解决原始问题，提供了一个简化的分析，并导致一个有效的实用方法。此外，当$x^*$在$\mathcal{C}$的内部时，当$x^*$是小直径顶点子集的凸组合时，或者当$\mathcal{C}$是一致凸的时，利用Frank-Wolfe算法现有的收敛速度自然地导出了改进的基数界.我们还提出了基数界限时，$p\in\left[1,2\right[\cup\{+\infty\}$通过一个非光滑的算法变体。最后，我们解决的问题，找到稀疏的近似投影到$\mathcal{C}$的$\ell_p$规范，$p\in\left[1,+\infty\right]$。
2021-12-05 cs.DS cs.LG math.OC
A Newton Frank-Wolfe Method for Constrained Self-Concordant Minimization
The University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；EPFL（洛桑联邦理工学院）
我们展示了如何可伸缩地解决一类约束自协调极小化问题使用线性极小化神谕（LMO）在约束集。我们证明了我们的方法的LMO调用的数量是几乎相同的L-光滑的情况下的Frank-Wolfe方法。具体来说，我们的牛顿弗兰克-沃尔夫方法使用$\mathcal{O}(ε^{-ν})$ LMO，其中$ε$是所需的精度，而$ν:= 1 + o(1)$。此外，我们证明了我们的算法可以利用改进的变体的LMO为基础的计划，包括远离步骤，达到线性收敛速率。我们还提供了数值证据与投资组合设计的竞争比，D-最优试验设计，和逻辑斯谛回归与弹性网牛顿弗兰克沃尔夫优于国家的最先进的。
2020-02-17 cs.LG math.OC stat.ML
Stochastic Frank-Wolfe for Constrained Finite-Sum Minimization
University of California, Berkeley（加州大学伯克利分校）；ETH Zurich（苏黎世联邦理工学院）；SumUp Analytics（SumUp分析公司）；Max-Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；MIT Sloan School of Management（麻省理工学院斯隆管理学院）；Google Research（谷歌研究院）
我们提出了一种新的随机Frank-Wolfe（a.k.a.条件梯度）算法的约束光滑有限和最小化与广义线性预测/结构。这类问题包括具有稀疏、低秩或其他结构化约束的经验风险最小化。该方法实现简单，不需要调整步长，并且具有与数据集大小无关的恒定每次迭代成本。此外，作为该方法的副产品，我们得到的Frank-Wolfe间隙的随机估计，可以用作停止准则。根据设置，所提出的方法匹配或改进的最佳计算保证随机弗兰克-沃尔夫算法。几个数据集上的基准突出了不同的制度，其中所提出的方法表现出更快的经验收敛比相关的方法。最后，我们在一个开源包中提供了所有考虑的方法的实现。
2022-09-08 cs.LG math.OC
Online Combinatorial Linear Optimization via a Frank-Wolfe-based Metarounding Algorithm
Kyushu University（九州大学）；RIKEN AIP（理化学研究所先进智能项目）
本文提出了一种基于Frank-Wolfe的全新metarounding算法，在存在基于松弛的近似算法假设下，将组合线性优化近似算法转化为在线优化算法，并在理论和实践上均显著提升了效率。
2023-11-19 cs.DS cs.LG
Boosting Frank-Wolfe by Chasing Gradients
Georgia Institute of Technology（佐治亚理工学院）；Technische Universität Berlin（柏林工业大学）；Zuse Institute Berlin（柏林祖斯研究所）
Frank-Wolfe算法以其简单、无投影等优点成为一种流行的一阶优化算法，并成功地应用于各种实际问题。然而，它的主要缺点在于其收敛速度，由于朴素的下降方向，收敛速度可能非常慢。我们建议通过一个子程序，更好地对齐的下降方向的负梯度的Frank-Wolfe算法的速度。该子例程以匹配追踪方式追踪负梯度方向，同时仍保持无投影属性。虽然这种方法相当自然，但它产生了非常重要的结果。我们推导出收敛速度$\mathcal{O}(1/t)$到$\mathcal{O}(e^{-ωt})$的我们的方法，我们证明了它的竞争优势，每次迭代和CPU的时间在国家的最先进的一系列计算实验。
2020-06-23 cs.LG math.OC
Revisiting Frank-Wolfe for Structured Nonconvex Optimization
Umeå University（于默奥大学）；Technical University of Munich（慕尼黑工业大学）
本文提出了一种无投影Frank-Wolfe方法，用于优化结构非凸函数，通过精心选择DC分解以提高效率并找到更好的局部解。
2025-11-27 cs.LG math.OC
Deep Neural Network Training with Frank-Wolfe
Zuse Institute Berlin（柏林祖斯研究所）；Technische Universität Berlin（柏林工业大学）
本文研究了使用无投影一阶方法的经验有效性和好处的形式条件约束，a.k.a. Frank-Wolfe方法，用于训练具有约束参数的神经网络。我们绘制比较当前国家的最先进的随机梯度下降的方法，以及在不同的变种的随机条件约束。特别是，我们显示了一般的可行性训练神经网络，其参数的约束下，使用Frank-Wolfe算法和比较不同的随机变量。然后，我们表明，通过选择一个适当的区域，可以实现性能超过无约束的随机梯度下降和匹配的最先进的结果依赖于$L^2$ -正则化。最后，我们还证明了，除了影响性能，特定的约束选择可以有一个巨大的影响学习表示。
2020-10-21 cs.LG math.OC
Accelerating Frank-Wolfe via Averaging Step Directions
Frank-Wolfe方法因其快速的每次迭代复杂度而成为稀疏约束优化中的一种流行方法。然而，折衷是其最坏情况下整体收敛相对较慢，并且重要的是，从根本上慢于其流率--也就是说，收敛速度被离散化误差抑制。在这项工作中，我们考虑修改后的弗兰克-沃尔夫的步骤方向是一个简单的加权平均过去的甲骨文调用。这种方法需要非常少的内存和计算开销，并证明衰减这个离散化误差项。数值上，我们表明，这种方法提高了收敛速度在几个问题，特别是在稀疏流形已被检测。理论上，我们证明了该方法具有$O(1/k^p)$的整体收敛速度，其中$0< p < 1$ ;流形识别后，该速度加快到$O(1/k^{3p/2})$。我们还观察到，该方法从很早的阶段就实现了这种加速率，这表明这一系列方法的加速模式很有前途。
2022-05-24 cs.LG math.OC
Fast Learning of Multidimensional Hawkes Processes via Frank-Wolfe
Massachusetts Institute of Technology（麻省理工学院）；JP Morgan AI Research（摩根大通人工智能研究院）
Hawkes过程最近已经上升到建模和生成序列事件数据的工具的最前沿。多维Hawkes过程对不同类型事件之间的自激励和交叉激励进行建模，并已成功应用于金融，流行病学和个性化推荐等各个领域。在这项工作中，我们提出了一个适应的Frank-Wolfe算法学习多维霍克斯过程。实验结果表明，我们的方法具有更好的或在杆的准确性参数估计比其他一阶方法，同时享受一个显着更快的运行时间。
2022-12-12 cs.LG math.OC
One Gradient Frank-Wolfe for Decentralized Online Convex and Submodular Optimization
Inria（法国国家信息与自动化研究所）；University Grenoble-Alpes（格勒诺布尔-阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）
近年来，分散学习在联邦学习中的广泛应用引起了人们的广泛关注。以往的研究大多集中在离线设置的目标函数是静态的。然而，在众多见证海量数据变化的机器学习应用程序中，离线设置变得不切实际。在本文中，我们提出了\emph{decentralized online}算法的凸和连续DR-次模优化，两类功能，存在于各种机器学习问题。我们的算法实现的性能保证相媲美的集中式离线设置。此外，平均而言，每个参与者在每个时间步仅执行\emph{single}梯度计算。随后，我们将我们的算法扩展到强盗设置。最后，我们说明了我们的算法在现实世界的实验中的竞争力的表现。
2022-10-30 cs.DS cs.LG math.OC
Block-Coordinate Frank-Wolfe Optimization for Structural SVMs
Machine Learning Laboratory, ETH Zurich（苏黎世联邦理工学院机器学习实验室）
我们提出了一个随机块坐标的经典Frank-Wolfe算法的凸优化与块可分离的约束。尽管其较低的迭代成本，我们表明，它达到了类似的收敛速度在对偶间隙的完整的弗兰克-沃尔夫算法。我们还表明，当应用到双结构支持向量机（SVM）的目标，这产生了一个在线算法，具有相同的低迭代复杂度的原始随机次梯度方法。然而，与随机次梯度方法不同，块坐标Frank-Wolfe算法允许我们计算最佳步长，并产生可计算的对偶间隙保证。我们的实验表明，这种简单的算法优于竞争结构SVM求解器。
2013-01-14 cs.LG math.OC stat.ML
Linear Convergence of the Frank-Wolfe Algorithm over Product Polytopes
Zuse Institute Berlin（柏林泽尼克研究所）；Carlos III University（卡洛斯三世大学）；CUNEF Universidad（CUNEF大学）；Technische Universität Berlin（柏林技术大学）
本文研究Frank-Wolfe算法在乘积多胞形上的线性收敛性，引入基于分量条件数的金字塔宽度和顶点-面距离，证明对μ-Polyak-Łojasiewicz凸目标线性收敛，并应用于高维多胞形交集可行点近似求解。
2025-09-10 cs.LG math.OC
How Does Momentum Help Frank Wolfe?
University of Minnesota - Twin Cities（明尼苏达大学双城分校）；Delft University of Technology（代尔夫特理工大学）
我们揭示了弗兰克沃尔夫（FW）型算法和加速梯度法（AGM）的动量之间的联系。在消极的一面，这些联系说明了为什么动量不太可能对FW类型的算法有效。另一方面，这种联系背后令人鼓舞的信息是，动量对FW在一类问题上是有用的。特别是，我们证明了一个动量的FW的变体，我们的加速弗兰克沃尔夫（AFW），收敛速度更快的速度$\tilde{\cal O}(\frac{1}{k^2})$某些约束集，尽管在一般情况下，FW相同的${\cal O}(\frac{1}{k})$率。考虑到AFW几乎没有额外成本的可能加速，因此它是FW的有竞争力的替代品。基准机器学习任务的数值实验进一步验证了我们的理论研究结果。
2020-06-19 cs.LG math.OC stat.ML
A Randomized Linearly Convergent Frank-Wolfe-type Method for Smooth Convex Minimization over the Spectrahedron
Technion - Israel Institute of Technology（技术学院-以色列理工学院）
本文提出了一种随机线性收敛的Frank-Wolfe型方法，用于在谱hedron上高效最小化平滑凸函数。
2026-03-02 cs.LG math.OC
Fast Rates for Bandit Optimization with Upper-Confidence Frank-Wolfe
University of Cambridge（剑桥大学）；ENS Paris–Saclay（巴黎萨克雷高等师范学校）；Criteo Research, Paris（Criteo 研究院，巴黎）
我们考虑的问题的强盗优化，启发随机优化和在线学习问题的强盗反馈。在这个问题中，目标是最小化所有动作的全局损失函数，而不一定是累积损失。这个框架允许我们研究一个非常一般的问题，在统计学，机器学习和其他领域的应用。为了解决这个问题，我们分析了上置信度Frank-Wolfe算法，该算法受到了强盗和凸优化技术的启发。我们给出了理论上的保证，该算法的性能在各类功能，并讨论这些结果的最优性。
2017-09-06 cs.LG math.OC stat.ML
Frank Wolfe Meets Metric Entropy
Frank-Wolfe算法由于其能够有效地解决机器学习和高维统计中的约束优化问题而重新流行起来。因此，有很多兴趣在建立时，算法可以拥有一个“线性”的$O(\log(1/ε))$无量纲迭代的复杂性相比，投影梯度下降。在本文中，我们提供了一个通用的技术，建立特定领域的和易于估计的下限Frank-Wolfe及其变种使用度量熵的域。最值得注意的是，我们表明，一个无量纲的线性上限必须失败，不仅在最坏的情况下，但在\emph{average case}：高斯或球形随机多面体在$\mathbb{R}^d$与$\mathrm{poly}(d)$顶点，弗兰克-沃尔夫需要高达$\tildeΩ(d)$迭代，以实现$O(1/d)$的错误界，具有很高的概率。我们还建立了核规范球的这种现象。与度量熵的联系也对统计学中的条件梯度算法有着有趣的积极影响，例如梯度提升和匹配追踪。特别是，我们表明，它是可能的提取快速衰减的上限直接从分析的基础优化过程中的超额风险。
2022-05-17 cs.LG math.OC stat.ML
Convergence Rate of Frank-Wolfe for Non-Convex Objectives
INRIA（法国国家信息与自动化研究所）；ENS（巴黎高等师范学院）
本文证明Frank-Wolfe算法在非凸目标函数上以O(1/√t)速度收敛，且分析为仿射不变，首次在不同稳定性度量下达到与投影梯度方法相似的收敛速度。
2016-07-01 cs.LG cs.NA math.NA
Boosting as Frank-Wolfe
Kyushu University（九州大学）；RIKEN AIP（理化学研究所先进智能项目中心）
一些boosting算法，如LPBoost、ERLPBoost和C-ERLPBoost，旨在用$\ell_1$ -范数正则化来解决软间隔优化问题。LPBoost在实践中快速收敛到$ε$近似解，但已知在最差情况下进行$Ω(m)$迭代，其中$m$是样本量。另一方面，ERLPBoost和C-ERLPBoost保证在$O(\frac{1}{ε^2} \ln \frac{m}ν)$迭代中收敛到$ε$近似解。然而，与LPBoost相比，每次迭代的计算量非常高。为了解决这个问题，我们提出了一个通用的升压方案，结合了弗兰克-沃尔夫算法和任何辅助算法，并切换到其他迭代。我们表明，该计划保留了相同的收敛保证ERLPBoost和C-ERLPBoost。可以结合任何辅助算法来在实践中改进。该方案来自于对用于软余量优化的提升算法的统一观点。更具体地说，我们表明，LPBoost，ERLPBoost，和C-ERLPBoost是弗兰克-沃尔夫算法的实例。在真实数据集上的实验中，我们的方案的一个实例利用了次级算法的更好更新，并使用LPBoost进行了优化。
2022-09-30 cs.LG math.OC
Frank-Wolfe Algorithm for the Exact Sparse Problem
Aix Marseille Univ（艾克斯-马赛大学）；Université de Toulon（土伦大学）；CNRS（法国国家科学研究中心）；Centrale Marseille（马赛中央理工学院）
本文研究了求解\ExactSparse重建问题的Frank-Wolfe算法的性质。我们证明，当字典是准不相干的，在每次迭代中，Frank-Wolfe算法拿起一个原子索引的支持。我们还证明了，当字典是准不相干的，存在一个迭代，超过该算法的指数快速收敛。
2018-12-18 cs.LG stat.ML
Revisiting Frank-Wolfe for Polytopes: Strict Complementarity and Sparsity
Technion - Israel Institute of Technology（以色列理工学院）
近年来，在假设目标函数具有二次增长性质的条件下，证明了求解凸紧多面体上光滑凸极小化问题的经典Frank-Wolfe算法（又称条件梯度算法）的简单修改以线性速度收敛。然而，这些方法的速度明显取决于问题的维度，这不能解释它们在大规模问题中的经验成功。在本文中，我们首先证明，已经非常简单的问题，甚至当最优解位于低维面的多面体，这种依赖的尺寸不能避免在最坏的情况下。然后，我们重新审视了一个严格的互补性假设已经考虑在沃尔夫的经典书籍\cite{Wolfe1970}，并证明在这种条件下，弗兰克-沃尔夫方法与远离步骤和线搜索的线性收敛率，明确地只依赖于最佳面的尺寸。我们激励严格互补证明，它意味着稀疏鲁棒性的最优解噪声。
2021-01-06 cs.LG math.OC stat.ML
Fast block-coordinate Frank-Wolfe algorithm for semi-relaxed optimal transport
WASEDA University（早稻田大学）
最优运输（OT）通过考虑两个概率分布之间的空间位置来提供它们之间的距离，已被应用于广泛的各种应用。计算OT问题需要求解具有严格质量守恒约束的线性规划。这一要求阻碍了其应用于大规模的问题。为了缓解这个问题，最近提出的松弛OT方法通过放松这些约束来使用更快的算法。其有效性的实际应用已被证明。然而，它仍然表现出缓慢的收敛。为此，针对凸半松弛OT，我们提出了一个快速块坐标Frank-Wolfe（BCFW）算法，它给出了稀疏的解决方案。具体地说，我们提供了它们的最差收敛迭代的上界，以及线性化对偶间隙和拉格朗日对偶间隙之间的等价性。还提出了三个快速变种的建议BCFW。在颜色传递问题的数值计算表明，所提出的算法优于国家的最先进的算法在不同的设置。
2021-03-10 cs.LG math.OC
Stochastic Compositional Optimization via Hybrid Momentum Frank--Wolfe
Machine Learning and Optimization Laboratory (MLO)（机器学习与优化实验室）
本文提出混合动量随机Frank-Wolfe算法，无需假设外层函数F的光滑性，结合动量Jacobian追踪器与泰勒修正函数追踪器，实现非凸目标函数的O(K^{-1/4})收敛率。
2026-10-12 cs.LG math.OC
Faster Rates for the Frank-Wolfe Algorithm Using Jacobi Polynomials
Indian Institute of Science（印度科学学院）
Frank Wolfe算法（FW）是求解大规模约束最优化问题的一种流行的无投影算法。然而，FW算法在最小化紧致凸集上的光滑凸函数时具有次线性收敛速度。因此，探索产生更快收敛速度的技术变得至关重要。获得更快速率的经典方法是组合先前的迭代以获得下一个迭代。在这项工作中，我们将这种方法扩展到FW设置，并表明，最佳的方式来结合过去的迭代是使用一组正交的雅可比多项式。我们还提出了一种基于多项式的加速技术，称为雅可比多项式加速的FW，它使用与雅可比递归相关的组合权重将当前递归与过去递归相结合。通过仔细选择雅可比多项式的参数，我们获得了更快的次线性收敛速度。我们提供了真实数据集上的数值实验，以证明所提出的算法的有效性。
2021-10-19 cs.LG math.OC
Quantized Frank-Wolfe: Faster Optimization, Lower Communication, and Projection Free
Yale University（耶鲁大学）；Massachusetts Institute of Technology（麻省理工学院）；University of Pennsylvania（宾夕法尼亚大学）
我们如何有效地减轻分布式优化中梯度通信的开销？这个问题是训练可扩展的机器学习模型的核心，并且主要在无约束设置中进行了研究。在本文中，我们提出了量化弗兰克-沃尔夫（QFW），第一个投影自由和通信效率的算法，用于解决约束优化问题的规模。我们考虑凸和非凸目标函数，表示为有限和或更一般的随机优化问题，并提供强有力的理论保证QFW的收敛速度。这是通过提出新的量化方案，有效地压缩梯度，同时控制在此过程中引入的噪声方差。最后，我们实证验证QFW的效率，在沟通和返回的解决方案的质量对自然基线。
2019-05-30 cs.DC cs.DS cs.LG
Scalable Frank-Wolfe on Generalized Self-concordant Functions via Simple Steps
Georgia Institute of Technology（佐治亚理工学院）；Zuse Institute Berlin（柏林祖斯研究所）；Univ. Grenoble Alpes（格勒诺布尔大学）；Inria（法国国家信息与自动化研究所）；Technische Universität Berlin（柏林工业大学）
本文针对广义自协调函数提出一种使用开环步长 $γ_t = 2/(t+2)$ 的简单Frank-Wolfe变体，证明其达到 $\mathcal{O}(1/t)$ 收敛速率，无需二阶信息或光滑参数估计，并进一步给出可行域一致凸或多面体情形下的改进速率。
2024-04-08 cs.LG math.OC stat.ML
Reducing Discretization Error in the Frank-Wolfe Method
Stony Brook University（石溪大学）
本文针对Frank-Wolfe方法因离散化误差导致锯齿状路径和收敛缓慢的问题，提出多步高阶离散化和LMO平均两种改进方案，将局部收敛速率从O(1/k)提升至O(1/k^{3/2})。
2023-04-13 cs.AI cs.LG math.OC
Frank-Wolfe Algorithms for Saddle Point Problems
INRIA（法国国家信息与自动化研究所）；École normale supérieure, Paris（巴黎高等师范学院）；Netflix Inc.（Netflix公司）；Université de Montréal（蒙特利尔大学）
将Frank-Wolfe（FW）优化算法推广到求解约束光滑凹凸鞍点（SP）问题。值得注意的是，该方法只需要访问线性最小化神谕。利用FW优化的最新进展，我们提供了第一个证明收敛的FW型鞍点求解多面体，从而部分回答了30岁的猜想。我们还调查了其他的收敛结果，并强调FW式算法的理论基础的差距。激励应用程序没有已知的有效的替代品，探索通过结构化预测与组合的处罚，以及游戏在匹配多面体涉及指数数量的约束。
2017-03-03 cs.LG math.OC stat.ML
Frank-Wolfe Splitting via Augmented Lagrangian Method
MILA；DIRO；Université de Montréal（蒙特利尔大学）；UC Berkeley（加州大学伯克利分校）；ETH Zurich（苏黎世联邦理工学院）
在凸集的交集上最小化函数是优化中的一个重要任务，通常比在每个单独的约束集上最小化它更具挑战性。虽然传统的方法，如弗兰克-沃尔夫（FW）或近似梯度下降假设访问一个线性或二次预言的交集，分裂技术利用每个集的结构，只需要访问的预言的个人约束。在这项工作中，我们开发和分析的弗兰克-沃尔夫增广拉格朗日（FW-AL）算法，一种方法，用于最小化一个光滑函数相关的凸紧集的“线性一致性”的约束，只需要访问一个线性最小化预言的个人约束。它基于增广拉格朗日方法（ALM），也称为乘数方法，但与大多数现有的分裂方法不同，它只需要访问线性（而不是二次）最小化神谕。利用Frank-Wolfe分析的最新进展和乘子算法的交替方向法证明了FW-AL在一般凸紧集上的次线性收敛速度和在多面体上的线性收敛速率.
2018-04-09 cs.LG math.OC stat.ML
Regularized Frank-Wolfe for Dense CRFs: Generalizing Mean Field and Beyond
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）
我们介绍了正则化的Frank-Wolfe，一个通用的和有效的算法的推理和学习的稠密条件随机场（CRF）。该算法优化了一个非凸连续松弛的CRF推理问题，使用香草弗兰克-沃尔夫近似更新，这相当于最小化一个正则化的能量函数。我们所提出的方法是现有的算法，如平均场或凹凸过程的推广。这种观点不仅提供了对这些算法的统一分析，而且还允许探索可能产生更好性能的不同变体的简单方法。我们在标准语义分割数据集上的经验结果中说明了这一点，其中我们正则化的Frank-Wolfe的几个实例优于平均场推理，无论是作为独立组件还是作为神经网络中的端到端可训练层。我们还表明，密集的CRF，加上我们的新算法，产生显着的改善强CNN基线。
2022-09-07 cs.CV cs.LG math.OC
Scalable DC Optimization via Adaptive Frank-Wolfe Algorithms
Institute of Mathematics, Technische Universität Berlin and Zuse Institute Berlin（数学研究所、柏林技术大学和柏林泽尼茨研究所）
针对约束DC优化问题，提出结合BPCG算法与自适应误差界的Frank-Wolfe变体，实现高效可扩展的无投影求解。
2025-08-02 cs.LG math.OC
Approximate Frank-Wolfe Algorithms over Graph-structured Support Sets
Fudan University（复旦大学）；Stony Brook University（石溪大学）
本文考虑求解图结构支撑集上凸优化问题的近似Frank-Wolfe（FW）算法，其中线性最小化预言（LMO）一般不能有效地获得.我们首先证明了两个流行的近似假设（加法和乘法间隙误差）是不适用的，没有廉价的间隙近似LMO预言存在。因此，提出了近似对偶最大化神谕（DMO），它近似的内积，而不是差距。我们证明了使用$δ$ -近似DMO的标准FW方法在最坏情况下收敛为$\mathcal{O}((1-δ) \sqrt{s}/δ)$，并且在约束集的$δ$ -松弛上收敛为$\mathcal{O}(L/(δ^2 t))$。此外，当解在边界上时，FW的一个变体在二次增长假设下收敛为$\mathcal{O}(1/t^2)$。我们的实证结果表明，即使这些改进的界限是悲观的，在恢复现实世界的图像与图形结构的稀疏性显示快速收敛。
2022-06-17 cs.LG math.OC
Minding the Gaps for Block Frank-Wolfe Optimization of Structured SVMs
INRIA（法国国家信息与自动化研究所）；École Normale Supérieure（巴黎高等师范学院）；CentraleSupélec（中央理工-高等电力学院）
在本文中，我们提出了几个改进的块坐标Frank-Wolfe（BCFW）算法从Lacoste-Julien等人。（2013）最近用于优化结构化支持向量机（SSVM）目标的结构化预测的背景下，虽然它有更广泛的应用。我们的改进背后的关键直觉是，由BCFW保持的块间隙的估计揭示了块次优性，可以用作自适应标准。首先，我们在BCFW的每次迭代中通过基于间隙的采样以自适应非均匀的方式对对象进行采样。第二，我们将成对和远离步骤的弗兰克-沃尔夫到块坐标设置的变体。第三，我们用基于块间隙的缓存命中标准来缓存Oracle调用。第四，我们提供了第一种计算SSVM近似正则化路径的方法。最后，我们提供了一个详尽的实证评估我们所有的方法在四个结构化的预测数据集。
2016-05-30 cs.LG math.OC stat.ML
A PARTAN-Accelerated Frank-Wolfe Algorithm for Large-Scale SVM Classification
Federico Santa María University（费德里科·圣玛丽亚大学）；KU Leuven（荷语鲁汶大学）
Frank-Wolfe算法最近重新获得了机器学习社区的关注。它们坚实的理论性质和稀疏性保证使它们成为该领域广泛问题的合适选择。此外，存在几种基本程序的变体，以提高其理论特性和实际性能。在本文中，我们调查的应用程序中的一些技术，机器学习，特别是集中在并行切线（PARTAN）的FW算法的变种，以前没有建议或研究这类问题。我们提供的实验都在一个标准的设置和使用随机加速技术，表明所考虑的算法在几个中型和大型的SVM分类基准数据集上取得了可喜的成果。
2015-02-05 cs.LG math.OC stat.ML
Frank-Wolfe with a Nearest Extreme Point Oracle
Technion - Israel Institute of Technology（以色列理工学院）
我们认为经典的Frank-Wolfe算法的变种约束光滑凸最小化，而不是访问标准的甲骨文最小化的线性函数的可行集，有访问一个甲骨文，可以找到一个极值点的可行集是最接近的欧几里得距离到一个给定的向量。我们首先表明，对于许多可行的兴趣集，这样的预言可以实现与标准的线性最优化预言相同的复杂性。然后，我们表明，与这样的预言，我们可以设计新的Frank-Wolfe变种享有显着改善的复杂性界限的情况下，最优解的集合在于在凸包的一个子集的极值点与小直径（例如，多面体的低维面）。特别是，对于许多$0\text{--}1$多面体，在二次增长和严格互补的条件下，我们得到的第一个线性收敛的变化率，只依赖于最佳的面的尺寸，而不是周围的尺寸。
2022-02-09 cs.LG math.OC stat.ML
DFWLayer: Differentiable Frank-Wolfe Optimization Layer
Tsinghua University（清华大学）；Tencent AI Lab（腾讯AI实验室）
本文提出可微分Frank-Wolfe层（DFWLayer），通过展开Frank-Wolfe方法高效处理带范数约束的大规模凸优化问题，实验证明其在解和梯度精度上具有竞争力且始终满足约束。
2024-03-29 cs.AI cs.LG
MAP inference via Block-Coordinate Frank-Wolfe Algorithm
MPI for Informatics（马克斯·普朗克信息学研究所）；IST Austria（奥地利科学技术研究所）
提出了一种新的用于结构能量最小化问题的最大后验概率（MAP）推理的邻近束方法。该方法优化了拉格朗日松弛的原始能量最小化问题，使用多平面块坐标Frank-Wolfe方法，利用拉格朗日分解的特定结构。我们的经验表明，我们的方法优于一些具有挑战性的马尔可夫随机场，多标签离散断层扫描和图形匹配问题的最先进的拉格朗日分解为基础的算法。
2019-04-05 cs.AI cs.LG stat.ML
Linear Convergence of Frank-Wolfe for Rank-One Matrix Recovery Without Strong Convexity
Technion - Israel Institute of Technology（以色列理工学院）
我们考虑凸优化问题，这是广泛使用的低秩矩阵恢复问题的凸松弛。特别是，在几个重要的问题，如相位恢复和鲁棒PCA，在许多情况下的基本假设是，最优解是秩一。在本文中，我们考虑一个简单而自然的充分条件的目标，使这些松弛的最优解确实是唯一的和秩1。主要地，我们证明了在这种条件下，标准的Frank-Wolfe方法与线搜索（即，不需要任何参数调整），其每次迭代仅需要单个秩一SVD计算，仅在$O(\log{1/ε})$迭代中找到$ε$近似解（与$O(1/ε)$的先前最佳已知边界相反），尽管事实上目标不是强凸的。我们考虑了几个变种的基本方法，提高了复杂性，以及由强大的PCA动机的扩展，最后，扩展到非光滑问题。
2022-06-19 cs.LG math.OC
On the Global Linear Convergence of Frank-Wolfe Optimization Variants
INRIA（法国国家信息与自动化研究所）；École Normale Supérieure（巴黎高等师范学院）；ETH Zürich（苏黎世联邦理工学院）
Frank-Wolfe（FW）优化算法最近重新流行起来，特别是由于它能够很好地处理机器学习应用程序中出现的结构化约束。然而，当解位于边界时，其收敛速度已知是慢的（次线性）。一个简单的不太为人所知的修复方法是在优化过程中添加删除“步骤”的可能性，重要的是，该操作不需要可行性预言。在本文中，我们强调和澄清几个变种的Frank-Wolfe优化算法，已成功地应用于实践中：远离步骤FW，成对FW，完全校正FW和Wolfe的最小范数点算法，并证明了第一次，他们都享有全球线性收敛，在一个较弱的条件下比强凸的目标。收敛速度中的常数有一个优雅的解释，即函数的（经典）条件数与一个新的几何量的乘积，该几何量扮演约束集的“条件数”的角色。我们提供了指针，这些算法在实践中有所作为，特别是与流多面体，边际多面体和基本多面体的子模块优化。
2015-11-18 cs.LG math.OC stat.ML
Boosting the Sliding Frank-Wolfe solver for 3D deconvolution
IRIMAS UR 7499, Université de Haute-Alsace（上阿尔萨斯大学 IRIMAS UR 7499 研究所）
在无网格稀疏优化的背景下，最近推出的滑动弗兰克沃尔夫算法表现出有趣的分析和实用性能。然而，应用于大数据，例如在3D反卷积的情况下，计算量很大。在本文中，我们研究了一种利用这种负担的策略，以使这种方法更易于处理的3D反卷积。我们表明，一个升压SFW可以在显着减少的时间量达到相同的结果。
2020-09-11 cs.LG eess.IV
$k$FW: A Frank-Wolfe style algorithm with stronger subproblem oracles
The Chinese University of Hong Kong（香港中文大学）；Cornell University（康奈尔大学）
提出了一种新的Frank-Wolfe（FW）算法，称为$k$ FW。标准FW收敛速度慢：迭代通常是Z字形的，因为更新方向围绕约束集的极值点振荡。新的变体，$k$ FW，克服了这个问题，在每次迭代中使用两个更强的子问题预言。第一个是计算$k$最佳更新方向（而不是仅一个）的$k$线性最优化oracle（$k$ LOO）。第二个是$k$方向搜索（$k$ DS），其在由$k$最佳更新方向和先前的方向表示的约束集上最小化目标。当问题的解决方案承认一个稀疏的表示，这两个预言是很容易计算，和$k$ FW收敛迅速光滑凸目标和几个有趣的约束集：$k$ FW实现有限的$\frac{4L_f^3D^4}{γδ^2}$收敛多面体和群范数球，和线性收敛的谱面体和核范数球。数值实验验证了$k$ FW的有效性，并证明了一个数量级的速度比现有的方法。
2021-11-15 cs.LG math.OC
Complexity Issues and Randomization Strategies in Frank-Wolfe Algorithms for Machine Learning
KU Leuven（鲁汶大学）；Universidad Técnica Federico Santa María（费德里科·圣玛丽亚理工大学）
本文研究了Frank-Wolfe算法在大规模数据集中的有效性，分析了随机采样策略的替代方案，并提供了一些指导原则。
2014-10-15 cs.LG cs.NA math.NA
Using Taylor-Approximated Gradients to Improve the Frank-Wolfe Method for Empirical Risk Minimization
MIT Operations Research Center（麻省理工学院运筹学中心）；MIT Sloan School of Management（麻省理工学院斯隆管理学院）
针对经验风险最小化中Frank-Wolfe方法计算效率随数据量$n$线性增长的问题，提出结合泰勒近似梯度的改进方法，含确定性与随机变体，在凸和非凸场景下均实现对$n$依赖的降低与最优收敛速率，并通过实验验证了显著加速效果。
2023-11-21 cs.LG math.OC stat.ML
Barrier Frank-Wolfe for Marginal Inference
Courant Institute（库朗研究所）；New York University（纽约大学）；INRIA（法国国家信息与自动化研究所）；École Normale Supérieure, Paris（巴黎高等师范学院）
我们介绍了一个全局收敛的算法优化树加权（TRW）变分目标的边缘多面体。该算法基于条件梯度法（Frank-Wolfe），通过重复的最大后验概率（MAP）调用在边缘多面体内移动伪随机数。这种模块化结构使我们能够利用黑盒MAP求解器（精确和近似）的变分推断，并获得更准确的结果比树重加权算法，优化了局部一致性松弛。从理论上讲，尽管TRW目标在边缘多面体的边界处具有无界梯度，但我们约束了所提出算法的次优性。从经验上讲，我们证明了通过在合成和现实世界的实例中收紧边缘多面体以及生成树多面体的松弛，可以提高结果的质量。
2015-11-25 cs.LG math.OC stat.ML
A Unified Optimization View on Generalized Matching Pursuit and Frank-Wolfe
ETH Zürich（苏黎世联邦理工学院）；UT Austin（德克萨斯大学奥斯汀分校）；EPFL（洛桑联邦理工学院）
贪婪优化的两个最基本的原型是匹配追踪和Frank-Wolfe算法。在本文中，我们采取统一的观点，这两类方法，导致第一个明确的收敛速度匹配追踪方法在优化意义上，一般的原子集。我们推导出次线性（$1/t$）收敛的一般光滑的目标，和线性收敛的强凸目标，以及一个明确的对应算法的变种。我们提出的算法和速率是仿射不变的，并且不需要任何不相干或稀疏性假设。
2017-03-07 cs.LG stat.ML
Faster Unbalanced Optimal Transport: Translation invariant Sinkhorn and 1-D Frank-Wolfe
DMA, ENS, PSL（巴黎文理研究大学高等师范学校数学系）；LIGM, UPEM（巴黎东马恩拉瓦莱大学加斯帕尔·蒙日信息实验室）；CNRS, DMA, ENS, PSL（法国国家科学研究中心、巴黎文理研究大学高等师范学校数学系）
不平衡最优输运（UOT）扩展了最优输运（OT），以考虑质量变化来比较分布。这对于OT在ML应用中取得成功至关重要，使其对数据标准化和离群值具有鲁棒性。基线算法是Sinkhorn，但UOT的收敛速度可能比OT慢得多。在这项工作中，我们确定了这种缺陷的原因，即缺乏一个全局规范化的迭代，这相当于一个翻译的双重OT潜力。我们的第一个贡献是利用这个想法开发一个可证明加速的Sinkhorn算法（创造了“平移不变Sinkhorn”）的UOT，弥合计算差距与OT。我们的第二个贡献集中在1-D UOT，并提出了一个Frank-Wolfe求解器应用到这个平移不变制定。每个步骤的线性预言相当于解决1-D OT问题，导致每次迭代的线性时间复杂度。本文的最后一个贡献是将此方法推广到一维测度的UOT重心的计算。数值模拟显示了这三种方法带来的收敛速度的改善。
2022-01-03 cs.LG math.OC
Convex mixed-integer optimization with Frank-Wolfe methods
Freie Universität Berlin（柏林自由大学）；Zuse Institute Berlin（柏林朱利叶斯·祖斯研究所）；Technische Universität Berlin（柏林工业大学）
本文提出一种基于分支定界和Frank-Wolfe算法的凸混合整数优化方法，通过凸包松弛和线性最小化预言机求解，无需外部逼近，可处理非精确子问题。
2024-07-18 cs.DM cs.LG math.OC
Frank-Wolfe algorithm for learning SVM-type multi-category classifiers
Gunma University（群马大学）
多分类支持向量机（MC-SVM）是当前最流行的机器学习算法之一。MC-SVM有很多变体，尽管针对不同的学习机开发了不同的优化算法。在这项研究中，我们开发了一种新的优化算法，可以应用于许多MC-SVM的变种。该算法是基于Frank-Wolfe框架，需要两个子问题，方向发现和线搜索，在每次迭代。这项研究的贡献是发现，这两个子问题有一个封闭的形式解决方案，如果弗兰克-沃尔夫框架适用于对偶问题。此外，即使对于损失函数的莫罗包络，测向和线搜索的封闭形式解也存在。我们使用了几个大的数据集，以证明所提出的优化算法收敛迅速，从而提高了模式识别的性能。
2020-08-20 cs.LG stat.ML
Fast Stochastic Composite Minimization and an Accelerated Frank-Wolfe Algorithm under Parallelization
Ecole normale supérieure（巴黎高等师范学院）；Université PSL（巴黎文理研究大学）；CNRS（法国国家科学研究中心）；INRIA（法国国家信息与自动化研究所）；Google Research（谷歌研究院）
本文针对随机复合凸优化问题提出一种Bregman型加速算法，并基于该框架设计出在并行化下实现加速的Frank-Wolfe变体，以O(1/√ε)次迭代达到ε原始-对偶间隙。
2024-11-25 cs.LG math.OC
Frank-Wolfe optimization for deep networks
深度神经网络是当今分类、回归和函数逼近中最受欢迎的选择之一。然而，这种深度网络的训练远非微不足道，因为通常有数百万个参数需要调整。通常，人们使用一些希望收敛到某个最小值的优化方法。最流行和最成功的方法是基于梯度下降。本文将另一种优化方法Frank-Wolfe优化应用于小型深度网络，并与梯度下降进行了比较。虽然优化确实收敛，但它收敛得很慢，并且不接近梯度下降的速度。此外，在随机设置中，优化变得非常不稳定，并且似乎不收敛，除非使用线搜索方法。
2020-06-06 cs.LG stat.ML
Frank-Wolfe-based Algorithms for Approximating Tyler's M-estimator
Technion - Israel Institute of Technology（以色列理工学院）
泰勒M-估计量是一个著名的稳健和重尾协方差估计程序。Tyler自己提出了一种迭代定点算法来计算他的估计量，然而，它需要每次迭代的超线性（在数据大小上）运行时间，这在大规模上可能是禁止的。在这项工作中，我们提出，据我们所知，第一弗兰克-沃尔夫为基础的算法计算泰勒的估计。一种变体使用标准Frank-Wolfe步骤，第二种也考虑\textit{away-steps}（AFW），第三种是AFW的\textit{geodesic}版本（GAFW）。AFW可证明地要求，直到对数因子，每次迭代仅线性时间，而GAFW在大的$n$（数据点的数量）制度中以线性时间（直到对数因子）运行。所有三个变种证明收敛到最优解次线性率，在标准假设下，尽管事实上，根本的最优化问题是不凸也不光滑。在一个额外的相当温和的假设下，当（归一化的）数据点是i.i.d.时，概率为1。对于全单位球面上连续分布的样本，证明了AFW和GAFW以线性速度收敛。重要的是，所有三种变体都是无参数的，并使用自适应步长。
2022-10-25 cs.LG math.OC stat.ML
Functional Frank-Wolfe Boosting for General Loss Functions
Princeton University（普林斯顿大学）；Microsoft Research（微软研究院）
Boosting是一种用于分类和回归的通用学习方法。然而，随着基本假设的数量变得越来越大，提升可能会导致测试性能的恶化。过拟合是一种重要且普遍存在的现象，特别是在回归设置中。为了避免过拟合，我们考虑使用$l_1$正则化。我们提出了一种新的Frank-Wolfe型提升算法（FWBoost）适用于一般的损失函数。通过使用指数损失，FWBoost算法可以重写为AdaBoost的变体，用于二进制分类。FWBoost算法与现有的boosting方法具有完全相同的形式，在调用具有不同权重更新的基础学习算法方面。boosting和Frank-Wolfe之间的这种直接联系产生了一种新的算法，该算法与现有的boosting方法一样实用，但具有新的保证和收敛速度。实验结果表明，FWBoost的测试性能并没有随着助推轮数的增加而下降，这与理论分析相一致。
2015-10-09 cs.LG stat.ML
