Scalable Robust Matrix Recovery: Frank-Wolfe Meets Proximal Methods
Department of Industrial Engineering and Operations Research, Columbia University（哥伦比亚大学工业工程与运筹学系）；Department of Electrical Engineering, Columbia University（哥伦比亚大学电气工程系）
本文提出了一种可扩展且高效的鲁棒矩阵恢复方法，结合Frank-Wolfe和近端方法，以线性复杂度解决压缩主成分追寻问题，通过秩一SVD更新低秩部分并处理稀疏项，验证了方法在视觉数据中的可扩展性。
2017-05-29 cs.CV cs.NA math.NA
A Deterministic Nonsmooth Frank Wolfe Algorithm with Coreset Guarantees
University of Wisconsin Madison（威斯康星大学麦迪逊分校）
本文提出一种适用于非光滑凸优化问题的Frank-Wolfe算法，提供收敛性界并展示其在多个机器学习问题中的压缩集结果，算法在不依赖输入规模的情况下提供近似解。
2017-08-22 cs.NA math.NA math.OC
A Distributed Frank-Wolfe Framework for Learning Low-Rank Matrices with the Trace Norm
我们考虑从分布在几台机器上的大规模数据集学习高维但低秩矩阵的问题，其中低秩由凸迹范数约束强制执行。我们提出了DFW-Trace，一个分布式的Frank-Wolfe算法，它利用其更新的低秩结构来实现时间，内存和通信使用的效率。DFW-Trace的核心步骤使用幂方法的分布式版本近似求解。我们提供了一个理论分析的DFW跟踪的收敛性，表明我们可以确保次线性收敛的期望，以最佳的解决方案，每个时代的几个电源迭代。我们在Apache Spark分布式编程框架中实现了DFW-Trace，并验证了我们的方法在合成和真实数据上的有用性，包括从深度神经网络中提取的高维特征的ImageNet数据集。
2018-05-11 cs.DC cs.LG stat.ML
Modified Frank-Wolfe Algorithm for Enhanced Sparsity in Support Vector Machine Classifiers
Universidad Autónoma de Madrid（马德里自治大学）；KU Leuven（鲁汶大学）
本文提出了一种新的训练加权L2支持向量机（SVM）的算法，该算法的灵感来自Candès等人的加权Lasso算法和Jaggi最近提出的Lasso和SVM之间的等价性。特别地，每个训练向量所需的余量被独立地设置，从而定义新的加权SVM模型。这些权重被选择为二进制的，并且它们在模型的训练期间自动适应，导致Frank-Wolfe优化算法的变体，其具有与原始算法基本相同的计算复杂性。如实验所示，该算法在计算上更便宜，因为它需要更少的迭代来收敛，并且它产生的模型在支持向量方面具有更稀疏的表示，并且相对于正则化超参数的选择更稳定。
2018-04-13 cs.AI cs.LG stat.ML
Frank-Wolfe Style Algorithms for Large Scale Optimization
我们介绍了几个变种适合大规模优化的弗兰克-沃尔夫风格的算法。我们将展示如何修改标准的Frank-Wolfe算法，使用随机梯度，近似子问题的解决方案，并勾勒决策变量，以规模庞大的问题，同时保持（常数）的最佳收敛速度$\mathcal{O}(\frac{1}{k})$。
2018-08-15 math.OC stat.ML
Boosted Stochastic Frank-Wolfe for Constrained Nonconvex Optimization
National University of Singapore（新加坡国立大学）；School of Mathematics and Computer Science, Iran University of Science and Technology（伊朗科技大学数学与计算机科学学院）；CentraleSupélec, Université Paris-Saclay, Inria（中央理工-高等电力学院，巴黎萨克雷大学，法国国家信息与自动化研究所）
提出一种不依赖梯度Lipschitz常数的步长策略，将增强型Frank-Wolfe算法扩展到随机设置，并证明其与多种梯度估计器结合时保持收敛率，首次给出非凸和拟凸目标上的收敛率。
2026-05-24 math.OC stat.ML
Lions and Muons: Optimization via Stochastic Frank-Wolfe under Heavy-Tailed Noise
University of California San Diego（加州大学圣地亚哥分校）
本文通过将Lion和Muon视为随机Frank-Wolfe的特例，提出鲁棒变体以应对厚尾噪声，提升非凸优化的收敛性和实用性。
2026-08-26 math.OC stat.ML
Stochastic Frank-Wolfe Methods for Nonconvex Optimization
Carnegie Mellon University（卡内基梅隆大学）；Massachusetts Institute of Technology（麻省理工学院）
研究了非凸随机和有限和最优化问题的Frank-Wolfe方法。Frank-Wolfe方法（在凸情况下）由于其无投影特性和利用结构化约束的能力，最近在机器学习和优化社区中获得了巨大的兴趣。然而，我们的理解这些算法在非凸设置是相当有限的。本文提出了非凸随机Frank-Wolfe方法并分析了其收敛性。对于分解为有限和的目标函数，我们利用凸优化的方差缩减技术的思想，得到了新的方差缩减非凸Frank-Wolfe方法，该方法比经典的Frank-Wolfe方法具有更快的收敛速度.最后，我们表明，更快的收敛速度，我们的方差减少的方法也转化为改进的收敛速度的随机设置。
2016-07-29 cs.LG math.OC stat.ML
Stochastic In-Face Frank-Wolfe Methods for Non-Convex Optimization and Sparse Neural Network Training
University of California, Berkeley（加州大学伯克利分校）
Frank-Wolfe方法及其扩展非常适合于提供具有理想结构属性（例如稀疏性或低秩结构）的解决方案。我们引入了一个新的变体的Frank-Wolfe方法，结合Frank-Wolfe步骤和最速下降步骤，以及一个新的修改的“Frank-Wolfe间隙”，以衡量在非凸的情况下收敛。我们进一步扩展这种方法，将在面方向保持结构化的解决方案，以及块坐标步骤，我们证明了计算保证修改后的Frank-Wolfe间隙的所有这些变体。我们特别受到这种方法的应用稀疏属性的神经网络的训练，我们将我们的块坐标方法的问题，$\ell_1$正则化神经网络的训练。我们提出了几个数值实验的结果，人工和真实的数据集证明我们的方法在训练稀疏神经网络的显着改进。
2019-06-09 cs.LG math.OC stat.ML
Efficient Optimization of Dominant Set Clustering with Frank-Wolfe Algorithms
Chalmers University of Technology（查尔姆斯理工大学）
我们研究弗兰克-沃尔夫算法-标准的，成对的，和远离步骤-有效的优化优势集聚类。我们提出了一个统一的和计算效率高的框架，采用不同的变体的弗兰克-沃尔夫方法，我们调查其有效性，通过几个实验研究。此外，我们提供了明确的收敛速度的算法在所谓的Frank-Wolfe差距。理论分析专门针对优势集聚类，并始终涵盖不同的变体。
2022-12-05 cs.LG math.OC stat.ML
Primal-Dual Block Frank-Wolfe
UT Austin（德克萨斯大学奥斯汀分校）；Amazon（亚马逊）
我们提出了一个变种的Frank-Wolfe算法解决一类稀疏/低秩优化问题。我们的公式包括弹性网络，正则化支持向量机和相位恢复作为特殊情况。提出的原始-对偶块Frank-Wolfe算法在保持线性收敛速度的同时降低了每次迭代的代价。我们的方法的每次迭代成本取决于解决方案的结构复杂性（即稀疏性/低秩），而不是环境维度。我们的经验表明，我们的算法优于最先进的方法（多类）分类任务。
2019-06-06 cs.LG math.OC stat.ML
A Newton Frank-Wolfe Method for Constrained Self-Concordant Minimization
The University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；EPFL（洛桑联邦理工学院）
我们展示了如何可伸缩地解决一类约束自协调极小化问题使用线性极小化神谕（LMO）在约束集。我们证明了我们的方法的LMO调用的数量是几乎相同的L-光滑的情况下的Frank-Wolfe方法。具体来说，我们的牛顿弗兰克-沃尔夫方法使用$\mathcal{O}(ε^{-ν})$ LMO，其中$ε$是所需的精度，而$ν:= 1 + o(1)$。此外，我们证明了我们的算法可以利用改进的变体的LMO为基础的计划，包括远离步骤，达到线性收敛速率。我们还提供了数值证据与投资组合设计的竞争比，D-最优试验设计，和逻辑斯谛回归与弹性网牛顿弗兰克沃尔夫优于国家的最先进的。
2020-02-17 cs.LG math.OC stat.ML
Linear Convergence of a Frank-Wolfe Type Algorithm over Trace-Norm Balls
Microsoft Research（微软研究院）；Princeton University（普林斯顿大学）
我们提出了一个秩$k$变种的经典Frank-Wolfe算法来解决凸优化的轨迹范数球。我们的算法用一个顶- $k$奇异向量计算（$k$-SVD）代替了Frank-Wolfe算法中的顶奇异向量计算（$1$-SVD），这可以通过重复应用$1$ -SVD $k$次来完成。或者，我们的算法可以被看作是一个排名$k$限制版本的投影梯度下降。当目标函数光滑且强凸时，我们的算法具有线性收敛速度，且最优解的秩至多为$k$。这提高了收敛速度和总的时间复杂度的Frank-Wolfe方法及其变种。
2017-11-09 cs.DS cs.LG math.OC
Block-Coordinate Frank-Wolfe Optimization for Structural SVMs
Machine Learning Laboratory, ETH Zurich（苏黎世联邦理工学院机器学习实验室）
我们提出了一个随机块坐标的经典Frank-Wolfe算法的凸优化与块可分离的约束。尽管其较低的迭代成本，我们表明，它达到了类似的收敛速度在对偶间隙的完整的弗兰克-沃尔夫算法。我们还表明，当应用到双结构支持向量机（SVM）的目标，这产生了一个在线算法，具有相同的低迭代复杂度的原始随机次梯度方法。然而，与随机次梯度方法不同，块坐标Frank-Wolfe算法允许我们计算最佳步长，并产生可计算的对偶间隙保证。我们的实验表明，这种简单的算法优于竞争结构SVM求解器。
2013-01-14 cs.LG math.OC stat.ML
How Does Momentum Help Frank Wolfe?
University of Minnesota - Twin Cities（明尼苏达大学双城分校）；Delft University of Technology（代尔夫特理工大学）
我们揭示了弗兰克沃尔夫（FW）型算法和加速梯度法（AGM）的动量之间的联系。在消极的一面，这些联系说明了为什么动量不太可能对FW类型的算法有效。另一方面，这种联系背后令人鼓舞的信息是，动量对FW在一类问题上是有用的。特别是，我们证明了一个动量的FW的变体，我们的加速弗兰克沃尔夫（AFW），收敛速度更快的速度$\tilde{\cal O}(\frac{1}{k^2})$某些约束集，尽管在一般情况下，FW相同的${\cal O}(\frac{1}{k})$率。考虑到AFW几乎没有额外成本的可能加速，因此它是FW的有竞争力的替代品。基准机器学习任务的数值实验进一步验证了我们的理论研究结果。
2020-06-19 cs.LG math.OC stat.ML
Fast Rates for Bandit Optimization with Upper-Confidence Frank-Wolfe
University of Cambridge（剑桥大学）；ENS Paris–Saclay（巴黎萨克雷高等师范学校）；Criteo Research, Paris（Criteo 研究院，巴黎）
我们考虑的问题的强盗优化，启发随机优化和在线学习问题的强盗反馈。在这个问题中，目标是最小化所有动作的全局损失函数，而不一定是累积损失。这个框架允许我们研究一个非常一般的问题，在统计学，机器学习和其他领域的应用。为了解决这个问题，我们分析了上置信度Frank-Wolfe算法，该算法受到了强盗和凸优化技术的启发。我们给出了理论上的保证，该算法的性能在各类功能，并讨论这些结果的最优性。
2017-09-06 cs.LG math.OC stat.ML
Revisiting Frank-Wolfe for Polytopes: Strict Complementarity and Sparsity
Technion - Israel Institute of Technology（以色列理工学院）
近年来，在假设目标函数具有二次增长性质的条件下，证明了求解凸紧多面体上光滑凸极小化问题的经典Frank-Wolfe算法（又称条件梯度算法）的简单修改以线性速度收敛。然而，这些方法的速度明显取决于问题的维度，这不能解释它们在大规模问题中的经验成功。在本文中，我们首先证明，已经非常简单的问题，甚至当最优解位于低维面的多面体，这种依赖的尺寸不能避免在最坏的情况下。然后，我们重新审视了一个严格的互补性假设已经考虑在沃尔夫的经典书籍\cite{Wolfe1970}，并证明在这种条件下，弗兰克-沃尔夫方法与远离步骤和线搜索的线性收敛率，明确地只依赖于最佳面的尺寸。我们激励严格互补证明，它意味着稀疏鲁棒性的最优解噪声。
2021-01-06 cs.LG math.OC stat.ML
Scalable Frank-Wolfe on Generalized Self-concordant Functions via Simple Steps
Georgia Institute of Technology（佐治亚理工学院）；Zuse Institute Berlin（柏林祖斯研究所）；Univ. Grenoble Alpes（格勒诺布尔大学）；Inria（法国国家信息与自动化研究所）；Technische Universität Berlin（柏林工业大学）
本文针对广义自协调函数提出一种使用开环步长 $γ_t = 2/(t+2)$ 的简单Frank-Wolfe变体，证明其达到 $\mathcal{O}(1/t)$ 收敛速率，无需二阶信息或光滑参数估计，并进一步给出可行域一致凸或多面体情形下的改进速率。
2024-04-08 cs.LG math.OC stat.ML
Frank-Wolfe Algorithms for Saddle Point Problems
INRIA（法国国家信息与自动化研究所）；École normale supérieure, Paris（巴黎高等师范学院）；Netflix Inc.（Netflix公司）；Université de Montréal（蒙特利尔大学）
将Frank-Wolfe（FW）优化算法推广到求解约束光滑凹凸鞍点（SP）问题。值得注意的是，该方法只需要访问线性最小化神谕。利用FW优化的最新进展，我们提供了第一个证明收敛的FW型鞍点求解多面体，从而部分回答了30岁的猜想。我们还调查了其他的收敛结果，并强调FW式算法的理论基础的差距。激励应用程序没有已知的有效的替代品，探索通过结构化预测与组合的处罚，以及游戏在匹配多面体涉及指数数量的约束。
2017-03-03 cs.LG math.OC stat.ML
Frank-Wolfe Splitting via Augmented Lagrangian Method
MILA；DIRO；Université de Montréal（蒙特利尔大学）；UC Berkeley（加州大学伯克利分校）；ETH Zurich（苏黎世联邦理工学院）
在凸集的交集上最小化函数是优化中的一个重要任务，通常比在每个单独的约束集上最小化它更具挑战性。虽然传统的方法，如弗兰克-沃尔夫（FW）或近似梯度下降假设访问一个线性或二次预言的交集，分裂技术利用每个集的结构，只需要访问的预言的个人约束。在这项工作中，我们开发和分析的弗兰克-沃尔夫增广拉格朗日（FW-AL）算法，一种方法，用于最小化一个光滑函数相关的凸紧集的“线性一致性”的约束，只需要访问一个线性最小化预言的个人约束。它基于增广拉格朗日方法（ALM），也称为乘数方法，但与大多数现有的分裂方法不同，它只需要访问线性（而不是二次）最小化神谕。利用Frank-Wolfe分析的最新进展和乘子算法的交替方向法证明了FW-AL在一般凸紧集上的次线性收敛速度和在多面体上的线性收敛速率.
2018-04-09 cs.LG math.OC stat.ML
Frank-Wolfe Algorithm for the Exact Sparse Problem
Aix Marseille Univ（艾克斯-马赛大学）；Université de Toulon（土伦大学）；CNRS（法国国家科学研究中心）；Centrale Marseille（马赛中央理工学院）
本文研究了求解\ExactSparse重建问题的Frank-Wolfe算法的性质。我们证明，当字典是准不相干的，在每次迭代中，Frank-Wolfe算法拿起一个原子索引的支持。我们还证明了，当字典是准不相干的，存在一个迭代，超过该算法的指数快速收敛。
2018-12-18 cs.LG stat.ML
Convergence Rate of Frank-Wolfe for Non-Convex Objectives
INRIA（法国国家信息与自动化研究所）；ENS（巴黎高等师范学院）
本文证明Frank-Wolfe算法在非凸目标函数上以O(1/√t)速度收敛，且分析为仿射不变，首次在不同稳定性度量下达到与投影梯度方法相似的收敛速度。
2016-07-01 cs.LG cs.NA math.NA
Minding the Gaps for Block Frank-Wolfe Optimization of Structured SVMs
INRIA（法国国家信息与自动化研究所）；École Normale Supérieure（巴黎高等师范学院）；CentraleSupélec（中央理工-高等电力学院）
在本文中，我们提出了几个改进的块坐标Frank-Wolfe（BCFW）算法从Lacoste-Julien等人。（2013）最近用于优化结构化支持向量机（SSVM）目标的结构化预测的背景下，虽然它有更广泛的应用。我们的改进背后的关键直觉是，由BCFW保持的块间隙的估计揭示了块次优性，可以用作自适应标准。首先，我们在BCFW的每次迭代中通过基于间隙的采样以自适应非均匀的方式对对象进行采样。第二，我们将成对和远离步骤的弗兰克-沃尔夫到块坐标设置的变体。第三，我们用基于块间隙的缓存命中标准来缓存Oracle调用。第四，我们提供了第一种计算SSVM近似正则化路径的方法。最后，我们提供了一个详尽的实证评估我们所有的方法在四个结构化的预测数据集。
2016-05-30 cs.LG math.OC stat.ML
A PARTAN-Accelerated Frank-Wolfe Algorithm for Large-Scale SVM Classification
Federico Santa María University（费德里科·圣玛丽亚大学）；KU Leuven（荷语鲁汶大学）
Frank-Wolfe算法最近重新获得了机器学习社区的关注。它们坚实的理论性质和稀疏性保证使它们成为该领域广泛问题的合适选择。此外，存在几种基本程序的变体，以提高其理论特性和实际性能。在本文中，我们调查的应用程序中的一些技术，机器学习，特别是集中在并行切线（PARTAN）的FW算法的变种，以前没有建议或研究这类问题。我们提供的实验都在一个标准的设置和使用随机加速技术，表明所考虑的算法在几个中型和大型的SVM分类基准数据集上取得了可喜的成果。
2015-02-05 cs.LG math.OC stat.ML
Frank-Wolfe with a Nearest Extreme Point Oracle
Technion - Israel Institute of Technology（以色列理工学院）
我们认为经典的Frank-Wolfe算法的变种约束光滑凸最小化，而不是访问标准的甲骨文最小化的线性函数的可行集，有访问一个甲骨文，可以找到一个极值点的可行集是最接近的欧几里得距离到一个给定的向量。我们首先表明，对于许多可行的兴趣集，这样的预言可以实现与标准的线性最优化预言相同的复杂性。然后，我们表明，与这样的预言，我们可以设计新的Frank-Wolfe变种享有显着改善的复杂性界限的情况下，最优解的集合在于在凸包的一个子集的极值点与小直径（例如，多面体的低维面）。特别是，对于许多$0\text{--}1$多面体，在二次增长和严格互补的条件下，我们得到的第一个线性收敛的变化率，只依赖于最佳的面的尺寸，而不是周围的尺寸。
2022-02-09 cs.LG math.OC stat.ML
Regularized Frank-Wolfe for Dense CRFs: Generalizing Mean Field and Beyond
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）
我们介绍了正则化的Frank-Wolfe，一个通用的和有效的算法的推理和学习的稠密条件随机场（CRF）。该算法优化了一个非凸连续松弛的CRF推理问题，使用香草弗兰克-沃尔夫近似更新，这相当于最小化一个正则化的能量函数。我们所提出的方法是现有的算法，如平均场或凹凸过程的推广。这种观点不仅提供了对这些算法的统一分析，而且还允许探索可能产生更好性能的不同变体的简单方法。我们在标准语义分割数据集上的经验结果中说明了这一点，其中我们正则化的Frank-Wolfe的几个实例优于平均场推理，无论是作为独立组件还是作为神经网络中的端到端可训练层。我们还表明，密集的CRF，加上我们的新算法，产生显着的改善强CNN基线。
2022-09-07 cs.CV cs.LG math.OC
Frank-Wolfe Bayesian Quadrature: Probabilistic Integration with Theoretical Guarantees
有新的兴趣制定集成作为一个推理问题，通过获得一个完整的分布，可以通过后续的计算传播的数值误差的动机。目前的方法，如贝叶斯求积，表现出令人印象深刻的经验性能，但缺乏理论分析。一个重要的挑战是调和这些概率积分严格的收敛保证。在本文中，我们提出了第一个概率积分，承认这样的理论治疗，称为弗兰克-沃尔夫贝叶斯正交（FWBQ）。根据FWBQ，收敛到真值的积分是指数和后收缩率被证明是超指数。在模拟中，FWBQ与最先进的方法相比具有竞争力，并且优于基于Frank-Wolfe优化的替代方案。我们的方法是成功地量化数值误差的解决方案，在细胞生物学中具有挑战性的模型选择问题。
2015-12-06 stat.ML
On the Global Linear Convergence of Frank-Wolfe Optimization Variants
INRIA（法国国家信息与自动化研究所）；École Normale Supérieure（巴黎高等师范学院）；ETH Zürich（苏黎世联邦理工学院）
Frank-Wolfe（FW）优化算法最近重新流行起来，特别是由于它能够很好地处理机器学习应用程序中出现的结构化约束。然而，当解位于边界时，其收敛速度已知是慢的（次线性）。一个简单的不太为人所知的修复方法是在优化过程中添加删除“步骤”的可能性，重要的是，该操作不需要可行性预言。在本文中，我们强调和澄清几个变种的Frank-Wolfe优化算法，已成功地应用于实践中：远离步骤FW，成对FW，完全校正FW和Wolfe的最小范数点算法，并证明了第一次，他们都享有全球线性收敛，在一个较弱的条件下比强凸的目标。收敛速度中的常数有一个优雅的解释，即函数的（经典）条件数与一个新的几何量的乘积，该几何量扮演约束集的“条件数”的角色。我们提供了指针，这些算法在实践中有所作为，特别是与流多面体，边际多面体和基本多面体的子模块优化。
2015-11-18 cs.LG math.OC stat.ML
Using Taylor-Approximated Gradients to Improve the Frank-Wolfe Method for Empirical Risk Minimization
MIT Operations Research Center（麻省理工学院运筹学中心）；MIT Sloan School of Management（麻省理工学院斯隆管理学院）
针对经验风险最小化中Frank-Wolfe方法计算效率随数据量$n$线性增长的问题，提出结合泰勒近似梯度的改进方法，含确定性与随机变体，在凸和非凸场景下均实现对$n$依赖的降低与最优收敛速率，并通过实验验证了显著加速效果。
2023-11-21 cs.LG math.OC stat.ML
Barrier Frank-Wolfe for Marginal Inference
Courant Institute（库朗研究所）；New York University（纽约大学）；INRIA（法国国家信息与自动化研究所）；École Normale Supérieure, Paris（巴黎高等师范学院）
我们介绍了一个全局收敛的算法优化树加权（TRW）变分目标的边缘多面体。该算法基于条件梯度法（Frank-Wolfe），通过重复的最大后验概率（MAP）调用在边缘多面体内移动伪随机数。这种模块化结构使我们能够利用黑盒MAP求解器（精确和近似）的变分推断，并获得更准确的结果比树重加权算法，优化了局部一致性松弛。从理论上讲，尽管TRW目标在边缘多面体的边界处具有无界梯度，但我们约束了所提出算法的次优性。从经验上讲，我们证明了通过在合成和现实世界的实例中收紧边缘多面体以及生成树多面体的松弛，可以提高结果的质量。
2015-11-25 cs.LG math.OC stat.ML
MAP inference via Block-Coordinate Frank-Wolfe Algorithm
MPI for Informatics（马克斯·普朗克信息学研究所）；IST Austria（奥地利科学技术研究所）
提出了一种新的用于结构能量最小化问题的最大后验概率（MAP）推理的邻近束方法。该方法优化了拉格朗日松弛的原始能量最小化问题，使用多平面块坐标Frank-Wolfe方法，利用拉格朗日分解的特定结构。我们的经验表明，我们的方法优于一些具有挑战性的马尔可夫随机场，多标签离散断层扫描和图形匹配问题的最先进的拉格朗日分解为基础的算法。
2019-04-05 cs.AI cs.LG stat.ML
One Sample Stochastic Frank-Wolfe
Yale University（耶鲁大学）；University of Pennsylvania（宾夕法尼亚大学）；The University of Texas at Austin（得克萨斯大学奥斯汀分校）
投影梯度下降法的优点之一在于其相当简单的机制和具有不精确随机梯度的稳定行为，这导致其在许多机器学习应用中广泛使用。然而，一旦我们用一个更简单的线性规划来代替投影算子，就像在弗兰克-沃尔夫方法中所做的那样，简单性和稳定性都受到了严重的打击。本文的目的是在不牺牲效率的情况下将它们带回来。在本文中，我们提出了第一个单样本随机Frank-Wolfe算法，称为1-SFW，避免了需要仔细调整批量大小，步长，学习率，和其他复杂的超参数。特别是，1-SFW实现了最佳的收敛速度的$\mathcal{O}(1/ε^2)$达到$ε$ -次优解的随机凸设置，和$(1-1/e)-ε$近似解的随机单调DR-次模极大化问题。此外，在一般的非凸设置中，1-SFW在至多$\mathcal{O}(1/ε^3)$迭代之后找到$ε$ -一阶稳定点，实现当前最佳已知的收敛速度。所有这些都可以通过设计一种新的无偏动量估计器来实现，该估计器在每次迭代时使用单个样本来控制优化过程的稳定性。
2019-10-10 cs.LG math.OC stat.ML
Frank-Wolfe Optimization for Symmetric-NMF under Simplicial Constraint
Carnegie Mellon University（卡内基梅隆大学）
对称非负矩阵分解提供了非负矩阵的对称低秩分解，在许多领域有着广泛的应用。在本文中，我们提出了一个Frank-Wolfe（FW）求解器优化对称非负矩阵分解问题的单纯形约束下，最近提出的概率聚类。与现有的解决方案相比，该算法实现简单，且无需调整超参数。基于FW算法在非凸优化中的最新进展，我们证明了$O(1/\varepsilon^2)$收敛到$\varepsilon$ -近似KKT点的速度，通过对曲率常数的紧界$Θ(n^2)$，这与使用梯度方法的无约束非凸设置中的最佳已知结果相匹配.数值结果表明了算法的有效性。作为一个侧面的贡献，我们构造了一个简单的非光滑凸问题的FW算法无法收敛到最佳。这一结果提出了一个有趣的问题的必要条件的FW算法的成功凸问题。
2018-06-26 cs.LG math.OC stat.ML
A Unified Optimization View on Generalized Matching Pursuit and Frank-Wolfe
ETH Zürich（苏黎世联邦理工学院）；UT Austin（德克萨斯大学奥斯汀分校）；EPFL（洛桑联邦理工学院）
贪婪优化的两个最基本的原型是匹配追踪和Frank-Wolfe算法。在本文中，我们采取统一的观点，这两类方法，导致第一个明确的收敛速度匹配追踪方法在优化意义上，一般的原子集。我们推导出次线性（$1/t$）收敛的一般光滑的目标，和线性收敛的强凸目标，以及一个明确的对应算法的变种。我们提出的算法和速率是仿射不变的，并且不需要任何不相干或稀疏性假设。
2017-03-07 cs.LG stat.ML
Complexity Issues and Randomization Strategies in Frank-Wolfe Algorithms for Machine Learning
KU Leuven（鲁汶大学）；Universidad Técnica Federico Santa María（费德里科·圣玛丽亚理工大学）
本文研究了Frank-Wolfe算法在大规模数据集中的有效性，分析了随机采样策略的替代方案，并提供了一些指导原则。
2014-10-15 cs.LG cs.NA math.NA
Frank-Wolfe algorithm for learning SVM-type multi-category classifiers
Gunma University（群马大学）
多分类支持向量机（MC-SVM）是当前最流行的机器学习算法之一。MC-SVM有很多变体，尽管针对不同的学习机开发了不同的优化算法。在这项研究中，我们开发了一种新的优化算法，可以应用于许多MC-SVM的变种。该算法是基于Frank-Wolfe框架，需要两个子问题，方向发现和线搜索，在每次迭代。这项研究的贡献是发现，这两个子问题有一个封闭的形式解决方案，如果弗兰克-沃尔夫框架适用于对偶问题。此外，即使对于损失函数的莫罗包络，测向和线搜索的封闭形式解也存在。我们使用了几个大的数据集，以证明所提出的优化算法收敛迅速，从而提高了模式识别的性能。
2020-08-20 cs.LG stat.ML
Frank-Wolfe optimization for deep networks
深度神经网络是当今分类、回归和函数逼近中最受欢迎的选择之一。然而，这种深度网络的训练远非微不足道，因为通常有数百万个参数需要调整。通常，人们使用一些希望收敛到某个最小值的优化方法。最流行和最成功的方法是基于梯度下降。本文将另一种优化方法Frank-Wolfe优化应用于小型深度网络，并与梯度下降进行了比较。虽然优化确实收敛，但它收敛得很慢，并且不接近梯度下降的速度。此外，在随机设置中，优化变得非常不稳定，并且似乎不收敛，除非使用线搜索方法。
2020-06-06 cs.LG stat.ML
Stochastic Frank-Wolfe for Composite Convex Minimization
ETH Zurich（苏黎世联邦理工学院）；Ecole Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；Télécom Paris（巴黎高等电信学院）；Université Paris-Saclay（巴黎萨克雷大学）
一类广泛的凸优化问题可以表述为半定规划（SDP），即在某些仿射约束下，在半正定锥上最小化凸函数。大多数经典的SDP求解器都是为确定性设置而设计的，其中问题数据很容易获得。在这种情况下，广义条件梯度法（又名Frank-Wolfe型方法）通过利用所谓的线性最小化预言而不是投影到半定锥上来提供可扩展的解决方案。然而，机器学习和现代工程应用中的大多数问题都包含一定程度的随机性。本文提出了求解仿射约束下随机最优化问题的第一种条件梯度型方法。我们的方法保证$\mathcal{O}(k^{-1/3})$收敛速度在期望的目标残差和$\mathcal{O}(k^{-5/12})$的可行性差距。
2019-10-29 cs.AI cs.LG math.OC
Functional Frank-Wolfe Boosting for General Loss Functions
Princeton University（普林斯顿大学）；Microsoft Research（微软研究院）
Boosting是一种用于分类和回归的通用学习方法。然而，随着基本假设的数量变得越来越大，提升可能会导致测试性能的恶化。过拟合是一种重要且普遍存在的现象，特别是在回归设置中。为了避免过拟合，我们考虑使用$l_1$正则化。我们提出了一种新的Frank-Wolfe型提升算法（FWBoost）适用于一般的损失函数。通过使用指数损失，FWBoost算法可以重写为AdaBoost的变体，用于二进制分类。FWBoost算法与现有的boosting方法具有完全相同的形式，在调用具有不同权重更新的基础学习算法方面。boosting和Frank-Wolfe之间的这种直接联系产生了一种新的算法，该算法与现有的boosting方法一样实用，但具有新的保证和收敛速度。实验结果表明，FWBoost的测试性能并没有随着助推轮数的增加而下降，这与理论分析相一致。
2015-10-09 cs.LG stat.ML
Sequential Kernel Herding: Frank-Wolfe Optimization for Particle Filtering
INRIA（法国国家信息与自动化研究所）；École Normale Supérieure（巴黎高等师范学院）；University of Cambridge（剑桥大学）
最近，Frank-Wolfe优化算法被建议作为一种程序，以获得再生核希尔伯特空间（RKHS）中函数积分的自适应求积规则，其收敛速度可能比蒙特卡罗积分更快（并且“核羊群”被证明是该程序的特殊情况）。本文提出用Frank-Wolfe优化方法代替粒子滤波器中的随机采样步骤。通过优化粒子的位置，我们可以获得比随机或准蒙特卡罗采样更好的精度。在发射概率的评估是昂贵的应用中（例如在机器人定位中），通过优化生成粒子的额外计算成本是合理的。标准合成的例子，以及对机器人定位任务的实验表明，确实提高了随机和准蒙特卡罗采样的精度。
2015-02-10 cs.LG stat.ML
Quantized Frank-Wolfe: Faster Optimization, Lower Communication, and Projection Free
Yale University（耶鲁大学）；Massachusetts Institute of Technology（麻省理工学院）；University of Pennsylvania（宾夕法尼亚大学）
我们如何有效地减轻分布式优化中梯度通信的开销？这个问题是训练可扩展的机器学习模型的核心，并且主要在无约束设置中进行了研究。在本文中，我们提出了量化弗兰克-沃尔夫（QFW），第一个投影自由和通信效率的算法，用于解决约束优化问题的规模。我们考虑凸和非凸目标函数，表示为有限和或更一般的随机优化问题，并提供强有力的理论保证QFW的收敛速度。这是通过提出新的量化方案，有效地压缩梯度，同时控制在此过程中引入的噪声方差。最后，我们实证验证QFW的效率，在沟通和返回的解决方案的质量对自然基线。
2019-05-30 cs.DC cs.DS cs.LG
Communication-Efficient Asynchronous Stochastic Frank-Wolfe over Nuclear-norm Balls
University of Texas at Austin（德克萨斯大学奥斯汀分校）
大规模机器学习训练面临两个挑战，特别是对于分布式系统的核规范约束问题：由于分散的工人而导致的同步速度减慢，以及高通信成本。在这项工作中，我们提出了一个异步随机弗兰克沃尔夫（SFW-asyn）的方法，这是第一次，同时解决了这两个问题，同时成功地保持了相同的收敛速度香草SFW。我们在python中实现了我们的算法（使用MPI），并在Amazon EC2上运行，并证明了与vanilla SFW相比，SFW-asyn的速度几乎与机器数量成线性关系。
2019-10-17 cs.DC cs.LG cs.NA
Learning Infinite RBMs with Frank-Wolfe
Computer Science, UC Irvine（加州大学尔湾分校计算机科学）
本文提出了一个无限约束Boltzmann机，其极大似然估计对应于一个约束凸优化。我们认为弗兰克-沃尔夫算法来解决的程序，它提供了一个稀疏的解决方案，可以被解释为在每次迭代插入一个隐藏的单元，使优化过程采取的形式的一系列有限的模型的复杂性不断增加。作为附带的好处，这可以用于在优化期间容易且有效地识别适当数量的隐藏单元。由此产生的模型也可以用作典型的最先进的RBM训练算法的初始化，例如对比发散，导致模型具有比随机初始化更高的测试可能性。
2017-10-15 cs.AI cs.LG stat.ML
Sarah Frank-Wolfe: Methods for Constrained Optimization with Best Rates and Practical Features
Innopolis University（因诺波利斯大学）；Skolkovo Institute of Science and Technology（斯科尔科沃科技学院）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Yandex（Yandex公司）；Mila（米拉研究所）
针对随机有限和约束优化问题，提出两种新型Sarah Frank-Wolfe算法变体，兼具最优收敛保证与无持续大批量采样等实用优势，理论速率经实验验证。
2024-09-15 cs.LG math.OC stat.ML
Projection Free Rank-Drop Steps
Frank-Wolfe（FW）算法由于不需要投影而被广泛用于求解核范数约束问题。然而，FW经常产生高秩的中间迭代，这对于大型问题来说在时间和空间成本上是非常昂贵的。为了解决这个问题，我们提出了一个降秩方法的核范数约束问题。目标是生成导致秩下降的下降步骤，在整个算法中保持低秩解决方案。此外，优化问题受到约束，以确保降秩步骤也是可行的，并且可以容易地并入无投影最小化方法，例如，弗兰克·沃尔夫我们证明，通过将降秩步骤到弗兰克-沃尔夫算法，解决方案的秩大大降低相比，原来的弗兰克-沃尔夫或其常见的变种。
2017-07-04 stat.ML
Sinkhorn Barycenters with Free Support via Frank-Wolfe Algorithm
University College London（伦敦大学学院）；Istituto Italiano di Tecnologia（意大利理工学院）；Imperial College London（帝国理工学院）
我们提出了一种新的算法来估计任意概率分布相对于Sinkhorn发散的重心。基于Frank-Wolfe优化策略，我们的方法通过增量填充重心的支持来进行，而不需要任何预分配。我们考虑离散以及连续分布，证明所提出的算法在这两种设置的收敛速度。我们的分析的关键要素是一个新的结果表明，在紧凑的域上的Sinkhorn发散具有Lipschitz连续梯度的总变差和表征的样本复杂性的Sinkhorn潜在的。实验验证了该方法在实际应用中的有效性。
2019-05-30 cs.LG math.ST stat.ML
On the Online Frank-Wolfe Algorithms for Convex and Non-convex Optimizations
Institut Mines-Telecom, Telecom ParisTech, CNRS LTCI（法国矿业电信研究院，巴黎高等电信学院，法国国家科学研究中心LTCI）；Arizona State University（亚利桑那州立大学）；Ecole Polytechnique（巴黎综合理工学院）
在本文中，经典的Frank-Wolfe算法的在线变种被认为是。我们考虑在随机成本下最小化后悔。在线算法只需要简单的迭代更新和非自适应步长规则，在文献中通常考虑的混合计划。几个新的结果推导出凸和非凸损失。在强凸随机费用下，当最优解位于约束集内部或约束集为多胞形时，其后悔界和最优性分别为${\cal O}( \log^3 T / T )$和${\cal O}( \log^2 T / T)$，其中$T$为博弈轮数.这些结果是基于对随机Frank-Wolfe算法的改进分析。此外，在线算法收敛，即使当损失是非凸的，即，算法以${\cal O}(\sqrt{1/T})$的速率找到时变/随机损失的平稳点。现实数据集的数值实验，以支持我们的理论主张。
2016-08-15 cs.LG stat.ML
Greedy Frank-Wolfe Algorithm for Exemplar Selection
UC Berkeley（加州大学伯克利分校）
在本文中，我们考虑的问题，选择代表从一个数据集的任意监督/无监督学习任务。我们识别数据集$A$的子集$S$，使得1）$S$的大小比$A$小得多，以及2）$S$以经由凸优化形式化的方式有效地描述整个数据集。为了生成$|S| = k$样本，我们的可核化算法，Frank-Wolfe稀疏表示（FWSR），只需要执行$\approx k$迭代，每次迭代的成本是$A$大小的二次方。这与需要执行直到收敛的其他现有技术方法形成对比，其中每次迭代花费额外的因子$d$（数据的维度）。此外，我们还证明了我们的方法的线性收敛性。我们支持我们的实证实验结果，我们测试我们的算法对当前的方法在三个不同的实验设置在四个不同的数据集。FWSR在几乎所有场景中的速度和准确性都优于其他范例发现方法。
2020-02-23 cs.LG stat.ML
Online Continuous Submodular Maximization: From Full-Information to Bandit Feedback
Yale University（耶鲁大学）；University of Pennsylvania（宾夕法尼亚大学）
在本文中，我们提出了三个在线算法子模最大化。第一个是Mono-Frank-Wolfe，它将$T^{1/2}$ [Chen 2018 Online]和$T^{3/2}$ [chen 2018 projection]中每个函数的梯度评估数量减少到1，并实现了$O(T^{4/5})$的$(1-1/e)$ -遗憾界。第二个是Bandit-Frank-Wolfe算法，它是第一个求解连续DR-子模极大化的Bandit算法，其$(1-1/e)$ -遗憾界为$O(T^{8/9})$ .最后，我们扩展Bandit-Frank-Wolfe的离散次模最大化，响应弗兰克-Wolfe，它达到了一个$(1-1/e)$ -遗憾界的$O(T^{8/9})$在响应强盗设置的强盗算法。
2019-10-28 cs.LG stat.ML
A Distributed Frank-Wolfe Algorithm for Communication-Efficient Sparse Learning
Télécom ParisTech（巴黎高等电信学院）；CNRS（法国国家科学研究中心）；University of Southern California（南加利福尼亚大学）；Princeton University（普林斯顿大学）；Carnegie Mellon University（卡内基梅隆大学）
稀疏组合学习是机器学习中的一个常见主题。在本文中，我们研究了其相关的优化问题，在分布式设置的元素被组合不是集中位于，但分布在网络上。我们解决了平衡通信成本和优化错误的关键挑战。为此，我们提出了一个分布式的Frank-Wolfe（dFW）算法。我们得到的优化误差$ε$和通信成本，不依赖于合并元素的总数的理论保证。我们进一步表明，dFW的通信成本是最佳的，通过推导出一个下界的通信成本所需的构建一个$ε$近似的解决方案。我们验证了我们的理论分析与实证研究的合成和真实世界的数据，这表明dFW优于基线和竞争的方法。我们还研究了dFW的性能时，我们的分析条件放宽，并表明，dFW是相当强大的。
2015-01-12 cs.AI cs.DC cs.LG
Lloyd's $K$-Means Clustering Algorithm Is Frank-Wolfe in Disguise
Old Dominion University（奥多明尼昂大学）；Miami University（迈阿密大学）；Université de Montréal（蒙特利尔大学）；Mila（米拉研究所）
研究劳埃德K均值算法与弗兰克-沃尔夫算法的联系，证明前者是后者特殊情况，利用FW方法进展得出SSE目标局部最小值收敛速度，开发处理空聚类的FW变体，通过模拟研究说明结果。
2026-07-29 cs.LG stat.CO stat.ML
