Convex optimization on Banach Spaces
将只使用函数求值的贪婪算法应用于一般Banach空间$X$中的凸优化问题。随着算法,使用精确的评估,近似评估的算法进行治疗。给出了算法收敛速度的先验上界。这些界限取决于平滑的目标函数和稀疏性或压缩性(相对于一个给定的字典)的一个点在$X$,其中达到最小值。
2014-01-01 math.OC stat.ML
Greedy Algorithms for Cone Constrained Optimization with Convergence Guarantees
MPI for Intelligent Systems(智能系统马克斯·普朗克研究所);ETH Zurich(苏黎世联邦理工学院);EPFL(洛桑联邦理工学院)
贪婪优化方法,如匹配追踪(MP)和弗兰克-沃尔夫(FW)算法,近年来重新流行,由于其简单,有效和理论保证。MP和FW地址优化的线性跨度和凸包的一组原子,分别。在本文中,我们考虑的凸锥优化的中间情况下,参数化的圆锥壳的一个通用的原子集,导致第一原则的定义,非负MP算法,我们给出明确的收敛速度,并表现出良好的经验性能。特别是,我们得到次线性($\mathcal{O}(1/t)$)收敛一般光滑和凸的目标,和线性收敛($\mathcal{O}(e^{-t})$)强凸的目标,在这两种情况下,一般的原子集。此外,我们建立了一个明确的对应关系,我们的算法已知的算法从MP和FW文献。我们的新算法和分析目标一般的原子集和一般的目标函数,因此直接适用于各种各样的学习设置。
2017-11-19 cs.LG stat.ML
On Approximation Guarantees for Greedy Low Rank Optimization
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
我们提供了新的近似保证贪婪的低秩矩阵估计的标准假设下的限制强凸性和光滑性。我们的新的分析还揭示了以前未知的低秩估计和组合优化之间的连接,以至于我们的界限让人想起相应的近似界次模最大化。此外,我们还提供统计恢复保证。最后,我们提出了经验比较贪婪估计与既定的基线上的两个重要的现实世界的问题。
2017-03-08 cs.IT cs.LG math.IT
On Learning Discrete Graphical Models Using Greedy Methods
University of Texas at Austin(德克萨斯大学奥斯汀分校)
在本文中,我们解决的问题,学习的成对图形模型的结构,从样本中的高维设置。我们的第一个主要结果研究的稀疏性,或一致性稀疏模式恢复,性能的向前向后贪心算法适用于一般的统计模型。作为一个特殊的情况下,我们然后应用该算法通过邻域估计来学习离散图模型的结构。作为我们的一般结果的推论,我们推导出样本数n,最大节点度d和问题大小p的充分条件,以及模型参数的其他条件,使算法恢复所有的边缘具有高概率。我们的结果保证了样本缩放为n = Omega(d^2 log(p))的图选择,与现有的基于凸优化的算法相比,这些算法需要Ω(d^3 log(p))的样本复杂度。此外,贪心算法只需要一个受限制的强凸性条件,这通常比不可表示性假设更温和。最后,我们用数值模拟证实了这些结果。
2011-07-16 cs.LG math.ST stat.ML
Self-Dictionary Sparse Regression for Hyperspectral Unmixing: Greedy Pursuit and Pure Pixel Search are Related
本文考虑了最近出现的高光谱解混配方的基础上稀疏回归的自字典多测量向量(SD-MMV)模型,其中测量的高光谱像素被用作字典。在纯像素假设下操作,这种SD-MMV形式主义是特殊的,因为它允许同时识别端元光谱特征和端元的数量。以前的SD-MMV研究主要集中在凸松弛。在这项研究中,我们探讨了贪婪追求的替代方案,它通常提供了高效和简单的算法。特别是,我们设计了一个贪婪的SD-MMV算法使用同时正交匹配追踪。有趣的是,所提出的贪婪算法被证明是密切相关的一些现有的纯像素搜索算法,特别是,连续投影算法(SPA)。因此,SD-MMV和纯像素搜索之间的联系被揭示出来。然后,我们进行精确的恢复分析,并证明所提出的贪婪算法是强大的噪声-包括其识别的(未知)数量的端元-在一个足够低的噪声水平。通过仿真实验和实际数据实验验证了该算法的辨识性能。
2015-03-03 cs.IT math.IT math.OC
PEREGRiNN: Penalized-Relaxation Greedy Neural Network Verifier
University of California, Irvine(加州大学尔湾分校)
神经网络(NN)具有与其在现实世界应用中的扩散相称的日益明显的安全性影响:意外的以及对抗性的错误分类都可能导致致命的结果。因此,形式化验证技术已被公认为是设计和部署安全神经网络的关键。在本文中,我们介绍了一种新的方法来正式验证ReLU NN最常见的安全规范-即网络输入和输出的多面体规范。像其他一些方法一样,我们使用一个放松的凸规划来减轻问题的组合复杂性。然而,我们的方法的独特之处在于,我们不仅使用凸解算器作为线性可行性检查器,而且还作为惩罚解决方案中允许的松弛量的手段。特别地,我们通过通常的线性约束对每个ReLU进行编码,并将其与凸目标函数相结合,该凸目标函数对每个神经元的输出与其松弛之间的差异进行惩罚。该凸函数进一步构造成迫使最大弛豫出现在最接近输入层的地方;这提供了进一步的好处,即当逐层调节时,尽可能早地调节最有问题的神经元。可以利用这种范例来创建一种验证算法,该算法不仅在一般情况下比竞争方法更快,而且还能够验证更多的安全属性;我们在标准MNIST鲁棒性验证套件上评估了PEREGRiNN,以证实这些声明。
2021-04-18 cs.FL cs.LG stat.ML
Scalable Projection-Free Optimization
作为一种无投影算法,Frank-Wolfe(FW)方法,也被称为条件梯度,近年来在机器学习领域受到了相当大的关注。在这篇论文中,我们研究了几个主题的FW变种的可扩展的无投影优化。我们首先提出了1-SFW,第一个无投影的方法,每次迭代只需要一个样本来更新优化变量,但达到了最好的已知的复杂性边界凸,非凸,单调DR-子模块设置。然后,我们向前移动到分布式设置,并开发量化的弗兰克-沃尔夫(QFW),一个通用的通信效率的分布式FW框架的凸和非凸目标函数。我们研究了QFW在两个广泛认可的设置:1)随机最优化和2)有限和优化的性能。最后,我们提出了一个无导数和无投影的黑盒连续贪婪算法,该算法在欧几里得空间中极大化有界凸体上的单调连续DR-次模函数。
2021-05-07 math.OC stat.ML
Efficient Model-Based Concave Utility Reinforcement Learning through Greedy Mirror Descent
本文针对CURL问题提出MD-CURL算法,利用非标准正则化实现闭式解和低计算复杂度,并进一步提出在线版本Greedy MD-CURL,在部分未知动态下保证次线性甚至对数遗憾。
2023-11-30 math.OC physics.data-an stat.ML
A New Greedy Algorithm for Multiple Sparse Regression
Yahoo! Labs(雅虎实验室)
本文提出了一种新的多维稀疏回归算法,其中的任务是估计的支持和几个(通常相关)稀疏向量的值从一些嘈杂的线性测量。我们的算法是一个“向前向后”的贪婪过程-唯一-操作两个不同的对象类。特别是,我们将目标稀疏向量组织为矩阵;我们的算法涉及迭代添加和删除矩阵的(a)单个元素和(b)整行(对应于共享特征)。分析上,我们建立了我们的算法管理恢复的支持(确切)和值(近似)的稀疏向量,假设类似于现有的方法的基础上凸优化。然而,我们的算法有一个小得多的计算复杂度。也许最有趣的是,它被经验地认为需要明显更少的样本。我们的代表了第一次尝试扩展贪婪算法的类模型,只能/最好的组件结构假设(稀疏和组稀疏,在我们的情况下)的组合表示。
2012-06-07 cs.LG stat.ML
Structured Sparse Regression via Greedy Hard-Thresholding
Microsoft Research(微软研究院);Technicolor R & I(汤姆逊研发中心);University of Texas at Austin(德克萨斯大学奥斯汀分校)
一些学习应用程序需要解决高维回归问题,其中相关特征属于少量(重叠)组。对于非常大的数据集和标准稀疏性约束下,硬阈值方法已被证明是非常有效的,但这种方法需要NP硬投影时,处理重叠的群体。在本文中,我们表明,这种NP难预测不仅可以避免呼吁子模块优化,但这样的方法来与强有力的理论保证,即使在存在条件不佳的数据(即当两个功能有相关性$\geq 0.99$),现有的分析无法处理。这些方法表现出一个有趣的计算精度的权衡,并可以扩展到显着困难的问题,如稀疏重叠组。真实和合成数据上的实验验证了我们的主张,并表明所提出的方法比其他贪婪和凸松弛技术学习组结构稀疏的速度快几个数量级。
2016-05-27 cs.LG stat.ML
Large-Scale Convex Minimization with a Low-Rank Constraint
The Hebrew University of Jerusalem(耶路撒冷希伯来大学);Microsoft Research(微软研究院)
本文研究了低秩大矩阵空间上凸函数的极小化问题。虽然这个优化问题是很难在一般情况下,我们提出了一个有效的贪心算法,并推导出其正式的近似保证。该算法的每次迭代涉及(近似)找到对应于某个矩阵的最大奇异值的左和右奇异向量,可以在线性时间内计算。这导致了一个算法,它可以扩展到大矩阵中出现的几个应用程序,如矩阵完成协同过滤和鲁棒的低秩矩阵近似。
2011-06-08 cs.LG stat.ML
A Greedy Homotopy Method for Regression with Nonconvex Constraints
约束最小二乘回归是高维数据分析的重要工具。给定一个输入变量的划分$\mathcal{G}$,本文考虑一类特殊的非凸约束函数,鼓励线性模型选择少量的变量从少量的组在$\mathcal{G}$。这种限制在许多实际应用中是相关的,例如全基因组关联研究(GWAS)。出于效率的Lasso同伦方法,我们提出RepLasso,一个贪婪的同伦算法,试图解决诱导序列的非凸问题,通过解决一系列适当适应凸代理问题。我们证明,在某些情况下,RepLasso恢复的非凸问题的全局极小。此外,即使它不恢复全局最小值,我们证明,在相关情况下,它仍然不会比套索在支持和签署支持恢复,而在实践中优于it.We经验表明,该策略也可以用来改善其他拉索式算法。最后,强直性脊柱炎的GWAS突出了我们的方法的实际效用。
2014-10-27 stat.ME stat.ML
Online Learning via Offline Greedy Algorithms: Applications in Market Design and Optimization
Chicago Booth School of Business(芝加哥大学布斯商学院);MIT Sloan School of Management(麻省理工学院斯隆管理学院);Google Research(谷歌研究院)
在线决策的动机在时变组合环境中,我们研究的问题,离线算法转换到他们的在线同行。我们专注于离线组合的问题,是服从一个常数因子近似使用贪心算法,是强大的本地错误。对于这样的问题,我们提供了一个通用的框架,有效地将离线强大的贪心算法在线使用Blackwell逼近。我们表明,由此产生的在线算法有$O(\sqrt{T})$(近似)遗憾下的充分信息设置。我们进一步介绍了一个强盗扩展的Blackwell可接近性,我们称之为强盗Blackwell可接近性。我们利用这个概念,将贪婪的强大的离线算法转化为$O(T^{2/3})$(近似)的遗憾,在强盗设置。展示了我们的框架的灵活性,我们将我们的离线到在线的转换应用于收入管理,市场设计和在线优化的交叉点上的几个问题,包括在线平台中的产品排名优化,拍卖中的底价优化和子模块最大化。我们还扩展我们的减少贪婪的连续优化中使用的一阶方法,如用于最大化连续强DR单调子模函数凸约束。我们表明,我们的变换,当应用到这些应用程序中,导致新的遗憾界或改善目前已知的界限。我们补充我们的理论研究进行数值模拟我们的两个应用程序,在这两个我们观察到,我们的转换的数值性能优于理论保证在实际情况下。
2023-02-04 cs.DS cs.GT cs.LG
Greedy Frank-Wolfe Algorithm for Exemplar Selection
UC Berkeley(加州大学伯克利分校)
在本文中,我们考虑的问题,选择代表从一个数据集的任意监督/无监督学习任务。我们识别数据集$A$的子集$S$,使得1)$S$的大小比$A$小得多,以及2)$S$以经由凸优化形式化的方式有效地描述整个数据集。为了生成$|S| = k$样本,我们的可核化算法,Frank-Wolfe稀疏表示(FWSR),只需要执行$\approx k$迭代,每次迭代的成本是$A$大小的二次方。这与需要执行直到收敛的其他现有技术方法形成对比,其中每次迭代花费额外的因子$d$(数据的维度)。此外,我们还证明了我们的方法的线性收敛性。我们支持我们的实证实验结果,我们测试我们的算法对当前的方法在三个不同的实验设置在四个不同的数据集。FWSR在几乎所有场景中的速度和准确性都优于其他范例发现方法。
2020-02-23 cs.LG stat.ML
DeepMP for Non-Negative Sparse Decomposition
Institute for Digital Communications, the University of Edinburgh(爱丁堡大学数字通信研究所)
非负信号是一类重要的稀疏信号。许多算法已经被提出来恢复这样的非负表示,其中贪婪和凸松弛算法是最流行的方法。贪婪技术是低计算成本的算法,它也被修改为包含表示的非负性。一个这样的修改已经提出了基于匹配追踪(MP)的算法,它首先选择正系数,并使用非负优化技术,保证非负的系数。贪婪算法的性能,像所有的非穷举搜索方法,遭受与线性生成模型,称为字典的高度一致性。在这里,我们首先以深度神经网络的形式重新制定非负匹配追踪算法。然后,我们表明,训练后的模型产生了显着的改善,在准确的恢复性能相比,其他未经训练的贪婪算法,同时保持低的复杂性。
2020-07-28 cs.LG eess.SP stat.ML
Forward - Backward Greedy Algorithms for Atomic Norm Regularization
University of Wisconsin - Madison(威斯康星大学麦迪逊分校)
在许多信号处理应用中,目标是重建相对于某个基或帧具有简单表示的信号。被称为“原子”的基础的基本元素允许我们定义“原子范数”,可用于制定重构问题的凸正则化。有效的算法可用于解决这些配方在某些特殊情况下,但一种方法,以及一般的原子规范,无论是在速度和重建精度方面,仍然有待发现。本文介绍了一种优化算法称为CoGEnT,产生的解决方案与简洁的原子表示重建问题,一般制定与原子规范的约束。CoGEnT将基于条件梯度方法的贪婪选择方案与后向(或“截断”)步骤相结合,该步骤利用目标的二次性质来减小基础大小。我们建立了收敛性能,并通过一套信号处理应用程序的广泛的数值实验验证算法。我们的算法和分析还允许不精确的前向步骤,并偶尔增强当前的表示进行。当适当地定义增强和截断步骤时,CoGEnT可以优于基本的条件梯度方法,并且实际上是许多针对特定应用定制的方法。我们还介绍了几个新的应用程序,使原子规范的框架,包括张量完成,在信号处理的矩问题,和图形反卷积。
2015-07-23 cs.DS cs.LG math.OC
Convex Approaches to Model Wavelet Sparsity Patterns
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);University of Cambridge(剑桥大学)
小波系数之间的统计相关性通常由图形模型表示,如隐马尔可夫树(HMT)。然而,在线性逆问题,如反卷积,层析成像和压缩传感,传感或观测矩阵的存在产生简单的马尔可夫依赖结构的线性混合。这导致了非凸优化的重建问题。过去的工作已经处理了这个问题,采取贪婪或次优迭代重建方法。在本文中,我们提出了新的建模方法的基础上,组稀疏处罚,导致凸优化,可以准确和有效地解决。我们表明,我们开发的方法在反卷积和压缩传感应用中表现得更好,同时与标准系数方法(如套索)一样具有计算效率。
2011-04-22 cs.CV stat.ML
Greedy Adversarial Equilibrium: An Efficient Alternative to Nonconvex-Nonconcave Min-Max Optimization
Worcester Polytechnic Institute(伍斯特理工学院);Yale University(耶鲁大学)
目标函数$f: \mathbb{R}^d \times \mathbb{R}^d \rightarrow \mathbb{R}$的最小-最大优化是对抗环境中鲁棒性的重要模型,应用于许多领域,包括优化,经济学和深度学习。在许多应用中,$f$可以是非凸-非凹的,并且找到全局最小-最大点在计算上可能是难以处理的。有一长串的工作,寻求计算上易于处理的算法,以替代最小-最大优化模型。然而,许多替代模型的解点只能在$f$的强假设下保证存在,例如凸性,单调性或起点的特殊属性。我们提出了一个优化模型,$\varepsilon$ -贪婪对抗均衡,并表明它可以作为一个计算上易于处理的最小-最大优化模型的替代。粗略地说,如果$y^\star$是$f(x^\star,\cdot)$的$\varepsilon$ -近似局部最大值,并且$x^\star$是函数$\max_z f(x, z)$的“贪婪近似”的$\varepsilon$-近似局部最小值,则我们说点$(x^\star, y^\star)$是$\varepsilon$ -贪婪对抗均衡,这可以使用二阶优化算法有效地估计。本文证明了对任何有界的具有Lipschitz Hessian的光滑函数,存在这样一个点。为了证明存在性,我们引入了一个算法,该算法从任何起点收敛到$\varepsilon$ -贪婪对抗平衡,在一些函数$f$,最大玩家的梯度$\nabla…
2021-05-04 cs.DS cs.GT cs.LG
Robust Compressed Sensing Under Matrix Uncertainties
University of Electronic Science and Technology of China(电子科技大学)
压缩感知(CS)表明,具有稀疏或可压缩表示的信号可以从一小组线性测量中恢复。在经典CS理论中,假设采样矩阵和表示矩阵是事先精确已知的。然而,由于采样失真,字典的参数空间的有限网格等,存在不确定性。在本文中,我们采取了广义稀疏信号模型,它同时考虑采样和表示矩阵的不确定性。基于新的信号模型,提出了一种新的鲁棒稀疏信号重构优化模型。该优化模型可以通过随机鲁棒逼近分析得到。采用凸松弛算法和贪心算法求解优化问题。对于凸松弛算法,给出了凸松弛恢复的充分条件;对于贪心算法,通过引入对感知矩阵和测量值的预处理来实现。仿真实验和实际心电数据的实验结果表明,该方法比现有方法具有更好的性能。
2015-07-02 cs.CV cs.IT math.IT
Convex Hull Approximation of Nearly Optimal Lasso Solutions
Osaka University(大阪大学);RIKEN AIP(理化学研究所人工智能研究中心)
在一个普通的特征选择过程中,一组重要的功能是通过解决一个优化问题,如拉索回归问题,我们希望得到的功能很好地解释数据。在这项研究中,而不是单一的最佳解决方案,我们考虑找到一组不同的,但接近最佳的解决方案。为此,我们制定的问题,找到一个小数目的解决方案,使这些解决方案的凸包近似的一组接近最优的解决方案。该算法包括两个步骤:首先,我们随机抽样的极值点的近最优解集。然后,我们使用贪婪算法选择少量的点。实验结果表明,该算法能够很好地逼近解集.结果还表明,我们可以获得具有较大多样性的Lasso解。
2018-10-14 cs.LG stat.ML
First order expansion of convex regularized estimators
考虑随机设计下高维回归问题中凸惩罚估计的一阶展开。我们的设置包括线性回归和逻辑斯谛回归作为特殊情况。对于给定的罚函数$h$和相应的惩罚估计量$\hatβ$,我们构造一个量$η$,$\hatβ$的一阶展开,使得$\hatβ$和$η$之间的距离比估计误差$\|\hatβ - β^*\|$小一个数量级。在这个意义上,一阶展开$η$可以被认为是从数理统计文献到高维正则化估计的影响函数的推广。这种一阶展开意味着$\hatβ$的风险与$η$的风险渐近相同,这导致$\hatβ$的MSE的精确表征;该表征对于各向同性设计采用特别简单的形式。这种一阶展开也导致基于$\hatβ$的推断结果。我们提供了充分条件存在这样的一阶展开的三个正则化:在其约束形式的套索,套索在其惩罚形式,和组套索。这些结果在一定条件下适用于一般的损失函数,并且这些条件对于线性回归中的平方损失和Logistic模型中的Logistic损失都是满足的。
2020-03-08 math.ST stat.ML stat.TH
Entropic Causality and Greedy Minimum Entropy Coupling
The University of Texas at Austin(德克萨斯大学奥斯汀分校);California Institute of Technology(加州理工学院)
研究了从观测数据中识别两个离散随机变量之间因果关系的问题。我们最近提出了一个新的框架,称为熵因果关系,它在一个非常一般的功能模型中工作,但假设未观察到的外生变量在真正的因果方向上具有小熵。这个框架需要解决一个最小熵耦合问题:给定m个离散随机变量的边际分布,每个在n个状态上,找到具有最小熵的联合分布,它尊重给定的边际。这对应于最小化由nm个线性约束定义的凸多面体上的nm个变量的凹函数,称为运输多面体。不幸的是,它最近表明,这个最小熵耦合问题是NP-难的,即使是2个变量的n个状态。即使在这个空间上表示点(联合分布),如果简单地完成,也可能需要指数复杂度(以n,m为单位)。在我们最近的工作中,我们引入了一个有效的贪心算法,找到这个问题的近似解。在本文中,我们分析了该算法,并建立两个结果:我们的算法总是找到一个局部最小值,也是在一个加性的近似误差从未知的全球最佳。
2017-01-28 cs.AI cs.IT math.IT
Pursuits in Structured Non-Convex Matrix Factorizations
UT Austin(德克萨斯大学奥斯汀分校);ETH Zurich(苏黎世联邦理工学院)
在许多领域中,以简洁和简约的方式有效地表示真实世界的数据是至关重要的。我们提出了一个广义贪婪追求框架,使我们能够有效地解决结构化矩阵因式分解问题,其中允许因子来自任意结构化向量集。这种结构可以包括稀疏性、非负性、有序性或其组合。该算法通过几个秩1矩阵的线性组合来近似给定的矩阵,每个矩阵分解为所需结构的两个向量原子的外积。对于获得良好秩-1结构矩阵原子的非凸子问题,我们采用并分析了一种通用的原子幂方法。除了上述应用程序,我们证明了线性收敛广义追求变量在希尔伯特空间中的近似任务的线性跨度的任意字典-推广OMP和矩阵问题之外是有用的。我们在真实数据集上的实验证实了我们的框架在实践中的效率和广泛的适用性。
2016-02-12 cs.LG stat.ML