Sparse approximation and recovery by greedy algorithms in Banach spaces
我们研究了稀疏近似的贪婪算法。我们证明了弱Chebyshev贪婪算法(WCGA)的Lebesgue型不等式,这是弱正交匹配追踪在Banach空间中的推广。这些结果的主要新颖之处是一个Banach空间设置,而不是一个Hilbert空间设置。对于满足一定条件的冗余字典,证明了上述结果。然后,我们将这些一般结果的情况下,基地。特别是,我们证明了WCGA提供了几乎最佳的稀疏逼近的三角系统在$L_p$,$2\le p<\infty$。
2013-03-27 math.FA stat.ML
Convex optimization on Banach Spaces
将只使用函数求值的贪婪算法应用于一般Banach空间$X$中的凸优化问题。随着算法,使用精确的评估,近似评估的算法进行治疗。给出了算法收敛速度的先验上界。这些界限取决于平滑的目标函数和稀疏性或压缩性(相对于一个给定的字典)的一个点在$X$,其中达到最小值。
2014-01-01 math.OC stat.ML
Greedy Algorithms for Cone Constrained Optimization with Convergence Guarantees
MPI for Intelligent Systems(智能系统马克斯·普朗克研究所);ETH Zurich(苏黎世联邦理工学院);EPFL(洛桑联邦理工学院)
贪婪优化方法,如匹配追踪(MP)和弗兰克-沃尔夫(FW)算法,近年来重新流行,由于其简单,有效和理论保证。MP和FW地址优化的线性跨度和凸包的一组原子,分别。在本文中,我们考虑的凸锥优化的中间情况下,参数化的圆锥壳的一个通用的原子集,导致第一原则的定义,非负MP算法,我们给出明确的收敛速度,并表现出良好的经验性能。特别是,我们得到次线性($\mathcal{O}(1/t)$)收敛一般光滑和凸的目标,和线性收敛($\mathcal{O}(e^{-t})$)强凸的目标,在这两种情况下,一般的原子集。此外,我们建立了一个明确的对应关系,我们的算法已知的算法从MP和FW文献。我们的新算法和分析目标一般的原子集和一般的目标函数,因此直接适用于各种各样的学习设置。
2017-11-19 cs.LG stat.ML
On Approximation Guarantees for Greedy Low Rank Optimization
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
我们提供了新的近似保证贪婪的低秩矩阵估计的标准假设下的限制强凸性和光滑性。我们的新的分析还揭示了以前未知的低秩估计和组合优化之间的连接,以至于我们的界限让人想起相应的近似界次模最大化。此外,我们还提供统计恢复保证。最后,我们提出了经验比较贪婪估计与既定的基线上的两个重要的现实世界的问题。
2017-03-08 cs.IT cs.LG math.IT
Sparse approximation by greedy algorithms
University of South Carolina(南卡罗来纳大学);Steklov Institute of Mathematics(斯捷克洛夫数学研究所)
本文综述了构造性稀疏逼近的最新成果,探讨了贪心算法在特殊字典中的Lebesgue型不等式、三角函数系的构造性稀疏逼近以及张量积结构字典的稀疏逼近方法,并提供了构造性方法和证明。
2015-11-05 cs.NA math.NA stat.ML
Beyond Adaptive Submodularity: Approximation Guarantees of Greedy Policy with Adaptive Submodularity Ratio
University of Tokyo(东京大学);NTT Communication Science Laboratories(NTT通信科学实验室)
本文提出了自适应子模块率的概念来研究序列决策中的贪婪策略。虽然贪婪策略在实践中对各种自适应随机优化问题都有很好的表现,但它的理论性质只针对有限的一类问题进行了分析。我们缩小了理论和实践之间的差距,通过使用自适应子模块比,这使我们能够证明近似保证的贪婪的政策,大大更广泛的一类问题。新分析的问题的例子包括重要的应用,如自适应影响力最大化和自适应特征选择。我们的自适应子模块比也提供了自适应差距的界限。实验证实,贪婪的政策执行良好的应用程序相比,标准的竞争力。
2019-04-24 cs.DS cs.LG stat.ML
Submodular meets Spectral: Greedy Algorithms for Subset Selection, Sparse Approximation and Dictionary Selection
我们研究了从一个大集合中选择k个随机变量的子集,以获得另一个感兴趣的变量的最佳线性预测的问题。这个问题可以在特征选择和稀疏近似的上下文中查看。我们分析了广泛使用的贪婪算法的性能,使用子模函数和谱分析的最大化的见解。我们引入子模块率作为一个关键量,以帮助理解为什么贪婪算法即使在变量高度相关的情况下也能表现良好。使用我们的技术,我们得到最强的已知近似保证这个问题,无论是在子模块比和最小的k-稀疏特征值的协方差阵。我们进一步证明了我们的技术的广泛适用性,通过分析贪婪算法的字典选择问题,并显着提高以前已知的保证。我们的理论分析是补充现实世界和合成数据集上的实验,实验表明,子模块率是一个更强的预测贪婪算法的性能比其他光谱参数。
2011-02-25 cs.DS stat.ML
Growing axons: greedy learning of neural networks with application to function approximation
Fraunhofer ITWM(弗劳恩霍夫信息技术与数学研究所);Technical University Kaiserslautern(凯泽斯劳滕工业大学);Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院)
我们提出了一种基于贪婪学习方法的学习深度神经网络模型的新方法:我们一次添加一个基函数,并生成一个新的基函数作为应用于先前基函数的线性组合的非线性激活函数。这种方法(一次生长一个神经元的深度神经网络)允许我们为函数逼近中的几个模型问题计算更精确的逼近。
2020-02-16 cs.LG cs.NA math.NA
Greedy Approximation Algorithms for Active Sequential Hypothesis Testing
Carnegie Mellon University(卡内基梅隆大学)
在主动序贯假设检验(ASHT)问题中,学习者试图从一组已知的假设中识别出真正的假设。学习者被给予一组动作,并且知道在任何真实假设下任何动作的结果的随机分布。给定目标误差$δ>0$,目标是顺序地选择最少数量的动作,以便以至少$1 - δ$的概率识别真假设。受假设或动作数量巨大的应用程序的激励(例如,基于基因组学的癌症检测),我们提出了有效的(贪婪,事实上)算法,并提供了第一近似保证ASHT,在两种类型的自适应。我们的保证都是独立的行动和对数的假设的数量。我们数值评估我们的算法使用合成和现实世界的DNA突变数据的性能,表明我们的算法优于以前提出的启发式政策的大利润率。
2021-10-06 cs.LG stat.ML
Bayesian posterior approximation via greedy particle optimization
The University of Tokyo(东京大学);RIKEN(理化学研究所)
在贝叶斯推断中,对于诸如神经网络之类的复杂模型,后验分布很难解析地获得。变分推断通常使用参数分布进行近似,我们可以很容易地从中抽取样本。粒子离散逼近由于其良好的表达能力而受到人们的关注。一个例子是Stein变分梯度下降(SVGD),它迭代优化粒子。虽然SVGD已被证明是计算效率的经验,其理论性质尚未澄清,并没有有限的样本界的收敛速度是已知的。另一个例子是Stein点(SP)方法,它直接最小化核化Stein差异。虽然有限样本界是保证理论上,SP是计算效率低下的经验,特别是在高维问题。在本文中,我们提出了一种新的方法命名为最大平均差异最小化的弗兰克-沃尔夫算法(MMD-FW),它最小化MMD在一个贪婪的方式由FW算法。我们的方法是计算效率的经验,我们表明,其有限样本收敛界是在有限维的线性顺序。
2019-01-31 cs.LG stat.ML
Scalable Greedy Feature Selection via Weak Submodularity
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
贪婪算法广泛用于机器学习中的问题,例如特征选择和集合函数优化。不幸的是,对于大型数据集,即使是贪婪算法的运行时间也可能相当长。这是因为对于每个贪婪步骤,我们需要使用先前选择的选项和新的候选项重新拟合模型或计算函数。最近引入了两种算法,它们是贪婪前向选择的更快近似([Mirzasoleiman et al. 2013,2015])。它们分别利用了分布式计算和随机评估来获得更好的性能。这两个算法都有可证明的性能保证子模函数。在本文中,我们表明,从以前持有的意见不同,子模块是不需要获得这两个算法的近似保证。具体来说,我们证明了一个广义的概念,弱子模足以给乘法近似保证。我们的结果扩展了这些算法的适用性更大的一类功能。此外,我们表明,一个有界的次模比可以用来提供数据依赖的界限,有时可以更严格的次模函数。我们通过在人工和真实数据集上显示快速贪婪近似与几个已建立的基线相比的优越性能来经验性地验证我们的工作。
2017-03-08 cs.IT cs.LG math.IT
On Learning Discrete Graphical Models Using Greedy Methods
University of Texas at Austin(德克萨斯大学奥斯汀分校)
在本文中,我们解决的问题,学习的成对图形模型的结构,从样本中的高维设置。我们的第一个主要结果研究的稀疏性,或一致性稀疏模式恢复,性能的向前向后贪心算法适用于一般的统计模型。作为一个特殊的情况下,我们然后应用该算法通过邻域估计来学习离散图模型的结构。作为我们的一般结果的推论,我们推导出样本数n,最大节点度d和问题大小p的充分条件,以及模型参数的其他条件,使算法恢复所有的边缘具有高概率。我们的结果保证了样本缩放为n = Omega(d^2 log(p))的图选择,与现有的基于凸优化的算法相比,这些算法需要Ω(d^3 log(p))的样本复杂度。此外,贪心算法只需要一个受限制的强凸性条件,这通常比不可表示性假设更温和。最后,我们用数值模拟证实了这些结果。
2011-07-16 cs.LG math.ST stat.ML
Learning Bounds for Greedy Approximation with Explicit Feature Maps from Multiple Kernels
Texas A&M University(德克萨斯农工大学);Duke University(杜克大学)
非线性核可以使用有限维特征映射来近似,以实现有效的风险最小化。由于(映射)特征空间的维度和近似精度之间的固有权衡,关键问题是识别有前途的(显式)特征,从而获得令人满意的样本外性能。在这项工作中,我们通过以贪婪的方式从多个内核中有效地选择这些特征来解决这个问题。我们的方法顺序地选择这些明确的功能,从一组候选功能使用的相关性度量。我们建立了一个样本外的误差界捕获的显式功能(近似误差)和误差之间的权衡,由于在希尔伯特空间中的最佳模型的频谱特性相关联的组合内核(频谱误差)的错误。结果验证了当(最佳)底层数据模型足够稀疏时,即,频谱误差是可以忽略的,可以用少量的显式特征来控制测试误差,这些特征可以用数据进行多尺度缩放。我们的实证结果表明,给定一个固定数量的显式特征,该方法可以实现一个较低的测试误差与较小的时间成本,相比,在数据相关的随机特征的最新技术。
2018-10-09 cs.LG stat.ML
Submodular Learning and Covering with Response-Dependent Costs
Ben-Gurion University of the Negev(本-古里安大学)
我们认为互动学习和覆盖的问题,在设置中的行动可能会产生不同的成本,这取决于对行动的反应。我们提出了一个自然的贪心算法的响应依赖的成本。我们在主动学习设置以及在一般设置中约束该贪心算法的近似因子。我们表明,成本函数的不同属性控制在这些情况下的近似因子。我们进一步表明,在这两种设置中,这种贪婪算法的近似因子是所有贪心算法中接近最优的。实验结果表明,该算法在响应相关的成本设置的优势。
2018-11-18 cs.LG stat.ML
PEREGRiNN: Penalized-Relaxation Greedy Neural Network Verifier
University of California, Irvine(加州大学尔湾分校)
神经网络(NN)具有与其在现实世界应用中的扩散相称的日益明显的安全性影响:意外的以及对抗性的错误分类都可能导致致命的结果。因此,形式化验证技术已被公认为是设计和部署安全神经网络的关键。在本文中,我们介绍了一种新的方法来正式验证ReLU NN最常见的安全规范-即网络输入和输出的多面体规范。像其他一些方法一样,我们使用一个放松的凸规划来减轻问题的组合复杂性。然而,我们的方法的独特之处在于,我们不仅使用凸解算器作为线性可行性检查器,而且还作为惩罚解决方案中允许的松弛量的手段。特别地,我们通过通常的线性约束对每个ReLU进行编码,并将其与凸目标函数相结合,该凸目标函数对每个神经元的输出与其松弛之间的差异进行惩罚。该凸函数进一步构造成迫使最大弛豫出现在最接近输入层的地方;这提供了进一步的好处,即当逐层调节时,尽可能早地调节最有问题的神经元。可以利用这种范例来创建一种验证算法,该算法不仅在一般情况下比竞争方法更快,而且还能够验证更多的安全属性;我们在标准MNIST鲁棒性验证套件上评估了PEREGRiNN,以证实这些声明。
2021-04-18 cs.FL cs.LG stat.ML
The Hardness Analysis of Thompson Sampling for Combinatorial Semi-bandits with Greedy Oracle
Shanghai Jiao Tong University(上海交通大学);Microsoft Research(微软研究院)
汤普森抽样(TS)在强盗领域引起了人们的极大兴趣。它在20世纪30年代被引入,但直到最近几年才在理论上得到证明。所有的分析组合多臂强盗(CMAB)设置需要一个精确的预言机提供任何输入的最优解。然而,这样的预言通常是不可行的,因为许多组合优化问题是NP-难的,只有近似预言可用。一个例子(Wang和Chen,2018)表明TS无法使用近似预言机进行学习。但是,这种oracle并不常见,它只针对特定的问题实例而设计。TS算法的收敛性分析是否可以扩展到CMAB算法的精确预言之外,仍然是一个悬而未决的问题。在本文中,我们研究这个问题下的贪婪预言机,这是一个常见的(近似)预言机与理论保证,以解决许多(离线)组合优化问题。我们给出了一个问题相关的后悔下界,其阶数为$Ω(\log T/Δ^2)$,用来量化TS在贪婪预言机下求解CMAB问题的难度,其中$T$是时间范围,$Δ$是奖励间隔.我们还提供了一个几乎匹配的后悔上限。这是TS用一个通用的近似预言机求解CMAB的第一个理论结果,打破了TS不能用近似预言机的误解。
2021-11-08 cs.DS cs.LG stat.ML
Adaptive Combinatorial Maximization: Beyond Approximate Greedy Policies
Department of Computer Science, Ben-Gurion University of the Negev(本·古里安大学计算机科学系);Department of Computing and Software, McMaster University(麦斯特大学计算与软件系);Canada CIFAR AI Chair, Vector Institute(加拿大 CIFAR 人工智能主席,向量研究所)
本文研究贝叶斯设置下的自适应组合最大化,提出最大增益比参数,提供涵盖基数约束和最小成本覆盖的更强近似保证,并支持近子模函数,为主动学习提供不依赖最小概率的保证。
2024-04-02 cs.DM cs.LG stat.ML
Weakly Submodular Maximization Beyond Cardinality Constraints: Does Randomization Help Greedy?
Yale University(耶鲁大学);The Open University of Israel(以色列开放大学)
次模函数是集合函数的一个广泛的类别,它自然地出现在不同的领域。已经提出了许多算法来最大化这些函数。不幸的是,一旦函数偏离子模块性,已知的算法可能执行任意差。修正这一问题,通过获得集函数的近似结果推广次模函数,一直是最近的工作的焦点。其中一类,称为弱次模函数,受到了很多关注。Das和Kempe(2011)证明的一个关键结果表明,受基数约束的弱子模块最大化的贪心算法的近似比随着与子模块的距离而平滑地下降。然而,没有结果已获得最大化的约束超出基数。特别是,它是不知道的贪心算法是否达到任何非平凡的近似比这样的约束。在本文中,我们证明了贪心算法的随机版本(以前由Buchbinder等人使用。(2014)用于不同的问题)对于受一般拟阵约束的弱子模函数的最大化实现了$(1 + 1/γ)^{-2}$的近似比,其中$γ$是测量函数与子模性的距离的参数。此外,我们还实验比较了这个版本的贪心算法对自然基准的现实世界中的问题的性能,并表明,我们研究的算法在实践中也表现良好。据我们所知,这是第一个算法与非平凡的近似保证最大化弱次模函数的约束,而不是简单的基数约束。特别是,它是第一个算法,这样一个保证的重要和广泛的类拟阵约束。
2017-07-13 cs.AI cs.DM cs.DS
A Greedy Approach to $\ell_{0,\infty}$ Based Convolutional Sparse Coding
Tel Aviv University(特拉维夫大学)
用于图像处理的稀疏编码技术传统上依赖于分别处理小的重叠块,然后进行平均。这具有的缺点是,重建的图像不再服从在处理中使用的稀疏先验。为了这个目的,卷积稀疏编码已经被引入,其中使用移位不变字典并且保持恢复图像的稀疏性。大多数这样的策略以整个图像的$\ell_0$“范数”或$\ell_1$范数为目标,这可能在图像中的各个区域之间产生不平衡的稀疏性。为了应对这一挑战,有人提出了$\ell_{0,\infty}$“规范”,作为“在当地运作,在全球思考”的替代方案。解决这些优化问题的非凸性所采取的方法是使用凸松弛或局部追踪算法。在本文中,我们提出了一个有效的贪婪方法稀疏编码和字典学习,这是专门为$\ell_{0,\infty}$,是基于匹配追踪。我们展示了我们的方法在椒盐噪声去除和图像修复中的使用。在https://web.eng.tau.ac.il/~raja上可以找到一个代码包,它再现了本文中提出的实验。
2018-12-26 cs.LG eess.IV eess.SP
Non-submodular Function Maximization subject to a Matroid Constraint, with Applications
Sharif University(谢里夫大学);Max Planck Institute for Software Systems(马克斯·普朗克软件系统研究所)
标准的贪心算法最近已被证明享受近似保证约束非子模非减集函数最大化。虽然这些最近的结果可以更好地描述经验的成功的贪心算法,他们只适用于简单的基数约束。本文研究了一般拟阵约束下非次模非减集函数的极大化问题。我们首先表明,标准的贪心算法提供了一个近似因子的$\frac{0.4 γ^{2}}{\sqrt{γr} + 1}$,其中$γ$是子模块比的功能和$r$是秩的拟阵。然后,我们表明,相同的贪心算法提供了一个恒定的逼近因子$(1 + 1/(1-α))^{-1}$,其中$α$是广义曲率的功能。此外,我们证明了这些近似保证是适用于几个现实世界中的应用,其中的子模比和广义曲率可以有界。最后,我们证明了我们的贪心算法在实践中使用各种实验合成和真实世界的数据确实取得了竞争力的表现。
2019-10-08 cs.DM cs.DS cs.LG