Scalable Sparse Subspace Clustering by Orthogonal Matching Pursuit
Johns Hopkins University(约翰斯·霍普金斯大学)
基于$\ell_1$、$\ell_2$或核范数正则化的子空间聚类方法由于其简单性、理论保证和经验成功而变得非常流行。然而,正则化子的选择可以极大地影响理论和实践。例如,保证$\ell_1$正则化给出子空间保持亲和性(即,在来自不同子空间的点之间没有连接)在广泛的条件下(例如,任意子空间和损坏的数据)。然而,它需要解决一个大规模的凸优化问题。另一方面,$\ell_2$和核范数正则化提供了有效的封闭形式解,但是需要非常强的假设来保证子空间保持亲和性,例如,独立的子空间和未损坏的数据。本文研究了一种基于正交匹配追踪的子空间聚类方法。我们表明,该方法是计算效率和保证在广泛的条件下,给一个子空间保持亲和力。在合成数据上的实验验证了理论分析的正确性,并在手写数字和人脸聚类中的应用表明,该方法在准确率和效率之间取得了最佳的平衡。
2016-05-05 cs.CV cs.LG stat.ML
A Two Stage Generalized Block Orthogonal Matching Pursuit (TSGBOMP) Algorithm
Indian Institute of Technology, Kharagpur(印度理工学院克勒格布尔分校)
从一个未知的稀疏信号的几个投影恢复是压缩感知的关键目标。人们经常会遇到通常不是稀疏的信号,而是稀疏的块。现有的块稀疏恢复算法,如BOMP假设均匀的块大小和已知的块边界,这是,然而,在许多应用中不是很实用。本文解决了这个问题,并提出了一个两步的程序,其中第一阶段是一个粗略的块位置识别阶段,而第二阶段进行更精细的本地化的非零集群内的窗口中选择的第一阶段。该算法进行了详细的收敛性分析,首先定义所谓的伪块交织块RIP的给定的广义块稀疏信号,然后施加上界相应的RIC。我们还扩展了分析复杂的向量以及矩阵的条目,事实证明,扩展是不平凡的,需要特别照顾。此外,假设真实的高斯感知矩阵的条目,我们找到了一个下界的概率,导出的恢复界限得到满足。下限表明,有一组参数,使得导出的界限是满足高概率。仿真结果证实了显着改善所提出的算法相比,BOMP的性能。
2020-08-18 cs.IT cs.LG cs.NA
Classification using margin pursuit
Osaka University(大阪大学)
在这项工作中,我们研究了一种新的方法来优化二进制分类器实现的边缘分布。经典的方法来解决这个问题是简单的最大化的预期利润率,而最近的建议考虑同时方差控制和代理目标的基础上强大的位置估计,在静脉中保持利润率分布急剧集中在一个理想的区域。虽然概念上很吸引人,但这些新方法通常在计算上很笨拙,理论上的保证也很有限。鉴于这种情况下,我们提出了一种算法,搜索的假设空间,以这样一种方式,一个预先设置的“保证金水平”最终成为一个分布鲁棒估计的保证金位置。这个过程很容易使用梯度下降实现,并承认有限样本界的无限输入下的超额风险。对真实世界基准数据的实证测试加强了该理论所强调的基本原则,并暗示了一种有前途的新分类技术。
2018-10-11 cs.LG stat.ML
Restricted Connection Orthogonal Matching Pursuit For Sparse Subspace Clustering
Information Security Lab, Institute of Big Data Technologies,\ Graduate School, Peking University
稀疏子空间聚类(SSC)是将数据点聚类到其底层子空间的最流行的方法之一。然而,SSC可能遭受沉重的计算负担。应用于SSC的正交匹配追踪加速了计算,但代价是聚类精度的损失。本文提出了一种抗噪声的稀疏子空间聚类算法--限制连接正交匹配追踪算法(RCOMP-SSC),该算法通过限制OMP迭代过程中每个数据点的连接数来提高聚类精度并保持较低的计算时间。此外,我们开发了一个控制矩阵的框架,实现RCOMP-SCC。该框架可扩展到其他数据点选择策略。我们的分析和实验合成数据和两个真实世界的数据库(EYaleB & USPS)证明了我们的算法相比,其他聚类方法的精度和计算时间的优越性。
2019-05-01 cs.LG stat.ML
Orthogonal Matching Pursuit for Text Classification
École Polytechnique(巴黎综合理工学院);Athens University of Economics and Business(雅典经济与商业大学)
在文本分类中,由于高维数而出现过拟合问题,使得正则化变得必要。虽然经典的正则化器提供稀疏性,但它们无法返回高度准确的模型。相反,最先进的群套索正则化器以低稀疏性为代价提供了更好的结果。在本文中,我们采用贪婪的变量选择算法,称为正交匹配追踪,文本分类任务。我们还扩展了标准组OMP通过引入重叠组OMP处理重叠组的功能。实证分析表明,OMP和重叠GOMP构成强大的正则化,能够产生有效的和非常稀疏的模型。代码和数据可在线获取:https://github.com/y3nk0/OMP-for-Text-Classification。
2018-10-09 cs.CL cs.LG stat.ML
Matching Pursuit LASSO Part II: Applications and Sparse Recovery over Batch Signals
The University of Adelaide(阿德莱德大学);University of Technology, Sydney(悉尼科技大学);Brown University(布朗大学)
匹配追踪LASS在第一部分\cite{TanPMLPart1}中,我们提出了一种求解大规模稀疏恢复问题的匹配追踪LASSO({MPL})算法。在本文中,我们提出了一个子空间搜索,以进一步提高MPL的性能,然后继续解决SR的另一个主要挑战-批量SR与许多信号,一个考虑,这是从大多数以前的$\ell_1$范数方法缺席。因此,一个批处理模式{MPL}的开发,大大加快稀疏恢复的许多信号同时进行。压缩感知和人脸识别任务的综合数值实验证明了MPL和BMPL在稀疏恢复能力和效率方面优于本文考虑的其他方法。特别地,BMPL比被认为是最先进的现有$\ell_1$范数方法快400倍。O第二部分:批处理信号的应用和稀疏恢复
2014-12-24 cs.CV cs.LG stat.ML
Improved RIP Analysis of Orthogonal Matching Pursuit
正交匹配追踪(OMP)一直被认为是一个强大的启发式攻击压缩感知问题,然而,它的理论发展,不幸的是,有些缺乏。本文提出了一种改进的约束等距属性(RIP)的T稀疏信号重建的性能保证,渐近接近Davenport等人给出的约束下界。我们还进一步扩展了最先进的推导重建误差界的情况下,一般的非稀疏信号的测量噪声。然后,我们推广我们的结果的情况下,K倍正交匹配追踪(KOMP)。最后,我们提出了一个实证分析表明,OMP和KOMP优于其他压缩感知算法在平均情况下的场景。这是非常令人惊讶的,因为RIP分析(即最坏情况)表明,这些匹配追踪的性能应该比凸优化、CoSAMP和迭代保持差大约T^0.5倍。
2011-02-21 cs.DS math.FA stat.ML
Active Orthogonal Matching Pursuit for Sparse Subspace Clustering
Tsinghua University(清华大学)
稀疏子空间聚类(SSC)是一种对低维子空间中的高维数据点进行聚类的方法。然而,虽然基于$\ell_1$优化的SSC算法遭受高计算复杂性,但是SSC的其他变体,诸如基于正交匹配追踪的SSC(OMP-SSC),在追求提高时间效率时损失聚类准确性。在这封信中,我们提出了一种新的主动OMP-SSC,它提高了OMP-SSC的聚类精度,通过自适应更新数据点和随机丢弃的数据点在OMP过程中,同时仍然享受低计算复杂性的贪婪追求算法。我们提供启发式分析我们的方法,并解释这两个积极的步骤如何实现更好的连接和分离之间的权衡。对合成数据和实际数据的数值结果验证了我们的分析,并显示了所提出的主动算法的优点。
2017-08-16 cs.CV cs.IT cs.LG
Signal and Noise Statistics Oblivious Orthogonal Matching Pursuit
IIT Madras(印度理工学院马德拉斯分校)
正交匹配追踪(OMP)算法是一种广泛应用于恢复线性回归模型中稀疏高维向量的算法。OMP的最佳性能要求\textit{a priori}知道回归向量的稀疏性或噪声统计。这两个统计量都很少为\textit{a priori}所知,并且很难估计。在本文中,我们提出了一种新的技术,称为剩余比阈值(RRT)操作OMP没有任何\textit{a priori}知识的稀疏性和噪声统计,并建立有限样本和大样本支持恢复保证相同。在真实数据集和合成数据集上的分析结果和数值模拟表明,RRT具有与具有稀疏性和噪声统计的\textit{a priori}知识的OMP相当的性能。
2018-06-02 cs.IT cs.LG math.IT
Max-Plus Matching Pursuit for Deterministic Markov Decision Processes
Inria(法国国家信息与自动化研究所);Département d’Informatique de l’Ecole Normale Supérieure(巴黎高等师范学院计算机系);PSL Research University(巴黎文理研究大学)
我们考虑确定性马尔可夫决策过程(MDP)和应用最大代数工具来近似的值迭代算法的一个较小的维度的迭代的基础上表示的字典的价值函数。设置自然导致新的理论结果,这是简单地制定由于最大加代数结构。例如,当考虑固定(非自适应)有限基时,近似最优价值函数的计算复杂性与状态的数量不直接相关,而是与状态空间的覆盖数量的概念相关。为了打破因子化状态空间中的维数灾难,我们考虑自适应基础,可以适应特定的问题,导致类似于信号处理中的匹配追踪算法。他们目前没有理论上的保证,但工作经验以及简单的确定性MDP来自低维连续控制问题。我们主要集中在确定性的MDPs,但注意到,该框架可以适用于所有的MDPs考虑基于测量的配方。
2019-06-20 cs.LG stat.ML
Complex Orthogonal Matching Pursuit and Its Exact Recovery Conditions
UESTC(电子科技大学)
本文针对复数情况(复测量向量、复字典和复加性高斯白噪声),提出正交匹配追踪(OMP)在无噪声和有界高斯噪声下精确恢复稀疏信号的条件,并推导了复数情况下的精确恢复条件(ERC)。
2012-06-11 cs.IT cs.NA math.IT
Variable Selection in High Dimensions with Random Designs and Orthogonal Matching Pursuit
针对随机设计,分析了正交匹配追踪(OMP)变量选择的性能。当与确定性的情况相比时,由于性能在这里是在对设计矩阵的分布求平均之后测量的,因此可以对系数向量具有远不那么严格的稀疏性约束。我们证明了对于精确稀疏向量,OMP的性能与Lasso算法的已知结果相似[ \textit{IEEE Trans. Inform. Theory} \textbf{55}(2009)2183--2202]。此外,变量的选择下,一个更宽松的稀疏性假设的系数向量,从而只有控制的$\ell_1$规范的较小的系数,也进行了分析。作为这些结果的结果,我们还表明,系数估计满足强预言型不等式。
2011-09-04 stat.ML
Adaptive matching pursuit for sparse signal recovery
The Pennsylvania State University(宾夕法尼亚州立大学)
Spike和Slab先验作为贝叶斯推理中引入稀疏性的一种手段,最近在信号处理中引起了很大的兴趣。受益于这些先验知识的应用领域包括稀疏恢复、回归和分类。众所周知,求解稀疏系数向量以最大化这些先验会导致硬非凸混合整数规划问题。这个优化问题的大多数现有解决方案要么涉及简化假设/松弛,要么计算昂贵。我们提出了一种新的贪婪自适应匹配追踪(AMP)算法来直接解决这个难题。本质上,在算法的每一步中,活动元素的集合将通过添加或删除一个索引来更新,无论哪一个都会导致更好的改进。此外,该算法的中间步骤通过廉价的Cholesky分解计算,这使得算法更快。模拟数据集以及现实世界的图像恢复挑战的结果证实了所提出的AMP的好处,特别是在提供优于现有替代品的成本质量权衡。
2016-09-12 cs.LG stat.ML
Ultra-high Dimensional Multiple Output Learning With Simultaneous Orthogonal Matching Pursuit: A Sure Screening Approach
我们提出了一个新的应用程序的同时正交匹配追踪(S-OMP)过程中的稀疏变量选择超高维多任务回归问题。在\cite{fan08sis}中引入的变量筛选是一种有效且高度可扩展的方法,用于从所有变量的集合中删除许多不相关的变量,同时保留所有相关变量。S-OMP可以应用于具有数十万个变量的问题,并且一旦变量的数量减少到可管理的大小,则可以使用计算要求更高的程序来识别每个回归输出的相关变量。据我们所知,这是第一次尝试利用多个输出的相关性来执行相关变量的快速筛选。作为我们的主要理论贡献,我们证明,渐近,S-OMP是保证减少超高数量的变量,低于样本量,而不会失去真正的相关变量。我们还提供了正式的证据表明,修改后的贝叶斯信息准则(BIC)可以用来有效地确定在S-OMP的迭代次数。我们进一步提供经验证据的好处,变量选择使用多个回归输出联合,而不是单独执行变量选择每个输出。S-OMP的有限样本性能证明了广泛的模拟研究,并在遗传关联映射问题。$Keywords$自适应套索;贪婪前向回归;正交匹配追踪;多输出回归;多任务学习;同时正交匹配追踪;确定筛选;变量选择
2010-12-17 stat.ML
Basis Pursuit and Orthogonal Matching Pursuit for Subspace-preserving Recovery: Theoretical Analysis
Lehigh University(利哈伊大学);The Johns Hopkins University(约翰斯·霍普金斯大学)
给定一个过完备字典$A$和一个信号$b = Ac^*$,其中某个稀疏向量$c^*$的非零元素对应于$A$的线性无关列,经典稀疏信号恢复理论考虑$c^*$是否可以恢复为$b = A c$的唯一稀疏解的问题.现在很好地理解,当字典$A$是不相干的或受限制的等距的时,这种恢复通过实用算法是可能的。在本文中,我们考虑更一般的情况下,$b$位于一个子空间$\mathcal{S}_0$由一个子集的线性相关列的$A$,其余列的子空间之外。在这种情况下,稀疏表示可能不是唯一的,并且字典可能不是不连贯的或受限制的等距的。目标是使表示$c$正确地标识子空间,即,$c$的非零条目应当对应于子空间$\mathcal{S}_0$中的$A$的列。这种表示$c$被称为子空间保持,这是一个关键概念,在高维数据中学习低维结构时有重要应用。我们提出了各种几何条件,保证子空间保持恢复。其中,覆盖半径和角距离分别刻画了子空间中点的分布以及子空间中点与子空间外点的相似性.重要的是,这些条件并不要求字典是不连贯的或受限制的等距。通过建立子空间保持恢复问题和经典的稀疏信号恢复问题在后者的共同假设下是等价的,我们证明了我们提出的几个条件是稀疏信号恢复文献中一些众所周知的条件的推广。
2019-12-30 cs.CV cs.LG stat.ML
Orthogonal Matching Pursuit with Replacement
在本文中,我们考虑的问题,压缩感知的目标是恢复几乎所有的稀疏向量使用少量的固定线性测量。对于这个问题,我们提出了一种新的部分硬阈值算子,导致一个一般家庭的迭代算法。虽然该家族的一个极端产生了众所周知的硬阈值算法,如ITI(迭代求逆)和HTP(硬阈值追踪),但频谱的另一端导致了一种新的算法,我们称之为正交匹配追踪替换(OMPR)。与经典的贪心算法OMP一样,OMPR基于与当前残差的相关性,在每次迭代时向支持添加一个坐标。但是,与OMP不同,OMPR还从支持中删除一个坐标。这个简单的变化使我们能够证明OMPR在受限等距属性(测量矩阵上的条件)方面具有稀疏恢复的最佳保证。相比之下,OMP在RIP下的性能保证非常弱。鉴于其简单的结构,我们能够使用局部敏感哈希扩展OMPR,得到OMPR-Hash,这是第一个可证明的次线性(在维度上)稀疏恢复算法。我们的证明技术是新颖和灵活的,也允许最严格的已知分析流行的迭代算法,如CoSaMP和子空间追踪。我们提供的实验结果,提供恢复高达百万维的向量大小的大型问题。我们证明,对于大规模的问题,我们提出的方法比现有的方法更强大,更快。
2011-06-14 cs.IT math.IT stat.ML
Variational approximation for heteroscedastic linear models and matching pursuit algorithms
涉及大数据集的现代统计应用已经将注意力集中在统计方法学上,这些方法在计算上是有效的并且能够处理大量不同候选模型的筛选。在这里,我们考虑计算效率变分贝叶斯方法在高维异方差线性回归,其中的均值和方差的预测变量的线性函数和预测变量的数量可以大于样本量的推断。我们推导出一个封闭形式的变分下限的对数边际似然有用的模型选择,并提出了一种新的快速贪婪搜索算法的模型空间,利用一步优化更新的变分下限在当前模型筛选大量的候选预测变量的包含/排除在计算上节俭的方式。我们表明,我们建议的模型搜索策略与广泛使用的正交匹配追踪算法的模型搜索,但产生一个框架,这些算法可能扩展到更复杂的模型。该方法被应用在模拟和两个真实的例子,涉及使用近红外技术预测食品成分和糖尿病疾病进展的预测。
2011-03-02 stat.ME stat.ML
Implicit regularization in AI meets generalized hardness of approximation in optimization -- Sharp results for diagonal linear networks
University of Oslo(奥斯陆大学);University of Cambridge(剑桥大学)
本文研究过参数化对角线性网络梯度流的隐式正则化,证明其逼近基追踪的ℓ₁最小化子并给出依赖初始化的尖锐收敛界,且所选最小化子由网络深度决定。
2023-07-13 cs.LG math.OC stat.ML
Noisy subspace clustering via matching pursuits
ETH Zurich(苏黎世联邦理工学院)
基于稀疏性的子空间聚类算法因其在实际应用中的优异性能而受到广泛关注。一个突出的例子是Elhamifar和Vidal的稀疏子空间聚类(SSC)算法,该算法基于通过Lasso稀疏地表示每个数据点的所有其他数据点获得的邻接矩阵来执行谱聚类。当数据点的数量很大或周围空间的维数很高时,SSC的计算复杂性很快变得令人望而却步。Dyer等人观察到,通过用贪婪正交匹配追踪(OMP)算法替换Lasso获得的SSC-OMP导致显著更低的计算复杂性,同时通常产生相当的性能。本文的中心目标是分析性能表征的SSC-OMP噪声数据。此外,我们介绍和分析的SSC-MP算法,它采用匹配追踪(MP)代替OMP。SSC-OMP和SSC-MP都被证明是成功的,即使当子空间相交,当数据点被严重的噪声污染。聚类条件,我们得到的SSC-OMP和SSC-MP是类似的SSC和基于阈值的子空间聚类(TSC)算法由于Heckel和Bölcskei。分析结果与数值结果相结合表明,SSC-OMP和SSC-MP与数据相关的停止标准自动检测的数据下的子空间的尺寸。此外,合成和真实数据上的实验表明,SSC-MP相比非常有利的SSC,SSC-OMP,TSC,和最近子空间邻居算法,无论是在聚类性能和运行时间。此外,我们发现,相比于SSC-OMP,SSC-MP的性能是非常强大的停止标准中的参数的选择。
2018-06-08 cs.IT cs.LG math.IT
Orthogonal Matching Pursuit with Noisy and Missing Data: Low and High Dimensional Results
许多稀疏回归模型通常假设协变量是完全已知的,并且没有噪声。特别是在高维应用中,情况往往并非如此。本文开发了高效的OMP类算法来处理正是这种设置。我们的算法是有效的OMP,并改善最知名的结果,在回归中的缺失和噪声数据,无论是在高维设置,我们试图从只有几个测量恢复稀疏向量,并在经典的低维设置,我们恢复一个非结构化的回归。在高维环境中,我们的支持恢复算法甚至不需要了解噪声的统计信息。一路上,我们还获得了改进的性能保证OMP的标准稀疏回归问题与高斯噪声。
2015-03-30 cs.IT math.IT math.ST
Tuning Free Orthogonal Matching Pursuit
正交匹配追踪(OMP)是一种广泛应用的压缩感知(CS)算法,用于恢复噪声线性回归模型中的稀疏信号。OMP的性能取决于其停止准则(SC)。在文献中讨论的用于OMP的SC通常假设要估计的信号的稀疏性$k_0$或噪声方差$σ^2$的知识,这两者在许多实际应用中是不可用的。在这篇文章中,我们开发了一个修改版本的OMP称为调谐自由OMP或TF-OMP,它不需要SC。TF-OMP被证明是成功的稀疏恢复在通常的假设下的限制等距常数(RIC)和设计矩阵的互相关。数值上显示,与具有$k_0$或$σ^2$的\textit{a priori}知识的OMP相比,TF-OMP提供高度竞争性的性能。贪婪鲁棒去噪算法(Greedy Algorithm for Robust De-noising,GARD)是一种OMP类算法,用于估计稀疏离群值破坏的超定线性回归模型。然而,GARD需要内点噪声方差的知识,这是很难估计的。我们还产生了一个调谐免费算法(TF-GARD)的有效估计稀疏离群值的存在下,通过扩展TF-OMP的工作原理GARD。TF-GARD的数字显示,以实现与GARD的现有实施的性能。
2017-03-15 cs.IT math.IT stat.ML
Semi-supervised Ranking Pursuit
The Netherlands Organization for Applied Scientific Research(荷兰应用科学研究组织);Radboud University Nijmegen(奈梅亨拉德堡德大学)
我们提出了一种新的稀疏偏好学习/排序算法。我们的算法近似的真实效用函数的加权和的基函数使用的平方损失对数据点,是一个推广的核匹配追踪方法。它可以在监督和半监督设置中运行,并允许有效搜索多个接近最优的解决方案。此外,我们描述了该算法的扩展,适用于组合排名和回归任务。在我们的实验中,我们证明了所提出的算法在考虑未标记数据时优于几种最先进的学习方法,并在监督学习场景中执行重复,同时提供更稀疏的解决方案。
2013-07-02 cs.IR cs.LG stat.ML
Robust High Dimensional Sparse Regression and Matching Pursuit
我们认为高维稀疏回归,并制定战略,能够处理任意-可能的,严重的或协调-在协方差矩阵$X$的错误。这些可能来自损坏的数据,持续的实验错误,或恶意的受访者在调查/推荐系统等非随机误差变量的问题是出了名的难以处理,正如我们所证明的,这个问题是特别明显的高维设置的主要目标是{ \em支持恢复}的稀疏回归。我们开发的算法支持稀疏回归恢复,当一些数字$n_1$出$n+n_1$总协变量/响应对{ \it任意(可能恶意)损坏}。我们感兴趣的是了解我们可以容忍多少离群值$n_1$,同时确定正确的支持。据我们所知,无论是标准的离群值拒绝技术,也不是最近开发的强大的回归算法(只关注损坏的响应变量),也不是最近的算法处理随机噪声或擦除,可以提供支持恢复的保证。也许令人惊讶的是,我们还表明,自然蛮力算法,搜索所有子集的$n$协变量/响应对,所有子集的可能的支持坐标,以尽量减少回归误差,是非常差的,无法正确地识别支持,甚至$n_1 = O(n/k)$损坏点,其中$k$是稀疏。即使在我们考虑的基本设置中也是如此,其中所有真实的测量和噪声都是独立的和亚高斯的。在这种情况下,我们提供了一个简单的算法--计算量不比OMP大--它提供了更强的性能保证,可以恢复多达$n_1 = O(n/(\sqrt{k} \log p))$损坏点的支持,其中$p$是要恢复的信号的维度。
2013-01-12 cs.IT cs.LG math.IT
Self-Dictionary Sparse Regression for Hyperspectral Unmixing: Greedy Pursuit and Pure Pixel Search are Related
本文考虑了最近出现的高光谱解混配方的基础上稀疏回归的自字典多测量向量(SD-MMV)模型,其中测量的高光谱像素被用作字典。在纯像素假设下操作,这种SD-MMV形式主义是特殊的,因为它允许同时识别端元光谱特征和端元的数量。以前的SD-MMV研究主要集中在凸松弛。在这项研究中,我们探讨了贪婪追求的替代方案,它通常提供了高效和简单的算法。特别是,我们设计了一个贪婪的SD-MMV算法使用同时正交匹配追踪。有趣的是,所提出的贪婪算法被证明是密切相关的一些现有的纯像素搜索算法,特别是,连续投影算法(SPA)。因此,SD-MMV和纯像素搜索之间的联系被揭示出来。然后,我们进行精确的恢复分析,并证明所提出的贪婪算法是强大的噪声-包括其识别的(未知)数量的端元-在一个足够低的噪声水平。通过仿真实验和实际数据实验验证了该算法的辨识性能。
2015-03-03 cs.IT math.IT math.OC