Sparse Recovery with Linear and Nonlinear Observations: Dependent and Noisy Data
我们制定稀疏支持恢复作为一个显着的集合识别问题,并使用信息理论分析,以表征恢复性能和样本的复杂性。我们考虑一个非常一般的模型,我们不限于线性模型或特定的分布。我们国家的非渐近界的恢复概率和一个紧密的互信息公式的样本复杂性。我们评估我们的应用范围,如稀疏线性回归和显式特征的相关性或噪声特征对恢复性能的影响。我们在以前的工作和识别恢复算法的性能和基本信息之间的差距的改进。
2014-03-12 cs.IT cs.LG math.IT
Sparse matrices for weighted sparse recovery
University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文首次提出加权ℓ1最小化在稀疏随机矩阵和加权稀疏信号中的稀疏恢复保证,通过加权空空间性质推导,并展示其计算效率优于密集矩阵。
2016-05-09 cs.CC cs.IT cs.NA
Sparse Representation of a Polytope and Recovery of Sparse Signals and Low-rank Matrices
本文考虑压缩感知和仿射秩最小化在无噪和有噪情况下,并建立了尖锐的限制等距稀疏信号和低秩矩阵恢复条件。分析依赖于一个关键的技术工具,表示点的多面体的凸组合稀疏向量。该技术是基本的,但导致尖锐的结果。它示出,对于任何给定的常数$t\ge {4/3}$,在压缩感知$δ_{tk}^A < \sqrt{(t-1)/t}$保证精确恢复的所有$k$稀疏信号在无噪声的情况下,通过约束$\ell_1$最小化,并同样在仿射秩最小化$δ_{tr}^\mathcal{M}< \sqrt{(t-1)/t}$确保精确重建的所有矩阵的秩最多$r$在无噪声的情况下,通过约束核范数最小化。此外,对于任何$ε>0$,对于大的$k$,$δ_{tk}^A<\sqrt{\frac{t-1}{t}}+ε$不足以保证所有$k$稀疏信号的精确恢复。类似的结果也适用于基质回收。此外,条件$δ_{tk}^A < \sqrt{(t-1)/t}$和$δ_{tr}^\mathcal{M}< \sqrt{(t-1)/t}$也被证明是足够的,分别为稳定恢复的近似稀疏信号和低秩矩阵在噪声的情况下。
2013-10-22 cs.IT math.IT math.ST
Multichannel sparse recovery of complex-valued signals using Huber's criterion
本文将Huber准则推广到复值测量的多通道稀疏恢复问题,其目标是从给定的多个测量向量中找到联合稀疏未知信号向量的良好恢复,这些测量向量是相同已知基本向量的不同线性组合。这就需要仔细刻画强大的复值损失函数以及多元稀疏回归问题的Huber准则函数。提出了一种基于同步归一化迭代硬阈值(SNIHT)算法的贪心算法。与传统的SNIHT方法不同,我们的算法,称为HUB-SNIHT,在重尾非高斯噪声条件下是鲁棒的,但与高斯噪声下的SNIHT相比,性能损失可以忽略不计。在传感器阵列声源定位的应用中说明了该方法的有效性。
2015-04-16 cs.IT math.IT stat.CO
Recovery of Low-Rank Plus Compressed Sparse Matrices with Application to Unveiling Traffic Anomalies
给定一个低秩矩阵的叠加加上一个已知的脂肪压缩矩阵乘以稀疏矩阵的产品,本文的目标是建立确定性的条件下,精确恢复的低秩和稀疏的组件成为可能。这一基本的可识别性问题与骨干网络中的流量异常检测有关,并包含压缩感知以及矩阵分解问题中遇到的及时低秩稀疏矩阵恢复任务。利用$\ell_1$ -和核范数恢复稀疏和低秩矩阵的能力,制定了一个凸规划来估计未知数。分析和仿真证实,所述凸程序可以恢复足够低的秩和足够稀疏的分量的未知数,随着压缩矩阵具有等距属性时,限制操作稀疏向量。当低秩、稀疏和压缩矩阵是从某些随机集合中提取时,可以确定精确的恢复是可能的,具有很高的概率。一阶算法被开发来解决具有可证明的迭代复杂性保证的非光滑凸优化问题。对合成和真实网络数据的深入测试证实了这种新方法在揭示流量和时间异常方面的有效性,以及其优于现有替代方案的能力。
2012-04-30 cs.IT cs.NI math.IT
Hyperparameter Optimization in Neural Networks via Structured Sparse Recovery
Iowa State University(爱荷华州立大学);New York University(纽约大学);Duke University(杜克大学)
本文从稀疏恢复方法的角度研究了神经网络自动设计中的两个重要问题--超参数优化(Hyper parameter Optimization,HPO)和神经结构搜索(Neural Architecture Search,NAS)。在本文的第一部分,我们建立了一个新的连接HPO和结构化稀疏恢复。特别是,我们表明,一个特殊的编码的超参数空间,使一个自然的组稀疏恢复制定,这与HyperBand(多臂强盗策略)时,导致改善现有的超参数优化方法。在CIFAR-10等图像数据集上的实验结果证实了我们方法的优点。在本文的第二部分,我们建立了NAS和结构化稀疏恢复之间的联系。基于NAS中的“一次性”方法,我们提出了一种新的算法,我们称之为CoNAS,通过将一次性方法的思想与学习低次稀疏布尔多项式的技术相结合。我们提供了理论分析的验证误差测量的数量。最后,我们在几个数据集上验证了我们的方法,并发现了迄今为止尚未报道的新架构,与现有的NAS方法相比,在性能和搜索时间方面都取得了有竞争力(或更好)的结果。
2020-07-07 cs.LG stat.ML
Matching Pursuit LASSO Part II: Applications and Sparse Recovery over Batch Signals
The University of Adelaide(阿德莱德大学);University of Technology, Sydney(悉尼科技大学);Brown University(布朗大学)
匹配追踪LASS在第一部分\cite{TanPMLPart1}中,我们提出了一种求解大规模稀疏恢复问题的匹配追踪LASSO({MPL})算法。在本文中,我们提出了一个子空间搜索,以进一步提高MPL的性能,然后继续解决SR的另一个主要挑战-批量SR与许多信号,一个考虑,这是从大多数以前的$\ell_1$范数方法缺席。因此,一个批处理模式{MPL}的开发,大大加快稀疏恢复的许多信号同时进行。压缩感知和人脸识别任务的综合数值实验证明了MPL和BMPL在稀疏恢复能力和效率方面优于本文考虑的其他方法。特别地,BMPL比被认为是最先进的现有$\ell_1$范数方法快400倍。O第二部分:批处理信号的应用和稀疏恢复
2014-12-24 cs.CV cs.LG stat.ML
Recovery of Missing Samples Using Sparse Approximation via a Convex Similarity Measure
Sharif University of Technology(谢里夫理工大学);Qom University of Technology(库姆理工大学)
本文研究了基于稀疏逼近的缺失样本恢复问题。在这方面,我们研究用于解决与图像信号的丢失样本的恢复相关的逆问题的算法。这个问题也被称为图像处理中的修复,为此,我们提出了一个迭代稀疏恢复算法的基础上约束$l_1$范数最小化与一个新的保真度度量。所提出的度量称为凸相似性(CSIM)指标,是结构相似性(SSIM)指标的简化版本,它是凸的和错误敏感的。结合这一标准的优化问题,然后通过交替方向乘法(ADMM)解决。仿真结果表明,该方法对一维图像块矢量的缺失样本恢复和二维图像信号的修复是有效的。
2017-06-28 cs.LG stat.ML
Sparse Recovery with Very Sparse Compressed Counting
Rutgers University(罗格斯大学)
压缩感知(稀疏信号恢复)经常遇到非负数据(例如,图像)。最近,我们开发了使用(密集)压缩计数恢复非负K-稀疏信号的方法。在本文中,我们采用非常稀疏的压缩计数的非负信号恢复。我们的设计矩阵是从最大偏态p-稳定分布(0<p<1)中采样的,我们对设计矩阵进行了稀疏化,使得平均(1-g)-分数项变为零。这个想法与非常稀疏的稳定随机投影(Li et al 2006 and Li 2007)有关,这是估计数据汇总统计量的先前工作。在我们的理论分析中,我们表明,当p->0时,使用M= K/(1-exp(-gK)log N测量就足够了,使得可以在坐标的一次扫描中恢复所有坐标。如果g = 1(即,密集设计),则M = K log N。如果g= 1/K或2/K(即,非常稀疏的设计),则M = 1.58K log N或M = 1.16K log N。这意味着设计矩阵实际上可以非常稀疏,样本复杂性只有很小的膨胀。有趣的是,当p->1时,所需的测量次数基本上是M = 2.7K log N,假设g= 1/K。事实证明,这个结果是一个一般的最坏情况界限。
2013-12-31 cs.DS cs.IT cs.LG
A Recovery Guarantee for Sparse Neural Networks
School of Electrical and Computer Engineering(电气与计算机工程学院);Georgia Institute of Technology(佐治亚理工学院);Department of Electrical Engineering(电气工程系);Stanford University(斯坦福大学)
该研究为稀疏神经网络提供了恢复保证,通过迭代硬阈值算法以线性内存复杂度精确恢复稀疏权重,并在多个任务中表现出优于传统方法的性能。
2026-02-28 cs.LG math.OC stat.ML
Group-sparse Matrix Recovery
我们应用OSCAR(八角形选择和聚类算法回归)恢复组稀疏矩阵(二维-2D-阵列)从压缩测量。我们提出了一个二维版本的OSCAR(2 OSCAR)的$\ell_1$规范和成对的$\ell_{\infty}$规范,这是凸的,但不可微的。我们表明,2 OSCAR的邻近算子可以计算的基础上的OSCAR。因此,2 OSCAR问题可以有效地解决国家的最先进的邻近分裂算法。对组稀疏二维阵列恢复的实验表明,SpaRSA算法求解的2 OSCAR正则化是最快的选择,而PADMM算法(带去偏置)产生最准确的结果。
2014-02-20 cs.CV cs.LG stat.ML
Iterative Regularization with k-support Norm: An Important Complement to Sparse Recovery
MBZUAI(穆罕默德·本·扎耶德人工智能大学);Nanjing University(南京大学);Jilin University(吉林大学)
提出基于k-support范数的迭代正则化算法IRKSN,通过早停机制实现稀疏恢复,放宽了传统$\ell_1$范数方法的适用条件,并给出了具有显式常数的模型误差早停界限,实现标准线性收敛率。
2024-03-19 cs.LG eess.SP math.OC
On the exact recovery of sparse signals via conic relaxations
在这篇文章中,我们比较了Pilanci,Wainwright和El Ghaoui最近提出的稀疏线性回归问题的两个半定松弛(通过布尔松弛进行稀疏学习,2015)和Dong,Chen和Linderoth(松弛与正则化统计变量选择的圆锥优化观点,2015)。我们重点讨论了基数约束形式,证明了Dong等人提出的松弛理论并不弱于Pilanci等人提出的松弛,因此Pilanci等人导出的精确恢复的充分条件可以很容易地应用于其他松弛,包括他们关于高斯系综高概率恢复的结果.最后,我们提供的经验证据表明,放松董等。需要更少的观察,以保证恢复真正的支持。
2016-03-15 math.OC stat.ML
On the gap between RIP-properties and sparse recovery conditions
本文研究了利用$\ell_p$约束基追踪从欠定线性测量中恢复稀疏向量的问题。以前的分析,这个问题的基础上广义限制等距属性表明,两种现象发生,如果$p\neq 2$。首先,可能需要基本上多于$s \log(en/s)$的测量(对于$p=2$是最佳的)来均匀恢复所有$s$稀疏向量。第二,以最佳测量次数实现恢复的矩阵可能不是高斯的(对于$p=2$)。我们提出了一个新的,直接的分析表明,事实上,这两种现象都没有发生。通过一个合适的版本的零空间属性,我们表明,一个标准的高斯矩阵提供了$\ell_q/\ell_1$恢复保证$\ell_p$约束的基础上追求的最佳测量制度。我们的结果扩展到几个双尾测量矩阵。作为一个应用程序,我们表明,可以获得一致的重建均匀标量量化测量的最佳测量制度。
2015-04-20 cs.IT math.IT math.ST
Two New Approaches to Compressed Sensing Exhibiting Both Robust Sparse Recovery and the Grouping Effect
在本文中,我们介绍了一种新的稀疏回归和压缩感知的优化配方,称为CLOT(组合L-One和Two),其中正则化是一个凸组合的$\ell_1$ -和$\ell_2$ -规范。该公式与弹性网络(EN)公式不同,在弹性网络(EN)公式中,正则化子是$\ell_1$ -和$\ell_2$ -范数平方的凸组合。结果表明,在压缩感知的背景下,EN制定没有实现稳健的恢复稀疏向量,而新的CLOT制定实现稳健的恢复。此外,与EN类似但与LASSO不同,CLOT公式实现了分组效应,其中测量(或设计)矩阵的高度相关列的系数被分配大致相当的值。已知LASSO不具有分组效应。因此,CLOT公式结合了LASSO(鲁棒稀疏恢复)和EN(分组效应)的最佳特征。CLOT公式是另一种称为SGL(稀疏组LASSO)的特殊情况,该SGL以前被引入到文献中,但没有对分组效应或鲁棒稀疏恢复进行任何分析。它在这里示出,SGL实现了强大的稀疏恢复,也实现了一个版本的分组效应,属于同一组的测量(或设计)矩阵的高度相关的列的系数被分配大致相当的值。
2017-06-20 stat.ML
Robust Sparse Recovery with Sparse Bernoulli matrices via Expanders
本文研究稀疏 Bernoulli(p) 矩阵的鲁棒零空间性质,刻画以最少测量实现稀疏恢复所需的最小 p,并以匹配下界证明最优性。
2024-12-06 cs.IT math.IT math.PR
Sparse recovery based on the generalized error function
Zhejiang University City College(浙大城市学院)
本文提出了一种基于广义误差函数的稀疏恢复方法。引入的罚函数同时包含了形状和尺度参数,使得它非常灵活。从零空间性质、球截面性质和约束可逆因子等方面对约束和无约束模型进行了理论分析。给出了迭代加权$\ell_1$和凸函数差分算法的实用算法。数值实验进行说明所提出的方法在各种情况下提供的改进。研究了该算法在磁共振成像(MRI)重建中的实际应用。
2021-06-03 cs.LG cs.NA eess.IV
Entrywise Recovery Guarantees for Sparse PCA via Sparsistent Algorithms
稀疏主成分分析(PCA)是应用统计学的众多子领域中普遍使用的工具。虽然有几个结果的特点的主要特征向量的恢复误差,这些通常是在频谱或Frobenius规范。在本文中,我们提供了一般的高维次高斯设计下的稀疏PCA的逐项$\ell_{2,\infty}$界限。特别是,我们的结果适用于任何算法,选择正确的支持与高概率,那些是稀疏的。我们的界改进了已知的结果,提供了一个更精细的表征的估计误差,我们的证明使用最近开发的技术,为entrywise子空间扰动理论。
2022-02-08 math.ST stat.ML stat.TH
Regularization, sparse recovery, and median-of-means tournaments
介绍了一种正则化的风险最小化方法,用于回归函数估计,在一般条件下,包括重尾预测和响应变量,达到接近最优的精度和置信度。该过程基于作者在[8]中引入的均值比赛。结果表明,新的程序优于标准的正则化经验风险最小化程序,如套索或斜率重尾问题。
2017-11-29 math.ST stat.ML stat.TH
On Verifiable Sufficient Conditions for Sparse Signal Recovery via $\ell_1$ Minimization
我们提出了新的充要条件的传感矩阵是“$s$ -好”-允许精确的$\ell_1$ -恢复稀疏信号与$s$非零条目时,没有测量噪声存在。然后,我们表示不完美的$\ell_1$ -恢复(非零测量噪声,近$s$ -稀疏信号,产生$\ell_1$ -恢复的最优化问题的近最优解)的这些条件下的特征方面的误差界。此外,我们证明(这是本文的主要结果),这些特性,虽然难以评估,导致可验证的充分条件精确稀疏的$\ell_1$恢复和有效地计算上界的那些$s$,其中一个给定的传感矩阵是$s$ -好。我们还建立了我们的方法和压缩感知理论的基本概念之间的指导性联系,如限制等距或限制特征值属性。
2010-05-31 math.OC math.ST stat.TH
A unified approach to model selection and sparse recovery using regularized least squares
模型选择和稀疏恢复是正则化方法研究的两个重要问题。我们研究的正则化方法的性质在这两个问题的统一框架下的正则化最小二乘凹罚。对于模型选择,我们建立条件下,正则化最小二乘估计享有非渐近性质,称为弱预言性质,其中的维数可以指数增长的样本量。对于稀疏恢复,我们提出了一个充分条件,确保稀疏解的可恢复性。特别是,我们通过考虑一个家庭的处罚,使一个光滑的同伦之间的$L_0$和$L_1$处罚的方法来解决这两个问题。我们还提出了用于稀疏恢复的顺序迭代重新加权平方(SIRS)算法。数值研究支持我们的理论结果,并证明了我们的模型选择和稀疏恢复的新方法的优势。
2009-09-03 math.ST stat.TH
Support Recovery in Mixture Models with Sparse Parameters
University of California, San Diego(加州大学圣地亚哥分校);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
混合模型被广泛用于拟合复杂和多模态数据集。在本文中,我们研究了高维稀疏的潜在参数向量的混合,并考虑这些向量的支持恢复的问题。虽然混合模型中的参数学习已经得到了很好的研究,但稀疏性约束仍然相对未被探索。参数向量的稀疏性是各种设置中的自然约束,并且支持度恢复是参数估计的主要步骤。我们提供了有效的算法支持恢复,具有对数样本的复杂性依赖于潜在空间的维数。我们的算法是相当普遍的,即它们适用于1)许多不同的典型分布的混合,包括均匀,泊松,拉普拉斯,高斯等。2)混合的线性回归和线性分类器与高斯协变量在不同的假设下的未知参数。在大多数这些设置中,我们的结果是对问题的第一个保证,而在其余的,我们的结果提供了对现有作品的改进。
2022-09-10 cs.IT cs.LG math.IT
Cutoff for exact recovery of Gaussian mixture models
我们确定的信息理论截断值的聚类中心分离的集群标签的确切恢复$K$组件高斯混合模型具有相等的集群大小。此外,我们表明,一个半定规划(SDP)放松的$K$ -均值聚类方法实现精确恢复,而无需假设对称的聚类中心,这样的尖锐的阈值。
2020-11-30 cs.DS cs.IT math.IT
Simultaneous Block-Sparse Signal Recovery Using Pattern-Coupled Sparse Bayesian Learning
University of Electronic Science and Technology of China(电子科技大学);China Academy of Engineering Physics(中国工程物理研究院)
在本文中,我们考虑块稀疏信号恢复问题的背景下,多个测量向量(MMV)与共同的行稀疏模式。我们开发了一种新的方法来恢复常见的行稀疏MMV信号,其中模式耦合的分层高斯先验模型被引入到共同的行稀疏MMV信号的系数的块稀疏性和相邻系数之间的统计依赖性的特征。与许多其他方法不同,该方法能够自动捕获未知信号的块稀疏结构。我们的方法是使用期望最大化(EM)的框架。仿真结果表明,该方法在恢复块稀疏共行稀疏模式MMV信号时具有较好的性能。
2017-11-06 cs.IT cs.LG eess.SP
Bayesian Hypothesis Testing for Block Sparse Signal Recovery
提出了一种新的块贝叶斯假设检验算法(Block-BHTA),用于重构具有未知块结构的块稀疏信号。Block-BHTA算法包括支撑点的检测和恢复,以及块稀疏信号幅度的估计。使用贝叶斯假设检验执行支持检测和恢复。然后,基于检测和重建的支持,非零幅度估计的线性MMSE。数值实验证明了Block-BHTA的有效性。
2015-08-22 cs.IT math.IT stat.ML
Sparse Signal Recovery in the Presence of Intra-Vector and Inter-Vector Correlation
University of California, San Diego(加州大学圣地亚哥分校);Microsoft Research(微软研究院)
本文讨论了当非零项的值之间存在相关性时稀疏信号的恢复问题。我们检查块稀疏模型的上下文中的向量内相关性和多测量向量模型的上下文中的向量间相关性,以及它们的组合。提出了基于稀疏贝叶斯学习的算法,并讨论了在算法级引入相关性的好处。还讨论了相关性对支持恢复极限的影响,强调了向量内和向量间相关性对这些极限的不同影响。
2012-05-20 cs.IT cs.LG math.IT
Recovery of Sparse Signals from a Mixture of Linear Samples
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
混合线性回归是一种流行的学习理论模型,广泛用于表示异构数据。在最简单的形式中,该模型假设标签从两个不同的线性模型中的任一个生成并混合在一起。Yin等人和Krishnamurthy等人的近期作品,2019年,针对这一问题,重点进行了模型恢复的试验设计设置。假设可以设计和查询特征以获取其标签。当被查询时,oracle随机选择两个不同的稀疏线性模型中的一个,并相应地生成标签。同时恢复两个模型需要多少个这样的oracle查询?这个问题也可以被认为是众所周知的压缩感知问题的推广(Candès和Tao,2005,Donoho,2006)。在这项工作中,我们解决这个查询复杂性问题,并提供有效的算法,提高了以前最好的已知结果。
2020-07-14 cs.DS cs.IT cs.LG
Exact Recovery of Community Detection in k-Community Gaussian Mixture Model
University of Connecticut(康涅狄格大学)
本文研究了高斯混合模型上的社区发现问题,其中顶点被划分为$k\geq 2$不同的社区.我们模型的主要区别在于,对于观测矩阵中的不同条目,高斯扰动的强度是不同的,并且我们不假设每个社区都有相同数量的顶点。我们明确地找到最大似然估计的精确恢复的阈值。应用包括超图上的社区发现。
2020-08-29 cs.LG cs.SI math.PR
Type I and Type II Bayesian Methods for Sparse Signal Recovery using Scale Mixtures
University of California, San Diego(加州大学圣地亚哥分校)
在本文中,我们提出了一个广义尺度混合分布族,即幂指数尺度混合(PESM)的家庭,目前用于稀疏信号恢复(SSR)的稀疏诱导先验模型。我们表明,成功的和流行的方法,如LASSO,重新加权$\ell_1$和重新加权$\ell_2$方法可以制定在一个统一的方式在最大后验概率(MAP)或I型贝叶斯框架使用适当的成员PESM家庭的稀疏诱导先验。此外,利用自然层次框架诱导的PESM家庭,我们利用这些先验的II型框架,并开发相应的EM为基础的估计算法。I型和II型方法之间的差异提供了一些见解,特别感兴趣的算法开发是流行的和成功的加权$\ell_1$方法的II型变体。大量的实证结果表明,II型方法表现出更好的支持恢复比相应的I型方法。
2015-07-17 cs.LG stat.ML
Polynomial-time Sparse Measure Recovery: From Mean Field Theory to Algorithm Design
MIT(麻省理工学院);INRIA-ENS-PSL(法国国家信息与自动化研究所-巴黎高等师范学院-巴黎文理研究大学)
平均场理论通过使问题的规模趋于无穷大,为各种算法提供了理论上的见解。我们认为,平均场理论的应用超越了理论的见解,因为它可以启发设计的实际算法。利用物理学中的平均场分析,我们提出了一种新的稀疏测量恢复算法。对于稀疏措施$\mathbb{R}$,我们提出了一个多项式时间的恢复方法,从傅立叶矩,提高凸松弛方法在一个特定的参数制度,然后,我们证明了我们的结果的应用程序的优化特定的二维,单层神经网络在可实现的设置。
2023-02-13 cs.LG stat.ML
Recovery of a mixture of Gaussians by sum-of-norms clustering
University of Waterloo(滑铁卢大学)
范数和聚类是一种使用凸优化将$\mathbb{R}^d$中的$n$点分配给$K$聚类$1\le K\le n$的方法。最近,Panahi et al.证明了在样本数不太大的限制下,范数和聚类保证恢复高斯混合。本说明的目的是取消这一限制,即,结果表明,具有相等权重的范数和聚类可以恢复高斯混合,即使样本数趋于无穷大。我们的证明依赖于一个有趣的特征集群计算的范数和聚类,是由Chiquet等人的凝聚猜想的证明内开发的。因为我们相信这个定理有独立的利益,我们重申和重新证明Chiquet等人。结果在此。
2019-02-19 cs.LG stat.ML
Sparse Signal Recovery with Temporally Correlated Source Vectors Using Sparse Bayesian Learning
University of California at San Diego(加州大学圣地亚哥分校)
当解矩阵的每个非零行中的元素在时间上相关时,我们在多个测量向量(MMV)的上下文中解决稀疏信号恢复问题。现有的算法不考虑这种时间相关性,因此它们的性能显着降低的相关性。在这项工作中,我们提出了一个块稀疏贝叶斯学习框架,模型的时间相关性。在这个框架中,我们推导出两个稀疏贝叶斯学习(SBL)算法,具有优越的恢复性能相比,现有的算法,特别是在存在高的时间相关性。此外,我们的算法更好地处理高度欠定问题,并要求更少的行稀疏的解决方案矩阵。我们还提供了其成本函数的全局和局部最小值的分析,并表明,SBL成本函数具有非常理想的性质,即全局最小值是在稀疏解的MMV问题。大量的实验也提供了一些有趣的结果,激励未来的理论研究MMV模型。
2011-08-17 cs.LG stat.ML
Recovery Guarantees for Kernel-based Clustering under Non-parametric Mixture Models
University of Tübingen(图宾根大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Technical University of Munich(慕尼黑工业大学)
尽管基于内核的聚类无处不在,但令人惊讶的是,除了考虑数据生成过程中强结构假设的设置之外,几乎没有统计保证。在这项工作中,我们采取了一个步骤弥合这一差距,通过研究基于核的聚类算法的统计性能下的非参数混合模型。我们提供了必要和充分的可分性条件下,这些算法可以始终恢复底层的真实聚类。我们的分析为内核聚类方法提供了保证,而无需对组件分布的形式进行结构性假设。此外,我们建立了一个关键的等价基于核的数据聚类和基于核密度的聚类。这使我们能够为非参数混合模型的基于核的估计提供一致性保证。除了理论上的影响,这种联系可能具有实际意义,包括在聚类的背景下系统地选择高斯核的带宽。
2021-10-18 cs.LG stat.ML
Efficient mixture model for clustering of sparse high dimensional binary data
Jagiellonian University(雅盖隆大学)
在本文中,我们提出了一个混合模型,SparseMix,稀疏高维二进制数据的聚类,它连接基于模型的聚类和基于质心。每个组由一个代表和一个概率分布模型离这个代表的距离来描述。与基于EM算法的经典混合模型相比,SparseMix:-是专门为处理稀疏数据而设计的,-可以通过在线Hartigan优化算法有效地实现,-能够自动减少不必要的聚类。我们对各种类型的数据进行了广泛的实验研究,这证实了SparseMix构建的分区与相关方法相比具有更高的参考分组兼容性。此外,构造的代表往往更好地揭示数据的内部结构。
2017-07-11 cs.LG stat.ML
Signal Recovery Using a Spiked Mixture Model
Delft University of Technology(代尔夫特理工大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Vanderbilt University(范德比尔特大学);Vanderbilt University Medical Center(范德比尔特大学医学中心)
本文提出尖峰混合模型及其EM算法,用于在低信噪比情况下提升信号恢复性能,应用于生物医学和计算机视觉领域,优于传统方法。
2025-07-17 cs.LG stat.ML
Exact Recovery of Community Detection in dependent Gaussian Mixture Models
University of Connecticut(康涅狄格大学);Johns Hopkins University(约翰斯·霍普金斯大学)
研究在依赖且异质高斯噪声的高斯混合模型中社区检测的精确恢复,提出在奇异协方差矩阵情况下MLE的约束二次优化问题,并推导出在社区大小未知或已知时的精确恢复条件。
2026-05-02 math.PR math.ST stat.ML
Recovery of Sparse and Low Rank Components of Matrices Using Iterative Method with Adaptive Thresholding
Advanced Communication Research Institute (ACRI), Electrical Engineering Department, Sharif University of Technology(德黑兰理工大学先进通信研究院)
本文提出一种利用自适应阈值迭代方法恢复矩阵稀疏和低秩成分的算法,通过阈值操作获取低秩和稀疏成分,具有高效性和易实现性,并在非稀疏噪声应用中表现出良好的性能。
2017-04-12 cs.NA math.NA stat.ML