Signal Recovery on Graphs: Variation Minimization
Carnegie Mellon University(卡内基梅隆大学);HP Vertica(惠普Vertica)
我们把图上的信号恢复问题看作是把具有复杂结构的数据模型看作是图上的信号。图形信号恢复意味着从噪声、损坏或不完整的测量中恢复一个或多个平滑图形信号。我们提出了一个图形信号模型和制定信号恢复作为相应的优化问题。我们利用乘子交替方向法给出了一个一般解。接下来,我们将展示信号修复,矩阵补全,鲁棒主成分分析和异常检测如何与图形信号恢复相关,并提供相应的具体解决方案和理论分析。最后,我们验证了所提出的方法在现实世界中的恢复问题,包括在线博客分类,桥梁状态识别,温度估计,推荐系统,和专家意见的在线博客分类组合。
2015-05-29 cs.LG cs.SI stat.ML
Simultaneous Block-Sparse Signal Recovery Using Pattern-Coupled Sparse Bayesian Learning
University of Electronic Science and Technology of China(电子科技大学);China Academy of Engineering Physics(中国工程物理研究院)
在本文中,我们考虑块稀疏信号恢复问题的背景下,多个测量向量(MMV)与共同的行稀疏模式。我们开发了一种新的方法来恢复常见的行稀疏MMV信号,其中模式耦合的分层高斯先验模型被引入到共同的行稀疏MMV信号的系数的块稀疏性和相邻系数之间的统计依赖性的特征。与许多其他方法不同,该方法能够自动捕获未知信号的块稀疏结构。我们的方法是使用期望最大化(EM)的框架。仿真结果表明,该方法在恢复块稀疏共行稀疏模式MMV信号时具有较好的性能。
2017-11-06 cs.IT cs.LG eess.SP
A Differential Smoothness-based Compact-Dynamic Graph Convolutional Network for Spatiotemporal Signal Recovery
College of Computer and Information Science, Southwest University(西南大学计算机与信息科学学院);Hanhong College, Southwest University(西南大学含弘学院)
本文提出紧凑动态图卷积网络CDGCN,通过张量M-product统一建模时空模式,并引入差分平滑目标函数抑制噪声,在真实数据集上显著提升时空信号恢复精度。
2024-08-06 cs.LG
A Deep Learning Approach to Structured Signal Recovery
Rice University(莱斯大学)
在本文中,我们开发了一个新的框架来感知和恢复结构化信号。与采用线性测量、稀疏表示和计算复杂的凸/贪心算法的压缩感知(CS)系统相比,我们引入了一个深度学习框架,该框架支持线性和轻度非线性测量,从训练数据中学习结构化表示,并有效地计算信号估计。特别是,我们应用堆栈去噪自动编码器(SDA)作为无监督特征学习器。SDA使我们能够捕获某些信号的不同元素之间的统计依赖关系,并提高信号恢复性能相比,CS方法。
2015-08-17 cs.LG stat.ML
Matching Pursuit LASSO Part II: Applications and Sparse Recovery over Batch Signals
The University of Adelaide(阿德莱德大学);University of Technology, Sydney(悉尼科技大学);Brown University(布朗大学)
匹配追踪LASS在第一部分\cite{TanPMLPart1}中,我们提出了一种求解大规模稀疏恢复问题的匹配追踪LASSO({MPL})算法。在本文中,我们提出了一个子空间搜索,以进一步提高MPL的性能,然后继续解决SR的另一个主要挑战-批量SR与许多信号,一个考虑,这是从大多数以前的$\ell_1$范数方法缺席。因此,一个批处理模式{MPL}的开发,大大加快稀疏恢复的许多信号同时进行。压缩感知和人脸识别任务的综合数值实验证明了MPL和BMPL在稀疏恢复能力和效率方面优于本文考虑的其他方法。特别地,BMPL比被认为是最先进的现有$\ell_1$范数方法快400倍。O第二部分:批处理信号的应用和稀疏恢复
2014-12-24 cs.CV cs.LG stat.ML
Recovery of Sparse Signals Using Multiple Orthogonal Least Squares
Rutgers, The State University of New Jersey(罗格斯,新泽西州立大学)
我们研究了从压缩的线性测量中恢复稀疏信号的问题。这个问题,通常被称为稀疏恢复或稀疏重建,近年来产生了很大的兴趣。为了恢复稀疏信号,我们提出了一种新的方法,称为多个正交最小二乘(MOLS),它扩展了著名的正交最小二乘(OLS)算法,允许多个$L$指数选择每次迭代。由于在每次选择中包含多个支持度指标,MOLS算法在更少的迭代次数内收敛,并提高了传统OLS算法的计算效率。理论分析表明,如果测量矩阵满足等距常数为$δ_{LK} < \frac{\sqrt{L}}{\sqrt{K} + 2 \sqrt{L}}.$的限制等距性质(RIP),则MOLS($L > 1$)在$K$迭代内可以精确恢复所有$K$稀疏信号。结果表明,当信噪比与输入信号的稀疏程度成线性关系时,MOLS算法可以实现稀疏信号的稳定恢复。
2015-12-31 cs.IT cs.LG math.IT
Enhanced Lasso Recovery on Graph
Loyola Marymount University(洛约拉马利蒙特大学);University of California Los Angeles(加州大学洛杉矶分校)
这项工作的目的是恢复信号稀疏的图形。压缩感知提供了从一些线性测量中恢复信号的技术,而图形傅立叶分析提供了一种图形上的信号表示。在本文中,我们利用这两个框架,介绍了一个新的Lasso恢复算法的图。更确切地说,我们提出了一个非凸,非光滑的算法,优于标准的凸Lasso技术。我们在三个基准图数据集上进行了数值实验。
2015-06-19 cs.LG stat.ML
DeepCodec: Adaptive Sensing and Recovery via Deep Convolutional Neural Networks
Rice University(莱斯大学)
在本文中,我们开发了一种新的计算感知框架,用于感知和恢复结构化信号。当对一组代表性信号进行训练时,我们的框架学习进行欠采样测量,并使用深度卷积神经网络从其中恢复信号。换句话说,它学习从原始信号到接近最佳数量的欠采样测量的变换以及从测量到信号的逆变换。这与使用随机线性测量和凸优化或迭代算法进行信号恢复的传统压缩感测(CS)系统形成对比。我们比较我们的新框架与$\ell_1$ -最小化从相变的角度来看,并证明它优于$\ell_1$ -最小化的相变图的区域中,$\ell_1$ -最小化不能恢复的精确解。此外,我们通过实验证明了学习测量如何提高整体恢复性能,加快恢复框架的训练,并导致需要学习的参数更少。
2017-07-11 cs.LG stat.ML
Improved Support Recovery in Universal One-bit Compressed Sensing
University of California San Diego(加州大学圣迭戈分校);Google Research, India(谷歌印度研究院)
一比特压缩感知(1bCS)是一种非常量化的信号采集方法,在过去的十年中被提出并得到了严格的研究。在1bCS中,高维信号的线性样本被量化为每个样本仅一位(测量的符号)。假设原始信号向量是稀疏的,现有的结果在1bCS要么旨在找到支持的向量,或近似的信号允许一个小的误差。本文的重点是支持恢复,这往往也有利于计算近似信号恢复。1bCS的{ \em universal}测量矩阵是指对所有稀疏信号都有效的一组测量。在通用性方面,已知$\tildeΘ(k^2)$ 1bCS测量对于支持恢复是必要的且足够的(其中$k$表示稀疏性)。为了提高从二次到线性稀疏的依赖,在这项工作中,我们提出了近似支持恢复(允许$ε>0$比例的错误),和超集恢复(允许$ε$比例的误报)。我们表明,第一种类型的恢复是可能的$\tilde{O}(k/ε)$测量,而后一种类型的恢复,更具挑战性,是可能的$\tilde{O}(\max\{k/ε,k^{3/2}\})$测量。我们还表明,在这两种情况下,$Ω(k/ε)$测量将是必要的普遍恢复。改进的结果是可能的,如果我们考虑在有限的一类信号,如有理信号,或有界动态范围的信号的通用恢复。在这两种情况下,超集恢复都可以仅通过$\tilde{O}(k/ε)$测量来实现。本文还提供了其他结果的普遍,但近似的支持恢复。我们所有的主要恢复算法都是简单的多项式时间。
2022-10-29 cs.DM cs.IT cs.LG
Sparse Signal Recovery for Binary Compressed Sensing by Majority Voting Neural Networks
Nagoya Institute of Technology(名古屋工业大学)
在本文中,我们提出了多数表决神经网络的稀疏信号恢复二进制压缩感知。多数表决神经网络由几个独立训练的前馈神经网络组成,采用S形函数作为激活函数。我们的实证研究表明,选择一个损失函数用于网络的训练过程是至关重要的。我们找到了一个适合稀疏信号恢复的损失函数,它包括一个交叉熵项和一个$L_1$正则化项。从实验结果中,我们观察到,多数表决神经网络实现了良好的恢复性能,这是接近最佳性能的组件网络的数量的增长。多数表决神经网络的简单架构对于软件和硬件实现都是有益的。
2016-10-29 cs.IT cs.LG math.IT
Learning to Invert: Signal Recovery via Deep Convolutional Networks
Rice University(莱斯大学)
压缩感知(CS)的前景已经被两个重大挑战所抵消。首先,真实世界的数据在固定的基础上并不完全稀疏。其次,目前的高性能恢复算法收敛速度慢,这将CS限制在非实时应用或大规模后端计算可用的场景中。在本文中,我们通过开发一个新的信号恢复框架来应对这两个挑战,我们称之为{ \em DeepInverse},该框架使用{ \em深度卷积网络}学习从测量向量到信号的逆变换。当在一组代表性图像上训练时,网络学习信号的表示(解决挑战一)和近似贪婪或凸恢复算法的逆映射(解决挑战二)。我们的实验表明,DeepInverse网络非常接近最先进的CS恢复算法产生的解决方案,但在运行时间上要快数百倍。超快运行时间的折衷是深度网络典型的计算密集型离线训练过程。然而,训练只需要完成一次,这使得该方法对许多稀疏恢复问题具有吸引力。
2017-01-14 cs.AI cs.IT cs.LG
Sparse Signal Recovery in the Presence of Intra-Vector and Inter-Vector Correlation
University of California, San Diego(加州大学圣地亚哥分校);Microsoft Research(微软研究院)
本文讨论了当非零项的值之间存在相关性时稀疏信号的恢复问题。我们检查块稀疏模型的上下文中的向量内相关性和多测量向量模型的上下文中的向量间相关性,以及它们的组合。提出了基于稀疏贝叶斯学习的算法,并讨论了在算法级引入相关性的好处。还讨论了相关性对支持恢复极限的影响,强调了向量内和向量间相关性对这些极限的不同影响。
2012-05-20 cs.IT cs.LG math.IT