Optimization for Compressed Sensing: the Simplex Method and Kronecker Sparsification
Princeton University(普林斯顿大学)
在本文中,我们提出了两种新的方法来有效地解决大规模的压缩感知问题。这两个概念是相互独立的,因此可以单独使用或一起使用。我们考虑了所有的可能性。对于第一种方法,我们注意到,零向量可以作为线性规划问题的初始基本(不可行)解,因此,如果真实信号非常稀疏,则可以预期单纯形方法的一些变体仅需要少量的枢轴来获得解。我们实现了这样一个变种,并证明了一个显着的改善非常稀疏的信号上的计算时间。第二种方法需要重新设计的传感机制,其中矢量信号被堆叠成矩阵。这使我们能够利用克罗内克压缩传感(KCS)机制。我们表明,克罗内克传感需要更强的条件相比,原来的向量问题的完美恢复。然而,正确建模的克罗内克传感是一个稀疏的线性优化问题。因此,受益于稀疏问题表示的算法,如邻域点方法,可以比相应的向量问题更快地解决克罗内克传感问题。在我们的数值研究中,我们证明了十倍的计算时间的改善。
2013-12-16 cs.LG stat.ML
Robust Compressed Sensing and Sparse Coding with the Difference Map
Portland State University(波特兰州立大学);Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室);Santa Fe Institute(圣塔菲研究所);Indiana University(印第安纳大学)
在压缩感知中,我们希望从观测数据$y$重建稀疏信号$x$。另一方面,在稀疏编码中,我们希望找到观察到的信号$y$的表示作为来自过完备字典的元素的具有系数$x$的稀疏线性组合。虽然当$x$非常稀疏时,许多算法在这两个问题上都是有竞争力的,但是当它不太稀疏时,恢复$x$可能是有挑战性的。我们提出了差异图,它擅长稀疏恢复时,稀疏性较低,噪声较高。差分图通过随机测量重建和通过稀疏编码进行自然图像重建,表现优于现有技术。
2013-11-21 cs.CV physics.data-an stat.ML
Sparse Signal Recovery for Binary Compressed Sensing by Majority Voting Neural Networks
Nagoya Institute of Technology(名古屋工业大学)
在本文中,我们提出了多数表决神经网络的稀疏信号恢复二进制压缩感知。多数表决神经网络由几个独立训练的前馈神经网络组成,采用S形函数作为激活函数。我们的实证研究表明,选择一个损失函数用于网络的训练过程是至关重要的。我们找到了一个适合稀疏信号恢复的损失函数,它包括一个交叉熵项和一个$L_1$正则化项。从实验结果中,我们观察到,多数表决神经网络实现了良好的恢复性能,这是接近最佳性能的组件网络的数量的增长。多数表决神经网络的简单架构对于软件和硬件实现都是有益的。
2016-10-29 cs.IT cs.LG math.IT
Compressed Sensing for Block-Sparse Smooth Signals
我们提出了重建算法的光滑信号块稀疏从他们的压缩测量。我们通过组稀疏最小绝对收缩选择算子(LASSO)以及通过潜在的组LASSO正则化来解决不同组大小的问题。我们通过融合实现信号的平滑。我们开发低复杂度的求解器,我们提出的配方,通过交替方向的乘法器。
2013-09-10 cs.IT math.IT math.ST
Sparse Bayesian Generative Modeling for Compressive Sensing
TUM School of Computation, Information and Technology(慕尼黑工业大学计算、信息与技术学院);Technical University of Munich(慕尼黑工业大学)
本文提出一种新型正则化生成先验解决压缩感知线性逆问题,结合稀疏贝叶斯学习与生成模型适应性,支持少样本学习、免优化求解及不确定性量化,并经理论与实验验证。
2024-11-14 cs.LG eess.IV stat.ML
Dictionary Learning Strategies for Compressed Fiber Sensing Using a Probabilistic Sparse Model
提出了一种基于概率分层稀疏模型的压缩光纤传感稀疏估计和字典学习框架。为了处理严重的字典一致性,使用威布尔先验来实现选择性收缩,这可以与具有$0 < p < 1$的$p$范数约束的非凸优化相关。此外,我们利用特定的字典结构,以促进集体收缩的基础上,局部相似性模型。这以核函数的形式并入稀疏系数的联合先验密度中,从而建立马尔可夫随机场关系。近似推理是使用一种混合技术,结合汉密尔顿蒙特卡罗和吉布斯抽样。为了估计字典参数,我们追求两种策略,依赖于字典参数的确定性或概率模型。在第一种策略中,基于交替估计来估计参数。在第二种策略中,它与稀疏系数一起被联合估计。的性能进行评估比较,现有的方法在各种情况下,使用模拟和实验数据。
2016-10-21 stat.ML
Compressed Sensing for Energy-Efficient Wireless Telemonitoring of Noninvasive Fetal ECG via Block Sparse Bayesian Learning
University of California, San Diego(加州大学圣地亚哥分校)
胎儿心电远程监护是远程医疗的一个重要分支。高度期望设计用于流动使用的具有低能耗的经由无线体域网的远程监护系统。作为一种新兴的技术,压缩感知(CS)在低能耗的数据压缩/重构方面显示出巨大的潜力。然而,由于原始FECG记录的一些特定特征,例如非稀疏性和强噪声污染,当前CS算法在此应用中通常失败。这项工作提出了使用块稀疏贝叶斯学习(BSBL)框架来压缩/重建非稀疏原始FECG记录。实验结果表明,该框架可以重建高质量的原始录音。特别地,重建不破坏多通道记录之间的相互依赖关系。这确保了重构记录的独立成分分析分解具有高保真度。此外,该框架允许使用稀疏的二进制感测矩阵与少得多的非零项压缩记录。特别地,矩阵的每一列只能包含两个非零项。这表明,该框架,相比于其他算法,如目前的CS算法和小波算法,可以大大减少代码执行的CPU在数据压缩阶段。
2014-11-02 cs.LG stat.AP stat.ML
Two New Approaches to Compressed Sensing Exhibiting Both Robust Sparse Recovery and the Grouping Effect
在本文中,我们介绍了一种新的稀疏回归和压缩感知的优化配方,称为CLOT(组合L-One和Two),其中正则化是一个凸组合的$\ell_1$ -和$\ell_2$ -规范。该公式与弹性网络(EN)公式不同,在弹性网络(EN)公式中,正则化子是$\ell_1$ -和$\ell_2$ -范数平方的凸组合。结果表明,在压缩感知的背景下,EN制定没有实现稳健的恢复稀疏向量,而新的CLOT制定实现稳健的恢复。此外,与EN类似但与LASSO不同,CLOT公式实现了分组效应,其中测量(或设计)矩阵的高度相关列的系数被分配大致相当的值。已知LASSO不具有分组效应。因此,CLOT公式结合了LASSO(鲁棒稀疏恢复)和EN(分组效应)的最佳特征。CLOT公式是另一种称为SGL(稀疏组LASSO)的特殊情况,该SGL以前被引入到文献中,但没有对分组效应或鲁棒稀疏恢复进行任何分析。它在这里示出,SGL实现了强大的稀疏恢复,也实现了一个版本的分组效应,属于同一组的测量(或设计)矩阵的高度相关的列的系数被分配大致相当的值。
2017-06-20 stat.ML
Efficient Adaptive Compressive Sensing Using Sparse Hierarchical Learned Dictionaries
University of Minnesota, Twin Cities(明尼苏达大学双城分校)
压缩感知(CS)中的最近突破性结果已经确立,许多高维对象可以从相对少量的非自适应线性投影观测中准确地恢复,只要对象在某种基础上具有稀疏表示。随后的努力表明,CS的性能可以通过利用非零信号系数的位置中的结构(结构化稀疏性)或在感测过程中使用某种形式的在线测量聚焦(自适应性)来改善。在本文中,我们研究了这两种技术的强大的混合体。首先,我们描述了一个简单的自适应传感过程,并表明它是一个可证明的有效方法,用于获取稀疏信号,表现出结构稀疏性特征的基于树的系数依赖关系。接下来,采用稀疏层次字典学习的技术,我们表明,表现出适当形式的结构化稀疏的表示可以从训练数据的集合中学习。这些技术的组合导致有效且高效的自适应压缩采集过程。
2011-11-29 cs.CV cs.IT math.IT
Compressive Sensing Approaches for Sparse Distribution Estimation Under Local Privacy
Fudan University(复旦大学);Shanghai Jiao Tong University(上海交通大学);Tencent(腾讯)
近年来,许多网络服务提供商,如Google \cite{erlingsson2014rappor},Apple \cite{apple2017privacy}和Microsoft \cite{bolin2017telemetry},都采用了本地差分隐私(LDP)来私下收集和分析用户数据。本文考虑局部差分隐私约束下的离散分布估计问题。分布估计是最基本的估计问题之一,在非私有和私有环境下都得到了广泛的研究。在局部模型中,已知具有可证明的最优样本复杂度的私有机制。然而,它们只是在最坏的情况下才是最优的;它们的样本复杂度与整个宇宙的大小成正比,在实践中可能是巨大的。在本文中,我们考虑稀疏或近似稀疏(例如\高度偏斜)分布,并表明所需的样本数量可以显着减少。最近\cite{acharya2021estimating}对这个问题进行了研究,但他们只考虑了严格的稀疏分布和高隐私机制。我们提出了基于压缩感知的新的私有化机制。我们的方法适用于近似稀疏分布和中等隐私,并具有最佳的样本和通信复杂性。
2022-03-12 cs.CR cs.IT cs.LG
Encoder blind combinatorial compressed sensing
University of Oxford(牛津大学);The Alan Turing Institute(艾伦·图灵研究所)
在其最基本的形式中,压缩感知研究解码算法的设计,以从低维线性测量向量恢复足够稀疏的向量或代码。通常,假设解码器可以访问编码器矩阵,其在组合情况下是稀疏的和二进制的。在本文中,我们考虑的问题,设计一个解码器恢复一组稀疏码的线性测量单独,即没有访问编码器矩阵。为此,我们研究的矩阵分解任务,恢复编码器和稀疏编码矩阵从相关的线性测量矩阵。本文的贡献是一个计算效率高的解码算法,解码器扩展器为基础的因式分解,具有很强的性能保证。特别是,在温和的假设下,稀疏编码矩阵,并通过部署一个新的随机编码器矩阵,我们证明了解码器扩展器为基础的因式分解恢复编码器和稀疏编码矩阵在最佳的测量速率与高概率,并从一个接近最佳数量的测量向量。此外,我们的实验证明了我们的算法在实践中的有效性和计算效率。除了压缩传感,我们的研究结果可能会感兴趣的研究人员在线性素描,编码理论和矩阵压缩等领域的工作。
2021-07-19 cs.DM cs.LG eess.SP
On the Fundamental Limits of Recovering Tree Sparse Vectors from Noisy Linear Measurements
最近在压缩感知(CS)的突破性成果已经建立,许多高维信号可以准确地恢复从相对少量的非自适应线性观测,只要信号具有稀疏表示在一些基础上。随后的努力表明,CS的性能可以通过在推断期间利用非零信号系数的位置中的附加结构,或者通过在感测过程期间利用某种形式的数据相关的自适应测量聚焦来改善。据我们所知,我们自己以前的工作是第一个建立融合自适应感知和结构化稀疏概念时可以实现的潜在好处-该工作研究了从噪声线性测量中恢复支持的任务,并确定了专门针对树稀疏信号的自适应感测策略可以显著优于自适应和非自适应感测策略。对底层结构不可知的自适应感测策略。在这项工作中,我们建立了基本的性能限制的任务,支持恢复树稀疏信号从嘈杂的测量,在设置中,测量可以获得非自适应(使用随机高斯测量策略的初始CS调查的动机)或任何自适应传感策略。我们的主要结果在这里意味着,在我们以前的工作中分析的自适应树传感过程是接近最优的,在这个意义上,没有其他的传感和估计策略可以从根本上更好地识别树稀疏信号的支持。
2013-10-16 cs.IT math.IT math.ST
Double-detector for Sparse Signal Detection from One Bit Compressed Sensing Measurements
这封信提出了稀疏矢量信号检测从一位压缩感知测量,在以前的作品,处理标量信号检测。在这封信中,现有的结果扩展到矢量的情况下,GLRT检测器和最佳量化器的设计。此外,一个双检测器的计划,其中传感器级阈值检测器集成到网络级广义似然比,以提高性能。推导了预言探测器和透视探测器的探测准则。仿真结果表明,通过对门限检测器的精心设计,双检测器方案的总体检测性能优于文献[1]中提出的符号广义似然比检测器,接近预言检测器和透视检测器。此外,所提出的检测器被应用于频谱感知,其结果接近于使用实值数据的公知能量检测器,而所提出的检测器仅使用数据的符号。
2016-07-02 cs.IT math.IT stat.ML
Distilled Sensing: Adaptive Sampling for Sparse Detection and Estimation
自适应采样的结果显着改善恢复稀疏信号在高斯白噪声。提出并分析了一种称为蒸馏传感(DS)的顺序自适应采样和细化过程。DS是一种多阶段试验设计和测试的形式。由于数据收集的自适应性质,DS可以检测和定位比非自适应测量可能的信号弱得多的信号。特别是,可靠的检测和定位(支持估计),使用非自适应样本是可能的,只有当信号幅度的增长与问题的维度。在这里,它示出,使用自适应采样,可靠的检测是可能的,提供的幅度超过一个常数,和本地化是可能的,当幅度超过任何任意缓慢增长的功能的尺寸。
2010-05-27 cs.IT math.IT math.ST
Bayesian hypothesis testing for one bit compressed sensing with sensing matrix perturbation
这封信提出了一个低计算的贝叶斯算法噪声稀疏恢复的上下文中的一位压缩感知与感知矩阵扰动。所提出的算法被称为BHT-MLE包括一个稀疏支持检测器和一个幅度估计器。支持检测器使用贝叶斯假设检验,而幅度估计器使用通过求解凸优化问题获得的ML估计器。仿真结果表明,BHT-MLE算法以较低的计算代价提供了比ML估计(MLE)更高的重建精度。
2015-11-18 cs.IT math.IT stat.ML
Analog Sparse Approximation with Applications to Compressed Sensing
最近的研究表明,信号处理任务的性能通常可以通过使用基于稀疏表示的信号模型来显着提高,其中使用来自固定字典的少量元素来近似信号。不幸的是,在这个模型中的推理涉及到解决非光滑的最优化问题,这是计算昂贵的。虽然大量的努力集中在专门针对该问题开发数字算法上,但是这些算法对于许多应用是不合适的,因为解决大的最优化问题所必需的时间和功率要求。基于最近的工作在计算神经科学,我们探讨了潜在的优势,连续时间动力系统解决稀疏逼近问题,如果他们在模拟VLSI实现。具体而言,在恢复通过压缩感知技术获取的合成和MRI数据的模拟任务中,我们表明这些系统可以在10-20μs的时间尺度执行恢复,支持50-100 kHz的数据速率(比数字算法快几个数量级)。此外,我们分析表明,广泛的稀疏近似问题可以解决在相同的基本架构,包括近似$\ell^p$规范,修改后的$\ell^1$规范,重新加权$\ell^1$和$\ell^2$,块$\ell^1$规范和经典的Tikhonov正则化。
2011-11-17 math.OC stat.ML
Compressed Sensing for Energy-Efficient Wireless Telemonitoring: Challenges and Opportunities
压缩感知作为一种有损压缩框架,由于其能够降低能量消耗并使低功耗设备的设计成为可能,在无线远程生物信号监测中引起了广泛的关注。然而,生物信号的非稀疏性对压缩感知提出了重大挑战。本研究提出并评估了一种时空稀疏贝叶斯学习算法,该算法具有恢复非稀疏生物信号的能力。它利用每个个体生物信号中的时间相关性和来自不同通道的生物信号之间的通道间相关性。将该算法应用于多通道脑电信号的压缩感知中,以估计驾驶员的困倦程度。结果表明,即使原始EEG信号(包含各种伪影)被压缩90%,睡意估计几乎不受影响。
2014-04-21 cs.IT math.IT stat.ML
Multi-Sparse Signal Recovery for Compressive Sensing
KU Leuven(荷语鲁汶大学);University of Oldenburg(奥尔登堡大学)
针对在多个域中稀疏的信号,提出一种结合多稀疏约束和线性测量拟合约束的凸规划模型,以提高信号恢复性能,并以肌电信号为例验证了方法的有效性。
2012-06-04 cs.IT cs.SY eess.SY