Efficient algorithms for robust recovery of images from compressed data
Curtin University（科廷大学）；Deakin University（迪肯大学）
压缩感知（CS）是一种重要的欠采样和可压缩数据恢复理论。最近，它已扩展Pham和Venkatesh应付腐败的CS数据被建模为脉冲噪声的情况下。新的配方，称为强大的CS，结合强大的统计和CS到一个单一的框架，以抑制离群值的CS恢复。为了解决新提出的鲁棒压缩感知问题，Pham和Venkatesh提出了一种迭代求解多个压缩感知问题的方案，这些问题的解收敛到真正的鲁棒压缩感知解。然而，该方案是相当低效的，因为它必须使用现有的CS求解器作为代理。为了克服原有的鲁棒CS算法的局限性，本文提出直接求解鲁棒CS问题，并通过遵循非光滑正则化的大规模凸优化的最新进展来驱动计算效率更高的算法。此外，我们还扩展了各种设置，包括额外的仿射约束，$\ell_1$ -范数损失函数，混合范数正则化，和多任务，以进一步提高强大的CS配方。我们还推导出简单而有效的算法来解决这些扩展。我们证明，新算法提供了更好的计算优势，原来的强大的CS制定，并有效地解决更复杂的扩展，原来的方法根本不能。我们证明了有用的扩展几个CS成像任务。
2012-11-26 cs.IT cs.LG math.IT
On one-stage recovery for $ΣΔ$-quantized compressed sensing
压缩感知（CS）是一种信号采集范式，同时获取和降低信号的稀疏表示的维数。当根据CS的原理获取这样的信号时，测量仍然采用连续统中的值。在当今的“数字”世界中，随后的量化步骤至关重要，其中这些测量值被有限集合中的元素取代。我们专注于产生有效的量化器CS的方法之一：$ΣΔ$量化，其次是一个阶段的易处理的重建方法，这是由Saab等人开发的。在亚高斯矩阵的情况下，理论误差保证。我们提出了两种替代方法，扩展这一结果更广泛的一类测量矩阵，包括（某些酉变换）部分有界正交系统和确定性结构的基础上啁啾传感矩阵。
2019-11-18 cs.IT math.IT math.ST
Robust Compressed Sensing using Generative Models
UT Austin（德克萨斯大学奥斯汀分校）
压缩感知的目标是从欠定的噪声线性方程组中估计高维向量。类似于经典压缩感知，这里我们假设生成模型作为先验，即，我们假设向量由深度生成模型$G: \mathbb{R}^k \rightarrow \mathbb{R}^n$表示。经典的恢复方法，如经验风险最小化（ERM），保证成功时的测量矩阵是亚高斯。然而，当测量矩阵和测量是重尾的或具有离群值时，恢复可能会显著失败。在本文中，我们提出了一个算法的启发，中位数的平均值（MENS）。我们的算法保证恢复重尾数据，即使在存在离群值。理论上，我们的研究结果表明，我们的新的基于MOM的算法享有相同的样本复杂度保证下的次高斯假设的ERM。我们的实验验证了我们的主张的两个方面：其他算法确实是脆弱的，失败的重尾和/或损坏的数据，而我们的方法表现出预测的鲁棒性。
2021-06-23 cs.IT cs.LG math.IT
Compressed Sensing and Affine Rank Minimization under Restricted Isometry
本文建立了压缩感知和仿射秩最小化的新的约束等距条件。它示出的压缩感知，$δ_{k}^A+θ_{k,k}^A < 1$保证精确恢复的所有$k$稀疏信号在无噪声的情况下，通过约束$\ell_1$最小化。此外，上界1在以下意义上是尖锐的：对于任何$ε> 0$，条件$δ_k^A + θ_{k, k}^A < 1+ε$不足以保证使用任何恢复方法的这种精确恢复。类似地，对于仿射秩最小化，如果$δ_{r}^\mathcal{M}+θ_{r,r}^\mathcal{M}< 1$，则所有秩至多为$r$的矩阵可以通过约束核范数最小化在无噪声情况下精确地重建;并且对于任何$ε> 0$，$δ_r^\mathcal{M} +θ_{r,r}^\mathcal{M} < 1+ε$不确保使用任何方法进行这样的精确恢复。此外，在噪声情况下，条件$δ_{k}^A+θ_{k,k}^A < 1$和$δ_{r}^\mathcal{M}+θ_{r,r}^\mathcal{M}< 1$也足以分别稳定恢复稀疏信号和低秩矩阵。还讨论了应用和扩展。
2013-04-12 cs.IT math.IT math.ST
Recovery of Low-Rank Plus Compressed Sparse Matrices with Application to Unveiling Traffic Anomalies
给定一个低秩矩阵的叠加加上一个已知的脂肪压缩矩阵乘以稀疏矩阵的产品，本文的目标是建立确定性的条件下，精确恢复的低秩和稀疏的组件成为可能。这一基本的可识别性问题与骨干网络中的流量异常检测有关，并包含压缩感知以及矩阵分解问题中遇到的及时低秩稀疏矩阵恢复任务。利用$\ell_1$ -和核范数恢复稀疏和低秩矩阵的能力，制定了一个凸规划来估计未知数。分析和仿真证实，所述凸程序可以恢复足够低的秩和足够稀疏的分量的未知数，随着压缩矩阵具有等距属性时，限制操作稀疏向量。当低秩、稀疏和压缩矩阵是从某些随机集合中提取时，可以确定精确的恢复是可能的，具有很高的概率。一阶算法被开发来解决具有可证明的迭代复杂性保证的非光滑凸优化问题。对合成和真实网络数据的深入测试证实了这种新方法在揭示流量和时间异常方面的有效性，以及其优于现有替代方案的能力。
2012-04-30 cs.IT cs.NI math.IT
Cover Tree Compressed Sensing for Fast MR Fingerprint Recovery
我们采用覆盖树的形式的数据结构和迭代应用近似最近邻（ANN）搜索的快速压缩感知信号的离散光滑流形上的重建。利用非精确迭代投影梯度（IPG）算法的稳定性结果，通过覆盖树的人工神经网络搜索，降低了IPG算法的投影代价，使其在低维光滑流形上的投影代价随数据量的增加而递增.我们将我们的研究结果应用于定量MRI压缩传感，特别是在磁共振指纹（MRF）框架内。对于类似的（有时更好）重建精度，我们报告2-3个数量级减少计算相比，使用蛮力搜索的标准迭代方法。
2018-09-12 stat.ML
Adaptive Compressed Sensing for Support Recovery of Structured Sparse Sets
本文研究了通过自适应压缩感知恢复结构化信号支持度的问题。我们研究了几类结构化的支持集，并通过压缩测量准确地恢复这些集的基本限制，同时提供自适应支持恢复协议，这些类的性能接近最佳。我们表明，通过自适应设计的传感矩阵，我们可以获得显着的性能增益超过非自适应协议。这些增益源于自适应感测可以：（i）更好地减轻噪声的影响，以及（ii）更好地利用支持集的结构。
2016-09-02 math.ST stat.TH
Binary Iterative Hard Thresholding Converges with Optimal Number of Measurements for 1-Bit Compressed Sensing
本文证明二进制迭代硬阈值算法在1位压缩感知中以最优测量数收敛，为非凸问题提供了有效解法。
2026-01-08 cs.DS cs.IT eess.SP
Learning Sampling and Model-Based Signal Recovery for Compressed Sensing MRI
Philips Research（飞利浦研究院）
压缩感知（CS）MRI依赖于k空间的充分欠采样来加速采集，而不会影响图像质量。因此，这些k-空间系数的最佳采样模式的设计受到了极大的关注，许多CS MRI方法利用可变密度概率分布。意识到最佳采样模式可能取决于下游任务（例如图像重建、分割或分类），我们在这里提出了任务自适应k空间采样和后续基于模型的邻近梯度恢复网络的联合学习。前者是通过概率生成模型实现的，该模型利用Gumbel-softmax松弛来在可训练的信念之间进行采样，同时保持可微性。所提出的高度灵活的采样模型和基于模型的（采样自适应）图像重建网络的组合促进了探索和有效的训练，与其他采样基线相比，产生了改进的MR图像质量。
2020-04-22 cs.LG eess.IV stat.ML
Fusion of Greedy Pursuits for Compressed Sensing Signal Reconstruction
贪婪追踪算法是压缩感知中稀疏信号恢复的一种常用算法。虽然许多贪婪的追求具有优雅的理论保证的性能，它是众所周知的，它们的性能取决于稀疏信号中的非零元素的统计分布。在实践中，稀疏信号的分布可能不是先验已知的。它还观察到，贪婪的追求的性能下降，可用的测量值的数量从一个阈值，这是方法相关的减少。为了提高在这些情况下的性能，我们引入了一个新的融合框架贪婪的追求，也提出了两个算法稀疏恢复。通过蒙特卡罗模拟，我们表明，所提出的计划，提高稀疏信号恢复干净，以及噪声测量的情况下。
2012-06-19 cs.IT math.IT stat.AP
Two New Approaches to Compressed Sensing Exhibiting Both Robust Sparse Recovery and the Grouping Effect
在本文中，我们介绍了一种新的稀疏回归和压缩感知的优化配方，称为CLOT（组合L-One和Two），其中正则化是一个凸组合的$\ell_1$ -和$\ell_2$ -规范。该公式与弹性网络（EN）公式不同，在弹性网络（EN）公式中，正则化子是$\ell_1$ -和$\ell_2$ -范数平方的凸组合。结果表明，在压缩感知的背景下，EN制定没有实现稳健的恢复稀疏向量，而新的CLOT制定实现稳健的恢复。此外，与EN类似但与LASSO不同，CLOT公式实现了分组效应，其中测量（或设计）矩阵的高度相关列的系数被分配大致相当的值。已知LASSO不具有分组效应。因此，CLOT公式结合了LASSO（鲁棒稀疏恢复）和EN（分组效应）的最佳特征。CLOT公式是另一种称为SGL（稀疏组LASSO）的特殊情况，该SGL以前被引入到文献中，但没有对分组效应或鲁棒稀疏恢复进行任何分析。它在这里示出，SGL实现了强大的稀疏恢复，也实现了一个版本的分组效应，属于同一组的测量（或设计）矩阵的高度相关的列的系数被分配大致相当的值。
2017-06-20 stat.ML
An Alternating l1 approach to the compressed sensing problem
压缩感知是一种新的传感器构造方法，它可以有效地恢复稀疏信号，只需要少量的观察。恢复问题通常可以说是寻找一个欠定线性方程组的最小可能支持的解决方案。这个困难的组合问题研究最多的放松是$l_1$ -放松搜索最小的$l_1$ -范数的解决方案。在这篇短文中，基于拉格朗日对偶的思想，我们引入了一个交替的$l_1$松弛的恢复问题，在实践中享有更高的恢复率比普通的$l_1$松弛和最近重新加权的$l_1$方法的Candès，Wakin和Boyd。
2009-09-23 stat.CO stat.ME
A coherence parameter characterizing generative compressed sensing with Fourier measurements
McGill University（麦吉尔大学）；Concordia University（康考迪亚大学）；University of British Columbia（不列颠哥伦比亚大学）
在Bora等人（2017）中，为压缩感知保证开发了一个数学框架，其中测量矩阵是高斯的，信号结构是生成神经网络（GNN）的范围。当测量矩阵和/或网络权重遵循亚高斯分布时，GNN的压缩感知问题已经被广泛分析。我们超越了亚高斯假设，测量矩阵是通过均匀采样在一个酉矩阵的随机行（包括子采样傅立叶测量作为一种特殊情况）。具体来说，我们证明了第一个已知的限制等距保证生成压缩感知与二次采样等距，并提供恢复边界，解决了一个开放的问题Scarlett等人。（2022年，第10页）。恢复效能的特点是一致性，一个新的参数，它衡量网络的范围和测量矩阵之间的相互作用。我们的方法依赖于子空间计数参数和思想的核心高维概率。此外，我们提出了一种正则化策略，用于训练GNNs，使其与测量算子具有良好的一致性。我们提供了令人信服的数值模拟来支持这种正则化的训练策略：我们的策略产生了低相干网络，需要更少的信号恢复测量。这与我们的理论结果一起，支持相干性作为一个自然的量来表征生成压缩感知与子采样等距。
2022-11-09 cs.IT cs.LG eess.SP
Uncertainty Autoencoders: Learning Compressed Representations via Variational Information Maximization
Stanford University（斯坦福大学）
压缩感知技术能够通过低维投影有效地采集和恢复稀疏的高维数据信号。在这项工作中，我们提出了不确定性自动编码器，这是一种受压缩感知启发的无监督表示学习框架。我们将低维投影视为自动编码器的噪声潜在表示，并直接学习采集（即，编码）和摊销恢复（即，解码）过程。我们的学习目标优化了数据点和潜在表示之间的互信息的易处理的变分下界。我们展示了我们的框架如何提供一个统一的治疗几条线的研究降维，压缩感知和生成建模。从经验上讲，我们证明了32%的改进，平均超过竞争的方法的任务，统计压缩感知的高维数据集。
2019-04-11 cs.LG cs.NE stat.ML
Weighted algorithms for compressed sensing and matrix completion
本文研究了压缩感知和矩阵完备问题的迭代重加权基追踪算法。在第一部分中，我们给出了一个理论解释的事实，重新加权基追踪可以改善基追踪在压缩感知的准确恢复了很多。我们展示了一个条件，链接的RIP和不相干常数的权重的准确性，这确保了准确的恢复。在第二部分中，我们介绍了一个新的算法矩阵完成，基于迭代加权的思想。由于加权核“范数”通常是非凸的，因此它不能容易地用作目标函数。因此，我们定义了一个新的估计的基础上的不动点方程。我们给出了经验证据的事实，这种新的算法导致强大的改进核模最小化的模拟和真实的矩阵完成问题。
2011-07-08 cs.IT math.IT math.ST
Spatiotemporal Sparse Bayesian Learning with Applications to Compressed Sensing of Multichannel Physiological Signals
University of California at San Diego（加州大学圣迭戈分校）；Samsung Research America – Dallas（三星美国研究院（达拉斯））
能量消耗是连续无线远程生理信号监护中的一个重要问题。压缩感知（CS）是一个很有前途的框架，以解决这一问题，由于其能量有效的数据压缩过程。然而，由于生理信号的非稀疏性，大多数CS算法在数据恢复方面存在困难。块稀疏贝叶斯学习（BSBL）是一种有效的方法来恢复这样的信号具有令人满意的恢复质量。然而，它是耗时的恢复多通道信号，因为它的计算负荷几乎线性增加的通道数。本文提出了一种时空稀疏贝叶斯学习算法来同时恢复多通道信号。它不仅利用每个声道信号内的时间相关性，而且还利用不同声道信号之间的声道间相关性。此外，它的计算负载不受通道数量的显著影响。将该算法应用于脑机接口（BCI）和基于脑电信号的驾驶员睡意估计。实验结果表明，该算法在恢复性能和速度上均优于BSBL算法。特别是，所提出的算法确保BCI分类和困倦估计有很小的退化，即使数据被压缩了80%，使其非常适合于连续无线远程监测的多通道信号。
2014-11-15 cs.IT cs.LG math.IT
Modeling Sparse Deviations for Compressed Sensing using Generative Models
Stanford University（斯坦福大学）
在压缩感知中，少量的线性测量可以用于重构未知信号。现有的方法利用对这些信号的结构的假设，例如稀疏性或生成模型的可用性。特定于域的生成模型可以提供更强的先验，从而允许用少得多的测量进行恢复。然而，与基于稀疏性的方法不同，基于生成模型的现有方法仅在其支持上保证精确恢复，这通常仅是定义信号的空间的一小部分。我们提出了Sparse-Gen，一个框架，允许稀疏偏差的支持集，从而实现了两全其美，通过使用特定领域的先验知识，并允许在整个信号空间的重建。从理论上讲，我们的框架提供了一类新的信号，可以使用压缩感知，减少经典的稀疏向量恢复到一个特殊的情况下，避免了限制性的支持，由于生成模型之前。从经验上讲，我们观察到重建精度的持续改进，特别是在更实际的传输压缩感知设置中，其中数据丰富的源域的生成模型有助于在数据稀缺的目标域上进行感知。
2018-07-31 cs.AI cs.LG stat.ML
Equivariant Priors for Compressed Sensing with Unknown Orientation
Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；Qualcomm AI Research（高通人工智能研究院）；Qualcomm Technologies Netherlands B.V.（高通技术荷兰有限公司）；Qualcomm Technologies, Inc.（高通技术公司）
在压缩感知中，目标是从线性测量的欠定系统重建信号。因此，需要关于感兴趣的信号及其结构的先验知识。此外，在许多情况下，信号在测量之前具有未知的取向。为了解决这样的恢复问题，我们建议使用等变生成模型作为先验，将方向信息封装在其潜在空间中。因此，我们表明，未知方向的信号可以恢复与迭代梯度下降的潜在空间，这些模型，并提供额外的理论恢复保证。我们构造了一个等变变分自编码器，并使用解码器作为压缩感知的生成先验。我们讨论了所提出的方法在收敛性和延迟方面的额外潜在收益。
2022-06-28 cs.LG eess.SP stat.ML
Compressed Sensing with Probability-based Prior Information
Zhejiang University of Technology（浙江工业大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Hangzhou Normal University（杭州师范大学）；University of York（约克大学）；PUC-Rio（里约热内卢天主教大学）
针对压缩感知系统，利用基于概率的先验信息设计了一种感知矩阵，并给出了一种稀疏恢复算法。利用字典中每个原子被使用的概率，得到一个对角加权矩阵，然后通过最小化一个加权函数来设计传感矩阵，使得等价字典的Gram尽可能接近字典的Gram.推导了相应传感矩阵的解析解，从而降低了计算复杂性。我们还利用这一先验信息，通过稀疏恢复阶段，并提出了一个概率驱动的正交匹配追踪算法，提高了恢复的准确性。通过对合成数据和监控视频应用场景的仿真，比较了所提方法与现有算法的性能。结果表明，建议CS系统优于现有的CS系统。
2019-10-27 cs.LG eess.SP stat.ML
New Null Space Results and Recovery Thresholds for Matrix Rank Minimization
核范数最小化（NNM）最近获得了显着的关注，其用于秩最小化问题。类似于压缩感知，使用零空间表征，在\cite{arxiv,Recht_Xu_Hassibi}中研究了NNM的恢复阈值。然而，仿真结果表明，阈值是远离最佳的，特别是在低秩区域。在本文中，我们应用最近的分析Stojnic压缩感知\cite{mihailo}的零空间条件的NNM。由此产生的阈值明显更好，特别是我们的弱阈值似乎与模拟结果相匹配。此外，我们的曲线表明，对于任何秩与矩阵大小$n$线性增长，我们只需要三倍的过采样（模型复杂度）弱恢复。与\cite{arxiv}类似，我们分析了弱阈值、分段阈值和强阈值的条件。另外，对正半定矩阵的特殊情况，也作了单独的分析。最后，我们讨论了模拟结果和未来的研究方向。
2010-11-29 cs.IT math.IT math.OC
A Compressed Sensing Based Decomposition of Electrodermal Activity Signals
University of Minnesota – Twin Cities（明尼苏达大学双城分校）；University of Wisconsin – Madison（威斯康星大学麦迪逊分校）；University of Toledo（托莱多大学）；Technicolor Research（Technicolor研究院）
皮肤电活动（EDA）的测量和分析提供了从市场研究到癫痫发作检测到人体压力分析等不同领域的应用。不幸的是，EDA信号的分析由于许多分量的叠加而变得困难，这些分量会模糊与用户对刺激的响应有关的信号信息。我们展示了如何简单的预处理，然后是一个新的基于压缩感知的分解可以减轻不需要的噪声分量的影响，并帮助揭示潜在的生理信号。建议的框架允许EDA信号的分解与可证明的界限上的用户响应的恢复。我们测试我们的程序从可穿戴传感器的合成和现实世界的EDA信号，并证明我们的方法允许更准确的恢复用户的反应相比，现有的技术。
2017-01-26 cs.LG stat.AP stat.ML
On the modified Basis Pursuit reconstruction for Compressed Sensing with partially known support
这篇短文的目的是对Vaswani和Lu介绍的在部分已知支持下的压缩感知中进行信号恢复的改进基追踪（$\ell_1$ -最小化）方法进行精细分析。问题是使用观测向量$y=Ax$来恢复信号$x \in \mathbb R^p$，其中$A \in \mathbb R^{n\times p}$和在高度欠定设置$n\ll p$中。基于信号的支持${\rm supp}(x)$的初始和可能错误的猜测$T$，Vaswani和Lu的改进的基追踪方法包括最小化仅由$T^c$索引的索引上的估计的$\ell_1$范数。我们证明了确切的恢复基本上根据限制等距性质的假设，为了2倍的基数的$T^c \cap {\rm supp}(x)$，即错过的组件的数量。
2015-09-04 math.OC math.ST stat.ME
Optimal variable selection and adaptive noisy Compressed Sensing
在高维线性回归模型的背景下，提出了一种在噪声压缩感知环境下的精确支持度恢复算法，其中设计矩阵的所有元素都是独立同分布的标准高斯。该算法实现了相同的条件下的精确恢复的穷举搜索（最大似然）解码器，并具有优势，后者的自适应的所有参数的问题和可计算的多项式时间。我们分析的核心在于研究变量选择的非渐近极小极大汉明风险。这使我们能够得到一个程序，这是近最佳的非渐近极大极小意义。然后，我们开发了它的自适应版本，并提出了一个强大的变体的方法来处理数据集的离群值和重尾分布的观察。所得到的多项式时间过程是接近最优的，自适应的所有参数的问题，也是强大的。
2019-10-21 math.ST stat.TH
On Practical Algorithms for Entropy Estimation and the Improved Sample Complexity of Compressed Counting
估计数据流的p阶频率矩是一个非常重要的研究问题。当p = 1时，这个问题实际上是微不足道的，假设严格的旋转门模型。我们提出的算法的样本复杂度基本上是O（1）接近p=1。这比以前认为的O（1/eps^2）界有了很大的改进。所提出的算法使得长期存在的熵估计问题变得容易，正如附录中的实验所验证的那样。
2010-04-21 cs.DS stat.ME
