Natural Thresholding Algorithms for Signal Recovery with Sparsity
基于最优$k$ -阈值技术的信号恢复算法是近年来提出的，它与传统的硬阈值方法有很大的不同。然而，基于OT的算法的计算成本在其发展的当前阶段仍然很高。这刺激了所谓的自然阈值（NT）算法及其变体在本文中的发展。NT算法族是通过所谓的正则化最优$k$阈值模型的一阶近似来开发的，因此该算法族的计算成本显著低于基于OT的算法。在正则化最优$k$ -阈值模型的目标函数的约束等距性和非线性下，给出了从噪声测量中恢复信号的NT-型算法的保证性能.实验结果表明，NT型算法是强大的，非常可比的几个主流算法的稀疏信号恢复。
2022-07-20 cs.IT math.IT
Rank Awareness in Joint Sparse Recovery
在本文中，我们重新审视稀疏多测量向量（MMV）的问题，其目的是恢复一组联合稀疏多通道向量从不完整的测量。这个问题已经收到越来越多的兴趣作为一个扩展的单通道稀疏恢复问题，这是在新兴领域的压缩感知的心脏。然而，稀疏逼近问题的起源，其中包括链接到阵列信号处理领域，我们找到了一个新的家庭的MMV算法的灵感的基础上的MUSIC算法。我们强调的作用的秩的系数矩阵X在确定的难度的恢复问题。我们得到了稀疏MMV解唯一性的充分必要条件，这表明X的秩越大，X的稀疏性越小，以确保唯一性。我们还表明，更大的秩X的计算工作量较少，需要通过组合搜索来解决MMV问题。在本文的第二部分，我们考虑实际的次优算法解决稀疏MMV问题。我们研究了流行的算法，如SOMP和混合范数最小化技术的排名意识，并显示它们是排名盲的最坏情况分析。然后，我们考虑一个家庭的贪心算法的排名意识。最简单的这种算法是离散版本的MUSIC，并保证在温和的条件下恢复稀疏向量的满秩MMV的情况下。我们扩展这个想法，开发一个秩感知的追求算法，自然减少到顺序递归匹配追求（ORMP）在单测量的情况下，也提供了保证恢复满秩多测量的情况下。数值仿真结果表明，秩感知算法在处理多个测量时明显优于现有算法。
2010-04-26 cs.IT math.IT
Oracle-order Recovery Performance of Greedy Pursuits with Replacement against General Perturbations
在实际应用中，压缩感知理论总是考虑到各种扰动。本文分析了当观测向量和感知矩阵都受到加性扰动污染时，带替换的贪婪追踪算法对稀疏恢复的恢复性能。具体地，具有替换的贪婪追踪包括三种算法，压缩采样匹配追踪（CoSaMP）、子空间追踪（SP）和迭代硬阈值（IHT），其中在每次迭代中评估和更新支持度估计。在可压缩信号的一般扰动下，基于约束等距性，给出了这些恢复算法的误差界的统一形式。结果表明，恢复性能是稳定的对这两个扰动。此外，这些界限进行了比较，与预言恢复-最小二乘解决方案与一些最大的项目的位置在幅度已知的先验。比较结果表明，在一定的信号和扰动条件下，这些算法的误差界与预言恢复的下界仅在系数上有差别，这表明带替换的贪婪追踪的预言恢复性能是有保证的.数值模拟验证了结论。
2013-03-09 cs.IT math.IT
A Fast Noniterative Algorithm for Compressive Sensing Using Binary Measurement Matrices
The University of Texas at Dallas（得克萨斯大学达拉斯分校）
在本文中，我们提出了一种新的压缩感知算法，利用二进制测量矩阵，并实现了超稀疏向量的精确恢复，在一个单一的通道，没有任何迭代。由于它的非迭代性质，我们的算法是数百倍的速度比$\ell_1$范数最小化，和方法的基础上扩展图，这两个都需要多次迭代。我们的算法可以容纳几乎稀疏的向量，在这种情况下，它恢复索引集的最大组件，也可以容纳突发噪声测量。与保证实现所有稀疏向量的精确恢复的压缩感知方法相比，我们的方法需要更少的测量。然而，实现统计恢复的方法，即恢复几乎所有但不是所有的稀疏向量，可能需要比我们的方法更少的测量。
2018-05-21 cs.IT cs.LG math.IT
Universal polar coding and sparse recovery
本文研究了通用的极化编码方案。特别地，在概率分布之间引入了排序的概念（称为卷积路径），以确定为一个分布设计的极性压缩（或通信）方案何时也可以成功用于另一个分布。原始极化解码算法也被推广到允许使用检查器的思想来学习关于源分布的信息的算法。这些工具被用来构建一个通用的压缩算法的二进制源，操作在最低的可实现的速率（熵），具有低复杂性和保证小的错误概率。在本文的第二部分中，通过极化技术来处理稀疏的高维离散信号的绘制问题。结果表明，完美恢复所需的测量数与$O(k \log (n/k))$界（二进制信号的最佳常数）是有竞争力的，同时提供了一个确定性的低复杂度的测量矩阵。
2010-12-02 cs.IT math.IT
Heavy-Ball-Based Hard Thresholding Algorithms for Sparse Signal Recovery
硬阈值技术在稀疏信号恢复算法的发展中起着至关重要的作用。将该方法与传统梯度下降方法的多步扩展重球加速方法相结合，提出了基于重球的硬阈值追踪（HBHT）和基于重球的硬阈值追踪（HBHTP）算法。结果表明，当测量矩阵的约束等距常数分别满足$δ_{3k}<0.618 $和$δ_{3k}<0.577,$时，HBHT和HBHTP可以成功地恢复$k$稀疏信号. HBHT和HBHTP的保证成功也分别在条件$δ_{2k}<0.356$和$δ_{2k}<0.377,$下显示。此外，本文还证明了这两个算法的有限收敛性和稳定性.随机问题的情况下进行模拟，比较所提出的算法和几个现有的性能。实验结果表明，HBHTP的性能非常接近于现有的几种算法，它需要更少的平均时间来实现信号恢复比这些现有的方法。
2022-04-20 cs.IT math.IT
Improving M-SBL for Joint Sparse Recovery using a Subspace Penalty
多测量向量问题（MMV）是压缩感知问题的推广，它解决了一组联合稀疏信号向量的恢复问题。本文的一个重要贡献是揭示了看似最不相关的最先进的MMV联合稀疏恢复算法- M-SBL（多稀疏贝叶斯学习）和基于子空间的混合贪心算法-有一个非常重要的联系。更具体地说，我们表明，取代M-SBL中的$\log\det(\cdot)$项的秩代理，利用火花减少属性发现基于子空间的联合稀疏恢复算法，提供了显着的改善。特别地，如果我们使用$p$准范数作为相应的秩代理，则所提出的算法的全局极小值与真实解$p \rightarrow 0$相同。此外，在相同的正则性条件下，我们表明，收敛到局部极小值是保证使用交替最小化算法，具有封闭形式的表达式，为每个最小化步骤，这是凸的。在不同的信噪比和信号幅度矩阵的条件数条件下的数值仿真表明，该算法的性能始终优于M-SBL算法和其他最先进的算法。
2015-03-25 cs.IT math.IT
Blind Recovery of Sparse Signals from Subsampled Convolution
子采样盲反卷积是从卷积样本中恢复两个未知信号。为了克服这一问题的不适定性，在实际应用中已经开发出基于先验知识的解决方案。特别是，稀疏模型提供了有前途的先验。然而，尽管这些方法在许多应用中取得了经验上的成功，但现有的分析在两个主要方面受到相当大的限制：信号和/或测量模型与实际设置的理论假设之间的差距;或者未能提供由信息理论限制定义的最佳范围内的参数值的性能保证。特别是，它已被证明是一个天真的稀疏模型是不是一个足够强的先验盲反卷积问题中的可识别性。相反，除了稀疏性之外，我们还采用了圆锥约束，这使得信号的频谱平坦。在此前提下，我们提供了一个迭代算法，实现保证性能的盲反卷积在接近最佳的样本复杂度。数值结果表明，迭代算法的经验性能符合性能保证。
2015-11-20 cs.IT math.IT
Error-Correction for Sparse Support Recovery Algorithms
University of Southern California（南加州大学）；Telecom Paris（巴黎电信学院）；Institut Polytechnique de Paris（巴黎综合理工学院）
考虑压缩感测设置，其中要利用给定算法从$n$线性测量恢复$m$ -稀疏$d$ -维信号$x$的支持$s^*$。假设测量结果使得算法不能保证完美的支持恢复，并且可能会丢失真实特征。它们能否有效地回收？本文通过一个简单的纠错模块LiRE来解决这个问题。LiRE将真实支持度$s^*$的估计$s_{in}$作为输入，并输出精确支持度估计$s_{out}$。在无噪声测量设置中，建立保证LiRE恢复整个支持的充分条件，即$s_{out}$包含$s^*$。这些条件意味着，例如，在高维制度LiRE可以纠正一个次线性的$m$数量的错误正交匹配追踪（OMP）。LiRE的计算复杂性为$O(mnd)$。随机高斯设计矩阵的实验结果表明，LiRE通过压缩采样匹配追踪，基追踪（BP）和OMP大大减少了完美支持恢复所需的测量数量。有趣的是，将LiRE添加到OMP产生比BP更准确且显著更快的支持恢复程序。这种观察在噪声测量设置中继续。最后，作为一个独立的支持度恢复算法与随机初始化，实验表明，LiRE的重建性能介于OMP和BP。这些结果表明，LiRE可以被用于一般，在任何次优基线支持恢复算法的顶部，以提高支持恢复或操作较少数量的测量，在一个相对较小的计算开销的成本。可替代地，LiRE可以用作相对于OMP具有竞争力的独立支持恢复算法。
2021-03-05 cs.IT cs.LG math.IT
When does OMP achieve exact recovery with continuous dictionaries?
本文提出了新的理论结果稀疏恢复保证的贪心算法，正交匹配追踪（OMP），在连续参数字典的上下文中。在这里，连续设置意味着字典是由无限不可数的原子组成的。在这项工作中，我们依赖于观察空间的希尔伯特结构来表示我们的恢复结果作为由两个原子之间的内积定义的内核的属性。使用Tropp的精确恢复条件的连续扩展，我们确定了允许在连续设置中分析OMP的关键假设。在这些假设下，OMP从任何观测到的$k$原子的线性组合中以精确的$k$步长明确地识别原子参数。这些参数在传统的稀疏恢复中起到了所谓的稀疏表示支持的作用。在我们的论文中，任何满足这些条件的核和参数集都被称为是可容许的。在一维设置中，我们展示了一个家庭的内核依赖于完全单调的功能，其容许性保持任何一组原子参数。对于高维参数空间，分析变得更加微妙。一个额外的假设，所谓的轴容许性，是为了确保一种形式的延迟恢复（在最多$k^D$步骤，其中$D$是参数空间的维数）。此外，保证恢复在确切的$k$步骤下导出一个额外的代数条件下，涉及一个有限的原子子集（建立作为一个扩展的一组原子被恢复）。我们表明，后者的技术条件简化的情况下，拉普拉斯内核，使我们能够推导出简单的条件$k$ -步骤准确的恢复，并进行基于相干性的分析方面的最小分离假设之间的原子被恢复。
2020-06-22 cs.IT math.IT physics.data-an
Successful Recovery Performance Guarantees of SOMP Under the L2-norm of Noise
本文基于互不相干性分析含噪SOMP的性能，给出有界噪声下精确支撑恢复条件及无界高斯噪声下服从Tracy-Widom定律的成功恢复概率下界，并揭示测量数、噪声水平、稀疏向量数量与互相干之间的理论关系。
2023-11-30 cs.IT eess.SP math.IT
A new and improved quantitative recovery analysis for iterative hard thresholding algorithms in compressed sensing
Mathematical Institute, University of Oxford（牛津大学数学研究所）；Department of Mathematics, Duke University（杜克大学数学系）
本文提出了一种新的IHT算法恢复分析，通过研究固定点条件，推导了收敛性和固定点存在的充分必要条件，并在确定性无噪和高斯测量矩阵有噪情况下，量化了稀疏信号恢复的稀疏性/欠采样权衡。
2014-11-07 cs.IT cs.NA math.IT
Robust Compressed Sensing using Generative Models
UT Austin（德克萨斯大学奥斯汀分校）
压缩感知的目标是从欠定的噪声线性方程组中估计高维向量。类似于经典压缩感知，这里我们假设生成模型作为先验，即，我们假设向量由深度生成模型$G: \mathbb{R}^k \rightarrow \mathbb{R}^n$表示。经典的恢复方法，如经验风险最小化（ERM），保证成功时的测量矩阵是亚高斯。然而，当测量矩阵和测量是重尾的或具有离群值时，恢复可能会显著失败。在本文中，我们提出了一个算法的启发，中位数的平均值（MENS）。我们的算法保证恢复重尾数据，即使在存在离群值。理论上，我们的研究结果表明，我们的新的基于MOM的算法享有相同的样本复杂度保证下的次高斯假设的ERM。我们的实验验证了我们的主张的两个方面：其他算法确实是脆弱的，失败的重尾和/或损坏的数据，而我们的方法表现出预测的鲁棒性。
2021-06-23 cs.IT cs.LG math.IT
Analysis of Optimal Thresholding Algorithms for Compressed Sensing
最优$k$ -阈值追踪（OT）和最优$k$ -阈值追踪（OTP）是新近提出的用于压缩感知和信号逼近的阈值技术框架。这种框架激发了称为松弛最优$k$ -阈值（$\textrm{ROT}ω$）和松弛最优$k$ -阈值追踪（$\textrm{ROTP}ω$）的实用且有效的算法，其通过OT和OTP的最紧凸松弛来开发，其中$ω$是规定的整数。在\cite{Z19}中展示的初步数值结果表明，这些方法可以稳定地重建具有宽范围稀疏水平的信号。然而，这些算法与参数$ ω\geq 2 $的保证性能尚未建立在\cite{Z19}。本文的目的是显示OT和OTP的保证性能方面的限制等距属性（RIP）的感知矩阵管理的$k$ -稀疏信号恢复的近最优阶，并建立第一个保证性能的结果$\textrm{ROT}ω$和$\textrm{ROTP}ω$与$ ω\geq 2.$在同一时间，我们提供了一个数值比较ROTP $ω$和几个现有的阈值方法。
2020-12-19 cs.IT math.IT math.OC
Quantitative recovery conditions for tree-based compressed sensing
Mathematical Institute, University of Oxford（牛津大学数学研究所）
本文提出一种简化比例-维度渐近框架，用于评估基于树结构的压缩感知的恢复保证，通过改进分析方法，得出了更精确的测量数量与稀疏度关系的定量化结果。
2016-08-15 cs.IT cs.NA math.IT
Recovery of Signals with Low Density
Integrated Information Processing (IIP) Group（集成信息处理组）；Department of Information Technology and Electrical Engineering, ETH Zürich, Switzerland（苏黎世联邦理工学院信息技术与电气工程系）
研究一种信号密度度量（向量的$\ell_1$范数与$\ell_\infty$范数之比），基于此得出更通用的核结果和不确定性关系，还用于分析 OMP，证明其能恢复幅度衰减的稀疏信号并识别任意信号最大项。
2026-07-27 cs.IT math.IT
Sparse Affine Sampling: Ambiguity-Free and Efficient Sparse Phase Retrieval
传统的稀疏相位恢复方案只能从线性测量的幅度恢复稀疏信号，直到全局相位模糊度。这项工作提出了一种新的方法，而不是利用仿射测量的幅度，以实现无歧义信号重建。所提出的方法依赖于两个阶段的方法，包括支持识别，然后精确恢复非零信号条目。在无噪声的情况下，完美的支持识别使用一个简单的计数规则是保证受到一个温和的条件下的信号稀疏性，和随后的精确恢复的非零信号条目可以得到封闭形式。该方法扩展到两个嘈杂的场景，即稀疏噪声（或离群值）和非稀疏有界噪声。对于这两种情况下，完美的支持识别仍然确保在温和的条件下的噪声模型，即，稀疏离群值的支持大小和有界噪声的功率。在完全支持识别下，稀疏噪声情况下使用简单多数规则可以实现精确的信号恢复，而非稀疏有界噪声情况下使用线性最小二乘（LS）估计可以实现有界误差的重建。后一种情况下获得的分析性能保证也揭示了感测矩阵和偏置向量的建设。事实上，我们表明，一个接近最佳的性能可以实现高概率的随机生成的非零条目的稀疏感测矩阵和偏置向量根据均匀分布在一个圆。使用合成和真实世界的数据集的计算机模拟提供证明所提出的方案的有效性。
2021-05-24 cs.IT math.IT
The Surprising Benefits of Hysteresis in Unlimited Sampling: Theory, Algorithms and Experiments
无限传感框架（USF）最近被引入，以克服传统的数字采集系统中的传感器饱和瓶颈。在其核心，USF允许通过将连续时间信号转换为折叠的低动态范围（LDR）模样本来重建高动态范围（HDR）信号。然后通过折叠样本的算法展开来执行HDR重建。然而，在硬件中，实现理想的模折叠需要仔细的校准、模拟设计和高精度。在理论和实践的界面上，本文探讨了一种计算采样策略，该策略通过一种新的、数学上有保证的恢复方法来补偿它们，从而放松了严格的硬件要求。我们的出发点是USF的广义模型。除了模阈值之外，泛化依赖于对滞后和折叠瞬态建模的两个新参数。滞后说明了复位阈值与折叠时间处的振幅位移之间的失配，并且我们将复位的实现中的连续过渡时段称为折叠瞬态。这两种效应都是由我们的硬件实验激发的，也发生在以前的特定领域的应用程序中。我们表明，滞后的影响是有益的USF，我们利用它来获得我们的广义USF模型的上下文中的第一个恢复保证。此外，我们展示了如何建议的恢复可以直接推广的情况下，较低的采样率。我们的理论工作证实了硬件实验，是基于一个滞后使能，模数转换器测试平台，包括现成的电子元件。因此，通过利用硬件和算法之间的协作，我们的论文实现了用于HDR采样的端到端流水线，从而允许更灵活的硬件实现。
2021-11-24 cs.IT eess.SP math.IT
