Stable Recovery of Structured Signals From Corrupted Sub-Gaussian Measurements
本文研究了从少量的亚高斯测量中精确恢复结构化信号的问题。我们考虑三种不同的程序来重建信号和腐败时，不同种类的先验知识。在每种情况下，我们提供的条件（在测量的数量方面），从结构化的腐败与添加非结构化的噪声稳定的信号恢复。我们的结果从理论上证明了如何选择正则化参数在部分和完全惩罚恢复过程中，并揭示了三个程序之间的关系。在我们的分析中的关键成分是一个扩展的矩阵偏差不等式的各向同性次高斯矩阵，这意味着一个严格的下界的限制奇异值的扩展传感矩阵。数值实验验证了我们的理论结果。
2017-09-18 cs.IT math.IT
The price of ignorance: how much does it cost to forget noise structure in low-rank matrix estimation?
International Center for Theoretical Physics (ICTP)（国际理论物理中心）；Huawei Technologies Co., Ltd.（华为技术有限公司）；Institute of Science and Technology Austria (ISTA)（奥地利科学技术研究所）
我们考虑的问题，估计秩-1的信号损坏的结构旋转不变的噪声，并解决以下问题：如何做推理算法执行时，噪声统计是未知的，因此高斯噪声是假设？虽然与非结构化噪声匹配的贝叶斯最优设置是很好的理解，这个不匹配的问题的分析只是在其前提。在本文中，我们朝着理解失配的强源的影响，这是噪声统计。我们的主要技术贡献是严格的分析贝叶斯估计和近似消息传递（AMP）算法，这两个错误地假设高斯设置。第一个结果利用球面积分和低秩矩阵扰动的理论;第二个背后的想法是设计和分析一个人工AMP，通过利用去噪器的灵活性，能够“纠正”失配。有了这些尖锐的渐近刻画，我们揭示了丰富的，往往是意想不到的现象学。例如，尽管AMP原则上被设计为有效地计算贝叶斯估计量，但前者在均方误差方面优于后者。我们表明，这种性能差距是由于一个不正确的估计的信号范数。事实上，当SNR足够大时，AMP和贝叶斯估计器的重叠重合，并且它们甚至匹配考虑噪声结构的最优估计器的重叠。
2022-05-20 cs.IT cs.LG math.IT
Faster Algorithms for High-Dimensional Robust Covariance Estimation
Duke University（杜克大学）；University of Southern California（南加州大学）；Carnegie Mellon University（卡内基梅隆大学）
我们研究的问题估计的协方差矩阵的高维分布时，一个小的常数部分的样本可以任意损坏。最近的工作给出了这个问题的第一个多项式时间算法与几个自然的结构化分布的近最优误差保证。我们的主要贡献是开发更快的算法，这个问题的运行时间几乎匹配的计算经验协方差。给定$N = \tildeΩ(d^2/ε^2)$样本从$d$维高斯分布，$ε$ -分数，其中可能是任意损坏，我们的算法运行在时间$\tilde{O}(d^{3.26})/\mathrm{poly}(ε)$和近似的未知协方差矩阵的最佳误差的对数因子。具有可比误差保证的先前鲁棒算法在$ε= Ω(1)$时都具有运行时$\tildeΩ(d^{2 ω})$，其中$ω$是矩阵乘法的指数。我们还提供证据表明，提高我们的算法的运行时间可能需要新的算法技术。
2019-06-11 cs.DS cs.LG math.ST
The Role of Rank in Mismatched Low-Rank Symmetric Matrix Estimation
本文研究贝叶斯统计学家在恢复受高斯噪声破坏的低秩对称信号矩阵时的性能，推导了在秩、功率和信噪比不匹配下的渐近均方误差解析表达式，并利用GOE谱和球面积分严格分析了秩不匹配的影响。
2025-07-16 cs.IT eess.SP math.IT
Corrupted Sensing with Sub-Gaussian Measurements
本文研究了从少量的亚高斯测量中精确恢复结构化信号的问题。我们考虑三种不同的程序来重建信号和腐败时，不同种类的先验知识。在每种情况下，我们提供了稳定的信号恢复结构化腐败与非结构化噪声的条件。在我们的分析中的关键成分是一个扩展的矩阵偏差不等式的各向同性次高斯矩阵。
2017-05-22 cs.IT math.IT
Phase Transitions in Recovery of Structured Signals from Corrupted Measurements
Beijing Institute of Technology（北京理工大学）
本文研究了从相对较少的随机测量中恢复结构化信号的问题。尖锐的相变已在实践中观察到数值时，不同的凸规划程序来解决这个问题。本文致力于提出这些现象的理论解释，采用高斯过程理论的一些基本工具。具体来说，我们确定的精确位置的相变约束和惩罚恢复程序。我们的理论结果表明，这些相变是由一些几何结构的措施，例如，切锥的球面高斯宽度和到缩放次微分的高斯（平方）距离。利用已建立的相变理论，我们进一步研究了这两种恢复过程之间的关系，并揭示了在惩罚恢复过程中选择折衷参数的最优策略（在Lagrange理论意义下）.数值实验验证了我们的理论结果。
2021-01-03 cs.CV cs.IT math.IT
Quantized Corrupted Sensing with Random Dithering
受损传感涉及从被未知结构化损坏和非结构化噪声污染的测量集合中恢复高维结构化信号的问题。在线性测量的情况下，不同凸规划过程（例如，广义Lasso及其变体）在文献中得到了很好的建立。然而，在数字信号处理的实际应用中，量化过程是不可避免的，这往往会导致非线性测量。本文主要研究量化测量下的污染感知问题。具体来说，我们证明，在均匀抖动的帮助下，约束和无约束的Lassos都能够恢复信号和腐败的量化样本时，测量矩阵是亚高斯。我们的理论结果揭示了量子化分辨率在Lassos恢复性能中的作用。数值实验证实了我们的理论结果。
2021-03-24 cs.IT math.IT
Uniform Recovery Bounds for Structured Random Matrices in Corrupted Compressed Sensing
我们研究的问题，恢复$s$稀疏信号$\mathbf{x}^{\star}\in\mathbb{C}^n$从损坏的测量$\mathbf{y} = \mathbf{A}\mathbf{x}^{\star}+\mathbf{z}^{\star}+\mathbf{w}$，其中$\mathbf{z}^{\star}\in\mathbb{C}^m$是一个$k$稀疏腐败向量，其非零项可以是任意大的和$\mathbf{w}\in\mathbb{C}^m$是一个密集的噪声有界能量。其目标是通过易于处理的优化程序来精确稳定地恢复稀疏信号。在本文中，我们证明了该问题的一致恢复保证两类结构传感矩阵。第一类可以表示为单位范数紧框架（UTF）、随机对角矩阵和有界列正交矩阵（例如，部分随机循环矩阵）。当UTF是有界的（即$μ(\mathbf{U})\sim1/\sqrt{m}$），我们证明，以高概率，可以恢复$s$ -稀疏信号精确和稳定的$l_1$最小化程序，即使测量被损坏的稀疏向量，提供$m = \mathcal{O}(s \log^2 s \log^2 n)$和腐败的稀疏水平$k$是一个恒定的分数的测量总数。第二类考虑随机子采样正交矩阵（例如，随机傅立叶矩阵）。我们证明了统一的恢复保证腐败是稀疏的某些稀疏域。大量的仿真结果也被提出来验证和补充的理论结果。
2018-02-07 cs.IT math.IT
Bayes-optimal limits in structured PCA, and how to reach them
Abdus Salam International Center for Theoretical Physics（阿卜杜勒·萨拉姆国际理论物理中心）；Institute of Science and Technology, Austria（奥地利科学技术研究所）；Universidad de La República（共和国大学）
本文研究结构化噪声下尖峰 PCA 的贝叶斯最优极限，利用复本方法刻画信息论阈值，并提出由自适应 TAP 方程启发的新型 AMP 达到该极限。
2023-06-02 cond-mat.stat-mech cs.IT cs.LG
Simple Bounds for Noisy Linear Inverse Problems with Exact Side Information
本文考虑线性逆问题，我们希望估计一个结构化的信号$x$从其损坏的意见。当问题是不适定的，它是自然的，利用凸函数$f(\cdot)$，利用信号的结构。例如，$\ell_1$范数可用于稀疏信号。为了进行估计，我们考虑两个著名的凸规划：1）二阶锥规划（SOCP），和2）Lasso。假设高斯测量，我们表明，如果精确的信息值$f(x)$或$\ell_2$ -规范的噪声是可用的，可以做一个特别好的工作估计。特别地，重构误差变得与信号的“稀疏性”成比例，而不是与噪声向量的环境维度成比例。我们将我们的结果连接到现有的作品，并提供了一个讨论我们的结果与标准的最小二乘问题的关系。我们的误差界是非渐近的和尖锐的，他们适用于任意凸函数，不假设任何分布的噪声。
2013-12-05 cs.IT math.IT math.OC
Robust Spectral Compressed Sensing via Structured Matrix Completion
Stanford University（斯坦福大学）；The Ohio State University（俄亥俄州立大学）
本文提出一种无需先验模型阶数的增强矩阵补全算法，用于恢复频谱稀疏信号，证明在满足一定不相干条件时，算法能在样本数超过r log⁴n时实现完美恢复，并对噪声和部分样本损坏具有鲁棒性。
2014-07-20 cs.IT cs.NA cs.SY
Uniform Recovery Guarantees for Quantized Corrupted Sensing Using Structured or Generative Priors
本文针对量化损坏感知问题，利用抖动均匀量化器和亚高斯感知矩阵，为结构化先验和生成先验下的Lasso恢复建立了统一保证，并改进了量化乘积嵌入性质及误差衰减率。
2024-01-16 cs.IT eess.SP math.IT
PCA++: How Uniformity Induces Robustness to Background Noise in Contrastive Learning
McGill University（麦吉尔大学）；Mila；University of Toronto（多伦多大学）；MBZUAI
针对标准PCA在结构化背景噪声下恢复低维信号的局限，提出带硬均匀性约束的对比PCA方法PCA++，通过广义特征问题有闭式解，在高维强噪声场景稳定，实验优于PCA+和标准PCA，阐明均匀性对鲁棒性的作用。
2025-11-15 cs.LG stat.ML
Statistical Guarantees for Covariance Estimation with Adversarial Corruption under Constraints
Northwestern University（西北大学）
针对对抗污染的高斯数据，在协方差估计值位于星形集的约束下，该研究得到了 Frobenius 范数下结构化鲁棒协方差估计的首个近极小极大速率的一般性统计保证结果。
2026-10-09 math.ST stat.TH
Information-theoretic bounds and phase transitions in clustering, sparse PCA, and submatrix localization
我们研究的问题，检测结构化的，低秩的信号矩阵损坏加性高斯噪声。这包括高斯混合模型中的聚类、稀疏PCA和子矩阵定位。这些问题中的每一个都被证明表现出一个尖锐的信息理论阈值，低于该阈值的信号太弱，任何算法都无法检测到。我们推导出这些阈值的上限和下界，通过应用第一和第二矩方法的似然比之间的“种植模型”和空模型的信号矩阵为零。当秩很大（在聚类和子矩阵定位问题中，当聚类或块的数量很大时）或信号矩阵非常稀疏时，我们的边界最多相差根2的因子。此外，我们的上界表明，对于这些问题中的每一个，存在一个重要的制度，其中可靠的检测是信息-理论上是可能的，但已知的算法，如PCA完全失败，因为所观察到的矩阵的频谱是没有信息的。这种机制类似于稀疏图中社区检测的“硬但可检测”机制。
2017-01-23 cond-mat.dis-nn cond-mat.stat-mech cs.IT
Adaptive Detection of Structured Signals in Low-Rank Interference
在本文中，我们考虑的问题检测的存在（或不存在）的一个未知的，但结构化的信号从空间的时间输出的阵列下的强，非白干扰。我们的动机是检测的通信信号在干扰中，往往是已知的训练部分，但数据部分是不。我们假设测量被未知方差的加性高斯白噪声和一些强干扰破坏，其数量，功率和阵列响应是未知的。我们还假设所需的信号阵列响应是未知的。为了解决检测问题，我们提出了几个基于GLRT的检测方案，采用概率信号模型，并使用EM算法的似然最大化。数值实验来评估所提出的计划的性能。
2019-02-15 cs.IT math.IT
Denoising of structured random processes
平稳过程$(X_i)_{i \in Z}$的去噪是信息论和统计信号处理中的一个经典和基本问题。尽管在设计有效的去噪算法方面取得了相当大的进展，但对于一般的模拟源，尚未找到理论上建立的计算有效的方法。例如，在将被噪声$Z^n$破坏的$X^n$去噪为$Y^n=X^n+Z^n$时，给定$X^n$的全分布，最小均方误差（MMSE）去噪器需要计算$E[X^n|Y^n]$。然而，对于一般源，计算$E[X^n|Y^n]$在计算上是非常具有挑战性的，如果不是不可行的话。在本文中，开始由贝叶斯设置，其中的源分布是完全已知的，一种新的去噪方法，即量化最大后验（Q-MAP）去噪，提出并分析其渐近性能在高信噪比制度。无论是无记忆源，和结构化的一阶马尔可夫源，它表明，渐近$σ$收敛到零，${1\over σ^2}E[(X_i-\hat{X}^{\rm Q-MAP}_i)^2]$实现的Q-MAP去噪收敛到源的信息维。对于所研究的无记忆源，该限制已知是最佳的。Q-MAP去噪器的一个主要优点是，与MMSE去噪器不同，它突出了要在其去噪中使用的源分布的关键属性。该特性显著地降低了近似Q-MAP去噪器的解的计算复杂性。此外，它自然会导致基于学习的降噪。使用ImageNet数据库进行训练，初步仿真结果探索了这种基于学习的去噪器在图像去噪中的性能。
2019-01-21 cs.IT math.IT
Information limits and Thouless-Anderson-Palmer equations for spiked matrix models with structured noise
The Abdus Salam International Centre for Theoretical Physics（阿卜杜勒·萨拉姆国际理论物理中心）；Institute of Science and Technology Austria（奥地利科学技术研究所）
针对结构化旋转不变噪声下的低秩尖峰矩阵推断，论文结合副本法与广义球面积分刻画一般迹系综的信息论极限，并提出自适应 TAP 高效算法达到该极限。
2024-07-08 cond-mat.dis-nn cs.IT cs.LG
Predictive Learning on Hidden Tree-Structured Ising Models
Rutgers, The State University of New Jersey（罗格斯大学新泽西州立大学）；Michigan State University（密歇根州立大学）
我们提供了高概率的样本复杂性保证，使用来自非循环（树形）图形模型的噪声损坏样本进行精确的结构恢复和准确的预测学习。隐变量遵循树结构的伊辛模型分布，而可观测变量是由二进制对称通道生成的，该通道将隐变量作为其输入（以某个恒定概率$q\in [0,1/2)$独立翻转每个位）。在没有噪声的情况下，Bresler和Karzand（2020）最近研究了Ising模型的预测学习;本文通过证明样本复杂度的上限和下限，量化了隐藏模型中的噪声如何影响结构恢复和边缘分布估计的任务。我们的结果概括了现有工作中报道的最先进的界限，他们完全恢复无噪声的情况下（$q=0$）。事实上，对于具有$p$顶点和不正确恢复概率$δ>0$的任何树，足够数量的样本与无噪声情况一样保持对数，即，$\mathcal{O}(\log(p/δ))$，而对$q$的依赖是$\mathcal{O}\big( 1/(1-2q)^{4} \big)$。我们还提出了一个新的等价的符号值树结构分布的Isserlis定理，产生一个新的低复杂度的高阶矩估计算法。
2021-02-17 cs.IT cs.LG math.IT
Optimal structured approximation of Fourier subspaces, Toeplitz matrices, and exponential sums
University of California, Davis（加州大学戴维斯分校）；City University of New York, City College and Graduate Center（纽约市立大学城市学院及研究生院）
研究傅里叶矩阵范围恢复、低秩托普利兹/汉克尔矩阵恢复及有限指数和恢复三个问题，核心方法是应用梯度 - MUSIC算法，贡献是给出在多方面极小极大最优的算法及定量转移原理。
2026-07-15 cs.IT math.IT
Tensor estimation with structured priors
我们考虑秩一对称张量估计时，张量被高斯噪声破坏和尖峰形成的张量是一个结构化的信号来自一个广义线性模型。后者是一个数学上易于处理的模型的一个非平凡的隐藏的低维潜在结构的信号。我们工作在一个大的维度制度与固定比例的信号潜在的空间尺寸。值得注意的是，在这个渐近制度，之间的互信息的尖峰和观察可以表示为一个有限维变分问题，它是可能的，推导出最小均方误差从它的解决方案。我们讨论的例子中，作为一个函数的信号噪声比的相变的属性。典型地，临界信噪比随着信号-潜在空间维度的增加而降低。我们讨论了信号与潜在空间维数的消失比的极限，并确定了极限张量估计问题。我们还指出了与矩阵的情况下的相似性和差异。
2020-06-26 cs.IT math.IT
Recursive Sparse Recovery in Large but Structured Noise - Part 2
我们研究递归恢复稀疏向量的时间序列的问题，ST，从测量Mt：= ST + Lt的结构化噪声Lt，这是密集的，可以有很大的幅度损坏。我们需要的结构是，Lt应该位于一个低维子空间中，该子空间要么是固定的，要么变化“足够慢”;并且其协方差矩阵的特征值是“聚类的”。我们不假设稀疏向量序列上的任何模型。它们的支持集和它们的非零元素值可以是独立的，也可以是随时间相关的（通常在许多应用中它们是相关的）。唯一需要的是，有一些支持的变化，每隔一段时间。我们介绍了一种新的解决方案，称为递归投影压缩感知与聚类PCA（ReProCS-cPCA），解决了一些早期工作的局限性。在温和的假设下，我们表明，以高概率，ReProCS-cPCA可以在任何时候都准确地恢复St的支持集;并且St和Lt的重建误差都是由时不变的小值上界的。
2013-03-05 cs.IT math.IT
Accelerated Structured Alternating Projections for Robust Spectrally Sparse Signal Recovery
University of California, Los Angeles（加州大学洛杉矶分校）；Hong Kong University of Science and Technology（香港科技大学）；Southwestern University of Finance and Economics（西南财经大学）；Shenzhen University（深圳大学）
考虑由具有或不具有阻尼的$r$复正弦曲线组成的频谱稀疏信号$\boldsymbol{x}$。研究了在完全观测条件下谱稀疏信号的鲁棒恢复问题，即从$\boldsymbol{x}$和稀疏腐败向量$\boldsymbol{s}$的和$\boldsymbol{z}=\boldsymbol{x}+\boldsymbol{s}$中恢复$\boldsymbol{x}$和稀疏腐败向量$\boldsymbol{s}$。本文利用$\boldsymbol{x}$构造的Hankel矩阵的低秩性质，将该问题转化为一个低秩Hankel矩阵的鲁棒恢复问题.我们开发了一个高效的非凸算法，创造加速结构交替投影（ASAP）。ASAP的高计算效率和低空间复杂度是通过结构矩阵的快速计算和加速低秩近似的子空间投影方法来实现的。在对$\boldsymbol{x}$和$\boldsymbol{s}$的一些温和的假设下，建立了ASAP的线性收敛速度的理论恢复保证。合成和真实世界的数据的经验性能比较证实了ASAP的优势，在计算效率和鲁棒性方面。
2021-01-16 cs.IT cs.LG eess.SP
DM-SBL: Channel Estimation under Structured Interference
针对通信中AWGN与结构化干扰共存的信道估计难题，提出结合扩散模型与稀疏贝叶斯学习的DM-SBL方法，通过联合利用信道稀疏性与干扰结构实现高精度估计，低信干比下性能优于传统方法，还可推广至其他线性逆问题。
2024-12-07 cs.IT cs.LG eess.SP
