Compressed Sensing with Deep Image Prior and Learned Regularization
University of Texas(得克萨斯大学);University of Southern California(南加利福尼亚大学)
我们提出了一种使用未经训练的深度生成模型进行压缩感知恢复的新方法。我们的方法基于最近提出的深度图像先验(DIP),其中网络的卷积权重被优化以匹配观察到的测量。我们表明,这种方法可以应用于解决任何可微线性逆问题,优于以前的未学习的方法。与基于生成模型的各种学习方法不同,我们的方法不需要在大型数据集上进行预训练。我们进一步介绍了一种新的学习正则化技术,它结合了网络权重的先验信息。这减少了重建误差,特别是对于有噪声的测量。最后,我们证明,使用DIP优化方法,适度过参数化的单层网络可以完美地拟合任何信号,尽管非凸性的拟合问题。这一理论结果为早期停止提供了依据。
2020-10-29 cs.IT cs.LG math.IT
Robust Compressed Sensing using Generative Models
UT Austin(德克萨斯大学奥斯汀分校)
压缩感知的目标是从欠定的噪声线性方程组中估计高维向量。类似于经典压缩感知,这里我们假设生成模型作为先验,即,我们假设向量由深度生成模型$G: \mathbb{R}^k \rightarrow \mathbb{R}^n$表示。经典的恢复方法,如经验风险最小化(ERM),保证成功时的测量矩阵是亚高斯。然而,当测量矩阵和测量是重尾的或具有离群值时,恢复可能会显著失败。在本文中,我们提出了一个算法的启发,中位数的平均值(MENS)。我们的算法保证恢复重尾数据,即使在存在离群值。理论上,我们的研究结果表明,我们的新的基于MOM的算法享有相同的样本复杂度保证下的次高斯假设的ERM。我们的实验验证了我们的主张的两个方面:其他算法确实是脆弱的,失败的重尾和/或损坏的数据,而我们的方法表现出预测的鲁棒性。
2021-06-23 cs.IT cs.LG math.IT
Robust 1-bit Compressed Sensing with Iterative Hard Thresholding
University of California San Diego(加州大学圣地亚哥分校)
本文研究1比特压缩感知中的噪声鲁棒性,证明BIHT算法在对抗性符号翻转下,以相同测量数实现$\tilde{O}(\epsilon+\tau)$误差,保持通用性,确立了迭代硬阈值的稳定性。
2023-10-12 cs.DS cs.IT cs.LG
Deep generative demixing: Recovering Lipschitz signals from noisy subgaussian mixtures
生成神经网络(GNN)因有效地捕捉自然图像中的内在低维结构而闻名。在这里,我们研究了两个Lipschitz信号的亚高斯解混问题,GNN解混是一种特殊情况。在去混合中,人们寻求在给定两个信号的和和先前的结构信息的情况下识别两个信号。在这里,我们假设每个信号都位于Lipschitz函数的范围内,其中包括许多流行的GNN作为特例。我们证明了接近最优恢复误差的样本复杂度界,该复杂度界将Bora等人(2017)的最新结果从高斯矩阵的压缩感知设置扩展到亚高斯矩阵的解混。在信号位于凸集的线性信号模型下,McCoy & Tropp(2014)描述了亚高斯混合下识别的样本复杂度。在本设置中,信号结构不需要是凸的。例如,我们的结果适用于一个域,这是一个非凸联盟的凸锥。我们使用训练的GNN进行数值模拟,支持这种分层模型的有效性,提出了一种算法,这将是进一步理论研究的有趣对象。
2020-10-13 cs.IT math.IT stat.ML
Fusion of Greedy Pursuits for Compressed Sensing Signal Reconstruction
贪婪追踪算法是压缩感知中稀疏信号恢复的一种常用算法。虽然许多贪婪的追求具有优雅的理论保证的性能,它是众所周知的,它们的性能取决于稀疏信号中的非零元素的统计分布。在实践中,稀疏信号的分布可能不是先验已知的。它还观察到,贪婪的追求的性能下降,可用的测量值的数量从一个阈值,这是方法相关的减少。为了提高在这些情况下的性能,我们引入了一个新的融合框架贪婪的追求,也提出了两个算法稀疏恢复。通过蒙特卡罗模拟,我们表明,所提出的计划,提高稀疏信号恢复干净,以及噪声测量的情况下。
2012-06-19 cs.IT math.IT stat.AP
Compressed Sensing under Matrix Uncertainty: Optimum Thresholds and Robust Approximate Message Passing
在压缩感知中,通过线性变换直接以压缩形式测量稀疏信号,然后重构原始信号。然而,通常情况下,线性变换本身只是近似已知的,这种情况称为矩阵不确定性,并且测量过程是有噪声的。在这里,我们提出了两个贡献这个问题:第一,我们使用的副本方法来确定矩阵不确定性下的稀疏信号的贝叶斯最优重建的均方误差。其次,我们考虑了一个强大的变种的近似消息传递算法,并证明数值上,在大系统的限制,该算法匹配的最佳性能在一个大的参数区域。
2013-01-05 cond-mat.stat-mech cs.IT math.IT
Uncertainty Autoencoders: Learning Compressed Representations via Variational Information Maximization
Stanford University(斯坦福大学)
压缩感知技术能够通过低维投影有效地采集和恢复稀疏的高维数据信号。在这项工作中,我们提出了不确定性自动编码器,这是一种受压缩感知启发的无监督表示学习框架。我们将低维投影视为自动编码器的噪声潜在表示,并直接学习采集(即,编码)和摊销恢复(即,解码)过程。我们的学习目标优化了数据点和潜在表示之间的互信息的易处理的变分下界。我们展示了我们的框架如何提供一个统一的治疗几条线的研究降维,压缩感知和生成建模。从经验上讲,我们证明了32%的改进,平均超过竞争的方法的任务,统计压缩感知的高维数据集。
2019-04-11 cs.LG cs.NE stat.ML
Compressed Sensing and Affine Rank Minimization under Restricted Isometry
本文建立了压缩感知和仿射秩最小化的新的约束等距条件。它示出的压缩感知,$δ_{k}^A+θ_{k,k}^A < 1$保证精确恢复的所有$k$稀疏信号在无噪声的情况下,通过约束$\ell_1$最小化。此外,上界1在以下意义上是尖锐的:对于任何$ε> 0$,条件$δ_k^A + θ_{k, k}^A < 1+ε$不足以保证使用任何恢复方法的这种精确恢复。类似地,对于仿射秩最小化,如果$δ_{r}^\mathcal{M}+θ_{r,r}^\mathcal{M}< 1$,则所有秩至多为$r$的矩阵可以通过约束核范数最小化在无噪声情况下精确地重建;并且对于任何$ε> 0$,$δ_r^\mathcal{M} +θ_{r,r}^\mathcal{M} < 1+ε$不确保使用任何方法进行这样的精确恢复。此外,在噪声情况下,条件$δ_{k}^A+θ_{k,k}^A < 1$和$δ_{r}^\mathcal{M}+θ_{r,r}^\mathcal{M}< 1$也足以分别稳定恢复稀疏信号和低秩矩阵。还讨论了应用和扩展。
2013-04-12 cs.IT math.IT math.ST
Robust 1-bit compressed sensing and sparse logistic regression: A convex programming approach
本文发展了关于噪声1位压缩感知和稀疏二项回归的理论结果。我们表明,一个单一的凸规划给出了一个准确的估计信号,或系数向量,这两个模型。我们证明了R^n中的s-稀疏信号可以使用一个简单的凸规划从m = O(slog(n/s))的单比特测量中精确估计。即使每个测量位以接近1/2的概率翻转,这仍然是真的。最坏的情况下(对抗)的噪声也可以考虑,并得出一致的结果,所有稀疏的输入。在稀疏逻辑回归的术语中,我们证明了O(slog(n/s))Bernoulli试验足以估计R^n中近似s-稀疏的系数向量。此外,相同的凸规划适用于几乎所有的广义线性模型,其中链接函数可能是未知的。据我们所知,这些是将稀疏逻辑回归理论与1位压缩感知联系在一起的第一个结果。我们的结果适用于一般的信号结构,除了稀疏性,只需要知道信号所在的集合K的大小。大小由K的平均宽度给出,K是一个可计算的量,其平方作为维数的鲁棒扩展。
2012-07-19 cs.IT math.IT math.ST
Error Bounds for Compressed Sensing Algorithms With Group Sparsity: A Unified Approach
在压缩感知中,为了从可能有噪声的测量中恢复稀疏或近似稀疏的向量,最流行的方法是$\ell_1$ -范数最小化。[1]中给出了真实向量和估计向量之间误差的$\ell_2$范数的上界,[2]中进行了回顾,而[3]中给出了$\ell_1$范数的界。当未知向量不是常规稀疏而是“组稀疏”时,在文献中已经提出了$\ell_1$ -范数的各种替代方案,包括组LASSO、稀疏组LASSO和具有树结构重叠组的组LASSO。然而,这些修改后的目标函数中的任何一个都没有误差界限。本文基于可分解范数和$γ$ -可分解范数的概念,给出了一种统一的方法来推导真向量与其逼近之间的误差上界。给出的边界覆盖了上面提到的所有规范,也为将来选择规范以适应稀疏性的替代形式提供了指导。
2015-12-29 stat.ML
Sparse Representation of a Polytope and Recovery of Sparse Signals and Low-rank Matrices
本文考虑压缩感知和仿射秩最小化在无噪和有噪情况下,并建立了尖锐的限制等距稀疏信号和低秩矩阵恢复条件。分析依赖于一个关键的技术工具,表示点的多面体的凸组合稀疏向量。该技术是基本的,但导致尖锐的结果。它示出,对于任何给定的常数$t\ge {4/3}$,在压缩感知$δ_{tk}^A < \sqrt{(t-1)/t}$保证精确恢复的所有$k$稀疏信号在无噪声的情况下,通过约束$\ell_1$最小化,并同样在仿射秩最小化$δ_{tr}^\mathcal{M}< \sqrt{(t-1)/t}$确保精确重建的所有矩阵的秩最多$r$在无噪声的情况下,通过约束核范数最小化。此外,对于任何$ε>0$,对于大的$k$,$δ_{tk}^A<\sqrt{\frac{t-1}{t}}+ε$不足以保证所有$k$稀疏信号的精确恢复。类似的结果也适用于基质回收。此外,条件$δ_{tk}^A < \sqrt{(t-1)/t}$和$δ_{tr}^\mathcal{M}< \sqrt{(t-1)/t}$也被证明是足够的,分别为稳定恢复的近似稀疏信号和低秩矩阵在噪声的情况下。
2013-10-22 cs.IT math.IT math.ST
The Noise-Sensitivity Phase Transition in Compressed Sensing
考虑线性方程的噪声欠定组:y= Ax 0 + z 0,其中n × N测量矩阵A,n < N,高斯白噪声z 0 ~ N(0,σ^2 I)。y和A都已知,x 0和z 0都未知,我们寻求x 0的近似值。当x 0有几个非零值时,通过l1-惩罚l2最小化获得有用的近似,其中重建\hxl求解min|| y轴||^2/2 + λ| |x||_1。通过均方误差(MSE = E)评估性能||\hxl - x0||_2^2/N)。考虑具有iid高斯元素和大系统极限的矩阵A,其中n,N \to \infty具有n/N \to δ和k/n \to ρ。将MSE/σ^2的比值称为噪声灵敏度。我们开发正式表达式的MSE的\hxl,并评估其最坏情况下的正式噪声灵敏度在所有类型的k-稀疏信号。曲线ρ= \rhoMSE(δ)将相空间0 < δ,ρ< 1分为两个区域。形式噪声灵敏度在整个区域ρ< \rhoMSE(δ)中是有界的,并且在整个区域ρ> \rhoMSE(δ)中是无界的。相位边界ρ= \rhoMSE(δ)与已知的k稀疏无噪声情况下l1 - l0最小化的等效相变曲线相同。因此,一个单一的相位边界描述了基本的相位过渡,无噪声和噪声的情况下。大量的计算实验验证了这种形式主义的预测,包括存在的博弈理论结构的基础it. Underlying我们的形式主义是AMP算法之前介绍的作者。作者的其他论文详细介绍了AMP的形式M…
2010-04-08 cs.IT math.IT math.ST
Beyond Independent Measurements: General Compressed Sensing with GNN Application
我们考虑的问题,恢复一个结构化的信号$\mathbf{x} \in \mathbb{R}^{n}$从嘈杂的线性观测$\mathbf{y} =\mathbf{M} \mathbf{x}+\mathbf{w}$。测量矩阵被建模为$\mathbf{M} = \mathbf{B}\mathbf{A}$,其中$\mathbf{B} \in \mathbb{R}^{l \times m}$是任意的,并且$\mathbf{A} \in \mathbb{R}^{m \times n}$具有独立的子高斯行。通过改变$\mathbf{B}$和$\mathbf{A}$的亚高斯分布,这给出了一系列测量矩阵,这些测量矩阵可能具有重尾、相关的行和列以及具有大动态范围的奇异值。当结构是作为一个可能的非凸锥$T \subset \mathbb{R}^{n}$,一个近似的经验风险最小化被证明是一个强大的估计,如果有效的测量数是足够的,即使在存在模型失配。在具有独立(子)高斯测量的经典压缩感知中,人们会问需要多少测量来恢复$\mathbf{x}$?然而,在我们的设置中,有效的测量次数取决于$\mathbf{B}$的属性。我们表明,$\mathbf{B}$的有效秩可以用作测量次数的替代品,如果这超过了$(T-T) \cap \mathbb{S}^{n-1}$的高斯平均宽度的平方,则可以保证准确的恢复。此外,我们详细研究…
2021-10-30 cs.IT math.IT math.ST
Decoding noisy messages: a method that just shouldn't work
这篇论文是关于通过一条嘈杂而昂贵的线路接收文本消息的。因为线路有噪声,我们需要冗余,但由于成本高昂,我们只能负担很少的冗余。我首先使用众所周知的机器来解码有噪声的消息(压缩感知),然后尝试减少冗余(使用随机投影),直到我使用比空间维度允许的更多的正交向量。这种方法并没有陷入停顿或发出噪音,它仍然能够正确或几乎正确地解码信息。我不知道为什么这种方法有效:这是我用叙述而不是正式的科学风格来写这篇论文的第一个原因(第二个原因是我厌倦了写半正式的散文,渴望改变)。
2022-04-26 math.OC math.ST stat.TH
From Sparse Signals to Sparse Residuals for Robust Sensing
University of Minnesota(明尼苏达大学)
传感器网络中的关键挑战之一是通过融合来自多个不同但可能不可靠的传感器的数据来提取信息。从最大数量的可靠传感器中恢复信息,同时指定不可靠的传感器是鲁棒传感的关键。这个传感器的任务在这里制定的线性方程组的可行子系统的最大数目,并证明是NP-难的。有用的链接建立压缩采样,其目的是恢复稀疏的向量。相反,这里的信号不是稀疏的,而是产生稀疏残差。利用这种形式的稀疏性,四个传感方案与互补的优势。第一个方案是一个凸松弛的原问题表示为一个二阶锥规划(SOCP)。研究表明,当所涉及的感知矩阵是高斯的,可靠的测量是足够多的,SOCP可以恢复的最优解以压倒性的概率。第二种方案是通过用凹目标函数代替初始目标函数得到的。第三和第四种方案是针对噪声传感器数据定制的。嘈杂的情况下,被铸造作为一个组合的问题,随后由(加权)SOCP替代。有趣的是,派生的成本函数属于强大的多变量线性回归的框架,而一个有效的块坐标下降算法的最小化。所有方案的鲁棒传感能力通过模拟测试进行了验证。
2011-03-27 cs.IT cs.LG math.IT
Compressed Sensing Measurement of Long-Range Correlated Noise
长程相关误差会严重影响噪声中尺度量子器件的性能和容错量子计算。表征这些误差对于通过校准和误差校正提高这些设备的性能以及确保正确解释结果非常重要。我们提出了一种用于检测两个量子比特相关的失相误差的压缩传感方法,仅假设相关性是稀疏的(即,最多S对量子位具有相关误差,其中S ≤ N(n-1)/2,并且N是量子位的总数)。特别地,我们的方法可以检测系统中任何两个量子位之间的长程相关性(即,相关性不限于几何局部的)。我们的方法具有高度可扩展性:它需要少至m = O(s log n)的测量设置,以及基于凸优化的高效经典后处理。此外,当m = O(s log^4(n))时,我们的方法对噪声具有高度鲁棒性,并且具有O(max(n,s)^2 log^4(n))的样本复杂度,可以与具有O(n^3)的样本复杂度的传统方法进行比较。因此,当相关性足够稀疏时,即当s < O(n^(3/2)/ log^2(n))时,我们的方法是有利的。我们的方法在小系统尺寸的数值模拟中也表现良好,并且对状态准备和测量(SPAM)误差有一定的抵抗力。我们方法中的关键成分是一种新型的压缩传感测量,它通过在量子比特的随机子集上制备纠缠Greenberger-Horne-Zeilinger态(GHZ态),并以高精度测量它们的衰减率来工作。
2021-05-26 cs.IT math.IT math.ST
Sparse Proteomics Analysis - A compressed sensing-based approach for feature selection and classification of high-dimensional proteomics mass spectrometry data
背景:高通量蛋白质组学技术,如质谱(MS)为基础的方法,产生非常高维的数据集。在临床环境中,人们通常对不同类别的患者之间的质谱如何不同感兴趣,例如来自健康患者的光谱与来自患有特定疾病的患者的光谱。需要机器学习算法来(a)识别这些区分特征,以及(b)基于该特征集对未知光谱进行分类。由于所获取的数据通常是有噪声的,因此算法应该对噪声和离群值具有鲁棒性,而所识别的特征集应该尽可能小。结果如下:我们提出了一种新的算法,稀疏蛋白质组学分析(SPA),基于压缩传感的理论,使我们能够识别一个最小的鉴别集的功能,从质谱数据集。我们展示了(1)我们的方法在人工和真实世界数据集上的表现,(2)它的性能与分析蛋白质组学数据的标准(和广泛使用的)算法具有竞争力,以及(3)它对随机和系统噪声具有鲁棒性。我们进一步证明了我们的算法的适用性,以前发表的临床数据集。
2016-11-26 math.ST stat.ML stat.TH
Sparse Representation of White Gaussian Noise with Application to L0-Norm Decoding in Noisy Compressed Sensing
在大系统的限制下,给出了基于超完备字典的高斯白噪声稀疏表示的可达域和逆域。此外,这种稀疏表示的边缘分布也被推断。结果是通过统计力学中的统计方法得到的。这些结果的一个直接结果是引入尖锐的阈值$\ell_{0}$范数解码噪声压缩感知,其均方误差欠定高斯矢量信道。
2017-02-10 cs.IT math.IT
Compressed Sensing over $\ell_p$-balls: Minimax Mean Square Error
我们考虑压缩感知问题,其中对象$x_0 \in \bR^N$是从不完整的测量值$y = Ax_0 + z$中恢复的;这里的感知矩阵$A$是具有iid高斯条目和$n < N$的$n \times N$随机矩阵。一种流行的稀疏性提升重建方法是$\ell^1$ -惩罚最小二乘重建(又名LASSO,基追踪)。目前流行考虑严格稀疏模型,其中对象$x_0$仅在一小部分条目中为非零。在本文中,我们反而考虑更广泛适用的$\ell_p$稀疏模型,其中$x_0$是稀疏的意义上有$\ell_p$范数有界的$ξ\cdot N^{1/p}$为一些固定的$0 < p \leq 1$和$ξ> 0$。我们研究的渐近制度,其中$n$和$N$都趋于无穷大的限制比$n/N = δ\in (0,1)$,无论是在嘈杂($z \neq 0$)和无噪声($z=0$)的情况下。在$x_0$的弱假设下,我们能够精确地评估$\ell^1$惩罚最小二乘的最坏情况下的渐近最小最大均方重建误差(AMSE):最小值超过惩罚参数,最大值超过$\ell_p$ -稀疏对象$x_0$。我们展示了渐近最不利的对象(最难稀疏信号恢复)和最大最小惩罚。我们的显式公式出乎意料地涉及统计决策理论中出现的经典数量。在本设置中,它们反映了惩罚的$\ell^1$最小化和标量软阈值之间更深的联系。这种连接,遵循从早期的工作的作者和合作者的AMP迭代阈值算法,仔细解释…
2011-03-24 cs.IT math.IT math.ST
Bayesian Nonparametric Dictionary Learning for Compressed Sensing MRI
Xiamen University(厦门大学);Columbia University(哥伦比亚大学);Ryerson University(瑞尔森大学)
我们开发了一种贝叶斯非参数模型,用于从高度欠采样的k空间数据重建磁共振图像(MRI)。我们将字典学习作为图像重建过程的一部分。为此,我们使用beta过程作为非参数字典学习先验,用于将图像补丁表示为字典元素的稀疏组合。除了其他字典学习变量之外,还可以从数据中推断字典的大小和特定于补丁的稀疏模式。字典学习直接在压缩图像上执行,因此适合于所考虑的MRI。此外,我们研究了与字典学习模型相结合的总变差惩罚项,并展示了字典学习的去噪特性如何消除对噪声环境中正则化参数的依赖。我们推导出一个随机优化算法的基础上马尔可夫链蒙特卡罗(MCMC)的贝叶斯模型,并使用交替方向的乘数法(ADMM)有效地执行总变差最小化。我们提出了几个MRI上的经验结果,这表明所提出的正则化框架可以提高重建精度比其他方法。
2014-07-26 cs.CV physics.med-ph stat.AP
Compressed sensing imaging techniques for radio interferometry
无线电干涉测量通过不完整和嘈杂的傅立叶测量来探测天体物理信号。压缩传感理论表明,此类测量实际上足以准确重建稀疏或可压缩信号。我们提出了新的通用成像技术的基础上凸优化的全局最小化问题定义在这方面。该框架的多功能性,特别是允许引入特定的先验信息的信号,这提供了显着改善的重建相对于标准的本地匹配追求算法CLEAN在射电天文学的可能性。我们通过研究两种不同类型的信号与非常通用的干涉配置观察到的模拟重建性能,说明了这种方法的潜力。第一类是致密天体的强度场。第二类是宇宙弦在宇宙微波背景辐射温度场中的印记,这对宇宙学特别有意义。
2009-02-19 astro-ph stat.AP
Performance Regions in Compressed Sensing from Noisy Measurements
在本文中,压缩感知与噪声测量解决。通过对Tanaka方程的求解,研究了理论上的最优重构误差。主要的贡献是表明,在几个区域,具有不同的测量速率和噪声水平,重建误差的行为不同。本文还评估了置信传播(BP)信号重建方法在发现的区域中的性能。当测量速率和噪声水平位于某个区域时,BP相对于Tanaka方程是次优的,并且可以开发在该区域中具有较低误差的重建算法。
2013-02-18 cs.IT math.IT
Recovering Block-structured Activations Using Compressive Measurements
我们认为,在一个大的矩阵中的弱激活的一个连续的块的检测和本地化的问题,从少量的噪声,可能自适应,压缩(线性)测量。这与压缩感知的问题密切相关,其中的任务是使用少量的线性测量来估计稀疏向量。相反,在压缩感知的结果,它已被证明,无论是自适应性,也不是连续的结构有很大的帮助,我们表明,可靠的本地化的最弱的信号的幅度是强烈的影响,结构和能力,选择测量自适应,而检测既不自适应也不结构降低对信号的幅度的要求。我们的特点之间的各种问题的参数,信号强度和可靠地检测和本地化的块激活所需的测量的数量的精确权衡。充分条件的信息理论的下限补充。
2013-06-24 stat.ML
Robust 1-Bit Compressed Sensing via Hinge Loss Minimization
本工作从理论上研究了从噪声$1$比特高斯测量中估计结构化高维信号$x_0 \in \mathbb{R}^n$的问题。我们的恢复方法是基于一个简单的凸规划,它使用铰链损失函数作为数据的保真度。虽然这种风险最小化策略对于学习二进制输出模型(例如在分类中)是非常自然的,但其估计特定信号向量的能力在很大程度上未被探索。一个主要的困难是,铰链损失只是分段线性,使其“曲率能量”集中在一个单一的点。这实质上不同于在信号估值中考虑的其它流行损失函数,例如,平方或逻辑损失,至少是局部强凸的。因此,有些出乎意料的是,我们仍然可以证明非常相似的类型的恢复保证铰链损失估计,即使在存在强噪声。更具体地说,我们的非渐近误差界表明,稳定和强大的重建$x_0$可以实现最佳过采样率$O(m^{-1/2})$的测量次数$m$。此外,我们允许广泛的一类结构上的地面真实信号的假设,在这个意义上,$x_0$可以属于一个任意的有界凸集$K \subset \mathbb{R}^n$。我们的主要结果的证明依赖于统计学习理论的一些最新进展,由于门德尔松。特别是,我们调用一个适应版本的门德尔松的小球方法,使我们能够建立一个二次下界的经验铰链损失函数的一阶泰勒近似的错误。
2020-05-30 cs.IT math.IT math.ST
Noisy 1-Bit Compressed Sensing Embeddings Enjoy a Restricted Isometry Property
我们研究了由高斯测量给出的1比特压缩感知的符号线性嵌入。人们可以给出简短的参数有关的限制等距性质的地图使用Vapnik-Chervonenkis维稀疏半球。这种方法对量化之前的加性白噪声的存在具有自然扩张。噪声一位映射示出,以满足RIP时的度量的领域是由噪声。
2016-04-12 cs.IT math.CA math.IT
Reconstruction of Sparse Signals under Gaussian Noise and Saturation
大多数压缩感知算法不考虑噪声压缩测量中的饱和效应,尽管饱和是现有传感器的有限动态范围的重要后果。处理饱和效应的少数算法要么简单地丢弃饱和测量,要么施加额外的约束以确保估计信号与给定均匀有界噪声的饱和测量(基于已知的饱和阈值)的一致性。在本文中,我们反而提出了一个新的数据保真度函数,这是直接基于确保一定形式的信号和饱和测量之间的一致性,并可以表示为负对数的某个精心设计的似然函数。我们的估计工作,即使在高斯噪声的情况下(这是无界的)的测量。我们证明了我们的数据保真度函数是凸的。此外,我们证明了它满足条件的限制强凸性,从而推导出一个上界的估计性能。我们还表明,我们的技术实验产生的结果优于最先进的各种实验设置下,从噪声和饱和测量的压缩信号恢复。
2021-02-08 cs.LG eess.SP stat.AP
Bayesian Cramér-Rao Bound for Noisy Non-Blind and Blind Compressed Sensing
本文讨论了使用压缩感知框架重建稀疏信号(在已知的完整基础上)的理论局限性。我们还将CS分为非盲和盲情况。然后,当测量矩阵元素为独立的零均值随机变量时,我们计算了估计稀疏系数的Bayesian Cramer-Rao界。仿真结果表明,当测量次数较少时,该下界与实际算法的性能之间存在较大差距。
2010-05-24 cs.IT math.IT
An Information Theoretic Study for Noisy Compressed Sensing With Joint Sparsity Model-2
在本文中,我们研究了一个支持集重建问题,其中感兴趣的信号是联合稀疏与一个共同的支持集,并在噪声的存在下,联合稀疏模型-2(JSM-2)采样。使用数学工具,我们开发的支持集重建的稀疏性,周围的尺寸,最小信噪比,测量向量的数量和测量的数量方面的失败概率的上限和下限。这些界限可以用来提供一个指导方针,以确定在各种应用中的压缩感知与噪声JSM-2的系统参数。在此基础上,给出了可靠支撑集重构的充分必要条件。我们解释这些条件,给出理论解释的好处,使联合稀疏结构在嘈杂的JSM-2。我们比较了我们的充分条件与现有的结果噪声多测量向量模型(MMV)。因此,我们表明,嘈杂的JSM-2可能需要更少的测量比嘈杂的MMV可靠的支持集重建。
2016-04-04 cs.IT math.IT
HISTORY: An Efficient and Robust Algorithm for Noisy 1-bit Compressed Sensing
我们考虑从1位测量的稀疏信号恢复的问题。由于采集和传输过程中存在的噪声,一些量化的比特可能会翻转到它们的相反状态。这些符号翻转可能导致严重的性能下降。在这项研究中,提出了一种新的算法,称为历史。它包括汉明支撑检测和系数恢复。HISTORY算法具有较高的恢复精度,并且对强测量噪声具有鲁棒性。数值结果证明了该算法的有效性和优越性。
2016-08-12 cs.IT math.IT
Optimized Compressed Sensing Matrix Design for Noisy Communication Channels
我们研究了一个压缩感知框架中的功率受限感知矩阵设计问题。我们采用均方误差(MSE)的性能标准,在系统中的源到传感器的信道和传感器到解码器的通信信道是嘈杂的稀疏源重建。我们提出的传感矩阵设计过程依赖于最小化MSE的下限。在一定的条件下,我们得到封闭形式的解决方案的优化问题。通过数值实验,应用实际的稀疏重建算法,我们通过与其他相关方法的比较,显示了该方案的实力。我们讨论了我们的设计方法的计算复杂性,并开发了一个等效的随机优化方法的兴趣,可以近似地解决了一个显着减少计算负担的问题。我们说明了低复杂度的方法仍然优于流行的竞争方法。
2014-09-26 cs.IT math.IT
Sparse recovery under weak moment assumptions
我们证明了满足相当弱的矩假设的iid随机向量可以用作压缩感知中的测量向量,并且精确重建所需的测量数量与最佳可能估计相同--由随机高斯矩阵表现出来。我们还证明了这一时刻的条件是必要的,直到一个$\log \log $因素。应用的兼容性条件和限制的特征值条件在嘈杂的设置和相邻随机多面体的性质进行了讨论。
2015-03-03 math.PR math.ST stat.TH
Distributed Quantization for Measurement of Correlated Sparse Sources over Noisy Channels
在本文中,我们设计和分析了分布式矢量量化(VQ)的压缩测量相关的稀疏源噪声信道。受压缩感知(CS)的框架,用于获取压缩测量的稀疏源的启发,我们开发优化的量化方案,使分布式编码和传输的CS测量噪声信道,然后在解码器的联合解码。的最优性是解决相对于最小化的总和之间的稀疏源和它们的重建向量在解码器的均方误差(MSE)失真。我们提出了一个矢量量化编码器-解码器的设计,通过迭代算法,并推导出一个下界的研究分布式系统的端到端的MSE。通过几个模拟研究,我们评估所提出的分布式方案的性能。
2015-07-27 cs.IT math.IT
On the SNR Variability in Noisy Compressed Sensing
压缩感知(CS)是一种采样范式,它允许同时测量和压缩信号,稀疏或可压缩的一些领域。执行测量的感测矩阵的选择对系统性能具有决定性影响,并且通常提倡随机绘制其元素。已经注意到,在存在输入(信号)噪声的情况下,由于噪声折叠效应,感测矩阵的应用导致SNR降级。事实上,它还可能导致压缩测量中的输出SNR在输入信号的支持上的变化,潜在地导致意外的非均匀系统性能。在这项工作中,我们研究的影响,从其中的传感矩阵的元素绘制的输出SNR的扩展的分布。我们推导出几种常见类型的传感矩阵的解析表达式,并表明SNR扩展的增长与测量的数量的减少。这使得它的负面影响特别明显的高压缩率,往往是感兴趣的CS。
2017-03-15 cs.IT math.IT
On the Achievability of Cramér-Rao Bound In Noisy Compressed Sensing
Cornell University(康奈尔大学);Sharif University of Technology(谢里夫理工大学);University of Grenoble(格勒诺布尔大学);Institut Universitaire de France(法国大学研究院)
最近Babadi等人证明了在噪声压缩感知中,一个联合的典型估计器可以渐近地达到问题的Cramer-Rao下界,为了证明这一结果,本文使用了Akcakaya等人提出的引理,该引理构成了证明的主要组成部分。该引理基于测量矩阵的高斯性假设及其在噪声域中的随机性。在这封信中,我们推广了Babadi等人通过放弃测量矩阵的高斯性假设而得到的结果。事实上,在我们的分析中,通过将测量矩阵视为确定性矩阵,我们发现了一个定理,该定理类似于Babadi等人的主要定理,适用于满足广义条件的随机生成(但在噪声域中是确定性的)测量矩阵。通过这一点,我们最后表明,在我们的广义假设下,估计的Cramer-Rao界是可实现的,通过使用典型的估计Babadi等人。
2013-08-25 cs.IT cs.LG math.IT
Channel-Optimized Vector Quantizer Design for Compressed Sensing Measurements
我们考虑矢量量化(VQ)传输的压缩感知(CS)测量噪声信道。采用均方误差(MSE)准则来度量稀疏向量与其重构向量之间的失真,推导出CS测量向量编码和稀疏源向量重构的信道优化量化原则。由此产生的必要的最佳条件是用来开发一种算法,通过考虑端到端的失真措施,用于训练信道优化的矢量量化(COVQ)的CS测量。
2014-04-30 cs.IT math.IT
Snapshot compressed sensing: performance bounds and algorithms
快照压缩感测(CS)是指其中多个帧被映射到单个测量帧中的压缩成像系统。所获取的帧中的每个像素是组合在一起的帧中的对应像素的噪声线性映射。虽然这个问题可以被转换为CS问题,但由于传感矩阵的非常特殊的结构,标准CS理论不能用来研究这样的系统。在本文中,一个基于压缩的框架是用于快照CS系统的理论分析。结果表明,这个框架导致两个新的,计算效率和理论分析的压缩为基础的恢复算法。所提出的方法是迭代的,并采用压缩码来定义和施加所需信号的结构。理论上的收敛保证,这两种算法。在模拟中,它示出,在无噪声和噪声测量的情况下,结合所提出的算法与定制的视频压缩代码,旨在利用视频帧的非局部结构,显着提高了最先进的性能。
2019-04-29 cs.IT math.IT
Deterministic Compressed Sensing Matrices from Additive Character Sequences
压缩感知是一种新的技术,它可以从欠采样测量中恢复稀疏信号。在这种对应关系中,一个$K \times N$测量矩阵的压缩感知确定性构造通过添加字符序列。Weil界,然后使用表明,矩阵具有渐近最佳的一致性$N=K^2$,并提出了一个充分条件的稀疏性水平的唯一稀疏恢复。此外,限制等距性质(RIP)的统计研究的确定性矩阵。利用小字母的加性字符序列,压缩感知矩阵可以通过线性反馈移位寄存器有效地实现。数值结果表明,确定性压缩感知矩阵保证可靠的匹配追踪恢复性能的无噪声和噪声的测量。
2010-09-30 cs.IT math.IT
Explicit RIP Matrices in Compressed Sensing from Algebraic Geometry
压缩感知是由E. J. Candés,J. Romberg,T. Tao和D. Donoho在2006年提出了稀疏信号的有效采样,在信号处理中有着广泛的应用。在实际应用中需要显式的限制等距性(RIP)测量矩阵。自2007年以来,R。DeVore,J. Bourgain et al和R. Calderbank等人从不同的数学对象给出了RIP矩阵的几种确定性构造。另一方面,Bajwa和Calderbank等人引入了测量矩阵的强相干性,用于噪声测量下的信号恢复。本文从代数几何的角度提出了一种新的压缩感知实值RIP测量矩阵的显式构造方法。我们的构造表明,使用更一般的代数几何对象,而不是曲线(AG码),RIP测量矩阵在压缩感知可以构建更小的相干性和更大的稀疏阶。代数几何中的RIP矩阵也有一个很好的渐近界,与Bourgain等人以前的构造和小偏差集的界相匹配。在否定的方面,我们证明了DeVore构造的RIP矩阵,它的直接代数几何推广和我们的一个新构造的RIP矩阵不满足强相干性质。然而,我们给出了一个修改后的版本的AG-RIP矩阵,它满足强相干性。因此,新的RIP矩阵在压缩感知从我们修改的代数几何结构可以用于恢复的信号从噪声测量。
2015-05-27 cs.IT math.IT
Boolean Compressed Sensing and Noisy Group Testing
分组测试的基本任务是从大的总体中恢复一个小的可区分的项目子集,同时有效地减少测试(测量)的总数。本文的主要贡献是采用了一种新的信息理论的角度来看群体测试问题。我们制定的组测试问题作为一个信道编码/解码问题,并推导出一个单字母的表征用于识别缺陷集的测试总数。虽然本文的重点主要是在组测试,我们的主要结果是普遍适用于其他压缩感知模型。对于许多有趣的嘈杂组测试场景,单字母特征被证明是有序紧密的。具体来说,我们考虑一个加性伯努利($q$)噪声模型,我们表明,$N$项目和$K$缺陷,测试$T$的数量是$O(\frac{K\log N}{1-q})$任意小的平均错误概率和$O(\frac{K^2\log N}{1-q})$的最坏情况下的错误标准。我们还考虑了稀释效应,即阳性样本池中的缺陷项可能以$u$的概率被稀释,并可能被遗漏。在这种情况下,它表明,$T$是$O(\frac{K\log N}{(1-u)^2})$和$O(\frac{K^2\log N}{(1-u)^2})$的平均和最坏情况下的错误标准,分别。此外,我们的界限,使我们能够验证现有的已知界限,包括确定性的无噪声的情况下,无噪声组测试和近似重建有界失真。我们的可实现性证明是基于随机编码和最大似然检测器的分析,我们的信息论下限是基于法诺不等式。
2013-12-10 cs.IT math.IT
Compressed Regression
最近的研究已经研究了稀疏性在高维回归和信号重建中的作用,建立了从稀疏数据恢复稀疏模型的理论限制。这一系列的工作表明,$\ell_1$ -正则化最小二乘回归可以准确地估计稀疏线性模型从$n$噪声的例子在$p$维度,即使$p$是远远大于$n$。在本文中,我们研究了这个问题的一个变种,其中原始$n$输入变量被压缩的随机线性变换到$m \ll n$的例子在$p$尺寸,并建立条件下,稀疏的线性模型可以成功地从压缩的数据恢复。这种压缩过程的主要动机是通过透露有关原始数据的少量信息来匿名化数据并保护隐私。我们描述了$\ell_1$正则化压缩回归所需的随机投影的数量,以确定真实模型中的非零系数,其概率接近1,这是一种称为"稀疏性“的属性。此外,我们证明了$\ell_1$正则化压缩回归渐近预测以及一个Oracle线性模型,一个属性称为持久性。最后,我们用信息论的术语描述了压缩过程的隐私特性,建立了压缩数据和未压缩数据之间衰减为零的互信息的上界。
2008-01-11 cs.IT math.IT stat.ML
Deterministic Compressed Sensing Matrices from Multiplicative Character Sequences
压缩感知是一种新的技术,它可以从欠采样测量中恢复稀疏信号。本文利用乘性特征序列确定性地构造了压缩感知的$K \times N$测量矩阵。确切地说,通过调制单位的本原$M$次根,将$M$元幂剩余或Sidelnikov序列的循环移位的常数倍布置为矩阵的列向量。Weil界证明了矩阵对于大$K$和$M$具有渐近最优相干性,并给出了稀疏解唯一的稀疏水平充分条件.此外,限制等距性质(RIP)的统计研究的确定性矩阵。数值结果表明,确定性压缩感知矩阵保证可靠的匹配追踪恢复性能的无噪声和噪声的测量。
2010-11-11 cs.IT math.IT
Information Theoretic Limits for Standard and One-Bit Compressed Sensing with Graph-Structured Sparsity
在本文中,我们分析了信息论的下限恢复稀疏信号所需的样本数在不同的压缩感知设置。我们专注于加权图模型,这是Hegde等人(2015)提出的基于模型的框架,用于标准压缩感知以及1位压缩感知。我们研究了有噪声和无噪声两种情况。我们的分析是通用的,因为它适用于任何用于恢复信号的算法。我们仔细构造限制合奏不同的设置,然后应用法诺不等式建立必要的样本数量的下限。此外,我们表明,我们的界是紧的一位压缩感知,而对于标准的压缩感知,我们的界是紧的信号中的非零条目的数量的对数因子。
2018-11-16 cs.IT math.IT
Convex Feasibility Methods for Compressed Sensing
我们提出了一种计算效率高的方法,用于从一系列噪声观测中恢复稀疏信号,称为压缩感知(CS)问题。CS理论要求求解一个凸约束最小化问题。我们建议将这个优化问题转化为一个凸可行性问题(CFP),并使用次梯度投影方法,这是迭代的,快速的,鲁棒的和收敛的计划解决CFP解决它。相对于一些最近推出的CS算法,如贝叶斯CS和梯度投影稀疏重建,这成为低效的问题的维数和稀疏度的增加,新提出的方法表现出显着的鲁棒性,这些因素。这使得次梯度投影方法对于大规模可压缩场景是高度可行的。
2010-06-19 cs.IT math.IT
Analysis of Regularized LS Reconstruction and Random Matrix Ensembles in Compressed Sensing
在测量矩阵维数变大的极限下,分析了带噪压缩感知中正则化最小二乘估计的性能。传感矩阵被认为是从一类随机合奏,封闭作为特殊情况下的标准高斯,行正交,几何和所谓的T-正交结构。具有非均匀稀疏性的源向量被包括在系统模型中。在分析中重点讨论了基于l1范数的正则化方法,并给出了基于l1范数的正则化方法的LASSO估计,即基追踪去噪。l2-范数和“零范数”正则化的扩展也简要讨论。结合一些新的矩阵积分的结果,使用副本的方法进行分析。数值实验验证了分析结果的准确性。数值实验表明,对于有噪压缩感知,标准高斯系综是测量矩阵的次优选择。正交构造在所有考虑的场景中提供了优越的性能,并且在实际应用中更容易实现。研究还发现,对于非均匀稀疏模式,当噪声水平不太高时,T-正交矩阵可以进一步改善重建的均方误差行为。然而,由于加性噪声在系统中变得更加突出,简单的行正交测量矩阵似乎是所考虑的集合中的最佳选择。
2016-02-02 cs.IT math.IT
Recovery Guarantees for Posterior Sampling of One-Bit Compressed Sensing
University of Electronic Science and Technology of China(电子科技大学)
该研究针对带先验的噪声1比特压缩感知,证明后验采样的恢复上界与下界几乎匹配,通过带扩散先验的即插即用算法实现后验采样,在FFHQ、ImageNet数据集上验证了方法有效性。
2026-10-14 cs.IT cs.LG math.IT
Relations between $β$ and $δ$ for QP and LP in Compressed Sensing Computations
在许多压缩传感应用中,线性规划(LP)已被用于重建稀疏信号。当观测有噪声时,LP公式被扩展为允许不等式约束,并且解决方案依赖于与观测噪声水平相关的参数$δ$。最近,一些研究人员也考虑了二次规划(QP)的压缩感知信号重建和解决方案,在这种情况下是依赖于一个拉格朗日乘子$β$。本文研究了$δ$与$β$之间的关系,并利用$δ$给出了$β$的上下界.对于给定的$δ$,这些界限可用于近似$β$。由于$δ$是一个物理相关的量,易于确定的应用程序,而一般没有简单的方法来确定$β$,我们的结果可以用来设置$β$时,QP用于压缩感知。我们的研究结果和实验验证也提供了一些洞察压缩感知产生的解决方案。
2010-12-24 cs.IT math.IT
Exact Performance Analysis of the Oracle Receiver for Compressed Sensing Reconstruction
稀疏或可压缩的信号可以从一定数量的噪声随机投影中恢复,小于经典香农/奈奎斯特理论所规定的数量。在本文中,我们推导出的Oracle接收机的均方误差性能的封闭形式的表达式,知道信号的稀疏模式。相对于现有的界限,我们的结果是准确的,不依赖于一个特定的实现的传感矩阵。此外,无论影响测量的噪声是白噪声还是相关噪声,我们的结果都成立。数值结果表明,方程和模拟之间的完美匹配,证实了结果的有效性。
2014-03-07 cs.IT math.IT
Robust one-bit compressed sensing with partial circulant matrices
我们提出了一个现实的情况下,一位压缩感知问题的最佳样本复杂度估计:该程序使用结构化矩阵(随机子采样循环矩阵),是强大的模拟预量化噪声以及对抗性的比特腐败的量化过程。我们的研究结果意味着,量化是不是一个统计上昂贵的过程中存在的非平凡的模拟噪声:恢复需要相同的样本大小,一个将需要有高斯测量矩阵和噪声模拟测量数据。
2018-12-17 cs.IT eess.SP math.IT
Analysis of Compressed Sensing with Spatially-Coupled Orthogonal Matrices
压缩感知(CS)的最新发展表明,使用特殊设计的测量矩阵,即空间耦合矩阵,可以实现CS的信息理论极限。在本文中,我们考虑由空间耦合的\emph{orthogonal}矩阵组成的测量矩阵。这种矩阵的一个示例是随机选择的离散傅里叶变换(DFT)矩阵。这样的选择享有较低的存储器复杂度和较快的乘法过程。我们的贡献是副本计算找到的均方误差(MSE)的贝叶斯最优重建这样的设置。我们说明了空间耦合的正交和高斯集成下的重建阈值是非常不同的,特别是在噪声的情况下。特别地,空间耦合的正交矩阵实现更快的收敛速率、更低的测量速率和减小的MSE。
2014-02-13 cs.IT math.IT
Noise Resilient Recovery Algorithm for Compressed Sensing
在这篇文章中,我们讨论了一种新的贪心算法恢复压缩采样信号在噪声条件下。在文献中提出的大多数贪婪恢复算法需要已知信号的稀疏性,或者对于已知的表示基础,从测量的数量来估计稀疏性。这些算法恢复信号时,噪声水平显着低。我们提出了熵最小化匹配追踪(EMP),它有能力拒绝噪声,即使当噪声电平是可比的信号电平。该算法可以满足可压缩信号和信号的稀疏性是事先未知的。仿真结果表明,该算法与传统的贪婪恢复算法相比,对高斯白噪声具有更好的鲁棒性。
2014-12-17 cs.IT math.IT
A note on reductions between compressed sensing guarantees
在压缩感测中,希望经由$m\ll n$噪声线性测量来获取近似稀疏的高维信号$x\in\mathbb{R}^n$,然后稍后仅在给定那些测量结果的情况下近似地恢复$x$。各种保证已被研究的概念近似恢复,一些孤立的民间传说的结果是已知的,说明某些形式的恢复比其他人更强,通过黑箱减少。在本说明中,我们提供了一个一般定理的强度等级的各种恢复保证。作为这个定理的推论,通过减少从压缩感知文献中的知名结果,我们得到了一个有效的$\ell_p/\ell_p$计划的任何$0<p<1$与最少数量的测量,目前已知的有效计划,提高最近的界限[SomaY16]。
2016-06-05 cs.DS cs.IT math.IT
Signal Estimation with Additive Error Metrics in Compressed Sensing
压缩感知通常处理从其噪声破坏的线性测量中估计系统输入,其中测量的数量小于输入分量的数量。估计过程的性能通常通过一些标准误差度量来量化,例如平方误差或支持集误差。在这种对应关系中,我们考虑一个有噪声的压缩感知问题,任何任意的误差度量。我们提出了一个简单,快速,高度通用的算法,估计原始信号,通过最小化由用户定义的误差度量。我们验证了我们的算法是最佳的,由于解耦原则,我们描述了一个一般的方法来计算任何错误度量的基本信息理论的性能限制。我们提供了两个示例度量-最小平均绝对误差和最小平均支持误差-并给出了这两种情况下的理论性能限制。实验结果表明,我们的算法优于方法,如松弛的信念传播(松弛BP)和压缩采样匹配追踪(CoSaMP),并达到建议的理论极限,我们的两个例子度量。
2013-10-04 cs.IT math.IT
Shannon Theoretic Limits on Noisy Compressive Sampling
在本文中,我们研究了在存在噪声的情况下,从压缩样本中恢复具有$L$非零系数的${\mathbb C}^M$中的稀疏信号所需的测量次数。对于一些不同的恢复标准,我们证明了$O(L)$(一个渐进的线性多个$L$)测量是必要的和充分的,如果$L$线性增长的函数$M$。这改进了现有文献,其主要集中在基于凸规划的特定恢复算法的变体上,为此需要$O(L\log(M-L))$测量。我们还表明,$O(L\log(M-L))$测量需要在次线性政权($L = o(M)$)。
2007-11-02 cs.IT math.IT
A probabilistic and RIPless theory of compressed sensing
本文介绍了一种简单而通用的压缩感知理论。在该理论中,感测机制简单地从概率分布F中随机独立地选择感测向量;它包括文献中讨论的所有模型-例如高斯,频率测量,但也为新的测量策略提供了框架。我们证明,如果概率分布F服从一个简单的不相干性和各向同性的属性,可以忠实地恢复近似稀疏的信号从最少数量的噪声测量。新颖之处在于,我们的恢复结果不需要限制等距属性(RIP)-它们使用一个弱得多的概念-或信号的随机模型。作为一个例子,该文件表明,一个信号与s非零项目可以忠实地恢复从约s log n傅立叶系数被噪声污染。
2010-11-19 cs.IT math.IT