Achievable Angles Between two Compressed Sparse Vectors Under Norm/Distance Constraints Imposed by the Restricted Isometry Property: A Plane Geometry Approach
在压缩感知(compressive sensing,CS)问题的研究中,两个压缩稀疏向量之间的夹角受到感知矩阵的约束等距性(restricted isometric property,RIP)所施加的范数/距离约束,起着至关重要的作用。假设(i)u和v是两个稀疏的向量分开的角度theta,和(ii)的传感矩阵Φ满足RIP,本文的目的是在分析表征Φ *u和Φ * v之间的可实现的角度。出于RIP的几何解释和众所周知的余弦定律的帮助下,我们提出了一个平面几何为基础的制定所考虑的问题的研究。结果表明,所有RIP诱导的范数/距离的限制Phi*u和Phi*v可以共同描绘通过一个简单的几何图中的二维平面。这允许从几何角度对所有考虑的代数约束进行联合分析。通过进行平面几何分析的基础上所构造的图,最大和最小可达角的封闭形式的公式推导。计算机模拟证实,所提出的解决方案是严格的比现有的基于代数的估计使用极化身份。所得到的结果被用来推导出一个更严格的限制等距常数的结构化传感矩阵的某种,即,那些在产品的正交投影矩阵和随机传感矩阵的形式。后续应用程序的三个CS问题,即,压缩域干扰消除,基于RIP的分析的正交匹配追踪算法,和研究民主性质的随机感测矩阵进行了研究。
2012-02-06 cs.IT math.IT
Kirkman Equiangular Tight Frames and Codes
等角紧框架(ETF)是欧氏空间中的一组单位向量,其相干性尽可能小,等于Welch界。也称为Welch-bound-equality序列,这种帧出现在各种应用中,例如波形设计和压缩感测。目前,只有两种已知的灵活的方法来构建ETF:谐波ETF是通过从离散傅立叶变换中仔细提取行来形成的;斯坦纳ETF是由组合设计和规则单纯形的张量组合产生的。这两类看起来非常不同:谐波ETF中的向量具有恒定的振幅,而Steiner ETF非常稀疏。我们证明了它们实际上是紧密相连的:一大类斯坦纳ETF可以被统一地转换为恒定振幅的框架,称为柯克曼ETF。此外,我们表明,一类重要的谐波ETF是一个子集的一类重要的Kirkman ETF。这种联系为两种类型的帧的讨论提供了信息:一些Steiner ETF可以转换为恒定幅度波形,使其在波形设计中更有用;一些谐波ETF具有低火花,使其不太适合压缩感知。我们得出结论,实值恒定振幅的ETF是等价的二进制代码,实现灰色-兰金界,然后构建这样的代码使用Kirkman ETF。
2013-06-13 cs.IT math.IT
LP Decoding meets LP Decoding: A Connection between Channel Coding and Compressed Sensing
介绍了两种线性规划解码器,即信道编码线性规划解码(CC-LPD)和压缩感知线性规划解码(CS-LPD)。到目前为止,它们都是独立发展的。本文的目的是表明,有一个紧密的联系,一方面,CS-LPD的基础上的零-一测量矩阵的实数,另一方面,CC-LPD的二进制线性码,这是通过查看此测量矩阵作为一个二进制奇偶校验矩阵。这种连接允许将性能保证从一种设置转换到另一种设置。
2009-10-06 cs.IT math.IT
CaSCADE: Compressed Carrier and DOA Estimation
频谱感知和波达方向(DOA)估计已被彻底研究,无论是单独的,并作为一个联合的任务。估计一组信号的支持度及其DOA对于许多信号处理应用(例如认知无线电(CR))是至关重要的。CR面临的一个具有挑战性的场景是多频带信号,由分布在宽频谱上的多个窄带传输组成,每个传输具有未知的载波频率和DOA。这种信号的奈奎斯特速率很高,并且在模拟域和数字域中都构成了瓶颈。为了缓解采样率问题,在频谱感知的背景下,已经提出了几种亚奈奎斯特采样方法,例如多陪集采样或调制宽带转换器(MWC)。在这项工作中,我们首先提出了一种替代的子奈奎斯特采样和信号重构方法的MWC,基于均匀线阵(UWB)。然后,我们将我们的方法扩展到联合频谱感知和DOA估计,并提出了压缩载波和DOA估计(CaSCADE)系统,由一个L形阵列与两个ULA。在这两种情况下,我们得到完美的恢复条件的信号参数(载波频率和DOA,如果相关)和信号本身,并提供两个重建算法,一个基于ESPRIT方法和第二压缩感知技术。我们的联合载波和DOA恢复算法克服了众所周知的配对问题之间的两个参数。仿真结果表明,我们的替代频谱感测系统优于MWC的恢复误差和设计复杂性方面,并显示联合载波频率和DOA从我们的CaSCADE系统的子奈奎斯特样本。
2016-04-10 cs.IT math.IT
High Resolution Compressed Sensing Radar using Difference Set Codes
在本文中,我们考虑压缩感知(CS)为基础的恢复延迟和多普勒频率的高分辨率雷达的目标。我们提出了一种新的次奈奎斯特采样方法在傅立叶域的基础上的差集(DS),称为DS采样,创建字典与高度不相干的原子。如果采用DS采样,字典的相干性达到Welch最小界。这个属性让我们实现亚奈奎斯特高分辨率雷达与最小数量的样本。我们还开发了一种低复杂度的恢复方法,基于结构CS和提出了一种新的波形,称为差集-频率编码调制(DS-FCM)波形,以提高恢复性能的亚奈奎斯特雷达在噪声环境中。所提出的方法解决了许多CS雷达中的一些常见问题,并克服了传统的奈奎斯特处理,即匹配滤波在高分辨率雷达系统中的缺点。所提出的方法允许我们设计亚奈奎斯特雷达,这需要不到2%的奈奎斯特样本和恢复目标的分辨率相比,传统的奈奎斯特处理退化。
2018-10-31 cs.IT math.IT
Infinite dimensional compressed sensing from anisotropic measurements and applications to inverse problems in PDE
我们考虑一个压缩感知问题,其中测量和稀疏化系统都被假设为信号的底层希尔伯特空间的框架(不一定是紧的),该信号可以是有限维或无限维的。主要结果给出了明确的界限上的测量,以实现稳定的恢复,这取决于两个系统的相互相干的数量。作为一个简单的推论,我们证明了效率的非均匀采样策略的情况下,当这两个系统是不相干的,但只有渐近不相干的,从傅立叶样本的小波系数的恢复。这个一般的框架发现应用程序的偏微分方程的反问题,压缩感知的标准假设往往不满足。几个例子进行了讨论,特别关注电阻抗断层扫描。
2019-05-25 cs.IT math.AP math.IT
The Sampling Rate-Distortion Tradeoff for Sparsity Pattern Recovery in Compressed Sensing
从有限数量的噪声线性测量中恢复未知稀疏向量的稀疏模式(或支持)是压缩感知中的一个重要问题。在高维设置中,它是已知的,如果测量速率和每个样本的信噪比(SNR)是有限的常数,独立于向量长度的误差的消失分数的恢复是不可能的。在本文中,它是一个任意小的,但恒定的错误分数的恢复是可能的,但是,在某些情况下,计算简单的估计是接近最优的。给出了几种不同的恢复算法的SNR和未知向量的各种关键参数方面的测量速率,以达到所需的误差分数的界限。的紧密性的界限,在缩放的意义上,作为SNR和错误的分数的函数,建立与现有的信息理论的必要界限的比较。近最优性示出了各种各样的实际动机的信号模型。
2012-06-25 cs.IT math.IT
Compressed Sensing: How sharp is the Restricted Isometry Property
压缩感知(CS)试图通过进行远少于$N$的测量来恢复具有$N$条目的未知向量;它假定压缩感知测量的数量应该与向量的信息内容相当,而不仅仅是$N$。CS将压缩的重要任务与测量任务直接结合起来。自2004年引入以来,已经有数百篇关于CS的手稿,其中很大一部分开发了从压缩测量中恢复信号的算法。由于CS的自相矛盾的性质-从表面上欠采样的测量精确重建-这是至关重要的接受一个算法,严格的分析验证欠采样的程度算法允许。在这种情况下,限制等距属性(RIP)已成为用于分析的主要工具。我们在这里提出了一个不对称形式的RIP,它提供了更严格的界限比通常的对称。我们给出了最好的已知的界限RIP常数的矩阵从高斯系综。我们的推导说明了CS的组合性质是控制的方式。我们对RIP的定量界限允许精确的声明,如何积极的信号可以被欠采样,从业者的基本问题。我们还记录了RIP提供精确的信息CS的真实性能限制的程度,通过比较从高维几何的方法。
2010-04-28 cs.IT math.IT
Xampling: Compressed Sensing of Analog Signals
Department of Electrical Engineering, Technion, Haifa 32000, Israel(以色列海法理工学院电气工程系)
提出Xampling框架,通过模拟压缩和非线性检测将压缩感知推广到模拟信号的降速率采样,统一处理多种子空间联合信号。
2011-03-15 cs.IT cs.SY eess.SY
Oblique Pursuits for Compressed Sensing
压缩感知是一种新的数据采集模式,通过利用稀疏信号模型实现通用、简单和降低成本的采集。最值得注意的是,通过计算上有效的算法的信号的恢复是保证某些随机化的采集系统。然而,在理论保证和实际应用之间存在差异。在包括各种模态的傅立叶成像的应用中,通过具有从帧中随机选择(采样)的向量的内积来获取测量。目前可用的保证是使用所谓的限制等距属性(RIP),这只被证明是在理想的假设下举行。例如,从框架中的采样需要独立同分布,并且框架必须是紧的。但在实践中,一个或多个理想假设通常会被违反,现有的保证都不适用。出于这种差异,我们提出了两个相关的变化,在现有的框架:(i)广义RIP称为限制双正交属性(RBOP);和(ii)相应的修改版本的现有贪婪的追求算法,我们称之为斜追求。斜追求保证使用RBOP不需要理想的假设,因此,保证适用于实际的收购计划。数值结果表明,斜向追踪也表现出竞争力,有时甚至比他们的传统同行。
2012-07-11 cs.IT math.IT
Information theoretic bounds for Compressed Sensing
在本文中,我们推导出信息理论的性能界限感测和重建的稀疏现象,从嘈杂的投影。我们考虑两种设置:其中噪声在投影之后进入的输出噪声模型和其中噪声在投影之前进入的输入噪声模型。我们考虑两种类型的失真重建:支持误差和均方误差。我们的目标是将测量次数$m$和$\snr$与信号稀疏度$k$、失真水平$d$和信号维度$n$联系起来。我们考虑在最坏情况下的支持错误。我们采用不同的变化Fano不等式推导出必要条件的测量和精确重建所需的$\snr$的数量。为了获得充分条件,我们开发了新的见解最大似然分析的基础上一种新的叠加属性。特别是这个属性意味着小的支持错误是占主导地位的错误事件。因此,我们的ML分析不受联合界的保守性影响,并导致对最大似然的更严格分析。这些结果提供了有序紧界。对于输出噪声模型,我们表明,渐近$\snr$的$Θ(\log(n))$连同$Θ(k \log(n/k))$测量是必要的,足够的精确支持恢复。此外,如果一小部分的支持错误可以容忍,一个常数$\snr$原来是足够的线性稀疏制度。相反,对于输入噪声模型,我们表明,支持恢复失败,如果测量尺度为$o(n\log(n)/SNR)$意味着这种情况下的压缩性能差的数量。我们还考虑贝叶斯设置和表征均方失真和使用率失真理论的测量次数之间的权衡。
2010-04-28 cs.IT math.IT
Recovery guarantees for multifrequency chirp waveforms in compressed radar sensing
雷达成像系统发射调制的宽带波形以实现高距离分辨率,从而在接收机处产生与发射波形的带宽成比例的高采样率。模拟处理技术可以用于接收,以将测量的数量减少到N,即潜在延迟仓的数量。如果由雷达询问的场景被假设为稀疏的K点目标组成,从压缩感知的结果表明,测量的数量可以进一步减少到与K logN的规模,用于从具有加性噪声的测量中稳定地恢复稀疏场景。虽然非结构化的随机投影仪保证稀疏约束下的成功恢复,他们不能在雷达硬件中实现的实践。最近,结构化的随机Toeplitz和循环矩阵,从使用随机波形的时间延迟估计设置已被证明产生恢复保证类似于非结构化的传感矩阵。然而,相应的发射机和接收机结构具有高复杂度和大存储要求。在本文中,我们提出了一种替代的低复杂度压缩宽带雷达传感器,它结合了多频调信号啁啾波形的发射与接收器,利用模拟混频器其次是一个统一的子奈奎斯特采样阶段。我们得到的结构化测量矩阵和音调的数量的充分条件的恢复保证。我们设计的唯一随机组件是稀疏音调频谱,可有效地在硬件中实现。我们的分析和实验结果表明,我们的计划的性能与非结构化的随机传感矩阵和结构化的Toeplitz和循环矩阵的随机元素。
2015-10-07 cs.IT math.IT
Analysis of Optimal Thresholding Algorithms for Compressed Sensing
最优$k$ -阈值追踪(OT)和最优$k$ -阈值追踪(OTP)是新近提出的用于压缩感知和信号逼近的阈值技术框架。这种框架激发了称为松弛最优$k$ -阈值($\textrm{ROT}ω$)和松弛最优$k$ -阈值追踪($\textrm{ROTP}ω$)的实用且有效的算法,其通过OT和OTP的最紧凸松弛来开发,其中$ω$是规定的整数。在\cite{Z19}中展示的初步数值结果表明,这些方法可以稳定地重建具有宽范围稀疏水平的信号。然而,这些算法与参数$ ω\geq 2 $的保证性能尚未建立在\cite{Z19}。本文的目的是显示OT和OTP的保证性能方面的限制等距属性(RIP)的感知矩阵管理的$k$ -稀疏信号恢复的近最优阶,并建立第一个保证性能的结果$\textrm{ROT}ω$和$\textrm{ROTP}ω$与$ ω\geq 2.$在同一时间,我们提供了一个数值比较ROTP $ω$和几个现有的阈值方法。
2020-12-19 cs.IT math.IT math.OC
Lower Bounds for Compressed Sensing with Generative Models
UT Austin(德克萨斯大学奥斯汀分校)
压缩感知的目标是从有限数量的噪声线性测量$y \approx Ax$中学习结构化信号$x$。在传统的压缩感知中,“结构”是用稀疏性来表示的。受深度学习在图像建模方面的成功启发,最近从~ \cite{BJPD17}开始的工作考虑了来自生成模型$G: \mathbb{R}^k \to \mathbb{R}^n$的结构。我们提出了两个结果,建立后一项任务的难度,现有的界限是紧的。首先,我们从$L$ -Lipschitz生成模型$G$中提供了一个与压缩感知的~ \cite{BJPD17}上界相匹配的下界。特别地,存在这样的函数,其需要大致$Ω(k \log L)$线性测量以使稀疏恢复成为可能。这甚至适用于\emph{nonuniform}恢复的更宽松的目标。其次,我们证明了生成模型将稀疏性概括为结构的表示。特别地,我们构建了一个基于ReLU的神经网络$G: \mathbb{R}^{2k} \to \mathbb{R}^n$,其中$O(1)$层和每层的$O(kn)$激活,使得$G$的范围包含所有$k$稀疏向量。
2019-12-06 cs.DS cs.IT cs.LG
Deterministic Bounds for Restricted Isometry of Compressed Sensing Matrices
压缩感测(CS)是一个新兴领域,其使得能够从少量$m \ll n$的线性投影重构仅具有$k \ll n$非零系数的稀疏信号$x \in {\mathbb R} ^n$。通过将$x$乘以矩阵$Φ\in {\mathbb R}^{m \times n}$ --称为CS矩阵--获得投影,其中$k < m \ll n$。在这项工作中,我们提出以下问题:给定定义CS问题大小的三重$\{k, m, n \}$,在${\mathbb R}^{m \times n}$中最好的CS矩阵的性能的确定性限制是什么?我们选择限制等轴测作为性能指标。本文利用$n$,$m$和$k$给出了${\mathbb R}^{m \times n}$中矩阵的限制等距的两个确定性逆界和一个确定性可达界.利用子矩阵奇异值与完全矩阵奇异值之间的复杂关系,得到了第一个逆界(结构界)。通过认识CS矩阵与Grassmannian空间上码的等价性,得到了CS矩阵的第二逆界(填充界)和可达界(覆盖界)。仿真结果表明,随机高斯$Φ$提供远离最佳性能。这三个界限的推导提供了几个新的几何见解,涉及最佳CS矩阵等角紧框架,韦尔奇界,代码格拉斯曼空间,和广义勾股定理(GPT)。
2011-03-27 cs.IT math.IT
Compressed Super-Resolution of Positive Sources
原子范数最小化是一种凸优化框架,用于从点源的低通观测值的子集中恢复点源,或者等效地从频谱稀疏信号的潜在频率中恢复点源。当源的振幅为正时,可以用公式表示正的原子范数,并且只要观测的数量大于源的数量,就可以确保精确的恢复,而无需在源之间施加分离。然而,原子范数的经典公式需要解决一个半定的程序,涉及一个线性矩阵不等式的大小的顺序的信号维,这可能是禁止的。在这封信中,我们介绍了一种新的“压缩”半定规划,它涉及到一个线性矩阵不等式的数量级的源的减少的维。我们保证了在一定条件下,这个程序的紧密性的运营商参与降维。最后,我们将所提出的方法应用于基于二阶统计量的稀疏阵列测向,并实现了显着的计算节省。
2020-12-11 cs.IT eess.SP math.IT
Stable reconstructions for the analysis formulation of $\ell^p$-minimization using redundant systems
在压缩感知中,稀疏解通常通过求解$\ell^1$最小化问题来获得。此外,不需要直接给出信号的稀疏性。事实上,在应用合适的变换之后具有稀疏的信号就足够了。本文考虑了任意$0<p \leq1$的$\ell^p$极小化解的稳定性.此外,我们假设信号是稀疏的一般冗余变换相关的不一定紧帧。由于我们考虑的是一般框架,因此必须另外讨论对偶框架的作用。对于我们的稳定性分析,我们将引入所谓的\emph{frames with identifiable duals}的新概念。此外,我们数值突出的理论和压缩感知的应用之间的差距,一些特定的冗余变换。
2016-09-20 cs.IT math.IT
Fingerprinting with Equiangular Tight Frames
数字指纹是一个框架,用于标记媒体文件,如图像,音乐或电影,与用户特定的签名,以阻止非法分发。多个用户可以合谋产生伪造品,这可能会克服指纹识别系统。本文提出了一种等角紧帧指纹设计,这是鲁棒的这种共谋攻击。我们激励这个设计考虑数字指纹的压缩感知。该攻击被建模为在添加高斯噪声向量之前对多个标记副本进行线性平均。然后,内容所有者可以通过利用每个用户的指纹和伪造副本之间的相关性来确定有罪。该检测方案的最坏情况下的错误概率进行了分析和界。仿真结果表明,平均情况下的性能是类似的正交和单纯形指纹设计的性能,而容纳几倍的用户。
2011-11-14 cs.IT cs.MM math.IT
RIP constants for deterministic compressed sensing matrices-beyond Gershgorin
压缩感知(CS)是一种信号采集范式,同时获取和降低信号的稀疏表示的维数。这是通过收集信号的线性、非自适应测量来实现的,其可以被形式化为将信号与“测量矩阵”相乘。如果测量满足所谓的限制等距属性(RIP),那么它将适合用于压缩感知。虽然广泛的一类随机矩阵证明满足RIP与高概率,明确和确定性的建设已被证明(到目前为止),以满足RIP只有在一个显着次优制度。本文针对基于Paley紧框架的确定性构造,提出了两种基于Gershgorin圆定理的RIP常数估计的改进方法,得到了对由乘法常数限定的Gershgorin界的改进.在一种方法中,我们使用最近的结果的频谱的斜邻接矩阵的定向图。在另一种方法中,我们使用所谓的Dembo界的极端特征值的一个半正定厄米特矩阵。我们还推广这些界限,我们结合新的界限与猜想,我们作出关于分布的二次剩余在有限域中提供一个潜在的路径,以打破所谓的“平方根障碍”-我们提供了一个证明的假设,猜想成立。
2019-11-18 cs.IT math.IT math.ST
Uniform Recovery Bounds for Structured Random Matrices in Corrupted Compressed Sensing
我们研究的问题,恢复$s$稀疏信号$\mathbf{x}^{\star}\in\mathbb{C}^n$从损坏的测量$\mathbf{y} = \mathbf{A}\mathbf{x}^{\star}+\mathbf{z}^{\star}+\mathbf{w}$,其中$\mathbf{z}^{\star}\in\mathbb{C}^m$是一个$k$稀疏腐败向量,其非零项可以是任意大的和$\mathbf{w}\in\mathbb{C}^m$是一个密集的噪声有界能量。其目标是通过易于处理的优化程序来精确稳定地恢复稀疏信号。在本文中,我们证明了该问题的一致恢复保证两类结构传感矩阵。第一类可以表示为单位范数紧框架(UTF)、随机对角矩阵和有界列正交矩阵(例如,部分随机循环矩阵)。当UTF是有界的(即$μ(\mathbf{U})\sim1/\sqrt{m}$),我们证明,以高概率,可以恢复$s$ -稀疏信号精确和稳定的$l_1$最小化程序,即使测量被损坏的稀疏向量,提供$m = \mathcal{O}(s \log^2 s \log^2 n)$和腐败的稀疏水平$k$是一个恒定的分数的测量总数。第二类考虑随机子采样正交矩阵(例如,随机傅立叶矩阵)。我们证明了统一的恢复保证腐败是稀疏的某些稀疏域。大量的仿真结果也被提出来验证和补充的理论结果。
2018-02-07 cs.IT math.IT
LDPC Codes for Compressed Sensing
University of Southern California(南加州大学);San Diego State University(圣地亚哥州立大学);Hewlett–Packard Laboratories(惠普实验室)
本文建立了信道编码线性规划解码(CC-LPD)与压缩感知线性规划解码(CS-LPD,即基追踪)之间的数学联系,证明好的信道码的校验矩阵可作为好的压缩感知测量矩阵,并利用Gallager构造的高围长LDPC码首次实现了行数阶最优的确定性测量矩阵。
2011-12-12 cs.IT cs.NA math.IT
Boolean Compressed Sensing and Noisy Group Testing
分组测试的基本任务是从大的总体中恢复一个小的可区分的项目子集,同时有效地减少测试(测量)的总数。本文的主要贡献是采用了一种新的信息理论的角度来看群体测试问题。我们制定的组测试问题作为一个信道编码/解码问题,并推导出一个单字母的表征用于识别缺陷集的测试总数。虽然本文的重点主要是在组测试,我们的主要结果是普遍适用于其他压缩感知模型。对于许多有趣的嘈杂组测试场景,单字母特征被证明是有序紧密的。具体来说,我们考虑一个加性伯努利($q$)噪声模型,我们表明,$N$项目和$K$缺陷,测试$T$的数量是$O(\frac{K\log N}{1-q})$任意小的平均错误概率和$O(\frac{K^2\log N}{1-q})$的最坏情况下的错误标准。我们还考虑了稀释效应,即阳性样本池中的缺陷项可能以$u$的概率被稀释,并可能被遗漏。在这种情况下,它表明,$T$是$O(\frac{K\log N}{(1-u)^2})$和$O(\frac{K^2\log N}{(1-u)^2})$的平均和最坏情况下的错误标准,分别。此外,我们的界限,使我们能够验证现有的已知界限,包括确定性的无噪声的情况下,无噪声组测试和近似重建有界失真。我们的可实现性证明是基于随机编码和最大似然检测器的分析,我们的信息论下限是基于法诺不等式。
2013-12-10 cs.IT math.IT
Constant-Expansion Suffices for Compressed Sensing with Generative Priors
MIT(麻省理工学院)
生成神经网络已经被经验地发现在为压缩感知提供有效的结构先验方面非常有前途,因为它们可以被训练成在高维信号空间中跨越低维数据流形。尽管所得到的优化问题的非凸性,它也已被证明,在理论上,对于具有随机高斯权重的神经网络,在网络的范围内的信号可以有效地,近似地从几个噪声测量恢复。然而,这些理论保证的一个主要瓶颈是网络扩张性条件:神经网络的每一层必须比前一层大一个对数因子。我们的主要贡献是打破这种强膨胀性假设,表明恒定的膨胀性足以得到有效的恢复算法,除了它也是信息理论上必要的。为了克服现有方法中的理论瓶颈,我们证明了一个新的随机函数,可能不是Lipschitz,但满足一个宽松的概念,我们称之为“伪Lipschitz一致浓度定理。“使用这个定理,我们可以证明一个矩阵浓度不等式,称为权重分布条件(WDC),以前只知道适用于对数纵横比的高斯矩阵,实际上也适用于恒定纵横比。由于WDC是一个基本的矩阵浓度不等式,在这个问题上的所有现有理论保证的核心,我们的更严格的约束立即产生在压缩感知与深生成先验的文献中的所有已知结果的改进,包括一位恢复,相位恢复,低秩矩阵恢复,等等。
2020-06-26 cs.IT cs.LG math.IT
Robust 1-bit Compressed Sensing with Iterative Hard Thresholding
University of California San Diego(加州大学圣地亚哥分校)
本文研究1比特压缩感知中的噪声鲁棒性,证明BIHT算法在对抗性符号翻转下,以相同测量数实现$\tilde{O}(\epsilon+\tau)$误差,保持通用性,确立了迭代硬阈值的稳定性。
2023-10-12 cs.DS cs.IT cs.LG
Towards a mathematical theory of superposition
该研究利用框架理论和压缩感知工具构建神经网络叠加的数学理论,针对超完备字典编码的稀疏二元特征向量,证明了随机支撑和最坏情况支撑设定下的支撑恢复定理,确定了实等角紧框架的精确恢复阈值。
2026-08-31 cs.IT cs.LG math.CO
A Tight Bound of Hard Thresholding
Rutgers University(罗格斯大学);Baidu Research(百度研究院)
本文研究的是一种硬阈值算子,它将矢量中除$k$最大绝对值元素外的所有元素都设置为零。我们建立了一个{ \em紧}约束来定量表征给定信号的阈值解决方案的偏差。我们的理论结果是普遍的,因为它适用于所有参数的选择,并且基本的分析仅依赖于数学优化中的基本参数。我们讨论了两个领域的影响:压缩感知。由于至关重要的估计,我们之间的连接桥梁的限制等距属性(RIP)和稀疏参数的大量的硬阈值为基础的算法,这使得RIP条件的改善,特别是当真正的稀疏性是未知的。这表明,在本质上,更多种类的传感矩阵或更少的测量是可接受的数据采集过程。机器学习。在大规模机器学习方面,一个重要但具有挑战性的问题是以有效的方式学习精确的稀疏模型。在形成鲜明对比,以前的工作,试图促进稀疏性的$\ell_1$ -松弛,我们提出了一种新的随机算法,在每次迭代中执行硬阈值,从而确保这种简约的解决方案。在较弱的假设下,我们证明了一些流行的统计模型的{ \em全局线性收敛},即使问题是非凸的.
2018-06-28 cs.IT cs.LG cs.NA