Optimal Compression for Minimizing Classification Error Probability: an Information-Theoretic Approach
我们制定的约束下,压缩数据可以用于机器学习中的准确分类进行最佳数据压缩的问题。我们表明,这转化为一个问题,最小化数据和压缩版本之间的互信息的约束下的分类错误概率是小的,当使用压缩数据进行机器学习。然后,我们提供了分析和计算方法来表征数据压缩和分类错误概率之间的最佳权衡。首先,我们提供了一个分析表征的最佳压缩策略的数据与二进制标签。其次,对于具有多个标签的数据,我们制定了一组凸优化问题来表征最佳权衡,通过数值求解制定的优化问题,可以获得分类错误和压缩效率之间的最佳权衡。我们进一步展示了我们的配方在分类性能的信息瓶颈方法的改进。
2022-11-03 cs.IT eess.SP math.IT
Snapshot compressed sensing: performance bounds and algorithms
快照压缩感测(CS)是指其中多个帧被映射到单个测量帧中的压缩成像系统。所获取的帧中的每个像素是组合在一起的帧中的对应像素的噪声线性映射。虽然这个问题可以被转换为CS问题,但由于传感矩阵的非常特殊的结构,标准CS理论不能用来研究这样的系统。在本文中,一个基于压缩的框架是用于快照CS系统的理论分析。结果表明,这个框架导致两个新的,计算效率和理论分析的压缩为基础的恢复算法。所提出的方法是迭代的,并采用压缩码来定义和施加所需信号的结构。理论上的收敛保证,这两种算法。在模拟中,它示出,在无噪声和噪声测量的情况下,结合所提出的算法与定制的视频压缩代码,旨在利用视频帧的非局部结构,显着提高了最先进的性能。
2019-04-29 cs.IT math.IT
Compressed sensing in the presence of speckle noise
研究了在散斑噪声存在的情况下,从结构信号的线性测量中恢复结构信号的问题。这个问题出现在许多成像系统,如合成孔径雷达和光学相干层析成像。当前的采集技术对信号进行过采样,并将问题转化为具有乘性噪声的去噪问题。然而,本文探讨的可能性,减少测量的数量低于环境尺寸的信号。在乘性噪声的研究中出现的一些问题阻碍了对这类问题的理论分析。本文的目的是提出第一个理论结果关于恢复信号的欠采样测量下的斑点噪声。它示出,如果信号类的结构,在这个意义上说,信号可以被有效地压缩,然后可以获得准确的估计,从更少的测量比周围的尺寸的信号。我们通过仿真结果证明了我们提出的方法的有效性。
2021-07-31 cs.IT math.IT
Is "Compressed Sensing" compressive? Can it beat the Nyquist Sampling Approach?
数值计算了“压缩感知(采样)”在信号离散化中的数据压缩能力,发现其远未达到信号稀疏性定义的理论上界。它示出的情况下,当普通的采样与随后的数据压缩是禁止的,至少有一个更有效的,在数据压缩能力方面,更简单和直观的替代压缩感知:随机稀疏采样和恢复的图像带限近似的能量压缩能力的基础上的变换。它还表明,断言“压缩感知”可以击败奈奎斯特采样方法是植根于误解的采样理论。
2015-02-09 cs.IT math.IT physics.optics
Can compressed sensing beat the Nyquist sampling rate?
“压缩感知(采样)”在信号离散化中的数据保存能力是有争议的,并发现远低于由信号稀疏性定义的理论上限。在一个简单而直观的例子中,它表明,在一个现实的情况下,被认为是稀疏的信号,可以实现一个大大大于压缩感测可以节省。它还表明,频繁的断言在文献中,“压缩感知”可以击败奈奎斯特采样方法是误导性的替代条款,根源于误解的采样理论。
2015-07-31 cs.IT math.IT physics.optics
Sparsity-Aware Learning and Compressed Sensing: An Overview
本文基于一本关于机器学习的新书中的一章,由第一和第三作者撰写,目前正在编写中。我们提供了一个概述的主要理论进展,以及在稀疏感知学习和压缩感知领域的算法发展的主要趋势。同时考虑了批处理和在线处理技术。还介绍了信号的时频分析的背景下的案例研究。我们的目的是不时更新这篇评论,因为这是一个非常热门的研究领域,其势头和速度有时很难跟进。
2012-11-22 cs.IT math.IT
Compressed Regression
最近的研究已经研究了稀疏性在高维回归和信号重建中的作用,建立了从稀疏数据恢复稀疏模型的理论限制。这一系列的工作表明,$\ell_1$ -正则化最小二乘回归可以准确地估计稀疏线性模型从$n$噪声的例子在$p$维度,即使$p$是远远大于$n$。在本文中,我们研究了这个问题的一个变种,其中原始$n$输入变量被压缩的随机线性变换到$m \ll n$的例子在$p$尺寸,并建立条件下,稀疏的线性模型可以成功地从压缩的数据恢复。这种压缩过程的主要动机是通过透露有关原始数据的少量信息来匿名化数据并保护隐私。我们描述了$\ell_1$正则化压缩回归所需的随机投影的数量,以确定真实模型中的非零系数,其概率接近1,这是一种称为"稀疏性“的属性。此外,我们证明了$\ell_1$正则化压缩回归渐近预测以及一个Oracle线性模型,一个属性称为持久性。最后,我们用信息论的术语描述了压缩过程的隐私特性,建立了压缩数据和未压缩数据之间衰减为零的互信息的上界。
2008-01-11 cs.IT math.IT stat.ML
Analysis of Hard-Thresholding for Distributed Compressed Sensing with One-Bit Measurements
一个简单的硬阈值操作被证明能够恢复$L$信号$\mathbf{x}_1,...,\mathbf{x}_L \in \mathbb{R}^n$,共享一个共同的支持的大小$s$从$m = \mathcal{O}(s)$一位测量每个信号,如果$L \ge \log(en/s)$。该结果改进了具有$m = \mathcal{O}(s\log(en/s))$测量的单个信号恢复界限,在这个意义上,每个非零条目需要渐近更少的测量。数值证据支持理论上的考虑。
2018-09-17 cs.IT math.IT
Recovery of Low-Rank Plus Compressed Sparse Matrices with Application to Unveiling Traffic Anomalies
给定一个低秩矩阵的叠加加上一个已知的脂肪压缩矩阵乘以稀疏矩阵的产品,本文的目标是建立确定性的条件下,精确恢复的低秩和稀疏的组件成为可能。这一基本的可识别性问题与骨干网络中的流量异常检测有关,并包含压缩感知以及矩阵分解问题中遇到的及时低秩稀疏矩阵恢复任务。利用$\ell_1$ -和核范数恢复稀疏和低秩矩阵的能力,制定了一个凸规划来估计未知数。分析和仿真证实,所述凸程序可以恢复足够低的秩和足够稀疏的分量的未知数,随着压缩矩阵具有等距属性时,限制操作稀疏向量。当低秩、稀疏和压缩矩阵是从某些随机集合中提取时,可以确定精确的恢复是可能的,具有很高的概率。一阶算法被开发来解决具有可证明的迭代复杂性保证的非光滑凸优化问题。对合成和真实网络数据的深入测试证实了这种新方法在揭示流量和时间异常方面的有效性,以及其优于现有替代方案的能力。
2012-04-30 cs.IT cs.NI math.IT
Hardware-In-the-Loop Measurements of the Multi-Carrier Compressed Sensing Multi-User Detection (MCSM) System
MCSM是最近提出的新系统概念,用于解决未来通信系统(如5G和工业4.0系统)中设想的大规模接入问题。这项工作的重点是实际验证的理论增益,MCSM提供使用硬件在环(HIL)测量设置。我们提出了两种不同的情况下的结果:(一)一个LoS实验室设置和(ii)一个非LoS机房。在这两种情况下,MCSM表现出有前途的性能方面的支持用户的数量和实现的可靠性。
2015-11-30 cs.IT math.IT
Tolerant Compressed Sensing With Partially Coherent Sensing Matrices
迄今为止,大多数压缩感知(CS)理论都集中在非相干感知上,即来自感知矩阵的列是高度不相关的。然而,具有自然发生的相关性的感测系统出现在许多应用中,诸如信号检测、运动检测和雷达。此外,在这些应用中,通常不需要精确地知道信号的支持,而是支持和信号中的小误差是可容忍的。尽管大量的工作利用不相干的传感矩阵,这种类型的宽容恢复,我们认为,一致性实际上是有益的。我们提倡使用相干采样时,宽容的支持恢复是可以接受的,并证明其优势经验。此外,我们提供了理论分析的第一步,通过考虑特定的重建方法选择的信号类。
2017-08-28 cs.IT math.IT
Design and Analysis of a Greedy Pursuit for Distributed Compressed Sensing
我们考虑一个分布式压缩感知的情况下,许多传感器测量相关的稀疏信号和传感器通过网络连接。稀疏信号之间的相关性由部分公共支持集来建模。针对这种情况,本文的主要目标是开发一个贪婪追求算法。我们开发了一个分布式并行追踪(DIPP)算法的基础上交换信息的估计支持集在传感器。信息的交换有助于改善部分公共支持集的估计,这又有助于逐渐改善所有传感器中的支持集的估计,从而导致更好的质量重建性能。我们提供了基于限制等距性(RIP)的算法的收敛性和重建性能的理论分析。在一定的理论要求下,通过网络和RIP参数的传感器节点的信息交换的质量,我们表明,DIPP算法收敛到一个性能水平,取决于一个缩放的加性测量噪声功率(收敛理论)的缩放系数是RIP参数和信息处理质量参数的函数。使用模拟,我们展示了实际的重建性能的DIPP相对于欠采样量,信号测量噪声比和网络连接条件。
2015-01-13 cs.IT math.IT
XAInomaly: Explainable and Interpretable Deep Contractive Autoencoder for O-RAN Traffic Anomaly Detection
School of Electrical Engineering and Computer Science, TU Berlin, Germany(电气工程与计算机科学学院,柏林技术大学,德国)
提出XAInomaly框架,利用半监督深度收缩自编码器学习正常网络行为的鲁棒表示,并引入fastshap-C可解释AI技术,实现O-RAN中准确、可扩展且可解释的异常检测。
2025-02-13 cs.AI cs.IT math.IT
Lossy Compression for Robust Unsupervised Time-Series Anomaly Detection
Advanced Center for Electrical and Electronic Engineering(先进电子电气工程中心);University of Chile(智利大学)
提出了一种新的用于异常检测的有损因果时间卷积神经网络自编码器。我们的框架使用率失真损失和熵瓶颈来学习任务的压缩潜在表示。使用率失真损失的主要思想是引入表示的灵活性,忽略或变得鲁棒的不太可能的事件与独特的模式,如异常。这些异常表现为独特的失真特征,可以在测试条件下准确检测。这种新的架构允许我们训练一个完全无监督的模型,该模型在从失真分数检测异常时具有很高的准确性,尽管是用一些未标记的异常数据进行训练的。这种设置与许多最先进的无监督方法形成鲜明对比,这些方法要求模型仅在“正常数据”上进行训练。我们认为,这部分违反了异常检测的无监督训练的概念,因为模型使用了一个明智的决策,从异常中选择正常的训练。此外,有证据表明,它也影响模型的泛化能力。我们证明了,在只对正常数据进行训练的范例中取得成功的模型在异常数据注入训练时无法保持稳健。相比之下,我们的基于压缩的方法收敛到一个强大的表示,容忍一些异常失真。通过使用率失真损失的模型实现的鲁棒表示可以用于更现实的无监督异常检测方案中。
2022-12-05 cs.IT cs.LG math.IT
An efficient algorithm for compression-based compressed sensing
现代图像和视频压缩码采用存在于这种信号中的精细结构来将它们编码成少量比特。另一方面,压缩感知恢复算法使用这样的信号的结构来从很少的线性观测中恢复它们。尽管压缩感知领域取得了稳步进展,但通常用于信号恢复的结构仍然比最先进的压缩编码所采用的结构简单得多。本文的主要目标是弥合这一差距,通过回答以下问题:可以采用一个给定的压缩代码,建立一个有效的(多项式时间)压缩感知恢复算法?针对这一问题,提出了基于压缩的梯度下降(C-GD)算法。C-GD是一种低复杂度的迭代算法,能够采用通用压缩码进行压缩感知,因此将压缩感知中使用的结构的范围提升到压缩码所使用的范围。从理论上分析了C-GD算法的收敛性能和所需的测量次数对压缩码率失真性能的影响。同时也证明了C-GD算法对加性高斯白噪声的鲁棒性。最后,所提出的仿真结果表明,结合C-GD与商业图像压缩编码,如JPEG 2000产生国家的最先进的性能在成像应用。
2017-04-06 cs.IT math.IT
Thresholding-based reconstruction of compressed correlated signals
我们考虑恢复一组相关信号的问题(例如,来自不同视点的图像)从每个信号的几个线性测量。我们假设网络中的每个传感器以线性测量的形式获取压缩信号,并将其发送到联合解码器进行重建。我们提出了一种新的联合重建算法,利用相关的潜在信号。我们的相关模型考虑了不同信号的支持之间的几何变换。建议的联合解码器估计的相关性和重建信号使用一个简单的阈值算法。我们给出了理论和实验证据表明,我们的方法在支持恢复和重建质量方面大大优于独立解码。
2012-04-02 cs.IT cs.NI math.IT
Bayesian signal reconstruction for 1-bit compressed sensing
1比特压缩感测框架使得能够从其线性变换的每个条目的符号信息恢复稀疏向量x。丢弃幅度信息可以显著减少数据量,这在实际应用中是非常有利的。本文提出了一种基于贝叶斯理论的1比特压缩感知信号重构方法,并利用统计力学分析了该方法的典型性能。利用副本的方法,我们表明,贝叶斯方法可以更好地重建比L1-范数最小化方法,渐近饱和时获得的性能的非零条目位置的信号是已知的。我们还测试了一个消息传递算法的信号重建的基础上的信念传播。数值实验结果与理论分析结果一致。
2014-10-07 cs.IT math.IT physics.data-an
Near-Optimal Adaptive Compressed Sensing
本文提出了一种简单的自适应感知和分组测试算法,用于稀疏信号恢复。该算法,被称为压缩自适应感测和搜索(CASS),被证明是接近最佳的,因为它成功地在尽可能低的信噪比(SNR)的水平,改善以前的工作在自适应压缩感知。与传统的基于随机非自适应设计矩阵的压缩感知算法一样,CASS算法只需要k log n个测量值就可以恢复n维k稀疏信号。然而,CASS在比标准压缩感测所需的小因子log n的SNR水平下成功。从构建和实现的感测操作以及计算的重建的角度来看,所提出的算法是大大低于标准的压缩感知的计算密集型。CASS也被证明是在实践中通过仿真执行得更好。据我们所知,这是第一次演示的自适应压缩感知算法与接近最佳的理论保证和优良的实际性能。本文还表明,压缩感知、分组测试和池化等方法的优势不仅仅在于减少测量或测试的数量,与非自适应直接(未压缩)感知相比,这些方法的自适应版本还可以提高检测和估计性能。
2014-04-29 cs.IT math.IT stat.ML
Sparse Recovery Beyond Compressed Sensing: Separable Nonlinear Inverse Problems
从非线性测量中提取信息是数据分析中的一个基本挑战。在这项工作中,我们考虑可分离的反问题,其中的数据被建模为一个线性组合的功能,非线性地依赖于某些参数的兴趣。这些参数可以表示人脑中的神经元活动、电磁波的频率、细胞中的荧光探针或生物组织的磁弛豫时间。可分离的非线性反问题可以转化为欠定稀疏恢复问题,并利用凸规划求解。这种方法在从物理学到医学成像的各个领域都取得了经验性的成功,但缺乏理论依据。特别是,压缩感知理论不适用,因为测量算子是确定性的,并违反非相干条件,如限制等距属性。我们的主要贡献是稀疏恢复适应确定性设置的理论。我们表明,凸规划成功地恢复感兴趣的参数,只要它们的值是足够不同的测量算子的相关结构。通过数值实验说明了两个应用程序的理论结果:热源定位和估计脑电数据的大脑活动。
2020-07-05 cs.IT cs.NA eess.SP
Reconstruction algorithm in compressed sensing based on maximum a posteriori estimation
针对一般观测矩阵,提出了一种系统的稀疏数据重构算法。我们知道使用标准线性规划算法的l1-范数最小化的成本是O(N^3)。我们证明了这个成本可以减少到O(N^2)通过应用后验最大化的方法。此外,在原则上,从我们的方法的算法预计将实现最广泛的成功重建区域,这是从理论论证评估。我们还讨论了在前面的作品和我们的方法引入的基于信念传播的重建算法之间的关系。
2013-11-01 cond-mat.dis-nn cs.IT math.IT
Information-Theoretically Optimal Compressed Sensing via Spatial Coupling and Approximate Message Passing
我们研究了一类随机的带对角传感矩阵的压缩传感重构问题。这种结构的灵感来自于编码理论中的空间耦合思想。如Krzakala等人的\cite{KrzakalaEtAl}在理论上和数值上所证明的,消息传递算法可以有效地解决欠采样率接近非零坐标分数的空间耦合测量的重建问题。我们使用近似消息传递(AMP)算法,并通过状态演化方法进行分析。我们给出了一个严格的证明,这种方法是成功的,只要欠采样率$δ$超过(上)雷尼信息维度的信号,$\uRenyi(p_X)$。更确切地说,对于其经验分布收敛于$p_X$的发散维度$n$的信号序列,根据根据带对角矩阵进行的$\uRenyi(p_X)\, n+o(n)$测量,重构具有高概率成功。对于稀疏信号,即,对于维度$n$和$k(n)$非零条目的序列,这意味着根据$k(n)+o(n)$测量进行重构。对于“离散”信号,即,对于坐标取固定有限值集的信号,这意味着从$o(n)$测量值进行重构。该结果对于噪声是鲁棒的,不唯一地应用于随机信号,但是需要信号$p_X$的经验分布的知识。
2013-01-19 cond-mat.stat-mech cs.IT math.IT
Compressed sensing with sparse, structured matrices
在压缩感知问题的背景下,我们提出了一种新的稀疏随机矩阵的集合,它允许(i)在N的时间线性内获取和压缩长度为N的ρ0稀疏信号,以及(ii)通过使用在N的时间线性内运行的消息传递算法(期望最大化置信传播)来完美地恢复以α速率压缩的原始信号。在大N限制下,本文提出的方案非常接近理论界ρ0 = α,因此它是最优的和有效的(线性时间复杂度)。更一般地说,我们表明,几个密集的随机矩阵的合奏可以转换成合奏的稀疏随机矩阵,具有相同的阈值,但低得多的计算复杂性。
2013-04-12 cond-mat.dis-nn cond-mat.stat-mech cs.IT
Damping Noise-Folding and Enhanced Support Recovery in Compressed Sensing
Technische Universität München(慕尼黑工业大学)
本文提出两种新的解码方法,结合ℓ1最小化与正则化选择最p次幂或迭代硬阈值,有效减少原始噪声并提升支持识别性能。
2014-11-24 cs.IT cs.NA math.IT
Probabilistic Reconstruction in Compressed Sensing: Algorithms, Phase Diagrams, and Threshold Achieving Matrices
压缩感知是一种直接以压缩形式获取数据的信号处理方法。这使得人们可以进行比记录信号所需的测量更少的测量,从而在广泛的应用中实现更快或更精确的测量协议。使用跨学科的方法,我们最近在[arXiv:1109.4424]中提出了一种策略,该策略允许以接近理论最佳极限的采集速率执行压缩感知。在本文中,我们给出了一个更全面的介绍我们的方法,并介绍了许多新的结果。我们提出的概率重建方法,并讨论其最优性和鲁棒性。我们详细推导了用于信号模型参数重构和期望最大化学习的消息传递算法。我们进一步发展了相应的相位图的渐近分析,没有测量噪声,对于不同的信号分布,并讨论了最好的重建性能,无论算法。我们还提出了新的有效的播种矩阵,测试他们的合成数据,并分析其性能渐近。
2012-06-18 cond-mat.stat-mech cs.IT math.IT
On one-stage recovery for $ΣΔ$-quantized compressed sensing
压缩感知(CS)是一种信号采集范式,同时获取和降低信号的稀疏表示的维数。当根据CS的原理获取这样的信号时,测量仍然采用连续统中的值。在当今的“数字”世界中,随后的量化步骤至关重要,其中这些测量值被有限集合中的元素取代。我们专注于产生有效的量化器CS的方法之一:$ΣΔ$量化,其次是一个阶段的易处理的重建方法,这是由Saab等人开发的。在亚高斯矩阵的情况下,理论误差保证。我们提出了两种替代方法,扩展这一结果更广泛的一类测量矩阵,包括(某些酉变换)部分有界正交系统和确定性结构的基础上啁啾传感矩阵。
2019-11-18 cs.IT math.IT math.ST
Information-Theoretic Lower Bounds for Bit-Constrained Stochastic Optimization via a Reduction to Compressed Gaussian Mean Estimation
本文通过将强凸二次族优化问题精确约化为交互式压缩高斯均值估计问题,推导出比特约束随机优化的无条件下界,并给出近乎匹配的可实现性结果。
2026-05-30 cs.AI cs.IT cs.LG
Iterative Hard Thresholding for Compressed Sensing
压缩感知是一种对低于奈奎斯特速率的可压缩信号进行采样的技术,同时仍然允许对信号进行接近最佳的重构。在本文中,我们提出了一个理论分析的迭代硬阈值算法时,适用于压缩感知恢复问题。我们表明,该算法具有以下性质(在本文的正文中更精确)-它提供了接近最优的误差保证。- 它对观测噪声具有鲁棒性。- 它以最小数量的观测值成功。- 它可以与任何采样算子一起使用,可以计算该算子及其伴随算子。- 内存需求与问题大小成线性关系。- 其每次迭代的计算复杂性与测量算子或其伴随算子的应用具有相同的数量级。- 它需要固定的迭代次数,仅取决于信号的信噪比的对数形式。- 它的性能保证是一致的,因为它们只依赖于采样算子和信号稀疏性的属性。
2008-05-05 cs.IT cs.NA math.IT
An analysis of block sampling strategies in compressed sensing
压缩感知是一种保证从少量线性投影中精确恢复稀疏信号的理论。当前压缩感知理论提出的采样方案通常没有实际意义,因为它们不能在真实的采集系统上实现。在本文中,我们研究了一种新的随机采样方法,包括在传感矢量块的信号投影。典型的例子是由2D傅立叶平面中的水平线构成的块的情况。我们提供的理论结果,所需的精确稀疏信号重建的块的数量。这个数字取决于两个属性,即支持块内和支持块间的一致性。然后,我们通过一系列的例子,包括高斯测量,孤立的测量或块的时间-频率的基础上,主要的结果是尖锐的意义上说,重建稀疏信号所需的块的最小数量不能提高到乘法对数因子。所提出的结果提供了一个很好的洞察块压缩传感在成像设备,如磁共振成像,无线电干涉测量或超声成像的可能性和限制。
2014-07-21 cs.IT math.IT math.ST