Just Least Squares: Binary Compressive Sampling with Low Generative Intrinsic Dimension
Wuhan University(武汉大学)
在本文中,我们考虑恢复$n$维信号从$m$二进制测量被噪声和符号翻转损坏的假设下,目标信号具有低生成本征维数,即,目标信号可以通过$L$发生器$G: \mathbb{R}^k\rightarrow\mathbb{R}^{n}, k\ll n$近似地产生。虽然二进制测量模型是高度非线性的,我们提出了一个最小二乘解码器,并证明,直到一个恒定的$c$,具有很高的概率,最小二乘解码器实现了尖锐的估计误差$\mathcal{O} (\sqrt{\frac{k\log (Ln)}{m}})$,只要$m\geq \mathcal{O}( k\log (Ln))$。大量的数值模拟和国家的最先进的方法的比较表明,最小二乘解码器是强大的噪声和符号翻转,我们的理论所示。通过构建具有适当选择的深度和宽度的ReLU网络,我们验证了(近似)深度生成先验,这是独立的兴趣。
2021-11-29 cs.LG eess.SP stat.ML
Compressive Phase Retrieval: Optimal Sample Complexity with Deep Generative Priors
Northeastern University(东北大学);Rice University(莱斯大学)
压缩感知的进步提供了从具有最佳样本复杂度的线性测量重构稀疏信号的算法,但是这种方法到非线性逆问题的自然扩展已经遇到了潜在的基本样本复杂度瓶颈。特别是,用于具有稀疏先验的压缩相位恢复的易处理算法还不能实现最佳的样本复杂度。这在压缩相位恢复中产生了一个开放的问题:在通用的无相位线性测量下,是否存在以最佳样本复杂度成功的易处理的重建算法?与此同时,机器学习的进步导致了新的数据驱动信号先验的发展,其形式为生成模型,可以用更少的测量来超越稀疏先验。在这项工作中,我们解决了压缩相位恢复中的开放问题,并证明了生成先验可以通过在这个具有挑战性的非线性逆问题中通过易于处理的算法允许最佳样本复杂性来实现根本性的进步。此外,我们提供的算法表明,利用生成先验相位检索可以显着优于稀疏先验。这些结果提供了支持生成先验作为一个新的范例,在各种情况下,信号恢复,经验和理论。这种范式的优点在于:(1)生成先验可以比稀疏先验更简洁地表示某些类别的自然信号,(2)生成先验允许在自然信号流形上进行直接优化,这在稀疏先验下是难以处理的,以及(3)生成先验的非凸优化问题可以在最佳样本复杂度下允许良性优化景观,也许令人惊讶的是,即使在非线性测量的情况下。
2020-08-24 cs.IT cs.LG math.IT
Towards Sample-Optimal Compressive Phase Retrieval with Sparse and Generative Priors
National University of Singapore(新加坡国立大学)
压缩相位恢复是标准压缩感知问题的一种流行变体,其中测量值仅包含幅度信息。在本文中,受深度生成模型的最新进展的启发,我们为具有生成先验的相位恢复提供了具有接近最佳样本复杂度的恢复保证。我们首先展示了当使用i.i.d.高斯测量和具有有界$k$维输入的$L$-Lipschitz连续生成模型,大致$O(k \log L)$样本足以保证使基于振幅的经验损失函数最小化的任何信号接近真实信号。用一个实用的算法来实现这个样本复杂度仍然是一个困难的挑战,并且已经观察到为基于梯度的方法找到一个好的初始化是一个主要的瓶颈。为了部分地解决这个问题,我们进一步表明,大致$O(k \log L)$样本确保基础信号和任何{ \em全局最优}解决方案之间足够的接近度,以优化问题的频谱初始化(虽然找到这样的解决方案可能仍然是具有挑战性的)。我们还适应这一结果稀疏相位恢复,并表明,$O(s \log n)$样本是足够的一个类似的保证时,基本的信号是$s$ -稀疏和$n$维,匹配的信息理论下限。虽然这些保证不直接对应于一个实用的算法,我们提出了一个实用的频谱初始化方法,我们的研究结果的动机,并通过实验观察性能增益超过现有的各种频谱初始化方法稀疏相位检索。
2021-10-17 cs.IT cs.LG math.IT
Structure Preserving Compressive Sensing MRI Reconstruction using Generative Adversarial Networks
IIT Roorkee(印度理工学院鲁尔基分校);IIT Kharagpur(印度理工学院克勒格布尔分校)
压缩感知磁共振成像(CS-MRI)通过突破奈奎斯特采样限制来加速MR图像的采集。在这项工作中,提出了一种新的生成对抗网络(GAN)为基础的框架CS-MRI重建。我们的模型结合了基于块的重构和基于结构相似性指数的损失,专注于保留重构图像中的高频内容和精细纹理细节。密集和剩余的连接已被纳入一个U型网络为基础的发电机架构,以允许更容易的信息传输以及可变的网络长度。我们表明,我们的算法优于国家的最先进的方法在重建的质量和鲁棒性噪声。此外,毫秒级的重建时间使其非常适合实时临床使用。
2020-04-26 cs.CV cs.LG eess.IV
Information-Theoretic Lower Bounds for Compressive Sensing with Generative Models
National University of Singapore(新加坡国立大学)
最近已经表明,对于压缩感测,如果稀疏性假设被未知向量位于适当选择的生成模型的范围附近的假设所取代,则可能需要显著更少的测量。特别地,在(Bora { \em et al.},2017)粗略地示出,当生成模型是具有有界$k$维输入的$L$ -Lipschitz函数时,$O(k\log L)$随机高斯测量足以进行准确恢复,并且当生成模型是具有深度$d$和宽度$w$的$k$输入ReLU网络时,$O(kd \log w)$测量足以进行准确恢复。在本文中,我们建立了相应的算法独立的样本复杂性的下界,使用工具,极大极小统计分析。(i)构造了一个能够产生群稀疏信号的$L$生成模型,并证明了所需的测量数为$Ω(k \log L)$ ; ㈡利用类似的想法,我们构建具有高深度和/或高深度的ReLU网络,其中必要的测量次数为$Ω\big( kd \frac{\log w}{\log n}\big)$(具有输出维度$n$),并且在某些情况下具有$Ω(kd \log w)$。结果,我们建立了在(Bora { \em et al.},在没有进一步假设的情况下,最优或接近最优。
2020-03-10 cs.IT cs.LG eess.SP
Compressive Ptychography using Deep Image and Generative Priors
Northwestern University(西北大学);Argonne National Laboratory(阿贡国家实验室)
重叠关联成像是一种成熟的相干衍射成像技术,能够在纳米尺度上对样品进行非侵入性成像。它已广泛应用于国防工业或材料科学等各个领域。重叠关联成像的一个主要限制是由于样品的机械扫描而导致的长数据采集时间;因此,高度期望减少扫描点的方法。然而,重建与扫描点的数量较少,导致成像伪影和显着的失真,阻碍了定量评价的结果。为了解决这个瓶颈,我们提出了一种结合深度图像先验和深度生成先验的生成模型。自训练方法优化深度生成神经网络以创建给定数据集的解决方案。我们补充我们的方法,从先前训练的神经网络中获得的先验信息,以避免测量中的噪声可能导致的与期望输出的偏差。我们还建议使用总变化作为补充之前,由于测量噪声的战斗文物。我们分析我们的方法与数值实验,通过不同的探针重叠百分比和不同的噪声水平。我们还展示了改进的重建精度相比,国家的最先进的方法,并讨论了我们的方法的优点和缺点。
2022-05-23 cs.CV cs.LG eess.IV
Co-VeGAN: Complex-Valued Generative Adversarial Network for Compressive Sensing MR Image Reconstruction
IIT Roorkee(印度理工学院鲁尔基分校);IIT Kharagpur(印度理工学院卡拉格普尔分校)
压缩感知(CS)被广泛用于减少磁共振成像(MRI)的采集时间。尽管基于深度学习的方法已经能够获得快速、高质量的CS-MR图像重建,但它们的主要缺点是将复值MRI数据视为实值实体。大多数方法要么从复值实体中提取幅度,要么将它们连接为两个实值通道。在这两种情况下,相位内容,其中链接的实部和虚部的复值实体,被丢弃。为了解决实值深度网络的基本问题,即它们无法处理复值数据,我们提出了一种基于复值生成对抗网络(Co-Vegan)的新框架。我们的模型可以处理复值输入,这使它能够执行高质量的重建CS-MR图像。此外,考虑到相位是复值实体的重要组成部分,我们提出了一种新的复值激活函数,它对输入的相位敏感。广泛的评估所提出的方法在不同的数据集上使用各种采样掩码表明,所提出的模型显着优于现有的CS-MRI重建技术的峰值信噪比以及结构相似性指数。此外,与基于实值深度学习的方法相比,它使用的可训练参数要少得多。
2020-09-24 cs.CV cs.LG eess.IV
Recurrent Generative Adversarial Networks for Proximal Learning and Automated Compressive Image Recovery
Stanford University(斯坦福大学)
从欠采样线性测量恢复图像通常会导致不适定的线性逆问题,这需要适当的统计先验。然而,建立有效的先验是由实时任务所规定的低训练和测试开销的挑战;以及需要检索视觉上“合理的”和物理上“可行的”图像以最小的幻觉。为了应对这些挑战,我们设计了一个级联网络架构,通过渗透生成残差网络(ResNet)的好处来对邻近算子进行建模,从而展开邻近梯度迭代。然后,部署逐像素成本和感知成本的混合物来训练近端。整体架构类似于在可行和合理图像的交叉点上的来回投影。广泛的计算实验检查重建儿科患者的MR图像的全局任务,和superresolving CelebA面临的更本地的任务,这是有见地的设计高效的架构。我们的观察表明,对于MRI重建,具有单个残留块的复发ResNet有效地学习了近端。这种简单的架构似乎明显优于替代的深度ResNet架构2dB SNR,以及传统的压缩感知MRI 4dB SNR,推理速度快100倍。对于图像超分辨率,我们的初步结果表明,建模去噪最近端需要深度ResNet。
2017-11-27 cs.AI cs.IR cs.LG
Learned D-AMP: Principled Neural Network based Compressive Image Recovery
Rice University(莱斯大学)
压缩图像恢复是一个具有挑战性的问题,需要快速和准确的算法。最近,神经网络已被应用于这个问题,并取得了可喜的成果。通过利用大规模并行GPU处理架构和大量训练数据,它们可以比现有技术快几个数量级。然而,这些方法在很大程度上是无原则的黑箱,难以训练,并且通常特定于单个测量矩阵。最近证明,迭代稀疏信号恢复算法可以“展开”以形成可解释的深度网络。从这项工作的灵感,我们开发了一种新的神经网络架构,模仿的行为,基于降噪的近似消息传递(D-AMP)算法。我们称这种新网络为学习D-AMP(LDAMP)。LDAMP网络易于训练,可应用于各种不同的测量矩阵,并具有可准确预测其性能的状态演化启发式。最重要的是,它在准确性和运行时间方面优于最先进的BM 3D-AMP和NLR-CS算法。在高分辨率下,当与快速实现的传感矩阵一起使用时,LDAMP在$50\times$上的运行速度比BM 3D-AMP快,比NLR-CS快数百倍。
2017-11-06 cs.LG stat.ML
Algorithmic Guarantees for Inverse Imaging with Untrained Network Priors
New York University(纽约大学)
深度神经网络作为图像先验最近被引入用于去噪、超分辨率和修复等问题,其性能优于手工制作的图像先验,如稀疏性和低秩。与学习生成先验不同,它们不需要在大型数据集上进行任何训练。然而,在使用未经训练的神经网络先验的逆成像问题的范围内,存在很少的理论保证。我们探索新的应用和未经训练的神经网络先验理论。具体而言,我们考虑解决线性逆问题的问题,如压缩传感,以及非线性问题,如压缩相位恢复。我们将图像建模为位于具有固定种子的未经训练的深度生成网络的范围内。我们进一步提出了一个投影梯度下降计划,可用于压缩传感和相位恢复,并提供严格的理论保证其收敛。我们还从理论上和经验上证明,与手工制作的先验相比,使用深度网络先验,可以在相同的图像质量下实现更好的压缩率。
2020-03-27 cs.CV cs.LG stat.ML
Tensor Regression Networks with various Low-Rank Tensor Approximations
RIKEN Center for AIP(理化学研究所AIP中心);McGill University(麦吉尔大学)
张量回归网络实现了神经网络的高压缩率,同时对性能的影响很小。它们通过对全连接层的权重矩阵施加低张量秩结构来做到这一点。近年来,人们从压缩能力的角度对张量回归网络进行了研究,但对低秩张量结构的正则化效应的研究还不够深入。我们使用各种低秩张量近似来研究张量回归网络,旨在比较不同低秩约束的压缩和正则化能力。我们评估的压缩和正则化性能的建议模型与深和浅的卷积神经网络。我们的实验结果表明,全局平均池层优于张量回归层,当应用于CIFAR-10数据集的深度卷积神经网络时。相反,当使用少量样本进行训练时,具有张量回归层和dropout函数的浅层卷积神经网络的测试误差低于全局平均池和具有dropout函数的全连接层。
2018-11-29 cs.LG stat.ML
Compressive sensing with un-trained neural networks: Gradient descent finds the smoothest approximation
Technical University of Munich(慕尼黑工业大学);University of Southern California(南加利福尼亚大学)
未经训练的卷积神经网络已经成为图像恢复和恢复的非常成功的工具。它们能够通过简单地将神经网络模型拟合到来自单个图像或信号的测量值来解决标准逆问题,例如去噪和压缩传感,并且具有优异的结果,而不需要任何额外的训练数据。对于某些应用程序,这非常需要以提前停止优化的形式进行额外的正则化。然而,对于从几个测量值中恢复信号,未经训练的卷积网络具有有趣的自正则化特性:即使网络可以完美地拟合任何图像,当使用梯度下降训练时,网络从几个测量值中恢复自然图像,直到收敛。在本文中,我们提供了数值证据,并从理论上研究了这一性质。我们证明了-没有任何进一步的正则化-一个未经训练的卷积神经网络可以近似地重建信号和图像,这些信号和图像是充分结构化的,从几乎最小数量的随机测量。
2020-05-07 cs.CV cs.LG eess.IV
On the Compressive Power of Deep Rectifier Networks for High Resolution Representation of Class Boundaries
The University of Western Australia(西澳大利亚大学)
本文从分段线性(PWL)分类器边界的几何角度出发,从理论上证明了深整流器网络优于浅整流器网络的分类性能。我们表明,对于一个给定的阈值上的近似误差,所需的边界刻面的数量来近似一个一般的光滑边界的增长与数据的维度,因此边界刻面的数量,称为边界分辨率,一个PWL分类器是一个重要的质量措施,可以用来估计一个下界的分类错误。然而,单纯地学习指数级大量的边界刻面需要确定指数级大量的参数,并且还需要指数级大量的训练模式。为了克服“维数灾难”的问题,需要高分辨率分类器边界的压缩表示。为了显示深整流器网络优于浅整流器网络的压缩能力,我们证明了单个隐藏层整流器网络分类器的最大边界分辨率随着单元数呈指数增长,当这个数目小于模式的维数时。当单元数大于图案的维数时,增长率降低到多项式阶。因此,如果相同的大量单元被布置在多个层中而不是单个隐藏层中,则生成高分辨率边界的能力将增加。以高维球形边界为例,我们展示了深度整流器网络如何利用几何对称性以相同的精度近似边界,但参数数量明显少于单隐层网络。
2017-08-24 cs.AI cs.LG stat.ML
Fast and Provable ADMM for Learning with Generative Priors
EPFL(洛桑联邦理工学院)
在这项工作中,我们提出了一个(线性化)交替方向乘法(ADMM)算法最小化凸函数的非凸约束。我们专注于特殊的情况下,这种约束产生的规格,一个变量应该位于一个神经网络的范围。这是由于最近生成对抗网络(GANs)在压缩感知、去噪和对抗对抗示例的鲁棒性等任务中的成功应用。我们的算法的衍生率的特征在于某些几何性质的发电机网络,我们持有前馈架构,在温和的假设。与梯度下降(GD)不同,它可以有效地处理非光滑目标,以及利用有效的部分最小化过程,因此在许多实际情况下更快。
2019-07-07 cs.LG math.OC stat.ML
Fully Convolutional Measurement Network for Compressive Sensing Image Reconstruction
Xidian University(西安电子科技大学)
最近,深度学习方法在压缩感知图像重建任务中取得了显著的进步。在现有的方法中,由于高的计算复杂性,场景是逐块测量的。这导致恢复的图像的块效应。在本文中,我们提出了一个完全卷积的测量网络,其中场景作为一个整体进行测量。该方法保留了场景图像的结构信息,有效地消除了块效应。为了使测量更灵活,测量和恢复部分联合训练。实验结果表明,该方法在PSNR、SSIM和视觉效果等方面均优于现有方法。
2018-05-29 cs.CV cs.LG
Comparative Assessment of Concrete Compressive Strength Prediction at Industry Scale Using Embedding-based Neural Networks, Transformers, and Traditional Machine Learning Approaches
Intertek PSI(天祥PSI);University of Texas at Arlington(德克萨斯大学阿灵顿分校)
本研究比较了基于嵌入神经网络、Transformer和传统机器学习方法在工业级混凝土抗压强度预测中的性能,发现嵌入神经网络在精度上表现最佳。
2026-01-14 cs.LG
Compressive Sensing and Neural Networks from a Statistical Learning Perspective
RWTH Aachen University(亚琛工业大学);Institute for Theoretical Information Technology(理论信息技术研究所);Chair for Mathematics of Information Processing(信息处理数学讲座教授席位)
反问题的各种迭代重建算法可以展开为神经网络。从经验上看,这种方法往往会带来更好的结果,但理论上的保证仍然很少。虽然神经网络的泛化性能已经取得了一些进展,但仍然存在很大的挑战。在这一章中,我们讨论并结合这些主题,提出了一个广义误差分析的一类神经网络适合稀疏重建从几个线性测量。所考虑的假设类的灵感来自于经典的迭代软阈值算法(ISTA)。这类神经网络是通过展开ISTA的迭代并学习一些权重来获得的。基于训练样本,我们的目标是通过经验风险最小化来学习最佳网络参数,从而学习从压缩线性测量中重建信号的最佳网络。特别地,我们可以学习由所有迭代/层共享的稀疏基,从而获得用于字典学习的新方法。对于这类网络,我们提出了一个泛化界,这是基于通过Dudley积分约束由这种深度网络组成的假设类的Rademacher复杂性。值得注意的是,在现实条件下,泛化误差仅在层的数量上呈几何比例,并且在测量的数量上最多呈线性。
2021-08-13 cs.LG math.ST stat.ML
Compressive Network Analysis
Stanford University(斯坦福大学);Peking University(北京大学);Johns Hopkins University(约翰斯·霍普金斯大学)
现代数据采集通常会产生大量的网络数据。虽然已经提出了许多方法和模型来分析这类数据,但网络数据的研究在很大程度上与经典的统计学习和信号处理理论脱节。在本文中,我们提出了一个新的网络数据建模框架,它连接了两个看似不同的领域:网络数据分析和压缩感知。从非参数的角度来看,我们使用一个大字典来建模一个观察到的网络。特别是,我们认为网络集团检测问题,并显示我们的制定与一个新的代数工具,即在齐次空间中的Randon基追求之间的连接。这样的连接使我们能够确定严格的恢复条件集团检测问题。虽然本文主要是概念性的,但我们也开发了实用的近似算法来解决经验问题,并在现实世界的数据集上证明了它们的实用性。
2011-04-24 cs.DM cs.LG cs.SI
Deep Fully-Connected Networks for Video Compressive Sensing
Northwestern University(西北大学)
在这项工作中,我们提出了一个视频压缩感知的深度学习框架。所提出的配方,使视频帧的恢复在几秒钟内显着提高重建质量相比,以前的方法。我们的研究首先学习视频序列和相应的测量帧之间的线性映射,结果证明这提供了有希望的结果。然后,我们将线性公式扩展到深度全连接网络,并使用更深的架构探索性能增益。我们的分析总是由所提出的框架对现有压缩视频架构的适用性驱动。几个视频序列的大量模拟文件的优越性,我们的方法定量和定性。最后,我们的分析为理解数据集大小和层数如何影响重建性能提供了见解,同时为未来的研究提出了几点建议。代码可以在Github上找到:https://github.com/miliadis/DeepVideoCS
2017-12-16 cs.CV cs.LG cs.MM
Unfolding Neural Networks for Compressive Multichannel Blind Deconvolution
Harvard University(哈佛大学);Weizmann Institute of Science(魏茨曼科学研究所)
针对压缩稀疏多通道盲反卷积问题,提出了一种学习结构的展开神经网络。在这个问题中,每个通道的测量值被给出为公共源信号和稀疏滤波器的卷积。与以前的作品中,压缩是通过随机投影或通过应用一个固定的结构化压缩矩阵来实现不同,本文提出了从数据中学习压缩矩阵。给定完整的测量值,所提出的网络以无监督的方式进行训练,以学习源和估计稀疏滤波器。然后,给定估计的源,我们学习结构化压缩算子,同时优化信号重建和稀疏滤波器恢复。压缩的有效结构允许其实际的硬件实现。所提出的神经网络是一种基于展开方法构建的自动编码器:在训练时,编码器使用压缩算子和源将压缩测量映射到稀疏滤波器的估计中,线性卷积解码器重建完整的测量。我们证明,我们的方法是优于经典的结构化压缩稀疏多通道盲反卷积方法的精度和速度的稀疏滤波器恢复。
2021-02-12 cs.LG eess.SP
Multi-Scale Deep Compressive Sensing Network
Sungkyunkwan University(成均馆大学)
通过采样和恢复的联合学习,基于深度学习的压缩感知(DCS)在性能和运行时间减少方面显示出显著的改进。然而,它的重建图像会丢失高频内容,尤其是在低子速率下。这在多尺度采样方案中类似地发生,该多尺度采样方案也对更多低频分量进行采样。本文提出了一种多尺度DCS卷积神经网络(MS-DCSNet),该网络利用基于多尺度的小波变换对图像信号进行变换,然后通过跨尺度的逐块卷积捕获图像信号。初始重建图像直接从多尺度测量恢复。多尺度小波卷积被用来提高最终的重建质量。该网络能够学习多尺度采样和多尺度重建,从而获得更好的重建质量。
2018-09-18 cs.AI cs.CV cs.LG
JR2net: A Joint Non-Linear Representation and Recovery Network for Compressive Spectral Imaging
Universidad Industrial de Santander(桑坦德工业大学)
深度学习模型是压缩光谱成像(CSI)恢复的最新技术。这些方法使用深度神经网络(DNN)作为图像生成器,以学习从压缩测量到光谱图像的非线性映射。例如,深光谱先验方法在优化算法中使用卷积自动编码器网络(CAE),以通过使用非线性表示来恢复光谱图像。然而,CAE训练与恢复问题分离,这不能保证CSI问题的光谱图像的最佳表示。这项工作提出了一个联合非线性表示和恢复网络(JR2net),将表示和恢复任务连接到一个单一的优化问题。JR2net由一个遵循ADMM公式的优化启发网络组成,该网络学习非线性低维表示,同时执行光谱图像恢复,通过端到端方法进行训练。实验结果表明,该方法的优越性与提高高达2.57 dB的峰值信噪比和性能约2000倍的速度比国家的最先进的方法。
2022-09-09 cs.LG eess.IV
Compressive Closeness in Networks
Boston University(波士顿大学);ETH(苏黎世联邦理工学院)
分布式算法的网络科学应用是非常重要的,由于今天的大型现实世界的网络。在这样的算法中,一个节点只允许与它的直接邻居进行本地交互。这是因为整个网络的拓扑结构往往是未知的每个节点。近年来,分布式检测网络中的中心节点,涉及不同的概念的重要性,受到了广泛的关注。接近中心性是一个重要的衡量标准,用于评估节点在给定网络中的重要性(影响力),基于其可访问性。在本文中,首先,我们引入了一个本地(自我为中心)的度量,以及与全球的接近中心,但它具有非常低的计算复杂性。其次,我们提出了一个基于压缩感知(CS)的框架,利用所提出的局部度量准确地恢复网络中的高接近中心节点。以自我为中心的度量计算及其通过CS的聚合都是高效和分布式的,仅使用相邻节点之间的本地交互。最后,我们通过在各种合成和真实网络上的广泛实验来评估所提出的方法的性能。结果表明,该局部度量与全局接近中心度相关性好于现有的局部度量。此外,实验结果表明,该方法优于现有的方法,具有显着的改善。
2019-06-19 cs.LG cs.SI
Phase Retrieval Using Conditional Generative Adversarial Networks
Heinrich Heine University Düsseldorf(海因里希·海涅大学)
在本文中,我们提出了应用条件生成对抗网络来解决各种相位恢复问题。我们表明,包括在训练时的测量过程的知识,导致在测试时的优化,是更强大的初始化比现有的方法,涉及生成模型。此外,根据测量值调节发电机网络使我们能够获得更详细的结果。我们的经验表明,这些优势提供了有意义的解决方案的傅立叶和压缩相位恢复问题,我们的方法优于完善的基于投影的方法,以及现有的方法是基于神经网络。与其他深度学习方法一样,我们的方法对噪声非常鲁棒,因此对于现实世界的应用非常有用。
2020-07-08 cs.CV cs.LG eess.IV
LAPRAN: A Scalable Laplacian Pyramid Reconstructive Adversarial Network for Flexible Compressive Sensing Reconstruction
Arizona State University(亚利桑那州立大学)
本文研究了单图像压缩感知(CS)和重建问题。我们提出了一个可扩展的拉普拉斯金字塔重建对抗网络(LAPRAN),可以实现高保真度、灵活且快速的CS图像重建。LAPRAN遵循拉普拉斯金字塔的概念,通过多个阶段的重建对抗网络(RAN)逐步重建图像。在每个金字塔级别,CS测量值与上下文潜在向量融合以生成高频图像残差。因此,LAPRAN可以产生重建图像的层次结构,并且每个层次结构都具有增量分辨率和改进的质量。LAPRAN的可缩放金字塔结构使得能够以灵活的分辨率进行高保真CS重建,该分辨率适应于宽范围的压缩比(CR),这在现有方法中是不可行的。在多个公开数据集上的实验结果表明,与基于模型和数据驱动的基线相比,LAPRAN分别提供了平均7.47dB和5.98dB的PSNR,以及平均57.93%和33.20%的SSIM改善。
2018-11-03 cs.AI cs.CV cs.LG
Compressive-Sensing Data Reconstruction for Structural Health Monitoring: A Machine-Learning Approach
Harbin Institute of Technology(哈尔滨工业大学);School of Civil Engineering(土木工程学院)
研究了压缩感知(CS)技术,并将其应用于结构健康监测中的无线数据采集与传输、结构模态识别和零件损伤识别。CS中的关键问题是找到稀疏优化的最优解。在过去的几年里,在应用数学领域提出了许多算法。在本文中,我们提出了一种基于机器学习的方法来解决CS数据重建问题。通过将计算过程视为数据流,将基于CS的数据重构过程形式化为标准的监督学习任务。先验知识,即,该方法以基矩阵和CS采样信号作为网络的输入和目标,基系数矩阵作为某一层的参数嵌入,传统压缩感知的目标函数作为网络的损失函数。通过l1范数正则化,这些基系数被优化,以减少原始CS采样信号和掩蔽重建信号之间的误差与一个共同的优化算法。此外,所提出的网络可以处理复杂的基础,如傅立叶基础。受益于多神经元层的性质,可以同时重建多个信号通道。同时,大规模基的分解使用使得该方法具有内存效率。多个正弦波的数值例子和一个例子的现场测试的无线数据从悬索桥进行了说明所提出的方法的数据重建能力。结果表明,基于机器学习的方法可以获得较高的重建精度。此外,网络的参数具有明确的含义;输入和输出之间的映射的推理是完全透明的,使得CS数据重构神经网络具有可解释性。
2019-03-22 cs.LG eess.SP stat.ML
COSINE: Compressive Network Embedding on Large-scale Information Networks
Department of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系);Search Product Center, WeChat Search Application Department, Tencent(腾讯微信搜索应用部搜索产品中心)
最近,学习网络中节点的低维嵌入的方法激增。由于现实世界中存在许多大规模的网络,现有的方法在内存中存储大量的参数并在边缘之后更新它们是低效的。利用具有相似邻域的节点在嵌入空间中彼此接近的知识,提出了COSINE(COmpresSIve NE)算法,通过相似节点之间的参数共享,减少了内存占用,加快了训练过程。COSINE将图划分算法应用于网络,并根据划分结果建立节点间的参数共享依赖关系。COSINE算法通过相似节点间的参数共享,在训练过程中注入了更高层次结构信息的先验知识,使得网络嵌入更加高效。COSINE可以应用于任何嵌入查找方法,并以有限的内存和更短的训练时间学习高质量的嵌入。我们进行了多标签分类和链接预测的实验,其中基线和我们的模型具有相同的内存使用。实验结果表明,COSINE给出的基线上的分类和链接预测上的增长高达23%和25%。此外,使用COSINE的所有表示学习方法的时间从30%减少到70%。
2018-12-21 cs.LG cs.SI
Graph Attention Network Based Single-Pixel Compressive Direction of Arrival Estimation
İstanbul Technical University(伊斯坦布尔理工大学);Queen’s University(女王大学);Polytechnique Montréal(蒙特利尔理工学院)
在本文中,我们提出了一种利用基于图注意力网络(GAT)的深度学习框架的单像素压缩波达方向(DoA)估计技术。物理层压缩使用编码孔径技术实现,使用一组时空非相干模式探测入射在孔径上的远场源的光谱。然后将该信息编码并压缩到编码孔径的信道中。编码孔径是基于超表面天线设计,它作为一个接收机,表现出单通道,并取代传统的多通道光栅扫描为基础的解决方案的DOA估计。GAT网络使得压缩DoA估计框架能够直接从使用编码孔径获取的测量中学习DoA信息。该步骤消除了对额外重建步骤的需要,并且显著简化了处理层以实现DoA估计。我们表明,所提出的GAT集成单像素雷达框架,即使在相对较低的信噪比(SNR)水平下,也可以检索高保真度的DOA信息。
2021-11-01 cs.IT cs.LG eess.SP
Multi-Channel Deep Networks for Block-Based Image Compressive Sensing
Hunan University(湖南大学);University of Texas at Arlington(德克萨斯大学阿灵顿分校);Changsha University of Science and Technology(长沙理工大学)
将深度神经网络应用于图像压缩感知(CS)是近年来多媒体技术和应用领域的研究热点。由于深度网络方法直接从CS测量中学习逆映射,因此重建速度明显快于传统的CS算法。然而,对于现有的基于网络的方法,CS采样过程必须映射单独的网络模型。这可能潜在地降低具有逐块采样的图像CS的性能,这是由于块伪像,尤其是当多个采样率被分配给图像内的不同块时。在本文中,我们通过利用块间相关性为基于块的图像CS开发了一个多通道深度网络,其性能显着超过当前最先进的方法。显着的性能改善归因于逐块逼近,但完整的图像块效应的去除。具体来说,与我们的多通道结构,具有各种采样率的图像块可以在一个单一的模型中重建。然后,初始重建的块能够被重新组装成完整的图像,以通过展开手工设计的基于块的CS恢复算法来改善恢复的图像。实验结果表明,所提出的方法优于国家的最先进的CS方法的一个很大的利润方面的客观指标和主观视觉图像质量。我们的源代码可以在https://github.com/siwangzhou/DeepBCS上找到。
2022-07-10 cs.IT cs.LG eess.IV
Compressive Neural Representations of Volumetric Scalar Fields
Vanderbilt University(范德堡大学);University of Arizona(亚利桑那大学)
我们提出了一种使用隐式神经表示压缩体积标量场的方法。我们的方法将标量场表示为学习函数,其中神经网络将域中的点映射到输出标量值。通过将神经网络的权重设置为小于输入大小,我们实现了标量场的压缩表示,从而将帧压缩作为一种函数逼近。结合仔细量化网络权重,我们表明,这种方法产生高度紧凑的表示,优于最先进的体积压缩方法。我们的方法的概念简单,使许多好处,如支持随时间变化的标量场,优化,以保持空间梯度,和随机访问字段的评估。我们研究了网络设计选择对压缩性能的影响,强调了简单的网络架构对各种卷的有效性。
2021-04-11 cs.GR cs.LG
Reinforced Compressive Neural Architecture Search for Versatile Adversarial Robustness
Rochester Institute of Technology(罗切斯特理工学院);Amazon Inc.(亚马逊公司)
本文提出RC-NAS框架,通过元训练与微调的双层强化学习范式,在不同数据集、对抗攻击和教师网络条件下快速搜索轻量且对抗鲁棒的子网络,实现自适应压缩。
2024-06-14 cs.AI cs.LG
Deep Denoising Neural Network Assisted Compressive Channel Estimation for mmWave Intelligent Reflecting Surfaces
Beijing Institute of Technology(北京理工大学);CNRS(法国国家科学研究中心);CentraleSupélec(中央理工-高等电力学院);Université Paris-Saclay(巴黎-萨克雷大学);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
将大型智能反射表面(IRS)集成到毫米波(mmWave)大规模多输入多输出(MIMO)中已经成为改善覆盖和吞吐量的有前途的方法。大多数现有的工作假设理想的信道估计,这可能是具有挑战性的,由于高维级联MIMO信道和无源反射元件。因此,本文提出了一种深度去噪神经网络辅助的毫米波IRS系统压缩信道估计,以减少训练开销。具体来说,我们首先介绍了一种混合被动/主动IRS架构,其中很少的接收链被用来估计上行链路用户到IRS信道。在通道训练阶段,只有一小部分元件将被连续激活以使部分通道发声。此外,可以基于压缩感测从有限的测量重构完整的信道矩阵,由此利用不同子载波之间的角域毫米波MIMO信道的公共稀疏性以提高准确度。此外,一个复值去噪卷积神经网络(CV-DnCNN)进一步提出了增强性能。仿真结果表明,所提出的解决方案优于国家的最先进的解决方案。
2020-08-30 cs.IT cs.LG eess.SP
Convolutional Sparse Support Estimator Network (CSEN) From energy efficient support estimation to learning-aided Compressive Sensing
Tampere University(坦佩雷大学);Qatar University(卡塔尔大学)
稀疏信号的支持估计(SE)是指找到稀疏表示中的非零元素的位置索引。传统的求解SE问题的方法大多是基于贪婪算法或优化技术的迭代算法。实际上,它们中的绝大多数使用稀疏信号恢复技术来获得支持集,而不是直接映射来自更密集测量的非零位置(例如,压缩感知测量)。这项研究提出了一种新的方法来学习这样的映射从训练集。为了实现这一目标,卷积支持估计网络(CSENs),每个具有紧凑的配置,设计。所提出的CSEN可以是以下场景的关键工具:(i)实时和低成本的支持估计可以应用于任何移动和低功耗边缘设备,用于异常定位,同时人脸识别等。(ii)CSEN的输出可以直接用作“先验信息”,这提高了稀疏信号恢复算法的性能。在基准数据集的结果表明,国家的最先进的性能水平,可以实现所提出的方法与显着降低计算复杂度。
2020-04-05 cs.CV cs.LG eess.SP
Regularizing linear inverse problems with convolutional neural networks
Technical University of Munich(慕尼黑工业大学)
在大型数据集上训练的深度卷积神经网络已经成为压缩图像和解决逆问题(如去噪和压缩感知)的有趣替代方案。然而,直到最近才意识到,即使没有训练,卷积网络也可以作为简洁的图像模型,从而正则化逆问题。在本文中,我们通过研究将几个权重参数映射到图像的卷积神经网络的变体,为这一发现提供了进一步的证据。我们考虑的网络仅由卷积运算组成,具有固定或参数化的滤波器,然后是ReLU非线性。我们证明,使用固定和参数化卷积滤波器,这些网络可以用很少的系数表示图像。更重要的是,欠参数化使逆问题的正则化,特别是从很少的观察恢复图像。我们表明,类似于标准的压缩感知保证,在模型参数的数量的顺序上,许多测量足以从压缩测量中恢复图像。最后,我们证明了使用未经训练的卷积网络的信号恢复优于磁共振成像(MRI)的标准l1和总变差最小化。
2019-07-06 cs.CV cs.IT cs.LG
COVID-CLNet: COVID-19 Detection with Compressive Deep Learning Approaches
Pacific Lutheran University(太平洋路德大学);Cleveland State University(克利夫兰州立大学)
COVID-19疫情是全球最严重的健康威胁之一。强调改进诊断和提高诊断能力有助于显著阻止其传播。因此,为了帮助放射科医生或其他医疗专业人员在尽可能短的时间内检测和识别COVID-19病例,我们提出了一种使用计算机断层扫描(CT)扫描图像的计算机辅助检测(CADe)系统。这个提出的增强型深度学习网络(CLNet)是基于深度学习(DL)网络的实现,作为压缩学习(CL)的补充。我们利用我们的初始特征提取技术在测量域中使用CL来表示数据特征到一个新的空间,在访问卷积神经网络之前具有更低的维度。所有的原始功能已被平等地贡献在新的空间使用的传感矩阵。在不同压缩方法上进行的实验显示了用于COVID-19检测的有希望的结果。此外,我们的新的加权方法基于不同的传感矩阵,用于捕获提升功能证明了所提出的方法的性能的改善。
2020-12-03 cs.CV cs.LG eess.IV
Generalized Tensor Summation Compressive Sensing Network (GTSNET): An Easy to Learn Compressive Sensing Operation
Tampere University(坦佩雷大学);Qatar University(卡塔尔大学)
在压缩感知文献中,人们的努力可以分为两组:找到一个最大限度地保留压缩信息的测量矩阵,以及找到一个压缩信息的重建算法。在传统的CS设置中,测量矩阵被选择为随机矩阵,并且使用基于优化的迭代解来恢复信号。然而,当我们处理大信号时,使用随机矩阵变得很麻烦,特别是在基于迭代优化的解决方案中。尽管最近基于深度学习的解决方案在提高重建精度的同时加快了恢复速度,但联合学习整个测量矩阵仍然是一个困难的过程。在这项工作中,我们介绍了一个可分离的多线性学习的CS矩阵表示为任意数量的张量的总和。对于CS操作被设置为单个张量乘法的特殊情况,模型被简化为基于学习的可分离CS;而稠密CS矩阵可以近似和学习为多个张量的总和。这两种情况都可以用在二维或多维信号的CS中,结构CS矩阵也可以很容易地近似和学习我们的多线性可分离学习设置与结构张量和表示。因此,我们的可学习广义张量求和CS操作封装了大多数CS设置,包括可分离CS,不可分离CS(传统的向量矩阵乘法),结构CS和多维信号的CS。对于灰度和RGB图像,所提出的方案超过了大多数最先进的解决方案,特别是在较低的测量速率。虽然从灰度图像的张量到张量表示的总和的性能增益仍然有限,但在RGB情况下变得显著。
2021-08-04 cs.IT cs.LG eess.SP
DRCAS: Deep Restoration Network for Hardware Based Compressive Acquisition Scheme
Texas A&M University(德州农工大学);Nokia-Bell Labs(诺基亚贝尔实验室)
我们通过使用CAS(压缩采集方案)和DNN(深度神经网络)来研究图像采集设备的功率和性能改进。为此,我们提出了一种新的图像采集方案HCAS(基于硬件的压缩采集方案),使用基于硬件的分箱(下采样),位截断和JPEG压缩,并开发了一个基于深度学习的重建网络,用于使用相同的图像采集。HCAS的动机是这样的事实,即使用装仓和位截断的原始数据的原位压缩导致整个下游图像处理流水线中的数据流量和功率的减少,并且使用JPEG的处理数据的附加压缩将有助于图像的存储/传输。原位压缩与JPEG的组合导致高压缩比、显著的功率节省以及图像采集简化的进一步优点。考虑到这些问题,我们提出了DRCAS(基于硬件的压缩采集方案的深度恢复网络),据我们所知,这是文献中提出的第一项工作,用于恢复使用HCAS等采集方案采集的图像。与文献中用于超分辨率任务的CAS方法(双三次下采样)相比,本文提出的HCAS在压缩比和硬件友好性方面都具有优势。恢复网络DRCAS的性能也优于最先进的超分辨率网络,同时要小得多。因此,HCAS和DRCAS技术将使我们能够设计更简单,更节能的图像采集管道。
2019-11-15 cs.LG eess.IV
Compressive Modeling and Visualization of Multivariate Scientific Data using Implicit Neural Representation
Indian Institute of Technology Kanpur (IIT Kanpur)(印度理工学院坎浦尔学院)
本文提出利用隐式神经表示和参数共享的单一网络,对含数十至数百变量的多变量科学数据进行压缩建模,实现最先进的数据压缩,并在重建质量、可视化效果、依赖保持和存储效率上表现优越。
2025-10-17 cs.GR cs.LG
D3C2-Net: Dual-Domain Deep Convolutional Coding Network for Compressive Sensing
School of Electronic and Computer Engineering, Peking University(北京大学电子与计算机工程学院);Graduate School at Shenzhen, Tsinghua University(清华大学深圳研究生院);ByteDance Inc(字节跳动公司);School of Software Engineering, Tongji University(同济大学软件学院);School of Computer Science and Technology, Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳)计算机科学与技术学院)
提出双域深度卷积编码网络D3C2-Net,结合图像域与卷积编码域先验,通过深度展开实现高效特征传输,在压缩感知重建中优于现有方法,兼顾精度、复杂度与可解释性。
2025-05-23 cs.CV cs.LG eess.IV
A Statistical Method for Attack-Agnostic Adversarial Attack Detection with Compressive Sensing Comparison
School of Electrical, Computer, and Biomedical Engineering Southern Illinois University Carbondale IL, USA(电气、计算机与生物医学工程学院 布鲁克林伊利诺伊大学卡本达莱分校)
针对现有对抗攻击检测方法难应对未知攻击、精度不足的问题,提出基于压缩与未压缩神经网络对行为对比的统计检测方法,部署前建基线,实现多攻击类型近乎完美的检测且误报率低。
2025-10-03 cs.CR cs.CV cs.LG