The STONE Transform: Multi-Resolution Image Enhancement and Real-Time Compressive Video
压缩感知使得能够从欠采样数据重建高分辨率信号。虽然压缩方法简化了数据采集,但它们需要解决困难的恢复问题以利用所得到的测量结果。本文提出了一种新的传感框架,结合了传统传感和压缩传感的优点。使用所提出的\stone变换,测量可以立即重建在奈奎斯特速率在任何幂的2的分辨率。然后,可以使用压缩方法将相同的数据“增强”到更高的分辨率,该方法利用稀疏性来“击败”奈奎斯特极限。快速直接重建的可用性使压缩测量能够在小型嵌入式设备上处理。我们证明了这一点,通过构建一个实时的【形】压缩视频摄像机。
2013-11-15 cs.CV
DR2-Net: Deep Residual Reconstruction Network for Image Compressive Sensing
University of the Chinese Academy of Sciences(中国科学院大学);National Computer Network Emergency Response Technical Team/Coordination Center of China(国家计算机网络应急技术处理协调中心);Peking University(北京大学);Capital Normal University(首都师范大学);University of Texas at San Antonio(得克萨斯大学圣安东尼奥分校)
传统的压缩感知图像重建算法计算量大。最近,已经报道了基于深度学习的重建算法,其比迭代重建算法大幅降低了时间复杂度。在本文中,我们提出了一种新的\textbf{D} eep \textbf{R} estidual \textbf{R} constructionnetwork(DR $^{2}$-Net)重建图像从其压缩感知(CS)测量。DR $^{2}$-Net是基于两个观察提出的:1)线性映射可以重建高质量的初步图像,2)残差学习可以进一步提高重建质量。相应地,DR $^{2}$-Net由两个部分组成,分别是\emph{i.e.,}线性映射网络和残差网络.具体来说,神经网络中的全连接层实现了线性映射网络。然后,我们扩展线性映射网络DR $^{2}$-Net通过添加几个残差学习块,以增强初步图像。广泛的实验表明,DR $^{2}$-Net在测量率分别为0.01、0.04、0.1和0.25时,大幅优于传统的迭代法和最近的基于深度学习的方法。DR $^{2}$-Net的代码已经发布在:https://github. com/coldrainyht/caffe\_dr2
2017-11-16 cs.CV
ReconNet: Non-Iterative Reconstruction of Images from Compressively Sensed Random Measurements
Arizona State University(亚利桑那州立大学);University of Arizona(亚利桑那大学)
本文的目标是提出一种非迭代且更重要的是一种极其快速的算法,用于根据压缩感知(CS)随机测量值重建图像。为此,我们提出了一种新的卷积神经网络(CNN)架构,它将图像的CS测量作为输入并输出中间重建。我们把这个网络叫做ReconNet。将中间重建馈送到现成的去噪器中以获得最终重建图像。在一个标准的图像数据集上,我们在各种测量速率下的重建结果(PSNR和时间复杂度)比最先进的迭代CS重建算法有了显着的改善。此外,通过对使用我们的块单像素相机(SPC)收集的真实数据进行定性实验,我们表明我们的网络对传感器噪声具有高度鲁棒性,并且可以在0.1和0.04的极低感知率下恢复视觉质量优于竞争算法的图像。为了证明我们的算法即使在0.01的低测量率下也可以恢复语义信息丰富的图像,我们提出了一个非常强大的实时视觉跟踪应用的概念证明。
2016-03-07 cs.CV
Group-based Sparse Representation for Image Compressive Sensing Reconstruction with Non-Convex Regularization
School of Electronic Science and Engineering, Nanjing University(南京大学电子科学与工程学院);Center for Machine Vision and Signal Analysis, University of Oulu(奥卢大学机器视觉与信号分析中心)
基于块的稀疏表示建模在图像压缩感知(CS)重建中显示出巨大的潜力。然而,该模型通常受到一些限制,如字典学习具有很大的计算复杂性,忽略了相似补丁之间的关系。提出了一种基于组的非凸正则化稀疏表示方法(GSR-NCR)用于图像CS重建。在GSR-NCR中,图像的局部稀疏性和非局部自相似性被同时考虑在一个统一的框架。与以往的基于稀疏性提升的凸正则化方法不同,本文将非凸加权Lp(0 < p < 1)罚函数扩展到数据矩阵的组稀疏系数上,而不是传统的基于L1的正则化方法。为了降低计算复杂性,而不是学习字典与高计算复杂性从自然图像,我们学习的主成分分析(PCA)为每组的字典。此外,为了使所提出的计划易于处理和强大的,我们已经开发了一个有效的迭代收缩/阈值算法来解决非凸优化问题。实验结果表明,所提出的方法优于许多国家的最先进的图像CS重建技术。
2017-08-17 cs.CV
Rank Minimization for Snapshot Compressive Imaging
Tsinghua University(清华大学);Nokia Bell Labs(诺基亚贝尔实验室);Duke University(杜克大学)
快照压缩成像(SCI)是指将多个帧映射到单个测量中的压缩成像系统,其中视频压缩成像和高光谱压缩成像作为两个代表性应用。尽管在高速视频和高光谱图像中取得了令人振奋的结果,但SCI重建质量差的问题阻碍了SCI的广泛应用,本文旨在通过利用期望信号中的高维结构来提高SCI的重建质量。我们建立了一个联合模型,将视频/高光谱帧的非局部自相似性和秩最小化方法与SCI感知过程相结合。在此之后,交替极小化算法开发解决这个非凸问题。我们进一步研究了SCI中采样过程的特殊结构,以解决SCI重建中的计算工作量和内存问题。仿真和真实数据(由四个不同的SCI相机捕获)的结果表明,我们提出的算法导致显着的改进相比,目前最先进的算法。我们希望我们的结果将鼓励研究人员和工程师进一步追求压缩成像的实际应用。
2018-07-20 cs.CV
Multiview Compressive Coding for 3D Reconstruction
FAIR, Meta AI(元人工智能公司FAIR实验室)
视觉识别的核心目标是从单个图像中理解对象和场景。由于大规模学习和通用表示,2D识别已经取得了巨大的进展。相比之下,3D提出了新的挑战,源于图像中未描绘的遮挡。先前的工作试图通过从多个视图推断或依赖于稀缺的CAD模型和类别特定的先验来克服这些问题,这些先验阻碍了扩展到新的设置。在这项工作中,我们探索单视图三维重建学习的启发,在自监督学习的进步概括表示。我们介绍了一个简单的框架,该框架在单个对象或整个场景的3D点上操作,再加上来自不同RGB-D视频的类别不可知的大规模训练。我们的模型,多视图压缩编码(MCC),学习压缩输入的外观和几何形状,通过查询3D感知解码器来预测3D结构。MCC的通用性和效率使其能够从大规模和多样化的数据源中学习,并对DALL $\cdot$ E 2想象的新对象或用iPhone在野外捕获的新对象具有很强的泛化能力。
2023-01-19 cs.CV
Image Compression Based on Compressive Sensing: End-to-End Comparison with JPEG
Bell Labs(贝尔实验室);Verizon Labs(威瑞森实验室)
提出了一种基于压缩感知的端到端图像压缩系统。该系统将传统的压缩采样和重构方案与量化和熵编码相结合。的压缩性能,在解码图像质量与数据率方面,被证明是与JPEG相媲美,并显着更好地在低速率范围。我们研究了影响系统性能的参数,包括(i)传感矩阵的选择,(ii)量化和压缩比之间的权衡,以及(iii)重建算法。我们提出了一种有效的方法来联合控制量化步骤和压缩比,以实现在任何给定的比特率接近最佳的质量。此外,我们提出的图像压缩系统可以直接用于压缩传感相机,例如单像素相机,以构建硬件压缩采样系统。
2020-01-19 cs.CV
A Comparative Study of Compressive Sensing Algorithms for Hyperspectral Imaging Reconstruction
Norwegian University of Science and Technology(挪威科技大学);University Politehnica Bucharest(布加勒斯特理工大学)
本研究针对高光谱成像数据量大的问题,对比了多种压缩感知恢复算法在2.5倍压缩下的表现,发现gOMP算法精度更高、速度更快,但依赖未知数据稀疏度。
2024-01-26 cs.CV
Non-Local Compressive Sensing Based SAR Tomography
Technische Universität München (TUM)(慕尼黑工业大学);German Aerospace Center (DLR)(德国航空航天中心)
城市区域的层析合成孔径雷达(TomoSAR)反演是一个固有的稀疏重建问题,因此,可以使用压缩感知(CS)算法来解决。本文针对该领域存在的两个问题提出了解决方案:1)TomoSAR需要大量的数据集,这使得该技术昂贵。然而,可以表明,采集的数量和信噪比(SNR)可以相互权衡,因为它是渐进的,只有采集的数量和SNR的产品,确定重建质量。我们建议通过将非局部估计集成到反演中来增加SNR,并表明仅从七个干涉图合理重建建筑物是可行的。2)基于CS的反演在计算上是昂贵的,因此几乎不适合大规模应用。我们介绍了一种新的快速和准确的算法来解决非局部L1-L2最小化问题,中央CS为基础的重建算法。使用模拟数据和TerraSAR-X高分辨率聚光灯图像在德国慕尼黑地区的算法的适用性。
2018-11-05 cs.CV
Exploring Spatiotemporal Feature Propagation for Video-Level Compressive Spectral Reconstruction: Dataset, Model and Benchmark
本文提出PG-SVRT模型,通过时空特征传播提升视频级压缩光谱重建性能,构建DynaSpec数据集并验证其有效性
2026-02-28 cs.CV
Compressive hyperspectral imaging via adaptive sampling and dictionary learning
Case Western Reserve University(凯斯西储大学);Commonwealth Scientific and Industrial Research Organisation (CSIRO)(联邦科学与工业研究组织(CSIRO));University of Queensland(昆士兰大学);University of New South Wales(新南威尔士大学)
在本文中,我们提出了一种新的高光谱信号的采样策略,是基于字典学习和奇异值分解(SVD)。具体来说,我们首先使用字典学习从训练光谱数据中学习稀疏化字典。然后,我们对字典执行SVD,并使用前几个左奇异向量作为测量矩阵的行,以获得用于重建的压缩测量。所提出的方法提供了显着的改进,传统的压缩传感方法。通过使用矩阵平衡来重构传感矩阵,进一步提高了重构性能。我们还证明了字典学习和SVD的组合是强大的,通过将它们应用到不同的数据集。
2015-12-02 cs.CV
Block-wise Lensless Compressive Camera
Bell Labs(贝尔实验室)
现有的无透镜压缩相机($\text{L}^2\text{C}^2$)~ \cite{Huang13ICIP}遭受低捕获速率,导致在短时间内采集时的低分辨率图像。在这项工作中,我们提出了一个新的制度,以减轻这些缺点。我们用基于局部块(补丁)的压缩感知代替现有$\text{L}^2\text{C}^2$中使用的基于全局的压缩感知。我们对每个块使用单个传感器,而不是对整个图像使用单个传感器,从而形成多个但空间上平行的传感器$\text{L}^2\text{C}^2$。这种新相机保留了现有$\text{L}^2\text{C}^2$的优点,同时带来以下额外的好处:1)由于每个块可以非常小,{ \em例如} $~8\times 8$像素,我们只需要捕获$\sim 10$测量值就可以实现合理的重建。因此,捕获时间可以显著减少。2)在每个块中使用的编码模式可以是相同的,因此感测矩阵仅具有与现有$\text{L}^2\text{C}^2$中的整个图像大小相比的块大小。这节省了感测矩阵的存储器需求,并且加快了重构。3)基于块的图像重建是快速的,因为实时的拼接算法的存在,我们可以执行实时的重建。4)这些小块可以集成到任何所需的数量,从而产生超高分辨率图像,同时保持快速捕获速率和快速重建。在本文中,我们开发了这种块式$\text{L}^2\text{C}^2$的多种几何形状。我们已经建立了原型的建议块明…
2017-01-19 cs.CV
Tree-Structure Bayesian Compressive Sensing for Video
Duke University(杜克大学)
提出了一种基于彩色编码孔径压缩时域成像(CACTI)系统的贝叶斯压缩感知视频重建框架。通过利用小波变换和离散余弦变换(DCT)系数的三维(3D)树结构,推导了一种贝叶斯压缩感知反演算法,用于从单个单色压缩测量重构(最多22个)彩色视频帧。仿真和真实数据集被用来验证所提出的算法的性能。
2014-10-12 cs.CV
Compressive Imaging Reconstruction via Tensor Decomposed Multi-Resolution Grid Encoding
School of Mathematics and Statistics, Xi’an Jiaotong University(西安交通大学数学与统计学学院);School of Mathematical Science, University of Electronic Science and Technology of China(电子科技大学数学科学学院)
提出张量分解多分辨率网格编码(GridTD)无监督连续表示框架,通过结合多分辨率网格编码与张量分解优化轻量级神经网络,有效且高效地实现高维图像压缩成像重建。
2025-07-10 cs.CV eess.IV
Progressive Flow-inspired Unfolding for Spectral Compressive Imaging
Xiaodong Wang 1, 2(王小东);Ping Wang 1,2(王平);Zijun He 1,2(何子军);Mengjie Qin 2(秦孟杰);Xin Yuan 2(袁新)
针对CASSI重建中深度展开网络轨迹不可控导致质量突变的问题,提出受扩散和流匹配启发的轨迹可控展开框架,结合高效空间-光谱Transformer与频域融合,实现平滑连续优化,在质量与效率上超越现有方法。
2025-09-15 cs.CV
Single-Pixel Image Reconstruction Based on Block Compressive Sensing and Deep Learning
Monash University Malaysia(马来西亚莫纳什大学);Changchun University of Science and Technology(长春理工大学);Colorado State University(科罗拉多州立大学)
单像素成像(SPI)是一种基于压缩感知(CS)理论的新型成像技术。在SPI中,通过一系列压缩测量获得数据,并重建相应的图像。通常,诸如基追踪的重建算法依赖于图像中的稀疏性假设。然而,深度学习的最新进展已经在重建CS图像中找到了它的用途。尽管在模拟中显示出有希望的结果,但通常不清楚如何在实际的SPI设置中实现这种算法。在本文中,我们展示了深度学习结合块压缩感知(BCS)在SPI图像重建中的应用。我们还提出了一种新的基于卷积神经网络的重建模型,该模型优于其他竞争对手的CS重建算法。此外,通过将BCS纳入我们的深度学习模型,我们能够重建超过某个最小图像尺寸的任何尺寸的图像。此外,我们还证明了我们的模型能够重建从SPI设置中获得的图像,同时预先在自然图像上进行训练,这可能与SPI图像有很大的不同。这为预训练的深度学习模型用于不同领域图像的CS重建提供了可行性。
2022-07-14 cs.CV eess.IV
RayFormer: Modeling Inter- and Intra-Ray Similarity for NeRF-Based Video Snapshot Compressive Imaging
Changzhi Medical College(长治医学院);Uniwave Artificial Intelligence Technology Co., Ltd.(Uniwave人工智能技术有限公司);Xidian University, School of Artificial Intelligence(西安电子科技大学人工智能学院)
本文提出了一种基于NeRF的视频快照压缩成像方法,通过改进的射线采样策略和RayFormer模型,提升动态场景重建质量。
2026-04-30 cs.CV
ConvCSNet: A Convolutional Compressive Sensing Framework Based on Deep Learning
Xidian University(西安电子科技大学)
压缩感知(CS),旨在从一个小的随机测量集重建图像/信号,近年来引起了相当大的关注。由于图像的高维性,以前的压缩感知方法主要在图像块上工作,以避免对存储器和计算的巨大需求,即,利用高斯随机矩阵对图像块进行度量,并从重构图像块中恢复出完整的图像。虽然有效,但这种方法遭受严重的阻塞伪像。在本文中,我们提出了一个卷积CS框架,使用一组卷积滤波器来感知整个图像。不是重建单个块,而是从线性卷积测量重建整个图像。具体地,基于卷积神经网络(CNN)来实现卷积CS,该卷积神经网络执行卷积CS和非线性重构两者。通过端到端的训练,可以联合优化传感滤波器和重建网络。为了便于CS重建网络的设计,开发了一种新的两分支CNN,其灵感来自于基于稀疏性的CS重建模型。实验结果表明,该方法在PSNR和视觉质量方面都明显优于以前的国家的最先进的CS方法。
2018-01-31 cs.CV
RobustSCI: Beyond Reconstruction to Restoration for Snapshot Compressive Imaging under Real-World Degradations
本文提出RobustSCI,通过构建大规模基准和引入RobustCFormer模块,解决现实退化下的Snapshot压缩成像修复问题,提升恢复性能。
2026-03-15 cs.CV
Fully Convolutional Measurement Network for Compressive Sensing Image Reconstruction
Xidian University(西安电子科技大学)
最近,深度学习方法在压缩感知图像重建任务中取得了显著的进步。在现有的方法中,由于高的计算复杂性,场景是逐块测量的。这导致恢复的图像的块效应。在本文中,我们提出了一个完全卷积的测量网络,其中场景作为一个整体进行测量。该方法保留了场景图像的结构信息,有效地消除了块效应。为了使测量更灵活,测量和恢复部分联合训练。实验结果表明,该方法在PSNR、SSIM和视觉效果等方面均优于现有方法。
2018-05-29 cs.CV cs.LG
DeepBinaryMask: Learning a Binary Mask for Video Compressive Sensing
Northwestern University(西北大学)
在本文中,我们提出了一种新的编码器-解码器神经网络模型,称为DeepBinaryMask的视频压缩感知。在视频压缩感测中,使用一组编码掩码(感测矩阵)来获取一个帧,从该编码掩码(感测矩阵)中重构多个视频帧,该多个视频帧的数量等于编码掩码的数量。所提出的框架是一个端到端的模型,其中感测矩阵与视频重建一起训练。编码器学习感测矩阵的二进制元素,并且解码器被训练以恢复未知的视频序列。发现当使用来自网络的经训练的感测掩码时,重建性能与其他掩码设计(诸如随机)相比在各种各样的压缩感测重建算法中得到改善。最后,我们的分析和讨论提供了深入了解训练的掩模设计的特点,导致提高重建质量。
2016-07-18 cs.CV cs.LG
Dual-Path Hyperprior Informed Deep Unfolding Network for Image Compressive Sensing
Harbin Institute of Technology(哈尔滨理工大学)
本文提出双路径超先验信息引导的深度展开网络,通过双路径架构解决单一测量流和统一处理的问题,利用超先验知识提升压缩感知重建性能。
2026-05-10 cs.CV
Unsupervised Spatial-spectral Network Learning for Hyperspectral Compressive Snapshot Reconstruction
Nanjing University of Information Science and Technology(南京信息工程大学);National University of Singapore(新加坡国立大学)
高光谱压缩成像利用压缩感知理论,无需时间扫描即可实现编码孔径快照测量,在单个积分周期内通过二维投影获取整个三维空间-光谱数据。其核心问题是如何利用压缩感知重建算法重建底层高光谱图像。由于不同光谱成像设备的光谱响应特性和波长范围的差异,以前的工作往往不足以捕捉复杂的光谱变化或缺乏对新的高光谱成像仪的适应能力。为了解决这些问题,我们提出了一个无监督的空间光谱网络重建高光谱图像只从压缩快照测量。所提出的网络作为一个条件生成模型的条件下的快照测量,它利用空间光谱注意模块来捕捉联合空间光谱相关的高光谱图像。通过对网络参数的优化,使网络输出与给定的快照测量值紧密匹配,从而使网络能够适应不同的成像设置,增强了网络的适用性。在多个数据集上的大量实验表明,我们的网络可以实现比最先进的方法更好的重建结果。
2021-07-31 cs.CV eess.IV
ADMM-Net: A Deep Learning Approach for Compressive Sensing MRI
压缩感知(CS)是快速磁共振成像(MRI)的有效方法。它的目的是从k空间中的少量欠采样数据重建MR图像,并加速MRI中的数据采集。为了提高当前MRI系统的重建精度和速度,在本文中,我们提出了两种新的深度架构,称为ADMM-Nets的基本版本和广义版本。ADMM-Nets定义在数据流图上,这些数据流图是从用于优化基于CS的一般MRI模型的交替方向乘法(ADMM)算法中的迭代过程导出的。它们将采样的k空间数据作为输入并输出重建的MR图像。此外,我们扩展了我们的网络,以应对复值MR图像。在训练阶段,网络的所有参数,例如,变换、收缩函数等,都是端到端的区别训练。在测试阶段,它们具有类似于ADMM算法的计算开销,但使用从基于CS的重建任务的数据中学习的优化参数。我们研究了网络结构中的不同配置,并在不同采样率下对MR图像重建进行了广泛的实验。由于结合了基于模型的方法和深度学习方法的优点,ADMM-Nets以快速的计算速度实现了最先进的重建精度。
2017-05-19 cs.CV
Stochastic Deep Compressive Sensing for the Reconstruction of Diffusion Tensor Cardiac MRI
Department of Computing, Imperial College London(帝国理工学院计算机系);National Heart & Lung Institute, Imperial College London(帝国理工学院国家心肺研究所);Cardiovascular Research Centre, Royal Brompton Hospital(皇家布朗普顿医院心血管研究中心)
在心肌细胞及其聚集体的微观尺度上了解心脏的结构,为心脏病的机制提供了新的见解,并能够研究有效的治疗方法。扩散张量心脏磁共振(DT-CMR)是一种独特的非侵入性技术,可以在不需要外源性造影剂的情况下解析心肌的微观结构、组织和完整性。然而,该技术遭受相对低的信噪比(SNR)和由于呼吸和心脏运动而导致的频繁的信号损失。当前的DT-CMR技术依赖于采集和平均多个信号采集来提高SNR。此外,为了减轻呼吸运动的影响,患者需要执行多次屏气,这导致延长的采集持续时间(例如,使用现有技术约30分钟)。在这项研究中,我们提出了一种新的级联卷积神经网络(CNN)的压缩感知(CS)技术,并探讨其适用性,以改善DT-CMR收购。我们的模拟为基础的研究已经取得了很高的重建保真度和良好的协议DT-CMR参数与建议的重建和完全采样地面实况。与其他最先进的方法相比,我们提出的深度级联CNN方法及其随机变化表现出显着的改进。据我们所知,这是第一次使用基于深度CNN的CS进行DT-CMR重建的研究。此外,通过对采集方案进行相对简单的修改,我们的方法可以很容易地转化为在线扫描仪重建方法,从而能够在各种临床应用中部署加速DT-CMR。
2018-05-30 cs.CV
Towards Real-time Video Compressive Sensing on Mobile Devices
Zhejiang University(浙江大学);Westlake University(西湖大学);University of Electronic Science and Technology of China(电子科技大学)
针对移动设备难以实时运行视频SCI重建算法的问题,提出MobileSCI方法,通过U型2D卷积架构、高效特征混合模块与定制知识蒸馏,在iPhone 15上实现35 FPS的实时高质量重建。
2024-08-14 cs.CV
Low-Rank and Sparse Matrix Decomposition with a-priori knowledge for Dynamic 3D MRI reconstruction
National University of Singapore(新加坡国立大学)
最近已经表明,结合先验知识显着提高了基于基本压缩感知的方法的性能。我们已经成功地利用这个想法,从压缩测量中恢复矩阵作为低秩和稀疏分量的总和。当应用于从高度欠采样的$k-$空间数据中实时构建4D心脏MR图像序列的问题时,我们提出的方法与其他最先进的方法相比,实现了优越的重建质量。
2014-11-23 cs.CV
MC-ISTA-Net: Adaptive Measurement and Initialization and Channel Attention Optimization inspired Neural Network for Compressive Sensing
在自然图像的压缩感知(CS)重建中,优化启发的网络可以将凸优化和神经网络结合起来,如ISTA-Net+,它将优化算法:迭代收缩阈值算法(ISTA)映射到网络中。然而,测量矩阵和输入初始化仍然是手工制作的,并且多通道特征图包含不同频率的信息,这些信息在通道之间被平等对待,阻碍了优化启发网络中CS重建的能力。为了解决上述问题,我们提出了MC-ISTA-Net
2019-08-11 cs.CV
Progressive versus Random Projections for Compressive Capture of Images, Lightfields and Higher Dimensional Visual Signals
MIT Media Lab(麻省理工学院媒体实验室);MERL(三菱电机研究实验室)
计算摄影涉及复杂的捕捉方法。一个新的趋势是在低维传感器上捕获诸如视频、多光谱数据和光场的高维视觉信号的投影。精心设计的捕获方法利用变换域中基础信号的稀疏性来减少测量次数并使用适当的重建方法。传统的渐进方法可以使用一系列简单的投影基(如DCT或小波)连续捕获更多的细节,并采用直接的反投影进行重建。随机投影方法不使用任何特定序列,并使用L0最小化进行重建。在本文中,我们分析了自然图像,视频,多光谱数据和光场的统计特性,并比较渐进和随机投影的有效性。我们通过绘制重建SNR对压缩因子来定义有效性。其关键思想是一个程序来衡量最佳情况下的有效性,是快速的,独立于特定的硬件和独立的重建过程。我们相信,这是第一个实证研究,比较不同的有损捕获策略,没有复杂的硬件或重建模糊。范围限于线性非自适应感测。结果表明,随机投影产生显着的优势,比其他投影只有高维信号,并建议更多的研究新生的自适应和非线性投影方法。
2011-09-09 cs.CV
Reconstruction of Complex-Valued Fractional Brownian Motion Fields Based on Compressive Sampling and Its Application to PSF Interpolation in Weak Lensing Survey
提出了一种基于压缩采样(CS)的复值分数布朗运动(CV-fBm)场重构新方法。fBm信号/场的傅里叶系数幅值的衰减特性表明fBm是可压缩的。因此,少量样本将足以使基于CS的方法重构全场。仿真、随机采样和重构CV-fBm场的结果表明了该方法的有效性。性能评估表明,该方法优于boxcar滤波和薄板方法。实验还发现,重建性能与fBm的Hurst参数和样本数有关,这与CS重建理论是一致的。与其他fBM或分形插值方法相比,所提出的基于CS的方法在重建过程中不需要分形参数的知识;固有的稀疏性刚好足够CS进行重建。本文还讨论了该方法在弱引力透镜测量中的潜在应用,特别是在湍流场引起的非光滑点扩散函数(PSF)分布的插值中。
2013-11-01 astro-ph.CO cs.CV
Using Powerful Prior Knowledge of Diffusion Model in Deep Unfolding Networks for Image Compressive Sensing
Beijing Jiaotong University(北京交通大学)
本文提出DMP-DUN,将预训练扩散模型的先验知识嵌入深度展开网络,以最少2步实现图像压缩感知的高质量重建并达到最先进性能。
2025-03-11 cs.CV
Attention-guided Image Compression by Deep Reconstruction of Compressive Sensed Saliency Skeleton
Shanghai Jiao Tong University(上海交通大学)
我们提出了一个深度学习系统,用于注意力引导的双层图像压缩(AGDL)。在AGDL压缩系统中,图像被编码成两层,基本层和注意力引导细化层。与现有的ROI图像压缩方法不同,AGDL采用CNN模块来预测ROI内对感知质量至关重要的显著性草图上和附近的那些像素。只有关键像素通过压缩感测(CS)进一步采样以形成非常紧凑的细化层。开发了另一种新颖的CNN方法来联合解码两个压缩层以进行更精细的重建,同时严格满足对感知关键像素的传输CS约束。大量的实验表明,所提出的AGDL系统先进的感知图像压缩的艺术状态。
2021-03-29 cs.CV eess.IV
Structure Preserving Compressive Sensing MRI Reconstruction using Generative Adversarial Networks
IIT Roorkee(印度理工学院鲁尔基分校);IIT Kharagpur(印度理工学院克勒格布尔分校)
压缩感知磁共振成像(CS-MRI)通过突破奈奎斯特采样限制来加速MR图像的采集。在这项工作中,提出了一种新的生成对抗网络(GAN)为基础的框架CS-MRI重建。我们的模型结合了基于块的重构和基于结构相似性指数的损失,专注于保留重构图像中的高频内容和精细纹理细节。密集和剩余的连接已被纳入一个U型网络为基础的发电机架构,以允许更容易的信息传输以及可变的网络长度。我们表明,我们的算法优于国家的最先进的方法在重建的质量和鲁棒性噪声。此外,毫秒级的重建时间使其非常适合实时临床使用。
2020-04-26 cs.CV cs.LG eess.IV
Scalable Deep Compressive Sensing
University of Electronic Science and Technology of China(电子科技大学);Shanghai Jiao Tong University(上海交通大学)
深度学习已被用于图像压缩感知(CS)以增强重建性能。然而,大多数现有的深度学习方法针对不同的子采样率训练不同的模型,这带来了额外的硬件负担。在本文中,我们开发了一个名为可扩展深度压缩感知(SDCS)的通用框架,用于所有现有端到端训练模型的可扩展采样和重建(SSR)。在所提出的方法中,图像被线性地测量和初始化。引入两个采样掩码,分别灵活地控制采样和重构中使用的子采样率。为了使重建模型适应任意的子采样率,提出了一种可扩展训练策略。在可扩展训练中,通过集成不同的采样矩阵掩码,以不同的子采样率使用采样矩阵和初始化矩阵来训练模型。实验结果表明,SDCS模型可以在不改变模型结构的情况下实现SSR,同时保持良好的性能,SDCS优于其他SSR方法。
2021-01-22 cs.CV eess.IV
OpenICS: Open Image Compressive Sensing Toolbox and Benchmark
Arizona State University(亚利桑那州立大学)
我们提出了OpenICS,图像压缩感知工具箱,其中包括在过去十年中提出的多个图像压缩感知和重建算法。由于算法的实现和评价缺乏标准化,限制了图像压缩感知在现实世界中的应用。我们相信这个工具箱是第一个提供多个图像压缩感知算法的统一和标准化实现的框架。此外,我们还从重建精度和重建效率两个方面对该框架中包含的方法进行了基准研究。我们希望这个工具箱和基准可以服务于不断增长的压缩感知研究社区和将图像压缩感知应用于新问题的行业,以及更有效地开发新方法。代码和型号可在https://github.com/PSCLab-ASU/OpenICS上获得。该项目仍在维护中,我们将不断更新此文档。
2021-05-07 cs.CV cs.LG eess.IV
Sparse Reconstruction of Compressive Sensing MRI using Cross-Domain Stochastically Fully Connected Conditional Random Fields
University of Waterloo(滑铁卢大学);University of Toronto(多伦多大学);Sunnybrook Research Institute(桑尼布鲁克研究所)
磁共振成像(MRI)是筛查和诊断常见癌症的关键医学成像技术。然而,由于患者运动,图像质量可能会受到MRI的长采集时间的影响,并导致患者非常不适。减少MRI采集时间可以减少患者的不适,从而减少采集过程中的运动伪影。压缩感测策略,当应用于MRI时,已被证明是有效的,在减少采集时间显着的采集过程中稀疏采样的\emph{k}空间。然而,这种策略需要先进的重建算法来从压缩感知MRI产生高质量和可靠的图像。提出了一种新的基于跨域随机全连接条件随机场(CD-SFCRF)的压缩感知MRI重建方法。CD-SFCRF在随机完全连接的图形模型内的\emph{k}空间和空间域中引入约束,以产生改进的MRI重建。使用前列腺的T2加权(T2 w)成像和扩散加权成像(DWI)的实验结果显示,即使在低采样率下,与其他测试方法相比,在保留重建图像中的精细细节和组织结构方面也具有很强的性能。
2015-12-25 cs.CV physics.med-ph stat.ME
LAPRAN: A Scalable Laplacian Pyramid Reconstructive Adversarial Network for Flexible Compressive Sensing Reconstruction
Arizona State University(亚利桑那州立大学)
本文研究了单图像压缩感知(CS)和重建问题。我们提出了一个可扩展的拉普拉斯金字塔重建对抗网络(LAPRAN),可以实现高保真度、灵活且快速的CS图像重建。LAPRAN遵循拉普拉斯金字塔的概念,通过多个阶段的重建对抗网络(RAN)逐步重建图像。在每个金字塔级别,CS测量值与上下文潜在向量融合以生成高频图像残差。因此,LAPRAN可以产生重建图像的层次结构,并且每个层次结构都具有增量分辨率和改进的质量。LAPRAN的可缩放金字塔结构使得能够以灵活的分辨率进行高保真CS重建,该分辨率适应于宽范围的压缩比(CR),这在现有方法中是不可行的。在多个公开数据集上的实验结果表明,与基于模型和数据驱动的基线相比,LAPRAN分别提供了平均7.47dB和5.98dB的PSNR,以及平均57.93%和33.20%的SSIM改善。
2018-11-03 cs.AI cs.CV cs.LG
Two-pixel polarimetric camera by compressive sensing
CEA, IRFU, Service d’Astrophysique-SEDI(法国原子能和替代能源委员会、核研究与粒子物理研究所、天体物理服务部)
提出了一种基于数字微镜阵列和两个单像素探测器的压缩感知偏振成像新概念。所提出的设置的偏振灵敏度是由于反射镜的实验缺陷,这是利用在这里形成一个原始的重建问题,包括CS问题和声源分离任务。我们表明,一个两步的方法来解决每个问题连续优于一个专用的组合重建方法,这是在这篇文章中明确,最好是通过一个重新加权FISTA算法实现。然后通过包括特定于所考虑的极化成像上下文的物理约束来进一步改进组合重建方法,所述物理约束在原始约束GFB算法中实现。数值模拟表明,2像素CS偏振成像设置检索偏振对比度数据的效率与显着的压缩率和良好的重建质量。通过数值模拟,分析了DMD实验缺陷的影响,并给出了二维偏振成像重建结果。
2017-06-16 cs.CV physics.optics
Spectral Compressive Imaging Reconstruction Using Convolution and Contextual Transformer
University of Chinese Academy of Sciences(中国科学院大学);Westlake University(西湖大学)
针对光谱压缩成像重建算法耗时长、细节恢复差的问题,提出CCoT块并嵌入深度展开框架构建GAP-CCoT网络,显著提升了重建质量与运行效率。
2023-07-02 cs.CV eess.IV
Hierarchical Interactive Reconstruction Network For Video Compressive Sensing
Harbin Institute of Technology(哈尔滨工业大学);People's Daily Online(人民网);ChongQing Research Institute of HIT(哈尔滨工业大学重庆研究院)
本文提出HIT-VCSNet,通过空间域分层特征提取和时间域分层交互机制协同利用时空深度先验,显著提升视频压缩感知重建质量,性能大幅超越现有最先进方法。
2023-04-15 cs.CV eess.IV
Two-Stage is Enough: A Concise Deep Unfolding Reconstruction Network for Flexible Video Compressive Sensing
Computer Network Information Center, Chinese Academy of Science(中国科学院计算机网络信息中心);University of Chinese Academy of Sciences(中国科学院大学);Westlake University(西湖大学)
本文研究了深度展开/滚动结构下的视频压缩感知重构问题。然而,我们的目标是建立一个灵活和简洁的模型,使用最少的阶段。与现有的用于逆问题的深度展开网络不同,其中使用更多的阶段以获得更高的性能,但对不同的掩码和尺度没有灵活性,因此,我们证明了2阶段深度展开网络可以导致最先进的(SOTA)结果(与单阶段模型相比,PSNR增益为1.7dB,RevSCI)。由于深度展开的优点,所提出的方法具有适应新掩码的特性,并且可以扩展到大数据而无需任何额外的训练。此外,我们扩展了所提出的模型进行联合重建和去马赛克。实验结果表明,本文提出的两阶段模型也实现了SOTA彩色图像重建,与基于即插即用框架的SOTA算法相比,PSNR提高了2.3dB以上,重建速度提高了17倍以上。此外,我们还发现,我们的网络也是灵活的掩模调制和规模大小的颜色重建,使一个单一的训练网络可以应用于不同的硬件系统。代码和模型将向公众发布。
2022-01-21 cs.CV eess.IV
Multi-Scale Deep Compressive Imaging
Sungkyunkwan University(成均馆大学);Osaka University(大阪大学)
最近,基于深度学习的压缩成像(DCI)在重建质量和更快的运行时间方面已经超过了传统的压缩成像。虽然多尺度显示出优于单尺度的性能,但DCI的研究仅限于单尺度采样。尽管使用单尺度图像进行训练,但DCI倾向于类似于传统的多尺度采样的低频分量,特别是在低子速率下。从这个角度来看,网络更容易通过多尺度采样架构学习多尺度特征。在这项工作中,我们提出了一个多尺度深度压缩成像(MS-DCI)框架,该框架联合学习在多尺度上分解,采样和重建图像。提出了一种三阶段的端到端训练方案,包括初始和两个增强重建阶段,以证明多尺度采样的效率,并进一步提高重建性能。我们分析了分解方法(包括金字塔、小波和尺度空间)、采样矩阵和测量,并展示了MS-DCI的经验优势,它始终优于传统方法和基于深度学习的方法。
2020-08-03 cs.CV eess.IV
A Simple and Efficient Reconstruction Backbone for Snapshot Compressive Imaging
Santa Clara University(圣克拉拉大学);ETH Zürich(苏黎世联邦理工学院);Westlake University(西湖大学);Northeastern University(东北大学)
快照压缩成像(SCI)的新兴技术使得能够以有效的方式捕获高维(HD)数据。它通常由两个组件实现:将HD信号压缩为2D测量的光学编码器和在硬件编码测量时检索HD数据的算法解码器。在广泛的SCI应用中,高光谱成像(HSI)和视频压缩感知近年来受到了极大的研究关注。在现有的SCI重建算法中,基于深度学习的方法因其良好的性能和高效的推理而脱颖而出。然而,深度重建网络可能会遭受过大的模型大小和高度专业化的网络设计,这不可避免地导致昂贵的训练时间,高内存使用和有限的灵活性,从而阻碍了SCI系统在实际场景中的部署。在本文中,我们提出了一种简单而高效的重建方法,即堆叠残差网络(SRN),通过重新审视具有嵌套结构和空间不变属性的残差学习策略来解决上述挑战。与现有网络相比,建议的SRN使高保真数据检索具有更少的计算操作和可忽略的模型大小,并且还可以作为适用于高光谱和视频数据的通用骨干。在此基础上,我们首先提出了信道注意增强的SRN(CAE-SRN),以探索HSI中细粒度空间估计的谱相关性。然后,我们采用SRN作为深度去噪器,并将其纳入广义交替投影(GAP)框架-导致GAP-SRN -来处理视频压缩感知任务。实验结果表明,所提出的SRN在两个SCI应用程序上具有最先进的性能和高计算效率。
2022-02-02 cs.CV eess.IV
Various Total Variation for Snapshot Video Compressive Imaging
Bell Labs(贝尔实验室)
由于传感器的可用性有限,对高维图像进行采样具有挑战性;在这些情况下通常需要扫描。为了缓解这一挑战,提出了快照压缩成像(SCI),以使用2D传感器(检测器)捕获高维(通常为3D)图像。通过新颖的光学设计,由传感器捕获的{ \em测量}是3D期望信号的多个帧的编码图像。在此之后,重建算法被用来检索高维数据。虽然已经提出了各种算法,基于总变分(TV)的方法仍然是最有效的一个,由于计算时间和性能之间的良好权衡。本文的目的是回答这个问题的电视惩罚(各向异性电视,各向同性电视和矢量化电视)最适合视频SCI重建?各种电视去噪和投影算法的开发和测试模拟和真实数据集上的视频SCI重建。
2020-05-16 cs.CV eess.IV
MetaSCI: Scalable and Adaptive Reconstruction for Video Compressive Sensing
Xidian University(西安电子科技大学);Bell Labs(贝尔实验室)
为了使用二维检测器捕获高速视频,视频快照压缩成像(SCI)是一种很有前途的系统,其中视频帧通过不同的掩码编码,然后压缩成快照测量。在此之后,需要有效的算法来重建高速帧,其中最先进的结果是通过深度学习网络实现的。然而,这些网络通常针对特定的小规模掩码进行训练,并且通常对训练时间和GPU内存有很高的要求,因此对于具有相同大小的新掩码\bf和较大规模掩码\em来说,这是不灵活的。我们通过开发用于SCI重建的Meta调制卷积网络来解决这些挑战,称为MetaSCI。MetaSCI由用于不同掩码的共享骨干和轻量元调制参数组成,所述轻量元调制参数演进为用于每个掩码的不同调制参数,因此具有{ \bf \em快速适应}新掩码(或系统)的特性,并且准备好{ \bf \em扩展到大数据}。大量的仿真和实际数据结果表明,我们所提出的方法的优越性能。我们的代码位于{ \small \url{https://github.com/xyvirtualgroup/MetaSCI-CVPR2021} }。
2021-03-02 cs.CV eess.IV
AMP-Net: Denoising based Deep Unfolding for Compressive Image Sensing
University of Electronic Science and Technology of China(电子科技大学);Shanghai Jiao Tong University(上海交通大学)
大多数压缩感知(CS)重建方法可以分为两类,即基于模型的方法和经典的深度网络方法。通过将基于模型方法的迭代优化算法展开到网络上,深度展开方法既具有基于模型方法的良好解释性,又具有经典深度网络方法的高速性。在本文中,为了解决视觉图像CS问题,我们提出了一个称为AMP-Net的深度展开模型。它不是学习正则化项,而是通过展开众所周知的近似消息传递算法的迭代去噪过程来建立的。此外,AMP-Net集成了去块效应模块,以消除视觉图像CS中通常出现的块效应。此外,采样矩阵与其他网络参数联合训练,以提高重建性能。实验结果表明,该方法具有重建速度快、网络参数少等优点,重建精度优于其他方法。
2021-01-22 cs.CV eess.IV
Compressive MR Fingerprinting reconstruction with Neural Proximal Gradient iterations
University of Edinburgh(爱丁堡大学);University of Bath(巴斯大学)
与物理正演模型的预测的一致性是可靠地解决反问题的关键。这种一致性在当前针对磁共振指纹(MRF)问题提出的端到端深度学习方法中大多是不受控制的。为了解决这个问题,我们提出了ProxNet,这是一个学习的近端梯度下降框架,它直接将前向采集和Bloch动态模型结合在循环学习机制中。ProxNet采用紧凑的神经近似模型进行去混叠和定量推理,可以在稀缺的MRF训练数据集上灵活训练。我们的数值实验表明,ProxNet可以实现卓越的定量推理准确性,更小的存储需求,以及与最近的深度学习MRF基线相当的运行时间,同时比字典匹配方案快得多。代码已在https://github.com/edongdongchen/PGD-Net上发布。
2020-07-06 cs.CV eess.IV
Compressive Coded Aperture Keyed Exposure Imaging with Optical Flow Reconstruction
The University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Duke University(杜克大学);University of California, Merced(加利福尼亚大学默塞德分校)
本文介绍了一种编码孔径和键控曝光的压缩视频测量方法,它允许一个小的物理平台,高光子效率,高时间分辨率,快速重建算法。所提出的投影满足限制等距属性(RIP),因此压缩感知理论为视频重建质量提供了理论保证。此外,可以使用诸如空间光调制器(SLM)的现有光学元件来容易地实现投影。我们将这些编码掩码设计扩展到新的双尺度掩码(DSM),它可以以微不足道的计算成本恢复场景的粗分辨率估计。我们开发了快速的数值算法,利用时间相关性和光流的视频序列,以及创新的结构的投影。我们的数值实验表明,所提出的方法的短波红外数据的有效性。
2013-06-26 cs.CV cs.IT math.IT
Nonconvex ${L_ {1/2}} $-Regularized Nonlocal Self-similarity Denoiser for Compressive Sensing based CT Reconstruction
Hunan University of Science and Technology(湖南科技大学);Nanjing First Hospital, Nanjing Medical University(南京医科大学附属南京第一医院);University of Macau(澳门大学);Nanjing University of Posts and Telecommunications(南京邮电大学)
基于压缩感知的计算机断层摄影(CT)图像重建旨在通过稀疏视图投影数据来降低辐射风险。从不完全投影中获得令人满意的图像质量通常具有挑战性。近年来,非凸${L_ {1/2}} $ -范数在稀疏恢复方面取得了很好的效果,但由于其非凸性,在成像方面的应用并不令人满意。本文提出了一种基于${L_ {1/2}} $的正则化非局部自相似(NSS)算法,该算法将低秩近似与组稀疏编码(GSC)框架相结合,用于CT重建问题。具体地说,我们首先将CT重建问题分解为两个子问题,然后使用我们的${L_ {1/2}} $正则化NSS去噪器进一步提高CT图像质量。我们不是从GSC的角度优化非凸问题,而是基于两个简单而重要的方案,通过低秩最小化来重建CT图像,这两个方案建立了基于GSC的去噪器和低秩最小化之间的等价关系。进一步,加权奇异值阈值(WSVT)算子被用来优化得到的非凸${L_ {1/2}} $最小化问题。在此之后,我们提出的去噪集成与CT重建问题的交替方向乘法器(ADMM)框架。在典型临床CT图像上的大量实验结果表明,我们的方法可以进一步实现比流行的方法更好的性能。
2022-05-15 cs.CV eess.IV
A Range-Null Space Decomposition Approach for Fast and Flexible Spectral Compressive Imaging
Huazhong University of Science & Technology(华中科技大学);Wuhan Jingce Electronic Group(武汉精测电子集团)
提出RND-SCI框架,通过距离-零空间分解引入深度先验约束,灵活提升各类HSI重建网络性能,并设计出达91帧每秒的RND-SAUNet网络。
2023-05-16 cs.CV eess.IV
ICRICS: Iterative Compensation Recovery for Image Compressive Sensing
Yangzhou University(扬州大学);Institut Supérieur d'Électronique de Paris(巴黎高等电子学院);Sorbonne University(索邦大学);Polytechnique Montreal(蒙特利尔理工学院);Westlake University(西湖大学)
闭环结构在自动控制系统中得到了广泛的应用,并取得了优异的性能。然而,经典的压缩传感系统采用具有分离的采样和重构单元的开环架构。为此,在传统压缩感知系统中引入闭环框架,提出了一种图像压缩感知迭代补偿恢复方法。该方法在现有方法的基础上,通过增加负反馈结构,提高了重建性能。对压缩传感系统的负反馈进行了理论分析。文中还给出了该方法有效性的近似数学证明。在3个以上图像数据集上的仿真实验表明,该方法的重建性能优于10种竞争方法。在一个数据集上,平均峰值信噪比的最大增量为4.36 dB,平均结构相似性的最大增量为0.034。该方法基于负反馈机制,可以有效地纠正现有图像压缩感知系统中的恢复误差。
2022-07-19 cs.CV cs.LG eess.IV
Error Resilient Deep Compressive Sensing
Sungkyunkwan University(成均馆大学);Linkoping University(林雪平大学)
压缩感知(CS)是一种新兴的采样技术,能够从测量的子集甚至损坏的测量中重建信号。基于深度学习的压缩感知(DCS)在保持快速重建的同时提高了CS性能,但需要针对每个测量速率的训练网络。此外,关于测量丢失的传输方案,DCS无法恢复原始信号。因此,它不能保持错误恢复特性。在这项工作中,我们提出了一个鲁棒的深度重建网络,以保持随机测量丢失的假设下的错误弹性。测量丢失层用来模拟端到端框架中的测量丢失。
2019-11-28 cs.CV cs.LG eess.IV
Adaptive low rank and sparse decomposition of video using compressive sensing
Rutgers University(罗格斯大学);Bell Labs(贝尔实验室);National University of Singapore(新加坡国立大学);Rice University(莱斯大学)
我们解决的问题,重建和分析监控视频使用压缩感知。我们提出了一种新的方法,进行视频重建的低秩和稀疏分解自适应。背景减除成为重建的一部分。在我们的方法中,使用背景模型,其中背景是自适应学习的压缩测量进行处理。自适应方法具有低延迟,并且比以前的方法更鲁棒。我们将提出实验结果来证明所提出的方法的优点。
2013-05-31 cs.CV cs.IT math.IT
Compressive Sensing of Sparse Tensors
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);PARC, Xerox Corporation(施乐公司帕洛阿尔托研究中心)
压缩感知(CS)自首次出现以来,引发了大量的研究活动。CS利用信号在特定域中的稀疏性或可压缩性,并集成了数据压缩和采集,从而允许通过相对较少的非自适应线性测量进行精确重建。虽然传统的CS理论依赖于向量形式的数据表示,但在各种应用中,例如彩色成像、视频序列和多传感器网络中的许多数据类型本质上由高阶张量表示。CS到高阶数据表示的应用通常通过将数据转换为必须使用非常大的采样矩阵测量的非常长的向量来执行,从而施加巨大的计算和存储负担。在本文中,我们提出了广义张量压缩感知(GTCS)-高阶张量的压缩感知的统一框架,它保留了张量数据的内在结构,降低了重建时的计算复杂性。GTCS提供了一种有效的手段,通过提供同时采集和压缩所有张量模式的多维数据的表示。此外,我们提出了两种重建方法,串行方法(GTCS-S)和并行方法(GTCS-P)。然后,我们比较了所提出的方法与克罗内克压缩感知(KCS)和多路压缩感知(MWCS)的性能。我们通过实验证明,GTCS在重建精度(在一定压缩比范围内)和处理速度方面都优于KCS和MWCS。我们的方法(以及MWCS)的主要缺点是压缩比可能比KCS提供的压缩比更差。
2014-09-03 cs.CV cs.IT math.IT