Detail Matters: Mamba-Inspired Joint Unfolding Network for Snapshot Spectral Compressive Imaging
School of Engineering, Westlake University（西湖大学工程学院）；Westlake Institute for Optoelectronics（西湖光电研究院）；Shanghai Jiao Tong University（上海交通大学）
本文提出 MiJUN，将物理展开与 Mamba 注意力及张量 mode-k 展开结合，用于快照光谱压缩成像中的高光谱重建，显著提升细节表示与重建性能。
2025-01-02 cs.CV
Towards Real-time Video Compressive Sensing on Mobile Devices
Zhejiang University（浙江大学）；Westlake University（西湖大学）；University of Electronic Science and Technology of China（电子科技大学）
针对移动设备难以实时运行视频SCI重建算法的问题，提出MobileSCI方法，通过U型2D卷积架构、高效特征混合模块与定制知识蒸馏，在iPhone 15上实现35 FPS的实时高质量重建。
2024-08-14 cs.CV
Unsupervised Spatial-spectral Network Learning for Hyperspectral Compressive Snapshot Reconstruction
Nanjing University of Information Science and Technology（南京信息工程大学）；National University of Singapore（新加坡国立大学）
高光谱压缩成像利用压缩感知理论，无需时间扫描即可实现编码孔径快照测量，在单个积分周期内通过二维投影获取整个三维空间-光谱数据。其核心问题是如何利用压缩感知重建算法重建底层高光谱图像。由于不同光谱成像设备的光谱响应特性和波长范围的差异，以前的工作往往不足以捕捉复杂的光谱变化或缺乏对新的高光谱成像仪的适应能力。为了解决这些问题，我们提出了一个无监督的空间光谱网络重建高光谱图像只从压缩快照测量。所提出的网络作为一个条件生成模型的条件下的快照测量，它利用空间光谱注意模块来捕捉联合空间光谱相关的高光谱图像。通过对网络参数的优化，使网络输出与给定的快照测量值紧密匹配，从而使网络能够适应不同的成像设置，增强了网络的适用性。在多个数据集上的大量实验表明，我们的网络可以实现比最先进的方法更好的重建结果。
2021-07-31 cs.CV eess.IV
Fast Hyperspectral Image Recovery via Non-iterative Fusion of Dual-Camera Compressive Hyperspectral Imaging
RIKEN（理化学研究所）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；University of Tokyo（东京大学）；Nokia Bell Labs（诺基亚贝尔实验室）
编码孔径快拍光谱成像（CASSI）是一种利用二维编码测量获取三维高光谱图像（HSI）的新技术。由于不适定的性质，各种正则化器已被利用来从2D测量重建3D数据。然而，该算法的精度和计算复杂度并不令人满意。一个可行的解决方案是利用附加信息，如CASSI中的RGB测量。本文针对CASSI和RGB测量相结合的特点，提出了一种新的HSI融合重建模型。我们研究了由谱基和空间系数组成的HSI的谱低秩性质。具体地说，RGB测量被用来估计系数，同时CASSI测量被用来提供正交谱基。我们进一步提出了一个补丁处理策略，以提高频谱低秩属性的HSI。该模型既不需要非局部处理或迭代，也不需要RGB检测器的光谱传感矩阵。在模拟和真实HSI数据集上的大量实验表明，我们提出的方法不仅在质量上优于以前的最先进的方法，而且重建速度提高了5000倍以上。
2020-12-30 cs.CV eess.IV
COAST: COntrollable Arbitrary-Sampling NeTwork for Compressive Sensing
Peking University Shenzhen Graduate School（北京大学深圳研究生院）；Peng Cheng Laboratory（鹏城实验室）；Peking University（北京大学）
最近基于深度网络的压缩感知（CS）方法取得了巨大的成功。但大多将不同的采样矩阵视为不同的独立任务，需要对每个目标采样矩阵进行特定的模型训练。这样的做法会导致计算效率低下，泛化能力差。本文提出了一种新的可控抽样网络（COAST），用一个模型求解任意抽样矩阵（包括未知抽样矩阵）的CS问题。在优化启发的深度展开框架下，我们的COAST表现出良好的可解释性。在COAST算法中，提出了随机投影增强（RPA）策略以提高采样空间的训练多样性，实现任意采样，并进一步开发了可控邻近映射模块（CPMM）和即插即用去块（PnP-D）策略，分别动态调节网络特征和有效消除块效应。在广泛使用的基准数据集上进行的大量实验表明，我们提出的COAST不仅能够用一个模型处理任意采样矩阵，而且能够以快速的速度实现最先进的性能。源代码可在https://github.com/jianzhangcs/COAST上获得。
2021-07-15 cs.CV eess.IV
Dual-view Snapshot Compressive Imaging via Optical Flow Aided Recurrent Neural Network
Xidian University（西安电子科技大学）；Ningbo University（宁波大学）；Westlake University（西湖大学）
双视角快照压缩成像（SCI）是利用一个二维传感器（探测器）在一个快照中获取两个视场（FoV）的视频，实现FoV和时间压缩感知的联合，具有低带宽、低功耗和低成本的优点。然而，现有的基于模型的解码算法重建每个单独的场景具有挑战性，对于大规模数据，通常需要详尽的参数调整和极长的运行时间。在本文中，我们提出了一个光流辅助递归神经网络的双视频SCI系统，它提供了高质量的解码秒。首先，我们开发了一种多样性放大方法来放大两个FoV场景之间的差异，并设计了一个具有双分支的深度卷积神经网络来从单个测量中分离不同的场景。其次，我们将从相邻帧中提取的双向光流与递归神经网络相结合，以顺序的方式联合重建每个视频。大量的仿真和真实数据的结果表明，我们提出的模型在很短的推理时间的优越性能。代码和数据可在https://github.com/RuiyingLu/OFaNet-for-Dual-view-SCI上获得。
2021-09-11 cs.CV eess.IV
Snapshot Compressive Imaging: Principle, Implementation, Theory, Algorithms and Applications
Bell Labs（贝尔实验室）；College of Optical Sciences, University of Arizona（亚利桑那大学光学科学学院）；Northwestern University（西北大学）
捕获高维（HD）数据是信号处理和相关领域中的长期挑战。快照压缩成像（SCI）使用二维（2D）探测器在{ \em快照}测量中捕获HD（$\ge3$ D）数据。通过新颖的光学设计，2D检测器以{ \em压缩}方式对HD数据进行采样;在此之后，采用算法来重建所需的HD数据立方体。SCI已被用于高光谱成像、视频、全息、层析成像、焦深成像、偏振成像、显微镜、\etc。~虽然硬件已经研究了十多年，但理论上的保证只是最近才得到。受深度学习的启发，各种深度神经网络也被开发出来，用于重建光谱SCI和视频SCI中的HD数据立方体。本文综述了SCI硬件、理论和算法的最新进展，包括基于优化和基于深度学习的算法。并对SCI的应用前景进行了展望。
2021-03-07 cs.CV eess.IV
Dense Deep Unfolding Network with 3D-CNN Prior for Snapshot Compressive Imaging
Peking University Shenzhen Graduate School（北京大学深圳研究生院）；Peng Cheng Laboratory（鹏城实验室）
快照压缩成像（SCI）旨在通过二维相机记录三维信号。为了建立一个快速准确的SCI恢复算法，我们结合了基于模型的方法的可解释性和基于学习的方法的速度，并提出了一种新的密集深度展开网络（DUN），其中每个阶段都是从半二次分裂（HQS）的迭代中展开的。为了更好地利用帧之间的时空相关性，并解决现有DUN中相邻相位之间的信息丢失问题，我们建议在我们的邻近映射模块中采用3D-CNN先验，并分别开发一种新的密集特征映射（DFM）策略。此外，为了提高网络的鲁棒性，我们进一步提出了一个密集的特征映射自适应（DFMA）模块，允许相位间的信息融合自适应。所有参数都是以端到端的方式学习的。仿真数据和实际数据的实验验证了该方法的优越性。源代码可在https://github.com/jianzhangcs/SCI3D上获得。
2021-09-14 cs.CV eess.IV
Event-Enhanced Snapshot Compressive Videography at 10K FPS
Tsinghua University（清华大学）；Institute for Brain and Cognitive Sciences, Tsinghua University（清华大学脑与认知科学研究院）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
针对传统视频快照压缩成像丢失帧间动态信息的问题，提出融合事件相机的强度+事件混合成像方案与双分支Transformer重建方法，实现了24 FPS低成本传感器下0.1ms间隔的高质量高速摄像。
2024-04-11 cs.CV eess.IV
Spatial-Temporal Transformer for Video Snapshot Compressive Imaging
University of Chinese Academy of Sciences（中国科学院大学）；Westlake University（西湖大学）
视频快照压缩成像（SCI）利用计算成像的思想，通过一次测量捕获多个连续的视频帧。其基本原理是通过不同的掩模调制高速帧，这些调制帧被求和为由低速2D传感器（称为光学编码器）捕获的单个测量值;之后，如果需要，则采用算法来重建所需的高速帧（称为软件解码器）。在本文中，我们考虑视频SCI中的重建算法，即，从压缩的测量中恢复一系列视频帧。具体来说，我们提出了一个时空Transformer（STFormer），利用在空间和时间域的相关性。STFormer网络由一个令牌生成模块和一个视频重建模块组成，这两个模块之间由一系列STFormer模块连接。每个STFormer模块由一个空间自注意分支和一个时间自注意分支组成，这两个分支的输出由一个融合网络集成。模拟和真实数据的广泛结果证明了STFormer的最新性能。代码和模型可在https://github.com/ucaswangls/STFormer.git上公开获取
2022-09-08 cs.CV eess.IV
Deep Equilibrium Models for Video Snapshot Compressive Imaging
Westlake University（西湖大学）；The University of Hong Kong（香港大学）；Computer Network Information Center, Chinese Academy of Science（中国科学院计算机网络信息中心）；University of Chinese Academy of Sciences（中国科学院大学）
快照压缩成像（SCI）系统有效捕获高维（HD）数据的能力导致了逆问题，其包括从压缩和噪声测量恢复HD信号。虽然重建算法随着深度学习的最新进展而快速增长，但准确和稳定恢复的基本问题仍然存在。为此，我们提出了视频SCI的深度平衡模型（DEQ），以理论上合理的方式融合了数据驱动的正则化和稳定收敛。每个均衡模型都隐式地学习一个非扩张算子，并解析地计算不动点，从而在训练和测试中实现无限的迭代步骤和无限的网络深度，而只需恒定的内存需求。具体来说，我们演示了如何DEQ可以应用到两个现有的模型，视频SCI重建：递归神经网络（RNN）和即插即用（PSTO）算法。在各种数据集和真实数据上，我们的结果的定量和定性评价证明了我们提出的方法的有效性和稳定性。代码和模型可在https://github.com/IndigoPurple/DEQSCI上获得。
2023-02-28 cs.CV eess.IV
Self-supervised Neural Networks for Spectral Snapshot Compressive Imaging
Beijing University of Posts and Telecommunications（北京邮电大学）；Westlake University（西湖大学）
我们考虑使用{ \bf \em untrained neural networks}来解决快照压缩成像（SCI）的重建问题，该重建问题使用二维（2D）检测器以压缩的方式捕获高维（通常为3D）数据立方体。近年来已经建立了各种SCI系统来捕获高速视频，高光谱图像等数据，并且通过深度神经网络获得最先进的重建。然而，这些网络中的大多数都是通过大量语料库以端到端的方式进行训练的，这些语料库有时具有模拟的地面真值，测量对。在本文中，受深度图像先验（DIP）和深度解码器等未经训练的神经网络的启发，我们通过将DIP集成到即插即用机制中来开发一个框架，从而形成一个用于光谱SCI重建的自监督网络。大量的模拟和真实数据结果表明，该算法无需训练，能够实现基于训练的网络竞争力的结果。此外，通过将所提出的方法与预先训练的深度去噪先验知识相结合，我们取得了最先进的结果。{Our代码可在\url{https://github.com/mengziyi64/CASSI-Self-Supervised}获得。}
2021-08-28 cs.CV eess.IV
RDFNet: Regional Dynamic FISTA-Net for Spectral Snapshot Compressive Imaging
Beijing Institute of Technology（北京理工大学）；Beijing Institute of Technology Chongqing Innovation Center（北京理工大学重庆创新中心）
深度卷积神经网络最近在压缩频谱重建方面表现出了有希望的结果。然而，以前的方法，通常采用一个单一的映射函数的稀疏表示。考虑到不同区域具有不同的特征，期望应用各种映射函数来动态地调整不同区域的变换。考虑到这一点，我们首先介绍了一个区域动态的方式，使用快速迭代收缩保持算法（FISTA），利用区域特性，并获得动态稀疏表示。然后，我们建议将该过程展开为一个分层的动态深度网络，称为RDFNet。该网络包括多个区域动态块和相应的逐像素自适应软阈值模块，分别负责基于区域的动态映射和逐像素软阈值选择。区域动态块指导网络针对不同区域调整变换域。配备了自适应软阈值，我们提出的区域动态架构也可以学习适当的收缩尺度在一个像素的方式。模拟和真实数据的大量实验表明，我们的方法优于现有的最先进的。
2023-02-06 cs.CV eess.IV
HerosNet: Hyperspectral Explicable Reconstruction and Optimal Sampling Deep Network for Snapshot Compressive Imaging
Peking University Shenzhen Graduate School（北京大学深圳研究生院）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Peking University（北京大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Peng Cheng Laboratory（鹏城实验室）
高光谱成像是一种重要的成像方式，有着广泛的应用，特别是在遥感、农业和医学领域。受现有高光谱相机的启发，从低预算的快照测量重建高光谱图像（HSI）引起了广泛的关注。通过将截断数值优化算法映射到具有固定相位数的网络中，最近用于频谱快照压缩感知（SCI）的深度展开网络（DUN）取得了显着的成功。然而，由于缺乏跨相位特征交互和自适应参数调整，DUN远未达到工业应用的范围。在本文中，我们提出了一种新的高光谱可解释重建和最佳采样深度网络SCI，称为HerosNet，它包括ISTA展开框架下的几个阶段。在梯度下降步骤中，每个阶段可以灵活地模拟感测矩阵并根据上下文调整步长，并且在邻近映射步骤中，分层地融合和交互先前阶段的隐藏状态以有效地恢复当前HSI帧。同时，一个硬件友好的最佳二进制掩码学习端到端，以进一步提高重建性能。最后，我们的HerosNet被验证为在模拟和真实数据集上都比最先进的方法表现更好。源代码可在https://github.com/jianzhangcs/HerosNet上获得。
2022-05-16 cs.CV eess.IV
Latent Diffusion Prior Enhanced Deep Unfolding for Snapshot Spectral Compressive Imaging
Zhejiang University（浙江大学）；Westlake University（西湖大学）；School of Engineering, Westlake University（西湖大学工程学院）；Xidian University（西安电子科技大学）；School of Cyber Engineering, Xidian University（西安电子科技大学网络与工程学院）；Beijing Institute of Technology（北京理工大学）；School of Computer Science and Technology, Beijing Institute of Technology（北京理工大学计算机科学与技术学院）
针对快照光谱压缩成像重建中的病态问题和细节缺失瓶颈，提出利用潜在扩散模型生成无退化先验，并结合轻量级模型在深度展开去噪器中生成知识先验指导重建，显著提升了重建质量与计算效率。
2024-08-24 cs.CV eess.IV
10-mega pixel snapshot compressive imaging with a hybrid coded aperture
Tsinghua University（清华大学）；Massachusetts Institute of Technology（麻省理工学院）；Bell Labs（贝尔实验室）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）
高分辨率图像在我们的日常生活中被广泛使用，而高速视频捕获由于工作在高分辨率模式下的相机的低帧速率而具有挑战性。深入挖掘，主要瓶颈在于现有成像系统的低吞吐量。为此，快照压缩成像（SCI）被提出作为一个有前途的解决方案，以提高成像系统的吞吐量，通过压缩采样和计算重建。在采集过程中，多个高速图像被编码并折叠成单个测量。在此之后，采用算法从编码快照中检索视频帧。最近开发的即插即用（PAPK）算法使SCI重建在大规模的问题。然而，缺乏高分辨率的编码系统仍然阻碍了SCI的广泛应用。在本文中，我们建立了一个新的混合编码孔径快照压缩成像（HCA-SCI）系统，将动态硅上液晶和高分辨率光刻掩模。我们进一步实现了一个Pendash重建算法与级联去噪高质量的重建。基于提出的HCA-SCI系统和算法，我们实现了一个1000万像素的SCI系统，以捕捉高速场景，导致每秒4.6G体素的高吞吐量。仿真和实际数据实验验证了我们提出的HCA-SCI方案的可行性和性能。
2021-08-15 cs.CV eess.IV physics.optics
Snapshot Interferometric 3D Imaging by Compressive Sensing and Deep Learning
我们展示了基于干涉编码的单次激发压缩三维（3D）$(x, y, z)$成像。物体的深度尺寸被编码到光场的干涉光谱中，从而产生$(x, y, λ)$数据立方体，该数据立方体随后由单发光谱仪测量。通过实现高达$400$的压缩比，我们能够从2D测量重建$1G$体素。开发了基于优化的压缩感知算法和深度学习网络，用于从单个2D编码测量进行3D重建。由于快速的采集速度，我们的方法是能够捕捉体积的活动在本地相机帧速率，使4D（体积时间）可视化的动态场景。
2020-04-03 eess.IV
A Simple and Efficient Reconstruction Backbone for Snapshot Compressive Imaging
Santa Clara University（圣克拉拉大学）；ETH Zürich（苏黎世联邦理工学院）；Westlake University（西湖大学）；Northeastern University（东北大学）
快照压缩成像（SCI）的新兴技术使得能够以有效的方式捕获高维（HD）数据。它通常由两个组件实现：将HD信号压缩为2D测量的光学编码器和在硬件编码测量时检索HD数据的算法解码器。在广泛的SCI应用中，高光谱成像（HSI）和视频压缩感知近年来受到了极大的研究关注。在现有的SCI重建算法中，基于深度学习的方法因其良好的性能和高效的推理而脱颖而出。然而，深度重建网络可能会遭受过大的模型大小和高度专业化的网络设计，这不可避免地导致昂贵的训练时间，高内存使用和有限的灵活性，从而阻碍了SCI系统在实际场景中的部署。在本文中，我们提出了一种简单而高效的重建方法，即堆叠残差网络（SRN），通过重新审视具有嵌套结构和空间不变属性的残差学习策略来解决上述挑战。与现有网络相比，建议的SRN使高保真数据检索具有更少的计算操作和可忽略的模型大小，并且还可以作为适用于高光谱和视频数据的通用骨干。在此基础上，我们首先提出了信道注意增强的SRN（CAE-SRN），以探索HSI中细粒度空间估计的谱相关性。然后，我们采用SRN作为深度去噪器，并将其纳入广义交替投影（GAP）框架-导致GAP-SRN -来处理视频压缩感知任务。实验结果表明，所提出的SRN在两个SCI应用程序上具有最先进的性能和高计算效率。
2022-02-02 cs.CV eess.IV
Revisit Dictionary Learning for Video Compressive Sensing under the Plug-and-Play Framework
East China Normal University（华东师范大学）；The University of Hong Kong（香港大学）
快拍压缩成像（snapshot compressive imaging，SCI）是针对高维数据的数据采集和分析，利用光学成像系统获得高维数据的二维压缩测量值，并利用压缩感知算法进行数据重构。虽然Plug-and-Play（PIPE）框架为SCI重建提供了一种新兴的解决方案，但其固有的去噪过程仍然是一个具有挑战性的问题。不幸的是，现有的去噪器在PADER框架要么遭受有限的性能或需要大量的训练数据。在本文中，我们提出了一种高效和有效的基于浅层学习的视频SCI重建算法。重新审视字典学习方法，我们为Pandem框架提供了一种新的去噪器，即核奇异值分解（KSVD）。得益于KSVD的出现，我们的算法在质量、速度和训练难度之间保持了良好的平衡。在各种数据集上，我们的模拟结果的定量和定性评价证明了我们所提出的方法的有效性。与使用总变分的典型基线相比，我们的方法在PSNR和SSIM中实现了约$2$ dB的改进。我们希望我们提出的PnP-KSVD算法可以作为一个新的基线视频SCI重建。
2022-03-10 cs.CV eess.IV
SASA: Saliency-Aware Self-Adaptive Snapshot Compressive Imaging
本文针对传统快照压缩成像采样中忽视高层信息的局限，提出了一种基于显著性检测的低成本、低功耗自适应编码掩码生成算法，实验验证了其有效性与高效性。
2023-12-30 eess.IV
SCINeRF: Neural Radiance Fields from a Snapshot Compressive Image
Zhejiang University（浙江大学）；Westlake University（西湖大学）
本文提出SCINeRF，将快照压缩成像的物理过程融入神经辐射场训练，从单张压缩图像恢复三维场景并实现高质量重建与新视角合成。
2024-03-29 cs.CV eess.IV
Time-Multiplexed Coded Aperture Imaging: Learned Coded Aperture and Pixel Exposures for Compressive Imaging Systems
Universidad Industrial de Santander（桑坦德工业大学）；Stanford University（斯坦福大学）
使用编码孔径（CA）的压缩成像是一种功能强大的技术，可用于从单个快照恢复深度，光场，高光谱图像和其他量。基于CA的压缩成像系统的性能主要取决于两个因素：掩模的衰减模式的属性，我们称之为“编码”和用于从编码快照恢复感兴趣的量的计算技术。在这项工作中，我们介绍了使用随时间变化的CA与空间变化的像素快门同步的想法。我们将传感器的曝光分为子曝光，在子曝光开始时CA掩模发生变化，并且传感器的像素同时单独“打开”或“关闭”。这是一个实际上有吸引力的编码，因为它不引入除了已经存在的CA之外的附加光学组件，而是使用可以容易地以电子方式实现的像素快门中的变化。我们表明，我们提出的时间复用编码孔径（TMCA）可以优化端到端，并诱导更好的编码快照，使优越的重建在两个不同的应用：压缩光场成像和高光谱成像。我们在模拟和实际捕获（采用我们构建的原型）中证明，在这些应用中，这种编码优于最先进的压缩成像系统超过4dB。
2021-04-06 cs.CV eess.IV
Compressive Circular Polarization Snapshot Spectral Imaging
提出了一种基于压缩感知的圆偏振快拍光谱成像系统，可同时获取二维空间信息、一维圆偏振信息（左右圆偏振）和一维光谱信息。使用快照可以在单个积分周期内收集整个四维数据立方体。用Amici棱镜和Wollaston棱镜的组合代替编码孔径快拍光谱成像仪中的色散棱镜，实现了沿两个正交方向的光谱平移，大大提高了图像的光谱分辨率。利用消色差四分之一波片和渥拉斯顿棱镜的组合，提取了物体的左右圆偏振分量。对编码和重建进行了全面的说明。仿真结果验证了该方法的可行性。它为圆偏振光谱成像如去雾、水下成像等提供了一种新的途径。
2020-12-17 eess.IV physics.optics
Ensemble learning priors unfolding for scalable Snapshot Compressive Sensing
快拍压缩成像（SCI）可以通过二维测量记录三维信息，并从该二维测量通过重建算法重建原始三维信息。我们可以看到，重建算法在SCI中起着至关重要的作用。近年来，深度学习算法显示出其卓越的能力，优于传统算法。因此，提高深度学习算法重构精度是SCI不可避免的课题。此外，深度学习算法通常受到可扩展性的限制，并且如果缺乏新的训练过程，通常训练良好的模型无法应用于新系统。为了解决这些问题，我们开发了集成学习先验，以进一步提高重建精度，并提出了可扩展学习，使深度学习具有与传统算法一样的可扩展性。更重要的是，我们的算法已经取得了国家的最先进的结果，优于现有的算法。仿真和真实数据集上的大量结果表明了我们所提出的算法的优越性。代码和模型将向公众发布。
2022-08-20 eess.IV
Snapshot fiber spectral imaging using speckle correlations and compressive sensing
快拍光谱成像在遥感应用中正迅速引起人们的兴趣。在一个图像内获取空间和光谱数据促进了快速测量时间，并减少了对稳定扫描成像系统的需求。目前的许多快照技术依赖于光栅或棱镜来表征波长信息，难以减小便携式高光谱成像的尺寸。在这里，我们表明，多芯多模光纤可以用作一个紧凑的光谱成像仪与亚纳米分辨率，通过编码的光谱信息内的单色CMOS相机。我们表征波长相关的散斑图案高达3000光纤芯在一个广泛的波长范围。聚类算法结合l $_{1}$ -最小化来限制在采集阶段的数据收集，用于重建在波长域中稀疏的光谱图像。我们还表明，在非压缩制度，这些技术能够准确地重建宽带信息。
2018-10-24 eess.IV physics.ins-det physics.optics
MambaSCI: Efficient Mamba-UNet for Quad-Bayer Patterned Video Snapshot Compressive Imaging
Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））；Ghent University（根特大学）；Harvard University（哈佛大学）；Nanjing University（南京大学）
本文提出MambaSCI方法，首次将Mamba与UNet结合用于四拜耳模式彩色视频快照压缩成像重建，通过STMamba、EDR和CA模块实现高效重建，并以更低计算和内存成本超越现有方法。
2024-10-18 cs.CV eess.IV
EfficientSCI: Densely Connected Network with Space-time Factorization for Large-scale Video Snapshot Compressive Imaging
University of Chinese Academy of Sciences（中国科学院大学）；Westlake University（西湖大学）；Zhejiang University（浙江大学）
提出EfficientSCI网络，通过密集连接与时空分解机制结合空间卷积和时间Transformer，高效重建大规模视频压缩成像，首次实现超高清彩色视频高压缩比高质量重建。
2023-05-18 cs.CL cs.CV eess.IV
Deep Unfolding-Aided Parameter Tuning for Plug-and-Play-Based Video Snapshot Compressive Imaging
本文提出一种基于深度展开的方法来调优即插即用（PnP）视频快照压缩成像中的噪声水平参数，利用密集标注数据集和检查点技术进行训练，实验揭示了参数的非单调模式，为深度展开应用和PnP算法理论提供了新见解。
2025-03-05 eess.IV
Self-Supervised One-Step Diffusion Refinement for Snapshot Compressive Imaging
提出自监督单步扩散框架，用于提升快照压缩成像的重建精度与效率，实现高质量图像生成并减少计算时间。
2025-12-01 cs.CV eess.IV
GAP-net for Snapshot Compressive Imaging
快照压缩成像（SCI）系统旨在使用2D检测器在Single Shot中捕获高维（$\ge3$ D）图像。SCI设备包括两个主要部分：硬件编码器和软件解码器。硬件编码器通常由设计用于捕获{压缩测量}的（光学）成像系统组成。另一方面，软件解码器指的是从这些测量中检索期望的高维信号的重建算法。本文利用深度展开思想，提出了一种SCI恢复算法，即GAP网络，它是对广义交替投影（GAP）算法的展开。在每个阶段，GAP网络通过训练的卷积神经网络（CNN）传递其当前对所需信号的估计。CNN作为将估计投影回期望信号空间的去噪器操作。对于采用经过训练的基于自动编码器的去噪器的GAP-net，我们证明了概率全局收敛结果。最后，我们研究了GAP网络在解决视频SCI和频谱SCI问题中的性能。在这两种情况下，GAP网络在合成数据和真实数据上都表现出了竞争力。除了具有高精度和高速度，我们表明，GAP网络是灵活的信号调制意味着一个训练有素的GAP网络解码器可以应用于不同的系统。我们的代码在https://github.com/mengziyi64/ADMM-net。
2020-12-13 eess.IV
Progressive Content-aware Coded Hyperspectral Compressive Imaging
Peking University Shenzhen Graduate School（北京大学深圳研究生院）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））；Tsinghua University（清华大学）；Peking University（北京大学）
高光谱成像在遥感、医学和细胞学等广泛的应用中起着关键作用。编码孔径快拍光谱成像（CASSI）通过二维传感器获取三维高光谱图像，以其硬件友好的实现方式和快速的成像速度获得了巨大的成功。然而，对于一些频谱稀疏的场景，单次快拍和不合理的编码孔径设计往往会使HSI恢复更不适定，产生较差的空间和频谱保真度。在本文中，我们提出了一种新的渐进式内容感知CASSI框架，称为PCA-CASSI，它捕获具有多个优化的内容感知编码孔径的HSI，并逐步融合所有快照进行重建。同时，通过将距离-距离空间分解（RND）映射到具有多个阶段的深度网络中，提出了用于HSI恢复的RND-HRNet。每个恢复阶段可以充分利用隐藏在编码孔径的物理信息，通过明确的$\mathcal{R}$ $-$ $\mathcal{N}$分解和探索的空间-频谱相关的双Transformer块。我们的方法被验证，以超过其他国家的最先进的方法在多个和单次拍摄HSI成像任务的大利润率。
2023-03-17 cs.CV eess.IV
Score-Based Turbo Message Passing for Plug-and-Play Compressive Image Recovery
Department of Information Engineering, The Chinese University of Hong Kong, Shatin, N.T., Hong Kong SAR（信息工程系，香港中文大学（深圳校区））；National Key Lab. of Wireless Commun., Uni. of Electronic Sci. and Tech. of China, Chengdu, China（无线通信国家重点实验室，电子科技大学，成都，中国）
本文提出了一种基于评分的turbo信息传递框架，利用评分建模与经验贝叶斯最优去噪的关系，提升压缩图像恢复的性能-复杂度权衡。
2025-12-15 cs.CV eess.IV eess.SP
Adaptive Deep PnP Algorithm for Video Snapshot Compressive Imaging
视频快照压缩成像（Video Snapshot compressive imaging，SCI）是一种很有前途的高速视频捕获技术，它将成像速度从探测器转换为掩模调制，只需一次测量即可捕获多帧图像。从测量数据中重建高速帧的算法在SCI中起着至关重要的作用。在本文中，我们考虑了很有前途的重建算法框架，即即插即用（Plug-and-Play，简称PSTO），与其他深度学习网络相比，它对编码过程非常灵活。现有的Pestrian算法的一个缺点是，它们使用预先训练的去噪网络作为插入先验，而网络的训练数据可能与实际应用中的任务不同。为此，在这项工作中，我们提出了在线PADER算法，它可以自适应地更新PADER迭代内的网络参数，这使得去噪网络更适用于SCI重建中所需的数据。此外，对于彩色视频成像，RGB帧需要在相机流水线中从Bayer模式或所谓的去马赛克中恢复。为了解决这一挑战，我们设计了一个两阶段的重建框架来优化这两个耦合的不适定问题，并引入了一个深度的去马赛克之前，专门用于视频去马赛克，而不是使用单一的图像去马赛克网络没有太多的过去的作品。在模拟和真实数据集上的大量结果验证了我们的自适应深度Pestrian算法的优越性。
2022-01-28 eess.IV
Memory-Efficient Network for Large-scale Video Compressive Sensing
Xidian University（西安电子科技大学）；Bell Labs（贝尔实验室）
视频快照压缩成像（SCI）使用2D检测器在Single Shot中捕获视频帧序列。基本原理是在一个曝光时间内，不同的掩模被施加在高速场景上以形成压缩的测量。利用掩模的知识，采用优化算法或深度学习方法来从该快照测量重构期望的高速视频帧。不幸的是，尽管这些方法可以取得不错的结果，但优化算法的长运行时间或深度网络的巨大训练内存占用仍然阻碍了它们在实际应用中的应用。在本文中，我们开发了一种基于多组可逆3D卷积神经网络的大规模视频SCI的内存高效网络。除了灰度SCI系统的基本模型之外，我们还进一步将去马赛克和SCI重建相结合，以直接从Bayer测量中恢复彩色视频。SCI相机捕获的模拟和真实数据的广泛结果表明，我们提出的模型优于以前的最先进的内存较少，因此可以用于大规模的问题。代码在https://github.com/BoChenGroup/RevSCI-net。
2021-03-05 cs.CV eess.IV
Key frames assisted hybrid encoding for photorealistic compressive video sensing
快照压缩成像（SCI）将高速场景视频编码为快照测量，然后通过计算进行重建，从而实现高效的高维数据采集。人们正在研究许多算法，包括基于正则化的优化和深度学习，以提高重建质量，但它们仍然受到标准SCI范式的不适定和信息不足性质的限制。为了克服这些缺点，我们提出了一种新的关键帧辅助的混合编码模式的压缩视频传感，称为KH-CVS，交替捕捉短曝光的关键帧，而不编码和长曝光编码的压缩帧，共同重建逼真的视频。通过使用光流和空间扭曲，构建了一个深度卷积神经网络框架，以整合这两种类型帧的优点。大量的实验模拟和真实数据，我们开发的原型验证了所提出的方法的优越性。
2022-07-26 eess.IV
MetaSCI: Scalable and Adaptive Reconstruction for Video Compressive Sensing
Xidian University（西安电子科技大学）；Bell Labs（贝尔实验室）
为了使用二维检测器捕获高速视频，视频快照压缩成像（SCI）是一种很有前途的系统，其中视频帧通过不同的掩码编码，然后压缩成快照测量。在此之后，需要有效的算法来重建高速帧，其中最先进的结果是通过深度学习网络实现的。然而，这些网络通常针对特定的小规模掩码进行训练，并且通常对训练时间和GPU内存有很高的要求，因此对于具有相同大小的新掩码\bf和较大规模掩码\em来说，这是不灵活的。我们通过开发用于SCI重建的Meta调制卷积网络来解决这些挑战，称为MetaSCI。MetaSCI由用于不同掩码的共享骨干和轻量元调制参数组成，所述轻量元调制参数演进为用于每个掩码的不同调制参数，因此具有{ \bf \em快速适应}新掩码（或系统）的特性，并且准备好{ \bf \em扩展到大数据}。大量的仿真和实际数据结果表明，我们所提出的方法的优越性能。我们的代码位于{ \small \url{https://github.com/xyvirtualgroup/MetaSCI-CVPR2021} }。
2021-03-02 cs.CV eess.IV
Theoretical Analysis of Binary Masks in Snapshot Compressive Imaging Systems
该研究针对快照压缩成像（SCI）系统常用的二进制掩模开展理论分析，推导了独立同分布二进制掩模的非零元素最优概率小于0.5，并拓展至平稳一阶马尔可夫过程生成的掩模场景，为掩模设计优化提供理论支撑。
2023-07-15 cs.IT eess.IV math.IT
Theoretical Characterization of Effect of Masks in Snapshot Compressive Imaging
本文从理论上刻画了快照压缩成像中二值掩模的性能，并据此优化硬件参数，揭示独立与相关掩模元素的作用，仿真结果验证了理论发现。
2025-01-11 cs.IT eess.IV math.IT
Snapshot Compressive Imaging under Saturation: Theory, Mask Design, and Reconstruction
Rutgers University（罗格斯大学）
本文提出考虑饱和的快照压缩成像理论与算法，通过分析饱和对SCI重建的影响，提出SAPnet框架以提高重建性能。
2026-08-18 cs.IT eess.IV math.IT
Residual Degradation Learning Unfolding Framework with Mixing Priors across Spectral and Spatial for Compressive Spectral Imaging
School of Artificial Intelligence, Xidian University（西安电子科技大学人工智能学院）
本文提出残差退化学习展开框架（RDLUF）与跨光谱空间混合先验的Mix$S^2$ Transformer，用于压缩光谱成像，解决传感矩阵与真实退化不匹配问题，提升重建性能。
2023-11-15 cs.CV eess.IV
VisionTraj: A Noise-Robust Trajectory Recovery Framework based on Large-scale Camera Network
SenseTime Research（商汤科技研究院）；University of Cologne（科隆大学）；China Telecom Cloud Technology Co., Ltd（中国电信云技术有限公司）；Shanghai AI Lab（上海人工智能实验室）；Qing Yuan Research Institute（清源研究院）
针对城市多摄像头网络轨迹恢复缺乏开源数据集、易受噪声影响的问题，提出基于学习的VisionTraj框架，配套构建数据集，结合Transformer主干、GCN软去噪和轨迹片段语义信息，相比次优模型最高提升11.5%性能。
2023-12-11 cs.AI cs.CV cs.IR
Recovery Analysis for Plug-and-Play Priors using the Restricted Eigenvalue Condition
Washington University in St. Louis（圣路易斯华盛顿大学）；University of California, Riverside（加州大学河滨分校）；Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
即插即用先验（PIPE）和去噪正则化（RED）方法已被广泛用于通过利用预训练的深度去噪器作为图像先验来解决逆问题。虽然这些算法的经验成像性能和理论收敛特性已被广泛研究，但它们的恢复特性以前没有进行过理论分析。我们解决这个差距，显示如何建立理论上的恢复保证PPENDIX/RED假设这些方法的解决方案位于一个深神经网络的固定点附近。我们还提出了数值结果比较的恢复性能的PPEND/RED压缩感知对最近的压缩感知算法的基础上生成模型。我们的数值结果表明，与现有的最先进的方法相比，具有预先训练的伪影去除网络的PSTIM提供了更好的结果。
2021-10-26 cs.CV cs.LG eess.IV
Snapshot Hyperspectral Imaging Based on Weighted High-order Singular Value Regularization
Beijing Institute of Technology（北京理工大学）；Beijing Normal University（北京师范大学）
快拍高光谱成像技术可以通过一次二维测量获取三维高光谱图像，近年来受到了广泛的关注。从压缩测量中恢复潜在的HSI是一个不适定问题，利用图像先验是解决这个不适定问题的关键。然而，现有的重建方法通常是先从一维矢量或二维矩阵开始建模，不能充分利用三维HSI的结构谱-空间特性，从而导致保真度差。本文提出了一种基于高阶张量优化的高光谱快拍图像重建方法。我们首先建立高阶张量，利用HSI的空间谱相关性。然后，我们提出了一个基于加权高阶奇异值正则化（WHOSVR）的低秩张量恢复模型来表征HSI的结构先验。通过将WHOSVR中的结构先验与系统成像过程相结合，建立了HSI重建的优化框架，并采用交替最小化算法进行求解。在两个有代表性的系统上进行的大量实验表明，我们的方法优于最先进的方法。
2021-01-22 cs.CV eess.IV
Compressive Imaging Reconstruction via Tensor Decomposed Multi-Resolution Grid Encoding
School of Mathematics and Statistics, Xi’an Jiaotong University（西安交通大学数学与统计学学院）；School of Mathematical Science, University of Electronic Science and Technology of China（电子科技大学数学科学学院）
提出张量分解多分辨率网格编码（GridTD）无监督连续表示框架，通过结合多分辨率网格编码与张量分解优化轻量级神经网络，有效且高效地实现高维图像压缩成像重建。
2025-07-10 cs.CV eess.IV
Degradation-Aware Unfolding Half-Shuffle Transformer for Spectral Compressive Imaging
Tsinghua University（清华大学）；Shenzhen Institute of Future Media Technology（深圳未来媒体技术研究院）；Westlake University（西湖大学）；ETH Zürich（苏黎世联邦理工学院）；University of Würzburg（维尔茨堡大学）
在编码孔径快照光谱压缩成像（CASSI）系统中，采用高光谱图像（HSI）重建方法从压缩测量中恢复空间光谱信号。在这些算法中，深度展开方法表现出有前途的性能，但有两个问题。首先，他们没有估计的退化模式和病态程度的高度相关的CASSI，以指导迭代学习。其次，它们主要是基于CNN的，在捕获远程依赖性方面存在局限性。在本文中，我们提出了一个原则性的退化感知展开框架（DAUF），估计参数的压缩图像和物理掩模，然后使用这些参数来控制每次迭代。此外，我们自定义一个新的半洗牌Transformer（HST），同时捕获本地内容和非本地依赖。通过将HST插入到DAUF中，我们建立了第一个基于Transformer的深度展开方法，Degradation-Aware Unfolding Half-Shuffle Transformer（DAUHST），用于HSI重建。实验表明，DAUHST显着超过国家的最先进的方法，同时需要更便宜的计算和内存成本。代码和模型将在https://github.com/caiyuanhao1998/MST上发布
2022-10-17 cs.CV eess.IV
A Range-Null Space Decomposition Approach for Fast and Flexible Spectral Compressive Imaging
Huazhong University of Science & Technology（华中科技大学）；Wuhan Jingce Electronic Group（武汉精测电子集团）
提出RND-SCI框架，通过距离-零空间分解引入深度先验约束，灵活提升各类HSI重建网络性能，并设计出达91帧每秒的RND-SAUNet网络。
2023-05-16 cs.CV eess.IV
A Fast Alternating Minimization Algorithm for Coded Aperture Snapshot Spectral Imaging Based on Sparsity and Deep Image Priors
National University of Singapore（新加坡国立大学）；University of Delaware（特拉华大学）
针对CASSI高光谱重建在少测量、多通道下的不适定问题，提出融合稀疏性与DIP的无训练快速交替最小化算法Fama-SDIP，并在仿真和真实数据集上取得领先性能。
2022-06-12 cs.CV eess.IV physics.optics
Deep Coding Patterns Design for Compressive Near-Infrared Spectral Classification
Universidad Industrial de Santander（桑坦德工业大学）
压缩光谱成像（CSI）已经成为一种有吸引力的压缩和感测技术，主要用于感测传统系统导致高成本的光谱区域，例如近红外光谱。最近，已经表明，频谱分类可以直接在压缩域中执行，考虑嵌入在测量中的频谱信息的量，跳过重建步骤。因此，分类质量直接取决于在感测步骤中采用的编码模式的集合。因此，这项工作提出了一种端到端的方法来联合设计CSI中使用的编码模式和网络参数，直接从嵌入式近红外压缩测量中执行频谱分类。通过对三维编码孔径快拍光谱成像（3D-CASSI）系统的仿真，验证了该方法的分类精度优于传统方法和随机方法，最高可达10%。
2022-05-27 cs.LG eess.IV math.OC
D-VDAMP: Denoising-based Approximate Message Passing for Compressive MRI
即插即用（P&P）算法迭代地应用高度优化的图像去噪器来施加先验并解决计算图像重建问题，效果很好。然而，一般来说，“有效噪声”，即真实信号和中间解之间的差异，在P&P算法的迭代中既不是高斯也不是白噪声。这一事实使得现有的去噪算法次优。在这项工作中，我们提出了一个CNN架构，用于去除有色高斯噪声，并将其与最近提出的VDAMP算法相结合，其有效噪声遵循可预测的有色高斯分布。我们将所得到的基于去噪的VDAMP（D-VDAMP）算法应用于变密度采样压缩MRI，其性能大大优于现有技术。
2020-10-25 eess.IV eess.SP
PCMamba: Physics-Informed Cross-Modal State Space Model for Dual-Camera Compressive Hyperspectral Imaging
Xiamen University（厦门大学）
针对双相机压缩高光谱成像，提出物理信息跨模态状态空间模型PCMamba，将物理成像过程融入Mamba线性复杂度，解耦温度、发射率与纹理，经物理驱动合成重建HSI，性能超越SOTA。
2025-05-22 cs.CV eess.IV
Binarized Spectral Compressive Imaging
Tsinghua University（清华大学）；Westlake University（西湖大学）；ETH Zürich（苏黎世联邦理工学院）
针对高光谱图像重建模型内存和计算开销大、难以部署于移动设备的问题，提出二值化光谱重分布网络BiSRNet，通过定制二值化卷积模块与近似Sign函数，在保持与全精度算法相当性能的同时实现高效部署。
2023-10-18 cs.CV eess.IV
Mixed-granularity Implicit Representation for Continuous Hyperspectral Compressive Reconstruction
针对 CASSI 高光谱压缩重建受固定分辨率限制的问题，提出 MGIR 框架，利用多尺度隐式编码、局部特征聚合与坐标解码实现任意空间-光谱分辨率重建。
2025-03-17 cs.CV eess.IV
Two-Stage is Enough: A Concise Deep Unfolding Reconstruction Network for Flexible Video Compressive Sensing
Computer Network Information Center, Chinese Academy of Science（中国科学院计算机网络信息中心）；University of Chinese Academy of Sciences（中国科学院大学）；Westlake University（西湖大学）
本文研究了深度展开/滚动结构下的视频压缩感知重构问题。然而，我们的目标是建立一个灵活和简洁的模型，使用最少的阶段。与现有的用于逆问题的深度展开网络不同，其中使用更多的阶段以获得更高的性能，但对不同的掩码和尺度没有灵活性，因此，我们证明了2阶段深度展开网络可以导致最先进的（SOTA）结果（与单阶段模型相比，PSNR增益为1.7dB，RevSCI）。由于深度展开的优点，所提出的方法具有适应新掩码的特性，并且可以扩展到大数据而无需任何额外的训练。此外，我们扩展了所提出的模型进行联合重建和去马赛克。实验结果表明，本文提出的两阶段模型也实现了SOTA彩色图像重建，与基于即插即用框架的SOTA算法相比，PSNR提高了2.3dB以上，重建速度提高了17倍以上。此外，我们还发现，我们的网络也是灵活的掩模调制和规模大小的颜色重建，使一个单一的训练网络可以应用于不同的硬件系统。代码和模型将向公众发布。
2022-01-21 cs.CV eess.IV
In2SET: Intra-Inter Similarity Exploiting Transformer for Dual-Camera Compressive Hyperspectral Imaging
Beijing Institute of Technology（北京理工大学）；Beijing Normal University（北京师范大学）
本文提出 In2SET 网络，利用 PAN 图像内部相似性作为先验并实现特征对齐，集成到 PAN 引导展开框架中，显著提升双相机压缩高光谱成像的重建质量与计算效率。
2024-06-08 cs.CV eess.IV
