Various Total Variation for Snapshot Video Compressive Imaging
Bell Labs（贝尔实验室）
由于传感器的可用性有限，对高维图像进行采样具有挑战性;在这些情况下通常需要扫描。为了缓解这一挑战，提出了快照压缩成像（SCI），以使用2D传感器（检测器）捕获高维（通常为3D）图像。通过新颖的光学设计，由传感器捕获的{ \em测量}是3D期望信号的多个帧的编码图像。在此之后，重建算法被用来检索高维数据。虽然已经提出了各种算法，基于总变分（TV）的方法仍然是最有效的一个，由于计算时间和性能之间的良好权衡。本文的目的是回答这个问题的电视惩罚（各向异性电视，各向同性电视和矢量化电视）最适合视频SCI重建？各种电视去噪和投影算法的开发和测试模拟和真实数据集上的视频SCI重建。
2020-05-16 cs.CV eess.IV
Spatial Sparse subspace clustering for Compressive Spectral imaging
Tongji University（同济大学）；Universidad Industrial de Santander（桑坦德工业大学）；Kunming University of Science and Technology（昆明理工大学）；University of Delaware（特拉华大学）
本文旨在开发一种聚类方法，光谱图像直接从CASSI压缩测量。所提出的聚类方法首先假设压缩测量位于多个低维子空间的联合。因此，稀疏子空间聚类（SSC）是一种无监督的方法，它将压缩的测量值分配给它们各自的子空间。此外，三维空间正则化加入到SSC问题，从而充分利用光谱图像中包含的空间信息。提出的光谱图像聚类方法的性能得到改善，通过采取最佳的CASSI测量时，最佳编码孔径在CASSI系统中使用。一个真实的数据集的模拟说明了所提出的光谱图像聚类方法的准确性。
2019-11-05 cs.CV eess.IV
Multispectral Compressive Imaging Strategies using Fabry-Pérot Filtered Sensors
Université catholique de Louvain（天主教鲁汶大学）；Université libre de Bruxelles（布鲁塞尔自由大学）；imec（imec研究中心）
本文介绍了两种多光谱压缩成像的采集设备结构。与大多数现有方法不同，所提出的计算成像技术不包括任何色散元件，因为它们使用专用传感器，该传感器在像素级集成了窄带法布里-珀罗光谱滤波器。第一种方案利用联合修复和超分辨率来填充由于设备的有限像素数而丢失的那些体素。第二种方案与压缩传感相结合，引入了空间随机卷积，但更复杂，可能会受到衍射的影响。在这两种情况下，我们通过使用相同的信号先验来解决相关的逆问题。具体来说，我们提出了一个冗余的分析信号之前的凸公式。通过数值模拟，我们探索不同的现实设置。我们的目标也是突出一些实用的指导方针，并讨论其复杂性权衡，将这些计划纳入实际的计算成像系统。我们的结论是，第二种技术在高压缩水平下，在适当大小和校准的设置中表现最好。否则，第一种更简单的技术应该受到青睐。
2018-02-06 cs.CV eess.IV
Nonlinear Equivariant Imaging: Learning Multi-Parametric Tissue Mapping without Ground Truth for Compressive Quantitative MRI
University of Bath（巴斯大学）；GE Healthcare（通用电气医疗集团）；Technical University of Munich（慕尼黑工业大学）；Technische Hochschule Ingolstadt（英戈尔施塔特应用技术大学）
当前最先进的从快速、压缩、磁共振指纹（MRF）进行定量组织图的重建使用监督式深度学习，其缺点是需要有限的高保真真值组织图训练数据。本文提出了非线性等变成像（NLEI），这是一种自监督学习方法，可以消除深度MRF图像重建对真值的需求。NLEI将最近的等变成像框架扩展到非线性逆问题，如MRF。只有快速、压缩采样的MRF扫描用于训练。NLEI使用时空先验来学习组织映射：空间先验是从MRF数据对一组几何图像变换的不变性中获得的，而时间先验是从由预训练的神经网络近似的非线性Bloch响应模型中获得的。在两个采集设置上进行回顾性测试，我们观察到NLEI（自监督学习）接近监督学习的性能，尽管在训练期间没有使用真值。
2022-11-23 cs.CV eess.IV
Unsupervised Spatial-spectral Network Learning for Hyperspectral Compressive Snapshot Reconstruction
Nanjing University of Information Science and Technology（南京信息工程大学）；National University of Singapore（新加坡国立大学）
高光谱压缩成像利用压缩感知理论，无需时间扫描即可实现编码孔径快照测量，在单个积分周期内通过二维投影获取整个三维空间-光谱数据。其核心问题是如何利用压缩感知重建算法重建底层高光谱图像。由于不同光谱成像设备的光谱响应特性和波长范围的差异，以前的工作往往不足以捕捉复杂的光谱变化或缺乏对新的高光谱成像仪的适应能力。为了解决这些问题，我们提出了一个无监督的空间光谱网络重建高光谱图像只从压缩快照测量。所提出的网络作为一个条件生成模型的条件下的快照测量，它利用空间光谱注意模块来捕捉联合空间光谱相关的高光谱图像。通过对网络参数的优化，使网络输出与给定的快照测量值紧密匹配，从而使网络能够适应不同的成像设置，增强了网络的适用性。在多个数据集上的大量实验表明，我们的网络可以实现比最先进的方法更好的重建结果。
2021-07-31 cs.CV eess.IV
Diffusion Probabilistic Models for Compressive SAR Imaging
本文提出利用扩散概率模型进行压缩SAR成像，以克服传统迭代优化方法的高计算成本，通过引导扩散模型进行重建，并在真实数据上验证了成像质量的提升。
2025-04-23 eess.IV
Line-scan Compressive Raman imaging with spatio-spectral encoding
我们报告了一种线扫描成像模式的压缩拉曼技术与单像素探测器。沿着照明线的空间信息被编码到数字图像处理设备的一个轴上，而光谱编码掩模沿着正交方向被应用。我们展示了三种不同化学物质的成像和分类。
2020-06-12 eess.IV physics.optics
Dual-view Snapshot Compressive Imaging via Optical Flow Aided Recurrent Neural Network
Xidian University（西安电子科技大学）；Ningbo University（宁波大学）；Westlake University（西湖大学）
双视角快照压缩成像（SCI）是利用一个二维传感器（探测器）在一个快照中获取两个视场（FoV）的视频，实现FoV和时间压缩感知的联合，具有低带宽、低功耗和低成本的优点。然而，现有的基于模型的解码算法重建每个单独的场景具有挑战性，对于大规模数据，通常需要详尽的参数调整和极长的运行时间。在本文中，我们提出了一个光流辅助递归神经网络的双视频SCI系统，它提供了高质量的解码秒。首先，我们开发了一种多样性放大方法来放大两个FoV场景之间的差异，并设计了一个具有双分支的深度卷积神经网络来从单个测量中分离不同的场景。其次，我们将从相邻帧中提取的双向光流与递归神经网络相结合，以顺序的方式联合重建每个视频。大量的仿真和真实数据的结果表明，我们提出的模型在很短的推理时间的优越性能。代码和数据可在https://github.com/RuiyingLu/OFaNet-for-Dual-view-SCI上获得。
2021-09-11 cs.CV eess.IV
Spatial-Temporal Transformer for Video Snapshot Compressive Imaging
University of Chinese Academy of Sciences（中国科学院大学）；Westlake University（西湖大学）
视频快照压缩成像（SCI）利用计算成像的思想，通过一次测量捕获多个连续的视频帧。其基本原理是通过不同的掩模调制高速帧，这些调制帧被求和为由低速2D传感器（称为光学编码器）捕获的单个测量值;之后，如果需要，则采用算法来重建所需的高速帧（称为软件解码器）。在本文中，我们考虑视频SCI中的重建算法，即，从压缩的测量中恢复一系列视频帧。具体来说，我们提出了一个时空Transformer（STFormer），利用在空间和时间域的相关性。STFormer网络由一个令牌生成模块和一个视频重建模块组成，这两个模块之间由一系列STFormer模块连接。每个STFormer模块由一个空间自注意分支和一个时间自注意分支组成，这两个分支的输出由一个融合网络集成。模拟和真实数据的广泛结果证明了STFormer的最新性能。代码和模型可在https://github.com/ucaswangls/STFormer.git上公开获取
2022-09-08 cs.CV eess.IV
Dense Deep Unfolding Network with 3D-CNN Prior for Snapshot Compressive Imaging
Peking University Shenzhen Graduate School（北京大学深圳研究生院）；Peng Cheng Laboratory（鹏城实验室）
快照压缩成像（SCI）旨在通过二维相机记录三维信号。为了建立一个快速准确的SCI恢复算法，我们结合了基于模型的方法的可解释性和基于学习的方法的速度，并提出了一种新的密集深度展开网络（DUN），其中每个阶段都是从半二次分裂（HQS）的迭代中展开的。为了更好地利用帧之间的时空相关性，并解决现有DUN中相邻相位之间的信息丢失问题，我们建议在我们的邻近映射模块中采用3D-CNN先验，并分别开发一种新的密集特征映射（DFM）策略。此外，为了提高网络的鲁棒性，我们进一步提出了一个密集的特征映射自适应（DFMA）模块，允许相位间的信息融合自适应。所有参数都是以端到端的方式学习的。仿真数据和实际数据的实验验证了该方法的优越性。源代码可在https://github.com/jianzhangcs/SCI3D上获得。
2021-09-14 cs.CV eess.IV
PCMamba: Physics-Informed Cross-Modal State Space Model for Dual-Camera Compressive Hyperspectral Imaging
Xiamen University（厦门大学）
针对双相机压缩高光谱成像，提出物理信息跨模态状态空间模型PCMamba，将物理成像过程融入Mamba线性复杂度，解耦温度、发射率与纹理，经物理驱动合成重建HSI，性能超越SOTA。
2025-05-22 cs.CV eess.IV
Deep Gaussian Scale Mixture Prior for Spectral Compressive Imaging
Xidian University（西安电子科技大学）；Bell Labs（贝尔实验室）
在编码孔径快拍光谱成像（CASSI）系统中，可以从一张快拍的压缩图像中重建真实世界的高光谱图像（HSI）。基于模型的HSI重建方法采用手工制作的先验来解决重建问题，但由于这些手工制作的先验的表示能力差，其中大多数取得了有限的成功。基于深度学习的方法直接学习压缩图像和HSI之间的映射，取得了更好的结果。然而，设计一个强大的深度网络来实现令人满意的结果并非易事。在本文中，我们提出了一种新的HSI重建方法的基础上最大后验（MAP）估计框架，使用学习高斯尺度混合（GSM）的先验。不同于使用手工制作的尺度先验的现有GSM模型（例如，Jeffrey先验），我们建议通过深度卷积神经网络（DCNN）学习尺度先验。此外，我们还提出了估计GSM模型的局部均值的DCNN。MAP估计算法的所有参数和DCNN参数通过端到端训练联合优化。在合成数据集和真实数据集上的大量实验结果表明，该方法优于现有的最先进的方法。该代码可在https://see.xidian.edu.cn/faculty/wsdong/Projects/DGSM-SCI.htm上获得。
2021-03-30 cs.CV eess.IV
Deep Equilibrium Models for Video Snapshot Compressive Imaging
Westlake University（西湖大学）；The University of Hong Kong（香港大学）；Computer Network Information Center, Chinese Academy of Science（中国科学院计算机网络信息中心）；University of Chinese Academy of Sciences（中国科学院大学）
快照压缩成像（SCI）系统有效捕获高维（HD）数据的能力导致了逆问题，其包括从压缩和噪声测量恢复HD信号。虽然重建算法随着深度学习的最新进展而快速增长，但准确和稳定恢复的基本问题仍然存在。为此，我们提出了视频SCI的深度平衡模型（DEQ），以理论上合理的方式融合了数据驱动的正则化和稳定收敛。每个均衡模型都隐式地学习一个非扩张算子，并解析地计算不动点，从而在训练和测试中实现无限的迭代步骤和无限的网络深度，而只需恒定的内存需求。具体来说，我们演示了如何DEQ可以应用到两个现有的模型，视频SCI重建：递归神经网络（RNN）和即插即用（PSTO）算法。在各种数据集和真实数据上，我们的结果的定量和定性评价证明了我们提出的方法的有效性和稳定性。代码和模型可在https://github.com/IndigoPurple/DEQSCI上获得。
2023-02-28 cs.CV eess.IV
Self-supervised Neural Networks for Spectral Snapshot Compressive Imaging
Beijing University of Posts and Telecommunications（北京邮电大学）；Westlake University（西湖大学）
我们考虑使用{ \bf \em untrained neural networks}来解决快照压缩成像（SCI）的重建问题，该重建问题使用二维（2D）检测器以压缩的方式捕获高维（通常为3D）数据立方体。近年来已经建立了各种SCI系统来捕获高速视频，高光谱图像等数据，并且通过深度神经网络获得最先进的重建。然而，这些网络中的大多数都是通过大量语料库以端到端的方式进行训练的，这些语料库有时具有模拟的地面真值，测量对。在本文中，受深度图像先验（DIP）和深度解码器等未经训练的神经网络的启发，我们通过将DIP集成到即插即用机制中来开发一个框架，从而形成一个用于光谱SCI重建的自监督网络。大量的模拟和真实数据结果表明，该算法无需训练，能够实现基于训练的网络竞争力的结果。此外，通过将所提出的方法与预先训练的深度去噪先验知识相结合，我们取得了最先进的结果。{Our代码可在\url{https://github.com/mengziyi64/CASSI-Self-Supervised}获得。}
2021-08-28 cs.CV eess.IV
Plug-and-Play Algorithms for Large-scale Snapshot Compressive Imaging
Bell Labs（贝尔实验室）；MIT（麻省理工学院）
快照压缩成像（SCI）旨在使用2D传感器（检测器）在单个快照中捕获高维（通常为3D）图像。尽管SCI具有低带宽、低功耗和低成本的优势，但将其应用于日常生活中的大规模问题（高清或超高清视频）仍然具有挑战性。瓶颈在于重建算法;它们要么太慢（迭代优化算法），要么对编码过程不灵活（基于深度学习的端到端网络）。在本文中，我们开发了快速和灵活的算法SCI的基础上，即插即用（PPENS）的框架。在广泛使用的PnP-ADMM算法的基础上，进一步提出了计算量较小的PnP-GAP（广义交替投影）算法，并证明了PnP-GAP算法在SCI硬件约束下的收敛性.通过采用深度去噪先验，我们首次表明PNDG可以从快照2D测量恢复UHD彩色视频（PNSR高于30 dB的$3840\times 1644\times 48$）。仿真和真实数据集上的大量结果验证了我们提出的算法的优越性。该代码可在https://github.com/liuyang12/PnP-SCI上获得。
2020-07-17 cs.CV eess.IV
Snapshot Interferometric 3D Imaging by Compressive Sensing and Deep Learning
我们展示了基于干涉编码的单次激发压缩三维（3D）$(x, y, z)$成像。物体的深度尺寸被编码到光场的干涉光谱中，从而产生$(x, y, λ)$数据立方体，该数据立方体随后由单发光谱仪测量。通过实现高达$400$的压缩比，我们能够从2D测量重建$1G$体素。开发了基于优化的压缩感知算法和深度学习网络，用于从单个2D编码测量进行3D重建。由于快速的采集速度，我们的方法是能够捕捉体积的活动在本地相机帧速率，使4D（体积时间）可视化的动态场景。
2020-04-03 eess.IV
A Simple and Efficient Reconstruction Backbone for Snapshot Compressive Imaging
Santa Clara University（圣克拉拉大学）；ETH Zürich（苏黎世联邦理工学院）；Westlake University（西湖大学）；Northeastern University（东北大学）
快照压缩成像（SCI）的新兴技术使得能够以有效的方式捕获高维（HD）数据。它通常由两个组件实现：将HD信号压缩为2D测量的光学编码器和在硬件编码测量时检索HD数据的算法解码器。在广泛的SCI应用中，高光谱成像（HSI）和视频压缩感知近年来受到了极大的研究关注。在现有的SCI重建算法中，基于深度学习的方法因其良好的性能和高效的推理而脱颖而出。然而，深度重建网络可能会遭受过大的模型大小和高度专业化的网络设计，这不可避免地导致昂贵的训练时间，高内存使用和有限的灵活性，从而阻碍了SCI系统在实际场景中的部署。在本文中，我们提出了一种简单而高效的重建方法，即堆叠残差网络（SRN），通过重新审视具有嵌套结构和空间不变属性的残差学习策略来解决上述挑战。与现有网络相比，建议的SRN使高保真数据检索具有更少的计算操作和可忽略的模型大小，并且还可以作为适用于高光谱和视频数据的通用骨干。在此基础上，我们首先提出了信道注意增强的SRN（CAE-SRN），以探索HSI中细粒度空间估计的谱相关性。然后，我们采用SRN作为深度去噪器，并将其纳入广义交替投影（GAP）框架-导致GAP-SRN -来处理视频压缩感知任务。实验结果表明，所提出的SRN在两个SCI应用程序上具有最先进的性能和高计算效率。
2022-02-02 cs.CV eess.IV
Broadband Near-Infrared Compressive Spectral Imaging System with Reflective Structure
针对传统近红外高光谱成像系统成本高、体积大、数据采集效率低的问题，本研究提出基于反射结构的宽带近红外压缩光谱成像系统，通过波长分割和专用光学组件设计实现700-1600 nm宽带数据捕获且系统紧凑，为近红外高光谱成像提供新方案。
2025-08-20 eess.IV
RDFNet: Regional Dynamic FISTA-Net for Spectral Snapshot Compressive Imaging
Beijing Institute of Technology（北京理工大学）；Beijing Institute of Technology Chongqing Innovation Center（北京理工大学重庆创新中心）
深度卷积神经网络最近在压缩频谱重建方面表现出了有希望的结果。然而，以前的方法，通常采用一个单一的映射函数的稀疏表示。考虑到不同区域具有不同的特征，期望应用各种映射函数来动态地调整不同区域的变换。考虑到这一点，我们首先介绍了一个区域动态的方式，使用快速迭代收缩保持算法（FISTA），利用区域特性，并获得动态稀疏表示。然后，我们建议将该过程展开为一个分层的动态深度网络，称为RDFNet。该网络包括多个区域动态块和相应的逐像素自适应软阈值模块，分别负责基于区域的动态映射和逐像素软阈值选择。区域动态块指导网络针对不同区域调整变换域。配备了自适应软阈值，我们提出的区域动态架构也可以学习适当的收缩尺度在一个像素的方式。模拟和真实数据的大量实验表明，我们的方法优于现有的最先进的。
2023-02-06 cs.CV eess.IV
Generalized Optimization of High Capacity Compressive Imaging Systems
将压缩感知（CS）信号处理技术应用于电磁成像应用的最大挑战之一是设计具有良好重构能力的感测矩阵。压缩反射器天线（CRA）是已经示出在采用CS技术时提供优于传统反射器天线（TRA）的增强的图像重建性能的一类天线。在本文中，我们提出了一个统一的CRA的设计方法，它考虑了传感能力和效率的天线，并可用于压缩成像和多输入多输出（MIMO）通信应用。统一的设计方法进行评估的CRA配置中，介质散射体被添加到TRA的表面。设计结果表明，统一设计方法的能力，以提高CS重建能力的CRA。
2018-03-22 eess.IV math.OC
Progressive Content-aware Coded Hyperspectral Compressive Imaging
Peking University Shenzhen Graduate School（北京大学深圳研究生院）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））；Tsinghua University（清华大学）；Peking University（北京大学）
高光谱成像在遥感、医学和细胞学等广泛的应用中起着关键作用。编码孔径快拍光谱成像（CASSI）通过二维传感器获取三维高光谱图像，以其硬件友好的实现方式和快速的成像速度获得了巨大的成功。然而，对于一些频谱稀疏的场景，单次快拍和不合理的编码孔径设计往往会使HSI恢复更不适定，产生较差的空间和频谱保真度。在本文中，我们提出了一种新的渐进式内容感知CASSI框架，称为PCA-CASSI，它捕获具有多个优化的内容感知编码孔径的HSI，并逐步融合所有快照进行重建。同时，通过将距离-距离空间分解（RND）映射到具有多个阶段的深度网络中，提出了用于HSI恢复的RND-HRNet。每个恢复阶段可以充分利用隐藏在编码孔径的物理信息，通过明确的$\mathcal{R}$ $-$ $\mathcal{N}$分解和探索的空间-频谱相关的双Transformer块。我们的方法被验证，以超过其他国家的最先进的方法在多个和单次拍摄HSI成像任务的大利润率。
2023-03-17 cs.CV eess.IV
Optimal compressive multiphoton imaging at depth using single-pixel detection
压缩传感可以克服奈奎斯特准则，并记录图像与通常所需的测量数量的一小部分。然而，传统的测量基础容易受到衍射和散射的影响，这在高分辨率显微镜中很普遍。在这里，我们探索随机Morlet基础作为压缩多光子成像的最佳集合，基于其能力，以最大限度地减少空间频率的不确定性。我们实现这种方法的新开发的方法，宽视场多光子显微镜与单像素检测（TRAFIX），它允许通过混浊介质成像，无需校正。Morlet基底非常适合TRAFIX的深度，并有望提供一种快速采集和低光损伤的途径。
2019-07-04 eess.IV physics.optics
Degradation-Aware Unfolding Half-Shuffle Transformer for Spectral Compressive Imaging
Tsinghua University（清华大学）；Shenzhen Institute of Future Media Technology（深圳未来媒体技术研究院）；Westlake University（西湖大学）；ETH Zürich（苏黎世联邦理工学院）；University of Würzburg（维尔茨堡大学）
在编码孔径快照光谱压缩成像（CASSI）系统中，采用高光谱图像（HSI）重建方法从压缩测量中恢复空间光谱信号。在这些算法中，深度展开方法表现出有前途的性能，但有两个问题。首先，他们没有估计的退化模式和病态程度的高度相关的CASSI，以指导迭代学习。其次，它们主要是基于CNN的，在捕获远程依赖性方面存在局限性。在本文中，我们提出了一个原则性的退化感知展开框架（DAUF），估计参数的压缩图像和物理掩模，然后使用这些参数来控制每次迭代。此外，我们自定义一个新的半洗牌Transformer（HST），同时捕获本地内容和非本地依赖。通过将HST插入到DAUF中，我们建立了第一个基于Transformer的深度展开方法，Degradation-Aware Unfolding Half-Shuffle Transformer（DAUHST），用于HSI重建。实验表明，DAUHST显着超过国家的最先进的方法，同时需要更便宜的计算和内存成本。代码和模型将在https://github.com/caiyuanhao1998/MST上发布
2022-10-17 cs.CV eess.IV
10-mega pixel snapshot compressive imaging with a hybrid coded aperture
Tsinghua University（清华大学）；Massachusetts Institute of Technology（麻省理工学院）；Bell Labs（贝尔实验室）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）
高分辨率图像在我们的日常生活中被广泛使用，而高速视频捕获由于工作在高分辨率模式下的相机的低帧速率而具有挑战性。深入挖掘，主要瓶颈在于现有成像系统的低吞吐量。为此，快照压缩成像（SCI）被提出作为一个有前途的解决方案，以提高成像系统的吞吐量，通过压缩采样和计算重建。在采集过程中，多个高速图像被编码并折叠成单个测量。在此之后，采用算法从编码快照中检索视频帧。最近开发的即插即用（PAPK）算法使SCI重建在大规模的问题。然而，缺乏高分辨率的编码系统仍然阻碍了SCI的广泛应用。在本文中，我们建立了一个新的混合编码孔径快照压缩成像（HCA-SCI）系统，将动态硅上液晶和高分辨率光刻掩模。我们进一步实现了一个Pendash重建算法与级联去噪高质量的重建。基于提出的HCA-SCI系统和算法，我们实现了一个1000万像素的SCI系统，以捕捉高速场景，导致每秒4.6G体素的高吞吐量。仿真和实际数据实验验证了我们提出的HCA-SCI方案的可行性和性能。
2021-08-15 cs.CV eess.IV physics.optics
Time-domain terahertz compressive imaging
我们提出了一种实现的单像素成像方法到太赫兹（THz）时域光谱（TDS）系统。我们证明了间接相干重建太赫兹时间波形在每个空间位置的对象，而不需要机械光栅扫描。首先，我们利用这种时间信息来实现（远场）飞行时间图像。此外，作为概念的证明，我们应用典型的压缩感知算法来演示图像重建，其所需测量值小于总测量值的50%。最后，通过重建具有太赫兹吸收线的物体的光谱图像，也证明了对频域的访问。单像素成像与压缩感知算法的组合允许降低当前THz-TDS成像系统的复杂度和采集时间。
2019-11-25 eess.IV physics.optics
Latent Diffusion Prior Enhanced Deep Unfolding for Snapshot Spectral Compressive Imaging
Zhejiang University（浙江大学）；Westlake University（西湖大学）；School of Engineering, Westlake University（西湖大学工程学院）；Xidian University（西安电子科技大学）；School of Cyber Engineering, Xidian University（西安电子科技大学网络与工程学院）；Beijing Institute of Technology（北京理工大学）；School of Computer Science and Technology, Beijing Institute of Technology（北京理工大学计算机科学与技术学院）
针对快照光谱压缩成像重建中的病态问题和细节缺失瓶颈，提出利用潜在扩散模型生成无退化先验，并结合轻量级模型在深度展开去噪器中生成知识先验指导重建，显著提升了重建质量与计算效率。
2024-08-24 cs.CV eess.IV
Spectral Compressive Imaging Reconstruction Using Convolution and Contextual Transformer
University of Chinese Academy of Sciences（中国科学院大学）；Westlake University（西湖大学）
针对光谱压缩成像重建算法耗时长、细节恢复差的问题，提出CCoT块并嵌入深度展开框架构建GAP-CCoT网络，显著提升了重建质量与运行效率。
2023-07-02 cs.CV eess.IV
Differentiable Microscopy for Content and Task Aware Compressive Fluorescence Imaging
Harvard University（哈佛大学）
吞吐量和图像质量之间的权衡是显微镜中的固有挑战。为了提高吞吐量，压缩成像对图像信号进行欠采样;然后通过求解正则化逆问题来计算重建图像。与传统正则化器相比，基于深度学习的方法在压缩和图像质量方面取得了更大的成功。然而，在采集过程中的信息损失设置压缩边界。因此，在不损害重建质量的情况下进一步改进压缩是一个挑战。在这项工作中，我们提出了可微分压缩荧光显微镜（$\partial μ$），其中包括一个现实的可推广的前向模型与学习的物理参数（如照明模式），和一个新的物理启发的逆模型。级联模型是端到端可微的，并且可以通过训练数据学习最优压缩采样方案。利用我们的模型，我们对各种压缩显微镜配置进行了数千次数值实验。我们发现，学习采样编码的重要信息的标本在显微镜的照明领域允许更高的压缩高达$\times 1024$。我们进一步利用我们的任务感知压缩框架。实验结果表明，优越的性能上的细胞分割任务。
2023-03-04 cs.CV eess.IV physics.optics
HerosNet: Hyperspectral Explicable Reconstruction and Optimal Sampling Deep Network for Snapshot Compressive Imaging
Peking University Shenzhen Graduate School（北京大学深圳研究生院）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Peking University（北京大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Peng Cheng Laboratory（鹏城实验室）
高光谱成像是一种重要的成像方式，有着广泛的应用，特别是在遥感、农业和医学领域。受现有高光谱相机的启发，从低预算的快照测量重建高光谱图像（HSI）引起了广泛的关注。通过将截断数值优化算法映射到具有固定相位数的网络中，最近用于频谱快照压缩感知（SCI）的深度展开网络（DUN）取得了显着的成功。然而，由于缺乏跨相位特征交互和自适应参数调整，DUN远未达到工业应用的范围。在本文中，我们提出了一种新的高光谱可解释重建和最佳采样深度网络SCI，称为HerosNet，它包括ISTA展开框架下的几个阶段。在梯度下降步骤中，每个阶段可以灵活地模拟感测矩阵并根据上下文调整步长，并且在邻近映射步骤中，分层地融合和交互先前阶段的隐藏状态以有效地恢复当前HSI帧。同时，一个硬件友好的最佳二进制掩码学习端到端，以进一步提高重建性能。最后，我们的HerosNet被验证为在模拟和真实数据集上都比最先进的方法表现更好。源代码可在https://github.com/jianzhangcs/HerosNet上获得。
2022-05-16 cs.CV eess.IV
A Range-Null Space Decomposition Approach for Fast and Flexible Spectral Compressive Imaging
Huazhong University of Science & Technology（华中科技大学）；Wuhan Jingce Electronic Group（武汉精测电子集团）
提出RND-SCI框架，通过距离-零空间分解引入深度先验约束，灵活提升各类HSI重建网络性能，并设计出达91帧每秒的RND-SAUNet网络。
2023-05-16 cs.CV eess.IV
Mid-wave infrared super-resolution imaging based on compressive calibration and sampling
针对高像素中波红外相机成本高昂的问题，本文利用压缩感知改进焦平面阵列压缩成像的标定矩阵测量与计算，提升对比度和信噪比，并实验实现达到系统设计极限的4×4长距离超分辨率重建。
2021-09-08 eess.IV physics.optics
In2SET: Intra-Inter Similarity Exploiting Transformer for Dual-Camera Compressive Hyperspectral Imaging
Beijing Institute of Technology（北京理工大学）；Beijing Normal University（北京师范大学）
本文提出 In2SET 网络，利用 PAN 图像内部相似性作为先验并实现特征对齐，集成到 PAN 引导展开框架中，显著提升双相机压缩高光谱成像的重建质量与计算效率。
2024-06-08 cs.CV eess.IV
100,000 frames-per-second compressive imaging with a conventional rolling-shutter camera by random point-spread-function engineering
我们展示了一种方法，允许以超过100，000帧每秒（fps）的非常高的速度拍摄视频，通过利用标准卷帘快门读出机制的快速采样率，常见于大多数传统传感器和压缩采样采集方案。我们的方法是直接应用到一个传统的成像系统，通过简单的光瞳平面的扩散器，随机编码的整个视场到每个相机行，同时保持衍射限制的分辨率。一个简短的视频重建从一个单一的摄像机帧通过压缩传感重建算法，利用固有的稀疏成像场景。
2020-04-20 eess.IV physics.optics
SASA: Saliency-Aware Self-Adaptive Snapshot Compressive Imaging
本文针对传统快照压缩成像采样中忽视高层信息的局限，提出了一种基于显著性检测的低成本、低功耗自适应编码掩码生成算法，实验验证了其有效性与高效性。
2023-12-30 eess.IV
Binarized Spectral Compressive Imaging
Tsinghua University（清华大学）；Westlake University（西湖大学）；ETH Zürich（苏黎世联邦理工学院）
针对高光谱图像重建模型内存和计算开销大、难以部署于移动设备的问题，提出二值化光谱重分布网络BiSRNet，通过定制二值化卷积模块与近似Sign函数，在保持与全精度算法相当性能的同时实现高效部署。
2023-10-18 cs.CV eess.IV
Compressive Fourier-Domain Intensity Coupling (C-FOCUS) enables near-millimeter deep imaging in the intact mouse brain in vivo
提出C-FOCUS主动散射校正方法，结合傅里叶域强度调制与压缩感知，在活体小鼠大脑中实现超900微米深度的高分辨率高对比度成像，荧光强度提升超20倍。
2025-05-27 eess.IV physics.optics
Probabilistic-based Feature Embedding of 4-D Light Fields for Compressive Imaging and Denoising
City University of Hong Kong（香港城市大学）；City University of Hong Kong Shenzhen Research Institute（香港城市大学深圳研究院）
本文提出基于概率的特征嵌入（PFE）方法，通过在概率空间组装低维卷积模式捕获四维光场空间-角度信息，并分别构建循环一致重建网络和迭代优化框架，在压缩成像与去噪任务上显著优于现有方法。
2024-01-11 cs.CV eess.IV
Fast Hyperspectral Image Recovery via Non-iterative Fusion of Dual-Camera Compressive Hyperspectral Imaging
RIKEN（理化学研究所）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；University of Tokyo（东京大学）；Nokia Bell Labs（诺基亚贝尔实验室）
编码孔径快拍光谱成像（CASSI）是一种利用二维编码测量获取三维高光谱图像（HSI）的新技术。由于不适定的性质，各种正则化器已被利用来从2D测量重建3D数据。然而，该算法的精度和计算复杂度并不令人满意。一个可行的解决方案是利用附加信息，如CASSI中的RGB测量。本文针对CASSI和RGB测量相结合的特点，提出了一种新的HSI融合重建模型。我们研究了由谱基和空间系数组成的HSI的谱低秩性质。具体地说，RGB测量被用来估计系数，同时CASSI测量被用来提供正交谱基。我们进一步提出了一个补丁处理策略，以提高频谱低秩属性的HSI。该模型既不需要非局部处理或迭代，也不需要RGB检测器的光谱传感矩阵。在模拟和真实HSI数据集上的大量实验表明，我们提出的方法不仅在质量上优于以前的最先进的方法，而且重建速度提高了5000倍以上。
2020-12-30 cs.CV eess.IV
Untrained networks for compressive lensless photography
University of California, Berkeley（加州大学伯克利分校）；Orange Coast College（奥兰治海岸学院）
压缩无透镜成像器能够在极其紧凑的设备中实现新的应用，仅需要靠近传感器放置的相位或幅度掩模。它们已经被证明用于2D和3D显微镜，单次拍摄视频和单次拍摄高光谱成像;在每种情况下，解决基于压缩传感的逆问题，以便从2D测量中恢复3D数据立方体。通常，这是使用凸优化和手工挑选的先验来实现的。或者，基于深度学习的重建方法提供了更好的先验知识，但需要数千个真实训练对，这可能很难或不可能获得。在这项工作中，我们提出使用未经训练的网络进行压缩图像恢复。我们的方法不需要任何标记的训练数据，而是使用测量本身来更新网络权重。我们展示了我们未经训练的无镜头压缩2D成像方法，以及使用相机的滚动快门和单次拍摄高光谱成像的单次拍摄高速视频恢复。我们提供了模拟和实验验证，表明我们的方法比现有的方法提高了图像质量。
2021-06-22 cs.CV eess.IV physics.optics
Compressive Spectral Imaging with Diffractive Lenses
压缩光谱成像使得能够从几个复用图像重建整个三维（3D）光谱立方体。在这里，我们开发了一种新的压缩光谱成像技术，使用衍射透镜。我们的技术使用编码孔径空间调制的光场从现场和衍射透镜，如光子筛分散。编码场通过衍射透镜，然后使用单色检测器在几个平面上进行测量。然后通过稀疏恢复从这些高度压缩的测量重建3D光谱立方体。提出了一种快速稀疏恢复方法来求解这一大规模反问题。通过数值模拟，说明了在可见光区的成像性能的各种情况下，不同的压缩比。结果表明，有前途的重建性能可以实现少到两个测量。这为低成本和简单设计的高分辨率光谱成像开辟了新的可能性。
2019-09-21 eess.IV eess.SP physics.optics
Parallel compressive super-resolution imaging with wide field-of-view based on physics enhanced network
本文提出基于物理增强网络的宽视场并行压缩超分辨成像方法，通过分区域OTF训练与微调优化掩模，仅用三个掩模实现1020×1500视场、4×4超分辨实时重建。
2023-10-20 eess.IV physics.optics
Compressive Circular Polarization Snapshot Spectral Imaging
提出了一种基于压缩感知的圆偏振快拍光谱成像系统，可同时获取二维空间信息、一维圆偏振信息（左右圆偏振）和一维光谱信息。使用快照可以在单个积分周期内收集整个四维数据立方体。用Amici棱镜和Wollaston棱镜的组合代替编码孔径快拍光谱成像仪中的色散棱镜，实现了沿两个正交方向的光谱平移，大大提高了图像的光谱分辨率。利用消色差四分之一波片和渥拉斯顿棱镜的组合，提取了物体的左右圆偏振分量。对编码和重建进行了全面的说明。仿真结果验证了该方法的可行性。它为圆偏振光谱成像如去雾、水下成像等提供了一种新的途径。
2020-12-17 eess.IV physics.optics
Adaptive Compressive Sampling for Mid-infrared Spectroscopic Imaging
红外光谱成像（MIRSI）是一种新兴的无标记，生化定量技术，针对数字组织病理学。传统的组织病理学依赖于改变组织颜色的化学染色。这种方法是定性的，往往使组织病理学检查主观和难以量化。MIRSI通过利用天然分子对比度的定量和可重复成像来应对这些挑战。傅里叶变换红外（FTIR）成像是最著名的MIRSI技术，但有两个挑战阻碍了其广泛采用：数据收集速度和空间分辨率。最近的技术突破，如光热MIRSI，提供了一个数量级的空间分辨率的改善。然而，这是以采集速度为代价的，这对于临床组织样本是不切实际的。本文介绍了一种自适应压缩采样技术，以减少高光谱数据采集时间的一个数量级，利用光谱和空间稀疏。该方法识别了最丰富的空间和光谱特征，集成了快速张量完成算法来重建百万像素级图像，并展示了FTIR成像的速度优势，同时提供了与新光热方法相当的空间分辨率。
2022-07-25 eess.IV eess.SP
Snapshot fiber spectral imaging using speckle correlations and compressive sensing
快拍光谱成像在遥感应用中正迅速引起人们的兴趣。在一个图像内获取空间和光谱数据促进了快速测量时间，并减少了对稳定扫描成像系统的需求。目前的许多快照技术依赖于光栅或棱镜来表征波长信息，难以减小便携式高光谱成像的尺寸。在这里，我们表明，多芯多模光纤可以用作一个紧凑的光谱成像仪与亚纳米分辨率，通过编码的光谱信息内的单色CMOS相机。我们表征波长相关的散斑图案高达3000光纤芯在一个广泛的波长范围。聚类算法结合l $_{1}$ -最小化来限制在采集阶段的数据收集，用于重建在波长域中稀疏的光谱图像。我们还表明，在非压缩制度，这些技术能够准确地重建宽带信息。
2018-10-24 eess.IV physics.ins-det physics.optics
Compressive coded rotating mirror camera for high-speed imaging
我们开发了一种新型的压缩编码旋转镜（CCRM）相机，以捕获事件在高帧速率在被动模式下与紧凑的仪器设计的成本相比，其他高速成像相机的一小部分。CCRM相机的操作基于振幅光学编码（灰度）和使用电动旋转镜系统的低成本检测器上的连续帧扫描，该电动旋转镜系统可以实现相邻帧之间的单个像素移位。幅度编码和连续帧重叠使CCRM相机能够实现高数量的捕获帧和高时间分辨率，而不会牺牲空间分辨率。在实验演示中，以高达120 Kfps的帧速率在单色和彩色尺度下捕获了两组动态场景。在压缩感知（CS）范式下，利用优化算法对实验获得的高压缩数据进行重构，获得了单次曝光1400帧的最高序列深度，与其他基于CS的高速成像技术相比，最高压缩比为368。在类似条件下，CCRM相机比传统的基于旋转镜的成像设备快700 $\times$，并且可以达到高达20 Gfps的帧速率。
2020-11-22 eess.IV physics.optics
Compressive optical imaging with a photonic lantern
光纤的薄而灵活的性质通常使其成为观察体内生物过程的理想技术，但目前的显微内窥镜方法在空间分辨率方面受到限制。在这里，我们展示了一种新的路线，高分辨率显微内窥镜使用多芯光纤（MCF）与绝热多模单模光子灯笼过渡形成在远端的锥形。我们表明，不同的多模模式的光可以投射从灯笼的输出单独激发的单模MCF核心，这些模式是高度稳定的光纤运动。然后利用这种能力来演示单像素成像的形式，其中使用单像素检测器来检测每个多模图案透射通过对象的光的分数。我们称之为SARA-COIL的自定义压缩成像算法用于仅使用预先测量的多模模式本身和检测器信号来重建对象。
2019-03-01 eess.IV physics.optics
Diffusion Meets Unrolling: Compressive SAR Image Reconstruction with Interleaved Learned Corrections
University of Bristol（布里斯托大学）
针对压缩SAR成像计算昂贵的问题，提出扩散模型与交错细化校正结合的混合框架，在ERS-1数据上提升重建保真度与结构相似性。
2026-10-06 eess.IV
Resource-Efficient Quantum-Enhanced Compressive Imaging via Quantum Classical co-Design
University of Southern California（南加州大学）；University of Michigan（密歇根大学）；Halliburton Technology（哈里伯顿技术）
本文提出量子经典协同设计框架，通过结合量子资源分配与压缩成像指导，减少量子资源消耗，实现高效图像重建与分类。
2026-04-17 eess.IV quant-ph
GAP-net for Snapshot Compressive Imaging
快照压缩成像（SCI）系统旨在使用2D检测器在Single Shot中捕获高维（$\ge3$ D）图像。SCI设备包括两个主要部分：硬件编码器和软件解码器。硬件编码器通常由设计用于捕获{压缩测量}的（光学）成像系统组成。另一方面，软件解码器指的是从这些测量中检索期望的高维信号的重建算法。本文利用深度展开思想，提出了一种SCI恢复算法，即GAP网络，它是对广义交替投影（GAP）算法的展开。在每个阶段，GAP网络通过训练的卷积神经网络（CNN）传递其当前对所需信号的估计。CNN作为将估计投影回期望信号空间的去噪器操作。对于采用经过训练的基于自动编码器的去噪器的GAP-net，我们证明了概率全局收敛结果。最后，我们研究了GAP网络在解决视频SCI和频谱SCI问题中的性能。在这两种情况下，GAP网络在合成数据和真实数据上都表现出了竞争力。除了具有高精度和高速度，我们表明，GAP网络是灵活的信号调制意味着一个训练有素的GAP网络解码器可以应用于不同的系统。我们的代码在https://github.com/mengziyi64/ADMM-net。
2020-12-13 eess.IV
Adaptive Deep PnP Algorithm for Video Snapshot Compressive Imaging
视频快照压缩成像（Video Snapshot compressive imaging，SCI）是一种很有前途的高速视频捕获技术，它将成像速度从探测器转换为掩模调制，只需一次测量即可捕获多帧图像。从测量数据中重建高速帧的算法在SCI中起着至关重要的作用。在本文中，我们考虑了很有前途的重建算法框架，即即插即用（Plug-and-Play，简称PSTO），与其他深度学习网络相比，它对编码过程非常灵活。现有的Pestrian算法的一个缺点是，它们使用预先训练的去噪网络作为插入先验，而网络的训练数据可能与实际应用中的任务不同。为此，在这项工作中，我们提出了在线PADER算法，它可以自适应地更新PADER迭代内的网络参数，这使得去噪网络更适用于SCI重建中所需的数据。此外，对于彩色视频成像，RGB帧需要在相机流水线中从Bayer模式或所谓的去马赛克中恢复。为了解决这一挑战，我们设计了一个两阶段的重建框架来优化这两个耦合的不适定问题，并引入了一个深度的去马赛克之前，专门用于视频去马赛克，而不是使用单一的图像去马赛克网络没有太多的过去的作品。在模拟和真实数据集上的大量结果验证了我们的自适应深度Pestrian算法的优越性。
2022-01-28 eess.IV
Deep Unfolding-Aided Parameter Tuning for Plug-and-Play-Based Video Snapshot Compressive Imaging
本文提出一种基于深度展开的方法来调优即插即用（PnP）视频快照压缩成像中的噪声水平参数，利用密集标注数据集和检查点技术进行训练，实验揭示了参数的非单调模式，为深度展开应用和PnP算法理论提供了新见解。
2025-03-05 eess.IV
Temporal compressive edge imaging enabled by a lensless diffuser camera
本文提出基于无透镜扩散器相机的时间压缩边缘检测方法，可从单次测量直接恢复运动物体边缘图像时间序列，无需后处理且图像质量更高，并通过仿真与实验验证其有效性。
2023-09-13 eess.IV physics.app-ph physics.optics
JR2net: A Joint Non-Linear Representation and Recovery Network for Compressive Spectral Imaging
Universidad Industrial de Santander（桑坦德工业大学）
深度学习模型是压缩光谱成像（CSI）恢复的最新技术。这些方法使用深度神经网络（DNN）作为图像生成器，以学习从压缩测量到光谱图像的非线性映射。例如，深光谱先验方法在优化算法中使用卷积自动编码器网络（CAE），以通过使用非线性表示来恢复光谱图像。然而，CAE训练与恢复问题分离，这不能保证CSI问题的光谱图像的最佳表示。这项工作提出了一个联合非线性表示和恢复网络（JR2net），将表示和恢复任务连接到一个单一的优化问题。JR2net由一个遵循ADMM公式的优化启发网络组成，该网络学习非线性低维表示，同时执行光谱图像恢复，通过端到端方法进行训练。实验结果表明，该方法的优越性与提高高达2.57 dB的峰值信噪比和性能约2000倍的速度比国家的最先进的方法。
2022-09-09 cs.LG eess.IV
EM based Framework for Single-shot Compressive Holography
无透镜同轴全息术是一种简单、便携、成本低廉的成像方法，特别适用于生物医学显微镜的应用。我们提出了一种基于乘性梯度下降优化的方法来获得多深度成像从一个单一的全息图在这个成像系统中获得。我们进一步扩展的方法，实现相位成像从一个单一的全息图。负对数似然函数与泊松噪声的假设已被用来作为代价函数被最小化。通过稀疏正则化和上界约束处理问题的不适定性。梯度下降优化要求计算代价函数相对于对象的给定估计的偏导数。本文给出了在真实物体和复杂物体情况下获得全息图中这个量的一种方法。重建方法已被验证，使用广泛的模拟和实验研究。与已有的基于压缩全息的迭代收缩/阈值算法的比较表明，该方法具有收敛速度快、重建图像质量好和相位成像能力强等优点。
2020-02-09 eess.IV physics.optics
