FPA-CS: Focal Plane Array-based Compressive Imaging in Short-wave Infrared
Carnegie Mellon University（卡内基梅隆大学）；Rice University（莱斯大学）
用于在短波和中波红外光谱中成像的相机比其在可见光成像中的对应物昂贵得多。因此，这些光谱中的高分辨率成像仍然超出了大多数消费者的能力范围。在过去的十年中，压缩传感（CS）已经成为实现廉价短波红外相机的潜在手段。一种方法是单像素相机（SPC），其中单个检测器获取高分辨率图像的编码测量值。然后使用计算重建算法从这些编码测量恢复图像。不幸的是，SPC的测量速率不足以实现高空间和时间分辨率的成像。我们提出了一种基于焦平面阵列的压缩感知（FPA-CS）架构，实现了高的空间和时间分辨率。这个想法是使用并行感测的SPC阵列来增加测量速率，从而增加相机的可实现的时空分辨率。我们开发了一个概念验证的原型在短波红外线使用64 $\times$ 64像素的传感器;原型提供了一个4096 $\times$增加的测量速率相比，SPC，并实现了百万像素的分辨率在视频速率使用CS技术。
2015-04-16 cs.CV
Smart Time-Multiplexing of Quads Solves the Multicamera Interference Problem
University of Zagreb Faculty of Electrical Engineering and Computing（萨格勒布大学电气工程与计算学院）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
飞行时间（ToF）相机在3D成像中越来越受欢迎。从几个方面研究了它们的优化使用。开放的研究问题之一是当两个或更多ToF相机同时操作时，多相机干扰问题的可能性。在这项工作中，我们提出了一种有效的方法来同步多个操作ToF相机。我们的方法是基于时分复用，但不同于传统的时间复用，它不会降低有效的相机帧速率。此外，对于不同步的摄像机，我们提供了一种鲁棒的方法来从相应的视频流中提取不受多摄像机干扰问题影响的帧。我们证明了我们的方法，通过一系列的实验和不同级别的支持触发，从硬件触发到纯粹的随机软件触发。
2020-11-05 cs.CV eess.IV
Compressive Light Field Reconstructions using Deep Learning
Arizona State University（亚利桑那州立大学）；Cornell University（康奈尔大学）；Carnegie Mellon University（卡内基梅隆大学）
光场成像在其空间和角度维度的高采样的计算处理要求方面受到限制。单次光场相机牺牲空间分辨率来采样角度视点，通常通过将入射光线多路复用到2D传感器阵列上。虽然可以使用压缩感测来恢复该分辨率，但是这些迭代解决方案在处理光场时是缓慢的。我们提出了一种深度学习方法，使用一种新的两分支网络架构，由一个自动编码器和一个4D CNN共同组成，从一个编码的2D图像中恢复一个高分辨率的4D光场。该网络显著减少了重建时间，同时在各种光场上实现了26-32 dB的平均PSNR值。特别是，重建时间从35分钟减少到6.7分钟相比，字典的方法相同的视觉质量。这些重建以低至8%的小采样/压缩比执行，从而允许更便宜的编码光场相机。我们测试我们的网络重建的合成光场，从Lytro Illum相机捕获的真实光场的模拟编码测量，以及来自自定义CMOS衍射光场相机的真实编码图像。压缩光场捕获与深度学习的组合允许未来的实时光场视频采集系统的潜力。
2018-02-05 cs.CV
LiSens --- A Scalable Architecture for Video Compressive Sensing
Carnegie Mellon University（卡内基梅隆大学）；Columbia University（哥伦比亚大学）
通过使用空间光调制器（SLM）进行空间复用测量的相机的测量速率通常受到SLM的切换速度的限制。这对于单像素相机尤其如此，其中光电检测器以比SLM大许多数量级的速率操作。我们研究的因素，确定这种空间多路复用相机（SMC）的测量速率，并表明，增加设备中的像素的数量提高了测量速率，但有一个最佳的像素数（通常是几千）超过该测量速率不增加。这激发了LiSens的设计，LiSens是一种新型的成像架构，它用一维线性阵列或线传感器取代了单像素相机中的光电探测器。我们说明了LiSens的光学架构，建立一个原型，并展示了一系列室内和室外场景的结果。LiSens实现了SMC的承诺：使用廉价的低分辨率传感器以百万像素分辨率、视频速率成像。
2015-03-14 cs.CV
Compressive Hyperspectral Imaging with Side Information
Duke University（杜克大学）
提出了一种盲压缩感知算法，将光谱压缩后的数据进行编码，然后叠加，将三维高光谱数据立方体映射到二维图像上，从而实现了高光谱图像的重建。反演算法通过全局-局部收缩先验从测量值学习字典{ \em in situ}。通过使用RGB图像作为压缩感知系统的边信息，所提出的方法被扩展到从压缩测量和相应的RGB图像的联合数据集学习耦合字典，以提高重建质量。使用硅基液晶调制器构建了一个原型相机。从模拟和真实压缩测量的高光谱数据立方体的实验重建证明了所提出的反演算法的有效性，相机的可行性和边信息的好处。
2015-02-22 cs.CV
Low-Cost Compressive Sensing for Color Video and Depth
Duke University（杜克大学）
对传统的现成彩色摄像机进行简单且廉价的（低功率和低带宽）修改，从该修改中，我们为每个原始测量帧恢复{多个}彩色帧，并且每个恢复的帧可以聚焦在不同的深度。对于每个测量帧的多个帧的恢复通过高速编码成为可能，通过单个编码孔径的平移来表现;廉价的平移通过将二进制代码安装在压电设备上来构成。为了同时恢复深度信息，经由可变电压以高速调制{液体}透镜。因此，在上述编码过程期间，液体透镜允许相机将焦点扫过多个深度。除了设计和实现的摄像头，快速恢复是通过一个随时算法利用小波/DCT系数的组稀疏性。
2014-02-27 cs.CV
Lensless Imaging with Compressive Ultrafast Sensing
Massachusetts Institute of Technology（麻省理工学院）
无透镜成像是一个重要且具有挑战性的问题。无透镜成像的一个值得注意的解决方案是单像素相机，它受益于压缩采样的核心思想。然而，传统的单像素相机需要许多照明图案，这导致长的采集过程。在这里，我们提出了一种基于压缩超快传感的无透镜成像方法。每个传感器采集都使用不同的照明模式进行编码，并产生时间序列，其中时间是场景中光子起源的函数。当前可用的具有皮秒时间分辨率的硬件能够在光子到达全向传感器时对光子进行时间标记。这允许与常规单像素成像相比具有显著更少图案的无透镜成像。为此，我们开发了一个框架，用于设计使用超快探测器的无透镜成像系统。我们提供了一个算法，理想的传感器的位置和优化的主动照明模式的算法。我们表明，高效的无透镜成像是可能的超快测量和压缩传感。这为新型成像架构和在无法使用镜头成像的极端情况下进行遥感铺平了道路。
2017-03-30 cs.CV
The STONE Transform: Multi-Resolution Image Enhancement and Real-Time Compressive Video
压缩感知使得能够从欠采样数据重建高分辨率信号。虽然压缩方法简化了数据采集，但它们需要解决困难的恢复问题以利用所得到的测量结果。本文提出了一种新的传感框架，结合了传统传感和压缩传感的优点。使用所提出的\stone变换，测量可以立即重建在奈奎斯特速率在任何幂的2的分辨率。然后，可以使用压缩方法将相同的数据“增强”到更高的分辨率，该方法利用稀疏性来“击败”奈奎斯特极限。快速直接重建的可用性使压缩测量能够在小型嵌入式设备上处理。我们证明了这一点，通过构建一个实时的【形】压缩视频摄像机。
2013-11-15 cs.CV
Two-pixel polarimetric camera by compressive sensing
CEA, IRFU, Service d’Astrophysique-SEDI（法国原子能和替代能源委员会、核研究与粒子物理研究所、天体物理服务部）
提出了一种基于数字微镜阵列和两个单像素探测器的压缩感知偏振成像新概念。所提出的设置的偏振灵敏度是由于反射镜的实验缺陷，这是利用在这里形成一个原始的重建问题，包括CS问题和声源分离任务。我们表明，一个两步的方法来解决每个问题连续优于一个专用的组合重建方法，这是在这篇文章中明确，最好是通过一个重新加权FISTA算法实现。然后通过包括特定于所考虑的极化成像上下文的物理约束来进一步改进组合重建方法，所述物理约束在原始约束GFB算法中实现。数值模拟表明，2像素CS偏振成像设置检索偏振对比度数据的效率与显着的压缩率和良好的重建质量。通过数值模拟，分析了DMD实验缺陷的影响，并给出了二维偏振成像重建结果。
2017-06-16 cs.CV physics.optics
Event fields: Capturing light fields at high speed, resolution, and dynamic range
Dartmouth College（达特茅斯学院）；University of North Carolina（北卡罗来纳大学）；Rice University（莱斯大学）
本研究提出Event Fields方法，通过创新光学设计结合事件相机实现高速光场捕获，构建了数学框架与空间、时间复用两种实现方案，验证了其在高速高动态场景下的光场应用优势，拓展了多领域应用可能。
2024-12-09 cs.CV
PCMamba: Physics-Informed Cross-Modal State Space Model for Dual-Camera Compressive Hyperspectral Imaging
Xiamen University（厦门大学）
针对双相机压缩高光谱成像，提出物理信息跨模态状态空间模型PCMamba，将物理成像过程融入Mamba线性复杂度，解耦温度、发射率与纹理，经物理驱动合成重建HSI，性能超越SOTA。
2025-05-22 cs.CV eess.IV
In2SET: Intra-Inter Similarity Exploiting Transformer for Dual-Camera Compressive Hyperspectral Imaging
Beijing Institute of Technology（北京理工大学）；Beijing Normal University（北京师范大学）
本文提出 In2SET 网络，利用 PAN 图像内部相似性作为先验并实现特征对齐，集成到 PAN 引导展开框架中，显著提升双相机压缩高光谱成像的重建质量与计算效率。
2024-06-08 cs.CV eess.IV
Rank Minimization for Snapshot Compressive Imaging
Tsinghua University（清华大学）；Nokia Bell Labs（诺基亚贝尔实验室）；Duke University（杜克大学）
快照压缩成像（SCI）是指将多个帧映射到单个测量中的压缩成像系统，其中视频压缩成像和高光谱压缩成像作为两个代表性应用。尽管在高速视频和高光谱图像中取得了令人振奋的结果，但SCI重建质量差的问题阻碍了SCI的广泛应用，本文旨在通过利用期望信号中的高维结构来提高SCI的重建质量。我们建立了一个联合模型，将视频/高光谱帧的非局部自相似性和秩最小化方法与SCI感知过程相结合。在此之后，交替极小化算法开发解决这个非凸问题。我们进一步研究了SCI中采样过程的特殊结构，以解决SCI重建中的计算工作量和内存问题。仿真和真实数据（由四个不同的SCI相机捕获）的结果表明，我们提出的算法导致显着的改进相比，目前最先进的算法。我们希望我们的结果将鼓励研究人员和工程师进一步追求压缩成像的实际应用。
2018-07-20 cs.CV
Fast Hyperspectral Image Recovery via Non-iterative Fusion of Dual-Camera Compressive Hyperspectral Imaging
RIKEN（理化学研究所）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；University of Tokyo（东京大学）；Nokia Bell Labs（诺基亚贝尔实验室）
编码孔径快拍光谱成像（CASSI）是一种利用二维编码测量获取三维高光谱图像（HSI）的新技术。由于不适定的性质，各种正则化器已被利用来从2D测量重建3D数据。然而，该算法的精度和计算复杂度并不令人满意。一个可行的解决方案是利用附加信息，如CASSI中的RGB测量。本文针对CASSI和RGB测量相结合的特点，提出了一种新的HSI融合重建模型。我们研究了由谱基和空间系数组成的HSI的谱低秩性质。具体地说，RGB测量被用来估计系数，同时CASSI测量被用来提供正交谱基。我们进一步提出了一个补丁处理策略，以提高频谱低秩属性的HSI。该模型既不需要非局部处理或迭代，也不需要RGB检测器的光谱传感矩阵。在模拟和真实HSI数据集上的大量实验表明，我们提出的方法不仅在质量上优于以前的最先进的方法，而且重建速度提高了5000倍以上。
2020-12-30 cs.CV eess.IV
SCIGS: 3D Gaussians Splatting from a Snapshot Compressive Image
National Engineering Research Center for Visual Information and Applications（视觉信息与应用国家工程研究中心）；School of Software Engineering, Xi’an Jiaotong University（西安交通大学软件学院）；Institute of Artificial Intelligence and Robotics, Xi’an Jiaotong University（西安交通大学人工智能与机器人研究所）
本文提出SCIGS，通过基元级变换网络和高频滤波器，首次实现从单张快照压缩图像重建动态3D显式场景，在SCI解码和动态3D重建上均优于现有方法。
2024-11-25 cs.CV
Compressive Schlieren Deflectometry
Université catholique de Louvain（鲁汶天主教大学）；Lambda-X（Lambda-X公司）
纹影偏折术的目的是表征入射光线在透明物体表面任意点处发生折射后所产生的偏转。对于光滑表面，每个表面位置实际上与稀疏偏转图（或频谱）相关联。本文提出了一种新的方法来压缩采集和重建这样的光谱。这是通过改变在普通纹影偏转仪中捕获偏转信息的方式来实现的，即，通过扩频压缩感知原理间接观测偏转谱。这些观察是通过使用2-D空间光调制器（SLM）来光学地实现的，该空间光调制器被调整到相应的感测基础，并且其调制对随后由CCD相机记录的光偏差进行编码。实验证明了这种方法的效率上观察几个测试对象。此外，使用一个简单的参数化的偏转谱，我们表明，相关的关键参数可以直接计算使用的测量，避免完全重建。
2012-12-03 cs.CV
GS$^{2}$CI: Robust Gaussian Splatting For Snapshot Compressive Imaging via Large Vision Model Priors
Westlake University（西湖大学）
该研究针对快照压缩成像的三维重建难题，提出结合三维高斯溅射与大视觉模型先验的框架，引入专属致密化策略提升稳定性，在多基准实验中实现了最优整体性能。
2026-08-14 cs.CV
Compressive sensing based privacy for fall detection
Indian Institute of Technology Delhi（印度理工学院德里分校）；Indian Institute of Technology Jodhpur（印度理工学院焦特布尔分校）；CSIR-CEERI（印度科学与工业研究理事会-中央电子工程研究所）
跌倒检测在医疗保健领域具有极其重要的意义，其中及时检测允许即时医疗援助。在这种情况下，我们提出了一个3D ConvNet架构，它由用于跌倒检测的3D Inception模块组成。所提出的架构是自定义版本的膨胀3D（I3 D）架构，其将从压缩感测框架获得的视频序列的压缩测量作为时空输入，而不是如在I3 D卷积神经网络的情况下的视频序列作为输入。之所以采用这种方法，是因为隐私引起了人们对通过这些RGB摄像头进行监控的患者的极大关注。所提出的跌倒检测框架对于各种各样的测量矩阵是足够灵活的。从Kinetics-400中随机选择的10个动作类，没有跌倒的例子，被用来训练我们的3D ConvNet后压缩感知与原始视频剪辑上不同类型的传感矩阵。我们的研究结果表明，3D ConvNet的性能在不同的传感矩阵下保持不变。此外，使用Kinetics预训练的3D ConvNet在基准数据集的压缩感知跌倒视频上获得的性能优于最先进的技术。
2020-01-10 cs.CV
Event-Enhanced Snapshot Compressive Videography at 10K FPS
Tsinghua University（清华大学）；Institute for Brain and Cognitive Sciences, Tsinghua University（清华大学脑与认知科学研究院）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
针对传统视频快照压缩成像丢失帧间动态信息的问题，提出融合事件相机的强度+事件混合成像方案与双分支Transformer重建方法，实现了24 FPS低成本传感器下0.1ms间隔的高质量高速摄像。
2024-04-11 cs.CV eess.IV
Deep Optics for Video Snapshot Compressive Imaging
Zhejiang University（浙江大学）；School of Engineering, Westlake University（西湖大学工程学院）
针对视频SCI动态范围低及深度算法在真实系统退化的问题，本文提出联合优化结构化掩模与Res2former重建网络并纳入传感器响应的深度光学框架，在合成与真实数据上验证了有效性。
2024-04-08 cs.CV
Compressive Sensing Approaches for Autonomous Object Detection in Video Sequences
The University of Sheffield（谢菲尔德大学）
视频分析需要处理大量数据。压缩感测允许使用原始信号的稀疏性的先验知识来减少表示视频所需的测量的数量，但是它对设计矩阵施加了某些条件。贝叶斯压缩感知方法放宽了使用概率推理的传统方法的限制，并允许包括关于信号结构的不同先验知识。本文提出了两种贝叶斯压缩感知方法的自主目标检测的视频序列从静态摄像机。在真实数据集上与非贝叶斯贪心算法进行了性能比较。结果表明，贝叶斯方法可以提供相同的精度的贪心算法，但更快，或者如果计算时间不是关键的，他们可以提供更准确的结果。
2017-04-27 cs.CV stat.ML
Adaptive Temporal Compressive Sensing for Video
Duke University（杜克大学）
本文介绍了视频自适应时域压缩感知的概念。我们提出了一种CS算法，以适应压缩比的基础上，从压缩数据计算场景的时间复杂度，而不影响重建视频的质量。通过操纵相机的积分时间来表现时间自适应性，从而为实时实现提供了可能性。所提出的算法是一个广义的时间CS方法，可以与现有的硬件系统的不同集合。
2013-10-15 cs.CV cs.MM stat.AP
Real-Time Object Detection and Localization in Compressive Sensed Video on Embedded Hardware
tinyVision.ai Inc.（tinyVision.ai 公司）
每天，世界各地都有无数TB的数据被捕获用于监控目的。一个典型的1- 2 MP闭路电视摄像机每天产生大约7- 1 - 2GB的数据。如此大量的数据的逐帧处理需要大量的计算资源。近年来，压缩感知方法通过降低采样带宽在信号处理中显示出令人印象深刻的结果。开发了不同的采样机制，以将压缩感知纳入图像和视频采集。逐像素编码曝光是用于在压缩域中捕获视频的有前途的感测范例之一，其也被实现到全CMOS传感器\cite{Xiong2017}中。尽管执行压缩感知的相机在采样时节省了大量带宽并最大限度地减少了存储视频所需的内存，但在视频重建为原始帧之前，我们无法在处理方面做太多事情。但是，压缩感知（CS）视频的重建仍然需要大量的时间，也是计算昂贵的。在这项工作中，我们表明，目标检测和定位可以直接在CS帧（很容易高达20倍压缩）。据我们所知，这是第一次尝试CS帧上的目标检测和定位问题。因此，我们还创建了一个用于CS域训练的数据集。我们能够实现46.27\% mAP（平均平均精度）的良好准确性与所提出的模型的推理时间为23毫秒直接对压缩帧（约100毫秒）。20个原始域帧），这有助于实时的【形】推理，并在NVIDIA TX 2嵌入式板上进行了验证。我们的框架将显着降低通信带宽，从而降低功耗，因为视频压缩将在图像传感器处理核心完成。
2021-04-18 cs.CV eess.IV
Reinforcement Learning for Adaptive Video Compressive Sensing
Wayne State University（韦恩州立大学）；Nokia Bell Labs（诺基亚贝尔实验室）；Northwestern University（西北大学）
我们将强化学习应用到视频压缩感知中，以适应压缩比。具体而言，视频快照压缩成像（SCI），它使用低速相机捕获高速视频被认为是在这项工作中，其中多个（B）视频帧可以从快照测量重建。在以往的研究中，一个研究空白是如何适应不同场景的视频SCI系统中的B。在本文中，我们利用强化学习（RL）填补了这一空白。学习RL模型以及用于重构的各种卷积神经网络以实现视频SCI系统的自适应感测。此外，目标检测网络的性能直接使用视频SCI测量而无需重构，也用于执行基于RL的自适应视频压缩感测。因此，我们提出的自适应SCI方法可以在低成本和实时的实施。我们的工作使该技术向视频SCI的实际应用又迈进了一步。
2021-05-18 cs.AI cs.CV
A Parallel Compressive Imaging Architecture for One-Shot Acquisition
Politecnico di Torino（都灵理工大学）
许多压缩成像架构的限制在于感测过程的顺序性质，这导致长的感测时间。在本文中，我们提出了一种新的架构，使用较少的检测器比重建像素的数量，并能够在一个单一的收购收购的图像。这为开发每秒采集几帧的视频架构铺平了道路。我们具体解决衍射问题，示出通常用于恢复衍射模糊的去卷积可以由感测矩阵的卷积代替，以及0/1物理感测矩阵的测量如何可以被转换为-1/1压缩感测矩阵而无需任何额外的采集。我们的架构的模拟表明，图像质量是一个经典的压缩成像相机，而建议的架构避免了长采集时间，由于顺序感测。这种单次过程还允许采用固定的感测矩阵，而不是复杂的设备，例如数字微镜阵列或空间光调制器。它还能够在带宽效率不高的情况下进行成像。
2013-11-04 astro-ph.IM cs.CV
Sparse Transformer for Ultra-sparse Sampled Video Compressive Sensing
Zhejiang University（浙江大学）；Westlake University（西湖大学）；vivo Mobile Communication Co., Ltd（vivo移动通信有限公司）；School of Engineering and Research Center for Industries of the Future（工程学院和未来产业研究中心）；University of Arizona（亚利桑那大学）；Wyant College of Optical Sciences（Wyant光学科学学院）
针对视频压缩感知中高功耗问题，提出超稀疏采样策略及稀疏Transformer（BSTFormer），利用局部块、全局稀疏和时间注意力，在模拟和真实数据上显著优于现有方法，并具有更高动态范围和芯片实现优势。
2025-09-10 cs.CV
Deep Blind Compressed Sensing
IIITD（印度德里信息技术学院）
这项工作解决了直接从压缩测量中提取深度学习特征的问题。在这方面没有开展任何工作。现有的深度学习工具仅在应用于完整信号时才能给出良好的结果，这通常是在预处理之后。这些技术要求首先重建信号。在这项工作中，我们表明，通过直接从压缩域学习，可以获得相当好的结果。这项工作扩展了最近提出的深度矩阵分解与盲压缩感知相结合的框架;因此，术语深度盲压缩感知。对单像素相机成像、欠采样生物医学信号、无线体域网中的压缩高光谱成像进行了仿真实验。在所有情况下，我们提出的深度盲压缩感知的优越性是可以想象的。
2016-12-22 cs.CV
Spectral Compressive Imaging via Chromaticity-Intensity Decomposition
Zhejiang University（浙江大学）；School of Engineering, Westlake University（西湖大学工程学院）；Chengdu Institute of Biology, Chinese Academy of Sciences（中国科学院成都生物研究所）
本文提出了一种色度-强度分解框架，通过双相机CASSI系统实现超光谱图像的高效重建，结合混合Transformer和噪声估计模块，提升光谱和色度保真度。
2026-02-06 cs.CV
Untrained networks for compressive lensless photography
University of California, Berkeley（加州大学伯克利分校）；Orange Coast College（奥兰治海岸学院）
压缩无透镜成像器能够在极其紧凑的设备中实现新的应用，仅需要靠近传感器放置的相位或幅度掩模。它们已经被证明用于2D和3D显微镜，单次拍摄视频和单次拍摄高光谱成像;在每种情况下，解决基于压缩传感的逆问题，以便从2D测量中恢复3D数据立方体。通常，这是使用凸优化和手工挑选的先验来实现的。或者，基于深度学习的重建方法提供了更好的先验知识，但需要数千个真实训练对，这可能很难或不可能获得。在这项工作中，我们提出使用未经训练的网络进行压缩图像恢复。我们的方法不需要任何标记的训练数据，而是使用测量本身来更新网络权重。我们展示了我们未经训练的无镜头压缩2D成像方法，以及使用相机的滚动快门和单次拍摄高光谱成像的单次拍摄高速视频恢复。我们提供了模拟和实验验证，表明我们的方法比现有的方法提高了图像质量。
2021-06-22 cs.CV eess.IV physics.optics
MambaSCI: Efficient Mamba-UNet for Quad-Bayer Patterned Video Snapshot Compressive Imaging
Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））；Ghent University（根特大学）；Harvard University（哈佛大学）；Nanjing University（南京大学）
本文提出MambaSCI方法，首次将Mamba与UNet结合用于四拜耳模式彩色视频快照压缩成像重建，通过STMamba、EDR和CA模块实现高效重建，并以更低计算和内存成本超越现有方法。
2024-10-18 cs.CV eess.IV
SnapCap: Efficient Snapshot Compressive Video Captioning
National Key Laboratory of Radar Signal Processing, Xidian University（西安电子科技大学雷达信号处理国家重点实验室）；Westlake University（西湖大学）
本文提出SnapCap模型，通过预训练CLIP知识蒸馏直接从快照压缩感知相机的压缩测量值生成视频描述，避免了传统流程的信息冗余与丢失，在两个数据集上比先重建后描述方法快至少3倍且效果更好。
2024-01-10 cs.CV
CSVideoNet: A Real-time End-to-end Learning Framework for High-frame-rate Video Compressive Sensing
School of Computing, Informatics, and Decision Systems Engineering（计算、信息与决策系统工程学院）；Arizona State University（亚利桑那州立大学）
研究了高帧率视频压缩感知（CS）的实时的【形】编解码问题。与以前的作品，使用基于迭代优化的方法进行重建，我们提出了一个非迭代模型，名为“CSDideoNet”。CSDideoNet直接学习CS的逆映射，并在单个前向传播中重建原始输入。为了克服现有CS摄像机的局限性，我们提出了一种多速率CNN和一种合成RNN，以改善重建视频的压缩比（CR）和时空分辨率之间的权衡。实验结果表明，CSDideoNet显着优于国家的最先进的方法。在Titan X GPU上，我们在100倍CR下实现了25 dB的PSNR恢复质量，帧速率为125 fps。由于CSDideoNet的前馈和高数据并发特性，它可以利用GPU加速来实现比传统的基于迭代的方法快三个数量级的速度。我们在www.example.com上共享源代码。
2018-01-28 cs.CV cs.LG
A Simple Low-bit Quantization Framework for Video Snapshot Compressive Imaging
Zhejiang University（浙江大学）；School of Engineering, Westlake University（西湖大学工程学院）
本文针对视频快照压缩成像深度学习重建方法计算量大、直接低位量化性能下降严重的问题，提出Q-SCI低位量化框架，通过高质量特征提取、精确视频重建和查询键分布移位操作，在4位量化下实现7.8倍加速且性能损失仅2.3%。
2025-07-21 cs.CV
Memory-Efficient Network for Large-scale Video Compressive Sensing
Xidian University（西安电子科技大学）；Bell Labs（贝尔实验室）
视频快照压缩成像（SCI）使用2D检测器在Single Shot中捕获视频帧序列。基本原理是在一个曝光时间内，不同的掩模被施加在高速场景上以形成压缩的测量。利用掩模的知识，采用优化算法或深度学习方法来从该快照测量重构期望的高速视频帧。不幸的是，尽管这些方法可以取得不错的结果，但优化算法的长运行时间或深度网络的巨大训练内存占用仍然阻碍了它们在实际应用中的应用。在本文中，我们开发了一种基于多组可逆3D卷积神经网络的大规模视频SCI的内存高效网络。除了灰度SCI系统的基本模型之外，我们还进一步将去马赛克和SCI重建相结合，以直接从Bayer测量中恢复彩色视频。SCI相机捕获的模拟和真实数据的广泛结果表明，我们提出的模型优于以前的最先进的内存较少，因此可以用于大规模的问题。代码在https://github.com/BoChenGroup/RevSCI-net。
2021-03-05 cs.CV eess.IV
High-Flux Count-Free Single-Photon 3D Cameras
Portland State University（波特兰州立大学）；Boston University（波士顿大学）
针对SPAD单光子相机的堆积失真与数据瓶颈问题，提出结合自由运行捕获和分析合成软件流水线的计算成像方法，可在宽光照范围可靠捕获场景信息，助力其应用于高通量场景。
2026-08-20 cs.CV
Reversible Privacy Preservation using Multi-level Encryption and Compressive Sensing
Tampere University（坦佩雷大学）
通过无处不在的摄像头进行的安全监控以及在智能建筑中的更多扩展将从信号处理和机器学习的进步中获益。虽然这些创新和突破性的应用程序可以被认为是一个福音，但与此同时，它们也引发了严重的隐私问题。事实上，最近的GDPR（通用数据保护条例）立法已经强调并成为隐私保护解决方案的激励因素。典型的隐私保护视频监控方案通过匿名化敏感数据来解决这些问题。然而，这些方法受到一些限制，因为它们通常是不可逆的，不提供多级解密并且计算成本高。本文提出了一种新的隐私保护方法，该方法是可逆的，支持多隐私级别的去身份化，并结合多级加密和压缩感知技术，有效地执行数据采集、加密和数据隐藏。所提出的方法在保护用户身份的有效性已被验证使用良好的重建质量和强大的匿名化的脸。
2019-06-20 cs.CR cs.CV eess.IV
Towards Real-time Video Compressive Sensing on Mobile Devices
Zhejiang University（浙江大学）；Westlake University（西湖大学）；University of Electronic Science and Technology of China（电子科技大学）
针对移动设备难以实时运行视频SCI重建算法的问题，提出MobileSCI方法，通过U型2D卷积架构、高效特征混合模块与定制知识蒸馏，在iPhone 15上实现35 FPS的实时高质量重建。
2024-08-14 cs.CV
10-mega pixel snapshot compressive imaging with a hybrid coded aperture
Tsinghua University（清华大学）；Massachusetts Institute of Technology（麻省理工学院）；Bell Labs（贝尔实验室）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）
高分辨率图像在我们的日常生活中被广泛使用，而高速视频捕获由于工作在高分辨率模式下的相机的低帧速率而具有挑战性。深入挖掘，主要瓶颈在于现有成像系统的低吞吐量。为此，快照压缩成像（SCI）被提出作为一个有前途的解决方案，以提高成像系统的吞吐量，通过压缩采样和计算重建。在采集过程中，多个高速图像被编码并折叠成单个测量。在此之后，采用算法从编码快照中检索视频帧。最近开发的即插即用（PAPK）算法使SCI重建在大规模的问题。然而，缺乏高分辨率的编码系统仍然阻碍了SCI的广泛应用。在本文中，我们建立了一个新的混合编码孔径快照压缩成像（HCA-SCI）系统，将动态硅上液晶和高分辨率光刻掩模。我们进一步实现了一个Pendash重建算法与级联去噪高质量的重建。基于提出的HCA-SCI系统和算法，我们实现了一个1000万像素的SCI系统，以捕捉高速场景，导致每秒4.6G体素的高吞吐量。仿真和实际数据实验验证了我们提出的HCA-SCI方案的可行性和性能。
2021-08-15 cs.CV eess.IV physics.optics
A Unified Framework for Compressive Video Recovery from Coded Exposure Techniques
IIT Madras（印度马德拉斯理工学院）；Qualcomm India（高通印度公司）
已经提出了几种编码曝光技术用于在低带宽下获取高帧率视频。最近，已经提出了编码2桶相机，其可以在单次曝光中获取两个压缩的测量结果，这与先前提出的编码曝光技术不同，编码曝光技术只能获取单个测量结果。虽然两个测量比一个更好的有效的视频恢复，我们还没有意识到两个测量的明显优势，无论是定量还是定性。在这里，我们提出了一个统一的基于学习的框架，使这种定性和定量的比较之间的那些只捕获一个编码的图像（颤振快门，像素编码曝光）和那些捕获两个测量每次曝光（C2B）。我们基于学习的框架由一个移位变量卷积层和一个完全卷积的深度神经网络组成。我们提出的统一框架在所有三种传感技术中实现了最先进的重建。进一步的分析表明，当大多数场景点是静态的，C2B传感器有一个显着的优势，超过获取一个单一的像素编码的测量。然而，当大多数场景点经历运动时，C2B传感器相对于单个逐像素编码曝光测量仅具有边际益处。
2020-11-11 cs.CV eess.IV
HerosNet: Hyperspectral Explicable Reconstruction and Optimal Sampling Deep Network for Snapshot Compressive Imaging
Peking University Shenzhen Graduate School（北京大学深圳研究生院）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Peking University（北京大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Peng Cheng Laboratory（鹏城实验室）
高光谱成像是一种重要的成像方式，有着广泛的应用，特别是在遥感、农业和医学领域。受现有高光谱相机的启发，从低预算的快照测量重建高光谱图像（HSI）引起了广泛的关注。通过将截断数值优化算法映射到具有固定相位数的网络中，最近用于频谱快照压缩感知（SCI）的深度展开网络（DUN）取得了显着的成功。然而，由于缺乏跨相位特征交互和自适应参数调整，DUN远未达到工业应用的范围。在本文中，我们提出了一种新的高光谱可解释重建和最佳采样深度网络SCI，称为HerosNet，它包括ISTA展开框架下的几个阶段。在梯度下降步骤中，每个阶段可以灵活地模拟感测矩阵并根据上下文调整步长，并且在邻近映射步骤中，分层地融合和交互先前阶段的隐藏状态以有效地恢复当前HSI帧。同时，一个硬件友好的最佳二进制掩码学习端到端，以进一步提高重建性能。最后，我们的HerosNet被验证为在模拟和真实数据集上都比最先进的方法表现更好。源代码可在https://github.com/jianzhangcs/HerosNet上获得。
2022-05-16 cs.CV eess.IV
Probabilistic-based Feature Embedding of 4-D Light Fields for Compressive Imaging and Denoising
City University of Hong Kong（香港城市大学）；City University of Hong Kong Shenzhen Research Institute（香港城市大学深圳研究院）
本文提出基于概率的特征嵌入（PFE）方法，通过在概率空间组装低维卷积模式捕获四维光场空间-角度信息，并分别构建循环一致重建网络和迭代优化框架，在压缩成像与去噪任务上显著优于现有方法。
2024-01-11 cs.CV eess.IV
Plug-and-Play Volumetric Reconstruction for Compressive Sensing Light-Sheet Microscopy
School of Data and Information Sciences, The University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校数据与信息科学学院）；Department of Mathematics, The University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校数学系）；Department of Bioengineering, The University of Texas at Dallas（德克萨斯大学达拉斯分校生物工程系）
提出一种即插即用框架，通过集成任意指定去噪器实现压缩感知光片显微镜的体积重建，引入轴向耦合模型改善体积连续性，并推导高效更新算法。
2026-07-03 cs.CV cs.NA math.NA
A Lensless Polarization Camera
Department of Physics of Complex Systems, Faculty of Physics, Weizmann Institute of Science（复杂系统物理系，物理系，魏茨曼科学研究所）
本文提出一种紧凑型无镜头偏振相机，利用扩散元件和简单条纹偏振掩模，结合计算重建算法，从单张图像中恢复四张线偏振图像，展示了无镜头方法在偏振成像中的潜力。
2026-03-17 cs.CV eess.IV physics.optics
Lossless White Balance For Improved Lossless CFA Image and Video Compression
Seoul National University of Science and Technology（首尔科学技术大学）；University of Dayton（代顿大学）
彩色滤光片阵列是放置在相机传感器中的像素检测器上的像素大小的滤光片的空间复用。由这种传感器捕获的原始传感器数据的最先进的无损编码技术利用了使用提升方案的空间或交叉颜色相关性。本文提出了一种基于提升的无损白平衡算法。当应用于原始传感器数据时，隐含色度信号的空间带宽减小。我们建议使用这种白平衡作为无损CFA二次采样图像/视频压缩的预处理步骤，提高原始传感器数据的整体编码效率。
2020-09-19 cs.CV eess.IV
High-Resolution Single-Shot Polarimetric Imaging Made Easy
School of Artificial Intelligence, Beijing University of Posts and Telecommunications（北京邮电大学人工智能学院）；National Institute of Informatics（国立信息学研究所）；State Key Laboratory for Multimedia Information Processing, School of Computer Science, Peking University（北京大学计算机学院多媒体信息处理国家重点实验室）；National Key Laboratory of General AI, School of Intelligence Science and Technology, Peking University（北京大学智能科学与技术学院通用人工智能国家重点实验室）
本文提出EasyPolar框架，通过三相机系统和置信度引导网络实现高分辨率偏振成像，解决多视角融合中的对齐问题，提升下游任务性能。
2026-04-07 cs.CV
Sub-Aperture Feature Adaptation in Single Image Super-resolution Model for Light Field Imaging
Indian Institute of Technology Kharagpur（印度理工学院卡拉格普尔分校）
随着商业光场（LF）相机的可用性，LF成像已经成为计算摄影中的新兴技术。然而，由于空间和角度信息的固有复用，空间分辨率在基于商业微透镜的LF相机中受到显著约束。因此，它成为光场相机其他应用的主要瓶颈。本文提出了一种预训练的单图像超分辨率（SISR）网络中的自适应模块，以利用强大的SISR模型，而不是使用高度工程化的光场成像域特定的超分辨率模型。自适应模块由子孔径偏移模块和融合模块组成。进一步利用LF图像中的空间和角度信息来提高超分辨率性能是SISR网络中的一种适应。实验验证表明，该方法优于现有的光场超分辨率算法。与比例因子2的相同预训练SISR模型相比，它还在所有数据集上实现了超过1 dB的PSNR增益，并且对于比例因子4，PSNR增益为0.6至1 dB。
2022-07-26 cs.CV eess.IV
