Lensless Compressive Imaging
Bell Labs, Alcatel-Lucent（阿尔卡特朗讯贝尔实验室）
我们提出了一种无透镜压缩成像结构，它由一个光圈组件和一个传感器组成，不使用任何透镜。提出了一种随时算法来从压缩测量重建图像;该算法产生一系列单调收敛到真实信号的解决方案（因此，随时）。该算法的基础上开发的局部重叠补丁（在变换域）的稀疏性和国家的最先进的结果已经获得。在实际数据上的实验表明，通过测量约10%（图像像素）的压缩测量，获得了令人鼓舞的结果。该算法的重建结果进行了比较与JPEG压缩（基于文件大小）和重建的图像质量接近JPEG压缩，特别是在高压缩率。
2015-08-14 cs.CV stat.AP stat.ME
Untrained networks for compressive lensless photography
University of California, Berkeley（加州大学伯克利分校）；Orange Coast College（奥兰治海岸学院）
压缩无透镜成像器能够在极其紧凑的设备中实现新的应用，仅需要靠近传感器放置的相位或幅度掩模。它们已经被证明用于2D和3D显微镜，单次拍摄视频和单次拍摄高光谱成像;在每种情况下，解决基于压缩传感的逆问题，以便从2D测量中恢复3D数据立方体。通常，这是使用凸优化和手工挑选的先验来实现的。或者，基于深度学习的重建方法提供了更好的先验知识，但需要数千个真实训练对，这可能很难或不可能获得。在这项工作中，我们提出使用未经训练的网络进行压缩图像恢复。我们的方法不需要任何标记的训练数据，而是使用测量本身来更新网络权重。我们展示了我们未经训练的无镜头压缩2D成像方法，以及使用相机的滚动快门和单次拍摄高光谱成像的单次拍摄高速视频恢复。我们提供了模拟和实验验证，表明我们的方法比现有的方法提高了图像质量。
2021-06-22 cs.CV eess.IV physics.optics
LPSNet: End-to-End Human Pose and Shape Estimation with Lensless Imaging
Tianjin University（天津大学）；Nanjing University（南京大学）
针对无透镜成像中人体姿态与形状估计的模糊性难题，提出首个端到端LPSNet框架，结合多尺度特征解码器与双头辅助监督，并通过自建无透镜成像系统验证其有效性。
2024-04-08 cs.CV
Text detection and recognition based on a lensless imaging system
Zhejiang University（浙江大学）
无透镜照相机的特征在于几个优点（例如，小型化、易于制造和低成本）。然而，由于其图像清晰度差和图像分辨率低，特别是对于文本检测和文本识别等对图像质量和细节要求较高的任务，它们尚未得到广泛应用。为了解决这个问题，建立了一个基于深度学习的管道结构框架，通过三个步骤从使用无镜头相机捕获的原始数据中识别文本。这种流水线结构由无透镜成像模型U-Net、文本检测模型连接主义文本建议网络（CTPN）和文本识别模型卷积递归神经网络（CRNN）组成。与只关注图像重建的方法相比，该流水线中的UNet能够在重建过程中通过增强与字符类别相关的因素来补充成像细节，从而使CTPN和CRNN能够更有效地检测和识别文本信息，并且伪影更少，重建的无透镜图像清晰度更高。通过在不同复杂度的数据集上进行实验，验证了该方法在无镜头摄像机上文本检测和识别的适用性。本研究合理地论证了无透镜相机系统中的文本检测和识别任务，并为新的应用开发了基本方法。
2022-10-09 cs.CV
Angle Sensitive Pixels for Lensless Imaging on Spherical Sensors
Carnegie Mellon University（卡内基梅隆大学）；Rice University（莱斯大学）
提出OrbCam球形传感器无透镜成像架构，利用像素方向多样性改善映射条件数，无需调制元件即可实现良态抗噪测量，并在仿真和原型中验证。
2023-06-28 cs.CV
Compressive lensless endoscopy with partial speckle scanning
UCLouvain（鲁汶大学）；Aix Marseille Univ, CNRS, Centrale Marseille, Institut Fresnel（艾克斯-马赛大学、法国国家科学研究中心、中央马赛学校、菲涅耳研究所）；Center of Molecular Imaging, Radiotherapy and Oncology (MIRO), IREC Institute, UCLouvain（分子影像、放疗与肿瘤学中心（MIRO），IREC研究所，鲁汶大学）；Lightcore Tehnologies（Lightcore Technologies公司）
无透镜内窥镜（LE）是一种很有前途的设备，以获取在细胞尺度上的体内图像。探针的微小尺寸使得能够对组织进行深入探索。具有多芯光纤（MCF）的无透镜内窥镜检查通常使用空间光调制器（SLM）在MCF的输出处相干地将几百个细光束组合成聚焦点。随后将该点扫描穿过样品以生成荧光图像。我们在这里提出了一种新的扫描方案，部分散斑扫描（PSS），受压缩传感理论的启发，避免使用SLM在LE中进行荧光成像，减少采集时间。这种策略避免了光漂白，同时保持高的重建质量。我们在LE的两个关键特性上开发了我们的方法：（i）容易产生散斑的能力，以及（ii）MCF中的记忆效应，允许使用快速扫描镜来改变光图案。首先，我们证明了散斑是次指数随机场。尽管它们的粒度结构，适当的选择的重建参数，使它们成为良好的候选人，以建立有效的传感矩阵。然后，我们数值验证我们的方法，并将其应用于实验数据。所提出的传感技术优于传统的光栅扫描：更高的重建质量，实现了少得多的意见。对于固定的重建质量，我们的散斑扫描方法比压缩传感方案更快，压缩传感方案需要为每次观察改变散斑图案。
2021-04-22 cs.CV physics.med-ph physics.optics
Lensless Compressive Sensing Imaging
Bell Labs, Alcatel-Lucent（贝尔实验室，阿尔卡特朗讯）
在本文中，我们提出了一种无透镜压缩传感成像架构。该架构包括两个组件，光圈组件和传感器。没有使用镜头。孔径组件由孔径元件的二维阵列组成。每个孔元件的透射率是独立可控的。传感器是单个检测元件，例如单个光电导单元。每个孔元件与传感器一起限定了一束光线的锥体，并且孔组件的锥体限定了图像的像素。图像的每个像素值是圆锥中的射线束的积分。传感器用于进行压缩测量。每次测量都是由孔径元件的透射率调制的锥体中的光线的积分。通过根据感测矩阵的值调整各个孔径元件的透射率来实现压缩感测矩阵。所提出的架构是简单和可靠的，因为没有使用镜头。此外，来自我们的设备的图像的清晰度仅受光圈组件的分辨率的限制，但不受由于散焦引起的模糊的影响。该架构可用于捕获可见光和其他光谱（如红外或毫米波）的图像。这样的设备可以用于监视应用中，用于检测异常或提取诸如移动对象的速度之类的特征。多个传感器可与单个光圈组合件一起使用以同时捕获多视图图像。利用液晶显示屏和光电传感器采集可见光谱图像，搭建了一台样机。
2013-02-07 cs.CV cs.IT math.IT
LenslessPiCam: A Hardware and Software Platform for Lensless Computational Imaging with a Raspberry Pi
EPFL（洛桑联邦理工学院）
无透镜成像试图替换/移除常规成像系统中的透镜。最早的相机实际上是无镜头的，依靠长曝光时间在黑暗的房间/容器（暗箱）中的小光圈的另一端形成图像。镜头的引入允许更多的光通量，因此更短的曝光时间，同时保持锐利的焦点。数字传感器的结合很容易使计算成像技术的使用后处理和增强原始图像（例如，通过去模糊，修复，去噪，锐化）。最近，成像科学家已经开始利用计算成像作为无透镜成像系统的组成部分，允许他们从无透镜相机的高度复用的原始测量形成可视图像（参见[5]和其中的参考文献，用于无透镜成像的综合处理）。这代表了相机系统设计的真正范式转变，因为有更多的灵活性来满足硬件对手头的应用（例如轻量级或扁平设计）。然而，这种增加的灵活性是以原始数字记录的更苛刻的后处理以及传感和计算的更紧密集成为代价的，由于所涉及的各种科学家之间的低效互动，在实践中往往难以实现。通过LenslessPiCam，我们提供了一个易于访问的硬件和软件框架，使研究人员，业余爱好者和学生能够实现和探索无透镜成像的实践和计算方面。我们还提供详细的指南和练习，以便LenslessPiCam可以用作教育资源，并指出我们的研究生水平信号处理课程的结果。
2022-06-03 cs.CV eess.IV
DiffuserCam: Lensless Single-exposure 3D Imaging
University of California, Berkeley（加州大学伯克利分校）
我们展示了一个紧凑，易于构建的计算相机的单次拍摄的3D成像。我们的无透镜系统仅由放置在标准图像传感器前面的扩散器组成。体积视场内的每个点在传感器上投射焦散的唯一伪随机图案。通过使用一个物理近似和简单的校准方案，我们解决了大规模的反问题的计算效率的方式。焦散图案实现压缩感测，其利用样本中的稀疏性来求解比2D传感器上的像素更多的3D体素。我们的3D体素网格被选择为匹配实验测量的跨视场的两点光学分辨率，从而从单个130万像素图像重建1亿体素。然而，有效分辨率随场景内容而显著变化。由于这种效果是常见的计算相机的范围很广，我们提供了新的理论分析在这样的系统中的分辨率。
2017-10-05 cs.CV
Human-Imperceptible Identification with Learnable Lensless Imaging
无透镜成像通过捕获严重模糊的图像来保护视觉隐私，这些图像对于人类识别主体来说是不可感知的，但包含足够的信息供机器推断信息。不幸的是，保护视觉隐私会降低识别准确性，反之亦然。我们提出了一个可学习的无透镜成像框架，在保持识别准确性的同时保护视觉隐私。为了使捕获的图像对人类不可感知，我们设计了几个损失函数的基础上总的变化，可逆性，和限制等距属性。通过一种基于主观评价的定量方法，研究了模糊隐私保护对个人身份识别的影响。此外，我们验证了我们的模拟通过实施一个硬件实现的无透镜成像光刻印刷掩模。
2023-02-04 cs.CV eess.IV
Null-Space Diffusion Distillation Unlocks Speed, Fidelity and Realism in Lensless Imaging
D3 Center, The University of Osaka（大阪大学D3中心）；The University of Osaka（大阪大学）；SANKEN, The University of Osaka（SANKEN与大阪大学）；Grad. Sch. of Eng. Sci., The University of Osaka（大阪大学工科科学院）
提出零空间扩散蒸馏（NSDD），通过将结构化扩散先验蒸馏为前馈网络，实现单次高质量重建，兼顾测量一致性、感知质量和推理速度。
2026-06-23 cs.CV
Towards Physics-informed Cyclic Adversarial Multi-PSF Lensless Imaging
针对现有GAN类无透镜成像方法依赖特定PSF、泛化性差的问题，提出带PSF感知分支与物理前向模型的双判别器循环对抗框架，实现无需重训练的多PSF鲁棒重建。
2024-07-09 cs.CV eess.IV
Coded Illumination for Improved Lensless Imaging
University of California, Riverside（加州大学河滨分校）
基于掩模的无透镜相机可以是平的、薄的和重量轻的，这使得它们适合于具有大表面积和任意形状的计算成像系统的新颖设计。尽管最近在无透镜相机方面取得了进展，但是由于底层测量系统的病态，从无透镜相机恢复的图像的质量通常很差。在本文中，我们提出了使用编码照明，以提高无透镜相机重建的图像质量。在我们的成像模型中，当无透镜相机记录传感器测量时，场景/对象被多个编码照明图案照亮。我们设计并测试了许多照明模式，并观察到移动点（和相关的正交）模式提供了最佳的整体性能。我们提出了一个快速和低复杂度的恢复算法，利用我们的系统中的可分性和块对角结构。仿真结果和硬件实验结果表明，该方法可以显着提高重建质量。
2023-01-10 cs.CV eess.IV
A Simple Framework for 3D Lensless Imaging with Programmable Masks
University of California Riverside（加州大学河滨分校）；Carnegie Mellon University（卡内基梅隆大学）
无透镜相机通过在传感器附近用振幅或相位掩模替换传统相机中的透镜来提供构建薄成像系统的框架。现有的无透镜成像方法可以恢复场景的深度和强度，但它们需要解决计算昂贵的逆问题。此外，现有方法难以恢复具有大深度变化的密集场景。在本文中，我们提出了一种无透镜成像系统，捕获少量的测量使用不同的模式上的可编程掩模。在这方面，我们作出三项贡献。首先，我们提出了一种快速恢复算法来恢复场景中固定数量的深度平面上的纹理。其次，我们考虑的掩模设计问题，可编程无透镜相机，并提供了一个设计模板优化掩模图案的目标是提高深度估计。第三，我们使用细化网络作为后处理步骤来识别和去除重建中的伪影。这些修改进行了广泛的评估与无透镜相机原型上的实验结果，以展示最佳的掩模和恢复算法的性能优势，超过最先进的。
2021-08-18 cs.CV eess.IV
Let There Be Light: Robust Lensless Imaging Under External Illumination With Deep Learning
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
针对无透镜成像对外部照明敏感的问题，提出结合外部照明估计与可学习去噪的物理重建方法，显著提升鲁棒性，并开源实现及25K数据集。
2025-01-21 cs.CV eess.IV
Lensless computational imaging through deep learning
Massachusetts Institute of Technology（麻省理工学院）；Singapore-MIT Alliance for Research and Technology (SMART) Centre（新加坡-麻省理工学院科研与技术联盟（SMART）中心）
深度学习已被证明可以为许多分类和决策任务提供可靠的可概括的答案。在这里，我们第一次证明，据我们所知，深度神经网络（DNN）可以被训练来解决计算成像中的逆问题。我们实验性地演示了一个无透镜成像系统，其中DNN被训练来恢复一个相位对象，给出了一个在一定距离外记录的原始强度图像。
2017-06-26 cs.CV physics.optics
Diffractive lensless imaging with optimized Voronoi-Fresnel phase
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
无透镜相机是一类成像设备，其通过用集成的平面光学器件和计算算法替换传统的复合透镜来将物理尺寸缩小到非常接近图像传感器的位置。在这里，我们报告了一个衍射无透镜相机与空间编码的Voronoi-Fresnel相位，以实现卓越的图像质量。我们提出了一个设计原则，最大限度地利用光学获取的信息，以促进计算重建。通过引入一个易于优化的傅里叶域度量，调制传递函数体积（MTF），这是相关的Strehl比，我们设计了一个优化框架，以指导衍射光学元件的优化。所得到的Voronoi-Fresnel相位具有包含基础一阶Fresnel相位函数的准质心Voronoi单元的不规则阵列。我们使用原型Voronoi-Fresnel无镜头相机在160万像素图像传感器上在各种照明条件下演示并验证了摄影应用的成像性能。结果表明，所提出的设计优于现有的无透镜相机，并可能有利于在极端物理条件下工作的紧凑型成像系统的发展。
2022-12-07 cs.CV physics.optics
Towards Robust and Generalizable Lensless Imaging with Modular Learned Reconstruction
针对无透镜成像学习方法的泛化性不足问题，提出一种包含预处理器的模块化学习重建方法，理论上证明其必要性并跨掩模类型验证了有效性，同时开源数据集与软件。
2025-02-03 cs.CV eess.IV
Guided Lensless Polarization Imaging
Tel Aviv University（特拉维夫大学）；School of Electrical Engineering, Faculty of Engineering（工程学院电气工程学院）
本文提出一种结合紧凑型偏振-RGB传感器和常规RGB相机的无镜头偏振成像系统，通过两阶段流程提升重建质量与通用性。
2026-03-28 cs.AI cs.CV eess.IV
GANESH: Generalizable NeRF for Lensless Imaging
Shiv Nadar University（希夫·纳达尔大学）；Indian Institute of Technology, Madras（马德拉斯印度理工学院）
针对无透镜成像中传统方法难以泛化到三维重建的问题，提出GANESH框架，实现多视角无透镜图像的同步细化与新视角合成，支持即时推理，并发布首个多视角无透镜数据集LenslessScenes，实验证明其在重建精度和细化质量上优于现有方法。
2024-11-07 cs.CV eess.IV
Learning rich optical embeddings for privacy-preserving lensless image classification
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
通过用薄的光学元件取代镜头，无镜头成像实现了传统相机设计和后处理所支持的应用和解决方案之外的新应用和解决方案，例如紧凑和轻便的形状因子和视觉隐私。后者源于无透镜相机的高度复用测量，这需要成像系统的知识来恢复可识别的图像。在这项工作中，我们利用这种独特的多路复用特性：将光学器件作为编码器，直接在相机传感器上产生学习的嵌入。我们在图像分类的上下文中这样做，其中我们以端到端的方式联合优化编码器的参数和图像分类器的参数。我们的实验表明，联合学习无透镜光学编码器和数字处理可以在传感器上实现较低分辨率的嵌入，从而更好地保护隐私，因为从这些测量中恢复有意义的图像要困难得多。额外的实验表明，这种优化允许无透镜测量，对典型的真实世界图像变换更鲁棒。虽然这项工作的重点是分类，但所提出的可编程无透镜相机和端到端优化可以应用于其他计算成像任务。
2022-06-03 cs.CV eess.IV
LenslessMic: Audio Encryption and Authentication via Lensless Computational Imaging
Audiovisual Communications Laboratory, EPFL, Switzerland（埃因霍温联邦理工学院音频视觉通讯实验室）
本文提出LenslessMic，利用无透镜计算成像作为物理层安全手段，实现音频鲁棒认证和接近256位数字标准的加密强度，并通过低成本Raspberry Pi原型验证。
2025-09-19 cs.AI cs.CR cs.CV
PhoCoLens: Photorealistic and Consistent Reconstruction in Lensless Imaging
The Chinese University of Hong Kong（香港中文大学）；Shanghai AI Laboratory（上海人工智能实验室）；Tsinghua University（清华大学）；SenseTime（商汤科技）
针对无透镜成像现有算法重建质量不足的问题，提出两阶段重建方法PhoCoLens，结合空间变化反卷积保证数据一致性与扩散模型生成先验增强真实感，在两类无透镜系统上实现了保真度和视觉质量的更优平衡。
2024-10-07 cs.CV cs.LG eess.IV
A Lensless Polarization Camera
Department of Physics of Complex Systems, Faculty of Physics, Weizmann Institute of Science（复杂系统物理系，物理系，魏茨曼科学研究所）
本文提出一种紧凑型无镜头偏振相机，利用扩散元件和简单条纹偏振掩模，结合计算重建算法，从单张图像中恢复四张线偏振图像，展示了无镜头方法在偏振成像中的潜力。
2026-03-17 cs.CV eess.IV physics.optics
Learned reconstructions for practical mask-based lensless imaging
University of California, Berkeley（加州大学伯克利分校）；University of California, San Francisco（加州大学旧金山分校）
基于掩模的无透镜成像器比传统的透镜相机更小更轻。在这些成像器中，传感器不直接记录场景的图像;而是通过计算算法重建图像。通常，基于掩模的无透镜成像器使用基于模型的重建方法，该方法具有计算时间长以及严重依赖系统校准和选择性去噪的缺点。在这项工作中，我们使用有界计算，可训练的神经网络来重建图像，以解决这些限制。我们通过展开传统的基于模型的优化算法来利用我们对物理系统的了解，我们使用实验收集的地面实况数据来优化其参数。可选地，由展开的网络产生的图像然后被馈送到联合训练的去噪器中。与传统方法相比，我们的架构实现了更好的感知图像质量，运行速度快20倍，实现了场景的交互式预览。我们探索了基于模型的方法和深度学习方法之间的范围，展示了使用中间方法的好处。最后，我们在野外使用基于面具的原型相机拍摄的图像上测试了我们的网络，证明了我们的网络可以推广到自然图像。
2019-08-30 cs.CV eess.IV
Towards Lensless Image Deblurring with Prior-Embedded Implicit Neural Representations in the Low-Data Regime
该研究针对低数据场景下的无透镜图像去模糊问题，首次利用先验嵌入隐式神经表示实现无需先验训练的重建，通过先验嵌入无训练迭代优化提升性能并加速收敛，经对比分析证明其显著优越性。
2024-11-27 cs.CV eess.IV
Diffusion-driven lensless fiber endomicroscopic quantitative phase imaging towards digital pathology
Shanghai Research Institute for Intelligent Autonomous Systems, Tongji University（同济大学上海智能自主系统研究院）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Suzhou Institute of Biomedical Engineering and Technology, Chinese Academy of Sciences（中国科学院苏州生物医学工程技术研究所）；School of Artificial Intelligence, OPtics and ElectroNics (iOPEN), Northwestern Polytechnical University（西北工业大学人工智能与光电子学院）；Institute of Artificial Intelligence (TeleAI), China Telecom Corp Ltd（中国电信股份有限公司人工智能研究院）；Competence Center for Biomedical Computational Laser Systems (BIOLAS), TU Dresden（德累斯顿工业大学生物医学计算激光系统能力中心）；Laboratory of Measurement and Sensor System Technique (MST), TU Dresden（德累斯顿工业大学测量与传感器系统技术实验室）
提出散斑条件扩散模型SpecDiffusion，从多芯光纤散斑直接重建相位图像，通过迭代去噪提升复杂结构重建精度，降低组织图像平均绝对误差7倍，并提升零样本细胞分割准确性。
2025-03-31 cs.CV physics.optics
Integrated Forward-Inverse Network for Lensless Image Reconstruction
Department of Mechanical Engineering, Seoul National University（韩国首尔国立大学机械工程系）；School of Mechanical and Aerospace Engineering/SNU-IAMD, Seoul National University（韩国首尔国立大学机械与航空航天工程学院/SNU-IAMD）；Department of Electrical and Electronic Engineering, Yonsei University（韩国延世大学电气与电子工程系）；Department of Biomedical Engineering, University of Michigan（美国密歇根大学安娜堡分校生物医学工程系）
研究无透镜成像重建难题，提出集成正反网络，通过在各尺度交错可微正向投影与可学习反向更新，利用互补线索，实现渐进、物理一致的细化及PSF内核自适应，达最优重建质量。
2026-07-07 cs.CV
LensNet: An End-to-End Learning Framework for Empirical Point Spread Function Modeling and Lensless Imaging Reconstruction
Faculty of Science and Technology, University of Macau（澳门大学科技学院）；Shanghai University（上海大学）；School of Electronic Information and Electrical Engineering, Shanghai Jiao Tong University（上海交通大学电子信息与电气工程学院）；School of Computer Science and Engineering, Huizhou University（惠州大学计算机科学与工程学院）
LensNet提出端到端深度学习框架，通过可学习编码掩模模拟器动态估计PSF并融合空频域与维纳滤波，提升无透镜成像重建质量。
2025-05-03 cs.CV eess.IV
Video from Stills: Lensless Imaging with Rolling Shutter
University of California, Berkeley（加州大学伯克利分校）
由于图像传感器芯片具有有限的带宽来读出像素，因此记录视频通常需要在帧速率和像素计数之间进行权衡。压缩感知技术可以通过假设图像是可压缩的来规避这种权衡。在这里，我们建议使用多路复用光学空间压缩场景，使整个场景的信息从一行传感器像素，可以通过滚动快门CMOS传感器快速读取。方便地，这种多路复用可以用简单的无透镜的基于漫射器的成像系统来实现。使用稀疏恢复方法，我们能够以每秒超过4，500帧的速度恢复140个视频帧，所有这些都来自滚动快门传感器捕获的单个图像。我们的概念验证系统使用易于制造的扩散器与现成的传感器配对。由此产生的原型，使压缩编码的高帧速率视频到一个单一的滚动快门曝光，并超过了采样有限的性能，足够稀疏的对象的等效的全局快门系统。
2019-05-30 cs.CV eess.IV eess.SP
Mathematical Cookbook for Snapshot Compressive Imaging
作者打算为您提供一个美丽的，优雅的，用户友好的快照压缩成像（SCI）数学食谱。目前，该食谱由介绍，常规优化和深度均衡模型组成。强烈推荐最新版本！对于任何其他问题，建议或评论，请随时给作者发电子邮件。
2023-03-19 cs.CV
Spectral DiffuserCam: lensless snapshot hyperspectral imaging with a spectral filter array
University of California, Berkeley（加利福尼亚大学伯克利分校）；UCB/UCSF Joint Graduate Program in Bioengineering（加州大学伯克利分校/加州大学旧金山分校联合生物工程研究生项目）
高光谱成像对于从医学诊断到农作物监测的应用范围是有用的;然而，传统的扫描高光谱成像仪对于广泛采用来说是非常缓慢和昂贵的。快照技术是存在的，但通常局限于庞大的台式设置或具有低的空间光谱分辨率。在本文中，我们提出了一种新颖的，紧凑的，廉价的计算相机快照高光谱成像。我们的系统包括一个平铺的光谱滤波器阵列直接放置在图像传感器和一个扩散器靠近传感器放置。世界上的每个点映射到光谱滤波器阵列上的唯一伪随机图案，其编码复用的空间-光谱信息。通过求解一个稀疏约束的逆问题，我们恢复了亚超像素分辨率的高光谱体。我们的高光谱成像框架是灵活的，可以设计为连续或非连续的光谱滤波器，可以选择用于给定的应用。我们提供理论系统设计，演示了一个原型设备，并提出了实验结果与高空间光谱分辨率。
2020-09-29 cs.CV eess.IV physics.optics
Forensic Discrimination between Traditional and Compressive Imaging Systems
Sharif University of Technology（谢里夫理工大学）
压缩传感是现代计算成像系统的一项新技术。与广泛的传统图像感测相比，压缩成像范例需要特定的法医分析技术和工具。在这方面，图像取证中的基本场景之一是区分传统感测的图像与复杂的压缩感测的图像。为此，我们首先对基于压缩传感技术的成像系统进行数学和系统建模。最后给出了一个简化的模型，该模型适合于法医侦查应用。我们用线性模型估计压缩感知的非线性系统。然后，我们将成像管道建模为逆问题，并证明不同的成像器具有有区别的退化内核。因此，各种成像系统的模糊核已被用作用于区分图像采集源的足迹。为了完成识别周期，我们利用了最先进的卷积神经网络（CNN）和支持向量机（SVM）的方法来学习从估计的模糊内核的分类系统。数值实验表明，有前途的识别结果。模拟代码可用于研究和开发目的。
2018-11-07 cs.CV
Lensless Photography with only an image sensor
University of Utah（犹他大学）
摄影通常需要与记录设备（图像传感器）结合的光学器件。消除光学器件可能会导致相机的新形状因子。在这里，我们报告了一个简单的演示成像使用裸CMOS传感器，利用计算。该技术依赖于空间变化的点扩散函数，该函数由视场中的点源与图像传感器的相互作用产生。这些空间变化的点扩散函数与重建算法相结合，以图像简单的对象显示在离散的LED阵列以及在LCD屏幕上。我们将该方法扩展到以传感器的本机帧速率进行视频成像。最后，我们进行了实验，分析对象的距离的参数的影响。改进传感器设计和重建算法可以产生有用的没有光学器件的相机。
2017-02-21 cs.CV physics.optics
Rank Minimization for Snapshot Compressive Imaging
Tsinghua University（清华大学）；Nokia Bell Labs（诺基亚贝尔实验室）；Duke University（杜克大学）
快照压缩成像（SCI）是指将多个帧映射到单个测量中的压缩成像系统，其中视频压缩成像和高光谱压缩成像作为两个代表性应用。尽管在高速视频和高光谱图像中取得了令人振奋的结果，但SCI重建质量差的问题阻碍了SCI的广泛应用，本文旨在通过利用期望信号中的高维结构来提高SCI的重建质量。我们建立了一个联合模型，将视频/高光谱帧的非局部自相似性和秩最小化方法与SCI感知过程相结合。在此之后，交替极小化算法开发解决这个非凸问题。我们进一步研究了SCI中采样过程的特殊结构，以解决SCI重建中的计算工作量和内存问题。仿真和真实数据（由四个不同的SCI相机捕获）的结果表明，我们提出的算法导致显着的改进相比，目前最先进的算法。我们希望我们的结果将鼓励研究人员和工程师进一步追求压缩成像的实际应用。
2018-07-20 cs.CV
GeRaF: Neural Geometry Reconstruction from Radio Frequency Signals
École Polytechnique Fédérale de Lausanne（瑞士联邦理工学院）
提出GeRaF方法，利用神经隐式学习从射频信号重建近距3D几何，通过滤波渲染、物理射频体渲染和无透镜采样策略解决低分辨率、噪声和镜面反射问题。
2026-08-06 cs.CV
Compressive Single-pixel Fourier Transform Imaging using Structured Illumination
UCLouvain（天主教鲁汶大学）；Instituto de Telecomunicações（葡萄牙电信研究所）；Instituto Superior Técnico, Universidade de Lisboa（里斯本大学高等理工学院）
单像素（SP）成像现在在许多应用中成为现实，例如，生物医学内窥镜和荧光光谱学。在这种情况下，存在许多方案来提高这些器件的光吞吐量，使用由压缩传感理论驱动的结构化照明。在这项工作中，我们考虑SP成像与傅里叶变换干涉术（SP-FTI）的组合，以达到高分辨率的超光谱（HS）成像，如所需的，例如，在荧光光谱学中。虽然这种关联不是新的，我们在这里专注于优化的空间照明，结构阿达玛图案，在光路进展。我们遵循一个可变密度的采样策略的光照明的时空编码，并从理论上和数值上表明，该计划允许我们减少的数量的测量和曝光的观察对象相比，传统的压缩SP-FTI。
2019-02-18 cs.CV
Compressive Imaging using Approximate Message Passing and a Markov-Tree Prior
Georgia Institute of Technology（佐治亚理工学院）；The Ohio State University（俄亥俄州立大学）
我们提出了一种新的算法压缩成像，利用稀疏性和持久性跨尺度发现在2D小波变换系数的自然图像。像其他最近的作品，我们使用隐马尔可夫树（HMT）小波结构模型，但与其他作品不同，我们是基于循环的信念传播（LBP）。对于LBP，我们采用了最近提出的“涡轮”消息传递时间表，交替开发的HMT结构和开发的压缩测量结构。对于后者，我们利用Donoho，Maleki和Montanari最近提出的近似消息传递（AMP）算法。一个大型的图像数据库的实验表明，相对于现有的计划，我们的涡轮LBP方法产生的国家的最先进的重建性能，大大降低了复杂性。
2011-08-12 cs.CV
LFD: Enabling Real-World Lensless Face Recognition with a Large-Scale Dataset
Rice University（莱斯大学）；Department of Electrical and Computer Engineering（电气与计算机工程系）
该研究针对传统人脸识别系统的局限，引入无透镜面部数据集（LFD）。通过多种无透镜设备在不同环境下采集数据，包含现实世界无透镜面部数据与野外捕获。此数据集能有效捕捉不同设备的共享特征和伪像，推动无透镜人脸识别发展。
2026-07-14 cs.CV eess.IV
Compressive hyperspectral imaging via adaptive sampling and dictionary learning
Case Western Reserve University（凯斯西储大学）；Commonwealth Scientific and Industrial Research Organisation (CSIRO)（联邦科学与工业研究组织（CSIRO））；University of Queensland（昆士兰大学）；University of New South Wales（新南威尔士大学）
在本文中，我们提出了一种新的高光谱信号的采样策略，是基于字典学习和奇异值分解（SVD）。具体来说，我们首先使用字典学习从训练光谱数据中学习稀疏化字典。然后，我们对字典执行SVD，并使用前几个左奇异向量作为测量矩阵的行，以获得用于重建的压缩测量。所提出的方法提供了显着的改进，传统的压缩传感方法。通过使用矩阵平衡来重构传感矩阵，进一步提高了重构性能。我们还证明了字典学习和SVD的组合是强大的，通过将它们应用到不同的数据集。
2015-12-02 cs.CV
Compressive Deconvolution in Medical Ultrasound Imaging
IRIT UMR CNRS 5505（法国国家科学研究中心IRIT联合研究单元（UMR 5505））；University of Toulouse（图卢兹大学）
压缩采样在超声成像中的兴趣最近已经被几个研究小组广泛评估。在不同的应用设置之后，已经示出了可以从少量的测量和/或使用减少数量的超声脉冲发射来重建RF数据。然而，RF图像空间分辨率、对比度和信噪比受到成像换能器的有限带宽和与US波传播相关的物理现象的影响。为了克服这些限制，已经提出了几种基于去卷积的图像处理技术来增强超声图像。在本文中，我们提出了一种新的框架，压缩反卷积，重建增强的RF图像压缩测量。利用直接采集模型的统一公式，将随机投影和2D卷积与空间不变的点扩散函数相结合，我们的方法的好处是联合数据量减少和图像质量提高。建议的优化方法，基于交替方向法的乘数，模拟和体内数据进行评估。
2015-12-04 cs.CV
Deep Camera Obscura: An Image Restoration Pipeline for Lensless Pinhole Photography
Arizona State University（亚利桑那州立大学）；SenseBrain Technology（商汤科技（SenseBrain Technology））
无透镜针孔相机可能是最早和最简单的成像系统形式，仅使用针孔大小的光圈代替透镜。它们可以捕捉无限景深，并提供比基于镜头的同行更大的光学失真自由度。然而，针孔系统的固有限制导致由光学衍射引起的模糊的较低锐度和由于小光圈的低光通量引起的较高噪声水平，需要非常长的曝光时间来捕获曝光良好的图像。在本文中，我们探索了一个图像复原管道使用深度学习和针孔系统的领域知识，以提高针孔图像质量，通过联合去噪和去模糊的方法。我们的方法可以为手持摄影提供更实用的曝光时间，并提供更高的图像质量，使其与其他无镜头相机相比更适合日常摄影，同时保持低尺寸和低成本。这开启了针孔相机在更小设备（如智能手机）中使用的潜力。
2021-08-12 cs.CV eess.IV
Privacy-Enhancing Optical Embeddings for Lensless Classification
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
无透镜成像由于其测量的高度多路复用特性而可以提供视觉隐私。然而，这本身是一种弱形式的安全性，因为可以设计各种对抗攻击来反转这种相机的一对多场景映射。在这项工作中，我们通过（1）在传感器处进行下采样和（2）使用具有可变图案的可编程掩模作为我们的光学编码器来增强无透镜成像提供的隐私。我们从低成本的LCD和Raspberry Pi组件构建了一个原型，总成本约为100美元。这一非常低的价格点使我们的系统能够在广泛的应用中部署和利用。在我们的实验中，我们首先证明了我们的系统的可行性和可重构性，通过将其应用于各种分类任务：MNIST，CelebA（面部属性），和CIFAR10。通过以端到端的方式联合优化掩模模式和数字分类器，可以直接在传感器上学习低维的隐私增强嵌入。其次，我们展示了所提出的系统如何通过可变掩码模式来阻止试图通过明文攻击或（2）在相机参数泄漏的情况下反转系统的对手。我们证明了我们的系统对这两种风险的防御，基于模型的凸优化和生成神经网络的攻击的图像质量指标分别下降了55%和26%。我们开源了端到端优化所需的波传播和摄像机模拟器、培训软件以及用于与摄像机接口的库。
2022-11-23 cs.CV eess.IV
Computational compressive imaging reconstruction with a simulated-annealing-based Ising solver
Institute for Quantum Sensing and Information Processing, State Key Laboratory of Photonics and Communications, Shanghai Jiao Tong University（上海交通大学生物医学工程学院）；Hefei National Laboratory（合肥国家实验室）；Shanghai Research Center for Quantum Sciences（上海量子科学研究与探索中心）
该研究提出一种物理驱动的重建框架，将成像逆问题转化为伊辛模型，采用基于模拟退火的伊辛求解器，在1%-25%采样率下实现高质量图像重建，可降低计算负担，推动低功耗计算成像发展。
2026-10-15 cs.CV cs.DC math-ph
FlatNet: Towards Photorealistic Scene Reconstruction from Lensless Measurements
Rice University（莱斯大学）
无透镜成像已经成为一种潜在的解决方案，通过避开传统相机中的笨重镜头来实现超小型相机。在没有聚焦镜头的情况下，无透镜相机依赖于计算算法来从多路复用测量中恢复场景。然而，目前基于迭代优化的重建算法产生噪声和感知较差的图像。在这项工作中，我们提出了一种基于非迭代深度学习的重建方法，可以使无透镜重建的图像质量提高几个数量级。我们的方法，称为$\textit{FlatNet}$，奠定了一个框架，重建高品质的真实感图像从基于掩模的无透镜相机，相机的前向模型制定是已知的。FlatNet由两个阶段组成：（1）通过学习前向模型公式中的参数将测量映射到中间重建空间的反演阶段，以及（2）提高该中间重建的感知质量的感知增强阶段。这些阶段以端到端的方式一起训练。我们通过使用两种不同类型的无透镜原型对真实和具有挑战性的场景进行广泛的实验来展示高质量的重建：一种使用可分离的前向模型，另一种使用更一般的不可分离的裁剪卷积模型。我们的端到端方法速度快，可产生逼真的重建效果，并且易于用于其他基于掩模的无镜头相机。
2020-10-29 cs.CV cs.LG eess.IV
Time-Multiplexed Coded Aperture Imaging: Learned Coded Aperture and Pixel Exposures for Compressive Imaging Systems
Universidad Industrial de Santander（桑坦德工业大学）；Stanford University（斯坦福大学）
使用编码孔径（CA）的压缩成像是一种功能强大的技术，可用于从单个快照恢复深度，光场，高光谱图像和其他量。基于CA的压缩成像系统的性能主要取决于两个因素：掩模的衰减模式的属性，我们称之为“编码”和用于从编码快照恢复感兴趣的量的计算技术。在这项工作中，我们介绍了使用随时间变化的CA与空间变化的像素快门同步的想法。我们将传感器的曝光分为子曝光，在子曝光开始时CA掩模发生变化，并且传感器的像素同时单独“打开”或“关闭”。这是一个实际上有吸引力的编码，因为它不引入除了已经存在的CA之外的附加光学组件，而是使用可以容易地以电子方式实现的像素快门中的变化。我们表明，我们提出的时间复用编码孔径（TMCA）可以优化端到端，并诱导更好的编码快照，使优越的重建在两个不同的应用：压缩光场成像和高光谱成像。我们在模拟和实际捕获（采用我们构建的原型）中证明，在这些应用中，这种编码优于最先进的压缩成像系统超过4dB。
2021-04-06 cs.CV eess.IV
Compressive adaptive computational ghost imaging
Technische Universität Dortmund（多特蒙德工业大学）
压缩传感被认为是信号采集的一个巨大突破。它允许使用比$N^2$测量少得多的量来记录由$N^2$像素组成的图像，如果它可以被转换为大多数像素具有可忽略的小值的基础。标准压缩感测技术遭受重建图像所需的计算开销，典型的计算时间在数小时和数天之间，因此对于物理学和光谱学中的应用不是最佳的。我们展示了一种自适应压缩采样技术，直接在稀疏的基础上进行测量。它所需的测量比$N^2$少得多，而且没有任何计算开销，因此结果可以立即获得。
2013-03-31 cs.CV physics.optics
Multi-Scale Deep Compressive Imaging
Sungkyunkwan University（成均馆大学）；Osaka University（大阪大学）
最近，基于深度学习的压缩成像（DCI）在重建质量和更快的运行时间方面已经超过了传统的压缩成像。虽然多尺度显示出优于单尺度的性能，但DCI的研究仅限于单尺度采样。尽管使用单尺度图像进行训练，但DCI倾向于类似于传统的多尺度采样的低频分量，特别是在低子速率下。从这个角度来看，网络更容易通过多尺度采样架构学习多尺度特征。在这项工作中，我们提出了一个多尺度深度压缩成像（MS-DCI）框架，该框架联合学习在多尺度上分解，采样和重建图像。提出了一种三阶段的端到端训练方案，包括初始和两个增强重建阶段，以证明多尺度采样的效率，并进一步提高重建性能。我们分析了分解方法（包括金字塔、小波和尺度空间）、采样矩阵和测量，并展示了MS-DCI的经验优势，它始终优于传统方法和基于深度学习的方法。
2020-08-03 cs.CV eess.IV
A Parallel Compressive Imaging Architecture for One-Shot Acquisition
Politecnico di Torino（都灵理工大学）
许多压缩成像架构的限制在于感测过程的顺序性质，这导致长的感测时间。在本文中，我们提出了一种新的架构，使用较少的检测器比重建像素的数量，并能够在一个单一的收购收购的图像。这为开发每秒采集几帧的视频架构铺平了道路。我们具体解决衍射问题，示出通常用于恢复衍射模糊的去卷积可以由感测矩阵的卷积代替，以及0/1物理感测矩阵的测量如何可以被转换为-1/1压缩感测矩阵而无需任何额外的采集。我们的架构的模拟表明，图像质量是一个经典的压缩成像相机，而建议的架构避免了长采集时间，由于顺序感测。这种单次过程还允许采用固定的感测矩阵，而不是复杂的设备，例如数字微镜阵列或空间光调制器。它还能够在带宽效率不高的情况下进行成像。
2013-11-04 astro-ph.IM cs.CV
Dynamic Proximal Unrolling Network for Compressive Imaging
Beijing Institute of Technology（北京理工大学）
压缩成像的目标是从欠采样测量中恢复潜像，这是一个严重的不适定逆问题。最近，深度神经网络已被应用于这个问题，由于学习了先进的图像先验知识，取得了优异的结果。然而，这些方法需要针对不同的成像模式和采样率训练单独的模型，从而导致对特定设置的过拟合。本文提出了一种动态近似展开网络（简称DPUNet），它可以通过一个单一的模型来处理各种测量矩阵，而无需重新训练。具体来说，DPUNet可以利用通过梯度下降的嵌入式观察模型和通过学习的动态邻近算子施加的图像先验，实现联合重建。DPUNet的一个关键组件是动态近端映射模块，其参数可以在推理阶段动态调整，使其适应不同的成像设置。实验结果表明，所提出的DPUNet可以有效地处理多种压缩成像模式下不同的采样率和噪声水平，通过只有一个训练模型，并优于国家的最先进的方法。
2021-10-25 cs.CV eess.IV
Compressive Imaging with Iterative Forward Models
University of California, Berkeley（加州大学伯克利分校）；Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室）
我们提出了一种新的压缩成像方法重建2D或3D对象从他们的散射波场测量。我们的方法依赖于一种新的，非线性的测量模型，可以解释多重散射现象，这使得该方法在线性测量模型不准确的应用中更可取。我们构造的测量模型通过扩展的散射波场与加速梯度方法，这是保证收敛，适合于大规模的问题。我们提供了明确的公式来计算我们的测量模型相对于未知图像的梯度，这使得图像形成与稀疏驱动的数值优化算法。我们验证的方法分析和数值模拟。
2016-10-05 cs.CV physics.optics
Compressive Imaging Reconstruction via Tensor Decomposed Multi-Resolution Grid Encoding
School of Mathematics and Statistics, Xi’an Jiaotong University（西安交通大学数学与统计学学院）；School of Mathematical Science, University of Electronic Science and Technology of China（电子科技大学数学科学学院）
提出张量分解多分辨率网格编码（GridTD）无监督连续表示框架，通过结合多分辨率网格编码与张量分解优化轻量级神经网络，有效且高效地实现高维图像压缩成像重建。
2025-07-10 cs.CV eess.IV
Coded aperture compressive temporal imaging
Duke University（杜克大学）；Fitzpatrick Institute for Photonics（菲茨帕特里克光子学研究所）
我们使用编码孔径的机械平移来实现视频的码分多址压缩。我们目前的实验结果重建在148帧每编码快照。
2013-02-04 cs.CV cs.IT math.IT
Compression, Restoration, Re-sampling, Compressive Sensing: Fast Transforms in Digital Imaging
Tel Aviv University（特拉维夫大学）
变换图像处理方法是在诸如离散傅立叶、离散余弦、小波等的图像变换域中工作的方法。它们是图像压缩、图像复原、图像重采样和几何变换中的基本工具，可以追溯到20世纪70年代初。本文介绍了这些方法的审查，重点是他们的比较和关系，从变换图像压缩方法的第一步，自适应和局部自适应变换域滤波器的图像复原，精确的图像重采样和图像重建的稀疏样本的方法和“压缩感知”的方法，在过去的几年里已经得到普及。这篇评论具有辅导性质和目的。
2014-08-27 cs.CV physics.optics
