Light Field Synthesis by Training Deep Network in the Refocused Image Domain
National Taiwan University（台湾大学）
光场成像是将入射光的空间-角度信息捕获到图像传感器上的一种技术，它可以实现图像重聚焦和增强现实等许多有趣的应用。然而，由于有限的传感器分辨率，在空间和角度分辨率之间存在折衷。为了提高角分辨率，视图合成技术已被采用，以产生新的意见，从现有的意见。然而，传统的基于学习的视图合成主要考虑光场的每个视图的图像质量，而忽略了重聚焦图像的质量。在本文中，我们提出了一个新的损失函数称为重聚焦图像误差（RIE）来解决这个问题。其主要思想是，合成光场的图像质量应该在重聚焦图像域中进行优化，因为它是光场被感知的地方。我们分析了RIL在光谱域中的行为，并使用MSE，MAE，PSNR，SSIM和GMSD等客观评估指标在真实和软件渲染的光场数据集上测试了我们的方法与以前方法的性能。实验结果表明，我们的方法产生的光场结果比以前的方法更好的重聚焦图像。
2020-04-29 cs.CV eess.IV
Mind the Exit Pupil Gap: Revisiting the Intrinsics of a Standard Plenoptic Camera
Kiel University（基尔大学）
本文针对标准全光相机标定与解码中常被忽视的主镜头出瞳问题，推导了重聚焦距离与重采样参数的关系，分析了忽略出瞳的误差，并通过光线追踪仿真和公开数据加以验证。
2024-04-05 cs.CV
Hybrid Light Field Imaging for Improved Spatial Resolution and Depth Range
Istanbul Medipol University（伊斯坦布尔梅迪波尔大学）
光场成像涉及捕获光的角度和空间分布;它实现了新的功能，例如捕获后数字重新聚焦、相机孔径调整、透视移位和深度估计。基于微透镜阵列（MLA）的光场相机提供了一种成本有效的光场成像方法。基于MLA的光场相机存在两个主要限制：低空间分辨率和窄基线。虽然低空间分辨率限制了光场相机的通用用途和适用性，但是窄基线限制了深度估计范围和准确度。在本文中，我们提出了一个混合立体成像系统，包括一个光场相机和一个普通的相机。该混合系统解决了基于MLA的光场相机的空间分辨率和窄基线问题，同时保留了光场成像能力。
2017-07-31 cs.CV
Spatial and Angular Resolution Enhancement of Light Fields Using Convolutional Neural Networks
Istanbul Medipol University（伊斯坦布尔梅迪波尔大学）；Dept. of Electrical and Electronics Engineering, Istanbul Medipol University（伊斯坦布尔梅迪波尔大学电气工程系）
光场成像通过捕获光的空间和角度分布来扩展传统摄影，这实现了新的能力，包括捕获后重新聚焦、捕获后光圈控制和来自Single Shot的深度估计。基于微透镜阵列（MLA）的光场相机提供了一种具有成本效益的方法来捕获光场。基于MLA的光场相机的主要缺点是低空间分辨率，这是由于共享单个图像传感器以捕获空间和角度信息的事实。在本文中，我们提出了一种基于学习的光场增强方法。利用卷积神经网络提高了捕获光场的空间和角度分辨率。所提出的方法进行了测试，用Lytro光场相机捕获的真实光场数据，清楚地表明空间和角度分辨率的提高。
2018-02-13 cs.CV
Joint Spatial and Angular Super-Resolution from a Single Image
Inha University（仁荷大学）
从单个图像合成密集采样的光场对于许多应用来说非常有益。此外，联合解决角度和空间超分辨率问题也为光场成像带来了新的可能性。传统的方法依赖于基于物理的渲染和二级网络来解决角度超分辨率问题。此外，基于像素的损失限制了网络全局推断场景几何形状的能力。在本文中，我们证明了这两个超分辨率问题可以通过提出一个不需要基于物理的方法的单一端到端深度神经网络来从单个图像中联合解决。提出了两种基于已知光场域知识的损失函数，使网络能够保持子孔径图像之间的空间-角度一致性。实验结果表明，该模型成功地合成了密集的高分辨率光场，它优于国家的最先进的方法在定量和定性标准。该方法可以推广到任意场景，而不是集中在一个特定的主题。合成光场可用于各种应用，例如深度估计和重新聚焦。
2020-06-27 cs.CV eess.IV
Deep Coarse-to-fine Dense Light Field Reconstruction with Flexible Sampling and Geometry-aware Fusion
City University of Hong Kong（香港城市大学）；Hong Kong Baptist University（香港浸会大学）；Huaqiao University（华侨大学）；ShanghaiTech University（上海科技大学）
密集采样的光场（LF）在各种应用中是高度期望的，诸如3-D重建、捕获后重聚焦和虚拟现实。然而，获取这些数据的成本很高。尽管已经提出了许多计算方法来从稀疏采样的LF重构密集采样的LF，但是它们仍然遭受低重构质量、低计算效率或者对采样模式的规则性的限制。为此，我们提出了一种新的基于学习的方法，该方法接受具有不规则结构的稀疏采样LF，并准确有效地产生具有任意角分辨率的密集采样LF。我们还提出了一个简单而有效的方法来优化采样模式。我们提出的方法是一种端到端的可训练网络，以粗到细的方式重建密集采样的LF。具体而言，粗子孔径图像（SAI）合成模块首先从非结构化稀疏采样LF探索场景几何形状，并利用它独立地合成新的SAI，其中提出了一种基于置信度的混合策略来融合来自不同输入SAI的信息，给出中间密集采样LF。然后，高效LF细化模块学习中间结果内的角度关系以恢复LF视差结构。综合实验评估表明，我们的方法在现实世界和合成LF图像相比，国家的最先进的方法的优越性。此外，我们说明了所提出的方法的好处和优势时，应用在各种基于LF的应用程序，包括基于图像的渲染和深度估计增强。
2020-09-26 cs.CV eess.IV
PIV-Based 3D Fluid Flow Reconstruction Using Light Field Camera
粒子成像测速技术（PIV）通过分析注入粒子的运动来估计流体的流动。这个问题是具有挑战性的，因为粒子位于不同的深度，但具有相似的外观，并且跟踪大量粒子特别困难。在本文中，我们提出了一种PIV解决方案，使用密集采样的光场重建和跟踪三维粒子。我们利用光场的重聚焦能力和焦点对称性约束进行可靠的粒子深度估计。我们进一步提出了一种新的运动约束光流估计方案，通过加强局部运动刚性和Navier-Stoke约束。合成和真实实验的综合实验表明，使用单个光场相机，我们的技术可以恢复小到中等体积的密集和准确的3D流体流动。
2020-03-23 cs.CV
PlenoptiCam v1.0: A light-field imaging framework
University of Wolverhampton（伍尔弗汉普顿大学）
光场相机在窄范围深度传感应用中对丰富的3-D信息检索起着至关重要的作用。构成来自由全光相机拍摄的曝光的光场的关键障碍是计算地校准、对准和重新布置四维图像数据。已经提出了若干尝试，以通过定制专用于特定全光相机的流水线并以高计算负载为代价提高视点之间的一致性来增强整体图像质量。本文提出的框架由于其新颖的显微图像尺度空间分析，用于独立于镜头规格的通用相机校准，以及其来自最佳传输理论的不变性、具有成本效益的视点颜色均衡，而推进了先前的成果。来自传感器和微透镜网格的伪影以创新的方式进行补偿，以实现子孔径图像提取、计算重聚焦和具有子采样能力的Scheimpflug渲染的卓越质量。使用既定图像指标进行的基准比较表明，在大多数情况下，我们提出的管道的性能优于最先进的工具链。从Wasserstein距离的结果进一步表明，我们的颜色转移优于现有的运输方法。我们的算法是在开源许可证下发布的，提供跨平台兼容性，具有很少的依赖性和不同的用户界面。这使得全光相机技术的结果再现和实验方便了同行研究人员，开发人员，摄影师，数据科学家和该领域的其他工作人员。
2021-07-25 cs.CV eess.IV
5D Light Field Synthesis from a Monocular Video
Inha University（仁荷大学）；Osaka University（大阪大学）
市售的光场相机难以捕获5D（4D +时间）光场视频。它们只能捕获静态光场图像，或者对于普通用户捕获光场视频来说过于昂贵。为了解决这个问题，我们提出了一种基于深度学习的方法，用于从单目视频合成光场视频。我们提出了一个新的合成光场视频数据集，使用UnrealCV渲染引擎渲染逼真的场景，因为没有光场数据集可用。所提出的深度学习框架将光场视频与来自正常单眼视频的子孔径图像的完整集合（9 $\times$ 9）合成。该网络由三个子网络组成，即特征提取、5D光场视频合成和时间一致性细化。实验结果表明，我们的模型可以成功地合成合成和实际场景的光场视频，并优于以前的逐帧方法定量和定性。合成光场可用于常规光场应用，即，深度估计、视点改变和重新聚焦。
2019-12-23 cs.CV
Depth Fields: Extending Light Field Techniques to Time-of-Flight Imaging
Cornell University（康奈尔大学）；Rice University（莱斯大学）
诸如光场、结构化照明和飞行时间（TOF）的各种技术通常用于消费者成像、机器人和许多其他应用中的深度获取。不幸的是，每种技术都有其各自的局限性，这阻碍了鲁棒的深度感测。在本文中，我们探讨了结合光场和飞行时间成像的优点和缺点，特别是作为单个混合深度传感器的片上实现的可行性。我们将这种组合称为景深成像。深度场将诸如合成孔径重聚焦的光场优势与诸如高深度分辨率和编码信号处理的TOF成像优势相结合，以解决多径干扰。我们显示的应用程序，包括合成的虚拟孔径TOF成像，通过部分和散射遮挡物，和单频TOF相位展开改进的深度映射。利用空间、角度和时间编码，深度场可以改善野外的深度感测，并对光的全光功能的维度产生新的见解。
2015-09-02 cs.CV
Self-Supervised Light Field Depth Estimation Using Epipolar Plane Images
Hefei University of Technology（合肥工业大学）
利用光场数据可以获得密集、准确的深度图。然而，有限视差范围的合成场景不能包含真实场景的多样性。通过在合成数据中训练，当前基于学习的方法在真实场景中表现不佳。在本文中，我们提出了一个自监督学习框架的光场深度估计。与现有的端到端训练方法不同，该方法通过估计重聚焦后EPI视差偏移量来实现网络训练，扩展了核线的视差范围。为了降低EPI对噪声的敏感性，我们提出了一种新的输入模式，称为EPI-Stack，在视图维度上堆叠EPI。与传统的输入方式相比，该方法对噪声场景不太敏感，提高了估计效率。与其他现有方法相比，该方法在真实场景中，特别是在复杂遮挡和深度不连续的情况下，也能获得更高质量的结果。
2022-03-29 cs.CV
EPINET: A Fully-Convolutional Neural Network Using Epipolar Geometry for Depth from Light Field Images
Yonsei University（延世大学）；KAIST（韩国科学技术院）
光场相机捕获空间中光线的空间和角度特性。由于其特性，人们可以在不受控制的照明环境中计算光场的深度，这比有源传感设备有很大的优势。从光场计算的深度可以用于许多应用，包括3D建模和重新聚焦。然而，来自手持相机的光场图像具有非常窄的基线和噪声，使得深度估计困难。已经提出了任何方法来克服光场深度估计的这些限制，但是在这些方法中，在精度和速度之间存在明显的折衷。本文介绍了一种基于全卷积神经网络的快速准确的光场深度估计方法。我们的网络是通过考虑光场几何形状来设计的，我们还通过提出光场特定的数据增强方法来克服训练数据的缺乏。我们在HCI 4D光场基准测试中的大多数指标上都达到了最高排名，并且我们还证明了所提出的方法在真实世界光场图像上的有效性。
2018-04-06 cs.CV
SparseSSP: 3D Subcellular Structure Prediction from Sparse-View Transmitted Light Images
Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；University of Chinese Academy of Sciences（中国科学院大学）；Jinan University（暨南大学）
本文提出SparseSSP框架，通过一对多体素映射和混合维度拓扑，利用稀疏透射光切片高效预测3D亚细胞荧光结构，最多减少87.5%成像次数并降低计算开销。
2024-07-03 cs.CV eess.IV
Synthesizing a 4D Spatio-Angular Consistent Light Field from a Single Image
Inha University（仁荷大学）；Bina Nusantara University（比娜努桑塔拉大学）
从单个图像合成密集采样的光场对于许多应用来说非常有益。传统的方法重建深度图，并依赖于基于物理的渲染和二级网络来改善合成的新视图。简单的基于像素的损失也限制了网络，因为它依赖于像素强度线索而不是几何推理。在这项研究中，我们表明，一个不同的几何表示，即外观流，可以用来合成一个光场从一个单一的图像鲁棒和直接。提出了一种不需要基于物理的方法也不需要后处理子网络的单端到端深度神经网络。提出了两种基于已知光场域知识的新型损失函数，使网络能够有效地保持子孔径图像之间的空间-角度一致性。实验结果表明，该模型成功地合成了密集的光场，并在定性和定量上优于以前的模型。该方法可以推广到任意场景，而不是专注于特定类别的对象。合成光场可用于各种应用，例如深度估计和重新聚焦。
2019-03-29 cs.CV
Mobile Camera Array Calibration for Light Field Acquisition
Kyushu University（九州大学）
光场相机对于计算机图形和视觉应用是有用的。校准是这些应用的重要步骤。标定后，利用标定后的摄像机参数对采集到的图像进行校正。然而，大型摄像机阵列的标定方法，它假设所有的摄像机是在同一个平面上，忽略了方向和内部参数。多摄像机标定技术通常假设工作体积和视点是固定的。在本文中，我们描述了一种适用于基于移动相机阵列的光场采集系统的校准算法。该算法通过移动棋盘格来执行张的风格，并以封闭形式计算初始参数。然后应用全局优化来同时细化所有参数。我们的实现是相当灵活的，因为用户可以分配的观点和内部参数的细化是可选的。仿真数据和商业产品采集的真实数据的实验表明，我们的方法产生了良好的效果。数字再聚焦应用表明，校准后的光场能够很好地聚焦到所需的目标物体上。
2014-07-16 cs.CV
Harnessing Multi-View Perspective of Light Fields for Low-Light Imaging
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
光场（LF）提供了独特的优势，如捕获后重新聚焦和深度估计，但低光条件限制了这些功能。为了恢复低光LF，我们应该利用不同LF视图中存在的几何线索，这是使用单帧低光增强技术不可能实现的。因此，我们提出了一种用于弱光光场（L3F）恢复的深度神经网络，我们称之为L3Fnet。所提出的L3Fnet不仅执行每个LF视图的必要的视觉增强，而且还保留跨视图的对极几何。我们通过采用L3Fnet的两阶段架构来实现这一点。阶段I查看所有LF视图以对LF几何结构进行编码。然后在阶段II中使用该编码信息来重构每个LF视图。为了促进基于学习的低光LF成像技术，我们收集了各种场景的全面LF数据集。对于每个场景，我们拍摄了四个LF，一个具有接近最佳的曝光和ISO设置，另一个在不同级别的低光条件下，从低光到极低光设置。建议的L3Fnet的有效性得到了该数据集上的视觉和数值比较的支持。为了进一步分析低光重建方法的性能，我们还提出了一个L3F野生数据集，其中包含在深夜捕获的LF，照度值几乎为零。此数据集中没有可用的地面实况。为了在L3F野生数据集上表现良好，任何方法都必须适应捕获场景的光照水平。为此，我们提出了一种新型预处理模块，使L3 Fnet能够在不同程度的弱光条件下保持稳健。最后，我们证明了L3Fnet也可以用于单帧图像的低光增强，尽管它是针对LF数据设计的。我们通过将单帧DSLR图像转换为适合L3Fnet的形式…
2020-12-08 cs.CV eess.IV
LGFN: Lightweight Light Field Image Super-Resolution using Local Convolution Modulation and Global Attention Feature Extraction
Fujian Normal University（福建师范大学）
本文提出轻量级光场图像超分辨率模型LGFN，通过局部卷积调制模块和高效空间与通道注意力模块提取局部与全局特征，在仅0.45M参数下取得竞争力效果并于NTIRE2024挑战赛获奖。
2024-09-26 cs.CV eess.IV
Stochastic Light Field Holography
Northwestern University（西北大学）；Reality Labs Research, Meta（Meta现实实验室研究部门）；Princeton University（普林斯顿大学）
针对全三维全息显示中光瞳采样影响观看真实感的问题，提出匹配光场与Wigner函数投影算子、并用随机光瞳状态光场重聚焦图像监督的全息图生成算法。
2023-07-12 cs.CV cs.GR eess.IV
A Lightweight Structure Aimed to Utilize Spatial Correlation for Sparse-View CT Reconstruction
稀疏视图计算机断层摄影（CT）被认为是一种广泛使用的方法，用于通过降低投影视图和相关计算来减少辐射剂量同时加速成像。然而，其严重的成像噪声和条纹伪影变成低剂量协议中的主要问题。在本文中，我们提出了一种基于双域深度学习的方法，该方法突破了目前流行的仅处理单个图像切片的算法的局限性。由于被扫描的对象通常包含高度的空间连续性，所获得的连续成像切片包含大量未探索的丰富信息。因此，我们建立了一个名为LS-AAE的级联模型，旨在解决上述问题。此外，为了适应医疗轻量化的社会趋势，我们的模型在模块设计中采用了线性瓶颈的倒残差，使其在不牺牲性能的前提下，具有移动性和轻量化（将模型参数减少到原来的八分之一）。在我们的实验中，稀疏采样以4°，8°和16°的间隔进行，这似乎是一个具有挑战性的稀疏性，很少有学者尝试过。尽管如此，我们的方法仍然表现出其鲁棒性，并通过达到40.305的PSNR和0.948的SSIM实现了最先进的性能，同时确保了高模型移动性。特别是当采样率为现有方法的1/4时，仍优于现有的其他方法，显示出显著的优越性。
2021-01-19 cs.CV eess.IV
Neighbor-Aware View Synthesis for Restoring Missing Views in Light-Field Camera Arrays
Indian Institute of Technology Kanpur (IIT Kanpur)（印度坎普尔理工学院（IIT坎普尔））
本文针对光场相机阵列中视图缺失问题，提出基于cGAN的邻域感知视图合成框架，在合成与真实数据集上的实验表明其性能优于基线方法，可实现鲁棒高效的容错光场图像采集。
2026-08-25 cs.CV
Light Field Primitive for Novel View Synthesis
Tongji University（同济大学）；Hong Kong Metropolitan University（香港都会大学）；City University of Hong Kong（香港城市大学）
提出光场基元（LFP），以紧凑可微基元替代密集光线数据库，实现新视角合成，支持多尺度抗锯齿、散焦去模糊、鱼眼渲染及透明物体重建，性能具竞争力。
2026-09-28 cs.CV
Diffusion-based Light Field Synthesis
University of Science and Technology of China（中国科学技术大学）
针对光场采集耗时耗资源的问题，提出仅需单张RGB输入的扩散生成框架LFdiff，结合位置感知扭曲条件方案与DistgUnet网络，能合成优质可控光场且应用场景广泛。
2024-02-01 cs.CV
Removing Dynamic Objects for Static Scene Reconstruction using Light Fields
Northeastern University（东北大学）
人们普遍期望机器人应该在由静态和动态实体组成的环境中工作，包括人，家具和汽车。这些动态环境给视觉同时定位与地图构建（SLAM）算法带来了挑战，因为在前端引入了误差。光场提供了一种通过捕获场景的更完整的视觉信息来解决这些问题的可能方法。与来自透视相机的单一光线相反，Light Fields捕获从空间中的单个点出现的一束光线，使我们能够通过重新聚焦过去的动态对象来透视它们。在本文中，我们提出了一种方法来合成一个重聚焦图像的静态背景中存在的动态对象，使用的光场获得的线性相机阵列。我们同时估计的深度和重聚焦图像的静态场景使用语义分割检测动态对象在一个单一的时间步长。这消除了初始化静态映射的需要。该算法是可并行的，并在GPU上实现，使我们能够以接近实时的速度执行它。我们证明了我们的方法对使用具有五个摄像机阵列的小型机器人获得的真实数据的有效性。
2020-03-24 cs.CV cs.RO
Sparse Light Field Sampling Improves Casual 3D and 4D Reconstruction
Cornell University（康奈尔大学）；Adobe（奥多比公司）；University of California, Berkeley（加州大学伯克利分校）；Georgia Institute of Technology（佐治亚理工学院）
本文针对消费级多视图相机，提出稀疏视图3DGS与4DGS基线方法，验证多相机稀疏采样可显著提升单帧、少帧及casual视频的三维与四维重建质量，尤其适用于动态场景。
2026-08-24 cs.CV eess.IV
EPI-based Oriented Relation Networks for Light Field Depth Estimation
光场相机不仅记录被观察场景的空间信息，而且记录所有入射光线的方向。空间和角度信息隐含地包含诸如多视图或对极几何的几何特征，这些几何特征可以被利用来提高深度估计的性能。对极平面图像（EPI）是光场的唯一2D空间-角度切片，包含定向线的图案。这些线的斜率与视差相关联。受益于EPI的这一特性，一些代表性方法通过分析EPI中每条线的视差来估计深度图。然而，这些方法通常从EPI提取线的最佳斜率，而忽略相邻像素之间的关系，这导致不准确的深度图预测。基于观察到EPI中的有向线及其邻近像素具有相似的线性结构，我们提出了一种端到端全卷积网络（FCN）来估计水平和垂直EPI上交叉点的深度值。具体来说，我们提出了一个新的特征提取模块，称为定向关系模块（ORM），它构造的线方向之间的关系。为了便于训练，我们还提出了一种基于重聚焦的数据增强方法，从同一场景点的EPI获得不同的斜率。大量的实验验证了学习关系的有效性，并表明我们的方法是有竞争力的其他国家的最先进的方法。代码和训练模型可在https://github.com/lkyahpu/EPI_ORM.git上获得。
2020-08-26 cs.CV
Light Field Video Capture Using a Learning-Based Hybrid Imaging System
University of California, Berkeley（加州大学伯克利分校）；University of California, San Diego（加州大学圣迭戈分校）
与传统相机相比，光场相机具有许多优点，因为它们允许用户在捕获后更改各种相机设置。然而，捕捉光场需要巨大的带宽来记录数据：现代光场相机每秒只能拍摄三张图像。这阻止了当前的消费者光场相机捕获光场视频。在这种极端尺度（10倍，从3fps到30fps）下的时间内插是不可行的，因为在相邻帧之间将完全丢失太多信息。相反，我们开发了一个混合成像系统，增加了另一个标准的摄像机来捕捉时间信息。给定3 fps的光场序列和标准30 fps的2D视频，我们的系统可以生成30 fps的全光场视频。我们采用了一种基于学习的方法，它可以分解为两个步骤：时空流估计和外观估计。流估计将角度信息从光场序列传播到2D视频，因此我们可以将输入图像扭曲到目标视图。然后，外观估计将这些变形图像组合以输出最终像素。整个过程使用卷积神经网络进行端到端的训练。实验结果表明，我们的算法优于目前的视频插值方法，使消费者光场摄像，并使应用程序，如重新聚焦和视差视图生成视频上实现的第一次。
2017-05-08 cs.CV cs.GR
Dense Light Field Reconstruction From Sparse Sampling Using Residual Network
Northwestern Polytechnical University（西北工业大学）
光场记录来自真实世界场景的许多光线。然而，通过现有设备捕获密集的光场是一个耗时的过程。此外，利用稀疏采样重建相当于多个光场的大量光线对现有方法提出了严峻的挑战。在本文中，我们提出了一种基于学习的方法来重建多个新的光场之间的两个相互独立的光场。我们指出，在一定条件下，分布在不同光场中的光线具有相同的一致约束。最重要的约束是角度和空间维度之间的深度相关的相关性。我们的方法避免了采用深度神经网络的错误敏感的约束。通过求解对极平面图像（EPI）上像素的残差值来重建新的光场。我们的方法能够在两个相互独立的输入光场之间重建2到4个新的光场。我们还将我们的结果与文献中其他一些替代方案所产生的结果进行了比较，这表明我们重建的光场具有更好的结构相似性和遮挡关系。
2018-08-11 cs.CV
Pano-NeRF: Synthesizing High Dynamic Range Novel Views with Geometry from Sparse Low Dynamic Range Panoramic Images
Nanyang Technological University（南洋理工大学）；Zhejiang University（浙江大学）；Peking University（北京大学）
本文提出 Pano-NeRF 中的辐照度场方法，通过将全景图像像素同时视为光照信号与光源，解决稀疏 LDR 全景输入下 NeRF 几何约束不足和无法重建 HDR 的问题，在几何恢复与 HDR 重建上均优于现有方法。
2024-02-23 cs.CV eess.IV
RealLiFe: Real-Time Light Field Reconstruction via Hierarchical Sparse Gradient Descent
Dept. of Electrical Engineering, Tsinghua University, Beijing, China（电子工程系，清华大学，北京，中国）；Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）；Huawei Technologies（华为技术）
针对稀疏视图输入的实时光场重建需求，提出基于分层稀疏梯度下降的RealLiFe方法，借助MPI稀疏流形特性实现高质量实时重建，速度远超离线方法且性能优于现有在线方法。
2026-09-15 cs.CV
Sparse Views, Near Light: A Practical Paradigm for Uncalibrated Point-light Photometric Stereo
TU Munich（慕尼黑工业大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；University of Konstanz（康斯坦茨大学）；NVIDIA（英伟达公司）
本文提出一种端到端无标定多视角光度立体框架，通过结合静态环境光与动态近距LED照明，在稀疏视角和真实环境下实现高分辨率三维重建，大幅超越现有基线方法。
2024-03-29 cs.CV
Inverse Image-Based Rendering for Light Field Generation from Single Images
GIST AI Graduated School（GIST人工智能研究生院）；Yonsei University（延世大学）
提出逆图像基渲染方法，从单张图像通过神经渲染管线重建光流并迭代生成新视角，无需重训即可在多种数据集上超越现有新视角合成方法。
2025-10-23 cs.CV
VSANet: View-aware Sparse Attention Network for Light Field Image Denoising
IIT Kharagpur（印度理工学院克勒格布尔分校）
提出VSANet，通过视图感知稀疏注意力实现全局特征交互与线性复杂度，结合特征细化模块，在光场去噪中取得最优性能。
2026-06-24 cs.CV
Sparse Needlets for Lighting Estimation with Spherical Transport Loss
Nanyang Technological University（南洋理工大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；Inception Institute of Artificial Intelligence（启元人工智能研究院）；The Chinese University of Hong Kong（香港中文大学）
精确的照明估计对于许多计算机视觉和计算机图形任务（诸如高动态范围（HDR）重新照明）是具有挑战性的，但也是关键的。现有的方法在频域或空间域中建模照明，这不足以表示场景中的复杂照明条件，并且往往产生不准确的估计。本文提出了NeedleLight，一种新的照明估计模型，表示照明与针状物，并允许在频域和空间域联合照明估计。一个最佳的阈值函数的设计，以实现稀疏针修剪冗余的照明参数，并表现出优越的本地化属性的照明表示。此外，一个新的球形传输损耗的基础上设计的最佳传输理论，指导回归照明表示参数与空间信息的考虑。此外，我们提出了一个新的度量，这是简洁而有效的直接评估估计的照明图，而不是渲染图像。大量的实验表明，与最先进的方法相比，NeedleLight在多个评估指标上一致地实现了卓越的照明估计。
2021-06-24 cs.CV
SplatBright: Generalizable Low-Light Scene Reconstruction from Sparse Views via Physically-Guided Gaussian Enhancement
Shanghai Jiao Tong University（上海交通大学）；China DXR Technology CO.,Ltd（中国DXR技术有限公司）
SplatBright通过物理引导的照明建模和几何-外观解耦，实现了从稀疏视角进行低光照场景重建的通用3D高斯框架。
2025-12-21 cs.CV
Neural View-Interpolation for Sparse Light Field Video
MPI Informatik（马克斯·普朗克信息学研究所）；University College London（伦敦大学学院）
我们建议将光场（LF）视频表示为“一次性”神经网络（NN），即，从视图加时间坐标到高分辨率颜色值的学习映射，在稀疏视图上训练。最初，这听起来像是一个坏主意，主要有三个原因：首先，NN LF可能比相同大小的像素基表示质量更低。第二，只有很少的训练数据，例如，稀疏LF视频可使用每帧9个样本。第三，没有跨LF的泛化，而是跨视图和时间。因此，需要针对每个LF视频训练网络。令人惊讶的是，这些问题可以变成实质性的优势：除了线性像素基础之外，NN必须提出一个紧凑的、非线性的，即，更智能，解释颜色，条件稀疏视图和时间坐标。然而，正如许多NN所观察到的那样，这种表示现在是可插值的：如果稀疏视图坐标的图像输出是合理的，那么它也适用于所有中间的连续坐标。我们的特定网络架构涉及可区分的遮挡感知扭曲步骤，这导致了一组紧凑的可训练参数，从而实现了快速学习和快速执行。
2020-04-22 cs.CV cs.GR cs.LG
SVT-Net: Super Light-Weight Sparse Voxel Transformer for Large Scale Place Recognition
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；School of Computer Science and Engineering, Nanjing University of Science and Technology（南京理工大学计算机科学与工程学院）；Department of Management Science and Engineering, Tsinghua University（清华大学管理科学与工程系）
基于点云的大规模地点识别是同时定位与地图构建等应用的基础。虽然已经提出了许多模型，并取得了良好的性能，通过学习短期的本地功能，长期的上下文属性往往被忽视。此外，模型尺寸也成为其广泛应用的瓶颈。为了克服这些挑战，我们提出了一个超轻量的网络模型称为SVT-Net的大规模地点识别。具体而言，在高效的3D稀疏卷积（SP-Conv）之上，提出了基于原子的稀疏体素Transformer（ASVT）和基于粒子的稀疏体素Transformer（CSVT）来学习该模型中的短程局部特征和长程上下文特征。SVT-Net由ASVT和CSVT组成，可以在超轻模型大小（0.9M）的基准数据集上实现最先进的精度和速度。同时，介绍了SVT-Net的两个简化版本，它们也达到了最先进的水平，并进一步将模型大小分别减少到0.8M和0.4M。
2021-12-13 cs.CV
Event fields: Capturing light fields at high speed, resolution, and dynamic range
Dartmouth College（达特茅斯学院）；University of North Carolina（北卡罗来纳大学）；Rice University（莱斯大学）
本研究提出Event Fields方法，通过创新光学设计结合事件相机实现高速光场捕获，构建了数学框架与空间、时间复用两种实现方案，验证了其在高速高动态场景下的光场应用优势，拓展了多领域应用可能。
2024-12-09 cs.CV
Local Fourier Slice Photography
Otto-von-Guericke-Universität Magdeburg（奥托·冯·格里克马格德堡大学）
光场相机提供了有趣的可能性，例如捕获后重新聚焦或从新视角合成图像的能力。然而，这是以大量存储需求为代价的。压缩技术可以用来减少这些，但重新聚焦和重建需要到目前为止再次密集的像素表示。为了避免这一点，我们介绍了本地傅立叶切片摄影，允许重新聚焦图像重建直接从稀疏小波表示的光场，无论是获得图像或压缩表示它的结果是可能的小波，尊重“切片”的内在结构，使我们能够获得精确的重建滤波器的重新聚焦图像在封闭的形式。图像重建则相当于将这些滤波器应用于光场的小波系数，因此不需要重建密集像素表示。我们证明，这大大降低了存储要求和计算时间。我们进一步分析了我们的算法的计算复杂性，并表明，它的规模与重建区域的大小和不可忽略的小波系数，即与视觉复杂性线性。
2019-10-10 cs.CV cs.GR cs.NA
Edge-aware Bidirectional Diffusion for Dense Depth Estimation from Light Fields
Brown University（布朗大学）；KAIST（韩国科学技术院）
我们提出了一种算法，通过一组稀疏的深度边缘和梯度，从光场估计快速和准确的深度图。我们提出的方法是基于真实深度边缘比纹理边缘对局部约束更敏感的想法，因此它们可以通过双向扩散过程可靠地消除歧义。首先，我们使用核线平面图像估计子像素视差在一个稀疏的像素集。为了有效地找到稀疏点，我们提出了一种基于熵的细化方法，从有限的一组定向滤波器组的线估计。接下来，为了估计远离稀疏点的扩散方向，我们通过我们的双向扩散方法优化这些点的约束。这解决了边缘属于哪个表面的模糊性，并可靠地将深度与纹理边缘分开，使我们能够以深度边缘和遮挡感知的方式扩散稀疏集，以获得准确的密集深度图。
2021-07-07 cs.CV
I See-Through You: A Framework for Removing Foreground Occlusion in Both Sparse and Dense Light Field Images
KAIST（韩国科学技术院）
光场（LF）相机从场景中捕获丰富的信息。使用该信息，LF去遮挡（LF-DeOcc）任务旨在重建无遮挡的中心视图图像。现有的LF-DeOcc研究主要集中在稀疏采样（稀疏）LF图像，其中由于大的视差，大部分遮挡区域在其他视图中可见。在本文中，我们扩展LF-DeOcc在更具挑战性的数据集，密集采样（密集）LF图像，这是由基于微透镜的便携式LF相机。由于密集LF图像的小视差范围，大多数背景区域在任何视图中都不可见。为了在两个LF数据集中应用LF-DeOcc，我们提出了一个框架ISTY，它被定义并分为三个角色：（1）提取LF特征，（2）定义遮挡，（3）修补遮挡区域。通过将框架按照角色划分为三个专门的组件，可以更容易地进行开发和分析。此外，一个可解释的中间表示，遮挡掩模，可以在所提出的框架中获得。遮挡遮罩对于模型的综合分析和通过操纵遮罩的其他应用程序非常有用。在实验中，定性和定量的结果表明，所提出的框架优于国家的最先进的LF-DeOcc方法在稀疏和密集的LF数据集。
2023-01-16 cs.CV
Learning Dynamic Interpolation for Extremely Sparse Light Fields with Wide Baselines
City University of Hong Kong（香港城市大学）
本文解决了从宽基线稀疏采样光场重建稠密光场的问题，提出了一种可学习的模型，即动态插值，以代替常用的几何扭曲操作。具体来说，与输入视图之间的几何关系估计，我们首先构建一个轻量级的神经网络动态学习权值插值相邻像素从输入视图独立合成每个像素的新的视图。与几何变形操作中采用的固定和内容无关的权重相比，学习的插值权重隐含地包含源视图和新视图之间的对应关系，并适应于不同的图像内容信息。然后，我们恢复独立合成的像素之间的空间相关性的每个新的视图通过参考输入视图使用基于几何的空间细化模块。我们还约束的角度之间的相关性的新的意见，通过一个取向的LF结构损失。在宽基线LF数据集上的实验结果表明，与现有方法相比，重建的LF具有更高的PSNR/SSIM，并且更好地保留了LF视差结构。源代码可在https://github.com/MantangGuo/DI4SLF上公开获得。
2021-08-18 cs.CV
Light Forcing: Accelerating Autoregressive Video Diffusion via Sparse Attention
Nanjing University of Posts and Telecommunications（南京邮电大学）
针对自回归视频生成模型中注意力二次复杂度问题，提出首个稀疏注意力方案Light Forcing，通过块感知增长机制和分层稀疏注意力实现质量和效率提升。
2026-08-04 cs.CV
DRST: Deep Residual Shearlet Transform for Densely Sampled Light Field Reconstruction
Tampere University（坦佩雷大学）；Kiel University（基尔大学）
基于Shearlet变换的基于图像绘制（IBR）方法是实现密集采样光场（DSLF）重建的最有效方法之一。基于ST的DSLF重建通常依赖于剪切波域的对极平面图像（EPI）稀疏正则化的迭代阈值算法，涉及图像域和剪切波域之间的数十次变换，这些变换通常是耗时的。为了克服这一局限性，本文提出了一种新的基于学习的ST方法，称为深度残差剪切波变换（DRST）。具体而言，对于输入稀疏采样EPI，DRST采用深度全卷积神经网络（CNN）来预测剪切波域中剪切波系数的残差，以便在图像域中重建密集采样EPI。DRST网络仅通过利用精心设计的掩模在合成稀疏采样光场（SSLF）数据上进行训练。在具有不同中等差异范围（8 - 16像素）的三个具有挑战性的真实世界光场评估数据集上的实验结果表明，所提出的基于学习的DRST方法优于用于DSLF重建的非基于学习的ST方法。此外，DRST至少提供了ST的2.4倍加速。
2020-03-19 cs.CV cs.MM eess.IV
Light Field Compression with Disparity Guided Sparse Coding based on Structural Key Views
Nanyang Technological University（南洋理工大学）；City University of Hong Kong（香港城市大学）
最近的成像技术正在迅速发展，以采样更丰富和更身临其境的3D世界的表示。基于微透镜阵列的光场（LF）相机是新兴技术之一。为了记录光线的方向性信息，低频图像与空间维度相近的传统二维图像相比，需要更大的存储空间和传输带宽，低频数据的压缩成为其应用的重要组成部分。在本文中，我们提出了一种LF编解码器，充分利用LF子视图之间的内在几何形状，首先近似LF与视差引导稀疏编码的透视移位光场字典。稀疏编码仅基于几个优化的结构关键视图（SKV）;然而，可以从编码系数恢复整个LF。通过保持编码器和解码器之间的近似相同，仅需要将非关键视图、视差图和SKV的残差压缩到比特流中。提出了一种优化的SKV选择方法，使得大部分LF空间信息可以被保留。为了实现最佳的字典效率，LF被划分为几个编码区域（CR），在其上单独进行重建。在LF基准数据集上进行了实验和比较，结果表明，与高效视频编码（HEVC）相比，所提出的SC-SKV编解码器在率失真性能和视觉质量方面都产生了令人信服的压缩结果：平均实现了47.87%的BD速率降低和1.59 dB的BD-PSNR提高，特别是在低比特率场景下，最多可提高4 dB。
2017-05-10 cs.CV
Unsupervised Learning of Depth Estimation and Visual Odometry for Sparse Light Field Cameras
School of Aerospace, Mechanical and Mechatronic Engineering, The University of Sydney（悉尼大学航空航天、机械与机电工程学院）；Sydney Institute for Robotics and Intelligent Systems（悉尼机器人与智能系统研究院）
虽然出现了令人兴奋的多种新型成像设备，可以大大提高机器人的感知能力，但校准和解释这些相机的挑战限制了它们在机器人领域的应用。在这项工作中，我们概括了技术，从无监督学习，让机器人自主解释新类型的相机。我们考虑新兴的稀疏光场（LF）相机，其捕获描述穿过平面的光线的集合的4D LF函数的子集。我们介绍了一个广义的稀疏LF编码，允许无监督学习的里程和深度。我们证明了所提出的方法优于单目和传统的技术处理4D图像，产生更准确的里程计和深度图，并提供这些与度量尺度。我们期望我们的技术推广到广泛的LF和稀疏LF相机，并使无人监督的重新校准，以应对在机器人的生命周期内相机行为的变化。这项工作代表了在机器人应用中简化新型成像设备集成的第一步。
2021-03-21 cs.CV cs.RO
Blind Image Inpainting with Sparse Directional Filter Dictionaries for Lightweight CNNs
University of Stuttgart（斯图加特大学）；University of Houston（休斯顿大学）
近年来，基于深度学习架构的盲修复算法表现出了显着的性能，通常在图像质量和运行时间方面都优于基于模型的方法。然而，神经网络策略通常缺乏理论解释，这与基于模型的方法的基础理论形成对比。在这项工作中，我们充分利用这两种方法的优点，将理论上建立的概念，从变换域方法和稀疏近似到基于CNN的方法，用于盲图像修补。为此，我们提出了一种学习卷积核的新策略，该策略应用了一个专门设计的滤波器字典，其元素与可训练权重线性组合。数值实验证明了这种方法的竞争力。我们的研究结果表明，与传统的CNN相比，修复质量不仅有所提高，而且在轻量级网络设计中的网络收敛速度也明显加快。
2022-05-13 cs.CV math.RT
Combining Visual Saliency Methods and Sparse Keypoint Annotations to Providently Detect Vehicles at Night
Dr. Ing. h.c. F. Porsche AG（保时捷股份公司）；Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）；NEC Laboratories Europe GmbH（NEC欧洲实验室有限公司）；Leibniz University Hannover（汉诺威莱布尼茨大学）
在夜间对其他道路使用者进行有效的检测，有可能提高道路安全。为此，人类直观地使用视觉提示，例如其他道路使用者发出的光锥和光反射，以便能够在早期阶段对迎面而来的交通做出反应。这种行为可以由计算机视觉方法通过基于由车辆前灯引起的发射光反射来预测车辆的外观来模仿。由于当前的目标检测算法主要基于检测经由边界框注释的直接可见的目标，因此没有尖锐边界的光反射的检测和注释是具有挑战性的。出于这个原因，发布了广泛的开源数据集PVDN（Provident Vehicle Detection at Night），其中包括通过关键点注释的光反射的夜间交通场景。在本文中，我们探讨了基于显着性的方法来创建不同的对象表示的PVDN数据集的视觉显着性和稀疏的关键点注释的基础上的潜力。为此，我们扩展了布尔地图显着性的一般思想，考虑到稀疏的关键点注释的人类对上下文感知的方法。我们表明，这种方法允许自动推导不同的对象表示，如二进制地图或边界框，以便检测模型可以在不同的注释变体上进行训练，并且可以从不同的角度解决在夜间检测车辆的问题。有了这些，我们提供了更强大的工具和方法来研究在夜间车辆实际可见之前检测车辆的问题。
2022-09-27 cs.CV
Blind Time-of-Flight Imaging: Sparse Deconvolution on the Continuum with Unknown Kernels
Imperial College London（帝国理工学院）
该研究提出一种无需核校准的盲ToF成像技术，利用Strang-Fix条件构建连续域稀疏超分辨率模型，通过交替最小化优化恢复场景，性能接近已知核方法，适用于多类ToF成像场景。
2024-10-31 cs.CV cs.IT eess.IV
Compressive Imaging and Characterization of Sparse Light Deflection Maps
Université catholique de Louvain（鲁汶天主教大学）；Lambda-X（Lambda-X公司）
入射在均匀折射率的透明物体上的光线经历偏转，其唯一地表征物体的表面几何形状。与表面上的每个点相关联的是偏转图（或频谱），其描述了各个方向上的偏转模式。本文提出了一种新的方法，有效地获取和重建稀疏偏转频谱引起的光滑物体表面。为此，我们在纹影偏转仪的特定实现中利用压缩感知（CS）的框架，即，一种光学系统，其提供具有可编程空间光调制图案的偏转光谱的线性测量。我们根据扩频CS的原理设计了这些调制模式，以减少观测量。我们的设备的能力，同时观察的偏转光谱上的一个密集的离散化的对象表面是相关的多测量矢量（MMV）模型。该方案允许我们估计噪声功率和仪器点扩展函数。我们制定的频谱重建任务作为一个线性逆问题的求解正则化的分析稀疏事先使用平移不变的小波框架。我们的研究结果表明，使用CS为基础的方法进行偏折成像的模拟数据和实验偏折数据的能力和优势。最后，本文提出了我们的方法的扩展，展示了我们如何可以提取的主要偏转方向在每个点的对象表面从几个压缩测量，而不需要任何昂贵的重建程序。这种压缩特性，然后证实了简单的平凸和多焦点眼内透镜的实验结果，研究作为对象的点定位的函数的主偏转的演变。
2015-07-14 cs.CV
Towards High Performance Video Object Detection for Mobiles
Microsoft Research Asia（微软亚洲研究院）
尽管最近在桌面GPU上的视频目标检测取得了成功，但其架构对于移动设备来说仍然太重。稀疏特征传播和多帧特征聚合的关键原理是否适用于非常有限的计算资源也不清楚。在本文中，我们提出了一个轻量级的网络架构的视频目标检测的手机。轻量级图像目标检测器应用于稀疏关键帧。一个非常小的网络，光流，被设计用于建立跨帧的对应关系。设计了一个流引导的GRU模块来有效地聚合关键帧上的特征。对于非关键帧，执行稀疏特征传播。整个网络可以端到端地进行训练。所提出的系统在移动设备上以25.6 fps的速度实现60.2%的mAP分数（例如，华为Mate 8）。
2018-04-16 cs.CV
HIMOSA: Efficient Remote Sensing Image Super-Resolution with Hierarchical Mixture of Sparse Attention
Wuhan University（武汉大学）
HIMOSA通过层次混合稀疏注意力机制，实现高效遥感图像超分辨率，兼顾性能与计算效率。
2025-11-29 cs.AI cs.CV
Physics Informed Neural Fields for Smoke Reconstruction with Sparse Data
Max Planck Institute for Informatics, SIC（马克斯·普朗克信息学研究所SIC）；Institute of Software Chinese Academy of Sciences（中国科学院软件研究所）；Technical University of Munich（慕尼黑工业大学）
针对稀疏多视角RGB视频高保真流体重建难题，提出结合Navier-Stokes方程物理先验与神经辐射场的端到端方法，通过分层增长、正则化及预训练流体模型，实现未知光照与障碍物下的高质量动态流体重建。
2022-06-14 cs.CV cs.GR cs.LG
Generalized Neighborhood Attention: Multi-dimensional Sparse Attention at the Speed of Light
Georgia Tech（佐治亚理工学院）；NVIDIA（英伟达）；UIUC（伊利诺伊大学厄巴纳-香槟分校）
本文提出广义邻域注意力（GNA），统一多种稀疏注意力模式，并基于Blackwell架构的FMHA内核实现，在FP16下达到1.3 petaFLOPs/s，且无需微调即可为生成模型带来28%-46%的端到端加速。
2025-04-23 cs.AI cs.CV cs.LG
