Joint Blind Motion Deblurring and Depth Estimation of Light Field
Seoul National University（首尔大学）；Inha University（仁荷大学）
从单个光场中去除摄像机运动模糊是一个具有挑战性的任务，因为它是高度不适定的逆问题。当模糊核由于场景深度变化和高阶相机运动而在空间上变化时，问题变得更糟。在本文中，我们提出了一种新的算法来估计所有的模糊模型变量联合，包括潜在的子孔径图像，相机运动，和场景深度从模糊的4D光场。利用光场的多视图性质通过利用强深度线索和多视图模糊观察来减轻优化的逆性质。在任意6自由度摄像机运动和场景深度不受约束的情况下，该联合估计方法同时实现了高质量的光场去模糊和深度估计。对真实和合成的模糊光场进行了大量的实验，实验结果表明，该算法优于现有的光场去模糊和深度估计方法。
2018-06-14 cs.CV
Light Source Estimation with Analytical Path-tracing
University of Colorado, Boulder（科罗拉多大学博尔德分校）
提出了一种基于解析推导的路径追踪公式的RGB-D相机重建场景中光源估计的新算法。我们的算法跟踪重建的场景与自定义的路径跟踪器，并计算光学原理的光传输方程的解析导数。然后，这些导数用于执行梯度下降，最小化一个或多个捕获的参考图像与使用光源的环境映射参数化的当前照明估计的渲染之间的光度误差。我们表明，我们的方法建模的所有光源作为点在无限接近灯位于现场附近的惊人的准确性。由于导数的解析公式，对解决方案的优化大大加快。我们使用真实和合成数据来验证我们的算法。
2017-01-15 cs.CV
EMLight: Lighting Estimation via Spherical Distribution Approximation
Nanyang Technological University（南洋理工大学）；Alibaba DAMO Academy（阿里巴巴达摩院）；Beijing University of Posts and Telecommunications（北京邮电大学）
从单个图像中估计光照是3D渲染中的关键，并且它在计算机视觉和计算机图形学研究领域中得到了广泛的研究。另一方面，现有的作品估计照明回归光参数或生成照明地图，往往难以优化或往往产生不准确的预测。我们提出了Earth Mover Light（EMLight），这是一个照明估计框架，它利用回归网络和神经投影仪进行精确的照明估计。我们将光照图分解为球面光分布、光强度和环境项，并将光照估计定义为三个光照分量的参数回归任务。受地球移动器距离的启发，我们设计了一种新的球形移动器的损耗，该损耗通过利用球形分布的微妙之处来引导精确地回归光分布参数。在预测的球面分布、光强和环境项的指导下，神经投影仪合成具有真实光频率的全景照明图。大量的实验表明，EMLight实现了准确的照明估计和生成的重光照在3D对象嵌入表现出优越的可扩展性和保真度相比，国家的最先进的方法。
2020-12-21 cs.CV
Occlusion-Model Guided Anti-Occlusion Depth Estimation in Light Field
University of Delaware（特拉华大学）
遮挡是深度估计中最具挑战性的问题之一。以往的工作对光场中的单遮挡物遮挡进行了建模，取得了较好的效果，但对于多遮挡物遮挡的情况，仍然难以获得准确的遮挡深度。本文研究了光场中的多遮挡模型，推导了空间和角度空间的遮挡一致性，并以此为指导为每个候选遮挡点选择未遮挡视图。然后建立一个抗遮挡的能量函数来正则化深度图。在公共光场数据集上的实验结果表明，与其他光场深度估计算法相比，该算法具有明显的优势，尤其是在多遮挡区域。
2016-08-18 cs.CV
View-consistent 4D Light Field Depth Estimation
Brown University（布朗大学）；KAIST（韩国科学技术院）
我们提出了一种方法来计算深度图的每个子孔径图像在一个光场中的视图一致的方式。先前的光场深度估计方法通常仅针对中心子孔径视图估计深度图，并且难以进行视图一致性估计。我们的方法通过EPI精确定义深度边缘，然后在中心视图内空间扩散这些边缘。然后，这些深度估计以遮挡感知的方式传播到所有其他视图。最后，通过EPI空间的扩散来完成去遮挡区域。我们的方法相对于其他经典方法和基于深度学习的方法有效地运行，并且在合成和真实世界光场上实现了具有竞争力的定量度量和定性性能
2020-09-09 cs.CV
Neural Light Field Estimation for Street Scenes with Differentiable Virtual Object Insertion
NVIDIA（英伟达）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）
我们认为具有挑战性的问题，室外照明估计的目标逼真的虚拟物体插入到照片。现有的室外光照估计工作通常将场景光照简化为环境地图，无法捕捉室外场景中空间变化的光照效果。在这项工作中，我们提出了一种神经方法，可以从单个图像中估计5D HDR光场，以及一种可微分的对象插入公式，可以通过基于图像的损失进行端到端训练，从而鼓励真实感。具体来说，我们设计了一个混合照明表示量身定制的户外场景，其中包含一个HDR天空圆顶，处理极端强度的太阳，和体积照明表示，模型周围场景的空间变化的外观。通过估计的照明，我们的阴影感知对象插入是完全可区分的，这使得对合成图像的对抗训练能够为照明预测提供额外的监督信号。我们的实验表明，我们的混合照明表示比现有的室外照明估计方法更有效。我们进一步展示了我们在自动驾驶应用中插入AR对象的好处，当我们在增强数据上训练时，我们获得了3D对象检测器的性能增益。
2022-08-19 cs.CV
Neural LightRig: Unlocking Accurate Object Normal and Material Estimation with Multi-Light Diffusion
Shanghai AI Lab（上海人工智能实验室）；Nanyang Technological University（南洋理工大学）；The Chinese University of Hong Kong（香港中文大学）
针对单张图像物体几何与材质恢复的欠约束难题，提出Neural LightRig框架，借助多光照扩散模型生成的多光照图像辅助，训练U-Net主干的G-buffer模型，实现更精准的表面法线与PBR材质估计。
2024-12-12 cs.CV
Learning Multi-modal Information for Robust Light Field Depth Estimation
Dalian University of Technology（大连理工大学）
光场数据已被证明有助于深度估计任务。大多数基于学习的方法从EPI或子孔径图像估计深度信息，而较少的方法关注焦点堆栈。现有的基于学习的来自焦点堆栈的深度估计方法由于散焦模糊而导致次优性能。在本文中，我们提出了一种多模态学习方法的鲁棒光场深度估计。我们首先通过设计一个上下文推理单元来挖掘内部的空间相关性，该单元分别从焦点堆栈和RGB图像中提取全面的上下文信息。然后，我们整合的上下文信息，利用注意力引导跨模态融合模块。大量的实验表明，我们的方法实现了优越的性能比现有的代表性方法在两个光场数据集。此外，在手机数据集上的视觉结果表明，我们的方法可以广泛应用于日常生活中。
2021-04-13 cs.CV
Rapid Light Field Depth Estimation with Semi-Global Matching
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI））；University of Kaiserslautern（凯泽斯劳滕大学）
光场深度估计算法的运行时间通常很长。该评估基于现有方法的计算复杂性和所涉及的大量数据。我们的工作的目的是开发一个简单而快速的算法，精确的深度计算。在这种情况下，我们提出了一种方法，其中涉及半全局匹配的光场图像的处理。它是在比较像素与基本上有界的光场空间中的不同度量的对应关系时形成的。我们表明，我们的方法是适合于快速生产的一个适当的结果，在各种光场配置
2019-07-31 cs.CV
Towards Multimodal Depth Estimation from Light Fields
Heidelberg University（海德堡大学）
光场应用，特别是光场绘制和深度估计，近年来发展迅速。虽然现有技术的光场渲染方法很好地处理半透明和反射对象，但深度估计方法要么完全忽略这些情况，要么仅提供较弱的性能。我们认为，这是由于目前的方法只考虑一个单一的“真实”的深度，即使在不同深度的多个对象有助于一个像素的颜色。基于输出后验深度分布而不是单个估计的简单想法，我们开发并探索了几种不同的基于深度学习的方法来解决这个问题。此外，我们贡献了第一个“多模态光场深度数据集”，它包含了对像素颜色有贡献的所有对象的深度。这使我们能够监督多模态深度预测，并通过测量预测后验的KL散度来验证所有方法。通过我们全面的分析和新的数据集，我们的目标是开始一个新的深度估计研究，克服这个领域的一些长期存在的局限性。
2022-04-01 cs.CV
Fast and Efficient Depth Map Estimation from Light Fields
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI））；University of Kaiserslautern（凯泽斯劳滕大学）；Department Augmented Vision, German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI）增强视觉部门）；Department of Computer Science, University of Kaiserslautern（凯泽斯劳滕大学计算机科学系）
本文提出了一种基于CPU的单线程算法，在相对较短的时间内从光场图像中估计深度图。该方法改进了现有的四维光场空间直线拟合原理。线拟合基于使用核密度估计的颜色值比较。我们的方法利用半全球匹配（SGM）的结果与普查变换为基础的匹配成本作为边界初始化的直线拟合。它显著减少了找到最佳深度匹配所需的计算。与建议的评价指标，我们表明，所提出的方法是适用于有效的深度图估计，同时保持较低的计算时间相比，其他。
2018-05-01 cs.CV
Single Image Dehazing through Improved Atmospheric Light Estimation
Kyushu Institute of Technology（九州工业大学）；Chinese Academy of Sciences（中国科学院）；Shanghai Jiaotong University（上海交通大学）；Yamaguchi University（山口大学）
室外视觉图像对比度增强是智能汽车辅助运输系统的重要内容。在恶劣天气条件下捕获的视频帧通常以能见度差为特征。大多数图像去雾算法考虑使用硬阈值假设或用户输入来估计大气光。然而，最亮的像素有时是车灯或路灯等物体，特别是对于智能汽车辅助运输系统。简单地使用硬阈值可能导致错误的估计。在本文中，我们提出了一个单一的优化图像去雾方法，有效地估计大气光，并通过半全局自适应滤波器的估计，以消除烟雾。增强后的图像具有噪声小、暗区曝光好的特点。处理后的图像的纹理和边缘也得到了显著的增强。
2015-10-05 cs.CV
Fast Disparity Estimation from a Single Compressed Light Field Measurement
Universidad Industrial de Santander（桑坦德工业大学）
来自光场的丰富的空间和角度信息允许多种视差估计方法的发展。然而，光场的获取需要高的存储和处理成本，限制了该技术在实际应用中的使用。为了克服这些缺点，压缩传感（CS）理论已经允许开发光学架构以获取单个编码光场测量。使用需要高计算成本的优化算法或深度神经网络来解码该测量。用于从压缩光场进行视差估计的传统方法需要首先恢复整个光场，然后进行后处理步骤，因此需要长时间。相比之下，这项工作提出了一个快速的视差估计从一个单一的压缩测量，通过省略在传统的方法所需的恢复步骤。具体地，我们提出联合优化用于获取单个编码光场快照的光学架构和用于估计视差图的卷积神经网络（CNN）。实验上，所提出的方法估计的视差图与使用深度学习方法重建的光场获得的视差图相当。此外，该方法在训练和推理方面比从重建光场估计视差的最佳方法快20倍。
2022-09-22 cs.CV eess.IV
Depth Estimation Through a Generative Model of Light Field Synthesis
Max-Planck-Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
光场摄影捕获丰富的结构信息，其可以促进许多传统的图像处理和计算机视觉任务。这种努力的一个关键因素是准确的深度恢复。我们提出了一个新的框架，允许恢复高质量的连续深度图从光场数据。为此，我们提出了一个生成模型的光场，是完全参数化的相应的深度图。该模型允许集成强大的正则化技术，例如非局部均值先验，从而促进准确的深度图估计。
2016-09-06 cs.CV cs.GR
DepthDark: Robust Monocular Depth Estimation for Low-Light Environments
Hangzhou Dianzi University（杭州电子科技大学）；Intel Labs China（英特尔中国实验室）
针对低光照单目深度估计缺乏数据与微调策略的问题，本文提出 DepthDark，通过夜间成像模拟生成成对数据集，并结合光照引导与多尺度融合的 PEFT 方法，在两个夜间基准上达到 SOTA。
2025-07-24 cs.AI cs.CV
Real-time Light Estimation and Neural Soft Shadows for AR Indoor Scenarios
RheinMain University of Applied Sciences（莱茵美因应用科学大学）；Johannes Gutenberg University Mainz（美因茨约翰内斯·古腾堡大学）
提出一种面向实时AR室内场景的管线，通过深度神经网络进行光照估计并利用小型MLP生成依赖光照方向的神经软阴影纹理，在移动设备上实现了高真实感且实时的虚拟物体嵌入。
2023-08-03 cs.CV cs.GR
Spatiotemporally Consistent Indoor Lighting Estimation with Diffusion Priors
Columbia University（哥伦比亚大学）
提出一种利用2D扩散先验优化MLP表示连续光场的方法，通过微调图像扩散模型联合修复多个铬球预测光照，实现野外视频的时空一致室内光照估计。
2025-08-11 cs.AI cs.CV cs.GR
