Lighting, Reflectance and Geometry Estimation from 360$^{\circ}$ Panoramic Stereo
Australian National University（澳大利亚国立大学）；Data61-CSIRO Australia（澳大利亚联邦科学与工业研究组织Data61）；Osaka University（大阪大学）
我们提出了一种方法，用于估计高清晰度的空间变化的照明，反射率和几何的场景从360 $^{\circ}$立体图像。我们的模型利用360 $^{\circ}$输入观察整个场景的几何细节，然后联合估计场景的物理约束的属性。我们首先重建一个近场环境光，用于预测场景内任何3D位置的照明。然后，我们提出了一个深度学习模型，利用立体信息来推断反射率和表面法线。最后，我们将照明和几何之间的物理约束，以改善场景的反射率。定量和定性的实验表明，我们的方法，受益于360 $^{\circ}$观察的场景，优于现有的国家的最先进的方法，使更多的增强现实应用，如镜像对象插入。
2021-04-20 cs.CV
Shape and Reflectance Reconstruction in Uncontrolled Environments by Differentiable Rendering
King Abdullah University of Science and Technology（沙特阿拉伯国王阿卜杜拉科技大学）
同时重建的几何形状和反射特性在不受控制的环境仍然是一个具有挑战性的问题。在本文中，我们提出了一种有效的方法来重建场景的三维几何形状和反射率从多视角摄影使用传统的手持相机。我们的方法自动建立一个虚拟场景中的微分渲染系统，大致匹配现实世界的场景参数，通过最小化光度目标交替和随机优化。与最佳的场景参数的评估，照片真实感的新的意见，然后可以生成各种视角和距离，我们的方法。我们提出了复杂的几何形状和各种反射类型的捕获场景的结果。我们的方法也表现出优越的性能相比，国家的最先进的替代品在新的视图合成视觉和定量。
2022-02-28 cs.CV
LR-SGS: Robust LiDAR-Reflectance-Guided Salient Gaussian Splatting for Self-Driving Scene Reconstruction
Waymo Open Dataset（Waymo开放数据集）
提出一种结合激光雷达反射率与RGB的显著高斯表示方法，通过结构感知初始化、反射率校准和联合对齐，实现高效鲁棒的自动驾驶场景重建。
2026-05-26 cs.AI cs.CV
BRF-GS: Hyperspectral Bidirectional Reflectance Factor Modeling and Image Generation Based on 3D Gaussian Splatting
Aerospace Information Research Institute, Chinese Academy of Sciences（中国科学院空天信息创新研究院）；International Research Center of Big Data for Sustainable Development Goals（国际可持续发展大数据研究中心）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出基于3D高斯溅射的BRF-GS框架，通过混合BRDF驱动核、两阶段训练策略等，结合AIR-BRF数据集，实现高保真的BRF建模与多角度高光谱反射率图像生成。
2026-09-01 cs.CV
Friction from Reflectance: Deep Reflectance Codes for Predicting Physical Surface Properties from One-Shot In-Field Reflectance
Rutgers University（罗格斯大学）；Drexel University（德雷塞尔大学）
图像是视觉算法的标准输入，但一次性内场反射测量为识别和场景理解创造了新的机会。在这项工作中，我们解决的问题是什么反射率可以揭示材料在一个有效的方式。我们超越了识别和标记的问题，并提出这样的问题：什么内在的物理性质的表面可以估计使用反射率？我们介绍了一个框架，使预测的实际摩擦值的表面使用一杆反射率测量。这项工作是第一个基于视觉的摩擦估计。我们开发了一种新的表示反射光盘，捕捉部分BRDF测量瞬间。我们的深度反射编码方法将CNN特征和Fisher向量池与最佳二进制嵌入相结合，以创建具有足够鉴别能力并具有重要照明和空间不变性特性的编码。实验结果表明，反射率可以发挥新的作用，在破译现实世界的场景的基本物理属性。
2016-07-10 cs.CV
NeRV: Neural Reflectance and Visibility Fields for Relighting and View Synthesis
Google Research（谷歌研究院）；MIT（麻省理工学院）；UC Berkeley（加州大学伯克利分校）
我们提出了一种方法，作为输入的一组图像的场景照明的不受约束的已知照明，并产生作为输出的3D表示，可以渲染从任意照明条件下的新的观点。我们的方法表示的场景作为一个连续的体积函数参数化为MLP的输入是一个3D的位置，其输出是在该输入位置的以下场景属性：体积密度，表面法线，材料参数，在任何方向上的第一个表面相交的距离，以及在任何方向上的外部环境的可见性。总之，这些使我们能够在任意照明下渲染物体的新视图，包括间接照明效果。预测的可见性和表面相交场对于我们的模型在训练期间模拟直接和间接照明的能力至关重要，因为先前工作使用的蛮力技术对于具有单个灯光的受控设置之外的照明条件是难以处理的。我们的方法优于其他方法恢复reightable三维场景表示，并在复杂的照明设置，已构成了重大挑战，以前的工作表现良好。
2020-12-07 cs.CV cs.GR
S$^3$-NeRF: Neural Reflectance Field from Shading and Shadow under a Single Viewpoint
The University of Hong Kong（香港大学）；Nanyang Technological University（南洋理工大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
在本文中，我们解决了“双重问题”的多视图场景重建，我们利用不同的点光源下捕获的单视图图像学习神经场景表示。不同于现有的只能恢复2.5D场景表示的单视图方法（即，可见表面的法线/深度图），我们的方法学习神经反射场来表示场景的3D几何形状和BRDF。而不是依赖于多视图的照片一致性，我们的方法利用两个信息丰富的单目线索，即阴影和阴影，推断场景几何。在多个具有挑战性的数据集上的实验表明，我们的方法能够从单视图图像中恢复场景的3D几何形状，包括可见和不可见部分。由于神经反射场表示，我们的方法是强大的深度不连续性。它支持新视图合成和重新照明等应用程序。我们的代码和模型可以在https://ywq.github.io/s3nerf上找到。
2022-10-17 cs.AI cs.CV
VT-Intrinsic: Physics-Based Decomposition of Reflectance and Shading using a Single Visible-Thermal Image Pair
Carnegie Mellon University（卡内基梅隆大学）
本文提出一种基于物理的单可见-热图像对的反光与阴影分解方法，通过利用热成像仪检测吸收的热量来关联可见和热图像的强度顺序，实现反光和阴影的自监督恢复。
2026-03-30 cs.CV
VQ-NeRF: Neural Reflectance Decomposition and Editing with Vector Quantization
City University of Hong Kong（香港城市大学）
本文提出VQ-NeRF，通过双分支网络结合矢量量化将三维场景材质离散化，实现低噪声材质分解与交互式离散材质编辑。
2023-11-11 cs.CV cs.GR cs.LG
NeuralMPS: Non-Lambertian Multispectral Photometric Stereo via Spectral Reflectance Decomposition
Peking University（北京大学）；Osaka University（大阪大学）；The Chinese University of Hong Kong Shenzhen（香港中文大学（深圳））
多光谱光度立体（MPS）的目的是从多光谱照明下拍摄的单次多光谱图像中恢复场景的表面法线。现有的MPS方法采用朗伯反射率模型，使问题易于处理，但它极大地限制了其应用到现实世界的表面。在本文中，我们提出了一个名为NeuralMPS的深度神经网络来解决一般非朗伯光谱反射率下的MPS问题。具体地说，我们提出了一个光谱反射分解（SRD）模型来解开光谱反射的几何成分和光谱成分。通过这种分解，我们证明了具有均匀材料的表面的MPS问题等价于具有未知光强度的传统光度立体（CPS）。通过这种方式，NeuralMPS通过充分研究非朗伯CPS方法来降低非朗伯MPS问题的难度。在合成场景和真实场景上的实验证明了该方法的有效性。
2022-11-28 cs.CV
Multi-view Gradient Consistency for SVBRDF Estimation of Complex Scenes under Natural Illumination
Concordia University（康考迪亚大学）
本文提出了一种方法，用于估计自然光照下观察到的复杂场景的空间变化的表面反射率。与以前的方法相比，我们的过程不限于在受控照明条件下查看的场景，但可以处理在任意照明条件下查看的复杂室内和室外场景。端到端过程使用场景的几何模型和从任意视点和各种自然照明条件下捕获场景表面的若干图像。我们开发了一个微分路径跟踪器，利用最小二乘保角映射处理多个不相交的对象出现在场景中。我们遵循两步优化过程，并引入多视图梯度一致性损失，这导致图像重建损失的30-50%的改善，并且与其他最先进的方法相比，可以进一步实现漫射和镜面BRDF的更好的解纠缠。世界室内和室外场景的图像在野外，并表明我们可以产生逼真的渲染与实际图像一致，使用估计的反射特性。实验表明，我们的技术产生的任意室外场景具有复杂的几何逼真的结果。源代码可在https://gitlab.com/alen.joy/multi-view-gradient-consistency-for-svbrdf-estimation-of-complex-scenes-under-natural-illumination上公开获取
2022-02-25 cs.CV cs.GR
NeRD: Neural Reflectance Decomposition from Image Collections
University of Tübingen（图宾根大学）；Google Research（谷歌研究院）
在计算机视觉和图形学中，将场景分解成其形状、反射率和光照度是一个具有挑战性但重要的问题。当照明不是实验室条件下的单个光源而是不受约束的环境照明时，这个问题本质上更具挑战性。虽然最近的工作已经表明，隐式表示可以用来模拟一个对象的辐射场，这些技术中的大多数只能使视图合成，而不是重新照明。此外，评估这些辐射场是资源和时间密集型的。我们提出了一种神经反射分解（NeRD）技术，使用基于物理的渲染的场景分解成空间变化的BRDF材料属性。与现有技术相比，我们的输入图像可以在不同的照明条件下捕获。此外，我们还提出了技术，将学习到的反射体积转换成一个relightable纹理网格，使快速实时渲染与新的照明。我们证明了所提出的方法的潜力与实验合成和真实的数据集，在那里我们能够获得高品质的relihtable 3D资产的图像集。数据集和代码可在项目页面上获得：https://markboss.me/publication/2021-nerd/
2021-08-26 cs.CV cs.GR cs.LG
Hyperspectral Intrinsic Decomposition: Joint Recovery of Reflectance and Photometric Components for Non-Lambertian Scenes
School of Electronic Science and Engineering, Nanjing University（南京大学电子科学与工程学院）
研究非朗伯场景下高光谱内在分解问题，重新审视双色反射模型，提出统一反演范式及双尺度分解方案，建立CITE数据集和PISG，通过实验证明方法在多样场景下的有效性和鲁棒性。
2026-07-29 cs.CV
InvRGB+L: Inverse Rendering of Complex Scenes with Unified Color and LiDAR Reflectance Modeling
AIR, Tsinghua University（清华大學人工智能研究院）；University of Illinois Urbana-Champaign（伊利諾伊大學厄巴納-香檳分校）；BAAI（北斗衛星應用研究院）
本文提出 InvRGB+L，利用基于物理的 LiDAR 着色模型与 RGB-LiDAR 材质一致性损失，从单段 RGB+LiDAR 序列重建大型可重光照动态场景，并在城市逆向渲染与 LiDAR 模拟上超越现有方法。
2025-07-23 cs.CV
Neural Projection Mapping Using Reflectance Fields
Tel-Aviv University（特拉维夫大学）；Osaka University（大阪大学）
本研究提出基于神经反射场的神经投影映射方法，通过可微投影纹理与三网络架构，实现免繁琐校准的投影仪校准、光照编辑及多类投影应用，在多项任务上取得优于基线的效果。
2023-06-11 cs.CV
Shape, Illumination, and Reflectance from Shading
University of California at Berkeley（加州大学伯克利分校）
计算机视觉中的一个基本问题是从世界的平面2D图像推断世界的内在3D结构。用于恢复场景属性（例如形状、反射率或照明）的传统方法依赖于对同一场景的多个观测来过度约束问题。相比之下，从单个图像中恢复这些相同的属性似乎几乎是不可能的-有无数的形状，油漆和灯光可以精确地复制单个图像。然而，某些解释比其他解释更有可能：表面往往是光滑的，油漆往往是均匀的，照明往往是自然的。因此，我们提出这个问题作为一个统计推断，并定义一个优化问题，搜索一个单一的图像的 * 最可能 * 的解释。我们的技术可以被看作是一个超集的几个经典的计算机视觉问题（形状从阴影，内在的图像，颜色恒定性，照明估计等），并优于所有以前的解决方案，这些组成的问题。
2020-10-07 cs.CV
Efficient Multi-View Inverse Rendering Using a Hybrid Differentiable Rendering Method
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology (BNRist)（北京国家信息科学与技术研究中心（BNRist））；Cardiff University（卡迪夫大学）
针对多视图逆渲染难题，提出结合近似与物理可微渲染的两阶段混合方法，在保证重建质量的同时提升了效率。
2023-08-19 cs.CV cs.GR
A Lightweight Approach for On-the-Fly Reflectance Estimation
NVIDIA Research（英伟达研究院）；Technical University of Munich（慕尼黑工业大学）
表面反射率估计（BRDF）是完整三维场景获取的关键技术之一，在虚拟现实、增强现实和人机交互等领域有着广泛的应用。以前的工作要么局限于受控环境（\eg角度反射计，光台，或多摄像头圆顶），或需要形状，照明和反射率的联合优化，这往往是计算太昂贵（\eg小时的运行时间）的实时应用。此外，大多数现有工作需要HDR图像作为输入，这进一步使捕获过程复杂化。在本文中，我们提出了一种轻量级的方法，直接从$8$位RGB图像的实时表面反射率估计，它可以很容易地插入到任何三维扫描和融合系统与商品RGBD传感器。我们的方法是基于学习的，每个场景的推理时间小于90ms，模型大小小于340K字节。我们提出了两种新的网络架构，HemiCNN和Grouplet，以处理未知光照下来自多个视点的非结构化输入数据。我们进一步设计了一个损失函数来解决颜色恒定性和尺度模糊性问题。此外，我们还创建了一个大型的合成数据集SynBRDF，它包括在各种自然光照下使用基于物理的光线跟踪器渲染的$500$ K RGBD图像，涵盖$5000$材料和$5000$形状。SynBRDF是第一个用于反射率估计的大规模基准数据集。在合成数据和真实数据上的实验表明，该方法能有效地恢复地表反射率，在非受控环境下的反射率估计性能优于已有的方法。
2018-04-02 cs.CV
Towards Building an RGBD-M Scanner
我们提出了一种便携式设备来捕获室内场景的形状和反射率。我们的设备由一个Kinect、一个红外摄像头和几个红外LED组成，允许用户以类似于他/她使用单个Kinect扫描的方式获取数据。场景几何体由KinectFusion重建。为了从不完整和噪声观测中估计反射率，通过我们的材料分割传播算法识别相同材料的3D顶点。然后将这些顶点处的BRDF观测合并为材质的更完整、更准确的BRDF。我们的设备的有效性是由真实世界场景的质量结果证明。
2016-03-12 cs.CV
Inverse Rendering for Complex Indoor Scenes: Shape, Spatially-Varying Lighting and SVBRDF from a Single Image
University of California, San Diego（加州大学圣地亚哥分校）；Adobe Research（Adobe研究院）
我们提出了一个室内场景的深度逆绘制框架。从一个单一的RGB图像的任意室内场景，我们创建一个完整的场景重建，估计形状，空间变化的照明，和空间变化的，非朗伯表面反射。为了训练这个网络，我们用真实世界的材料来增强SUCG室内场景数据集，并使用快速，高质量，基于物理的GPU渲染器来渲染它们，以创建一个大规模的，逼真的室内数据集。我们的逆渲染网络结合了物理见解-包括空间变化的球形高斯照明表示，用于模拟场景外观的可微分渲染层，用于迭代优化预测的级联结构和用于优化的双边求解器-使我们能够共同推理形状，照明和反射率。实验表明，我们的框架优于以前的方法，估计个别场景组件，这也使各种新的应用增强现实，如照片级真实感的对象插入和材料编辑。代码和数据将公开提供。
2019-05-07 cs.CV
Joint Learning of Intrinsic Images and Semantic Segmentation
University of Amsterdam（阿姆斯特丹大学）；DUniversum B.V.（3DUniversum B.V.）
当成像条件存在变化时，室外场景的语义分割是有问题的。众所周知，反射率对各种照明效果都是不变的。因此，使用反射图像进行语义分割任务可能是有利的。此外，不仅分割可以受益于反射率，而且分割可以用于反射率计算。因此，在本文中，任务的语义分割和内在的图像分解被认为是一个联合的过程，通过探索他们的相互关系，在联合的方式。为此，我们提出了一种有监督的端到端CNN架构，以联合学习内在图像分解和语义分割。我们分析了共同解决这两个问题的好处。此外，提出了新的级联CNN架构的内在分割和分割的内在作为单一的任务。此外，还创建了一个35 K自然环境合成图像的数据集，其中包含相应的阴影和阴影（内在），以及分配给每个对象/场景的语义标签（分割）。实验表明，联合学习的内在图像分解和语义分割是有益的自然场景的任务。数据集和模型可在https://ivi.fnwi.uva.nl/cv/intrinseg上获得
2018-07-31 cs.CV
NeRS: Neural Reflectance Surfaces for Sparse-view 3D Reconstruction in the Wild
Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所）
近年来，通过神经辐射场（NeRF）推广的探索几何和辐射的隐式表示的工作有了巨大的增长。这些作品基本上是基于一个（隐式）体积表示的占用，使他们能够模拟不同的场景结构，包括半透明的对象和大气遮蔽。但是，由于绝大多数真实世界的场景是由定义良好的表面，我们引入了一个表面模拟这样的隐式模型称为神经反射表面（NeRS）。NeRS学习一个封闭曲面的神经形状表示，该曲面与球体同构，保证了水密重建。更重要的是，表面参数化允许NeRS学习（神经）双向表面反射函数（BRDF），将视图相关外观分解为环境照明，漫射颜色（漫射）和镜面反射。“最后，我们不是在合成场景或实验室控制的捕获上说明我们的结果，而是从在线市场收集了一个新的多视图图像数据集，用于销售商品。这样的“野外”多视图图像集带来了许多挑战，包括具有未知/粗略相机估计的少量视图。我们证明了基于表面的神经重建能够从这些数据中学习，优于基于体积的神经渲染重建。我们希望NeRS作为构建可扩展的，高质量的真实世界形状，材料和照明库的第一步。包含代码和视频可视化的项目页面可以在https://jasonyzhang.com/ners上找到。
2021-10-18 cs.CV cs.LG
GLOW: Global Illumination-Aware Inverse Rendering of Indoor Scenes Captured with Dynamic Co-Located Light & Camera
University of Maryland（马里兰大学）；University of North Carolina（北卡罗来纳大学）
GLOW通过整合神经隐式表面表示和动态辐射缓存，有效处理动态共定位光相机下的全局光照问题，提升材料反射率估计性能。
2026-09-24 cs.CV
Beyond NeRF Underwater: Learning Neural Reflectance Fields for True Color Correction of Marine Imagery
Carnegie Mellon University（卡内基梅隆大学）
针对水下图像颜色失真问题，提出联合学习介质效应与神经反射场的算法，集成到体积渲染框架中，在合成和真实数据上优于现有方法，恢复真实颜色。
2023-08-30 cs.CV cs.RO
Towards High Fidelity Monocular Face Reconstruction with Rich Reflectance using Self-supervised Learning and Ray Tracing
InterDigital R&I（InterDigital研究与创研中心）；Max-Planck-Institute for Informatics（马克斯·普朗克信息学研究所）
在一般光照条件下，从单目图像中进行鲁棒的人脸重建是一个挑战。将深度神经网络编码器与可微分渲染相结合的方法为几何、照明和反射率的非常快速的单目重建开辟了道路。它们也可以以自我监督的方式进行训练，以提高鲁棒性和更好的泛化能力。然而，他们的可微光栅化的图像形成模型，以及底层场景参数化，限制了他们的朗伯面反射率和穷人的形状细节。最近，光线追踪被引入用于在经典的基于优化的框架内进行单眼面部重建，并且能够实现最先进的结果。然而，基于优化的方法本质上是缓慢的，缺乏鲁棒性。在本文中，我们建立在上述方法的工作，并提出了一种新的方法，大大提高了重建质量和鲁棒性，在一般场景。我们通过将CNN编码器与可微光线跟踪器相结合来实现这一点，这使我们能够基于更先进的个性化漫射和镜面反射，更复杂的照明模型和自阴影的合理表示来重建。这使得即使在照明困难的场景中，也可以在形状，外观和照明的重建质量方面取得巨大进步。一致的人脸属性重建，我们的方法导致实际应用，如重光照和自我阴影去除。与现有的方法相比，我们的结果表明该方法具有更高的准确性和有效性。
2021-11-22 cs.CV cs.LG
Unsupervised Learning for Intrinsic Image Decomposition from a Single Image
Beihang University（北京航空航天大学）；Tencent（腾讯）；University of Amsterdam（阿姆斯特丹大学）；Peng Cheng Laboratory（鹏城实验室）
本征图像分解是计算机视觉中的一项基本任务，其目的是推断场景的反射率和阴影。它具有挑战性，因为它需要将一个图像分为两个分量。为了解决这个问题，传统的方法引入各种先验来约束解决方案，但性能有限。同时，该问题通常通过监督学习方法来解决，这实际上不是理想的解决方案，因为获得大规模一般自然场景的地面真实反射率和阴影是具有挑战性的，甚至是不可能的。在本文中，我们提出了一种新的无监督的内在图像分解框架，它既不依赖于标记的训练数据，也不依赖于手工制作的先验。相反，它直接从无监督和不相关的数据中学习反射率和阴影的潜在特征。为了实现这一点，我们探索反射率和阴影，域不变的内容约束和物理约束之间的独立性。合成和真实图像数据集上的大量实验表明，所提出的方法具有一贯的优越性能。
2020-05-26 cs.CV
NeRFactor: Neural Factorization of Shape and Reflectance Under an Unknown Illumination
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Google Research（谷歌研究院）
我们解决的问题，恢复的形状和空间变化的反射率的对象从多视图图像（和他们的相机构成）的一个未知的照明条件下照射的对象。这使得可以在任意环境照明和编辑对象的材质属性下渲染对象的新视图。我们称之为神经辐射因子分解（NeRFactor）的方法的关键是将对象的神经辐射场（NeRF）[Mildenhall et al. 2020]表示的体积几何体提取为表面表示，然后在求解空间变化的反射率和环境照明的同时共同细化几何体。具体来说，NeRFactor在没有任何监督的情况下恢复表面法线，光线可见性，反射率和双向反射分布函数（BRDF）的3D神经场，仅使用重新渲染损失，简单的平滑度先验和从真实世界BRDF测量中学习的数据驱动的BRDF先验。通过显式地建模光的可见性，NeRFactor能够将阴影从阴影中分离出来，并在任意照明条件下合成逼真的软阴影或硬阴影。NeRFactor能够恢复令人信服的3D模型，用于在合成和真实场景的这种具有挑战性和约束不足的捕获设置中进行自由视点重新照明。定性和定量实验表明，NeRFactor在各种任务中的表现优于经典和基于深度学习的最新技术水平。我们的视频、代码和数据可在people.csail.mit.edu/xiuming/projects/nerfactor/上获得。
2021-12-22 cs.CV cs.GR
MicroSDF: Microfacet-Driven Hybrid Neural SDFs for Mixed-Reflectance Surface Reconstruction
Sun Yat-sen University（中山大学）；Orbbec Inc.（奥比中光科技有限公司）；The University of Western Australia（西澳大学）
提出基于微表面理论的神经隐式框架MicroSDF，通过三项核心创新实现反射与非反射表面的高保真重建，在多个数据集上达到最先进性能，为物理基神经重建开辟新方向。
2026-10-14 cs.CV
A Dictionary-based Approach for Estimating Shape and Spatially-Varying Reflectance
Carnegie Mellon University（卡内基梅隆大学）
我们提出了一种技术，用于估计物体的形状和反射率在其表面法线和空间变化的BRDF。我们假设在固定的视点和变化的光照条件下，即在光度立体的设置下，获得物体的多个图像。假设在每个像素的BRDF在于在一个已知的BRDF字典的非负跨度，我们推导出一个每像素的表面正常和BRDF估计框架，既不需要迭代优化技术，也不需要仔细的初始化，这两者都是地方病的最先进的技术。我们展示了我们的技术在广泛的模拟和真实场景中的性能，我们优于竞争对手的方法。
2015-03-14 cs.CV
Neural Reflectance Fields for Radio-Frequency Ray Tracing
Shanghai Jiao Tong University（上海交通大学）；East China Branch of State Grid Corporation of China（中国国家电网有限公司华东分部）
本文提出可微 RF 光线追踪框架与神经反射率场，利用信号路径损耗学习各入射角的材料反射系数，以更少训练数据提升接收机功率预测精度。
2025-01-05 cs.CV cs.LG cs.NI
Retinex-MEF: Retinex-based Glare Effects Aware Unsupervised Multi-Exposure Image Fusion
Xi’an Jiaotong University（西安交通大学）；ETH Zürich（苏黎世联邦理工学院）；Northwestern Polytechnical University（西北工业大学）
针对传统Retinex框架下多曝光图像融合无法充分建模过曝光眩光的问题，提出无监督可控的Retinex-MEF方法，通过共享反射率分解与双向损失缓解眩光，结合可控融合准则实现灵活曝光调整，经多类数据集验证性能优异。
2025-08-01 cs.CV
Neural-PIL: Neural Pre-Integrated Lighting for Reflectance Decomposition
University of Tübingen（图宾根大学）；Google Research（谷歌研究院）；Microsoft Azure AI（微软 Azure AI）
将场景分解为其形状、反射率和光照是计算机视觉和图形学中的一个基本问题。NeRF等神经方法在视图合成方面取得了显着的成功，但没有显式地执行分解，而是专门对辐射（反射率和照明的乘积）进行操作。NeRF的扩展，如NeRD，可以执行分解，但难以准确地恢复详细的照明，从而大大限制了现实主义。我们提出了一种新的反射率分解网络，可以估计形状，BRDF，和每图像照明给定一组在不同的照明下捕获的对象图像。我们的关键技术是一种新的照明集成网络称为神经PIL，取代了昂贵的照明积分操作在渲染与一个简单的网络查询。此外，我们还使用新型平滑流形自动编码器学习BRDF和照明表示的深度低维先验。与现有技术相比，我们的分解可以产生相当好的BRDF和光估计，从而实现更准确的新颖视图合成和重新照明。项目页面：https://markboss.me/publication/2021-neural-pil/
2021-10-27 cs.CV cs.GR cs.LG
SIGNet: Intrinsic Image Decomposition by a Semantic and Invariant Gradient Driven Network for Indoor Scenes
University of Amsterdam（阿姆斯特丹大学）；DUniversum（3D宇宙公司）；AkzoNobel（阿克苏诺贝尔）
内在图像分解（IID）是一个欠约束问题。因此，传统的方法使用手工制作的先验来约束问题。然而，当处理复杂场景时，这些约束是有限的。基于深度学习的方法通过数据隐式地学习这些约束，但它们通常会受到数据集偏差的影响（由于无法包括所有可能的成像条件）。在本文中，提出了两者的结合。组件特定的先验知识，如语义和不变特征，利用获得语义和物理上合理的反射率转换。这些转换用于引导具有隐式同质性约束的渐进式CNN来分解反射和着色图。进行消融研究，表明使用所提出的先验和渐进式CNN提高了IID性能。在我们提出的数据集和标准真实世界IIW数据集上的最新性能表明了所提出方法的有效性。代码可在https://github.com/Morpheus3000/SIGNet上获得
2022-08-30 cs.CV
Non-Lambertian Surface Shape and Reflectance Reconstruction Using Concentric Multi-Spectral Light Field
University of Delaware（特拉华大学）；DGene, Inc（叠境数字科技有限公司）；Louisiana State University（路易斯安那州立大学）；US Army Research Laboratory（美国陆军研究实验室）；ShanghaiTech University（上海科技大学）
由于非朗伯曲面依赖于视点的外观使得传统的光照一致性约束失效，因此恢复非朗伯曲面的形状和反射率仍然是计算机视觉中的一个具有挑战性的问题。在本文中，我们介绍了一种新的同心多光谱光场（CMSLF）的设计，是能够恢复的形状和反射率的表面与任意材料在一个镜头。我们的CMSLF系统由排列在同心圆上的相机阵列组成，每个环捕获特定的光谱。再加上多光谱环形灯，我们能够通过光谱复用在Single Shot中采样视点和照明变化。我们进一步表明，这样的同心相机/光设置的结果在一个独特的模式的镜面变化的意见，使强大的深度估计。我们制定了一个基于物理的反射模型CMSLF估计深度和多光谱反射图，而不施加任何表面先验。大量的合成和真实实验表明，我们的方法优于最先进的基于光场的技术，特别是在非朗伯场景。
2019-04-19 cs.CV
Spectral Reflectance Estimation Using Projector with Unknown Spectral Power Distribution
Tokyo Institute of Technology（东京工业大学）
使用RGB相机和投影仪的基于照明的多光谱成像系统是获取用于估计场景的光谱反射率信息的多光谱观测的最实用和低成本的系统之一。然而，现有的基于投影仪的系统假设每个投影仪基色的光谱功率分布（SPD）是已知的，这需要诸如光谱仪的附加设备来测量SPD。在本文中，我们提出了一种方法，用于联合估计光谱反射率和SPD的每个投影仪主要。除了采用一个共同的光谱反射率的基础模型，我们模型的投影机的SPD的低维模型，使用新收集的投影机的SPD数据库获得的基函数。然后，光谱反射率和投影仪的SPD交替估计的基础模型的基础上。我们的实验表明，我们的联合估计使用不同数量的投影照明的性能和调查的光谱反射率估计使用投影仪与未知的SPD的潜力。
2020-12-18 cs.CV eess.IV
Neural Reflectance for Shape Recovery with Shadow Handling
Australian National University（澳大利亚国立大学）；Data61 CSIRO（联邦科学与工业研究组织数据61研究所）
本文的目的是恢复未知的，非朗伯的，可能是空间变化的表面材料的场景的形状。当物体的形状非常复杂并且阴影投射在表面上时，任务变得非常具有挑战性。为了克服这些挑战，我们提出了一个基于坐标的深度MLP（多层感知器）参数化未知的3D形状和未知的反射率在每个表面点。该网络能够利用表面上观察到的光度变化和阴影，并恢复表面形状和一般的非朗伯反射率。我们明确预测投射阴影，减轻这些阴影区域上可能的伪影，从而提高估计精度。我们的框架是完全自我监督的，从这个意义上说，它既不需要地面实况形状，也不需要BRDF。对真实图像的测试表明，我们的方法优于现有的方法的显着保证金。由于MLP网络的小尺寸，我们的方法比以前基于CNN的方法快一个数量级。
2022-03-24 cs.CV
Spatial Polarization Multiplexing: Single-Shot Invisible Shape and Reflectance Recovery
Graduate School of Informatics, Kyoto University（京都大学信息学研究生院）
本文提出了一种基于空间偏振复用的单次曝光方法，用于隐形地恢复静态或动态可变形物体的形状和反射率。
2026-01-06 cs.CV
Learning to Separate Multiple Illuminants in a Single Image
Carnegie Mellon University（卡内基梅隆大学）；Washington University in St. Louis（圣路易斯华盛顿大学）；Adobe Research（Adobe研究院）
我们提出了一种方法来分离下两个光源，具有不同的光谱，到两个图像对应的场景下的每个单独的光源的外观下捕获的单个图像。我们通过训练一个深度神经网络来预测场景的每像素反射率色度，我们将其与之前基于闪光/无闪光图像的分离算法结合使用，以产生最终的两个输出图像。我们设计我们的反射色度网络和损失函数，结合直观的物理成像。我们表明，这导致显着更好的性能比其他单图像技术，甚至接近两个图像分离方法的质量。
2019-04-22 cs.CV
Steady-state Non-Line-of-Sight Imaging
Algolux；University of Toronto（多伦多大学）；Université de Montréal（蒙特利尔大学）；Princeton University（普林斯顿大学）
传统的强度相机恢复相机的直接视线中的对象，而被遮挡的场景部分被认为是在这个过程中丢失。非视线成像（NLOS）的目的是恢复这些被遮挡的物体，通过分析他们在可见场景表面的间接反射。现有的NLOS方法基于它们的传播时间暂时探测到非混合光路的间接光传输，这要求具有低光子效率、高成本和机械扫描的专门仪器。我们离开时间探测和演示稳态NLOS成像使用传统的强度传感器和连续照明。而不是假设完美的各向同性散射，所提出的方法利用隐藏表面反射的方向性，导致在不同的照明的间接反射的（小）空间变化。为了解决这些变化的形状依赖性，我们提出了一个可训练的架构，学习只使用合成训练数据映射漫反射到场景反射率。依靠消费者的彩色图像传感器，具有高填充因子，高量子效率和低读出噪声，我们展示了高保真彩色NLOS成像的场景配置之前处理的皮秒时间分辨率。
2019-04-07 cs.CV
Self-calibrating Deep Photometric Stereo Networks
The University of Hong Kong（香港大学）；University of Oxford（牛津大学）；Peking University（北京大学）；Peng Cheng Laboratory（鹏程实验室）；Osaka University（大阪大学）
提出了一种基于深度学习的非朗伯场景的无标定光度立体方法。与以前的方法，严重依赖于特定的反射率和光源分布的假设，我们的方法是能够确定的形状和光的方向与未知的任意反射率下观察到的未知变化的光的方向的场景。为了实现这一目标，我们提出了一种称为SDPS-Net的两阶段深度学习架构，该架构可以有效地利用中间监督，从而与单阶段模型相比降低了学习难度。在合成和真实数据集上的实验表明，我们提出的方法显着优于以前的未校准的光度立体方法。
2019-03-18 cs.CV
Non-Line-of-Sight Reconstruction using Efficient Transient Rendering
University of Bonn（波恩大学）
能够看到超越直接视线的东西是一个有趣的前景，可以使各种重要的应用受益。最近的工作表明，间接漫射光的时间分辨测量包含有价值的信息，用于重建位于拐角处的物体的形状和反射特性。在本文中，我们介绍了一种新的重建方案，通过设计，产生的解决方案，是符合国家的最先进的基于物理的渲染。我们的方法结合了一个有效的前向模型（时间分辨三反射间接光传输的自定义渲染器）与优化框架，以分析合成的意义上重建物体几何形状。我们评估我们的算法的各种合成和实验输入数据，并表明，它优雅地处理不合作的场景，高水平的噪声或非漫反射材料反射。
2019-10-23 cs.CV cs.GR
NRF-GS: Neural Residual Fields for Expressive and Compact Gaussian Splatting
University of Siegen（锡根大学）
NRF-GS通过共享神经残差场替代逐溅射球谐函数，增强方向反射建模，在减少50%高斯数量的同时提升渲染质量与高频细节。
2026-10-30 cs.CV cs.GR
Neural Inverse Rendering for General Reflectance Photometric Stereo
RIKEN Center for Advanced Intelligence Project (RIKEN AIP)（理化学研究所先进智能项目中心（RIKEN AIP））
我们提出了一种新的卷积神经网络架构的光度立体（Woodham，1980年），从不同的照明下观察到的多个图像恢复3D物体表面法线的问题。尽管它在计算机视觉中有着悠久的历史，但对于具有未知一般反射特性（BRDF）的表面，该问题仍然显示出根本性的挑战。利用深度神经网络来学习复杂的反射率模型是有希望的，但由于难以获得用于训练的准确的基础事实以及难以设计对输入图像的排列不变的网络，因此在这方面的研究非常有限。为了解决这些挑战，我们提出了一个基于物理学的无监督学习框架，其中表面法线和BRDF由网络预测并输入渲染方程以合成观察到的图像。在测试过程中，通过最小化观察图像和合成图像之间的重建损失来优化网络权重。因此，我们的学习过程不需要地面真实法线，甚至不需要外部图像的预训练。我们的方法是实现国家的最先进的性能在一个具有挑战性的现实世界的场景基准。
2018-05-29 cs.CV cs.NE
NeRF for Outdoor Scene Relighting
MPI for Informatics（马克斯·普朗克信息学研究所）；Saarland University（萨尔大学）；University of York（约克大学）
从照片中对户外场景进行逼真的编辑需要对图像形成过程有深刻的理解，并对场景的几何形状、反射率和照明进行准确的估计。然后，可以执行照明的精细操纵，同时保持场景的亮度和几何形状不变。我们提出NeRF-OSR，即，第一种基于神经辐射场的室外场景重照明方法。与现有技术相比，我们的技术允许仅使用在不受控制的设置中拍摄的户外照片的集合来同时编辑场景照明和相机视点两者。此外，它能够直接控制场景照明，如通过球面谐波模型定义的。为了进行评估，我们收集了一个新的基准数据集，这些数据集包含了从多个角度和不同时间拍摄的几个户外场地。每一次，一个360度的环境地图与颜色校准棋盘一起被捕获，以允许对真实数据进行准确的数值评估。与SoTA的比较表明，NeRF-OSR能够以更高的质量和逼真的自阴影再现实现可控照明和视点编辑。我们的方法和数据集可在https://4dqv.mpi-inf.mpg.de/NeRF-OSR/上公开获得。
2022-07-21 cs.CV cs.GR
Auto White-Balance Correction for Mixed-Illuminant Scenes
York University（约克大学）；Vector Institute（向量研究所）
自动白平衡（AWB）是由相机硬件在捕获时应用，以消除由场景照明引起的偏色。绝大多数的白平衡算法都假设场景是由单一光源照明的;然而，真实场景通常具有混合照明条件。本文提出了一种有效的AWB方法来处理这种混合光源的场景。一个独特的偏离传统的AWB，我们的方法不需要光源估计，是在传统的相机AWB模块的情况下。相反，我们的方法建议使用一小部分预定义的白平衡设置来渲染捕获的场景。给定这组渲染图像，我们的方法学习估计用于混合渲染图像以生成最终校正图像的加权图。通过大量的实验，我们表明，该方法产生有前途的结果相比，其他替代品的单一和混合光源场景的颜色校正。我们的源代码和训练模型可以在https://github.com/mahmoudnafifi/mixedillWB上找到。
2021-10-08 cs.CV
Unified Low-Light Traffic Image Enhancement via Multi-Stage Illumination Recovery and Adaptive Noise Suppression
Korea University（高丽大学）
本文提出了一种无监督的多阶段深度学习框架，通过照明恢复和噪声抑制提升低光照交通图像质量，提高自动驾驶等系统的感知可靠性。
2025-11-18 cs.AI cs.CV
MLI-NeRF: Multi-Light Intrinsic-Aware Neural Radiance Fields
Universitat Autonoma de Barcelona（巴塞罗那自治大学）；Stony Brook University（石溪大学）
针对现有内在图像分解方法依赖统计先验、难以处理真实场景的问题，提出MLI-NeRF，通过整合多光源信息生成反射率和阴影伪标签，引导分解，在合成与真实数据上优于现有方法，且可用于图像编辑。
2024-11-26 cs.CV
Guidance and Evaluation: Semantic-Aware Image Inpainting for Mixed Scenes
Wuhan University（武汉大学）；National Institute of Informatics（国立信息学研究所）；National Tsing Hua University（清华大学）
为混合场景完成具有正确结构和合理纹理的损坏图像仍然是一个难以捉摸的挑战。由于在一个损坏的图像的混合场景中的丢失的洞往往包含各种语义信息，传统的两阶段的方法利用结构信息往往会导致不可靠的结构预测和模糊的图像纹理生成的问题。在本文中，我们提出了一个语义指导和评估网络（SGE-Net）迭代更新的结构先验知识和修复后的图像中的语义提取和图像修补的相互作用的框架。它利用语义分割地图作为指导，在每个尺度的修复，根据位置相关的推断重新评估，并相应地，推断不佳的区域在随后的尺度细化。对混合场景的真实图像进行的大量实验表明，我们所提出的方法在清晰的边界和逼真的纹理方面优于最先进的方法。
2020-07-10 cs.CV
A Dark Flash Normal Camera
Washington University in St. Louis（圣路易斯华盛顿大学）；Google Research（谷歌研究院）
休闲摄影通常在不受控制的照明下进行，这可能导致低质量的图像并降低下游处理的性能。我们认为，尽管这些条件下，通过补充可用的可见光照明与一个单一的近红外（NIR）光源和相机，一个所谓的“暗闪光图像”的场景描绘的人的表面法线和反射率图估计的问题。我们的方法需要作为输入的一个单一的颜色图像下捕获的任意可见光照明和一个单一的黑暗的闪光灯下捕获的控制前光近红外照明在同一个视点，并计算一个正常的地图，漫反射地图，和镜面强度图的场景。由于地面实况正常和反射率的面孔地图是难以捕捉的，我们提出了一种新的训练技术，结合信息从两个现成的和互补的来源：立体声深度信号和光度阴影线索。我们评估我们的方法在一系列的主题和照明条件，并描述了两个应用程序：优化立体几何和填充图像中的阴影。
2020-12-11 cs.CV
Shape and Spatially-Varying Reflectance Estimation From Virtual Exemplars
Carnegie Mellon University（卡内基梅隆大学）
本文讨论的问题，估计物体的形状，表现出空间变化的反射率。我们假设在固定的视点和变化的照明下获得对象的多个图像，即，光度立体的设置。我们的技术的核心是假设每个像素的BRDF位于一个已知的BRDF字典的非负跨度中，这个假设使得每个像素的表面法线和BRDF估计框架在计算上易于处理，并且不需要初始化，尽管潜在的问题是非凸的。我们的估计框架首先使用基于示例的光度立体的变体来解决每个像素处的表面法线。我们设计了一个有效的多尺度搜索策略来估计表面法线，随后，使用梯度下降过程来细化这个估计。给定表面法线估计，我们通过将每个像素处的BRDF约束在BRDF字典的范围内来求解空间变化的BRDF，在这里，我们使用额外的先验来进一步正则化解决方案。我们的方法的一个特点是，它不需要迭代优化技术，也不需要仔细的初始化，这两者都是最先进的技术所特有的。我们展示了我们的技术在广泛的模拟和真实场景中的性能，我们优于竞争对手的方法。
2016-09-21 cs.CV
SS-SfP:Neural Inverse Rendering for Self Supervised Shape from (Mixed) Polarization
Indian Institute of Technology Gandhinagar（印度理工学院甘地纳格尔分校）
针对现有偏振形状恢复方法的多重限制，提出自监督逆渲染框架SS-SfP，通过分离混合偏振的反射分量、同步估计形状与折射率，在两类数据集上实现了无监督的高精度3D形状恢复。
2024-07-12 cs.CV
Multi-layer Visualization for Medical Mixed Reality
Technische Universität München（慕尼黑工业大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
医疗混合现实帮助外科医生将术中数据与手术场景视频结合起来。然而，手术场景和解剖目标经常被手术器械和外科医生的手遮挡。在本文中，据我们所知，我们提出了一种多层可视化的医疗混合现实解决方案，巧妙地提高了外科医生的可视化，使透明的遮挡对象。作为示例场景，我们使用增强现实C形臂荧光镜设备。使用基于体积的图像合成技术和安装在C形臂上的立体RGBD摄像机创建视频图像，通过修改基于体积的图像合成技术，从该合成视图中恢复被手术器械和外科医生的手遮挡的背景。因此，遮挡对象可以在手术场景上变得透明。不同的增强现实场景的实验结果表明，手术场景的背景可以恢复45%-99%之间的准确度。总之，我们提出了一种医学混合现实解决方案，为遮挡手术场景的对象提供透明度。这项工作也是体积场在减少现实/混合现实中的首次应用。
2017-09-26 cs.CV
Int3DNet: Scene-Motion Cross Attention Network for 3D Intention Prediction in Mixed Reality
KAIST UVR Lab（韩国国立科学技术院（KAIST）虚拟现实实验室）；KAIST KI-ITC PMRC（韩国国立科学技术院（KAIST）信息与通信技术中心PMRC）；KAIST KI-ITC ARRC（韩国国立科学技术院（KAIST）信息与通信技术中心ARRC）；KAIST UVR Lab and KAIST KI-ITC ARRC（韩国国立科学技术院（KAIST）虚拟现实实验室和信息与通信技术中心ARRC）
Int3DNet通过结合稀疏运动提示和场景点云的交叉注意力融合，直接预测3D意图区域，无需显式物体级感知，在混合现实环境中实现鲁棒的人意图预测。
2026-03-09 cs.CV
Mixed Diffusion for 3D Indoor Scene Synthesis
Massachusetts Institute of Technology（麻省理工学院）；Google, Inc（谷歌公司）；Technische Universität München（慕尼黑工业大学）
针对平面图条件下3D室内场景合成需同时处理离散类别与连续几何的难题，本文提出混合离散-连续扩散模型MiDiffusion，通过结构化破坏提升去噪效果，并在3D-FRONT上超越现有方法。
2024-12-09 cs.CV
