Face Reflectance and Geometry Modeling via Differentiable Ray Tracing
InterDigital；Technicolor（特艺集团）
我们提出了一种新的策略来自动重建3D人脸从单目图像明确解开面部几何形状（姿态，身份和表达），反射（漫反射和镜面反射），和自我阴影。场景灯光被建模为一个虚拟的灯光舞台，预先定向的区域灯光与可微蒙特卡罗光线追踪结合使用，以优化场景和面部参数。正确地解开自阴影和镜面反射参数，我们不仅可以获得强大的面部几何重建，而且还获得显式控制这些参数，与几个实际应用。我们可以通过精确的自阴影来改变面部表情，或者重新照亮场景，并获得精确的镜面反射和其他几个参数组合。
2019-10-03 cs.CV cs.GR
Deep Reflectance Maps
KU Leuven（鲁汶大学）；University College London（伦敦大学学院）；MPI Informatics（马克斯·普朗克信息学研究所）；University of Amsterdam（阿姆斯特丹大学）
撤销的图像形成过程，因此分解外观到其内在的属性是一项具有挑战性的任务，由于约束不足的性质，这个逆问题。虽然在仅从图像推断形状、材料和照明方面取得了重大进展，但在无约束环境中的进展仍然有限。我们提出了一种卷积神经架构来估计自然光照条件下镜面材料的反射率图。我们在端到端学习公式中实现了这一点，该公式直接从图像本身预测反射率图。我们展示了如何通过在间接方案中促进额外的监督来提高估计，该间接方案首先预测表面方向，然后通过基于学习的稀疏数据插值来预测反射率图。为了分析这项艰巨任务的性能，我们提出了一个新的挑战，镜面材料形状与复杂的照明（SMASHING）使用合成和真实图像。此外，我们展示了我们的方法的应用程序的一系列基于图像的编辑任务的真实图像。
2015-11-13 cs.CV
Recovering Facial Reflectance and Geometry from Multi-view Images
Nanyang Technological University（南洋理工大学）
虽然从图像中估计人脸的形状和漫反射率的问题已经得到了广泛的研究，但在恢复镜面反射率方面所做的工作相对较少。本文提出了一种轻量级的解决方案，用于推断真实感人脸反射率和几何形状。我们的系统处理视频流从一个主题的两个视图，并输出两个漫反射和镜面反射图，以及表面法线的矢量图。采用基于模型的优化方法，包括多视角人脸模型拟合、人脸反射率推断和人脸几何细化三个阶段。我们的方法是基于一种新的配方上建立的3D变形模型（3DMM）表示3D纹理面结合的Blinn-Phong反射模型。它的优点是只需要一个简单的设置与两个视频流，并能够利用漫反射和镜面反射之间的相互作用，跨多个视图以及时间帧。因此，该方法能够可靠地恢复高保真面部反射率和几何形状，这有助于各种应用，例如在新的视点或照明条件下生成逼真的面部图像。
2019-11-27 cs.CV cs.GR
On the Regularising Levenberg-Marquardt Method for Blinn-Phong Photometric Stereo
Brandenburg University of Technology Cottbus-Senftenberg（科特布斯-森夫滕贝格勃兰登堡工业大学）
光度立体是指使用来自同一视点的若干输入图像的关于照明和反射的信息来计算对象的3D形状的过程。最常用的反射率模型是朗伯反射率，但这不包括输入图像中的镜面高光。在本文中，我们考虑所产生的非线性优化问题时，采用Blinn-Phong反射建模镜面效果。为此，我们专注于正规化Levenberg-Marquardt计划。我们展示了如何推导出一个明确的界限，提供信息的方法的收敛可靠性取决于给定的数据，我们展示了如何获得实验证据的数值正确性的迭代利用Scherzer条件。作为本文核心的理论研究得到了一些真实图像测试的补充。
2023-02-17 cs.CV
Monocular Reconstruction of Neural Face Reflectance Fields
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；POSTECH（浦项科技大学）；University College London（伦敦大学学院）；IST Austria（奥地利科学技术研究所）；Harvard University（哈佛大学）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
面部的反射场描述了负责复杂照明效果的反射特性，包括漫反射、镜面反射、相互反射和自阴影。大多数现有的方法估计从单目图像的面部反射率假设面部是漫反射的，很少有方法添加镜面反射分量。这仍然遗漏了反射率的重要感知方面，因为高阶全局光照效果和自阴影未被建模。我们提出了一种新的神经表示的面部反射率，我们可以估计所有组件的反射率负责从一个单一的单目图像的最终外观。我们的神经表示不是使用参数模型分别对反射率的每个分量进行建模，而是允许我们在几何变形不变空间中生成一组基本的面部，由输入光方向，视点和面部几何参数化。我们学习仅从单目图像重建面部的反射场，该图像可用于在任何光线条件下从任何视点渲染面部。我们的方法是在灯光舞台训练数据集上训练的，该数据集从8个视点捕获了300个在150种光线条件下照明的人。我们表明，我们的方法优于现有的单目反射重建方法，由于更好地捕捉物理premitives，如次表面散射，镜面反射，自阴影和其他高阶效应的照相现实主义。
2020-08-24 cs.CV cs.GR cs.LG
Deep 3D Capture: Geometry and Reflectance from Sparse Multi-View Images
UC San Diego（加州大学圣地亚哥分校）；Adobe Research（Adobe研究院）
我们引入了一种新的基于学习的方法来重建高质量的几何形状和复杂的，空间变化的BRDF的任意对象从稀疏的一组只有六个图像的宽基线相机下并置点照明。我们首先使用深度多视图立体视觉网络来估计每个视图的深度图;这些深度图用于粗略地对齐不同的视图。我们提出了一种新的多视图反射率估计网络架构，该网络架构经过训练，可以从这些粗对齐的图像中提取特征，并预测每个视图的空间变化漫反射、表面法线、镜面粗糙度和镜面反射。我们通过联合优化多视图反射网络的潜在空间来实现这一点，以最大限度地减少使用我们的预测渲染的图像与输入图像之间的光度误差。虽然以前的国家的最先进的方法失败，这样的稀疏采集设置，我们证明，通过对合成和真实数据的广泛实验，我们的方法产生高质量的重建，可用于渲染逼真的图像。
2020-07-04 cs.CV cs.GR
PIR: Photometric Inverse Rendering with Shading Cues Modeling and Surface Reflectance Regularization
FNii-Shenzhen（深圳先进功能纳米与软物质研究院）；SDS, CUHKSZ（香港中文大学（深圳）数据科学学院）；Shenzhen Campus of SYSU（中山大学深圳校区）；SSE, CUHKSZ（香港中文大学（深圳）理工学院）
本文提出PIR神经逆向渲染方法，通过联合优化光源位置、可微渲染与重要性采样处理自阴影和间接光照，并利用DINO特征蒸馏正则化提升反射率分解精度，在合成与真实数据上优于现有方法。
2025-04-08 cs.CV
Photometric stereo for strong specular highlights
光度立体（PS）是计算机视觉中的一项基本技术，可以高精度地产生三维形状。PS的设置是通过使用从同一个摄像机位置但在不同照明下拍摄的静态场景的若干输入图像来定义的。绝大多数的研究，在这种3-D重建方法假设正交投影的相机模型。此外，他们主要考虑朗伯反射模型作为光在表面散射的方式。因此，从真实世界对象提供可靠的PS结果仍然是一项具有挑战性的任务。我们解决3-D重建PS使用一组更现实的假设相结合的第一次完整的Blinn-Phong反射模型和透视投影。为此，我们将比较两种不同的方法，将透视投影纳入我们的模型。在合成图像和真实图像上进行实验。请注意，我们的真实世界实验并不受益于实验室条件。结果表明，即使对于复杂的现实世界的应用，如医学内窥镜图像，其中可能包括大量的镜面高光，我们的方法的高潜力。
2017-09-05 cs.CV math.OC
S$^3$-NeRF: Neural Reflectance Field from Shading and Shadow under a Single Viewpoint
The University of Hong Kong（香港大学）；Nanyang Technological University（南洋理工大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
在本文中，我们解决了“双重问题”的多视图场景重建，我们利用不同的点光源下捕获的单视图图像学习神经场景表示。不同于现有的只能恢复2.5D场景表示的单视图方法（即，可见表面的法线/深度图），我们的方法学习神经反射场来表示场景的3D几何形状和BRDF。而不是依赖于多视图的照片一致性，我们的方法利用两个信息丰富的单目线索，即阴影和阴影，推断场景几何。在多个具有挑战性的数据集上的实验表明，我们的方法能够从单视图图像中恢复场景的3D几何形状，包括可见和不可见部分。由于神经反射场表示，我们的方法是强大的深度不连续性。它支持新视图合成和重新照明等应用程序。我们的代码和模型可以在https://ywq.github.io/s3nerf上找到。
2022-10-17 cs.AI cs.CV
Event-based Motion-Robust Accurate Shape Estimation for Mixed Reflectance Scenes
Department of Electrical Engineering, Rice University（电气工程系，里士大学）；Wyant College of Optical Sciences, University of Arizona（光学科学学院，亚利桑那大学）；Department of Electrical and Computer Engineering, Northwestern University（电气与计算机工程系，北western大学）；Department of Computer Science, Northwestern University（计算机科学系，北western大学）
本研究提出一种基于事件的新型结构光系统，结合对极约束、三角测量与偏折术，实现了混合反射场景的14Hz运动鲁棒高精度三维重建（深度误差<600μm），并支持漫反射场景250Hz超快测量。
2025-06-10 cs.CV cs.GR
GLOW: Global Illumination-Aware Inverse Rendering of Indoor Scenes Captured with Dynamic Co-Located Light & Camera
University of Maryland（马里兰大学）；University of North Carolina（北卡罗来纳大学）
GLOW通过整合神经隐式表面表示和动态辐射缓存，有效处理动态共定位光相机下的全局光照问题，提升材料反射率估计性能。
2026-09-24 cs.CV
SFDM: Robust Decomposition of Geometry and Reflectance for Realistic Face Rendering from Sparse-view Images
Nanyang Technological University（南洋理工大学）；Dalian University of Technology（大连理工大学）；SenseTime Research（商汤科技研究院）
提出两阶段SFDM，先构建通用面部模板，再结合几何-反射率交互与次表面散射细化个体模型，实现三张稀疏视图图像下的高质量人脸分解与真实感渲染。
2025-03-15 cs.CV
Spatial Polarization Multiplexing: Single-Shot Invisible Shape and Reflectance Recovery
Graduate School of Informatics, Kyoto University（京都大学信息学研究生院）
本文提出了一种基于空间偏振复用的单次曝光方法，用于隐形地恢复静态或动态可变形物体的形状和反射率。
2026-01-06 cs.CV
SSD-GS: Scattering and Shadow Decomposition for Relightable 3D Gaussian Splatting
Victoria University of Wellington（惠灵顿维多利亚大学）
SSD-GS通过分解反射率成四个组件，提升3D高斯点云在新型光照条件下的重建与真实重照明能力，尤其适用于各向异性金属和透明材料。
2026-04-14 cs.CV cs.GR
Neural Reflectance Fields for Appearance Acquisition
UC San Diego（加州大学圣迭戈分校）；Adobe Research（Adobe 研究院）；UC Berkeley（加州大学伯克利分校）
我们提出了神经反射场，一种新的深度场景表示，使用完全连接的神经网络在场景中的任何3D点编码体密度，法线和反射特性。我们将这种表示与基于物理的可微光线行进框架相结合，该框架可以在任何视点和光线下从神经反射场渲染图像。我们证明了神经反射场可以从一个简单的配置相机光设置捕获的图像中估计，并准确地模拟具有复杂几何形状和反射率的真实世界场景的外观。一旦估计，它们可以用于在新的视点和（非同位）照明条件下渲染照片级逼真的图像，并准确地再现具有挑战性的效果，如镜面反射，阴影和遮挡。这使我们能够执行高质量的视图合成和重新照明，这比以前的方法要好得多。我们还表明，我们可以组成一个真实的场景与传统的场景模型的估计神经反射场，并使用标准的蒙特卡洛渲染引擎渲染它们。因此，我们的工作使一个完整的管道，从高品质和实用的外观采集到3D场景的合成和渲染。
2020-08-16 cs.CV cs.GR
Neural Multi-View Self-Calibrated Photometric Stereo without Photometric Stereo Cues
CyberAgent, Japan（日本CyberAgent公司）
本研究提出一种神经逆渲染方法，以神经隐式场表征几何与反射率，结合感知阴影体渲染，单阶段从原始多视角图像联合优化场景参数，精度优于现有法线引导方法，可泛化至视角未对齐多光照图像并处理复杂物体。
2025-07-30 cs.CV
Radiometric Scene Decomposition: Scene Reflectance, Illumination, and Geometry from RGB-D Images
Drexel University（德雷塞尔大学）
恢复场景的辐射特性（即，反射率、照明和几何形状）是计算机视觉长期寻求的能力，其可以为广泛的应用提供宝贵的信息。从真实世界场景的外观中破译辐射成分，而不是单个孤立的对象，是特别具有挑战性的，因为它通常由具有不同材料成分的各种对象组成，这些对象表现出复杂的反射率和光相互作用，这些也是照明的一部分。我们介绍的第一种方法辐射场景分解，处理这些错综复杂的。我们使用RGB-D图像引导几何恢复，同时恢复复杂的反射率和自然光照，同时细化噪声的初始几何形状和分割成不同的材料区域的场景。最重要的是，我们处理真实世界的场景，包括多个对象的未知材料，这需要建模的空间变化复杂的反射率，自然光照，纹理，相互反射和阴影。我们系统地评估了我们的方法在合成场景中的有效性，并展示了其在现实世界场景中的应用。结果表明，丰富的辐射信息可以恢复从RGB-D图像和展示一个新的角色RGB-D传感器可以发挥一般场景理解任务。
2016-04-05 cs.CV
Shape and Material Capture at Home
University of Maryland College Park（马里兰大学学院公园分校）；University of Washington（华盛顿大学）
在本文中，我们提出了一种技术，用于估计的几何形状和反射率的对象，只使用相机，手电筒，并可选的三脚架。我们提出了一个简单的数据捕获技术，其中用户去周围的对象，用手电筒照亮它，只捕捉几个图像。我们的主要技术贡献是引入了递归神经架构，该架构可以在给定2 ^{k}* 2 ^{k}的输入图像以及2^{k-1}*2^{k-1}的来自前一步骤的估计几何形状和反射率的情况下，以2 ^{k}* 2 ^{k}的分辨率预测几何形状和反射率。这种递归架构称为RecNet，使用256 x256分辨率进行训练，但在推理过程中可以轻松地对1024 x1024图像进行操作。我们表明，我们的方法产生更准确的表面法线和反射，特别是在镜面高光和投射阴影的区域，相比以前的方法，给定三个或更少的输入图像。有关视频和代码，请访问项目网站http://dlichy.github.io/ShapeAndMaterialAtHome/。
2021-04-13 cs.CV
A Retinex-based Image Enhancement Scheme with Noise Aware Shadow-up Function
Tokyo Metropolitan University（东京都立大学）
本文提出了一种新的图像对比度增强方法的基础上的噪声感知阴影的功能和Retinex（视网膜和皮层）分解。在弱光条件下，数码相机拍摄的图像在暗区或亮区的对比度较低。这是由于成像传感器具有有限的动态范围。为此，已经提出了各种对比度增强方法。我们提出的方法可以提高图像的对比度，不仅没有过度增强，而且噪声放大。该方法基于视网膜理论将图像分解为照明层和反射层，并对照明层的亮度信息进行调整。阴影功能用于防止过度增强。建议的映射函数，通过使用噪声感知直方图设计，不仅可以提高对比度的黑暗区域，但也可以避免放大噪声，即使在强噪声环境下。
2018-11-08 cs.CV
BioFaceNet: Deep Biophysical Face Image Interpretation
University of York（约克大学）；King Saud University（沙特国王大学）
在本文中，我们提出了BioFaceNet，一个深度的CNN，它可以学习将单个人脸图像分解为生物物理参数图，漫射和镜面阴影图，以及估计场景光源的光谱功率分布和相机的光谱灵敏度。该网络包括用于估计空间图的全卷积编码器，其具有用于估计矢量的全连接分支。使用通过基于模型的解码器计算的自监督外观损失来训练网络。该任务是高度欠约束的，所以我们施加了一些基于模型的先验。皮肤光谱反射率被限制到一个生物物理模型，我们施加一个统计相机光谱灵敏度，照明光谱的物理约束，稀疏镜面反射和直接监督漫反射阴影使用一个粗糙的形状代理。我们在野外数据上显示了令人信服的定性结果，并介绍了对这一新任务进行定量评估的基准。
2019-09-13 cs.CV
Relightify: Relightable 3D Faces from a Single Image via Diffusion Models
Imperial College London（帝国理工学院）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
针对单张图像的三维人脸可重光照重建问题，提出基于扩散模型的Relightify方法，通过拼接纹理与反射率数据训练扩散先验，实现高精度BRDF重建，在纹理补全和反射率重建任务上性能更优。
2023-08-22 cs.CV
Recasting Regional Lighting for Shadow Removal
City University of Hong Kong（香港城市大学）
针对现有阴影去除方法对光照与纹理联合建模不足的问题，提出基于阴影感知分解与双边校正网络的方法，以校正光照为条件恢复纹理，在三个基准上性能超越现有SOTA，还为SRD数据集补充了像素级阴影掩膜。
2024-02-01 cs.CV
PhaSR: Generalized Image Shadow Removal with Physically Aligned Priors
National Yang Ming Chiao Tung University（国立阳明交通大学）；National Cheng Kung University（国立成功大学）
PhaSR通过双层先验对齐解决不同光照条件下阴影去除问题，结合物理对齐归一化和几何-语义校正注意力，提升单光源到多源环境的鲁棒性，实验显示其在复杂光照下表现优异。
2026-03-29 cs.CV
Color naming guided intrinsic image decomposition
Institute of Artificial Intelligence and Robotics, Xi’an Jiaotong University（西安交通大学人工智能与机器人研究所）
内在图像分解是一个严重的欠约束问题。用户交互可以帮助大大减少分解的模糊性。传统的用户交互方式是绘制涂鸦，指示具有恒定反射率或阴影的区域。然而，涂鸦的影响范围是相当有限的，所以往往需要几十涂鸦纠正整个分解，这是耗时的。在本文中，我们提出了一种有效的用户交互方式，用户只需要注释图像的颜色组成。颜色合成揭示了反射率的全局分布，因此它可以直接帮助适应整个分解。我们建立了一个生成模型的过程中，材料的反射率通过成像和颜色命名的颜色标签。我们的模型有效地融合了图像形成的物理特性和自上而下的信息，从人类的颜色感知。实验结果表明，颜色命名可以提高本征图像分解的性能，特别是在清除反射阴影和解决颜色恒常性问题。
2018-10-23 cs.CV
Colorful Diffuse Intrinsic Image Decomposition in the Wild
Simon Fraser University（西蒙菲莎大学）
本文提出一种将单张照片分解为漫反射反照率、彩色漫反射阴影和镜面反射残差的方法，通过逐步放宽单色光照和朗伯假设，实现野外彩色漫反射阴影估计，支持光照感知编辑。
2024-09-20 cs.CV
Intrinsic Decomposition of Document Images In-the-Wild
Stony Brook University（石溪大学）；Computer Vision Center（计算机视觉中心）；Universitat Autònoma de Barcelona（巴塞罗那自治大学）
自动文档内容处理受到纸张形状、不均匀和光照条件下颜色多样等造成的伪影的影响。由于需要大量的数据，对真实数据的完全监督方法是不可能的。因此，当前最先进的深度学习模型是在完全或部分合成图像上训练的。然而，文档阴影或阴影去除结果仍然受到影响，因为：（a）现有方法依赖于局部颜色统计的均匀性，这限制了它们在具有复杂文档形状和纹理的真实场景上的应用;以及（b）使用具有非现实的模拟照明条件的合成或混合数据集来训练模型。在本文中，我们解决这些问题，我们的两个主要贡献。首先，一种基于物理约束的学习方法，该方法基于固有图像形成直接估计文档反射率，该方法适用于具有挑战性的照明条件。第二，一个新的数据集，通过添加大范围的真实阴影和不同的多光源条件，明显改善了以前的合成数据集，这些数据集是为处理野外文档而专门定制的。所提出的架构以自我监督的方式工作，其中仅将合成纹理用作弱训练信号（避免了对具有阴影和反射率的解纠缠版本的非常昂贵的地面实况的需要）。所提出的方法导致一个显着的泛化文件反射率估计在现实场景中具有挑战性的照明。我们广泛评估的真实基准数据集可用于内在图像分解和文档阴影去除任务。我们的反射率估计方案，当用作OCR流水线的预处理步骤时，显示出26%的字符出错率（CER）的改善，从而证明了实用性。
2020-11-29 cs.CV
Deep Reflectance Volumes: Relightable Reconstructions from Multi-View Photometric Images
Adobe Research（Adobe研究院）；University of California, San Diego（加州大学圣地亚哥分校）
我们提出了一种深度学习方法来从同位点照明下捕获的非结构化图像中重建场景外观。深反射率模型的核心是一种新的体积场景表示，包括不透明度，表面法线和反射体素网格。我们提出了一种新的基于物理的可微体光线行进框架，以渲染这些场景体积下的任意视点和照明。这使我们能够优化场景体积，以最大限度地减少渲染图像和捕获图像之间的误差。我们的方法能够重建具有挑战性的非朗伯反射率和复杂的几何形状与遮挡和阴影的真实场景。此外，它准确地概括了新的观点和照明，包括非并置照明，渲染逼真的图像，显着优于最先进的基于网格的方法。我们还表明，我们学到的反射体积是可编辑的，允许修改所捕获的场景的材料。
2020-07-20 cs.CV cs.GR
Controllable Light Diffusion for Portraits
Google Research（谷歌研究院）；CTU in Prague（布拉格捷克理工大学）；University of Washington（华盛顿大学）
提出一种基于学习的可控光扩散方法，仅需单张人像照片即可柔化阴影和高光，并合成次表面散射阴影，提升高级视觉任务鲁棒性。
2023-05-08 cs.CV cs.GR
A Dark Flash Normal Camera
Washington University in St. Louis（圣路易斯华盛顿大学）；Google Research（谷歌研究院）
休闲摄影通常在不受控制的照明下进行，这可能导致低质量的图像并降低下游处理的性能。我们认为，尽管这些条件下，通过补充可用的可见光照明与一个单一的近红外（NIR）光源和相机，一个所谓的“暗闪光图像”的场景描绘的人的表面法线和反射率图估计的问题。我们的方法需要作为输入的一个单一的颜色图像下捕获的任意可见光照明和一个单一的黑暗的闪光灯下捕获的控制前光近红外照明在同一个视点，并计算一个正常的地图，漫反射地图，和镜面强度图的场景。由于地面实况正常和反射率的面孔地图是难以捕捉的，我们提出了一种新的训练技术，结合信息从两个现成的和互补的来源：立体声深度信号和光度阴影线索。我们评估我们的方法在一系列的主题和照明条件，并描述了两个应用程序：优化立体几何和填充图像中的阴影。
2020-12-11 cs.CV
ShadingNet: Image Intrinsics by Fine-Grained Shading Decomposition
University of Amsterdam（阿姆斯特丹大学）；D Universum（3D宇宙公司）
通常，固有图像分解算法将着色解释为包括所有光度效果的一个统一组件。由于着色过渡通常比反射率（反射率）变化更平滑，因此这些方法可能无法区分强烈的光度效果和反射率变化。因此，在本文中，我们建议将阴影分量分解为直接（照明）和间接阴影（环境光和阴影）子分量。其目的是区分强光度效应与反射率变化。提出了一种端到端深度卷积神经网络（ShadingNet），其以精细到粗略的方式操作，具有利用细粒度着色模型的专用融合和细化单元。它的目的是学习特定的反射线索从特定的光度效果分离，以分析解纠缠能力。户外自然环境的场景级合成图像的大规模数据集被提供有细粒度的内在图像地面实况。大规模的实验表明，我们的方法使用细粒度的着色分解优于国家的最先进的算法，利用统一的着色NED，MPI Sintel，GTA V，IIW，MIT Intrinsic Images，3DRMS和SRD数据集。
2021-01-21 cs.CV
Single-image Reflectance and Transmittance Estimation from Any Flatbed Scanner
Politecnico di Milano（米兰理工大学）；Euro-Mediterranean Center on Climate Change (CMCC)（欧洲地中海气候变化中心（CMCC））；RFF-CMCC European Institute on Economics and the Environment (EIEE)（RFF-CMCC欧洲经济与环境研究所（EIEE））；Universidad Rey Juan Carlos（胡安卡洛斯国王大学）；Arquimea Research Center（阿基梅亚研究中心）；Adobe Research（奥多比研究中心）
针对现有平板扫描仪材质采集方法依赖高端设备特定条件的局限，本研究提出受本征图像分解启发的方法，支持任意平板扫描仪采集，还新增不透明度与透射率估计，提升了材质采集的分辨率与精度。
2025-02-20 cs.AI cs.CV cs.GR
Retinex-guided Histogram Transformer for Mask-free Shadow Removal
McMaster University（麦 master 大学）
提出ReHiT，一种Retinex引导的混合CNN-Transformer无掩模阴影去除框架，通过双分支建模反射率和光照，利用IGHB处理复杂阴影，在NTIRE 2025数据集上以最小参数和最快速度实现竞争性能。
2025-04-18 cs.CV
Consistency-aware Shading Orders Selective Fusion for Intrinsic Image Decomposition
Institute of Artificial Intelligence and Robotics, Xi’an Jiaotong University（西安交通大学人工智能与机器人研究所）
我们解决的问题分解成反射率和阴影的一个单一的图像。其困难在于，在观测图像中，图像的组成部分--表面光、直接光和环境光--是强耦合的。我们建议通过按像素的相对亮度对像素进行排序来推断阴影，而无需事先知道图像分量的绝对值。通过两种方法估计两的明暗次序：亮度次序和局部明暗场的低阶拟合。亮度顺序是一个非局部的测量，它可以应用于任何一对像素，包括那些反射率和阴影都是不同的。低阶拟合用于平滑着色的局部区域内的像素对。它们一起可以捕获全局顺序结构和着色的局部变化。我们提出了一个一致性感知的选择性融合（CSF）整合成一个全球一致的顺序成对订单。迭代选择过程解决了由不同估计方法获得的成对阶之间的冲突。不一致或不可靠的成对顺序将自动从融合中排除，以避免污染全局顺序。在MIT Intrinsic Image数据集上的实验表明，该模型能够有效地恢复包括深度阴影在内的阴影。我们的模型在IIW数据集、UIUC阴影数据集和NYU-Depth数据集的自然图像上也能很好地工作，其中直射光和环境光的颜色是完全不同的。
2018-10-23 cs.CV
FitMe: Deep Photorealistic 3D Morphable Model Avatars
Imperial College London（帝国理工学院）
本文提出FitMe，一种结合面部反射模型与可微渲染优化流程的方法，能从单张或多张图像中快速获取高保真、可重新打光且保留身份的3D虚拟形象。
2023-05-16 cs.CV cs.GR cs.LG
Contrast-Prior Enhanced Duality for Mask-Free Shadow Removal
本文提出AGBA机制和FCFN网络，通过对比优先增强双重视角实现无掩码阴影去除，取得最佳性能。
2025-11-26 cs.AI cs.CV
PixHt-Lab: Pixel Height Based Light Effect Generation for Image Compositing
Purdue University（普渡大学）；Adobe Inc.（奥多比公司）
阴影或反射等照明效果是使合成图像逼真和具有视觉吸引力的关键。为了生成这样的效果，传统的计算机图形使用基于物理的渲染器以及3D几何图形。为了弥补2D图像合成中几何图形的不足，最近基于深度学习的方法引入了像素高度表示来生成柔和的阴影和反射。但是，几何体的缺乏限制了生成的软阴影的质量，并将反射约束为纯镜面反射。我们介绍PixHt-Lab，一个利用从像素高度表示到3D空间的显式映射的系统。使用此映射，PixHt-Lab重建剪切和背景几何体，并为图像合成渲染逼真、多样的照明效果。给定一个具有基于物理的材质的表面，我们可以渲染具有不同光泽度的反射。为了生成更逼真的软阴影，我们进一步建议使用3D感知缓冲通道来指导神经渲染器。定量和定性评估都表明，PixHt-Lab显着提高了软阴影生成。
2023-02-28 cs.CV cs.GR
3DPR: Single Image 3D Portrait Relight using Generative Priors
Max Planck Institute for Informatics, SIC \& VIA Research Center Saarbrücken Germany；Google Inc. San Fransisco USA；Max Planck Institute for Informatics \& SIC Saarbrücken Germany；ETH Zürich Zürich Switzerland；Harvard University Cambridge USA；Massachusetts Institute of Technology Cambridge USA；Google Inc. Zürich Switzerland；Max Planck Institute for Informatics, SIC \& VIA Research Center；Google Inc.；Max Planck Institute for Informatics \& SIC；ETH Zürich；Harvard University；Massachusetts Institute of Technology
3DPR提出利用生成先验和新型三平面反射率网络，基于单张肖像图像实现高质量重光照，优于现有方法。
2025-10-17 cs.CV
Physically-Based Editing of Indoor Scene Lighting from a Single Image
UC San Diego（加州大学圣地亚哥分校）；Carnegie Mellon University（卡内基梅隆大学）；Adobe Research（Adobe研究院）
我们提出了一种方法来编辑复杂的室内照明从一个单一的图像与其预测的深度和光源分割掩模。这是一个非常具有挑战性的问题，需要对复杂的光传输进行建模，并在仅对场景进行部分LDR观察的情况下将HDR照明与材料和几何结构分离。我们使用两个新的组件来解决这个问题：1）一个整体场景重建方法，估计场景反射率和参数化3D照明，以及2）一个神经渲染框架，根据我们的预测重新渲染场景。我们使用基于物理的室内光表示，允许直观的编辑，并推断可见和不可见光源。我们的神经渲染框架将基于物理的直接照明和阴影渲染与深度网络相结合，以近似全局光照。它可以捕捉具有挑战性的照明效果，如柔和阴影、定向照明、镜面反射材质和相互反射。以往的单幅图像逆绘制方法往往涉及到场景光照和几何，并且只支持对象插入等应用。相反，通过将参数化3D照明估计与神经场景渲染相结合，我们展示了从单个图像实现全场景重新照明的第一种自动方法，包括光源插入，移除和替换。所有源代码和数据将公开发布。
2022-07-23 cs.CV
MoSAR: Monocular Semi-Supervised Model for Avatar Reconstruction using Differentiable Shading
Ubisoft LaForge（育碧拉福格）；York University（约克大学）；Ecole de Technologie Supérieure（高等技术学院）
MoSAR提出半监督训练与可微着色，从单目图像重建可重照明的3D化身，并发布首个大规模内在面部属性数据集FFHQ-UV-Intrinsics。
2023-12-22 cs.CV cs.GR cs.LG
Single-image Full-body Human Relighting
Universidad de Zaragoza（萨拉戈萨大学）；I3A（阿拉贡工程研究所）；Adobe Research（奥多比研究院）
我们提出了一种单图像数据驱动的方法来自动重新照明图像与全身的人在他们。我们的框架是基于一个现实的场景分解，利用预先计算的辐射传输（PRT）和球谐函数（SH）照明。与以前的工作相比，我们解除朗伯材料的假设，并明确模型漫反射和镜面反射在我们的数据。此外，我们引入了一个额外的光依赖的残差项，占基于PRT的图像重建中的错误。我们提出了一种新的深度学习架构，专为PRT中执行的分解量身定制，使用L1，对数和渲染损失的组合进行训练。我们的模型优于最先进的全身人体重新照明与合成图像和照片。
2021-07-15 cs.CV cs.GR
AvatarMe++: Facial Shape and BRDF Inference with Photorealistic Rendering-Aware GANs
Imperial College London（伦敦帝国学院）
在过去的几年里，许多人脸分析任务已经取得了惊人的性能，应用包括人脸生成和3D人脸重建从一个单一的“在野外”的图像。然而，据我们所知，没有方法可以从“野外”图像中生成渲染就绪的高分辨率3D人脸，这可以归因于：（a）用于训练的可用数据稀缺，以及（b）缺乏可以成功应用于非常高分辨率数据的鲁棒方法。在这项工作中，我们介绍了第一种方法，能够重建逼真的渲染准备的3D面部几何和BRDF从一个单一的“在野外”的图像。我们捕获了一个关于面部形状和反射率的大型数据集，并将其公开。我们定义了一个快速的面部真实感微分绘制方法，精确的面部皮肤漫反射和镜面反射，自遮挡和次表面散射近似。有了这个，我们训练一个网络，该网络将面部漫反射和镜面反射BRDF分量从具有烘焙照明的形状和纹理中分离出来，用最先进的3DMM拟合方法重建。我们的方法优于现有技术的一个显着的利润率和重建高分辨率的3D人脸从一个单一的低分辨率图像，可以在各种应用程序中渲染，和桥梁的恐怖谷。
2021-12-11 cs.CV cs.GR
ConDL: Detector-Free Dense Image Matching
Technische Universität Berlin（柏林工业大学）
本文提出ConDL框架，通过全卷积网络生成像素级密集描述子，并在含视角、光照、阴影和高光畸变的合成数据上进行对比学习，实现无需关键点检测器的鲁棒多图密集匹配。
2024-08-05 cs.CV cs.LG
DIB-R++: Learning to Predict Lighting and Material with a Hybrid Differentiable Renderer
NVIDIA（英伟达）；University of Toronto（多伦多大学）；Vector Institute（矢量研究所）；McGill University（麦吉尔大学）
我们认为，利用可微渲染器从单个图像预测内在对象属性的挑战性问题。许多以前的基于学习的逆图形方法采用基于光栅化的渲染器，并假设朴素的照明和材质模型，这通常无法解释在野外通常观察到的非朗伯镜面反射。在这项工作中，我们提出了DIBR++，一个混合微分渲染器，支持这些逼真的效果，结合光栅化和光线跟踪，利用各自的优势-速度和现实主义。我们的渲染器结合了环境照明和空间变化的材料模型，以有效地近似光传输，无论是通过直接估计或通过球基函数。与利用路径追踪的更先进的基于物理的可微分渲染器相比，DIBR++由于其紧凑和富有表现力的着色模型而具有高性能，该模型可以轻松集成学习框架，用于从单个图像进行几何，反射率和照明预测，而无需任何地面实况。我们通过实验证明，与现有的基于光栅化的方法相比，我们的方法在合成和真实数据上实现了卓越的材料和照明解纠缠，并展示了几种艺术应用，包括材料编辑和重新照明。
2021-10-30 cs.CV cs.GR
