Unsupervised Learning for Intrinsic Image Decomposition from a Single Image
Beihang University（北京航空航天大学）；Tencent（腾讯）；University of Amsterdam（阿姆斯特丹大学）；Peng Cheng Laboratory（鹏城实验室）
本征图像分解是计算机视觉中的一项基本任务，其目的是推断场景的反射率和阴影。它具有挑战性，因为它需要将一个图像分为两个分量。为了解决这个问题，传统的方法引入各种先验来约束解决方案，但性能有限。同时，该问题通常通过监督学习方法来解决，这实际上不是理想的解决方案，因为获得大规模一般自然场景的地面真实反射率和阴影是具有挑战性的，甚至是不可能的。在本文中，我们提出了一种新的无监督的内在图像分解框架，它既不依赖于标记的训练数据，也不依赖于手工制作的先验。相反，它直接从无监督和不相关的数据中学习反射率和阴影的潜在特征。为了实现这一点，我们探索反射率和阴影，域不变的内容约束和物理约束之间的独立性。合成和真实图像数据集上的大量实验表明，所提出的方法具有一贯的优越性能。
2020-05-26 cs.CV
Authoring image decompositions with generative models
University of Illinois at Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们将展示如何扩展传统的内在图像分解，将进一步的层以上的阴影和阴影。很难获得数据来学习多层分解。相反，我们可以学习将图像分解成“这样”的层，方法是使用捕获柏拉图理想的代理示例为每一层创作生成模型（Mondrian图像用于渲染;渲染3D图元用于着色;材质样例用于着色细节）。然后，我们的方法生成图像层，每个模型一个，解释图像。我们的方法依赖于图像生成模型的创新。我们介绍了卷积变分自动编码器（conv-VAE），一种新的VAE架构，可以重建高保真图像。该方法是通用的，并且不要求层允许物理解释。
2016-12-05 cs.CV
Decomposing multispectral face images into diffuse and specular shading and biophysical parameters
University of York（约克大学）；King Saud University（沙特国王大学）
我们提出了一种新的生物物理和二色反射模型，有效地表征光谱皮肤反射。我们将展示如何将模型拟合到多光谱人脸图像，从而实现漫反射和镜面反射阴影以及生物物理参数图（黑色素和血红蛋白）的高质量估计。我们的方法从一个单一的图像工作，而不需要复杂的控制照明设置，但提供定量准确的重建和定性令人信服的分解和编辑。
2019-02-18 cs.CV
Tree-Structured Shading Decomposition
Stanford University（斯坦福大学）
研究从单张图像推断树状结构表示进行物体着色，提出结合基本着色节点与合成方法的着色树表示，并采用自回归模型与优化算法的混合方法推断树结构与参数，实现高效直观的材质编辑与重照明等应用。
2023-09-13 cs.CV cs.GR
Olbedo: An Albedo and Shading Aerial Dataset for Large-Scale Outdoor Environments
The Ohio State University（俄亥俄州立大学）；University of Southern California（南加州大学）；Institute for Creative Technologies（创意技术研究所）
Olbedo数据集通过多视角一致的反光和阴影地图等标注，使基于合成数据训练的扩散模型在真实户外场景中实现更优的内在图像分解性能，支持3D资产光照一致重映射和城市数字孪生分析。
2026-03-27 cs.CV
Intrinsic Image Decomposition via Ordinal Shading
Simon Fraser University（西蒙菲莎大学）
本文通过将本征图像分解问题分为两部分，提出了一种基于密集序数明暗度公式的双网络方法，结合低高分辨率估计实现了高分辨率本征分解，并通过多光照数据生成伪真值，在定性与定量分析及实际图像编辑任务中均展现了优越性能。
2023-11-21 cs.AI cs.CV cs.GR
Shading Annotations in the Wild
Cornell University（康奈尔大学）
理解图像中的阴影效果对于各种视觉和图形问题至关重要，包括内在图像分解，阴影消除，图像重新照明和逆渲染。与其他视觉任务一样，机器学习是一种很有前途的理解阴影的方法，但现实世界的图像几乎没有真实的阴影数据。我们介绍了Shading Annotations in the Wild（SAW），这是一个新的室内场景中阴影注释的大规模公共数据集，包括通过众包获得的多种形式的阴影判断，以及从RGB-D图像自动生成的阴影注释。我们使用这些数据来训练一个卷积神经网络，以预测图像中每个像素的阴影信息。我们展示了我们的数据和网络在应用程序中的内在图像，在那里我们可以减少现有算法产生的分解文物的价值。我们的数据库可以在http://opensurfaces.cs.cornell.edu/saw/上找到。
2017-05-02 cs.CV cs.GR
PIR: Photometric Inverse Rendering with Shading Cues Modeling and Surface Reflectance Regularization
FNii-Shenzhen（深圳先进功能纳米与软物质研究院）；SDS, CUHKSZ（香港中文大学（深圳）数据科学学院）；Shenzhen Campus of SYSU（中山大学深圳校区）；SSE, CUHKSZ（香港中文大学（深圳）理工学院）
本文提出PIR神经逆向渲染方法，通过联合优化光源位置、可微渲染与重要性采样处理自阴影和间接光照，并利用DINO特征蒸馏正则化提升反射率分解精度，在合成与真实数据上优于现有方法。
2025-04-08 cs.CV
Shape, Illumination, and Reflectance from Shading
University of California at Berkeley（加州大学伯克利分校）
计算机视觉中的一个基本问题是从世界的平面2D图像推断世界的内在3D结构。用于恢复场景属性（例如形状、反射率或照明）的传统方法依赖于对同一场景的多个观测来过度约束问题。相比之下，从单个图像中恢复这些相同的属性似乎几乎是不可能的-有无数的形状，油漆和灯光可以精确地复制单个图像。然而，某些解释比其他解释更有可能：表面往往是光滑的，油漆往往是均匀的，照明往往是自然的。因此，我们提出这个问题作为一个统计推断，并定义一个优化问题，搜索一个单一的图像的 * 最可能 * 的解释。我们的技术可以被看作是一个超集的几个经典的计算机视觉问题（形状从阴影，内在的图像，颜色恒定性，照明估计等），并优于所有以前的解决方案，这些组成的问题。
2020-10-07 cs.CV
DARN: a Deep Adversial Residual Network for Intrinsic Image Decomposition
ETH Zürich（苏黎世联邦理工学院）；KU Leuven（鲁汶大学）
我们提出了一种新的深度监督学习方法，用于将单个图像内在分解为其阴影和阴影分量。我们的贡献是基于一个新的完全卷积神经网络，估计绝对的灰度和阴影联合。我们的解决方案依赖于单个端到端深度序列的残差块和由两个反向训练的鉴别器形成的感知激励度量。与经典的固有图像分解工作相反，它是完全数据驱动的，因此不需要任何物理先验，如阴影平滑度或稀疏度，也不依赖于几何信息，如深度。与最近的深度学习技术相比，我们简化了架构，使其更容易构建和训练，并限制它生成有效和可逆的分解。我们重新讨论和增加了一套定量指标，以占更具挑战性的恢复非标度不变的数量。我们训练和展示我们的架构上公开的MPI Sintel数据集和其内在的图像分解，显示衰减过拟合问题，并讨论推广到其他数据。结果表明，我们的工作优于最先进的深度算法的定性和定量方面。
2018-03-20 cs.CV
GUS-IR: Gaussian Splatting with Unified Shading for Inverse Rendering
School of Electronic and Information Engineering, South China University of Technology（华南理工大学电子与信息工程学院）；Australian National University（澳大利亚国立大学）；School of Data Science, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）数据科学学院）；VIVO
本文提出GUS-IR框架，通过结合前向和延迟着色优势的统一着色方案、改进3DGS法线建模与深度正则化、增强基于探针的烘焙方案，实现了复杂场景精确的内在属性分解与几何表示，支持重照明等下游任务。
2024-11-12 cs.CV
Learning Non-Lambertian Object Intrinsics across ShapeNet Categories
Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；Microsoft Research Asia（微软亚洲研究院）；University of Chinese Academy of Sciences（中国科学院大学）；Stanford University（斯坦福大学）；UC Berkeley / ICSI（加州大学伯克利分校 / 国际计算机科学研究所）
我们认为非朗伯对象的内在问题，恢复漫反射，阴影，和镜面高光从一个单一的图像的一个对象。我们基于ShapeNet数据库中现有的3D模型构建了一个大规模的对象内部数据库。使用逼真的环境地图渲染，数百万个对象的合成图像及其对应的反射、阴影和镜面地面实况图像用于训练编码器-解码器CNN。一旦经过训练，该网络可以将图像分解为反射和阴影分量的乘积，以及附加的镜面反射分量。我们的CNN在这个经典的计算机视觉逆问题中提供了准确和清晰的结果，清晰的细节归因于从编码器到解码器的相应分辨率下的跳过层连接。以我们的ShapeNet和MIT intrinsic数据集为基准，我们的模型始终大幅优于最先进的模型。我们对不同的对象类别进行训练和测试我们的CNN。也许令人惊讶的是，特别是从CNN分类的角度来看，我们的内在函数CNN可以很好地概括各个类别。我们的分析表明，编码器阶段的特征学习对于开发跨类别的通用表示更为重要。我们将我们的合成数据训练模型应用于从互联网上下载的图像和视频，并观察到稳健和逼真的内在结果。高质量的非朗伯内在函数可以打开许多有趣的应用程序，例如基于图像的渲染和镜面反射编辑。
2016-12-27 cs.CV
Intrinsic Image Transformation via Scale Space Decomposition
College of Computer Science Zhejiang University（浙江大学计算机学院）；Alibaba - Zhejiang University Joint Institute of Frontier Technologies（阿里巴巴-浙江大学前沿技术联合研究院）
我们引入了一种新的网络结构，用于将图像分解为其固有的灰度和阴影。我们将其视为图像到图像的转换问题，并探索输入和输出的尺度空间。通过将输出图像（阴影和阴影）扩展到它们的拉普拉斯金字塔分量，我们开发了一种多通道网络结构，该结构并行地学习连续频带中的图像到图像变换函数，每个通道内是具有跳跃连接的完全卷积神经网络。该网络结构具有通用性和可扩展性，在图像分解问题上表现出了良好的性能。我们在两个基准数据集上评估了网络：MPI-Sintel数据集和MIT Intrinsic Images数据集。定量和定性结果都表明，我们的模型在最先进的技术水平上取得了明显的进展。
2018-05-25 cs.CV
Invariant Descriptors for Intrinsic Reflectance Optimization
University of Amsterdam（阿姆斯特丹大学）；DUniversum（3D宇宙公司）
内在图像分解的目的是将图像分解为反射（反射率）和阴影（照明）子分量。由于其具有不适定性和欠约束性，是一个非常具有挑战性的计算机视觉问题。有无限对反射和阴影图像可以重建相同的输入。为了解决这个问题，Intrinsic Images in the Wild提供了一个基于密集条件随机场（CRF）公式的优化框架，该公式考虑了长程材料关系。我们通过引入光照不变的图像描述符：颜色比来改进他们的模型。色比和反射率都是不变的照明，因此是高度相关的。通过详细的实验，我们提供了方法注入到密集CRF优化的颜色比率。我们的方法是基于物理的，无学习，并导致更准确和强大的反射率分解。
2022-04-08 cs.CV
An Optical physics inspired CNN approach for intrinsic image decomposition
University of Peradeniya（佩拉德尼亚大学）；Sri Lanka Technological Campus（斯里兰卡理工学院）
本征图像分解是生成图像成分的一个公开问题。从单个图像生成反射率和阴影是一项具有挑战性的任务，特别是在没有地面实况的情况下。缺乏用于使用单个图像将图像分解成反射率和阴影的无监督学习方法。我们提出了一个神经网络架构，能够使用基于物理的参数从图像的分解。通过实验结果，我们表明：（a）所提出的方法优于现有的基于深度学习的IID技术和（b）派生的参数显着提高功效。最后，我们对结果（数字和示例图像）进行了更仔细的分析，显示了几种改进途径。
2021-12-20 cs.CV
Self-Supervised Intrinsic Image Decomposition Network Considering Reflectance Consistency
Tokyo Metropolitan University（东京都立大学）
提出了一种新的考虑反射率一致性的本征图像分解网络。本征图像分解的目的是将图像分解为光照不变和光照变化的分量，分别称为“反射”和“阴影”。虽然有三个反射率和阴影应该满足，大多数传统的工作没有充分考虑到反射率的一致性，由于使用的白色光源分解模型和缺乏训练图像捕捉相同的对象在各种照明亮度和颜色条件下。出于这个原因，这三个因素被认为是在所提出的网络，通过使用颜色照明模型和训练网络的损失计算从各种照明条件下拍摄的图像。此外，所提出的网络可以以自我监督的方式进行训练，因为可以很容易地模拟各种照明条件。实验结果表明，我们的网络可以分解成反射率和阴影分量的图像。
2021-11-05 cs.CV cs.MM
Recoding Color Transfer as a Color Homography
University of East Anglia（东安格利亚大学）；University of Edinburgh（爱丁堡大学）
颜色转移是一种图像编辑过程，它调整图片的颜色以匹配目标图片的颜色主题。自然的颜色转移不仅匹配颜色样式，而且还防止由于图像压缩、噪声和梯度平滑度变化而导致的转移后伪影。最近发现的颜色单应性定理证明，在光度观察条件的变化的颜色是由单应性。在本文中，我们提出了一种基于颜色单应性的颜色转移分解，它将颜色转移编码为色度偏移和阴影调整的组合。阴影调整的一个强大的形式被证明是一个全球性的阴影曲线，相同的阴影单应性可以应用于其他地方。我们的实验表明，建议的颜色转移分解提供了一个非常接近许多流行的颜色转移方法。我们的方法的优点是，学习的颜色转移可以应用于许多其他图像（例如，视频中的其他帧），而不是帧到帧的基础。我们展示了两个应用程序的颜色传输增强和视频颜色分级重新应用。这种简单的颜色传递模型对未来的颜色传递算法设计也很重要。
2016-08-04 cs.CV
Multispectral Image Intrinsic Decomposition via Low Rank Constraint
Nanjing University（南京大学）；New York University（纽约大学）
多光谱图像包含了物体表面特征的许多线索，因此可以广泛地应用于许多计算机视觉任务，例如，分类和分割。然而，由于自然场景的复杂光照和几何结构，同一表面的光谱曲线可能会有很大的不同。本文提出了一种低秩多光谱图像本征分解模型（LRIID），用于分解单幅多光谱图像的阴影和反射率。我们扩展的Retinex模型，提出了RGB图像的内在分解，多光谱域。在此基础上，提出了一个低秩约束，以减少问题的不适定性，使算法可解。给出了12幅图像的数据集，并给出了阴影和反射率的真实值，以便进行客观评价。实验证明了该方法的有效性。
2018-02-24 cs.CV
FlowIID: Single-Step Intrinsic Image Decomposition via Latent Flow Matching
FlowIID通过潜在流匹配实现单步内在图像分解，具有参数高效和高效推理的特点，适用于资源受限和实时视觉应用。
2026-01-18 cs.CV
A Theory of Shape Reconstruction from Heat Conduction and Shading
本文提出结合热传导与明暗线索的新理论，在不依赖平滑先验且光源未知时，解决形状恢复中的局部凸凹模糊，并通过仿真和真实热视频验证。
2026-10-06 cs.CV
Colorful Diffuse Intrinsic Image Decomposition in the Wild
Simon Fraser University（西蒙菲莎大学）
本文提出一种将单张照片分解为漫反射反照率、彩色漫反射阴影和镜面反射残差的方法，通过逐步放宽单色光照和朗伯假设，实现野外彩色漫反射阴影估计，支持光照感知编辑。
2024-09-20 cs.CV
Unsupervised Deep Single-Image Intrinsic Decomposition using Illumination-Varying Image Sequences
ETH Zürich（苏黎世联邦理工学院）；Unity Technologies（Unity科技公司）；KU Leuven（鲁汶大学）
基于机器学习的单图像本征分解（SIID）方法通过使用大量已知且真实的地面真值分解的知识将捕获的场景分解成其阴影和着色图像。收集和注释这样的数据集是一种无法扩展到足够的多样性和现实性的方法。我们通过在未注释的图像上训练来摆脱这种限制。我们的方法利用了相同场景但具有不同照明的两个图像提供关于其内在属性的有用信息的观察结果：根据定义，Paddo对照明条件是不变的，并且将第一图像的估计Paddo与第二图像的估计阴影交叉组合应该会导致第二图像的输入图像。我们将这种关系转录成深度卷积神经网络的连体训练方案，该网络将单个图像分解为阴影和阴影。暹罗设置允许我们引入一个新的损失函数，包括这样的交叉组合，并训练只对（延时）图像，放弃任何地面实况注释的需要。因此，我们的方法具有良好的性能：i）利用图像序列的时变信息（预先计算）的训练步骤，ii）不需要地面实况数据进行训练，以及iii）能够在运行时分解看不见的场景的单个图像。为了演示和评估我们的工作，我们还提出了一个新的渲染数据集，其中包含光照变化的场景和一组定量指标来评估SIID算法。尽管其无监督的性质，我们的结果与最先进的方法，包括监督和非数据驱动的方法竞争。
2018-09-03 cs.CV
PIE-Net: Photometric Invariant Edge Guided Network for Intrinsic Image Decomposition
University of Amsterdam（阿姆斯特丹大学）；DUniversum（3DUniversum）
本征图像分解是从图像中恢复图像形成成分（反射率和阴影）的过程。以前的方法要么采用显式先验来约束问题，要么采用由损失公式化的隐式约束（深度学习）。这些方法可能会受到强烈照明条件的负面影响，导致阴影反射率泄漏。因此，本文提出了一种端到端边缘驱动的混合CNN方法用于本征图像分解。边缘对应于照明不变梯度。为了处理硬负照明转换，采取包括全局和局部细化层的分层方法。我们利用注意力层来进一步加强学习过程。进行了广泛的消融研究和大规模的实验表明，它是有益的边缘驱动的混合IID网络，利用光照不变的描述符和分离的全球和本地线索有助于提高网络的性能。最后，它表明，所提出的方法获得了最先进的性能，并能够很好地推广到现实世界的图像。包含预训练模型、微调模型和网络代码的项目页面可以在https://ivi.fnwi.uva.nl/cv/pienet/上找到。
2022-05-02 cs.CV
Intrinsic Decomposition of Document Images In-the-Wild
Stony Brook University（石溪大学）；Computer Vision Center（计算机视觉中心）；Universitat Autònoma de Barcelona（巴塞罗那自治大学）
自动文档内容处理受到纸张形状、不均匀和光照条件下颜色多样等造成的伪影的影响。由于需要大量的数据，对真实数据的完全监督方法是不可能的。因此，当前最先进的深度学习模型是在完全或部分合成图像上训练的。然而，文档阴影或阴影去除结果仍然受到影响，因为：（a）现有方法依赖于局部颜色统计的均匀性，这限制了它们在具有复杂文档形状和纹理的真实场景上的应用;以及（b）使用具有非现实的模拟照明条件的合成或混合数据集来训练模型。在本文中，我们解决这些问题，我们的两个主要贡献。首先，一种基于物理约束的学习方法，该方法基于固有图像形成直接估计文档反射率，该方法适用于具有挑战性的照明条件。第二，一个新的数据集，通过添加大范围的真实阴影和不同的多光源条件，明显改善了以前的合成数据集，这些数据集是为处理野外文档而专门定制的。所提出的架构以自我监督的方式工作，其中仅将合成纹理用作弱训练信号（避免了对具有阴影和反射率的解纠缠版本的非常昂贵的地面实况的需要）。所提出的方法导致一个显着的泛化文件反射率估计在现实场景中具有挑战性的照明。我们广泛评估的真实基准数据集可用于内在图像分解和文档阴影去除任务。我们的反射率估计方案，当用作OCR流水线的预处理步骤时，显示出26%的字符出错率（CER）的改善，从而证明了实用性。
2020-11-29 cs.CV
MLI-NeRF: Multi-Light Intrinsic-Aware Neural Radiance Fields
Universitat Autonoma de Barcelona（巴塞罗那自治大学）；Stony Brook University（石溪大学）
针对现有内在图像分解方法依赖统计先验、难以处理真实场景的问题，提出MLI-NeRF，通过整合多光源信息生成反射率和阴影伪标签，引导分解，在合成与真实数据上优于现有方法，且可用于图像编辑。
2024-11-26 cs.CV
GI-GS: Global Illumination Decomposition on Gaussian Splatting for Inverse Rendering
The Hong Kong University of Science and Technology（香港科技大学）
提出GI-GS逆渲染框架，结合3D高斯溅射与延迟着色，通过路径追踪高效计算间接光照，提升新视角合成与重光照质量。
2025-03-27 cs.CV
A deep learning based interactive sketching system for fashion images design
DexForce Technology Co. Ltd.（德克斯福科技有限公司）；Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））；SmartMore Corporation（思谋科技有限公司）；South China University of Technology（华南理工大学）；Pazhou Lab（琶洲实验室）；Peng Cheng Lab（鹏程实验室）
在这项工作中，我们提出了一个交互式系统来设计不同的高品质的服装图像从时装草图和纹理信息。该系统面临的主要挑战是如何根据用户提供的纹理信息生成高质量、细节丰富的纹理。以往的工作主要采用纹理块表示，并试图将一个小的纹理块映射到整个服装图像，因此无法生成高质量的细节。相比之下，受内在图像分解的启发，我们将此任务分解为纹理合成和阴影增强。特别是，我们提出了一种新的双色边缘纹理表示合成纹理服装图像和着色增强器渲染基于灰度边缘的阴影。双色边缘表示提供了简单而有效的纹理线索和颜色约束，从而可以更好地重建细节。此外，渲染的阴影，合成的服装图像变得更加生动。
2020-10-09 cs.CV
Deep Hybrid Real and Synthetic Training for Intrinsic Decomposition
University of California, San Diego（加利福尼亚大学圣迭戈分校）
本征图像分解是分离图像的反射层和阴影层的过程，这是一个具有挑战性的欠定问题。在本文中，我们建议使用深度卷积神经网络（CNN）系统地解决这个问题。虽然深度学习（DL）最近已被用于处理该应用，但当前的DL方法仅在合成图像上训练网络，因为难以获得真实图像的真实反射率和阴影。因此，这些方法无法在真实图像上产生合理的结果，并且通常比非DL技术执行得更差。我们克服了这一限制，提出了一种新的混合方法来训练我们的网络合成和真实图像。具体来说，除了使用合成图像直接监督网络之外，我们还通过强制网络为具有不同照明的同一真实世界场景的一对图像产生相同的反射率来训练网络。此外，我们通过在训练和测试阶段将双边求解器层纳入我们的系统来改善结果。实验结果表明，我们的方法产生更好的结果比国家的最先进的DL和非DL方法在各种合成和真实的数据集在视觉上和数值。
2018-07-30 cs.CV
ZeroComp: Zero-shot Object Compositing from Image Intrinsics via Diffusion
Université Laval（拉瓦尔大学）；Depix Technologies（德皮克斯科技公司）；Toyota Technological Institute at Chicago（芝加哥丰田理工学院）
本文提出 ZeroComp，利用 ControlNet 与 Stable Diffusion 从几何、反照率和遮罩阴影等本征图进行零样本 3D 对象合成，并在定量与人类感知评估中取得优于显式光照及生成方法的效果。
2025-01-10 cs.CV
Intrinsic Image Decomposition Using Point Cloud Representation
University of Amsterdam（阿姆斯特丹大学）；Bosch Center for Artificial Intelligence, Robert Bosch GmbH（罗伯特·博世有限公司博世人工智能中心）
本文提出PoInt-Net，利用三维点云同时估计反照率和阴影图，实现高效、鲁棒且精度更高的本征图像分解。
2024-03-28 cs.CV
Monocular Avatar Reconstruction via Cascaded Diffusion Priors and UV-Space Differentiable Shading
Beihang University（北航）；Great Wall Motors（长城汽车）；CUHK-Shenzhen（香港科技大学深圳研究院）；HKUST（香港科技大学）；Nanjing University（南京大学）；Wuhan University（武汉大学）；Zhejiang University（浙江大学）；KAUST（王国 Abdullah 基础科学研究院）；Tsinghua University（清华大学）
提出数据高效框架，利用统一预训练扩散模型的鲁棒先验，通过级联LoRA依次处理纹理补全、去光照和材质分解，结合UV空间可微分BRDF着色损失，从单张野外图像重建高保真可重光照3D虚拟人。
2026-06-29 cs.CV
LIME: Live Intrinsic Material Estimation
MPI Informatics（马克斯·普朗克信息学研究所）；Saarland Informatics Campus（萨尔兰信息学园区）；Stanford University（斯坦福大学）；University of Bath（巴斯大学）
我们提出了第一个端到端的方法，用于实时的材料估计一般物体形状均匀的材料，只需要一个单一的彩色图像作为输入。除了朗伯表面属性，我们的方法完全自动计算镜面反射，材料光泽，和前景分割。我们使用基于深度卷积编码器解码器架构的图像到图像翻译技术的最新进展来解决这个具有挑战性和不适定的逆渲染问题。我们的方法的底层核心表示是镜面阴影，漫反射阴影和镜像，这允许学习漫反射和镜面反射的有效和准确的分离。此外，我们提出了一种新的高效的感知渲染损失，模仿现实世界中的图像形成，并获得中间结果，即使在运行时间。以实时的帧速率估计材料参数使得能够实现令人兴奋的混合现实应用，诸如将虚拟对象无缝照明一致地集成到真实世界场景中以及虚拟材料克隆。我们在现场设置中展示了我们的方法，将其与最先进的方法进行比较，并通过定量和定性评估来证明其有效性。
2018-05-04 cs.CV
MVID: Feed-Forward Multi-View Intrinsic Image Decomposition
The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州））；The Hong Kong University of Science and Technology（香港科学与技术大学）
IDT通过基于Transformer的注意力机制实现多视角内在图像分解，采用物理基础模型分离材料和照明效应，提升多视角一致性。
2026-09-01 cs.CV
Learning Data-driven Reflectance Priors for Intrinsic Image Decomposition
UC Berkeley（加州大学伯克利分校）
我们提出了一种数据驱动的方法，用于内在图像分解，这是推断图像中的反射率和阴影的混淆因素的过程。我们将其视为一个两阶段学习问题。首先，我们训练一个模型来预测来自大规模人类注释的图像块（“更亮”、“更暗”、“相同”）之间的相对反射率排序，从而产生数据驱动的反射率先验。其次，我们展示了如何自然地将这种学习到的先验知识整合到现有的能量最小化框架中，以进行固有图像分解。我们将我们的方法与Bell等人的最先进方法进行了比较。在分解和图像重新照明任务上，证明了简单的相对反射率先验的好处，特别是对于具有挑战性的照明条件下的场景。
2015-10-08 cs.CV
Intrinsic Harmonization for Illumination-Aware Compositing
Simon Fraser University（西蒙弗雷泽大学）
针对真实合成图像中前景与背景的光照不一致，提出在本征图像域进行自监督光照协调的方法，通过全局光照估计、网络细化重着色及反照率域参数化编辑提升真实感。
2023-12-07 cs.AI cs.CV cs.GR
MoSAR: Monocular Semi-Supervised Model for Avatar Reconstruction using Differentiable Shading
Ubisoft LaForge（育碧拉福格）；York University（约克大学）；Ecole de Technologie Supérieure（高等技术学院）
MoSAR提出半监督训练与可微着色，从单目图像重建可重照明的3D化身，并发布首个大规模内在面部属性数据集FFHQ-UV-Intrinsics。
2023-12-22 cs.CV cs.GR cs.LG
Learning Intrinsic Images for Clothing
人体服装的重建是一项重要的任务，通常依赖于固有的图像分解。由于缺乏特定领域的数据和粗糙的评价指标，现有的模型未能产生令人满意的结果，图形应用程序。本文针对服装图像的本征图像分解进行了全面的改进。我们收集了CloIntrinsics，一个服装固有图像数据集，包括一个合成训练集和一个真实世界的测试集。一个更可解释的边缘感知的度量和注释计划的测试集，它允许诊断评估的内在模型。最后，我们提出了ClothInNet模型，该模型具有精心设计的损失项和对抗模块。它利用易于获取的标签来学习真实世界的着色，显著提高性能，只需少量额外的注释工作。我们表明，我们提出的模型显着减少纹理复制文物，同时保留令人惊讶的微小细节，优于现有的最先进的方法。
2021-11-16 cs.CV
Leveraging Multi-view Image Sets for Unsupervised Intrinsic Image Decomposition and Highlight Separation
Simon Fraser University（西蒙弗雷泽大学）；Microsoft Research（微软研究院）
我们提出了一种无监督的方法，用于将对象外观分解为高光，阴影和阴影层，并通过多视图真实图像进行训练。为此，我们通过在线收集大量客户产品照片来构建多视图数据集，这些照片具有较大的照明变化，使其适合于反射分离的训练，并可以促进对象级分解。我们的方法的主要贡献是建议的图像表示基于局部颜色分布，允许训练是不敏感的多视图图像的局部错位。此外，我们提出了一个新的无监督训练的指导线索，利用突出分离和内在图像分解之间的协同作用。在广泛的对象范围内，我们的技术被证明可以为这两项任务产生最先进的结果。
2019-11-17 cs.CV
Learning Intrinsic Image Decomposition from Watching the World
Cornell University（康奈尔大学）
单视图固有图像分解是一个高度不适定的问题，因此一种有前途的方法是从大量数据中学习。然而，很难为内在图像大规模收集地面实况训练数据。在本文中，我们探索了一种不同的方法来学习内在图像：观察图像序列随着时间的推移描绘同一场景下不断变化的照明，并学习与这些变化一致的单视图分解。这种方法允许我们在没有地面真值分解的情况下学习，而是在训练时利用多个图像中的信息。然后，我们训练的模型可以在测试时应用于单个视图。我们描述了一个新的学习框架，基于这个想法，包括新的损失函数，可以有效地评估整个序列。虽然先前基于学习的方法在特定的基准测试中取得了良好的性能，但我们表明，我们的方法可以很好地推广到几个不同的数据集，包括MIT固有图像，野外固有图像和野外阴影注释。
2018-04-02 cs.CV
Color naming guided intrinsic image decomposition
Institute of Artificial Intelligence and Robotics, Xi’an Jiaotong University（西安交通大学人工智能与机器人研究所）
内在图像分解是一个严重的欠约束问题。用户交互可以帮助大大减少分解的模糊性。传统的用户交互方式是绘制涂鸦，指示具有恒定反射率或阴影的区域。然而，涂鸦的影响范围是相当有限的，所以往往需要几十涂鸦纠正整个分解，这是耗时的。在本文中，我们提出了一种有效的用户交互方式，用户只需要注释图像的颜色组成。颜色合成揭示了反射率的全局分布，因此它可以直接帮助适应整个分解。我们建立了一个生成模型的过程中，材料的反射率通过成像和颜色命名的颜色标签。我们的模型有效地融合了图像形成的物理特性和自上而下的信息，从人类的颜色感知。实验结果表明，颜色命名可以提高本征图像分解的性能，特别是在清除反射阴影和解决颜色恒常性问题。
2018-10-23 cs.CV
Learning Relighting and Intrinsic Decomposition in Neural Radiance Fields
Universitat Autonoma de Barcelona（巴塞罗那自治大学）；Stony Brook University（石溪大学）
针对神经辐射场在带背景真实场景中的本征分解难题，提出结合重光照、光照伪标签与物理约束的无真值方法，并在合成及真实数据上验证有效。
2024-06-16 cs.CV
Cut-and-Paste Object Insertion by Enabling Deep Image Prior for Reshading
University of Illinois Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们将展示如何将一个对象从一个图像插入到另一个图像中，并在硬情况下获得逼真的结果，插入对象的着色与场景的着色发生冲突。使用场景的照明模型渲染对象是行不通的，因为这样做需要对象的几何和材质模型，而这很难从单个图像中恢复。在本文中，我们介绍了一种方法，纠正阴影不一致的插入对象，而不需要一个几何和物理模型或环境地图。我们的方法使用深度图像先验（DIP），通过一致的图像分解推理损失训练生成插入对象的重绘渲染。从DIP得到的图像旨在具有（a）类似于剪贴的阴影的阴影，（b）类似于目标场景的阴影，以及（c）与剪贴表面法线一致的阴影。其结果是一个简单的过程，产生令人信服的着色插入对象。我们展示了我们的方法的有效性，定性和定量的几个对象具有复杂的表面特性，也对数据集的球形灯罩进行定量评估。我们的方法显着优于所有这些对象的图像协调（IH）基线。在一项超过100名用户的用户研究中，它们的表现也优于剪贴和IH基线。
2022-09-13 cs.CV cs.GR cs.LG
Intrinsic Light Field Images
Universidad de Zaragoza（萨拉戈萨大学）；Zhejiang University（浙江大学）；Adobe Systems（Adobe系统公司）
我们提出了一种方法来自动分解成其固有的阴影和阴影分量的光场。与以前针对2D单个图像和视频的工作相反，光场是一种4D结构，其捕获离散角域上的非积分入射辐射。这个更高维度的问题使得先前的最先进的算法不切实际，这是由于它们处理单个2D切片的成本，或者它们不能在附加维度中执行适当的相干性。我们提出了一种新的分解算法，共同优化整个光场数据适当的角度相干性。为了提高效率，我们扩展了Retinex理论，在梯度域上工作，其中引入了新的隐式项和遮挡项。结果表明，我们的方法提供了4D的内在分解难以实现与以前的国家的最先进的算法。我们进一步提供了一个全面的分析和比较现有的内在的图像/视频分解方法的光场图像。
2017-04-12 cs.CV
Texture-aware Intrinsic Image Decomposition with Model- and Learning-based Priors
Zhejiang University（浙江大学）；School of Engineering, Westlake University（西湖大学工程学院）
本文提出一种结合模型与学习先验的纹理感知内在图像分解方法，通过纹理引导正则化项和优化框架分离材质纹理与光照，生成高质量内在图像。
2025-09-11 cs.CV
Intrinsic Image Decomposition using Paradigms
内在图像分解是将图像映射为非线性映射的经典任务。WHDR数据集允许通过将预测与人类判断（“更亮”，“相同”，“更暗”）进行比较来评估方法。最好的现代内在图像方法使用渲染模型和人类判断来学习从图像到图像的映射。这对于实际方法来说是方便的，但是不能解释没有几何、表面和照明模型的视觉代理和渲染器如何学习恢复内在图像。本文描述了一种学习内在图像分解的方法，而无需查看WHDR注释，渲染数据或地面实况数据。该方法依赖于范例-假的阴影和假的阴影领域-连同一个新的平滑过程，确保良好的行为在真实图像上的短尺度。长标度误差由平均值控制。我们的方法实现了WHDR分数的竞争力与那些强大的最近的方法允许看到训练WHDR注释，渲染数据和地面实况数据。由于我们的方法是无监督的，我们可以计算WHDR分数的测试/训练方差的估计值;这些方差相当大，并且依赖于报告的WHDR中的小差异是不安全的。
2020-11-20 cs.CV
SIGNet: Intrinsic Image Decomposition by a Semantic and Invariant Gradient Driven Network for Indoor Scenes
University of Amsterdam（阿姆斯特丹大学）；DUniversum（3D宇宙公司）；AkzoNobel（阿克苏诺贝尔）
内在图像分解（IID）是一个欠约束问题。因此，传统的方法使用手工制作的先验来约束问题。然而，当处理复杂场景时，这些约束是有限的。基于深度学习的方法通过数据隐式地学习这些约束，但它们通常会受到数据集偏差的影响（由于无法包括所有可能的成像条件）。在本文中，提出了两者的结合。组件特定的先验知识，如语义和不变特征，利用获得语义和物理上合理的反射率转换。这些转换用于引导具有隐式同质性约束的渐进式CNN来分解反射和着色图。进行消融研究，表明使用所提出的先验和渐进式CNN提高了IID性能。在我们提出的数据集和标准真实世界IIW数据集上的最新性能表明了所提出方法的有效性。代码可在https://github.com/Morpheus3000/SIGNet上获得
2022-08-30 cs.CV
Learning Latent Proxies for Controllable Single-Image Relighting
HKUST（香港科技大学）；HKPolyU（香港理工大学）；CUHK（香港中文大学）
本文提出LightCtrl，通过物理先验和稀疏提示实现可控单图像照明，利用DPO优化和ScaLight数据集提升光照控制精度与PSNR表现。
2026-03-16 cs.CV
Joint Learning of Intrinsic Images and Semantic Segmentation
University of Amsterdam（阿姆斯特丹大学）；DUniversum B.V.（3DUniversum B.V.）
当成像条件存在变化时，室外场景的语义分割是有问题的。众所周知，反射率对各种照明效果都是不变的。因此，使用反射图像进行语义分割任务可能是有利的。此外，不仅分割可以受益于反射率，而且分割可以用于反射率计算。因此，在本文中，任务的语义分割和内在的图像分解被认为是一个联合的过程，通过探索他们的相互关系，在联合的方式。为此，我们提出了一种有监督的端到端CNN架构，以联合学习内在图像分解和语义分割。我们分析了共同解决这两个问题的好处。此外，提出了新的级联CNN架构的内在分割和分割的内在作为单一的任务。此外，还创建了一个35 K自然环境合成图像的数据集，其中包含相应的阴影和阴影（内在），以及分配给每个对象/场景的语义标签（分割）。实验表明，联合学习的内在图像分解和语义分割是有益的自然场景的任务。数据集和模型可在https://ivi.fnwi.uva.nl/cv/intrinseg上获得
2018-07-31 cs.CV
Cycle-Consistent Tuning for Layered Image Decomposition
Shenzhen University（深圳大学）；Hebrew University of Jerusalem（耶路撒冷希伯来大学）；Tel Aviv University（特拉维夫大学）
本文提出一种基于循环一致性调谐的图像分解框架，通过轻量级LoRA适应和双向监督提升分层分离的鲁棒性和泛化能力。
2026-03-08 cs.CV
Revisiting Deep Intrinsic Image Decompositions
Shandong University（山东大学）；Microsoft Research（微软研究院）；Shenzhen Research Institute, Shandong University（山东大学深圳研究院）；Peking University（北京大学）
虽然对许多计算机视觉应用来说是非常宝贵的，但将自然图像分解为固有反射和阴影层是一个具有挑战性的欠定逆问题。与严格依赖具有强先验假设的常规优化或滤波解决方案相反，还提出了基于深度学习的方法，以在被授权访问足够的标记训练数据时计算固有图像分解。缺点是目前的数据源非常有限，一般来说分为两类：合成/狭窄环境中的密集全标记图像，或来自相对多样化自然场景的弱标记数据。与许多以前的基于学习的方法相比，这些方法通常针对特定数据集的结构（并且可能在其他数据集上效果不佳），我们采用的核心网络结构普遍反映了关于内在图像形成过程的松散先验知识，并且可以在很大程度上跨数据集共享。然后，我们应用灵活的监督损失层，这些损失层是为每个真实标签源定制的。由此产生的深度架构在所有主要的内在映像基准测试中都获得了最先进的结果，并且在测试时运行速度比大多数测试快得多。
2018-08-31 cs.CV
CNN based Learning using Reflection and Retinex Models for Intrinsic Image Decomposition
Informatics Institute（信息学研究所）；University of Amsterdam（阿姆斯特丹大学）
传统的本征图像分解方法大多依赖于获取场景特征的先验信息。另一方面，最近的研究使用深度学习模型作为进出黑盒，并且不考虑建立良好的传统图像形成过程作为其内在学习过程的基础。因此，尽管当前的深度学习方法在考虑定量基准结果时表现出优越的性能，但传统方法在实现高质量结果方面仍然占主导地位。在本文中，目的是利用两个世界中的最佳。提出了一种方法，该方法（1）具有深度学习能力，（2）考虑基于物理的反射模型来引导学习过程，以及（3）利用传统方法通过利用反射率和阴影梯度信息来获得固有图像。所提出的模型是快速计算，并允许所有内在组件的集成。为了训练新模型，创建具有内在地面实况图像的以对象为中心的大规模数据集。评估结果表明，新的模型优于现有的方法。视觉检查表明，图像形成损失函数增强了色彩再现，并且梯度信息的使用产生了更清晰的边缘。数据集、模型和更高分辨率的图像可在https://ivi.fnwi.uva.nl/cv/retinet上获得。
2018-04-03 cs.CV
A Survey on Intrinsic Images: Delving Deep Into Lambert and Beyond
SEDDI（SEDDI公司）；Universidad Rey Juan Carlos（胡安·卡洛斯国王大学）；Universidad Carlos III（卡洛斯三世大学）
固有成像或固有图像分解传统上被描述为将图像分解为两层的问题：反射率，材料的颜色不变;以及由光和几何之间的相互作用产生的阴影。近年来，深度学习技术已被广泛应用于提高这些分离的准确性。在这次调查中，我们概述了这些结果的背景下，众所周知的内在图像数据集和相关的指标在文献中使用，讨论其适用性预测一个理想的内在图像分解。虽然朗伯假设仍然是许多方法的基础，但我们发现，人们越来越意识到图像形成过程中更复杂的物理原理组件的潜力，即光学精确的材料模型和几何形状，以及更完整的逆光传输估计。我们根据分解类型对这些方法进行分类，考虑所使用的先验知识和模型，以及驱动分解过程的学习架构和方法。我们还提供了关于未来研究方向的见解，鉴于神经，逆和微分渲染技术的最新进展。
2021-12-07 cs.CV
Discriminative feature encoding for intrinsic image decomposition
Aerospace Information Research Institute, Chinese Academy of Sciences（中国科学院空天信息创新研究院）；Beihang University（北京航空航天大学）；Peng Cheng Laboratory（鹏城实验室）
本征图像分解是计算机视觉的一个重要而长期的研究课题。给定输入图像，恢复物理场景属性是不适定的。几个物理动机的先验知识已被用来限制固有图像分解的优化问题的解空间。这项工作利用了深度学习的优势，并表明它可以高效地解决这个具有挑战性的计算机视觉问题。重点在于特征编码阶段，从输入图像中提取不同本征层的区别性特征。为了实现这一目标，我们探讨了不同的内在成分在高维特征嵌入空间中的独特特性。我们定义了特征分布发散度来有效地分离不同内在成分的特征向量。通过特征分布的一致性，特征分布也被约束以拟合真实的特征分布。此外，提供了一种数据细化方法，以消除Sintel数据集的数据不一致性，使其更适合于内在图像分解。我们的方法也扩展到内在的视频分解的基础上相邻帧之间的像素级对应关系。实验结果表明，我们提出的网络结构可以优于现有的最先进的。
2022-09-25 cs.CV
CGIntrinsics: Better Intrinsic Image Decomposition through Physically-Based Rendering
Cornell University（康奈尔大学）
固有图像分解是一个具有挑战性的，长期存在的计算机视觉问题，其中地面真实数据是非常困难的。我们探索使用合成数据来训练基于CNN的固有图像分解模型，然后将这些学习到的模型应用于真实世界的图像。为此，我们提出了\ICG，一个新的，大规模的数据集的基于物理的渲染图像的场景与完整的地面真值分解。我们使用的渲染过程是精心设计的，以产生高质量，逼真的图像，我们发现这是至关重要的这个问题域。我们还提出了一种新的端到端训练方法，该方法通过利用\ICG以及可选的IIW和SAW（两个最近的真实图像稀疏注释数据集）来学习更好的分解。令人惊讶的是，我们发现仅在我们的合成数据上训练的分解网络在IIW和SAW上的表现优于最先进的技术，并且当在训练期间添加IIW和SAW数据时，性能甚至进一步提高。我们的工作证明了精心渲染的合成数据对于内在图像任务的惊人有效性。
2018-12-05 cs.CV
