Physics-based Indirect Illumination for Inverse Rendering
Cornell University（康奈尔大学）；NVIDIA Research（英伟达研究院）；UC Merced（加州大学默塞德分校）
本文提出基于物理的间接光照模型，通过球体追踪和神经网络显式估计间接光照，并利用莱布尼茨积分法则实现可微性，从而端到端学习光照、几何和材质，在逆渲染和新视角合成上优于现有方法。
2023-12-01 cs.CV
DIME-Net: A Dual-Illumination Adaptive Enhancement Network Based on Retinex and Mixture-of-Experts
Institute of Microelectronics of the Chinese Academy of Sciences（中国科学院微电子研究所）
本文提出DIME-Net双光照增强框架，通过专家混合光照估计模块与损伤恢复模块，结合Retinex理论和混合数据集MixBL，统一处理低光与逆光图像增强，无需重训练即可在合成与真实数据集上取得竞争性能。
2025-08-19 cs.CV
Illumination Normalization by Partially Impossible Encoder-Decoder Cost Function
IEE S.A.（IEE公司）；University of Kaiserslautern（凯泽斯劳滕大学）；German Research Center for Artificial Intelligence（德国人工智能研究中心）
在基于计算机视觉的系统的寿命期间记录的图像经历影响先前训练的机器学习模型的可靠性的广泛的照明和环境条件。因此，图像归一化是一个有价值的预处理组件，以提高模型的鲁棒性。为此，我们引入了一种新的策略，用于编码器-解码器网络的成本函数制定，以平均输入图像中所有不重要的信息（例如环境特征和照明变化），从而专注于显著特征（例如类实例）的重建。我们的方法利用了在不同的照明和环境条件下相同的场景的可用性，我们制定了一个部分不可能的重建目标：输入图像将不会传达足够的信息来重建整个目标。它的适用性进行了评估，三个公开的数据集。我们结合了三重损失作为潜在空间表示和最近邻搜索的正则化，以提高对看不见的照明和类实例的泛化。上述后处理的重要性在汽车应用中得到了强调。为此，我们发布了一个来自三个不同乘客车厢的场景的合成数据集，其中每个场景都在十种不同的照明和环境条件下渲染：见https://sviro.kl.dfki.de
2020-11-09 cs.CV
Multi-Task Learning for Automotive Foggy Scene Understanding via Domain Adaptation to an Illumination-Invariant Representation
Durham University（杜伦大学）；Majmaah University（迈季迈阿大学）
汽车应用的联合场景理解和分割在两个关键方面是一个具有挑战性的问题：（1）对整个场景中的每个像素进行分类，以及（2）在不稳定的天气和照明变化（例如，雾天）下执行该任务，这导致室外场景能见度差。这种较差的户外场景可见性导致基于深度卷积神经网络的场景理解和分割的性能非最佳。在本文中，我们提出了一个有效的端到端的现代汽车语义场景理解方法在雾天条件下，采用领域自适应和光照不变的图像预变换。作为一个多任务流水线，我们提出的模型提供：-（1）使用域转移方法将图像从极端天气条件转移到晴朗天气条件，以及（2）使用具有密集连接性、跳过连接性和基于融合技术的竞争性编码器-解码器卷积神经网络（CNN）对场景进行语义分割。我们在具有挑战性的雾数据集上评估我们的方法，包括合成数据集（雾城景）以及真实世界的数据集（雾苏黎世和雾驾驶）。通过结合RGB，深度和光照不变的信息，我们的方法优于国家的最先进的汽车场景理解，在雾天条件下。
2019-09-17 cs.CV cs.LG stat.ML
OmniSR: Shadow Removal under Direct and Indirect Lighting
Hangzhou Dianzi University（杭州电子科技大学）；Zhejiang University（浙江大学）
针对直接与间接光照下的阴影去除问题，该研究提出新渲染管线生成合成数据集（含超3万图像对），并设计整合语义和几何先验的阴影去除网络，其性能优于现有技术且泛化性强。
2025-02-10 cs.CV
Twinner: Shining Light on Digital Twins in a Few Snaps
University of Oxford（牛津大学）；KAUST（阿卜杜拉国王科技大学）；Meta AI
Twinner 是首个能从少量位姿图像中同时恢复场景光照、物体几何与材质的大型重建模型，通过内存高效体素 Transformer、大规模合成 PBR 数据集和可微分物理着色微调，在 StanfordORB 上以显著更快速度达到接近逐场景优化的重建质量。
2025-03-11 cs.CV
MirrorDistill: Illumination-Aware Latent Distillation for Efficient Low-Light Restoration
Hamad Bin Khalifa University（哈马德·本·哈利法大学）；Universiti Malaysia Perlis（马来西亚玻璃市大学）；Vrije Universiteit Brussel（布鲁塞尔自由大学）
提出照度感知潜在蒸馏框架MirrorDistill，通过特征镜像连接低光和干净域，在LOL基准上实现高效低光复原，以最低计算复杂度超越最先进方法。
2026-09-23 cs.CV
UniAvatar: Taming Lifelike Audio-Driven Talking Head Generation with Comprehensive Motion and Lighting Control
Li Auto（理想汽车）；Zhejiang University（浙江大学）；Harbin Institute of Technology（哈尔滨工业大学）
UniAvatar利用FLAME模型将3D运动信息渲染到单张图像，并通过独立模块分别控制运动和全局光照，实现全面可控的音频驱动说话头生成，同时发布两个新数据集以提升运动与光照多样性。
2024-12-26 cs.CV
Deep Image Harmonization with Learnable Augmentation
Shanghai Jiao Tong University（上海交通大学）
本文提出可学习增强方法SycoNet，通过学习颜色变换丰富小规模数据集的光照多样性，提升图像和谐化性能。
2023-08-01 cs.CV
SCAMPS: Synthetics for Camera Measurement of Physiological Signals
Microsoft（微软）；UCLA（加州大学洛杉矶分校）
使用摄像机和计算算法进行无创、低成本和可扩展的生理（例如，心脏和肺）生命体征非常有吸引力。然而，表示一系列环境、身体运动、照明条件和生理状态的不同数据是费力、耗时且昂贵的。合成数据已被证明是机器学习的几个领域中有价值的工具，但尚未广泛用于生理状态的相机测量。合成数据提供“完美”标签（例如，没有噪声并且具有精确的同步），否则不可能获得的标签（例如，精确的像素级分割图），并提供对数据集中的变化和多样性的高度控制。我们提出了SCAMPS，这是一个包含2，800个视频（1.68 M帧）的合成数据集，具有对齐的心脏和呼吸信号以及面部动作强度。RGB帧与分割图一起提供。我们提供了关于基础波形的精确描述性统计，包括心跳间隔、心率变异性和脉搏到达时间。最后，我们提出了这些合成数据上的基线结果训练和真实世界数据集上的测试，以说明可推广性。
2022-06-08 cs.AI cs.CV
REST: Real-to-Synthetic Transform for Illumination Invariant Camera Localization
Osaka University（大阪大学）；Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
准确的摄像机定位是跟踪系统的重要组成部分。然而，定位结果受光照的影响很大。包括在各种照明条件下收集的数据可以提高定位算法对照明变化的鲁棒性。然而，这是非常繁琐和耗时的。通过使用合成图像，可以在不同的照明和天气条件下容易地积累各种各样的视图。尽管不断改进处理能力和渲染算法，但合成图像并不完全匹配同一场景的真实图像，即真实图像和合成图像之间存在差距，这也影响了相机定位的准确性。为了减少这种差距的影响，我们引入了“真实到合成转换（REST）”。REST是一个类似于自动编码器的网络，它将真实的功能转换为它们的合成对应物。然后，可以将转换后的特征与累积的数据库进行匹配，以实现鲁棒的相机定位。在我们的实验中，REST将可变光照条件下的特征匹配精度提高了约30%。此外，我们的系统优于使用合成图像训练的最先进的基于CNN的相机定位方法。我们相信我们的方法可以用来初始化本地跟踪和简化数据积累的照明鲁棒定位。
2018-03-26 cs.CV
Generation of High Dynamic Range Illumination from a Single Image for the Enhancement of Undesirably Illuminated Images
Seoul National University（首尔大学）；SAMSUNG Electronics Co. Ltd.（三星电子株式会社）
本文提出了一种基于边缘保持平滑滤波器的光照和反射分量分解算法，通过对图像进行多层次光照的生成和融合，实现对光照不理想图像的增强。然后放大反射率分量，以改善明亮区域的图像细节。照明分量被放大和缩小以生成对应于不同于原始的某些相机曝光值的若干照明图像。虚拟多曝光照明混合到一个增强的照明，我们还提出了一种方法来生成适当的权重图的色调融合。最后，通过乘以均衡的照明和增强的反射率得到增强的图像。实验表明，该算法产生视觉上令人愉快的输出，也产生可比的客观结果，传统的增强方法，而需要适度的计算负载。
2017-08-02 cs.CV cs.GR
Denoising of Two-Phase Optically Sectioned Structured Illumination Reconstructions Using Encoder-Decoder Networks
Elmore Family School of Electrical and Computer Engineering（电子与计算机工程学院）；Purdue University（普渡大学）
针对两相光学切片结构光重建中存在残留伪影且缺乏干净真值数据的问题，研究人员用合成训练对训练非对称DAE和U-Net两种编码器-解码器网络，有效提升了图像清晰度，为该类图像监督去噪提供了可行方案。
2025-10-03 cs.CV
DeLight-Net: Decomposing Reflectance Maps into Specular Materials and Natural Illumination
University College London（伦敦大学学院）；MPI Informatics（马克斯·普朗克信息学研究所）；KU Leuven（鲁汶大学）
在本文中，我们提取表面反射率和自然环境照明的反射率图，即从一个单一的2D图像的球体的一种材料下的一个照明。这是一个非常困难的问题，但对各种重新渲染应用程序来说是关键。随着从2D图像估计反射率图的最新进展，其进一步分解变得越来越相关。为此，我们提出了一种卷积神经网络（CNN）架构来重建材料参数（即Phong）以及照明（即高分辨率球面照明图），该架构仅在合成数据上进行训练。我们证明了分解的合成以及真实的照片的反射率图，无论是在高动态范围（HDR），并首次在低动态范围（LDR）以及。结果相比，以前的方法定量以及定性的照明，材料，视图或形状发生变化的重新渲染方面。
2016-03-27 cs.CV
Boulders Identification on Small Bodies Under Varying Illumination Conditions
Politecnico di Milano（米兰理工大学）
检测小物体表面上的巨石的能力对于基于视觉的应用是有益的，例如在关键操作期间的导航和危险检测。这项任务是具有挑战性的，由于各种各样的不规则形状，巨石人口的特点，并在照明条件的快速变化。作者通过设计一种多步训练方法来解决这一挑战，以开发数据驱动的图像处理管道，以稳健地检测和分割散布在小物体表面上的巨石。由于标记的图像掩模对的可用性有限，开发的方法由Blender中专门为此工作设计的两个人工环境支持。这些被用于生成大量的合成图像标签集，这些合成图像标签集被公开提供给图像处理社区。所提出的方法解决了不同的照明条件，不规则的形状，快速训练时间，建筑设计空间的广泛探索，以及以前飞行任务的合成图像和真实图像之间的域差距的挑战。所开发的图像处理流水线的性能在合成图像和真实图像上进行了测试，表现出良好的性能和较高的泛化能力
2022-10-28 cs.CV eess.IV
SIDNet: Learning Shading-aware Illumination Descriptor for Image Harmonization
Northwestern Polytechnical University（西北工业大学）
本文提出SIDNet，通过阴影感知光照描述符将图像协调分解为背景光照估计与前景重渲染，并构建含丰富阴影变化的合成数据集，显著提升前景阴影协调效果。
2023-09-18 cs.CV
Illumination Variation Correction Using Image Synthesis For Unsupervised Domain Adaptive Person Re-Identification
Purdue University（普渡大学）
本文提出合成模型库（SMB）结合CNN与马氏距离，利用新3D虚拟数据集生成不同光照合成图像，以校正光照变化，提升无监督域自适应行人重识别性能。
2023-11-14 cs.CV cs.LG eess.IV
SF3D: Stable Fast 3D Mesh Reconstruction with UV-unwrapping and Illumination Disentanglement
Stability AI；UIUC（伊利诺伊大学厄巴纳-香槟分校）
SF3D提出一种0.5秒内从单图重建高质量带纹理3D网格的方法，通过快速UV展开、材质与法线预测及去光照解耦，在网格生成质量和新型光照适应性上超越现有技术。
2024-08-01 cs.CV cs.GR
LumiTex: Towards High-Fidelity PBR Texture Generation with Illumination Context
CUHK(SZ)（香港中文大学（深圳））；HKUST（香港理工大学）；HKU（香港大学）；PKU（北京大学）；LIGHTSPEED
LumiTex通过结合光照上下文和几何引导的修补模块，实现了高保真的PBR纹理生成，提升了材料分解和无缝纹理完成的性能。
2025-11-24 cs.CV
LightIt: Illumination Modeling and Control for Diffusion Models
Adobe（奥多比公司）
提出LightIt方法，通过以阴影图和法线图作为条件并训练控制网络，实现了图像生成中显式且一致的照明控制，并支持保持身份的重照明，性能媲美专门的最先进方法。
2024-03-25 cs.CV cs.GR cs.LG
Modeling Indirect Illumination for Inverse Rendering
Zhejiang University（浙江大学）；Alibaba Group（阿里巴巴集团）
隐式神经表示和可微分渲染的最新进展使得可以从未知静态照明下捕获的多视图RGB图像中同时恢复对象的几何形状和材料。尽管取得了有希望的结果，间接照明很少建模在以前的方法，因为它需要昂贵的递归路径追踪，这使得逆渲染计算棘手。在本文中，我们提出了一种新的方法来有效地恢复空间变化的间接照明。关键的见解是，间接照明可以方便地从输入图像中学习的神经辐射场导出，而不是与直接照明和材料联合估计。通过对间接照明和直接照明的可见性进行适当建模，可以恢复无互反射和无阴影的反射。合成和真实数据上的实验表明，我们的方法相比以前的工作和它的能力，以合成逼真的渲染新的观点和照明下的优越性能。我们的代码和数据可在https://zju3dv.github.io/invrender/上获得。
2022-04-14 cs.CV
MaterialMVP: Illumination-Invariant Material Generation via Multi-view PBR Diffusion
Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区）；Tencent Hunyuan（腾讯文元）；The Hong Kong University of Science and Technology（香港科技大学）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））
该研究提出MaterialMVP端到端模型，结合参考注意力、一致性正则化训练与双通道生成策略，从3D网格和图像提示生成光照不变、几何一致的PBR纹理，在3D资产创建效果上优于现有方法。
2025-07-30 cs.CV
A Diffusion Approach to Radiance Field Relighting using Multi-Illumination Synthesis
Inria（法国国家信息与自动化研究所）；Université Laval（拉瓦尔大学）；Adobe Research（奥多比研究院）
针对单光照多视图数据下辐射场重光照的欠约束难题，提出利用2D扩散模型先验增强多光照数据，结合3D高斯泼溅与光照参数化感知机实现完整场景的真实感3D重光照。
2024-09-17 cs.CV cs.GR
Learning-Based Dequantization For Image Restoration Against Extremely Poor Illumination
Shanghai Jiao Tong University（上海交通大学）；McMaster University（麦克马斯特大学）
所有现有的图像增强方法，如HDR色调映射，不能恢复由于不足或过度照明（下溢和上溢问题）的A/D量化损失。由于A/D量化导致的图像细节的丢失是完全的，并且它不能通过传统的图像处理方法来恢复，但是现代数据驱动的机器学习方法提供了对该问题的急需的解决方案。在这项工作中，我们提出了一种新的方法来恢复和增强在低和不均匀的照明下获得的图像。首先，通过模拟人工辅助照明的效果，在算法上补偿不良照明。然后，仅使用合成数据训练的DCNN恢复由量化引起的缺失细节。
2018-03-20 cs.CV
Document Rectification and Illumination Correction using a Patch-based CNN
Hong Kong UST（香港科技大学）；Microsoft Research Asia（微软亚洲研究院）；City University of Hong Kong（香港城市大学）
我们提出了一种新的学习方法来纠正文档图像从一个单一的输入图像的各种失真类型。与以前的基于学习的方法相反，我们的方法旨在首先学习输入图像块而不是整个图像上的失真流。然后，我们提出了一个强大的技术来缝合修补程序的结果到纠正的文件，通过在梯度域中的处理。此外，我们提出了第二个网络来纠正不均匀的照明，进一步提高可读性和OCR精度。由于较小的图像块上存在较不复杂的失真，我们的基于块的方法，然后拼接和照明校正可以显着提高合成和真实数据集的整体精度。
2019-09-20 cs.CV
ReLi3D: Relightable Multi-view 3D Reconstruction with Disentangled Illumination
University of Tübingen（图宾根大学）；Stability AI
ReLi3D通过统一端到端管道，从稀疏多视角图像中在一秒内重建完整的3D几何、空间变化的物理材质和环境照明，利用多视角约束提升材质与照明解耦效果。
2026-03-20 cs.CV cs.GR
Illumination adaptive person reid based on teacher-student model and adversarial training
University of Technology Sydney（悉尼科技大学）
大多数现有的作品中的人重新识别（ReID）集中在设置照明要么保持不变，或有很小的波动。然而，光照度的变化可能会显著影响ReID算法的鲁棒性。为了解决这个问题，我们提出了一个双流网络，可以将ReID特征与照明特征分离，以提高ReID性能。它的创新有三个方面：（1）区分熵损失，以确保ReID特征不包含照明信息。(2)在“中性”光照条件下通过图像训练的ReID教师模型，用于指导ReID分类。(3)通过光照调整后的图像与原始图像之间的差异来训练光照教师模型，以指导光照分类。我们通过综合改变两个最流行的ReID基准测试中的一组预定义照明条件来构建两个增强数据集：Market 1501和DukeMTMC-ReID。实验表明，我们的算法优于其他国家的最先进的作品，特别是在处理图像在极低的光。
2020-05-26 cs.CV
Interactive Illumination Invariance
University of East Anglia（东英吉利大学）
光照效应会给许多计算机视觉算法带来问题。我们提出了一个用户友好的交互式系统，强大的照明不变的图像生成。与以前的自动照明不变的图像推导方法相比，我们的系统使用户能够指定一种特定的照明变化的删除。光照不变图像的推导由用户输入指导。输入是一个笔画，它定义了一个覆盖一组像素的区域，这些像素的强度主要受照明变化的影响。这种额外的灵活性增强了处理非线性渲染图像和场景图像的鲁棒性，其中场景图像的照明变化难以自动估计。最后，我们提出了我们的方法的一些评价结果。
2016-07-20 cs.CV
SynthLight: Portrait Relighting with Diffusion Model by Learning to Re-render Synthetic Faces
Yale University（耶鲁大学）；Adobe Research（奥多比研究院）
该研究提出 SynthLight 扩散模型，将肖像重光照视为重新渲染问题，借助合成三维人脸数据、多任务训练和无分类器引导采样，在真实照片上实现身份保持且逼真的光照效果。
2025-01-16 cs.CV cs.GR
Ambient Lighting Generation for Flash Images with Guided Conditional Adversarial Networks
Universidad Católica San Pablo（圣巴勃罗天主教大学）；Université Paris-Est（巴黎东部大学）
为了应对低光条件下在图像中产生的挑战，摄影师倾向于使用相机闪光灯提供的光线来获得更好的照明。然而，使用相机闪光灯可能会产生强烈的阴影和不均匀的照明，特别是在弱光条件下。以前的研究主要集中在闪光灯图像上的照明规范化;然而，据我们所知，没有以前的研究已经检查了侧面阴影去除，过度曝光区域的重建，以及合成环境阴影或场景对象的自然色调的生成。为了在闪光灯图像上提供更自然的照明并确保高频细节，我们提出了一种引导条件模式的生成对抗网络。我们表明，这种方法不仅产生自然照明，但也衰减苛刻的阴影，同时产生合成环境阴影。我们的方法在自定义FAID数据集上取得了令人鼓舞的结果，优于我们的基线研究。我们还分析了我们的提案的组成部分，以及它们如何影响整体性能，并讨论了未来工作的机会。
2020-02-20 cs.CV cs.LG eess.IV
IllumiCraft: Unified Geometry and Illumination Diffusion for Controllable Video Generation
University of Oxford（牛津大学）；UC Merced（加州大学默塞德分校）；NEC Labs America（NEC美国实验室）；Atmanity Inc.（Atmanity公司）；Google DeepMind Project（谷歌DeepMind项目）
IllumiCraft提出统一扩散框架，融合HDR视频图、合成重光照帧和3D点轨迹三类输入，实现背景或文本条件下的时间连贯可控视频重光照，保真度优于现有方法。
2025-06-03 cs.AI cs.CV cs.LG
Radiometric Scene Decomposition: Scene Reflectance, Illumination, and Geometry from RGB-D Images
Drexel University（德雷塞尔大学）
恢复场景的辐射特性（即，反射率、照明和几何形状）是计算机视觉长期寻求的能力，其可以为广泛的应用提供宝贵的信息。从真实世界场景的外观中破译辐射成分，而不是单个孤立的对象，是特别具有挑战性的，因为它通常由具有不同材料成分的各种对象组成，这些对象表现出复杂的反射率和光相互作用，这些也是照明的一部分。我们介绍的第一种方法辐射场景分解，处理这些错综复杂的。我们使用RGB-D图像引导几何恢复，同时恢复复杂的反射率和自然光照，同时细化噪声的初始几何形状和分割成不同的材料区域的场景。最重要的是，我们处理真实世界的场景，包括多个对象的未知材料，这需要建模的空间变化复杂的反射率，自然光照，纹理，相互反射和阴影。我们系统地评估了我们的方法在合成场景中的有效性，并展示了其在现实世界场景中的应用。结果表明，丰富的辐射信息可以恢复从RGB-D图像和展示一个新的角色RGB-D传感器可以发挥一般场景理解任务。
2016-04-05 cs.CV
TokenLight: Precise Lighting Control in Images using Attribute Tokens
Yale University（耶鲁大学）；Adobe
本文提出一种图像再照明方法，通过属性标记编码多种光照属性，实现精确连续控制，并在合成和真实图像上验证了其性能。
2026-04-17 cs.CV cs.GR
Generative Multiview Relighting for 3D Reconstruction under Extreme Illumination Variation
Google（谷歌公司）；University of Maryland, College Park（马里兰大学学院公园分校）
提出一种多视角重照明扩散模型结合辐射场架构的方法，解决极端光照变化下3D重建中依赖视角外观恢复困难的问题，显著优于现有技术。
2024-12-19 cs.CV
Dior: Drawing the Light of Image via Material-Decoupled Illumination Representation
Tianjin University（天津大学）；KlingAI Research（KlingAI研究院）；Deva Research（Deva研究院）
针对现有图像重光照方法无法在手绘涂鸦输入与结果间建立有效映射的问题，提出材料解耦光照表示Lumi Map，构建Dior-Light方法，提升了重光照精度与光照控制能力。
2026-10-23 cs.CV
Training Deep Face Recognition Systems with Synthetic Data
University of Basel（巴塞尔大学）；Department of Mathematics and Computer Science（数学与计算机科学系）
深度学习的最新进展显著提高了人脸识别系统的性能。这些模型的性能和可靠性在很大程度上取决于训练数据的数量和质量。然而，带注释的大型数据集的集合不能很好地扩展，并且对数据质量的控制随着数据集的大小而降低。在这项工作中，我们将探索如何使用综合生成的数据来减少训练深度人脸识别系统所需的真实世界图像的数量。特别是，我们利用3D可变形人脸模型来生成具有任意数量面部身份的图像，并完全控制图像变化，例如姿势、照明和背景。在我们使用现成的人脸识别软件的实验中，我们观察到以下现象：1）训练有竞争力的深度人脸识别系统所需的真实训练数据量可以显着减少。2)将大规模真实数据与合成数据相结合可提高性能。3)仅在姿态、光照和背景变化很大的合成数据上训练的模型在不同的数据集上表现非常好，即使没有数据集自适应。4)使用合成数据进行预训练，然后使用真实世界的图像进行微调，可以缩小真实与虚拟的性能差距。5)使用合成数据进行预训练没有可观察到的负面影响。因此，我们实验中的任何人脸识别系统都受益于使用合成人脸图像。合成数据生成器以及所有实验都是公开的。
2018-02-16 cs.CV
Detailed Surface Geometry and Albedo Recovery from RGB-D Video Under Natural Illumination
Northwestern Polytechnical University（西北工业大学）；University of Kentucky（肯塔基大学）；Hangzhou Normal University（杭州师范大学）；Baidu Research（百度研究院）
在本文中，我们提出了一种新的方法，从RGB-D视频序列的深度图增强。其基本思想是利用彩色图像中的阴影信息。而不是假设表面的运动或控制对象的运动和照明，我们使用的照明变化所引入的偶然的对象运动。我们正在有效地计算光度立体从一个移动的物体在自然照明。关键的技术挑战是在整个图像集上建立对应关系。因此，我们开发了一种照明不敏感的鲁棒像素匹配技术，在存在照明变化的情况下优于光流方法。此外，我们提出了一个期望最大化的框架，同时恢复表面正常和cross-do，没有任何正则化项。我们已经验证了我们的方法在合成和真实的数据集上，以显示其优越的性能在表面细节恢复和内在分解。
2019-11-20 cs.CV
Matched Illumination
University of East Anglia（东英吉利大学）
在以前的工作中，已经表明，通过在光路中放置专门设计的滤色器，理论上可以使相机更具色度-其RGB与XYZ三色刺激值更加线性相关。在本文中，我们提供了一种新的方式来创建滤色效果，而无需制作物理滤波器：我们调制光源的光谱，通过使用光谱可调照明系统，从照明的角度来重铸预过滤效果。根据我们的方法，如果我们希望在D 65光下测量颜色，我们用调制的D 65光谱重新照亮场景，其中光调制模仿现有技术中的颜色预滤波的效果。我们称我们的最佳调制光为匹配照明。在实验中，使用合成和真实的测量，我们表明，颜色测量误差可以减少约50%或更多的模拟数据和25%或更多的真实图像时，使用匹配的照明。
2022-01-27 cs.CV eess.IV
Inharmonious Region Localization with Auxiliary Style Feature
Shanghai Jiao Tong University（上海交通大学）
随着图像编辑技术的普及，用户可以创建梦幻般的合成图像，但图像质量可能会受到操纵区域和背景之间的颜色/照明差异的影响。不协调区域定位的目的是定位合成图像中的不协调区域。在这项工作中，我们试图利用辅助样式功能，以促进这一任务。具体来说，我们提出了一种新的颜色映射模块和风格特征损失提取判别风格特征包含任务相关的颜色/照明信息。基于提取的风格特征，我们还提出了一种新的风格投票模块，以指导定位不和谐的区域。此外，我们将语义信息引入到风格投票模块中，以实现进一步的改进。我们的方法在基准数据集上大大优于现有的方法。
2022-10-05 cs.CV
Retinex-Diffusion: On Controlling Illumination Conditions in Diffusion Models via Retinex Theory
UvA-Bosch Delta Lab（UvA-博世德尔塔实验室）；Bosch Center for Artificial Intelligence（博世人工智能中心）；LMU Munich（慕尼黑大学）
本文提出Retinex-Diffusion方法，通过将扩散模型视为黑盒渲染器并分解其能量函数，实现对光照条件的有效控制，生成真实光照效果且无需额外训练或学习内在分解。
2024-07-29 cs.CV
NeRD: Neural Reflectance Decomposition from Image Collections
University of Tübingen（图宾根大学）；Google Research（谷歌研究院）
在计算机视觉和图形学中，将场景分解成其形状、反射率和光照度是一个具有挑战性但重要的问题。当照明不是实验室条件下的单个光源而是不受约束的环境照明时，这个问题本质上更具挑战性。虽然最近的工作已经表明，隐式表示可以用来模拟一个对象的辐射场，这些技术中的大多数只能使视图合成，而不是重新照明。此外，评估这些辐射场是资源和时间密集型的。我们提出了一种神经反射分解（NeRD）技术，使用基于物理的渲染的场景分解成空间变化的BRDF材料属性。与现有技术相比，我们的输入图像可以在不同的照明条件下捕获。此外，我们还提出了技术，将学习到的反射体积转换成一个relightable纹理网格，使快速实时渲染与新的照明。我们证明了所提出的方法的潜力与实验合成和真实的数据集，在那里我们能够获得高品质的relihtable 3D资产的图像集。数据集和代码可在项目页面上获得：https://markboss.me/publication/2021-nerd/
2021-08-26 cs.CV cs.GR cs.LG
Diffusion Reflectance Map: Single-Image Stochastic Inverse Rendering of Illumination and Reflectance
Graduate School of Informatics, Kyoto University（京都大学情报学研究科）
提出首个基于扩散模型的单图像随机逆向渲染方法 DRMNet，通过反射率图联合估计光照衰减频谱与物体反射率，在合成数据上训练并泛化至真实图像，达到最先进精度。
2024-03-26 cs.CV
Event-Illumination Collaborative Low-light Image Enhancement with a High-resolution Real-world Dataset
University of Science and Technology of China（中国科学技术大学）
本文提出EIC-LIE框架，通过事件-照明协同模块和照明感知事件滤波器，解决低光照图像增强中HDR信息整合不足和现实噪声敏感问题，并构建首个高分辨率现实事件数据集，实验证明其在多个数据集上优于现有方法。
2026-05-21 cs.CV
SpotlessGS: Relightable 3D Gaussian Splatting under Dynamic Illumination for Robotic Perception
Technical University of Munich（慕尼黑工业大学）；ETH Zurich（苏黎世联邦理工学院）
该研究针对机器人在差光照环境下感知性能下降问题，提出SpotlessGS方法，通过优化光照参数、引入SH光照模型及MLP-BRDF，实现可重光照三维重建，提升了渲染与感知性能。
2026-08-18 cs.CV cs.RO
Learning Inverse Rendering of Faces from Real-world Videos
Shenzhen Research Inst. of Big Data（深圳大数据研究院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Wuhan University（武汉大学）；University of Oxford（牛津大学）；Texas A&M University（得克萨斯农工大学）
在本文中，我们研究的问题，逆绘制的真实人脸图像。现有的方法通过对合成人脸数据进行监督训练，将人脸图像分解为三个分量（正常，正常和光照）。然而，由于真实人脸图像和合成人脸图像之间的域差距，在合成数据上训练的模型通常不能很好地推广到真实数据。同时，由于对于真实图像没有任何分量的基础事实可用，因此对真实面部图像进行监督学习是不可行的。为了缓解这个问题，我们提出了一种弱监督训练方法来训练我们的模型在真实的人脸视频，基于不同帧之间的一致性的假设，从而弥合真实和合成人脸图像之间的差距。此外，我们引入了一个学习框架，称为IlluRes-SfSNet，以进一步提取残差图，以捕获全局光照效果，这些效果提供了在现有方法中很大程度上被忽略的细节。我们的网络是在真实数据和合成数据上训练的，两者都能受益。我们在各种基准上全面评估了我们的方法，获得了比最先进的更好的逆渲染结果。
2020-03-26 cs.CV
Geometry Meets Light: Leveraging Geometric Priors for Universal Photometric Stereo under Limited Multi-Illumination Cues
针对通用光度立体在多光照线索不可靠场景下的缺陷，提出GeoUniPS网络，结合合成监督与预训练3D重建模型的几何先验，设计双分支编码器并引入新数据集，在复杂真实场景中实现更优的表面法线恢复性能。
2025-11-18 cs.CV
Failure or Drift? Evaluating Monocular SLAM under Synthetic and Real-World Corruptions
University of Mannheim（曼海姆大学）；Max-Planck-Institute for Informatics（马克斯·普朗克信息学研究所）
本研究评估单目SLAM在合成与真实世界干扰下的表现，区分跟踪失效与漂移，发现学习型跟踪器会产生持续漂移，且其排序随干扰物理保真度变化。
2026-09-01 cs.CV cs.RO
Validation of object detection in UAV-based images using synthetic data
University of Maryland（马里兰大学）；DEVCOM Army Research Laboratory（美国陆军作战能力发展司令部陆军研究实验室）；Defense Threat Reduction Agency（国防威胁降低局）
目标检测越来越多地用于无人机（UAV）上的各种应用;然而，用于基于UAV的检测的机器学习（ML）模型通常使用针对与UAV应用无关的任务而策划的数据来验证。这是一个问题，因为在大规模基准上训练神经网络在通用目标检测任务中表现出出色的能力，但传统的训练方法可能会导致基于UAV的图像的大的推断错误。这种误差是由于来自UAV的图像和训练中的图像之间的成像条件的差异而产生的。为了克服这个问题，我们描述了ML模型的边界条件，超过该边界条件，模型的检测精度会迅速下降。我们的工作是集中在了解不同的无人机为基础的成像条件的检测性能的影响，通过使用合成数据生成的游戏引擎。利用游戏引擎的属性来填充具有逼真和注释图像的合成数据集。具体地说，它能够精细控制各种参数，如相机位置、视角、照明条件和物体姿态。使用合成的数据集，我们分析了在不同的成像条件下的检测精度作为上述参数的函数。在我们的工作中，我们使用了三个著名的神经网络模型具有不同的模型复杂度。在我们的实验中，我们观察并量化了以下内容：1）随着相机向最低点区域移动，检测精度如何下降; 2）检测精度如何根据不同的物体姿态而变化;以及3）模型的鲁棒性随着照明条件的变化而变化的程度。
2022-01-17 cs.CV
BLPR: Robust License Plate Recognition under Viewpoint and Illumination Variations via Confidence-Driven VLM Fallback
Queen Mary University of London（伦敦玛丽女王大学）
本文提出BLPR框架，通过合成数据预训练和真实数据微调提升Bolivian车牌识别鲁棒性，引入轻量视觉语言模型作为置信度回退机制，实现89.6%的字符识别准确率。
2026-07-08 cs.CV
GaNI: Global and Near Field Illumination Aware Neural Inverse Rendering
University of Maryland, College Park（马里兰大学帕克分校）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
本文提出GaNI，一种能从共位光相机拍摄的场景图像中重建几何、反照率和粗糙度参数的神经逆渲染技术。通过两阶段方法解决多物体场景中全局和近场照明建模问题，改进神经体积渲染和逆神经辐射度算法，提升反射率和几何重建效果。
2026-04-13 cs.CV
Adversarial Image Composition with Auxiliary Illumination
Nanyang Technological University（南洋理工大学）；Alibaba DAMO Academy（阿里巴巴达摩院）
处理前景物体和背景图像之间的不一致性是高保真图像合成中具有挑战性的任务。现有技术的方法努力通过使前景对象的风格适应于与背景图像兼容来协调合成图像，而合成图像内的前景对象的潜在阴影对合成真实性至关重要，这在很大程度上被忽略。在本文中，我们提出了一个对抗性的图像合成网络（AIC-Net），通过考虑潜在的阴影，前景对象的项目在合成图像中实现逼真的图像合成。提出了一种新的分支生成机制，将阴影的生成和前景样式的转换分离开来，使这两个任务同时得到最优的完成。设计了可微空间变换模块，将局部协调与全局协调有效地结合起来，实现了局部协调与全局协调的联合优化。对行人和汽车组成任务的大量实验表明，所提出的AIC-Net在定性和定量方面都取得了优异的组成性能。
2021-01-09 cs.CV
Deep Image-based Illumination Harmonization
Wuhan University（武汉大学）；Meta Reality Labs（Meta现实实验室）
在计算机视觉和增强现实领域，将前景物体与背景场景进行光照协调是一项重要而又具有挑战性的任务。现有的方法主要关注前景和背景外观的一致性或前景物体阴影的生成，很少考虑全局外观和光照的协调性。在本文中，我们制定无缝照明协调作为一个照明交换和聚合问题。具体来说，我们首先应用一个基于物理的渲染方法来构建一个大规模的，高质量的数据集（命名为IH）为我们的任务，其中包含各种类型的前景对象和背景场景与不同的光照条件。然后，提出了一种基于图像的深度光照协调GAN框架DIH-GAN，该框架充分利用多尺度注意力机制和光照交换策略，直接推断插入的前景对象与相应背景场景之间的映射关系。同时，我们还使用对抗学习策略，以进一步完善光照协调的结果。我们的方法不仅可以实现和谐的外观和照明的前景物体，而且可以产生引人注目的阴影投下的前景物体。在我们的IH数据集和真实图像上的综合实验表明，我们提出的DIH-GAN为基于图像的对象光照协调编辑提供了一种实用有效的解决方案，并验证了我们的方法相对于最先进的方法的优越性。我们的IH数据集可在https://github.com/zhongyunbao/Dataset上获得。
2022-04-05 cs.CV
Illumination-insensitive Binary Descriptor for Visual Measurement Based on Local Inter-patch Invariance
University of Electronic Science and Technology of China (UESTC)（电子科技大学）；Sichuan University（四川大学）；institut superieur d’electronique de Paris - ISEP（巴黎高等电子学院（ISEP））
针对二值描述符对光照变化敏感的问题，提出基于局部块间不变性的IIB描述符，利用多空间粒度特征与积分图实现高效分层匹配，在自然和合成数据集上优于现有描述符，并成功用于长期视觉定位。
2023-05-13 cs.CV
RotatedMVPS: Multi-view Photometric Stereo with Rotated Natural Light
Beijing University of Posts and Telecommunications（北京邮电大学）
本文提出RotatedMVPS，利用旋转自然光并集成单视角先验，解决多视角光度立体中的形状与反射率恢复，实验验证其有效性。
2025-08-06 cs.CV
