Joint Shadow Generation and Relighting via Light-Geometry Interaction Maps
Amazon(亚马逊公司);Australian National University(澳大利亚国立大学)
本文提出光-几何交互映射,通过联合阴影生成与光照恢复的统一流程,实现高效且物理一致的阴影处理。
2026-03-02 cs.CV
Sat-NeRF: Learning Multi-View Satellite Photogrammetry With Transient Objects and Shadow Modeling Using RPC Cameras
Université Paris-Saclay(巴黎萨克雷大学);CNRS(法国国家科学研究中心);ENS Paris-Saclay(巴黎萨克雷高等师范学院);Centre Borelli(博雷利中心)
我们介绍了卫星神经辐射场(Sat-NeRF),一个新的端到端的模型,用于学习多视图卫星摄影测量在野外。Sat-NeRF结合了神经渲染的一些最新趋势与本地卫星相机模型,由有理多项式系数(RPC)函数表示。所提出的方法呈现新的视图和推断表面模型的质量类似的那些获得与传统的国家的最先进的立体管道。多日期图像在外观上表现出显着的变化,主要是由于不同的阴影和瞬态对象(汽车,植被)。这些挑战的鲁棒性是通过阴影感知辐照度模型和不确定性加权来实现的,以处理无法用太阳位置解释的瞬态现象。我们使用来自不同位置的WorldView-3图像评估Sat-NeRF,并强调在训练之前将束调整应用于卫星相机模型的优势。这提高了网络性能,并且可以可选地用于提取用于深度监督的额外线索。
2022-04-21 cs.CV
Neural Fields meet Explicit Geometric Representation for Inverse Rendering of Urban Scenes
NVIDIA(英伟达);University of Toronto(多伦多大学);Vector Institute(向量研究所);ETH Zürich(苏黎世联邦理工学院)
提出一种针对大型城市场景的逆向渲染框架,结合neural field与显式网格联合重建几何、材质和光照,实现照片级真实感重新打光与虚拟物体插入。
2023-04-06 cs.CV
Animated 3DGS Avatars in Diverse Scenes with Consistent Lighting and Shadows
Tübingen AI Center, University of Tübingen(图宾根人工智能中心,图宾根大学);Snap Inc.(Snap公司)
本文提出DGSM和SH重照明方法,实现动画3DGS虚拟角色在多样化场景中的一致光照和阴影效果。
2026-01-04 cs.CV
D$^2$NeRF: Self-Supervised Decoupling of Dynamic and Static Objects from a Monocular Video
University of Cambridge(剑桥大学);Google Research(谷歌研究院);Simon Fraser University(西蒙弗雷泽大学)
对于单目视频,在恢复静态环境的同时分割和解耦动态对象是机器智能中广泛研究的问题。现有的解决方案通常在图像域中解决这个问题,限制了它们的性能和对环境的理解。我们介绍了解耦动态神经辐射场(D $^2$ NeRF),一种自监督的方法,采用单目视频,并学习一个3D场景表示,从静态背景中提取移动对象,包括它们的阴影。我们的方法表示的运动物体和静态背景的两个单独的神经辐射场,只有一个允许时间的变化。这种方法的简单实现导致动态组件接管静态组件,因为前者的表示本质上更一般,并且易于过拟合。为此,我们提出了一种新的损失来促进现象的正确分离。我们进一步提出了一个阴影场网络来检测和解耦动态移动的阴影。我们引入了一个新的数据集,包含各种动态对象和阴影,并证明我们的方法可以实现更好的性能比国家的最先进的方法在解耦动态和静态的3D对象,遮挡和阴影去除,图像分割的移动对象。
2022-11-05 cs.CV
SIR: Multi-view Inverse Rendering with Decomposable Shadow Under Indoor Intense Lighting
The Hong Kong Polytechnic University(香港理工大学);Laboratory for Artificial Intelligence in Design(人工智能设计实验室)
提出SIR方法,利用多视图带位姿HDR图像和基于SDF的神经辐射场,通过学习可微阴影与三阶段材质估计,有效分解室内强光下的材质与光照,实现高质量逆向渲染及多种场景编辑功能。
2025-04-26 cs.CV
DNF-Avatar: Distilling Neural Fields for Real-time Animatable Avatar Relighting
Visual Geometry Group, University of Oxford(牛津大学视觉几何组);ETH Zürich(苏黎世联邦理工学院)
本文提出DNF-Avatar,将隐式神经场知识蒸馏到二维高斯泼溅表示,并结合分割和近似与分部位环境光遮蔽探针,实现67 FPS的实时可动画化虚拟形象重光照,推理速度比教师模型快370倍。
2025-08-19 cs.CV
Relighting Scenes with Object Insertions in Neural Radiance Fields
National University of Defense Technology(国防科技大学)
针对现有AR物体插入方法场景受限的问题,提出基于NeRF的物体插入与重光照流水线,采用球谐与球面高斯混合光照表示及深度图对比的软阴影渲染方法,实现逼真的新视角合成与重光照效果。
2024-06-21 cs.CV cs.GR
A Real-time Method for Inserting Virtual Objects into Neural Radiance Fields
Zhejiang University(浙江大学);Microsoft Research Asia(微软亚洲研究院)
本研究提出首个将刚性虚拟物体插入NeRF的实时方法,通过结合NeRF近场光与环境光估计光照、利用透明度图处理遮挡、借助预计算球形有符号距离场生成阴影,实现高保真实时插入与交互,有望应用于增强现实系统。
2023-10-09 cs.CV cs.GR
RAGA: Real Time Ray Traced Gaussian Shadow Casting for 3DGS Avatar-Scene Interaction
Tübingen AI Center, University of Tübingen, Germany(图宾根人工智能中心,图宾根大学,德国);Max Planck Institute for Informatics, Saarland Informatics Campus, Germany(马克斯·普朗克研究所信息学院,萨尔兰信息学院,德国);Imperial College London, UK(伦敦帝国理工学院,英国);King Abdullah University of Science and Technology (KAUST), Saudi Arabia(国王阿卜杜勒阿齐兹科技大学(KAUST),沙特阿拉伯);Snap Inc., USA(Snap公司,美国)
提出RAGA方法,通过精确的射线-高斯线积分在纯高斯空间中实现阴影计算,无需网格重建,支持单/多化身及物体交互场景,达到约50 FPS的实时性能。
2026-06-28 cs.CV
RNG: Relightable Neural Gaussians
Nanjing University of Science and Technology(南京理工大学);Adobe Research(奥多比研究中心);Nanjing University(南京大学)
本文提出可重光照神经高斯(RNG)框架,通过视角与光照方向条件化、阴影线索和深度细化网络以及混合前向-延迟拟合策略,在无需着色模型假设的情况下实现硬表面和软边界物体的高质量重光照,训练和渲染速度显著优于现有方法。
2025-04-07 cs.CV cs.GR
The Sky's the Limit: Re-lightable Outdoor Scenes via a Sky-pixel Constrained Illumination Prior and Outside-In Visibility
The University of York(约克大学)
提出基于天空像素约束的光照先验与由外向内天空可见性计算方法,解决室外场景逆向渲染中的光照与反照率模糊及阴影遮挡问题,在NeRF-OSR基准上取得最优结果。
2024-07-30 cs.CV
Shape Completion with Points in the Shadow
Xi’an Jiaotong University(西安交通大学);University of Leeds(利兹大学);Shenzhen University(深圳大学)
单视点云数据完备化的目标是基于有限的观测数据恢复物体的完整几何形状,但由于数据稀疏和遮挡,这是非常困难的。核心挑战是基于部分扫描生成合理的几何形状来填充对象的未观察部分,这是约束不足的,并且具有巨大的解决方案空间。受计算机图形学中经典的阴影体技术的启发,提出了一种新的方法来有效地减少解空间。我们的方法将相机视为向对象投射光线的光源。这样的光线构建了一个合理的约束,但足够的表达完成的基础。完井过程,然后制定为一个点位移优化问题。点在部分扫描时被初始化,然后移动到它们的目标位置,每个点有两种类型的移动:沿着光线的定向移动和用于形状细化的受约束的局部移动。我们设计了神经网络来预测理想点的运动,以得到完成的结果。我们证明,我们的方法是准确的,强大的,并通过详尽的评估和比较的推广。此外,它在MVP数据集上的定性和定量表现优于最先进的方法。
2022-10-04 cs.CV
SSD-GS: Scattering and Shadow Decomposition for Relightable 3D Gaussian Splatting
Victoria University of Wellington(惠灵顿维多利亚大学)
SSD-GS通过分解反射率成四个组件,提升3D高斯点云在新型光照条件下的重建与真实重照明能力,尤其适用于各向异性金属和透明材料。
2026-04-14 cs.CV cs.GR
Incorporating Season and Solar Specificity into Renderings made by a NeRF Architecture using Satellite Images
本研究拓展Shadow NeRF与Sat-NeRF,通过引入时间输入变量和损失函数额外项,构建了可分离季节特征与阴影的NeRF架构,在8个Maxar卫星图像区域验证了新视角渲染、高度图生成等性能,消融实验验证了设计合理性。
2023-12-15 cs.CV eess.IV
Gaussian Shadow Casting for Neural Characters
The University of British Columbia(不列颠哥伦比亚大学)
本文提出一种基于高斯密度代理的阴影模型,用解析公式替代采样以高效支持动态神经角色的阴影投射,结合延迟神经渲染实现无用户输入的光照方向优化,显著减少新姿态阴影伪影并提升重光照真实感。
2024-01-11 cs.CV
Fast Shadow Detection from a Single Image Using a Patched Convolutional Neural Network
University of Alberta(阿尔伯塔大学)
近年来,人们提出了多种从单幅图像中检测阴影的方法,并将其应用于视觉系统中,但由于时间复杂度较高,大多数方法不适合机器人应用。本文介绍了一种使用深度学习框架的快速阴影检测方法,其时间成本适合于机器人应用。在我们的解决方案中,我们首先获得一个阴影先验图的帮助下,多类支持向量机使用统计特征。然后,我们使用一个语义感知的块级卷积神经网络,它通过结合原始图像和阴影先验图来有效地训练阴影示例。在基准数据集上的实验表明,该方法在不损失准确性的前提下,显著降低了阴影检测的时间复杂度,与现有方法相比降低了一到两个数量级。
2018-03-16 cs.CV
CPNet: A Context Preserver Convolutional Neural Network for Detecting Shadows in Single RGB Images
Simon Fraser University(西蒙弗雷泽大学)
由于缺乏有关照明源和场景对象动态的先验信息,图像中阴影区域的自动检测是一项困难的任务。为了解决这个问题,本文提出了一种基于深度学习的分割方法,可以在单个RGB图像中识别像素级的阴影区域。我们利用一种新的卷积神经网络(CNN)架构,以端到端的方式识别和提取阴影特征。该网络在训练过程中保留了学习的上下文,并观察整个图像,同时检测全局和局部阴影模式。在两个公开的SBU和UCF数据集上对所提出的方法进行了评估。我们在这些数据集上分别将最先进的平衡出错率(BER)提高了22%和14%。
2018-10-13 cs.CV
DANI-Net: Uncalibrated Photometric Stereo by Differentiable Shadow Handling, Anisotropic Reflectance Modeling, and Neural Inverse Rendering
Nanyang Technological University(南洋理工大学);Zhejiang University(浙江大学);Peking University(北京大学)
由于未知光带来的固有模糊性,未校准的光度立体(UPS)具有挑战性。虽然在非朗伯对象上减轻了模糊性,但是对于具有引入不规则阴影的复杂形状的更一般的对象和具有复杂反射率(如各向异性反射率)的一般材料,该问题仍然难以解决。为了利用阴影和反射的线索来解决UPS并提高一般材料的性能,我们提出了DANI-Net,这是一个具有可区分阴影处理和各向异性反射建模的逆渲染框架。与大多数使用不可微阴影贴图并假设各向同性材质的方法不同,我们的网络通过两个可微路径受益于阴影和各向异性反射的线索。在多个真实数据集上的实验证明了我们的优越性和鲁棒性。
2023-03-28 cs.CV
Real-time Light Estimation and Neural Soft Shadows for AR Indoor Scenarios
RheinMain University of Applied Sciences(莱茵美因应用科学大学);Johannes Gutenberg University Mainz(美因茨约翰内斯·古腾堡大学)
提出一种面向实时AR室内场景的管线,通过深度神经网络进行光照估计并利用小型MLP生成依赖光照方向的神经软阴影纹理,在移动设备上实现了高真实感且实时的虚拟物体嵌入。
2023-08-03 cs.CV cs.GR
ShadowDancer: Teaching Video World Models Any Action by Learning Unified Dynamics Representations from a Video and Its Shadow
Alaya Lab(Alaya实验室);Shanghai Innovation Institute(上海创新研究院)
ShadowDancer通过阴影对与跨阴影预测学习统一动力学表示,实现视频世界模型的任意动作帧级控制,在多动力学族上的动作迁移与长回放性能优于基线,平均盲胜率达86%。
2026-07-31 cs.AI cs.CV cs.LG
Neural Reflectance for Shape Recovery with Shadow Handling
Australian National University(澳大利亚国立大学);Data61 CSIRO(联邦科学与工业研究组织数据61研究所)
本文的目的是恢复未知的,非朗伯的,可能是空间变化的表面材料的场景的形状。当物体的形状非常复杂并且阴影投射在表面上时,任务变得非常具有挑战性。为了克服这些挑战,我们提出了一个基于坐标的深度MLP(多层感知器)参数化未知的3D形状和未知的反射率在每个表面点。该网络能够利用表面上观察到的光度变化和阴影,并恢复表面形状和一般的非朗伯反射率。我们明确预测投射阴影,减轻这些阴影区域上可能的伪影,从而提高估计精度。我们的框架是完全自我监督的,从这个意义上说,它既不需要地面实况形状,也不需要BRDF。对真实图像的测试表明,我们的方法优于现有的方法的显着保证金。由于MLP网络的小尺寸,我们的方法比以前基于CNN的方法快一个数量级。
2022-03-24 cs.CV
Shadow-Mapping for Unsupervised Neural Causal Discovery
University of Surrey(萨里大学)
大多数科学领域的一个重要目标是发现一组观察结果的因果结构。遗憾的是,基于相关性或互信息的因果发现方法常常不能识别呈现动态关系的系统中的因果链接。这种动态系统(包括著名的耦合逻辑斯蒂映射)表现出“海市蜃楼”的相关性,其出现和消失取决于观察窗口。这不仅意味着相关性不是因果关系,而且可能与直觉相反,因果关系可能在没有相关性的情况下发生。在本文中,我们描述了神经阴影映射,一个基于神经网络的方法,将高维视频数据嵌入到一个低维的阴影表示,随后的因果关系的估计。我们展示了它的性能在发现因果关系的动态系统的视频表示。
2021-04-28 cs.CV stat.AP stat.ML
Cast and Self Shadow Segmentation in Video Sequences using Interval based Eigen Value Representation
Maharaja Research Foundation(马哈拉贾研究基金会);MIT, Mysore(迈索尔麻省理工学院);PESCE, Mandya(曼迪亚PES工程学院)
监控视频中运动目标的跟踪对于监控和分析具有重要意义。当阴影被检测为运动物体时,监控系统的性能会恶化。因此,阴影检测和消除通常有利于下一阶段。为了克服这个问题,提出了一种阴影检测和消除方法。提出了一种基于时间域邻域值确定像素间欧氏距离的视频序列运动目标分割方法。在此基础上,提出了一种通过计算每个像素邻域的特征值来分割视频序列中的阴影和自阴影的方法。基于特征值的区间表示投射和自阴影像素的对偶映射。在IEEE CHANGE DETECTION 2014数据集上对所提出的方法进行了测试。
2016-08-28 cs.CV
Neural Shadow Art
University of Science and Technology of China(中国科学技术大学);Cardiff University(卡迪夫大学)
本文提出神经阴影艺术,利用隐式占用函数表示实现任意拓扑的高质量可3D打印阴影艺术模型,通过联合优化光照方向、屏幕朝向和刚性变换提升投影精度,同时满足工业生产需求并增强艺术效果。
2025-08-22 cs.CV
Impact of Light and Shadow on Robustness of Deep Neural Networks
University of Electronic Science and Technology of China(电子科技大学);Chinese Academy of Military Science(中国军事科学院);Xi’an University of Electronic Science and Technology(西安电子科技大学);Zhejiang University(浙江大学);Shanghai Jiaotong University(上海交通大学);National University of Defense Technology(国防科技大学)
本文提出了一个包含24个亮度级别的亮度变化数据集,通过实验发现亮度水平与DNNs准确性损失呈正相关,并验证了AugMix、Revisit和Free Normalizer等鲁棒训练技术能有效提升DNNs对亮度变化的鲁棒性。
2023-05-23 cs.AI cs.CV
Direction-aware Spatial Context Features for Shadow Detection and Removal
The Chinese University of Hong Kong(香港中文大学);The Hong Kong Polytechnic University(香港理工大学);Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院)
阴影检测和阴影去除是基本的和具有挑战性的任务,需要全局图像语义的理解。本文提出了一种新的深度神经网络设计的阴影检测和去除,通过分析空间图像上下文的方向感知的方式。为了实现这一点,我们首先制定了方向感知的注意力机制在空间递归神经网络(RNN)通过在RNN中聚合空间上下文特征时引入注意力权重。通过训练学习这些权重,我们可以恢复方向感知的空间上下文(DSC)来检测和去除阴影。该设计被开发到DSC模块中,并嵌入到卷积神经网络(CNN)中,以学习不同级别的DSC特征。此外,我们设计了一个加权的交叉熵损失,使有效的阴影检测的训练,并进一步采用网络的阴影去除,通过使用欧几里德损失函数和制定的颜色传递函数,以解决颜色和亮度不一致的训练对。我们采用了两个阴影检测基准数据集和两个阴影去除基准数据集,并进行了各种实验来评估我们的方法。实验结果表明,我们的方法对国家的最先进的方法进行阴影检测和阴影去除。
2019-05-25 cs.CV
COMPOSE: Comprehensive Portrait Shadow Editing
Michigan State University(密歇根州立大学);Adobe Research(奥多比研究院)
提出COMPOSE人像阴影编辑管道,通过将环境贴图分解为环境光和可编辑高斯主导光源,实现对面部阴影形状、强度和位置的精确控制,同时保留原始环境照明。
2024-08-25 cs.CV
SIRe-IR: Inverse Rendering for BRDF Reconstruction with Shadow and Illumination Removal in High-Illuminance Scenes
State Key Laboratory of CAD&CG, Zhejiang University(浙江大学CAD&CG国家重点实验室);Tencent(腾讯)
针对强光照场景下阴影和间接光照导致逆渲染困难的问题,提出 SIRe-IR 方法,通过非线性映射与正则化可见性估计同时建模多种光照因素,实现无阴影干扰的高质量材质分解与 BRDF 重建。
2023-11-19 cs.CV
AI driven shadow model detection in agropv farms
Vellore Institute of Technology, Chennai(韦洛尔理工学院金奈校区);Naldeo Technologies(Naldeo科技公司)
本文研究农业光伏农场中的阴影检测问题,采用基于CNN和GAN的神经网络方法实现有效检测,并指出未来需发展更复杂算法并与控制系统集成以提升生产力。
2023-04-16 cs.CV
Multi-scale Sparse Representation-Based Shadow Inpainting for Retinal OCT Images
Shanghai Jiao Tong University(上海交通大学);The University of Alabama(阿拉巴马大学);Shanghai General Hospital(上海市第一人民医院)
修复视网膜光学相干断层扫描(OCT)图像中由浅表血管投射的阴影区域对于准确和鲁棒的机器分析和临床诊断至关重要。传统的基于序列的方法,如传播相邻信息,以逐步填补缺失的区域是成本有效的。但当处理较大的缺失区域和纹理丰富的结构时,它们产生的结果不太令人满意。新兴的基于深度学习的方法,如编码器-解码器网络,在自然图像修补任务中显示出有希望的结果。然而,除了对数据集大小的高要求之外,它们通常需要很长的计算时间来进行网络训练,这使得它很难应用于通常较小的医学数据集。为了解决这些问题,本文提出了一种基于稀疏表示和深度学习的OCT图像多尺度阴影修复框架:稀疏表示用于从少量训练图像中提取特征,并在多尺度图像融合后对图像进行正则化,而卷积神经网络(CNN)用于提高图像质量。在图像修补过程中,我们根据阴影宽度将预处理后的输入图像分成不同的分支,以获取不同尺度的互补信息。最后,设计了一个基于稀疏表示的正则化模块,用于细化多尺度特征聚合后生成的内容。进行实验,比较我们的建议与传统的和基于深度学习的合成和真实世界的阴影技术。实验结果表明,该方法在视觉质量和量化指标方面都取得了良好的图像修补效果,尤其是在阴影较宽的情况下。
2022-02-23 cs.CV eess.IV
SpotLight: Shadow-Guided Object Relighting via Diffusion
Université Laval(拉瓦尔大学);Depix Technologies(Depix技术公司);Toyota Technological Institute at Chicago(芝加哥丰田技术研究所)
SpotLight通过提供粗略阴影提示,无需训练即可实现精确可控的物体光照,优于现有扩散模型在光照和阴影处理上的表现。
2025-12-10 cs.CV cs.GR
An U-Net-Based Deep Neural Network for Cloud Shadow and Sun-Glint Correction of Unmanned Aerial System (UAS) Imagery
Department of Industrial and Systems Engineering, Mississippi State University, Mississippi State, MS, USA(工业与系统工程系,密苏里州立大学);Department of Geosciences, Mississippi State University, Mississippi State, MS, USA(地球科学系,密苏里州立大学)
本研究提出一种基于U-Net的深度学习方法,用于识别并校正无人机影像中的云阴影和太阳耀斑,以提升水质参数估算的准确性。
2025-09-10 cs.CV
Consistency as Regularization for Unsupervised Shadow Removal
La Rochelle University(拉罗谢尔大学)
该研究提出无监督阴影去除框架ShadowCLR,利用带阴影图像间的一致性作为正则化,在多个基准上取得优于现有无监督方法的性能,无需阴影掩码或无阴影参考图像。
2026-09-03 cs.CV
COFFEE: A Shadow-Resilient Real-Time Pose Estimator for Unknown Tumbling Asteroids using Sparse Neural Networks
Department of Electronic and Electrical Engineering, EPFL(EPFL电子与电气工程系);Division of Engineering and Applied Science, California Institute of Technology(加州理工学院工程与应用科学系)
针对未知翻滚小行星的实时姿态估计,提出COFFEE框架,利用太阳相位角先验关联轮廓与阴影提取稀疏特征,结合稀疏神经网络和图神经网络匹配,实现无偏、高精度且快一个数量级的姿态估计。
2025-08-05 cs.CV cs.RO
Shadow Datasets, New challenging datasets for Causal Representation Learning
USC(南加州大学);USC Information Sciences Institute(南加州大学信息科学研究所)
针对现有因果表示学习数据集生成因素少、因果图简单及真实数据集图与分布不一致的问题,本文提出两个更具挑战性的新数据集,并修正 CelebA(BEARD) 与 CelebA(SMILE) 的因果图。
2023-08-11 cs.CV cs.LG
Neural Implicit Field Editing Considering Object-environment Interaction
Aerospace Information Research Institute, Chinese Academy of Sciences(中国科学院空天信息创新研究院)
本文提出OSI-aware双流神经渲染系统,通过本征分解、深度图引导修复和点匹配阴影渲染,解决神经隐式场编辑中物体与环境交互及外观变化缺失的问题。
2023-11-01 cs.AI cs.CV
Controllable Shadow Generation Using Pixel Height Maps
Purdue University(普渡大学);University of Adelaide(阿德莱德大学);Adobe Research(Adobe研究院);University of Cambridge(剑桥大学)
阴影对于真实感图像合成是必不可少的。基于物理的阴影渲染方法需要3D几何图形,但这并不总是可用的。基于深度学习的阴影合成方法学习从光信息到对象阴影的映射,而不显式地对阴影几何体建模。尽管如此,他们缺乏控制,容易出现视觉伪影。我们引入像素高度,一种新的几何表示,编码对象,地面和相机姿态之间的相关性。像素高度可以从3D几何形状计算,在2D图像上手动注释,也可以通过监督方法从单视图RGB图像预测。它可用于基于投影几何计算2D图像中的硬阴影,提供对阴影方向和形状的精确控制。此外,我们提出了一个数据驱动的软阴影生成器应用软的硬阴影的基础上的软输入参数。定性和定量的评价表明,建议的像素高度显着提高了阴影生成的质量,同时允许可控性。
2022-07-15 cs.CV cs.GR
Progressive Recurrent Network for Shadow Removal
University of Science and Technology of China(中国科学技术大学)
本文提出渐进循环网络PRNet,通过由粗到细的迭代阴影去除和重整合与更新模块,在保持细节的同时仅用最佳方法29%的参数,在ISTD、ISTD+和SRD上取得优越性能。
2023-11-01 cs.CV
Relightable and Animatable Neural Avatars from Videos
Tsinghua University(清华大学)
本文提出一种从稀疏视频创建可重光照、可动画化神经虚拟化身的方法,通过可逆变形场和姿态感知光可见性网络解耦几何、材质与光照,实现新视角、姿态和光照下的逼真人像合成。
2023-12-20 cs.CV
Beyond Reconstruction: A Physics Based Neural Deferred Shader for Photo-realistic Rendering
School of Computing Science, University of Glasgow(计算科学学院,格拉斯哥大学)
本文提出基于物理的神经延迟着色管线,分解渲染过程并学习可泛化着色函数,实现任意光照下的照片级真实感着色与重光照,性能优于经典及最先进模型。
2025-06-24 cs.CV
PixHt-Lab: Pixel Height Based Light Effect Generation for Image Compositing
Purdue University(普渡大学);Adobe Inc.(奥多比公司)
阴影或反射等照明效果是使合成图像逼真和具有视觉吸引力的关键。为了生成这样的效果,传统的计算机图形使用基于物理的渲染器以及3D几何图形。为了弥补2D图像合成中几何图形的不足,最近基于深度学习的方法引入了像素高度表示来生成柔和的阴影和反射。但是,几何体的缺乏限制了生成的软阴影的质量,并将反射约束为纯镜面反射。我们介绍PixHt-Lab,一个利用从像素高度表示到3D空间的显式映射的系统。使用此映射,PixHt-Lab重建剪切和背景几何体,并为图像合成渲染逼真、多样的照明效果。给定一个具有基于物理的材质的表面,我们可以渲染具有不同光泽度的反射。为了生成更逼真的软阴影,我们进一步建议使用3D感知缓冲通道来指导神经渲染器。定量和定性评估都表明,PixHt-Lab显着提高了软阴影生成。
2023-02-28 cs.CV cs.GR
Shadow Transfer: Single Image Relighting For Urban Road Scenes
University of Michigan(密歇根大学)
图像中的照明效果,特别是投射阴影和阴影,已被证明会降低深度神经网络在城市驾驶场景中大量基于视觉的检测,识别和分割任务的性能。造成这种性能差距的一个关键因素是在真实的标记数据集内缺乏“一天中的时间”多样性。在图像到图像的转换领域,将以前看不见的视觉效果转换到数据集中,特别是在白天到夜晚的转换方面,已经取得了令人印象深刻的进展。然而,在训练过程中,要限制什么视觉效果(更不用说照明效果)从一个数据集转移到另一个数据集并不容易。为了解决这个问题,我们提出了深度学习框架,称为阴影转移,可以通过将逼真的阴影,阴影和其他照明效果转移到单个图像上来重新照亮复杂的户外场景。所提出的框架的新颖之处在于,它既具有自我监督性,又被设计为对自动驾驶汽车数据集中容易获得的传感器和标签信息进行操作。我们证明了这种方法在合成和真实数据集上的有效性,并且我们提供的实验表明,所提出的方法产生的图像比最先进的图像到图像的翻译方法具有更高的视觉质量。
2019-09-26 cs.CV
Geometry-aware Single-image Full-body Human Relighting
Tsinghua University(清华大学);Meta Reality Labs(Meta现实实验室);Guangdong OPPO Mobile Telecommunications Corp., Ltd(广东OPPO移动通信有限公司)
单图像人体重光照是指将输入图像分解为轮廓、形状和光照,在新的光照条件下对目标人体进行重光照。虽然可以实现合理的重新照明结果,但以前的方法遭受了阴影和照明之间的纠缠以及缺乏硬阴影,这显着降低了真实感。为了解决这两个问题,我们提出了一个几何感知的单图像人类重光照框架,利用单图像几何重建的传统图形渲染和神经渲染技术的联合部署。对于去光照,我们探讨了UNet架构的缺点,并提出了一种改进的HRNet,实现了更好的解纠缠之间的光和照明。对于重新照明,我们引入了一个基于光线追踪的每像素照明表示,显式建模高频阴影,并提出了一个基于学习的阴影细化模块,以恢复逼真的阴影(包括硬投阴影)从光线跟踪的阴影图。我们的框架能够在具有挑战性的光照条件下生成照片般逼真的高频阴影,例如投射阴影。大量的实验表明,我们提出的方法优于以前的方法在合成和真实图像。
2022-07-12 cs.CV
Towards Geometry Guided Neural Relighting with Flash Photography
The Chinese University of Hong Kong(香港中文大学);SenseTime Research(商汤科技研究院)
先前的基于图像的重照明方法需要捕获多个图像以在不同照明条件下获得高频照明效果,这需要不小的努力并且在某些实际使用场景中可能是不现实的。虽然这种方法完全依赖于在不同的照明条件下巧妙地对彩色图像进行采样,但是很少有人利用几何信息来对图像中的高频特征(例如光泽高光和投射阴影)产生关键影响。因此,我们提出了一个框架,用于使用深度学习从单个闪光灯照片及其相应的深度图重新照明图像。通过结合深度图,我们的方法能够通过几何引导的图像分解从手电筒图像中推断出新颖照明下的逼真高频效果,并从阴影编码变换的深度图中预测投射阴影图。此外,基于单个图像的设置大大简化了数据捕获过程。我们通过实验验证了我们的几何引导方法在固有图像分解和图像重新照明方面优于最先进的基于图像的方法的优势,并在真实的手机照片示例上展示了我们的性能。
2020-08-12 cs.CV cs.GR cs.LG
NECA: Neural Customizable Human Avatar
School of Computer Science and Engineering, Sun Yat-sen University(中山大学计算机科学与工程学院);Adobe Research(奥多比研究中心)
NECA从单目或稀疏视角视频学习可定制人类表示,通过双空间解耦神经场实现姿态、阴影、形状、光照和纹理的精细编辑,并在逼真渲染和编辑任务上超越现有方法。
2024-03-15 cs.CV
DeRenderNet: Intrinsic Image Decomposition of Urban Scenes with Shape-(In)dependent Shading Rendering
Beijing University of Posts and Telecommunications(北京邮电大学);Peking University(北京大学);Institute for Artificial Intelligence, Peking University(北京大学人工智能研究院)
我们提出了DeRenderNet,一个深度神经网络,用于分解阴影和潜在照明,并渲染形状相关的阴影,给定一个室外城市场景的单个图像,以自我监督的方式进行训练。为了实现这一目标,我们建议使用从视频游戏场景中提取的深度图作为直接监督,并根据作为间接监督提供的深度图预先计算正常和阴影先验图。与最先进的固有图像分解方法相比,DeRenderNet生成了无阴影的无阴影地图,具有清晰的细节和形状无关阴影中阴影的准确预测,这在重新渲染和提高城市场景高级视觉任务的准确性方面是有效的。
2021-04-28 cs.CV