Multiview Geometric Regularization of Gaussian Splatting for Accurate Radiance Fields
POSTECH, South Korea（POSTECH, 韩国）
针对现有高斯泼溅方法在跨视角颜色变化大的场景中几何重建效果差的问题，提出融合MVS深度等约束的多视图几何正则化策略，结合二者互补优势，同时提升室内外场景的几何精度与渲染质量。
2025-06-16 cs.CV
AG-NeRF: Attention-guided Neural Radiance Fields for Multi-height Large-scale Outdoor Scene Rendering
South China University of Technology（华南理工大学）
AG-NeRF提出一种注意力引导的端到端框架，通过源图像选择与特征融合解决多高度户外场景渲染，半小时训练即达SOTA性能。
2024-04-18 cs.CV
LentiAvatar: Pseudo-Multiview Reconstruction and Subpixel Prism Rendering for Real-Time Stereoscopic Communication
Sun Yat-sen University（中山大学）
提出PrismAvatar系统，通过单目视频重建可控头部化身，并利用亚像素编码光栅实现实时裸眼立体通信，采用伪多视图监督和轮廓感知损失提升侧视质量。
2026-06-16 cs.CV cs.GR
NeRO: Neural Geometry and BRDF Reconstruction of Reflective Objects from Multiview Images
The University of Hong Kong（香港大学）；Tencent Games（腾讯游戏）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；University of Pennsylvania（宾夕法尼亚大学）；Texas A&M University（得克萨斯农工大学）
NeRO提出一种两步神经渲染方法，在未知环境光照且无物体掩码条件下，仅从带位姿的多视角RGB图像中精确重建反射物体的几何形状与BRDF。
2023-05-27 cs.CV cs.GR
LightCity: An Urban Dataset for Outdoor Inverse Rendering and Reconstruction under Multi-illumination Conditions
State Key Lab of CAD&CG, Zhejiang University（浙江大学计算机辅助设计与图形学国家重点实验室）
LightCity是一个用于多光照条件下城市反渲染与重建的高质量合成数据集，包含多样化的光照条件和丰富的属性，用于评估和分析城市环境中的关键任务。
2026-02-01 cs.CV
Illusion3D: 3D Multiview Illusion with 2D Diffusion Priors
University of Maryland, College Park（马里兰大学大学公园分校）；Kuwait University（科威特大学）
本文提出Illusion3D方法，利用预训练2D扩散模型通过可微渲染优化神经3D表示的纹理与几何，实现基于文本或图像提示的多视角3D视错觉生成。
2025-06-05 cs.CV
Large Material Gaussian Model for Relightable 3D Generation
Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）；The University of Hong Kong（香港大学）；LIGHTSPEED；The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州））
本文提出MGM框架，通过深度/法线条件化的多视图PBR扩散模型与高斯材质表示，生成带反照率、粗糙度和金属度的可重光照3D资产。
2025-09-26 cs.CV
R3GW: Relightable 3D Gaussians for Outdoor Scenes in the Wild
Fraunhofer Heinrich Hertz Institute（弗劳恩霍夫海因里希·赫茨研究所）
R3GW通过结合基于物理的渲染与3DGS，实现了野外户外场景的可重照明3D重建和高质量新视角合成。
2026-03-03 cs.CV
Occlusion Handling using Semantic Segmentation and Visibility-Based Rendering for Mixed Reality
The University of Tokyo（东京大学）
在室外混合现实系统中，由于场景的复杂性，实时遮挡处理需要很大的计算量，是一个主要的问题。仅使用分割，这是很难准确地渲染一个虚拟物体遮挡的复杂对象，如树木，灌木丛等，在本文中，我们提出了一种新的遮挡处理方法，实时，室外，全方位的混合现实系统，只使用从单目图像序列的信息。首先，我们提出了一个语义分割计划预测量的可见性为不同类型的对象在场景中。我们还同时计算前景概率图使用深度估计从光流。最后，我们结合分割结果和概率图，使用基于概率的绘制方法绘制计算机生成的对象和真实场景。我们的研究结果表明，在处理闭塞相比，现有的混合为基础的方法有很大的改善。
2017-07-30 cs.CV
Semantics-Controlled Gaussian Splatting for Outdoor Scene Reconstruction and Rendering in Virtual Reality
Technical University of Munich（慕尼黑工业大学）；University of Otago（奥塔哥大学）；TUM University Hospital Erlangen（慕尼黑工业大学埃尔朗根大学医院）
提出语义控制的Gaussian Splatting (SCGS)方法，解决户外大场景3D环境编辑难题，实现高质量分割与渲染，在视觉质量、分割性能及用户体验上超越现有技术。
2024-09-24 cs.CV cs.GR
InverseRenderNet: Learning single image inverse rendering
University of York（约克大学）
我们展示了如何训练一个完全的卷积神经网络来从单个不受控制的图像执行逆渲染。该网络以RGB图像作为输入，回归Rectodo和法线映射，从中我们计算照明系数。我们的网络是使用大量不受控制的图像集合进行训练的，没有地面实况。通过引入可区分的渲染器，我们的网络可以从自我监督中学习。由于问题是不适定的，我们引入额外的监督：1。我们学习一个统计的自然照明先验，2。我们的主要见解是执行离线多视图立体（MVS）的图像包含丰富的照明变化。从MVS姿态和深度图，我们可以在重叠视图之间进行交叉投影，从而可以使用Siamese训练来确保对光度不变量的一致估计。MVS深度还为法线映射估计提供直接粗略监督。我们相信这是第一次尝试使用MVS监督学习逆渲染。
2018-11-29 cs.CV
Robust Low-light Scene Restoration via Illumination Transition
The Hong Kong University of Science and Technology（香港科学与技术大学）；The Hong Kong Polytechnic University（香港理工大学）；Nanjing University of Posts and Telecommunications（南京邮电大学）；University of Surrey（萨里大学）
提出鲁棒暗光场景恢复框架RoSe，通过3D照度过渡估计与低秩约束实现多视图一致去噪，显著提升正常光照新视角合成的质量。
2025-07-16 cs.CV
Multiview Neural Surface Reconstruction by Disentangling Geometry and Appearance
Weizmann Institute of Science（魏茨曼科学研究所）
在这项工作中，我们解决了具有挑战性的问题，多视图三维表面重建。我们引入了一个神经网络架构，同时学习未知的几何形状，相机参数，和神经渲染器，近似从表面反射到相机的光。几何形状被表示为神经网络的零水平集，而从渲染方程导出的神经渲染器能够（隐式地）对广泛的照明条件和材料进行建模。我们在DTU MVS数据集上训练了具有不同材料属性，光照条件和噪声相机初始化的对象的真实世界2D图像。我们发现我们的模型可以产生具有高保真度，分辨率和细节的最先进的3D表面重建。
2020-10-25 cs.CV cs.GR cs.LG
SC-NeRF: Self-Correcting Neural Radiance Field with Sparse Views
China University of Mining and Technology（中国矿业大学）；Shanghai Jiao Tong University（上海交通大学）
本文提出SC-NeRF，通过基于多头注意力机制的几何校正和外观校正模块，解决仅用物体级数据训练泛化到户外场景时的分布偏移和视角变化导致的渲染伪影问题，在四个数据集上显著提升了PSNR和SSIM等指标。
2023-09-10 cs.CV
Generative Multiview Relighting for 3D Reconstruction under Extreme Illumination Variation
Google（谷歌公司）；University of Maryland, College Park（马里兰大学学院公园分校）
提出一种多视角重照明扩散模型结合辐射场架构的方法，解决极端光照变化下3D重建中依赖视角外观恢复困难的问题，显著优于现有技术。
2024-12-19 cs.CV
EA-3DGS: Efficient and Adaptive 3D Gaussians with Highly Enhanced Quality for outdoor scenes
针对户外场景中3DGS训练内存占用高、表示调整机制不足的问题，提出EA-3DGS方法，通过自适应四面体网格初始化、结构感知的剪枝增密及矢量量化，实现高质量实时渲染，在13个场景上验证了优越性。
2025-05-16 cs.CV
Unveiling the Ambiguity in Neural Inverse Rendering: A Parameter Compensation Analysis
KU Leuven（KU Leuven（荷语鲁汶大学））；Ford Motor Company（福特汽车公司）
本文通过解耦神经微面场并引入扰动，分析神经逆渲染中场景属性间的补偿机制，揭示其固有模糊性，并强调几何、材质与光照先验的引导作用。
2024-04-19 cs.CV
Neural Fields meet Explicit Geometric Representation for Inverse Rendering of Urban Scenes
NVIDIA（英伟达）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）；ETH Zürich（苏黎世联邦理工学院）
提出一种针对大型城市场景的逆向渲染框架，结合neural field与显式网格联合重建几何、材质和光照，实现照片级真实感重新打光与虚拟物体插入。
2023-04-06 cs.CV
Differential Angular Imaging for Material Recognition
Rutgers University（罗格斯大学）；Drexel University（德雷塞尔大学）
对于计算机视觉来说，现实世界户外表面的材料识别变得越来越重要，以支持其在“野外“的操作。“作为材料识别基础的计算表面建模已经从使用实验室控制的辐射测量的反射率建模过渡到基于互联网挖掘的场景中捕获的材料图像的基于图像的表示。我们建议采取一种中间地带的方法，利用丰富的辐射线索和灵活的图像捕捉的材料识别。我们实现了这一点，通过开发一个框架，差分角度成像，在图像捕获中的小角度变化提供了增强的外观表示和显着的识别改进。我们建立了一个大规模的材料数据库，地面地形在户外场景（GTOS）数据库，面向真正使用的自主智能体。该数据库包括30，000多张图像，涵盖40类不同天气和照明条件下的户外地面地形。我们开发了一种新的材料识别方法，称为差分角度成像网络（DAIN），以充分利用这个大型数据集。通过这种新颖的网络架构，我们提取了材料的特征，这些特征编码在它们外观的角度和空间梯度中。我们的研究结果表明，DAIN实现识别性能，超越单视图或粗量化的多视图图像。这些结果证明了差分角成像作为灵活的就地材料识别的手段的有效性。
2017-07-14 cs.CV
Self-supervised Outdoor Scene Relighting
University of York（约克大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
室外场景重照明是一个具有挑战性的问题，需要很好地理解场景的几何形状，照明和光照。当前的技术是完全监督的，需要高质量的合成渲染来训练解决方案。这样的渲染是使用从有限的数据中学习的先验来合成的。相比之下，我们提出了一个自我监督的方法重新照明。我们的方法只在没有任何用户监督的情况下从互联网上收集的图像语料库上进行训练。这种几乎无穷无尽的训练数据源允许训练通用的重新照明解决方案。我们的方法首先将图像分解为它的几何形状，几何形状和照明。然后通过修改照明参数来产生新的重照明。我们的解决方案使用专用的阴影预测图来捕获阴影，并且不依赖于精确的几何估计。我们主观和客观地评估我们的技术使用一个新的数据集与地面实况重新照明。结果表明，我们的技术能够产生照片般逼真和物理上合理的结果，推广到看不见的场景。
2021-07-07 cs.CV cs.GR
DeRenderNet: Intrinsic Image Decomposition of Urban Scenes with Shape-(In)dependent Shading Rendering
Beijing University of Posts and Telecommunications（北京邮电大学）；Peking University（北京大学）；Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院）
我们提出了DeRenderNet，一个深度神经网络，用于分解阴影和潜在照明，并渲染形状相关的阴影，给定一个室外城市场景的单个图像，以自我监督的方式进行训练。为了实现这一目标，我们建议使用从视频游戏场景中提取的深度图作为直接监督，并根据作为间接监督提供的深度图预先计算正常和阴影先验图。与最先进的固有图像分解方法相比，DeRenderNet生成了无阴影的无阴影地图，具有清晰的细节和形状无关阴影中阴影的准确预测，这在重新渲染和提高城市场景高级视觉任务的准确性方面是有效的。
2021-04-28 cs.CV
FIORD: A Fisheye Indoor-Outdoor Dataset with LIDAR Ground Truth for 3D Scene Reconstruction and Benchmarking
Tampere University（坦佩雷大学）；Aalto University（阿尔托大学）；University of Oulu（奥卢大学）
本文提出FIORD数据集，利用双200度鱼眼镜头采集5个室内和5个室外场景的360度覆盖图像，并提供激光雷达稠密点云作为几何真值，以支持在遮挡和反射等挑战性条件下的三维场景重建与新视角合成基准测试。
2025-04-09 cs.CV
Ouroboros: Single-step Diffusion Models for Cycle-consistent Forward and Inverse Rendering
University of California, Irvine（加州大学伊维特分校）；Stony Brook University（石溪大学）；Huazhong University of Science and Technology（华中科技大学）；University of Florida（佛罗里达大学）
Ouroboros通过双单步扩散模型实现正反向渲染的互促，扩展了内在分解到室内外场景，并引入循环一致性机制，实验显示其在多样场景中表现优异且推理速度显著提升。
2026-04-20 cs.CV
Generative Lifting of Multiview to 3D from Unknown Pose: Wrapping NeRF inside Diffusion
University of Chicago（芝加哥大学）
本文提出将未知姿态的多视图重建建模为生成问题，通过把姿态预测网络和NeRF嵌入去噪扩散模型进行端到端训练，在无需姿态标注的情况下同时学习3D场景表示和相机外参预测，成功重建具有挑战性的场景并支持新视角生成。
2024-06-11 cs.CV cs.LG
Spatio-Temporal Outdoor Lighting Aggregation on Image Sequences using Transformer Networks
Robert Bosch GmbH（罗伯特·博世有限公司）；Heidelberg University（海德堡大学）；Bielefeld UoAS（比勒费尔德应用科学大学）
在这项工作中，我们专注于户外照明估计，通过聚合个人噪声估计图像，利用丰富的图像信息，从广角相机和/或时间图像序列。照片固有地以阴影和阴影的形式编码关于场景照明的信息。光照恢复是一个逆绘制问题，因此是不适定的。基于深度神经网络的最新工作已经显示出用于单图像照明估计的有希望的结果，但是受到鲁棒性的影响。我们解决这个问题，结合照明估计从几个图像视图采样的角度和时间域的图像序列。对于这项任务，我们引入了一个Transformer架构，该架构以端到端的方式进行训练，而不像以前的工作所要求的那样进行任何统计后处理。因此，我们提出了一个位置编码，考虑到相机校准和自我运动估计全局注册的个人估计时，计算视觉词之间的注意。我们表明，我们的方法导致改进的照明估计，同时需要更少的超参数相比，最先进的。
2022-02-18 cs.CV
Indoor Heat Estimation from a Single Visible-Light Panorama
Carnegie Mellon University（卡内基梅隆大学）
提出利用成对室内外HDR全景图联合估计室内光照与温度分布的图像渲染方法，并通过红外热像验证，可支持物理可信的虚拟家居可视化。
2025-10-20 cs.CV
EverLight: Indoor-Outdoor Editable HDR Lighting Estimation
Université Laval（拉瓦尔大学）；Adobe（奥多比）
针对现有光照估计方法场景适配单一、可编辑方法真实感不足的问题，提出EverLight方法，结合参数化光照模型与360°全景图，通过光照共调制实现可编辑HDR光照估计，兼顾室内外场景且性能达SOTA。
2023-08-21 cs.CV
Transient Neural Radiance Fields for Lidar View Synthesis and 3D Reconstruction
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
提出 Transient NeRF，直接以单光子激光雷达的时间分辨光子计数直方图为监督，用瞬态体渲染方程实现新视图直方图渲染，并提升少视角下的三维几何与外观重建。
2024-04-05 cs.CV eess.IV
The Sky's the Limit: Re-lightable Outdoor Scenes via a Sky-pixel Constrained Illumination Prior and Outside-In Visibility
The University of York（约克大学）
提出基于天空像素约束的光照先验与由外向内天空可见性计算方法，解决室外场景逆向渲染中的光照与反照率模糊及阴影遮挡问题，在NeRF-OSR基准上取得最优结果。
2024-07-30 cs.CV
RGB-Only Gaussian Splatting SLAM for Unbounded Outdoor Scenes
The Hong Kong University of Science and Technology (GuangZhou)（香港科技大学（广州））
本研究提出了一种仅使用RGB的高斯点溅SLAM方法，用于无界户外场景，通过点图回归网络和端到端可微流程提升跟踪精度和新型视图合成效果。
2025-02-21 cs.CV
6Img-to-3D: Few-Image Large-Scale Outdoor Driving Scene Reconstruction
Continental（大陆集团）；SDSC（瑞士计算科学中心）；CVLab, EPFL（洛桑联邦理工学院计算机视觉实验室）；University of Freiburg（弗赖堡大学）
本文提出6Img-to-3D方法，仅用六张无位姿环视图像，通过Transformer编码器-渲染器和三平面表示，在395毫秒内高效重建大规模室外驾驶场景。
2025-04-07 cs.AI cs.CV cs.LG
RelightFormer: Feed-forward Generative Transformer for Multiview Object Relighting
Shenzhen Research Institute, The Hong Kong Polytechnic University（香港理工大学深圳研究院）
提出前馈生成式Transformer RelightFormer，通过潜在照明模块和置换不变编码实现单/多视图物体重照明，并构建大规模LOD数据集，达到最先进效果与零样本泛化。
2026-09-09 cs.AI cs.CV cs.GR
SEM-ROVER: Semantic Voxel-Guided Diffusion for Large-Scale Driving Scene Generation
Noah's Ark, Huawei Paris Research Center, France（诺亚方舟实验室，华为巴黎研究中心，法国）；COSYS, Gustave Eiffel University, France（COSYS，古斯塔夫·埃菲尔大学，法国）；LASTIG, IGN-ENSG, Gustave Eiffel University, France（LASTIG，IGN-ENSG，古斯塔夫·埃菲尔大学，法国）
本文提出基于Σ-Voxfield网格的3D生成框架，通过语义条件扩散模型生成大规模一致驾驶场景，采用渐进空间外推和延迟渲染模块实现高效生成。
2026-04-07 cs.CV
Learning Robust Generalizable Radiance Field with Visibility and Feature Augmented Point Representation
Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
针对可泛化 NeRF 的遮挡匹配、几何畸变及源视图远离目标时退化问题，提出基于点表示的 GPF，结合可见性建模、神经特征增强、非均匀对数采样与可学习聚合核，在三项数据集上取得更优性能。
2024-01-25 cs.CV
PRED: Pre-training via Semantic Rendering on LiDAR Point Clouds
Center for Data Science, Peking University（北京大学数据科学中心）；National Key Laboratory of General Artificial Intelligence, School of Intelligence（通用人工智能全国重点实验室）；Pazhou Lab（琶洲实验室）
针对点云预训练中的不完整性与图像融合的遮挡错位问题，提出具备遮挡感知的PRED框架，以BEV条件语义渲染结合95%高掩码率逐点掩码实现图像辅助预训练，在多数据集3D感知任务上取得显著提升。
2023-11-08 cs.CV
Im4D: High-Fidelity and Real-Time Novel View Synthesis for Dynamic Scenes
Zhejiang University（浙江大学）
提出Im4D混合表示，结合网格几何与多视角图像外观，实现动态场景高保真实时新视角合成，在多个数据集上达到最先进渲染质量。
2023-10-12 cs.CV
MM-Gaussian: 3D Gaussian-based Multi-modal Fusion for Localization and Reconstruction in Unbounded Scenes
School of Computer Science and Technology, University of Science and Technology of China（中国科学技术大学计算机科学与技术学院）
本文提出MM-Gaussian，一种融合固态LiDAR几何信息与3D Gaussians视觉颜色信息的多模态系统，用于无边界室外场景的定位、建图与逼真渲染，并通过重定位模块提升鲁棒性。
2024-04-05 cs.CV cs.RO
CULTURE3D: A Large-Scale and Diverse Dataset of Cultural Landmarks and Terrains for Gaussian-Based Scene Rendering
University of Bristol（布里斯托大学）；Memories.ai Research（Memories.ai研究）
本文提出CULTURE3D，一个包含100亿个点、41,006张无人机航拍图像的超大规模细粒度3D数据集，覆盖20个全球文化地标，为大规模Gaussian Splatting方法提供了新基准并支持多种3D重建应用。
2025-10-12 cs.CV
A self-supervised cyclic neural-analytic approach for novel view synthesis and 3D reconstruction
National University of Science and Technology "Politehnica" Bucharest（布加勒斯特理工国立大学）；"Simion Stoilow" Institute of Mathematics of the Romanian Academy（罗马尼亚科学院西米翁斯托伊洛夫数学研究所）；NORCE Norwegian Research Centre AS（NORCE挪威研究中心AS公司）
针对无人机导航中新视角合成在远离训练数据区域泛化差的问题，提出一种结合神经渲染与解析几何的自监督循环流水线，利用transformer架构处理未见位姿，显著提升了RGB与网格重建质量。
2025-03-05 cs.CV
GRAM-HD: 3D-Consistent Image Generation at High Resolution with Generative Radiance Manifolds
Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）
提出GRAM-HD，一种3D感知GAN，通过直接在3D空间进行超分辨率，利用2D辐射流形上的卷积，实现高达1024×1024的高分辨率图像生成，同时保持严格3D一致性，并在FFHQ和AFHQv2上显著优于现有方法。
2023-10-11 cs.CV
BoostMVSNeRFs: Boosting MVS-based NeRFs to Generalizable View Synthesis in Large-scale Scenes
National Yang Ming Chiao Tung University（国立阳明交通大学）；National Taiwan University（国立台湾大学）
针对基于MVS的NeRF在大规模场景中渲染质量受限的问题，提出无需训练的代价体选择与组合方法，可前馈提升任意此类NeRF的渲染质量，并支持端到端微调，实验显示显著改善。
2024-07-22 cs.CV
Semantic View Synthesis
UT Austin（德克萨斯大学奥斯汀分校）；University of California, Merced（加州大学默塞德分校）；Virginia Tech（弗吉尼亚理工大学）
我们解决了一个新的问题，语义视图合成-生成自由视点渲染的合成场景使用语义标签地图作为输入。我们建立在语义图像合成和视图合成处理摄影图像内容生成和视图外推的最新进展。然而，直接应用现有的图像/视图合成方法会导致严重的重影/模糊伪影。为了解决这些缺点，我们提出了一个两步走的方法。首先，我们专注于合成3D场景的可见表面的颜色和深度。然后，我们使用合成的颜色和深度对多平面图像（MPI）表示预测过程施加明确的约束。我们的方法产生尖锐的内容在原始视图和几何一致的渲染在新的观点。大量室内和室外图像的实验表明，对几个强基线的良好结果，并验证了我们的方法的有效性。
2020-08-24 cs.CV
Mimic3D: Thriving 3D-Aware GANs via 3D-to-2D Imitation
本文提出3D到2D模仿策略，让3D渲染分支模仿2D超分辨率分支的输出，并结合3D感知卷积，在保持严格3D一致性的同时显著提升3D感知GAN的图像生成质量。
2023-08-07 cs.CV cs.GR
SWAG: Splatting in the Wild images with Appearance-conditioned Gaussians
Huawei Paris Research Center（华为巴黎研究中心）
本文扩展3D Gaussian Splatting，通过外观条件化建模光度变化并以无监督瞬态高斯处理遮挡物，从而在野外非结构化照片集上实现高效且最先进的新视角渲染。
2024-04-05 cs.CV
Part123: Part-aware 3D Reconstruction from a Single-view Image
The University of Hong Kong（香港大学）；Tsinghua University（清华大学）；Texas A&M University（德克萨斯农工大学）
提出Part123框架，结合扩散模型与SAM生成多视图分割掩码，通过对比学习和聚类实现单视图图像的部件感知三维重建，提升分割质量并支持特征保持重建、基元拟合和形状编辑。
2024-05-27 cs.CV cs.GR
What You See is What You GAN: Rendering Every Pixel for High-Fidelity Geometry in 3D GANs
University of California, San Diego（加利福尼亚大学圣迭戈分校）；NVIDIA（英伟达）
本文提出将神经体渲染扩展至原始2D图像分辨率，采用基于学习的采样器减少5倍深度样本，实现全像素渲染并解析高保真3D几何，在FFHQ和AFHQ上达到SOTA。
2024-01-04 cs.AI cs.CV cs.GR
Photorealistic Object Insertion with Diffusion-Guided Inverse Rendering
NVIDIA（英伟达）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）
针对现有扩散模型无法在单图场景中生成一致光照的真实感物体插入效果的问题，提出以个性化大扩散模型引导物理逆渲染，恢复光照与色调映射参数，实现真实感合成及材质、色调映射自动优化。
2024-08-19 cs.AI cs.CV cs.GR
DARF: Depth-Aware Generalizable Neural Radiance Field
School of Electronics, Information and Electrical Engineering, Shanghai Jiao Tong University（上海交通大学电子信息与电气工程学院）
本文提出DARF可泛化神经辐射场，通过DADS深度感知动态采样、深度先验和MSC损失，仅用少量图像即可在未知场景实现高质量新视角渲染与无监督深度估计，并减少50%采样。
2025-02-15 cs.CV
Texture Generation Using Dual-Domain Feature Flow with Multi-View Hallucinations
Seoul National University（首尔大学）；Gachon University（嘉泉大学）
我们提出了一个双域生成模型来估计从一个单一的图像着色的三维人体模型的纹理图。在估计纹理贴图时，单个图像是不够的，因为它仅显示3D对象的一个面。为了提供足够的信息来估计一个完整的纹理图，所提出的模型同时产生多视图幻觉在图像域和估计的纹理图在纹理域。在生成过程中，每个域生成器通过基于流的局部注意力机制交换特征。以这种方式，所提出的模型可以估计利用丰富的多视图图像特征的纹理映射，从其中生成多视图幻觉。因此，估计的纹理贴图在整个区域上包含一致的颜色和图案。实验结果表明，该模型在估计可直接绘制的纹理图方面具有优越性，适用于三维动画绘制。此外，我们的模型还提高了在图像域的姿态和视点转移任务的整体生成质量。
2022-03-14 cs.CV
Deep Depth Completion of a Single RGB-D Image
Princeton University（普林斯顿大学）
我们工作的目标是完成RGB-D图像的深度通道。智能级深度相机通常无法感知闪亮、明亮、透明和遥远表面的深度。为了解决这个问题，我们训练了一个深度网络，该网络以RGB图像作为输入，并预测密集的表面法线和遮挡边界。然后，将这些预测与RGB-D相机提供的原始深度观测结果相结合，以求解所有像素的深度，包括原始观测中缺失的像素。这种方法被选择而不是其他方法（例如，直接修补深度）作为使用新深度补全基准数据集的广泛实验的结果，其中通过渲染从多视图RGB-D扫描创建的表面重建来填充训练数据中的孔。不同的网络输入，深度表示，损失函数，优化方法，修复方法和深度深度估计网络的实验表明，我们提出的方法提供了更好的深度完成比这些替代品。
2018-05-02 cs.CV
Robust and High-Fidelity 3D Gaussian Splatting: Fusing Pose Priors and Geometry Constraints for Texture-Deficient Outdoor Scenes
School of Mechatronical Engineering, Beijing Institute of Technology（机械电子工程学院，北京理工大学）；Beiing National Research Center for Information Science and Technology（北京国家信息科学与技术研究中心）；Qiyuan Lab（启元实验室）；Peking University（北京大学）
针对纹理匮乏户外场景中3DGS位姿不稳定和表示失真的问题，本文融合LiDAR-IMU先验位姿与法向量及有效秩几何约束，在保证精度的同时将位姿优化时间缩短至三分之一，并显著提升场景表示质量。
2025-11-10 cs.CV cs.GR
Holistic Inverse Rendering of Complex Facade via Aerial 3D Scanning
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Zhejianglab（之江实验室）；Zhejiang University（浙江大学）；Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
本文提出利用无人机多视角RGB图像与神经SDF，结合语义、频率和可见性自适应策略，实现复杂建筑立面的几何、光照与材质整体重建。
2024-04-08 cs.CV cs.GR
MVS-GS: High-Quality 3D Gaussian Splatting Mapping via Online Multi-View Stereo
College of AI Convergence, Dongguk University（东国大学人工智能融合学院）；dot（42dot）；School of Computing, KAIST（韩国科学技术院计算机学院）
本文提出MVS-GS框架，利用在线多视图立体深度估计与深度细化技术实现高质量3D高斯泼溅建图，并通过并行后端优化提升稠密SLAM在室外环境中的重建精度。
2024-12-26 cs.CV
FaVoR: Features via Voxel Rendering for Camera Relocalization
University of Toronto（多伦多大学）；University of Zurich（苏黎世大学）
针对现有特征匹配类相机重定位方法对视角和外观变化鲁棒性不足的问题，提出基于稀疏体素地图的FaVoR方法，通过体渲染合成新视角描述子提升匹配效果，室内精度显著优于SOTA，室外性能相当且成本更低。
2025-05-21 cs.CV cs.RO
