GAS-NeRF: Geometry-Aware Stylization of Dynamic Radiance Fields
Technical University of Munich(慕尼黑工业大学);Munich Center for Machine Learning(慕尼黑机器学习中心);Technion(以色列理工学院);Nvidia(英伟达公司)
本文提出GAS-NeRF方法,通过深度图提取几何细节并结合外观迁移,在动态辐射场中实现外观与几何的联合风格化,显著提升风格化质量并保持时间一致性。
2025-03-11 cs.CV
Interactive Segmentation of Radiance Fields
CVIT(计算机视觉与智能系统中心);Kohli Center on Intelligent Systems (KCIS)(科利智能系统中心);IIIT Hyderabad(海得拉巴国际信息技术学院)
辐射场(Radiance Fields,RF)是一种常用的场景表示方法,用于新的视图合成和其他应用,而个人空间的混合现实需要理解和操作辐射场表示的场景,其中对象的语义分割是一个重要步骤。先前的分割工作显示出希望,但不能扩展到具有不同外观的复杂对象。我们提出的ISRF方法,交互式分割具有精细结构和外观的物体。使用提取的语义特征的最近邻特征匹配识别高置信度种子区域。联合空间语义空间中的双边搜索增长区域以恢复准确的分割。我们展示了从RF中分割对象并将其合成到另一个场景,改变外观等的最新结果,以及其他人可以使用的交互式分割工具。项目页面:https://rahul-goel.github.io/isrf/
2023-03-25 cs.CV
LAENeRF: Local Appearance Editing for Neural Radiance Fields
Graz University of Technology(格拉茨工业大学)
针对NeRF外观与几何纠缠导致的局部编辑难、内存大、交互差等问题,提出LAENeRF统一框架,基于体素网格区域选择与射线终止点颜色映射,实现低内存快速的照片级与非照片级局部外观编辑。
2024-03-25 cs.CV
PaletteNeRF: Palette-based Appearance Editing of Neural Radiance Fields
Stanford University(斯坦福大学);Adobe Research(奥多比研究院)
神经辐射场的最新进展使得复杂场景的高保真三维重建成为可能,从而实现新颖的视图合成。然而,如何在保持照片真实感的同时有效地编辑这种表示的外观仍然有待探索。在这项工作中,我们提出了PaletteNeRF,一种新的方法,用于逼真的外观编辑的神经辐射场(NeRF)的基础上的3D颜色分解。我们的方法将每个3D点的外观分解为基于调色板的基底的线性组合(即,由一组NeRF类型函数定义的3D分割)。虽然我们的基于调色板的基础是独立于视图的,但我们还预测了一个依赖于视图的函数来捕获颜色残差(例如,镜面阴影)。在训练过程中,我们联合优化了基函数和调色板,并且我们还引入了新的正则化器来鼓励分解的空间一致性。我们的方法允许用户通过修改调色板来有效地编辑3D场景的外观。我们还扩展了我们的框架,压缩语义功能的语义感知外观编辑。我们证明,我们的技术是优于基线方法的定量和定性的外观编辑复杂的现实世界的场景。
2023-01-24 cs.CV cs.GR
Convolutional Neural Opacity Radiance Fields
ShanghaiTech University(上海科技大学);Shanghai Institute of Microsystem and Information Technology, Chinese Academy of Sciences(中国科学院上海微系统与信息技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Shanghai Engineering Research Center of Intelligent Vision and Imaging(上海智能视觉与成像工程技术研究中心)
具有复杂不透明度的模糊对象的照片级真实感建模和渲染对于许多沉浸式VR/AR应用至关重要,但它受到强烈的视图依赖性亮度,颜色。在本文中,我们提出了一种新的方案来生成模糊对象的卷积神经渲染器的不透明度辐射场,这是第一个结合显式不透明度监督和卷积机制到神经辐射场框架,使高质量的外观和全局一致的阿尔法蒙版生成在任意新颖的视图。更具体地说,我们提出了一种有效的采样策略,以及相机射线和图像平面,这使得有效的辐射场采样和学习,在一个补丁的方式,以及一种新的体积特征集成方案,生成每补丁混合特征嵌入重建视图一致的精细细节的外观和不透明度输出。我们还采用了一个补丁式的对抗训练计划,以保持高频外观和不透明的细节在一个自我监督的框架。我们还介绍了一个有效的多视图图像捕获系统,以捕捉高品质的颜色和阿尔法地图的挑战模糊的对象。在现有的和我们新的具有挑战性的模糊对象数据集上的大量实验表明,我们的方法实现了照片般逼真,全局一致,精细的详细外观和不透明度自由视点绘制各种模糊对象。
2021-04-05 cs.CV
StyleTRF: Stylizing Tensorial Radiance Fields
IIIT Hyderabad(海得拉巴国际信息技术学院)
最近,使用相机随意捕获的场景的风格化视图生成受到了很多关注。在以前的工作中,场景的几何形状和外观通常被捕获为神经点集或神经辐射场。图像风格化方法通过与结构捕获网络联合或迭代地训练其网络来对捕获的外观进行风格化。最先进的SNeRF方法以交替的方式训练NeRF和风格化网络。这些方法训练时间长,需要联合优化。在这项工作中,我们提出了StyleTRF,一个紧凑的,快速优化的策略,使用TensoRF风格化视图生成。外观部分使用使用TensoRF表示进行几次迭代渲染的几个视图的稀疏风格化先验进行微调。因此,我们的方法有效地从视图捕捉的风格自适应,是比以前的方法快得多。我们展示了用于此目的的几个场景的最先进的结果。
2022-12-19 cs.CV
AE-NeRF: Auto-Encoding Neural Radiance Fields for 3D-Aware Object Manipulation
Korea University(高丽大学)
我们提出了一个新的框架,三维感知对象的操作,称为自动编码神经辐射场(AE-NeRF)。我们的模型,这是制定在一个自动编码器架构,提取解纠缠的3D属性,如3D形状,外观和相机姿态从图像中,和一个高质量的图像渲染的属性,通过解纠缠生成神经辐射场(NeRF)。为了提高解纠缠的能力,我们提出了两种损失,定义在输入和输出之间的全局-局部属性一致性损失和交换属性分类损失。由于在没有地面真实形状和外观信息的情况下从头开始训练这种自动编码网络是不平凡的,因此我们提出了一种分阶段的训练方案,这大大有助于提高性能。我们进行实验,以证明所提出的模型的有效性,最新的方法,并提供广泛的消融研究。
2022-04-28 cs.CV
Generalizable Neural Performer: Learning Robust Radiance Fields for Human Novel View Synthesis
SenseTime Research(商汤科技研究院);CUHK-SenseTime Joint Laboratory, CUHK(香港中文大学商汤联合实验室,香港中文大学);Shanghai AI Laboratory(上海人工智能实验室)
这项工作的目标是使用一个通用的深度学习框架来合成任意人类表演者的自由视点图像,只需要稀疏数量的相机视图作为输入,并根据情况进行微调。由关节式身体姿势、形状和服装类型引起的几何形状和外观的巨大变化是这项任务的关键瓶颈。为了克服这些挑战,我们提出了一个简单而强大的框架,名为Generalizable Neural Performer(GNR),它可以在各种几何形状和外观上学习一个可推广的和强大的神经身体表示。具体地说,我们从几何和外观两个方面将新视角人体绘制的光场压缩为条件隐式神经辐射场。首先,我们引入了一个隐式几何体嵌入策略,以提高鲁棒性的基础上参数化的三维人体模型和多视图图像的提示。我们进一步提出了一个屏幕空间遮挡感知外观混合技术,以保持高质量的外观,通过插值源视图的外观,以放松,但近似的几何指导的辐射场。为了评估我们的方法,我们提出了我们正在努力构建一个具有显着复杂性和多样性的数据集。数据集GeneBody-1.0包括370个主题的3.6亿多帧多视图摄像机捕获,执行各种姿势动作,以及各种体型,服装,配饰和发型。在GeneBody-1.0和ZJU-Mocap上的实验表明,在所有交叉数据集、看不见的主题和看不见的姿势设置中,我们的方法比最近最先进的可推广方法具有更好的鲁棒性。我们还展示了我们的模型的竞争力相比,尖端的情况下,具体的。数据集、代码和模型将公开提供。
2022-04-25 cs.CV
Learning Implicit Body Representations from Double Diffusion Based Neural Radiance Fields
NetEase Fuxi AI Lab(网易伏羲人工智能实验室);Zhejiang University(浙江大学);University of Technology Sydney(悉尼科技大学)
在本文中,我们提出了一种新的基于双扩散的神经辐射场,被称为DD-NeRF,重建人体的几何形状和渲染人体外观的新观点从稀疏的图像集。首先,我们提出了一个双扩散机制,以实现表达表示的输入图像,充分利用人体先验知识和图像外观细节在两个层次上。在粗略的层次上,我们首先通过一个裸露的3D可变形顶点模型作为指导的粗糙人体姿势和形状建模。在精细层次上,我们提出了一个多视图采样网络,从多个输入视图中捕获细微的几何变形和图像细节外观,如衣服和头发。考虑到两级特征的稀疏性,我们将其扩散到正则空间的特征体中,构造神经辐射场。然后,我们提出了一个符号距离函数(SDF)回归网络来构建身体表面的扩散功能。由于我们的双扩散表示,我们的方法甚至可以合成看不见的主题的新视图。在不同数据集上的实验表明,该方法在几何重建和新视图合成方面都优于现有技术。
2022-01-17 cs.CV
Neural Articulated Radiance Field
The University of Tokyo(东京大学);Microsoft Research Asia(微软亚洲研究院);RIKEN(理化学研究所)
我们提出了神经关节辐射场(NARF),一种新的可变形的3D表示从图像中学习的关节对象。虽然3D隐式表示的最新进展已经使得学习复杂对象的模型成为可能,但是学习铰接对象的姿势可控表示仍然是一个挑战,因为当前的方法需要3D形状监督并且无法呈现外观。在制定一个隐式表示的3D铰接对象,我们的方法只考虑刚性变换的最相关的对象部分在求解的辐射场在每个3D位置。以这种方式,所提出的方法表示姿态相关的变化,而不会显着增加的计算复杂性。NARF是完全可区分的,并且可以从具有姿势注释的图像中训练。此外,通过使用自动编码器,它可以学习对象类的多个实例的外观变化。实验表明,该方法是有效的,可以很好地推广到新的姿态。该代码可在https://github.com/nogu-atsu/NARF上进行研究
2021-08-18 cs.CV
NeRFFaceEditing: Disentangled Face Editing in Neural Radiance Fields
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Beijing Jiaotong University(北京交通大学);University of Chinese Academy of Sciences(中国科学院大学);City University of Hong Kong(香港城市大学)
近来用于合成3D感知人脸图像的方法由于神经辐射场而获得了快速发展,从而允许高质量和快速推理速度。然而,用于独立地编辑面部几何形状和外观的现有解决方案通常需要重新训练,并且没有针对最近的生成工作进行优化,因此往往落后于生成过程。为了解决这些问题,我们引入了NeRFFaceEditing,它可以在预训练的基于三平面的神经辐射场中编辑和解耦几何和外观,同时保持其高质量和快速推理速度。我们的主要思想是使用三平面的统计数据来表示其相应的面部体积的高级外观。此外,我们利用生成的3D连续语义掩码作为几何编辑的中介。我们设计了一个几何解码器(其输出是不变的外观变化时)和外观解码器。几何解码器将原始面部体积与语义掩模体积对齐。我们还通过显式正则化具有相同外观但不同几何形状的渲染图像来增强解纠缠,以分别在每个面部组件的颜色分布方面相似。我们的方法允许用户编辑通过语义面具与解耦控制的几何形状和外观。定性和定量的评估显示,我们的方法相比,现有的和替代的解决方案优越的几何形状和外观控制能力。
2022-11-15 cs.CV cs.GR
A-NeRF: Articulated Neural Radiance Fields for Learning Human Shape, Appearance, and Pose
University of British Columbia(不列颠哥伦比亚大学);Facebook Reality Labs(Facebook现实实验室)
虽然深度学习通过前馈网络重塑了经典的运动捕捉流水线,但需要生成模型通过迭代细化来恢复精细对齐。不幸的是,现有的模型通常是手工制作的或在受控条件下学习的,仅适用于有限的领域。提出了一种通过扩展神经辐射场(NeRFs)从未标记的单目视频中学习生成神经体模型的方法。我们为它们配备了一个骨架,以应用于时变和关节运动。一个关键的见解是,隐式模型需要显式表面模型中使用的正运动学的逆。我们的reparameterization定义的空间潜变量相对于身体部位的姿势,从而克服了不适定的逆运算与overparameterization。这使得能够从头开始学习体积体型和外观,同时联合细化关节姿势;所有这些都没有输入视频上的外观,姿势或3D形状的地面真实标签。当用于新视图合成和运动捕捉时,我们的神经模型提高了不同数据集的准确性。项目网址:https://lemonatsu.github.io/anerf/。
2021-10-29 cs.CV cs.GR
ShinyNeRF: Digitizing Anisotropic Appearance in Neural Radiance Fields
ShinyNeRF 通过联合估计表面法线、切线、镜面浓度和各向异性程度,实现了对各向异性镜面反射的高效数字化,同时提供了物理可解释的材料属性编辑。
2026-03-12 cs.CV cs.GR
When Gaussian Meets Surfel: Ultra-fast High-fidelity Radiance Field Rendering
State Key Lab of CAD\&CG, Zhejiang University Hangzhou China;State Key Lab of CAD\&CG, Zhejiang University
本文提出GESs,一种双尺度表示方法,通过结合Surfel和高斯分布实现快速且高保真的辐射场渲染,支持多种扩展以提升性能和存储效率。
2025-12-14 cs.CV
PVSeRF: Joint Pixel-, Voxel- and Surface-Aligned Radiance Field for Single-Image Novel View Synthesis
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Technical University of Munich(慕尼黑工业大学);Cardiff University(卡迪夫大学);Tencent AI Lab(腾讯人工智能实验室)
我们提出了PVSeRF,一个学习框架,从单视图RGB图像重建神经辐射场,用于新的视图合成。先前的解决方案,例如pixelNeRF,仅依赖于像素对齐的特征,并且遭受特征模糊性问题。结果,他们挣扎于几何和外观的分离,导致难以置信的几何和模糊的结果。为了解决这一挑战,我们建议将明确的几何推理,并结合它与像素对齐的辐射场预测功能。具体来说,除了像素对齐的特征之外,我们还将辐射场学习约束为以i)从粗体积网格学习的体素对齐的特征和ii)从回归点云提取的精细表面对齐的特征为条件。我们表明,这种几何感知功能的引入有助于实现更好的外观和几何之间的解纠缠,即恢复更准确的几何形状和合成更高质量的图像的新观点。针对ShapeNet基准测试中最先进的方法进行的大量实验证明了我们的方法在单图像新颖视图合成方面的优越性。
2022-02-10 cs.CV
Cross-Ray Neural Radiance Fields for Novel-view Synthesis from Unconstrained Image Collections
South China University of Technology(华南理工大学);Pazhou Lab(琶洲实验室);Guangzhou Shiyuan Electronics Co., Ltd(广州视源电子股份有限公司);Key Laboratory of Big Data and Intelligent Robot, Ministry of Education(教育部大数据与智能机器人重点实验室)
针对非约束图像集合中外观变化与瞬态物体遮挡问题,本文提出 CR-NeRF,通过跨光线特征、全局统计融合及网格采样掩蔽实现无遮挡、外观一致的新视角合成。
2023-08-15 cs.CV
Hallucinated Neural Radiance Fields in the Wild
Xi’an Jiaotong University(西安交通大学);Tencent AI Lab(腾讯人工智能实验室)
神经辐射场(NeRF)最近因其令人印象深刻的新颖视图合成能力而受到欢迎。本文研究了幻觉NeRF的问题:即,从一组旅游图像中恢复一天中不同时间的逼真NeRF。现有的解决方案采用具有可控外观嵌入的NeRF来渲染各种条件下的新颖视图,但是它们不能渲染具有不可见外观的视图一致图像。为了解决这个问题,我们提出了一个端到端的框架来构建一个幻觉NeRF,被称为Ha-NeRF。具体来说,我们提出了一个外观幻觉模块来处理随时间变化的外观,并将它们转移到新的视图。针对旅游图像中遮挡现象的复杂性,引入了抗遮挡模块,对静态主体进行了准确的可视性分解。在合成数据和真实旅游照片集上的实验结果表明,该方法可以从不同的角度呈现出理想的外观和无遮挡的图像。该项目和补充材料可在https://rover-xingyu.github.io/Ha-NeRF/上查阅。
2022-05-30 cs.AI cs.CV
HumanGen: Generating Human Radiance Fields with Explicit Priors
ShanghaiTech University(上海科技大学);University of Toronto(多伦多大学);Shanghai Engineering Research Center of Intelligent Vision and Imaging(上海智能视觉与成像工程技术研究中心)
近年来,3D GANs在生成具有照片真实感的视图一致性辐射场方面取得了巨大进展。然而,高质量的人类辐射场的生成仍然具有挑战性,部分原因是现有方法中采用的有限的人类相关先验。我们提出了HumanGen,一个新的三维人体生成方案,详细的几何和$\text{360}^{\circ}$真实感自由视图渲染。它明确地通过“锚图像”的设计将3D人体生成与来自2D生成器和3D人体重建器的各种先验知识结合起来。我们引入了一种混合特征表示,使用锚图像来桥接HumanGen的潜在空间与现有的2D生成器。然后,我们采用了一个多管齐下的设计来解开几何和外观的生成。在锚图像的帮助下,我们采用3D重建器进行细粒度的细节合成,并提出了一个两阶段的混合方案,以提高外观生成。大量的实验证明了我们的有效性,为国家的最先进的3D人体生成几何细节,纹理质量和自由视图的性能。值得注意的是,HumanGen还可以整合各种现成的2D潜在编辑方法,将其无缝提升到3D。
2022-12-10 cs.CV
Surf-NeRF: Surface Regularised Neural Radiance Fields
Australian Centre for Robotics, School of Aerospace, Mechanical and Mechatronic Engineering, The University of Sydney(澳大利亚机器人中心,航空航天、机械与机电工程学院,悉尼大学)
Surf-NeRF通过课程学习、哈希编码和四项表面正则化约束,使NeRF克服形状-辐射歧义,获得更准确的几何表示,法线精度较传统方法提升28%。
2025-07-21 cs.CV
Beyond Spherical Harmonics: Rethinking Appearance Models for Radiance Reconstruction
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);Università della Svizzera Italiana(意大利语区瑞士大学)
本文系统评估多种球面函数,提出归一化各向异性球面Gabor函数,以紧凑表示高效建模高频外观效果,在辐射场重建中实现五倍内存节省和更优质量。
2026-06-23 cs.CV cs.GR
Learning Dynamic Facial Radiance Fields for Few-Shot Talking Head Synthesis
Tsinghua University(清华大学);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心);PhiGent Robotics(鉴智机器人)
说话人头像合成是一项新兴技术,在电影配音、虚拟化身、网络教育等领域有着广泛的应用。最近基于NeRF的方法生成更自然的谈话视频,因为它们更好地捕捉面部的3D结构信息。然而,需要为每个具有大型数据集的身份训练特定的模型。在本文中,我们提出了动态面部辐射场(DFRF)的Few-Shot说话的头部合成,它可以快速推广到一个看不见的身份与少量的训练数据。与现有的基于NeRF的方法直接将特定人的3D几何形状和外观编码到网络中不同,我们的DFRF条件人脸辐射场在2D外观图像上学习人脸先验。因此,面部辐射场可以灵活地调整到新的身份与几个参考图像。此外,为了更好地建模的面部变形,我们提出了一个可微的面部变形模块的音频信号的条件下变形的所有参考图像的查询空间。大量的实验表明,只有几十秒的训练剪辑可用,我们提出的DFRF可以合成自然和高质量的音频驱动的说话头部视频的新身份,只有40k迭代。我们强烈建议读者查看我们的补充视频,以进行直观的比较。代码可在https://sstzal.github.io/DFRF/上找到。
2022-07-24 cs.CV
Floating Radiance Networks
该研究提出浮动辐射场网络(FlaRe),一种结合可显式光线追踪几何与连续神经辐射函数的神经场景表示,可实现高保真渲染、光线追踪、几何操作与外观编辑的统一,在基准测试中具竞争力。
2026-08-07 cs.CV
Entangled View-Epipolar Information Aggregation for Generalizable Neural Radiance Fields
Zhejiang University(浙江大学);Huazhong University of Science and Technology(华中科技大学)
针对可泛化NeRF的源视图特征聚合问题,提出EVE-NeRF纠缠视图-对极信息聚合方法,注入场景不变先验,提升3D表征泛化性,在多场景达SOTA性能。
2024-03-12 cs.CV
S^3D-NeRF: Single-Shot Speech-Driven Neural Radiance Field for High Fidelity Talking Head Synthesis
School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Alibaba Group(阿里巴巴集团)
针对现有NeRF类说话人头合成方法无法直接用音频驱动的问题,提出S^3D-NeRF方法,通过分层外观编码器、跨模态形变场及唇同步判别器,在视频保真度和音唇同步性上优于现有方法。
2024-08-18 cs.CV
MoFaNeRF: Morphable Facial Neural Radiance Field
Nanjing University(南京大学)
我们提出了一个参数模型,映射到一个矢量空间的编码面部形状,表情和外观的神经辐射场,即变形面部NeRF的自由视图图像。具体而言,MoFaNeRF将编码的面部形状、表情和外观以及空间坐标和视角方向作为MLP的输入,并输出空间点的辐射度以进行照片级逼真的图像合成。与传统的3D变形模型(3DMM)相比,MoFaNeRF显示出优越性,直接合成照片般逼真的面部细节,甚至眼睛,嘴巴和胡子。此外,连续的脸变形可以很容易地实现输入形状,表情和外观代码插值。通过引入身份特定调制和纹理编码器,我们的模型合成准确的光度细节,并显示出强大的表示能力。我们的模型在多个应用中表现出了强大的能力,包括基于图像的拟合,随机生成,面部操纵,面部编辑和新颖的视图合成。实验表明,我们的方法实现了更高的表示能力比以前的参数模型,并在一些应用中取得了竞争力的性能。据我们所知,我们的工作是第一个面部参数化模型建立在一个神经辐射场,可用于拟合,生成和操作。代码和数据可在https://github.com/zhuhao-nju/mofanerf上获得。
2022-07-22 cs.CV cs.GR
ConRad: Image Constrained Radiance Fields for 3D Generation from a Single Image
Salesforce AI Research(赛富时人工智能研究院)
针对现有文本生成3D方法难以适配单RGB图像输入、易出现外观对齐偏差的问题,提出图像约束辐射场ConRad,结合预训练扩散模型优化参数,实现更忠实于输入、一致性更强的3D重建,在ShapeNet基准上量化性能显著提升。
2023-11-09 cs.CV
NeRFMeshing: Distilling Neural Radiance Fields into Geometrically-Accurate 3D Meshes
Google(谷歌);TU Munich(慕尼黑工业大学)
随着神经辐射场(NeRFs)的引入,新的视图合成最近取得了很大的飞跃。NeRF提出每个3D点都可以发射辐射,允许使用可微分体积渲染进行视图合成。虽然神经辐射场可以准确地表示用于计算图像渲染的3D场景,但3D网格仍然是大多数计算机图形和仿真管道支持的主要场景表示,从而实现实时的渲染和基于物理的仿真等任务。从神经辐射场获得3D网格仍然是一个开放的挑战,因为NeRF被优化用于视图合成,而不是在辐射场上强制执行精确的底层几何形状。因此,我们提出了一种新颖的紧凑和灵活的架构,使任何NeRF驱动的方法,易于3D表面重建。在训练了辐射场之后,我们将体积3D表示提取到符号表面近似网络中,从而可以轻松提取3D网格和外观。我们最终的3D网格在物理上是精确的,并且可以在一系列设备上实时的呈现。
2023-03-16 cs.CV
HistReNeRF: Historic Image Relocalisation within Contemporary Neural Radiance Field Reconstructions
Durham University(杜伦大学)
针对历史图像与当代场景的外观差异导致重定位困难的问题,提出HistReNeRF框架,通过适配DINOv2特征与NeRF候选射线匹配实现跨时间域适配,在含三地标的数据集上使平移、旋转误差平均降低11%、16%。
2026-08-18 cs.CV
SeaThru-NeRF: Neural Radiance Fields in Scattering Media
University of Haifa(海法大学);The Inter-University Institute for Marine Sciences in Eilat(埃拉特校际海洋科学研究所)
本文提出SeaThru-NeRF,将SeaThru图像形成模型融入NeRF体渲染框架,以同时学习场景信息和散射介质参数,从而在水下或雾天场景中实现清晰的新视角渲染与去雾重建。
2023-04-16 cs.CV
Multi-Plane Neural Radiance Fields for Novel View Synthesis
University of Waterloo(滑铁卢大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
新颖的视图合成是一个长期存在的问题,围绕渲染帧的场景从新颖的相机视点。体积方法提供了一个解决方案,通过明确的三维表示的相机截头体建模闭塞。多平面图像(MPI)是使用不同深度处的前平行平面来表示场景的体积方法,但是遭受导致2D场景表示的深度离散化。另一种方法依赖于隐式3D场景表示。神经辐射场(NeRF)利用神经网络将连续的3D场景结构封装在网络权重内,从而实现真实感合成结果,然而,方法被约束到每个场景的优化设置,这在实践中是低效的。多平面神经辐射场(MINE)为隐式和显式场景表示的组合打开了大门。它支持连续的3D场景表示,特别是在深度维度上,同时利用输入图像特征来避免逐场景优化。目前在这一领域的文献工作的主要缺点是被限制到单视图输入,限制合成能力,以狭窄的视角范围。在这项工作中,我们彻底检查了单视图多平面神经辐射场的性能、概括性和效率。此外,我们提出了一个新的多平面NeRF架构,接受多个视图,以改善合成结果,扩大观看范围。通过提出的注意力感知融合模块,有效地融合了来自输入源帧的特征,以突出来自不同视点的重要信息。实验表明,基于注意力的融合的有效性和我们提出的方法相比,多视图NeRF和MPI技术的有前途的成果。
2023-03-03 cs.CV
Robust Dynamic Radiance Fields
National Taiwan University(国立台湾大学);Meta;KAIST(韩国科学技术院);University of Maryland, College Park(马里兰大学帕克分校)
动态辐射场重建方法的目标是对动态场景的时变结构和外观进行建模。然而,现有的方法,假设准确的相机姿势可以可靠地估计从运动的运动恢复结构(SfM)算法。因此,这些方法是不可靠的,因为SfM算法经常在具有高度动态对象、粗糙表面和旋转相机运动的挑战性视频上失败或产生错误姿势。我们通过联合估计静态和动态辐射场以及相机参数(姿态和焦距)来解决这个鲁棒性问题。我们通过大量的定量和定性实验证明了我们的方法的鲁棒性。我们的研究结果显示出良好的性能超过国家的最先进的动态视图合成方法。
2023-03-21 cs.CV
AutoRF: Learning 3D Object Radiance Fields from Single View Observations
Technical University of Munich(慕尼黑工业大学);University of Trento(特伦托大学);Meta Reality Labs Zurich(Meta苏黎世现实实验室)
我们介绍了AutoRF -一种用于学习神经3D对象表示的新方法,其中训练集中的每个对象仅由单个视图观察。这种设置与大多数现有作品形成鲜明对比,这些作品利用同一对象的多个视图,在训练期间采用显式先验,或需要像素完美的注释。为了解决这个具有挑战性的设置,我们建议学习一个规范化的,以对象为中心的表示,其嵌入描述和解开形状,外观和姿势。每个编码提供关于感兴趣的对象的可良好概括的紧凑信息,该信息在单次拍摄中被解码成新的目标视图,从而实现新颖的视图合成。我们进一步提高重建质量,通过优化形状和外观代码在测试时,通过紧密配合的表示输入图像。在一系列的实验中,我们证明了我们的方法可以很好地推广到看不见的对象,即使是在具有挑战性的真实世界街道场景的不同数据集上,如nuScenes,KITTI和Mapillary Metropolis。
2022-04-07 cs.CV
TeTriRF: Temporal Tri-Plane Radiance Fields for Efficient Free-Viewpoint Video
KU Leuven(鲁汶大学)
针对NeRF实现自由视点视频时存储需求大、计算复杂度高的问题,提出TeTriRF时序三平面辐射场,采用混合表示与分组训练,结合现成视频编解码器实现数量级存储压缩,同时保持渲染质量与低成本。
2023-12-10 cs.CV
Shape, Pose, and Appearance from a Single Image via Bootstrapped Radiance Field Inversion
ETH Zurich(苏黎世联邦理工学院);Google(谷歌);TU Munich(慕尼黑工业大学)
神经辐射场(NeRF)与GANs耦合代表了从单个视图进行3D重建领域的一个有前途的方向,因为它们能够有效地对任意拓扑结构进行建模。然而,该领域最近的工作主要集中在合成数据集上,其中精确的地面真实姿态是已知的,并且忽略了姿态估计,这对于某些下游应用(例如增强现实(AR)和机器人)是重要的。我们介绍了一个原则性的端到端的自然图像重建框架,准确的地面实况构成不可用。我们的方法从对象的单个图像中恢复SDF参数化的3D形状,姿势和外观,而无需在训练期间利用多个视图。更具体地说,我们利用了一个无条件的3D感知生成器,我们应用了一个混合反演方案,其中一个模型产生了解决方案的第一个猜测,然后通过优化进行了细化。我们的框架可以在短短10个步骤中对图像进行反渲染,使其能够在实际场景中使用。我们在各种真实和合成基准上展示了最先进的结果。
2023-03-20 cs.AI cs.CV cs.GR
Stylizing 3D Scene via Implicit Representation and HyperNetwork
MediaTek-NCTU Research Center(联发科-交通大学联合研究中心);University of California, Merced(加州大学默塞德分校);National Yang Ming Chiao Tung University(阳明交通大学)
在这项工作中,我们的目标是解决3D场景风格化问题-生成风格化的图像的场景在任意新颖的视角。一个简单的解决方案是将现有的新颖视图合成和图像/视频风格转换方法相结合,这通常会导致模糊的结果或不一致的外观。受神经辐射场(NeRF)方法的高质量结果的启发,我们提出了一个联合框架,以直接呈现具有所需风格的新视图。我们的框架包括两个组成部分:一个隐式表示的3D场景的神经辐射场模型,和一个超网络的风格信息转移到场景表示。特别是,我们的隐式表示模型将场景分解为几何和外观分支,超网络学习从参考样式图像预测外观分支的参数。为了减轻训练困难和记忆负担,我们提出了两阶段训练过程和补丁子采样方法,以优化神经辐射场模型的风格和内容损失。经过优化,我们的模型能够在任意视角以任意风格渲染一致的新颖视图。定量评价和人体实验结果表明,该方法在不同的视图中具有一致的外观,生成了忠实的风格化结果。
2022-01-16 cs.CV
SC-NeRF: Self-Correcting Neural Radiance Field with Sparse Views
China University of Mining and Technology(中国矿业大学);Shanghai Jiao Tong University(上海交通大学)
本文提出SC-NeRF,通过基于多头注意力机制的几何校正和外观校正模块,解决仅用物体级数据训练泛化到户外场景时的分布偏移和视角变化导致的渲染伪影问题,在四个数据集上显著提升了PSNR和SSIM等指标。
2023-09-10 cs.CV
MaintaAvatar: A Maintainable Avatar Based on Neural Radiance Fields by Continual Learning
School of Computer Science and Engineering, Sun Yat-sen University(中山大学计算机科学与工程学院);Peng Cheng Laboratory(鹏城实验室)
本文提出MaintaAvatar,通过全局-局部联合存储模块和姿态蒸馏模块实现基于NeRF的持续学习化身更新,在有限数据下快速微调并避免灾难性遗忘,从而同时保持新旧外观渲染质量。
2025-02-04 cs.AI cs.CV
SpecNeRF: Gaussian Directional Encoding for Specular Reflections
The Hong Kong University of Science and Technology(香港科技大学);Meta Reality Labs(元宇宙现实实验室);Carnegie Mellon University(卡内基梅隆大学)
针对神经辐射场在近场复杂光照下难以建模光滑表面视角依赖镜面反射的问题,提出可学习高斯方向编码与数据驱动几何先验,提升建模效果并实现更具物理意义的外观分解。
2024-05-16 cs.CV
Unsupervised Multi-View Object Segmentation Using Radiance Field Propagation
HKUST(香港科技大学);UC San Diego(加州大学圣地亚哥分校);Wuhan University(武汉大学);Kuaishou Technology(快手科技)
我们提出了辐射场传播(RFP),一种新的方法来分割物体在三维重建过程中只给出未标记的多视图图像的场景。RFP源自新兴的基于神经辐射场的技术,其将语义与外观和几何形状联合编码。我们的方法的核心是一种新的传播策略,用于具有双向光度损失的单个对象的辐射场,从而能够将场景无监督地划分为对应于不同对象实例的突出或有意义的区域。为了更好地处理复杂的场景,多个对象和闭塞,我们进一步提出了一个迭代的期望最大化算法来细化对象掩模。RFP是第一个无监督的方法之一,用于处理神经辐射场(NeRF)的3D真实场景对象分割,而无需任何监督,注释或其他线索,如3D边界框和对象类的先验知识。实验表明,RFP实现了可行的分割结果,比以前的无监督图像/场景分割方法更准确,并与现有的监督NeRF为基础的方法。分割的对象表示使能单独的3D对象编辑操作。
2022-10-19 cs.CV
Animatable Neural Radiance Fields from Monocular RGB Videos
我们提出了动画神经辐射场(动画NeRF)的详细的人类化身创建从单眼视频。我们的方法通过在学习场景表示网络的同时引入显式的姿势引导变形,将神经辐射场(NeRF)扩展到具有人体运动的动态场景。特别是,我们估计每个帧的人的姿势,并学习一个恒定的规范空间的详细的人的模板,这使得自然的形状变形从观察空间的规范空间下的姿势参数的显式控制。为了补偿不准确的姿态估计,我们引入了姿态细化策略,在学习过程中更新初始姿态,这不仅有助于学习更准确的人体重建,而且还加速了收敛。在实验中,我们表明,所提出的方法实现1)隐式人体几何和外观重建与高质量的细节,2)照片真实感渲染的人从新的观点,和3)动画的人与新的姿态。
2021-09-07 cs.CV
ARF: Artistic Radiance Fields
Cornell University(康奈尔大学);Adobe Research(奥多比研究院)
提出了一种将任意风格图像的艺术特征转化为三维场景的方法。对于复杂的真实世界场景,以前的方法对点云或网格进行3D风格化对几何重建误差敏感。相反,我们建议styphiles更强大的辐射场表示。我们发现,常用的革兰氏矩阵为基础的损失往往会产生模糊的结果,没有忠实的笔触,并介绍了最近的邻居为基础的损失,是非常有效的捕捉风格的细节,同时保持多视图的一致性。我们还提出了一种新的延迟反向传播方法,使内存密集型辐射场的优化使用风格损失定义的全分辨率渲染图像。我们广泛的评估表明,我们的方法优于基线生成的艺术外观,更接近的风格图像。请查看我们的项目页面以获取视频结果和开源实现:https://www.cs.cornell.edu/projects/arf/。
2022-06-13 cs.CV
NeRF-Casting: Improved View-Dependent Appearance with Consistent Reflections
Google(谷歌公司);Carnegie Mellon University(卡内基梅隆大学)
针对NeRF难以渲染高光物体且反射不一致的问题,提出基于光线追踪的NeRF-Casting方法,通过投射反射光线并追踪特征向量,用小型网络解码颜色,实现高效且逼真的镜面外观与一致反射合成。
2024-05-23 cs.CV cs.GR
Structured Local Radiance Fields for Human Avatar Modeling
Tsinghua University(清华大学);OPPO Research Institute(OPPO研究院)
从RGB视频中创建一个可动画化的穿着衣服的人体化身是非常具有挑战性的,特别是由于运动建模的困难,对于宽松的衣服。为了解决这个问题,我们介绍了一种新的表示最近的神经场景渲染技术的基础上。我们的代表性的核心是一组结构化的局部辐射场,这是锚定到预定义的节点上采样的统计人体模板。这些局部辐射场不仅利用了形状和外观建模中隐式表示的灵活性,而且还将布料变形分解为骨架运动、节点残余平移和每个单独辐射场中的动态细节变化。为了从RGB数据中学习我们的表示并促进姿势泛化,我们建议在条件生成潜在空间中学习节点平移和细节变化。总的来说,我们的方法可以自动构建各种类型的衣服的动画人类化身,而不需要扫描特定于主题的模板,并可以生成逼真的图像与动态细节的新姿势。实验表明,我们的方法优于国家的最先进的方法,定性和定量。
2022-03-28 cs.CV
Transforming Radiance Field with Lipschitz Network for Photorealistic 3D Scene Stylization
University of Chinese Academy of Sciences(中国科学院大学);JD AI Research(京东人工智能研究院)
近年来,神经辐射场(NeRFs)在三维场景表示和新视图合成方面取得了长足的进步。然而,利用NeRF进行真实感3D场景风格化任务并不简单,其目的是从新颖的视图生成视觉上一致和真实感风格化的场景。简单地将NeRF与真实感风格转换(PST)耦合将导致跨视图不一致和风格化视图合成的退化。通过彻底的分析,我们证明了这个不平凡的任务可以用一种新的方式来简化:当用Lipschitz映射转换预先训练好的NeRF的外观表示时,源视图之间的一致性和真实感将被无缝地编码到合成中。这促使我们建立一个简洁灵活的学习框架,即LipRF,它升级了任意的2D PST方法,为3D场景量身定制了Lipschitz映射。从技术上讲,LipRF首先预训练辐射场以重建3D场景,然后通过2D PST模拟每个视图上的风格,作为学习Lipschitz网络以风格化预训练的外观的前提。考虑到Lipschitz条件对神经网络的表达能力有很大影响,我们设计了一种自适应正则化方法来平衡重构和风格化。逐步梯度聚合策略进一步引入优化LipRF在一个成本效益的方式。我们进行了大量的实验,以显示高品质和强大的性能LipRF的照片级逼真的3D风格化和对象外观编辑。
2023-03-23 cs.AI cs.CV
MultiNeRF: Multiple Watermark Embedding for Neural Radiance Fields
University of Surrey(萨里大学);Adobe Research(奥多比研究院)
提出MultiNeRF,一种在单个NeRF模型中嵌入多个唯一密钥水印的3D水印方法,通过扩展TensoRF并引入专用水印网格与基于FiLM的条件调制机制,实现无需重训即可动态激活多水印,在保持渲染质量的同时显著提升了水印容量。
2025-04-03 cs.CV
Estimating Neural Reflectance Field from Radiance Field using Tree Structures
Microsoft Research Asia(微软亚洲研究院);Tencent(腾讯)
我们提出了一种新的方法来估计神经反射场(NReF)的对象从一组构成的多视图图像在未知的照明。NReF以非纠缠的方式表示对象的3D几何形状和外观,并且仅从图像难以估计。我们的方法解决了这个问题,利用神经辐射场(NeRF)作为代理表示,从我们执行进一步的分解。高质量的NeRF分解依赖于良好的几何信息抽取以及良好的先验项,以正确地解决不同分量之间的模糊性。为了从辐射场中提取高质量的几何信息,我们重新设计了一种新的基于光线投射的表面点提取方法。为了有效地计算和应用先验项,我们将不同的先验项转换为不同类型的滤波器操作的表面上提取的辐射场。然后,我们采用两种类型的辅助数据结构,即高斯KD树和八叉树,以支持快速查询的表面点和有效的计算表面过滤器在训练过程中。在此基础上,我们设计了一个多级分解优化流水线,用于从神经辐射场估计神经反射场。大量的实验表明,我们的方法优于其他国家的最先进的方法在不同的数据,并实现高质量的自由视图重新照明以及材料编辑任务。
2022-10-09 cs.CV
SegNeRF: 3D Part Segmentation with Neural Radiance Fields
KAUST(阿卜杜拉国王科技大学)
神经辐射场(NeRF)的最新进展在生成任务(如新视图合成和3D重建)方面具有令人印象深刻的性能。基于神经辐射场的方法能够通过完全依赖于姿态图像来隐式地表示3D世界。然而,他们很少被探索的领域的歧视性任务,如3D部分分割。在这项工作中,我们试图通过提出SegNeRF来弥合这一差距:一种神经场表示,它将语义场与通常的辐射场集成在一起。SegNeRF从以前的作品继承了执行新视图合成和3D重建的能力,并从几个图像中实现3D部分分割。我们在PartNet上进行的大量实验表明,SegNeRF能够同时预测来自姿势图像的几何形状,外观和语义信息,即使是看不见的物体。预测的语义场允许SegNeRF实现$\textbf{30.30%}$的平均mIoU用于2D新视图分割,以及$\textbf{37.46%}$用于3D部件分割,通过仅使用几个姿势图像,与基于点的方法相比具有竞争力的性能。此外,SegNeRF能够从野外拍摄的物体的单个图像生成明确的3D模型,并对其进行相应的部分分割。
2022-11-22 cs.CV
Addressing the Shape-Radiance Ambiguity in View-Dependent Radiance Fields
Chalmers University of Technology(查尔姆斯理工大学)
我们提出了一种方法,用于处理辐射场中的视图相关信息,以帮助三维重建的收敛性和质量。具有视角依赖性的辐射场遭受所谓的形状辐射模糊性,这可能导致不正确的几何形状,给定视角依赖性颜色的高角分辨率。我们建议在每个摄像机前增加一个差分平面,目的是在训练过程中分离视图相关和朗伯分量。我们还提出了一个额外的步骤,我们训练,但不存储,一个低分辨率的视图相关的功能,有助于隔离的表面,如果这样的分离被证明是困难的。这些添加对性能和内存使用的影响很小,但可以重建具有高度镜面反射组件的场景,而无需任何其他显式处理视图依赖性(如球谐函数)。
2022-03-03 cs.CV
Locally Stylized Neural Radiance Fields
Hong Kong University of Science and Technology(香港科技大学);Trinity College Dublin(都柏林圣三一学院);VinAI Research(VinAI研究院)
本文提出一种基于局部风格迁移的神经辐射场风格化框架,利用哈希网格编码分离外观与几何,并通过分割网络和二分匹配建立区域对应关系,实现可控的新视角风格化渲染。
2023-09-19 cs.CV cs.GR
DoubleField: Bridging the Neural Surface and Radiance Fields for High-fidelity Human Reconstruction and Rendering
Tsinghua University(清华大学);Beihang University(北京航空航天大学);Kuaishou Technology(快手科技)
介绍了一种结合表面场和辐射场优点的新框架DoubleField,用于高逼真度的人体重建和绘制。在DoubleField中,表面场和辐射场通过共享特征嵌入和表面引导采样策略关联在一起。此外,一个视图到视图的Transformer被引入到融合多视图的功能和学习视图相关的功能,直接从高分辨率的输入。借助DoubleField和视图到视图Transformer的建模能力,我们的方法显着提高了几何和外观的重建质量,同时支持直接推理,场景特定的高分辨率微调和快速渲染。通过对多个数据集的定量评价和真实世界稀疏多视图系统的定性结果验证了DoubleField的有效性,显示了其在高质量人体模型重建和照片级真实感自由视点人体绘制方面的卓越能力。数据和源代码将公开用于研究目的。请参阅我们的项目页面:http://www.liuyebin.com/dbfield/dbfield.html。
2022-03-27 cs.CV
DP-NeRF: Deblurred Neural Radiance Field with Physical Scene Priors
Korea Institute of Science and Technology (KIST)(韩国科学技术院);Yonsei University(延世大学)
神经辐射场(NeRF)通过从多视图图像和成对校准的相机参数进行新颖的视图合成而展现出出色的三维(3D)重建质量。然而,以前基于NeRF的系统是在严格控制的设置下进行演示的,很少关注不太理想的场景,包括存在噪声的情况,如曝光,照明变化和模糊。特别是,虽然模糊经常发生在现实情况下,NeRF可以处理模糊图像很少受到关注。研究模糊图像NeRF的少数研究没有考虑3D空间中的几何和外观一致性,这是3D重建中最重要的因素之一。这导致不一致性和所构造场景的感知质量的降级。因此,本文提出了一个DP-NeRF,一个新的清洁NeRF框架模糊图像,这是约束与两个物理先验。这些先验是从相机获取图像期间的实际模糊过程中得出的。DP-NeRF提出了刚性模糊内核,利用物理先验知识和自适应权重建议来提高3D一致性,并考虑到深度和模糊之间的关系来改善颜色合成误差。我们提出了广泛的实验结果与两种类型的模糊:相机运动模糊和散焦模糊的合成和真实场景。结果表明,DP-NeRF成功地提高了所构建的NeRF的感知质量,确保了3D几何和外观的一致性。我们进一步证明了我们的模型与全面的消融分析的有效性。
2023-03-09 cs.CV
3DMM-RF: Convolutional Radiance Fields for 3D Face Modeling
Imperial College of London(伦敦帝国理工学院);Huawei(华为)
人脸3D变形模型是计算机视觉的一个主要课题,有着无数的应用,在过去的二十年里得到了高度的优化。深度生成网络的巨大改进为改进此类模型创造了各种可能性,并引起了广泛的兴趣。此外,神经辐射场的最新进展正在彻底改变已知场景的新颖视图合成。在这项工作中,我们提出了一个面部3D变形模型,它利用了上述两个,可以准确地建模主体的身份,姿势和表情,并在任意照明渲染。这是通过利用强大的基于深度样式的生成器来克服神经辐射场的两个主要弱点,即它们的刚性和渲染速度来实现的。我们介绍了一个基于风格的生成网络,在一个通过合成所有,只有所需的渲染样本的神经辐射场。我们创建了一个巨大的面部渲染的标记合成数据集,并在这些数据上训练网络,以便它可以准确地建模和概括面部身份,姿势和外观。最后,我们表明,该模型可以准确地适应“在野外”的人脸图像的任意姿态和照明,提取的面部特征,并用于重新渲染的脸在可控的条件。
2022-09-15 cs.CV
NeRF-Loc: Visual Localization with Conditional Neural Radiance Field
Tencent(腾讯)
本文提出NeRF-Loc方法,利用条件神经辐射场和transformer直接匹配隐式3D描述符与2D图像,并引入外观适应层提升跨域鲁棒性,在多个基准上取得更高定位精度。
2023-04-17 cs.CV
One-Shot High-Fidelity Talking-Head Synthesis with Deformable Neural Radiance Field
Shanghai AI Laboratory(上海人工智能实验室);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);Northwestern Polytechnical University(西北工业大学)
本文提出HiDe-NeRF,基于可变形神经辐射场将三维动态人脸解耦为规范外观场与隐式变形场,并通过多尺度体积特征和姿态-表情解耦模块实现一次性高保真、自由视角的说话头合成。
2023-04-11 cs.CV