CG-NeRF: Conditional Generative Neural Radiance Fields
KAIST Graduate School of AI, Korea Advanced Institute of Science and Technology(韩国科学技术院人工智能研究生院)
虽然最近基于NeRF的生成模型实现了生成各种3D感知图像,但这些方法在生成包含用户指定特征的图像时存在局限性。在本文中,我们提出了一种新的模型,称为条件生成神经辐射场(CG-NeRF),它可以生成多视图图像,反映额外的输入条件,如图像或文本。在保留给定输入条件的共同特征的同时,该模型生成了细节丰富的不同图像。我们建议:1)新颖的统一架构,其从以各种形式给出的条件中解开形状和外观,以及2)用于生成多模态输出的姿态一致的多样性损失,同时保持视图的一致性。实验结果表明,该方法保持一致的图像质量在各种条件类型,并实现了更好的保真度和多样性相比,现有的基于NeRF的生成模型。
2021-12-07 cs.CV cs.GR
MMPI: a Flexible Radiance Field Representation by Multiple Multi-plane Images Blending
Tsinghua University(清华大学);The University of Hong Kong(香港大学);Shanghai Jiao Tong University(上海交通大学);Texas A&M University(德克萨斯农工大学)
本文提出MMPI,用多方向MPI和自适应融合编码神经辐射场,以支持复杂相机分布下的高质量新视图合成与快速训练。
2023-09-30 cs.CV
Generative Lifting of Multiview to 3D from Unknown Pose: Wrapping NeRF inside Diffusion
University of Chicago(芝加哥大学)
本文提出将未知姿态的多视图重建建模为生成问题,通过把姿态预测网络和NeRF嵌入去噪扩散模型进行端到端训练,在无需姿态标注的情况下同时学习3D场景表示和相机外参预测,成功重建具有挑战性的场景并支持新视角生成。
2024-06-11 cs.CV cs.LG
GPN: Generative Point-based NeRF
College of Mechanical Engineering, Zhejiang Sci-Tech University(浙江理工大学机械工程学院)
针对扫描点云不完整且现有补全方法难保证与图像颜色几何一致的问题,提出GPN方法结合扫描图像与点云修复重建,通过自动解码器优化单场景全局隐式条件,在ShapeNet上取得与前沿点云神经渲染编辑方法相当的性能。
2024-04-12 cs.CV cs.GR
NeRFDeformer: NeRF Transformation from a Single View via 3D Scene Flows
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);NVIDIA(英伟达)
本文提出NeRFDeformer,利用3D场景流和新型对应过滤算法,从单视图非刚性观测中修改NeRF,并构建含113个合成场景的数据集,性能优于现有编辑与扩散方法。
2024-06-15 cs.AI cs.CV
Continuous Dynamic-NeRF: Spline-NeRF
Princeton University(普林斯顿大学)
随着时间的推移重建连续函数的问题是重要的问题,如重建运动场景,时间步长之间的插值。以前使用深度学习的方法依赖于正则化来确保重建近似连续,这在短序列上效果很好。然而,随着序列长度的增长,正则化变得越来越困难,并且仅通过正则化学习变得越来越不可行。我们提出了一种新的架构的功能重建的基础上,经典的Bezier样条,它确保$C^0$和$C^1$ -连续性,其中$C^0$连续性是,$\forall c:\lim\limits_{x\to c} f(x) = f(c)$,或更直观地说,有没有在任何一点的功能中断。为了展示我们的架构,我们使用神经辐射场重建动态场景,但希望清楚的是,我们的方法是通用的,可以应用于各种问题。我们恢复贝塞尔样条$B(β, t\in[0,1])$,参数化的控制点$β$。使用Bezier样条可确保重建具有$C^0$和$C^1$连续性,从而允许随时间保证插值。我们重建$β$与多层感知器(MLP),混合机器学习与经典的动画技术。所有代码都可以在https://github.com/JulianKnodt/nerf_atlas上找到,数据集来自之前的工作。
2022-03-25 cs.CV
Class-Continuous Conditional Generative Neural Radiance Field
Chung-Ang University(中央大学)
提出类连续条件生成神经辐射场模型,通过将条件特征投影到生成器和判别器,实现条件操作下逼真的3D一致图像合成,并在多个数据集上验证了其优越性能。
2024-01-09 cs.AI cs.CV
AR-NeRF: Unsupervised Learning of Depth and Defocus Effects from Natural Images with Aperture Rendering Neural Radiance Fields
NTT Communication Science Laboratories, NTT Corporation(NTT株式会社NTT通信科学实验室)
完全无监督的三维表示学习由于其在数据汇集方面的优势而受到关注。成功的方法涉及基于生成模型(例如,生成对抗网络(GANs))同时基于3D感知模型(例如,神经辐射场(NeRF))。然而,它们需要具有各种视图的图像进行训练,因此,将其应用于具有很少或有限视点的数据集仍然是一个挑战。作为一种补充方法,提出了一种采用散焦提示的孔径渲染GAN(AR-GAN)。然而,AR-GAN是一种基于CNN的模型,尽管具有高相关性,但它独立于视点变化表示散焦,这是其性能的原因之一。作为AR-GAN的替代方案,我们提出了一种孔径渲染NeRF(AR-NeRF),它可以通过在一个共同的光线跟踪框架中表示这两个因素,以统一的方式利用视点和散焦线索。此外,为了以一种解脱的方式学习散焦感知和散焦独立的表示,我们提出了孔径随机化训练,我们学习在独立随机化孔径大小和潜在代码的同时生成图像。在我们的实验中,我们将AR-NeRF应用于各种自然图像数据集,包括花卉,鸟类和人脸图像,其结果证明了AR-NeRF用于深度和散焦效果的无监督学习的实用性。
2022-06-13 cs.AI cs.CV cs.GR
ROGR: Relightable 3D Objects using Generative Relighting
Google Research(谷歌研究);Google Deepmind(谷歌DeepMind);Technical University of Munich(慕尼黑技术大学)
ROGR通过生成光照模型实现可重照明的3D物体重建,采用双分支架构的光照条件NeRF,高效生成任意环境光照下的物体外观。
2025-12-03 cs.CV cs.GR
NeRFFaceSpeech: One-shot Audio-driven 3D Talking Head Synthesis via Generative Prior
Seoul National University(首尔大学);KAIST(韩国科学技术院)
本文提出NeRFFaceSpeech,结合生成先验与NeRF,利用参数化面部模型和LipaintNet实现单图音频驱动的高质量3D一致说话头部合成,并首次量化姿态鲁棒性。
2024-05-10 cs.CV
Omni-Recon: Harnessing Image-based Rendering for General-Purpose Neural Radiance Fields
Georgia Institute of Technology(佐治亚理工学院)
本文提出通用NeRF框架Omni-Recon,利用基于图像的渲染和双解耦分支实现可泛化3D重建、零样本多任务场景理解,并支持实时渲染与文本引导编辑。
2024-09-20 cs.CV
A-NeRF: Articulated Neural Radiance Fields for Learning Human Shape, Appearance, and Pose
University of British Columbia(不列颠哥伦比亚大学);Facebook Reality Labs(Facebook现实实验室)
虽然深度学习通过前馈网络重塑了经典的运动捕捉流水线,但需要生成模型通过迭代细化来恢复精细对齐。不幸的是,现有的模型通常是手工制作的或在受控条件下学习的,仅适用于有限的领域。提出了一种通过扩展神经辐射场(NeRFs)从未标记的单目视频中学习生成神经体模型的方法。我们为它们配备了一个骨架,以应用于时变和关节运动。一个关键的见解是,隐式模型需要显式表面模型中使用的正运动学的逆。我们的reparameterization定义的空间潜变量相对于身体部位的姿势,从而克服了不适定的逆运算与overparameterization。这使得能够从头开始学习体积体型和外观,同时联合细化关节姿势;所有这些都没有输入视频上的外观,姿势或3D形状的地面真实标签。当用于新视图合成和运动捕捉时,我们的神经模型提高了不同数据集的准确性。项目网址:https://lemonatsu.github.io/anerf/。
2021-10-29 cs.CV cs.GR
Fourier PlenOctrees for Dynamic Radiance Field Rendering in Real-time
ShanghaiTech University(上海科技大学);DGene(叠境数字);KU Leuven(鲁汶大学)
诸如神经辐射场(NeRF)的隐式神经表示主要集中于对在多视图设置下捕获的静态对象进行建模,其中可以利用智能数据结构来实现实时的【形】渲染,例如,PlenOctree。在本文中,我们提出了一种新的傅立叶PlenOctree(FPO)技术,以解决有效的神经建模和实时的【形】渲染的动态场景下的自由视角视频(FVV)设置。我们FPO的关键思想是广义NeRF,PlenOctree表示,体积融合和傅立叶变换的新组合。为了加速FPO的建设,我们提出了一种新的粗到细的融合方案,利用可推广的NeRF技术,通过空间混合生成树。为了处理动态场景,我们调整隐式网络来模拟时变密度和颜色属性的傅立叶系数。最后,我们构造FPO和训练的傅立叶系数直接在一个联盟PlenOctree结构的动态序列的叶子。我们表明,由此产生的FPO使紧凑的内存过载处理动态对象,并支持有效的微调。大量的实验表明,该方法是3000倍的速度比原来的NeRF和实现超过一个数量级的加速SOTA,同时保持高的视觉质量的自由视点渲染看不见的动态场景。
2022-02-22 cs.CV cs.GR
Perturb-and-Revise: Flexible 3D Editing with Generative Trajectories
University of Washington(华盛顿大学);Google Research(谷歌研究院)
针对现有3D编辑方法难以处理大幅几何与外观变化的问题,提出Perturb-and-Revise方法,通过局部损失景观自适应扰动NeRF参数、结合生成轨迹与身份保持梯度修正,实现灵活一致的多维度3D编辑。
2025-03-20 cs.CV
Learning a Diffusion Prior for NeRFs
Cornell University(康奈尔大学);Google Research(谷歌研究院)
针对少视图监督下NeRF训练的欠约束难题,提出用扩散模型学习正则化网格编码的NeRF生成先验,可生成逼真NeRF并支持条件生成。
2023-04-27 cs.AI cs.CV cs.LG
Shielding the Unseen: Privacy Protection through Poisoning NeRF with Spatial Deformation
University of Maryland(马里兰大学)
本研究提出一种基于PGD空间形变的双层优化投毒攻击方法,通过人眼不可察的视图扰动破坏NeRF的3D重建能力,在29个真实场景的基准测试中显著降低NeRF性能,为3D重建领域的隐私风险防范提供参考。
2023-10-04 cs.CV
Likelihood-Based Generative Radiance Field with Latent Space Energy-Based Model for 3D-Aware Disentangled Image Representation
University of California - UCLA(加州大学洛杉矶分校);Baidu Research(百度研究院)
本文提出NeRF-LEBM,将神经辐射场与潜空间能量模型结合,通过最大似然和变分推断实现3D感知的图像生成,支持新视角合成、不完整图像学习及已知或未知相机位姿场景。
2023-04-16 cs.CV stat.ML
Gaussian Splatting Decoder for 3D-aware Generative Adversarial Networks
Fraunhofer Heinrich Hertz Institute, HHI(弗劳恩霍夫海因里希·赫兹研究所);Humboldt University of Berlin(柏林洪堡大学)
针对基于NeRF的3D感知GAN渲染耗时且隐式表示难融入显式场景的问题,提出高斯溅射解码器,结合两者优势,实现高效渲染、显式场景兼容及高分辨率逆映射与实时编辑。
2024-06-17 cs.CV
CLIP-NeRF: Text-and-Image Driven Manipulation of Neural Radiance Fields
City University of Hong Kong(香港城市大学);Snap Inc.(Snap公司);USC Institute for Creative Technologies(南加州大学创意技术研究所);Microsoft Cloud AI(微软云人工智能部门)
我们提出CLIP-NeRF,一种用于神经辐射场(NeRF)的多模态3D对象操作方法。通过利用最近的对比图像预训练(CLIP)模型的联合语言图像嵌入空间,我们提出了一个统一的框架,允许以用户友好的方式操纵NeRF,使用简短的文本提示或示例图像。具体来说,结合新的视图合成能力的NeRF和可控的操作能力的潜在表示从生成模型,我们引入了一个解纠缠的条件NeRF架构,允许个人控制的形状和外观。这是通过将学习的变形场应用于位置编码并将颜色调节推迟到体积绘制阶段来执行形状调节来实现的。为了将这种解开的潜在表示与CLIP嵌入联系起来,我们设计了两个代码映射器,它们将CLIP嵌入作为输入,并更新潜在代码以反映有针对性的编辑。映射器使用基于CLIP的匹配损失进行训练,以确保操作准确性。此外,我们提出了一种逆优化方法,准确地将输入图像投影到用于操作的潜在代码,以实现对真实图像的编辑。我们评估我们的方法进行了广泛的实验,对各种文本提示和范例图像,也提供了一个直观的交互式编辑界面。我们的实现可以在https://cassiepython.github.io/clipnerf/上获得
2022-03-02 cs.CV cs.GR
ID-NeRF: Indirect Diffusion-guided Neural Radiance Fields for Generalizable View Synthesis
Shenzhen Campus of Sun Yat-sen University(中山大学深圳校区)
针对可泛化NeRF因错误重投影特征导致次优结果的问题,提出ID-NeRF框架,利用预训练扩散先验通过间接注入策略引导特征细化,实现高质量稀疏输入下的新视图合成。
2024-05-19 cs.CV
RaFE: Generative Radiance Fields Restoration
College of Software, Beihang University(北京航空航天大学软件学院);City University of Hong Kong(香港城市大学);The University of Hong Kong(香港大学)
本文提出通用生成式辐射场修复框架 RaFE,通过 2D 修复与基于 GAN 的双层 tri-plane 残差建模,处理多种低质量退化并优于单任务 3D 方法。
2024-04-07 cs.CV
HyperNeRFGAN: Hypernetwork approach to 3D NeRF GAN
Faculty of Mathematics and Computer Science, Jagiellonian University(雅盖隆大学数学与计算机科学学院);University of Science and Technology(科技大学)
提出HyperNeRFGAN,一种采用超网络范式将高斯噪声转换为NeRF权重的GAN架构,无需相机位置先验即可在医学等难估计相机位姿的数据集上实现优于现有方法的3D生成性能。
2024-08-22 cs.CV
AE-NeRF: Auto-Encoding Neural Radiance Fields for 3D-Aware Object Manipulation
Korea University(高丽大学)
我们提出了一个新的框架,三维感知对象的操作,称为自动编码神经辐射场(AE-NeRF)。我们的模型,这是制定在一个自动编码器架构,提取解纠缠的3D属性,如3D形状,外观和相机姿态从图像中,和一个高质量的图像渲染的属性,通过解纠缠生成神经辐射场(NeRF)。为了提高解纠缠的能力,我们提出了两种损失,定义在输入和输出之间的全局-局部属性一致性损失和交换属性分类损失。由于在没有地面真实形状和外观信息的情况下从头开始训练这种自动编码网络是不平凡的,因此我们提出了一种分阶段的训练方案,这大大有助于提高性能。我们进行实验,以证明所提出的模型的有效性,最新的方法,并提供广泛的消融研究。
2022-04-28 cs.CV
MVIP-NeRF: Multi-view 3D Inpainting on NeRF Scenes via Diffusion Prior
S-Lab, Nanyang Technological University(南洋理工大学S-Lab)
本文提出MVIP-NeRF,利用扩散先验通过多视图联合修复和SDS迭代优化,同时引入法线SDS损失与多视图SDS分数函数,解决了NeRF场景修复中视图不一致和几何对齐差的问题,实现了优于以往方法的外观与几何恢复。
2024-05-05 cs.CV
DT-NeRF: A Diffusion and Transformer-Based Optimization Approach for Neural Radiance Fields in 3D Reconstruction
Northeastern University(东北大学);University of California, Irvine(加利福尼亚大学尔湾分校);McGill University(麦吉尔大学)
本文提出DT-NeRF方法,结合扩散模型与Transformer优化神经辐射场,在稀疏视点和复杂几何场景下提升三维重建的细节恢复与多视图一致性,并在多个数据集上取得优于现有方法的性能。
2025-09-21 cs.CV
SIGNeRF: Scene Integrated Generation for Neural Radiance Fields
University of Tübingen(蒂宾根大学)
SIGNeRF利用深度条件扩散模型生成多视图参考表,实现无需迭代优化的快速可控NeRF场景编辑与场景集成式物体生成,并支持空间位置与形状引导控制。
2024-03-27 cs.CV cs.GR
LC-NeRF: Local Controllable Face Generation in Neural Randiance Field
Tsinghua University(清华大学);Stanford University(斯坦福大学);Institute of Computing Technology, CAS(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
由于神经辐射场(NeRF)的发展,三维人脸生成已经实现了高视觉质量和三维一致性。近年来,针对NeRF表示的三维面的生成和编辑,提出了一些方法,并在几何和纹理解耦方面取得了良好的效果。这些生成模型的潜在代码会影响整个面部,因此对这些代码的修改会导致整个面部发生变化。但是,用户通常在编辑面时编辑局部区域,并且不希望其他区域受到影响。由于潜在代码的变化会影响全局生成结果,因此这些方法不允许对局部面部区域进行细粒度控制。为了提高基于NeRF的人脸编辑的局部可控性,我们提出了LC-NeRF,它由一个局部区域生成器模块和一个空间感知融合模块组成,允许局部面部区域的局部几何和纹理控制。定性和定量的评估表明,我们的方法提供了更好的本地编辑比国家的最先进的人脸编辑方法。我们的方法在下游任务中也表现良好,例如文本驱动的面部图像编辑。
2023-02-19 cs.CV
I2-NeRF: Learning Neural Radiance Fields Under Physically-Grounded Media Interactions
The University of Tokyo(东京大学);RIKEN(日本研究机构)
I2-NeRF提出一种神经辐射场框架,通过反向分层上采样和统一辐射模型,在介质退化下实现等距各向同性度量感知,提升重建质量与物理合理性。
2025-10-25 cs.CV
ZIGNeRF: Zero-shot 3D Scene Representation with Invertible Generative Neural Radiance Fields
Chung-Ang University(中央大学)
本文提出 ZIGNeRF,通过新型 GAN 反演器将单张域外图像映射到生成器潜空间,实现零样本多视图生成、前景背景解耦及三维旋转平移。
2023-06-05 cs.CV
X-NeRF: Explicit Neural Radiance Field for Multi-Scene 360$^{\circ} $ Insufficient RGB-D Views
Shanghai Jiao Tong University(上海交通大学)
神经辐射场(NeRFs)尽管在新颖视图合成上具有出色的性能,但通常需要密集的输入视图。许多文献对每个场景分别训练一个模型,很少有人探讨如何将多模态数据融合到这个问题中。在本文中,我们关注一个很少讨论但很重要的设置:我们能否训练一个模型,它可以表示多个场景,360 $^\circ $视图和RGB-D图像不足?我们将不充分的视图引用到极少数非常稀疏且几乎不重叠的视图。为了解决这个问题,提出了一种完全显式的方法X-NeRF,该方法学习一般的场景完成过程,而不是基于坐标的映射。给定一些不足的RGB-D输入视图,X-NeRF首先将其转换为稀疏点云张量,然后应用3D稀疏生成卷积神经网络(CNN)将其完成显式辐射场,其体积渲染可以快速进行,而无需在推理期间运行网络。为了避免过拟合,除了常见的渲染损失,我们应用感知损失以及通过点云上的随机旋转视图增强。所提出的方法显着优于以前的隐式方法在我们的设置,表明所提出的问题和方法的巨大潜力。代码和数据可在https://github.com/HaoyiZhu/XNeRF上获得。
2022-10-11 cs.CV
High-fidelity Facial Avatar Reconstruction from Monocular Video with Generative Priors
Tsinghua University(清华大学);Tencent(腾讯);Ant Group(蚂蚁集团);Peng Cheng Laboratory(鹏城实验室)
从单目视频中重建高逼真度的人脸模型是计算机图形学和计算机视觉领域的一个重要研究课题。最近,神经辐射场(NeRF)显示了令人印象深刻的新颖的视图渲染结果,并已被考虑用于面部化身重建。然而,单目视频中复杂的面部动态和缺失的3D信息对真实的面部重建提出了重大挑战。在这项工作中,我们提出了一种新的方法,基于NeRF的面部化身重建,利用3D感知生成先验。与现有的依赖于条件变形场进行动态建模的工作不同,我们提出学习个性化的生成先验,该先验被制定为3D-GAN潜在空间中的局部和低维子空间。我们提出了一种有效的方法来构建基于一个给定的个人的面部图像的小集合的个性化生成先验。学习后,它允许照片真实感渲染与新的意见和人脸再现可以实现通过执行潜在空间中的导航。我们提出的方法适用于不同的驱动信号,包括RGB图像,3DMM系数,和音频。与现有的工作相比,我们获得了优越的新的视图合成的结果和忠实的人脸再现性能。
2023-03-04 cs.CV
Sem2NeRF: Converting Single-View Semantic Masks to Neural Radiance Fields
Monash University(莫纳什大学);Nanyang Technological University(南洋理工大学)
本文提出新任务Semantic-to-NeRF翻译及Sem2NeRF框架,通过将单视图语义掩码编码为潜在代码控制预训练解码器,并引入区域感知学习策略,实现了从单视图语义掩码重建3D场景,在两个基准数据集上优于多个强基线。
2022-07-21 cs.AI cs.CV cs.GR
Neural Image-based Avatars: Generalizable Radiance Fields for Human Avatar Modeling
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);Google Research(谷歌研究院);Adobe Research(奥多比研究院)
本文提出NIA方法,通过混合隐式身体NeRF与基于图像的渲染,从稀疏多视角图像中实现任意人体的新视角与新姿态合成,在身份泛化和姿态泛化上均优于现有方法。
2023-04-10 cs.CV
PartNeRF: Generating Part-Aware Editable 3D Shapes without 3D Supervision
National and Kapodistrian University of Athens(雅典国立卡波迪斯特里安大学);Athena RC(雅典娜研究中心);Stanford University(斯坦福大学);Institute of Advanced Research in Artificial Intelligence (IARAI)(人工智能高级研究所(IARAI))
在生成模型和隐式表示方面取得了令人印象深刻的进展,产生了可以生成高质量3D形状的方法。然而,能够本地控制和编辑形状是另一个基本属性,可以解锁几个内容创建应用程序。可以使用零件感知模型实现本地控制,但现有方法需要3D监督并且无法生成纹理。在这项工作中,我们设计了PartNeRF,一种新的部件感知生成模型,用于可编辑的3D形状合成,不需要任何明确的3D监督。我们的模型生成的对象作为一组本地定义的NeRF,增强了仿射变换。这使得几个编辑操作,如对零件应用变换,混合来自不同对象的零件等,以确保不同的,可操作的零件,我们强制射线的硬分配的零件,以确保每个射线的颜色只由一个单一的NeRF确定。因此,更改一个零件不会影响其他零件的外观。对各种ShapeNet类别的评估表明,与以前需要3D监督或依赖NeRF的模型的基于部件的生成方法相比,我们的模型能够生成保真度更高的可编辑3D对象。
2023-03-21 cs.CV
Talk3D: High-Fidelity Talking Portrait Synthesis via Personalized 3D Generative Prior
Korea University(高丽大学);NCSOFT
本文提出Talk3D框架,通过预训练3D感知生成先验和音频引导注意力U-Net,在NeRF空间中重建高保真面部几何,并利用音频无关条件令牌解耦无关变化,在极端姿态下仍优于现有方法。
2024-03-29 cs.CV
3D-Aware Encoding for Style-based Neural Radiance Fields
Carnegie Mellon University(卡内基梅隆大学);Meta Research(Meta研究院)
我们解决了基于样式的神经辐射场的NeRF反演的任务(例如,StyleNeRF)。在这项任务中,我们的目标是学习一个逆函数,将输入图像投影到NeRF发生器的潜在空间,然后基于潜在代码合成原始图像的新视图。与用于2D生成模型的GAN反演相比,NeRF反演不仅需要1)保持输入图像的身份,而且2)确保生成的新视图的3D一致性。这要求从单视图图像获得的潜在代码在多个视图中是不变的。为了解决这个新的挑战,我们提出了一个两阶段的编码器基于风格的NeRF反转。在第一阶段中,我们引入了一个基本编码器,它将输入图像转换为潜码。为了保证潜在编码具有视点不变性,并能够合成三维一致的新视点图像,我们利用身份对比学习来训练基本编码器。其次,为了更好地保留输入图像的身份,我们引入了一个细化编码器来细化潜在代码并向输出图像添加更精细的细节。值得注意的是,该模型的新颖性在于其第一阶段编码器的设计,该编码器产生位于潜在流形上的最接近的潜在代码,因此第二阶段中的细化将接近NeRF流形。通过大量的实验,我们证明了我们提出的两阶段编码器定性和定量表现出优于现有的编码器在图像重建和新颖的视图渲染反转。
2022-11-12 cs.CV cs.LG
Gaussian Splatting with NeRF-based Color and Opacity
Jagiellonian University(雅盖隆大学);University of Cambridge(剑桥大学)
针对 GS 条件化困难而 NeRF 训练推理较慢的问题,本文提出混合模型 VDGS,用 GS 表示形状、NeRF 编码视角相关颜色与不透明度,以更好呈现阴影、反射和透明效果。
2024-06-12 cs.CV
Laser: Latent Set Representations for 3D Generative Modeling
DeepMind(深度思维)
NeRF提供了无与伦比的新颖视图合成保真度:从任意视点渲染3D场景。NeRF需要在完全覆盖场景的大量视图上进行培训,这限制了其适用性。虽然这些问题可以通过学习各种形式的场景的先验知识来解决,但以前的方法要么应用于过于简单的场景,要么难以渲染未观察到的部分。我们介绍Laser-NV:一种生成模型,其实现高建模能力,并且其基于通过归一化流建模的集值潜在表示。与以前的摊销方法类似,Laser-NV从多个场景中学习结构,并能够从几个视图中进行快速前馈推理。为了鼓励更高的渲染保真度和与观察到的视图的一致性,Laser-NV还在观察到的视图上结合了几何信息注意力机制。Laser-NV进一步产生场景的被遮挡部分的多样化和合理的完成,同时保持与观察一致。Laser-NV在ShapeNet和新型模拟城市数据集上进行评估时显示出最先进的新颖视图合成质量,该数据集在场景的未观察区域具有高度不确定性。
2023-01-13 cs.AI cs.CV
OracleGS: Grounding Generative Priors for Sparse-View Gaussian Splatting
ETH Zürich(苏黎世联邦理工学院);Koç University(科卡大学);KUIS AI Center(KUIS人工智能中心);Technical University of Munich(慕尼黑技术大学);Google(谷歌);Munich Center for Machine Learning(慕尼黑机器学习中心)
针对稀疏视角新视角合成的几何歧义与现有方法的权衡问题,提出OracleGS框架,通过提议-验证机制结合3D感知扩散模型与MVS验证,以不确定性加权损失优化高斯泼溅,提升重建效果。
2025-10-04 cs.CV
Generative Neural Fields by Mixtures of Neural Implicit Functions
POSTECH(浦项科技大学);University of Pittsburgh(匹兹堡大学);Seoul National University(首尔大学)
本文提出用隐式基网络线性组合表示生成式神经场,通过元学习或自动解码学习基网络与潜在系数,并结合定制化去噪扩散概率模型采样混合系数,在保持推理高效的同时提升生成容量,在图像、体素和NeRF场景上取得竞争性生成性能。
2023-10-30 cs.CV cs.LG
NaviNeRF: NeRF-based 3D Representation Disentanglement by Latent Semantic Navigation
Tianjin University(天津大学);Eastern Institute of Technology(东方理工学院);Ningbo Institute of Digital Twin(宁波数字孪生研究院);Shanghai Jiao Tong University(上海交通大学);Northwest Normal University(西北师范大学);Zhejiang University(浙江大学)
NaviNeRF首次在无先验和无监督条件下,通过潜在语义导航与内外分支协同实现基于NeRF的细粒度三维表征解耦,性能优于以往三维感知模型并媲美依赖先验的编辑模型。
2024-03-28 cs.CV
Vision-based Neural Scene Representations for Spacecraft
European Space Agency(欧洲空间局)
在具有高度自主性的先进任务概念中,航天器需要在内部模拟附近轨道物体的姿态和形状。最近的工作在神经场景表示的推断一般的三维场景从光学图像显示出有前途的结果。神经辐射场(NeRF)已经在使用大量图像及其姿势渲染高度镜面反射表面方面显示出成功。最近,生成辐射场(GRAF)实现了完整的体积重建的场景从unposed图像,由于使用对抗框架训练NeRF。在本文中,我们比较和评估NeRF和GRAF的潜力,使新的意见和提取的3D形状的两个不同的航天器,土壤水分和海洋盐度卫星欧空局的生命星球计划和一个通用的立方体卫星。考虑到这两种模型的最佳性能,我们观察到NeRF有能力在航天器的材料镜面反射及其姿态方面呈现更准确的图像。就其本身而言,GRAF即使在卫星的部分被遮蔽时也能生成具有精确细节的精确新颖视图,同时具有不需要任何有关相对姿态的信息的显著优势。
2021-05-11 cs.CV
MultiPlaneNeRF: Neural Radiance Field with Non-Trainable Representation
Jagiellonian University(雅盖隆大学);University of Science and Technology Wrocła(弗罗茨瓦夫科技大学)
针对NeRF需逐物体单独训练、耗时长且泛化差的问题,提出MultiPlaneNeRF,通过3D点投影生成不可训练表示,浅解码器即可处理,可在大数据集训练后仅换2D图像生成新物体NeRF表示,新视图合成效果达SOTA,解码器可用于GANs等生成模型。
2025-03-19 cs.CV
Efficient Cloud Pipelines for Neural Radiance Fields
Northeastern University(东北大学)
针对NeRF计算成本高的问题,本文构建并比较了高性能学术计算集群与Microsoft Azure上的NeRF生成云流水线,并探讨其新型交互应用。
2023-11-03 cs.CV
FG-NeRF: Flow-GAN based Probabilistic Neural Radiance Field for Independence-Assumption-Free Uncertainty Estimation
Peking University(北京大学);Beijing Academy of Artificial Intelligence(北京人工智能研究院);UC San Diego(加利福尼亚大学圣迭戈分校)
针对现有概率神经辐射场依赖独立性假设影响复杂场景性能的问题,提出基于Flow-GAN的FG-NeRF,通过均值偏移概率残差模型和图像块对抗学习实现无显式似然的场景分布建模,在合成与真实数据集上取得更优渲染精度和不确定性估计效果。
2023-10-04 cs.CV
Beyond RGB: Scene-Property Synthesis with Neural Radiance Fields
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Carnegie Mellon University(卡内基梅隆大学)
全面的三维场景理解,几何和语义,是重要的现实世界的应用,如机器人感知。大部分现有的工作都集中在开发数据驱动的判别模型的场景理解。本文从合成模型的角度出发,结合隐式三维表示和神经渲染的最新进展,提出了一种新的场景理解方法。在神经辐射场(NeRFs)的巨大成功的基础上,我们引入了具有NeRF的场景属性合成(SS-NeRF),其不仅能够从新颖的视角渲染照片级逼真的RGB图像,而且还能够渲染各种精确的场景属性(例如,外观、几何形状和语义)。通过这样做,我们促进解决各种场景理解任务下的统一框架,包括语义分割,表面法线估计,重绘,关键点检测和边缘检测。我们的SS-NeRF框架可以是一个强大的工具,用于桥接生成学习和判别学习,从而有利于调查的一系列有趣的问题,如研究任务关系的综合范式,转移知识到新的任务,促进下游的判别任务作为数据增强的方式,并作为自动标注数据创建。
2022-06-09 cs.CV
NOFA: NeRF-based One-shot Facial Avatar Reconstruction
Tencent AI Lab(腾讯人工智能实验室);Ant Group(蚂蚁集团);Tsinghua University(清华大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
本文提出 NOFA 框架,仅用单张图像即可重建高保真 3D 面部化身,通过 3D GAN 生成先验、编码器-解码器网络、补偿网络和形变场实现身份泛化与表情驱动控制。
2023-07-07 cs.CV
Embedded Representation Learning Network for Animating Styled Video Portrait
School of Automation, Southeast University(东南大学自动化学院)
针对现有NeRF说话人合成中风格不可控和颈部伪影问题,提出两阶段嵌入式表示学习网络ERLNet,通过音频驱动FLAME模块和双分支融合NeRF实现更逼真的风格化说话人渲染。
2024-04-29 cs.AI cs.CV
AI-Driven Stylization of 3D Environments
University of California, Berkeley(加州大学伯克利分校)
本文提出利用NeRF和3D高斯泼溅等新型表示,结合图像风格化与图像到3D生成模型,构建迭代流程将3D原始对象场景风格化为高保真场景,并展示合成结果与局限。
2024-11-09 cs.CV cs.GR
ProbNeRF: Uncertainty-Aware Inference of 3D Shapes from 2D Images
Google Research(谷歌研究院);MIT(麻省理工学院)
从单个2D图像推断对象形状的问题是约束不足的。关于什么对象是合理的先验知识可以有所帮助,但是即使给定这样的先验知识,关于对象的被遮挡部分的形状仍然可能存在不确定性。最近,已经开发了条件神经辐射场(NeRF)模型,其可以学习从单个2D图像推断3D模型的良好点估计。这些模型的不确定性估计的推断问题受到较少的关注。在这项工作中,我们提出了概率NeRF(ProbNeRF),这是一种模型和推理策略,用于学习3D对象形状和外观的概率生成模型,并进行后验推理以从2D图像中恢复这些属性。ProbNeRF被训练为变分自编码器,但在测试时,我们使用Hamilton Monte Carlo(HMC)进行推理。给定对象的一个或几个2D图像(可能被部分遮挡),ProbNeRF不仅能够准确地对它看到的部分进行建模,而且还能够对它看不到的部分提出现实和多样化的假设。我们证明了ProbNeRF成功的关键是(i)确定性渲染方案,(ii)退火HMC策略,(iii)基于超网络的解码器架构,以及(iv)在完整的NeRF权重集上进行推理,而不仅仅是低维代码。
2022-10-27 cs.CV cs.LG
GANeRF: Leveraging Discriminators to Optimize Neural Radiance Fields
Technical University of Munich(慕尼黑工业大学);Meta Reality Labs(元宇宙现实实验室)
提出GANeRF方法,利用GAN判别器学习场景patch分布并提供反馈,结合多视角渲染约束和多分辨率条件生成器对抗训练,显著提升NeRF 3D重建真实感和渲染质量。
2023-09-18 cs.CV cs.GR eess.IV
Enhancement of Novel View Synthesis Using Omnidirectional Image Completion
The University of Tokyo(东京大学);RIKEN(理化学研究所)
提出基于NeRF从单张360度RGB-D图像合成新视角的方法,利用2D生成模型补全重投影图像缺失区域,并通过模拟退火选择图像子集训练NeRF以减少3D不一致性,有效减少伪影并保留场景特征。
2023-09-07 cs.CV
GaussianZoom: Progressive Zoom-in Generative 3D Gaussian Splatting with Geometric and Semantic Guidance
State Key Lab of CAD & CG(计算机辅助设计与图形学国家重点实验室)
本文提出GaussianZoom,一种结合几何一致场景建模和多尺度语义推理的生成式缩放3D重建系统,通过迭代渐进框架实现从低分辨率输入生成高保真的极端缩放渲染。
2026-05-18 cs.CV
VQ3D: Learning a 3D-Aware Generative Model on ImageNet
Stanford University(斯坦福大学);Carnegie Mellon University(卡内基梅隆大学);Google Research(谷歌研究院)
最近的工作表明,可以在对应于单个对象类(如人脸、动物脸或汽车)的小数据集上从2D图像集合中训练3D内容的生成模型。然而,这些模型在更大,更复杂的数据集上挣扎。为了对ImageNet等多样化和无约束的图像集合进行建模,我们提出了VQ3D,它将基于NeRF的解码器引入到两级矢量量化自动编码器中。我们的第一阶段允许重建输入图像,并能够改变图像周围的相机位置,我们的第二阶段允许生成新的3D场景。VQ3D能够从120万张训练图像的1000类ImageNet数据集生成和重建3D感知图像。我们实现了16.8的ImageNet生成FID得分,而下一个最佳基线方法为69.8。
2023-02-14 cs.CV