DisCoScene: Spatially Disentangled Generative Radiance Fields for Controllable 3D-aware Scene Synthesis
CUHK(香港中文大学);Snap Inc.(Snap公司);HKUST(香港科技大学);ZJU(浙江大学);KAUST(阿卜杜拉国王科技大学);UCLA(加州大学洛杉矶分校)
现有的3D感知图像合成方法主要集中在生成一个单一的标准对象,并显示有限的能力,组成一个复杂的场景包含各种对象。本文介绍了一种用于高质量和可控场景合成的3Daware生成模型DisCoScene。我们的方法的关键成分是一个非常抽象的对象级表示(即,无语义标注的3D边界框)作为场景布局先验,其获得简单,通用于描述各种场景内容,并且还提供信息以解开对象和背景。此外,它还可以作为场景编辑的直观用户控件。基于这样的先验知识,该模型通过仅在具有全局-局部鉴别的2D图像上进行学习,将整个场景在空间上分解为以对象为中心的生成辐射场。我们的模型获得了单个对象的生成保真度和编辑灵活性,同时能够有效地将对象和背景组合成一个完整的场景。我们在许多场景数据集上展示了最先进的性能,包括具有挑战性的Waymo户外数据集。项目页面:https://snap-research.github.io/discoscene/
2022-12-22 cs.CV
Generative Neural Articulated Radiance Fields
Stanford University(斯坦福大学);TU Delft(代尔夫特理工大学);University of Toronto(多伦多大学);Vector Institute(向量研究所)
仅使用单视图2D照片集合的3D感知生成对抗网络(GANs)的无监督学习最近取得了很大进展。然而,这些3D GANs尚未针对人体进行演示,并且现有框架的生成辐射场不可直接编辑,限制了其在下游任务中的适用性。我们提出了一个解决方案,这些挑战,通过开发一个3D GAN框架,学习生成辐射场的人体或面部在一个规范的姿势和扭曲他们使用一个显式的变形场到一个所需的身体姿势或面部表情。使用我们的框架,我们展示了第一个高质量的辐射场生成结果的人体。此外,我们表明,与未使用显式变形训练的3D GAN相比,我们的变形感知训练过程在编辑其姿势或面部表情时显着提高了生成的身体或面部的质量。
2023-01-09 cs.CV cs.GR
Generative Multiplane Neural Radiance for 3D-Aware Image Generation
Mohamed bin Zayed University of AI(穆罕默德·本·扎耶德人工智能大学);Technology Innovation Institute(技术创新研究院);Aalto University(阿尔托大学);University of California, Merced(加州大学默塞德分校);Yonsei University(延世大学);Google Research(谷歌研究院);Linköping University(林雪平大学)
本文提出多平面神经辐射模型GMNR,通过α引导的视角相关表示模块和视角一致性损失,高效生成多视角一致的高分辨率3D感知图像,在生成质量与推理速度上均取得优异表现。
2023-04-03 cs.CV
gCoRF: Generative Compositional Radiance Fields
MIT(麻省理工学院)
对象的3D生成模型能够通过3D控制实现照片级逼真的图像合成。现有方法将场景建模为全局场景表示,忽略了场景的组成方面。组合推理除了支持可推广的3D推理之外,还可以支持各种各样的编辑应用程序。在本文中,我们提出了一个合成生成模型,其中对象的每个语义部分表示为一个独立的3D表示,只从野外2D数据中学习。我们从一个全局生成模型(GAN)开始,并学习使用2D分割掩码的监督将其分解为不同的语义部分。然后,我们学习合成独立采样的部分,以创建连贯的全局场景。不同的部分可以独立采样,同时保持对象的其余部分固定。我们评估我们的方法对各种各样的对象和部件,并演示编辑应用程序。
2022-10-31 cs.CV cs.GR
Lift3D: Synthesize 3D Training Data by Lifting 2D GAN to 3D Generative Radiance Field
HKUST(GZ)(香港科技大学(广州));HKUST(香港科技大学);NIO Autonomous Driving(蔚来自动驾驶)
Lift3D提出一种倒置的2D到3D生成框架,通过将解耦良好的2D GAN提升为3D NeRF,生成高分辨率逼真图像并提供准确3D标注,有效提升了3D物体检测性能。
2023-04-07 cs.CV
Generative Occupancy Fields for 3D Surface-Aware Image Synthesis
The Chinese University of Hong Kong(香港中文大学);SenseTime(商汤科技);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Nanyang Technological University(南洋理工大学)
生成辐射场的出现极大地促进了三维感知图像合成的发展。辐射场中的累积渲染过程使得训练这些生成模型变得更加容易,因为梯度分布在整个体积上,但会导致扩散的对象表面。同时,与辐射场相比,占用表示可以固有地确保确定性表面。然而,如果我们直接将占用表示应用于生成模型,则在训练期间,它们将仅接收位于对象表面上的稀疏梯度,并最终遭受收敛问题。在本文中,我们提出了生成占用场(GOF),一种新的模型,基于生成辐射场,可以学习紧凑的物体表面,而不会阻碍其训练收敛。GOF的关键见解是从辐射场中的累积渲染到仅使用表面点渲染的专用过渡,因为学习的表面变得越来越准确。通过这种方式,GOF在一个统一的框架中结合了两种表示的优点。在实践中,在GOF中,通过在其渲染过程中将采样区域从整个体积逐渐缩小到表面周围的最小相邻区域,来实现从辐射场开始并行进到占用表示的训练时间过渡。通过在多个数据集上的综合实验,我们证明了GOF可以合成具有3D一致性的高质量图像,同时学习紧凑和光滑的物体表面。代码、模型和演示视频可在https://sheldontsui.github.io/projects/GOF上获得
2021-11-01 cs.AI cs.CV
GD^2-NeRF: Generative Detail Compensation via GAN and Diffusion for One-shot Generalizable Neural Radiance Fields
Zhejiang University(浙江大学);Alibaba DAMO Academy(阿里巴巴达摩院)
针对单样本新视角合成中OG-NeRF的模糊问题和扩散方法需逐场景优化的缺陷,本文提出GD^2-NeRF框架,通过由粗到精地结合GAN与扩散模型实现推理时免微调的生成式细节补偿,在保持3D一致性的同时显著提升细节质量。
2024-03-29 cs.CV
SinGRAF: Learning a 3D Generative Radiance Field for a Single Scene
Samsung Advanced Institute of Technology (SAIT)(三星先进技术研究院(SAIT));Stanford University(斯坦福大学)
本文提出SinGRAF,一种仅需少量图像即可训练的3D感知生成模型,通过渐进式尺度块判别方法生成保持输入外观但改变布局的场景实现,在质量和多样性上大幅优于现有方法。
2023-04-02 cs.AI cs.CV cs.GR
A conditional Generative Adversarial network model for the Weather4Cast 2024 Challenge
The Centre for inter-disciplinary Artificial Intelligence(跨学科人工智能中心);FLAME University(火焰大学);Pune(浦那)
提出融合稠密光流与条件GAN的降雨预测方法,利用SEVIRI红外数据生成4小时累计降雨,并在Weather4Cast 2024核心赛道排名第一。
2024-11-30 cs.CV
Spatial Gram Alignment for Ultra-High-Resolution Image Synthesis
Beihang University(北航大学)
本文提出空间图对齐(SGA)方法,通过利用视觉基础模型的表示先验,保留LDMs的生成能力,解决超高清图像合成中生成质量与结构完整性之间的冲突,实现高质量的文本到图像合成。
2026-05-20 cs.CV
Learning 3D-Aware GANs from Unposed Images with Template Feature Field
Zhejiang University(浙江大学);The Hong Kong Polytechnic University(香港理工大学);Ant Group(蚂蚁集团)
针对从无位姿图像学习3D感知GAN的问题,提出利用模板特征场TeFF进行实时位姿估计,通过共享密度学习2D语义特征场生成规范3D特征模板,在多个数据集上优于现有方法。
2024-09-26 cs.CV
A Shading-Guided Generative Implicit Model for Shape-Accurate 3D-Aware Image Synthesis
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);The Chinese University of Hong Kong(香港中文大学);Nanyang Technological University(南洋理工大学)
生成辐射场的发展推动了三维感知图像合成的边界。受3D对象应该从多个视点看起来真实的观察的启发,这些方法引入多视图约束作为正则化以从2D图像学习有效的3D辐射场。尽管取得了进展,但由于形状-颜色模糊性,它们通常无法捕获准确的3D形状,限制了它们在下游任务中的适用性。在这项工作中,我们提出了一种新的阴影引导生成隐式模型,能够学习一个明显改善的形状表示,以解决这种模糊性。我们的关键见解是,一个准确的3D形状也应该在不同的光照条件下产生逼真的渲染。这种多光照约束是通过显式建模照明和执行各种光照条件下的着色来实现的。通过将合成的图像馈送到图像处理器来导出合成图像。为了补偿计算表面法线的额外计算负担,我们进一步设计了一个有效的体渲染策略,通过表面跟踪,减少训练和推理时间分别为24%和48%。我们在多个数据集上的实验表明,该方法实现了逼真的3D感知图像合成,同时捕捉准确的底层3D形状。我们证明了我们的方法对现有方法的三维形状重建的性能改善,并显示其适用于图像重新照明。我们的代码将在https://github.com/XingangPan/ShadeGAN上发布。
2021-12-08 cs.CV
Controllable Radiance Fields for Dynamic Face Synthesis
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);ZMO AI Inc.(ZMO人工智能公司);Stanford University(斯坦福大学);Google Inc.(谷歌公司)
最近的工作三维感知图像合成取得了引人注目的成果,利用神经渲染的进步。然而,三维感知的人脸动态合成还没有得到太多的关注。在这里,我们研究如何显式地控制表现出非刚性运动(例如,面部表情变化),同时确保3D感知。为此,我们提出了一个可控辐射场(CoRF):1)运动控制是通过嵌入运动特征内的分层潜在的运动空间的风格为基础的发电机; 2)为了确保一致性的背景,运动特征和主题特定的属性,如照明,纹理,形状,轮廓,和身份,面部解析网络,头部回归器和身份编码器。在头部图像/视频数据上,我们表明CoRFs是3D感知的,同时能够编辑身份,观看方向和运动。
2022-10-11 cs.AI cs.CV
A Diffusion Approach to Radiance Field Relighting using Multi-Illumination Synthesis
Inria(法国国家信息与自动化研究所);Université Laval(拉瓦尔大学);Adobe Research(奥多比研究院)
针对单光照多视图数据下辐射场重光照的欠约束难题,提出利用2D扩散模型先验增强多光照数据,结合3D高斯泼溅与光照参数化感知机实现完整场景的真实感3D重光照。
2024-09-17 cs.CV cs.GR
Texture Representation via Analysis and Synthesis with Generative Adversarial Networks
Northwestern University(西北大学);University of Rochester(罗切斯特大学)
我们研究数据驱动的纹理建模,通过分析和合成与生成对抗网络。对于网络训练和测试,我们已经编译了一组不同的空间均匀纹理,从随机到规则。我们采用StyleGAN 3进行合成,并证明它产生的纹理超出了训练数据中所表示的纹理。对于纹理分析,我们提出了GAN反演使用一种新的潜在域重建一致性标准的合成纹理,和迭代细化与Gramian损失的真实纹理。我们提出了评估网络能力的感知程序,探索潜在空间轨迹的全局和局部行为,并与现有的纹理分析合成技术进行比较。
2022-12-20 cs.CV
Pix2NeRF: Unsupervised Conditional $π$-GAN for Single Image to Neural Radiance Fields Translation
ETH Zürich(苏黎世联邦理工学院);MPI for Informatics(马克斯·普朗克信息学研究所);KU Leuven(鲁汶大学)
我们提出了一个管道来生成神经辐射场~(NeRF)的对象或场景的特定类,在一个单一的输入图像的条件。这是一项具有挑战性的任务,因为训练NeRF需要同一场景的多个视图,再加上相应的姿势,这是很难获得的。我们的方法是基于$π$ -GAN,生成模型无条件的三维感知图像合成,映射随机潜码的一类对象的辐射场。我们共同优化(1)$π$ -GAN目标,以利用其高保真3D感知生成和(2)精心设计的重建目标。后者包括与$π$ -GAN生成器耦合以形成自动编码器的编码器。与以前的Few-Shot NeRF方法不同,我们的管道是无监督的,能够在没有3D,多视图或姿势监督的情况下使用独立图像进行训练。我们的管道应用包括3D化身生成、使用单个输入图像的以对象为中心的新颖视图合成以及3D感知超分辨率等。
2022-02-26 cs.AI cs.CV cs.GR
Inpaint4DNeRF: Promptable Spatio-Temporal NeRF Inpainting with Generative Diffusion Models
HKUST(香港科技大学);Dartmouth College(达特茅斯学院)
本文提出Inpaint4DNeRF框架,利用稳定扩散模型生成种子图像及3D几何代理,解决静态与动态NeRF场景中的时空修复与多视角一致性问题。
2023-12-30 cs.CV
DiffHDR: Re-Exposing LDR Videos with Video Diffusion Models
Eyeline Labs(Eyeline 实验室);Netflix
DiffHDR通过视频扩散模型的潜在空间将LDR视频转换为HDR,恢复过曝和欠曝区域的真实细节,提升动态范围和再曝光效果。
2026-09-02 cs.AI cs.CV cs.GR
Global Texture Enhancement for Fake Face Detection in the Wild
University of Oxford(牛津大学);The University of Hong Kong(香港大学)
生成对抗网络(GANs)可以生成逼真的假人脸图像,很容易欺骗人类,而普通的卷积神经网络(CNN)可以达到99.9%以上的真假图像识别准确率。在本文中,我们对假/真人脸进行了实证研究,并有两个重要的观察结果:首先,假人脸的纹理与真实人脸有很大的不同;其次,全局纹理统计对图像编辑更具鲁棒性,并且可以从不同的GANs和数据集转移到假人脸。受上述观察的启发,我们提出了一种新的架构,称为Gram-Net,它利用全局图像纹理表示进行鲁棒的假图像检测。在几个数据集上的实验结果表明,我们的Gram-Net优于现有的方法。特别是,我们的Gram-Netis更强大的图像编辑,如下采样,JPEG压缩,模糊和噪声。更重要的是,我们的Gram-Net在从训练阶段看不到的GAN模型中检测假面孔方面有更好的泛化能力,并且在检测假自然图像方面表现出色。
2020-03-19 cs.CV
ZIGNeRF: Zero-shot 3D Scene Representation with Invertible Generative Neural Radiance Fields
Chung-Ang University(中央大学)
本文提出 ZIGNeRF,通过新型 GAN 反演器将单张域外图像映射到生成器潜空间,实现零样本多视图生成、前景背景解耦及三维旋转平移。
2023-06-05 cs.CV
SinGRAV: Learning a Generative Radiance Volume from a Single Natural Scene
Shandong University(山东大学);Tencent AI Lab(腾讯人工智能实验室);Peking University(北京大学)
我们提出了一个一般的自然场景的三维生成模型。缺乏必要的卷的3D数据表征的目标场景,我们建议从一个单一的场景学习。我们的关键见解是,一个自然场景往往包含多个组成部分,其几何形状,纹理和空间布局遵循一些明确的模式,但仍然表现出丰富的变化在同一场景内的不同区域。这意味着将生成模型的学习局限于大量的局部区域。因此,我们利用一个多尺度卷积网络,它具有空间局部性偏差的性质,从一个场景中的多个尺度的局部区域的统计信息中学习。与现有方法相比,我们的学习设置绕过了从许多同质3D场景中收集数据以学习常见特征的需要。我们硬币我们的方法SinGRAV,从一个单一的自然场景学习生成辐射体积。我们展示了SinGRAV从单个场景生成合理和多样化变化的能力,SinGRAV超过最先进的生成神经场景方法的优点,以及SinGRAV在各种应用中的多功能性,包括3D场景编辑,合成和动画。将公布代码和数据,以方便进一步的研究。
2022-10-16 cs.CV
StyleRF-VolVis: Style Transfer of Neural Radiance Fields for Expressive Volume Visualization
University of Notre Dame(圣母大学)
本文提出 StyleRF-VolVis,一种基于 NeRF 的体可视化风格迁移框架,通过几何提取、调色板与无约束颜色网络实现一致且灵活的任意三维风格化。
2024-07-31 cs.AI cs.CV cs.GR
GaussianCube: A Structured and Explicit Radiance Representation for 3D Generative Modeling
University of Science and Technology of China(中国科学技术大学);Tsinghua University(清华大学);Microsoft Research Asia(微软亚洲研究院)
针对现有3D辐射表示存在的建模能力弱、难与主流扩散方法集成的问题,提出结构化显式表示GaussianCube,通过带约束高斯拟合与最优传输重排实现紧凑高精度表示,在多项3D生成任务上取得SOTA效果。
2024-10-31 cs.CV
CG-NeRF: Conditional Generative Neural Radiance Fields
KAIST Graduate School of AI, Korea Advanced Institute of Science and Technology(韩国科学技术院人工智能研究生院)
虽然最近基于NeRF的生成模型实现了生成各种3D感知图像,但这些方法在生成包含用户指定特征的图像时存在局限性。在本文中,我们提出了一种新的模型,称为条件生成神经辐射场(CG-NeRF),它可以生成多视图图像,反映额外的输入条件,如图像或文本。在保留给定输入条件的共同特征的同时,该模型生成了细节丰富的不同图像。我们建议:1)新颖的统一架构,其从以各种形式给出的条件中解开形状和外观,以及2)用于生成多模态输出的姿态一致的多样性损失,同时保持视图的一致性。实验结果表明,该方法保持一致的图像质量在各种条件类型,并实现了更好的保真度和多样性相比,现有的基于NeRF的生成模型。
2021-12-07 cs.CV cs.GR
ARF: Artistic Radiance Fields
Cornell University(康奈尔大学);Adobe Research(奥多比研究院)
提出了一种将任意风格图像的艺术特征转化为三维场景的方法。对于复杂的真实世界场景,以前的方法对点云或网格进行3D风格化对几何重建误差敏感。相反,我们建议styphiles更强大的辐射场表示。我们发现,常用的革兰氏矩阵为基础的损失往往会产生模糊的结果,没有忠实的笔触,并介绍了最近的邻居为基础的损失,是非常有效的捕捉风格的细节,同时保持多视图的一致性。我们还提出了一种新的延迟反向传播方法,使内存密集型辐射场的优化使用风格损失定义的全分辨率渲染图像。我们广泛的评估表明,我们的方法优于基线生成的艺术外观,更接近的风格图像。请查看我们的项目页面以获取视频结果和开源实现:https://www.cs.cornell.edu/projects/arf/。
2022-06-13 cs.CV
DatasetNeRF: Efficient 3D-aware Data Factory with Generative Radiance Fields
Technical University of Munich(慕尼黑工业大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);University of Freiburg(弗莱堡大学)
针对3D视觉任务数据标注成本高的问题,提出DatasetNeRF方法,利用3D生成模型的语义先验训练解码器,仅需少量标注即可生成无限3D一致的多任务数据,性能优于基线且通用性强。
2024-08-19 cs.CV
Dreamcrafter: Immersive Editing of 3D Radiance Fields Through Flexible, Generative Inputs and Outputs
UC Berkeley(加州大学伯克利分校)
Dreamcrafter通过灵活的生成式输入和输出,实现实时沉浸式3D辐射场编辑,结合模块化架构和多层级控制提升创作效率与沉浸感。
2025-12-25 cs.CV cs.HC
Mesh2NeRF: Direct Mesh Supervision for Neural Radiance Field Representation and Generation
Technical University of Munich(慕尼黑工业大学);Intel Labs(英特尔实验室)
Mesh2NeRF提出从带纹理网格解析导出真值辐射场以直接监督生成式NeRF训练,避免多视图渲染拟合的伪影,在视图合成、条件生成和网格提取任务上均取得显著提升。
2024-09-05 cs.CV
RaFE: Generative Radiance Fields Restoration
College of Software, Beihang University(北京航空航天大学软件学院);City University of Hong Kong(香港城市大学);The University of Hong Kong(香港大学)
本文提出通用生成式辐射场修复框架 RaFE,通过 2D 修复与基于 GAN 的双层 tri-plane 残差建模,处理多种低质量退化并优于单任务 3D 方法。
2024-04-07 cs.CV
Likelihood-Based Generative Radiance Field with Latent Space Energy-Based Model for 3D-Aware Disentangled Image Representation
University of California - UCLA(加州大学洛杉矶分校);Baidu Research(百度研究院)
本文提出NeRF-LEBM,将神经辐射场与潜空间能量模型结合,通过最大似然和变分推断实现3D感知的图像生成,支持新视角合成、不完整图像学习及已知或未知相机位姿场景。
2023-04-16 cs.CV stat.ML
AE-NeRF: Auto-Encoding Neural Radiance Fields for 3D-Aware Object Manipulation
Korea University(高丽大学)
我们提出了一个新的框架,三维感知对象的操作,称为自动编码神经辐射场(AE-NeRF)。我们的模型,这是制定在一个自动编码器架构,提取解纠缠的3D属性,如3D形状,外观和相机姿态从图像中,和一个高质量的图像渲染的属性,通过解纠缠生成神经辐射场(NeRF)。为了提高解纠缠的能力,我们提出了两种损失,定义在输入和输出之间的全局-局部属性一致性损失和交换属性分类损失。由于在没有地面真实形状和外观信息的情况下从头开始训练这种自动编码网络是不平凡的,因此我们提出了一种分阶段的训练方案,这大大有助于提高性能。我们进行实验,以证明所提出的模型的有效性,最新的方法,并提供广泛的消融研究。
2022-04-28 cs.CV
CAMPARI: Camera-Aware Decomposed Generative Neural Radiance Fields
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Tübingen(蒂宾根大学)
深度生成模型的巨大进步导致了逼真的图像合成。虽然取得了令人信服的结果,但大多数方法都是在二维图像域中操作,忽略了我们世界的三维性质。因此,最近的几项工作提出了3D感知的生成模型,即,场景在3D中建模,然后可区分地渲染到图像平面。这导致了令人印象深刻的3D一致性,但引入这种偏差是有代价的:相机也需要建模。目前的方法假设固定的内在和预先定义的相机姿态范围内的先验。因此,对于真实世界的数据,通常需要进行参数调优,如果数据分布不匹配,结果会降低。我们的关键假设是,学习相机生成器与图像生成器联合导致更有原则的3D感知图像合成方法。此外,我们建议将场景分解为背景和前景模型,从而实现更高效和更清晰的场景表示。在从原始的、无姿态的图像集合进行训练的同时,我们学习了一个3D和相机感知的生成模型,该模型不仅忠实地恢复了图像,而且还恢复了相机数据分布。在测试时,我们的模型生成图像,并对相机以及场景的形状和外观进行显式控制。
2021-03-31 cs.CV cs.LG
Class-Continuous Conditional Generative Neural Radiance Field
Chung-Ang University(中央大学)
提出类连续条件生成神经辐射场模型,通过将条件特征投影到生成器和判别器,实现条件操作下逼真的3D一致图像合成,并在多个数据集上验证了其优越性能。
2024-01-09 cs.AI cs.CV
SG-VAE: Scene Grammar Variational Autoencoder to generate new indoor scenes
Australian Institute of Machine Learning and School of Computer Science, The University of Adelaide(阿德莱德大学澳大利亚机器学习研究所与计算机科学学院);Chalmers University of Technology(查尔姆斯理工大学)
近年来,深度生成模型已被用于学习相干的潜在表示,以合成高质量的图像。在这项工作中,我们提出了一个神经网络学习生成模型采样一致的室内场景布局。我们的方法通过基于语法的自动编码器学习不同对象类别的同现和外观参数(如形状和姿势),从而为场景布局提供紧凑而准确的表示。对比现有的基于语法的方法与用户指定的语法,我们构造的语法自动提取一组产生式规则推理对象同现在训练数据。所提取的语法能够通过增强的解析树来表示场景。所提出的自动编码器将这些解析树编码为潜在代码,并将潜在代码解码为解析树,从而确保生成的场景始终有效。我们通过实验证明,所提出的自动编码器不仅学习生成有效的场景(即对象的排列和外观),而且还学习相干的潜在表示,其中附近的潜在样本解码为类似的场景输出。所得到的生成模型适用于几个计算机视觉任务,如3D姿态和布局估计从RGB-D数据。
2020-08-21 cs.CV
Training and Tuning Generative Neural Radiance Fields for Attribute-Conditional 3D-Aware Face Generation
School of Computer Science, Ocean University of China(中国海洋大学计算机学院);Snap Research(Snap研究院);Huawei(华为);School of Computer Science, Peking University(北京大学计算机学院);Institute of Information Science, Beijing Jiaotong University(北京交通大学信息科学研究所);University of Trento(特伦托大学)
本文提出条件GNeRF模型与TRIOT方法,在预训练三维感知人脸模型上训练条件归一化流模块并优化潜向量,实现高质量、视角一致的属性可控人脸编辑。
2024-09-01 cs.CV cs.GR
Structured Local Radiance Fields for Human Avatar Modeling
Tsinghua University(清华大学);OPPO Research Institute(OPPO研究院)
从RGB视频中创建一个可动画化的穿着衣服的人体化身是非常具有挑战性的,特别是由于运动建模的困难,对于宽松的衣服。为了解决这个问题,我们介绍了一种新的表示最近的神经场景渲染技术的基础上。我们的代表性的核心是一组结构化的局部辐射场,这是锚定到预定义的节点上采样的统计人体模板。这些局部辐射场不仅利用了形状和外观建模中隐式表示的灵活性,而且还将布料变形分解为骨架运动、节点残余平移和每个单独辐射场中的动态细节变化。为了从RGB数据中学习我们的表示并促进姿势泛化,我们建议在条件生成潜在空间中学习节点平移和细节变化。总的来说,我们的方法可以自动构建各种类型的衣服的动画人类化身,而不需要扫描特定于主题的模板,并可以生成逼真的图像与动态细节的新姿势。实验表明,我们的方法优于国家的最先进的方法,定性和定量。
2022-03-28 cs.CV
SegNeRF: 3D Part Segmentation with Neural Radiance Fields
KAUST(阿卜杜拉国王科技大学)
神经辐射场(NeRF)的最新进展在生成任务(如新视图合成和3D重建)方面具有令人印象深刻的性能。基于神经辐射场的方法能够通过完全依赖于姿态图像来隐式地表示3D世界。然而,他们很少被探索的领域的歧视性任务,如3D部分分割。在这项工作中,我们试图通过提出SegNeRF来弥合这一差距:一种神经场表示,它将语义场与通常的辐射场集成在一起。SegNeRF从以前的作品继承了执行新视图合成和3D重建的能力,并从几个图像中实现3D部分分割。我们在PartNet上进行的大量实验表明,SegNeRF能够同时预测来自姿势图像的几何形状,外观和语义信息,即使是看不见的物体。预测的语义场允许SegNeRF实现$\textbf{30.30%}$的平均mIoU用于2D新视图分割,以及$\textbf{37.46%}$用于3D部件分割,通过仅使用几个姿势图像,与基于点的方法相比具有竞争力的性能。此外,SegNeRF能够从野外拍摄的物体的单个图像生成明确的3D模型,并对其进行相应的部分分割。
2022-11-22 cs.CV
Unconstrained Scene Generation with Locally Conditioned Radiance Fields
Apple(苹果公司);University of Guelph(圭尔夫大学);Vector Institute(向量研究所)
我们解决了在复杂、逼真的室内场景中学习分布的挑战。在本文中,我们介绍了生成场景网络(GSN),它学习分解场景到一个集合的许多局部辐射场,可以从一个自由移动的相机渲染。我们的模型可以用作生成新场景的先验知识,或者仅在稀疏的2D观察结果下完成场景。最近的工作表明,辐射场的生成模型可以捕获多视图一致性和视图相关照明等属性。但是,这些模型专用于单个对象(如汽车或人脸)的约束查看。由于现实室内环境的大小和复杂性,现有的模型缺乏充分捕捉它们的代表性能力。我们的分解方案可以扩展到更大,更复杂的场景,同时保留细节和多样性,并且学习的先验知识可以从与观察到的视点显著不同的视点进行高质量渲染。与现有的模型相比,GSN在几个不同的场景数据集上产生了定量的更高质量的场景渲染。
2021-04-01 cs.CV cs.LG
A-NeRF: Articulated Neural Radiance Fields for Learning Human Shape, Appearance, and Pose
University of British Columbia(不列颠哥伦比亚大学);Facebook Reality Labs(Facebook现实实验室)
虽然深度学习通过前馈网络重塑了经典的运动捕捉流水线,但需要生成模型通过迭代细化来恢复精细对齐。不幸的是,现有的模型通常是手工制作的或在受控条件下学习的,仅适用于有限的领域。提出了一种通过扩展神经辐射场(NeRFs)从未标记的单目视频中学习生成神经体模型的方法。我们为它们配备了一个骨架,以应用于时变和关节运动。一个关键的见解是,隐式模型需要显式表面模型中使用的正运动学的逆。我们的reparameterization定义的空间潜变量相对于身体部位的姿势,从而克服了不适定的逆运算与overparameterization。这使得能够从头开始学习体积体型和外观,同时联合细化关节姿势;所有这些都没有输入视频上的外观,姿势或3D形状的地面真实标签。当用于新视图合成和运动捕捉时,我们的神经模型提高了不同数据集的准确性。项目网址:https://lemonatsu.github.io/anerf/。
2021-10-29 cs.CV cs.GR
Rodin: A Generative Model for Sculpting 3D Digital Avatars Using Diffusion
HKUST(香港科技大学);Microsoft Research(微软研究院)
本文提出了一种三维生成模型,使用扩散模型自动生成三维数字化身表示为神经辐射场。生成这样的化身的一个重大挑战是,3D中的存储器和处理成本对于生成高质量化身所需的丰富细节是过高的。为了解决这个问题,我们提出了滚动扩散网络(Rodin),它将神经辐射场表示为多个2D特征图,并将这些图滚动到单个2D特征平面中,在该平面内我们执行3D感知扩散。Rodin模型带来了急需的计算效率,同时通过使用3D感知卷积来保持3D中扩散的完整性,该卷积根据其在3D中的原始关系来处理2D特征平面中的投影特征。我们还使用潜在条件作用来协调全局一致性的特征生成,从而产生高保真的化身,并基于文本提示进行语义编辑。最后,我们使用分层合成,以进一步增强细节。我们的模型生成的3D化身与现有的生成技术相比毫不逊色。我们可以生成具有逼真发型和胡须等面部毛发的高度详细的化身。我们还演示了从图像或文本以及文本引导的可编辑性的3D化身生成。
2022-12-12 cs.CV
DT-NeRF: A Diffusion and Transformer-Based Optimization Approach for Neural Radiance Fields in 3D Reconstruction
Northeastern University(东北大学);University of California, Irvine(加利福尼亚大学尔湾分校);McGill University(麦吉尔大学)
本文提出DT-NeRF方法,结合扩散模型与Transformer优化神经辐射场,在稀疏视点和复杂几何场景下提升三维重建的细节恢复与多视图一致性,并在多个数据集上取得优于现有方法的性能。
2025-09-21 cs.CV
RelitLRM: Generative Relightable Radiance for Large Reconstruction Models
Massachusetts Institute of Technology(麻省理工学院);Stanford University(斯坦福大学);Cornell University(康奈尔大学);Adobe Research(奥多比研究机构)
RelitLRM 是一种大型重建模型,通过结合几何重建器和基于扩散的可重新照明外观生成器,从稀疏图像生成高质量3D物体表示,有效分解几何与外观,实现快速且高质量的重新照明效果。
2024-10-10 cs.CV cs.GR cs.LG
SIGNeRF: Scene Integrated Generation for Neural Radiance Fields
University of Tübingen(蒂宾根大学)
SIGNeRF利用深度条件扩散模型生成多视图参考表,实现无需迭代优化的快速可控NeRF场景编辑与场景集成式物体生成,并支持空间位置与形状引导控制。
2024-03-27 cs.CV cs.GR
NAS-NeRF: Generative Neural Architecture Search for Neural Radiance Fields
University of Waterloo(滑铁卢大学);Waterloo Artificial Intelligence Institute(滑铁卢人工智能研究所);DarwinAI Corp.(达尔文人工智能公司)
针对 NeRF 架构不随场景复杂度调整的问题,本文提出 NAS-NeRF,用受质量指标与预算约束的生成式神经架构搜索生成场景专用紧凑架构,显著降低模型规模、FLOPs 和推理时间。
2023-12-11 cs.AI cs.CV cs.LG
Neural Radiance Projection
Talosix(Talosix公司)
所提出的方法,神经辐射投影(NeRP),解决了在X射线图像分割上训练这种卷积神经网络的三个最根本的不足:处理丢失/有限的人类注释数据集;每像素标签的模糊性;以及正类和负类分布的不平衡。通过利用生成对抗网络,我们可以合成大量基于物理的X射线图像,即所谓的变分重建射线图像(VRR),以及从更准确的标记3D计算机断层扫描数据中分割出来的图像。因此,VRR比其他投影方法更忠实地呈现照片般逼真的度量。添加来自NeRP的输出也超过了在相同的X射线图像对上训练的普通UNet模型。
2022-03-15 cs.CV cs.GR eess.IV
MultiPlaneNeRF: Neural Radiance Field with Non-Trainable Representation
Jagiellonian University(雅盖隆大学);University of Science and Technology Wrocła(弗罗茨瓦夫科技大学)
针对NeRF需逐物体单独训练、耗时长且泛化差的问题,提出MultiPlaneNeRF,通过3D点投影生成不可训练表示,浅解码器即可处理,可在大数据集训练后仅换2D图像生成新物体NeRF表示,新视图合成效果达SOTA,解码器可用于GANs等生成模型。
2025-03-19 cs.CV
Inducing Sparse Coding and And-Or Grammar from Generator Network
Harbin Engineering University(哈尔滨工程大学);University of California, Los Angeles(加州大学洛杉矶分校)
我们引入了一个可解释的生成模型,通过对生成器网络的特征图进行稀疏操作。有意义的层次表示使用建议的生成模型与稀疏激活。从生成器网络的底层到顶层的卷积核可以逐层学习诸如边缘和颜色、对象部分和整个对象之类的基元。从生成器网络的角度,我们提出了一种方法,同时诱导稀疏编码和与或语法的图像。实验表明,我们的方法是能够学习有意义的和可解释的层次表示。
2019-01-20 cs.AI cs.CV cs.LG
CtrlNeRF: The Generative Neural Radiation Fields for the Controllable Synthesis of High-fidelity 3D-Aware Images
School of Computer and Artificial Intelligence, Zhengzhou University(郑州大学计算机与人工智能学院);Department of Electrical and Computer Engineering, California State Polytechnic University(加州州立理工大学波莫纳分校电气与计算机工程学院)
针对GRAF难以用单个MLP表示多场景并精确控制形状与外观的问题,本文提出CtrlNeRF,通过共享权重和形状、外观代码操控实现高保真3D一致图像及新视角合成。
2024-12-01 cs.AI cs.CV
Sem2NeRF: Converting Single-View Semantic Masks to Neural Radiance Fields
Monash University(莫纳什大学);Nanyang Technological University(南洋理工大学)
本文提出新任务Semantic-to-NeRF翻译及Sem2NeRF框架,通过将单视图语义掩码编码为潜在代码控制预训练解码器,并引入区域感知学习策略,实现了从单视图语义掩码重建3D场景,在两个基准数据集上优于多个强基线。
2022-07-21 cs.AI cs.CV cs.GR
ShaRF: Shape-conditioned Radiance Fields from a Single View
Google Research(谷歌研究院)
我们提出了一种方法,用于估计神经场景表示的对象,只有一个单一的图像。我们的方法的核心是估计的几何支架的对象和它的使用作为指导的基础辐射场的重建。我们的配方是基于一个生成过程,首先映射一个潜在的代码体素化的形状,然后将其呈现给图像,与对象的外观由第二个潜在的代码控制。在推理过程中,我们优化了潜在代码和网络,以适应新对象的测试图像。形状和外观的明确解纠缠允许我们的模型在给定单个图像的情况下进行微调。然后,我们可以以几何一致的方式渲染新视图,它们忠实地表示输入对象。此外,我们的方法能够推广到训练域之外的图像(更逼真的渲染,甚至是真实的照片)。最后,推断出的几何支架本身是对对象的3D形状的准确估计。我们在几个实验中证明了我们的方法在合成和真实图像的有效性。
2021-06-23 cs.CV cs.GR
3D-Aware Semantic-Guided Generative Model for Human Synthesis
University of Trento(特伦托大学);University of Modena and Reggio Emilia(摩德纳雷焦艾米利亚大学);ETH Zurich(苏黎世联邦理工学院);Snap Research(Snap研究院)
生成式神经辐射场(GNeRF)模型从2D图像中提取隐式3D表示,最近已被示出产生表示刚性/半刚性对象(诸如人脸或汽车)的逼真图像。然而,它们通常很难生成表示非刚性对象(例如人体)的高质量图像,这对于许多计算机图形应用程序来说非常感兴趣。本文提出了一种三维感知的语义引导生成模型(3D-SGAN)的人体图像合成,它结合了GNeRF和纹理生成器。前者学习人体的隐式3D表示,并输出一组2D语义分割掩码。后者将这些语义面具转换为真实图像,为人类外观添加逼真的纹理。在不需要额外的3D信息的情况下,我们的模型可以通过照片般逼真的可控生成来学习3D人类表示。我们在DeepFashion数据集上的实验表明,3D-SGAN的性能明显优于最新的基线。代码可在https://github.com/zhangqianhui/3DSGAN上获得
2022-07-17 cs.CV
AR-NeRF: Unsupervised Learning of Depth and Defocus Effects from Natural Images with Aperture Rendering Neural Radiance Fields
NTT Communication Science Laboratories, NTT Corporation(NTT株式会社NTT通信科学实验室)
完全无监督的三维表示学习由于其在数据汇集方面的优势而受到关注。成功的方法涉及基于生成模型(例如,生成对抗网络(GANs))同时基于3D感知模型(例如,神经辐射场(NeRF))。然而,它们需要具有各种视图的图像进行训练,因此,将其应用于具有很少或有限视点的数据集仍然是一个挑战。作为一种补充方法,提出了一种采用散焦提示的孔径渲染GAN(AR-GAN)。然而,AR-GAN是一种基于CNN的模型,尽管具有高相关性,但它独立于视点变化表示散焦,这是其性能的原因之一。作为AR-GAN的替代方案,我们提出了一种孔径渲染NeRF(AR-NeRF),它可以通过在一个共同的光线跟踪框架中表示这两个因素,以统一的方式利用视点和散焦线索。此外,为了以一种解脱的方式学习散焦感知和散焦独立的表示,我们提出了孔径随机化训练,我们学习在独立随机化孔径大小和潜在代码的同时生成图像。在我们的实验中,我们将AR-NeRF应用于各种自然图像数据集,包括花卉,鸟类和人脸图像,其结果证明了AR-NeRF用于深度和散焦效果的无监督学习的实用性。
2022-06-13 cs.AI cs.CV cs.GR
GeoGen: Geometry-Aware Generative Modeling via Signed Distance Functions
University of Edinburgh(爱丁堡大学);Nanyang Technological University(南洋理工大学);Warsaw University of Technology(华沙理工大学);Microsoft(微软公司)
本文提出端到端的基于SDF的三维生成模型GeoGen,通过可学习密度变换、零水平集深度约束和对抗训练提升网格质量,并在多数据集上优于基于神经辐射场的方法。
2024-06-14 cs.AI cs.CV
Shadow Reduction in Ultrasound Imaging Using Differentiable Simulation and Radiance Field Decomposition
University of Oxford(牛津大学);University of Amsterdam(阿姆斯特丹大学);Friedrich-Alexander-Universität Erlangen-Nürnberg(弗里德里希-亚历山大-埃尔朗根-纽伦堡大学);Imperial College London(伦敦帝国理工学院);University of Copenhagen(哥本哈根大学)
提出物理信息后处理方法RFlash,通过可微辐射场分解超声图像为衰减和散射图,实现衰减自适应重渲染以消除阴影,在胎儿脑部等数据上显著降低阴影差异并提升分割性能。
2026-09-25 cs.CV