Feasibility of Neural Radiance Fields for Crime Scene Video Reconstruction
School of IT Monash University Malaysia(马来西亚莫纳什大学信息技术学院)
该研究围绕基于视频的犯罪现场重建需求,聚焦NeRF的多目标合成、可变形合成、光照三大创新方向,分析神经辐射场模型变体用于该场景的可行性。
2024-07-11 cs.CV
MVSNeRF: Fast Generalizable Radiance Field Reconstruction from Multi-View Stereo
ShanghaiTech University(上海科技大学);University of California, San Diego(加利福尼亚大学圣迭戈分校);Adobe Research(Adobe研究院)
我们提出了MVSNeRF,一种新的神经渲染方法,可以有效地重建神经辐射场的视图合成。与先前在神经辐射场上考虑密集捕获图像上的每场景优化的工作不同,我们提出了一种通用的深度神经网络,该网络可以通过快速网络推理从仅三个附近的输入视图重建辐射场。我们的方法利用平面扫描成本卷(广泛用于多视图立体视觉)的几何感知场景推理,并将其与基于物理的体渲染神经辐射场重建。我们在DTU数据集中的真实对象上训练我们的网络,并在三个不同的数据集上对其进行测试,以评估其有效性和通用性。我们的方法可以概括跨场景(即使是室内场景,完全不同于我们的训练场景的对象),并生成逼真的视图合成结果,仅使用三个输入图像,显着优于并发工作的可概括的辐射场重建。此外,如果捕获密集图像,我们估计的辐射场表示可以很容易地进行微调;这导致快速的每场景重建,具有更高的渲染质量和比NeRF少得多的优化时间。
2021-08-24 cs.CV
In-Place Panoptic Radiance Field Segmentation with Perceptual Prior for 3D Scene Understanding
针对现有3D场景全景理解方法存在的映射不准、复杂场景处理难及伪标签噪声等问题,提出带感知先验引导的神经辐射场全景分割方法,通过同步多模态学习与扩展级联网格提升泛化性,实验验证其能有效提升3D场景表征与分割精度。
2024-10-06 cs.CV
SSDNeRF: Semantic Soft Decomposition of Neural Radiance Fields
University of Utah(犹他大学);Meta
神经辐射场(NeRF)对由场景的全光函数参数化的场景中的辐射进行编码。这是通过将MLP与映射到高维空间一起使用来实现的,并且已被证明可以捕获具有高细节水平的场景。自然,相同的参数化可以用于编码场景的其他属性,而不仅仅是它的辐射。在这方面,一个特别有趣的属性是场景的语义分解。我们介绍了一种新的技术,语义软分解的神经辐射场(命名为SSDNeRF),共同编码语义信号结合辐射信号的场景。我们的方法提供了一个软分解的场景到语义部分,使我们能够正确地编码多个语义类混合沿同一方向-现有的方法是不可能的壮举。这不仅导致一个详细的,3D语义表示的场景,但我们也表明,用于编码的MLP的正则化效果有助于提高语义表示。我们在常见对象的数据集上展示了最先进的分割和重建结果,并演示了所提出的方法如何应用于高质量的时间一致的视频编辑和重新合成随意捕获的自拍视频数据集。
2022-12-07 cs.CV
Ref-NPR: Reference-Based Non-Photorealistic Radiance Fields for Controllable Scene Stylization
The Chinese University of Hong Kong(香港中文大学);SmartMore(思谋科技)
当前的3D场景风格化方法使用任意的样式引用来将纹理和颜色作为样式进行传递,缺乏有意义的语义对应。我们引入基于参考的非真实感辐射场(Ref-NPR)来解决这个限制。该可控方法使用辐射场以单个风格化的2D视图作为参考来风格化3D场景。我们提出了一种基于风格化参考视图的射线配准过程,以获得新视图中的伪射线监督。然后,我们利用内容图像中的语义对应关系来填充具有感知相似风格的遮挡区域,从而产生非真实感和连续的新颖视图序列。我们的实验结果表明,Ref-NPR优于现有的场景和视频风格化方法的视觉质量和语义对应。代码和数据可在项目页面https://ref-npr.github.io上公开获取。
2023-03-26 cs.CV
Scene-Generalizable Interactive Segmentation of Radiance Fields
Harbin Institute of Technology(哈尔滨工业大学);Y-tech, Kuaishou Technology(快手科技Y-tech);Guangdong Provincial Key Laboratory of Novel Security Intelligence Technologies(广东省新型安全智能技术重点实验室);Dartmouth College(达特茅斯学院)
本文首次提出辐射场场景可泛化交互式分割方法SGISRF,通过跨维度引导传播、不确定性消除3D分割和隐藏监督学习三项技术,仅用少量2D点击即可对未见场景实现高效3D对象分割,性能优于需场景特定优化的经典方法。
2023-08-09 cs.CV
Efficient Neural Radiance Fields for Interactive Free-viewpoint Video
Zhejiang University(浙江大学)
本文旨在解决有效地产生交互式自由视点视频的挑战。最近的一些工作为神经辐射场配备了图像编码器,使它们能够跨场景进行概括。在处理动态场景时,它们可以简单地将每个视频帧视为一个单独的场景,并执行新颖的视图合成以生成自由视点视频。但是,它们的渲染过程很慢,并且不能支持交互式应用程序。一个主要的因素是他们在推导辐射场时在空的空间中采样大量的点。我们提出了一种新的场景表示,称为ENeRF,用于快速创建交互式自由视点视频。具体来说,给定一帧的多视图图像,我们首先建立级联成本体积来预测场景的粗略几何形状。粗糙的几何形状允许我们在场景表面附近采样几个点,从而显着提高渲染速度。这个过程是完全可区分的,使我们能够从RGB图像中联合学习深度预测和辐射场网络。多个基准上的实验表明,我们的方法具有竞争力的性能,同时至少比以前的可推广的辐射场方法快60倍。
2022-11-27 cs.CV
An Exploration of Neural Radiance Field Scene Reconstruction: Synthetic, Real-world and Dynamic Scenes
该项目提出了一个探索到3D场景重建的合成和现实世界的场景使用神经辐射场(NeRF)的方法。我们主要利用神经图形基元多分辨率哈希编码在训练和渲染时间上的减少,对静态视频游戏场景和真实世界场景进行重建,比较和观察重建细节和局限性。此外,我们探索动态场景重建使用神经辐射场的动态场景(D-NeRF)。最后,我们扩展了D-NeRF的实现,最初仅限于处理合成场景,也可以处理真实世界的动态场景。
2022-10-21 cs.AI cs.CV
EditableNeRF: Editing Topologically Varying Neural Radiance Fields by Key Points
Tsinghua University(清华大学)
神经辐射场(NeRF)实现了高度照片级真实感的新视点合成,但如何对基于NeRF的方法建模的场景进行编辑是一个具有挑战性的问题,特别是对于动态场景。我们提出了可编辑的神经辐射场,使最终用户能够轻松地编辑动态场景,甚至支持拓扑变化。输入来自单个相机的图像序列,我们的网络完全自动训练,并使用我们挑选的表面关键点对拓扑变化的动态进行建模。然后,最终用户可以通过轻松地将关键点拖动到所需的新位置来编辑场景。为了实现这一点,我们提出了一个景物分析方法来检测和初始化的关键点,考虑在场景中的动态,和一个加权的关键点的战略模型拓扑变化的动态联合关键点和权重优化。我们的方法支持直观的多维(高达3D)编辑,并可以生成在输入序列中看不到的新场景。实验表明,我们的方法实现了高质量的编辑各种动态场景,并优于国家的最先进的。我们的代码和捕获的数据可在https://chengwei-zheng.github.io/EditableNeRF/。
2023-03-28 cs.CV
LiveScene: Language Embedding Interactive Radiance Fields for Physical Scene Rendering and Control
Fudan University(复旦大学);Shanghai AI Laboratory(上海人工智能实验室);Zhejiang University(浙江大学);Peking University(北京大学)
本文提出 LiveScene,一种场景级语言嵌入交互式辐射场,通过将复杂交互场景分解为局部可变形场并引入交互感知语言嵌入,实现了多物体高效重建与自然语言控制,并在新视角合成、场景控制和语言 grounding 上表现优异。
2025-03-12 cs.CV
BLiRF: Bandlimited Radiance Fields for Dynamic Scene Modeling
Amazon(亚马逊)
从单个运动摄像机推断非刚性动态场景的3D结构是一个欠约束问题。受神经辐射场(NeRFs)在静态场景的照片级真实感新视图合成中的显著进展的启发,已经提出了用于动态设置的扩展。这些方法严重依赖于神经先验,以规范化的问题。在这项工作中,我们后退一步,重新研究当前的实现可能会带来有害的影响,包括有限的表现力,光场和密度场的纠缠,以及次优的运动定位。作为一种补救措施,我们主张在经典的非刚性结构运动(\nrsfm)和NeRF之间架起一座桥梁,使前者的先验知识能够约束后者。为此,我们提出了一个框架,因式分解的时间和空间,制定了一个场景的带宽限制,高维信号的组成。我们在复杂的动态场景中展示了令人信服的结果,这些场景涉及照明,纹理和长距离动态的变化。
2023-03-25 cs.CV
D-NeRF: Neural Radiance Fields for Dynamic Scenes
Institut de Robòtica i Informàtica Industrial CSIC-UPC(西班牙高等科学研究委员会-加泰罗尼亚理工大学 工业机器人与信息学研究所);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
结合机器学习和几何推理的神经渲染技术已经成为从稀疏图像集合合成场景的新视图的最有前途的方法之一。其中,神经辐射场(NeRF)脱颖而出,它训练深度网络将5D输入坐标(表示空间位置和观察方向)映射到体积密度和视图相关的发射辐射。然而,尽管在生成的图像上实现了前所未有的照相现实主义水平,但NeRF仅适用于静态场景,其中可以从不同的图像查询相同的空间位置。在本文中,我们介绍了D-NeRF,一种方法,扩展神经辐射场的动态域,允许重建和渲染新的图像下的刚性和非刚性运动的对象从\emph{single}相机移动的场景。为此,我们考虑时间作为系统的额外输入,并将学习过程分为两个主要阶段:一个将场景编码到规范空间中,另一个将此规范表示映射到特定时间的变形场景中。这两个映射是使用全连接网络同时学习的。一旦网络经过训练,D-NeRF就可以渲染新的图像,控制相机视图和时间变量,从而控制对象的移动。我们证明了我们的方法在场景中的物体刚性,关节和非刚性运动的有效性。代码,模型权重和动态场景数据集将被释放。
2020-11-27 cs.CV
BerfScene: Bev-conditioned Equivariant Radiance Fields for Infinite 3D Scene Generation
CUHK(香港中文大学);Stanford(斯坦福大学);Ant Group(蚂蚁集团);Shanghai AI Laboratory(上海人工智能实验室);UCLA(加州大学洛杉矶分校)
BerfScene提出一种鸟瞰图条件等变辐射场表示,通过局部场景合成与平滑拼接实现大规模乃至无限规模三维场景生成,并支持通过操控鸟瞰图编辑场景物体。
2023-12-04 cs.CV
360Roam: Real-Time Indoor Roaming Using Geometry-Aware 360$^\circ$ Radiance Fields
Hong Kong University of Science and Technology(香港科技大学)
本文提出360Roam系统,通过几何感知的辐射场与自适应局部辐射场分解,实现基于稀疏360°图像的大规模室内场景实时、高质量漫游。
2023-11-28 cs.CV
OmniVoxel: A Fast and Precise Reconstruction Method of Omnidirectional Neural Radiance Field
University of Tsukuba(筑波大学)
提出了一种利用等矩形全方位图像重建神经辐射场的方法。具有辐射场的隐式神经场景表示可以在有限的空间区域内连续地重建场景的3D形状。然而,在商用PC硬件上训练完全隐式表示需要大量时间和计算资源(每个场景15 $\sim$ 20小时)。因此,我们提出了一种方法,以加快这一进程显着(20 $\sim$ 40分钟,每个场景)。而不是使用一个完全隐式表示的射线辐射场重建,我们采用特征体素,包含密度和颜色特征张量。考虑到全向等矩形输入和摄像机布局,我们使用球形体素化来表示,而不是立方表示。我们的体素化方法可以平衡重建的内部场景和外部场景的质量。此外,我们采用轴向对齐的位置编码方法对颜色特征,以提高整体图像质量。我们的方法在具有随机相机姿态的合成数据集上取得了令人满意的经验性能。此外,我们用包含复杂几何形状的真实场景测试了我们的方法,并实现了最先进的性能。我们的代码和完整的数据集将在论文出版的同时发布。
2022-08-12 cs.CV
Unsupervised Multi-View Object Segmentation Using Radiance Field Propagation
HKUST(香港科技大学);UC San Diego(加州大学圣地亚哥分校);Wuhan University(武汉大学);Kuaishou Technology(快手科技)
我们提出了辐射场传播(RFP),一种新的方法来分割物体在三维重建过程中只给出未标记的多视图图像的场景。RFP源自新兴的基于神经辐射场的技术,其将语义与外观和几何形状联合编码。我们的方法的核心是一种新的传播策略,用于具有双向光度损失的单个对象的辐射场,从而能够将场景无监督地划分为对应于不同对象实例的突出或有意义的区域。为了更好地处理复杂的场景,多个对象和闭塞,我们进一步提出了一个迭代的期望最大化算法来细化对象掩模。RFP是第一个无监督的方法之一,用于处理神经辐射场(NeRF)的3D真实场景对象分割,而无需任何监督,注释或其他线索,如3D边界框和对象类的先验知识。实验表明,RFP实现了可行的分割结果,比以前的无监督图像/场景分割方法更准确,并与现有的监督NeRF为基础的方法。分割的对象表示使能单独的3D对象编辑操作。
2022-10-19 cs.CV
Strata-NeRF : Neural Radiance Fields for Stratified Scenes
IISc Bangalore(印度科学学院班加罗尔分院);Samsung R & D Institute India - Bangalore(三星印度班加罗尔研发研究院);Brown University(布朗大学)
针对现有NeRF难以建模多层级分层场景的问题,提出Strata-NeRF,通过基于VQ隐表示的条件建模实现多层级场景的隐式捕获,在合成与真实数据集上均表现更优。
2023-08-20 cs.CV
Point'n Move: Interactive Scene Object Manipulation on Gaussian Splatting Radiance Fields
Bournemouth University(伯恩茅斯大学)
Point'n Move利用高斯泼溅辐射场的显式表示,通过双阶段自提示分割和实时修复实现直观、高质量的交互式场景物体操控与移除。
2025-07-19 cs.CV
Learning Object-Compositional Neural Radiance Field for Editable Scene Rendering
State Key Lab of CAD&CG, Zhejiang University(浙江大学CAD&CG国家重点实验室);Google(谷歌);The Chinese University of Hong Kong(香港中文大学)
隐式神经渲染技术在新的视图合成中显示出了很好的效果。然而,现有的方法通常将整个场景作为一个整体进行编码,这通常不知道对象的身份,并限制了移动或添加家具等高级编辑任务的能力。在本文中,我们提出了一种新的神经场景渲染系统,学习对象组成的神经辐射场,并产生具有编辑能力的集群和真实世界的场景逼真的渲染。具体来说,我们设计了一种新的双通道架构,其中场景分支编码场景的几何形状和外观,对象分支编码每个独立的对象条件下学习对象激活码。为了在严重混乱的场景中生存训练,我们提出了一种场景引导的训练策略来解决遮挡区域中的3D空间模糊性,并为每个对象学习清晰的边界。大量的实验表明,我们的系统不仅达到了竞争力的性能,静态场景的新视图合成,但也产生逼真的渲染对象级编辑。
2021-09-04 cs.CV
Detachable Novel Views Synthesis of Dynamic Scenes Using Distribution-Driven Neural Radiance Fields
PhiGent Robotics(PhiGent机器人公司)
如何从随意的单目视频中表达和合成真实世界动态场景中的新颖视图是一个长期存在的问题。现有的解决方案通常通过应用几何技术或利用几个相邻帧之间的时间信息来接近动态场景,而不考虑整个场景中的底层背景分布或光线维度上的透射率,从而限制了它们在静态和遮挡区域上的性能。我们的方法$\textbf{D}$迭代- $\textbf{D}$ riven神经辐射场提供了高质量的视图合成和一个3D解决方案,$\textbf{D}$从整个$\textbf{D}$神经场景中提取背景,这被称为$\text{D}^4$ NeRF。具体而言,它采用神经表示来捕获静态背景中的场景分布,并采用6D输入NeRF来表示动态对象。每个光线样本都被赋予一个附加的遮挡权重,以指示静态和动态分量中的透射率。我们评估$\text{D}^4$ NeRF上的公共动态场景和我们的城市驾驶场景从一个错误的驾驶数据集。大量的实验表明,我们的方法优于以往的方法在渲染纹理细节和运动区域,同时也产生一个干净的静态背景。我们的代码将在https://github.com/Luciferbobo/D4NeRF上发布。
2023-01-11 cs.CV
CARFF: Conditional Auto-encoded Radiance Field for 3D Scene Forecasting
UC Berkeley(加州大学伯克利分校);Toyota Research Institute(丰田研究所);Harvard University(哈佛大学);Columbia University(哥伦比亚大学)
CARFF通过条件自编码辐射场将2D图像映射到3D潜在场景分布,利用POMDP建模和两阶段训练,实现可解释的未来场景预测,并在CARLA模拟中支持复杂自动驾驶的轨迹与应急规划。
2024-07-19 cs.CV
DisCoScene: Spatially Disentangled Generative Radiance Fields for Controllable 3D-aware Scene Synthesis
CUHK(香港中文大学);Snap Inc.(Snap公司);HKUST(香港科技大学);ZJU(浙江大学);KAUST(阿卜杜拉国王科技大学);UCLA(加州大学洛杉矶分校)
现有的3D感知图像合成方法主要集中在生成一个单一的标准对象,并显示有限的能力,组成一个复杂的场景包含各种对象。本文介绍了一种用于高质量和可控场景合成的3Daware生成模型DisCoScene。我们的方法的关键成分是一个非常抽象的对象级表示(即,无语义标注的3D边界框)作为场景布局先验,其获得简单,通用于描述各种场景内容,并且还提供信息以解开对象和背景。此外,它还可以作为场景编辑的直观用户控件。基于这样的先验知识,该模型通过仅在具有全局-局部鉴别的2D图像上进行学习,将整个场景在空间上分解为以对象为中心的生成辐射场。我们的模型获得了单个对象的生成保真度和编辑灵活性,同时能够有效地将对象和背景组合成一个完整的场景。我们在许多场景数据集上展示了最先进的性能,包括具有挑战性的Waymo户外数据集。项目页面:https://snap-research.github.io/discoscene/
2022-12-22 cs.CV
S2RF: Semantically Stylized Radiance Fields
Carnegie Mellon University(卡内基梅隆大学)
提出S2RF方法,利用最近邻损失函数将任意图像风格迁移至3D场景物体,实现可控风格化与多视图一致性。
2023-09-03 cs.CV
Progressively Optimized Local Radiance Fields for Robust View Synthesis
KAIST(韩国科学技术院);National Taiwan University(国立台湾大学);Meta;University of Maryland, College Park(马里兰大学帕克分校)
我们提出了一种算法,用于重建一个大规模的场景从一个偶然捕获的视频辐射场。这项任务提出了两个核心挑战。首先,大多数现有的辐射场重建方法依赖于来自运动恢复结构算法的准确的预先估计的相机姿态,这在野外视频中经常失败。第二,使用一个单一的,全球辐射场有限的代表能力不缩放到更长的轨迹在一个无界的场景。为了处理未知的姿态,我们联合估计相机的姿态与辐射场在一个渐进的方式。我们表明,渐进式优化显着提高了重建的鲁棒性。为了处理大的无界场景,我们动态分配新的局部辐射场训练帧内的时间窗口。这进一步提高了鲁棒性(例如,即使在适度的姿势漂移下也表现良好),并允许我们缩放到大场景。我们对Tanks and Temples数据集和我们收集的户外数据集Static Hikes进行了广泛的评估,结果表明我们的方法与最先进的方法相比毫不逊色。
2023-03-24 cs.CV
LidaRF: Delving into Lidar for Neural Radiance Field on Street Scenes
University of California, Irvine(加利福尼亚大学欧文分校);University of California, San Diego(加利福尼亚大学圣迭戈分校);NEC Labs America(美国NEC实验室)
本文提出LidaRF框架,通过融合激光雷达几何表示、遮挡感知深度监督和激光雷达点增强训练视图,显著提升街景场景下神经辐射场的新视角合成质量。
2024-05-04 cs.CV
Beyond RGB: Scene-Property Synthesis with Neural Radiance Fields
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Carnegie Mellon University(卡内基梅隆大学)
全面的三维场景理解,几何和语义,是重要的现实世界的应用,如机器人感知。大部分现有的工作都集中在开发数据驱动的判别模型的场景理解。本文从合成模型的角度出发,结合隐式三维表示和神经渲染的最新进展,提出了一种新的场景理解方法。在神经辐射场(NeRFs)的巨大成功的基础上,我们引入了具有NeRF的场景属性合成(SS-NeRF),其不仅能够从新颖的视角渲染照片级逼真的RGB图像,而且还能够渲染各种精确的场景属性(例如,外观、几何形状和语义)。通过这样做,我们促进解决各种场景理解任务下的统一框架,包括语义分割,表面法线估计,重绘,关键点检测和边缘检测。我们的SS-NeRF框架可以是一个强大的工具,用于桥接生成学习和判别学习,从而有利于调查的一系列有趣的问题,如研究任务关系的综合范式,转移知识到新的任务,促进下游的判别任务作为数据增强的方式,并作为自动标注数据创建。
2022-06-09 cs.CV
PanDORA: Casual HDR Radiance Acquisition of Indoor Scenes for Image-based Lighting
Université Laval(洛瓦尔大学);Adobe(Adobe公司);Texas A&M University(德克萨斯农工大学)
PanDORA通过双摄像头和NeRF算法高效获取高动态范围辐射数据,提升室内场景真实光照重建效果。
2026-07-14 cs.CV
FusedRF: Fusing Multiple Radiance Fields
IIIT Hyderabad(海得拉巴国际信息技术学院);Meta Reality Labs(Meta现实实验室)
针对多辐射场合成场景渲染耗时和内存占用随组件数增长的问题,提出FusedRF方法,通过多教师RF向单学生RF的知识蒸馏,得到紧凑融合表征,实现单RF级的渲染效率与内存占用,还支持后续增删操作。
2023-06-07 cs.CV
Deforming Radiance Fields with Cages
The University of Tokyo(东京大学);RIKEN(理化学研究所)
辐射场的最新进展能够实现静态或动态3D场景的照片级真实感渲染,但仍然不支持用于场景操纵或动画的显式变形。在本文中,我们提出了一种方法,使一种新的类型的辐射场变形:自由形式的辐射场变形。我们使用一个三角形网格包围的前景对象称为笼子作为一个接口,并通过操纵笼子的顶点,我们的方法使辐射场的自由变形。我们的方法的核心是基于笼的变形,这是常用的网格变形。我们提出了一种新的配方,将其扩展到辐射场,映射的位置和观察方向的采样点从变形空间的规范空间,从而使变形场景的渲染。合成数据集和真实数据集的变形结果证明了该方法的有效性。
2022-07-25 cs.CV
Multi-Plane Neural Radiance Fields for Novel View Synthesis
University of Waterloo(滑铁卢大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
新颖的视图合成是一个长期存在的问题,围绕渲染帧的场景从新颖的相机视点。体积方法提供了一个解决方案,通过明确的三维表示的相机截头体建模闭塞。多平面图像(MPI)是使用不同深度处的前平行平面来表示场景的体积方法,但是遭受导致2D场景表示的深度离散化。另一种方法依赖于隐式3D场景表示。神经辐射场(NeRF)利用神经网络将连续的3D场景结构封装在网络权重内,从而实现真实感合成结果,然而,方法被约束到每个场景的优化设置,这在实践中是低效的。多平面神经辐射场(MINE)为隐式和显式场景表示的组合打开了大门。它支持连续的3D场景表示,特别是在深度维度上,同时利用输入图像特征来避免逐场景优化。目前在这一领域的文献工作的主要缺点是被限制到单视图输入,限制合成能力,以狭窄的视角范围。在这项工作中,我们彻底检查了单视图多平面神经辐射场的性能、概括性和效率。此外,我们提出了一个新的多平面NeRF架构,接受多个视图,以改善合成结果,扩大观看范围。通过提出的注意力感知融合模块,有效地融合了来自输入源帧的特征,以突出来自不同视点的重要信息。实验表明,基于注意力的融合的有效性和我们提出的方法相比,多视图NeRF和MPI技术的有前途的成果。
2023-03-03 cs.CV
SealD-NeRF: Interactive Pixel-Level Editing for Dynamic Scenes by Neural Radiance Fields
University of Guelph(圭尔夫大学)
本文提出SealD-NeRF,将Seal-3D扩展到动态场景,通过映射编辑操作到特定时间帧、冻结变形网络并结合教师-学生方法,实现D-NeRF上的像素级一致编辑。
2024-02-21 cs.CV
Cross-Spectral Neural Radiance Fields
University of Bologna(博洛尼亚大学)
我们提出了X-NeRF,一种新的方法来学习交叉光谱场景表示给定的图像从相机捕获具有不同的光谱灵敏度,基于神经辐射场制定。X-NeRF在训练过程中优化了光谱中的相机姿态,并利用归一化跨设备坐标(NXDC)从任意视点渲染不同模态的图像,这些视点对齐并具有相同的分辨率。16个面向前方的场景,具有彩色,多光谱和红外图像的实验,证实了X-NeRF在建模交叉光谱场景表示的有效性。
2022-09-01 cs.CV
X-NeRF: Explicit Neural Radiance Field for Multi-Scene 360$^{\circ} $ Insufficient RGB-D Views
Shanghai Jiao Tong University(上海交通大学)
神经辐射场(NeRFs)尽管在新颖视图合成上具有出色的性能,但通常需要密集的输入视图。许多文献对每个场景分别训练一个模型,很少有人探讨如何将多模态数据融合到这个问题中。在本文中,我们关注一个很少讨论但很重要的设置:我们能否训练一个模型,它可以表示多个场景,360 $^\circ $视图和RGB-D图像不足?我们将不充分的视图引用到极少数非常稀疏且几乎不重叠的视图。为了解决这个问题,提出了一种完全显式的方法X-NeRF,该方法学习一般的场景完成过程,而不是基于坐标的映射。给定一些不足的RGB-D输入视图,X-NeRF首先将其转换为稀疏点云张量,然后应用3D稀疏生成卷积神经网络(CNN)将其完成显式辐射场,其体积渲染可以快速进行,而无需在推理期间运行网络。为了避免过拟合,除了常见的渲染损失,我们应用感知损失以及通过点云上的随机旋转视图增强。所提出的方法显着优于以前的隐式方法在我们的设置,表明所提出的问题和方法的巨大潜力。代码和数据可在https://github.com/HaoyiZhu/XNeRF上获得。
2022-10-11 cs.CV
SinNeRF: Training Neural Radiance Fields on Complex Scenes from a Single Image
University of Oregon(俄勒冈大学);Picsart AI Research(Picsart人工智能研究院);The University of Texas at Austin(德克萨斯大学奥斯汀分校);UIUC(伊利诺伊大学厄巴纳-香槟分校)
尽管神经辐射场(NeRF)发展迅速,但密集覆盖的必要性在很大程度上限制了其更广泛的应用。虽然最近的一些作品试图解决这个问题,但它们要么使用稀疏视图(但仍然有一些),要么使用简单的对象/场景。在这项工作中,我们考虑了一个更雄心勃勃的任务:通过“只看一次”,即在逼真的复杂视觉场景上训练神经辐射场,只使用一个视图。为了实现这一目标,我们提出了一个单视图NeRF(SinNeRF)框架,包括精心设计的语义和几何正则化。具体来说,SinNeRF构建了一个半监督学习过程,在这个过程中,我们引入并传播几何伪标签和语义伪标签来指导渐进式训练过程。在复杂场景基准上进行了大量的实验,包括NeRF合成数据集,局部光场融合数据集和DTU数据集。我们表明,即使没有对多视图数据集进行预训练,SinNeRF也可以产生照片般逼真的新视图合成结果。在单一图像设置下,SinNeRF在所有情况下都显著优于当前最先进的NeRF基线。项目页面:https://vita-group.github.io/SinNeRF/
2022-08-12 cs.CV
Binary Radiance Fields
POSTECH(浦项科技大学);Seoul National University(首尔国立大学)
本文提出二值辐射场(BiRF),通过±1二值特征编码和2D-3D混合特征网格大幅降低辐射场存储需求,在仅用0.5 MB存储的情况下取得优于现有高效辐射场模型的重建性能。
2023-12-04 cs.CV
SCARF: Scalable Continual Learning Framework for Memory-efficient Multiple Neural Radiance Fields
Beihang University(北京航空航天大学);Shandong University(山东大学);Beijing Technology and Business University(北京工商大学);Jingdezhen Research Institute of Beihang University(北京航空航天大学景德镇研究院);Shandong University of Science and Technology(山东科技大学)
本文提出 SCARF 持续学习框架,通过跨场景与场景特定权重矩阵组合及不确定表面蒸馏,在低存储成本下增量学习多场景 NeRF 并缓解灾难性遗忘。
2024-09-06 cs.CV
SAMSNeRF: Segment Anything Model (SAM) Guides Dynamic Surgical Scene Reconstruction by Neural Radiance Field (NeRF)
Vanderbilt University(范德堡大学)
本文提出SAMSNeRF,结合SAM与NeRF,利用SAM生成手术工具分割掩码引导NeRF重建动态手术场景,在公开内窥镜视频上实现高保真重建和准确3D位置预测,提升手术导航与自动化。
2024-02-06 cs.CV
SurfelNeRF: Neural Surfel Radiance Fields for Online Photorealistic Reconstruction of Indoor Scenes
Tencent PCG(腾讯平台与内容事业群)
SurfelNeRF将显式神经面元几何表示与NeRF渲染结合,通过可微分栅格化实现10倍加速,在ScanNet上以23.82和29.58 PSNR达到在线室内场景重建与真实感渲染的最优性能。
2023-04-18 cs.CV
NeRF++: Analyzing and Improving Neural Radiance Fields
Cornell Tech(康奈尔科技学院);Intel Labs(英特尔实验室)
神经辐射场(NeRF)可在各种捕捉设置下实现令人印象深刻的视图合成结果,包括有界场景的360度捕捉以及有界和无界场景的前向捕捉。NeRF适合多层感知器(MLP)表示视图不变的不透明度和视图相关的颜色体积的一组训练图像,并采样新的意见的基础上体渲染技术。在这份技术报告中,我们首先评论辐射场及其潜在的模糊性,即形状-辐射模糊性,并分析NeRF在避免这种模糊性方面的成功。其次,我们解决了一个参数化的问题,涉及应用NeRF的360捕获的对象在大规模的,无界的3D场景。我们的方法提高了视图合成保真度在这个具有挑战性的情况下。代码可在https://github.com/Kai-46/nerfplusplus上获得。
2020-10-21 cs.CV
From Explicit References to Scene Manifolds: Distributional Fidelity and Realism for Radiance Field Quality Assessment
Vrije Universiteit Brussel(布鲁塞尔自由大学);imec(imec研究院);Electronics and Telecommunications Research Institute (ETRI)(电子通信研究院(ETRI))
针对辐射场渲染视图质量评估,提出SCODA方法,通过场景流形建模和失真感知判别器,实现无需参考图像的客观评估,在多个基准上验证了与人类判断的高度一致性。
2026-09-09 cs.CV
3D Motion Magnification: Visualizing Subtle Motions with Time Varying Radiance Fields
University of Maryland(马里兰大学);Google Research(谷歌研究院);MIT(麻省理工学院)
本文提出一种基于时变辐射场的3D运动放大方法,利用欧拉原理放大移动相机场景中的细微运动并支持新视角渲染,在隐式与三平面辐射场上验证了有效性。
2023-08-07 cs.CV
DeVRF: Fast Deformable Voxel Radiance Fields for Dynamic Scenes
National University of Singapore(新加坡国立大学);Tencent(腾讯)
动态场景建模对于诸如虚拟现实和临场感等许多应用是重要的。尽管在动态场景中实现了新颖视图合成的前所未有的保真度,但是基于神经辐射场(NeRF)的现有方法遭受缓慢收敛(即,以天为单位测量的模型训练时间)。在本文中,我们提出了DeVRF,一种新的表示,以加速学习动态辐射场。DeVRF的核心是用显式和离散的基于体素的表示来建模动态非刚性场景的3D规范空间和4D变形场。然而,训练这种具有大量模型参数的表示是相当具有挑战性的,通常会导致过拟合问题。为了克服这一挑战,我们设计了一种新的静态到动态的学习范式,以及一个新的数据捕获设置,方便在实践中部署。该范例通过利用从多视图静态图像学习的3D体积正则空间来解锁可变形辐射场的有效学习,以简化仅具有少数视图动态序列的4D体素变形场的学习。为了进一步提高我们的DeVRF的效率和合成的新视图的质量,我们进行了深入的探索,并确定了一套策略。我们评估DeVRF合成和现实世界的动态场景与不同类型的变形。实验表明,DeVRF实现了两个数量级的加速比(100倍快),与以往的国家的最先进的方法相比,具有同等的高保真度的结果。代码和数据集将在https://github.com/showlab/DeVRF上发布。
2022-06-04 cs.CV
Advances in Radiance Field for Dynamic Scene: From Neural Field to Gaussian Field
School of Electronics and Information, Hangzhou Dianzi University(电子信息学院,杭州电子科技大学);School of Computer Science, Wuhan University(计算机学院,武汉大学);Melbourne Centre for Data Science, School of Mathematics and Statistics, University of Melbourne(数据科学中心,墨尔本大学);College of Computing & Data Science at Nanyang Technological University(计算与数据科学学院,南洋理工大学)
本文综述了辐射场在动态场景表示中的进展,系统分析了200余篇从神经场到高斯场的方法,并展望了未来研究方向。
2025-05-22 cs.CV
Slot-guided Volumetric Object Radiance Fields
MEGVII Technology Inc.(旷视科技有限公司)
提出sVORF框架,通过对象槽引导体积对象辐射场,实现单图像无监督3D场景分解,显著降低内存需求,并在合成与真实数据集上取得优异表现。
2024-01-04 cs.CV
NeVRF: Neural Video-based Radiance Fields for Long-duration Sequences
KU Leuven(鲁汶大学)
本文提出NeVRF表示,融合NeRF与基于图像的渲染,并结合持续学习和定制压缩,实现长时动态场景的高质量自由视点渲染与紧凑存储。
2023-12-10 cs.CV
MERF: Memory-Efficient Radiance Fields for Real-time View Synthesis in Unbounded Scenes
University of Tübingen(图宾根大学);Tübingen AI Center(图宾根人工智能中心);Google Research(谷歌研究院)
神经辐射场支持最先进的照片级真实感视图合成。然而,现有的辐射场表示要么对于实时的【形】渲染来说太计算密集,要么需要太多的存储器来缩放到大场景。提出了一种内存高效的辐射场(MERF)表示方法,实现了大规模场景在浏览器中的实时的【形】绘制。MERF使用稀疏特征网格和高分辨率2D特征平面的组合来减少先前稀疏体积辐射场的存储器消耗。为了支持大规模的无界场景,我们引入了一个新的收缩函数,将场景坐标映射到一个有界的体积,同时仍然允许有效的光线盒相交。我们设计了一个无损的程序,用于将训练过程中使用的参数化烘焙到一个模型中,该模型实现实时的【形】渲染,同时仍然保留了体积辐射场的照片级真实感视图合成质量。
2023-02-23 cs.CV cs.GR
Global-guided Focal Neural Radiance Field for Large-scale Scene Rendering
AMAP;Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院)
针对现有大规模NeRF分块独立训练导致的场景一致性差、渲染质量提升有限的问题,提出采用两阶段架构与全局引导训练策略的GF-NeRF,在不依赖场景先验的前提下实现大规模场景高保真渲染。
2024-09-13 cs.CV
NeRF-HuGS: Improved Neural Radiance Fields in Non-static Scenes Using Heuristics-Guided Segmentation
Sun Yat-sen University(中山大学);Cardiff University(卡迪夫大学);University of Pennsylvania(宾夕法尼亚大学);SmartMore Corporation(思谋科技)
本文提出NeRF-HuGS,通过结合手工启发式与先进分割模型,显著提升非静态场景中静态与瞬态干扰物的分离,有效减少NeRF伪影。
2024-03-26 cs.CV
AG-NeRF: Attention-guided Neural Radiance Fields for Multi-height Large-scale Outdoor Scene Rendering
South China University of Technology(华南理工大学)
AG-NeRF提出一种注意力引导的端到端框架,通过源图像选择与特征融合解决多高度户外场景渲染,半小时训练即达SOTA性能。
2024-04-18 cs.CV
Federated Learning for Large-Scale Scene Modeling with Neural Radiance Fields
Denso IT Laboratory, Inc.(电装IT实验室)
针对地球尺度神经辐射场建模的可扩展性与可维护性问题,提出一种联邦学习流水线,通过定制模型聚合和全局位姿对齐实现NeRF局部更新,并在Mill19数据集上验证了有效性。
2024-03-21 cs.CV
FLAME-in-NeRF : Neural control of Radiance Fields for Free View Face Animation
Stony Brook University(石溪大学);Adobe Research(奥多比研究院)
提出了一种用于可控人像视频合成的神经渲染方法。体神经渲染的最新进展,如神经辐射场(NeRF),使照片级逼真的静态场景的新颖的视图合成与令人印象深刻的结果。然而,建模动态和可控的对象作为一个场景的一部分,这样的场景表示仍然是具有挑战性的。在这项工作中,我们设计了一个系统,使新的视图合成的人像视频,包括人类主体和场景背景,并通过低维的表达表示的面部表情的显式控制。我们利用3D变形人脸模型(3DMM)的表情空间来表示人类面部表情的分布,并使用它来调节NeRF体积函数。此外,我们施加了一个空间先验带来的3DMM拟合,以指导网络学习解纠缠控制的场景外观和面部动作。我们证明了我们的方法的有效性,自由视图合成的人像视频与表情控制。为了训练场景,我们的方法仅需要由移动终端捕获的主体的短视频。
2021-08-10 cs.CV
Neural Radiance Transfer Fields for Relightable Novel-view Synthesis with Global Illumination
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);MIT(麻省理工学院)
给定场景的一组图像,从新的视图和光照条件下重新绘制该场景是计算机视觉和图形学中的一个重要且具有挑战性的问题。一方面,现有的计算机视觉中的大多数工作通常对图像形成过程施加许多假设,例如直接照明和预定义的材料,以使场景参数估计易于处理。另一方面,成熟的计算机图形学工具允许在给定所有场景参数的情况下对复杂的照片般逼真的光传输进行建模。结合这些方法,我们提出了一种新的观点下的场景重新照明的方法,通过学习神经预先计算的辐射传递函数,隐式处理全局光照的影响,使用新的环境地图。我们的方法可以单独监督一组真实图像的场景下,一个单一的未知的照明条件。为了在训练过程中消除任务的歧义,我们在训练过程中紧密集成了可微分路径跟踪器,并提出了合成OLAT和真实图像丢失的组合。结果表明,恢复的解纠缠的场景参数显着提高了目前的最先进的,因此,我们的重新渲染结果是更真实和准确的。
2022-07-27 cs.CV
G3DST: Generalizing 3D Style Transfer with Neural Radiance Fields across Scenes and Styles
Technical University of Munich(慕尼黑工业大学)
本研究提出G3DST方法,通过将超网络融入可泛化NeRF实现无需逐场景或逐风格优化的3D风格迁移,并引入基于流的多视图一致性损失,显著提升了效率、适用性和视觉质量。
2024-08-24 cs.CV
TöRF: Time-of-Flight Radiance Fields for Dynamic Scene View Synthesis
Carnegie Mellon University(卡内基梅隆大学);Brown University(布朗大学);Cornell University(康奈尔大学);Facebook;University of Bath(巴斯大学)
神经网络可以表示并精确地重建静态3D场景的辐射场(例如,NeRF)。一些作品扩展这些单目视频捕捉的动态场景,有前途的性能。然而,单目设置是已知的是一个约束不足的问题,因此方法依赖于数据驱动的先验来重建动态内容。我们用飞行时间(ToF)相机的测量值替换这些先验知识,并基于连续波ToF相机的图像形成模型引入神经表示。我们不使用处理后的深度图,而是对原始ToF传感器测量进行建模,以提高重建质量,避免低反射率区域、多径干扰和传感器有限的明确深度范围的问题。我们证明了这种方法提高了动态场景重建对错误校准和大运动的鲁棒性,并讨论了现代智能手机上集成RGB+ToF传感器的优点和局限性。
2021-12-06 cs.CV