NerfAcc: A General NeRF Acceleration Toolbox
University of California, Berkeley(加州大学伯克利分校)
提出NerfAcc工具箱,基于Instant-NGP技术扩展支持动态和无界场景,提供Python API实现NeRF的即插即用加速。
2023-05-10 cs.CV cs.GR
MF-NeRF: Memory Efficient NeRF with Mixed-Feature Hash Table
Johns Hopkins University(约翰斯·霍普金斯大学);University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校)
MF-NeRF提出混合特征哈希表,通过混合多级特征网格并映射至单表,配合索引变换,在保持重建质量的同时提升内存效率、减少训练时间,超越Instant-NGP等基线。
2023-09-06 cs.CV
CAwa-NeRF: Instant Learning of Compression-Aware NeRF Features
Orange Innovation(Orange创新研究院)
本文提出CAwa-NeRF,一种即时学习压缩感知NeRF特征的方法,通过zip压缩特征网格在几乎无额外时间开销下显著降低存储大小,同时保持或仅有轻微PSNR损失。
2023-10-23 cs.CV
IntrinsicNGP: Intrinsic Coordinate based Hash Encoding for Human NeRF
University of Science and Technology of China(中国科学技术大学)
最近,许多工作已经提出利用神经辐射场的人类表演者的新的视图合成。然而,这些方法中的大多数需要数小时的培训,使得它们难以实际使用。为了解决这个具有挑战性的问题,我们提出了IntrinsicNGP,它可以从头开始训练,并在几分钟内实现高保真度的结果与人类表演者的视频。为了实现这一目标,我们引入了一个连续的和可优化的内在坐标,而不是原来的显式欧几里德坐标的哈希编码模块的即时NGP。有了这个新颖的内在坐标,IntrinsicNGP可以在代理几何形状的帮助下聚合动态对象的帧间信息。此外,使用给定的粗糙几何形状训练的结果可以进一步细化基于内在坐标的可优化偏移字段。在多个数据集上的大量实验结果证明了IntrinsicNGP的有效性和效率。我们还说明了我们的方法的能力,编辑重建的主题的形状。
2023-03-09 cs.CV
Efficient NeRF Optimization -- Not All Samples Remain Equally Hard
Nokia Technologies(诺基亚技术公司);Aalto University(阿尔托大学);University of Oulu(奥卢大学)
本文提出通过在线困难样本挖掘优化NeRF训练,先以推理模式前向传播筛选困难样本,再仅用这些样本反向更新网络,在Instant-NGP上实现质量提升与约40%内存节省。
2024-08-06 cs.CV
VIRUS-NeRF -- Vision, InfraRed and UltraSonic based Neural Radiance Fields
ETH Zurich(苏黎世联邦理工学院);Filics GmbH(Filics 有限责任公司);Voliro AG(Voliro 股份公司)
针对移动机器人传统建图依赖昂贵传感器的问题,提出融合视觉、红外与超声数据的VIRUS-NeRF,基于Instant-NGP优化占用栅格,实现低成本下接近LiDAR的建图效果,训练速度提升46%。
2024-08-14 cs.CV cs.LG cs.RO
SAT-NGP : Unleashing Neural Graphics Primitives for Fast Relightable Transient-Free 3D reconstruction from Satellite Imagery
CNES(法国国家空间研究中心);Univ Gustave Eiffel(古斯塔夫·埃菲尔大学);ENSG(法国国立地理科学学院);IGN(法国国家地理学会)
针对多日期卫星图像重建中瞬态干扰及NeRF计算耗时长的问题,提出SAT-NGP模型,利用高效采样和多分辨率哈希编码将学习时间降至15分钟,同时保持3D重建质量。
2024-03-27 cs.AI cs.CV
Instant Uncertainty Calibration of NeRFs Using a Meta-Calibrator
University of Oxford(牛津大学)
本文提出一种元校准器,通过单次前向传播为NeRFs实现校准不确定性,无需留出目标场景图像,显著优于现有方法,提升下游应用可靠性。
2024-09-20 cs.CV
Instant-NeRF: Instant On-Device Neural Radiance Field Training via Algorithm-Accelerator Co-Designed Near-Memory Processing
Georgia Institute of Technology(佐治亚理工学院);Rice University(莱斯大学)
针对NeRF训练内存受限的低效问题,提出首个近内存处理框架Instant-NeRF,通过算法-加速器协同设计实现即时设备端训练,并在八个数据集上验证了其有效性。
2023-05-09 cs.AR cs.CV
Content-Aware Radiance Fields: Aligning Model Complexity with Scene Intricacy Through Learned Bitwidth Quantization
ShanghaiTech University(上海科技大学);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
针对辐射场模型逐场景训练的特性,提出基于对抗式内容感知量化的内容感知辐射场方法,通过可训练参数位宽匹配场景复杂度,在Instant-NGP上验证可降计算复杂度且保渲染质量。
2024-10-25 cs.CV eess.IV
F$^{2}$-NeRF: Fast Neural Radiance Field Training with Free Camera Trajectories
The University of Hong Kong(香港大学);Nanyang Technological University(南洋理工大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Texas A&M University(得克萨斯农工大学)
本文提出了一种新的基于网格的NeRF称为F2-NeRF(Fast-Free-NeRF)的新视图合成,它可以实现任意输入相机轨迹,并且只需几分钟的训练时间。现有的快速基于网格的NeRF训练框架,如Instant-NGP,Plenoxels,DVGO或TensoRF,主要是为有界场景设计的,并依赖于空间扭曲来处理无界场景。现有的两种广泛使用的空间扭曲方法仅针对面向前的轨迹或360度以目标为中心的轨迹设计,而不能处理任意轨迹。在本文中,我们深入研究了空间扭曲的机制来处理无界场景。基于我们的分析,我们进一步提出了一种新的空间扭曲方法,称为透视扭曲,它允许我们处理任意的轨迹在基于网格的NeRF框架。大量的实验表明,F2-NeRF能够使用相同的透视变形来渲染高质量的图像上的两个标准数据集和一个新的自由轨迹数据集由我们收集。项目页面:https://totoro97.github.io/projects/f2-nerf。
2023-03-28 cs.CV cs.GR
Combining HoloLens with Instant-NeRFs: Advanced Real-Time 3D Mobile Mapping
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Technical University of Darmstadt(达姆施塔特工业大学)
本研究结合Microsoft HoloLens 2与NeRF,利用HoloLens多传感器采集数据、高性能PC实时训练,通过专用推理算法1秒提取500万带辐射度的场景点,实现移动测绘下性能远超传统NeRF采样的完整实时三维重建。
2023-05-03 cs.CV
One is All: Bridging the Gap Between Neural Radiance Fields Architectures with Progressive Volume Distillation
Megvii(旷视科技)
神经辐射场(NeRF)方法已被证明是3D场景的紧凑、高质量和多功能表示的有效方法,并且能够实现诸如编辑、检索、导航等下游任务。各种神经架构正在争夺NeRF的核心结构,包括普通多层感知器(MLP)、稀疏张量、低秩张量、哈希表及其组合。每一种表示都有其特定的权衡。例如,基于哈希表的表示允许更快的训练和渲染,但它们缺乏清晰的几何意义,阻碍了空间关系感知编辑等下游任务。在本文中,我们提出了渐进体积蒸馏(PVD),这是一种系统蒸馏方法,允许不同架构之间的任何到任何转换,包括MLP,稀疏或低秩张量,哈希表及其组合。因此,PVD使下游应用程序能够以事后的方式为手头的任务最佳地调整神经表示。转换速度很快,因为蒸馏是在不同层次的体积表示上逐步进行的,从浅到深。我们还采用特殊的处理密度来处理其特定的数值不稳定性问题。经验证据来验证我们的方法NeRF合成,LLFF和TanksAndTemples数据集。例如,使用PVD,基于MLP的NeRF模型可以从基于哈希表的Instant-NGP模型中提取,速度比从头开始训练原始NeRF快10倍~ 20倍,同时实现更高水平的合成质量。代码可在https://github.com/megvii-research/AAAI2023-PVD上获得。
2023-01-03 cs.CV
Zip-NeRF: Anti-Aliased Grid-Based Neural Radiance Fields
Google Research(谷歌研究院)
本文提出 Zip-NeRF,将 mip-NeRF 360 的抗锯齿锥体推理与 Instant NGP 等网格表示结合,在误差率降低 8%-77% 的同时实现 24 倍训练加速。
2023-10-26 cs.CV cs.GR cs.LG
Instant Continual Learning of Neural Radiance Fields
Stanford University(斯坦福大学)
针对NeRF在持续学习场景中的灾难性遗忘问题,提出一种结合基于重放方法与混合显式-隐式场景表示的持续学习框架,在提升重建质量的同时实现了快一个数量级的速度。
2023-09-06 cs.CV
Towards Live 3D Reconstruction from Wearable Video: An Evaluation of V-SLAM, NeRF, and Videogrammetry Techniques
Arizona State University(亚利桑那州立大学);Maxar(Maxar公司);Carnegie Mellon University(卡内基梅隆大学);Cornell University(康奈尔大学);University of Pittsburgh(匹兹堡大学)
混合现实(MR)是一项有望改变未来战争的关键技术。物理户外环境和虚拟军事训练的MR混合体将使与远距离敌人的战斗成为可能,无论是真实的还是模拟的。为了实现这项技术,必须基于实时传感器观察来维护物理环境的大规模3D模型。3D重建算法应该利用视频摄像机传感器的低成本和普及性,从开销和嵌入式水平的角度来看。可以平衡标测速度和3D质量,以实现动态环境中的实时MR训练。鉴于这些要求,我们调查了几个三维重建算法的大规模映射军事应用只提供现场视频。我们从运动、视觉SLAM和摄影测量技术的常见结构测量3D重建性能。这包括使用Instant-NGP的开源算法COLMAP、ORB-SLAM 3和NeRF。我们利用自动驾驶学术基准KITTI,其中包括仪表盘摄像头视频和激光雷达生成的3D地面实况。与KITTI数据,我们的主要贡献是考虑实时视频时的三维重建计算速度的定量评估。
2022-11-21 cs.CV eess.IV
DWTNeRF: Boosting Few-shot Neural Radiance Fields via Discrete Wavelet Transform
Video Processing Lab, UC San Diego(UC圣地亚哥大学视频处理实验室)
针对NeRF依赖密集视角且易在少样本下过拟合高频的问题,提出DWTNeRF框架。该方法基于Instant-NGP,结合小波损失优先处理低频,并引入多头注意力机制,显著提升了少样本新视角合成的性能。
2025-08-09 cs.CV
INGeo: Accelerating Instant Neural Scene Reconstruction with Noisy Geometry Priors
Georgia Institute of Technology(佐治亚理工学院);Meta Reality Labs(元宇宙现实实验室)
提出INGeo方法,利用噪声几何先验并减轻其影响,在Instant-NGP基础上加速神经场景重建,实现边缘设备即时训练,以一半迭代达到PSNR>30。
2025-03-28 cs.CV
Improving Geometric Consistency for 360-Degree Neural Radiance Fields in Indoor Scenarios
Fraunhofer Institute for Telecommunications, Heinrich Hertz Institute(弗劳恩霍夫电信研究所(海因里希·赫兹研究所));Humboldt University(洪堡大学)
针对室内360度NeRF在低纹理表面的漂浮伪影与深度约束不可靠问题,提出密集深度先验、新型深度损失及深度块正则化,并用Instant-NGP验证其视觉保真度提升。
2025-03-17 cs.CV
StegoNGP: 3D Cryptographic Steganography using Instant-NGP
Shandong Technology and Business University(山东科技经贸大学);Ocean University of China(海洋大学);Adelaide University(阿德莱德大学)
StegoNGP利用Instant-NGP实现参数-free的3D加密隐写术,通过哈希编码函数作为密钥控制的场景切换器,实现高容量、不可检测的信息隐藏。
2026-03-01 cs.CV
CT-NeRF: Incremental Optimizing Neural Radiance Field and Poses with Complex Trajectory
Zhejiang University(浙江大学);Shandong University(山东省大学)
针对复杂轨迹下NeRF依赖精确位姿且现有方法难以处理大旋转的问题,提出CT-NeRF增量重建流程,通过局部-全局光束法平差和重投影几何约束,同时恢复位姿与场景结构,在真实数据集上优于现有方法。
2024-04-23 cs.CV
Incremental Multi-Scene Modeling via Continual Neural Graphics Primitives
CVIG Lab IIT Gandhinagar Gujarat, India(IIT Gandhinagar 研究所)
针对NeRF多场景建模的可扩展性问题,提出持续学习框架C-NGP,采用生成回放将多个场景增量集成到单个神经辐射场,在不增加参数的情况下实现高质量渲染,Real-LLFF数据集8个场景联合建模PSNR仅降2.2%。
2025-08-26 cs.CV cs.LG
G-NeLF: Memory- and Data-Efficient Hybrid Neural Light Field for Novel View Synthesis
HKUST(GZ)(香港科技大学(广州));HKUST(香港科技大学)
针对 NeLF 需依赖 NeRF 与上万视角预训练且渲染质量较低的问题,本文提出基于网格空间感知特征和轻量光线传播解码器的 G-NeLF,以 0.95 MB 模型及十分之一参数超越现有方法。
2024-09-09 cs.CV
Tiny-DroNeRF: Tiny Neural Radiance Fields aboard Federated Learning-enabled Nano-drones
Dalle Molle Institute for Artificial Intelligence, USI-SUPSI(达摩院人工智能研究所,USI-SUPSI);Integrated Systems Laboratory, ETH Zürich(集成系统实验室,ETH Zurich);Department of Electrical, Electronic and Information Engineering, University of Bologna(电子、电气与信息工程系,博洛尼亚大学)
Tiny-DroNeRF通过联邦学习在纳无人机上实现轻量级NeRF训练,显著降低内存占用并提升3D重建精度。
2026-03-02 cs.CV cs.RO cs.SY
Seal-3D: Interactive Pixel-Level Editing for Neural Radiance Fields
Zhejiang University(浙江大学);Zhejiang Lab(之江实验室)
针对现有NeRF编辑方法灵活性、质量、速度不足且无法即时预览的问题,提出Seal-3D交互式像素级编辑系统,通过代理函数与两阶段训练策略,支持多类NeRF骨干的自由编辑,实现约1秒的即时预览与出色编辑效果。
2023-08-27 cs.CV cs.GR
IReNe: Instant Recoloring of Neural Radiance Fields
Arquimea Research Center(阿克梅亚研究中心);Universitat Politècnica de Catalunya(加泰罗尼亚理工大学);Universidad Rey Juan Carlos(胡安·卡洛斯国王大学);Volinga AI(Volinga AI公司);SEDDI(SEDDI机构);Institut de Robòtica i Informàtica Industrial, CSIC-UPC(西班牙国家研究委员会-加泰罗尼亚理工大学机器人与工业信息研究所);Universidad de las Palmas de Gran Canaria(大加那利岛拉斯帕尔马斯大学);IUSIANI(IUSIANI机构);Universidad Politécnica de Madrid(马德里理工大学)
针对NeRF颜色编辑存在的交互速度慢、边界精度低、多视角一致性差问题,提出IReNe方法,通过单张编辑图快速调整预训练NeRF参数,仅微调最后一层漫反射神经元,实现近实时编辑,速度提升5-500倍且效果更优。
2025-04-18 cs.CV
DivAS: Interactive 3D Segmentation by Depth-Weighted Voxel Aggregation
Indian Institute of Technology Kanpur(印度理工学院坎普尔分校);Indian Institute of Technology Jodhpur(印度理工学院焦特布尔分校)
DivAS通过深度加权体素聚合实现交互式3D分割,无需优化循环,基于GAussian Splatting和NeRF框架,实现高效且高质量的3D分割。
2026-06-29 cs.CV
Hash-QNeRF: Multiresolution Hash Encoding for Quantum Neural Radiance Fields
Centres of Innovation and Research(创新与研究中心);KIIT Deemed to be University(KIIT大学)
研究针对QNeRF中空间坐标正弦位置编码扩展性差的问题,提出用多分辨率哈希编码取代其空间坐标正弦位置编码,设计出Hash-QNeRF,实现快速收敛和内存高效,在合成场景有良好训练损失及PSNR表现,且不降低量子电路噪声容限。
2026-07-27 cs.CV quant-ph
Urban Radiance Field Representation with Deformable Neural Mesh Primitives
Tongji University(同济大学);The Chinese University of Hong Kong(香港中文大学);Shanghai AI Laboratory(上海人工智能实验室);CPII
针对NeRF光线步进渲染资源消耗大的问题,提出可变形神经网格基元DNMP,通过低维潜空间约束、光栅化插值和视角相关MLP实现高效城市级辐射场表示,在渲染质量、速度和内存上均有优异表现。
2023-07-20 cs.CV
Explicit-NeRF-QA: A Quality Assessment Database for Explicit NeRF Model Compression
Cooperative MediaNet Innovation Center, Shanghai Jiao Tong University(上海交通大学合作媒体网络创新中心);Department of Computer Science and Electrical Engineering, University of Missouri-Kansas City(密苏里大学堪萨斯城分校计算机科学与电气工程系)
本文构建了Explicit-NeRF-QA数据集,包含22个三维物体和四种显式NeRF模型在不同参数级别下的压缩样本,通过主观实验评估质量,发现全参考指标性能较好(相关系数约0.85),而无参考指标表现不佳,需进一步发展。数据集已公开。\n
2024-09-20 cs.CV eess.IV
Tri-MipRF: Tri-Mip Representation for Efficient Anti-Aliasing Neural Radiance Fields
PICO, ByteDance(字节跳动PICO);Tsinghua University(清华大学);Institute of Computing Technology, CAS(中国科学院计算技术研究所)
针对神经辐射场质量与效率难以兼顾的问题,提出Tri-Mip编码和锥体投射渲染技术,实现了兼具高速度、高质量和紧凑模型的抗锯齿神经辐射场重建与渲染。
2023-07-21 cs.AI cs.CV cs.GR
High-fidelity 3D Reconstruction of Plants using Neural Radiance Field
College of Engineering, South China Agriculture University(华南农业大学工程学院);Department of Mechanical and Aerospace Engineering, Monash University(莫纳什大学机械与航空航天工程系)
针对精准农业中植物高保真三维重建难题,本文探索神经辐射场方法,提出首个生产环境植物表型数据集,并验证Instant-NGP与Instant-NSR在新视角合成和三维重建上可媲美商业软件Reality Capture,同时指出其训练速度与复杂场景几何质量等局限。
2023-11-07 cs.CV cs.RO
Efficient Neural Implicit Representation for 3D Human Reconstruction
School of Computing and Information Systems, The University of Melbourne(墨尔本大学计算与信息系统学院);School of Mathematics and Statistics, The University of Melbourne(墨尔本大学数学与统计学院)
本文提出HumanAvatar,融合HuMoR、Instant-NGP与Fast-SNARF,并引入姿态敏感空间缩减技术,实现从单目视频高效、高保真地重建三维人体,训练速度比现有NeRF方法快110倍。
2024-10-23 cs.CV
Immersive Neural Graphics Primitives
Universität Hamburg(汉堡大学);Deutsches Elektronen-Synchrotron DESY(德国电子同步加速器研究所(DESY))
神经辐射场(NeRF),特别是其通过即时神经图形基元的扩展,是一种新的用于视图合成的绘制方法,它使用真实世界的图像来构建照片般逼真的沉浸式虚拟场景。尽管有潜力,但关于NeRF和虚拟现实(VR)结合的研究仍然很少。目前,还没有集成到典型的VR系统中,并且尚未评估NeRF实现的VR性能和适用性,例如,针对不同的场景复杂性或屏幕分辨率。在本文中,我们提出并评估了一个基于NeRF的框架,该框架能够在沉浸式VR中渲染场景,允许用户自由移动头部来探索复杂的现实世界场景。我们评估我们的框架基准测试三个不同的NeRF场景在不同的场景复杂度和分辨率的渲染性能。利用超分辨率,我们的方法可以产生每秒30帧的帧速率,分辨率为1280 x720像素/眼。我们讨论了我们的框架的潜在应用,并在线提供了一个开源的实现。
2022-11-24 cs.CV cs.GR cs.HC
Parallel Inversion of Neural Radiance Fields for Robust Pose Estimation
NVIDIA(英伟达);Georgia Institute of Technology(佐治亚理工学院)
提出了一种基于快速神经辐射场(NeRF)的并行优化方法,用于估计摄像机相对于物体或场景的6自由度姿态。给定目标的单个观察到的RGB图像,我们可以通过最小化从快速NeRF模型渲染的像素与观察到的图像中的像素之间的残差来预测相机的平移和旋转。我们将基于动量的相机外部优化程序集成到即时神经图形原语中,这是最近非常快的NeRF实现。通过将并行蒙特卡罗采样引入到姿态估计任务中,我们的方法克服了局部极小值,并在更广泛的搜索空间中提高了效率。我们还表明了采用更强大的基于像素的损失函数,以减少错误的重要性。实验表明,我们的方法可以实现改进的泛化能力和鲁棒性的合成和现实世界的基准。
2023-03-10 cs.CV cs.RO
VR-NeRF: High-Fidelity Virtualized Walkable Spaces
The Chinese University of Hong Kong(香港中文大学);Meta
本研究提出基于神经辐射场的VR可漫游空间端到端系统,通过定制多相机装置采集数据,扩展即时神经图形基元优化渲染质量与速度,实现双2K×2K分辨率36Hz的高保真实时渲染,并发布高保真数据集。
2023-11-05 cs.CV cs.GR
Surgical Neural Radiance Fields from One Image
Biomedical Robotics Lab, Advanced Robotics(生物医学机器人实验室,先进机器人技术);Istituto Italiano di Tecnologia(意大利技术研究所);Department of Computer Science, Bioengineering, Robotics and Systems Engineering (DIBRIS)(计算机科学、生物工程、机器人与系统工程系(DIBRIS));University of Genoa(热那亚大学);Technical University of Munich(慕尼黑技术大学);Harvard Medical School, Brigham and Women’s Hospital(哈佛医学院,布里洛妇女医院)
本文提出利用术前MRI和神经风格迁移将单张术中图像扩展为训练集,实现外科场景中单图像NeRF的高保真三维重建与视图合成。
2025-07-01 cs.AI cs.CV
RHINO: Regularizing the Hash-based Implicit Neural Representation
Tencent AI Lab(腾讯人工智能实验室);Nanjing University(南京大学)
RHINO通过引入连续解析函数连接输入坐标与网络,修复哈希式隐式神经表示中梯度流断裂问题,在不改变架构的前提下增强正则化,并在图像拟合、SDF表示及神经辐射场优化等任务上取得质量与速度的双重提升。
2023-09-22 cs.CV
INV: Towards Streaming Incremental Neural Videos
UNC Chapel Hill(北卡罗来纳大学教堂山分校);Intel Labs(英特尔研究院)
最近的工作在时空辐射场可以产生真实感的自由视点视频。然而,它们本质上不适合交互式流媒体场景(例如视频会议,远程呈现),因为即使训练是即时的,也有不可避免的滞后。这是因为这些方法消耗视频,因此必须在处理之前缓冲帧块(通常是几秒)。在这项工作中,我们采取了一个步骤,通过一帧一帧的方法自然无滞后的互动流。传统观点认为,由于高昂的训练成本和存储,每帧NeRF是不切实际的。我们通过引入增量神经视频(INV)打破了这种信念,这是一种有效训练和流式传输的每帧NeRF。我们基于两个见解设计INV:(1)我们的主要发现是MLP自然地将自己划分为结构层和颜色层,它们分别存储结构和颜色/纹理信息。(2)我们利用这个属性来保留和改进以前框架中的知识,从而在框架之间分摊训练并减少冗余学习。因此,在对NeRF的变化可以忽略不计的情况下,INV可以在8分钟/帧内实现良好的质量(>28.6db)。它还可以在19%的训练时间内超过之前的SOTA。此外,我们的时间权重压缩将每帧大小减少到0.3MB/帧(NeRF的6.6%)。更重要的是,INV没有缓冲延迟,自然适合流式传输。虽然这项工作没有实现实时训练,但它表明,像INV这样的增量方法为交互式3D流提供了新的可能性。此外,我们发现的自然信息划分导致更好地理解和操纵的MLP。代码和数据集将很快发布。
2023-02-03 cs.CV cs.GR
SlimmeRF: Slimmable Radiance Fields
AIR, Tsinghua University(清华大学AIR);Duke University(杜克大学);Duke Kunshan University(昆山杜克大学)
提出 SlimmeRF 模型,通过 TRaIn 算法在训练中逐渐增加张量表示的秩,实现测试时模型尺寸与精度的即时权衡,适用于不同计算预算场景,并在稀疏视角下表现更优。
2023-12-15 cs.CV
Lagrangian Hashing for Compressed Neural Field Representations
Simon Fraser University(西蒙菲莎大学);University of Trento(特伦托大学);University of Toronto(多伦多大学);University of British Columbia(不列颠哥伦比亚大学);Google DeepMind(谷歌DeepMind)
本文提出 Lagrangian Hashing,将带影响场的特征点融入 InstantNGP 分层哈希表高分辨率层,并通过损失引导 Gaussian 移动到高需求区域,实现更紧凑且不损失质量的神经场信号重建。
2024-09-09 cs.CV
ParticleNeRF: A Particle-Based Encoding for Online Neural Radiance Fields
Queensland University of Technology(昆士兰科技大学);University of Adelaide(阿德莱德大学)
虽然现有的动态场景的神经辐射场(NeRFs)是离线方法,重点是视觉保真度,但我们的论文解决了优先考虑实时适应性的在线用例。我们提出了ParticleNeRF,这是一种新的方法,通过每200毫秒在线学习最新的表示来动态适应场景几何形状的变化。ParticleNeRF使用一种新的基于粒子的参数编码来实现这一点。我们将特征耦合到空间中的粒子,并将光度重建损失反向传播到粒子的位置梯度中,然后将其解释为速度矢量。由一个轻量级的物理系统来处理碰撞,这使得功能可以随着场景几何体的变化而自由移动。我们演示ParticleNeRF在各种动态场景中包含平移,旋转,铰接和可变形的对象。ParticleNeRF是第一个在线动态NeRF,实现了快速适应性,比暴力在线InstantNGP和其他在线约束动态场景的基线方法具有更好的视觉保真度。您可以在我们的项目网站https://sites.google.com/view/particlenerf上找到我们系统的视频。
2023-03-24 cs.CV cs.RO
Factor Fields: A Unified Framework for Neural Fields and Beyond
ETH Zürich(苏黎世联邦理工学院);University of Tübingen(图宾根大学);Adobe Research(奥多比研究院);University of California, San Diego(加利福尼亚大学圣迭戈分校);Tübingen AI Center(图宾根人工智能中心)
本文提出Factor Fields统一框架,将信号分解为因子乘积以整合NeRF等现有神经场表示,并基于此提出新表示DiF,在近似质量、紧凑性与训练效率上取得显著提升,且支持少样本泛化。
2023-07-27 cs.CV cs.GR cs.LG
GSta: Efficient Training Scheme with Siestaed Gaussians for Monocular 3D Scene Reconstruction
Samsung Electronics(三星电子)
GSta通过识别并冻结已收敛的高斯来加速单目三维重建训练,结合早停和学习率调度,在保持精度下显著降低训练时间、内存与存储开销。
2025-04-09 cs.CV
SAGOnline: Segment Any Gaussians Online
University of Waterloo(滑铁卢大学);East China Normal University(东华大学);University of Calgary(卡尔加里大学);Sun Yat-Sen University(中山大学)
SAGOnline提出一种实时、零样本的3D分割框架,通过光栅化感知的几何共识机制实现跨视角一致的分割,提升AR/VR和机器人中的交互式3D理解能力。
2026-01-06 cs.CV
Learning Neural Volumetric Representations of Dynamic Humans in Minutes
Zhejiang University(浙江大学)
本文解决了从稀疏多视点视频中快速重建动态人体自由视点视频的挑战。最近的一些工作表示为一个典型的神经辐射场(NeRF)和运动场,这是从视频学习,通过微分渲染的动态人。但是每个场景的优化通常需要几个小时。其他可推广的NeRF模型利用了从数据集中学习到的先验知识,并通过仅对新场景进行微调来减少优化时间,但以牺牲视觉保真度为代价。在本文中,我们提出了一种新的方法来学习神经体积视频的动态人类稀疏视图视频在几分钟内具有竞争力的视觉质量。具体来说,我们定义了一种新的基于部分的体素化的人类表示,以更好地分配网络的代表性权力,不同的人体部位。此外,我们提出了一种新的二维运动参数化方案,以提高变形场学习的收敛速度。实验表明,我们的模型可以学习100倍的速度比以前的每场景优化方法,同时在渲染质量上具有竞争力。在具有100帧的$512 \times 512$视频上训练我们的模型通常需要在单个RTX 3090 GPU上花费大约5分钟。代码将在我们的项目页面上发布:https://zju3dv.github.io/instant_nvr
2023-02-24 cs.AI cs.CV cs.GR
Rethinking 3D Noise: Learning 3D-Aware Video Priors via Optimization-Free Morphological Perturbations
Technical University of Munich(慕尼黑工业大学);Huawei Heisenberg Research Center(华为海森堡研究中心);Tavus(塔沃斯公司)
该研究针对3D场景表示在稀疏视图下的伪影问题,提出无优化的3D形态扰动正则化方法,结合3DGS实现更强几何先验,提升视频模型的3D感知能力及下游机器人操纵任务的成功率。
2026-09-04 cs.CV
SHACIRA: Scalable HAsh-grid Compression for Implicit Neural Representations
University of Maryland(马里兰大学)
本文提出SHACIRA框架,通过量化潜权重重参数化与潜空间熵正则化压缩Instant-NGP式特征网格,在图像、视频和辐射场上以更少内存取得优于现有INR方法的效果。
2023-09-27 cs.AI cs.CV cs.LG