Fast Encoding and Decoding for Implicit Video Representation
University of Maryland, College Park(马里兰大学帕克分校);New York University(纽约大学);University of Central Florida(中佛罗里达大学)
本文针对视频隐式神经表示编码时间长的问题,提出基于transformer的超网络NeRV-Enc实现快速编码,及并行解码器NeRV-Dec实现高效视频加载,显著提升了视频编解码速度。
2024-10-15 cs.CV
Towards Generalising Neural Implicit Representations
University of Oxford(牛津大学)
与传统格式相比,神经隐式表示在有效存储3D数据方面已经显示出实质性的改进。然而,现有工作的重点主要是储存和随后的重建。在这项工作中,我们表明,与传统任务一起训练重建任务的神经表示可以产生更通用的编码,使重建质量与单任务训练相同,同时与单任务编码相比,传统任务的结果有所改善。我们重新制定的语义分割任务,创建一个更有代表性的任务,隐式表示上下文,并通过多任务实验重建,分类和分割,显示我们的方法学习功能丰富的编码,承认每个任务的同等性能。
2022-10-17 cs.CV
Improved Positional Encoding for Implicit Neural Representation based Compact Data Representation
InterDigital, Inc.(InterDigital公司)
提出一种具有更多频率基的新颖位置编码方法,在不增加复杂度的情况下提升隐式神经表示的重建质量,并在压缩和新视角合成任务中取得显著性能提升。
2023-11-10 cs.CV cs.LG eess.IV
Transferable End-to-end Room Layout Estimation via Implicit Encoding
Peking University(北京大学);Intel Labs(英特尔研究院)
我们研究的问题,估计从一个单一的全景图像的房间布局。以往的研究大多分为两个阶段:特征提取和参数化模型拟合。在这里,我们提出了一个端到端的方法,直接预测参数布局从输入的全景图像。它利用了一个隐式的编码过程,嵌入到潜在的空间参数布局。然后学习从图像到这个潜在空间的映射,使端到端的房间布局估计成为可能。然而,端到端方法有几个臭名昭著的缺点,尽管有许多有趣的属性。一个广泛提出的批评是,他们受到数据集偏见的困扰,并且不会转移到不熟悉的领域。我们的研究回应了这一共同信念。为此,我们建议使用语义边界预测图作为中间域。它在四个基准测试(Structured3D,PanoContext,S3DIS和Matterport3D)上带来了显着的性能提升,特别是在zero-shot传输设置中。将发布代码、数据和模型。
2021-12-21 cs.CV
S3-SLAM: Sparse Tri-plane Encoding for Neural Implicit SLAM
Northeastern University(东北大学);Peking University(北京大学)
针对神经隐式SLAM性能与参数量权衡问题,提出稀疏三平面编码,仅用2~4%参数实现512分辨率高效重建,并设计S3-SLAM与分层束调整,在三个数据集上以极少参数实现高质量跟踪与重建。
2024-04-28 cs.CV
HIVE: HIerarchical Volume Encoding for Neural Implicit Surface Reconstruction
Alibaba Group(阿里巴巴集团);Hong Kong University of Science and Technology(香港科技大学)
本文提出HIVE层次化体积编码,通过多尺度显式空间编码与稀疏结构提升神经隐式表面重建的细节与平滑性,在多个数据集上取得显著提升。
2024-08-03 cs.CV
LINR-PCGC: Lossless Implicit Neural Representations for Point Cloud Geometry Compression
Shanghai Jiao Tong University(上海交通大学);University of Missouri-Kansas City(密苏里大学-凯斯城分校)
本文提出首个基于隐式神经表示的无损点云几何压缩方法LINR-PCGC,通过组级编码框架、初始化策略和轻量级多尺度SparseConv网络加速编码并缩小解码器,在MVUB上比特流较G-PCC和SparsePCGC分别降低约21.21%和21.95%。
2025-07-21 cs.AI cs.CV
HIIF: Hierarchical Encoding based Implicit Image Function for Continuous Super-resolution
Visual Information Laboratory, University of Bristol(布里斯托大学视觉信息实验室);Netflix Inc.(网飞公司)
HIIF通过引入层次位置编码和多头线性注意力机制,提升连续图像超分辨率的PSNR性能。
2024-12-04 cs.CV
NICE-SLAM: Neural Implicit Scalable Encoding for SLAM
Zhejiang University(浙江大学);ETH Zurich(苏黎世联邦理工学院);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所);Lund University(隆德大学);University of Amsterdam(阿姆斯特丹大学);Microsoft(微软)
神经隐式表示最近在各个领域显示出令人鼓舞的结果,包括在同时定位与地图构建(SLAM)中的有希望的进展。然而,现有的方法产生过平滑的场景重建,并且难以扩展到大场景。这些限制主要是由于它们简单的全连接网络架构,不将本地信息纳入观测。在本文中,我们提出了NICE-SLAM,一个密集的SLAM系统,通过引入层次化的场景表示,结合了多层次的本地信息。使用预先训练的几何先验优化这种表示,可以在大型室内场景上进行详细的重建。与最近的神经隐式SLAM系统相比,我们的方法更具可扩展性,高效性和鲁棒性。在五个具有挑战性的数据集上的实验表明,NICE-SLAM在映射和跟踪质量方面都具有竞争力。项目页面:https://pengsongyou.github.io/nice-slam
2022-04-21 cs.CV
PINs: Progressive Implicit Networks for Multi-Scale Neural Representations
Imperial College London(帝国理工学院);Meta
多层感知器(MLP)已被证明是有效的场景编码器时,与高维投影的输入,通常被称为\textit{positional encoding}。然而,具有宽频谱的场景仍然是一个挑战:选择高频率进行位置编码会在低结构区域引入噪声,而低频率会导致细节区域的拟合不良。为了解决这个问题,我们提出了一个渐进的位置编码,暴露一个分层MLP结构的频率编码的增量集。我们的模型准确地重建宽频带的场景,并在渐进的细节层次\textit{without explicit per-level supervision}学习场景表示。该架构是模块化的:每一级对连续的隐式表示进行编码,该连续的隐式表示可以针对其各自的分辨率被单独地利用,这意味着用于较粗糙的重建的网络较小。在几个2D和3D数据集上的实验表明,与基线相比,重建精度,表示能力和训练速度都有所提高。
2022-06-16 cs.CV
Meta-INR: Efficient Encoding of Volumetric Data via Meta-Learning Implicit Neural Representation
University of Notre Dame(圣母大学)
针对INR为每个新体积从头训练效率低的问题,提出Meta-INR元学习预训练策略,从体数据集部分观测学习初始参数,提升泛化性与收敛速度,支持未见数据编码及模拟参数分析等任务。
2025-02-12 cs.AI cs.CV cs.GR
DVN-SLAM: Dynamic Visual Neural SLAM Based on Local-Global Encoding
Shanghai Jiao Tong University(上海交通大学);University of Cambridge(剑桥大学);Imperial College London(伦敦帝国学院);University College London(伦敦大学学院)
提出DVN-SLAM,一种基于局部-全局融合神经隐式表示的实时动态视觉SLAM系统,通过信息集中损失优化,在多个数据集上实现竞争力定位建图,并显著提升动态场景鲁棒性。
2024-03-18 cs.CV
MINR: Efficient Implicit Neural Representations for Multi-Image Encoding
Department of EEE The University of Hong Kong Hong Kong SAR(电子工程系 香港大学 香港特别行政区)
本文提出 MINR,通过共享 INR 中间层并为每张图像增加投影层,在多图像编码中最多节省 60% 参数,同时保持可比性能,并可扩展到 100 张图像。
2025-08-19 cs.CV
COSMO-INR: Complex Sinusoidal Modulation for Implicit Neural Representations
Department of Electrical and Electronic Engineering(电气与电子工程系)
COSMO-INR通过复数正弦调制激活函数提升隐式神经表示的性能,实现图像重建、去噪、超分辨率等任务的显著改进。
2025-12-12 cs.CV
EvenNICER-SLAM: Event-based Neural Implicit Encoding SLAM
ETH Zurich(苏黎世联邦理工学院);INSAIT, Sofia University(保加利亚索菲亚大学INSAIT研究院)
针对低帧率或快速运动下神经隐式编码SLAM精度下降问题,提出EvenNICER-SLAM,通过在NICE-SLAM中加入事件损失反向传播流,利用事件相机提升RGB-D输入不足时的跟踪性能,增强系统鲁棒性。
2024-10-04 cs.CV
ImPosing: Implicit Pose Encoding for Efficient Visual Localization
MINES ParisTech(巴黎矿业学院);Huawei Technologies(华为技术有限公司)
我们提出了一种新的基于学习的视觉定位的车辆,可以在城市规模的环境中实时操作的配方。视觉定位算法使用一组地理参考图像或3D场景表示来确定捕获图像的位置和方向。我们的新定位范例,名为隐式姿势编码(ImPosing),将图像和相机姿势嵌入到具有2个独立神经网络的公共潜在表示中,以便我们可以计算每个图像姿势对的相似性得分。通过以分层方式评估潜在空间中的候选者,相机位置和取向不直接回归,而是递增地细化。非常大的环境迫使竞争对手存储千兆字节的地图数据,而我们的方法是非常紧凑的独立的参考数据库的大小。在本文中,我们描述了如何有效地优化我们的学习模块,如何将它们组合起来以实现实时定位,并在各种大规模场景中展示结果,这些结果在准确性和计算效率方面明显优于先前的工作。
2022-10-28 cs.CV cs.RO
SIEDD: Shared-Implicit Encoder with Discrete Decoders
University of Maryland(马里兰大学)
针对隐式神经表示视频压缩编码慢的问题,提出SIEDD架构,通过共享编码器冻结与离散解码器并行训练,在保持重建质量与坐标级控制的同时实现20-30倍编码加速。
2025-06-29 cs.AI cs.CV cs.LG
MC-INR: Efficient Encoding of Multivariate Scientific Simulation Data using Meta-Learning and Clustered Implicit Neural Representations
Korea University(韩国大学);University of Notre Dame(诺特大学)
MC-INR通过结合元学习和聚类技术,高效编码多变量科学模拟数据,提升复杂结构的表示能力与编码性能。
2025-07-03 cs.CV cs.LG
NICER-SLAM: Neural Implicit Scene Encoding for RGB SLAM
ETH Zürich(苏黎世联邦理工学院);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所);Lund University(隆德大学);Zhejiang University(浙江大学);University of Amsterdam(阿姆斯特丹大学);University of Tübingen(图宾根大学);Tübingen AI Center(图宾根人工智能中心);Microsoft(微软)
神经隐式表示最近在同时定位与地图构建(SLAM)中变得流行,特别是在密集视觉SLAM中。然而,以前在这个方向上的工作要么依赖于RGB-D传感器,要么需要单独的单目SLAM方法来进行相机跟踪,并且不产生高保真密集3D场景重建。在本文中,我们提出了NICER-SLAM,一个密集的RGB SLAM系统,同时优化相机姿势和分层神经隐式地图表示,这也允许高质量的新视图合成。为了促进映射的优化过程,我们整合了额外的监督信号,包括易于获得的单眼几何线索和光流,还引入了一个简单的翘曲损失,以进一步加强几何一致性。此外,为了进一步提高在复杂的室内场景中的性能,我们还提出了一个局部自适应转换从符号距离函数(SDF)的密度在体渲染绘制方程。在合成和真实世界数据集上,我们在密集映射、跟踪和新颖视图合成方面表现出强大的性能,甚至与最近的RGB-D SLAM系统竞争。
2023-02-07 cs.CV
Neural Motion Fields: Encoding Grasp Trajectories as Implicit Value Functions
NVIDIA(英伟达);University of Toronto(多伦多大学);University of Washington(华盛顿大学)
当前机器人拾取和放置方法的流水线通常由几个阶段组成:抓取姿势检测,为检测到的姿势找到逆运动学解,规划无碰撞轨迹,然后用低级跟踪控制器执行到抓取姿势的开环轨迹。虽然这些抓取方法在抓取桌面上的静态物体时表现出良好的性能,但在受限环境中抓取动态物体的问题仍然是一个悬而未决的问题。我们提出了神经运动场,一种新的对象表示编码的对象点云和相对的任务轨迹作为一个隐式的价值函数参数化的神经网络。这种以对象为中心的表示对SE(3)空间上的连续分布进行建模,并允许我们通过利用基于采样的MPC来优化该价值函数,从而被动地执行抓取。
2022-06-29 cs.CV cs.RO
Mushroom Segmentation and 3D Pose Estimation from Point Clouds using Fully Convolutional Geometric Features and Implicit Pose Encoding
School of Electrical and Computer Engineering, National Technical University of Athens(雅典国立技术大学电气与计算机工程学院)
本文提出一种基于全卷积几何特征和隐式姿态编码的深度学习方法,利用合成点云数据训练网络,实现蘑菇分割与三维姿态估计,并在真实数据上验证有效性。
2024-04-17 cs.CV
Implicit Neural Representation Facilitates Unified Universal Vision Encoding
TikTok
本文提出一种首创的隐式神经表示超网络,统一图像识别与生成任务,通过知识蒸馏提升泛化能力,并在多种视觉任务中表现优异。
2026-01-20 cs.CV
GlORIE-SLAM: Globally Optimized RGB-only Implicit Encoding Point Cloud SLAM
ETH Zürich(苏黎世联邦理工学院);University of Bologna(博洛尼亚大学);Rock Universe;KU Leuven(鲁汶大学);INSAIT;University of Amsterdam(阿姆斯特丹大学)
提出GlORIE-SLAM,一种仅RGB的稠密SLAM系统,采用点云神经表示和DSPO层优化位姿深度,结合回环检测与全局BA,在多个数据集上达到先进精度。
2024-05-27 cs.CV cs.RO
LIFT: Latent Implicit Functions for Task- and Data-Agnostic Encoding
University of Toronto(多伦多大学);Vector Institute(向量研究所);University Health Network(大学健康网络)
本研究提出用于任务与数据无关编码的LIFT框架及增强版ReLIFT,通过元学习结合多并行局部隐式函数与分层潜在生成器实现多尺度表征,在多类任务中取得SOTA性能并降低计算成本。
2025-03-19 cs.CV cs.LG
Anti-Aliased Neural Implicit Surfaces with Encoding Level of Detail
Najing University(南京大学);Tencent AI Lab(腾讯人工智能实验室)
本文提出 LoD-NeuS,通过多尺度三平面表示和误差引导采样策略,在神经隐式表面中实现细节层次编码,从而提升高频几何恢复与反走样新视角渲染质量。
2023-09-19 cs.CV cs.GR
Coordinate Quantized Neural Implicit Representations for Multi-view Reconstruction
Wayne State University(韦恩州立大学)
针对多视图三维重建中高频位置编码导致优化不稳定的问题,提出坐标量化的神经隐式表示方法,通过离散坐标增强多视图一致性约束,提升重建效果且无额外计算负担。
2023-08-21 cs.CV
Polynomial Implicit Neural Representations For Large Diverse Datasets
Arizona State University(亚利桑那州立大学)
隐式神经表示(INR)在许多终端任务的信号和图像表示中获得了极大的普及,例如超分辨率,3D建模等。大多数INR架构依赖于正弦位置编码,其考虑了数据中的高频信息。然而,有限的编码大小限制了模型的表示能力。从表示单个给定图像到表示大型和多样化的数据集,需要更高的表示能力。我们的方法通过用多项式函数表示图像来解决这个差距,并且消除了对位置编码的需要。因此,为了实现逐步更高的多项式表示,我们在每个ReLU层之后使用特征和仿射变换坐标位置之间的元素乘法。该方法在ImageNet等大型数据集上进行了定性和定量评估。所提出的Poly-INR模型可以在没有任何卷积、归一化或自我注意层的情况下执行最先进的生成模型,并且具有更少的可训练参数。通过更少的训练参数和更高的代表性,我们的方法为更广泛地采用INR模型在复杂领域中进行生成式建模任务铺平了道路。代码可在\url{https://github.com/Rajhans0/Poly_INR}上获得
2023-03-20 cs.CV
HR-NeuS: Recovering High-Frequency Surface Geometry via Neural Implicit Surfaces
UC Berkeley(加州大学伯克利分校);Amazon(亚马逊)
用于多视图3D重建的神经隐式表面的最新进展主要集中在提高大规模表面重建精度上,但通常会产生缺乏精细表面细节的过度平滑的几何形状。为了解决这个问题,我们提出了高分辨率NeuS(HR-NeuS),这是一种新的神经隐式表面重建方法,可以恢复高频表面几何形状,同时保持大规模重建精度。我们通过利用(i)多分辨率哈希网格编码而不是高频位置编码来实现这一点,这提高了我们的模型对局部几何细节的表达能力;(ii)一个由粗到细的算法框架,该框架选择性地将表面正则化应用于粗糙几何形状,而不会平滑精细细节;(iii)一个由粗到细的网格退火策略来训练网络。我们通过对DTU和BlendedMVS数据集的实验证明,与以前的方法相比,我们的方法产生的3D几何形状在质量上更详细,在数量上具有相似的精度。
2023-02-14 cs.CV
Encoding Semantic Priors into the Weights of Implicit Neural Representation
School of Electronic Science and Engineering, Nanjing University(南京大学电子科学与工程学院)
本文提出 SPW 重参数化方法,通过语义神经网络和权重生成网络将语义先验编码进 INR 权重,在不增加推理成本的情况下提升图像拟合、CT/MRI 重建和新视角合成等任务的性能。
2024-06-06 cs.CV
3D-IDE: 3D Implicit Depth Emergent
School of Computing, Australian National University(澳大利亚国立大学计算学院);School of EECS, The University of Queensland(昆士兰大学电气工程与计算机科学学院);FreiNexus;School of Artificial Intelligence, Beijing Normal University(北京师范大学人工智能学院)
本文提出3D-IDE方法,通过几何自监督学习实现3D感知的隐式涌现,消除了深度和姿态依赖,提升推理效率和多任务性能。
2026-03-28 cs.AI cs.CV
NIRVANA: Neural Implicit Representations of Videos with Adaptive Networks and Autoregressive Patch-wise Modeling
University of Maryland(马里兰大学);Snap Inc(Snap公司)
隐式神经表示(INR)最近被证明是高质量视频压缩的强大工具。然而,现有的作品是有限的,因为它们没有明确地利用视频中的时间冗余,导致编码时间长。此外,这些方法具有固定的架构,不能扩展到更长的视频或更高的分辨率。为了解决这些问题,我们提出了NIRVANA,它将视频视为一组帧,并将单独的网络适配到每个组,执行分片预测。这种设计在空间和时间维度上在每个组内共享计算,从而减少视频的编码时间。视频表示是自回归建模的,网络适合使用来自前一组模型的权重初始化的当前组。为了进一步提高效率,我们在训练过程中对网络参数进行量化,不需要事后修剪或量化。与以前在基准UVG数据集上的工作相比,NIRVANA将编码质量从37.36提高到37.70(就PSNR而言),编码速度提高了12倍,同时保持相同的压缩率。与之前的视频INR作品相比,这些作品需要更大的分辨率和更长的视频,我们表明我们的算法非常灵活,并且由于其补丁和自回归设计而自然扩展。此外,我们的方法实现可变比特率的压缩,通过适应不同的帧间运动的视频。NIRVANA实现了6倍的解码速度,并可与更多GPU进行良好的扩展,使其适用于各种部署场景。
2022-12-30 cs.CV
Text-to-Image Generation via Implicit Visual Guidance and Hypernetwork
University of Chicago(芝加哥大学);Adobe Research(奥多比研究院);University of Surrey(萨里大学)
我们开发了一种方法,文本到图像的生成,包括额外的检索图像,隐含的视觉指导损失和生成目标的组合驱动。与大多数现有的文本到图像的生成方法,仅仅把文本作为输入,我们的方法动态饲料的跨模态搜索结果到一个统一的训练阶段,从而提高质量,可控性和多样性的生成结果。我们提出了一种新的超网络调制的视觉-文本编码方案来预测编码层的权重更新,使视觉信息(例如布局,内容)有效地转移到相应的潜在域。实验结果表明,我们的模型指导额外的检索视觉数据优于现有的基于GAN的模型。在COCO数据集上,与最先进的方法相比,我们用最多$3.5 \times$更少的生成器参数实现了$9.13$的更好的FID。
2022-08-17 cs.CV
NeuDA: Neural Deformable Anchor for High-Fidelity Implicit Surface Reconstruction
Alibaba Group(阿里巴巴集团)
本文研究了利用可微光线投射的隐式曲面重建。以前的工作,如IDR和NeuS忽略了在3D空间中的空间上下文时,预测和渲染的表面,从而可能无法捕捉尖锐的局部拓扑结构,如小孔和结构。为了减轻这种限制,我们提出了一种灵活的神经隐式表示,利用分层体素网格,即神经变形锚(NeuDA),用于高保真表面重建。NeuDA维护分层锚网格,其中每个顶点存储3D位置(或锚),而不是直接嵌入(或特征)。我们优化锚网格,使不同的局部几何结构可以自适应编码。此外,我们深入研究了频率编码策略,并引入了一种简单的分层位置编码方法的层次锚结构,灵活地利用高频和低频的几何和外观的属性。在DTU和BlendedMVS数据集上的实验表明,NeuDA可以产生有前途的网格表面。
2023-03-26 cs.CV
Lift, Splat, Shoot: Encoding Images From Arbitrary Camera Rigs by Implicitly Unprojecting to 3D
NVIDIA(英伟达);University of Toronto(多伦多大学);Vector Institute(向量研究所)
自主车辆感知的目标是从多个传感器中提取语义表示,并将这些表示融合到单个“鸟瞰”坐标框架中,以供运动规划使用。我们提出了一个新的端到端的架构,直接提取一个鸟瞰图表示的场景给定的图像数据从任意数量的摄像机。我们的方法背后的核心思想是将每个图像单独“提升”到每个相机的特征截头体中,然后将所有截头体“splat”到栅格化的鸟瞰图网格中。通过对整个相机装备进行训练,我们提供了证据,证明我们的模型不仅能够学习如何表示图像,还能够学习如何将所有相机的预测融合到场景的单个内聚表示中,同时对校准误差具有鲁棒性。在标准的鸟瞰任务,如对象分割和地图分割,我们的模型优于所有基线和以前的工作。在追求学习密集表示运动规划的目标,我们表明,我们的模型推断的表示,使可解释的端到端的运动规划通过“拍摄”模板轨迹到鸟瞰成本地图输出我们的网络。我们将我们的方法与使用激光雷达的Oracle深度的模型进行基准测试。项目页面代码:https://nv-tlabs.github.io/lift-splat-shoot.
2020-08-13 cs.CV
Frame Interpolation for Dynamic Scenes with Implicit Flow Encoding
Texas A&M University(德州农工大学)
在本文中,我们提出了一种算法,插值之间的一对图像的动态场景。虽然在过去的几年中,帧内插已经取得了重大进展,但当前的方法不能处理具有亮度和照明变化的图像,即使当图像被短暂地分开捕获时,亮度和照明变化也是常见的。我们建议解决这个问题,利用现有的光流的方法,是高度鲁棒的照明的变化。具体来说,使用使用现有的预训练流网络估计的双向流,我们预测从中间帧到两个输入图像的流。为此,我们建议将双向流编码到一个基于坐标的网络中,由超网络提供动力,以获得跨时间的流的连续表示。一旦我们获得了估计的流,我们就在现有的混合网络中使用它们来获得最终的中间帧。通过大量的实验,我们证明,我们的方法是能够产生显着更好的结果比国家的最先进的帧插值算法。
2022-11-16 cs.CV cs.LG
On the Effectiveness of Weight-Encoded Neural Implicit 3D Shapes
University of Toronto(多伦多大学);McGill University(麦吉尔大学)
神经隐式输出一个数字,指示空间中给定的查询点是在内部、外部还是在表面上。许多先前的工作都集中在_latent-encoded_ neural implantation上,其中特定形状的潜在向量编码也作为输入。虽然提供了潜在空间插值,但这是以任何单一形状的重建精度为代价的。针对每个3D形状训练特定的网络,_weight-encoded_ neural implicit可以放弃潜在向量并将重建精度集中在单个形状的细节上。虽然以前被认为是3D扫描任务的中间表示或作为导致潜在编码任务的玩具问题,但权重编码神经隐式尚未被认真对待作为3D形状表示。在本文中,我们建立了权重编码的神经隐式满足第一类3D形状表示的标准。我们介绍了一套技术贡献,以提高重建精度,收敛性和鲁棒性时,学习有符号的距离场引起的多边形网格-事实上的标准表示。作为一个有损压缩,我们的转换优于标准技术的几何处理。与以前的潜在和权重编码的神经隐式相比,我们表现出优越的鲁棒性,可扩展性和性能。
2021-01-17 cs.CG cs.CV cs.GR
PermutoSDF: Fast Multi-View Reconstruction with Implicit Surfaces using Permutohedral Lattices
University of Bonn(波恩大学)
神经辐射密度场方法已成为越来越受欢迎的任务,新的视图渲染。他们最近对基于哈希的位置编码的扩展确保了快速的训练和推理,并获得了视觉上令人满意的结果。然而,基于密度的方法难以恢复精确的表面几何形状。混合方法通过基于底层SDF优化密度来缓解此问题。然而,目前的SDF方法过于平滑,错过了精细的几何细节。在这项工作中,我们结合了这两条线的工作在一个新的基于哈希的隐式表面表示的优势。我们提出了改进的两个领域,取代体素哈希编码与permutohedral晶格优化速度更快,特别是对于更高的维度。我们还提出了一个正则化方案,这是至关重要的恢复高频几何细节。我们在多个数据集上评估了我们的方法,并表明我们可以在仅使用RGB图像进行监督的情况下恢复毛孔和皱纹级别的几何细节。此外,使用球体跟踪,我们可以在RTX 3090上以30 fps的速度渲染新视图。代码可在https://radualexandru.github.io/permuto_sdf上公开获取
2023-03-28 cs.CV
Y-Autoencoders: disentangling latent representations via sequential-encoding
University of Edinburgh(爱丁堡大学);Snap Inc.(Snap公司)
在过去的几年里,生成模型有了重要的进步,两种主要的方法是生成对抗网络(GANs)和变分自编码器(VAE)。然而,标准的自动编码器(AE)和密切相关的结构仍然很受欢迎,因为它们易于训练并适应不同的任务。一个有趣的问题是,我们是否可以在保持AE良好特性的同时实现最先进的性能。我们提出了一个答案,这个问题通过引入一个新的模型称为Y-自动编码器(Y-AE)。Y-AE的结构和训练过程将表征分为内隐和外显两部分。隐式部分类似于自动编码器的输出,显式部分与训练集中的标签密切相关。在解码和重新编码之前,通过将编码器的输出分成两条路径(形成Y形),在潜在空间中将这两个部分分开。然后,我们施加了一些损失,如重建损失,以及损失的依赖关系之间的隐式和显式的部分。此外,显式流形中的投影由预测器监控,该预测器嵌入在编码器中并进行端到端训练,没有对抗性损失。我们提供了显着的实验结果,在各个领域,如分离的风格和内容,图像到图像的翻译,和逆图形。
2019-07-25 cs.CV cs.LG
WIRE: Weight Space Implicit Representation Encoding of Frozen Video LLMs
Tel Aviv University(特拉维夫大学);Ben-Gurion University of the Negev(内盖夫本-古里安大学)
WIRE 是一种通过将冻结视频语言模型的部分计算转移到权重低秩更新来降低长视频处理成本的方法,在 Qwen3-VL-8B 上可压缩视觉流、减少预填充时间并保持解码延迟,在 256 帧基准中准确率最优。
2026-10-14 cs.CV
Implicit Neural Representation for Video Restoration
Clemson University, School of Computing(克莱姆森大学计算机学院)
提出基于隐式神经表示的 VR-INR,仅用 ×4 尺度训练即可泛化到任意超分辨率尺度,并对含噪视频实现零样本去噪,重建质量优于现有方法。
2025-06-05 cs.CV
On Optimal Sampling for Learning SDF Using MLPs Equipped with Positional Encoding
University of Hong Kong(香港大学);University of British Columbia(不列颠哥伦比亚大学);City University of Hong Kong(香港城市大学);Zhejiang University(浙江大学);Texas A&M University(德克萨斯农工大学)
本文通过傅里叶分析提出一种估计配备位置编码的MLP固有频率的方法,并基于奈奎斯特-香农采样定理确定最优训练采样率,有效消除SDF学习中的噪声伪影并提升拟合性能。
2024-12-22 cs.CV cs.GR cs.LG
Improved Implicit Neural Representation with Fourier Reparameterized Training
School of Computer Science and Engineering, UESTC(电子科技大学计算机科学与工程学院)
本文提出傅里叶重参数化方法,通过学习固定傅里叶基的系数矩阵来缓解MLP的频谱偏置,从而提升隐式神经表示的精度与质量。
2024-07-04 cs.CV
Toward Spatially Unbiased Generative Models
Seoul National University(首尔国立大学);Samsung SDS(三星SDS)
最近的图像生成模型显示出显着的生成性能。然而,它们反映了数据集中强烈的位置偏好,我们称之为空间偏差。因此,生成器在不可见的位置和比例处渲染较差的采样。我们认为,生成器依赖于他们的隐式位置编码渲染空间内容。根据我们的观察,生成器的隐式位置编码是可变的,使得生成器在空间上有偏差。为了解决这个问题,我们建议在生成器的每个尺度上注入显式位置编码。通过学习空间无偏生成器,我们促进了在多个任务中的生成器的鲁棒使用,例如GAN反演、多尺度生成、任意尺寸和纵横比的生成。此外,我们表明,我们的方法也可以适用于去噪扩散概率模型。
2021-08-03 cs.CV cs.LG
Implicit neural representations for larval zebrafish brain microscopy: a reproducible benchmark on the MapZebrain atlas
Institute of Fundamental Technological Research Polish Academy of Sciences(波兰科学院基础技术研究所)
本文提出一个可重复的隐式神经表示基准,用于评估高分辨率幼年斑马鱼显微镜图像的重建质量,比较不同方法在保持神经结构边界方面的性能。
2026-03-26 cs.AI cs.CV cs.LG
Consistency of Implicit and Explicit Features Matters for Monocular 3D Object Detection
DiDi Chuxing(滴滴出行)
包括自动驾驶汽车在内的低成本自主智能体主要采用单目3D目标检测来感知周围环境。本文研究了三维中间表示方法,为后续任务生成中间三维特征。例如,3D特征不仅可以作为检测的输入,还可以作为需要鸟瞰图特征表示的端到端预测和/或规划的输入。在这项研究中,我们发现,在生成3D表示以前的方法不保持对象的隐式姿势之间的一致性在潜在的空间,特别是方向,并明确观察到的姿势在欧几里得空间,这可能会大大损害模型的性能。为了解决这个问题,我们提出了一种新的单目检测方法,第一个是意识到的姿势,有目的地保证他们是一致的隐式和显式的功能。此外,我们引入了一个本地射线注意力机制,有效地将图像特征转换为体素在准确的3D位置。第三,我们提出了一个手工制作的高斯位置编码函数,它优于正弦编码函数,同时保留了连续的好处。结果表明,我们的方法提高了3.15%的最先进的3D中间表示方法。在KITTI排行榜上,截至结果提交时间,我们在3D和BEV检测基准的所有报告单眼方法中排名第一。
2022-11-27 cs.CV
Geo-PIFu: Geometry and Pixel Aligned Implicit Functions for Single-view Human Reconstruction
Adobe Research(Adobe研究院);University of Surrey(萨里大学)
我们提出了地理PIFU,一种方法来恢复从一个穿着衣服的人的单眼彩色图像的三维网格。我们的方法是基于一个深隐式的基于函数的表示学习潜在的体素功能,使用结构感知的3D U-网,约束模型在两个方面:第一,解决查询点编码中的特征模糊性,第二,作为一个粗略的人类形状代理,以规范化高分辨率网格,并鼓励全球形状规则。我们表明,通过编码查询点和约束全局形状使用潜在的体素功能,我们获得的重建穿着人体网格具有更少的形状失真和改进的表面细节相比,竞争的方法。我们评估Geo-PIFu最近的人类网格公共数据集是$10 \times$大于PIFu和以前的衍生工作中使用的私人商业数据集。平均而言,我们通过倒角和点到表面距离的$42.7\%$减少以及法向估计误差的$19.4\%$减少超过了最新技术水平。
2020-12-07 cs.CV cs.GR cs.LG
Implicit Neural Representations for Image Compression
ETH Zurich(苏黎世联邦理工学院);Technical University of Munich(慕尼黑工业大学);Google(谷歌)
近年来,隐式神经表征(INRs)作为一种新颖有效的数据表征方法受到了广泛关注。到目前为止,以前的工作主要集中在优化其重建性能。这项工作从一个新的角度研究INR,即,作为图像压缩的工具。为此,我们提出了第一个全面的压缩管道的基础上,包括量化,量化意识的再训练和熵编码的INR。用INR编码,即过拟合到数据样本,通常慢几个数量级。为了缓解这一缺点,我们利用基于MAML的元学习初始化,以更少的梯度更新实现编码,这通常也会提高INR的率失真性能。我们发现,我们使用INR进行源压缩的方法大大优于类似的先前工作,与专门为图像设计的常见压缩算法相比具有竞争力,并缩小了与基于率失真自动编码器的最先进学习方法的差距。此外,我们提供了一个广泛的消融研究的重要性,我们的方法,我们希望有利于这种新的方法,图像压缩未来的研究。
2022-08-03 cs.CV cs.LG eess.IV
How to Design and Train Your Implicit Neural Representation for Video Compression
University of Maryland, College Park(马里兰大学 College Park 分校)
本文通过解耦 NeRV 家族组件提出 RNeRV 配置,在同等训练时间下提升视频压缩 PSNR,并利用权重掩码超网络实现实时编码与更高质量压缩。
2025-06-30 cs.CV
MedIL: Implicit Latent Spaces for Generating Heterogeneous Medical Images at Arbitrary Resolutions
University of Virginia(弗吉尼亚大学)
针对医学图像尺寸异质、重采样丢失细节的问题,提出首个支持任意分辨率编码的自动编码器MedIL,通过隐式神经表示保留临床特征,提升扩散模型生成图像质量,接近原始临床采集效果。
2025-04-12 cs.CV cs.LG
INR-Bench: A Unified Benchmark for Implicit Neural Representations in Multi-Domain Regression and Reconstruction
School of Computer Science and Technology, Tongji University(同济大学计算机科学与技术学院);School of Electrical Engineering and Computer Science, The University of Queensland(昆士兰大学电气工程与计算机科学学院);Department of Automation, Shanghai Jiao Tong University(上海交通大学自动化学院)
基于NTK理论分析模型架构、位置编码等因素对INR的影响,提出首个多模态INR综合基准INR-Bench,涵盖78种模型变体与9项正逆向任务,为未来研究奠定基础。
2025-10-11 cs.CV cs.LG
Residual-INR: Communication Efficient On-Device Learning Using Implicit Neural Representation
Georgia Institute of Technology(佐治亚理工学院);Samsung Semiconductor, Inc.(三星半导体公司)
提出Residual-INR框架,利用隐式神经表示压缩图像为网络权重,减少边缘设备间数据传输,实现通信高效的设备端学习,提升速度且不损精度。
2024-12-16 cs.AI cs.CV cs.DC
Benchmarking Implicit Neural Representation and Geometric Rendering in Real-Time RGB-D SLAM
AI Thrust, HKUST(GZ)(香港科技大学(广州)AI部门);Dept. of CSE, HKUST(香港科技大学计算机科学与工程系)
本文构建了首个开源基准框架,系统评测实时RGB-D SLAM中多种隐式神经表示与几何渲染函数对建图和定位的影响,并提出混合编码策略以兼顾精度、完整性与计算效率。
2024-03-28 cs.CV
Encoding Spatial Relations from Natural Language
DeepMind(深度思维)
自然语言处理在通过分布式方法学习单词语义方面取得了重大进展,但是通过这些方法学习的表示无法捕获现实世界中隐含的某些类型的信息。特别是,空间关系的编码方式是不符合人类的空间推理和缺乏不变性的观点的变化。我们提出了一个系统,能够捕捉语义的空间关系,如后面,离开,等从自然语言。我们的主要贡献是一个新的多模态目标的基础上产生的图像的场景,从他们的文字描述,和一个新的数据集上,训练它。我们表明,内部表示是强大的意义保持变换的描述(释义不变性),而观点不变性是一个新兴的属性系统。
2018-07-05 cs.AI cs.CL cs.CV
Cross-Frequency Implicit Neural Representation with Self-Evolving Parameters
School of Mathematics and Statistics, Xi’an Jiaotong University(西安交通大学数学与统计学院);School of Automation Science and Engineering, Faculty of Electronic and Information Engineering, Xi’an Jiaotong University(西安交通大学电子与信息学部自动化科学与工程学院);School of Mathematical Science, University of Electronic Science and Technology of China(电子科技大学数学科学学院)
针对经典隐式神经表示(INR)需手动配置参数且在原始空间混合频率成分的问题,提出基于 Haar 小波变换的自进化跨频率INR(CF-INR),通过张量分解自动更新参数,在多视觉任务中性能优于现有方法。
2025-04-15 cs.CV