3D LiDAR Mapping in Dynamic Environments Using a 4D Implicit Neural Representation
University of Bonn(波恩大学);Lamarr Institute for Machine Learning and Artificial Intelligence(拉马尔机器学习与人工智能研究院)
本文提出一种基于4D隐式神经表示的LiDAR建图方法,通过拟合时间相关的截断有符号距离函数并过滤动态部分,在无监督方式下联合优化稀疏特征网格、共享解码器和时间基函数,实现动态环境中准确完整的静态3D地图重建,性能优于现有方法。
2024-05-06 cs.CV cs.RO
Monocular Human Digitization via Implicit Re-projection Networks
Korea Electronics Technology Institute (KETI)(韩国电子技术研究院(KETI))
我们提出了一种方法来生成三维人体模型的图像。我们的框架的关键是,我们预测双面正交深度图和彩色图像从一个单一的透视投影图像。我们的框架由三个网络组成。第一个网络预测法线贴图,以恢复衣服和面部区域中的皱纹等几何细节。第二个网络通过利用预测的法线映射来预测前视图和后视图的阴影去除图像。最后一个多头网络采用法线图和无阴影图像,并预测深度图,同时通过多头注意力门选择性地融合光度和几何信息。实验结果表明,我们的方法显示出视觉上合理的结果和竞争力的表现,在各种评价指标超过国家的最先进的方法。
2022-05-16 cs.CV
Vox-Fusion++: Voxel-based Neural Implicit Dense Tracking and Mapping with Multi-maps
Zhejiang University(浙江大学);CARDC(中国空气动力研究与发展中心);Hangzhou Dianzi University(杭州电子科技大学)
本文提出Vox-Fusion++,一种基于体素神经隐式表示和多地图策略的稠密跟踪与建图系统,通过八叉树划分、多进程框架及回环检测优化,在重建质量和精度上超越现有方法,并支持增强现实与协同建图。
2024-03-19 cs.CV
Inferring Implicit 3D Representations from Human Figures on Pictorial Maps
ETH Zurich(苏黎世联邦理工学院);University of Cambridge(剑桥大学)
本研究提出一种自动化工作流程,利用神经网络从图画地图上的单视图人体图形推断3D隐式表示,通过深度估计、SDF推断、纹理生成与补全等步骤生成3D模型,可用于数字3D地图的动画与故事讲述。
2023-03-25 cs.CV
D$^2$IM-Net: Learning Detail Disentangled Implicit Fields from Single Images
Simon Fraser University(西蒙弗雷泽大学)
我们提出了第一个单视图三维重建网络,旨在从输入图像中恢复几何细节,其中包括拓扑形状结构和表面特征。我们的关键思想是训练网络学习由两个函数组成的详细的解纠缠重建,一个隐式字段表示粗略的3D形状,另一个捕获细节。给定一个输入图像,我们的网络,创造D $^2$ IM-Net,将其编码为全局和局部特征,分别输入到两个解码器。基本解码器使用全局特征来重建粗略的隐式场,而细节解码器从局部特征重建在捕获对象的正面和背面上定义的两个位移图。最终的3D重建是基础形状和位移图之间的融合,其中三个损失通过新的拉普拉斯项强制恢复粗糙形状、整体结构和表面细节。
2020-12-17 cs.CV
Environment Maps Editing using Inverse Rendering and Adversarial Implicit Functions
Sapienza, University of Rome(罗马第一大学);University of Modena and Reggio Emilia(摩德纳-雷焦艾米利亚大学)
本文提出结合可微逆渲染与带权重对抗扰动的隐式神经表示来编辑 HDR 环境贴图,在保持背景、反射和视觉一致性的同时实现低成本、平滑的光照操控。
2024-10-24 cs.CV cs.GR
IVGT: Implicit Visual Geometry Transformer for Neural Scene Representation
Intelligent Vision Group, Tsinghua University(清华大学智能视觉组)
本文提出IVGT,一种隐式视觉几何变换器,通过无姿态多视角图像隐式建模连续且一致的几何结构,从而实现神经场景表示,支持在任意3D位置进行连续空间查询,以预测签名距离和颜色,并在多个任务中表现出色。
2026-05-21 cs.AI cs.CV cs.RO
STAIR: Semantic-Targeted Active Implicit Reconstruction
Institute of Geodesy and Geoinformation, University of Bonn(波恩大学大地测量与地理信息研究所);Lamarr Institute for Machine Learning and Artificial Intelligence(拉马尔机器学习与人工智能研究所)
针对自主机器人主动重建语义目标的需求,提出基于隐式神经表示与语义渲染的规划框架,提升重建质量并优于显式地图方法。
2024-03-17 cs.CV cs.RO
Neural Implicit Vision-Language Feature Fields
Swiss Federal Institute of Technology in Zürich(苏黎世联邦理工学院);The University of Queensland(昆士兰大学)
最近,在开放词汇语义图像分割方面取得了突破性的成果。这些方法将图像中的每个像素分割成在运行时以文本提示的形式提供的任意类别,而不是在训练时定义的固定类别集。在这项工作中,我们提出了一个zero-shot体积开放词汇语义场景分割方法。我们的方法建立在我们可以将来自视觉语言模型的图像特征融合到神经隐式表示中的见解之上。我们表明,由此产生的功能字段可以分割成不同的类分配点到自然语言文本提示。隐式的体积表示使我们能够分割场景在3D和2D渲染特征图从任何给定的观点的场景。我们表明,我们的方法适用于嘈杂的现实世界的数据,并可以实时运行的实时传感器数据动态调整文本提示。我们还对ScanNet数据集进行了定量比较。
2023-03-20 cs.CV cs.RO
Single Image Super-Resolution via a Dual Interactive Implicit Neural Network
The University of Texas at Arlington(德克萨斯大学阿灵顿分校)
在本文中,我们介绍了一种新的隐式神经网络的任务,单图像超分辨率在任意比例因子。为此,我们将图像表示为解码函数,该解码函数将图像中的位置及其相关特征映射到其互逆像素属性。由于像素位置在这种表示中是连续的,因此我们的方法可以参考不同分辨率图像中的任何位置。为了检索特定分辨率的图像,我们将解码函数应用于位置网格,每个位置都指向输出图像中像素的中心。与其他技术相比,我们的双重交互式神经网络将内容和位置特征结合起来。因此,我们获得了一个完全隐式的图像表示,解决了超分辨率问题(实值)选修尺度使用一个单一的模型。我们证明了我们的方法对最先进的公开可用的基准数据集的有效性和灵活性。
2022-10-23 cs.CV cs.RO
MotionFlow:Learning Implicit Motion Flow for Complex Camera Trajectory Control in Video Generation
Zhejiang University(浙江大学);Tsinghua University(清华大学);Beihang University(北航);Zhejiang Gongshang University(浙江工商大学);ShengShu(盛舒)
提出MotionFlow方法,通过将相机与物体运动转化为像素运动并利用稳定扩散网络学习参考运动图,实现复杂相机轨迹下的视频生成,大幅超越现有最优方法。
2025-09-25 cs.CV
Learning to Predict Scene-Level Implicit 3D from Posed RGBD Data
University of Michigan(密歇根大学)
本研究提出D2-DRDF方法,仅用带位姿的RGBD图像即可训练场景级隐式三维重建模型,性能可比肩甚至超越网格监督方法,对稀疏数据鲁棒性更强,有望挖掘手机端海量加速度计+RGBD数据价值。
2023-06-14 cs.CV
CasTex: Cascaded Text-to-Texture Synthesis via Explicit Texture Maps and Physically-Based Shading
HSE University(俄罗斯莫斯科高等经济大学);Yandex Research(Yandex研究)
CasTex通过级联扩散模型实现文本到纹理合成,采用显式纹理参数化提升生成质量,优于现有优化方法。
2026-01-13 cs.CV
Implicit Neural Video Compression
Qualcomm AI Research(高通人工智能研究院)
我们提出了一种方法来压缩全分辨率视频序列与隐式神经表示。每个帧被表示为将坐标位置映射到像素值的神经网络。我们使用一个单独的隐式网络来调制坐标输入,这使得帧之间的有效运动补偿。与一个小的残差网络一起,这使我们能够相对于前一帧有效地压缩P帧。我们通过使用学习的整数量化存储网络权重来进一步降低比特率。我们的方法,我们称之为隐式像素流(IPF),在已建立的神经视频编解码器上提供了几个简化:它不需要接收器访问预训练的神经网络,不使用昂贵的基于插值的扭曲操作,并且不需要单独的训练数据集。我们证明了神经隐式压缩图像和视频数据的可行性。
2021-12-21 cs.CV cs.LG
Constructing High-Order Signed Distance Maps from Computed Tomography Data with Application to Bone Morphometry
University of Calgary(卡尔加里大学)
本文提出了一种构造两相材料计算机层析成像高阶有符号距离场的算法。带符号距离场是高阶的,因为它没有与采样信号的距离变换相关联的量化伪影。窄带解决了使用最近点算法扩展的隐式嵌入,不是一个有符号的距离场。高阶快速扫描算法用于将窄带扩展到域的其余部分。窄带和扩展方法的精度的顺序进行了验证理想的隐式曲面。该方法适用于十个切除的立方体牛骨小梁。本地化的表面,相密度的估计,和局部形态学验证与这些科目。由于嵌入是高阶的,因此可以在图像数据中局部地准确地估计梯度和曲率。
2021-11-02 cs.CV eess.IV
Gradient-SDF: A Semi-Implicit Surface Representation for 3D Reconstruction
Technical University of Munich(慕尼黑工业大学)
我们提出了一种新的三维几何表示,结合了隐式和显式表示的优点。通过存储在每个体素的有符号的距离场,以及其梯度向量场,我们提高了隐式表示的能力与方法最初制定明确的表面。作为具体的例子,我们表明:(1)连续SDF允许我们从深度图像执行直接SDF跟踪,使用有效的存储方案,如散列图,以及(2)连续SDF表示使我们能够直接在体素表示中执行光度束平差(无需转换为点云或网格),自然是对几何体和相机姿势的全隐式优化,以及轻松的几何体上采样。实验结果证实,这导致显着更清晰的重建。由于总体SDF体素结构仍然受到尊重,因此所提出的并行SDF与相关方法同样适合于(GPU)并行化。
2021-11-26 cs.CV
Active Implicit Object Reconstruction using Uncertainty-guided Next-Best-View Optimization
School of Mechanical Engineering and Automation, Harbin Institute of Technology Shenzhen(哈尔滨工业大学(深圳)机械工程与自动化学院);Shenzhen University General Hospital(深圳大学总医院)
本文提出一种基于隐式占用场和不确定性引导的下一最佳视角优化方法,用于主动物体重建,通过梯度下降直接优化连续视角,提升重建精度与效率。
2024-05-28 cs.CV cs.RO
LGSDF: Continual Global Learning of Signed Distance Fields Aided by Local Updating
School of Automation, Beijing Institute of Technology(北京理工大学自动化学院)
LGSDF通过前端动态网格局部更新与后端持续自监督隐式学习相结合,解决了ESDF重建中原始观测冲突导致的建图精度差问题,在多个场景中构建出比SOTA方法更精确的ESDF地图和网格。
2024-04-08 cs.CV cs.GR cs.RO
HyperDiffusion: Generating Implicit Neural Fields with Weight-Space Diffusion
Technical University of Munich(慕尼黑工业大学);Apple(苹果公司)
隐式神经场,通常由多层感知器(MLP)编码,该多层感知器(MLP)从坐标(例如,xyz)到信号(例如,符号距离),已经显示出作为高保真和紧凑表示的显著前景。然而,缺乏规则和显式的网格结构也使得直接在隐式神经场上应用生成建模以合成新数据具有挑战性。为此,我们提出了超扩散,一种新的方法,无条件生成的隐式神经场建模。HyperDiffusion直接对MLP权重进行操作,并生成由合成MLP参数编码的新神经隐式字段。具体而言,首先优化MLP的集合以忠实地表示各个数据样本。随后,在该MLP权重空间中训练扩散过程,以对神经隐场的底层分布进行建模。HyperDiffusion支持在一个统一的框架内,通过隐式、紧凑且高保真的方式,对3D形状和4D网格动画中的复杂信号进行扩散建模。
2023-03-29 cs.CV cs.LG
NeurNCD: Novel Class Discovery via Implicit Neural Representation
The University of Hong Kong(香港大学);Beijing Jiaotong University(北京交通大学)
本文提出 NeurNCD 框架,利用 Embedding-NeRF 与 KL 散度替代显式3D分割图,并结合特征查询、调制和聚类,在开放与封闭世界中实现更优的新类别发现与分割性能。
2025-06-06 cs.CV cs.LG
Tag Map: A Text-Based Map for Spatial Reasoning and Navigation with Large Language Models
Robotic Systems Lab, ETH Zurich(苏黎世联邦理工学院机器人系统实验室)
提出一种显式基于文本的地图Tag Map,利用大规模图像识别模型表示数千语义类别并易于与LLM集成,其定位性能与开放词汇地图相当且内存占用降低二到四个数量级,真实机器人实验验证了其有效性。
2024-09-23 cs.AI cs.CV cs.RO
Walking in the Implicit: Interactive World Exploration via Neural Scene Representation
Zhejiang University(浙江大学);Westlake University(西湖大学);Afari Intelligent Drive(Afari智能驾驶)
提出以场景为中心的交互式视频生成范式,将生成变量从帧隐变量改为可渲染的固定长度隐状态(神经隐式场景),通过紧凑场景状态随机转移和确定性姿态条件渲染实现长程一致性。
2026-06-29 cs.CV
SNARF: Differentiable Forward Skinning for Animating Non-Rigid Neural Implicit Shapes
ETH Zürich(苏黎世联邦理工学院);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Tübingen(图宾根大学)
神经隐式表面表示已经成为一种有前途的范例,以连续和分辨率无关的方式捕获3D形状。然而,使它们适应铰接的形状并非易事。现有方法学习将变形映射到规范点的向后扭曲场。然而,这是有问题的,因为向后扭曲场是姿势相关的,因此需要大量数据来学习。为了解决这个问题,我们引入了SNARF,它结合了多边形网格的线性混合蒙皮(LBS)与神经隐式曲面的优点,通过学习向前变形场而无需直接监督。这个变形场是在规范的,姿势独立的空间中定义的,允许泛化到看不见的姿势。单独从已设定的网格中学习变形场是具有挑战性的,因为变形点的对应关系是隐式定义的,并且在拓扑变化下可能不是唯一的。我们提出了一个前向蒙皮模型,发现所有的正则对应的任何变形点,使用迭代求根。我们通过隐式微分推导出分析梯度,从而实现从具有骨骼变换的3D网格的端到端训练。与最先进的神经隐式表示相比,我们的方法更好地推广到看不见的姿势,同时保持准确性。我们展示了我们的方法在具有挑战性的情况下(穿着)3D人类在不同的和看不见的姿势。
2021-11-29 cs.CV
Continuous Remote Sensing Image Super-Resolution based on Context Interaction in Implicit Function Space
针对遥感图像超分辨率需独立模型处理不同放大倍率的问题,提出基于隐函数空间上下文交互的FunSR框架,用统一模型实现连续超分,在两类设置下达当前最优性能且应用便捷。
2023-02-16 cs.CV
NOIR: Neural Operator mapping for Implicit Representations
Department of Biomedical Engineering, University of Basel(巴塞尔大学生物医学工程系);Harvard Medical School, Brigham and Women’s Hospital(哈佛医学院布里奇沃特医院)
NOIR框架将医学影像任务重新表述为连续函数空间间的算子学习,实现分辨率无关的功能到功能转换,展示了对未见过离散化的强鲁棒性。
2026-03-13 cs.CV
Learning Neural Implicit Representations with Surface Signal Parameterizations
Carleton University(卡尔顿大学);McGill University(麦吉尔大学);Huawei Technologies Canada(华为加拿大技术公司)
提出一种权重编码神经隐式表示方法,通过隐式编码表面参数化实现纹理映射,使隐式表面兼容现有网格数字内容,并在性能上超越基线与现有先进方法。
2023-06-26 cs.CV cs.GR
Implicit Neural Compression of Point Clouds
College of Information Science and Electronic Engineering, Zhejiang University(浙江大学信息科学与电子工程学院);Department of Electrical and Electronic Engineering, The University of Hong Kong(香港大学电子与电气工程系);College of Computing and Data Science, Nanyang Technological University(南洋理工大学计算机与数据科学学院)
本文提出NeRC³框架,利用隐式神经表示实现点云的高效压缩,通过坐标基神经网络编码几何与属性,并扩展至动态点云压缩,实验验证其在静态和动态点云压缩中的优越性能。
2025-10-21 cs.CV cs.LG eess.SP
Maps for Autonomous Driving: Full-process Survey and Frontiers
School of Resource and Environment Engineering, Wuhan University of Technology, Wuhan, China(武汉理工大学资源与环境工程学院);Department of Smart Driving Product, IAS BU, Huawei Technologies, Shanghai, China(华为技术有限公司智能驾驶产品部);Key Laboratory of Data Science and Intelligence Application of Fujian Province University and School of Computer Science, Minnan Normal University, Zhangzhou, China(福建省大学数据科学与智能应用重点实验室和闽南师范大学计算机科学学院);Global Technology Innovation Center, Chery Automobile Co., Ltd, Shanghai, China(中国一汽集团全球技术创新中心);Department of Geography and Environmental Management, University of Waterloo, Waterloo, Canada(滑铁库大学地理与环境管理系);Department of Systems Design Engineering, University of Waterloo, Waterloo, Canada(滑铁库大学系统设计工程系)
本文将自动驾驶地图演变分为HD、Lite和Implicit三个阶段,全面综述各阶段地图生产工作流程、技术挑战与解决方案,并探讨前沿地图表示在端到端自动驾驶框架中的整合。
2025-09-16 cs.CV
LISNeRF Mapping: LiDAR-based Implicit Mapping via Semantic Neural Fields for Large-Scale 3D Scenes
School of Information Science and Engineering, Yunnan University(云南大学信息科学与工程学院);TUM School of Computation, Information and Technology (CIT), Technical University of Munich(慕尼黑工业大学计算、信息与技术学院)
本文提出LISNeRF建图方法,仅利用LiDAR测量通过分层八叉树和浅层MLPs实现大规模3D语义重建,采用自监督与伪监督联合优化,在SemanticKITTI等数据集上展现出更优的分割与建图效果。
2024-03-20 cs.CV
Shap-E: Generating Conditional 3D Implicit Functions
OpenAI
本研究提出3D资产条件生成模型Shap-E,通过编码器+条件扩散模型两阶段训练,直接生成可渲染为带纹理网格或神经辐射场的隐函数参数,生成速度快、质量优于同类模型Point-E。
2023-05-03 cs.CV cs.LG
Explaining the Implicit Neural Canvas: Connecting Pixels to Neurons by Tracing their Contributions
University of Maryland, College Park(马里兰大学帕克分校)
本文提出XINC框架,通过追踪每个神经元对输出像素的贡献来揭示隐式神经表示(INRs)的内部机制,发现其具有分布式表示、对颜色和边缘的偏好及运动主导的跨层聚类特征。
2024-07-16 cs.CV
Hallucinating Saliency Maps for Fine-Grained Image Classification for Limited Data Domains
Computer Vision Center(计算机视觉中心);Universidad del Bío Bío(比奥比奥大学)
大多数显着性方法都是根据其生成显着性图的能力进行评估的,而不是根据其在完整视觉管道中的功能进行评估,例如图像分类。在本文中,我们提出了一种方法,它不需要显式的显着性图来改善图像分类,但它们是隐式学习的,在端到端图像分类任务的训练。我们表明,我们的方法得到了类似的结果的情况下,显着图显式提供。将RGB数据与显著性图相结合对于对象识别来说具有显著的优势,特别是对于训练数据有限的情况。我们验证了我们的方法在几个数据集的细粒度分类任务(花,鸟和汽车)。此外,我们还证明了我们的显着性估计方法,该方法在没有任何显着性地面数据的情况下进行训练,在真实图像显着性基准测试(多伦多)上获得了有竞争力的结果,并且优于具有合成图像的深度显着性模型(SID4VAM)。
2021-02-03 cs.CV cs.NE
Continuous Pose for Monocular Cameras in Neural Implicit Representation
ETH Zurich(苏黎世联邦理工学院);Sofia University(索非亚大学);INSAIT(保加利亚人工智能与数据科学学院)
本文提出用隐式神经函数将单目相机位姿表示为时间的连续函数并联合优化,在含噪位姿 NeRF、事件 NeRF、vSLAM 及带 IMU 的 vSLAM 中均优于现有方法。
2024-03-02 cs.CV
Salient Object Detection with Semantic Priors
University of Dayton(代顿大学);National University of Singapore(新加坡国立大学)
显著性目标检测已日益成为认知和计算科学(包括计算机视觉和人工智能研究)中的热门话题。在本文中,我们提出了集成\textit{semantic priors}到显着的目标检测过程。我们的算法包括三个基本步骤。首先,显式显着图的基础上获得的语义分割细化显式显着性先验知识从数据。接下来,基于将嵌入到区域特征中的隐式显著性先验与显著性值映射的训练模型来计算隐式显著性图。最后,显式语义图和隐式地图自适应融合,形成一个像素精确的显着性地图,均匀覆盖感兴趣的对象。我们进一步评估两个具有挑战性的数据集,即ECSSD和HKUIS的建议框架。大量的实验结果表明,我们的方法优于其他国家的最先进的方法。
2017-05-23 cs.CV
COIN: COmpression with Implicit Neural representations
University of Oxford(牛津大学)
我们提出了一种新的简单的方法来进行图像压缩:我们存储过拟合到图像的神经网络的权重,而不是存储图像的每个像素的RGB值。具体来说,为了对图像进行编码,我们将其与将像素位置映射到RGB值的MLP相匹配。然后,我们将该MLP的权重存储为图像的代码。为了解码图像,我们简单地评估每个像素位置的MLP。我们发现,这种简单的方法在低比特率下优于JPEG,即使没有熵编码或学习权重分布。虽然我们的框架还没有竞争力的最先进的压缩方法,我们表明,它具有各种有吸引力的属性,这可能使它成为一个可行的替代其他神经数据压缩方法。
2021-04-10 cs.CV cs.LG eess.IV
CINA: Conditional Implicit Neural Atlas for Spatio-Temporal Representation of Fetal Brains
Technical University Munich(慕尼黑工业大学);Universidad Politécnica de Madrid(马德里理工大学);Imperial College London(帝国理工学院)
本文提出CINA,一种无需配准的条件隐式神经图谱,用于从胎儿脑MRI生成时空图谱,可灵活条件于胎龄和解剖变异,在神经典型和病理性大脑上优于基线,年龄预测误差仅0.23周。
2024-03-13 cs.CV cs.LG
Remote Sensing Novel View Synthesis with Implicit Multiplane Representations
Beihang University(北京航空航天大学)
遥感场景的视图合成对于场景可视化、人机交互以及各种下游应用都具有重要意义。尽管近年来计算机图形学和照片扫描技术取得了很大的进步,但由于遥感图像的高度复杂性、视图稀疏性和有限的视角变化,生成新视图仍然是一个挑战。在本文中,我们提出了一种新的遥感视图合成方法,利用隐式神经表征的最新进展。针对遥感图像的高分辨率和远景深成像特点,将隐式多平面图像(MPI)表示与深度神经网络相结合,对三维空间进行表示。在自监督优化范式下,通过具有多视图输入约束的可微多平面渲染器重建3D场景。因此,可以基于重建的模型自由地渲染来自任何新视图的图像。作为副产品,对应于给定视点的深度图可以与渲染输出一起生成。我们将我们的方法称为隐式多平面图像(ImMPI)。为了进一步提高稀疏视图输入下的视图合成,我们探索了基于学习的遥感三维场景初始化方法,并提出了一种基于神经网络的先验提取器来加速优化过程。此外,我们提出了一个新的数据集遥感新的看法合成与多视角现实世界的谷歌地球图像。大量的实验证明了ImMPI在重建精度,视觉保真度和时间效率方面优于以前的最先进的方法。烧蚀实验也表明我们的方法设计的有效性。我们的数据集和代码可以在https://github.com/wyc-Chang/ImMPI上找到
2022-05-18 cs.CV
An Embeddable Implicit IUVD Representation for Part-based 3D Human Surface Reconstruction
Shanghai Jiao Tong University(上海交通大学)
针对单图3D人体重建中组合表示计算冗余、难保留形状先验的问题,提出可嵌入的IUVD-Feedback表示,用IUVD空间线性变换替代有符号距离计算,结合反馈机制减少冗余查询,在THuman2.0上实现三倍查询推理加速且鲁棒性提升。
2024-07-15 cs.CV
NeuSG: Neural Implicit Surface Reconstruction with 3D Gaussian Splatting Guidance
National University of Singapore(新加坡国立大学)
本文提出 NeuSG,通过尺度正则化与表面法向先验细化 3D Gaussian Splatting 点云,并联合优化神经隐式模型,实现细节丰富的多视图表面重建。
2025-03-17 cs.CV
Neural Implicit Dense Semantic SLAM
ETH Zürich(苏黎世联邦理工学院);EPFL(洛桑联邦理工学院)
本文提出一种神经隐式稠密语义SLAM算法,结合经典视觉跟踪与神经场建图,利用关键帧学习SDF、RGB、深度和语义图,并扩展至大场景,在噪声或稀疏深度下仍保持稳健性能。
2023-05-09 cs.CV
Improved Modeling of 3D Shapes with Multi-view Depth Maps
University of Maryland, College Park(马里兰大学帕克分校)
我们提出了一个简单而有效的通用框架,通过利用CNN在2D图像生成方面的最新进展来建模3D形状。仅使用对象的单个深度图像,我们可以输出3D对象的密集多视图深度图表示。我们简单的编码器-解码器框架,包括一个新的身份编码器和类条件视点生成器,生成3D一致的深度图。我们的实验结果证明了我们的方法的双重优势。首先,我们可以直接借用在2D图像域中工作良好的架构到3D。其次,我们可以有效地生成高分辨率的3D形状与低计算内存。我们的定量评估表明,我们的方法是优于现有的深度图方法重建和合成3D对象,并与其他表示,如点云,体素网格和隐式函数的竞争力。
2020-09-07 cs.CV cs.GR cs.LG
Normal-guided Detail-Preserving Neural Implicit Function for High-Fidelity 3D Surface Reconstruction
Graphics Research Group, IIIT Delhi(IIIT德里图形研究组);Murdoch University(默doch大学);IIIT Delhi(IIIT德里)
本文提出利用表面法向监督SDF网络,仅需两张RGB图像即可实现高精度三维重建,捕捉精细几何细节与薄结构。
2025-04-22 cs.CV cs.GR
Spatial Implicit Neural Representations for Global-Scale Species Mapping
Caltech(加州理工学院);Cornell(康奈尔大学);University of Edinburgh(爱丁堡大学);iNaturalist(iNaturalist(自然观察))
本文提出用 SINRs 同时估计 47k 个物种的地理分布,并构建四个基准,证明众包数据结合隐式神经表示可逼近专家范围图。
2023-06-05 cs.CV cs.LG
AC-IND: Sparse CT reconstruction based on attenuation coefficient estimation and implicit neural distribution
KU Leuven(鲁汶大学);Centrum Wiskunde & Informatica(数学和计算机科学中心)
针对稀疏CT重建中隐式神经表示因缺乏有效先验产生伪影的问题,提出基于物质类别总数先验的AC-IND自监督方法,通过分布映射转换、衰减系数估计器设计与联合优化实现更优重建效果,还可自动生成语义分割图。
2024-09-11 cs.CV eess.IV
SENS: Part-Aware Sketch-based Implicit Neural Shape Modeling
ETH Zurich(苏黎世联邦理工学院);Tel Aviv University(特拉维夫大学)
SENS提出一种从手绘草图生成和编辑3D模型的方法,通过将草图部件编码为ViT补丁并利用transformer解码器映射到部件感知神经隐式形状的潜在空间,支持抽象草图、部件重建与多草图特征组合,实验和用户研究表明其在中等抽象草图上性能优越。
2024-02-21 cs.CV cs.GR cs.LG
LISA: Localized Image Stylization with Audio via Implicit Neural Representation
NVIDIA Corporation(英伟达公司);KAIST(韩国科学技术院);Korea University(高丽大学)
我们提出了一个新的框架,本地化图像风格化与音频(LISA)进行音频驱动的本地化图像风格化。声音常常提供关于场景的特定上下文的信息,并且与场景或对象的某个部分密切相关。然而,现有的图像风格化作品集中于使用图像或文本输入来风格化整个图像。基于音频输入对图像的特定部分进行风格化是自然的,但具有挑战性。在这项工作中,我们提出了一个框架,用户提供一个音频输入本地化的声源在输入图像和另一个本地风格化的目标对象或场景。LISA首先通过利用CLIP嵌入空间,使用视听定位网络生成精细的定位地图。然后,我们利用隐式神经表示(INR)以及预测的定位图来基于声音信息对目标对象或场景进行风格化。所提出的INR可以操纵本地化像素值以与所提供的音频输入语义一致。通过一系列的实验,我们表明,该框架优于其他音频引导的风格化方法。此外,LISA构造简洁的定位地图,并根据给定的音频输入自然地操纵目标对象或场景。
2022-11-21 cs.CV cs.MM cs.SD