NRMVS: Non-Rigid Multi-View Stereo
NVIDIA(英伟达);University of Erlangen-Nuremberg(埃尔朗根-纽伦堡大学);SenseTime(商汤科技);Technical University of Munich(慕尼黑工业大学)
在计算机视觉的许多应用中,从无组织的RGB图像重建场景是一个重要的任务。多视图立体视觉(MVS)是摄影测量应用中用于静态场景的密集重建的常见解决方案。然而,静态场景假设限制了MVS算法的一般适用性,因为许多日常场景经历非刚性运动,例如,衣服、面孔或人体。在本文中,我们开辟了一个新的具有挑战性的方向:密集的三维重建场景的非刚性变化观察到的任意,稀疏,宽基线的意见。我们制定的变形和深度估计的联合优化的问题,使用变形图作为底层表示。我们提出了一种新的稀疏的3D到2D匹配技术,连同一个密集的补丁匹配评估计划,以估计变形和深度与光度一致性。我们表明,从几个RGB图像与非刚性变化创建一个密集的4D结构是可能的,并证明我们的方法可以用来插值从稀疏视图中得到的这些变形估计的各种组合的新的变形场景。
2019-01-12 cs.CV
Context without Commitment: Robust Dense Correspondence under Non-Rigid Deformation
Mannheim Institute for Intelligent Systems in Medicine (MIISM)(曼海姆智能系统医学研究所);Medical Faculty Mannheim, Heidelberg University(海德堡大学曼海姆医学院)
针对非刚性点云配准中局部几何相似导致的对应模糊问题,提出CoCo-Reg方法,利用区域补丁丰富稠密特征而不限制最终点级搜索,显著降低对应误差。
2026-09-30 cs.CV
Monocular Dense 3D Reconstruction of a Complex Dynamic Scene from Two Perspective Frames
Australian National University(澳大利亚国立大学);Northwestern Polytechnical University(西北工业大学);Australia Centre for Robotic Vision(澳大利亚机器人视觉中心)
本文提出了一种新的方法,从两个透视帧的单目密集三维重建的复杂动态场景。通过对图像应用超像素过分割,我们用分段平面和刚性近似来建模一般动态(因此非刚性)场景。通过这种方式,我们将动态重建问题简化为“3D拼图”问题,该问题从无组织的“超像素汤”中取出碎片。我们表明,我们的方法提供了一个有效的解决方案,固有的相对规模的模糊性,从运动的结构。由于我们的方法不假设模板先验,或每对象分割,或动态场景的刚性知识,它适用于广泛的场景。大量的实验上的合成和真正的单目序列证明了我们的方法相比,国家的最先进的方法的优越性。
2017-12-20 cs.CV
RAFT-3D: Scene Flow using Rigid-Motion Embeddings
Princeton University(普林斯顿大学)
我们解决场景流的问题:给定一对立体或RGB-D视频帧,估计像素级3D运动。我们介绍了RAFT-3D,一个新的场景流的深度架构。RAFT-3D基于为光流开发的RAFT模型,但迭代地更新像素级SE 3运动的密集场,而不是2D运动。RAFT-3D的一个关键创新是刚性运动嵌入,它表示将像素软分组为刚性对象。刚性运动嵌入的积分是Dense-SE 3,这是一个可微层,可以强制嵌入的几何一致性。实验结果表明,RAFT-3D算法具有较好的性能。在FlyingThings 3D上,在双视图评估下,我们将最佳发布准确率(d < 0.05)从34.3%提高到83.7%。在KITTI上,我们实现了5.77的错误,优于最好的方法(6.31),尽管没有使用对象实例监督。代码可在https://github.com/princeton-vl/RAFT-3D上获得。
2021-04-06 cs.CV
HDM-Net: Monocular Non-Rigid 3D Reconstruction with Learned Deformation Model
DFKI(德国人工智能研究中心);University of Kaiserslautern(凯泽斯劳滕大学)
变形物体的单目稠密三维重建是计算机视觉中的一个困难不适定问题。当前的技术要么需要密集的对应关系并依赖于运动和变形线索,要么假设预先给定的至少单个帧的高度准确的重建(称为模板)并以非刚性跟踪的方式操作。密集点轨迹的精确计算通常需要多个帧并且可能在计算上是昂贵的。模板的可用性是一个非常强的先决条件,它将系统操作限制在预定义的环境和场景中。在这项工作中,我们提出了一种新的混合方法,单目非刚性重建,我们称之为混合变形模型网络(HDM-Net)。在我们的方法中,变形模型是由一个深度神经网络学习的,具有特定领域的损失函数的组合。我们训练网络的多个状态的非刚性变形结构与已知的形状在休息。HDM-Net学习不同的重建线索,包括纹理相关的表面变形,阴影和轮廓。我们展示了HDM-Net对训练数据集中未呈现的状态的泛化能力,这些状态具有不可见的纹理和新的光照条件。噪声数据的实验和与其他方法的比较表明,所提出的方法的鲁棒性和准确性,并建议在介入诊断和增强现实的新技术的可能的应用场景。
2019-08-05 cs.CV
Drift Robust Non-rigid Optical Flow Enhancement for Long Sequences
University College London(伦敦大学学院);University of Bath(巴斯大学);Google(谷歌)
对非刚性物体的长时间密集跟踪是一个困难的问题,是计算机视觉领域的一个基础性研究课题。该任务通常依赖于估计随时间推移图像之间的成对对应关系,其中误差累积并导致漂移问题。在本文中,我们介绍了一种新的优化框架与锚补丁约束。它被认为是显着减少整体错误,给出了包含非刚性变形对象的长序列。我们的框架可以应用于任何密集的跟踪算法,例如光流。我们证明了我们的方法的成功,显示显着的误差减少6流行的光流算法应用到一系列现实世界的非刚性基准。我们还提供了定量分析,我们的方法给出合成遮挡和图像噪声。
2016-03-07 cs.CV
Superpixel Soup: Monocular Dense 3D Reconstruction of a Complex Dynamic Scene
ETH Zürich(苏黎世联邦理工学院);Australian National University(澳大利亚国立大学);Northwestern Polytechnical University(西北工业大学)
这项工作解决了密集的三维重建的复杂动态场景的图像的任务。解决这一任务的普遍想法是由一系列步骤组成的,并且取决于其执行过程中几个管道的成功。为了克服现有算法的局限性,我们提出了一个统一的方法来解决这个问题。我们假设一个动态场景可以近似由许多分段平面表面,其中每个平面表面享有自己的刚性运动,和两帧之间的场景中的全局变化是刚性尽可能(ARAP)。因此,我们的模型的动态场景减少到汤的平面结构和这些局部平面结构的刚性运动。使用平面过分割的场景,我们减少这项任务,以解决“3D拼图”的问题。因此,任务归结为正确地组装每个刚性件,以构建符合ARAP假设下场景几何形状的3D形状。此外,我们表明,我们的方法提供了一个有效的解决方案,在透视投影下的运动结构的固有的规模模糊性。我们提供了广泛的实验结果和评估几个基准数据集。与竞争方法的定量比较显示了最先进的性能。
2019-11-19 cs.CV
Dense Non-Rigid Structure from Motion: A Manifold Viewpoint
ETH Zürich(苏黎世联邦理工学院);MERL(三菱电机研究实验室);Northwestern Polytechnical University(西北工业大学);Australian National University(澳大利亚国立大学)
非刚性运动恢复结构(NRSfM)问题的目的是从变形对象的多帧2D特征对应中恢复其3D几何形状。经典的方法来解决这个问题,假设少量的特征点,忽略了局部非线性的形状变形,因此,努力可靠地建模非线性变形。此外,可用的密集NRSfM算法通常受到可扩展性、计算、噪声测量的阻碍,并且仅限于对全局变形进行建模。在本文中,我们提出的算法,可以克服这些限制与以前的方法,并在同一时间,可以恢复一个可靠的密集的3D结构的非刚性物体具有更高的精度。假设变形形状由局部线性子空间的并集组成,并且在多个帧上跨越全局低秩空间使我们能够有效地对复杂的非刚性变形进行建模。为此,使用格拉斯曼表示每个局部线性子空间,并且使用低秩表示来表示跨多个帧的全局3D形状。我们表明,我们的方法显着提高了准确性,可扩展性和抗噪声的鲁棒性。此外,我们的表示自然允许同时重建和聚类框架,这在一般情况下被观察到更适合NRSfM问题。我们的方法目前在标准基准数据集上实现了领先的性能。
2020-06-15 cs.CG cs.CV
RINO: Rotation-Invariant Non-Rigid Correspondences
TUM(慕尼黑工业大学);Stanford University(斯坦福大学);MCML(慕尼黑机器学习中心);MIT(麻省理工学院)
本文提出RINO框架,通过旋转不变的特征提取器实现非刚性形状匹配,无需预对齐或手工特征,提升非等距变形等任务的性能。
2026-03-29 cs.CV
DV-Matcher: Deformation-based Non-Rigid Point Cloud Matching Guided by Pre-trained Visual Features
Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院);Pengcheng Laboratory(鹏城实验室)
本文提出DV-Matcher框架,通过引入预训练视觉模型先验知识和基于形变的对齐模块,实现了非刚性点云间高质量的密集对应关系估计,在多种数据集上达到最先进水平。
2025-03-01 cs.CV
Self-supervised Learning of Implicit Shape Representation with Dense Correspondence for Deformable Objects
Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);University of Chinese Academy of Sciences(中国科学院大学);Google(谷歌)
提出一种自监督方法,学习可变形物体的隐式形状表示,通过模板形状和密集对应,无需骨骼先验,支持大变形,并应用于纹理传递和形状编辑。
2023-12-25 cs.CV
State of the Art in Dense Monocular Non-Rigid 3D Reconstruction
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Saarland Informatics Campus(萨尔兰信息学园区);University of Freiburg(弗赖堡大学);Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU)(埃尔朗根-纽伦堡弗里德里希-亚历山大大学(FAU));EPFL(洛桑联邦理工学院)
从一组单目2D图像观测中重建可变形(或非刚性)场景的3D重建是计算机视觉和图形学的一个长期且活跃的研究领域。这是一个不适定的逆问题,因为-没有额外的先验假设-它允许无限多的解决方案,导致准确的投影到输入的2D图像。非刚性重建是机器人、AR/VR或视觉内容创建等下游应用的基础构建块。使用单目摄像机的主要优势是其无处不在和对最终用户的可用性,以及与立体或多视图系统等更复杂的摄像机设置相比的易用性。本次调查的重点是国家的最先进的方法,密集的非刚性的各种可变形的物体和复合场景的单目视频或单目视图集的三维重建。它回顾了从2D图像观察的3D重建和变形建模的基本原理。然后,我们从一般的方法开始-处理任意场景,只做一些事先的假设-并继续进行技术,对观察到的物体和变形类型(例如人脸,身体,手和动物)做出更强的假设。本STAR的重要部分还致力于分类和方法的高级比较,以及用于训练和评估所讨论技术的数据集的概述。最后,我们讨论了在该领域的开放性挑战和社会方面与使用的审查方法。
2023-03-24 cs.CV cs.GR
Root Pose Decomposition Towards Generic Non-rigid 3D Reconstruction with Monocular Videos
Beijing National Research Center for Information Science and Technology (BNRist)(北京信息科学与技术国家研究中心(BNRist));Tsinghua University(清华大学);RealAI(瑞莱智慧)
该研究提出根位姿分解(RPD)方法,无需已知根位姿、类别模板或稠密先验,通过逐帧根位姿变换加局部变换稠密场校正的方式,实现单目视频下通用非刚性物体的高保真三维重建,在多数据集上性能超越现有最优方法。
2023-08-19 cs.CV
Real-time Nonrigid Mosaicking of Laparoscopy Images
Navigation Sciences, Inc.(导航科学公司)
扩大腹腔镜图像视野的能力可以帮助外科医生更好地了解解剖背景。然而,由于组织变形、复杂的摄像机运动和显著的三维(3D)解剖表面,图像像素可能具有非刚性变形,并且传统的镶嵌方法不能鲁棒地用于实时的【形】腹腔镜图像。为了解决这一问题,提出了一种新的二维非刚性同时定位与地图构建(SLAM)系统,该系统能够补偿像素的变形并实时的【形】进行图像拼接。该二维非刚性SLAM系统的核心算法是期望最大化和对偶四元数(EMDQ)算法,该算法能够实时的【形】从稀疏和含噪的图像特征匹配中生成平滑和稠密的变形场。提出了一种基于不确定度的闭环控制方法,以减小累积误差。为了达到实时的【形】性能,CPU和GPU并行计算技术被用于所有像素的密集镶嵌。在\textit{in vivo}和合成数据上的实验结果证明了该方法的可行性和准确性。
2021-03-12 cs.CV
Learning non-rigid surface reconstruction from spatio-temporal image patches
Center for Machine Vision Research and Signal Analysis(机器视觉研究与信号分析中心);University of Oulu(奥卢大学)
我们提出了一种方法来重建一个密集的时空深度图的非刚性变形对象直接从视频序列。对视频的时空块局部地执行深度的估计,然后通过将它们组合在一起来恢复整个形状的全深度视频。由于变形的非刚性对象的局部时空补丁的几何复杂性通常足够简单,可以用参数模型忠实地表示,因此我们人工生成了一个用不同材料属性和光照条件渲染的小变形矩形网格的数据库,以及它们相应的深度视频,并使用这些数据来训练卷积神经网络。我们在合成数据和Kinect数据上测试了我们的方法,并通过实验观察到重建误差明显低于使用其他方法(如传统的非刚性运动恢复结构)获得的重建误差。
2020-06-18 cs.CV
Controllable GAN Synthesis Using Non-Rigid Structure-from-Motion
IT University of Copenhagen(哥本哈根信息技术大学)
在本文中,我们提出了一种将非刚性运动恢复结构(NRSfM)与深度生成模型相结合的方法,并提出了一个有效的框架,用于在2D GANs的潜在空间中发现对应于3D几何形状变化的轨迹。我们的方法使用NRSfM的最新进展,并使编辑的相机和非刚性的形状信息与潜在的代码,而不需要重新训练的发生器。该公式提供了隐式密集3D重建,因为它使得能够从任意视角和非刚性结构合成新颖形状的图像。该方法建立在稀疏主干上,其中首先训练神经回归器以直接从潜在代码回归描述相机和稀疏非刚性结构的参数。然后通过估计给定潜码邻域中回归量的局部逆来识别与相机和结构参数的变化相关联的潜轨迹。实验表明,我们的方法提供了一个通用的,系统的方法来建模,分析和编辑的几何形状和非刚性结构的脸。
2022-11-14 cs.CV
A Non-Rigid Map Fusion-Based RGB-Depth SLAM Method for Endoscopic Capsule Robots
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Computer Vision Laboratory, ETH Zurich(苏黎世联邦理工学院计算机视觉实验室);University of Coimbra(科英布拉大学)
在胃肠道(GI)内窥镜领域,可摄取无线胶囊内窥镜被认为是一种微创的新型诊断技术,可以检查整个GI道并诊断各种疾病和病理。自该技术发展以来,医疗器械公司和许多团体已经取得了重大进展,将这种被动胶囊内窥镜转变为机器人主动胶囊内窥镜,以实现当前主动柔性内窥镜的几乎所有功能。然而,机器人胶囊式内窥镜的使用仍然存在一些挑战。一个这样的挑战是在3D世界中精确定位这样的有源设备,这对于内部器官的精确三维(3D)映射是必不可少的。一个可靠的三维地图的探索内部器官可以帮助医生作出更直观和正确的诊断。在本文中,我们提出了我们的知识,在文献中的第一次视觉同时定位与地图构建(SLAM)方法专门开发的内窥镜胶囊机器人。所提出的RGB-Depth SLAM方法能够捕获由内窥镜胶囊机器人实时的探索的内部器官的全面密集的全局一致的基于曲面的地图。这是通过使用密集的帧到模型的相机跟踪和窗口surfelbased融合,加上频繁的模型细化,通过非刚性表面变形。
2017-05-15 cs.CV
Non-rigid Relative Placement through 3D Dense Diffusion
Robotics Institute, School of Computer Science(计算机学院机器人研究所);Carnegie Mellon University(卡内基梅隆大学)
针对现有相对放置方法无法处理非刚性物体的问题,提出交叉位移概念与基于视觉的3D密集扩散方法,实现可变形物体间的相对放置,在多类高变形任务中展现出强泛化能力。
2024-10-29 cs.AI cs.CV cs.LG
Dense Motion Estimation for Smoke
University of Bath(巴斯大学);University College London(伦敦大学学院)
烟雾等高度动态现象的运动估计是计算机视觉面临的一个挑战。传统的密集运动估计算法难以处理烟雾运动中常见的非刚性运动和大范围运动。提出了一种烟雾密集运动估计算法。我们的算法是强大的,快速的,并具有更好的性能,在不同类型的烟雾相比,其他密集的运动估计算法,包括最先进的和神经网络的方法。我们的贡献的关键是使用骨架流,没有明确的点匹配,提供一个稀疏的流。此稀疏流升级为密集流。在本文中,我们更详细地描述了我们的算法,并提供实验证据来支持我们的主张。
2016-09-08 cs.CV
Dense Depth Estimation of a Complex Dynamic Scene without Explicit 3D Motion Estimation
Australian National University(澳大利亚国立大学);Northwestern Polytechnical University(西北工业大学);Australian Centre for Robotic Vision(澳大利亚机器人视觉中心)
最近的几何方法需要可靠的三维运动参数的估计,以获得精确的密集的深度图的复杂动态场景从单目图像\cite{kumar2017monocular, ranftl2016dense}。通常,使用图像数据来估计相对3D运动参数的\textbf{precise}测量并验证其准确性是一项具有挑战性的任务。在这项工作中,我们提出了一种替代方法,绕过3D运动估计的要求,以获得一个密集的深度图的动态场景。给定两个连续帧之间的每像素光流对应关系和参考帧的稀疏深度先验,我们表明,我们可以有效地恢复连续帧的密集深度图,而无需求解3D运动参数。我们的方法假设一个分段的平面模型的动态场景,它经历了刚性变换局部,并尽可能刚性的两个连续的帧之间的全球变换。在我们的假设下,我们可以避免显式估计的3D旋转和平移估计场景深度。从本质上讲,我们的配方提供了一种非常规的方式来思考和恢复的复杂动态场景,这是增量和运动自由的性质密集的深度图。我们提出的方法不对动态场景做对象级或任何其他高级先验假设,因此,它适用于广泛的场景。基准数据集上的实验结果表明,我们的方法的多帧的能力。
2019-03-23 cs.CV
Robust Video Background Identification by Dominant Rigid Motion Estimation
Advanced Digital Sciences Center (ADSC), Singapore(新加坡先进数字科学中心);National University of Singapore, Singapore(新加坡国立大学);Shenzhen Cloudream Technology, China(深圳云从科技有限公司)
识别由移动摄像机捕获的视频中的静态背景的能力是许多视频应用(例如,视频稳定、拼接和分割)的重要先决条件。当图像中的前景物体比背景占据更大的区域时,现有的方法通常面临困难。许多方法也无法扩展到处理密集采样的特征轨迹。在本文中,我们提出了一种有效的局部到全局的方法来识别背景,基于这样的假设,即只要有足够的相机运动,累积的背景特征将具有最大量的轨迹。我们的运动模型在两帧的水平是基于对极几何,使不会有过分割的问题,另一个问题,困扰的二维运动分割方法。由于间歇性运动而被错误标记的前景对象也通过检查它们与最终估计的背景运动的全局一致性来处理。最后,凭借其效率,我们的方法可以处理密集采样的轨迹。它在公共数据集上的性能优于几种最先进的运动分割方法,无论是定量还是定性。
2019-03-06 cs.CV
LiveCap: Real-time Human Performance Capture from Monocular Video
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Stanford University(斯坦福大学)
我们提出了第一个实时的【形】人类表演捕捉方法,重建密集的,时空连贯的变形几何形状的整个人类在一般的日常服装,从一个单一的RGB视频。我们提出了一种新的两阶段分析合成优化,其制定和实施的设计高性能。在第一阶段中,皮肤模板模型被联合地拟合到背景减除输入视频、使用深度神经网络找到的2D和3D骨架关节位置以及一组稀疏面部地标检测。在第二阶段中,密集的非刚性的皮肤,甚至宽松的服装的3D变形被捕获的基础上,一种新的实时的【形】非刚性跟踪算法,使用密集的光度和轮廓约束。我们的新能量公式利用模板上自动识别的材料区域来模拟皮肤和服装的不同非刚性变形行为。每帧的两个非线性优化问题用专门定制的数据并行高斯-牛顿求解器来解决。为了达到超过25 Hz实时的【形】性能,我们设计了一个流水线并行架构,使用CPU和两个商品GPU。我们的方法是第一个实时的【形】单目方法的全身性能捕捉。我们的方法与离线性能捕获技术产生了相当的精度,同时速度快了几个数量级。
2019-01-25 cs.CV
MoSE3: Learning World-Space SE(3) at Every Pixel
Harvard University(哈佛大学);Kempner Institute(肯普纳研究所);Johns Hopkins University(约翰斯·霍普金斯大学);MIT(麻省理工学院)
MoSE3是首个从单目视频逐像素预测世界空间SE(3)运动的前馈模型,通过3D点轨迹和刚性嵌入联合学习,在刚性和铰接基准上达到最先进性能,并泛化至真实视频。
2026-10-05 cs.CV
Dense Object Nets: Learning Dense Visual Object Descriptors By and For Robotic Manipulation
Massachusetts Institute of Technology(麻省理工学院)
什么是正确的操作对象表示?我们希望机器人能够在视觉上感知场景,并学习对其中对象的理解,(i)与任务无关,可以用作各种操作任务的构建块,(ii)通常适用于刚性和非刚性对象,(iii)利用3D视觉提供的强大先验知识,(iv)完全从自我监督中学习。这是很难实现与以前的方法:许多最近的工作在把握没有扩展到抓住特定的对象或其他任务,而特定任务的学习可能需要许多试验,以概括以及跨对象配置或其他任务。在本文中,我们提出了密集对象网络,它建立在自监督密集描述符学习的最新发展基础上,作为视觉理解和操作的一致对象表示。我们证明他们可以快速(约20分钟)训练各种以前看不见的和潜在的非刚性物体。我们还提出了新的贡献,使多对象描述符学习,并表明,通过修改我们的训练过程,我们可以获得描述符概括的对象类,或描述符是不同的每个对象实例。最后,我们展示了新的应用程序的学习密集描述符机器人操作。我们演示了在一个对象上的特定点的把握在潜在的变形对象配置,并演示了使用类一般描述符来转移特定的把握在一个类中的对象。
2018-09-07 cs.CV cs.LG cs.RO
Densely tracking sequences of 3D face scans
Ecole Centrale de Lyon(里昂中央理工学院)
3D人脸密集跟踪的目的是在一系列3D人脸扫描中找到密集的帧间对应关系,并构成了许多人脸分析任务的强大工具,例如,3D动态面部表情分析。现有的大多数方法只是将3D人脸表面或模型拟合到3D目标表面,而没有考虑帧之间的时间信息。在本文中,我们提出了一种新的方法,密集跟踪序列的三维人脸扫描,它扩展了非刚性ICP算法,增加了一个新的具体标准的时间信息。提出了一种新的拟合框架,用于自动跟踪完整的3D人脸扫描序列。BU 4D-FE数据库上进行的实验结果是有希望的,表明该算法优于国家的最先进的算法的三维人脸密集跟踪。
2017-09-13 cs.CV
DeepDeform: Learning Non-rigid RGB-D Reconstruction with Semi-supervised Data
Technical University of Munich(慕尼黑工业大学);Stanford University(斯坦福大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
将数据驱动的方法应用于非刚性3D重建一直很困难,我们认为这可以归因于缺乏大规模的训练语料库。不幸的是,这种方法失败的重要情况下,如高度非刚性变形。我们首先解决这个问题,缺乏数据,通过引入一种新的半监督策略,以获得密集的帧间对应关系,从稀疏的注释集。通过这种方式,我们获得了一个包含400个场景、超过390,000个RGB-D帧和5,533个密集对齐的帧对的大型数据集;此外,我们还提供了一个测试集以及几个用于评估的指标。基于此语料库,我们引入了一个数据驱动的非刚性特征匹配方法,我们集成到一个基于优化的重建管道。在这里,我们提出了一种新的神经网络,它在RGB-D帧上运行,同时在大的非刚性变形下保持鲁棒性并产生准确的预测。我们的方法显著优于现有的不使用学习数据项的非刚性重建方法,以及仅使用自我监督的基于学习的方法。
2020-03-24 cs.AI cs.CV cs.GR
Automatic landmark annotation and dense correspondence registration for 3D human facial images
CAS-MPG Partner Institute and Key Laboratory for Computational Biology, Shanghai Institutes for Biological Sciences, Chinese Academy of Sciences(中国科学院上海生命科学研究院计算生物学重点实验室(中科院-马普学会伙伴研究所))
三维人脸图像的密集表面配准对于人类特征多样性、疾病遗传学和法医学的研究具有巨大的潜力。非刚性配准对于在面部之间建立密集的解剖学对应关系特别有用。在这里,我们描述了一种新的非刚性配准方法,全自动三维人脸图像映射。该方法包括两个步骤:首先,自动标注17个面部标志,主要是通过基于PCA的特征识别后的3D到2D数据转换。其次,一个有效的薄板样条(TPS)协议被用来建立密集的面部图像之间的解剖对应关系,在预定义的标志的指导下。我们证明,这种方法是强大的和高度准确的,即使对于不同的种族。平均脸是为汉族和维吾尔族的个人计算的。虽然完全自动化和计算效率高,这种方法能够高通量分析人类面部特征的变化。
2012-12-20 cs.CV q-bio.QM
4DComplete: Non-Rigid Motion Estimation Beyond the Observable Surface
The University of Tokyo(东京大学);Tokyo Research Center, Huawei(华为东京研究中心);Technical University Munich(慕尼黑工业大学)
使用范围传感器跟踪非刚性变形场景具有许多应用,包括计算机视觉、AR/VR和机器人。然而,由于距离传感器的遮挡和物理限制,现有的方法只能处理可见表面,从而导致运动场的不连续性和不完整性。为此,我们引入4DComplete,一种新的数据驱动的方法,估计未观察到的几何形状的非刚性运动。4DComplete将部分形状和运动观察作为输入,提取4D时空嵌入,并使用稀疏全卷积网络联合推断丢失的几何形状和运动场。对于网络训练,我们构建了一个名为DeformingThings 4D的大规模合成数据集,该数据集由1972个动画序列组成,涵盖31种不同的动物或人形类别,并带有密集的4D注释。实验表明,4DComplete 1)从部分观察中重建高分辨率的体积形状和运动场,2)学习有利于形状和运动估计的纠缠4D特征表示,3)产生比经典的非刚性先验更准确和自然的变形,如尽可能刚性(ARAP)变形,以及4)很好地推广到现实世界序列中看不见的对象。
2021-05-05 cs.CV
SurfelWarp: Efficient Non-Volumetric Single View Dynamic Reconstruction
Massachusetts Institute of Technology(麻省理工学院)
我们贡献了一个密集的SLAM系统,该系统以实时的深度图像流作为输入,并在没有模板或先验模型的情况下实时的重建非刚性变形场景。与现有的方法相比,我们不维护任何体积数据结构,如截断符号距离函数(TSDF)字段或变形字段,这是性能和存储器密集型。我们的系统使用基于平面点(冲浪)的几何表示,可以直接从商品深度传感器获取。标准图形流水线和通用GPU(GPGPU)计算被用于所有中央操作:即,最近邻维护、非刚性变形场估计和深度测量的融合。我们的管道本质上避免了昂贵的体积操作,如移动立方体,体积融合和密集变形场更新,从而显着提高性能。此外,明确和灵活的surfel为基础的几何表示,使有效的处理拓扑结构的变化和跟踪失败,这使得我们的重建与更新的深度观测一致。我们的系统允许机器人保持一个场景描述与非刚性变形的对象,有可能实现与动态工作环境的交互。
2019-04-30 cs.CV
CoE: Deep Coupled Embedding for Non-Rigid Point Cloud Correspondences
Technical University of Munich(慕尼黑工业大学);Munich Center for Machine Learning(慕尼黑机器学习中心)
本文提出CoE深度耦合嵌入方法,通过学习对几何感知且抗变形、噪声与缺失的逐点高维表示,实现非刚性点云间高质量密集匹配。
2025-01-09 cs.CV
Uncertainty quantification in non-rigid image registration via stochastic gradient Markov chain Monte Carlo
Imperial College London(帝国理工学院);Technische Universität München(慕尼黑工业大学);Sharif University of Technology(谢里夫理工大学);Friedrich-Alexander-Universität Erlangen-Nürnberg(埃尔朗根-纽伦堡大学)
我们开发了一个新的贝叶斯模型的三维医学图像的非刚性配准,重点是不确定性量化。由于计算和建模的原因,用校准的不确定性估计对大图像进行概率配准是困难的。为了解决计算问题,我们探索马尔可夫链蒙特卡罗反向传播和变分推理反向传播框架之间的连接,以有效地从后验分布的变换参数提取样本。为了解决建模问题,我们制定了一个贝叶斯模型的图像配准,克服了现有的障碍时,使用密集的,高维的,同构变换参数化。这导致不确定性估计的改进校准。我们将该模型在图像配准精度和不确定性量化方面与VoxelMorph进行了比较,VoxelMorph是一种基于深度学习的最先进的图像配准模型。
2021-10-25 cs.CV
SceneFlowFields: Dense Interpolation of Sparse Scene Flow Correspondences
DFKI - German Research Center for Artificial Intelligence(德国人工智能研究中心);BMW Group(宝马集团)
虽然大多数场景流方法使用变分优化或强刚性运动假设,我们第一次表明,场景流也可以通过稀疏匹配的密集插值来估计。为此,我们发现稀疏的匹配在两个立体图像对,没有任何事先正则化检测和执行密集的插值保留几何和运动边界,通过使用边缘信息。变分能量最小化的几次迭代进行,以完善我们的结果,这是彻底评估的KITTI基准和另外相比,国家的最先进的MPI Sintel。对于在汽车背景下的应用,我们进一步表明,一个可选的自我运动模型有助于提高性能,并顺利融入我们的方法,以产生一个分割的场景成静态和动态的部分。
2017-10-27 cs.CV
SGMatch: Semantic-Guided Non-Rigid Shape Matching with Flow Regularization
Wuhan University(武汉大学)
提出SGMatch框架,通过融合视觉基础模型的语义特征和条件流匹配正则化,解决非等距变形和拓扑噪声下的非刚性3D形状匹配问题。
2026-07-03 cs.CV
Deep learning based Non-Rigid Volume-to-Surface Registration for Brain Shift compensation Using Point Cloud
Austrian Center for Medical Innovation and Technology(奥地利医学创新与技术中心);Medical University of Vienna(维也纳医学大学);University of Cambridge(剑桥大学);Danube Private University (DPU)(多瑙私人大学(DPU))
本文提出基于深度学习的非刚性体积分到表面注册方法,利用稀疏手术表面观测进行密集位移场估计,实现有限视野下的脑移位补偿。
2026-04-19 cs.CV
VolumeDeform: Real-time Volumetric Non-rigid Reconstruction
University of Erlangen-Nuremberg(埃尔朗根-纽伦堡大学);Max-Planck-Institute for Informatics(马克斯·普朗克信息学研究所);Stanford University(斯坦福大学)
我们提出了一种新的方法,使用一个单一的手持消费级RGB-D传感器在实时的【形】率的动态几何形状的重建。我们的方法不需要一个预定义的形状模板开始,并从头开始建立场景模型在扫描过程中。几何形状和运动以统一的方式通过体积表示来参数化,该体积表示对表面几何形状的距离场以及非刚性空间变形进行编码。运动跟踪是基于一组提取的稀疏颜色特征结合密集的基于深度的约束制定。这实现了精确的跟踪,并大大减少了标准模型到深度对齐所固有的漂移。我们将寻找空间的最佳变形作为一个非线性正则化变分优化问题,通过强制局部光滑和接近输入约束。这个问题是解决在实时相机的捕获率使用数据并行触发器优化策略。我们的研究结果表明,强大的跟踪,即使是快速运动和场景,缺乏几何特征。
2016-07-30 cs.CV
RiGS: Rigid-aware 4D Gaussian Splatting from a Single Monocular Video
Harvard University(哈佛大学);Zhejiang University(浙江大学);Nanyang Technological University(南洋理工大学);University of Minnesota - Twin Cities(明尼苏达大学-双城分校)
提出RiGS,通过静态、刚性和瞬态三种高斯原语分别建模不同时间尺度的运动,并利用目标动态掩码和场景流引导实现单目视频动态场景重建,在新视角合成任务上达到最优性能。
2026-05-22 cs.CV
Does it work outside this benchmark? Introducing the Rigid Depth Constructor tool, depth validation dataset construction in rigid scenes for the masses
U2IS, ENSTA Paris, Institut Polytechnique de Paris(巴黎综合理工学院,ENSTA巴黎,U2IS)
我们提出了一个协议来构建自己的深度验证数据集导航。该协议被称为RDC for Rigid Depth Constructor,旨在比现有技术更容易获得和更便宜,只需要一个摄像头和一个激光雷达传感器即可开始。我们还开发了一个测试套件,以获得有见地的信息,从评估的算法。最后,我们以无人机视频为例,测试了最初在KITTI上测试的两种深度算法,并表明无人机上下文与车内视频有很大不同。这表明,单个上下文基准不应被认为是可靠的,并且在开发深度估计算法时,应该在最适合特定需求的数据集上对其进行基准测试,这通常意味着创建一个全新的数据集。在本文中,我们提供了一个开源实现的工具,并计划使其尽可能用户友好,即使是小团队也可以创建深度数据集。我们的主要贡献如下:我们提出了一个完整的,开源的,几乎完全自动化的软件应用程序,用于创建具有密集注释深度的验证数据集,适用于各种图像,视频和范围数据。它包括用于使数据集适应特定验证需求的选择工具,以及用于其他数据集格式的转换工具。使用这个应用程序,我们提出了两个新的真实数据集,室外和室内,易于使用的无人机导航上下文。最后,作为例子,我们展示了两个深度预测算法的评估,使用一个全面的(例如,基于分布的)指标的集合。
2021-03-29 cs.CV
Non-Rigid Puzzles
University of Lugano(卢加诺大学);Technion(以色列理工学院);Intel(英特尔);TU Munich(慕尼黑工业大学)
形状对应是计算机图形学和视觉中的一个基本问题,在各种问题中具有应用,包括动画、纹理映射、机器人视觉、医学成像、考古学等等。在允许形状经历非刚性变形并且只有部分视图可用的设置中,该问题变得非常具有挑战性。为此,我们提出了一种非刚性的多部分形状匹配算法。我们假设给定一个参考形状,其多个部分经历非刚性变形。这些查询部分中的每一个都可能被混乱所污染,可能与其他部分重叠,并且可能存在缺失部分或冗余部分。我们的方法同时解决了参考模型的分割,以及与零件(子集)的密集对应。合成以及真实扫描的实验结果表明,我们的方法在处理这种具有挑战性的匹配方案的有效性。
2020-11-26 cs.CV cs.GR
Non-Rigid Neural Radiance Fields: Reconstruction and Novel View Synthesis of a Dynamic Scene From Monocular Video
MPI for Informatics(马克斯·普朗克信息学研究所);Facebook Reality Labs Research(Facebook现实实验室研究)
提出了一种非刚性神经辐射场(NR-NeRF)的动态场景重建和视图合成方法。我们的方法将动态场景的RGB图像作为输入(例如,从单目视频记录),并创建高质量的时空几何和外观表示。我们表明,一个单一的手持消费级相机是足以合成复杂的渲染的动态场景从新颖的虚拟相机的意见,例如,一个“子弹时间”的视频效果。NR-NeRF将动态场景分解为正则体及其变形。场景变形被实现为光线弯曲,其中直线光线被非刚性地变形。我们还提出了一种新的刚性网络,以更好地约束场景的刚性区域,从而获得更稳定的结果。射线弯曲和刚度网络在没有明确监督的情况下进行训练。我们的公式可以在视图和时间上进行密集的对应估计,以及引人注目的视频编辑应用程序,如运动夸张。我们的代码将是开源的。
2021-08-23 cs.CV cs.GR
Neural Non-Rigid Tracking
Technical University of Munich(慕尼黑工业大学);Stanford University(斯坦福大学)
我们介绍了一种新的,端到端的可学习,可微分的非刚性跟踪器,使国家的最先进的非刚性重建的学习鲁棒优化。给定两个输入的RGB-D帧的非刚性移动的对象,我们采用卷积神经网络来预测密集的对应关系和它们的置信度。这些对应关系被用作尽可能刚性(ARAP)优化问题中的约束。通过加权非线性最小二乘求解器实现梯度反向传播,我们能够以端到端的方式学习对应关系和置信度,从而使它们对于非刚性跟踪任务是最佳的。在此公式下,可以通过自我监督来学习对应置信度,从而通知学习的鲁棒优化,其中离群值和错误的对应关系被自动降低权重以实现有效的跟踪。与最先进的方法相比,我们的算法显示出更好的重建性能,同时实现了比基于深度学习的方法快85倍的对应预测。我们提供代码。
2021-01-12 cs.CV cs.GR cs.LG
Coarse-to-Fine Non-Rigid Registration for Side-Scan Sonar Mosaicking
School of Marine Science and Technology, Northwestern Polytechnical University(海洋科学与技术学院,西北工业大学);Research & Development Institute of Northwestern Polytechnical University(西北工业大学研发院);Computer Vision and Robotics Research Institute (ViCOROB) of the University of Girona(加泰罗尼亚大学计算机视觉与机器人研究所(ViCOROB))
本文提出一种粗到细的非刚性配准框架,用于提升侧扫声呐图像拼接的准确性和鲁棒性。
2025-11-19 cs.CV physics.geo-ph
MINA: Convex Mixed-Integer Programming for Non-Rigid Shape Alignment
MPI Informatics Saarland Informatics Campus(萨尔州大学信息学研究所(MPI Informatics)萨兰兹信息学园区(Saarland Informatics Campus))
我们提出了一个非刚性形状匹配的凸混合整数规划公式。为此,我们提出了一种新的形状变形模型的基础上,一个有效的低维离散模型,以便找到一个全局最优的解决方案是易于处理的(大多数)实际情况下。我们的方法结合了几个有利的属性:它是独立的初始化,它是更有效地解决到全局最优相比,类似的二次分配问题的配方,它是高度灵活的,它可以处理的匹配问题的变体。实验上,我们证明了我们的方法优于现有的稀疏形状匹配方法,它可以用于初始化密集形状匹配方法,我们展示了它的灵活性在几个例子。
2020-02-28 cs.CV cs.GR cs.LG
Variational State-Space Models for Localisation and Dense 3D Mapping in 6 DoF
Volkswagen Group(大众集团);Machine Learning Research Lab(机器学习研究实验室)
我们解决的问题,6自由度的本地化和三维密集重建空间环境中的近似贝叶斯推断在深状态空间模型。我们的方法利用了多视图几何和刚体动力学的学习和领域知识。这导致了世界的表达性预测模型,这在当前最先进的视觉SLAM解决方案中通常是缺失的。结合变分推断,神经网络和可微raycaster确保我们的模型是服从端到端的基于梯度的优化。我们评估我们的方法对现实的无人机飞行数据,接近最先进的视觉惯性里程计系统的性能。我们证明了该模型的生成预测和规划的适用性。
2021-03-15 cs.CV cs.LG stat.ML