Non-rigid 3D Shape Registration using an Adaptive Template
University of York（约克大学）
提出了一种新的全自动非刚性三维形状配准方法（变形）框架，包括（1）新的3D地标和姿态归一化方法;（2）自适应形状模板方法，用于加速配准算法的收敛并实现更好的最终形状对应;（3）结合迭代最近点和相干点漂移（CPD）的新的迭代配准方法我们称这种新的变形方法为迭代相干点漂移（ICPD）。我们提出的框架进行了定性和定量评估三个数据集，并与其他几种方法进行了比较。所提出的框架，以提供国家的最先进的性能。
2018-09-22 cs.CV
Diffusion framework for geometric and photometric data fusion in non-rigid shape analysis
Technion, Israel Institute of Technology（以色列理工学院）；Università della Svizzera Italiana（瑞士意大利语区大学）；Tel Aviv University（特拉维夫大学）
在本文中，我们探讨了使用扩散几何框架融合的几何和光度信息的局部和全局形状描述符。我们的建设是基于嵌入到一个高维空间的嵌入坐标表示光度信息的形状流形上的扩散过程的定义。实验结果表明，这种数据融合是有用的，在应对不同的挑战，纯几何和纯光度方法失败的形状分析。
2011-01-22 cs.CV
Intrinsic Dynamic Shape Prior for Fast, Sequential and Dense Non-Rigid Structure from Motion with Detection of Temporally-Disjoint Rigidity
MPI for Informatics（马克斯·普朗克信息学研究所）；University of Kaiserslautern（凯泽斯劳滕大学）；DFKI（德国人工智能研究中心）
近年来，从可重构性问题的角度对运动中的密集非刚性结构（NRSfM）进行了广泛的研究，但几乎没有尝试将其带入实际领域。传播缓慢的原因是严重的不适定性，对运动和变形线索的高度敏感性以及在绝大多数实际场景中难以获得可靠的点轨迹。为了填补这一空白，我们提出了一种混合的方法，从输入序列中提取先验形状知识与NRSfM，并使用它作为一个动态的形状之前的顺序表面恢复的情况下复发。我们的动态形状先验重建（DSPR）方法可以与现有的密集NRSfM技术相结合，而其能量泛函优化与随机梯度下降在实时速率的新的传入点跟踪。所提出的多功能框架与一个新的核心NRSfM方法优于其他几种方法的能力，处理不准确和嘈杂的点跟踪，只要我们有一个代表性的（在变形品种方面）图像序列。综合实验结果表明，DSPR算法在不同扰动作用下的收敛性能和精度都得到了很好的验证。我们还进行了跟踪和重建的联合研究，并显示应用程序的形状压缩和心脏重建闭塞。我们在不同的场景中实现了最先进的指标（准确性和压缩比）。
2020-06-29 cs.CV
Implicit field supervision for robust non-rigid shape matching
École Polytechnique（巴黎综合理工学院）；IP Paris（巴黎理工学院）
建立两个非刚性变形形状之间的对应关系是视觉计算中最基本的问题之一。现有的方法往往表现出较弱的弹性时，提出了与现实世界的数据，如噪声，离群值，自遮挡等挑战。另一方面，自动解码器已经表现出强大的表达能力，在学习几何有意义的潜在嵌入。然而，它们在\emph{shape analysis}中的使用受到限制。在本文中，我们介绍了一种基于自动解码器框架的方法，该方法在固定模板上学习连续的形状变形场。通过一种新的\emph{Signed Distance Regularisation}（SDR）来监控曲面上点的形变场和曲面外点的正则化，学习模板和形状\emph{volumes}之间的对齐。经过清洁防水网格、\emph{without}和任何数据增强的培训，我们在受损数据和真实世界扫描上展示了令人信服的性能。
2022-07-21 cs.CV
Model-free Consensus Maximization for Non-Rigid Shapes
ETH Zürich（苏黎世联邦理工学院）；KU Leuven（鲁汶大学）
许多计算机视觉方法使用共识最大化来将包含离群值的测量与正确的变换模型相关联。在刚性形状的上下文中，这通常通过使用随机采样和一致性（RANSAC）来估计与最大数量的测量值（内点）一致的分析模型来完成。然而，小参数模型可能并不总是可用的。在本文中，我们制定了无模型的共识最大化作为一个图中使用的“规则”的测量的一个可编程的程序。然后，我们提供了一种方法来解决它最佳使用分支定界（BNB）范式。我们把它的应用集中在非刚性形状上，我们应用该方法来去除离群的3D对应关系，并实现优于现有技术的性能。我们的方法的离群率高达80%。我们进一步推导出用于3D模板到图像匹配的类似公式，与现有技术相比，实现了类似或更好的性能。
2018-08-13 cs.CV
CoE: Deep Coupled Embedding for Non-Rigid Point Cloud Correspondences
Technical University of Munich（慕尼黑工业大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
本文提出CoE深度耦合嵌入方法，通过学习对几何感知且抗变形、噪声与缺失的逐点高维表示，实现非刚性点云间高质量密集匹配。
2025-01-09 cs.CV
Adjoint Rigid Transform Network: Task-conditioned Alignment of 3D Shapes
University of Tübingen（图宾根大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
本文提出伴随刚体变换网络（ART），通过自监督和旋转等变性约束学习将三维形状对齐到规范方向，可集成到多种三维网络中，显著提升形状重建、插值、非刚体配准和潜在解耦等任务的性能。
2023-10-27 cs.CV
Non-Rigid Structure-From-Motion by Rank-One Basis Shapes
Institution1（机构1）；Institution2（机构2）
在本文中，我们表明，仿射，非刚性的运动恢复结构问题可以解决的秩一，从而退化，基础形状。它是Bregler等人的经典低秩方法的自然重新表述，其中假设可变形3D结构由刚性基础形状的线性组合产生。非刚性形状将被分解为平均形状和退化形状，从低秩分解的右奇异向量构造。右奇异向量被仿射反投影到3D空间中，并且仿射反投影也将作为因子分解的一部分来求解。通过构造，对低秩分解的右奇异向量的直接解释也将遵循：它们可以被视为主成分，因此，我们的方法的第一个变体被称为Rank-1-PCA。第二种变体，称为秩-1-ICA，另外估计正交变换，该正交变换将变形模式映射到尽可能统计独立的模式。它的优点是精确定位统计相关的子空间，例如，在人脸上的嘴唇运动。此外，与现有的作品相比，没有预定义的维度的子空间。在多个数据集上的实验表明，该方法比现有方法具有更好的效果，计算速度更快，对变形模式的解释更直观。
2019-04-30 cs.CV
Structure from Recurrent Motion: From Rigidity to Recurrency
Tsinghua University（清华大学）；Carnegie Mellon University（卡内基梅隆大学）；Australian National University（澳大利亚国立大学）
本文提出了一种新的方法，非刚性结构从运动（NRSfM）从一个长的单目视频序列观察一个非刚性对象执行经常性和可能重复的动态动作。与传统的使用线性低阶或低秩形状模型进行NRSfM任务的想法不同，我们的方法利用了形状递归的性质（即，许多变形的形状倾向于在时间上重复它们自己）。我们证明了递归实际上是一个广义刚性。在此基础上，我们把NRSfM问题转化为刚性问题，只要满足一定的递归条件。鉴于这样的减少，标准的刚性SfM技术直接适用于（没有任何变化）的非刚性动态形状的重建。为了实现这一想法作为一个实用的方法，本文开发了有效的算法自动递归检测，以及相机视图聚类通过刚性检查。仿真序列和实际数据的实验结果表明了该方法的有效性。由于本文提供了一个新的角度来重新思考结构从运动，我们希望它能启发其他新的问题在该领域。
2018-04-18 cs.CV
Deformation-Guided Unsupervised Non-Rigid Shape Matching
Inria（法国国家信息与自动化研究所）；University Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Interdigital（Interdigital公司）
本文提出一种无监督数据驱动的非刚性形状匹配方法，通过分层块表示与近似刚性形变约束实现多尺度匹配，显著提升了含噪声原始3D扫描的匹配鲁棒性。
2023-11-27 cs.CV
Bayesian Inference of Bijective Non-Rigid Shape Correspondence
Technische Universität München（慕尼黑工业大学）；Technion, Israel Institute of Technology（以色列理工学院）；Intel（英特尔公司）；Università della Svizzera italiana（瑞士意大利语区大学）
用于计算可变形形状之间的对应关系的许多算法依赖于描述符空间中的最近邻匹配的某种变体。例如，这些是用作函数对应框架中的后处理阶段的各种逐点对应恢复算法。在本文中，我们表明，这种经常使用的技术在实践中遭受缺乏准确性，并导致不良的满射性。我们提出了一种替代恢复技术，保证双射对应并产生显着更高的准确性。我们从贝叶斯推理的统计框架中推导出所提出的方法，并在几个具有挑战性的可变形3D形状匹配数据集上展示了其性能。
2016-07-12 cs.CV
PR-RRN: Pairwise-Regularized Residual-Recursive Networks for Non-rigid Structure-from-Motion
Baidu Research（百度研究院）；Northwestern Polytechnical University（西北工业大学）；University of Technology Sydney（悉尼科技大学）；Zhejiang University（浙江大学）
本文提出了一种基于神经网络的非刚性运动恢复结构（NRSfM）建模方法PR-RRN。PR-RRN由残差递归网络（RRN）和两个额外的正则化损失组成。RRN被设计为有效地从2D关键点恢复3D形状和相机，具有新颖的残差递归结构。由于NRSfM是一个高度欠约束的问题，我们提出了两个新的成对正则化来进一步正则化重建。基于刚度的成对对比损失通过鼓励高刚度框架对的表示之间比低刚度框架对的表示之间具有更高的相似性来规范形状表示。我们提出了最小奇异值比来衡量成对刚度。当估计的形状和相机在对之间交换时，成对一致性损失强制重建是一致的。我们的方法在CMU MOCAP和PASCAL 3D+数据集上实现了最先进的性能。
2021-08-17 cs.CV
Deep Non-rigid Structure-from-Motion: A Sequence-to-Sequence Translation Perspective
Northwestern Polytechnical University（西北工业大学）；EPFL（洛桑联邦理工学院）；Shanghai AI Laboratory（上海人工智能实验室）
针对逐帧重建忽略NRSfM时空特性的问题，提出从序列到序列转换视角的深度NRSfM框架，结合形状-运动预测、上下文建模与子空间约束实现端到端批量训练，在多数据集上取得更优效果。
2024-08-13 cs.CV
Product Manifold Filter: Non-Rigid Shape Correspondence via Kernel Density Estimation in the Product Space
Technical University Munich（慕尼黑工业大学）；Tel-Aviv University（特拉维夫大学）；USI Lugano（卢加诺大学）；Technion, Israel Institute of Technology（以色列理工学院）；Intel（英特尔）
用于计算可变形形状之间的对应关系的许多算法依赖于描述符空间中的最近邻匹配的某种变体。例如，这些是用作功能对应框架中的后处理阶段的各种逐点对应恢复算法。这种经常使用的技术隐含地做出限制性假设（例如，近似等距），并且在实践中缺乏准确性并导致差的满射性。我们提出了一种替代恢复技术，能够保证双射对应，并产生显着更高的准确性和平滑度。与其他方法不同，我们的方法不依赖于假设分析的形状是等距的。我们从核密度估计的统计框架中推导出所提出的方法，并在几个具有挑战性的可变形3D形状匹配数据集上证明了其性能。
2017-04-07 cs.CV
Non-Rigid Shape Registration via Deep Functional Maps Prior
Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）；Peng Cheng Lab（鹏城实验室）
本研究提出结合深度函数映射先验的无监督非刚性形状配准框架，融合传统与谱映射方法优势，通过动态对应更新、一致性过滤及姿态回归，仅用少量训练形状即在多基准上取得SOTA，可处理兼具内外大形变的挑战性形状对。
2023-11-08 cs.CV
A Combinatorial Solution to Non-Rigid 3D Shape-to-Image Matching
Luxembourg Centre for Systems Biomedicine, University of Luxembourg（卢森堡大学系统生物医学中心）；Centre Hospitalier de Luxembourg（卢森堡中心医院）；Technical University of Munich (TUM)（慕尼黑工业大学）
我们提出了一个组合的解决方案，非刚性匹配的3D形状的3D图像数据的问题。为此，我们将形状建模为三角形网格，并允许该网格的每个三角形进行刚性变换，以实现与图像的适当匹配。通过惩罚相邻三角形之间的距离和相对旋转，我们的匹配在图像和形状信息之间做出了妥协。在本文中，我们解决了两个主要的挑战：首先，我们解决了由此产生的大型和NP-难组合问题与适当的图论方法。其次，我们提出了一个有效的离散化的无界6维李群SE（3）。据我们所知，这是第一个非刚性3D形状图像匹配的组合配方。与现有的本地（梯度下降）优化方法相比，我们得到的解决方案，不需要一个很好的初始化，并在一个范围内的最优解。我们评估所提出的方法上的两个问题，非刚性的3D形状到形状和非刚性的3D形状到图像配准，并证明它提供了有前途的结果。
2017-05-18 cs.CV math.OC
Geodesic squared exponential kernel for non-rigid shape registration
INRIA（法国国家信息与自动化研究所）；QuantifiCare（QuantifiCare 公司）
这项工作解决了3D扫描的非刚性配准问题，这是形状建模技术的核心。首先，我们提出了一个新的核的基础上测地线距离的高斯过程变形模型（GPMM）框架。在内核中使用测地线距离使其更适合曲面的拓扑和几何特征，并导致孔和弯曲区域周围更逼真的变形。由于内核拥有超参数，我们已经针对FaceWarehouse数据集上的人脸注册任务对其进行了优化。我们表明，在FaceWarehouse数据集的所有20个表情上，Geodesic平方指数内核的人脸配准任务明显优于最先进的内核。其次，我们提出了一个修改的损失函数中使用的非刚性ICP配准算法，允许加权的对应关系，根据他们的信心。作为一个用例，我们证明了我们可以使配准对3D扫描中的离群值（如非皮肤部分）更具鲁棒性。
2021-12-22 cs.CV
Geometry-Aware Network for Non-Rigid Shape Prediction from a Single View
Institut de Robòtica i Informàtica Industrial, CSIC-UPC（西班牙国家研究委员会-加泰罗尼亚理工大学工业机器人与信息学研究所）；Mapillary Research（Mapillary研究院）；Laboratoire Bordelais de Recherche en Informatique, Université de Bordeaux（波尔多大学波尔多信息学研究实验室）
我们提出了一种方法，用于预测的3D形状的可变形表面从一个单一的视图。与以前的方法相比，我们不需要一个预先注册的表面模板，我们的方法是强大的缺乏纹理和部分遮挡。我们的方法的核心是一个{ \it geometry-aware}深度架构，它可以像通常在解析解决方案中所做的那样解决问题：首先执行网格的2D检测，然后估计与图像几何一致的3D形状。我们以端到端的方式训练这个架构，使用不同变形水平、材料属性、纹理和光照条件下的形状合成渲染的大型数据集。我们评估了我们的方法对这个数据集和可用的真实基准的测试分裂，不断提高国家的最先进的解决方案，显着降低计算时间。
2018-09-27 cs.CV
Unsupervised 2D-3D lifting of non-rigid objects using local constraints
Meta AI；University College London（伦敦大学学院）
针对非刚性物体2D至3D形状预测的不适定问题，提出使用无监督损失训练通用高容量模型，并对完整形状的局部子集应用低秩约束，在S-Up3D数据集上将重建误差降低超70%。
2025-04-27 cs.CV
SGMatch: Semantic-Guided Non-Rigid Shape Matching with Flow Regularization
Wuhan University（武汉大学）
提出SGMatch框架，通过融合视觉基础模型的语义特征和条件流匹配正则化，解决非等距变形和拓扑噪声下的非刚性3D形状匹配问题。
2026-07-03 cs.CV
Canonical Pose Reconstruction from Single Depth Image for 3D Non-rigid Pose Recovery on Limited Datasets
Northern Border University（北方边境大学）；Cardiff University（卡迪夫大学）
针对非刚性物体3D重建需大量训练数据的问题，提出规范姿态重建模型，将单视角深度图转为规范形式以应用刚性重建技术，仅用约300样本即在动物和人类数据集上超越现有方法。
2025-05-23 cs.CV
Coarse-to-Fine: A Hybrid Self-Supervised Method for Non-rigid 3D Shape Matching
Zhejiang University（浙江大学）；Zhejiang Lab（之江实验室）；Wenzhou University of Technology（温州理工学院）
提出一种基于从粗到细策略的混合自监督方法，通过双分支功能映射学习流（拉普拉斯基和弹性基）实现粗映射与精化对应的一致性，在非等距变形和拓扑噪声等挑战场景下达到最先进性能。
2026-06-29 cs.CV
Synchronous Diffusion for Unsupervised Smooth Non-Rigid 3D Shape Matching
University of Bonn（波恩大学）；Lamarr Institute（拉马尔研究所）
针对无监督非刚性3D形状匹配中逐点对应空间平滑性不足的问题，提出将同步扩散作为正则化项，在多数据集上验证其可显著提升匹配性能，尤其适配拓扑噪声场景。
2024-07-11 cs.CG cs.CV
Motion2VecSets: 4D Latent Vector Set Diffusion for Non-rigid Shape Reconstruction and Tracking
Technical University of Munich（慕尼黑工业大学）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
针对点云序列模糊观测下非刚性物体4D重建难题，提出基于潜在向量集的4D扩散模型Motion2VecSets，通过时空交错注意力实现高一致性重建，性能优于现有前沿方法。
2024-04-13 cs.CV
NF3DM: Combining Neural Fields and Deformation Models for 3D Non-Rigid Motion Reconstruction
Univ. Grenoble Alpes, CNRS, Inria, Grenoble INP, LJK（格勒诺布尔阿尔卑斯大学、国家科学研究中心、法国国家信息与自动化研究所、格勒诺布尔理工大学、LJK）
提出NF3DM方法，结合神经场与网格变形模型，从单目深度视频重建近等距变形形状的高保真、时间连贯三维运动，优于现有方法。
2025-09-08 cs.CV
4DComplete: Non-Rigid Motion Estimation Beyond the Observable Surface
The University of Tokyo（东京大学）；Tokyo Research Center, Huawei（华为东京研究中心）；Technical University Munich（慕尼黑工业大学）
使用范围传感器跟踪非刚性变形场景具有许多应用，包括计算机视觉、AR/VR和机器人。然而，由于距离传感器的遮挡和物理限制，现有的方法只能处理可见表面，从而导致运动场的不连续性和不完整性。为此，我们引入4DComplete，一种新的数据驱动的方法，估计未观察到的几何形状的非刚性运动。4DComplete将部分形状和运动观察作为输入，提取4D时空嵌入，并使用稀疏全卷积网络联合推断丢失的几何形状和运动场。对于网络训练，我们构建了一个名为DeformingThings 4D的大规模合成数据集，该数据集由1972个动画序列组成，涵盖31种不同的动物或人形类别，并带有密集的4D注释。实验表明，4DComplete 1）从部分观察中重建高分辨率的体积形状和运动场，2）学习有利于形状和运动估计的纠缠4D特征表示，3）产生比经典的非刚性先验更准确和自然的变形，如尽可能刚性（ARAP）变形，以及4）很好地推广到现实世界序列中看不见的对象。
2021-05-05 cs.CV
DiffuMatch: Category-Agnostic Spectral Diffusion Priors for Robust Non-rigid Shape Matching
LIX, Ecole Polytechnique（巴黎政治学院LIX实验室）；Technical University of Munich（慕尼黑技术大学）
该研究提出DiffuMatch框架，通过在谱域训练基于分数的函数映射生成模型，以类别无关的学习型正则化替代传统公理化约束，提升了零样本非刚性形状匹配的效果。
2025-07-31 cs.CV
RINO: Rotation-Invariant Non-Rigid Correspondences
TUM（慕尼黑工业大学）；Stanford University（斯坦福大学）；MCML（慕尼黑机器学习中心）；MIT（麻省理工学院）
本文提出RINO框架，通过旋转不变的特征提取器实现非刚性形状匹配，无需预对齐或手工特征，提升非等距变形等任务的性能。
2026-03-29 cs.CV
Shape Registration with Directional Data
School of Computer Science and Statistics（计算机科学与统计学院）；Trinity College Dublin（都柏林大学三一学院）
我们提出了几个成本函数与欧几里德和/或非欧几里德信息（单位向量）编码的形状注册。我们的框架进行评估的目标和模型形状对应的2D轮廓和3D表面之间的刚性和非刚性转换的估计。得到的实验结果证实，使用一个点的位置和单位法向量的成本函数的组合，可以提高配准结果相比，最先进的方法。
2017-08-29 cs.CV
ARAPReg: An As-Rigid-As Possible Regularization Loss for Learning Deformable Shape Generators
UT Austin（德克萨斯大学奥斯汀分校）；MIT（麻省理工学院）；Hohai University（河海大学）
本文介绍了一种用于训练参数化变形形状生成器的无监督损失。其关键思想是在生成的形状之间强制保持局部刚性。我们的方法建立在尽可能刚性（或ARAP）的变形能的近似。我们展示了如何通过对ARAP能量的Hessian谱分解来开发无监督损失。我们的损失很好地通过一个强大的规范来解释姿势和形状的变化。损失允许简单的封闭形式的表达式。它很容易训练，可以插入任何标准代模型，例如，变分自动编码器（VAE）和自动解码器（AD）。实验结果表明，在人类、动物和骨骼等各种形状类别的公共基准数据集上，我们的方法显着优于现有的形状生成方法。
2021-09-21 cs.AI cs.CV cs.GR
SignMimic: Robust High-Quality Sign Language Motion Generation via Human-Shape-Oblivious Pose Transfer Guidance
New York University Abu Dhabi（纽约大学阿布扎比分校）；ChatSign Technology（ChatSign 科技）
SignMimic通过分解刚体规范化、非刚体适应和姿态补全，利用SE(3)和NIF2D等技术，实现高质量手语视频生成，在多个数据集上达到最先进性能。
2026-09-25 cs.CV
NFR: Neural Feature-Guided Non-Rigid Shape Registration
Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）
本文提出一种基于学习的3D形状注册框架，通过神经特征提升非刚性变形和部分性处理能力，无需对应标注，实现高精度注册。
2026-05-13 cs.AI cs.CV
Learning Canonical Embedding for Non-rigid Shape Matching
LIX, Ecole Polytechnique（巴黎综合理工学院（LIX））；IP Paris（巴黎理工学院（IP Paris））
本文提供了一个新的框架，学习规范嵌入非刚性形状匹配。与此方向的先前工作相比，我们的框架是端到端训练的，因此避免了与常用的Laplace-Beltrami基或顺序优化方案相关的不稳定性和约束。在多个数据集上，我们证明了使用深度功能图学习自对称图可以将3D形状投影到低维规范嵌入中，从而通过简单的最近邻搜索促进非刚性形状对应。我们的框架在FAUST和SHREC基准测试中优于多个最近的基于学习的方法，同时计算成本更低，数据效率更高，并且鲁棒。
2021-10-06 cs.AI cs.CV cs.GR
Deep Interpretable Non-Rigid Structure from Motion
Carnegie Mellon University（卡内基梅隆大学）
所有当前的非刚性运动恢复结构运动恢复结构（NRSfM）算法在以下方面受到限制：（i）图像的数量，以及（ii）它们可以处理的形状可变性的类型。这阻碍了NRSfM在视觉中的许多应用的实际效用。在本文中，我们提出了一种新的深度神经网络来恢复相机姿势和3D点，仅从2D图像坐标的集合。所提出的神经网络在数学上可解释为多层块稀疏字典学习问题，并且可以处理前所未有的规模和形状复杂性的问题。大量的实验证明了我们的方法令人印象深刻的性能，我们表现出优越的精度和鲁棒性对所有可用的最先进的作品。相当大的模型容量，我们的方法提供了显着的泛化看不见的数据。我们提出了一个质量度量（基于网络权重），它避免了对3D地面实况的需要，以确定我们在重建中的信心。一旦估计了网络的权重（对于非刚性对象），我们将展示我们的方法如何有效地从单个图像中恢复3D形状-优于依赖于直接3D监督的可比方法。
2019-02-28 cs.CV
Controllable GAN Synthesis Using Non-Rigid Structure-from-Motion
IT University of Copenhagen（哥本哈根信息技术大学）
在本文中，我们提出了一种将非刚性运动恢复结构（NRSfM）与深度生成模型相结合的方法，并提出了一个有效的框架，用于在2D GANs的潜在空间中发现对应于3D几何形状变化的轨迹。我们的方法使用NRSfM的最新进展，并使编辑的相机和非刚性的形状信息与潜在的代码，而不需要重新训练的发生器。该公式提供了隐式密集3D重建，因为它使得能够从任意视角和非刚性结构合成新颖形状的图像。该方法建立在稀疏主干上，其中首先训练神经回归器以直接从潜在代码回归描述相机和稀疏非刚性结构的参数。然后通过估计给定潜码邻域中回归量的局部逆来识别与相机和结构参数的变化相关联的潜轨迹。实验表明，我们的方法提供了一个通用的，系统的方法来建模，分析和编辑的几何形状和非刚性结构的脸。
2022-11-14 cs.CV
A Dual Iterative Refinement Method for Non-rigid Shape Matching
UC Irvine（加州大学欧文分校）；Rensselaer Polytechnic Institute（伦斯勒理工学院）；Duke University（杜克大学）
在这项工作中，提出了一个简单而有效的双重迭代加密（Dual Iterative Refinement）方法，用于两个近似等距形状之间的稠密对应。其核心思想是以互补和有效的方式使用双重信息，如空间和光谱，或局部和全局特征，并从当前迭代中提取更准确的信息用于下一次迭代。在每次迭代中，从当前对应开始，在每个点处使用放大过程以通过局部映射失真准则来选择匹配良好的锚点对。然后，这些选择的锚点对被用于对齐其维度自适应地匹配选择的锚点对的容量的谱特征（或其他适当的全局特征）。由于以数据自适应的方式有效地组合了互补信息，因此该方法不仅高效而且鲁棒，可以在几次迭代内提供准确的结果。通过选择合适的对偶特征，该算法可以灵活地处理补丁匹配和部分匹配。在各种数据集上进行的大量实验表明，该方法在准确性和效率方面优于其他最先进的方法。
2020-11-19 cs.CV
Joint Symmetry Detection and Shape Matching for Non-Rigid Point Cloud
LIX, Ecole Polytechnique, IP Paris（巴黎理工学院综合理工学院计算机科学实验室）
尽管深度功能图在非刚性3D形状匹配中取得了成功，但不存在同时对自对称性和形状匹配进行建模的学习框架。尽管由于对称性失配引起的误差是非刚性形状匹配中的主要挑战。在本文中，我们提出了一个新的框架，同时学习两个自对称性以及一对形状之间的成对映射。我们的核心思想是通过正则化项耦合自对称映射和成对映射，该正则化项提供了对两者的联合约束，从而导致更精确的映射。我们在几个基准测试中验证了我们的方法，在这两个任务上它都优于许多竞争基线。
2022-04-19 cs.AI cs.CV cs.GR
Multi-feature Distance Metric Learning for Non-rigid 3D Shape Retrieval
Dalian Maritime University（大连海事大学）；Dalian University of Technology（大连理工大学）
在过去的几十年里，基于特征学习的三维形状检索方法受到了计算机图形学界的广泛关注。这些方法通常探索手工制作的距离度量或传统的距离度量学习方法来计算单个特征的相似性。单个特征往往包含单一的几何信息，不能很好地表征三维形状。因此，应该将多个特征用于检索任务，以克服单一特征的局限性，进一步提高性能。然而，大多数传统的距离度量学习方法无法整合来自多个特征的互补信息来构建距离度量。针对这些问题，提出了一种新的多特征距离度量学习方法用于非刚性三维形状检索，该方法利用KL-发散度，充分利用多个形状特征的互补几何信息.最小化不同度量的特征与公共度量之间的KL-分歧是一个一致性约束，它可以导致多个特征的一致性共享潜在特征空间。我们提出的方法应用到三维模型检索，并测试我们的方法在知名的基准数据库。结果表明，我们的方法大大优于国家的最先进的非刚性三维形状检索方法。
2019-01-10 cs.CV cs.LG
Non-Rigid Puzzles
University of Lugano（卢加诺大学）；Technion（以色列理工学院）；Intel（英特尔）；TU Munich（慕尼黑工业大学）
形状对应是计算机图形学和视觉中的一个基本问题，在各种问题中具有应用，包括动画、纹理映射、机器人视觉、医学成像、考古学等等。在允许形状经历非刚性变形并且只有部分视图可用的设置中，该问题变得非常具有挑战性。为此，我们提出了一种非刚性的多部分形状匹配算法。我们假设给定一个参考形状，其多个部分经历非刚性变形。这些查询部分中的每一个都可能被混乱所污染，可能与其他部分重叠，并且可能存在缺失部分或冗余部分。我们的方法同时解决了参考模型的分割，以及与零件（子集）的密集对应。合成以及真实扫描的实验结果表明，我们的方法在处理这种具有挑战性的匹配方案的有效性。
2020-11-26 cs.CV cs.GR
MINA: Convex Mixed-Integer Programming for Non-Rigid Shape Alignment
MPI Informatics Saarland Informatics Campus（萨尔州大学信息学研究所（MPI Informatics）萨兰兹信息学园区（Saarland Informatics Campus））
我们提出了一个非刚性形状匹配的凸混合整数规划公式。为此，我们提出了一种新的形状变形模型的基础上，一个有效的低维离散模型，以便找到一个全局最优的解决方案是易于处理的（大多数）实际情况下。我们的方法结合了几个有利的属性：它是独立的初始化，它是更有效地解决到全局最优相比，类似的二次分配问题的配方，它是高度灵活的，它可以处理的匹配问题的变体。实验上，我们证明了我们的方法优于现有的稀疏形状匹配方法，它可以用于初始化密集形状匹配方法，我们展示了它的灵活性在几个例子。
2020-02-28 cs.CV cs.GR cs.LG
SRFeat: Learning Locally Accurate and Globally Consistent Non-Rigid Shape Correspondence
LIX, École Polytechnique, IP Paris（巴黎理工学院综合理工学院LIX实验室）
在这项工作中，我们提出了一种新的学习为基础的框架，结合局部准确性的对比学习与全局一致性的几何方法，强大的非刚性匹配。我们首先观察到，虽然对比学习可以产生强大的逐点特征，但由于标准对比损失的纯组合性质，所学习的对应通常缺乏平滑性和一致性。为了克服这一限制，我们建议使用两种类型的平滑正则化来增强对比特征学习，这些平滑正则化将几何信息注入对应学习。有了这种新颖的组合，所得到的特征在各个点上都具有高度的区分性，同时，通过简单的邻近查询，导致了强大和一致的对应关系。我们的框架是通用的，适用于在3D和2D域的局部特征学习。我们证明了我们的方法的优越性，通过广泛的具有挑战性的匹配基准，包括3D非刚性形状对应和2D图像关键点匹配的广泛实验。
2022-09-16 cs.CV cs.GR
A Survey on Non-rigid 3D Shape Analysis
Murdoch University（莫道克大学）；University of South Australia（南澳大学）
形状是自然和人造三维物体的一个重要物理属性，它表征了物体的外观。理解形状之间的差异并对形状类别内和跨形状类别的可变性建模（下文称为\emph{shape analysis}）是许多应用的基本问题，所述应用的范围从计算机视觉和计算机图形到生物学和医学。本章概述了一些最近的技术，研究了经历非刚性变形，包括弯曲和拉伸的3D对象的形状。最近的调查，涵盖了一些方面，如分类，检索，识别，刚性或非刚性注册，集中在使用形状描述符的方法。然而，描述符提供了抽象表示，不能实现形状可变性的探索。在这一章中，我们专注于最近的技术，处理三维物体的形状作为点在一些高维空间中的路径描述变形。为空间配备合适的度量使得能够量化给定形状的变形范围，这又使得能够（1）基于3D对象的形状对3D对象进行比较和分类，（2）计算对象对之间的平滑变形，即测地线，以及（3）建模和探索3D模型集合中的连续形状可变性。本文综述并分类了这一领域的最新发展，概述了基本问题，讨论了它们在计算机视觉和图形学中的潜在应用，并强调了未来研究的机会。我们的主要目标是弥合各种技术之间的差距，这些技术通常由不同的社区独立提出，包括数学和统计学，计算机视觉和图形学以及医学图像分析。
2018-12-25 cs.CG cs.CV cs.GR
Reduced Representation of Deformation Fields for Effective Non-rigid Shape Matching
Ecole Polytechnique, IP Paris（巴黎理工学院综合理工学院）；University of Tübingen（图宾根大学）；Sapienza University of Rome（罗马大学）
在这项工作中，我们提出了一种新的方法来计算非刚性物体之间的对应关系，通过利用变形场的减少表示。不同于现有的作品，代表变形场的训练通用神经网络，我们主张的近似无网格方法的基础上。通过让网络在空间中的一组稀疏位置（节点）上学习变形参数，我们以保证平滑的封闭形式重建连续变形场。随着自由度的减少，我们在数据效率方面表现出显着的改善，从而实现有限的监督。此外，我们的近似提供了直接存取的一阶导数的变形场，这有助于有效地执行所需的正则化。我们得到的模型具有很高的表达能力，能够捕捉复杂的变形。我们通过多个可变形形状匹配基准的最先进的结果来说明其有效性。我们的代码和数据可在https://github.com/Sentient07/DeformationBasis上公开获取。
2022-11-26 cs.CV cs.GR
Revisiting Map Relations for Unsupervised Non-Rigid Shape Matching
University of Bonn（波恩大学）
本文提出一种无监督非刚性形状匹配方法，通过自适应函数映射求解器与顶点对比损失，提升映射质量，在挑战性数据集上超越现有方法。
2023-10-17 cs.CG cs.CV
Landmark shape spaces with induced metrics
该研究统一Kendall地标形状空间与带微分同胚群右不变Sobolev度量的地标构形空间，定义屏蔽弹性算子实现所需几何，可避免地标碰撞并保留形状不变性，用于求解匹配与测地线计算问题。
2026-08-19 cs.CV math.DG
A Survey of Non-Rigid 3D Registration
Cardiff University（卡迪夫大学）；University of Science and Technology of China（中国科学技术大学）；Università della Svizzera italiana（瑞士意大利语区大学）
非刚性配准以非刚性方式计算源表面与目标表面之间的对准。在过去的十年中，随着三维传感技术的进步，可以测量随时间变化的表面，非刚性配准已被应用于可变形形状的获取，并有广泛的应用。本调查提出了一个全面的审查非刚性注册方法的三维形状，侧重于技术相关的动态形状采集和重建。特别是，我们审查不同的方法表示的变形场，和计算所需的变形的方法。包括基于优化和基于学习的方法。我们还回顾了用于评估非刚性配准方法的基准和数据集，并讨论了未来潜在的研究方向。
2022-03-16 cs.CV cs.GR cs.LG
Smooth Non-Rigid Shape Matching via Effective Dirichlet Energy Optimization
École Polytechnique（巴黎综合理工学院）；ETH Zurich（苏黎世联邦理工学院）
我们通过Dirichlet能量将逐点映射平滑性引入到功能映射管道中，并提出了一种有效优化它的算法，从而在具有挑战性的设置中获得高质量的结果。具体来说，我们首先制定的Dirichlet能量的拉回形状坐标，作为一种方式来评估光滑度的逐点映射跨越离散表面。然后，我们扩展了最近提出的离散求解器，并展示了如何基于辅助变量重构的策略，使我们能够优化逐点映射的平滑性以及理想的功能映射特性，如双射性。这产生了一种高效的地图细化策略，可以同时改善功能和点对点对应关系，即使在非等距形状对上也能获得平滑的地图。此外，我们证明了几个以前提出的方法计算光滑的地图可以重新制定为我们的方法的变体，这使我们能够比较不同的配方在一个一致的框架。最后，我们比较这些方法在现有的基准和一个新的丰富的数据集，我们介绍，其中包含非刚性，非等距形状对类别间和跨类别的对应关系。我们的工作导致一个通用的框架，优化和分析地图平滑度的概念和具有挑战性的实际设置。
2022-10-05 cs.CV cs.GR
Learning rigid-body simulators over implicit shapes for large-scale scenes and vision
Google Deepmind（谷歌DeepMind）
针对大规模刚体场景模拟难题，提出基于学习符号距离函数（SDF）的SDF-Sim模拟器，克服网格方法扩展瓶颈，支持数百物体和百万节点，并可从多视角图像应用于真实场景。
2024-05-22 cs.CV cs.LG
DiffSDFSim: Differentiable Rigid-Body Dynamics With Implicit Shapes
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
可微物理是计算机视觉和机器人技术中用于场景理解和交互推理的强大工具。现有的方法经常局限于具有简单形状或预先已知形状的对象。在本文中，我们提出了一种新的方法来表示物体形状隐式使用符号距离场（SDF）的摩擦接触可微物理。我们的模拟支持接触点计算，即使涉及的形状是非凸的。此外，我们提出了区分对象形状的动态，以促进形状优化使用基于梯度的方法的方法。在我们的实验中，我们证明了我们的方法允许基于模型的推断的物理参数，如摩擦系数，质量，力或形状参数的轨迹和深度图像观察在几个具有挑战性的合成场景和一个真实的图像序列。
2022-01-10 cs.CV cs.GR cs.LG
Enhancing motion trajectory segmentation of rigid bodies using a novel screw-based trajectory-shape representation
KU Leuven（鲁汶大学）；Flanders Make（弗兰德斯制造）；Department of Mechanical Engineering（机械工程系）
针对三维刚体运动分割中忽略旋转的问题，提出融合平移与旋转、具备时间和参考点不变性的螺旋理论轨迹形状表示，并通过自监督方法验证其分割更鲁棒、一致。
2023-09-20 cs.CV cs.RO
Deep Convolutional Neural Network for Non-rigid Image Registration
Simon Fraser University（西蒙弗雷泽大学）
在不同时间或位置拍摄的图像会经历旋转、缩放、倾斜等变换。对准已经经历变换的不同图像的过程可以经由配准来完成。当分析时间序列数据以跟踪、平均或鉴别疾病诊断时，配准是期望的。对于刚性（包括线性或仿射）变换存在有效的配准方法;然而，对于非刚性（也称为非仿射）变换，当前方法在计算上昂贵且耗时。在本报告中，我将探索深度神经网络（DNN），更具体地说，深度卷积神经网络（CNN）有效执行非刚性图像配准的能力。实验结果表明，一个CNN可以用于有效的非刚性图像配准，并在显着更少的计算时间比传统的同构恶魔或金字塔的方法。
2021-04-24 cs.CV eess.IV
Self-Supervised Learning for Multimodal Non-Rigid 3D Shape Matching
University of Bonn（波恩大学）
3D形状的匹配已经被广泛地研究用于表示为表面网格的形状以及表示为点云的形状。虽然点云是原始真实世界3D数据（例如来自激光扫描仪）的常见表示，但网格编码丰富且富有表现力的拓扑信息，但它们的创建通常需要某种形式的（通常是手动的）管理。反过来，纯粹依赖于点云的方法无法满足利用附加拓扑结构的基于网格的方法的匹配质量。在这项工作中，我们通过引入一种自监督的多模态学习策略来缩小这一差距，该策略将基于网格的功能图正则化与耦合网格和点云数据的对比损失相结合。我们的形状匹配方法允许获得三角形网格，完整的点云和部分观察到的点云，以及在这些数据模式的对应关系的模内对应。我们证明，即使与最近的监督方法相比，我们的方法在几个具有挑战性的基准数据集上也取得了最先进的结果，并且我们的方法达到了以前从未见过的跨数据集泛化能力。
2023-03-20 cs.AI cs.CG cs.CV
Robust Non-Rigid Registration with Reweighted Position and Transformation Sparsity
Tianjin University（天津大学）；Cardiff University（卡迪夫大学）
非刚性配准是具有挑战性的，因为它是具有高自由度的不适定的，因此对噪声和离群值敏感。我们提出了一种鲁棒的非刚性配准方法，使用重新加权稀疏的位置和变换来估计3-D形状之间的变形。我们制定的能量函数的位置和变换稀疏的数据项和光滑项，并定义了使用局部刚性的光滑约束。基于双稀疏的非刚性配准模型的增强与重加权计划，并解决了该模型转化为四个交替优化的子问题，有精确的解决方案和保证收敛。在公共数据集和真实扫描数据集上的实验结果表明，该方法的性能优于现有的方法，并且比传统的非刚性配准方法对噪声和离群点更具鲁棒性。
2019-06-19 cs.CG cs.CV cs.GR
Inferring 3D Shapes of Unknown Rigid Objects in Clutter through Inverse Physics Reasoning
Rutgers University（罗格斯大学）
我们提出了一个概率的方法，在飞行中，未知物体的3-D模型，而被机器人操纵。我们特别考虑在包含以前看不见的对象的杂乱堆中的操作任务。大多数操作算法执行这样的任务需要已知的几何模型的对象，以掌握或重新安排他们鲁棒。这项工作的一个新的方面是利用物理引擎来验证模拟中的假设几何形状。物理模拟提供的证据被用于概率框架中，该框架解释了物体的机械特性是不确定的这一事实。我们提出了一个有效的算法推断闭塞部分的对象的基础上观察到的运动和相互作用。机器人实验表明，该方法可以有效地构建具有物理真实感的三维模型，为操作规划提供了依据。实验还表明，所提出的方法显着优于其他方法的形状精度。
2019-03-13 cs.CV cs.RO
