Texture Interpolation as Texton Matching
Tel Aviv University(特拉维夫大学);Stanford University(斯坦福大学)
该研究提出用感知外观的匹配替代位置配对,分离对应关系对纹理插值的影响,实验表明该方法可提升插值中点的分布质量,且对预训练模型也有效。
2026-10-14 cs.CV cs.GR cs.LG
Interp3D: Correspondence-aware Interpolation for Generative Textured 3D Morphing
Zhejiang University(浙江大学);National University of Singapore(新加坡国立大学);Nanjing University(南京大学);State Key Lab of CAD & CG, Zhejiang University(浙江大学计算机辅助设计与图形学国家重点实验室);Shenzhen Loop Area Institute(深圳河套学院)
Interp3D提出一种无需训练的纹理3D变形方法,通过结构化潜在引导和渐进对齐实现几何与纹理一致性,提升3D变形的平滑度和合理性。
2026-01-20 cs.CV
Learning Image Matching by Simply Watching Video
National University of Defense Technology(国防科技大学);Australian National University(澳大利亚国立大学);ARC Centre of Excellence for Robotic Vision(ARC机器人视觉卓越中心);NICTA(澳大利亚国家信息与通信技术研究院)
本文提出了一种基于无监督学习的方法来解决图像匹配中普遍存在的计算机视觉问题。我们从帧内插问题隐式地解决帧间对应的洞察开始。这允许综合分析的应用:我们首先训练并应用卷积神经网络进行帧内插,然后通过反转学习的CNN来获得对应关系。这种策略背后的关键好处是,用于帧内插的CNN可以通过利用真实世界视频序列中自然包含的时间相干性以无监督的方式进行训练。因此,本模型通过简单地观看视频来学习图像匹配。除了承诺更普遍适用,所提出的方法实现了令人惊讶的性能相比,传统的经验设计的方法。
2016-03-29 cs.CV
Spectral Meets Spatial: Harmonising 3D Shape Matching and Interpolation
Technical University of Munich(慕尼黑工业大学);University of Bonn(波恩大学)
提出统一框架结合spectral和spatial域映射,预测3D形状的逐点对应与插值,通过测试时适应方案捕捉不同变形,在多个数据集上超越现有最先进方法。
2024-03-27 cs.AI cs.CG cs.CV
Anchor Divergence for Semantic Geometry in Contrastive Learning
University of Chicago(芝加哥大学)
本文提出锚点散度方法,通过对比学习、指数族与信息几何的对应,在固定表示上定义上下文相关的语义几何,实验证明其能高效指定特定语义相似性。
2026-10-07 cs.AI cs.CV cs.LG
Hamiltonian Dynamics for Real-World Shape Interpolation
Technical University of Munich(慕尼黑工业大学)
我们重新审视了经典的3D形状插值问题,并提出了一种新的,物理上合理的方法基于哈密顿动力学。虽然大多数以前的工作集中在合成输入形状,我们的配方设计适用于现实世界的扫描与不完美的输入对应和各种类型的噪声。为此,我们使用动态薄壳模拟和无发散形状变形的最新进展,并将它们结合起来,以解决为两个输入形状找到一个合理的中间序列的逆问题。在以前的工作,主要集中在连续帧的小失真相比,我们明确的体积保持和动量守恒模型,以及各向异性的局部失真模型。我们认为,为了得到一个强大的插值不完美的输入,我们需要明确的输入噪声模型,从而在对齐为基础的配方。最后,我们展示了在广泛的合成和扫描数据上的定性和定量改进。除了对噪声输入更鲁棒之外,我们的方法还可以精确地产生保持体积的中间形状,避免自相交,并且可以扩展到高分辨率扫描。
2020-04-10 cs.CV
Unsupervised correspondence with combined geometric learning and imaging for radiotherapy applications
The University of Manchester(曼彻斯特大学);The Christie NHS Foundation Trust(克里斯蒂NHS基金会信托)
提出融合几何学习与CT成像信息的无监督三维器官对应模型,证明将图像块均方误差纳入损失可获得更优且解剖合理的对应关系。
2023-09-25 cs.AI cs.CV
Eyes on the Prize: Improved Biological Surface Registration via Forward Propagation
Duke University(杜克大学)
许多算法的表面注册的风险产生重大错误,如果表面是显着的非等距。流形学习已被证明可以有效地提高配准质量,使用来自整个表面集合的信息来纠正成对配准中存在的问题。然而,这些方法对于表面集合中的变化不稳健,或者不能以足够高的分辨率产生精确的配准以用于随后的下游分析。我们提出了一种新的算法,有效地注册这样的集合给定的初始对应不同程度的准确性。通过将初始信息与流形学习的最新发展相结合,我们采用一个简单的度量条件来构建集合中任何一对形状之间的对应空间的度量,然后我们使用它来提取软对应。我们证明,这种措施可以提高特征点之间的对应精度相比,目前采用的,不太强大的方法在不同的数据集的表面从进化生物学。然后,我们将展示如何使用我们的方法,结合最近的采样和插值方法,计算准确和一致的表面之间的同胚。
2020-12-14 cs.CV cs.GR
PointMixup: Augmentation for Point Clouds
University of Amsterdam(阿姆斯特丹大学);Google Research, Amsterdam(谷歌研究院阿姆斯特丹分部);Peking University(北京大学)
本文介绍了通过实例间插值实现点云数据的数据增强。通过内插的数据增强已被证明是图像域中的简单而有效的方法。然而,这样的混合并不能直接转移到点云上,因为我们在两个不同物体的点之间没有一一对应的关系。本文将点云之间的数据增强定义为最短路径线性插值。为此,我们引入PointMixup,一种插值方法,通过两个点云之间的路径函数的最佳分配来生成新的示例。我们证明了我们的PointMixup发现两个点云之间的最短路径,插值是分配不变和线性的。通过定义插值,PointMixup允许将基于插值的强正则化器(如mixup和流形mixup)引入点云域。在实验中,我们展示了PointMixup用于点云分类的潜力,特别是当例子很少时,以及对噪声和几何变换的鲁棒性增加。PointMixup的代码和实验细节是公开的。
2020-08-14 cs.CV
GNPM: Geometric-Aware Neural Parametric Models
University College London(伦敦大学学院)
我们提出了几何神经参数模型(GNPM),这是一种学习参数模型,它考虑到数据的局部结构,使用点云上的几何感知架构来学习4D动态的解纠缠形状和姿势潜在空间。时间一致的3D变形估计,而不需要在训练时的密集对应,通过利用周期的一致性。除了学习密集对应的能力外,GNPM还支持潜在空间操作,如插值和形状/姿态转移。我们评估了GNPMs在各种数据集上的穿着人类,并表明它实现了与训练期间需要密集对应的最先进方法相当的性能。
2022-09-21 cs.CV
Learning Dynamic Interpolation for Extremely Sparse Light Fields with Wide Baselines
City University of Hong Kong(香港城市大学)
本文解决了从宽基线稀疏采样光场重建稠密光场的问题,提出了一种可学习的模型,即动态插值,以代替常用的几何扭曲操作。具体来说,与输入视图之间的几何关系估计,我们首先构建一个轻量级的神经网络动态学习权值插值相邻像素从输入视图独立合成每个像素的新的视图。与几何变形操作中采用的固定和内容无关的权重相比,学习的插值权重隐含地包含源视图和新视图之间的对应关系,并适应于不同的图像内容信息。然后,我们恢复独立合成的像素之间的空间相关性的每个新的视图通过参考输入视图使用基于几何的空间细化模块。我们还约束的角度之间的相关性的新的意见,通过一个取向的LF结构损失。在宽基线LF数据集上的实验结果表明,与现有方法相比,重建的LF具有更高的PSNR/SSIM,并且更好地保留了LF视差结构。源代码可在https://github.com/MantangGuo/DI4SLF上公开获得。
2021-08-18 cs.CV
Stable-SCore: A Stable Registration-based Framework for 3D Shape Correspondence
FNii, CUHKSZ(香港中文大学(深圳)未来智人研究院);Tencent(腾讯);Tencent-Hunyuan3D(腾讯混元3D实验室);SSE, CUHKSZ(香港中文大学(深圳)理工学院)
针对三维形状对应中非等距差异等挑战,提出Stable-SCore稳定配准框架,利用二维对应引导网格变形,显著提升复杂场景下的对应性能。
2025-03-27 cs.AI cs.CV
Neural Matching Fields: Implicit Representation of Matching Fields for Visual Correspondence
Korea University(高丽大学);UC Berkeley(加州大学伯克利分校);Ewha Womans University(梨花女子大学)
现有的语义对应管道通常包括提取高级语义特征,以实现对类内变化和背景杂波的不变性。然而,这种架构不可避免地导致低分辨率匹配场,该低分辨率匹配场另外需要ad-hoc插值过程作为用于将其转换成高分辨率匹配场的后处理,这当然限制了匹配结果的整体性能。为了克服这一点,启发最近成功的隐式神经表征,我们提出了一种新的方法,语义对应,称为神经匹配场(NeMF)。然而,4D匹配场的复杂性和高维性是主要的障碍,我们提出了一个成本嵌入网络来处理一个粗略的成本体积,作为指导,通过以下全连接网络建立高精度的匹配场。然而,主要由于计算复杂性,学习高维匹配场仍然具有挑战性,因为朴素穷举推断将需要从4D空间中的所有像素查询以推断逐像素对应。为了克服这一点,我们提出了足够的训练和推理过程,在训练阶段,我们随机抽样匹配的候选人,并在推理阶段,我们迭代地执行基于PatchMatch的推理和协调优化在测试时。有了这些相结合,竞争力的结果达到了语义对应的几个标准基准。代码和预先训练的权重可在www.example.com上获得。
2022-10-06 cs.CV
Textured 3D Regenerative Morphing with 3D Diffusion Prior
S-Lab, Nanyang Technological University(南洋理工大学S-Lab)
针对带纹理3D形变中对应关系与拓扑对齐的限制,提出利用3D扩散先验在噪声、参数和条件特征层插值,并结合注意力融合、Token重排与低频增强,实现跨类别平滑合理的再生式形变。
2025-02-20 cs.AI cs.CV
Learning Canonical Embeddings for Unsupervised Shape Correspondence with Locally Linear Transformations
University of Florida(佛罗里达大学);National Renewable Energy Lab(美国国家可再生能源实验室)
我们提出了一种新的方法来无监督的点云对之间的形状对应学习。我们第一次尝试适应经典的局部线性嵌入算法(LLE)-最初设计用于非线性降维-形状对应。其关键思想是通过首先获得低维点云的高维邻域保持嵌入,然后使用局部线性变换对齐源和目标嵌入,来找到形状之间的密集对应。我们证明了学习嵌入使用一个新的LLE启发的点云重建目标的结果在准确的形状对应。更具体地说,该方法包括一个端到端的可学习框架,该框架提取高维邻域保持嵌入,估计嵌入空间中的局部线性变换,并通过重建和目标形状上构建的概率密度函数的基于发散测量的对齐来重建形状。我们的方法强制对应的形状嵌入位于相同的通用/规范嵌入空间中,这最终有助于正则化学习过程,并导致形状嵌入之间的简单最近邻方法,以找到可靠的对应关系。综合实验表明,新方法在覆盖人类和非人类形状的标准形状对应基准数据集上比最先进的方法有明显的改进。
2022-09-07 cs.CV cs.LG