TartanMatch: Towards Universal Dense Correspondence Across Modalities
Fisk University（菲斯克大学）；Carnegie Mellon University（卡内基梅隆大学）
TartanMatch是适用于5种传感器模态全部25种有序对的统一密集对应模型，通过轻量模态适配和真实合成数据混合，在零样本基准中大幅降低端点误差，联合训练提升了跨模态匹配准确率。
2026-10-14 cs.CV cs.LG cs.RO
U-mesh: Human Correspondence Matching with Mesh Convolutional Networks
Technion-Israel Institute of Technology（以色列理工学院）
3D扫描技术的发展推动了对解释几何数据的方法的需求，特别是对于人类受试者。在本文中，我们提出了一个优雅的融合回归（自下而上）和生成（自上而下）的方法，以适应参数模板模型的原始扫描网格。我们的第一个主要贡献是一个内在的卷积网格U-net架构，它预测与模板表面的逐点对应。软对应被公式化为新构造的笛卡尔空间中的坐标。将对应关系建模为欧几里德接近度可以实现有效的优化，无论是对于网络训练还是对于算法的下一步。我们的第二个贡献是一个生成优化算法，它使用U网对应预测来指导参数迭代最近点配准。通过使用预先训练的人体表面参数模型，我们最大限度地利用特定领域的先验知识。网格卷积网络与生成模型拟合的配对使我们能够预测真实人体表面扫描的对应关系，包括遮挡、局部性和不同的属（例如，来自自接触）。我们评估所提出的方法上的FAUST对应的挑战，我们实现了20%（33%）的改进，超过最先进的方法间（内）的主题对应。
2021-08-22 cs.CV
SPIDER: Spatial Image CorresponDence Estimator for Robust Calibration
Johns Hopkins University（约翰霍普金斯大学）
SPIDER是一种通用的图像匹配框架，通过整合共享特征提取主干和两个专用网络头，有效提升在不同场景下的鲁棒性与准确性。
2025-12-26 cs.CV
Unsupervised Template-assisted Point Cloud Shape Correspondence Network
University of Science and Technology of China（中国科学技术大学）；Deep Space Exploration Lab（深空探测实验室）
针对非刚性物体变形导致点云形状对应困难的问题，提出无监督模板辅助网络TANet，通过模板生成模块与模板辅助模块从多视角建立更准确的逐点对应关系，在四个数据集上表现优异。
2024-03-25 cs.CV
Recurrent Transformer Networks for Semantic Correspondence
Yonsei University（延世大学）；Microsoft Research（微软研究院）；Ewha Womans University（梨花女子大学）
我们提出了经常性的Transformer网络（RTNs）获得语义相似的图像之间的密集对应。我们的网络通过迭代过程来实现这一点，该过程估计输入图像之间的空间变换，并使用这些变换来生成对齐的卷积激活。通过直接估计图像对之间的变换，而不是采用空间Transformer网络来独立地规范化每个单独的图像，我们表明，可以实现更高的精度。该过程以递归方式进行，以细化变换估计和特征表示。此外，提出了一种基于建议的分类损失的RTNs的弱监督训练技术。使用RTNs，在语义对应的几个基准上达到了最先进的性能。
2018-10-29 cs.CV
Meta Deformation Network: Meta Functionals for Shape Correspondence
New York University（纽约大学）
我们提出了一种新的技术，名为“Meta Deformation Network”的三维形状匹配通过变形，其中一个深神经网络映射到第二个神经网络的参数的参考形状，其任务是通过变形给出学习的模板和查询形状之间的对应关系。我们将第二个神经网络归类为元函数，或者由另一个函数生成的函数，因为它的参数是由第一个网络在每个输入的基础上动态给出的。这导致了一个简单的整体架构和更快的执行速度，而不会损失模板变形的质量。我们在我们的实验表明，Meta变形网络导致改进的MPI-FAUST帧间挑战的设计，利用传统的解码器设计，具有非动态参数。
2020-06-26 cs.CV
LeCoT: revisiting network architecture for two-view correspondence pruning
School of Computer Science and Engineering, Nanjing University of Science and Technology（南京理工大学计算机科学与工程学院）
本文提出双视图对应点修剪网络LeCoT，通过空间-通道融合Transformer模块和渐进式预测模块高效利用全局上下文信息，在多项几何任务中超越现有方法。
2025-11-10 cs.CV
Human Correspondence Consensus for 3D Object Semantic Understanding
Shanghai Jiao Tong University（上海交通大学）
3D对象的语义理解在诸如对象操作等许多应用中是至关重要的。然而，很难给出一个普遍的定义，每个人都同意的点级语义。我们观察到，人们有一个共识，从不同的对象之间的两个区域之间的语义对应，但不确定每个区域的确切语义。因此，我们认为，通过提供人类标记的对应关系，而不是明确的语义标签，从同一类别的不同对象之间，可以恢复丰富的语义信息的对象。在本文中，我们介绍了一个新的数据集名为CorresPondenceNet。基于这个数据集，我们能够学习密集的语义嵌入与一个新的测地线一致性损失。因此，几个国家的最先进的网络进行评估，这个对应基准。我们进一步表明，CorresPondenceNet不仅可以提高异构对象的细粒度理解，而且还可以进行跨对象配准和部分对象匹配。
2020-11-26 cs.CV
Multi-Features Guidance Network for partial-to-partial point cloud registration
针对混合特征所带来的维数差异大、语义鸿沟大、相互干扰等问题，提出了一种新的多特征引导网络（Multi-Features Guidance Network，MFG）用于部分点云配准。该网络主要包括关键点特征提取、对应搜索、对应可信度计算和奇异值分解四个部分，其中对应搜索和对应可信度计算是网络的核心。与以前的工作不同，我们利用形状特征和空间坐标来指导对应搜索独立和融合的匹配结果，以获得最终的匹配矩阵。在对应关系可信度计算模块中，根据特征匹配矩阵和坐标匹配矩阵之间的冲突关系，对每个对应关系进行可信度评分，减少了不匹配点或不匹配点的影响。实验结果表明，我们的网络优于目前的最先进的，同时保持计算效率。
2021-09-10 cs.CV
Cascade Network with Guided Loss and Hybrid Attention for Finding Good Correspondences
National Key Laboratory of Science and Technology on Multispectral Information Processing（多光谱信息处理科学与技术国家重点实验室）
在许多基于特征的任务中，找到良好的对应关系是一个关键的先决条件。给定一个假定的对应集的图像对，我们提出了一个神经网络，发现正确的对应由一个二进制类分类器和估计相对姿态通过分类对应。首先，我们分析了由于正确和错误对应数的不平衡，损失函数对分类结果有很大的影响。因此，我们提出了一种新的指导损失，可以直接使用评估标准（Fn-测量）作为指导，在训练过程中动态调整目标函数。我们从理论上证明了引导损失与Fn-测度之间的完美负相关性，使得网络总是朝着增加Fn-测度的方向训练，以使其最大化。然后，我们提出了一种混合注意力块来提取特征，它集成了贝叶斯注意力上下文归一化（BACN）和通道注意力（CA）。BACN可以挖掘先验信息以更好地利用全局上下文，CA可以捕获复杂的信道上下文以增强网络的信道感知。最后，基于我们的引导损失和混合注意力块，设计了一个级联网络，以逐步优化的结果，以获得更优越的性能。实验表明，我们的网络在基准数据集上达到了最先进的性能。我们的代码将在https://github.com/wenbingtao/GLHA上提供。
2021-01-31 cs.CV
PARN: Pyramidal Affine Regression Networks for Dense Semantic Correspondence
Yonsei University（延世大学）；Ewha Womans University（梨花女子大学）
本文提出了一种用于密集语义对应的深层架构，称为金字塔仿射回归网络（PARN），它可以估计图像中局部变化的仿射变换场。为了处理同一对象类别中不同实例之间通常存在的类内外观和形状变化，我们利用金字塔模型，其中仿射变换场以从粗到细的方式逐步估计，以便在深度网络中自然地施加平滑度约束。PARN估计每个级别的残余仿射变换，并将它们组合以估计最终仿射变换。此外，为了克服语义对应训练数据不足的局限性，我们提出了一种新的弱监督训练方案，通过利用图像对之间的对应一致性来生成渐进式监督。我们的方法是完全可学习的，在一个端到端的方式，不需要量化无限连续仿射变换领域。据我们所知，这是第一个尝试在深度网络中以粗到细的方式估计密集仿射变换场的工作。实验结果表明，PARN优于国家的最先进的方法密集的语义对应在各种基准。
2018-08-01 cs.CV
MuCAN: Multi-Correspondence Aggregation Network for Video Super-Resolution
The Chinese University of Hong Kong（香港中文大学）；Kuaishou Technology（快手科技）；Tsinghua University（清华大学）；SmartMore（思谋科技）
视频超分辨率（VSR）旨在利用多个低分辨率帧来为每个帧生成高分辨率预测。在这个过程中，帧间和帧内是利用时间和空间信息的关键来源。然而，现有的振动时效方法存在一些局限性。首先，通常使用光流来建立时间对应。但流量估计本身容易出错，影响恢复结果。其次，自然图像中存在的相似模式很少被用于VSR任务。基于这些发现，我们提出了一个时间多对应聚合策略，以利用跨帧的类似补丁，和跨尺度的非本地对应聚合方案，以探索跨尺度图像的自相似性。基于这两个新的模块，我们建立了一个有效的多对应聚合网络（MuCAN）的VSR。我们的方法在多个基准数据集上实现了最先进的结果。大量的实验证明了我们的方法的有效性。
2020-07-23 cs.CV
Dual-Resolution Correspondence Networks
University of Oxford（牛津大学）
我们解决了在一对图像之间建立密集像素对应关系的问题。在这项工作中，我们引入了双分辨率对应网络（DualRC-Net），以粗到细的方式获得像素对应。DualRC-Net提取粗分辨率和细分辨率特征图。粗糙的映射用于产生完整但粗糙的4D相关张量，然后通过可学习的邻域共识模块进行细化。精细分辨率的特征图被用来获得最终的密集的对应关系的指导下，细化的粗糙的4D相关张量。所选择的粗分辨率匹配分数允许细分辨率特征仅关注具有高置信度的有限数量的可能匹配。通过这种方式，DualRC-Net大大提高了匹配可靠性和定位精度，同时避免了在精细分辨率特征图上应用昂贵的4D卷积核。我们在大规模的公共基准测试中全面评估了我们的方法，包括HPatches，InLoc和Aachen Day-Night。它在所有这些方面都取得了最先进的成果。
2020-10-28 cs.CV
A LBP Based Correspondence Identification Scheme for Multi-view Sensing Network
本文描述了一种可实时运行的常规RGB相机两视图之间的对应识别方法。其基本思想是首先利用归一化互相关从图像对中提取稀疏的匹配对。然后将循环置信传播方案应用于可能的候选集，以密集地识别来自不同视图的对应关系。实验结果表明，该方法具有较高的准确度和精度，优于计算机视觉领域的最新技术水平。同时，实现非常简单，可以针对实时性能进行优化。我们已经给出了详细的比较现有的方法，并表明，这种方法可以使各种实际应用，从三维重建图像搜索。
2017-09-16 cs.CV
DCL-Net: Deep Correspondence Learning Network for 6D Pose Estimation
South China University of Technology（华南理工大学）；DexForce Co. Ltd.（德锐视科技有限公司）；Peng Cheng Laboratory（鹏城实验室）
建立摄像机坐标系和物体坐标系之间的点对应关系是求解物体6D位姿的一种很有前途的方法。然而，3D空间中对应学习的替代目标与物体姿态估计的真实目标相差一步，使得学习对于最终任务而言是次优的。在本文中，我们通过引入一种新的深度对应学习网络方法来解决这一缺点，该方法用于直接6D对象姿态估计，简称为DCL-Net。具体来说，DCL-Net采用了新提出的特征分离和对齐（FDA）模块，在特征空间中分别为部分对象观察及其完整的CAD模型建立部分到部分的对应关系和完整到完整的对应关系，这导致了来自两个坐标系的聚合姿态和匹配特征对;这两个FDA模块因此带来了互补的优势。匹配特征对用于学习用于测量深度对应的质量的置信度分数，而姿态特征对由用于直接对象姿态回归的置信度分数加权。还提出了一种基于置信度的姿态精化网络，以迭代的方式进一步提高姿态精度。广泛的实验表明，DCL-Net在三个基准数据集上的性能优于现有方法，包括YCB-Video，LineMOD和Oclussion-LineMOD;消融研究也证实了我们新设计的有效性。
2022-10-11 cs.CV
SE-ORNet: Self-Ensembling Orientation-aware Network for Unsupervised Point Cloud Shape Correspondence
University of Science and Technology of China（中国科学技术大学）；Deep Space Exploration Lab（深空探测实验室）；China Academy of Space Technology（中国空间技术研究院）
SE-ORNet通过方向估计模块与域自适应判别器对齐点云朝向，并结合自集成框架抑制噪声干扰，在无监督点云形状对应任务上超越了现有最先进方法。
2023-04-10 cs.CV
Learning shape correspondence with anisotropic convolutional neural networks
University of Lugano（卢加诺大学）；Institute of Computational Science（计算科学研究所）；Intel（英特尔）
建立形状之间的对应关系是几何处理中的一个基本问题，在各种各样的应用中出现。这个问题是特别困难的，在设置非等距变形，以及在拓扑噪声和丢失的部分的存在下，主要是由于有限的能力来建模这样的变形公理。最近的几项工作表明，复杂形状变换的不变性可以从例子中学习。本文介绍了一种基于各向异性扩散核的内在卷积神经网络结构，我们称之为各向异性卷积神经网络（ACNN）。在我们的构造中，我们通过构造一组定向各向异性扩散核来将卷积推广到非欧几里德域，以这种方式创建数据的局部固有极坐标表示（“补丁”），然后将其与过滤器相关。堆叠这样的滤波器、线性和非线性算子的若干级联以形成深度神经网络，其参数通过最小化任务特定成本来学习。我们使用ACNN来有效地学习在非常具有挑战性的设置中可变形形状之间的内在密集对应，在一些最困难的最近对应基准上实现了最先进的结果。
2016-05-20 cs.CV
Dynamic Context Correspondence Network for Semantic Alignment
ShanghaiTech University（上海科技大学）
建立语义对应是计算机视觉中的核心问题，并且由于类内变化大和缺乏注释数据而仍然具有挑战性。在本文中，我们的目标是将全球语义背景下，以灵活的方式，以克服现有的工作，依赖于本地语义表示的局限性。为此，我们首先提出了一个上下文感知的语义表示，结合了空间布局的鲁棒匹配对当地的歧义。然后，我们开发了一种新的动态融合策略的基础上注意力机制编织的本地和上下文特征的优势，通过集成多个尺度的语义线索。我们通过设计一个端到端可学习的深度网络来实例化我们的策略，称为动态上下文对应网络（DCCNet）。为了训练网络，我们采用了多辅助任务损失，以提高我们的弱监督学习过程的效率。我们的方法在几个具有挑战性的数据集（包括PF-Pascal，PF-Willow和TSS）上实现了优于以前方法的性能，证明了其有效性和通用性。
2019-09-08 cs.CV
Patch2Pix: Epipolar-Guided Pixel-Level Correspondences
Technical University of Munich（慕尼黑工业大学）；CIIRC Czech Technical University in Prague（布拉格捷克技术大学CIIRC）
用于视觉定位的经典匹配流水线通常涉及三个步骤：（i）局部特征检测和描述，（ii）特征匹配，以及（iii）离群值拒绝。最近出现的对应网络提出在单个网络内执行这些步骤，但由于内存瓶颈而遭受低匹配分辨率。在这项工作中，我们提出了一个新的角度来估计对应的检测到细化的方式，我们首先预测补丁级匹配的建议，然后完善它们。我们提出了Patch2Pix，一种新的细化网络，通过从这些建议定义的局部区域回归像素级匹配，并联合拒绝离群匹配与置信度得分来细化匹配建议。Patch2Pix是弱监督的，以学习与输入图像对的对极几何一致的对应关系。我们表明，我们的细化网络显着提高了图像匹配，单应性估计和定位任务的对应网络的性能。此外，我们还证明了我们的学习细化可以推广到完全监督的方法，而无需重新训练，这使我们获得了最先进的本地化性能。该代码可在https://github.com/GrumpyZhou/patch2pix上获得。
2021-03-26 cs.CV
COTR: Correspondence Transformer for Matching Across Images
University of British Columbia（不列颠哥伦比亚大学）；Google Research（谷歌研究院）；University of Toronto（多伦多大学）
我们提出了一种基于深度神经网络的新型框架，用于查找图像中的对应关系，给定两张图像和其中一张图像中的查询点，该框架可以在另一张图像中找到其对应关系。通过这样做，可以选择仅查询感兴趣的点并检索稀疏对应，或者查询图像中的所有点并获得密集映射。重要的是，为了捕获局部和全局先验，并让我们的模型使用所述先验中最相关的图像区域之间的关系，我们使用Transformer实现我们的网络。在推理时，我们通过递归地放大估计值来应用我们的对应网络，从而产生一个能够提供高精度对应关系的多尺度管道。我们的方法在多个数据集和任务上的稀疏和密集对应问题上显着优于现有技术，范围从宽基线立体到光流，而无需对特定数据集进行任何重新训练。我们承诺发布数据、代码和所有必要的工具，从头开始训练并确保可重复性。
2021-08-17 cs.CV
GOCor: Bringing Globally Optimized Correspondence Volumes into Your Neural Network
ETH Zurich（苏黎世联邦理工学院）
特征相关层在许多涉及图像对之间密集对应关系的计算机视觉问题中充当关键的神经网络模块。它预测的对应体积通过评估从两个图像中的位置对提取的特征向量之间的密集标量积。然而，当消除图像中多个相似区域的歧义时，这种点对点的特征比较是不够的，严重影响了最终任务的性能。我们提出了GOCor，一个完全可区分的密集匹配模块，作为一个直接替代的功能相关层。我们的模块生成的对应体积是内部优化过程的结果，该过程明确说明了场景中的相似区域。此外，我们的方法是能够有效地学习空间匹配先验，以解决进一步的匹配歧义。我们分析我们的GOCor模块在广泛的烧蚀实验。当集成到最先进的网络中时，我们的方法在几何匹配、光流和密集语义匹配任务中的性能显著优于特征相关层。代码和训练模型将在github.com/PruneTruong/GOCor上提供。
2021-04-05 cs.CV
Multi-scale Matching Networks for Semantic Correspondence
Fudan University（复旦大学）；Shanghai Key Lab of Intelligent Information Processing（上海市智能信息处理重点实验室）；The University of Hong Kong（香港大学）
在以前的各种工作中，深度特征已经被证明在构建精确的密集语义对应方面是强大的。然而，卷积神经网络的多尺度和金字塔层次尚未被很好地研究以学习用于语义对应的有区别的像素级特征。在本文中，我们提出了一个多尺度匹配网络，是敏感的相邻像素之间的微小语义差异。我们遵循从粗到精的匹配策略，构建了一个自上而下的特征和匹配增强方案，该方案与深度卷积神经网络的多尺度层次结构相结合。在特征增强过程中，尺度内增强通过局部自注意将来自多个层的相同分辨率特征图融合在一起，而跨尺度增强沿着自上而下的层次结构产生更高分辨率的特征图。此外，我们在不同的尺度上学习互补的匹配细节，从而使整体的匹配分数逐渐被不同语义层次的特征所细化。我们的多尺度匹配网络可以很容易地进行端到端训练，只需很少的额外可学习参数。实验结果表明，该方法实现了最先进的性能在三个流行的基准与高计算效率。
2021-08-27 cs.CV
$\mathbb{X}$Resolution Correspondence Networks
University of Oxford（牛津大学）；XYZ Reality（XYZ 公司）；Visual Geometry Group（视觉几何组）
在本文中，我们的目标是建立准确的密集对应一对图像重叠的视野下具有挑战性的照明变化，视点的变化，风格的差异。通过对最先进的对应网络进行广泛的消融研究，我们惊讶地发现，广泛采用的4D相关张量及其相关的学习和处理模块可以去参数化并从训练中删除，对最终匹配精度的影响很小。禁用这些计算昂贵的模块可以大大加快训练过程，并允许使用4倍大的批量大小，这反过来又补偿了准确性下降。结合多GPU推理阶段，我们的方法有助于系统地研究从1280到4K的本地测试图像的匹配精度和上采样分辨率之间的关系。这导致发现的最佳分辨率$\mathbb{X}$，产生准确的匹配性能超过了国家的最先进的方法，特别是在较低的误差带上的公共基准建议的网络的存在。
2021-03-24 cs.CV
Convolutional Hough Matching Networks for Robust and Efficient Visual Correspondence
尽管在特征表示方面取得了进展，但利用几何关系对于在图像的大变化下建立可靠的视觉对应至关重要。在这项工作中，我们介绍了一个霍夫变换的卷积匹配的角度，并提出了一个有效的几何匹配算法，称为卷积霍夫匹配（CHM）。该方法将候选匹配的相似性分布在几何变换空间上，并以卷积方式对其进行评估。我们将其转换为一个具有半各向同性高维内核的可训练神经层，该层通过少量可解释参数学习非刚性匹配。为了进一步提高高维投票的效率，我们还建议使用一个有效的核分解与中心枢轴邻居，这显着稀疏所提出的半各向同性内核没有性能下降。为了验证所提出的技术，我们开发了具有CHM层的神经网络，该CHM层在平移和缩放空间中执行卷积匹配。我们的方法在语义视觉对应的标准基准上设置了一个新的艺术状态，证明了其对具有挑战性的类内变化的强大鲁棒性。
2021-09-11 cs.CV
FCSS: Fully Convolutional Self-Similarity for Dense Semantic Correspondence
Yonsei University（延世大学）；Chungnam National University（忠南国立大学）；Microsoft Research（微软研究院）
我们提出了一个描述符，称为全卷积自相似性（FCSS），密集的语义对应。为了在同一对象类中的不同实例之间鲁棒地匹配点，我们在全卷积网络中使用局部自相似性（LSS）来制定FCSS。与现有的基于CNN的描述符相比，由于其基于LSS的结构，FCSS本质上对类内外观变化不敏感，同时保持了深度神经网络的精确定位能力。局部结构的采样模式和自相似性度量在所提出的网络中以端到端和多尺度的方式联合学习。由于语义对应的训练数据相当有限，我们建议利用现有图像数据集中提供的对象候选先验以及对象对之间的对应一致性来实现弱监督学习。实验表明，FCSS优于传统的手工描述符和基于CNN的描述符在各种基准测试。
2017-02-03 cs.CV
Dual Mesh Convolutional Networks for Human Shape Correspondence
Inria（法国国家信息与自动化研究所）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）；Univ. Rennes（雷恩大学）；IRISA（雷恩信息与自动化研究所）；M2S（运动、健康与社会实验室）；Facebook AI Research（脸书人工智能研究实验室）
卷积网络对于常规数据结构（例如2D图像和3D体素网格）非常成功。然而，由于网格的不规则结构，转换到网格并不简单。我们将探讨如何利用三角形网格的对偶、基于面的表示作为图卷积网络的数据结构。在对偶网格中，每个节点（面）都有固定数量的邻居，这使得网络不太容易在网格拓扑上过拟合，并且还允许使用自然定义在面上的输入特征，例如曲面法线和面面积。我们评估的双重方法上的形状对应任务的浮士德人体形状数据集和它的变体与不同的网格拓扑结构。我们的实验表明，当定义在对偶网格而不是原始网格上时，图卷积网络的结果会有所改善。此外，我们的模型，明确利用邻域规则性的双重网格允许进一步改善结果，同时更强大的网格拓扑结构的变化。
2021-10-16 cs.CV
Correspondence Networks with Adaptive Neighbourhood Consensus
University of Oxford（牛津大学）
在本文中，我们解决的任务，建立密集的视觉对应图像包含相同类别的对象之间。这是一个具有挑战性的任务，由于大的类内变化和缺乏密集的像素级注释。我们提出了一个卷积神经网络架构，称为自适应邻域共识网络（ANC-Net），可以用稀疏的关键点注释进行端到端的训练，以应对这一挑战。ANC-Net的核心是我们提出的非各向同性4D卷积核，它构成了用于鲁棒匹配的自适应邻域一致性模块的构建块。我们还在ANC-Net中引入了一个简单有效的多尺度自相似模块，使学习的特征对类内变化具有鲁棒性。此外，我们提出了一种新的正交损失，可以执行一对一的匹配约束。我们彻底评估了我们的方法在各种基准上的有效性，它大大优于最先进的方法。
2020-03-26 cs.CV
Graph Structured Network for Image-Text Matching
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；University of Science and Technology of China（中国科学技术大学）；Xiaomi AI Lab（小米人工智能实验室）
图文匹配作为视觉和语言之间的桥梁，越来越受到人们的关注。关键的挑战在于如何学习图像和文本之间的对应关系。现有的作品学习粗糙的对应关系的基础上对象共现统计，而无法学习细粒度的短语对应关系。在本文中，我们提出了一种新的图结构匹配网络（GSMN）学习细粒度的对应。GSMN将对象、关系和属性显式地建模为结构化短语，不仅可以分别学习对象、关系和属性的对应关系，而且有利于学习结构化短语的细粒度对应关系。这通过节点级匹配和结构级匹配来实现。节点级匹配将每个节点与来自另一模态的其相关节点相关联，其中节点可以是对象、关系或属性。然后，相关节点通过在结构级匹配处融合邻域关联来联合推断细粒度对应。综合实验表明，GSMN在基准测试中的性能优于最先进的方法，在Flickr30K和MSCOCO上的相对Recall@1分别提高了近7%和2%。代码将在https://github.com/CrossmodalGroup/GSMN上发布。
2020-04-01 cs.CV
Correspondence Matrices are Underrated
Carnegie Mellon University（卡内基梅隆大学）；Indian Institute of Technology, Madras（马德拉斯印度理工学院）
点云配准（PCR）是机器人操作、增强和虚拟现实、SLAM等各种应用中的重要任务。PCR是涉及两种不同类型的相互依赖的变量（变换参数和点到点对应）的最小化的优化问题。深度学习的最新发展产生了计算快速的PCR方法。在这些网络中优化的损失函数基于变换参数中的误差。我们假设，如果这些方法使用对应误差而不是仅使用变换参数中的误差来计算它们的损失函数，则它们的性能会显著更好。我们将对应误差定义为基于不正确匹配的点对的度量。我们提供了一个基本的解释，为什么是这种情况下，并测试我们的假设修改现有的方法，使用基于对应的损失，而不是基于转换的损失。这些实验表明，修改后的网络收敛速度更快，更准确地注册，即使在较大的失准时，与原始网络相比。
2020-10-30 cs.CV
A Graph Neural Network Approach for Temporal Mesh Blending and Correspondence
Indian Institute of Technology Gandhinagar（印度理工学院甘地纳加尔分校）
提出自监督图神经网络框架，解决网格不对应时的混合问题，通过Red-Blue MPNN估计对应并条件细化，生成逼真变形。
2023-06-23 cs.CV cs.GR
Anisotropic Multi-Scale Graph Convolutional Network for Dense Shape Correspondence
Arizona State University（亚利桑那州立大学）
本文研究了三维密集形状对应，这是计算机视觉和图形学中的一个关键形状分析应用。我们引入了一种新的基于混合几何深度学习的模型，该模型学习几何意义和离散化无关的特征，其中U-Net模型作为主要节点特征提取模块，然后是基于连续谱的图卷积网络。为了创建一组不同的滤波器，我们使用各向异性小波基滤波器，对不同的方向和带通都很敏感。该滤波器组克服了传统图神经网络的过度平滑行为。为了进一步提高模型的性能，我们添加了一个函数，该函数在全连接层之前的最后一层中扰动特征映射，迫使网络学习更多的区分特征。由此产生的对应图显示了基于平均测地误差的基准数据集的最先进的性能和对3D网格离散化的卓越鲁棒性。我们的方法提供了新的见解和实用的解决方案，密集形状对应的研究。
2022-11-11 cs.CV cs.LG
Learning Two-View Correspondences and Geometry Using Order-Aware Network
Intel Labs China（英特尔中国研究院）；Shenzhen Zhuke Innovation Technology (Altizure)（深圳珠科创新科技（Altizure））；Hong Kong University of Science and Technology（香港科技大学）；Everest Innovation Technology (Altizure)（顶峰创新科技（Altizure））；Tsinghua University（清华大学）
在两幅图像之间建立对应关系需要局部和全局空间背景。给定两个视图中特征点的假定对应关系，本文提出了顺序感知网络，该网络推断对应关系是内点的概率，并回归由本质矩阵编码的相对姿态。具体而言，该网络是分层构建的，包括三个新的操作。首先，为了捕获稀疏对应的局部上下文，网络通过学习软分配矩阵来聚类无序的输入对应。这些簇是在一个规范的顺序和不变的输入排列。接下来，聚类在空间上相关以形成对应的全局上下文。之后，上下文编码的聚类通过建议的上采样算子恢复到原始大小。我们在室外和室内数据集上进行了深入的实验。与现有技术相比，双视图几何形状和对应关系的精度得到了显著提高。代码将在https://github.com/zjhthu/OANet.git上提供。
2019-08-14 cs.CG cs.CV cs.LG
Dense Human Body Correspondences Using Convolutional Networks
University of Southern California（南加州大学）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究院）；Adobe Research（奥多比研究院）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们提出了一种深度学习方法来寻找人的3D扫描之间的密集对应关系。我们的方法仅需要两个深度图或部分重建表面形式的部分几何信息，适用于任意姿势和穿着任何衣服的人类，不需要从相似的视角扫描两个人，并且运行在实时的。我们使用深度卷积神经网络来训练深度图像素上的特征描述符，但至关重要的是，我们不是训练网络来直接解决形状对应问题，而是训练它来解决身体区域分类问题，修改以增加区域边界附近的学习描述符的平滑度。这种方法确保人体上的附近点在特征空间中是附近的，反之亦然，使得特征描述符适合于计算扫描之间的密集对应。我们验证了我们的方法对真实和合成数据的衣服和不穿衣服的人，并表明，我们的对应关系是更强大的比可能与国家的最先进的无监督的方法，更准确的比那些使用的方法，需要完全防水的3D几何形状。
2016-06-26 cs.CV cs.GR
LiDAR Point--to--point Correspondences for Rigorous Registration of Kinematic Scanning in Dynamic Networks
EPFL（洛桑联邦理工学院）；University of Geneva（日内瓦大学）
为了提高运动扫描系统产生的激光雷达点云的配准，我们提出了一种新的轨迹调整程序，该程序利用重叠点云之间的选定可靠的3D点到点对应关系的自动提取及其联合集成（调整）以及所有原始惯性和GNSS观测。这是使用动态网络方法以紧密耦合的方式执行的，该方法通过在传感器而不是轨迹水平上对误差进行建模来产生最佳补偿轨迹。3D对应关系被公式化为该网络内的静态条件，并且利用校正的轨迹和在调整内确定的可能的其他参数以更高的精度生成配准的点云。我们首先描述了选择对应的方法，以及它们如何作为新的观察模型插入到动态网络中。然后，我们描述了进行实验，以评估所提出的框架的性能，在实际的机载激光扫描的情况下，低成本的MEMS惯性传感器。在所进行的实验中，提出的方法来建立3D对应关系是有效的，在确定点到点的匹配在广泛的几何形状，如树木，建筑物和汽车。我们的研究结果表明，该方法提高了点云配准精度，否则受到确定的平台姿态或位置（在标称和仿真GNSS中断条件下）中的误差的强烈影响，并且可能仅使用所建立的3D对应总数的一小部分来确定未知的方位角。
2022-01-03 cs.CV cs.RO
Local Consensus Enhanced Siamese Network with Reciprocal Loss for Two-view Correspondence Learning
Anhui University（安徽大学）；Fudan University（复旦大学）；Zhejiang Normal University（浙江师范大学）
本文提出局部特征一致性模块和互逆损失，将双视图对应学习扩展为孪生网络，在不增加参数的情况下提升内点分类与匹配性能，并在基准数据集上达到最先进水平。
2023-08-06 cs.CV cs.LG
Embedded Spectral Descriptors: Learning the point-wise correspondence metric via Siamese neural networks
University of Iowa（爱荷华大学）；Northeastern University（东北大学）；University of Houston（休斯顿大学）
一个鲁棒的和信息丰富的局部形状描述子在网格配准中起着重要的作用。在这方面，基于Laplace-Beltrami算子的谱的谱描述符由于其有利的性质（诸如等距不变性）而在过去十年中一直是研究的热门主题。尽管如此，然而，光谱描述符往往不能给出一个正确的相似性度量的非等距的情况下，模型之间的度量失真是大的。因此，当模型不是等距的时，它们对于对应匹配问题是不可靠的。本文提出了一种改进谱描述子相似性度量的方法。我们嵌入到不同的度量空间的元素之间的欧氏距离直接表示的几何相异性的光谱形状描述符。我们设计并训练了一个Siamese神经网络来寻找这样的嵌入，其中嵌入的描述符被提升为基于几何相似性重新排列。我们证明了我们的方法可以显着提高传统的光谱描述符的性能，通过简单的增强实现的暹罗神经网络相比，其他国家的最先进的方法。
2019-10-18 cs.CV cs.GR
E3CM: Epipolar-Constrained Cascade Correspondence Matching
Tongji University（同济大学）
本文提出E3CM，一种无需标注数据、利用预训练CNN和极线约束的级联对应匹配方法，通过逐步细化提升匹配准确性和鲁棒性，优于现有方法。
2023-08-31 cs.CV cs.RO
