Graph Structured Network for Image-Text Matching
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；University of Science and Technology of China（中国科学技术大学）；Xiaomi AI Lab（小米人工智能实验室）
图文匹配作为视觉和语言之间的桥梁，越来越受到人们的关注。关键的挑战在于如何学习图像和文本之间的对应关系。现有的作品学习粗糙的对应关系的基础上对象共现统计，而无法学习细粒度的短语对应关系。在本文中，我们提出了一种新的图结构匹配网络（GSMN）学习细粒度的对应。GSMN将对象、关系和属性显式地建模为结构化短语，不仅可以分别学习对象、关系和属性的对应关系，而且有利于学习结构化短语的细粒度对应关系。这通过节点级匹配和结构级匹配来实现。节点级匹配将每个节点与来自另一模态的其相关节点相关联，其中节点可以是对象、关系或属性。然后，相关节点通过在结构级匹配处融合邻域关联来联合推断细粒度对应。综合实验表明，GSMN在基准测试中的性能优于最先进的方法，在Flickr30K和MSCOCO上的相对Recall@1分别提高了近7%和2%。代码将在https://github.com/CrossmodalGroup/GSMN上发布。
2020-04-01 cs.CV
BodyMap: Learning Full-Body Dense Correspondence Map
Meta Reality Labs Research（Meta现实实验室）；Meta AI；Moscow Institute of Physics and Technology（莫斯科物理技术学院）
人类之间的密集对应关系携带了强大的语义信息，可用于解决全身理解的基本问题，例如野外表面匹配，跟踪和重建。在本文中，我们提出了BodyMap，一个新的框架，用于获得高清晰度的全身和连续密集的对应关系，在野外图像的穿着人类和表面的三维模板模型。这些对应关系涵盖了手和头发等细节，同时捕捉了远离身体表面的区域，如宽松的衣服。用于估计这种密集表面对应的现有方法i）将3D身体切割成部分，这些部分被展开到2D UV空间，沿着部分接缝产生不连续性，或者ii）使用单个表面来表示整个身体，但是没有处理身体细节。在这里，我们介绍了一种新颖的网络架构，它具有视觉Transformer，可以在连续的身体表面上学习精细级别的特征。BodyMap在各种指标和数据集上的表现优于之前的工作，包括DensePose-COCO。此外，我们展示了各种应用程序，从多层密集的布料对应，神经渲染与新颖的视图合成和外观交换。
2022-05-18 cs.CV
Geometric Image Correspondence Verification by Dense Pixel Matching
Nokia Technologies（诺基亚技术公司）；Aalto University（阿尔托大学）
本文讨论了确定两幅图像之间密集像素对应关系的问题，并将其应用于图像检索中的几何对应关系验证。的主要贡献是几何对应验证方法重新排序检索到的数据库图像的基础上，其密集的成对匹配的查询图像在像素级的短名单。我们确定了一组循环一致的密集像素匹配的图像对之间的匹配，并使用基于神经网络的图像描述符的匹配像素的局部相似性进行评估。最后的重新排序是基于一种新的相似性函数，它融合了局部相似性度量与全局相似性度量和几何一致性度量计算的匹配像素。对于密集匹配，我们的方法利用了最近提出的密集几何对应网络（DGC-Net）的修改版本，我们还通过优化架构来改进。所提出的模型和相似性度量相媲美的国家的最先进的图像检索方法。此外，我们将我们的方法应用于长期视觉定位的问题，展示了有希望的结果和跨数据集的泛化。
2020-08-17 cs.CV
Leveraging Diffusion Model and Image Foundation Model for Improved Correspondence Matching in Coronary Angiography
United Imaging Intelligence（联影智能）；Vanderbilt University（范德堡大学）
针对冠状动脉造影图像对应匹配困难的问题，提出一种利用扩散模型生成高质量合成数据并借助大规模图像基础模型引导特征聚合的新方法，显著提升了匹配准确性与泛化能力。
2025-03-31 cs.CV
Geometric Polynomial Constraints in Higher-Order Graph Matching
SRI International（SRI国际）；University of Pennsylvania（宾夕法尼亚大学）
对应是计算机视觉中普遍存在的问题，图匹配是将对应形式化为优化问题的自然方法。最近，图匹配求解器已经包括表示超越一元和成对水平的亲和力的高阶项。这种高阶项对于包括三个或更多对应关系的几何约束具有特别的吸引力，如P2 D-3D姿势问题。在本文中，我们解决了在没有一元或成对约束的情况下找到对应关系的问题，因为它出现在一元外观相似性，如SIFT匹配不可用的问题中。当前的高阶匹配方法针对的问题是，高阶亲和度可以简单地用公式表示为诸如长度、角度或交比的不变性的差异。在本文中，我们提出了一种方法，如何应用几何约束建模为多项式方程组。与RANSAC相反，RANSAC必须求解这样的系统，然后针对内点假设进行测试，我们的约束是基于$n>2$假设的对应关系导出的，而无需求解多项式系统。由于结果是直接对应没有变换模型，我们的方法支持对应匹配存在多个几何变换，如关节运动。
2014-05-24 cs.CV
Multi-scale Matching Networks for Semantic Correspondence
Fudan University（复旦大学）；Shanghai Key Lab of Intelligent Information Processing（上海市智能信息处理重点实验室）；The University of Hong Kong（香港大学）
在以前的各种工作中，深度特征已经被证明在构建精确的密集语义对应方面是强大的。然而，卷积神经网络的多尺度和金字塔层次尚未被很好地研究以学习用于语义对应的有区别的像素级特征。在本文中，我们提出了一个多尺度匹配网络，是敏感的相邻像素之间的微小语义差异。我们遵循从粗到精的匹配策略，构建了一个自上而下的特征和匹配增强方案，该方案与深度卷积神经网络的多尺度层次结构相结合。在特征增强过程中，尺度内增强通过局部自注意将来自多个层的相同分辨率特征图融合在一起，而跨尺度增强沿着自上而下的层次结构产生更高分辨率的特征图。此外，我们在不同的尺度上学习互补的匹配细节，从而使整体的匹配分数逐渐被不同语义层次的特征所细化。我们的多尺度匹配网络可以很容易地进行端到端训练，只需很少的额外可学习参数。实验结果表明，该方法实现了最先进的性能在三个流行的基准与高计算效率。
2021-08-27 cs.CV
Deformed Implicit Field: Modeling 3D Shapes with Learned Dense Correspondence
Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）
我们提出了一种新的变形隐式场（DIF）表示建模的三维形状的一个类别，并产生密集的形状之间的对应关系。使用DIF，3D形状由跨类别共享的模板隐式字段以及专用于每个形状实例的3D变形字段和校正字段来表示。形状对应可以很容易地建立使用它们的变形场。我们的神经网络，被称为DIF网络，共同学习形状潜在空间和属于一个类别的3D对象的这些字段，而不使用任何对应或部分标签。学习后的DIF-Net还可以提供反映形状结构差异的可靠对应不确定性度量。实验表明，DIF-Net不仅可以生成高保真的3D形状，还可以在不同形状之间建立高质量的密集对应关系。我们还展示了几个应用程序，如纹理传输和形状编辑，我们的方法实现了令人信服的结果，不能实现以前的方法。
2021-03-29 cs.CV
Deep Functional Maps: Structured Prediction for Dense Shape Correspondence
Tel Aviv University（特拉维夫大学）；Intel（英特尔）；USI Lugano（卢加诺大学）；Sapienza University of Rome（罗马大学）；Technion（以色列理工学院）
我们介绍了一个新的框架，学习可变形的3D形状之间的密集对应。现有的基于学习的方法将形状对应建模为标签问题，其中查询形状的每个点接收标识某个参考域上的点的标签;然后通过组成两个输入形状的标签预测来构造后验对应。我们提出了一个范式转变，并设计了一个结构化的预测模型的空间功能图，线性算子，提供了一个紧凑的表示的对应关系。我们通过深度残差网络对学习过程进行建模，该网络将定义在两个形状上的密集描述符字段作为输入，并输出两个给定对象之间的软映射。由此产生的对应关系被证明是准确的几个具有挑战性的基准，包括多个类别，合成模型，真正的扫描与采集伪影，拓扑噪声，和噪声。
2017-07-30 cs.CV
CoordGAN: Self-Supervised Dense Correspondences Emerge from GANs
Nvidia（英伟达）；UC San Diego（加州大学圣地亚哥分校）
最近的进展表明，生成对抗网络（GANs）可以沿着语义上有意义的潜在方向（如姿势，表情，布局等）合成具有平滑变化的图像，虽然这表明GANs隐式地学习图像之间的像素级对应关系，但很少有研究探索如何显式地提取它们。在这项工作中，我们介绍了坐标GAN（CoordGAN GAN），一个结构-纹理解纠缠的GAN，为每个生成的图像学习一个密集的对应映射。我们将不同图像的对应图表示为从规范坐标系变换的扭曲坐标系，即，对应映射，其描述结构（例如，面部的形状）通过变换来控制。因此，找到对应关系归结为在不同的对应映射中定位相同的坐标。在CoordGAN中，我们采样一个变换来表示合成实例的结构，而一个独立的纹理分支负责渲染与结构正交的外观细节。我们的方法还可以通过在生成器上添加编码器来提取真实图像的密集对应图。我们通过在多个数据集上的分割掩码转移定量地证明了所学习的密集对应的质量。我们还表明，该发电机实现了更好的结构和纹理解纠缠相比，现有的方法。项目页面：https://jitengmu.github.io/CoordGAN/
2022-03-30 cs.CV
DASC: Robust Dense Descriptor for Multi-modal and Multi-spectral Correspondence Estimation
Yonsei University（延世大学）；Chungnam National University（忠南国立大学）；INRIA（法国国家信息与自动化研究所）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
在多个图像之间建立密集的对应关系是许多应用中的基本任务。然而，由于其具有挑战性的光度和几何变化，在多模态或多光谱图像中找到可靠的对应关系仍然没有解决。在本文中，我们提出了一种新的密集描述，称为密集自适应自相关（DASC），估计多模态和多光谱密集对应。基于观察到图像内存在的自相似性对成像模态变化是鲁棒的，我们定义了描述符与一系列的自适应自相关相似性度量由随机感受野池采样的补丁之间，其中采样模式是使用判别式学习获得的。密集描述符的计算冗余显着减少应用快速边缘感知过滤。此外，为了解决几何变化，包括缩放和旋转，我们提出了一个几何不变的DASC（GI-DASC）描述符，有效地利用DASC通过基于超像素的表示。为了定量评估GI-DASC，我们建立了一个新的多模态基准作为不同的光度和几何条件。实验结果表明DASC和GI-DASC在多模态和多光谱密集对应的许多情况下具有出色的性能。
2016-04-27 cs.CV
Unsupervised Dense Shape Correspondence using Heat Kernels
Technical University of Munich（慕尼黑工业大学）
在这项工作中，我们提出了一种无监督的方法，使用最近的深度功能图框架来学习形状之间的密集对应关系。我们使用热核，而不是依赖于地面实况对应或计算昂贵的测地线距离。这些可以在训练期间作为监督信号快速计算。此外，我们提出了一个课程学习策略，使用不同的热扩散时间，在优化过程中提供不同程度的难度，没有任何采样机制或硬例子挖掘。我们在不同的基准上展示了我们的方法的结果，这些基准具有不同的挑战，如噪声，拓扑噪声和不同的连接性。
2020-10-23 cs.CV
DenseGAP: Graph-Structured Dense Correspondence Learning with Anchor Points
University of Southern California（南加州大学）；USC Institute for Creative Technologies（南加州大学创意技术研究所）；Stanford University（斯坦福大学）
建立两幅图像之间的密集对应关系是一个基本的计算机视觉问题，通常通过匹配局部特征描述符来解决。然而，如果没有全局意识，这些局部特征通常不足以消除类似区域的歧义。计算图像之间的成对特征相关性既计算昂贵又占用内存。为了使局部特征了解全局上下文并提高其匹配精度，我们引入了DenseGAP，这是一种新的解决方案，用于使用以锚点为条件的图结构神经网络进行高效的密集对应学习。具体来说，我们首先提出了一个图形结构，利用锚点，以提供稀疏但可靠的图像间和图像内的上下文之前，并通过有向边缘传播到所有的图像点。我们还设计了一个图结构的网络，通过轻量级的消息传递层广播多级上下文，并以低内存成本生成高分辨率的特征图。最后，基于预测的特征图，我们引入了一个由粗到细的框架，用于使用循环一致性进行精确的对应预测。我们的特征描述符捕获本地和全局信息，从而实现连续的特征字段，以高分辨率查询任意点。通过对大规模室内和室外数据集进行全面的烧蚀实验和评估，我们证明了我们的方法在大多数基准上都能提高最先进的对应学习。
2022-12-22 cs.CV
NHO: A Neural Hamiltonian Operator for Anchor-based Region Localization and Dense Correspondence
Jilin University（吉林大学）；Zhejiang University（浙江大学）；North China University of Technology（北方工业大学）
提出NHO，结合稀疏锚点与内在几何学习神经哈密顿算子，通过相互细化实现非刚性部分到整体的区域定位与稠密对应，实验验证其精度与对缩放旋转的鲁棒性。
2026-10-01 cs.CV
Weakly-Supervised Learning of Dense Functional Correspondences
Stanford University（斯坦福大学）
针对跨类别图像密集对应匹配难题，提出基于视觉语言模型伪标注与密集对比学习的弱监督学习范式，构建新模型实现密集功能对应关系建立，并通过合成与真实数据集验证其优于现有基线方案。
2025-09-04 cs.CV
SIM2E: Benchmarking the Group Equivariant Capability of Correspondence Matching Algorithms
Tongji University（同济大学）
对应匹配是计算机视觉和机器人应用中的一个基本问题。最近，使用神经网络解决对应匹配问题已经兴起。旋转等方差和尺度等方差在对应匹配应用中都是至关重要的。经典的对应匹配方法被设计为承受缩放和旋转变换。然而，使用卷积神经网络（CNN）提取的特征在一定程度上只是一种等变的。最近，研究人员一直在努力提高基于群论的CNN的旋转等方差。Sim（2）是2D平面中的相似变换群。本文提出了一个专门的数据集，致力于评估sim（2）-等变对应匹配算法。我们比较了16种最先进的（SoTA）对应匹配方法的性能。实验结果证明了群等变算法在各种sim（2）变换条件下对应匹配的重要性。由于基于CNN的对应匹配方法实现的亚像素精度不令人满意，因此在未来的工作中需要更多关注这一特定领域。我们的数据集可在mias.group/SIM2E上公开获取。
2022-08-21 cs.AI cs.CV
Iterative Clustering with Game-Theoretic Matching for Robust Multi-consistency Correspondence
West Virginia University（西弗吉尼亚大学）；Huazhong University of Science and Technology（华中科技大学）
在两幅图像之间匹配对应的特征是计算机视觉的一项基本任务，在物体识别、机器人和三维重建中有许多应用。图像特征匹配的当前技术状态集中于在静态场景中建立单一一致性;相比之下，在动态场景中发现多个一致性的研究还不够。在本文中，我们提出了一个端到端的优化框架命名为“迭代聚类与博弈论匹配”（ic-GTM）的鲁棒多一致性对应。其关键思想是制定多一致性匹配作为一个广义的聚类问题的图像对。在我们的配方中，几个本地匹配游戏的指导下，同时进行了不同的相应的块对一个新的支付功能组成的几何和描述性的兼容性;全局匹配结果进一步迭代细化聚类和阈值的支付矩阵。我们还提出了三个新的指标来评估多一致性图像特征匹配的性能。大量的实验结果表明，所提出的框架显着优于以前的国家的最先进的方法在两个电子商务onsimilarity和多一致性数据集。
2019-09-03 cs.CV
Towards Establishing Dense Correspondence on Multiview Coronary Angiography: From Point-to-Point to Curve-to-Curve Query Matching
University of Pennsylvania（宾夕法尼亚大学）；Siemens Healthineers（西门子医疗）
针对多视图冠脉造影2D投影缺3D信息、有视觉歧义的问题，提出基于CCTA模拟数据的点到点再到曲线到曲线的查询匹配方法，建立密集对应关系，在1260组图像对上验证了可行性。
2023-12-18 cs.CV
Learning Implicit Functions for Topology-Varying Dense 3D Shape Correspondence
Michigan State University（密歇根州立大学）
本文的目标是以无监督的方式学习拓扑变化对象的密集3D形状对应。传统的隐式函数估计给定形状潜码的3D点的占用。相反，我们的新隐式函数为每个3D点生成一个部分嵌入向量，该向量被假设为与相同对象类别的另一个3D形状中的密集对应点相似。此外，我们实现了密集的对应，通过一个反函数映射从部分嵌入到相应的3D点。这两个函数联合学习几个有效的损失函数，以实现我们的假设，与编码器产生的形状潜码。在推理过程中，如果用户选择源形状上的任意点，我们的算法可以自动生成一个置信度分数，指示目标形状上是否存在对应关系，以及对应的语义点（如果存在）。这种机制本质上有利于具有不同部件构造的人造物体。我们的方法的有效性证明，通过无监督的三维语义对应和形状分割。
2020-10-26 cs.CV
Category-Level Global Camera Pose Estimation with Multi-Hypothesis Point Cloud Correspondences
University of Minnesota（明尼苏达大学）
对应搜索是刚性点云配准算法中必不可少的一步。大多数方法在每一步都保持一个对应关系，并逐渐删除错误的对应关系。然而，建立一对一的对应与硬分配是非常困难的，特别是当匹配两个点云与许多本地相似的功能。本文提出了一种优化方法，保留所有可能的对应关系，为每个关键点匹配时，部分点云的完整点云。这些不确定的对应关系，然后逐渐更新与估计的刚性变换，考虑匹配成本。此外，我们提出了一个新的点特征描述符，衡量局部点云区域之间的相似性。大量的实验表明，我们的方法优于国家的最先进的（SoTA）的方法，即使在同一类别中匹配不同的对象。值得注意的是，我们的方法在将真实世界的噪声深度图像配准到模板形状时的性能优于SoTA方法，高达20%。
2022-09-28 cs.CV
DPODv2: Dense Correspondence-Based 6 DoF Pose Estimation
Technical University of Munich（慕尼黑工业大学）；Siemens AG（西门子公司）；Toyota Research Institute（丰田研究院）
我们提出了一个三阶段的6自由度目标检测方法称为DPODv 2（密集姿态对象检测器），依赖于密集的对应关系。我们将2D对象检测器与密集的对应估计网络和多视图姿态细化方法相结合，以估计完整的6 DoF姿态。与通常仅限于单目RGB图像的其他深度学习方法不同，我们提出了一个统一的深度学习网络，允许使用不同的成像模式（RGB或深度）。此外，我们提出了一种新的姿态细化方法，即基于微分绘制。主要概念是比较多个视图中的预测对应和渲染对应，以获得与所有视图中的预测对应一致的姿态。我们提出的方法进行了严格的评估，不同的数据模式和类型的训练数据在一个受控的设置。主要结论是，RGB擅长对应性估计，而深度有助于姿态精度，如果良好的3D-3D对应性是可用的。自然，它们的组合实现了整体最佳性能。我们进行了广泛的评估和消融研究，以分析和验证几个具有挑战性的数据集的结果。DPODv 2在所有这些方面都取得了优异的结果，同时仍然保持快速和可扩展性，与所使用的数据模态和训练数据类型无关
2022-07-06 cs.CV
Robust Point Cloud Registration Framework Based on Deep Graph Matching(TPAMI Version)
Fudan University（复旦大学）；Digital Medical Research Center（数字医学研究中心）；School of Basic Medical Science（基础医学院）；Shanghai Key Laboratory of Medical Image Computing and Computer Assisted Intervention（上海市医学影像计算与计算机辅助干预重点实验室）
三维点云配准是计算机视觉和机器人学中的一个基本问题。近年来，基于学习的点云配准方法取得了很大的进展。然而，这些方法是敏感的离群值，这导致更多的不正确的对应关系。在本文中，我们提出了一种新的基于深度图匹配的点云配准框架。具体来说，我们首先将点云转换为图形，并提取每个点的深层特征。然后，我们开发了一个基于深度图匹配的模块来计算软对应矩阵。利用图匹配建立对应关系时，不仅考虑了点的局部几何特征，而且考虑了点在更大范围内的结构和拓扑特征，从而找到了更多正确的对应关系，并对网络进行了训练，损失直接定义在对应关系上，并且在测试阶段，软对应被转换为硬一一对应，使得可以通过对应来执行配准。基于solver此外，我们引入了一种基于变换的方法来生成用于图构造的边，这进一步提高了对应关系的质量。在对象级和场景级基准数据集上的大量实验表明，该方法达到了最先进的性能。代码可在以下网址获得：\href{https://github.com/fukexue/RGM}{https://github.com/fukexue/RGM}。
2022-11-09 cs.CV
Dense 3D Face Correspondence
The University of Western Australia（西澳大学）；University of Adelaide（阿德莱德大学）
我们提出了一种算法，自动建立大量的3D面之间的密集对应。从自动检测到的稀疏对应的外边界的3D人脸，该算法三角形化现有的对应关系，并扩大他们迭代匹配点的独特的表面曲率沿三角形边缘。在穷尽关键点匹配之后，通过从大三角形的质心演化水平集测地线曲线来生成三角形内均匀分布的点，从而建立进一步的对应关系。从密集的对应的脸构造一个可变形模型（K3DM），并提出了一个算法变形K3DM，以适应不可见的脸。该算法在不可见的面部的刚性对齐和可变形模型的正则化变形之间迭代。我们已经广泛地评估了所提出的算法的合成数据和真正的3D人脸从FRGCv2，博斯普鲁斯海峡，BU3DFE和UND耳数据库使用定量和定性基准。我们的算法实现了密集的对应关系，平均定位误差为1.28毫米的合成脸和检测$14$人体测量地标看不见的真实面孔从FRGCv2数据库中的3毫米精度。此外，我们的可变形模型拟合算法在FRGCv2和博斯普鲁斯数据库上分别达到了98.5%和98.6%的人脸识别准确率。我们的稠密模型也能够推广到看不见的数据集。
2019-08-15 cs.CV
Towards Discrete Solution: A Sparse Preserving Method for Correspondence Problem
Anhui University（安徽大学）
计算机视觉中的许多感兴趣的问题可以被公式化为在两个特征集之间找到一致对应的问题。具有一一映射约束的特征对应（匹配）问题通常表示为具有置换（或正交）约束的积分二次规划（IQP）问题。由于它是NP难的，需要松弛模型。优化IQP匹配问题的一个主要挑战是如何将离散的一对一映射（置换）约束纳入其二次目标优化中。本文提出了一种新的松弛模型，称为稀疏约束保持匹配（SPM），IQP匹配问题。SPM的动机是我们的观察，离散置换约束可以很好地编码通过稀疏约束。与传统的松弛模型相比，SPM可以通过稀疏约束直接引入离散的一对一映射约束，从而为原始IQP匹配问题提供更紧密的松弛。一个简单而有效的更新算法已被推导出解决所提出的SPM模型。在多个特征匹配任务上的实验结果验证了SPM方法的有效性和效率。
2018-09-20 cs.CV
Learning Local Descriptors by Optimizing the Keypoint-Correspondence Criterion: Applications to Face Matching, Learning from Unlabeled Videos and 3D-Shape Retrieval
University of Zagreb, Faculty of Electrical Engineering and Computing（萨格勒布大学电气工程与计算学院）；Linköping University（林雪平大学）
当前最佳局部描述符是在匹配和非匹配关键点对的大型数据集上学习的。然而，这种类型的数据并不总是可用的，因为详细的关键点对应关系可能难以建立。另一方面，我们通常可以获得关键点包对的标签。例如，从同一对象在不同视图下的两个图像中提取的关键点包形成匹配对，而从不同对象的图像中提取的关键点包形成非匹配对。平均而言，匹配对应该比非匹配对包含更多的对应关键点。我们描述了一个端到端的可区分的架构，使学习的本地关键点描述符从这样的弱标记的数据。此外，我们还讨论了如何通过引入挖掘硬否定的过程来改进该方法。我们还展示了如何使用我们的方法从未标记的视频信号和3D模型中学习卷积特征。我们的实现可以在www.example.com上获得
2019-05-07 cs.CV
Learning Accurate Template Matching with Differentiable Coarse-to-Fine Correspondence Refinement
提出一种基于可微分粗到细对应精化的模板匹配方法，利用边缘感知模块和变换器结构感知信息，实现跨模态、杂乱背景和弱纹理下的精确匹配，显著优于现有方法。
2023-03-15 cs.CV
Template NeRF: Towards Modeling Dense Shape Correspondences from Category-Specific Object Images
City University of Hong Kong（香港城市大学）；Xi’an Jiaotong University（西安交通大学）
我们提出了神经辐射场（NeRF）与模板，被称为模板NeRF，用于建模外观和几何形状，并同时生成密集的形状对应的对象之间的同一类别，只有多视图构成的图像，而不需要任何3D监督或地面真理的对应知识。学习的密集对应关系可以很容易地用于各种基于图像的任务，如关键点检测，零件分割和纹理转移，以前需要特定的模型设计。我们的方法也可以适应一个或Few-Shot的方式，只给一个或几个实例的类别的注释转移。使用周期性激活和特征线性调制（FiLM）条件，我们将3D数据上的深层隐式模板引入3D感知图像合成流水线NeRF。通过将同一类别内的对象实例表示为共享NeRF模板的形状和外观变化，我们所提出的方法可以针对各种对象类在图像上实现密集形状对应推理。我们展示了结果和应用程序的合成和现实世界的数据与竞争力的结果相比，其他方法的基础上的三维信息。
2021-11-08 cs.CV
PARN: Pyramidal Affine Regression Networks for Dense Semantic Correspondence
Yonsei University（延世大学）；Ewha Womans University（梨花女子大学）
本文提出了一种用于密集语义对应的深层架构，称为金字塔仿射回归网络（PARN），它可以估计图像中局部变化的仿射变换场。为了处理同一对象类别中不同实例之间通常存在的类内外观和形状变化，我们利用金字塔模型，其中仿射变换场以从粗到细的方式逐步估计，以便在深度网络中自然地施加平滑度约束。PARN估计每个级别的残余仿射变换，并将它们组合以估计最终仿射变换。此外，为了克服语义对应训练数据不足的局限性，我们提出了一种新的弱监督训练方案，通过利用图像对之间的对应一致性来生成渐进式监督。我们的方法是完全可学习的，在一个端到端的方式，不需要量化无限连续仿射变换领域。据我们所知，这是第一个尝试在深度网络中以粗到细的方式估计密集仿射变换场的工作。实验结果表明，PARN优于国家的最先进的方法密集的语义对应在各种基准。
2018-08-01 cs.CV
Dense Multi-view 3D-reconstruction Without Dense Correspondences
Technical University of Munich（慕尼黑工业大学）；University of Toulouse（图卢兹大学）；Mikros Image
介绍了一种自然光照下多视点形状恢复的变分方法。其关键思想是耦合基于偏微分方程的解决方案，单图像为基础的形状从阴影的问题，跨多个图像和多个颜色通道的变分制定。而不是交替地解决个别SFS问题和优化的一致性跨图像和通道，这是已知的，导致次优的结果，我们提出了一个有效的解决方案的耦合问题的ADMM算法的装置。在对模拟图像和真实图像进行的大量实验中，我们证明了多视图重建和明暗恢复形状的融合可以提供高度准确的密集重建，而无需计算密集对应关系。随着所提出的变分集成跨多个视图的形状从阴影技术变得适用于具有挑战性的现实世界的重建问题，即使在平滑的亮度变化和缺乏纹理的区域中，也会产生非常详细的几何形状。
2017-04-02 cs.CV
Improving 2D-3D Dense Correspondences with Diffusion Models for 6D Object Pose Estimation
Automation and Control Institute, TU Wien（维也纳技术大学自动化与控制研究所）；Department of Industrial Engineering, UAS Technikum Vienna（维也纳技术高等专业学院工业工程系）
本研究比较了GAN与扩散模型在图像到图像转换中用于六维物体姿态估计的稠密对应图生成，发现扩散模型表现更优，为姿态估计改进提供新方向。
2024-02-09 cs.CV
Warp Consistency for Unsupervised Learning of Dense Correspondences
Computer Vision Lab, ETH Zurich（苏黎世联邦理工学院计算机视觉实验室）
学习密集对应的关键挑战在于缺乏真实图像对的地面实况匹配。虽然光度一致性损失提供了无监督的替代方案，但它们在几何和语义匹配任务中普遍存在的大的外观变化中挣扎。此外，依赖于合成训练对的方法往往难以推广到真实数据。我们提出了经一致性，一个无监督学习目标密集对应回归。我们的目标是有效的，即使在设置与大的外观和视点变化。给定一对真实图像，我们首先通过将随机采样的扭曲应用于其中一个原始图像来构建图像三元组。我们推导和分析所有的三重流之间产生的一致性约束。从我们的观察和实证结果，我们设计了一个一般的无监督的目标，采用两个派生的约束。我们通过训练三个最近的密集对应网络进行几何和语义匹配任务来验证我们的翘曲一致性损失。我们的方法在几个具有挑战性的基准测试上树立了新的先进水平，包括MegaDepth，RobotCar和TSS。代码和模型在github.com/PruneTruong/DenseMatching上。
2021-08-18 cs.CV
COTR: Correspondence Transformer for Matching Across Images
University of British Columbia（不列颠哥伦比亚大学）；Google Research（谷歌研究院）；University of Toronto（多伦多大学）
我们提出了一种基于深度神经网络的新型框架，用于查找图像中的对应关系，给定两张图像和其中一张图像中的查询点，该框架可以在另一张图像中找到其对应关系。通过这样做，可以选择仅查询感兴趣的点并检索稀疏对应，或者查询图像中的所有点并获得密集映射。重要的是，为了捕获局部和全局先验，并让我们的模型使用所述先验中最相关的图像区域之间的关系，我们使用Transformer实现我们的网络。在推理时，我们通过递归地放大估计值来应用我们的对应网络，从而产生一个能够提供高精度对应关系的多尺度管道。我们的方法在多个数据集和任务上的稀疏和密集对应问题上显着优于现有技术，范围从宽基线立体到光流，而无需对特定数据集进行任何重新训练。我们承诺发布数据、代码和所有必要的工具，从头开始训练并确保可重复性。
2021-08-17 cs.CV
HomoMatcher: Dense Feature Matching Results with Semi-Dense Efficiency by Homography Estimation
Ant Group（蚂蚁集团）
本文提出HomoMatcher，通过轻量级单应性估计网络增强半稠密匹配框架的细化匹配模块，实现图块间整体对齐与亚像素级精度，在保持半稠密效率的同时获得了媲美稠密匹配器的精度。
2024-11-11 cs.CV
Learning Body Shape and Pose from Dense Correspondences
CNRS-AIST JRL（法国国家科学研究中心-日本产业技术综合研究所联合机器人实验室）
在本文中，我们解决了从2D图像数据集学习3D人体姿势和身体形状的问题，而不必使用3D数据集（身体形状和姿势）。这个想法是使用图像点和身体表面之间的密集对应关系，可以在野外2D图像上进行注释，并从中提取和聚合3D信息。为此，我们提出了一种名为"变形和学习”的训练策略，在该策略中，我们交替进行可变形表面配准和深度卷积神经网络（ConvNets）的训练。与以前的方法不同，我们的方法不需要从运动捕捉（MoCap）系统或人为干预来验证3D姿态注释的3D姿态注释。
2019-07-27 cs.CV
U-mesh: Human Correspondence Matching with Mesh Convolutional Networks
Technion-Israel Institute of Technology（以色列理工学院）
3D扫描技术的发展推动了对解释几何数据的方法的需求，特别是对于人类受试者。在本文中，我们提出了一个优雅的融合回归（自下而上）和生成（自上而下）的方法，以适应参数模板模型的原始扫描网格。我们的第一个主要贡献是一个内在的卷积网格U-net架构，它预测与模板表面的逐点对应。软对应被公式化为新构造的笛卡尔空间中的坐标。将对应关系建模为欧几里德接近度可以实现有效的优化，无论是对于网络训练还是对于算法的下一步。我们的第二个贡献是一个生成优化算法，它使用U网对应预测来指导参数迭代最近点配准。通过使用预先训练的人体表面参数模型，我们最大限度地利用特定领域的先验知识。网格卷积网络与生成模型拟合的配对使我们能够预测真实人体表面扫描的对应关系，包括遮挡、局部性和不同的属（例如，来自自接触）。我们评估所提出的方法上的FAUST对应的挑战，我们实现了20%（33%）的改进，超过最先进的方法间（内）的主题对应。
2021-08-22 cs.CV
Learning Implicit Functions for Dense 3D Shape Correspondence of Generic Objects
Michigan State University（密歇根州立大学）
本文的目标是以无监督的方式学习拓扑变化通用对象的密集3D形状对应关系。传统的隐式函数估计给定形状潜码的3D点的占用。相反，我们的新隐式函数产生一个概率嵌入，以表示部分嵌入空间中的每个3D点。假设对应点在嵌入空间中是相似的，我们通过从部分嵌入向量到对应的3D点的反函数映射来实现稠密对应。这两个函数与几个有效的和不确定性感知的损失函数联合学习，以实现我们的假设，以及编码器生成的形状潜码。在推理过程中，如果用户选择源形状上的任意点，我们的算法可以自动生成一个置信度分数，指示目标形状上是否存在对应关系，以及对应的语义点（如果存在）。这种机制本质上有利于具有不同部件构造的人造物体。我们的方法的有效性证明，通过无监督的三维语义对应和形状分割。
2022-12-29 cs.CV
Dense4D: Pixel-Level 4D Human Correspondence
Imperial College London（帝国理工学院）
提出首个无需人体模板的前馈模型Dense4D，通过处理单目RGB图像的人体裁剪图预测HPM与深度，实现更高精度的4D人体对应关系与运动跟踪。
2026-10-16 cs.CV
Generalized Correspondence Matching via Flexible Hierarchical Refinement and Patch Descriptor Distillation
Donghua University（东华大学）；the Hong Kong University of Science and Technology（香港科技大学）；Tongji University（同济大学）
针对现有最先进的即插即用对应匹配方法DFM的局限性，提出灵活最近邻分层细化与块描述符蒸馏方法，拓展骨干网络适配性并降低计算量，在多数据集上实现性能超越。
2024-03-08 cs.CV
Graph Matching with Bi-level Noisy Correspondence
Sichuan University（四川大学）；Hangzhou Dianzi University（杭州电子科技大学）；Tianjin University（天津大学）
本文针对图匹配中节点级和边级双层噪声对应问题，提出带动量蒸馏的对比匹配方法，利用鲁棒二次对比损失和动量教师置信度自适应惩罚噪声分配，在三个数据集上验证了优于12个基线的鲁棒性。
2023-08-05 cs.CV
Bridging Stereo Matching and Optical Flow via Spatiotemporal Correspondence
National Chiao Tung University（国立交通大学）；NEC Laboratories America（NEC美国实验室）
立体匹配和流估计是场景理解的两个基本任务，在三维空间和运动的时间。现有的方法一直集中在无监督的设置，由于有限的资源，以获得大规模的地面实况数据。为了构建一个可自学的目标，相关的任务通常被连接在一起，形成一个联合框架。然而，先前的工作通常为每个任务使用独立的网络，因此不允许跨模型学习共享的特征表示。在本文中，我们提出了一个单一的和原则性的网络，共同学习立体匹配和流量估计的时空对应，与一个新设计的几何连接作为无监督信号的时间相邻的立体声对。我们表明，我们的方法表现良好，对几个国家的最先进的基线，无监督的深度和流量估计的KITTI基准数据集。
2019-05-22 cs.CV
PDC-Net+: Enhanced Probabilistic Dense Correspondence Network
ETH Zurich（苏黎世联邦理工学院）
在一对图像之间建立鲁棒且准确的对应关系是具有许多应用的长期存在的计算机视觉问题。虽然经典的稀疏方法占主导地位，新兴的密集方法提供了一个引人注目的替代范式，避免了关键点检测步骤。然而，密集流估计往往是不准确的情况下，大位移，闭塞，或均匀的区域。为了将密集方法应用于现实世界的应用，例如姿态估计、图像处理或3D重建，因此，估计预测匹配的置信度至关重要。我们提出了增强的概率密集对应网络，PDC-Net+，能够估计准确的密集对应以及可靠的置信度图。我们开发了一种灵活的概率方法，共同学习流量预测及其不确定性。特别是，我们将预测分布参数化为约束混合模型，确保更好地建模准确的流量预测和离群值。此外，我们开发了一个架构和一个增强的训练策略，专为强大的和可推广的不确定性预测的自监督训练的背景下。我们的方法在多个具有挑战性的几何匹配和光流数据集上获得了最先进的结果。我们进一步验证了我们的概率置信度估计的有用性的任务的姿态估计，三维重建，基于图像的定位，和图像检索。代码和型号可在https://github.com/PruneTruong/DenseMatching上获得。
2021-09-29 cs.CV
Unsupervised Feature Learning for Dense Correspondences across Scenes
Beijing Institute of Technology（北京理工大学）；The University of Adelaide（阿德莱德大学）；Australian Centre for Robotic Vision（澳大利亚机器人视觉中心）
我们提出了一种快速，准确的匹配方法，估计密集的像素对应场景。估计描绘相同对象类别的不同场景或实例的图像之间的密集像素对应关系是一个具有挑战性的问题。虽然大多数这样的匹配方法依赖于手工制作的特征，如SIFT，但我们使用无监督学习从大量未标记的图像块中学习特征。像素层特征是通过对字典进行编码来获得的，然后通过空间池化来获得补丁层特征。然后将学习到的特征无缝嵌入到多层匹配框架中。我们的实验表明，学习的功能，与我们的匹配模型，优于国家的最先进的方法，如SIFT流，一致性敏感哈希和最近的可变形空间金字塔匹配方法的准确性和计算效率。此外，我们评估了几种不同的字典学习和特征编码方法在建议的像素对应关系估计框架的性能，并分析了字典学习和特征编码对最终匹配性能的影响。
2015-04-23 cs.CV
FCSS: Fully Convolutional Self-Similarity for Dense Semantic Correspondence
Yonsei University（延世大学）；Chungnam National University（忠南国立大学）；Microsoft Research（微软研究院）
我们提出了一个描述符，称为全卷积自相似性（FCSS），密集的语义对应。为了在同一对象类中的不同实例之间鲁棒地匹配点，我们在全卷积网络中使用局部自相似性（LSS）来制定FCSS。与现有的基于CNN的描述符相比，由于其基于LSS的结构，FCSS本质上对类内外观变化不敏感，同时保持了深度神经网络的精确定位能力。局部结构的采样模式和自相似性度量在所提出的网络中以端到端和多尺度的方式联合学习。由于语义对应的训练数据相当有限，我们建议利用现有图像数据集中提供的对象候选先验以及对象对之间的对应一致性来实现弱监督学习。实验表明，FCSS优于传统的手工描述符和基于CNN的描述符在各种基准测试。
2017-02-03 cs.CV
Boosting Video Object Segmentation via Space-time Correspondence Learning
Shanghai Jiao Tong University（上海交通大学）；Zhejiang University（浙江大学）
本文提出对应感知训练框架，通过无标签对比对应学习增强匹配式视频目标分割的时空匹配鲁棒性，在不增加标注、延迟和架构改动的前提下，于多个基准上稳定提升性能。
2023-04-13 cs.CV
Matching 2D Images in 3D: Metric Relative Pose from Metric Correspondences
Niantic（Niantic公司）；University of Oxford（牛津大学）
本文提出MicKey关键点匹配流程，通过学习跨图像匹配3D相机坐标，仅用图像对和相对位姿监督即可估计度量相对位姿，并在Map-Free Relocalisation基准上达到最优性能。
2024-04-09 cs.CV
Dense-SfM: Structure from Motion with Dense Consistent Matching
Seoul National University（首尔国立大学）
Dense-SfM通过密集匹配和多视图核化匹配模块，提升多视角图像中3D重建的精度和密度。
2026-01-28 cs.CV
Dense Wide-Baseline Scene Flow From Two Handheld Video Cameras
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Intel Visual Computing Institute（英特尔视觉计算研究所）；University of Bath（巴斯大学）
我们提出了一种新的技术，用于计算密集的场景流从两个手持视频与宽相机基线和不同的光度特性，由于不同的传感器或相机设置，如曝光和白平衡。我们的技术在两个方面比现有的方法创新：（1）它支持独立移动的摄像机，（2）它计算密集的场景流的宽基线scenaries.We实现了这一点，结合国家的最先进的宽基线对应发现与变分场景流公式。首先，我们使用DAISY描述符计算密集的宽基线对应关系，用于相机之间的匹配和随时间的变化。然后，我们使用一种新的边缘保持拉普拉斯对应完成技术检测和替换遮挡像素的对应字段。最后，我们完善的计算对应领域的变分场景流配方。我们展示了从具有挑战性的数据集计算出的密集场景流结果，这些数据集具有独立移动的手持式摄像机（摄像机设置不同）。
2016-09-16 cs.CV
DGC-Net: Dense Geometric Correspondence Network
Aalto University（阿尔托大学）；University of Oulu（奥卢大学）；ETH Zürich（苏黎世联邦理工学院）；Microsoft（微软）；Tampere University of Technology（坦佩雷理工大学）
本文解决了两幅图像之间的密集像素对应估计的挑战。这个问题与光流估计任务密切相关，其中ConvNets（CNN）最近取得了重大进展。虽然光流方法对于小像素平移和有限的外观变化场景产生非常准确的结果，但它们很难处理我们在这项工作中考虑的强几何变换。在本文中，我们提出了一个由粗到细的基于CNN的框架，可以利用光流方法的优势，并将其扩展到大型变换的情况下，提供密集和亚像素的准确估计。它在合成转换上进行了训练，并对看不见的，现实的数据表现出非常好的性能。此外，我们将我们的方法应用于相对相机姿态估计的问题，并证明该模型优于现有的密集方法。
2018-10-22 cs.CV
Learning 3D Dense Correspondence via Canonical Point Autoencoder
National Tsing-Hua University（国立清华大学）；University of California, Merced（加州大学默塞德分校）；NVIDIA（英伟达）
我们提出了一个典型的点自动编码器（CPAE），预测同一类别的3D形状之间的密集对应。自动编码器执行两个关键功能：（a）将任意排序的点云编码为规范图元，例如，球体，以及（b）将图元解码回原始输入实例形状。由于该基元位于瓶颈区域，它对将所有无序点云映射到规范曲面上并以有序的方式进行重构起着关键作用。一旦被训练，来自映射到原始表面上的相同位置的不同形状实例的点被确定为一对对应关系。我们的方法不需要任何形式的注释或自监督零件分割网络，并且可以处理未对齐的输入点云。三维语义关键点转移和部分分割转移的实验结果表明，我们的模型表现良好，对国家的最先进的对应学习方法。
2021-07-10 cs.CV
Learning Dense Correspondence via 3D-guided Cycle Consistency
UC Berkeley（加州大学伯克利分校）；ENPC ParisTech（巴黎高科路桥学校）；TTI-Chicago（芝加哥丰田技术研究院）
判别式深度学习方法在人类标记的基础事实丰富的问题上表现出了令人印象深刻的结果，但对于难以或不可能获得标签的任务呢？本文解决了这样一个问题：在不同的对象实例之间建立密集的视觉对应。对于这个任务，虽然我们不知道地面实况是什么，但我们知道它应该在该类别的实例中保持一致。我们利用这种一致性作为监督信号来训练卷积神经网络，以预测描绘同一类别对象的图像对之间的跨实例对应关系。对于每一对训练图像，我们找到一个合适的3D CAD模型，并渲染两个合成视图以与这对图像链接，建立一个对应流4循环。我们使用渲染引擎提供的地面实况合成到合成对应关系来训练ConvNet，以预测与地面实况周期一致的合成到真实、真实到真实和真实到合成对应关系。在测试时，不需要CAD模型。我们证明了我们的端到端训练的ConvNet由周期一致性监督，在对应相关任务中优于最先进的成对匹配方法。
2016-04-18 cs.CV
Semantic Attribute Matching Networks
Yonsei University（延世大学）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；Ewha Womans University（梨花女子大学）
我们提出了语义属性匹配网络（SAM-Net），用于在语义相似的图像之间联合建立对应关系和传输属性，它智能地编织了这两项任务的优点，同时克服了它们的局限性。SAM-Net通过建立可靠对应关系的迭代过程来实现这一点，该过程通过减少图像之间的属性差异并使用学习的对应关系合成属性转移图像来实现。为了使用图像对形式的弱监督来学习网络，我们提出了一种基于属性转移源特征和变形目标特征之间的匹配相似度的语义属性匹配损失。SAM-Net在语义匹配和属性传递的几个基准测试中获得了最先进的性能。
2019-04-05 cs.CV
SPIDER: Spatial Image CorresponDence Estimator for Robust Calibration
Johns Hopkins University（约翰霍普金斯大学）
SPIDER是一种通用的图像匹配框架，通过整合共享特征提取主干和两个专用网络头，有效提升在不同场景下的鲁棒性与准确性。
2025-12-26 cs.CV
MV-RoMa: From Pairwise Matching into Multi-View Track Reconstruction
KAIST（韩国科学技术院）；Seoul National University（首尔大学）
MV-RoMa通过多视角密集匹配模型，联合估计源图像到多个共视目标的密集对应关系，提升3D重建的准确性和密度。
2026-03-29 cs.CV
Deep Spectral Correspondence for Matching Disparate Image Pairs
The University of Georgia（佐治亚大学）；Netaji Subhas Institute of Technology（内塔吉·苏巴斯理工学院）；Technische Universitat Darmstadt（达姆施塔特工业大学）
提出了一种新的、基于非学习的、显著性感知的、形状认知的对应确定技术，用于匹配本质上明显不同的图像对。现实世界中的图像在尺度、方向、视点、光照和仿射投影参数等方面往往表现出高度的变化，并且常常伴随着无纹理区域的存在以及场景对象的完全或部分遮挡。上述条件通过使得使用全局基于轮廓的描述符或局部像素级特征来建立对应性不切实际而混淆了大多数对应性确定技术。建议的深谱对应（DSC）确定方案利用局部特征描述符的代表性的权力，以获得一个复杂的高层次的全球形状表示匹配不同的图像。该方案的原因不同的图像之间的对应关系，使用高级别的全球形状线索来自低级别的本地特征描述符。因此，所提出的方案享有两全其美的好处，即，对仿射参数（例如，由全局形状线索提供的尺度、方向、视点、照明）的高度不变性以及对由低级特征描述符提供的遮挡的鲁棒性。虽然所提出的方案中的基于形状的组件推断要寻找什么，但一个额外的基于显着性的组件规定了要看哪里，从而解决了无纹理区域和复杂背景的存在所引起的噪声对应。在所提出的方案中，使用在外观中的兴趣点之间计算的距离来构造联合图像图（即，图像）空间。联合图像图的本征谱分解允许在外观空间和本征空间中联合执行关于形状相似性的推理。
2018-09-12 cs.CV
A Performance Evaluation of Correspondence Grouping Methods for 3D Rigid Data Matching
Northwestern Polytechnical University（西北工业大学）；Huazhong University of Science and Technology（华中科技大学）
在3D刚性数据（点云、网格或深度图）之间寻求一致的点对点对应关系是3D计算机视觉中的一个基本问题。虽然近年来已经提出了一些对应选择方法，但它们的优点和缺点对于不同的应用和扰动仍然不清楚。为了填补这一空白，本文给出了一个综合评价的9个国家的最先进的三维对应分组方法。一个好的对应分组算法期望从初始特征匹配中检索尽可能多的内点，从而提高精度和召回率，并促进准确的变换估计。针对这一规则，我们部署实验在三个基准与不同的应用环境，包括形状检索，3D对象识别，点云配准以及各种扰动，如噪声，点密度变化，杂波，遮挡，部分重叠，不同尺度的初始对应关系，以及关键点检测器和描述符的不同组合。丰富多样的应用场景和干扰导致初始特征对应的不同空间分布和内点比率，从而能够进行彻底的评估。在此基础上，我们总结了评价方法的特点和优缺点，并指出了未来的研究方向。
2019-07-05 cs.CV
