Towards Robust Semantic Correspondence: A Benchmark and Insights
该研究构建了含14种恶劣成像场景的语义对应鲁棒性评估基准，通过实验揭示现有方法的性能下降规律、不同视觉模型的鲁棒性差异，并指出通用数据增强对该任务鲁棒性提升无效，需设计任务专属策略。
2025-08-01 cs.CV
Learning Space-Time Semantic Correspondences
Samsung Research America（三星美国研究院）；UC Berkeley（加州大学伯克利分校）
提出视频时空语义对应预测新任务，在Penn Action和Pouring基准上提供标注，实验表明联合时空处理优于分解方法。
2023-06-16 cs.CV
SPair-71k: A Large-scale Benchmark for Semantic Correspondence
POSTECH（浦项科技大学）；NPRC（神经处理研究中心）；Inria（法国国家信息与自动化研究所）；DI ENS（巴黎高等师范学院计算机系）
在大的类内变化下建立视觉对应，这通常被称为语义对应或语义匹配，仍然是计算机视觉中具有挑战性的问题。然而，尽管其重要性，大多数语义对应的数据集仅限于具有相似视点和尺度的少量图像对。在本文中，我们提出了一个新的语义配对图像的大规模基准数据集SPair-71 k，其中包含70，958个图像对，这些图像对具有不同的视角和尺度。与以前的数据集相比，它在数量上明显更大，并且包含更准确和更丰富的注释。我们相信这个数据集将为研究语义对应问题提供一个可靠的测试平台，并将有助于推进这一领域的研究。我们提供了新数据集上最近方法的结果，作为进一步研究的基线。我们的基准可以在http://cvlab.postech.ac.kr/research/SPair-71k/上在线获得。
2019-08-28 cs.CV
Semantic Correspondence: A Hierarchical Approach
Queensland University of Technology（昆士兰科技大学）
在计算机视觉领域，当图像中的对象经历复杂变形时，建立图像之间的语义对应仍然是一项具有挑战性的任务。在本文中，我们提出了一个层次化的方法来解决这个问题，首先语义目标的前景对象本地化的搜索空间，然后深入到多个层次的特征表示搜索点级对应。与现有的方法，通常惩罚大的差异，我们的方法允许显着的位移，目的是适应场景中的对象的大变形。我们的方法通过语义匹配对象级别的对应关系来本地化搜索空间，可以鲁棒地处理对象的大变形。通过考虑周围上下文层次的超列特征来表示目标区域，有助于消除歧义，进一步提高准确性。通过在具有非刚性对象的场景中进行多个实验，我们验证了所提出的方法，并表明它优于最先进的语义对应关系建立方法。
2018-06-10 cs.CV
Joint Learning of Feature Extraction and Cost Aggregation for Semantic Correspondence
Computer Vision Lab. (CVLAB), Korea University（高丽大学计算机视觉实验室（CVLAB））
在语义相似的图像之间建立密集的对应关系是具有挑战性的任务之一，由于显着的类内变化和背景杂波。为了解决这些问题，已经提出了许多方法，这些方法集中于独立地学习特征提取器或成本聚合，这会产生次优性能。在本文中，我们提出了一个新的框架，共同学习特征提取和语义对应的成本聚合。通过利用来自每个模块的伪标签，以提升的方式同时学习由特征提取和成本聚合模块组成的网络。此外，为了忽略不可靠的伪标签，我们提出了一个置信度感知的对比损失函数，用于以弱监督的方式学习网络。我们展示了我们的竞争力的结果，语义对应的标准基准。
2022-04-19 cs.CV
See More, Match Better: Multi-Source Feature Fusion for Two-View Correspondence Learning
Nanjing University of Science and Technology（南京理工大学）；People’s Daily Online（人民网）；University of Science and Technology of China（中国科学技术大学）
提出TriMatch框架，融合几何、纹理语义和结构语义特征，通过语义引导调制和层次细化，提升重复结构等场景下的对应点鉴别能力。
2026-06-08 cs.CV
Semi-Supervised Learning of Semantic Correspondence with Pseudo-Labels
Korea University（高丽大学）；Samsung Electro-Mechanics（三星电机）
在语义相似的图像之间建立密集的对应关系仍然是一项具有挑战性的任务，由于显着的类内变化和背景杂波。传统的监督学习用于训练模型，这需要大量的人工标记数据，而一些方法建议使用自监督或弱监督学习来减轻对标记数据的依赖，但性能有限。在本文中，我们提出了一种简单但有效的语义对应解决方案，该解决方案通过利用大量置信对应作为伪标签来补充少量真实对应，以半监督的方式学习网络，称为SemiMatch。具体来说，我们的框架使用模型本身在源和弱增强目标之间的预测生成伪标签，并使用伪标签在源和强增强目标之间再次学习模型，这提高了模型的鲁棒性。我们还提出了一种新的伪标签和数据增强语义对应度的信心措施。在实验中，SemiMatch在各种基准测试中实现了最先进的性能，特别是在PF Willow上的性能。
2022-04-05 cs.CV
Dynamic Context Correspondence Network for Semantic Alignment
ShanghaiTech University（上海科技大学）
建立语义对应是计算机视觉中的核心问题，并且由于类内变化大和缺乏注释数据而仍然具有挑战性。在本文中，我们的目标是将全球语义背景下，以灵活的方式，以克服现有的工作，依赖于本地语义表示的局限性。为此，我们首先提出了一个上下文感知的语义表示，结合了空间布局的鲁棒匹配对当地的歧义。然后，我们开发了一种新的动态融合策略的基础上注意力机制编织的本地和上下文特征的优势，通过集成多个尺度的语义线索。我们通过设计一个端到端可学习的深度网络来实例化我们的策略，称为动态上下文对应网络（DCCNet）。为了训练网络，我们采用了多辅助任务损失，以提高我们的弱监督学习过程的效率。我们的方法在几个具有挑战性的数据集（包括PF-Pascal，PF-Willow和TSS）上实现了优于以前方法的性能，证明了其有效性和通用性。
2019-09-08 cs.CV
Recurrent Transformer Networks for Semantic Correspondence
Yonsei University（延世大学）；Microsoft Research（微软研究院）；Ewha Womans University（梨花女子大学）
我们提出了经常性的Transformer网络（RTNs）获得语义相似的图像之间的密集对应。我们的网络通过迭代过程来实现这一点，该过程估计输入图像之间的空间变换，并使用这些变换来生成对齐的卷积激活。通过直接估计图像对之间的变换，而不是采用空间Transformer网络来独立地规范化每个单独的图像，我们表明，可以实现更高的精度。该过程以递归方式进行，以细化变换估计和特征表示。此外，提出了一种基于建议的分类损失的RTNs的弱监督训练技术。使用RTNs，在语义对应的几个基准上达到了最先进的性能。
2018-10-29 cs.CV
FCSS: Fully Convolutional Self-Similarity for Dense Semantic Correspondence
Yonsei University（延世大学）；Chungnam National University（忠南国立大学）；Microsoft Research（微软研究院）
我们提出了一个描述符，称为全卷积自相似性（FCSS），密集的语义对应。为了在同一对象类中的不同实例之间鲁棒地匹配点，我们在全卷积网络中使用局部自相似性（LSS）来制定FCSS。与现有的基于CNN的描述符相比，由于其基于LSS的结构，FCSS本质上对类内外观变化不敏感，同时保持了深度神经网络的精确定位能力。局部结构的采样模式和自相似性度量在所提出的网络中以端到端和多尺度的方式联合学习。由于语义对应的训练数据相当有限，我们建议利用现有图像数据集中提供的对象候选先验以及对象对之间的对应一致性来实现弱监督学习。实验表明，FCSS优于传统的手工描述符和基于CNN的描述符在各种基准测试。
2017-02-03 cs.CV
Hierarchical Neural Semantic Representation for 3D Semantic Correspondence
University of Electronic Science and Technology of China（电子科技大学）；The Chinese University of Hong Kong（香港中文大学）
本文提出分层神经语义表示（HNSR）结合预训练3D生成模型先验，通过全局到局部渐进匹配策略，实现准确鲁棒的3D语义对应，无需训练且优于现有技术。
2025-09-23 cs.CV
Telling Left from Right: Identifying Geometry-Aware Semantic Correspondence
Shanghai Jiao Tong University（上海交通大学）；Google Research（谷歌研究院）；UIUC（伊利诺伊大学厄巴纳-香槟分校）；Stability AI；UC Merced（加州大学默塞德分校）
本文揭示当前视觉基础模型特征在语义对应中缺乏几何与方向感知的局限，提出在零样本和监督设置下融入几何信息的有效方案，并构建新基准，在SPair-71k上取得显著性能提升。
2024-03-25 cs.CV
PARN: Pyramidal Affine Regression Networks for Dense Semantic Correspondence
Yonsei University（延世大学）；Ewha Womans University（梨花女子大学）
本文提出了一种用于密集语义对应的深层架构，称为金字塔仿射回归网络（PARN），它可以估计图像中局部变化的仿射变换场。为了处理同一对象类别中不同实例之间通常存在的类内外观和形状变化，我们利用金字塔模型，其中仿射变换场以从粗到细的方式逐步估计，以便在深度网络中自然地施加平滑度约束。PARN估计每个级别的残余仿射变换，并将它们组合以估计最终仿射变换。此外，为了克服语义对应训练数据不足的局限性，我们提出了一种新的弱监督训练方案，通过利用图像对之间的对应一致性来生成渐进式监督。我们的方法是完全可学习的，在一个端到端的方式，不需要量化无限连续仿射变换领域。据我们所知，这是第一个尝试在深度网络中以粗到细的方式估计密集仿射变换场的工作。实验结果表明，PARN优于国家的最先进的方法密集的语义对应在各种基准。
2018-08-01 cs.CV
SCNet: Learning Semantic Correspondence
The University of Hong Kong（香港大学）；Inria（法国国家信息与自动化研究所）；Department of Computer Science, ENS / CNRS / PSL Research University（巴黎高等师范学院 / 法国国家科学研究中心 / 巴黎文理研究大学计算机科学系）；Yonsei Univ.（延世大学）；POSTECH（浦项科技大学）；Univ. Grenoble Alpes, Inria, CNRS, Grenoble INP, LJK（格勒诺布尔阿尔卑斯大学、法国国家信息与自动化研究所、法国国家科学研究中心、格勒诺布尔理工学院、让·昆兹曼实验室）
本文讨论的问题，建立语义之间的对应关系的图像描绘不同的情况下，相同的对象或场景类别。以前的方法专注于将空间正则化器与手工制作的特征相结合，或者只学习外观的对应模型。相反，我们提出了一个卷积神经网络架构，称为SCNet，用于学习语义对应的几何合理模型。SCNet使用区域建议作为匹配基元，并显式地将几何一致性纳入其损失函数。它是在从PASCAL VOC 2007关键点数据集获得的图像对上进行训练的，对几个标准基准的比较评估表明，所提出的方法大大优于最近的深度学习架构和以前基于手工特征的方法。
2017-08-17 cs.CV
Learning Semantic Correspondence with Sparse Annotations
University of Maryland, College Park（马里兰大学帕克分校）；Shanghai AI Laboratory（上海人工智能实验室）；ShanghaiTech University（上海科技大学）；Shanghai Engineering Research Center of Intelligent Vision and Imaging（上海智能视觉成像工程技术研究中心）
寻找密集的语义对应是计算机视觉中的一个基本问题，由于背景杂乱、极端的类内变化和严重缺乏地面实况，这在复杂场景中仍然具有挑战性。在本文中，我们的目标是解决标签稀疏的语义对应的挑战，丰富的监督信号从稀疏的关键点注释。为此，我们首先提出了一个师生学习的范例生成密集的伪标签，然后开发两个新的策略去噪伪标签。特别地，我们使用稀疏注释周围的空间先验来抑制噪声伪标签。此外，我们引入了一个损失驱动的动态标签选择策略的标签去噪。我们实例化我们的范例与学习策略的两个变种：一个单一的离线教师设置，和相互在线教师设置。我们的方法在语义对应的三个具有挑战性的基准上取得了显着的改进，并建立了新的最先进的技术。https://shuaiyihuang.github.io/publications/SCorrSAN
2022-08-17 cs.CV
Similarity-Aware Selective State-Space Modeling for Semantic Correspondence
Pohang University of Science and Technology (POSTECH)（浦项科学技术大学）
针对语义对应中特征关系建模不足与4D相关性图计算昂贵的问题，提出MambaMatcher，利用相似度感知选择性SSM扫描高效细化4D相关性图并达到SOTA性能。
2025-09-29 cs.CV
Semantics Meets Temporal Correspondence: Self-supervised Object-centric Learning in Videos
The Chinese University of Hong Kong（香港中文大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
本文提出语义感知掩码 slot attention，融合语义特征与时间对应图，通过两阶段注意力与共享高斯分布实现实例识别，在无监督视频对象发现和密集标签传播任务上达到最先进性能。
2024-03-21 cs.CV
Facial Action Unit Intensity Estimation via Semantic Correspondence Learning with Dynamic Graph Convolution
The University of Hong Kong（香港大学）
由于人的面部外观的细微变化，面部动作单元（AU）的强度估计是具有挑战性的。以前的方法主要依赖于概率模型或预定义的规则来建模AU之间的共现关系，导致有限的泛化。相比之下，我们提出了一个新的学习框架，自动学习的潜在关系的AU通过建立语义特征图之间的对应关系。在基于热图回归的网络中，特征图保留了与AU强度和位置相关联的丰富语义信息。此外，AU共现模式可以通过激活一组特征通道来反映，其中每个通道编码AU的特定视觉模式。这促使我们对特征通道之间的相关性进行建模，这隐含地表示AU强度水平的同现关系。具体来说，我们引入了一个语义对应卷积（SCC）模块，动态计算深和低分辨率特征映射的对应关系，从而提高了特征的可分辨性。在两个基准数据集上的实验结果表明了该方法的有效性和优越性能。
2020-04-20 cs.CV
Learning Semantic Correspondence Exploiting an Object-level Prior
Yonsei University（延世大学）；Inria（法国国家信息与自动化研究所）；DI-ENS（巴黎高等师范学院计算机科学系）；CNRS（法国国家科学研究中心）；PSL University（巴黎文理研究大学）
我们解决的语义对应的问题，也就是说，建立一个密集的流场之间的图像描绘不同的情况下，相同的对象或场景类别。我们建议使用二进制前景掩模注释的图像，并进行合成几何变形训练卷积神经网络（CNN）完成这项任务。使用这些掩模作为监督信号的一部分为语义对应任务提供了对象级先验，并且提供了语义流方法和语义对齐方法之间的良好折衷，在语义流方法中，训练数据的量受到手动选择点对应的成本的限制，在语义对齐方法中，图像之间的单个全局几何变换的回归可能对图像特定的细节（例如背景杂波）敏感。我们提出了一个新的CNN架构，称为SFNet，实现了这一想法。它利用argmax函数的一个新的可微分版本进行端到端训练，并将掩码和流一致性与平滑项相结合。实验结果表明，我们的方法，这显着优于最先进的标准基准测试的有效性。
2020-07-21 cs.CV
SemAlign3D: Semantic Correspondence between RGB-Images through Aligning 3D Object-Class Representations
Shanghai Jiao Tong University（上海交通大学）
本文提出SemAlign3D方法，利用单目深度估计和LVM特征构建3D对象类别表示，并通过梯度下降对齐实现RGB图像间语义对应，在SPair-71k数据集上显著提升匹配精度。
2025-03-28 cs.CV
SGSoft: Learning Fused Semantic-Geometric Features for 3D Shape Correspondence via Template-Guided Soft Signals
KAIST AI（韩国科学技术院人工智能研究所）；Anigma Technologies（Anigma科技公司）
本文提出SGSoft方法，通过模板引导的软信号学习融合语义-几何特征，实现3D形状对应，解决了结构变化、非等距变形和拓扑不一致的挑战，实现了最先进的跨类别泛化和最佳精度-效率权衡。
2026-05-18 cs.CV
Jamais Vu: Exposing the Generalization Gap in Supervised Semantic Correspondence
University of Edinburgh（爱丁堡大学）；University of Oxford（牛津大学）
针对监督语义对应方法泛化能力受限问题，提出通过单目深度估计将2D关键点提升至规范3D空间学习密集对应的方法，构建无需显式3D监督的连续规范流形，并引入SPair-U数据集，实验证明其在未见过关键点上的优越性及无监督基线的跨数据集泛化优势。
2025-11-11 cs.CV
VideoSwap: Customized Video Subject Swapping with Interactive Semantic Point Correspondence
National University of Singapore（新加坡国立大学）；Meta
针对扩散视频编辑难以处理形状变化的问题，本文提出 VideoSwap 框架，用少量可交互语义点对齐运动并改变主体形状，在真实视频主体替换上达到 SOTA。
2023-12-05 cs.CV
SFNet: Learning Object-aware Semantic Correspondence
Yonsei University（延世大学）；DI ENS（巴黎高等师范学院计算机系）；INRIA（法国国家信息与自动化研究所）
我们解决的语义对应的问题，也就是说，建立一个密集的流场之间的图像描绘不同的情况下，相同的对象或场景类别。我们建议使用二进制前景掩模注释的图像，并进行合成几何变形训练卷积神经网络（CNN）完成这项任务。使用这些掩模作为监控信号的一部分提供了语义流方法和语义对齐方法之间的良好折衷，在语义流方法中，训练数据的量受到手动选择点对应的成本的限制，在语义对齐方法中，图像之间的单个全局几何变换的回归可能对图像特定的细节（例如背景杂波）敏感。我们提出了一个新的CNN架构，称为SFNet，实现了这一想法。它利用argmax函数的一个新的可微分版本进行端到端训练，并将掩码和流一致性与平滑项相结合。实验结果表明，我们的方法，这显着优于最先进的标准基准测试的有效性。
2019-04-05 cs.CV
SOCO: Benchmarking Semantic Object Correspondence in Vision Foundation Models
Max Planck Institute for Informatics（马克斯·普朗克研究所信息学研究所）；Saarland Informatics Campus（萨尔州信息学校园）；CISPA Helmholtz Center for Information Security（信息安全霍夫曼中心）；University of Freiburg（弗赖堡大学）
提出SOCO基准，通过引入对应类型分类法和100个类别上超过100万对功能上有意义的关键点注释，系统评估视觉基础模型中的语义对应能力，并揭示模型在跨类别迁移、语言引导定位与视觉对应之间的差距。
2026-08-28 cs.CV
TransforMatcher: Match-to-Match Attention for Semantic Correspondence
Pohang University of Science and Technology (POSTECH)（浦项科技大学）
建立图像之间的对应关系仍然是一项具有挑战性的任务，特别是在由于不同视点或类内变化而导致的大的外观变化下。在这项工作中，我们引入了一个强大的语义图像匹配学习，称为transforMatcher，它建立在Transformer网络在视觉领域的成功。与现有的基于卷积或注意力的对应方案不同，TransforMatcher执行全局匹配注意力，以实现精确的匹配定位和动态细化。为了处理大量的匹配在密集的相关性地图，我们开发了一个轻量级的注意力架构，考虑全球匹配匹配的相互作用。我们还建议利用多通道相关图进行细化，将多级分数视为特征而不是单个分数，以充分利用更丰富的逐层语义。在实验中，TransforMatcher在SPair-71 k上设置了一个新的最新技术水平，同时在PF-PASCAL数据集上与现有的SOTA方法进行了比较。
2022-05-23 cs.CV
Learning Cross-View Object Correspondence via Cycle-Consistent Mask Prediction
Tsinghua University（清华大学）；WeChat Vision, Tencent Inc.（腾讯微信视觉实验室）；USTC（中国科学技术大学）
本文提出基于条件二值分割的框架，通过循环一致性训练目标视角预测掩码并重建源视角掩码，实现无标注的自监督学习，提升跨视角物体对应性能。
2026-03-25 cs.CV
Learning Contrastive Representation for Semantic Correspondence
University of California, Merced（加州大学默塞德分校）；Nvidia（英伟达）；Yonsei University（延世大学）
语义相关图像之间的密集对应已经被广泛研究，但仍然面临两个挑战：1）即使对于来自同一类别的对象，外观、比例和姿态也存在很大的变化，以及2）标记像素级密集对应是劳动密集型的并且不可行缩放。大多数现有的方法都专注于使用完全监督的ImageNet预训练网络设计各种匹配方法。另一方面，虽然提出了各种自我监督的方法来显式地测量图像级的相似性，对应匹配的像素级仍然是探索不足。在这项工作中，我们提出了一种用于语义匹配的多级对比学习方法，该方法不依赖于任何ImageNet预训练模型。我们表明，图像级对比学习是鼓励卷积特征找到相似对象之间对应关系的关键组成部分，而性能可以通过在中间特征级别正则化跨实例循环一致性来进一步增强。在PF-PASCAL、PF-WILLOW和SPair-71 k基准数据集上的实验结果表明，我们的方法与最先进的方法相比表现良好。源代码和经过训练的模型将向公众开放。
2022-03-10 cs.CV
Proposal Flow: Semantic Correspondences from Object Proposals
Yonsei University（延世大学）；POSTECH（浦项科技大学）；Inria Grenoble Rhône-Alpes（法国国家信息与自动化研究所格勒诺布尔-罗纳-阿尔卑斯分中心）；Laboratoire Jean Kuntzmann（让·昆茨曼实验室）；École Normale Supérieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）；CNRS（法国国家科学研究中心）；INRIA（法国国家信息与自动化研究所）
在类内变化和场景布局变化较大的情况下，寻找图像对应关系仍然是一个具有挑战性的问题。语义流方法被设计用于处理描绘相同对象或场景类别的不同实例的图像。我们介绍了一种新的方法，语义流，被称为提案流，建立可靠的对应关系，使用对象的建议。与流行的语义流方法，操作像素或定期采样的局部区域，提案流受益于现代对象的建议，表现出高重复性在多个尺度的特点，并可以利用本地和几何一致性约束的建议。我们还表明，相应的稀疏提案流可以有效地转化为一个传统的稠密流场。我们介绍了两个新的具有挑战性的数据集，可用于评估一般的语义流技术和基于区域的方法，如提案流。我们使用这些基准比较不同的匹配算法，对象的建议，并在建议流的区域功能，在语义流的艺术状态。这种比较，以及在标准数据集上的实验，表明提案流在各种设置中显着优于现有的语义流方法。
2017-03-21 cs.CV
A Cross-Season Correspondence Dataset for Robust Semantic Segmentation
Chalmers University of Technology（查尔姆斯理工大学）；Zenuity（泽努蒂公司）；ETH Zurich（苏黎世联邦理工学院）；Microsoft（微软）
在本文中，我们提出了一种方法，利用在不同的图像条件下拍摄的图像之间的2D-2D点匹配训练一个卷积神经网络的语义分割。在匹配中强制标签一致性使得最终的分割算法对季节变化具有鲁棒性。我们描述了如何生成这些2D-2D的匹配，几乎没有人的互动，几何匹配点从3D模型建立从图像。创建两个跨季节对应数据集，提供跨季节变化以及从白天到晚上的2D-2D匹配。这些数据集公开提供，以方便进一步研究。我们发现，在训练过程中添加对应关系作为额外的监督，提高了卷积神经网络的分割性能，使其对季节变化和天气条件更具鲁棒性。
2019-08-16 cs.CV
Unsupervised cycle-consistent deformation for shape matching
LIGM (UMR 8049) École des Ponts UPE（巴黎桥路大学LIGM实验室（法国国家科研中心8049混合研究单位））；Adobe Research（奥多比研究院）
我们提出了一个自我监督的方法，深表面变形。给定一对形状，我们的算法直接预测从一个形状到另一个形状的参数变换。我们的见解是使用周期一致性来定义对象组中良好对应的概念，并将其用作训练我们的网络的监督信号。我们的方法不依赖于模板，假设近等距变形或依赖于点对应监督。我们证明了我们的方法的有效性，通过使用它来转移分割的形状。我们在Shapenet上展示了，当注释的训练数据很容易获得时，我们的方法与同类最先进的方法相比具有竞争力，但在Few-Shot分割场景中，我们的方法远远优于它们。
2019-07-06 cs.CV
SEMAGIC: Learning Semantically Consistent Deformable 3D Representations from In-the-Wild Images
Johns Hopkins University（约翰霍普金斯大学）；CISPA Helmholtz Center for Information Security（信息安全霍普金斯中心）
针对现有可变形3D重建方法语义对应不稳定的问题，提出SEMAGIC框架，通过特征级一致性损失和顶点索引条件变形，在重建过程中强制语义一致性，从而提升类别级语义对应性能。
2026-05-27 cs.CV
Multi-scale Matching Networks for Semantic Correspondence
Fudan University（复旦大学）；Shanghai Key Lab of Intelligent Information Processing（上海市智能信息处理重点实验室）；The University of Hong Kong（香港大学）
在以前的各种工作中，深度特征已经被证明在构建精确的密集语义对应方面是强大的。然而，卷积神经网络的多尺度和金字塔层次尚未被很好地研究以学习用于语义对应的有区别的像素级特征。在本文中，我们提出了一个多尺度匹配网络，是敏感的相邻像素之间的微小语义差异。我们遵循从粗到精的匹配策略，构建了一个自上而下的特征和匹配增强方案，该方案与深度卷积神经网络的多尺度层次结构相结合。在特征增强过程中，尺度内增强通过局部自注意将来自多个层的相同分辨率特征图融合在一起，而跨尺度增强沿着自上而下的层次结构产生更高分辨率的特征图。此外，我们在不同的尺度上学习互补的匹配细节，从而使整体的匹配分数逐渐被不同语义层次的特征所细化。我们的多尺度匹配网络可以很容易地进行端到端训练，只需很少的额外可学习参数。实验结果表明，该方法实现了最先进的性能在三个流行的基准与高计算效率。
2021-08-27 cs.CV
Learning Correspondence from the Cycle-Consistency of Time
Carnegie Mellon University（卡内基梅隆大学）；UC Berkeley（加州大学伯克利分校）
我们介绍了一种自监督的方法，用于从未标记的视频中学习视觉对应。其主要思想是使用时间上的周期一致性作为自由监督信号，从头开始学习视觉表示。在训练时，我们的模型学习了一个特征图表示，用于执行周期一致性跟踪。在测试时，我们使用获得的表示来查找跨空间和时间的最近邻居。我们展示了一系列视觉对应任务，包括视频对象分割，关键点跟踪和光流的表示-没有微调-的普遍性。我们的方法优于以前的自监督方法，并与强监督方法竞争。
2019-04-02 cs.AI cs.CV cs.LG
Distillation of Diffusion Features for Semantic Correspondence
LMU Munich（慕尼黑大学）；MCML（慕尼黑计算与机器学习实验室）；CompVis（计算视觉研究组）
本文提出知识蒸馏框架，将两个大型视觉基础模型的互补能力压缩到小模型中，并结合三维数据增强，在无需人工标注的情况下超越现有方法且显著降低计算成本。
2024-12-04 cs.CV
Gromov Wasserstein Optimal Transport for Semantic Correspondences
Seeing Machines
本文提出使用 Gromov Wasserstein 最优传输算法替代传统方法，提升语义对应关系任务的性能并提高效率。
2026-02-03 cs.CV
Learning Cross-Domain Correspondence for Control with Dynamics Cycle-Consistency
Shanghai Jiao Tong University（上海交通大学）；UC Berkeley（加州大学伯克利分校）；New York University（纽约大学）；UC San Diego（加州大学圣迭戈分校）
许多机器人问题的核心是跨领域学习对应关系的挑战。例如，模仿学习需要获得人类和机器人之间的对应关系;模拟到真实需要物理模拟器和现实世界之间的对应关系;迁移学习需要不同机器人环境之间的对应关系。本文旨在学习不同领域的对应关系，这些领域在表示（视觉与内部状态），物理参数（质量和摩擦力）和形态（肢体数量）方面有所不同。重要的是，使用来自两个域的未配对和随机收集的数据来学习对应关系。我们提出了\textit{dynamics cycles}，调整动态机器人的行为在两个域使用周期一致性约束。一旦找到这种对应关系，我们就可以直接将在一个域上训练的策略转移到另一个域，而不需要在第二个域上进行任何额外的微调。我们在各种问题域进行实验，无论是在模拟和真实的机器人。我们的框架是能够调整一个真正的机器人手臂的未校准的单眼视频的动态状态动作轨迹的模拟手臂没有配对的数据。我们的结果的视频演示可在：https://sjtuzq.github.io/cycle_dynamics.html。
2020-12-17 cs.CV cs.LG cs.RO
Semantic Correspondence: Unified Benchmarking and a Strong Baseline
The University of Hong Kong（香港大学）
本文首次全面调研语义对应方法，提出分类体系并汇总多基准结果，提出高性能基线，为未来研究奠定基础。
2026-06-28 cs.CV
Learning SO(3)-Invariant Semantic Correspondence via Local Shape Transform
POSTECH（浦项科技大学）；Seoul National University（首尔大学）
提出自监督旋转不变3D对应学习器RIST，通过动态构建SO(3)-不变的局部形状变换，在任意朝向和类内变化下建立形状间密集对应关系，在3D部件标签迁移和语义关键点迁移任务上显著优于现有方法。
2024-04-20 cs.CV
MARCO: Navigating the Unseen Space of Semantic Correspondence
Politecnico di Torino（都灵理工大学）；TU Darmstadt（德累斯顿理工大学）；ELIZA
MARCO通过新颖的训练框架提升语义对应泛化能力，在多个数据集上取得新突破，同时更高效且更小。
2026-04-20 cs.CV
Progressive Color Transfer with Dense Semantic Correspondences
Hong Kong UST（香港科技大学）；City University of Hong Kong（香港城市大学）；Microsoft Research（微软研究院）；University of Science and Technology of China（中国科学技术大学）；Microsoft AI Perception and Mixed Reality（微软人工智能感知与混合现实部门）
我们提出了一种新的算法，具有感知相似的语义结构的图像之间的颜色转移。我们的目标是实现一个更准确的颜色转移，利用图像之间的语义有意义的密集对应。为了实现这一点，我们的算法使用神经表示进行匹配。此外，颜色转移应该是空间变化的和全局相干的。因此，我们的算法优化了一个局部线性模型的颜色转移，同时满足局部和全局约束。我们提出的方法联合优化匹配和颜色转移，采用了一种由粗到细的策略。所提出的方法可以成功地从一对一扩展到一对多的颜色传递。后者进一步解决了输入图像的元素不匹配的问题。我们验证我们提出的方法，通过测试它对各种各样的图像内容。
2018-12-12 cs.CV
Hyperpixel Flow: Semantic Correspondence with Multi-layer Neural Features
POSTECH（浦项科技大学）；Neural Processing Research Center（神经处理研究中心）；Inria（法国国家信息与自动化研究所）；ENS（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；PSL University（巴黎文理研究大学）
在大的类内变化下建立视觉对应关系需要在不同层次上分析图像，从与语义和上下文相关的特征到局部模式，同时对特定于实例的细节保持不变。为了应对这些挑战，我们用“超像素”来表示图像，这些超像素利用了从卷积神经网络的早期到晚期层中选择的少量相关特征。利用超像素的压缩特性，提出了一种基于Hough几何投票的实时匹配算法。所提出的方法，超像素流，在三个标准基准以及一个新的数据集SPair-71 k上设置了一个新的技术状态，该数据集包含比现有数据集更多的图像对，具有更准确和更丰富的注释以进行深入分析。
2019-08-18 cs.CV
Learning to Generate Semantic Layouts for Higher Text-Image Correspondence in Text-to-Image Synthesis
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院（KAIST））
针对特定领域文本-图像数据稀缺导致对应性不足的问题，提出高斯-类别扩散过程联合生成图像与语义布局，在Multi-Modal CelebA-HQ和Cityscapes上提升了文本-图像对应性。
2023-08-16 cs.CV
Unsupervised Semantic Correspondence Using Stable Diffusion
University of British Columbia（不列颠哥伦比亚大学）；Vector Institute for AI（向量人工智能研究所）；Google（谷歌）；Simon Fraser University（西蒙弗雷泽大学）；University of Toronto（多伦多大学）
本文利用文本到图像扩散模型的内在语义知识，无需训练即可通过优化提示嵌入实现无监督语义对应，在多个数据集上达到与强监督方法相当或更优的性能。
2023-12-23 cs.CV
Geometry Matters: 3D Foundation Priors for Learning Semantic Correspondence
University of Freiburg（弗赖堡大学）；Max Planck Institute for Informatics（马克斯·普朗克信息研究所）；CISPA Helmholtz Center for Information Security（CISPA 河岸信息安全中心）
提出一种3D感知的后训练框架，利用3D基础模型（SAM3D）估计物体几何和姿态，生成几何感知特征图，结合DINO和Stable Diffusion特征，通过测地距离过滤候选对应，训练轻量适配器改进语义对应。
2026-05-28 cs.CV
Do It Yourself: Learning Semantic Correspondence from Pseudo-Labels
Max Planck Institute for Informatics, Saarland Informatics Campus（马克斯·普朗克信息研究所，萨尔兰州信息校园）；ETH Zurich（苏黎世联邦理工学院）；University of Oxford（牛津大学）；Saarbrücken Research Center for Visual Computing, Interaction and AI（萨尔布吕肯视觉计算、交互与人工智能研究中心）；University of Freiburg（弗赖堡大学）
本文提出利用3D感知伪标签训练适配器来改进语义对应估计，通过链式传播、循环一致性过滤和球形原型约束减少标注需求，并在SPair-71k上取得最先进性能。
2025-09-23 cs.CV
SPColor: Semantic Prior Guided Exemplar-based Image Colorization
Beijing University of Posts and Telecommunications（北京邮电大学）
SPColor提出语义先验引导的示例上色框架，通过伪类别局部匹配和相似性掩码感知损失减少误匹配，无需人工标注即可在公开数据集上超越现有方法。
2023-11-29 cs.CV
Learning Global-Local Correspondence with Semantic Bottleneck for Logical Anomaly Detection
Tsinghua University（清华大学）；Huazhong University of Science and Technology（华中科技大学）
本文提出了一种新的框架，命名为全局-局部对应框架（GLCF），视觉异常检测与逻辑约束。视觉异常检测在工业异常检测、医疗疾病诊断等实际应用中已成为一个活跃的研究领域。然而，大多数现有的方法集中在识别局部结构退化异常，往往无法检测到高层次的功能异常，涉及逻辑约束。为了解决这个问题，我们提出了一个两个分支的方法，包括一个本地分支检测结构异常和一个全球分支检测逻辑异常。为了促进局部-全局特征的对应，我们引入了一个新的语义瓶颈，使视觉Transformer。此外，我们分别为每个分支开发特征估计网络来检测异常。我们提出的框架使用各种基准进行验证，包括工业数据集，Mvtec AD，Mvtec Loco AD和Retinal-OCT医疗数据集。实验结果表明，我们的方法优于现有的方法，特别是在检测逻辑异常。
2023-03-29 cs.CV
Improving Semantic Correspondence with Viewpoint-Guided Spherical Maps
University of Edinburgh（爱丁堡大学）
本文提出利用弱几何球面先验为自监督特征补充三维理解，以改进语义对应估计，在SPair-71k和AwA数据集上有效区分对称视图与重复部件并实现跨类别泛化。
2024-07-05 cs.CV
Semantic Attribute Matching Networks
Yonsei University（延世大学）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；Ewha Womans University（梨花女子大学）
我们提出了语义属性匹配网络（SAM-Net），用于在语义相似的图像之间联合建立对应关系和传输属性，它智能地编织了这两项任务的优点，同时克服了它们的局限性。SAM-Net通过建立可靠对应关系的迭代过程来实现这一点，该过程通过减少图像之间的属性差异并使用学习的对应关系合成属性转移图像来实现。为了使用图像对形式的弱监督来学习网络，我们提出了一种基于属性转移源特征和变形目标特征之间的匹配相似度的语义属性匹配损失。SAM-Net在语义匹配和属性传递的几个基准测试中获得了最先进的性能。
2019-04-05 cs.CV
Self Correspondence Distillation for End-to-End Weakly-Supervised Semantic Segmentation
NLPR, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所模式识别国家重点实验室）；School of Artificial Intelligence, Beijing University of Posts and Telecommunications（北京邮电大学人工智能学院）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
使用图像级标签有效训练用于弱监督语义分割（WSSS）的准确深度模型具有挑战性和重要性。近年来，端到端WSSS方法由于其高训练效率而成为研究的热点。然而，目前的方法遭受从全面的语义信息的提取不足，导致低质量的伪标签和次优的解决方案的端到端WSSS。为此，我们提出了一种简单而新颖的自对应蒸馏（SCD）方法来改进伪标签，而无需引入外部监督。我们的SCD使网络能够利用来自自身的特征对应作为蒸馏目标，这可以通过补充语义信息来增强网络的特征学习过程。此外，为了进一步提高分割精度，我们设计了一个变异感知的细化模块，通过计算像素级变异来增强伪标签的局部一致性。最后，我们提出了一个有效的端到端的基于transformer的框架（TSCD）通过SCD和变异感知细化模块的准确WSSS任务。在PASCAL VOC 2012和MS COCO 2014数据集上进行的大量实验表明，我们的方法显着优于其他最先进的方法。我们的代码可以在{https：//github.com/Rongtao-Xu/RepresentationLearning/tree/main/SCD-AAAI2023}上找到。
2023-02-27 cs.CV
Semantic-aware One-shot Face Re-enactment with Dense Correspondence Estimation
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
由于源人脸和驾驶人脸之间的身份不匹配，单镜头人脸再现是一项具有挑战性的任务。具体而言，驾驶主体的身份信息的次优解将不可避免地干扰再现结果，并导致人脸形状失真。为了解决这个问题，本文提出了使用三维变形模型（3DMM）的显式面部语义分解和身份解开。而不是单独使用3D系数的重演控制，我们利用3DMM的生成能力，渲染纹理的脸代理。这些代理包含了丰富而紧凑的人脸几何和语义信息，使我们能够通过估计密集的对应关系来计算源图像和驱动图像之间的人脸运动场。该方法通过对源图像的运动场进行变形来近似再现结果，并采用生成对抗网络（GAN）进一步提高变形结果的视觉质量。在各种数据集上进行的大量实验表明，所提出的方法在身份保护和重演实现方面优于现有的最先进的基准。
2022-11-23 cs.CV
Diffusion Trajectory Modeling for Semantic Correspondence
Pukyong National University（釜庆大学）
本文提出扩散轨迹建模（DTM），将扩散过程中每个空间补丁的时间演化视为轨迹，用于语义对应，在SPair-71k等基准上取得强性能，开辟了利用扩散表示的新视角。
2026-09-15 cs.CV
Multi-Image Semantic Matching by Mining Consistent Features
Zhejiang University（浙江大学）；University of Pennsylvania（宾夕法尼亚大学）
本文提出了一种多图像匹配的方法来估计多个图像之间的语义对应关系。与以前的方法，优化所有成对的对应关系，所提出的方法识别和匹配的图像集合中的一个稀疏的一组可靠的功能。通过这种方式，所提出的方法能够修剪不可重复的特征，并且具有高度的可扩展性，可以处理数千张图像。我们还提出了一个低秩约束，以确保在整个图像集合的特征对应的几何一致性。除了在多图匹配和语义流基准测试上的竞争性能外，我们还证明了所提出的方法在不使用任何注释的情况下重建对象类模型和从图像中发现对象类地标的适用性。
2018-05-01 cs.CV
