Semantic-Aware Fine-Grained Correspondence
Tsinghua University（清华大学）；Shanghai Qi Zhi Institute（上海期智研究院）
在图像之间建立视觉对应是一项具有挑战性和必要的任务。最近，已经提出了大量的自监督方法来更好地学习视觉对应的表示。然而，我们发现，这些方法往往无法利用语义信息和过度依赖于低级别的功能匹配。相比之下，人类视觉能够区分不同的物体作为跟踪的借口。受这种范式的启发，我们提出学习语义感知的细粒度对应。首先，我们证明了语义对应是隐含地通过一组丰富的图像级自监督方法。我们进一步设计了一个像素级的自监督学习目标，专门针对细粒度的对应关系。对于下游任务，我们将这两种互补的对应表示融合在一起，证明它们协同提高性能。我们的方法超越了以前使用卷积网络进行各种视觉对应任务的最先进的自监督方法，包括视频对象分割，人体姿势跟踪和人体部位跟踪。
2022-07-22 cs.CV
Semantic Correspondence via 2D-3D-2D Cycle
Shanghai Jiao Tong University（上海交通大学）
视觉语义对应是计算机视觉中的一个重要课题，可以帮助机器理解我们日常生活中的物体。然而，大多数以前的方法直接训练在2D图像中的对应，这是端到端的，但丢失了大量的信息在3D空间。在本文中，我们提出了一种新的方法来预测语义对应关系，利用它到3D域，然后投影相应的3D模型回到2D域，其语义标签。我们的方法利用了3D视觉的优势，可以明确地推理对象的自遮挡和可见性。我们表明，我们的方法提供了比较，甚至优于标准的语义基准的结果。我们还进行了全面和详细的实验来分析我们的网络组件。代码和实验可在www.example.com上公开获得。
2021-04-13 cs.CV
Towards Robust Semantic Correspondence: A Benchmark and Insights
该研究构建了含14种恶劣成像场景的语义对应鲁棒性评估基准，通过实验揭示现有方法的性能下降规律、不同视觉模型的鲁棒性差异，并指出通用数据增强对该任务鲁棒性提升无效，需设计任务专属策略。
2025-08-01 cs.CV
Learning Space-Time Semantic Correspondences
Samsung Research America（三星美国研究院）；UC Berkeley（加州大学伯克利分校）
提出视频时空语义对应预测新任务，在Penn Action和Pouring基准上提供标注，实验表明联合时空处理优于分解方法。
2023-06-16 cs.CV
SPair-71k: A Large-scale Benchmark for Semantic Correspondence
POSTECH（浦项科技大学）；NPRC（神经处理研究中心）；Inria（法国国家信息与自动化研究所）；DI ENS（巴黎高等师范学院计算机系）
在大的类内变化下建立视觉对应，这通常被称为语义对应或语义匹配，仍然是计算机视觉中具有挑战性的问题。然而，尽管其重要性，大多数语义对应的数据集仅限于具有相似视点和尺度的少量图像对。在本文中，我们提出了一个新的语义配对图像的大规模基准数据集SPair-71 k，其中包含70，958个图像对，这些图像对具有不同的视角和尺度。与以前的数据集相比，它在数量上明显更大，并且包含更准确和更丰富的注释。我们相信这个数据集将为研究语义对应问题提供一个可靠的测试平台，并将有助于推进这一领域的研究。我们提供了新数据集上最近方法的结果，作为进一步研究的基线。我们的基准可以在http://cvlab.postech.ac.kr/research/SPair-71k/上在线获得。
2019-08-28 cs.CV
Semantic Correspondence: A Hierarchical Approach
Queensland University of Technology（昆士兰科技大学）
在计算机视觉领域，当图像中的对象经历复杂变形时，建立图像之间的语义对应仍然是一项具有挑战性的任务。在本文中，我们提出了一个层次化的方法来解决这个问题，首先语义目标的前景对象本地化的搜索空间，然后深入到多个层次的特征表示搜索点级对应。与现有的方法，通常惩罚大的差异，我们的方法允许显着的位移，目的是适应场景中的对象的大变形。我们的方法通过语义匹配对象级别的对应关系来本地化搜索空间，可以鲁棒地处理对象的大变形。通过考虑周围上下文层次的超列特征来表示目标区域，有助于消除歧义，进一步提高准确性。通过在具有非刚性对象的场景中进行多个实验，我们验证了所提出的方法，并表明它优于最先进的语义对应关系建立方法。
2018-06-10 cs.CV
Joint Learning of Feature Extraction and Cost Aggregation for Semantic Correspondence
Computer Vision Lab. (CVLAB), Korea University（高丽大学计算机视觉实验室（CVLAB））
在语义相似的图像之间建立密集的对应关系是具有挑战性的任务之一，由于显着的类内变化和背景杂波。为了解决这些问题，已经提出了许多方法，这些方法集中于独立地学习特征提取器或成本聚合，这会产生次优性能。在本文中，我们提出了一个新的框架，共同学习特征提取和语义对应的成本聚合。通过利用来自每个模块的伪标签，以提升的方式同时学习由特征提取和成本聚合模块组成的网络。此外，为了忽略不可靠的伪标签，我们提出了一个置信度感知的对比损失函数，用于以弱监督的方式学习网络。我们展示了我们的竞争力的结果，语义对应的标准基准。
2022-04-19 cs.CV
See More, Match Better: Multi-Source Feature Fusion for Two-View Correspondence Learning
Nanjing University of Science and Technology（南京理工大学）；People’s Daily Online（人民网）；University of Science and Technology of China（中国科学技术大学）
提出TriMatch框架，融合几何、纹理语义和结构语义特征，通过语义引导调制和层次细化，提升重复结构等场景下的对应点鉴别能力。
2026-06-08 cs.CV
Semi-Supervised Learning of Semantic Correspondence with Pseudo-Labels
Korea University（高丽大学）；Samsung Electro-Mechanics（三星电机）
在语义相似的图像之间建立密集的对应关系仍然是一项具有挑战性的任务，由于显着的类内变化和背景杂波。传统的监督学习用于训练模型，这需要大量的人工标记数据，而一些方法建议使用自监督或弱监督学习来减轻对标记数据的依赖，但性能有限。在本文中，我们提出了一种简单但有效的语义对应解决方案，该解决方案通过利用大量置信对应作为伪标签来补充少量真实对应，以半监督的方式学习网络，称为SemiMatch。具体来说，我们的框架使用模型本身在源和弱增强目标之间的预测生成伪标签，并使用伪标签在源和强增强目标之间再次学习模型，这提高了模型的鲁棒性。我们还提出了一种新的伪标签和数据增强语义对应度的信心措施。在实验中，SemiMatch在各种基准测试中实现了最先进的性能，特别是在PF Willow上的性能。
2022-04-05 cs.CV
Recurrent Transformer Networks for Semantic Correspondence
Yonsei University（延世大学）；Microsoft Research（微软研究院）；Ewha Womans University（梨花女子大学）
我们提出了经常性的Transformer网络（RTNs）获得语义相似的图像之间的密集对应。我们的网络通过迭代过程来实现这一点，该过程估计输入图像之间的空间变换，并使用这些变换来生成对齐的卷积激活。通过直接估计图像对之间的变换，而不是采用空间Transformer网络来独立地规范化每个单独的图像，我们表明，可以实现更高的精度。该过程以递归方式进行，以细化变换估计和特征表示。此外，提出了一种基于建议的分类损失的RTNs的弱监督训练技术。使用RTNs，在语义对应的几个基准上达到了最先进的性能。
2018-10-29 cs.CV
FCSS: Fully Convolutional Self-Similarity for Dense Semantic Correspondence
Yonsei University（延世大学）；Chungnam National University（忠南国立大学）；Microsoft Research（微软研究院）
我们提出了一个描述符，称为全卷积自相似性（FCSS），密集的语义对应。为了在同一对象类中的不同实例之间鲁棒地匹配点，我们在全卷积网络中使用局部自相似性（LSS）来制定FCSS。与现有的基于CNN的描述符相比，由于其基于LSS的结构，FCSS本质上对类内外观变化不敏感，同时保持了深度神经网络的精确定位能力。局部结构的采样模式和自相似性度量在所提出的网络中以端到端和多尺度的方式联合学习。由于语义对应的训练数据相当有限，我们建议利用现有图像数据集中提供的对象候选先验以及对象对之间的对应一致性来实现弱监督学习。实验表明，FCSS优于传统的手工描述符和基于CNN的描述符在各种基准测试。
2017-02-03 cs.CV
Hierarchical Neural Semantic Representation for 3D Semantic Correspondence
University of Electronic Science and Technology of China（电子科技大学）；The Chinese University of Hong Kong（香港中文大学）
本文提出分层神经语义表示（HNSR）结合预训练3D生成模型先验，通过全局到局部渐进匹配策略，实现准确鲁棒的3D语义对应，无需训练且优于现有技术。
2025-09-23 cs.CV
Telling Left from Right: Identifying Geometry-Aware Semantic Correspondence
Shanghai Jiao Tong University（上海交通大学）；Google Research（谷歌研究院）；UIUC（伊利诺伊大学厄巴纳-香槟分校）；Stability AI；UC Merced（加州大学默塞德分校）
本文揭示当前视觉基础模型特征在语义对应中缺乏几何与方向感知的局限，提出在零样本和监督设置下融入几何信息的有效方案，并构建新基准，在SPair-71k上取得显著性能提升。
2024-03-25 cs.CV
PARN: Pyramidal Affine Regression Networks for Dense Semantic Correspondence
Yonsei University（延世大学）；Ewha Womans University（梨花女子大学）
本文提出了一种用于密集语义对应的深层架构，称为金字塔仿射回归网络（PARN），它可以估计图像中局部变化的仿射变换场。为了处理同一对象类别中不同实例之间通常存在的类内外观和形状变化，我们利用金字塔模型，其中仿射变换场以从粗到细的方式逐步估计，以便在深度网络中自然地施加平滑度约束。PARN估计每个级别的残余仿射变换，并将它们组合以估计最终仿射变换。此外，为了克服语义对应训练数据不足的局限性，我们提出了一种新的弱监督训练方案，通过利用图像对之间的对应一致性来生成渐进式监督。我们的方法是完全可学习的，在一个端到端的方式，不需要量化无限连续仿射变换领域。据我们所知，这是第一个尝试在深度网络中以粗到细的方式估计密集仿射变换场的工作。实验结果表明，PARN优于国家的最先进的方法密集的语义对应在各种基准。
2018-08-01 cs.CV
SCNet: Learning Semantic Correspondence
The University of Hong Kong（香港大学）；Inria（法国国家信息与自动化研究所）；Department of Computer Science, ENS / CNRS / PSL Research University（巴黎高等师范学院 / 法国国家科学研究中心 / 巴黎文理研究大学计算机科学系）；Yonsei Univ.（延世大学）；POSTECH（浦项科技大学）；Univ. Grenoble Alpes, Inria, CNRS, Grenoble INP, LJK（格勒诺布尔阿尔卑斯大学、法国国家信息与自动化研究所、法国国家科学研究中心、格勒诺布尔理工学院、让·昆兹曼实验室）
本文讨论的问题，建立语义之间的对应关系的图像描绘不同的情况下，相同的对象或场景类别。以前的方法专注于将空间正则化器与手工制作的特征相结合，或者只学习外观的对应模型。相反，我们提出了一个卷积神经网络架构，称为SCNet，用于学习语义对应的几何合理模型。SCNet使用区域建议作为匹配基元，并显式地将几何一致性纳入其损失函数。它是在从PASCAL VOC 2007关键点数据集获得的图像对上进行训练的，对几个标准基准的比较评估表明，所提出的方法大大优于最近的深度学习架构和以前基于手工特征的方法。
2017-08-17 cs.CV
Learning Semantic Correspondence with Sparse Annotations
University of Maryland, College Park（马里兰大学帕克分校）；Shanghai AI Laboratory（上海人工智能实验室）；ShanghaiTech University（上海科技大学）；Shanghai Engineering Research Center of Intelligent Vision and Imaging（上海智能视觉成像工程技术研究中心）
寻找密集的语义对应是计算机视觉中的一个基本问题，由于背景杂乱、极端的类内变化和严重缺乏地面实况，这在复杂场景中仍然具有挑战性。在本文中，我们的目标是解决标签稀疏的语义对应的挑战，丰富的监督信号从稀疏的关键点注释。为此，我们首先提出了一个师生学习的范例生成密集的伪标签，然后开发两个新的策略去噪伪标签。特别地，我们使用稀疏注释周围的空间先验来抑制噪声伪标签。此外，我们引入了一个损失驱动的动态标签选择策略的标签去噪。我们实例化我们的范例与学习策略的两个变种：一个单一的离线教师设置，和相互在线教师设置。我们的方法在语义对应的三个具有挑战性的基准上取得了显着的改进，并建立了新的最先进的技术。https://shuaiyihuang.github.io/publications/SCorrSAN
2022-08-17 cs.CV
Similarity-Aware Selective State-Space Modeling for Semantic Correspondence
Pohang University of Science and Technology (POSTECH)（浦项科学技术大学）
针对语义对应中特征关系建模不足与4D相关性图计算昂贵的问题，提出MambaMatcher，利用相似度感知选择性SSM扫描高效细化4D相关性图并达到SOTA性能。
2025-09-29 cs.CV
Semantics Meets Temporal Correspondence: Self-supervised Object-centric Learning in Videos
The Chinese University of Hong Kong（香港中文大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
本文提出语义感知掩码 slot attention，融合语义特征与时间对应图，通过两阶段注意力与共享高斯分布实现实例识别，在无监督视频对象发现和密集标签传播任务上达到最先进性能。
2024-03-21 cs.CV
Facial Action Unit Intensity Estimation via Semantic Correspondence Learning with Dynamic Graph Convolution
The University of Hong Kong（香港大学）
由于人的面部外观的细微变化，面部动作单元（AU）的强度估计是具有挑战性的。以前的方法主要依赖于概率模型或预定义的规则来建模AU之间的共现关系，导致有限的泛化。相比之下，我们提出了一个新的学习框架，自动学习的潜在关系的AU通过建立语义特征图之间的对应关系。在基于热图回归的网络中，特征图保留了与AU强度和位置相关联的丰富语义信息。此外，AU共现模式可以通过激活一组特征通道来反映，其中每个通道编码AU的特定视觉模式。这促使我们对特征通道之间的相关性进行建模，这隐含地表示AU强度水平的同现关系。具体来说，我们引入了一个语义对应卷积（SCC）模块，动态计算深和低分辨率特征映射的对应关系，从而提高了特征的可分辨性。在两个基准数据集上的实验结果表明了该方法的有效性和优越性能。
2020-04-20 cs.CV
MOSAIC: Multi-Subject Personalized Generation via Correspondence-Aware Alignment and Disentanglement
Zhejiang University（浙江大学）；The Hong Kong University of Science and Technology（香港科技大学）
针对多主体个性化生成中身份混淆、属性泄漏的问题，提出MOSAIC框架，构建细粒度语义对应数据集SemAlign-MS，通过语义对应注意力损失与多参考解耦损失实现精准对齐与特征隔离，在多基准上达SOTA，支持4个及以上主体高保真生成。
2025-09-02 cs.CV
Learning Semantic Correspondence Exploiting an Object-level Prior
Yonsei University（延世大学）；Inria（法国国家信息与自动化研究所）；DI-ENS（巴黎高等师范学院计算机科学系）；CNRS（法国国家科学研究中心）；PSL University（巴黎文理研究大学）
我们解决的语义对应的问题，也就是说，建立一个密集的流场之间的图像描绘不同的情况下，相同的对象或场景类别。我们建议使用二进制前景掩模注释的图像，并进行合成几何变形训练卷积神经网络（CNN）完成这项任务。使用这些掩模作为监督信号的一部分为语义对应任务提供了对象级先验，并且提供了语义流方法和语义对齐方法之间的良好折衷，在语义流方法中，训练数据的量受到手动选择点对应的成本的限制，在语义对齐方法中，图像之间的单个全局几何变换的回归可能对图像特定的细节（例如背景杂波）敏感。我们提出了一个新的CNN架构，称为SFNet，实现了这一想法。它利用argmax函数的一个新的可微分版本进行端到端训练，并将掩码和流一致性与平滑项相结合。实验结果表明，我们的方法，这显着优于最先进的标准基准测试的有效性。
2020-07-21 cs.CV
SemAlign3D: Semantic Correspondence between RGB-Images through Aligning 3D Object-Class Representations
Shanghai Jiao Tong University（上海交通大学）
本文提出SemAlign3D方法，利用单目深度估计和LVM特征构建3D对象类别表示，并通过梯度下降对齐实现RGB图像间语义对应，在SPair-71k数据集上显著提升匹配精度。
2025-03-28 cs.CV
Semantic Alignment in Hyperbolic Space for Open-Vocabulary Semantic Segmentation
Fulbright University Vietnam（富布赖特大学越南分校）
本文提出HyRo框架，通过解耦超几何空间中的层次和语义对齐，提升开放词汇语义分割性能。
2026-05-09 cs.CV
SGSoft: Learning Fused Semantic-Geometric Features for 3D Shape Correspondence via Template-Guided Soft Signals
KAIST AI（韩国科学技术院人工智能研究所）；Anigma Technologies（Anigma科技公司）
本文提出SGSoft方法，通过模板引导的软信号学习融合语义-几何特征，实现3D形状对应，解决了结构变化、非等距变形和拓扑不一致的挑战，实现了最先进的跨类别泛化和最佳精度-效率权衡。
2026-05-18 cs.CV
Jamais Vu: Exposing the Generalization Gap in Supervised Semantic Correspondence
University of Edinburgh（爱丁堡大学）；University of Oxford（牛津大学）
针对监督语义对应方法泛化能力受限问题，提出通过单目深度估计将2D关键点提升至规范3D空间学习密集对应的方法，构建无需显式3D监督的连续规范流形，并引入SPair-U数据集，实验证明其在未见过关键点上的优越性及无监督基线的跨数据集泛化优势。
2025-11-11 cs.CV
VideoSwap: Customized Video Subject Swapping with Interactive Semantic Point Correspondence
National University of Singapore（新加坡国立大学）；Meta
针对扩散视频编辑难以处理形状变化的问题，本文提出 VideoSwap 框架，用少量可交互语义点对齐运动并改变主体形状，在真实视频主体替换上达到 SOTA。
2023-12-05 cs.CV
CAMEO: Correspondence-Attention Alignment for Multi-View Diffusion Models
KAIST AI（韩国科学技术院人工智能研究中心）；NAVER AI Lab（NAVER人工智能实验室）；SNU AIIS（延世大学人工智能研究所）
CAMEO通过几何对应监督注意力图，提升多视图扩散模型的训练效率和生成质量。
2025-12-02 cs.CV
SFNet: Learning Object-aware Semantic Correspondence
Yonsei University（延世大学）；DI ENS（巴黎高等师范学院计算机系）；INRIA（法国国家信息与自动化研究所）
我们解决的语义对应的问题，也就是说，建立一个密集的流场之间的图像描绘不同的情况下，相同的对象或场景类别。我们建议使用二进制前景掩模注释的图像，并进行合成几何变形训练卷积神经网络（CNN）完成这项任务。使用这些掩模作为监控信号的一部分提供了语义流方法和语义对齐方法之间的良好折衷，在语义流方法中，训练数据的量受到手动选择点对应的成本的限制，在语义对齐方法中，图像之间的单个全局几何变换的回归可能对图像特定的细节（例如背景杂波）敏感。我们提出了一个新的CNN架构，称为SFNet，实现了这一想法。它利用argmax函数的一个新的可微分版本进行端到端训练，并将掩码和流一致性与平滑项相结合。实验结果表明，我们的方法，这显着优于最先进的标准基准测试的有效性。
2019-04-05 cs.CV
SOCO: Benchmarking Semantic Object Correspondence in Vision Foundation Models
Max Planck Institute for Informatics（马克斯·普朗克研究所信息学研究所）；Saarland Informatics Campus（萨尔州信息学校园）；CISPA Helmholtz Center for Information Security（信息安全霍夫曼中心）；University of Freiburg（弗赖堡大学）
提出SOCO基准，通过引入对应类型分类法和100个类别上超过100万对功能上有意义的关键点注释，系统评估视觉基础模型中的语义对应能力，并揭示模型在跨类别迁移、语言引导定位与视觉对应之间的差距。
2026-08-28 cs.CV
TransforMatcher: Match-to-Match Attention for Semantic Correspondence
Pohang University of Science and Technology (POSTECH)（浦项科技大学）
建立图像之间的对应关系仍然是一项具有挑战性的任务，特别是在由于不同视点或类内变化而导致的大的外观变化下。在这项工作中，我们引入了一个强大的语义图像匹配学习，称为transforMatcher，它建立在Transformer网络在视觉领域的成功。与现有的基于卷积或注意力的对应方案不同，TransforMatcher执行全局匹配注意力，以实现精确的匹配定位和动态细化。为了处理大量的匹配在密集的相关性地图，我们开发了一个轻量级的注意力架构，考虑全球匹配匹配的相互作用。我们还建议利用多通道相关图进行细化，将多级分数视为特征而不是单个分数，以充分利用更丰富的逐层语义。在实验中，TransforMatcher在SPair-71 k上设置了一个新的最新技术水平，同时在PF-PASCAL数据集上与现有的SOTA方法进行了比较。
2022-05-23 cs.CV
S2A:Semantic-to-Spatial Alignment for Alignment-Free RGB-T Salient Object Detection
Jiangxi Normal University（江西师范大学）
针对无对齐RGB-T显著目标检测中空间错位导致特征污染的问题，提出S2A框架，通过语义到空间对齐范式，结合全局引导分层融合、跨模态通道注意力和空间可变形交叉注意力，在多个基准上取得优异性能。
2026-09-24 cs.CV
Learning Contrastive Representation for Semantic Correspondence
University of California, Merced（加州大学默塞德分校）；Nvidia（英伟达）；Yonsei University（延世大学）
语义相关图像之间的密集对应已经被广泛研究，但仍然面临两个挑战：1）即使对于来自同一类别的对象，外观、比例和姿态也存在很大的变化，以及2）标记像素级密集对应是劳动密集型的并且不可行缩放。大多数现有的方法都专注于使用完全监督的ImageNet预训练网络设计各种匹配方法。另一方面，虽然提出了各种自我监督的方法来显式地测量图像级的相似性，对应匹配的像素级仍然是探索不足。在这项工作中，我们提出了一种用于语义匹配的多级对比学习方法，该方法不依赖于任何ImageNet预训练模型。我们表明，图像级对比学习是鼓励卷积特征找到相似对象之间对应关系的关键组成部分，而性能可以通过在中间特征级别正则化跨实例循环一致性来进一步增强。在PF-PASCAL、PF-WILLOW和SPair-71 k基准数据集上的实验结果表明，我们的方法与最先进的方法相比表现良好。源代码和经过训练的模型将向公众开放。
2022-03-10 cs.CV
Proposal Flow: Semantic Correspondences from Object Proposals
Yonsei University（延世大学）；POSTECH（浦项科技大学）；Inria Grenoble Rhône-Alpes（法国国家信息与自动化研究所格勒诺布尔-罗纳-阿尔卑斯分中心）；Laboratoire Jean Kuntzmann（让·昆茨曼实验室）；École Normale Supérieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）；CNRS（法国国家科学研究中心）；INRIA（法国国家信息与自动化研究所）
在类内变化和场景布局变化较大的情况下，寻找图像对应关系仍然是一个具有挑战性的问题。语义流方法被设计用于处理描绘相同对象或场景类别的不同实例的图像。我们介绍了一种新的方法，语义流，被称为提案流，建立可靠的对应关系，使用对象的建议。与流行的语义流方法，操作像素或定期采样的局部区域，提案流受益于现代对象的建议，表现出高重复性在多个尺度的特点，并可以利用本地和几何一致性约束的建议。我们还表明，相应的稀疏提案流可以有效地转化为一个传统的稠密流场。我们介绍了两个新的具有挑战性的数据集，可用于评估一般的语义流技术和基于区域的方法，如提案流。我们使用这些基准比较不同的匹配算法，对象的建议，并在建议流的区域功能，在语义流的艺术状态。这种比较，以及在标准数据集上的实验，表明提案流在各种设置中显着优于现有的语义流方法。
2017-03-21 cs.CV
A Cross-Season Correspondence Dataset for Robust Semantic Segmentation
Chalmers University of Technology（查尔姆斯理工大学）；Zenuity（泽努蒂公司）；ETH Zurich（苏黎世联邦理工学院）；Microsoft（微软）
在本文中，我们提出了一种方法，利用在不同的图像条件下拍摄的图像之间的2D-2D点匹配训练一个卷积神经网络的语义分割。在匹配中强制标签一致性使得最终的分割算法对季节变化具有鲁棒性。我们描述了如何生成这些2D-2D的匹配，几乎没有人的互动，几何匹配点从3D模型建立从图像。创建两个跨季节对应数据集，提供跨季节变化以及从白天到晚上的2D-2D匹配。这些数据集公开提供，以方便进一步研究。我们发现，在训练过程中添加对应关系作为额外的监督，提高了卷积神经网络的分割性能，使其对季节变化和天气条件更具鲁棒性。
2019-08-16 cs.CV
SEMAGIC: Learning Semantically Consistent Deformable 3D Representations from In-the-Wild Images
Johns Hopkins University（约翰霍普金斯大学）；CISPA Helmholtz Center for Information Security（信息安全霍普金斯中心）
针对现有可变形3D重建方法语义对应不稳定的问题，提出SEMAGIC框架，通过特征级一致性损失和顶点索引条件变形，在重建过程中强制语义一致性，从而提升类别级语义对应性能。
2026-05-27 cs.CV
Motion-state Alignment for Video Semantic Segmentation
Meituan（美团）
本文提出运动-状态对齐框架，通过解耦Transformer和阶段Transformer分别捕获动态与静态语义，并以语义分配机制实现区域级和像素级一致性，在低计算成本下提升视频语义分割精度。
2023-04-18 cs.CV
Multi-scale Matching Networks for Semantic Correspondence
Fudan University（复旦大学）；Shanghai Key Lab of Intelligent Information Processing（上海市智能信息处理重点实验室）；The University of Hong Kong（香港大学）
在以前的各种工作中，深度特征已经被证明在构建精确的密集语义对应方面是强大的。然而，卷积神经网络的多尺度和金字塔层次尚未被很好地研究以学习用于语义对应的有区别的像素级特征。在本文中，我们提出了一个多尺度匹配网络，是敏感的相邻像素之间的微小语义差异。我们遵循从粗到精的匹配策略，构建了一个自上而下的特征和匹配增强方案，该方案与深度卷积神经网络的多尺度层次结构相结合。在特征增强过程中，尺度内增强通过局部自注意将来自多个层的相同分辨率特征图融合在一起，而跨尺度增强沿着自上而下的层次结构产生更高分辨率的特征图。此外，我们在不同的尺度上学习互补的匹配细节，从而使整体的匹配分数逐渐被不同语义层次的特征所细化。我们的多尺度匹配网络可以很容易地进行端到端训练，只需很少的额外可学习参数。实验结果表明，该方法实现了最先进的性能在三个流行的基准与高计算效率。
2021-08-27 cs.CV
Distillation of Diffusion Features for Semantic Correspondence
LMU Munich（慕尼黑大学）；MCML（慕尼黑计算与机器学习实验室）；CompVis（计算视觉研究组）
本文提出知识蒸馏框架，将两个大型视觉基础模型的互补能力压缩到小模型中，并结合三维数据增强，在无需人工标注的情况下超越现有方法且显著降低计算成本。
2024-12-04 cs.CV
Gromov Wasserstein Optimal Transport for Semantic Correspondences
Seeing Machines
本文提出使用 Gromov Wasserstein 最优传输算法替代传统方法，提升语义对应关系任务的性能并提高效率。
2026-02-03 cs.CV
GAN-Supervised Dense Visual Alignment
UC Berkeley（加州大学伯克利分校）；Carnegie Mellon University（卡内基梅隆大学）；Adobe Research（奥多比研究院）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Facebook AI Research (FAIR)（脸书人工智能研究院）
我们提出了GAN-监督学习，这是一个用于端到端联合学习判别模型及其GAN生成的训练数据的框架。我们将我们的框架应用于密集的视觉对齐问题。受经典Congealing方法的启发，我们的GANgealing算法训练了一个空间Transformer，将来自未对齐数据训练的GAN的随机样本映射到一个共同的联合学习目标模式。我们展示了八个数据集的结果，所有这些都表明我们的方法成功地对齐了复杂的数据并发现了密集的对应关系。GANgealing显著优于过去的自监督对应算法，并在几个数据集上与最先进的监督对应算法相当（有时甚至超过）-而不使用任何对应监督或数据增强，尽管只在GAN生成的数据上进行训练。对于精确的对应关系，我们改进了最先进的监督方法多达$3\times$。我们展示了我们的方法在增强现实、图像编辑和图像数据集自动预处理中的应用，以用于下游GAN训练。
2022-04-05 cs.CV
Semantic Correspondence: Unified Benchmarking and a Strong Baseline
The University of Hong Kong（香港大学）
本文首次全面调研语义对应方法，提出分类体系并汇总多基准结果，提出高性能基线，为未来研究奠定基础。
2026-06-28 cs.CV
Learning SO(3)-Invariant Semantic Correspondence via Local Shape Transform
POSTECH（浦项科技大学）；Seoul National University（首尔大学）
提出自监督旋转不变3D对应学习器RIST，通过动态构建SO(3)-不变的局部形状变换，在任意朝向和类内变化下建立形状间密集对应关系，在3D部件标签迁移和语义关键点迁移任务上显著优于现有方法。
2024-04-20 cs.CV
End-to-end Semantic Object Detection with Cross-Modal Alignment
Federal University of Rio Grande do Norte（北里奥格兰德联邦大学）
传统的语义图像搜索方法旨在检索与文本查询的含义相匹配的图像。然而，这些方法通常在整个图像上搜索对象，而不考虑对象在图像内的定位。本文提出了一种扩展现有的目标检测模型的语义图像搜索，认为对象的建议和文本查询之间的语义对齐，重点是搜索图像中的对象。该模型使用一个单一的特征提取器，一个预先训练的卷积神经网络，和一个Transformer编码器编码的文本查询。建议文本对齐使用对比学习来执行，为每个建议产生一个分数，反映其与文本查询的语义对齐。区域建议网络（RPN）用于生成对象建议，端到端的训练过程为语义图像搜索提供了高效和有效的解决方案。所提出的模型是端到端训练的，为语义图像搜索提供了一个很有前途的解决方案，可以检索与文本查询的含义相匹配的图像，并生成语义相关的对象建议。
2023-02-10 cs.CV
MARCO: Navigating the Unseen Space of Semantic Correspondence
Politecnico di Torino（都灵理工大学）；TU Darmstadt（德累斯顿理工大学）；ELIZA
MARCO通过新颖的训练框架提升语义对应泛化能力，在多个数据集上取得新突破，同时更高效且更小。
2026-04-20 cs.CV
Wear-Any-Way: Manipulable Virtual Try-on via Sparse Correspondence Alignment
Alibaba Group（阿里巴巴集团）
Wear-Any-Way提出一种可操控的虚拟试穿框架，通过稀疏对应对齐实现点级控制，支持拖动、点击等交互定制穿着风格，在标准试穿中达到最先进性能，为时尚产业带来更自由的表达。
2024-03-19 cs.CV
Progressive Color Transfer with Dense Semantic Correspondences
Hong Kong UST（香港科技大学）；City University of Hong Kong（香港城市大学）；Microsoft Research（微软研究院）；University of Science and Technology of China（中国科学技术大学）；Microsoft AI Perception and Mixed Reality（微软人工智能感知与混合现实部门）
我们提出了一种新的算法，具有感知相似的语义结构的图像之间的颜色转移。我们的目标是实现一个更准确的颜色转移，利用图像之间的语义有意义的密集对应。为了实现这一点，我们的算法使用神经表示进行匹配。此外，颜色转移应该是空间变化的和全局相干的。因此，我们的算法优化了一个局部线性模型的颜色转移，同时满足局部和全局约束。我们提出的方法联合优化匹配和颜色转移，采用了一种由粗到细的策略。所提出的方法可以成功地从一对一扩展到一对多的颜色传递。后者进一步解决了输入图像的元素不匹配的问题。我们验证我们提出的方法，通过测试它对各种各样的图像内容。
2018-12-12 cs.CV
Hyperpixel Flow: Semantic Correspondence with Multi-layer Neural Features
POSTECH（浦项科技大学）；Neural Processing Research Center（神经处理研究中心）；Inria（法国国家信息与自动化研究所）；ENS（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；PSL University（巴黎文理研究大学）
在大的类内变化下建立视觉对应关系需要在不同层次上分析图像，从与语义和上下文相关的特征到局部模式，同时对特定于实例的细节保持不变。为了应对这些挑战，我们用“超像素”来表示图像，这些超像素利用了从卷积神经网络的早期到晚期层中选择的少量相关特征。利用超像素的压缩特性，提出了一种基于Hough几何投票的实时匹配算法。所提出的方法，超像素流，在三个标准基准以及一个新的数据集SPair-71 k上设置了一个新的技术状态，该数据集包含比现有数据集更多的图像对，具有更准确和更丰富的注释以进行深入分析。
2019-08-18 cs.CV
Learning to Generate Semantic Layouts for Higher Text-Image Correspondence in Text-to-Image Synthesis
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院（KAIST））
针对特定领域文本-图像数据稀缺导致对应性不足的问题，提出高斯-类别扩散过程联合生成图像与语义布局，在Multi-Modal CelebA-HQ和Cityscapes上提升了文本-图像对应性。
2023-08-16 cs.CV
Cross-domain Detection Transformer based on Spatial-aware and Semantic-aware Token Alignment
University of Electronic Science and Technology of China（电子科技大学）
像DETR这样的检测Transformers最近在许多目标检测任务上显示出有希望的性能，但是这些方法的泛化能力对于跨领域自适应场景仍然是相当具有挑战性的。为了解决跨域问题，一个简单的方法是在Transformers中使用对抗训练来执行令牌对齐。然而，它的性能往往是不令人满意的检测Transformers中的令牌是相当多样化的，并表示不同的空间和语义信息。在本文中，我们提出了一种新的方法称为空间感知和语义感知令牌对齐（SSTA）的跨域检测Transformers。特别是，我们利用交叉注意的特点，用于检测Transformer，并提出了空间感知的令牌对齐（SpaTA）和语义感知的令牌对齐（SemTA）策略，以指导令牌对齐跨域。对于空间感知的标记对齐，我们可以从交叉注意力图（CAM）中提取信息，以根据标记对对象查询的注意力来对齐标记的分布。对于语义感知的标记对齐，我们将类别信息注入到交叉注意力图中，并构造域嵌入来指导多类学习，从而在整个自适应过程中对类别关系进行建模并实现类别级标记对齐。我们在几个广泛使用的基准上进行了大量的实验，结果清楚地表明了我们所提出的方法在现有的最先进的基线上的有效性。
2022-06-01 cs.CV
Learning Representations from Audio-Visual Spatial Alignment
University of California, San Diego（加利福尼亚大学圣迭戈分校）
我们介绍了一种新的自我监督的借口任务学习表示从视听内容。先前关于视听表示学习的工作利用了视频级别的对应关系。基于视听对应（AVC）的方法预测音频和视频剪辑是源自相同还是不同的视频实例。视听时间同步（AVTS）进一步区分源自相同视频实例但在不同时刻的负对。虽然这些方法为动作识别等下游任务学习高质量的表示，但它们的训练目标忽略了音频和视觉信号中自然出现的空间线索。为了从这些空间线索中学习，我们让一个网络执行360°视频和空间音频的对比视听空间对齐。通过使用Transformer架构对360°视频的全部空间内容进行推理以组合来自多个视点的表示，来增强执行空间对准的能力。所提出的借口任务的优势，表现在各种音频和视觉下游任务，包括视听对应，空间对齐，动作识别，和视频语义分割。
2020-11-03 cs.CV
Unsupervised Semantic Correspondence Using Stable Diffusion
University of British Columbia（不列颠哥伦比亚大学）；Vector Institute for AI（向量人工智能研究所）；Google（谷歌）；Simon Fraser University（西蒙弗雷泽大学）；University of Toronto（多伦多大学）
本文利用文本到图像扩散模型的内在语义知识，无需训练即可通过优化提示嵌入实现无监督语义对应，在多个数据集上达到与强监督方法相当或更优的性能。
2023-12-23 cs.CV
InfoCLIP: Bridging Vision-Language Pretraining and Open-Vocabulary Semantic Segmentation via Information-Theoretic Alignment Transfer
InfoCLIP通过信息论对齐转移提升开放词汇语义分割的性能，有效解决预训练CLIP在微调过程中的过拟合问题。
2025-11-20 cs.CV
Geometry Matters: 3D Foundation Priors for Learning Semantic Correspondence
University of Freiburg（弗赖堡大学）；Max Planck Institute for Informatics（马克斯·普朗克信息研究所）；CISPA Helmholtz Center for Information Security（CISPA 河岸信息安全中心）
提出一种3D感知的后训练框架，利用3D基础模型（SAM3D）估计物体几何和姿态，生成几何感知特征图，结合DINO和Stable Diffusion特征，通过测地距离过滤候选对应，训练轻量适配器改进语义对应。
2026-05-28 cs.CV
Do It Yourself: Learning Semantic Correspondence from Pseudo-Labels
Max Planck Institute for Informatics, Saarland Informatics Campus（马克斯·普朗克信息研究所，萨尔兰州信息校园）；ETH Zurich（苏黎世联邦理工学院）；University of Oxford（牛津大学）；Saarbrücken Research Center for Visual Computing, Interaction and AI（萨尔布吕肯视觉计算、交互与人工智能研究中心）；University of Freiburg（弗赖堡大学）
本文提出利用3D感知伪标签训练适配器来改进语义对应估计，通过链式传播、循环一致性过滤和球形原型约束减少标注需求，并在SPair-71k上取得最先进性能。
2025-09-23 cs.CV
