Unsupervised Semantic Correspondence Using Stable Diffusion
University of British Columbia（不列颠哥伦比亚大学）；Vector Institute for AI（向量人工智能研究所）；Google（谷歌）；Simon Fraser University（西蒙弗雷泽大学）；University of Toronto（多伦多大学）
本文利用文本到图像扩散模型的内在语义知识，无需训练即可通过优化提示嵌入实现无监督语义对应，在多个数据集上达到与强监督方法相当或更优的性能。
2023-12-23 cs.CV
Towards Robust Semantic Correspondence: A Benchmark and Insights
该研究构建了含14种恶劣成像场景的语义对应鲁棒性评估基准，通过实验揭示现有方法的性能下降规律、不同视觉模型的鲁棒性差异，并指出通用数据增强对该任务鲁棒性提升无效，需设计任务专属策略。
2025-08-01 cs.CV
SCNet: Learning Semantic Correspondence
The University of Hong Kong（香港大学）；Inria（法国国家信息与自动化研究所）；Department of Computer Science, ENS / CNRS / PSL Research University（巴黎高等师范学院 / 法国国家科学研究中心 / 巴黎文理研究大学计算机科学系）；Yonsei Univ.（延世大学）；POSTECH（浦项科技大学）；Univ. Grenoble Alpes, Inria, CNRS, Grenoble INP, LJK（格勒诺布尔阿尔卑斯大学、法国国家信息与自动化研究所、法国国家科学研究中心、格勒诺布尔理工学院、让·昆兹曼实验室）
本文讨论的问题，建立语义之间的对应关系的图像描绘不同的情况下，相同的对象或场景类别。以前的方法专注于将空间正则化器与手工制作的特征相结合，或者只学习外观的对应模型。相反，我们提出了一个卷积神经网络架构，称为SCNet，用于学习语义对应的几何合理模型。SCNet使用区域建议作为匹配基元，并显式地将几何一致性纳入其损失函数。它是在从PASCAL VOC 2007关键点数据集获得的图像对上进行训练的，对几个标准基准的比较评估表明，所提出的方法大大优于最近的深度学习架构和以前基于手工特征的方法。
2017-08-17 cs.CV
Proposal Flow: Semantic Correspondences from Object Proposals
Yonsei University（延世大学）；POSTECH（浦项科技大学）；Inria Grenoble Rhône-Alpes（法国国家信息与自动化研究所格勒诺布尔-罗纳-阿尔卑斯分中心）；Laboratoire Jean Kuntzmann（让·昆茨曼实验室）；École Normale Supérieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）；CNRS（法国国家科学研究中心）；INRIA（法国国家信息与自动化研究所）
在类内变化和场景布局变化较大的情况下，寻找图像对应关系仍然是一个具有挑战性的问题。语义流方法被设计用于处理描绘相同对象或场景类别的不同实例的图像。我们介绍了一种新的方法，语义流，被称为提案流，建立可靠的对应关系，使用对象的建议。与流行的语义流方法，操作像素或定期采样的局部区域，提案流受益于现代对象的建议，表现出高重复性在多个尺度的特点，并可以利用本地和几何一致性约束的建议。我们还表明，相应的稀疏提案流可以有效地转化为一个传统的稠密流场。我们介绍了两个新的具有挑战性的数据集，可用于评估一般的语义流技术和基于区域的方法，如提案流。我们使用这些基准比较不同的匹配算法，对象的建议，并在建议流的区域功能，在语义流的艺术状态。这种比较，以及在标准数据集上的实验，表明提案流在各种设置中显着优于现有的语义流方法。
2017-03-21 cs.CV
Diffusion Trajectory Modeling for Semantic Correspondence
Pukyong National University（釜庆大学）
本文提出扩散轨迹建模（DTM），将扩散过程中每个空间补丁的时间演化视为轨迹，用于语义对应，在SPair-71k等基准上取得强性能，开辟了利用扩散表示的新视角。
2026-09-15 cs.CV
Semantic Correspondence: Unified Benchmarking and a Strong Baseline
The University of Hong Kong（香港大学）
本文首次全面调研语义对应方法，提出分类体系并汇总多基准结果，提出高性能基线，为未来研究奠定基础。
2026-06-28 cs.CV
Multi-Image Semantic Matching by Mining Consistent Features
Zhejiang University（浙江大学）；University of Pennsylvania（宾夕法尼亚大学）
本文提出了一种多图像匹配的方法来估计多个图像之间的语义对应关系。与以前的方法，优化所有成对的对应关系，所提出的方法识别和匹配的图像集合中的一个稀疏的一组可靠的功能。通过这种方式，所提出的方法能够修剪不可重复的特征，并且具有高度的可扩展性，可以处理数千张图像。我们还提出了一个低秩约束，以确保在整个图像集合的特征对应的几何一致性。除了在多图匹配和语义流基准测试上的竞争性能外，我们还证明了所提出的方法在不使用任何注释的情况下重建对象类模型和从图像中发现对象类地标的适用性。
2018-05-01 cs.CV
MOSAIC: Multi-Subject Personalized Generation via Correspondence-Aware Alignment and Disentanglement
Zhejiang University（浙江大学）；The Hong Kong University of Science and Technology（香港科技大学）
针对多主体个性化生成中身份混淆、属性泄漏的问题，提出MOSAIC框架，构建细粒度语义对应数据集SemAlign-MS，通过语义对应注意力损失与多参考解耦损失实现精准对齐与特征隔离，在多基准上达SOTA，支持4个及以上主体高保真生成。
2025-09-02 cs.CV
Independently Keypoint Learning for Small Object Semantic Correspondence
Jilin University（吉林大学）
针对小目标关键点邻近导致特征融合的问题，本文提出KBC裁剪方法及KBCNet框架，通过增大关键点空间间隔并融合多尺度特征，在SPair-71K上提升7.5%。
2024-04-03 cs.CV
Category-Level 3D Correspondence in Camera Space via Morphable Object Priors
University of Freiburg, Germany（弗赖堡大学，德国）；CISPA Helmholtz Center for Information Security, Germany（信息安全部署中心，德国）
通过学习共享可变形对象先验，从单张图像预测类别内实例间一致的3D位置，无需显式对应监督，并在新基准HouseCorr3D上达到最优。
2026-05-27 cs.CV
Demystifying Unsupervised Semantic Correspondence Estimation
University of Edinburgh（爱丁堡大学）
我们通过无监督学习的镜头探索语义对应估计。我们使用标准化的评估协议，在多个具有挑战性的数据集上彻底评估了最近提出的几种无监督方法，其中我们改变了骨干架构，预训练策略以及预训练和微调数据集等因素。为了更好地理解这些方法的故障模式，并提供更清晰的改进路径，我们提供了一个新的诊断框架以及一个新的性能指标，更适合于语义匹配任务。最后，我们介绍了一种新的无监督对应方法，该方法利用了预训练特征的强度，同时在训练过程中鼓励更好的匹配。与当前最先进的方法相比，这导致显著更好的匹配性能。
2022-07-11 cs.CV cs.LG
Hyperpixel Flow: Semantic Correspondence with Multi-layer Neural Features
POSTECH（浦项科技大学）；Neural Processing Research Center（神经处理研究中心）；Inria（法国国家信息与自动化研究所）；ENS（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；PSL University（巴黎文理研究大学）
在大的类内变化下建立视觉对应关系需要在不同层次上分析图像，从与语义和上下文相关的特征到局部模式，同时对特定于实例的细节保持不变。为了应对这些挑战，我们用“超像素”来表示图像，这些超像素利用了从卷积神经网络的早期到晚期层中选择的少量相关特征。利用超像素的压缩特性，提出了一种基于Hough几何投票的实时匹配算法。所提出的方法，超像素流，在三个标准基准以及一个新的数据集SPair-71 k上设置了一个新的技术状态，该数据集包含比现有数据集更多的图像对，具有更准确和更丰富的注释以进行深入分析。
2019-08-18 cs.CV
CVLNet: Cross-View Semantic Correspondence Learning for Video-based Camera Localization
Australian National University（澳大利亚国立大学）；University of Technology Sydney（悉尼科技大学）
本文研究了基于跨视角视频的摄像机定位问题。任务是通过利用来自其过去观测的信息来定位查询相机，即，在先前时间戳观察到的图像的连续序列，并将它们与大型俯视卫星图像进行匹配。这项任务的关键挑战是学习一个强大的全球功能描述符的连续地面视图图像，同时考虑其域对齐参考卫星图像。为此，我们引入了CVLNet，它首先通过探索地面和头顶的几何对应关系将连续的地面视图图像投影到头顶视图中，然后利用投影图像之间的照片一致性来形成全局表示。以这种方式，跨视图域差异被桥接。由于参考卫星图像通常是预先裁剪和定期采样的，因此查询相机位置与其匹配的卫星图像中心之间总是存在不对准。出于这一动机，我们建议估计查询相机的相对位移的卫星图像相似性匹配之前。在这个位移估计过程中，我们还考虑了摄像机位置的不确定性。例如，摄像机不太可能在树上。为了评估所提出的方法的性能，我们从谷歌地图收集卫星图像的KITTI数据集，并构建了一个新的跨视图基于视频的本地化基准数据集，KITTI-CVL。大量的实验已经证明了基于视频的定位的有效性，基于单个图像的定位和每个模块的优越性，比其他替代品。
2022-08-07 cs.CV
TransforMatcher: Match-to-Match Attention for Semantic Correspondence
Pohang University of Science and Technology (POSTECH)（浦项科技大学）
建立图像之间的对应关系仍然是一项具有挑战性的任务，特别是在由于不同视点或类内变化而导致的大的外观变化下。在这项工作中，我们引入了一个强大的语义图像匹配学习，称为transforMatcher，它建立在Transformer网络在视觉领域的成功。与现有的基于卷积或注意力的对应方案不同，TransforMatcher执行全局匹配注意力，以实现精确的匹配定位和动态细化。为了处理大量的匹配在密集的相关性地图，我们开发了一个轻量级的注意力架构，考虑全球匹配匹配的相互作用。我们还建议利用多通道相关图进行细化，将多级分数视为特征而不是单个分数，以充分利用更丰富的逐层语义。在实验中，TransforMatcher在SPair-71 k上设置了一个新的最新技术水平，同时在PF-PASCAL数据集上与现有的SOTA方法进行了比较。
2022-05-23 cs.CV
TB-AVA: Text as a Semantic Bridge for Audio-Visual Parameter Efficient Finetuning
AI2 Lab, KAIST（AI2实验室，韩国科学技术院）
本文提出利用文本作为语义桥梁，通过冻结音频和视觉编码器构建参数高效微调框架，实现音频与视觉流的文本介导交互，实验表明其在多个基准上取得最佳性能。
2026-05-13 cs.CV
Learning Contrastive Representation for Semantic Correspondence
University of California, Merced（加州大学默塞德分校）；Nvidia（英伟达）；Yonsei University（延世大学）
语义相关图像之间的密集对应已经被广泛研究，但仍然面临两个挑战：1）即使对于来自同一类别的对象，外观、比例和姿态也存在很大的变化，以及2）标记像素级密集对应是劳动密集型的并且不可行缩放。大多数现有的方法都专注于使用完全监督的ImageNet预训练网络设计各种匹配方法。另一方面，虽然提出了各种自我监督的方法来显式地测量图像级的相似性，对应匹配的像素级仍然是探索不足。在这项工作中，我们提出了一种用于语义匹配的多级对比学习方法，该方法不依赖于任何ImageNet预训练模型。我们表明，图像级对比学习是鼓励卷积特征找到相似对象之间对应关系的关键组成部分，而性能可以通过在中间特征级别正则化跨实例循环一致性来进一步增强。在PF-PASCAL、PF-WILLOW和SPair-71 k基准数据集上的实验结果表明，我们的方法与最先进的方法相比表现良好。源代码和经过训练的模型将向公众开放。
2022-03-10 cs.CV
Emergent Correspondence from Image Diffusion
Cornell University（康奈尔大学）
该研究发现图像扩散模型可无监督涌现对应能力，并提出 DIFT 提取扩散特征，在 SPair-71k 等语义、几何与时序对应任务上取得优于弱监督及现成特征的结果。
2023-12-06 cs.CV
SD4Match: Learning to Prompt Stable Diffusion Model for Semantic Matching
University of Oxford（牛津大学）；University of Hong Kong（香港大学）
本文提出SD4Match方法，通过提示调优技术挖掘Stable Diffusion模型中UNet中间输出的特征图潜力，并引入条件提示模块根据输入图像对局部细节优化提示，在多个语义匹配数据集上显著超越以往方法并创下新基准。
2024-03-26 cs.CV cs.LG
The Functional Correspondence Problem
Carnegie Mellon University（卡内基梅隆大学）
在视觉数据中找到对应关系的能力是大多数计算机视觉任务的本质。但什么是正确的对应关系呢？视觉对应的任务是很好地定义为两个不同的图像相同的对象实例。在属于同一类别的对象的两个图像的情况下，在大多数情况下，视觉对应是合理定义的。但是，两个完全不同类别的对象之间的对应关系又如何呢？一只鞋和一个瓶子是否存在任何通信？受人类能力的启发：（a）概括语义范畴之外;（b）推断功能启示，本文介绍了功能对应的问题。给定两个物体的图像，我们问一个简单的问题：对于给定的任务，这两个图像之间的对应关系是什么？例如，对于敲打或倾倒的任务，瓶子和鞋子之间的对应关系是什么。我们引入了一个新的数据集：FunKPoint，它具有10个任务和20个对象类别的地面真实对应关系。我们还介绍了一个模块化的任务驱动的表示攻击这个问题，并证明我们学到的表示是有效的这项任务。但最重要的是，因为我们的监督信号不受语义的约束，我们表明，我们的学习表示可以更好地推广Few-Shot分类问题。我们希望这篇论文能激励我们的社区超越语义，更多地关注机器人任务的跨类别泛化和学习表示。
2021-09-02 cs.CV cs.LG cs.RO
Do It Yourself: Learning Semantic Correspondence from Pseudo-Labels
Max Planck Institute for Informatics, Saarland Informatics Campus（马克斯·普朗克信息研究所，萨尔兰州信息校园）；ETH Zurich（苏黎世联邦理工学院）；University of Oxford（牛津大学）；Saarbrücken Research Center for Visual Computing, Interaction and AI（萨尔布吕肯视觉计算、交互与人工智能研究中心）；University of Freiburg（弗赖堡大学）
本文提出利用3D感知伪标签训练适配器来改进语义对应估计，通过链式传播、循环一致性过滤和球形原型约束减少标注需求，并在SPair-71k上取得最先进性能。
2025-09-23 cs.CV
Diffusion Hyperfeatures: Searching Through Time and Space for Semantic Correspondence
UC Berkeley（加州大学伯克利分校）；Google Research（谷歌研究院）
本文提出扩散超特征框架，将扩散模型的多尺度、多时间步特征图整合为逐像素描述符，用于语义关键点对应，在SPair-71k上取得优越性能，并展示了对未见物体和组合的可迁移性。
2024-04-01 cs.CV
SemAlign3D: Semantic Correspondence between RGB-Images through Aligning 3D Object-Class Representations
Shanghai Jiao Tong University（上海交通大学）
本文提出SemAlign3D方法，利用单目深度估计和LVM特征构建3D对象类别表示，并通过梯度下降对齐实现RGB图像间语义对应，在SPair-71k数据集上显著提升匹配精度。
2025-03-28 cs.CV
Match me if you can: Semi-Supervised Semantic Correspondence Learning with Unpaired Images
NAVER AI Lab（NAVER AI实验室）；LG AI Research（LG AI研究院）；KAIST（韩国科学技术院）
本文提出一种基于未配对图像的半监督语义对应学习方法，利用机器标注器通过机器监督丰富配对关键点，无需额外标记或可训练模块，在多个基准上超越现有最先进模型并提升鲁棒性。
2024-10-11 cs.CV cs.LG
SEMAGIC: Learning Semantically Consistent Deformable 3D Representations from In-the-Wild Images
Johns Hopkins University（约翰霍普金斯大学）；CISPA Helmholtz Center for Information Security（信息安全霍普金斯中心）
针对现有可变形3D重建方法语义对应不稳定的问题，提出SEMAGIC框架，通过特征级一致性损失和顶点索引条件变形，在重建过程中强制语义一致性，从而提升类别级语义对应性能。
2026-05-27 cs.CV
A Tale of Two Features: Stable Diffusion Complements DINO for Zero-Shot Semantic Correspondence
Shanghai Jiao Tong University（上海交通大学）；Google Research（谷歌研究院）；UC Merced（加州大学默塞德分校）
本文发现稳定扩散特征经简单后处理可媲美最先进语义对应表示，其空间信息丰富但语义匹配欠准，与DINOv2稀疏准确匹配互补，简单融合二者即可在多个基准上显著提升零样本语义对应性能。
2023-11-28 cs.CV
Joint Graph Learning and Matching for Semantic Feature Correspondence
Beijing Jiaotong University（北京交通大学）；Stony Brook University（石溪大学）
近年来，基于图神经网络（GNN）模型的深度图匹配方法在语义特征匹配方面取得了很大的进展。然而，这些方法通常依赖于启发式生成的图模式，这可能会引入不可靠的关系，损害匹配性能。在本文中，我们提出了一个联合\emph{graph learning and matching}网络，名为GLAM，探索可靠的图结构，以提高图匹配。GLAM采用纯基于注意力的框架进行图学习和图匹配。具体而言，它采用两种类型的注意力机制，自我注意和交叉注意的任务。自注意力发现特征之间的关系，并进一步更新学习结构上的特征表示;交叉注意力计算两个特征集之间的交叉图相关性，以匹配特征重建。此外，最终的匹配解决方案是直接从交叉注意层的输出，而不采用特定的匹配决策模块。在三个流行的视觉匹配基准（Pascal VOC，Willow Object和SPair-71 k）上对所提出的方法进行了评估，并且在所有基准上的显著裕度都优于以前最先进的图匹配方法。此外，通过我们的模型学习的图模式被验证能够显着增强以前的深度图匹配方法，通过用学习的图结构替换它们的手工图结构。
2021-11-17 cs.CV
Show, Match and Segment: Joint Weakly Supervised Learning of Semantic Matching and Object Co-segmentation
Research Center for Information Technology Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）；National Chiao Tung University（国立交通大学）；University of California, Merced（加州大学默塞德分校）；Google Research（谷歌研究院）；Yonsei University（延世大学）；Virginia Tech（弗吉尼亚理工学院暨州立大学）
我们提出了一种方法，用于联合匹配和分割同一类别的图像集合内的对象实例。与现有的孤立地处理语义匹配和对象共分割任务的算法相比，我们的方法利用了这两项任务的互补性。我们的方法的关键见解是双重的。首先，从语义匹配估计的密集对应字段提供监督对象共同分割，通过执行从一对图像的预测掩模之间的一致性。其次，从对象共分割的预测对象掩模反过来又允许我们减少由于背景杂波的不利影响，以提高语义匹配。我们的模型是端到端可训练的，不需要手动注释的对应关系和对象掩码的监督。我们在五个基准数据集上验证了我们的方法的有效性：TSS，Internet，PF-PASCAL，PF-WILLOW和SPair-71 k，并表明我们的算法在语义匹配和对象共分割任务上都优于最先进的方法。
2020-03-29 cs.CV
Shape-of-You: Fused Gromov-Wasserstein Optimal Transport for Semantic Correspondence in-the-Wild
本文提出Shape-of-You框架，通过融合Gromov-Wasserstein优化传输解决语义对应问题，利用3D基础模型提升几何结构一致性，通过软目标损失增强鲁棒性，在SPair-71k和AP-10k数据集上取得新突破。
2026-03-16 cs.CV cs.LG
SimpleMatch: A Simple and Strong Baseline for Semantic Correspondence
Jilin University（吉林大学）
SimpleMatch通过轻量级上采样解码器和多尺度监督损失，在低分辨率下实现强大的语义对应性能。
2026-02-13 cs.AI cs.CV
Dense Semantic Correspondence where Every Pixel is a Classifier
Queensland University of Technology（昆士兰科技大学）；Carnegie Mellon University（卡内基梅隆大学）
确定对象和场景之间的密集语义对应关系是支撑许多更高级别计算机视觉算法的难题。与考虑空间或时间相邻的图像的规范密集对应问题不同，语义对应的特征在于共享相似的高级结构的图像，其确切的外观和几何形状可能不同。受对象识别文献和最近的工作快速估计线性分类器的启发，我们把语义对应作为一个约束检测问题，学习每个像素的一个示例LDA分类器。LDA分类器有两个明显的好处：（i）它们表现出比对应问题中通常使用的相似性度量更高的平均精度，以及（ii）与示例SVM不同，可以在没有校准的情况下输出全局可解释的后验概率，同时训练也明显更快。我们提出的对应问题作为一个图形模型，其中一元电位计算通过卷积与一组样本分类器，和联合电位执行平滑变化的对应分配。
2015-05-15 cs.CV
Semantic-Aware Fine-Grained Correspondence
Tsinghua University（清华大学）；Shanghai Qi Zhi Institute（上海期智研究院）
在图像之间建立视觉对应是一项具有挑战性和必要的任务。最近，已经提出了大量的自监督方法来更好地学习视觉对应的表示。然而，我们发现，这些方法往往无法利用语义信息和过度依赖于低级别的功能匹配。相比之下，人类视觉能够区分不同的物体作为跟踪的借口。受这种范式的启发，我们提出学习语义感知的细粒度对应。首先，我们证明了语义对应是隐含地通过一组丰富的图像级自监督方法。我们进一步设计了一个像素级的自监督学习目标，专门针对细粒度的对应关系。对于下游任务，我们将这两种互补的对应表示融合在一起，证明它们协同提高性能。我们的方法超越了以前使用卷积网络进行各种视觉对应任务的最先进的自监督方法，包括视频对象分割，人体姿势跟踪和人体部位跟踪。
2022-07-22 cs.CV
Semantic Correspondence via 2D-3D-2D Cycle
Shanghai Jiao Tong University（上海交通大学）
视觉语义对应是计算机视觉中的一个重要课题，可以帮助机器理解我们日常生活中的物体。然而，大多数以前的方法直接训练在2D图像中的对应，这是端到端的，但丢失了大量的信息在3D空间。在本文中，我们提出了一种新的方法来预测语义对应关系，利用它到3D域，然后投影相应的3D模型回到2D域，其语义标签。我们的方法利用了3D视觉的优势，可以明确地推理对象的自遮挡和可见性。我们表明，我们的方法提供了比较，甚至优于标准的语义基准的结果。我们还进行了全面和详细的实验来分析我们的网络组件。代码和实验可在www.example.com上公开获得。
2021-04-13 cs.CV
Learning Space-Time Semantic Correspondences
Samsung Research America（三星美国研究院）；UC Berkeley（加州大学伯克利分校）
提出视频时空语义对应预测新任务，在Penn Action和Pouring基准上提供标注，实验表明联合时空处理优于分解方法。
2023-06-16 cs.CV
Semantic Correspondence: A Hierarchical Approach
Queensland University of Technology（昆士兰科技大学）
在计算机视觉领域，当图像中的对象经历复杂变形时，建立图像之间的语义对应仍然是一项具有挑战性的任务。在本文中，我们提出了一个层次化的方法来解决这个问题，首先语义目标的前景对象本地化的搜索空间，然后深入到多个层次的特征表示搜索点级对应。与现有的方法，通常惩罚大的差异，我们的方法允许显着的位移，目的是适应场景中的对象的大变形。我们的方法通过语义匹配对象级别的对应关系来本地化搜索空间，可以鲁棒地处理对象的大变形。通过考虑周围上下文层次的超列特征来表示目标区域，有助于消除歧义，进一步提高准确性。通过在具有非刚性对象的场景中进行多个实验，我们验证了所提出的方法，并表明它优于最先进的语义对应关系建立方法。
2018-06-10 cs.CV
Joint Learning of Feature Extraction and Cost Aggregation for Semantic Correspondence
Computer Vision Lab. (CVLAB), Korea University（高丽大学计算机视觉实验室（CVLAB））
在语义相似的图像之间建立密集的对应关系是具有挑战性的任务之一，由于显着的类内变化和背景杂波。为了解决这些问题，已经提出了许多方法，这些方法集中于独立地学习特征提取器或成本聚合，这会产生次优性能。在本文中，我们提出了一个新的框架，共同学习特征提取和语义对应的成本聚合。通过利用来自每个模块的伪标签，以提升的方式同时学习由特征提取和成本聚合模块组成的网络。此外，为了忽略不可靠的伪标签，我们提出了一个置信度感知的对比损失函数，用于以弱监督的方式学习网络。我们展示了我们的竞争力的结果，语义对应的标准基准。
2022-04-19 cs.CV
See More, Match Better: Multi-Source Feature Fusion for Two-View Correspondence Learning
Nanjing University of Science and Technology（南京理工大学）；People’s Daily Online（人民网）；University of Science and Technology of China（中国科学技术大学）
提出TriMatch框架，融合几何、纹理语义和结构语义特征，通过语义引导调制和层次细化，提升重复结构等场景下的对应点鉴别能力。
2026-06-08 cs.CV
Semi-Supervised Learning of Semantic Correspondence with Pseudo-Labels
Korea University（高丽大学）；Samsung Electro-Mechanics（三星电机）
在语义相似的图像之间建立密集的对应关系仍然是一项具有挑战性的任务，由于显着的类内变化和背景杂波。传统的监督学习用于训练模型，这需要大量的人工标记数据，而一些方法建议使用自监督或弱监督学习来减轻对标记数据的依赖，但性能有限。在本文中，我们提出了一种简单但有效的语义对应解决方案，该解决方案通过利用大量置信对应作为伪标签来补充少量真实对应，以半监督的方式学习网络，称为SemiMatch。具体来说，我们的框架使用模型本身在源和弱增强目标之间的预测生成伪标签，并使用伪标签在源和强增强目标之间再次学习模型，这提高了模型的鲁棒性。我们还提出了一种新的伪标签和数据增强语义对应度的信心措施。在实验中，SemiMatch在各种基准测试中实现了最先进的性能，特别是在PF Willow上的性能。
2022-04-05 cs.CV
Dynamic Context Correspondence Network for Semantic Alignment
ShanghaiTech University（上海科技大学）
建立语义对应是计算机视觉中的核心问题，并且由于类内变化大和缺乏注释数据而仍然具有挑战性。在本文中，我们的目标是将全球语义背景下，以灵活的方式，以克服现有的工作，依赖于本地语义表示的局限性。为此，我们首先提出了一个上下文感知的语义表示，结合了空间布局的鲁棒匹配对当地的歧义。然后，我们开发了一种新的动态融合策略的基础上注意力机制编织的本地和上下文特征的优势，通过集成多个尺度的语义线索。我们通过设计一个端到端可学习的深度网络来实例化我们的策略，称为动态上下文对应网络（DCCNet）。为了训练网络，我们采用了多辅助任务损失，以提高我们的弱监督学习过程的效率。我们的方法在几个具有挑战性的数据集（包括PF-Pascal，PF-Willow和TSS）上实现了优于以前方法的性能，证明了其有效性和通用性。
2019-09-08 cs.CV
Recurrent Transformer Networks for Semantic Correspondence
Yonsei University（延世大学）；Microsoft Research（微软研究院）；Ewha Womans University（梨花女子大学）
我们提出了经常性的Transformer网络（RTNs）获得语义相似的图像之间的密集对应。我们的网络通过迭代过程来实现这一点，该过程估计输入图像之间的空间变换，并使用这些变换来生成对齐的卷积激活。通过直接估计图像对之间的变换，而不是采用空间Transformer网络来独立地规范化每个单独的图像，我们表明，可以实现更高的精度。该过程以递归方式进行，以细化变换估计和特征表示。此外，提出了一种基于建议的分类损失的RTNs的弱监督训练技术。使用RTNs，在语义对应的几个基准上达到了最先进的性能。
2018-10-29 cs.CV
FCSS: Fully Convolutional Self-Similarity for Dense Semantic Correspondence
Yonsei University（延世大学）；Chungnam National University（忠南国立大学）；Microsoft Research（微软研究院）
我们提出了一个描述符，称为全卷积自相似性（FCSS），密集的语义对应。为了在同一对象类中的不同实例之间鲁棒地匹配点，我们在全卷积网络中使用局部自相似性（LSS）来制定FCSS。与现有的基于CNN的描述符相比，由于其基于LSS的结构，FCSS本质上对类内外观变化不敏感，同时保持了深度神经网络的精确定位能力。局部结构的采样模式和自相似性度量在所提出的网络中以端到端和多尺度的方式联合学习。由于语义对应的训练数据相当有限，我们建议利用现有图像数据集中提供的对象候选先验以及对象对之间的对应一致性来实现弱监督学习。实验表明，FCSS优于传统的手工描述符和基于CNN的描述符在各种基准测试。
2017-02-03 cs.CV
Hierarchical Neural Semantic Representation for 3D Semantic Correspondence
University of Electronic Science and Technology of China（电子科技大学）；The Chinese University of Hong Kong（香港中文大学）
本文提出分层神经语义表示（HNSR）结合预训练3D生成模型先验，通过全局到局部渐进匹配策略，实现准确鲁棒的3D语义对应，无需训练且优于现有技术。
2025-09-23 cs.CV
PARN: Pyramidal Affine Regression Networks for Dense Semantic Correspondence
Yonsei University（延世大学）；Ewha Womans University（梨花女子大学）
本文提出了一种用于密集语义对应的深层架构，称为金字塔仿射回归网络（PARN），它可以估计图像中局部变化的仿射变换场。为了处理同一对象类别中不同实例之间通常存在的类内外观和形状变化，我们利用金字塔模型，其中仿射变换场以从粗到细的方式逐步估计，以便在深度网络中自然地施加平滑度约束。PARN估计每个级别的残余仿射变换，并将它们组合以估计最终仿射变换。此外，为了克服语义对应训练数据不足的局限性，我们提出了一种新的弱监督训练方案，通过利用图像对之间的对应一致性来生成渐进式监督。我们的方法是完全可学习的，在一个端到端的方式，不需要量化无限连续仿射变换领域。据我们所知，这是第一个尝试在深度网络中以粗到细的方式估计密集仿射变换场的工作。实验结果表明，PARN优于国家的最先进的方法密集的语义对应在各种基准。
2018-08-01 cs.CV
Learning Semantic Correspondence with Sparse Annotations
University of Maryland, College Park（马里兰大学帕克分校）；Shanghai AI Laboratory（上海人工智能实验室）；ShanghaiTech University（上海科技大学）；Shanghai Engineering Research Center of Intelligent Vision and Imaging（上海智能视觉成像工程技术研究中心）
寻找密集的语义对应是计算机视觉中的一个基本问题，由于背景杂乱、极端的类内变化和严重缺乏地面实况，这在复杂场景中仍然具有挑战性。在本文中，我们的目标是解决标签稀疏的语义对应的挑战，丰富的监督信号从稀疏的关键点注释。为此，我们首先提出了一个师生学习的范例生成密集的伪标签，然后开发两个新的策略去噪伪标签。特别地，我们使用稀疏注释周围的空间先验来抑制噪声伪标签。此外，我们引入了一个损失驱动的动态标签选择策略的标签去噪。我们实例化我们的范例与学习策略的两个变种：一个单一的离线教师设置，和相互在线教师设置。我们的方法在语义对应的三个具有挑战性的基准上取得了显着的改进，并建立了新的最先进的技术。https://shuaiyihuang.github.io/publications/SCorrSAN
2022-08-17 cs.CV
Similarity-Aware Selective State-Space Modeling for Semantic Correspondence
Pohang University of Science and Technology (POSTECH)（浦项科学技术大学）
针对语义对应中特征关系建模不足与4D相关性图计算昂贵的问题，提出MambaMatcher，利用相似度感知选择性SSM扫描高效细化4D相关性图并达到SOTA性能。
2025-09-29 cs.CV
Semantics Meets Temporal Correspondence: Self-supervised Object-centric Learning in Videos
The Chinese University of Hong Kong（香港中文大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
本文提出语义感知掩码 slot attention，融合语义特征与时间对应图，通过两阶段注意力与共享高斯分布实现实例识别，在无监督视频对象发现和密集标签传播任务上达到最先进性能。
2024-03-21 cs.CV
Facial Action Unit Intensity Estimation via Semantic Correspondence Learning with Dynamic Graph Convolution
The University of Hong Kong（香港大学）
由于人的面部外观的细微变化，面部动作单元（AU）的强度估计是具有挑战性的。以前的方法主要依赖于概率模型或预定义的规则来建模AU之间的共现关系，导致有限的泛化。相比之下，我们提出了一个新的学习框架，自动学习的潜在关系的AU通过建立语义特征图之间的对应关系。在基于热图回归的网络中，特征图保留了与AU强度和位置相关联的丰富语义信息。此外，AU共现模式可以通过激活一组特征通道来反映，其中每个通道编码AU的特定视觉模式。这促使我们对特征通道之间的相关性进行建模，这隐含地表示AU强度水平的同现关系。具体来说，我们引入了一个语义对应卷积（SCC）模块，动态计算深和低分辨率特征映射的对应关系，从而提高了特征的可分辨性。在两个基准数据集上的实验结果表明了该方法的有效性和优越性能。
2020-04-20 cs.CV
Learning Semantic Correspondence Exploiting an Object-level Prior
Yonsei University（延世大学）；Inria（法国国家信息与自动化研究所）；DI-ENS（巴黎高等师范学院计算机科学系）；CNRS（法国国家科学研究中心）；PSL University（巴黎文理研究大学）
我们解决的语义对应的问题，也就是说，建立一个密集的流场之间的图像描绘不同的情况下，相同的对象或场景类别。我们建议使用二进制前景掩模注释的图像，并进行合成几何变形训练卷积神经网络（CNN）完成这项任务。使用这些掩模作为监督信号的一部分为语义对应任务提供了对象级先验，并且提供了语义流方法和语义对齐方法之间的良好折衷，在语义流方法中，训练数据的量受到手动选择点对应的成本的限制，在语义对齐方法中，图像之间的单个全局几何变换的回归可能对图像特定的细节（例如背景杂波）敏感。我们提出了一个新的CNN架构，称为SFNet，实现了这一想法。它利用argmax函数的一个新的可微分版本进行端到端训练，并将掩码和流一致性与平滑项相结合。实验结果表明，我们的方法，这显着优于最先进的标准基准测试的有效性。
2020-07-21 cs.CV
SGSoft: Learning Fused Semantic-Geometric Features for 3D Shape Correspondence via Template-Guided Soft Signals
KAIST AI（韩国科学技术院人工智能研究所）；Anigma Technologies（Anigma科技公司）
本文提出SGSoft方法，通过模板引导的软信号学习融合语义-几何特征，实现3D形状对应，解决了结构变化、非等距变形和拓扑不一致的挑战，实现了最先进的跨类别泛化和最佳精度-效率权衡。
2026-05-18 cs.CV
VideoSwap: Customized Video Subject Swapping with Interactive Semantic Point Correspondence
National University of Singapore（新加坡国立大学）；Meta
针对扩散视频编辑难以处理形状变化的问题，本文提出 VideoSwap 框架，用少量可交互语义点对齐运动并改变主体形状，在真实视频主体替换上达到 SOTA。
2023-12-05 cs.CV
SFNet: Learning Object-aware Semantic Correspondence
Yonsei University（延世大学）；DI ENS（巴黎高等师范学院计算机系）；INRIA（法国国家信息与自动化研究所）
我们解决的语义对应的问题，也就是说，建立一个密集的流场之间的图像描绘不同的情况下，相同的对象或场景类别。我们建议使用二进制前景掩模注释的图像，并进行合成几何变形训练卷积神经网络（CNN）完成这项任务。使用这些掩模作为监控信号的一部分提供了语义流方法和语义对齐方法之间的良好折衷，在语义流方法中，训练数据的量受到手动选择点对应的成本的限制，在语义对齐方法中，图像之间的单个全局几何变换的回归可能对图像特定的细节（例如背景杂波）敏感。我们提出了一个新的CNN架构，称为SFNet，实现了这一想法。它利用argmax函数的一个新的可微分版本进行端到端训练，并将掩码和流一致性与平滑项相结合。实验结果表明，我们的方法，这显着优于最先进的标准基准测试的有效性。
2019-04-05 cs.CV
SOCO: Benchmarking Semantic Object Correspondence in Vision Foundation Models
Max Planck Institute for Informatics（马克斯·普朗克研究所信息学研究所）；Saarland Informatics Campus（萨尔州信息学校园）；CISPA Helmholtz Center for Information Security（信息安全霍夫曼中心）；University of Freiburg（弗赖堡大学）
提出SOCO基准，通过引入对应类型分类法和100个类别上超过100万对功能上有意义的关键点注释，系统评估视觉基础模型中的语义对应能力，并揭示模型在跨类别迁移、语言引导定位与视觉对应之间的差距。
2026-08-28 cs.CV
A Cross-Season Correspondence Dataset for Robust Semantic Segmentation
Chalmers University of Technology（查尔姆斯理工大学）；Zenuity（泽努蒂公司）；ETH Zurich（苏黎世联邦理工学院）；Microsoft（微软）
在本文中，我们提出了一种方法，利用在不同的图像条件下拍摄的图像之间的2D-2D点匹配训练一个卷积神经网络的语义分割。在匹配中强制标签一致性使得最终的分割算法对季节变化具有鲁棒性。我们描述了如何生成这些2D-2D的匹配，几乎没有人的互动，几何匹配点从3D模型建立从图像。创建两个跨季节对应数据集，提供跨季节变化以及从白天到晚上的2D-2D匹配。这些数据集公开提供，以方便进一步研究。我们发现，在训练过程中添加对应关系作为额外的监督，提高了卷积神经网络的分割性能，使其对季节变化和天气条件更具鲁棒性。
2019-08-16 cs.CV
Multi-scale Matching Networks for Semantic Correspondence
Fudan University（复旦大学）；Shanghai Key Lab of Intelligent Information Processing（上海市智能信息处理重点实验室）；The University of Hong Kong（香港大学）
在以前的各种工作中，深度特征已经被证明在构建精确的密集语义对应方面是强大的。然而，卷积神经网络的多尺度和金字塔层次尚未被很好地研究以学习用于语义对应的有区别的像素级特征。在本文中，我们提出了一个多尺度匹配网络，是敏感的相邻像素之间的微小语义差异。我们遵循从粗到精的匹配策略，构建了一个自上而下的特征和匹配增强方案，该方案与深度卷积神经网络的多尺度层次结构相结合。在特征增强过程中，尺度内增强通过局部自注意将来自多个层的相同分辨率特征图融合在一起，而跨尺度增强沿着自上而下的层次结构产生更高分辨率的特征图。此外，我们在不同的尺度上学习互补的匹配细节，从而使整体的匹配分数逐渐被不同语义层次的特征所细化。我们的多尺度匹配网络可以很容易地进行端到端训练，只需很少的额外可学习参数。实验结果表明，该方法实现了最先进的性能在三个流行的基准与高计算效率。
2021-08-27 cs.CV
Distillation of Diffusion Features for Semantic Correspondence
LMU Munich（慕尼黑大学）；MCML（慕尼黑计算与机器学习实验室）；CompVis（计算视觉研究组）
本文提出知识蒸馏框架，将两个大型视觉基础模型的互补能力压缩到小模型中，并结合三维数据增强，在无需人工标注的情况下超越现有方法且显著降低计算成本。
2024-12-04 cs.CV
