SE-ORNet: Self-Ensembling Orientation-aware Network for Unsupervised Point Cloud Shape Correspondence
University of Science and Technology of China（中国科学技术大学）；Deep Space Exploration Lab（深空探测实验室）；China Academy of Space Technology（中国空间技术研究院）
SE-ORNet通过方向估计模块与域自适应判别器对齐点云朝向，并结合自集成框架抑制噪声干扰，在无监督点云形状对应任务上超越了现有最先进方法。
2023-04-10 cs.CV
DGC-Net: Dense Geometric Correspondence Network
Aalto University（阿尔托大学）；University of Oulu（奥卢大学）；ETH Zürich（苏黎世联邦理工学院）；Microsoft（微软）；Tampere University of Technology（坦佩雷理工大学）
本文解决了两幅图像之间的密集像素对应估计的挑战。这个问题与光流估计任务密切相关，其中ConvNets（CNN）最近取得了重大进展。虽然光流方法对于小像素平移和有限的外观变化场景产生非常准确的结果，但它们很难处理我们在这项工作中考虑的强几何变换。在本文中，我们提出了一个由粗到细的基于CNN的框架，可以利用光流方法的优势，并将其扩展到大型变换的情况下，提供密集和亚像素的准确估计。它在合成转换上进行了训练，并对看不见的，现实的数据表现出非常好的性能。此外，我们将我们的方法应用于相对相机姿态估计的问题，并证明该模型优于现有的密集方法。
2018-10-22 cs.CV
Correspondence Matrices are Underrated
Carnegie Mellon University（卡内基梅隆大学）；Indian Institute of Technology, Madras（马德拉斯印度理工学院）
点云配准（PCR）是机器人操作、增强和虚拟现实、SLAM等各种应用中的重要任务。PCR是涉及两种不同类型的相互依赖的变量（变换参数和点到点对应）的最小化的优化问题。深度学习的最新发展产生了计算快速的PCR方法。在这些网络中优化的损失函数基于变换参数中的误差。我们假设，如果这些方法使用对应误差而不是仅使用变换参数中的误差来计算它们的损失函数，则它们的性能会显著更好。我们将对应误差定义为基于不正确匹配的点对的度量。我们提供了一个基本的解释，为什么是这种情况下，并测试我们的假设修改现有的方法，使用基于对应的损失，而不是基于转换的损失。这些实验表明，修改后的网络收敛速度更快，更准确地注册，即使在较大的失准时，与原始网络相比。
2020-10-30 cs.CV
Learnable Motion Coherence for Correspondence Pruning
The University of Hong Kong（香港大学）；MPI Informatics Saarland Informatics Campus（马克斯·普朗克信息学研究所萨尔信息学园区）；Wuhan University（武汉大学）
运动相干性是区分真假对应的重要线索。由于稀疏假定对应的稀疏性和不均匀分布，在稀疏假定对应上建模运动一致性具有挑战性。现有的运动一致性研究对参数设置敏感，难以处理复杂的运动模式。在本文中，我们介绍了一个网络称为拉普拉斯运动相干网络（LMCNet）学习运动相干性对应修剪属性。我们提出了一种新的配方的拟合相干运动的对应关系图上的光滑函数，并表明，这种配方允许一个封闭形式的解决方案，由图拉普拉斯算子。这种封闭形式的解决方案使我们能够在学习框架中设计一个可微层，以从假定的对应关系中捕获全局运动相干性。全局运动相干性进一步与由另一个局部层提取的局部相干性相结合，以鲁棒地检测内点对应性。实验结果表明，LMCNet在动态场景的相对摄像机姿态估计和对应关系修剪方面具有优于现有技术的性能。
2020-11-30 cs.CV
Learning Probabilistic Coordinate Fields for Robust Correspondences
Huazhong University of Science and Technology（华中科技大学）；West Virginia University（西弗吉尼亚大学）
本文提出概率坐标场（PCFs）及其网络PCF-Net，通过高斯混合模型参数化坐标分布并生成置信度图，实现几何不变的鲁棒坐标表示，可作为即插即用模块提升稀疏匹配、密集配准、相机姿态估计等任务的性能。
2023-06-07 cs.CV
MGCA-Net: Multi-Graph Contextual Attention Network for Two-View Correspondence Learning
College of Cyber Security, Jinan University, Guangzhou, China（广州大学网络安全学院）；Chongqing Key Laboratory of Image Cognition, College of Computer Science and Technology, Chongqing University of Posts and Telecommunications, Chongqing, China（重庆邮电大学计算机科学与技术学院）；Peng Cheng Laboratory, Shenzhen, China（鹏城实验室）；Department of Computer Science, City University of Hong Kong, Hong Kong, China（香港城市大学计算机科学系）
MGCA-Net通过多图上下文注意网络提升双视图对应学习的鲁棒性，有效增强局部和全局几何关系捕捉能力。
2025-12-29 cs.CV
RPM-Net: Robust Point Matching using Learned Features
National University of Singapore（新加坡国立大学）
迭代最近点（ICP）通过两个步骤迭代地解决刚性点云配准问题：（1）对空间最近点对应进行硬分配，然后（2）找到最小二乘刚性变换。基于空间距离的最近点对应的硬分配对初始刚性变换和噪声/离群点敏感，这通常导致ICP收敛到错误的局部最小值。在本文中，我们提出了RPM-Net --一种对初始化不太敏感、基于深度学习的更鲁棒的刚性点云配准方法。为此，我们的网络使用可微Sinkhorn层和退火来从从空间坐标和局部几何学中学习的混合特征中获得点对应的软分配。为了进一步提高配准性能，我们引入了二级网络来预测最佳退火参数。与一些现有的方法不同，我们的RPM-Net处理缺少的对应关系和部分可见的点云。实验结果表明，与现有的非深度学习和最近的深度学习方法相比，我们的RPM-Net实现了最先进的性能。我们的源代码可以在项目网站https://github.com/yewzijian/RPMNet上找到。
2020-03-30 cs.CV
MinCD-PnP: Learning 2D-3D Correspondences with Approximate Blind PnP
Huazhong University of Science and Technology, China（华中科技大学）；Northwestern Polytechnical University, China（西北工业大学）；McMaster University, Canada（麦马士威大学）；Delft University of Technology, Netherlands（代尔夫特理工大学）
本文提出MinCD-PnP方法，将盲PnP简化为最小化2D-3D关键点Chamfer距离，并设计轻量级模块MinCD-Net，有效提升图像到点云配准对噪声和离群点的鲁棒性及配准性能。
2025-07-21 cs.CV
Visual Correspondence Hallucination
LIGM, École des Ponts, Univ Gustave Eiffel, CNRS（LIGM实验室、巴黎综合理工学院、古斯塔夫·埃菲尔大学、法国国家科学研究中心）；IMS, University of Bordeaux, Bordeaux INP, CNRS（IMS实验室、波尔多大学、波尔多国立理工学院、法国国家科学研究中心）
给定一对部分重叠的源图像和目标图像以及源图像中的关键点，目标图像中的关键点的对应物可以是可见的、被遮挡的或在视场之外。局部特征匹配方法只能在通信对象可见时识别其位置，而当通信对象被遮挡或在视野之外时，人类也可以通过几何推理来幻觉其位置。在本文中，我们通过训练网络来弥合这一差距，以输出通信者位置的峰值概率分布，而不管该通信者是否可见、被遮挡或在视野之外。我们通过实验证明，这个网络确实能够在训练时没有看到的场景中捕获的图像对上产生幻觉。我们还将该网络应用于绝对相机姿态估计问题，并发现它比最先进的基于局部特征匹配的竞争对手更强大。
2022-02-02 cs.CV
Self-supervised Feature Learning by Cross-modality and Cross-view Correspondences
City University of New York（纽约城市大学）；Northwestern Polytechnical University（西北工业大学）
监督学习的成功需要大规模的地面实况标签，这是非常昂贵的，耗时的，或者可能需要特殊的技能来注释。为了解决这个问题，开发了许多自我或无监督的方法。与大多数现有的仅学习2D图像特征或仅学习3D点云特征的自监督学习方法不同，本文提出了一种新颖有效的自监督学习方法，通过利用跨模态和跨视图对应关系来联合学习2D图像特征和3D点云特征，而不使用任何人工标注标签。具体地，通过2D卷积神经网络提取来自不同视角的渲染图像的2D图像特征，并且通过图卷积神经网络提取3D点云特征。两种类型的特征被送入一个两层全连接神经网络来估计跨模态对应关系。通过验证不同模态的两个采样数据是否属于同一对象来联合训练三个网络（即交叉模态），同时，通过最小化对象内距离同时最大化不同视图（即交叉视图）中渲染图像的对象间距离来额外优化2D卷积神经网络。学习的2D和3D功能的有效性进行评估，通过将它们转移到五个不同的任务，包括多视图2D形状识别，3D形状识别，多视图2D形状检索，3D形状检索和3D部分分割。对不同数据集上所有五个不同任务的广泛评估表明，所提出的自监督方法对所学习的2D和3D特征具有很强的泛化能力和有效性。
2020-04-13 cs.CV
Single-Stage 6D Object Pose Estimation
CVLab, EPFL（洛桑联邦理工学院计算机视觉实验室(CVLab, EPFL)）；EPFL（洛桑联邦理工学院(EPFL)）；Switzerland（瑞士）
最新的6D姿态估计框架首先依赖于深度网络来建立3D对象关键点和2D图像位置之间的对应关系，然后使用基于RANSAC的Perspective-n-Point（PSPOT）算法的变体。然而，这个两阶段的过程是次优的：首先，它不是端到端的可训练的。其次，训练深度网络依赖于代理损失，而代理损失并不直接反映最终的6D姿态估计任务。在这项工作中，我们引入了一个深层架构，直接从对应关系中回归6D姿势。它将每个3D关键点的一组候选对应关系作为输入，并考虑到每个组内的对应关系的顺序是不相关的，而组的顺序，即3D关键点的顺序是固定的。我们的架构是通用的，因此可以利用与现有的对应提取网络，以产生单级6D姿态估计框架。我们的实验表明，这些单阶段框架在准确性和速度方面始终优于两阶段框架。
2020-03-20 cs.CV
Depth-Centric Dehazing and Depth-Estimation from Real-World Hazy Driving Video
Nanjing University of Science and Technology（南京理工大学）；Huaiyin Institute of Technology（淮阴工学院）
提出深度中心框架，结合大气散射模型与亮度一致性约束，共享深度网络同时优化去雾与深度估计，并引入两个判别器正则化，在真实雾霾视频上超越现有方法。
2024-12-16 cs.CV
Grounding Physical Concepts of Objects and Events Through Dynamic Visual Reasoning
The University of Hong Kong（香港大学）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Stanford University（斯坦福大学）；MIT BCS, CBMM, CSAIL（麻省理工学院脑与认知科学系、大脑、心智与机器中心、计算机科学与人工智能实验室）；MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室）
我们研究了原始视频的动态视觉推理问题。这是一个具有挑战性的问题;当前，现有技术的模型通常需要对来自仿真的物理对象属性和事件进行密集监督，这在现实生活中是不切实际的。在本文中，我们提出了动态概念学习器（DCL），一个统一的框架，地面物理对象和事件从视频和语言。DCL首先采用轨迹提取器来跟踪每个对象，并将其表示为潜在的以对象为中心的特征向量。基于这种以对象为中心的表示，DCL学习使用图形网络来近似对象之间的动态交互。DCL还结合了一个语义解析器来将问题解析成语义程序，最后，一个程序执行器来运行程序来回答问题，从而利用学习到的动态模型。经过训练后，DCL可以跨帧检测和关联对象、地面视觉属性和物理事件，理解事件之间的因果关系，做出未来和反事实预测，并利用这些提取的演示来回答查询。DCL在CLEVRER上实现了最先进的性能，CLEVRER是一个具有挑战性的因果视频推理数据集，即使没有使用模拟训练的地面实况属性和碰撞标签。我们进一步测试DCL上新提出的视频检索和事件定位数据集来自CLEVRER，显示其强大的泛化能力。
2021-03-30 cs.AI cs.CL cs.CV
LLHA-Net: A Hierarchical Attention Network for Two-View Correspondence Learning
College of Cyber Security, Jinan University, Guangzhou 510632, China（网络安全学院，暨南大学，广州510632，中国）；School of computer Engineering / School of Data Science, Guangzhou City University of Technology, 510800, China（计算机工程学院/数据科学学院，广州城市科技学院，510800，中国）；Department of Strategic and Advanced Interdisciplinary Research, Peng Cheng Laboratory, Shenzhen 518000, China（战略与先进跨学科研究部，鹏城实验室，深圳518000，中国）；School of Electronics and Information Engineering, Tongji University, Shanghai, 201804, China（电子信息工程学院，同济大学，上海201804，中国）
LLHA-Net通过分层注意力机制提升双视角特征点匹配的鲁棒性与精度，优于现有方法。
2025-12-31 cs.CV
LiDAR Point--to--point Correspondences for Rigorous Registration of Kinematic Scanning in Dynamic Networks
EPFL（洛桑联邦理工学院）；University of Geneva（日内瓦大学）
为了提高运动扫描系统产生的激光雷达点云的配准，我们提出了一种新的轨迹调整程序，该程序利用重叠点云之间的选定可靠的3D点到点对应关系的自动提取及其联合集成（调整）以及所有原始惯性和GNSS观测。这是使用动态网络方法以紧密耦合的方式执行的，该方法通过在传感器而不是轨迹水平上对误差进行建模来产生最佳补偿轨迹。3D对应关系被公式化为该网络内的静态条件，并且利用校正的轨迹和在调整内确定的可能的其他参数以更高的精度生成配准的点云。我们首先描述了选择对应的方法，以及它们如何作为新的观察模型插入到动态网络中。然后，我们描述了进行实验，以评估所提出的框架的性能，在实际的机载激光扫描的情况下，低成本的MEMS惯性传感器。在所进行的实验中，提出的方法来建立3D对应关系是有效的，在确定点到点的匹配在广泛的几何形状，如树木，建筑物和汽车。我们的研究结果表明，该方法提高了点云配准精度，否则受到确定的平台姿态或位置（在标称和仿真GNSS中断条件下）中的误差的强烈影响，并且可能仅使用所建立的3D对应总数的一小部分来确定未知的方位角。
2022-01-03 cs.CV cs.RO
NCP: Neural Correspondence Prior for Effective Unsupervised Shape Matching
École Polytechnique（巴黎综合理工学院）；IP Paris（巴黎理工学院）
我们提出了神经对应先验（NCP），一个新的范例计算3D形状之间的对应关系。我们的方法是完全无监督的，即使在具有挑战性的情况下，如稀疏点云或非等距网格，也可以产生高质量的对应关系，而目前的方法是失败的。我们的第一个关键观察结果是，与在其他领域观察到的神经先验一致，最近的3D数据网络架构，即使没有训练，也倾向于产生逐点特征，这些特征在刚性或非刚性形状之间诱导出合理的映射。其次，我们表明，给定一个嘈杂的地图作为输入，训练一个特征提取网络与输入地图作为监督往往从输入中删除文物，可以作为一个强大的对应去噪机制，无论是在个人对和集合内。有了这些观察，我们提出了一个两阶段的形状匹配的无监督范例（i）进行无监督训练，通过调整现有的方法来获得一组初始的噪声匹配，以及（ii）使用这些匹配训练网络的监督方式。我们证明，这种方法显着提高了地图的准确性，特别是在一个集合内训练时。我们表明，NCP是数据高效，快速，并在许多任务上实现了最先进的结果。我们的代码可以在网上找到：https://github.com/pvnieo/NCP。
2023-01-14 cs.CV cs.GR
Correspondence-Free Point Cloud Registration with SO(3)-Equivariant Implicit Shape Representations
University of Michigan（密歇根大学）
提出了一种点云旋转配准的无对应方法。我们学习了特征空间中每个点云的嵌入，该特征空间保留了SO（3）-等方差属性，这是由等变神经网络的最新发展实现的。通过将等变特征学习与隐式形状模型相结合，所提出的形状配准方法实现了三个主要优点。首先，数据关联的必要性被删除，因为在类似于PointNet的网络架构中的置换不变属性。其次，由于SO（3）-等方差性质，特征空间中的配准可以使用Horn方法以封闭形式求解。第三，由于配准和隐式形状重建的联合训练，配准对点云中的噪声具有鲁棒性。实验结果表明，与现有的无对应深度配准方法相比，该方法具有更好的性能。
2021-11-25 cs.CV cs.LG
Dual Contrastive Network for Few-Shot Remote Sensing Image Scene Classification
School of Electrical and Information Engineering, Tianjin University（天津大学电气与信息工程学院）；CETC Key Laboratory of Aerospace Information Applications（中国电子科技集团公司第五研究院航空航天信息应用重点实验室）
本文提出双对比网络DCN，通过上下文引导和细节引导的对比学习分支提升遥感图像少样本分类性能，实验表明其在四个公开数据集上表现优异。
2026-03-24 cs.CV
End-to-End 3D Point Cloud Learning for Registration Task Using Virtual Correspondences
三维点云配准仍然是一个非常具有挑战性的课题，因为很难找到两个点云之间的刚性转换部分对应，它甚至更难在没有任何初始估计信息。在本文中，我们提出了一种基于端到端深度学习的方法来解决点云配准问题。首先，引入改进的LPD-Net来提取特征，并将其与图网络进行聚合。其次，利用自注意力机制增强点云的结构信息，设计交叉注意力机制增强两个输入点云之间的对应信息。在此基础上，通过软指针方法生成虚拟对应点，最后通过奇异值分解方法解决点云配准问题。在ModelNet 40数据集上的实验结果验证了该方法在点云配准中的有效性，在KITTI数据集上的实验结果验证了该方法的有效性
2021-06-18 cs.CV cs.RO
Sensorless Freehand 3D Ultrasound Reconstruction via Deep Contextual Learning
Rensselaer Polytechnic Institute（伦斯勒理工学院）；National Institutes of Health（美国国立卫生研究院）
经直肠超声（US）是引导前列腺活检最常用的成像方式，其3D体积提供了更丰富的背景信息。用于从徒手US扫描进行3D体积重建的当前方法需要外部跟踪设备来为每个帧提供空间位置。在本文中，我们提出了一种深度上下文学习网络（DCL-Net），它可以有效地利用US帧之间的图像特征关系，并在没有任何跟踪设备的情况下重建3D US体积。提出的DCL网络利用三维卷积的美国视频段的特征提取。嵌入式自我关注模块使网络专注于斑点丰富的区域，以更好地预测空间运动。我们还提出了一种新的案例相关损失来稳定训练过程，以提高准确性。通过使用所开发的方法已经获得了非常有前途的结果。消融研究的实验表明，所提出的方法与其他国家的最先进的方法相比，具有优越的性能。这项工作的源代码可在https://github.com/DIAL-RPI/FreehandUSRecon上公开获得。
2020-06-13 cs.CV eess.IV
Neural Correspondence Field for Object Pose Estimation
University at Buffalo（布法罗大学）；Reality Labs at Meta（Meta现实实验室）
我们提出了一种方法，用于从单个RGB图像中估计具有可用3D模型的刚性对象的6DoF姿态。与经典的基于对应关系的方法预测输入图像的像素处的3D对象坐标不同，所提出的方法预测相机截头体中采样的3D查询点处的3D对象坐标。从像素到3D点的移动受到最近用于3D重建的PIFu风格方法的启发，能够推理整个对象，包括其（自）遮挡部分。对于与像素对齐的图像特征相关联的3D查询点，我们训练全连接的神经网络来预测：（i）相应的3D对象坐标，以及（ii）到对象表面的带符号距离，其中第一个仅针对表面附近的查询点定义。我们把这种网络实现的映射称为神经对应场。然后通过Kabsch-RANSAC算法从预测的3D-3D对应关系中鲁棒地估计对象姿态。该方法在三个BOP数据集上实现了最先进的结果，特别是在具有遮挡的挑战性情况下表现出优越性。该项目的网址是：linhuang17.github.io/NCF。
2022-07-30 cs.AI cs.CV cs.LG
Deep Consensus Learning
NC State University（北卡罗来纳州立大学）
生成学习和判别学习最近都使用深度神经网络（DNN）取得了显着进展。对于结构化输入合成和结构化输出预测问题（例如，布局到图像合成和图像语义分割），但是它们通常被分开研究。本文提出了深度一致性学习（DCL）用于联合布局到图像合成和弱监督图像语义分割。前者通过最近提出的LostGAN方法实现，后者通过引入推理网络作为加入LostGAN的两人游戏的第三个玩家来实现。利用两个深度共识映射来促进端到端训练三个网络：给定输入布局（对象边界框列表），生成器生成一个掩码（标签映射），然后使用它来帮助合成图像。推理网络推断合成图像的掩模。然后，测量由生成器生成的掩码与由推理网络推断的掩码之间的潜在共识。对于与输入布局对应的真实图像，其掩模也由推理网络计算，然后由生成器用于重建真实图像。然后，测量真实图像和其重建图像之间的数据一致性。通过计算真实图像、其重建图像和合成图像的真实度分数，该算法仍然扮演对手的角色。在实验中，我们的DCL在COCO-Stuff数据集上进行了测试。它获得了令人信服的布局到图像的合成结果和弱监督的图像语义分割结果。
2021-03-15 cs.CV cs.LG
U-mesh: Human Correspondence Matching with Mesh Convolutional Networks
Technion-Israel Institute of Technology（以色列理工学院）
3D扫描技术的发展推动了对解释几何数据的方法的需求，特别是对于人类受试者。在本文中，我们提出了一个优雅的融合回归（自下而上）和生成（自上而下）的方法，以适应参数模板模型的原始扫描网格。我们的第一个主要贡献是一个内在的卷积网格U-net架构，它预测与模板表面的逐点对应。软对应被公式化为新构造的笛卡尔空间中的坐标。将对应关系建模为欧几里德接近度可以实现有效的优化，无论是对于网络训练还是对于算法的下一步。我们的第二个贡献是一个生成优化算法，它使用U网对应预测来指导参数迭代最近点配准。通过使用预先训练的人体表面参数模型，我们最大限度地利用特定领域的先验知识。网格卷积网络与生成模型拟合的配对使我们能够预测真实人体表面扫描的对应关系，包括遮挡、局部性和不同的属（例如，来自自接触）。我们评估所提出的方法上的FAUST对应的挑战，我们实现了20%（33%）的改进，超过最先进的方法间（内）的主题对应。
2021-08-22 cs.CV
AutoScaler: Scale-Attention Networks for Visual Correspondence
University of Toronto（多伦多大学）；Snap Inc.（Snap公司）
寻找局部特征之间的视觉对应关系是许多计算机视觉问题的关键。虽然用较大的上下文尺度定义特征通常意味着更大的区分度，但它也可能导致特征的空间准确性降低。我们提出了AutoScaler，一个尺度注意力网络，以明确优化视觉对应任务中的这种权衡。我们的网络由一个计算多尺度特征映射的权重共享特征网络和一个在尺度空间中将它们最佳组合的注意力网络组成。这使得我们的网络能够在不同尺度的输入上具有自适应的感受野大小。整个网络在视觉对应任务的siamese框架中进行端到端的训练。我们的方法取得了良好的结果相比，国家的最先进的方法具有挑战性的光流和语义匹配基准，包括Sintel，KITTI和CUB-2011。我们还表明，我们的方法可以推广到改善手工制作的描述符（如雏菊）一般的视觉对应任务。最后，我们的注意力网络可以生成视觉上可解释的尺度注意力地图。
2016-11-17 cs.CV
Dual-Resolution Correspondence Networks
University of Oxford（牛津大学）
我们解决了在一对图像之间建立密集像素对应关系的问题。在这项工作中，我们引入了双分辨率对应网络（DualRC-Net），以粗到细的方式获得像素对应。DualRC-Net提取粗分辨率和细分辨率特征图。粗糙的映射用于产生完整但粗糙的4D相关张量，然后通过可学习的邻域共识模块进行细化。精细分辨率的特征图被用来获得最终的密集的对应关系的指导下，细化的粗糙的4D相关张量。所选择的粗分辨率匹配分数允许细分辨率特征仅关注具有高置信度的有限数量的可能匹配。通过这种方式，DualRC-Net大大提高了匹配可靠性和定位精度，同时避免了在精细分辨率特征图上应用昂贵的4D卷积核。我们在大规模的公共基准测试中全面评估了我们的方法，包括HPatches，InLoc和Aachen Day-Night。它在所有这些方面都取得了最先进的成果。
2020-10-28 cs.CV
NM-Net: Mining Reliable Neighbors for Robust Feature Correspondences
Huazhong University of Science and Technology（华中科技大学）；West Virginia University（西弗吉尼亚大学）
特征对应选择是计算机视觉中许多基于特征匹配的任务的关键。空间k-最近邻搜索是一种常见的策略，在许多以前的作品中提取局部信息。然而，不能保证对应的空间k-最近邻是一致的，因为假对应的空间分布通常是不规则的。为了解决这个问题，我们提出了一个兼容性特定的挖掘方法来搜索一致的邻居。此外，为了从邻居中提取和聚合更可靠的特征，我们提出了一种名为NM-Net的分层网络，该网络具有一系列以生成的图为输入的卷积层，对对应关系的顺序不敏感。我们的实验结果表明，该方法在具有不同内围值比率和不同特征一致性数量的四个数据集上实现了最先进的性能。
2019-03-31 cs.CV
GLU-Net: Global-Local Universal Network for Dense Flow and Correspondences
ETH Zürich（苏黎世联邦理工学院）
建立图像间的稠密对应是一个重要而普遍的问题，涉及几何匹配、光流和语义对应。虽然这些应用都面临着一些基本的挑战，例如大位移、像素精度和外观变化，但它们目前都是通过专门的网络架构来解决的，这些网络架构仅为一项特定任务而设计。这严重限制了这种网络对新场景的泛化能力，例如需要对更大位移或更高精度的鲁棒性。在这项工作中，我们提出了一个通用的网络架构，是直接适用于所有上述密集对应问题。我们实现了高精度和鲁棒性大位移调查的结合使用的全球和当地的相关层。我们还提出了一种自适应分辨率策略，允许我们的网络在几乎任何输入图像分辨率上运行。当使用相同的网络和权重时，所提出的GLU网络实现了几何和语义匹配以及光流的最先进的性能。代码和训练模型可在https://github.com/PruneTruong/GLU-Net上获得。
2021-04-05 cs.CV
Recurrent Transformer Networks for Semantic Correspondence
Yonsei University（延世大学）；Microsoft Research（微软研究院）；Ewha Womans University（梨花女子大学）
我们提出了经常性的Transformer网络（RTNs）获得语义相似的图像之间的密集对应。我们的网络通过迭代过程来实现这一点，该过程估计输入图像之间的空间变换，并使用这些变换来生成对齐的卷积激活。通过直接估计图像对之间的变换，而不是采用空间Transformer网络来独立地规范化每个单独的图像，我们表明，可以实现更高的精度。该过程以递归方式进行，以细化变换估计和特征表示。此外，提出了一种基于建议的分类损失的RTNs的弱监督训练技术。使用RTNs，在语义对应的几个基准上达到了最先进的性能。
2018-10-29 cs.CV
Meta Deformation Network: Meta Functionals for Shape Correspondence
New York University（纽约大学）
我们提出了一种新的技术，名为“Meta Deformation Network”的三维形状匹配通过变形，其中一个深神经网络映射到第二个神经网络的参数的参考形状，其任务是通过变形给出学习的模板和查询形状之间的对应关系。我们将第二个神经网络归类为元函数，或者由另一个函数生成的函数，因为它的参数是由第一个网络在每个输入的基础上动态给出的。这导致了一个简单的整体架构和更快的执行速度，而不会损失模板变形的质量。我们在我们的实验表明，Meta变形网络导致改进的MPI-FAUST帧间挑战的设计，利用传统的解码器设计，具有非动态参数。
2020-06-26 cs.CV
LeCoT: revisiting network architecture for two-view correspondence pruning
School of Computer Science and Engineering, Nanjing University of Science and Technology（南京理工大学计算机科学与工程学院）
本文提出双视图对应点修剪网络LeCoT，通过空间-通道融合Transformer模块和渐进式预测模块高效利用全局上下文信息，在多项几何任务中超越现有方法。
2025-11-10 cs.CV
Cascade Network with Guided Loss and Hybrid Attention for Finding Good Correspondences
National Key Laboratory of Science and Technology on Multispectral Information Processing（多光谱信息处理科学与技术国家重点实验室）
在许多基于特征的任务中，找到良好的对应关系是一个关键的先决条件。给定一个假定的对应集的图像对，我们提出了一个神经网络，发现正确的对应由一个二进制类分类器和估计相对姿态通过分类对应。首先，我们分析了由于正确和错误对应数的不平衡，损失函数对分类结果有很大的影响。因此，我们提出了一种新的指导损失，可以直接使用评估标准（Fn-测量）作为指导，在训练过程中动态调整目标函数。我们从理论上证明了引导损失与Fn-测度之间的完美负相关性，使得网络总是朝着增加Fn-测度的方向训练，以使其最大化。然后，我们提出了一种混合注意力块来提取特征，它集成了贝叶斯注意力上下文归一化（BACN）和通道注意力（CA）。BACN可以挖掘先验信息以更好地利用全局上下文，CA可以捕获复杂的信道上下文以增强网络的信道感知。最后，基于我们的引导损失和混合注意力块，设计了一个级联网络，以逐步优化的结果，以获得更优越的性能。实验表明，我们的网络在基准数据集上达到了最先进的性能。我们的代码将在https://github.com/wenbingtao/GLHA上提供。
2021-01-31 cs.CV
PARN: Pyramidal Affine Regression Networks for Dense Semantic Correspondence
Yonsei University（延世大学）；Ewha Womans University（梨花女子大学）
本文提出了一种用于密集语义对应的深层架构，称为金字塔仿射回归网络（PARN），它可以估计图像中局部变化的仿射变换场。为了处理同一对象类别中不同实例之间通常存在的类内外观和形状变化，我们利用金字塔模型，其中仿射变换场以从粗到细的方式逐步估计，以便在深度网络中自然地施加平滑度约束。PARN估计每个级别的残余仿射变换，并将它们组合以估计最终仿射变换。此外，为了克服语义对应训练数据不足的局限性，我们提出了一种新的弱监督训练方案，通过利用图像对之间的对应一致性来生成渐进式监督。我们的方法是完全可学习的，在一个端到端的方式，不需要量化无限连续仿射变换领域。据我们所知，这是第一个尝试在深度网络中以粗到细的方式估计密集仿射变换场的工作。实验结果表明，PARN优于国家的最先进的方法密集的语义对应在各种基准。
2018-08-01 cs.CV
Deformed Implicit Field: Modeling 3D Shapes with Learned Dense Correspondence
Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）
我们提出了一种新的变形隐式场（DIF）表示建模的三维形状的一个类别，并产生密集的形状之间的对应关系。使用DIF，3D形状由跨类别共享的模板隐式字段以及专用于每个形状实例的3D变形字段和校正字段来表示。形状对应可以很容易地建立使用它们的变形场。我们的神经网络，被称为DIF网络，共同学习形状潜在空间和属于一个类别的3D对象的这些字段，而不使用任何对应或部分标签。学习后的DIF-Net还可以提供反映形状结构差异的可靠对应不确定性度量。实验表明，DIF-Net不仅可以生成高保真的3D形状，还可以在不同形状之间建立高质量的密集对应关系。我们还展示了几个应用程序，如纹理传输和形状编辑，我们的方法实现了令人信服的结果，不能实现以前的方法。
2021-03-29 cs.CV
MuCAN: Multi-Correspondence Aggregation Network for Video Super-Resolution
The Chinese University of Hong Kong（香港中文大学）；Kuaishou Technology（快手科技）；Tsinghua University（清华大学）；SmartMore（思谋科技）
视频超分辨率（VSR）旨在利用多个低分辨率帧来为每个帧生成高分辨率预测。在这个过程中，帧间和帧内是利用时间和空间信息的关键来源。然而，现有的振动时效方法存在一些局限性。首先，通常使用光流来建立时间对应。但流量估计本身容易出错，影响恢复结果。其次，自然图像中存在的相似模式很少被用于VSR任务。基于这些发现，我们提出了一个时间多对应聚合策略，以利用跨帧的类似补丁，和跨尺度的非本地对应聚合方案，以探索跨尺度图像的自相似性。基于这两个新的模块，我们建立了一个有效的多对应聚合网络（MuCAN）的VSR。我们的方法在多个基准数据集上实现了最先进的结果。大量的实验证明了我们的方法的有效性。
2020-07-23 cs.CV
Learning shape correspondence with anisotropic convolutional neural networks
University of Lugano（卢加诺大学）；Institute of Computational Science（计算科学研究所）；Intel（英特尔）
建立形状之间的对应关系是几何处理中的一个基本问题，在各种各样的应用中出现。这个问题是特别困难的，在设置非等距变形，以及在拓扑噪声和丢失的部分的存在下，主要是由于有限的能力来建模这样的变形公理。最近的几项工作表明，复杂形状变换的不变性可以从例子中学习。本文介绍了一种基于各向异性扩散核的内在卷积神经网络结构，我们称之为各向异性卷积神经网络（ACNN）。在我们的构造中，我们通过构造一组定向各向异性扩散核来将卷积推广到非欧几里德域，以这种方式创建数据的局部固有极坐标表示（“补丁”），然后将其与过滤器相关。堆叠这样的滤波器、线性和非线性算子的若干级联以形成深度神经网络，其参数通过最小化任务特定成本来学习。我们使用ACNN来有效地学习在非常具有挑战性的设置中可变形形状之间的内在密集对应，在一些最困难的最近对应基准上实现了最先进的结果。
2016-05-20 cs.CV
Dynamic Context Correspondence Network for Semantic Alignment
ShanghaiTech University（上海科技大学）
建立语义对应是计算机视觉中的核心问题，并且由于类内变化大和缺乏注释数据而仍然具有挑战性。在本文中，我们的目标是将全球语义背景下，以灵活的方式，以克服现有的工作，依赖于本地语义表示的局限性。为此，我们首先提出了一个上下文感知的语义表示，结合了空间布局的鲁棒匹配对当地的歧义。然后，我们开发了一种新的动态融合策略的基础上注意力机制编织的本地和上下文特征的优势，通过集成多个尺度的语义线索。我们通过设计一个端到端可学习的深度网络来实例化我们的策略，称为动态上下文对应网络（DCCNet）。为了训练网络，我们采用了多辅助任务损失，以提高我们的弱监督学习过程的效率。我们的方法在几个具有挑战性的数据集（包括PF-Pascal，PF-Willow和TSS）上实现了优于以前方法的性能，证明了其有效性和通用性。
2019-09-08 cs.CV
Patch2Pix: Epipolar-Guided Pixel-Level Correspondences
Technical University of Munich（慕尼黑工业大学）；CIIRC Czech Technical University in Prague（布拉格捷克技术大学CIIRC）
用于视觉定位的经典匹配流水线通常涉及三个步骤：（i）局部特征检测和描述，（ii）特征匹配，以及（iii）离群值拒绝。最近出现的对应网络提出在单个网络内执行这些步骤，但由于内存瓶颈而遭受低匹配分辨率。在这项工作中，我们提出了一个新的角度来估计对应的检测到细化的方式，我们首先预测补丁级匹配的建议，然后完善它们。我们提出了Patch2Pix，一种新的细化网络，通过从这些建议定义的局部区域回归像素级匹配，并联合拒绝离群匹配与置信度得分来细化匹配建议。Patch2Pix是弱监督的，以学习与输入图像对的对极几何一致的对应关系。我们表明，我们的细化网络显着提高了图像匹配，单应性估计和定位任务的对应网络的性能。此外，我们还证明了我们的学习细化可以推广到完全监督的方法，而无需重新训练，这使我们获得了最先进的本地化性能。该代码可在https://github.com/GrumpyZhou/patch2pix上获得。
2021-03-26 cs.CV
Check and Link: Pairwise Lesion Correspondence Guides Mammogram Mass Detection
Peking University（北京大学）；Pazhou Laboratory (Huangpu)（（黄埔）琶洲实验室）；Peng Cheng Laboratory（鹏城实验室）；Yizhun Medical AI Co., Ltd（医准智能医疗人工智能有限公司）
由于乳腺癌的高发病率和高死亡率，在乳房X线摄影中检测肿块具有重要意义。在乳房X线照片肿块检测中，明确地对成对病变对应进行建模是特别重要的。然而，大多数现有的方法建立相对粗糙的对应关系，并没有利用对应监督。在本文中，我们提出了一个新的基于transformer的框架CL-Net，以端到端的方式学习病变检测和成对对应。在CL-Net中，视图交互式病变检测器被提出来实现跨候选交叉视图的动态交互，而病变链接器采用对应监督来更准确地指导交互过程。这两种设计的组合实现了对乳腺X线照片的成对病变对应的精确理解。实验表明，CL-Net在公共DDSM数据集和我们的内部数据集上具有最先进的性能。此外，它优于以前的方法在低FPI制度的大幅度。
2022-09-13 cs.CV
LT-Net: Label Transfer by Learning Reversible Voxel-wise Correspondence for One-shot Medical Image Segmentation
Xiamen University（厦门大学）；Tencent（腾讯）；Xi’an Jiaotong University（西安交通大学）；Macau University of Science and Technology（澳门科技大学）
我们引入了一个一次性分割方法，以减轻负担的手动注释的医学图像。其主要思想是将单次分割视为经典的基于图谱的分割问题，其中学习了从图谱到未标记数据的体素对应关系。随后，可以将图谱的分割标签转移到具有学习的对应关系的未标记数据。然而，由于图像之间的地面真实对应通常是不可用的，学习系统必须得到良好的监督，以避免模式坍塌和收敛失败。为了克服这个困难，我们诉诸于向前向后一致性，这是广泛使用的对应问题，并额外学习向后对应从扭曲的地图集回到原来的地图集。这种循环对应学习设计使各种额外的、基于循环一致性的监督信号能够使训练过程稳定，同时也提高了性能。我们通过全面的实验证明了我们的方法优于基于深度学习的单次分割方法和经典的多图谱分割方法。
2020-03-20 cs.CV
PDC-Net+: Enhanced Probabilistic Dense Correspondence Network
ETH Zurich（苏黎世联邦理工学院）
在一对图像之间建立鲁棒且准确的对应关系是具有许多应用的长期存在的计算机视觉问题。虽然经典的稀疏方法占主导地位，新兴的密集方法提供了一个引人注目的替代范式，避免了关键点检测步骤。然而，密集流估计往往是不准确的情况下，大位移，闭塞，或均匀的区域。为了将密集方法应用于现实世界的应用，例如姿态估计、图像处理或3D重建，因此，估计预测匹配的置信度至关重要。我们提出了增强的概率密集对应网络，PDC-Net+，能够估计准确的密集对应以及可靠的置信度图。我们开发了一种灵活的概率方法，共同学习流量预测及其不确定性。特别是，我们将预测分布参数化为约束混合模型，确保更好地建模准确的流量预测和离群值。此外，我们开发了一个架构和一个增强的训练策略，专为强大的和可推广的不确定性预测的自监督训练的背景下。我们的方法在多个具有挑战性的几何匹配和光流数据集上获得了最先进的结果。我们进一步验证了我们的概率置信度估计的有用性的任务的姿态估计，三维重建，基于图像的定位，和图像检索。代码和型号可在https://github.com/PruneTruong/DenseMatching上获得。
2021-09-29 cs.CV
Correspondence Networks with Adaptive Neighbourhood Consensus
University of Oxford（牛津大学）
在本文中，我们解决的任务，建立密集的视觉对应图像包含相同类别的对象之间。这是一个具有挑战性的任务，由于大的类内变化和缺乏密集的像素级注释。我们提出了一个卷积神经网络架构，称为自适应邻域共识网络（ANC-Net），可以用稀疏的关键点注释进行端到端的训练，以应对这一挑战。ANC-Net的核心是我们提出的非各向同性4D卷积核，它构成了用于鲁棒匹配的自适应邻域一致性模块的构建块。我们还在ANC-Net中引入了一个简单有效的多尺度自相似模块，使学习的特征对类内变化具有鲁棒性。此外，我们提出了一种新的正交损失，可以执行一对一的匹配约束。我们彻底评估了我们的方法在各种基准上的有效性，它大大优于最先进的方法。
2020-03-26 cs.CV
COTR: Correspondence Transformer for Matching Across Images
University of British Columbia（不列颠哥伦比亚大学）；Google Research（谷歌研究院）；University of Toronto（多伦多大学）
我们提出了一种基于深度神经网络的新型框架，用于查找图像中的对应关系，给定两张图像和其中一张图像中的查询点，该框架可以在另一张图像中找到其对应关系。通过这样做，可以选择仅查询感兴趣的点并检索稀疏对应，或者查询图像中的所有点并获得密集映射。重要的是，为了捕获局部和全局先验，并让我们的模型使用所述先验中最相关的图像区域之间的关系，我们使用Transformer实现我们的网络。在推理时，我们通过递归地放大估计值来应用我们的对应网络，从而产生一个能够提供高精度对应关系的多尺度管道。我们的方法在多个数据集和任务上的稀疏和密集对应问题上显着优于现有技术，范围从宽基线立体到光流，而无需对特定数据集进行任何重新训练。我们承诺发布数据、代码和所有必要的工具，从头开始训练并确保可重复性。
2021-08-17 cs.CV
GOCor: Bringing Globally Optimized Correspondence Volumes into Your Neural Network
ETH Zurich（苏黎世联邦理工学院）
特征相关层在许多涉及图像对之间密集对应关系的计算机视觉问题中充当关键的神经网络模块。它预测的对应体积通过评估从两个图像中的位置对提取的特征向量之间的密集标量积。然而，当消除图像中多个相似区域的歧义时，这种点对点的特征比较是不够的，严重影响了最终任务的性能。我们提出了GOCor，一个完全可区分的密集匹配模块，作为一个直接替代的功能相关层。我们的模块生成的对应体积是内部优化过程的结果，该过程明确说明了场景中的相似区域。此外，我们的方法是能够有效地学习空间匹配先验，以解决进一步的匹配歧义。我们分析我们的GOCor模块在广泛的烧蚀实验。当集成到最先进的网络中时，我们的方法在几何匹配、光流和密集语义匹配任务中的性能显著优于特征相关层。代码和训练模型将在github.com/PruneTruong/GOCor上提供。
2021-04-05 cs.CV
Multi-scale Matching Networks for Semantic Correspondence
Fudan University（复旦大学）；Shanghai Key Lab of Intelligent Information Processing（上海市智能信息处理重点实验室）；The University of Hong Kong（香港大学）
在以前的各种工作中，深度特征已经被证明在构建精确的密集语义对应方面是强大的。然而，卷积神经网络的多尺度和金字塔层次尚未被很好地研究以学习用于语义对应的有区别的像素级特征。在本文中，我们提出了一个多尺度匹配网络，是敏感的相邻像素之间的微小语义差异。我们遵循从粗到精的匹配策略，构建了一个自上而下的特征和匹配增强方案，该方案与深度卷积神经网络的多尺度层次结构相结合。在特征增强过程中，尺度内增强通过局部自注意将来自多个层的相同分辨率特征图融合在一起，而跨尺度增强沿着自上而下的层次结构产生更高分辨率的特征图。此外，我们在不同的尺度上学习互补的匹配细节，从而使整体的匹配分数逐渐被不同语义层次的特征所细化。我们的多尺度匹配网络可以很容易地进行端到端训练，只需很少的额外可学习参数。实验结果表明，该方法实现了最先进的性能在三个流行的基准与高计算效率。
2021-08-27 cs.CV
Learning Correspondence for Deformable Objects
本研究比较经典与学习型方法解决布料和绳索的像素对应问题，提出模拟框架、扩展Dense Object Nets的新方法及标准化比较，实验显示Dense Object Nets优于经典方法，扩展方法性能相当。
2024-05-28 cs.CV
$\mathbb{X}$Resolution Correspondence Networks
University of Oxford（牛津大学）；XYZ Reality（XYZ 公司）；Visual Geometry Group（视觉几何组）
在本文中，我们的目标是建立准确的密集对应一对图像重叠的视野下具有挑战性的照明变化，视点的变化，风格的差异。通过对最先进的对应网络进行广泛的消融研究，我们惊讶地发现，广泛采用的4D相关张量及其相关的学习和处理模块可以去参数化并从训练中删除，对最终匹配精度的影响很小。禁用这些计算昂贵的模块可以大大加快训练过程，并允许使用4倍大的批量大小，这反过来又补偿了准确性下降。结合多GPU推理阶段，我们的方法有助于系统地研究从1280到4K的本地测试图像的匹配精度和上采样分辨率之间的关系。这导致发现的最佳分辨率$\mathbb{X}$，产生准确的匹配性能超过了国家的最先进的方法，特别是在较低的误差带上的公共基准建议的网络的存在。
2021-03-24 cs.CV
Universal Correspondence Network
Stanford University（斯坦福大学）；NEC Laboratories America, Inc.（美国NEC实验室）
我们提出了一个深度学习框架，用于准确的视觉对应，并证明了其有效性的几何和语义匹配，跨越刚性运动到类内形状或外观变化。与之前基于CNN的方法优化代理补丁相似性目标相比，我们使用深度度量学习来直接学习保留几何或语义相似性的特征空间。我们的全卷积架构以及新颖的对应对比损失允许通过有效重用计算来实现更快的训练，通过使用每个图像对的数千个示例来实现精确的梯度计算，以及使用$O(n)$前馈传递对$n$关键点进行更快的测试，而不是使用$O(n^2)$进行典型的补丁相似性方法。我们提出了一个卷积空间Transformer来模仿SIFT等传统特征中的补丁归一化，这被证明可以显着提高跨类内形状变化的语义对应的准确性。在KITTI、PASCAL和CUB-2011数据集上进行的大量实验表明，我们的特征比使用手工构造或学习特征的先前作品具有显着优势。
2016-10-31 cs.CV
Convolutional Hough Matching Networks for Robust and Efficient Visual Correspondence
尽管在特征表示方面取得了进展，但利用几何关系对于在图像的大变化下建立可靠的视觉对应至关重要。在这项工作中，我们介绍了一个霍夫变换的卷积匹配的角度，并提出了一个有效的几何匹配算法，称为卷积霍夫匹配（CHM）。该方法将候选匹配的相似性分布在几何变换空间上，并以卷积方式对其进行评估。我们将其转换为一个具有半各向同性高维内核的可训练神经层，该层通过少量可解释参数学习非刚性匹配。为了进一步提高高维投票的效率，我们还建议使用一个有效的核分解与中心枢轴邻居，这显着稀疏所提出的半各向同性内核没有性能下降。为了验证所提出的技术，我们开发了具有CHM层的神经网络，该CHM层在平移和缩放空间中执行卷积匹配。我们的方法在语义视觉对应的标准基准上设置了一个新的艺术状态，证明了其对具有挑战性的类内变化的强大鲁棒性。
2021-09-11 cs.CV
FCSS: Fully Convolutional Self-Similarity for Dense Semantic Correspondence
Yonsei University（延世大学）；Chungnam National University（忠南国立大学）；Microsoft Research（微软研究院）
我们提出了一个描述符，称为全卷积自相似性（FCSS），密集的语义对应。为了在同一对象类中的不同实例之间鲁棒地匹配点，我们在全卷积网络中使用局部自相似性（LSS）来制定FCSS。与现有的基于CNN的描述符相比，由于其基于LSS的结构，FCSS本质上对类内外观变化不敏感，同时保持了深度神经网络的精确定位能力。局部结构的采样模式和自相似性度量在所提出的网络中以端到端和多尺度的方式联合学习。由于语义对应的训练数据相当有限，我们建议利用现有图像数据集中提供的对象候选先验以及对象对之间的对应一致性来实现弱监督学习。实验表明，FCSS优于传统的手工描述符和基于CNN的描述符在各种基准测试。
2017-02-03 cs.CV
Dual Mesh Convolutional Networks for Human Shape Correspondence
Inria（法国国家信息与自动化研究所）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）；Univ. Rennes（雷恩大学）；IRISA（雷恩信息与自动化研究所）；M2S（运动、健康与社会实验室）；Facebook AI Research（脸书人工智能研究实验室）
卷积网络对于常规数据结构（例如2D图像和3D体素网格）非常成功。然而，由于网格的不规则结构，转换到网格并不简单。我们将探讨如何利用三角形网格的对偶、基于面的表示作为图卷积网络的数据结构。在对偶网格中，每个节点（面）都有固定数量的邻居，这使得网络不太容易在网格拓扑上过拟合，并且还允许使用自然定义在面上的输入特征，例如曲面法线和面面积。我们评估的双重方法上的形状对应任务的浮士德人体形状数据集和它的变体与不同的网格拓扑结构。我们的实验表明，当定义在对偶网格而不是原始网格上时，图卷积网络的结果会有所改善。此外，我们的模型，明确利用邻域规则性的双重网格允许进一步改善结果，同时更强大的网格拓扑结构的变化。
2021-10-16 cs.CV
Graph Structured Network for Image-Text Matching
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；University of Science and Technology of China（中国科学技术大学）；Xiaomi AI Lab（小米人工智能实验室）
图文匹配作为视觉和语言之间的桥梁，越来越受到人们的关注。关键的挑战在于如何学习图像和文本之间的对应关系。现有的作品学习粗糙的对应关系的基础上对象共现统计，而无法学习细粒度的短语对应关系。在本文中，我们提出了一种新的图结构匹配网络（GSMN）学习细粒度的对应。GSMN将对象、关系和属性显式地建模为结构化短语，不仅可以分别学习对象、关系和属性的对应关系，而且有利于学习结构化短语的细粒度对应关系。这通过节点级匹配和结构级匹配来实现。节点级匹配将每个节点与来自另一模态的其相关节点相关联，其中节点可以是对象、关系或属性。然后，相关节点通过在结构级匹配处融合邻域关联来联合推断细粒度对应。综合实验表明，GSMN在基准测试中的性能优于最先进的方法，在Flickr30K和MSCOCO上的相对Recall@1分别提高了近7%和2%。代码将在https://github.com/CrossmodalGroup/GSMN上发布。
2020-04-01 cs.CV
Insertion Network for Image Sequence Correspondence
Vanderbilt University（范德比大学）；University of Portsmouth（波特兰大学）
该研究提出了一种基于插入网络的图像序列对应方法，用于提高三维体积中切片定位的准确性，通过上下文信息建模实现比现有方法更精确的切片定位。
2026-02-13 cs.CV
Hybrid-S2S: Video Object Segmentation with Recurrent Networks and Correspondence Matching
TU Kaiserslautern（凯泽斯劳滕工业大学）；DFKI GmbH（德国人工智能研究中心有限公司）
单次视频对象分割（One-shot Video Object Segmentation，VOS）是在视频序列中逐像素跟踪感兴趣对象的任务，其中第一帧的分割掩码在推理时给出。近年来，递归神经网络（RNN）已被广泛用于VOS任务，但它们经常受到诸如漂移和错误传播等限制。在这项工作中，我们研究了基于RNN的架构，并通过提出一种名为HS 2S的混合序列到序列架构来解决其中的一些问题，该架构利用双掩码传播策略，允许将从对应匹配中获得的信息合并。我们的实验表明，用对应匹配来增强RNN是减少漂移问题的一种非常有效的解决方案。额外的信息有助于模型预测更准确的掩码，并使其对错误传播具有鲁棒性。我们在DAVIS 2017数据集以及Youtube-VOS上评估了我们的HS 2S模型。在后者中，我们在VOS中基于RNN的最先进方法的整体分割准确度上实现了11.2pp的改进。我们分析了我们的模型在具有挑战性的情况下的行为，如遮挡和长序列，并表明我们的混合架构显着提高了分割质量，在这些困难的情况下。
2020-11-07 cs.CV
Mammography Dual View Mass Correspondence
IBM Research（IBM研究院）
标准的乳腺癌筛查涉及为每个乳房采集两个乳房X射线摄影投影。通常，两种视图的比较支持肿瘤检测和定位的挑战性任务。我们引入了一种深度学习、基于块的Siamese网络，用于双视图乳腺X射线摄影中的病变匹配。我们的本地拟合方法生成一个联合补丁对表示和比较与两个视图之间的共享配置。我们在标准数据集上使用该网络进行了一系列全面的实验，其中包括大型数字数据库筛查乳腺X射线摄影（DDSM）。分析了不同类型数据集之间的网络迁移学习效果，并将基于网络的匹配与基于模板匹配的欧氏距离进行了比较。最后，我们评估了匹配网络在完整检测管道中的贡献。实验结果表明，使用我们的方法提高检测精度的承诺。
2018-07-02 cs.CV
