Noisy Correspondence Learning with Meta Similarity Correction
Xi’an Jiaotong University(西安交通大学)
本文提出元相似性校正网络MSCN,通过元学习二分类过程学习可靠相似性分数,并结合基于元数据先验的数据净化策略去除噪声样本,在Flickr30K、MS-COCO和Conceptual Captions上验证了其在噪声对应学习中的有效性。
2023-04-13 cs.CV cs.MM
Universal Correspondence Network
Stanford University(斯坦福大学);NEC Laboratories America, Inc.(美国NEC实验室)
我们提出了一个深度学习框架,用于准确的视觉对应,并证明了其有效性的几何和语义匹配,跨越刚性运动到类内形状或外观变化。与之前基于CNN的方法优化代理补丁相似性目标相比,我们使用深度度量学习来直接学习保留几何或语义相似性的特征空间。我们的全卷积架构以及新颖的对应对比损失允许通过有效重用计算来实现更快的训练,通过使用每个图像对的数千个示例来实现精确的梯度计算,以及使用$O(n)$前馈传递对$n$关键点进行更快的测试,而不是使用$O(n^2)$进行典型的补丁相似性方法。我们提出了一个卷积空间Transformer来模仿SIFT等传统特征中的补丁归一化,这被证明可以显着提高跨类内形状变化的语义对应的准确性。在KITTI、PASCAL和CUB-2011数据集上进行的大量实验表明,我们的特征比使用手工构造或学习特征的先前作品具有显着优势。
2016-10-31 cs.CV
Iterative Global Similarity Points : A robust coarse-to-fine integration solution for pairwise 3D point cloud registration
Wuhan University(武汉大学)
在本文中,我们提出了一个由粗到细的集成解决方案的启发经典ICP算法,两个改进的混合度量空间(例如,BSC特征和欧几里得几何空间)和全局最佳对应匹配的成对3D点云配准。首先,我们检测点云的关键点,并使用二进制形状上下文(BSC)描述符来编码其局部特征。然后,我们制定的对应匹配任务作为一个能量函数,它模拟的BSC特征和欧氏几何的混合空间上的关键点的全局相似性。然后,我们通过Kuhn-Munkres算法优化能量函数来估计全局最优对应,然后基于对应计算变换。最后,通过最优对应匹配和变换计算相互补充,迭代地优化两点云之间的变换,实现统一框架下的粗到精配准。综合实验结果表明,该算法具有良好的性能,在旋转和平移误差方面均优于现有方法。
2018-08-12 cs.CV
Comparing and Integrating Different Notions of Representational Correspondence in Neural Systems
Department of Computer Science(计算机科学系);Department of Electrical(电气系);Department of Cognitive Science, UC San Diego, San Diego, CA 92037, USA(认知科学系,UC San Diego,圣地亚哥,CA 92037,USA)
本文提出通过整合不同表征对应性度量,提升神经系统中结构分离和层次组织识别的准确性。
2026-02-21 cs.AI cs.CV
Epipolar Geometry Based On Line Similarity
The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
众所周知,核几何可以从三个核线对应计算,但这种计算在实践中很少使用,因为没有简单的方法来找到相应的线。相反,用于找到对应点的方法被广泛使用。本文提出了一种线之间的相似性度量,指示两条线是否是对应的对极线,并能够根据需要找到对极线对应,用于对极几何的计算。先前已经描述了适用于动态场景的视频序列的两条线之间的相似性度量。本文提出了一种适用于图像的立体匹配相似性度量方法。它基于两条线之间的立体匹配的质量,因为对应的核线产生良好的立体对应。当给出两个对应的点对时,搜索空间大大减小,而不是在所有可能的线对上进行穷举搜索。我们使用真实世界的图像验证所提出的方法,并将其与最先进的方法进行比较。我们发现,与使用7个对应点的标准方法相比,该方法的准确度提高了5倍,与8点算法相当。
2017-01-08 cs.CV
Disentangled Noisy Correspondence Learning
State Grid Shaanxi Electric Power Company Limited(国网陕西省电力公司);State Grid Corporation of China(国家电网有限公司);University of Science and Technology of China(中国科学技术大学);Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)(穆罕默德·本·扎耶德人工智能大学);Baidu Inc(百度公司)
针对跨模态检索中噪声对应及模态专属信息干扰相似度预测的问题,提出信息论框架DisNCL,通过可证明最优的跨模态解耦平衡信息提取,结合软匹配目标实现抗噪对齐,平均召回率提升2%。
2024-08-10 cs.AI cs.CV
Exploring Set Similarity for Dense Self-supervised Representation Learning
University of Sydney(悉尼大学);Kuaishou Technology(快手科技);Xidian University(西安电子科技大学);University of Melbourne(墨尔本大学)
通过考虑空间对应性,密集自监督表示学习在各种密集预测任务上取得了优异的性能。然而,像素级对应往往是嘈杂的,因为许多类似的误导像素,例如,背景为了解决这个问题,在本文中,我们建议探索\textbf{set} \textbf{sim} ilarity(SetSim)的密集自监督表示学习。由于集合包含更多的语义和结构信息,我们将像素相似性学习推广到集合相似性学习,以提高鲁棒性。具体来说,通过诉诸注意力的意见,我们建立相应的集,从而过滤掉嘈杂的背景,可能会导致不正确的对应关系。同时,这些注意特征可以保持同一图像在不同视角下的一致性,以缓解语义不一致。我们进一步搜索集合的交叉视图最近邻,并采用结构化的邻域信息来增强鲁棒性。实验结果表明,SetSim在目标检测、关键点检测、实例分割和语义分割方面优于现有的方法。
2022-03-14 cs.CV
BiCro: Noisy Correspondence Rectification for Multi-modality Data via Bi-directional Cross-modal Similarity Consistency
University of Technology Sydney(悉尼科技大学);Harbin Institute of Technology(哈尔滨工业大学);National University Singapore(新加坡国立大学);The University of Sydney(悉尼大学)
针对多模态匹配训练中互联网收集的共现数据对存在错配噪声的问题,提出名为BiCro的通用框架,通过双向跨模态相似性一致性估计软标签,可集成到现有模型中提升噪声鲁棒性,在三个数据集上显著优于现有最优方法。
2023-06-08 cs.CV
Space-Time Correspondence as a Contrastive Random Walk
UC Berkeley(加州大学伯克利分校);University of Michigan(密歇根大学)
本文提出了一种简单的自监督方法,用于从原始视频中学习视觉对应的表示。我们将对应关系转换为从视频构建的时空图中的链接预测。在该图中,节点是从每个帧采样的补丁,并且在时间上相邻的节点可以共享有向边。我们学习了一种表示,其中成对相似性定义了随机游走的转移概率,因此长距离对应关系被计算为沿着图的游走。我们优化了表示,将高概率沿路径相似。学习的目标是在没有监督的情况下通过循环一致性形成的:目标是在沿着由回文帧构造的图行走时最大化返回到初始节点的可能性。因此,单个路径级约束隐含地监督中间比较链。当用作没有自适应的相似性度量时,学习的表示在涉及对象、语义部分和姿势的标签传播任务上优于自监督的最先进技术。此外,我们证明了一种我们称之为边缘丢弃的技术,以及在测试时的自监督适应,进一步提高了以对象为中心的通信的传输。
2020-12-03 cs.CV cs.LG eess.IV
Finding More Relevance: Propagating Similarity on Markov Random Field for Image Retrieval
Beijing University of Posts and Telecommunications(北京邮电大学);Raytheon BBN Technologies(雷神BBN技术公司);Tianjing University(天津大学)
如何从大规模的语料库中高效、准确地检索对象是一个具有挑战性的课题。在本文中,我们提出了一种方法,传播视觉特征水平的相似性的马尔可夫随机场(MRF),以获得高层次的对应关系,在图像空间中的图像对。所提出的图像对之间的对应关系不仅反映了底层视觉特征的相似性,而且还反映了数据库中其他图像之间的关系,并且可以很容易地集成到现有的基于视觉词袋(BoW)的系统中,以降低丢失率。我们在标准的Oxford-5 K,Oxford-105 K和Paris-6 K数据集上评估了我们的方法。实验结果表明,该方法在三个数据集上的检索准确率都有明显提高,超过了当前最先进的检索性能。
2013-12-26 cs.CV
Similarity Registration Problems for 2D/3D Ultrasound Calibration
University College London(伦敦大学学院)
我们提出了两组3D线之间以及一组共面点和一组3D线之间的相似性配准(刚性姿态和比例)的最小解决方案。第一个问题是解决了8个离散的解决方案,最少有2个线-线对应,而第二个是解决了4个离散的解决方案,使用4个点-线对应。我们使用这些算法来执行姿态跟踪传感器和2D/3D超声(US)曲线探头使用跟踪针作为校准目标之间的外部校准。针被跟踪为3D线,并且被超声扫描为3D线(3D US)或2D点(2D US)。由于将US扫描单位转换为度量坐标的比例因子是未知的,因此将校准公式化为相似性配准问题。我们目前的结果与合成和真实的数据,并表明,最小的解决方案优于相应的非最小的线性配方。
2016-07-31 cs.CV
Guiding Registration with Emergent Similarity from Pre-Trained Diffusion Models
UNC Chapel Hill(北卡罗来纳大学教堂山分校);UCSD(加州大学圣地亚哥分校)
本文提出利用预训练扩散模型的特征作为语义相似性度量来引导可变形图像配准,解决了基于强度的损失在解剖结构缺失场景下失效的问题,并在多模态2D和单模态3D配准任务上验证了优越性能。
2025-06-03 cs.CV
DASC: Robust Dense Descriptor for Multi-modal and Multi-spectral Correspondence Estimation
Yonsei University(延世大学);Chungnam National University(忠南国立大学);INRIA(法国国家信息与自动化研究所);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
在多个图像之间建立密集的对应关系是许多应用中的基本任务。然而,由于其具有挑战性的光度和几何变化,在多模态或多光谱图像中找到可靠的对应关系仍然没有解决。在本文中,我们提出了一种新的密集描述,称为密集自适应自相关(DASC),估计多模态和多光谱密集对应。基于观察到图像内存在的自相似性对成像模态变化是鲁棒的,我们定义了描述符与一系列的自适应自相关相似性度量由随机感受野池采样的补丁之间,其中采样模式是使用判别式学习获得的。密集描述符的计算冗余显着减少应用快速边缘感知过滤。此外,为了解决几何变化,包括缩放和旋转,我们提出了一个几何不变的DASC(GI-DASC)描述符,有效地利用DASC通过基于超像素的表示。为了定量评估GI-DASC,我们建立了一个新的多模态基准作为不同的光度和几何条件。实验结果表明DASC和GI-DASC在多模态和多光谱密集对应的许多情况下具有出色的性能。
2016-04-27 cs.CV
Using Structural Similarity and Kolmogorov-Arnold Networks for Anatomical Embedding of Cortical Folding Patterns
University of Texas at Arlington(德克萨斯大学阿灵顿分校);Indiana University Indianapolis(印第安纳大学印第安纳波利斯分校);University of Georgia(佐治亚大学)
本文提出一种基于结构相似性和Kolmogorov-Arnold网络的自监督框架,用于三叉脑回解剖特征嵌入,以建立跨受试者对应关系,实验证明有效。
2025-02-23 cs.AI cs.CV
Investigating Fine- and Coarse-grained Structural Correspondences Between Deep Neural Networks and Human Object Image Similarity Judgments Using Unsupervised Alignment
Graduate School of Arts and Science, University of Tokyo(东京大学艺术与科学研究生院)
该研究利用无监督对齐方法比较人类与深度神经网络在物体表示上的细粒度和粗粒度对应关系,发现CLIP模型在细粒度和粗粒度层面均能实现强匹配,而自监督模型在粗粒度层面仍能形成人类类别结构。
2025-05-22 cs.AI cs.CV
MedDIFT: Multi-Scale Diffusion-Based Correspondence in 3D Medical Imaging
1 School of Computation, Information;Technology, Technical University of Munich 2 Institute of Machine Learning in Biomedical Imaging, Helmholtz Munich 3 Munich Center for Machine Learning (MCML) 4 Institute for Diagnostic;Interventional Radiology, Klinkum Rechts der Isar 5 School of Biomedical Engineering \& Imaging Sciences, King’s College London
MedDIFT通过多尺度扩散特征融合实现无需训练的3D医学影像对应,有效提升解剖结构匹配精度。
2026-02-23 cs.CV
Evaluating Representational Similarity Measures from the Lens of Functional Correspondence
University of California, San Diego(加州大学圣地亚哥分校);University of Pennsylvania(宾夕法尼亚大学)
本研究从功能对应性视角评估了八种表征相似性度量,发现强调几何结构的线性CKA和Procrustes距离在区分模型训练状态及与行为对齐上优于线性预测性,为NeuroAI研究中的度量选择提供了关键指导。
2025-09-14 cs.AI cs.CV q-bio.NC
Learning Multi-Modal Volumetric Prostate Registration with Weak Inter-Subject Spatial Correspondence
University of Magdeburg(马格德堡大学);University Hospital Magdeburg(马格德堡大学医院)
最近的研究表明,卷积神经网络(CNN)解决图像配准问题的资格。CNN可以实现更快的转换估计和更大的泛化能力,以便在医疗干预期间提供更好的支持。传统的全监督训练需要大量高质量的地面实况数据,例如体素到体素的转换,这通常是以过于繁琐和容易出错的方式实现的。在我们的工作中,我们使用弱监督学习,它仅通过分割掩码间接优化模型,而分割掩码是比变形场更容易获得的基础事实。关于弱监督,我们研究了两个分割相似性度量:多尺度骰子相似性系数(mDSC)和分割导出的符号距离图(SDM)之间的相似性。我们表明,mDSC和SDM相似性措施的组合,结果在一个更准确和自然的转换模式,以及更强的梯度覆盖。此外,我们引入了一个辅助输入的神经网络的先验信息的前列腺位置的MR序列,这主要是术前。这种方法明显优于标准的双输入模型。使用弱标记的MR-TRUS前列腺数据,我们显示出与最先进的基于深度学习的方法相当的配准质量。
2021-02-09 cs.CV cs.LG eess.IV
Best Segmentation Buddies for Image-Shape Correspondence
University of Chicago(芝加哥大学)
本文研究了在真实图像和无纹理3D形状之间估计分割到分割对应关系的任务,通过将图像像素与3D形状顶点链接,利用深度视觉特征进行特征相似性计算,从而实现跨模态的对应关系发现。
2026-05-18 cs.CV cs.GR
PCSR: Pseudo-label Consistency-Guided Sample Refinement for Noisy Correspondence Learning
本文提出PCSR框架,通过伪标签一致性提升对应可靠性,解决噪声对应问题,提升检索鲁棒性。
2026-04-08 cs.CV
EpO-Net: Exploiting Geometric Constraints on Dense Trajectories for Motion Saliency
Information Technology University(信息技术大学);KeepTruckin, Inc(KeepTruckin公司);Australian National University(澳大利亚国立大学)
现有的显著运动分割方法不能明确地学习几何线索,并且经常对显著的静态对象进行错误检测。我们利用多视图的几何约束,以避免这样的缺点。为了处理像海洋这样的非刚性背景,我们还提出了一种基于运动和外观特征的鲁棒融合机制。我们发现密集的轨迹,覆盖视频中的每个像素,并提出基于几何的核线距离来区分背景和前景区域。轨迹核线距离是数据无关的,并且可以很容易地计算出图像之间的一些特征的对应关系。我们表明,通过结合极线距离与光流,一个强大的运动网络可以学习。使网络能够利用这两个功能,我们提出了一个简单的机制,我们称之为输入丢弃。与仅运动网络相比,我们在DAVIS-2016数据集上的平均IoU得分比之前的最先进网络高出5.2%。通过使用输入丢弃机制将我们的运动网络与外观网络进行鲁棒融合,我们在DAVIS-2016,2017和Segtrackv 2数据集上的表现也优于以前的方法。
2020-01-18 cs.CV
Anchor Divergence for Semantic Geometry in Contrastive Learning
University of Chicago(芝加哥大学)
本文提出锚点散度方法,通过对比学习、指数族与信息几何的对应,在固定表示上定义上下文相关的语义几何,实验证明其能高效指定特定语义相似性。
2026-10-07 cs.AI cs.CV cs.LG
Unsupervised Template-assisted Point Cloud Shape Correspondence Network
University of Science and Technology of China(中国科学技术大学);Deep Space Exploration Lab(深空探测实验室)
针对非刚性物体变形导致点云形状对应困难的问题,提出无监督模板辅助网络TANet,通过模板生成模块与模板辅助模块从多视角建立更准确的逐点对应关系,在四个数据集上表现优异。
2024-03-25 cs.CV
Algorithms to automatically quantify the geometric similarity of anatomical surfaces
University of Helsinki(赫尔辛基大学)
提出利用局部结构和全局几何关系自动计算二维表面间距离与对应关系的多项式算法,无需人工标记,实现大规模数字化表面的高效比较。
2012-03-15 cs.CV cs.GR cs.NA
Multi-Region Probabilistic Dice Similarity Coefficient using the Aitchison Distance and Bipartite Graph Matching
Simon Fraser University(西蒙弗雷泽大学)
图像分割方法的有效性是至关重要的。概率图像分割越来越受欢迎,因为它捕捉结果中的不确定性。支持多区域(与二进制相反)描绘的图像分割方法更有利,因为它们捕获图像中不同对象之间的相互作用。Dice相似系数(DSC)是一种流行的度量标准,用于通过将自动或半自动分割方法的结果与地面实况进行比较来评估其准确性。在这项工作中,我们开发了一个扩展的DSC多区域概率分割(无序标签)。我们使用二分图匹配建立标签对应,并提出了两个功能,扩展DSC,一个基于绝对概率差和一个基于艾奇逊距离。这些提供了多区域概率分割精度的鲁棒且准确的测量。
2015-10-13 cs.CV
LGU-SLAM: Learnable Gaussian Uncertainty Matching with Deformable Correlation Sampling for Deep Visual SLAM
School of Computer Science and Engineering, University of Electronic Science and Technology of China(电子科技大学计算机科学与工程学院)
针对深度视觉SLAM中不确定区域模糊相似性干扰导致匹配噪声大的问题,提出带可变形相关采样与KAN偏置GRU的可学习高斯不确定性匹配方法,提升匹配精度与建图效果。
2024-10-30 cs.CV
Descriptive Image-Text Matching with Graded Contextual Similarity
本文提出DITM方法,利用TF-IDF计算句子描述性得分,通过细化假阴性标注和按概括到具体顺序对齐句子,在分级上下文相似度下实现更鲁棒的图像-文本匹配,并在多个基准上验证了其有效性。
2025-11-10 cs.CV
Zero in on Shape: A Generic 2D-3D Instance Similarity Metric learned from Synthetic Data
Fraunhofer HHI(弗劳恩霍夫海因里希·赫兹研究所)
提出一种基于视图描述符和孪生网络的架构,仅用合成数据训练即可实现RGB图像与无纹理3D模型的零样本形状检索,其性能可媲美实例感知模式。
2021-08-09 cs.CV
Evaluating (and improving) the correspondence between deep neural networks and human representations
University of California, Berkeley(加州大学伯克利分校)
几十年的心理学研究一直致力于为人们学习特征和类别的方式建模。这些理论的实证验证往往是基于人工刺激与简单的表征。最近,深度神经网络在识别自然图像中的物体等任务上已经达到或超过了人类的准确性。这些网络学习真实世界刺激的表征,这些表征可能被用来捕捉心理表征。我们发现,最先进的对象分类网络提供了惊人的准确预测人类对自然图像的相似性判断,但未能捕捉到一些人所代表的结构。我们表明,一个简单的变换,纠正这些差异,可以通过凸优化。我们使用由此产生的表示来预测学习自然图像的新类别的难度。我们的研究结果扩展了心理学实验和计算建模的范围,使大自然刺激集易于使用。
2018-07-24 cs.CV
Modality-Agnostic Structural Image Representation Learning for Deformable Multi-Modality Medical Image Registration
DAMO Academy, Alibaba Group(阿里巴巴达摩院);Hupan Lab(湖畔实验室);College of Computer Science and Technology, Zhejiang University, China(浙江大学计算机科学与技术学院);Shengjing Hospital of China Medical University, China(中国医科大学附属盛京医院)
本文提出模态无关的结构表示学习方法,结合深度邻域自相似性和解剖感知对比学习,在无需标注或预对齐的情况下学习判别性深度结构表示,并在多期相CT、腹部MR-CT和脑MR配准中取得优于传统方法的精度。
2024-04-01 cs.CV
Cross-Scale Cost Aggregation for Stereo Matching
Tsinghua University(清华大学);National University of Singapore(新加坡国立大学);Advance Digital Science Center(先进数字科学中心);University of Texas at San Antonio(得克萨斯大学圣安东尼奥分校)
人类在多个尺度上处理立体对应。然而,这种生物灵感被用于密集立体对应的最先进的成本聚合方法所忽略。在本文中,一个通用的跨尺度成本汇总框架,提出了允许多尺度的成本汇总的互动。我们首先从统一的优化角度重新制定成本聚合,并表明不同的成本聚合方法在相似核的选择上有本质的不同。然后,一个跨尺度正则化被引入到优化和解决这个新的优化问题导致所提出的框架。由于正则化项独立于相似性核,因此各种成本聚合方法可以集成到所提出的一般框架中。我们表明,跨尺度框架是重要的,因为它有效地和高效地扩展了最先进的成本汇总方法,并导致显着的改善,在Middlebury,KITTI和新筑波数据集进行评估时。
2014-03-03 cs.CV
Iterative Distance-Aware Similarity Matrix Convolution with Mutual-Supervised Point Elimination for Efficient Point Cloud Registration
Washington University in St. Louis(圣路易斯华盛顿大学);Megvii Inc.(旷视科技)
在本文中,我们提出了一种新的基于学习的管道部分重叠的三维点云配准。该模型包括一个迭代的距离感知相似性矩阵卷积模块,将来自特征和欧几里得空间的信息合并到成对点匹配过程中。这些卷积层学习基于整个几何特征的联合信息和每个点对的欧几里得偏移来匹配点,克服了简单地采用特征向量的内积进行匹配的缺点。此外,一个两阶段的学习点消除技术,以提高计算效率,减少误报对应对。提出了一种新的相互监督损失训练模型没有额外的注释的关键点。管道可以很容易地与传统(例如FPFH)和基于学习的功能集成。部分重叠和噪声点云配准的实验表明,我们的方法优于目前的最先进的,同时更计算效率。代码可在https://github.com/jiahaowork/idam上公开获取。
2020-08-06 cs.CV
Deep Spectral Correspondence for Matching Disparate Image Pairs
The University of Georgia(佐治亚大学);Netaji Subhas Institute of Technology(内塔吉·苏巴斯理工学院);Technische Universitat Darmstadt(达姆施塔特工业大学)
提出了一种新的、基于非学习的、显著性感知的、形状认知的对应确定技术,用于匹配本质上明显不同的图像对。现实世界中的图像在尺度、方向、视点、光照和仿射投影参数等方面往往表现出高度的变化,并且常常伴随着无纹理区域的存在以及场景对象的完全或部分遮挡。上述条件通过使得使用全局基于轮廓的描述符或局部像素级特征来建立对应性不切实际而混淆了大多数对应性确定技术。建议的深谱对应(DSC)确定方案利用局部特征描述符的代表性的权力,以获得一个复杂的高层次的全球形状表示匹配不同的图像。该方案的原因不同的图像之间的对应关系,使用高级别的全球形状线索来自低级别的本地特征描述符。因此,所提出的方案享有两全其美的好处,即,对仿射参数(例如,由全局形状线索提供的尺度、方向、视点、照明)的高度不变性以及对由低级特征描述符提供的遮挡的鲁棒性。虽然所提出的方案中的基于形状的组件推断要寻找什么,但一个额外的基于显着性的组件规定了要看哪里,从而解决了无纹理区域和复杂背景的存在所引起的噪声对应。在所提出的方案中,使用在外观中的兴趣点之间计算的距离来构造联合图像图(即,图像)空间。联合图像图的本征谱分解允许在外观空间和本征空间中联合执行关于形状相似性的推理。
2018-09-12 cs.CV
Pairwise Point Cloud Registration using Graph Matching and Rotation-invariant Features
Technical University of Munich(慕尼黑工业大学);The Hong Kong Polytechnic University(香港理工大学);Tongji University(同济大学)
配准是点云处理中的一项基本而关键的任务,它通常依赖于从两个点云中找到元素对应。然而,找到可靠的对应关系依赖于建立一个强大的和有区别的描述元素和正确匹配的相应元素。在这封信中,我们开发了一种由粗到细的配准策略,该策略利用旋转不变特征和一种新的加权图匹配方法来迭代查找对应关系。在图匹配方法中,利用欧氏空间和特征空间中节点和边的相似度来构造优化函数。所提出的策略进行评估,使用两个基准数据集,并与几个国家的最先进的方法进行比较。关于实验结果,我们提出的方法可以实现一个精细的注册与旋转误差小于0.2度和平移误差小于0.1米。
2021-05-05 cs.CV
SimNP: Learning Self-Similarity Priors Between Neural Points
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Saarland University(萨尔大学)
针对现有三维重建神经场方法的两类缺陷,提出融合类别级自相似性与神经点辐射场的SimNP方法,可提升未观测对称区域重建效果并提供实例语义对应。
2024-07-12 cs.CV
PAUL: Uncertainty-Guided Partition and Augmentation for Robust Cross-View Geo-Localization under Noisy Correspondence
National University of Defense Technology(国防科技大学);Shenzhen Loop Area Institute(深圳河套学院);School of Artificial Intelligence, The Chinese University of Hong Kong, Shenzhen(香港中文大学深圳人工智能学院);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学深圳研究院)
本文提出PAUL框架,通过不确定性感知的共增强和证据共训练,解决跨视图地理定位中的噪声对应问题,提升鲁棒性。
2026-03-23 cs.CV
Shape-of-You: Fused Gromov-Wasserstein Optimal Transport for Semantic Correspondence in-the-Wild
本文提出Shape-of-You框架,通过融合Gromov-Wasserstein优化传输解决语义对应问题,利用3D基础模型提升几何结构一致性,通过软目标损失增强鲁棒性,在SPair-71k和AP-10k数据集上取得新突破。
2026-03-16 cs.CV cs.LG
SPColor: Semantic Prior Guided Exemplar-based Image Colorization
Beijing University of Posts and Telecommunications(北京邮电大学)
SPColor提出语义先验引导的示例上色框架,通过伪类别局部匹配和相似性掩码感知损失减少误匹配,无需人工标注即可在公开数据集上超越现有方法。
2023-11-29 cs.CV
Duality Diagram Similarity: a generic framework for initialization selection in task transfer learning
Goethe University Frankfurt(法兰克福歌德大学);Free University Berlin(柏林自由大学);Singapore University of Technology and Design(新加坡科技设计大学)
在本文中,我们解决了迁移学习中的一个开放性研究问题,即在给定几个预训练模型的情况下,选择模型初始化以在新任务上实现高性能。提出了一种基于深度神经网络(DNN)之间的对偶图相似性(DDS)的高效、准确的新方法。DDS是一个通用的框架来表示和比较不同特征维度的数据。我们通过测量17个taskonomy任务的实际迁移学习性能排名与预测排名之间的对应关系,在Taskonomy数据集上验证了我们的方法。计算$17\times17$传输的基于DDS的排名需要不到2分钟,并且显示出与实际迁移学习排名的高度相关性($0.86$),在Taskonomy基准测试中,其表现远远优于最先进的方法($10\%$)。我们还证明了我们的模型选择方法的鲁棒性的一个新的任务,即Pascal VOC语义分割。此外,我们表明,我们的方法可以应用于选择DNN内的最佳层位置,用于NYUv2和Pascal VOC数据集上的2D,3D和语义任务的迁移学习。
2020-08-05 cs.CV cs.LG
A Stable Minutia Descriptor based on Gabor Wavelet and Linear Discriminant Analysis
Kim Il Sung University(金日成综合大学)
细节点描述子是描述指纹细节点特征的一种方法,在指纹识别中起着重要的作用。通常,指纹识别系统采用细节描述符来找到细节之间的潜在对应关系,并且它们使用两个细节描述符之间的相似性来计算两个指纹图像之间的总体相似性。一个好的细节描述子可以提高指纹识别系统的识别精度,并大大减少比对时间。一个好的细节点描述符应该具有很高的区分不同细节点的能力,同时应该在包括低质量图像和小尺寸图像在内的困难条件下具有鲁棒性。它也应该是有效的描述符之间的相似性的计算成本。本文利用Gabor小波和线性鉴别分析构造了一种鲁棒的细节点描述子。该特征描述子具有识别能力强、稳定性好、比较方法简单等特点。在FVC 2004和FVC 2006指纹库上的实验结果表明,该特征描述子在指纹识别中具有很好的识别效果。
2018-09-06 cs.CV stat.AP