U-CAN: Unsupervised Point Cloud Denoising with Consistency-Aware Noise2Noise Matching
Tsinghua University(清华大学);East China Normal University(华东师范大学);NYU Abu Dhabi(纽约大学阿布扎比分校);Wayne State University(韦恩州立大学)
针对点云去噪依赖含噪-干净配对数据的问题,提出无监督框架U-CAN,通过一致性感知Noise2Noise匹配与新型损失、几何约束实现去噪,在多任务基准上优于现有无监督方法,效果接近有监督方法。
2025-10-29 cs.CV
Modality-Aware Feature Matching in Visual and Vision-Language Applications: A Comprehensive Survey
School of Computing and Artificial Intelligence, Jiangxi University of Finance and Economics(江西财经大学计算机与人工智能学院);College of Computing and Data Science, Nanyang Technological University(南洋理工大学计算机与数据科学学院);School of Computer Science and Informatics, Cardiff University(卡迪夫大学计算机科学与信息学院);School of Computing and Communications, Lancaster University(兰卡斯特大学计算机与通讯学院);School of Computer Science and Engineering, University of Electronic Science and Technology of China(电子科技大学计算机科学与工程学院);Institute for Infocomm Research, Agency for Science, Technology and Research (A*STAR)(新加坡资讯研究院,科技研究局(A*STAR));Department of Automation, Tsinghua University(清华大学自动化系)
综述基于模态的特征匹配,涵盖传统手工方法和现代深度学习方法,重点讨论跨RGB、深度、3D点云、LiDAR、医学图像及视觉-语言模态的进展,突出模态感知技术。
2026-06-12 cs.CV
PPFNet: Global Context Aware Local Features for Robust 3D Point Matching
Technische Universitat München(慕尼黑工业大学);Siemens AG(西门子股份公司);National University of Defense Technology(国防科技大学)
我们提出了PPFNet -点对特征网络,用于深入学习全局信息的3D局部特征描述符,以在无组织的点云中找到对应关系。PPFNet学习纯几何的局部描述符,并高度了解全局上下文,这是深度学习的重要线索。我们的3D表示被计算为与局部附近的点和法线相结合的点对特征的集合。我们的排列不变网络设计灵感来自PointNet,并将PPFNet设置为无顺序。与体素化相反,我们的方法能够消耗原始点云来充分利用稀疏性。PPFNet使用一种新型的$\textit{N-tuple}$丢失和架构,将全局信息自然注入到本地描述符中。它表明,上下文意识也提高了本地特征表示。我们的网络的定性和定量评估表明,提高了召回率,提高了鲁棒性和不变性,以及在3D描述符提取性能的重要一步。
2018-03-01 cs.AI cs.CV
Occlusion-Aware Cost Constructor for Light Field Depth Estimation
National University of Defense Technology(国防科技大学)
匹配代价构造是光场(LF)深度估计中的关键步骤,但在深度学习时代却鲜有研究。最近的基于深度学习的LF深度估计方法通过用一系列预定义偏移顺序地移位每个子孔径图像(SAI)来构造匹配成本,这是复杂且耗时的。在本文中,我们提出了一个简单而快速的成本构造器来构造匹配成本的LF深度估计。我们的成本构造器由一系列具有专门设计的膨胀率的卷积组成。通过应用我们的成本构造SAI阵列,像素下预定义的差异可以整合和匹配成本可以构建不使用任何移位操作。更重要的是,所提出的成本构造器是闭塞意识,并可以处理闭塞动态调制像素从不同的意见。基于所提出的成本构造器,我们开发了用于LF深度估计的深度网络。我们的网络在常用的4D LF基准测试中的均方误差(MSE)排名第一,并且比其他最先进的方法实现了更快的运行时间。
2022-03-03 cs.CV
Efficient Surface-Aware Semi-Global Matching with Multi-View Plane-Sweep Sampling
Fraunhofer IOSB(弗劳恩霍夫IOSB研究所);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
在三维场景解译和分析过程中,利用结构信息对倾斜航空影像序列进行在线增强是一个重要方面。其中一个关键方面是高效的密集图像匹配和深度估计。这里,半全局匹配(SGM)方法已被证明是用于有效深度估计的最广泛使用的算法之一,提供了准确性和计算复杂性之间的良好折衷。然而,SGM仅对一阶平滑假设进行建模,因此有利于锋平行表面。在这项工作中,我们提出了一个分层的算法,允许有效的深度和正常的地图估计连同每个估计的置信度。我们的算法依赖于一个平面扫描多图像匹配,然后扩展SGM优化,允许将局部表面方向,从而实现更一致和准确的估计areasmade由倾斜的表面,固有的倾斜航空影像。我们评估了我们的算法在两个不同的数据集上使用的绝对和相对准确性措施的许多配置。在我们的评估中,我们表明,我们的方法的结果是由细化的结构从运动(SfM)管道,如COLMAP,这是专为离线处理所实现的。然而,相比之下,我们的方法只考虑输入序列的受限图像束,从而允许以1Hz-2Hz执行在线和增量计算。
2019-09-21 cs.CV
Reference-Free Omnidirectional Stereo Matching via Multi-View Consistency Maximization
Nanjing University, Nanjing, China(南京大学);Nanyang Technological University, Singapore(南洋理工大学)
本文提出FreeOmniMVS框架,通过多视角一致性最大化实现无参考全景立体匹配,解决传统方法在几何关系和全局依赖性方面的不足,提升遮挡和基线变化下的鲁棒性。
2026-03-16 cs.CV
Semantic Aware Feature Extraction for Enhanced 3D Reconstruction
Department of Driving Assistance Systems(驾驶辅助系统系);Valeo(瓦莱奥)
本文提出一种结合关键点检测、描述和语义分割的多任务学习框架,用于提升3D重建的语义一致性与结构细节。
2026-03-13 cs.AI cs.CV
QATM: Quality-Aware Template Matching For Deep Learning
USC Information Sciences Institute(南加州大学信息科学研究所)
在搜索图像中寻找模板是计算机视觉的核心问题之一,如图像语义、图像到GPS的验证\etc等。我们提出了一种新的质量感知的模板匹配方法,QATM,它不仅被用作一个独立的模板匹配算法,但也是一个可训练的层,可以很容易地嵌入到任何深神经网络。具体来说,我们使用所有匹配对之间的软排名来评估匹配对的质量,因此不同的匹配场景(如1对1,1对多和多对多)都将反映为不同的值。我们对经典模板匹配基准和深度学习任务的广泛评估证明了QATM的有效性。它不仅在单独使用时优于最先进的模板匹配方法,而且还大大改进了现有的深度网络解决方案。
2019-04-09 cs.CV
ORStereo: Occlusion-Aware Recurrent Stereo Matching for 4K-Resolution Images
Robotics Institute, Carnegie Mellon University(卡内基梅隆大学机器人研究所)
在小图像上训练的立体重建模型不能很好地推广到高分辨率数据。在高分辨率图像尺寸上训练模型面临着数据可用性的困难,并且由于计算资源有限,通常是不可行的。在这项工作中,我们提出了遮挡感知的递归双目立体匹配(ORStereo),它只通过训练可用的低视差范围立体图像来处理这些问题。ORStereo通过将任务制定为初始预测的残差更新和改进,来推广到具有大视差范围的看不见的高分辨率图像。ORStereo在视差范围限制为256像素的图像上进行训练,但它可以使用有限的GPU内存操作超过1000个视差的4K分辨率输入。我们测试模型的能力,合成和现实世界的高分辨率图像。实验结果表明,ORStereo在4K分辨率图像上实现了与在大视差范围上训练的最先进方法相当的性能。与仅在低分辨率图像上训练的其他方法相比,我们的方法在4K分辨率图像上的准确率高出70%。
2021-03-13 cs.CV cs.RO
Scene-Aware Feature Matching
Southeast University(东南大学)
针对传统点级特征匹配缺乏场景理解、复杂场景下性能下降的问题,提出采用注意力分组的SAM模型,处理多层级特征并实现分组,仅用真实匹配训练,在多任务上达SOTA,兼具精度、鲁棒性与可解释性。
2023-08-22 cs.CV
Identity-Aware Textual-Visual Matching with Latent Co-attention
The Chinese University of Hong Kong(香港中文大学)
文本视觉匹配的目的是衡量句子描述和图像之间的相似性。大多数现有的方法没有有效地利用身份级别的注释来解决这个问题。在本文中,我们提出了一个身份感知的两阶段框架的文本视觉匹配问题。我们的第一阶段CNN-LSTM网络学习嵌入具有新的跨模态交叉熵(CMCE)损失的跨模态特征。第一阶段的网络能够有效地筛选容易不正确的匹配,也为第二阶段的训练提供初始训练点。阶段2 CNN-LSTM网络使用潜在的共同注意力机制来细化匹配结果。空间注意将每个词与对应的图像区域相关联,而潜在语义注意将不同的句子结构对齐,以使匹配结果对句子结构变化更具鲁棒性。在三个具有身份级别注释的数据集上进行的大量实验表明,我们的框架的性能大大优于最先进的方法。
2017-08-07 cs.CV
Confidence-aware Adversarial Learning for Self-supervised Semantic Matching
ShanghaiTech University(上海科技大学)
在本文中,我们的目标是解决具有挑战性的任务,语义匹配匹配歧义是很难解决的,即使与学习的深度功能。我们通过考虑预测的置信度来解决这个问题,并开发了一种新的改进策略来纠正部分匹配错误。具体来说,我们引入了一个置信度感知语义匹配网络(CAMNet),它实例化了我们的方法的两个关键思想。首先,我们建议通过自监督学习来估计匹配预测的密集置信图。其次,基于估计的置信度,我们通过将可靠的匹配传播到图像平面上的其余位置来改进初始预测。此外,我们开发了一种新的混合损失,其中我们将语义对齐损失与置信度损失和对抗性损失相结合,以衡量语义对应的质量。我们是第一个在细化过程中利用信心来提高语义匹配准确性并为整个匹配网络开发端到端自监督对抗学习程序的公司。我们在两个公共基准上评估我们的方法,在这两个基准上,我们实现了超过现有技术的最高性能。我们将在https://github.com/ShuaiyiHuang/CAMNet上发布我们的源代码。
2020-08-25 cs.CV
Instance-aware Image and Sentence Matching with Selective Multimodal LSTM
National Laboratory of Pattern Recognition(模式识别国家重点实验室);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
有效的图像和句子匹配取决于如何很好地衡量它们的全局视觉语义相似性。基于观察到这种全局相似性来自图像(对象)和句子(单词)的成对实例之间的多个局部相似性的复杂聚合,我们提出了一种选择性多模态长短期记忆网络(sm-LSTM),用于实例感知的图像和句子匹配。sm-LSTM在每个时间步都包含一个多模态上下文调制注意力方案,通过预测图像和句子的成对实例感知显着性图,可以选择性地关注图像和句子的一对实例。对于选定的成对实例,基于预测的显著性图获得它们的表示,然后进行比较以测量它们的局部相似性。通过在几个时间步内类似地测量多个局部相似性,sm-LSTM顺序地将它们与隐藏状态聚合,以获得最终匹配分数作为所需的全局相似性。实验结果表明,该模型能够很好地匹配复杂内容的图像和句子,并在两个公共基准数据集上取得了较好的效果。
2016-11-17 cs.CV
Geometry-based Occlusion-Aware Unsupervised Stereo Matching for Autonomous Driving
近年来,出现了许多基于无监督学习的自动驾驶立体匹配方法。它们中的大多数利用重建损失来消除对视差地面实况的依赖。遮挡处理是立体匹配中的一个具有挑战性的问题,特别是对于无监督的方法。以前的无监督方法未能充分利用几何属性的遮挡处理。在本文中,我们介绍了一种有效的方法来检测遮挡区域,并提出了一种新的无监督训练策略来处理遮挡,只使用预测的左视差图,通过利用其几何特征,在一个迭代的方式。在训练过程中,我们将预测的左视差图视为伪地面实况,并使用几何特征来推断遮挡区域。然后将所得的遮挡掩模用于训练、后处理或两者中作为指导。实验结果表明,该方法能有效地解决遮挡问题,并明显优于其他无监督的立体匹配方法。此外,我们的遮挡感知策略可以方便地扩展到其他立体方法,并提高其性能。
2020-10-21 cs.CV
Geometry-Aware Image Flow Matching
Seoul National University, Seoul, Korea(首尔国立大学)
本文通过发现自然图像语义信息主要编码在方向分量上,提出球面最优传输流匹配(SOT-CFM)和球面流匹配(SFM)两种几何感知方法,在超球面上建模图像,相比欧几里得基线取得更优性能。
2026-05-24 cs.CV
Mosaic Zonotope Shadow Matching for Risk-Aware Autonomous Localization in Harsh Urban Environments
Stanford University(斯坦福大学)
利用全球导航卫星系统(GNSS)进行风险感知城市定位仍然是一个未解决的问题,用户的街道或街道的一侧经常被误检测。3D地图辅助GNSS的重大进展使用基于网格的GNSS阴影匹配以及AI驱动的视线(LOS)分类器和基于服务器的处理来提高定位精度,特别是在跨街道方向。我们以前的工作介绍了一种新的模式,提出了集值本地化的计算效率zonotope集表示的阴影匹配。虽然现有文献提高了准确性和效率,但阴影匹配理论的当前状态并不能满足风险感知自治系统的需求。我们扩展我们以前的工作,提出马赛克地带性阴影匹配(MZSM),采用分类器不可知多面体马赛克架构,提供风险意识和可认证的保证城市定位。我们制定了一个递归扩展的二叉树,细化的初始位置估计与集操作成较小的多面体。这些较小的多面体一起形成了一个马赛克。我们用用户在卫星视线内的概率来加权树枝,并用每个新的卫星观测来扩展树。我们的方法产生一个确切的阴影匹配分布,我们保证用户定位的不确定性范围。我们使用旧金山的3D建筑地图进行高保真模拟,以验证我们的算法的风险意识的改进。我们证明,MZSM提供了可认证的保证,在不同的数据驱动的LOS分类器的准确性,并产生了更精确的理解现有方法的不确定性。我们验证了我们的基于树的构造是有效的和易于处理的,计算马赛克从14颗卫星在0.63秒和卫星数量的二次增长。
2022-04-30 cs.AI cs.CV cs.LG
SGAD: Semantic and Geometric-aware Descriptor for Local Feature Matching
Xidian University(西电大学);Navinfo Europe B.V(Navinfo欧洲有限公司)
本文提出SGAD网络,通过生成高区分度区域描述子实现无需图优化的直接匹配,结合分类与排序监督策略及HCRF冗余过滤器,在大幅提升局部特征匹配精度与效率的同时刷新了SOTA。
2025-08-09 cs.CV
SceneGlue: Scene-Aware Transformer for Feature Matching without Scene-Level Annotation
School of Automation, Southeast University(东南大学自动化学院);Shenzhen Research Institute of Southeast University(东南大学深圳研究院);School of Computer Science and Engineering, Southeast University(东南大学计算机科学与工程学院);School of Computer Science and Technology, Tongji University(同济大学计算机科学与技术学院);Graduate School of Information, Production and Systems, Waseda University(早稻田大学信息、生产与系统研究生学校)
SceneGlue通过引入隐式并行注意力和显式跨视图可见性估计,提升特征匹配的场景感知能力,无需场景级标注即可提高准确性和鲁棒性。
2026-04-15 cs.CV
Efficient Betti Matching Enables Topology-Aware 3D Segmentation via Persistent Homology
Technical University of Munich(慕尼黑工业大学);Imperial College London(伦敦帝国学院)
本文提出基于持续同调的高效 C++/Python Betti 匹配实现,用作 3D 分割损失,在多个数据集上提升预测拓扑正确性并显著快于 Cubical Ripser。
2024-07-05 cs.CV math.AT
Consistency-aware Self-Training for Iterative-based Stereo Matching
Fudan University(复旦大学);Xiaomi Inc(小米公司);Shanghai AI Laboratory(上海人工智能实验室);The Chinese University of Hong Kong(香港中文大学)
本文首次提出面向基于迭代的立体匹配的一致性感知自训练框架,利用未标注真实数据,通过软过滤模块评估伪标签可靠性并结合软加权损失缓解误差累积,有效提升了多种场景下立体匹配方法的性能。
2025-03-31 cs.CV
PaMM: Pose-aware Multi-shot Matching for Improving Person Re-identification
School of Information and Communications, Gwangju Institute of Science and Technology(光州科学技术院信息与通信学院);Computer Vision Laboratory, GIST(计算机视觉实验室)
本文提出姿态感知多镜头匹配框架PaMM,通过分析摄像机视角和人体姿态来稳健估计姿态并进行高效匹配,在公开数据集上优于现有方法,有效应对视角和姿态变化带来的行人重识别挑战。
2017-05-17 cs.CV
Mono3DV: Monocular 3D Object Detection with 3D-Aware Bipartite Matching and Variational Query DeNoising
Ho Chi Minh University of Technology, VNUHCM(胡志明技术大学)
Mono3DV通过引入3D感知双目匹配和变分查询去噪机制,提升单目3D目标检测性能,无需外部数据即可在KITTI基准上取得最佳效果。
2026-01-03 cs.CV
Adaptive Assignment for Geometry Aware Local Feature Matching
Tencent YouTu Lab(腾讯优图实验室);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Shanghai Jiao Tong University(上海交通大学)
无检测器特征匹配方法由于其优异的性能而备受关注。然而,这些方法仍然挣扎在大规模和视点变化,由于几何不一致性所造成的应用程序的相互最近邻准则(\ie,one-to-one assignment),因此,我们引入AdaMatcher,它首先通过一个精心设计的特征交互模块完成特征关联和共可见区域估计,然后在图像间尺度估计的同时对块级匹配进行自适应分配,最后通过尺度对齐和亚像素回归模块对共可见匹配进行细化。大量实验表明,AdaMatcher在许多下游任务上的性能优于固体基线,达到了最先进的结果。此外,自适应分配和子像素细化模块可以用作其他匹配方法(如SuperGlue)的细化网络,以进一步提高其性能。该代码将在https://github.com/AbyssGaze/AdaMatcher上公开发布。
2023-03-29 cs.CV
Redefining Instance Matching: A Unified Framework for Part-Aware Matching in Panoptic Segmentation Evaluation
Hertie Institute for AI in Brain Health, University of Tübingen, Germany(人工智能与脑健康研究所,图宾根大学,德国);King’s College London, UK(伦敦国王学院,英国);Technical University of Munich, Germany(慕尼黑技术大学,德国);Stockholm University, Sweden(斯德哥尔摩大学,瑞典)
提出将全景分割中的片段匹配重新表述为约束二分分配问题,定义四种匹配策略,并扩展至部件感知评估,发布基于Panoptica的统一开源包。
2026-05-29 cs.AI cs.CV
Deep Frequency-Aware Functional Maps for Robust Shape Matching
Central South University(中南大学);Zhejiang University(浙江大学);Zhejiang Lab(之江实验室);Hunan First Normal University(湖南第一师范学院)
针对现有深度功能映射方法缺乏频率感知、大变形匹配性能差的问题,提出含谱滤波算子保持约束的无监督框架,结合优化策略提升对应关系,在多数据集上优于现有SOTA方法。
2026-08-05 cs.CV
Consensus-Aware Visual-Semantic Embedding for Image-Text Matching
Tianjin University(天津大学);Tencent AI Lab(腾讯人工智能实验室)
图文匹配在视觉和语言的沟通中起着核心作用。现有的方法大多只依赖于图像-文本实例对来学习它们的表示,从而利用它们的匹配关系并进行相应的对齐。这种方法只利用实例成对数据中包含的表面关联,而不考虑任何外部常识知识,这可能会阻碍它们推理图像和文本之间的更高级别关系的能力。在本文中,我们提出了一个具有共识的视觉语义嵌入(CVSE)模型,将共识信息,即两个模态之间共享的常识知识,图像-文本匹配。具体地说,利用共识信息计算统计同现相关性之间的语义概念从图像描述语料库和部署构建的概念相关性图,以产生共识感知的概念(CAC)表示。之后,CVSE学习图像和文本之间的关联和对齐的基础上利用的共识,以及两种形式的实例级表示。在两个公共数据集上进行的大量实验验证了所利用的共识对构建更有意义的视觉语义嵌入做出了重大贡献,在双向图像和文本检索任务上具有优于最先进方法的性能。本文的代码可在https://github.com/BruceW91/CVSE上获得。
2021-02-01 cs.CV
Topology-Preserving Image Segmentation with Spatial-Aware Persistent Feature Matching
Department of Electrical and Computer Engineering, University of California, San Diego(电气与计算机工程系,加州大学圣地亚哥分校);Department of Ophthalmology, University of California, San Diego(眼科学系,加州大学圣地亚哥分校)
针对现有拓扑分割损失因仅依赖拓扑空间信息存在匹配模糊的问题,提出融合图像原始空间域信息的空间感知拓扑损失函数,提升了管状结构图像分割的拓扑准确性。
2025-10-27 cs.CV
Clothes-Changing Person Re-Identification with Feasibility-Aware Intermediary Matching
Institute of Computing Technology (ICT), Chinese Academy of Sciences (CAS)(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
针对换衣重识别中仅用衣物无关特征的局限,提出FAIM框架,利用衣物相关特征发现同衣中介,并通过中介匹配与可行性加权提升检索性能,在多个基准上超越现有方法。
2024-12-18 cs.CV
Improving Few-shot Learning by Spatially-aware Matching and CrossTransformer
Systems Engineering Institute, AMS(AMS系统工程研究所);Oxford University(牛津大学);Data61/CSIRO(数据61/澳大利亚联邦科学与工业研究组织);Australian National University(澳大利亚国立大学)
当前的少样本学习模型在固定分辨率输入下在所谓的元学习设置中捕获视觉对象关系。然而,这样的模型有一个有限的泛化能力下的对象之间的规模和位置不匹配,因为只有很少的样本从目标类提供。因此,缺乏一个机制来匹配的规模和位置之间的比较图像对导致性能下降。图像内容的重要性在由粗到细的尺度上变化,这取决于对象及其类别标签,例如,一般对象和场景依赖于它们的全局外观,而细粒度对象更多地依赖于它们的局部视觉模式。在本文中,我们研究了规模和位置不匹配的影响,在少样本学习的情况下,并提出了一种新的空间感知匹配(SM)计划,有效地执行跨多个尺度和位置的匹配,并学习图像关系,通过给予最高的权重,以最佳的匹配对。SM被训练来激活支持和查询数据之间最相关的位置和尺度。我们在各种少样本学习模型和主干上应用和评估SM,以进行综合评估。此外,我们利用一个辅助的自我监督的神经网络训练/预测我们使用的特征向量的空间和尺度级别的索引。最后,我们开发了一种新的基于transformer的管道,利用自我和交叉注意的空间感知匹配过程。我们提出的设计与骨架和/或比较物的选择正交。
2022-10-08 cs.CV
Global Occlusion-Aware Transformer for Robust Stereo Matching
Tokyo Institute of Technology(东京工业大学)
针对立体匹配中遮挡区域因 CNN 感受野受限而难以估计视差的问题,本文提出 GOAT,通过 PDO 并行注意力模块和 OCA 全局聚合模块建模长程遮挡感知上下文,并在多个基准上取得优异结果。
2023-12-22 cs.CV
A Class-aware Optimal Transport Approach with Higher-Order Moment Matching for Unsupervised Domain Adaptation
Monash University(莫纳什大学);Adobe Research(Adobe研究院)
针对无监督域适应中的数据与标签偏移问题,提出结合类别感知高阶矩匹配的类别感知最优传输方法,采用深度神经网络实现高效计算,实验效果优于现有最优基线。
2024-01-29 cs.AI cs.CV cs.LG
Beyond Imitation: Constraint-Aware Trajectory Generation with Flow Matching For End-to-End Autonomous Driving
Beijing Jiaotong University(北京交通大学);Qcraft;Yanshan University(燕山大学);The University of Queensland(昆士兰大学)
规划是端到端自动驾驶的关键组成部分。然而,流行的模仿学习方法经常遭受模式坍塌,无法产生不同的轨迹假设。与此同时,现有的生成方法很难将关键的安全和物理约束直接纳入生成过程,需要额外的优化阶段来完善其输出。为了解决这些限制,我们提出了CATG,一种新的规划框架,利用约束流匹配。具体而言,CATG明确地对流匹配过程进行建模,这固有地减轻了模式坍塌,并允许从各种调节信号进行灵活的指导。我们的主要贡献是直接在流匹配过程中施加明确的约束,确保生成的轨迹遵守重要的安全和运动学规则。其次,CATG在生成过程中将驾驶积极性参数化为控制信号,从而实现轨迹风格的精确操纵。值得注意的是,在NavSim v2挑战赛中,CATG以51.31的EPDMS得分获得第二名,并荣获创新奖。
2025-10-30 cs.CV
FlowHijack: A Dynamics-Aware Backdoor Attack on Flow-Matching Vision-Language-Action Models
Zhejiang University(浙江大学);Beijing Key Laboratory of Intelligent Space Robotic Systems Technology and Applications(北京市智能空间机器人系统技术与应用重点实验室);Huzhou Institute of Industrial Control Technology(湖州工业控制技术研究院)
本文提出FlowHijack,首个针对流匹配VLA模型向量场动态的后门攻击框架,通过τ条件注入策略与动态模仿正则化,实现隐蔽触发器的高成功率攻击,同时保持正常任务性能。
2026-03-30 cs.CV cs.LG cs.RO
Frequency-Aware Flow Matching for High-Quality Image Generation
Johns Hopkins University(约翰霍普金斯大学);ByteDance(字节跳动)
本文提出FreqFlow,通过时间依赖的自适应加权将频率感知条件融入流匹配框架,以提升图像生成的全局结构和细节质量,在ImageNet-256上取得最佳FID成绩。
2026-04-16 cs.CV
Rebalanced Vision-Language Retrieval Considering Structure-Aware Distillation
School of Computer Science and Engineering, Nanjing University of Science and Technology(南京理工大学计算机科学与工程学院);School of Electrical and Information Engineering, The University of Sydney(悉尼大学电气与信息工程学院)
针对模态不平衡导致跨模态匹配次优的问题,提出结合结构感知蒸馏的多粒度匹配方法,通过学习保持结构的表示重平衡匹配,在多个数据集上显著提升跨模态及单模态检索性能。
2024-12-14 cs.AI cs.CV
OATM: Occlusion Aware Template Matching by Consensus Set Maximization
Weizmann Institute of Science(魏茨曼科学研究所);UCLA Vision Lab(加州大学洛杉矶分校视觉实验室);Northrop Grumman(诺斯罗普·格鲁曼公司)
我们提出了一种新的方法,模板匹配是有效的,可以处理部分遮挡,并具有可证明的性能保证。该方法的一个关键组成部分是一个减少,转换的问题,搜索$N$高维向量之间的最近邻居,搜索邻居之间的两组顺序$\sqrt{N}$向量,可以有效地使用范围搜索技术。这允许搜索复杂度的二次改进,并且使得该方法在处理大的搜索空间时是可缩放的。第二个贡献是基于共识集最大化的哈希方案,它允许我们处理遮挡。由此产生的计划可以被看作是一个随机的假设和测试算法,这是配备了保证获得最优解的概率高,所需的迭代次数。预测的匹配率进行了验证经验和算法显示出显着的改善,在国家的最先进的速度和鲁棒性闭塞。
2018-04-08 cs.CV
Object-aware graph matching network for cross-domain remote sensing image localization
Jiangsu Key Laboratory of Spectral Imaging and Intelligent Sense, Nanjing University of Science and Technology(江苏光谱成像与智能感知重点实验室,南京理工大学)
针对跨域跨模态遥感图像地理定位难题,提出感知对象图匹配框架,构建IRVL328数据集,在SUES-200、IRVL328等数据集上取得良好性能。
2026-08-21 cs.CV
Bi-VLGM : Bi-Level Class-Severity-Aware Vision-Language Graph Matching for Text Guided Medical Image Segmentation
City University of Hong Kong(香港城市大学);Chinese University of Hong Kong(香港中文大学)
本文提出Bi-VLGM框架,通过词级和句级视觉-语言图匹配模块,分别利用类别和严重程度感知关系,解决文本引导医学图像分割中的模态内关系扭曲问题,显著提升分割性能。
2023-05-20 cs.CV cs.LG eess.IV
Ambiguity-aware Truncated Flow Matching for Ambiguous Medical Image Segmentation
本文提出了一种具有模糊性的截断流匹配方法,通过数据分层推理和高斯截断表示提升医学图像分割的准确性和多样性。
2025-11-27 cs.CV
GeoDM: Geometry-aware Distribution Matching for Dataset Distillation
Department of Machine Learning(机器学习系);Mohamed bin Zayed University of Artificial Intelligence(Mohamed bin Zayed人工智能大学)
GeoDM提出了一种基于几何的分布匹配框架,通过统一的表示捕捉多种几何结构,提升数据集蒸馏的性能和泛化能力。
2025-12-10 cs.AI cs.CV
Matching Disparate Image Pairs Using Shape-Aware ConvNets
Netaji Subhas Institute of Technology(内塔吉·苏巴斯理工学院);The University of Georgia(佐治亚大学)
提出了一种端到端可训练的ConvNet架构,该架构学习利用形状表示的能力来匹配不同的图像对。不同的图像对被认为是那些表现出强烈的仿射变化的规模,视点和投影参数伴随着存在的部分或完全闭塞的对象和极端变化的环境照明。在这些具有挑战性的条件下,无论是局部还是全局的基于特征的图像匹配方法,当孤立使用时,已被观察到是有效的。建议的对应关系确定方案匹配不同的图像利用高级别的形状线索,来自低级别的本地特征描述符,从而结合了最好的两个世界。通过构建一个嵌入两幅图像中特征点之间距离的亲和矩阵,生成不同图像对的基于图的表示,从而将对应性确定问题建模为图匹配问题之一。亲和矩阵的本征谱,即,然后,使用所学习的全局形状表示来进一步回归定义源图像和目标图像之间的对应关系的变换或单应性。所提出的计划是产生国家的最先进的结果,粗层次的形状匹配,以及精细逐点对应确定。
2018-11-24 cs.CV
Topology-aware Pathological Consistency Matching for Weakly-Paired IHC Virtual Staining
Guangdong Research Center of Polarization Imaging and Measurement Engineering Technology(广东极化成像与测量工程研究中心);Shenzhen Key Laboratory for Minimal Invasive Medical Technologies(深圳微创医疗技术重点实验室);Institute of Biopharmaceutical and Health Engineering(生物制药与健康工程研究院);Tsinghua Shenzhen International Graduate School(清华大学深圳国际 Graduate School);Tsinghua University(清华大学)
本文提出基于拓扑的病理一致性匹配方法,用于解决H&E到IHC虚拟染色中的弱配对问题,通过拓扑感知一致性匹配和拓扑约束病理匹配提升生成质量与临床相关性。
2026-01-06 cs.CV
MotionSpaceFlow: Representation-Aware Flow Matching in Direct Motion Space
LY Corporation
针对现有运动生成受限于低维潜在空间的问题,提出表示感知流匹配框架MSFlow,直接在连续运动空间生成,并通过RA-MMDiT及投影采样实现最先进性能与零样本控制。
2026-09-29 cs.CV
Faster and Better Alignment for Flow Matching Models via Step-aware Advantages
Zhejiang University(浙江大学);HiThink Research(HiThink研究);Southern University of Science and Technology(南方科技大学)
TAFS GRPO通过步感知优势机制改进流匹配模型,实现更高效且更优的少步文本到图像生成与人类偏好对齐。
2026-08-07 cs.CV
An Efficient Deep Template Matching and In-Plane Pose Estimation Method via Template-Aware Dynamic Convolution
School of Computer Science, Chengdu University of Information Technology(成都信息工程大学计算机科学学院);Faculty of Mechanical Engineering and Mechanics, Ningbo University(宁波大学机械与力学学院)
针对工业模板匹配中传统方法效率低、深度学习方法缺乏几何姿态建模的问题,提出含TDCM模块的轻量端到端框架,实现复合变换下高精度快速匹配,适配实时工业场景。
2025-10-02 cs.CV
Visibility-Aware Pixelwise View Selection for Multi-View Stereo Matching
University of Guelph(圭尔夫大学)
基于PatchMatch的多视图立体视觉算法的性能很大程度上取决于为计算匹配代价而选择的源视图。大多数现有的方法不是对不同视图的可见性进行建模,而是以特别的方式处理遮挡。为了解决这个问题,我们提出了一种新的可行性指导像素视图选择方案在本文中。它根据已验证的解决方案提供的可见性信息,逐步细化要用于参考视图中每个像素的源视图集。此外,人工多蜂群(AMBC)算法被用来并行搜索不同像素的最优解。群体间通信在同一图像内和不同图像之间进行。健身奖励被添加到验证和传播的解决方案,有效地加强相邻像素的平滑度,并允许更好地处理无纹理区域。DTU数据集上的实验结果表明,我们的方法实现了最先进的性能之间的非学习为基础的方法和检索更多的细节在闭塞和低纹理区域。
2023-02-14 cs.CV
Deep Orientation-Aware Functional Maps: Tackling Symmetry Issues in Shape Matching
École Polytechnique(巴黎综合理工学院);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所)
用于非刚性形状匹配的最先进的完全固有网络通常难以消除形状的对称性,从而导致不稳定的对应预测。与此同时,最近的进展,在功能地图框架允许强制方向保存使用的功能表示的切向量场转移,通过所谓的复杂的功能地图。使用这种表示,我们提出了一种新的深度学习方法,在完全无监督的环境中学习方向感知特征。我们的架构建立在DiffusionNet之上,使其对离散化变化具有鲁棒性。此外,我们引入了一个矢量场为基础的损失,促进方向保存,而不使用(往往是不稳定的)外在描述符。
2022-04-28 cs.CV math.DG math.SP
MedFlowSeg: Flow Matching for Medical Image Segmentation with Frequency-Aware Attention
School of Engineering, University of Birmingham(伯明翰大学工程学院);School of Public Health, Peking University(北京大学公共卫生学院)
本文提出MedFlowSeg,通过流匹配框架将医学图像分割建模为学习时间依赖的向量场,以更高效地推断并保持生成模型的灵活性。引入双条件机制和频率感知注意力模块,提升结构一致性与边界定义。
2026-05-06 cs.CV
Sharpness-Aware Gradient Matching for Domain Generalization
The Hong Kong Polytechnic University(香港理工大学);Center for Artificial Intelligence and Robotics(人工智能与机器人中心);HKISI CAS(中国科学院香港创新研究院);State Key Laboratory of Multimodal Artificial Intelligence Systems(多模态人工智能系统全国重点实验室);CASIA(中国科学院自动化研究所)
领域泛化(DG)的目标是增强从源领域学习到其他未知领域的模型的泛化能力。最近开发的锐度感知最小化(SAM)方法旨在通过最小化损失景观的锐度度量来实现这一目标。虽然SAM及其变体已经展示了令人印象深刻的DG性能,但它们可能并不总是收敛到具有小损耗值的期望平坦区域。本文提出了两个条件来保证模型能够以较小的损失收敛到一个平坦的最小值,并提出了一种算法SAGM(Sharpness-Aware Gradient Matching)来满足这两个条件以提高模型的泛化能力。具体地,SAGM的优化目标将同时最小化经验风险、扰动损失(即,参数空间中邻域内的最大损失)以及它们之间的间隙。通过隐式调整经验风险和扰动损失之间的梯度方向,SAGM在不增加计算成本的情况下提高了SAM及其变体的泛化能力。大量的实验结果表明,我们提出的SAGM方法始终优于国家的最先进的方法在五个DG基准,包括PACS,VLCS,THEREHome,TerraIncognita和DomainNet。代码可在https://github.com/Wang-pengfei/SAGM上获得。
2023-03-18 cs.CV
Delving into Motion-Aware Matching for Monocular 3D Object Tracking
University of California Merced(加州大学默塞德分校);Google(谷歌);Yonsei University(延世大学)
针对现有单目3D多目标跟踪对运动线索探索不足的问题,提出包含三类运动感知组件的MoMA-M3T框架,在nuScenes和KITTI数据集上性能达最优水平,且可灵活嵌入现有检测器无需重训练。
2023-08-22 cs.CV
Dual Attention Matching Network for Context-Aware Feature Sequence based Person Re-Identification
Beijing University of Posts and Telecommunications(北京邮电大学);Nanyang Technological University(南洋理工大学);Alibaba AI Labs(阿里巴巴人工智能实验室)
典型的人再识别(ReID)方法通常用单个特征向量描述每个行人,并在特定于任务的度量空间中进行匹配。然而,基于单个特征向量的方法不足以克服在实际场景中经常出现的视觉模糊。在本文中,我们提出了一种新的端到端的可训练框架,称为双注意力匹配网络(DuATM),学习上下文感知的特征序列,并同时进行注意力序列比较。我们的DuATM框架的核心组成部分是一个双重的注意力机制,其中序列内和序列间的注意力策略分别用于特征细化和特征对对齐。因此,包含在中间特征序列中的详细视觉线索可以被自动利用和适当地比较。我们训练建议的DuATM网络作为一个连体网络,通过三重损失辅助去相关损失和交叉熵损失。我们在基于图像和视频的ReID基准数据集上进行了广泛的实验。实验结果表明,我们的方法相比,国家的最先进的方法显着的优势。
2018-03-27 cs.CV
Structure-Aware Matching for Robust UAV Thermal-to-Satellite Geo-Localization
State Key Laboratory of Spatial Datum, Henan University(河南大学空间数据基准国家重点实验室);College of Remote Sensing and Geoinformatics Engineering, Henan University(河南大学遥感与地理信息工程学院);School of Computer and Information Engineering, Henan University(河南大学计算机与信息工程学院);Henan Yunhuan NetLink UAV Technology Co., Ltd.(河南云环网联无人机科技有限公司)
针对无人机热成像与卫星图像的跨模态差异问题,提出结构感知匹配框架SAMF,通过DSEM和MARM模块实现鲁棒地理定位,在相关数据集上达到SOTA性能。
2026-10-12 cs.CV
Teaching DINOv3 About Partial 3D Geometry: A Self-Supervised Geometry-Aware Approach
Technical University of Munich(慕尼黑工业大学);Munich Center for Machine Learning(慕尼黑机器学习中心);University of Bonn(波恩大学)
针对部分形状匹配问题,本研究提出基于LoRA的自监督学习方法优化DINO特征,生成对部分观测鲁棒的描述符,在相关基准上取得最优结果。
2026-10-16 cs.CV
TumorGen: Boundary-Aware Tumor-Mask Synthesis with Rectified Flow Matching
The Chinese University of Hong Kong(香港中文大学);City University of Hong Kong(香港城市大学);Massachusetts General Hospital and Harvard Medical School(哈佛医学院麻省总医院)
提出TumorGen,一种基于整流流匹配的边界感知3D肿瘤掩码合成方法,通过边界框替代二值掩码、同时合成潜变量与掩码及VAE细化边界,在提升计算效率的同时保持病理准确性,优于现有方法。
2025-05-30 cs.CV eess.IV