Precise Location Matching Improves Dense Contrastive Learning in Digital Pathology
Stony Brook University（石溪大学）；Snap Inc.（Snap公司）；CentraleSupélec（中央理工-高等电力学院）；University of Paris-Saclay（巴黎萨克雷大学）
诸如病理实体的分割和检测等密集预测任务在计算病理学工作流程中具有至关重要的临床价值。然而，在大型队列上获得密集注释通常是繁琐且昂贵的。因此，对比学习（CL）通常用于利用大量未标记的数据来预训练骨干网络。为了提高密集预测的CL，一些研究提出了预训练中密集匹配目标的变化。然而，我们的分析表明，采用现有的密集匹配策略的组织病理学图像之间的不正确的密集功能对强制执行不变性，因此，是不精确的。为了解决这个问题，我们提出了一个精确的基于位置的匹配机制，利用几何变换之间的重叠信息，以精确地匹配两个增强区域。在两个预训练数据集（TCGA-BRCA，NCT-CRC-HE）和三个下游数据集（GlaS，CRAG，BCSS）上的大量实验突出了我们的方法在语义和实例分割任务中的优越性。我们的方法优于以前的密集匹配方法高达7.2%的平均精度检测和实例分割任务的平均精度为5.6%。此外，通过在三个流行的对比学习框架MoCo-v2，VICRegL和ConCL中使用我们的匹配机制，检测的平均精度提高了0.7%到5.2%，分割的平均精度提高了0.7%到4.0%，具有推广性。我们的代码可在https://github.com/cvlab-stonybrook/PLM_SSL上获得。
2023-03-23 cs.CV
DeepMatching: Hierarchical Deformable Dense Matching
INRIA（法国国家信息与自动化研究所）；Inria Grenoble Rhone-Alpes（法国国家信息与自动化研究所格勒诺布尔-罗讷阿尔卑斯分院）；Laboratoire Jean Kuntzmann（让·孔茨曼实验室）；CNRS（法国国家科学研究中心）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）
我们引入了一种新的匹配算法，称为DeepMatching，来计算图像之间的密集对应关系。DeepMatching依赖于一个分层的、多层的、相关的架构，旨在匹配图像，并受到深度卷积方法的启发。所提出的匹配算法可以处理非刚性变形和重复的纹理，并有效地确定密集的对应关系，在图像之间存在显着的变化。我们在Mikolajczyk（Mikolajczyk et al 2005），MPI-Sintel（Butler et al 2012）和Kitti（Geiger et al 2013）数据集上评估了DeepMatching与最先进的匹配算法的性能。DeepMatching优于最先进的算法，特别是对于重复纹理，显示出出色的结果。我们还提出了一种用于估计光流的方法，称为DeepFlow，通过将DeepMatching集成到Brox和Malik（2011）的大位移光流（LDOF）方法中。与现有的匹配算法相比，由于我们的匹配方法，获得了额外的鲁棒性大位移和复杂的运动。DeepFlow在光流估计的公共基准测试中获得了具有竞争力的性能。
2015-10-08 cs.CV
S2DNet: Learning Accurate Correspondences for Sparse-to-Dense Feature Matching
LIGM, École des Ponts, Univ Gustave Eiffel, CNRS（LIGM，法国国立桥路学校，古斯塔夫·埃菲尔大学，法国国家科学研究中心）；Laboratoire IMS, Université de Bordeaux（IMS实验室，波尔多大学）
建立鲁棒且准确的对应关系是许多计算机视觉算法的基本支柱。虽然最近的基于学习的特征匹配方法在具有挑战性的条件下提供鲁棒的对应关系方面显示出有希望的结果，但它们通常在精度方面受到限制。在本文中，我们介绍了S2DNet，这是一种新型的特征匹配管道，经过设计和训练，可以有效地建立鲁棒和准确的对应关系。通过利用稀疏到密集的匹配范式，我们将对应学习问题视为一个监督分类任务，以学习输出高峰值的对应图。我们证明了S2DNet在HPatches基准测试以及几个长期视觉定位数据集上取得了最先进的结果。
2020-04-03 cs.CV
Weakly Supervised Dense Video Captioning via Jointly Usage of Knowledge Distillation and Cross-modal Matching
Hangzhou Dianzi University（杭州电子科技大学）；Baidu Inc.（百度公司）；Zhejiang International Studies University（浙江外国语学院）
提出了一种无需事件句标注的密集视频描述（DVC）方法。首先，我们采用从相关和解决好的任务中提取的知识来生成高质量的活动提案。然后，我们将通常应用于跨模态检索任务的对比损失和循环一致性损失，以建立建议和句子之间的语义匹配，最终用于训练字幕生成模块。此外，匹配模块的参数通过预训练的基础上标注的图像进行初始化，以提高匹配性能。在ActivityNet-Caption数据集上的大量实验表明，基于提取的事件建议生成和基于跨模态检索的语义匹配对弱监督DVC具有重要意义，并证明了该方法相对于现有方法的优越性.
2021-05-18 cs.CV
Geometric Image Correspondence Verification by Dense Pixel Matching
Nokia Technologies（诺基亚技术公司）；Aalto University（阿尔托大学）
本文讨论了确定两幅图像之间密集像素对应关系的问题，并将其应用于图像检索中的几何对应关系验证。的主要贡献是几何对应验证方法重新排序检索到的数据库图像的基础上，其密集的成对匹配的查询图像在像素级的短名单。我们确定了一组循环一致的密集像素匹配的图像对之间的匹配，并使用基于神经网络的图像描述符的匹配像素的局部相似性进行评估。最后的重新排序是基于一种新的相似性函数，它融合了局部相似性度量与全局相似性度量和几何一致性度量计算的匹配像素。对于密集匹配，我们的方法利用了最近提出的密集几何对应网络（DGC-Net）的修改版本，我们还通过优化架构来改进。所提出的模型和相似性度量相媲美的国家的最先进的图像检索方法。此外，我们将我们的方法应用于长期视觉定位的问题，展示了有希望的结果和跨数据集的泛化。
2020-08-17 cs.CV
Viewpoint Invariant Dense Matching for Visual Geolocalization
Politecnico di Torino（都灵理工大学）；Italian Institute of Technology（意大利理工学院）
在本文中，我们提出了一种新的方法，图像匹配的基础上密集的本地功能和视觉地理定位。密集的局部特征匹配对光照和遮挡的变化是鲁棒的，但对作为地理定位的一个基本方面的视点移位不是鲁棒的。我们的方法，称为GeoWarp，直接嵌入不变性的视点转移的过程中提取密集的功能。这是通过一个可训练的模块来实现的，该模块从数据中学习对识别地点的任务有意义的不变性。我们还设计了一个新的自监督损失和两个新的弱监督损失训练这个模块只使用未标记的数据和弱标签。GeoWarp是一种有效的重新排序方法，可以很容易地嵌入到现有的可视化地理定位管道中。标准地理定位基准的实验验证表明，GeoWarp提高了最先进的检索架构的准确性。代码和训练模型可在https://github.com/gmberton/geo_warp上获得
2021-09-20 cs.CV
Deep Matching Prior: Test-Time Optimization for Dense Correspondence
Korea University（高丽大学）
在视觉上或语义上相似的图像之间建立密集对应的传统技术集中在设计特定于任务的匹配先验上，这是难以建模的。为了克服这一点，最近的基于学习的方法已经尝试在大的训练数据上学习模型本身内的良好匹配先验。性能改进是明显的，但需要足够的训练数据和强化学习阻碍了它们的适用性。此外，在测试时使用固定模型并没有考虑到一对图像可能需要自己的先验知识这一事实，从而提供了有限的性能并且对看不见的图像的泛化能力较差。在本文中，我们证明了可以通过单独优化输入图像对上的未训练匹配网络来捕获特定于图像对的先验。针对这种密集对应的测试时间优化，我们提出了一个残差匹配网络和一个置信度感知的对比损失，以保证有意义的收敛。实验表明，我们的框架，被称为深度匹配先验（Deep Matching Prior，缩写为MMM），是有竞争力的，甚至优于，对最新的基于学习的方法在几个基准几何匹配和语义匹配，即使它既不需要大的训练数据，也不需要密集的学习。通过预先训练的网络，它在所有基准测试中都达到了最先进的性能。
2021-12-15 cs.CV
ResFPN: Residual Skip Connections in Multi-Resolution Feature Pyramid Networks for Accurate Dense Pixel Matching
DFKI - German Research Center for Artificial Intelligence（德国人工智能研究中心）；Birla Institute of Technology and Science (BITS) Pilani（皮拉尼伯拉理工学院（BITS皮拉尼））；University of Applied Sciences Mannheim（曼海姆应用科学大学）；University of Kaiserslautern - TUK（凯泽斯劳滕大学（TUK））
密集像素匹配对于诸如视差、光流或场景流估计的许多计算机视觉算法是必需的。特征金字塔网络（FPN）已被证明是基于CNN的密集匹配任务的合适特征提取器。FPN在多个尺度上生成良好的本地化和语义强的特征。然而，由于其合理但有限的定位精度，通用FPN没有利用其全部潜力。因此，我们提出了ResFPN --一种具有多个残差跳过连接的多分辨率特征金字塔网络，在任何尺度下，我们都可以利用来自更高分辨率地图的信息来获得更强、更好的局部特征。在我们的消融研究中，我们证明了我们的新架构的有效性，其准确性明显高于FPN。此外，我们还在KITTI、Sintel和FlyingThings 3D等已建立的数据集上验证了ResFPN在许多不同像素匹配应用中的卓越精度。
2020-06-22 cs.CV
Learning Camera Localization via Dense Scene Matching
Simon Fraser University（西蒙菲莎大学）；Alibaba A.I Labs（阿里巴巴人工智能实验室）
摄像机定位的目的是从RGB图像中估计6自由度摄像机姿态。传统的方法检测和匹配查询图像和预先构建的3D模型之间的兴趣点。最近基于学习的方法将场景结构编码到特定的卷积神经网络（CNN）中，因此能够从RGB图像中预测密集坐标。然而，他们中的大多数需要重新训练或重新适应一个新的场景，并有困难，在处理大规模的场景，由于网络容量有限。我们提出了一种新的方法，场景不可知的相机定位使用密集场景匹配（DSM），其中的成本体积之间构建的查询图像和场景。成本体积和对应的坐标由CNN处理以预测密集坐标。然后，可以通过Pestrian算法来解决相机姿势。此外，我们的方法可以扩展到时域，这导致在测试时间额外的性能提升。我们的场景不可知的方法实现了与现有的场景特定的方法，如KFNet，在7scenes和剑桥基准相当的准确性。这种方法也明显优于最先进的场景不可知密集坐标回归网络SANet。该守则可在https://github.com/Tangshitao/Dense-Scene-Matching上查阅。
2021-03-31 cs.CV
Dense Scene Multiple Object Tracking with Box-Plane Matching
Tencent Youtu Lab（腾讯优图实验室）
多目标跟踪（MOT）是计算机视觉中的一项重要任务。由于遮挡问题，MOT仍然具有挑战性，特别是在密集场景中。在检测跟踪的框架下，我们提出了盒平面匹配（BPM）方法来提高密集场景下的MOT性能。首先，我们设计了分层聚集判别模型（LADM）来过滤噪声检测。然后，为了正确地关联剩余检测，我们引入全局注意力特征模型（GAFM）来提取外观特征，并使用它来计算历史轨迹和当前检测之间的外观相似性。最后，我们提出了盒平面匹配策略，以实现数据关联，根据运动相似性和外观相似性之间的轨迹和检测。凭借这三个模块的有效性，我们的团队在ACM MM Grand Challenge Hieve 2020中获得了第一名。
2021-04-01 cs.CV
SDC - Stacked Dilated Convolution: A Unified Descriptor Network for Dense Matching Tasks
DFKI - German Research Center for Artificial Intelligence（德国人工智能研究中心）；BMW Group（宝马集团）
密集像素匹配对于诸如视差和流估计的许多计算机视觉任务是重要的。我们提出了一个强大的，统一的描述符网络，认为一个大的上下文区域具有高空间方差。我们的网络具有非常大的感受野，并避免跨越层以保持空间分辨率。这些特性是通过创建一个新的神经网络层来实现的，该层由多个并行堆叠的扩张卷积（SDC）组成。这些层中的几个层组合在一起形成了我们的SDC描述符网络。在我们的实验中，我们表明，我们的SDC功能优于国家的最先进的特征描述符的准确性和鲁棒性。此外，我们展示了卓越的性能，SDC在国家的最先进的立体匹配，光流和场景流算法在几个著名的公共基准。
2019-04-05 cs.CV
Uncertainty Estimation for End-To-End Learned Dense Stereo Matching via Probabilistic Deep Learning
Leibniz University Hannover（莱布尼茨汉诺威大学）
出于识别错误视差分配的需要，近年来已经提出了用于密集立体匹配的不确定性和置信度估计的各种方法。与许多其他领域一样，特别是基于深度学习的方法已经显示出令人信服的结果。然而，大多数这些方法仅对数据中包含的不确定性进行建模，而忽略了所采用的密集立体匹配过程的不确定性。然而，如果训练数据的域不同于要处理的数据的域，则另外对后者建模是特别有益的。为此，在本工作中，概率深度学习的思想首次应用于密集立体匹配的任务。基于GC-Net结构，提出了一种新的概率神经网络，用于对极线校正立体图像对的深度和不确定性估计的联合估计。所提出的概率神经网络不是直接学习网络参数，而是学习概率分布，从该概率分布中对每个预测进行参数采样。在同一图像对上的多个这样的预测之间的变化允许近似模型不确定性。估计的深度和不确定性信息的质量进行了评估，在三个不同的数据集上进行了广泛的评价。
2020-02-10 cs.CV
Latent Fingerprint Matching via Dense Minutia Descriptor
Tsinghua University（清华大学）
本文提出基于深度学习的密集细节点描述符（DMD），通过提取以细节点对齐的指纹块构建三维表示并结合分割图约束有效区域，在多个潜在指纹数据集上取得最先进匹配性能，且更具代表性和可解释性。
2024-07-05 cs.CV
PMatch: Paired Masked Image Modeling for Dense Geometric Matching
Michigan State University（密歇根州立大学）
提出PMatch框架，通过成对掩码图像建模预训练跨帧transformer模块，结合解码器预训练、跨帧全局匹配模块（CFGM）与单应性损失，在几何匹配任务上实现了最先进的性能。
2023-03-30 cs.CV
Towards Geometry-Grounded Dense Semantic Matching with VGGT Priors
S-Lab, Nanyang Technological University（南洋理工大学S实验室）；Visual Geometry Group, University of Oxford（牛津大学视觉几何组）
本文针对现有语义匹配方法的几何歧义与最近邻规则局限，采用VGGT先验，通过特征调整、循环训练等策略实现适配，在多方面性能优于基线。
2026-08-12 cs.CV
An Empirical Evaluation Study on the Training of SDC Features for Dense Pixel Matching
DFKI - German Research Center for Artificial Intelligence（德国人工智能研究中心）；BMW Group（宝马集团）
训练深度神经网络是一项重要的任务。不仅是超参数的调整，还有训练数据的收集和选择、损失函数的设计以及训练计划的构建对于充分利用模型都很重要。在这项研究中，我们进行了一系列与这些问题相关的实验。不同的训练策略进行了研究的模型是最近提出的SDC描述符网络（堆叠扩张卷积）。它用于在像素级上描述密集匹配任务的图像。我们的工作更详细地分析了SDC，验证了训练深度神经网络的一些最佳实践，并提供了对多域数据训练的见解。
2019-04-12 cs.CV
Object-Centric Stereo Ranging for Autonomous Driving: From Dense Disparity to Census-Based Template Matching
本文提出一种综合立体测距系统，结合密集BM/SGM视差、基于census的目标中心模板匹配和单目几何先验，实现实时测距。核心贡献是新的基于census的目标中心模板匹配算法，通过GPU加速稀疏立体匹配，提升远距离测距鲁棒性。
2026-04-09 cs.CV
DenseGRPO: From Sparse to Dense Reward for Flow Matching Model Alignment
Tongyi Lab, Alibaba Group（阿里集团通义实验室）
DenseGRPO通过引入密集奖励机制，解决流匹配模型中稀疏奖励导致的反馈与贡献不匹配问题，提升文本到图像生成的人类偏好对齐效果。
2026-02-25 cs.CV
Affine-based Deformable Attention and Selective Fusion for Semi-dense Matching
Apple Inc.（苹果公司）；Hong Kong University of Science and Technology（香港科技大学）
本文提出基于仿射的可变形注意力与选择性融合，改进半稠密匹配，完整版性能最优，精简版以低计算和参数达到LoFTR基线。
2024-05-22 cs.CV
DOMR: Establishing Cross-View Segmentation via Dense Object Matching
Hangzhou International Innovation Institute, Beihang University（北京航空航天大学杭州国际创新研究院）；Faculty of Science and Technology, University of Macau（澳门大学科学与技术学院）；College of Computer Science and Technology, Zhejiang University of Technology（浙江工业大学计算机科学与技术学院）；School of Artificial Intelligence, Beihang University（北京航空航天大学人工智能学院）
本文提出DOMR框架，通过密集对象匹配器联合建模对象间位置与语义关系，结合掩码细化头，在Ego-Exo4D上实现跨视角分割SOTA性能。
2025-08-06 cs.CV
Towards Establishing Dense Correspondence on Multiview Coronary Angiography: From Point-to-Point to Curve-to-Curve Query Matching
University of Pennsylvania（宾夕法尼亚大学）；Siemens Healthineers（西门子医疗）
针对多视图冠脉造影2D投影缺3D信息、有视觉歧义的问题，提出基于CCTA模拟数据的点到点再到曲线到曲线的查询匹配方法，建立密集对应关系，在1260组图像对上验证了可行性。
2023-12-18 cs.CV
UltraMatch: Transport Path Routing for Ultra-Fast and Memory-Efficient Image Matching
Wuhan University（武汉大学）；Xiaomi Corporation（小米公司）；Harbin Institute of Technology（哈尔滨工业大学）
UltraMatch通过轻量传输路径路由器仅匹配少量候选路径，实现超快速、内存高效的半稠密图像匹配，速度提升1.67倍，内存仅0.44 GiB，并支持6K分辨率推理。
2026-09-30 cs.CV
CNN-based Cost Volume Analysis as Confidence Measure for Dense Matching
Leibniz University Hannover（莱布尼茨汉诺威大学）
由于其在密集立体匹配中识别错误视差分配的能力，置信度估计对于广泛的应用是有益的，例如自动驾驶，其需要高置信度作为强制性先决条件。特别是，引入基于深度学习的方法导致近年来该领域的日益普及，这是由于准确性的显著提高。尽管有了这一显著的发展，但这些方法中的大多数仅依赖于从视差图中学习的特征，而没有考虑相应的三维成本。然而，已经证明，利用基于手工制作特征的传统方法，可以使用该附加信息来进一步提高准确性。为了结合深度学习和基于体积的特征的优势，本文提出了一种新型卷积神经网络（CNN）架构，可以直接从体积3D数据中学习用于置信度估计的特征。使用三种常见的密集立体匹配技术的三个数据集上的广泛的评估表明，所提出的方法的通用性和国家的最先进的精度。
2019-10-22 cs.CV
Learning Dense Wide Baseline Stereo Matching for People
University of Surrey（萨里大学）；Vicon Motion Systems Ltd.（Vicon运动系统有限公司）
用于窄基线图像对上的立体工作的现有方法在宽基线视图之间给出有限的性能。本文提出了一个框架，学习和估计密集立体声的人从宽基线图像对。引入合成的人立体面片数据集（S2P2）来学习宽基线密集的人立体匹配。所提出的框架不仅从合成数据中学习人类特定的特征，而且还利用池化层和数据增强来适应真实数据。该网络从所提出的数据集中的人类特定立体补丁中学习，以进行宽基线立体估计。除了补丁匹配学习，立体约束的框架中引入解决宽基线的人体立体重建。定量和定性的性能评估对国家的最先进的方法，所提出的方法证明了改进的宽基线立体重建具有挑战性的数据集。我们表明，它是可能的，从合成的人的数据集学习立体匹配和提高性能的真实数据集的立体重建的人从窄和宽的基线立体数据。
2019-10-02 cs.CV
Direct Image to Point Cloud Descriptors Matching for 6-DOF Camera Localization in Dense 3D Point Cloud
The University of Western Australia（西澳大学）；Murdoch University（默多克大学）
我们提出了一个新的概念，直接匹配从RGB图像中提取的特征描述符，从三维点云提取的特征描述符。我们使用这个概念来本地化的位置和方向（姿态）的查询图像的相机在密集的点云。我们生成一个数据集匹配的2D和3D描述符，并用它来训练一个建议的描述符匹配算法。为了在点云中定位查询图像，我们从查询图像中提取2D关键点和描述符。然后使用描述符匹配器通过将2D描述符与点云的预提取的3D描述符进行匹配来找到对应的2D和3D关键点对。该信息用于鲁棒的姿态估计算法中，以在3D点云中定位查询图像。实验表明，直接匹配的2D和3D描述符不仅是一个可行的想法，但也实现了竞争力的准确性相比，其他国家的最先进的相机姿态定位的方法。
2019-06-14 cs.CV
VMatcher: State-Space Semi-Dense Local Feature Matching
Ali Youssef
针对现有基于学习的特征匹配依赖Transformer注意力机制、计算成本高的问题，本文提出混合Mamba-Transformer网络VMatcher，结合Mamba线性复杂度的长序列处理能力与Transformer注意力，高效刷新匹配基准，适用于实时应用。
2025-07-31 cs.CV
Leveraging AV1 motion vectors for Fast and Dense Feature Matching
Sigmedia Group（Sigmedia集团）；Department of Electronic and Electrical Engineering（电子与电气工程系）
本文利用AV1运动向量生成密集子像素对应关系和经过余弦一致性过滤的短轨迹，通过压缩域前端在短视频中实现与顺序SIFT相当的性能，但消耗更少CPU资源，且产生更密集的匹配结果。
2025-10-21 cs.CV
Deep Stereo Matching with Dense CRF Priors
Technion - Israel Institute of Technology（以色列理工学院）
最近在深度学习的背景下重新审视了从矫正图像的立体重建。使用深度卷积神经网络来获得逐块匹配成本体积已经导致了在像Middlebury和Kitti这样的经典数据集上的最先进的立体重建。通过将此成本引入到经典的立体声管道中，最终结果比基于非学习的成本模型有了显着改善。然而，这些管道通常包括手工设计的后处理步骤，以有效地调整和清洁结果。在这里，我们表明，通过训练一个完全端到端的网络，可以采取一种更全面的方法，该网络直接包括以密集连接的条件随机场（CRF）形式的正则化，该条件随机场作为像素间交互的先验。我们证明了我们在合成和真实世界数据集上的方法优于替代的端到端网络，并且与手工设计的方法相比更有利。
2017-01-24 cs.CV
3DG-STFM: 3D Geometric Guided Student-Teacher Feature Matching
Purdue University（普渡大学）；XPeng Motors（小鹏汽车）
我们解决了在一对图像之间找到密集的视觉对应的基本任务。这是一个具有挑战性的问题，由于各种因素，如不良的纹理，重复的模式，照明变化，和运动模糊的实际情况。与使用密集对应地面实况作为局部特征匹配训练的直接监督的方法相比，我们训练3DG-STFM：多模态匹配模型（教师），以在3D密集对应监督下加强深度一致性，并将知识转移到2D单峰匹配模型（学生）。教师和学生模型都由两个基于变换器的匹配模块组成，它们以从粗到细的方式获得密集的对应关系。教师模型引导学生模型学习RGB诱导的深度信息，用于粗分支和细分支上的匹配目的。我们还评估了3DG-STFM的模型压缩任务。据我们所知，3DG-STFM是第一个用于局部特征匹配任务的学生-教师学习方法。实验表明，我们的方法优于国家的最先进的方法在室内和室外摄像机的姿态估计，单应性估计问题。代码可在：https://github.com/Ryan-prime/3DG-STFM.
2022-07-19 cs.CV
Flow Fields: Dense Correspondence Fields for Highly Accurate Large Displacement Optical Flow Estimation
German Research Center of Artificial Intelligence（德国人工智能研究中心）；University of Kaiserslautern（凯泽斯劳滕大学）
现代大位移光流算法通常使用稀疏描述符匹配技术或密集近似最近邻场的初始化。虽然后者具有密集的优点，但它们具有非常容易离群的主要缺点，因为它们不是被设计成找到光流，而是视觉上最相似的对应关系。在这篇文章中，我们提出了一个密集的对应字段的方法，是少得多的离群倾向，因此更适合于光流估计比近似最近邻字段。我们的方法不需要显式正则化，平滑（如中值滤波）或新的数据项。相反，我们完全依赖于补丁匹配技术和一种新的多尺度匹配策略。我们还提出了增强离群值过滤。我们表明，我们的方法是更适合于大位移光流估计比现代描述符匹配技术。我们通过使用我们的方法初始化EpicFlow来实现这一点，而不是他们最初使用的最先进的描述符匹配技术。我们在MPI-Sintel、KITTI 2012、KITTI 2015和Middlebury上的表现明显优于原始EpicFlow。在我们以前的会议出版物的这篇扩展文章中，我们进一步改进了我们在匹配精度和运行时间方面的方法，并提出了更多的实验和见解。
2018-10-28 cs.CV
RoMa v2: Harder Better Faster Denser Feature Matching
Linköping University（_linköping大学）；Chalmers University of Technology（_chalmers技术大学）；University of Amsterdam（_阿姆斯特丹大学）；Centre for Mathematical Sciences, Lund University（_数学科学中心，吕勒奥大学）
研究针对现有密集匹配器在复杂场景中表现不佳及高精度模型慢等弱点，通过系列改进构建新架构与损失函数，采用解耦管道加速训练、减少内存使用，利用基础模型提升鲁棒性，新匹配器达新的技术水平。
2026-07-07 cs.CV
Learning Dense Stereo Matching for Digital Surface Models from Satellite Imagery
University of Delaware（特拉华大学）；Vision Systems Inc.（视觉系统公司）
从卫星图像生成数字表面模型是一项艰巨的任务，在很大程度上被深度学习社区所忽视。为包括自动驾驶汽车在内的地面系统开发的立体重建技术不能很好地转化为图像对差异很大的卫星图像。在这项工作中，我们提出了神经网络量身定制的数字表面模型生成，地面的真实性和训练计划，最大限度地利用硬件，我们提出了一个比较现有的方法。生成的模型是平滑的，保留边界，并允许进一步处理。这是在这个领域利用深度学习的第一次尝试。
2018-12-11 cs.CV
Learning to Produce Semi-dense Correspondences for Visual Localization
School of Computing, KAIST（韩国科学技术院计算机学院）；College of AI Convergence, Dongguk University（东国大学人工智能融合学院）
针对夜间、恶劣天气等苛刻条件下的视觉定位问题，提出一种基于密集关键点匹配提取半密集2D-3D匹配点的新颖定位方法，利用点推理网络推断未观测关键点的3D坐标，显著提升了相机位姿估计精度并在大规模基准上取得竞争力表现。
2024-03-20 cs.CV
Unsupervised Feature Learning for Dense Correspondences across Scenes
Beijing Institute of Technology（北京理工大学）；The University of Adelaide（阿德莱德大学）；Australian Centre for Robotic Vision（澳大利亚机器人视觉中心）
我们提出了一种快速，准确的匹配方法，估计密集的像素对应场景。估计描绘相同对象类别的不同场景或实例的图像之间的密集像素对应关系是一个具有挑战性的问题。虽然大多数这样的匹配方法依赖于手工制作的特征，如SIFT，但我们使用无监督学习从大量未标记的图像块中学习特征。像素层特征是通过对字典进行编码来获得的，然后通过空间池化来获得补丁层特征。然后将学习到的特征无缝嵌入到多层匹配框架中。我们的实验表明，学习的功能，与我们的匹配模型，优于国家的最先进的方法，如SIFT流，一致性敏感哈希和最近的可变形空间金字塔匹配方法的准确性和计算效率。此外，我们评估了几种不同的字典学习和特征编码方法在建议的像素对应关系估计框架的性能，并分析了字典学习和特征编码对最终匹配性能的影响。
2015-04-23 cs.CV
Efficient LoFTR: Semi-Dense Local Feature Matching with Sparse-Like Speed
Zhejiang University（浙江大学）
针对无检测器匹配器LoFTR效率低的问题，提出带自适应token选择的聚合注意力机制和两阶段相关层，在提升半稠密特征匹配精度的同时实现类稀疏匹配的速度，适配延迟敏感应用。
2024-03-11 cs.CV
PlantStereo: A Stereo Matching Benchmark for Plant Surface Dense Reconstruction
Zhejiang University（浙江大学）
立体匹配是计算机视觉中的一项重要任务，几十年来一直受到人们的关注。而公共立体数据集在视差精度、密度和数据量等方面难以满足模型的要求。在本文中，我们的目标是解决数据集和模型之间的问题，并提出了一个大规模的立体数据集与高精度视差地面真相命名为PlantStereo。我们使用半自动的方式来构建数据集：经过摄像机校准和图像配准，可以从深度图像中获得高精度的视差图像。PlantStereo总共包含812个图像对，涵盖了各种植物：菠菜、番茄、辣椒和南瓜。我们首先评估了四种不同立体匹配方法的PlantStereo数据集。在不同模型和植物上进行的大量实验表明，与整数精度的地面真值相比，PlantStereo提供的高精度视差图像可以显著提高深度学习模型的训练效果。为实现植物表面密集化改造提供了一种可行可靠的方法。PlantStereo数据集和相关代码可在https://www.github.com/wangqingyu985/PlantStereo上获得
2021-11-30 cs.CV
A Comparative Evaluation of SGM Variants (including a New Variant, tMGM) for Dense Stereo Matching
Purdue University（普渡大学）
我们的目标有三个方面：[1]提出了一种新的稠密立体匹配算法tMGM，该算法将tSGM的层次逻辑与MGM的支撑结构相结合，比基本SGM的性能提高了6 ~ 8（这些业绩数字在米德尔伯里基准V3中的tMGM-16下公布）;和[2]通过详尽的定量和定性比较研究，比较SGM方法的主要变体如何进行密集立体匹配，包括新的tMGM，在存在以下情况下执行：（a）照明变化和阴影，（b）无纹理或弱纹理区域，（c）在存在大的立体校正误差的情况下场景中的重复图案。[3]提出了一种新的DEM雕刻方法，用于估计多数据卫星立体像对的初始视差搜索范围。根据我们的研究，我们发现tMGM通常在所有这些数据条件下表现最好。tSGM和MGM都提高了立体视差图的密度，并且在tMGM中组合这两者使得可以准确地估计大量像素处的视差，否则这些像素将被SGM宣布为无效。我们在比较评估中使用的数据集包括Middlebury 2014、KITTI 2015和ETH 3D数据集以及来自MVS挑战数据集的圣费尔南多地区卫星图像。
2019-11-22 cs.CV
BluRef: Unsupervised Image Deblurring with Dense-Matching References
本文提出一种无监督图像去模糊方法，利用简单数据收集流程生成伪真实数据，无需配对数据即可提升去模糊效果，适用于不同场景和设备。
2026-03-15 cs.CV
Handling Multiple Hypotheses in Coarse-to-Fine Dense Image Matching
Univ. Bordeaux, CNRS, Bordeaux INP, IMS, UMR 5218, F-33400 Talence, France（波尔多大学、国家科学研究中心、波尔多理工学院、IMSA、UMR 5218）
本文提出BEAMER架构，通过束搜索在由粗到精的稠密图像匹配中为每个源位置保留并传播多个对应假设，并将其集成到交叉注意力层中，显著提升了在深度不连续和强放大场景下的匹配鲁棒性。
2025-09-23 cs.CV
Multi-view dense image matching with similarity learning and geometry priors
Univ Gustave Eiffel, LASTIG, ENSG-IGN（古斯塔夫·埃菲尔大学，LASTIG，ENSG-IGN）；Thales（泰雷兹）
本研究提出MV-DeepSimNets多视图相似性学习深度网络套件，结合在线几何先验与平面扫描构建正则化代价体，无需专用多视图训练集即可提升重建效果，泛化性优异且已集成至MicMac软件。
2025-05-16 cs.CV
InLoc: Indoor Visual Localization with Dense Matching and View Synthesis
Tokyo Institute of Technology（东京工业大学）；ETH Zürich（苏黎世联邦理工学院）；CIIRC, CTU in Prague（布拉格捷克理工大学信息学、机器人学与网络学捷克研究所）；Inria（法国国家信息与自动化研究所）；Microsoft（微软）
我们试图预测6自由度（6DoF）的查询照片相对于一个大的室内3D地图的姿态。这项工作的贡献是三方面的。首先，我们开发了一种新的大规模视觉定位方法针对室内环境。该方法沿着三个步骤进行：（i）候选姿态的有效检索，以确保大规模环境的可扩展性，（ii）姿态估计使用密集匹配，而不是本地功能，以处理无纹理的室内场景，以及（iii）通过虚拟视图合成的姿态验证，以应对视点，场景布局和遮挡物的显着变化。其次，我们收集了一个新的数据集与参考6DoF构成大规模室内定位。查询照片由移动电话在与参考3D地图不同的时间捕获，从而呈现真实的室内定位场景。第三，我们证明，我们的方法在这些新的具有挑战性的数据上显着优于当前最先进的室内定位方法。
2018-04-08 cs.CV
Aligning Information Capacity Between Vision and Language via Dense-to-Sparse Feature Distillation for Image-Text Matching
College of Computer Science, Sichuan University（四川大学计算机学院）；Engineering Research Center of Machine Learning and Industry Intelligence（机器学习与工业智能工程研究中心）
本文提出D2S-VSE两阶段框架，通过稠密文本蒸馏增强稀疏文本嵌入的信息容量，在MS-COCO和Flickr30K上取得优于现有方法的图像-文本匹配性能。
2025-07-17 cs.CV
Dense Affinity Matching for Few-Shot Segmentation
Zhejiang University（浙江大学）；Huawei Technologies Ltd（华为技术有限公司）；Aberystwyth University（阿伯里斯特威斯大学）；State University of New York（纽约州立大学）
提出DAM框架，用双向3D卷积建模支持-查询像素及像素-图像块关系，并通过HSFM利用支持背景抑制查询干扰，在10个基准上以0.68M参数取得有竞争力的小样本分割性能。
2023-07-17 cs.CV
SAMatcher: Dense Co-Visibility Modeling via Cross-View Fusion for Scale-Imbalance Image Matching
Wuhan University（武汉大学）；Nanyang Technological University（南洋理工大学）；Space Engineering University（航天工程大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
提出SAMatcher框架，通过共视性建模预测共视区域掩码和边界框作为结构先验，利用Segment Anything Model的对称交叉视图交互机制和统一监督方案，显著提升大视角和尺度变化下的特征匹配性能。
2026-09-23 cs.CV
MSDC-Net: Multi-Scale Dense and Contextual Networks for Automated Disparity Map for Stereo Matching
Northwestern Polytechnical University（西北工业大学）；Nanyang Technological University（南洋理工大学）
立体图像视差预测对于自动驾驶、三维模型重建和目标检测等计算机视觉应用至关重要。为了预测准确的视差图，我们提出了一种新的深度学习架构，用于从校正的立体图像对中检测视差图，称为MSDC-Net。MSDC-Net包含两个模块：多尺度融合2D卷积和多尺度残差3D卷积模块。多尺度融合2D卷积模块充分利用了图像中潜在的多尺度特征，通过密度网络提取并融合不同尺度的特征。多尺度残差3D卷积模块从多尺度融合2D卷积模块聚集的成本体积中学习不同尺度的几何上下文。场景流和KITTI数据集上的实验结果表明，我们的MSDC-Net显着优于其他方法在非遮挡区域。
2019-04-30 cs.CV
MV-RoMa: From Pairwise Matching into Multi-View Track Reconstruction
KAIST（韩国科学技术院）；Seoul National University（首尔大学）
MV-RoMa通过多视角密集匹配模型，联合估计源图像到多个共视目标的密集对应关系，提升3D重建的准确性和密度。
2026-03-29 cs.CV
ConDL: Detector-Free Dense Image Matching
Technische Universität Berlin（柏林工业大学）
本文提出ConDL框架，通过全卷积网络生成像素级密集描述子，并在含视角、光照、阴影和高光畸变的合成数据上进行对比学习，实现无需关键点检测器的鲁棒多图密集匹配。
2024-08-05 cs.CV cs.LG
MESA: Effective Matching Redundancy Reduction by Semantic Area Segmentation
Shanghai Jiao Tong University（上海交通大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
提出MESA和DMESA特征匹配方法，利用SAM建立语义区域匹配先验以减少冗余，通过区域图优化和密集分布生成实现高效精确匹配，在五个数据集上显著提升多种基线性能。
2025-03-27 cs.CV
Semi-Dense Matching Uncertainty Is Not Just Local Confidence
University of Engineering and Technology, Vietnam National University（越南国家大学工程技术大学）；Optoelectronics Center, Viettel Aerospace Institute, Viettel Group（Viettel集团Viettel宇航研究院光电中心）；National Yang Ming Chiao Tung University（国立阳明交通大学）
针对半稠密匹配不确定性量化不足的问题，本文提出含9个可学习参数的双分量校准拉普拉斯混合模型框架与CoRe几何重拟合模块，显著提升了下游几何估计精度且计算开销极小。
2026-09-01 cs.CV
Sparse-to-Dense Hypercolumn Matching for Long-Term Visual Localization
Université de Bordeaux（波尔多大学）
我们提出了一种新的方法，以特征点匹配，适用于长期场景下的鲁棒性和准确的户外视觉定位。给定一个查询图像，我们首先将其与注册的参考图像数据库进行匹配，使用最近的检索技术。这为我们提供了相机姿态的第一个估计。为了改进这个估计，像以前的方法一样，我们在查询图像和检索到的参考图像上匹配2D点。然而，这一步骤容易失败，因为在可能非常不同的条件下捕获的图像中检测和匹配稀疏特征点仍然非常困难。我们的主要贡献是表明我们只需要在检索到的参考图像中提取稀疏特征点：然后我们在查询图像中穷举地搜索相应的2D位置。这种搜索可以使用卷积操作有效地执行，并且通过使用超列描述符（即，为检索而计算的图像特征）来鲁棒地执行。我们将此方法称为稀疏到密集超列匹配。由于离线重建阶段，我们知道参考图像中稀疏特征点的3D位置，因此可以从这些匹配中准确估计相机姿态。我们的实验表明，这种方法使我们能够在几个具有挑战性的户外数据集上超越最先进的技术。
2019-08-21 cs.CV
SURE: Semi-dense Uncertainty-REfined Feature Matching
School of Electrical and Electronic Engineering, Nanyang Technological University (NTU), Singapore（南洋理工大学电子与电气工程学院）；Institute for Infocomm Research (I 2 R), Agency for Science, Technology and Research (A*STAR), Singapore（信息与通信研究 institute（I2R），科技研究局（A*STAR））；Institute of High Performance Computing, Agency for Science, Technology and Research (A*STAR), Singapore（高性能计算研究所，科技研究局（A*STAR））；College of Computer Science, Nankai University, Tianjin, China（南开大学计算机学院）
SURE通过建模偶然性和epistemic不确定性，联合预测对应关系及其置信度，提升半密集匹配的准确性和效率。
2026-03-05 cs.CV
SeasonStereo: Robust Dense Stereo Matching for Multi-Date Satellite Imagery via Generative AI
Eurecat（欧罗卡特技术中心）；IIE, Facultad de Ingeniería, Universidad de la República（乌拉圭共和国大学工程学院IIE）；Universitat Pompeu Fabra（庞培法布拉大学）；Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；ENS Paris-Saclay（巴黎萨克雷高等师范学校）；Institut Universitaire de France（法国大学研究院）
SeasonStereo框架利用带可控季节外观变化的合成图像对训练并结合基础模型零样本几何先验，实现低成本、高精度的多日期卫星图像密集立体匹配，支持大规模三维重建。
2026-07-30 cs.CV
A Comparative Study on Deep-Learning Methods for Dense Image Matching of Multi-angle and Multi-date Remote Sensing Stereo Images
The Ohio State University（俄亥俄州立大学）
深度学习（DL）立体匹配方法在遥感卫星数据集中得到了极大的关注。然而，大多数现有的研究得出结论，评估的基础上，只有少数/单一的立体图像缺乏系统的评价如何强大的DL方法是卫星立体图像与不同的辐射和几何配置。本文通过数百个具有不同几何配置的多数据多站点卫星立体对，对传统的Census-SGM（半全球匹配）进行了四种DL立体匹配方法的评估，以全面了解其准确性，鲁棒性，泛化能力及其实用潜力。DL方法包括通过卷积神经网络（MC-CNN）的基于学习的成本度量，然后是SGM，以及使用几何和上下文网络（GCNet）、金字塔立体匹配网络（PSMNet）和LEASero 3个端到端（E2 E）学习模型。我们的实验表明，E2 E算法可以达到上限的几何精度，而可能无法推广以及看不见的数据。基于学习的成本指标和Census-SGM相当稳健，可以始终如一地实现可接受的结果。所有DL算法对立体对的几何配置都具有鲁棒性，并且与Census-SGM相比不太敏感，而基于学习的成本度量在不同数据集（机载或地面视图）上训练时可以在卫星图像上推广。
2022-10-25 cs.CV
Universal Few-shot Learning of Dense Prediction Tasks with Visual Token Matching
KAIST（韩国科学技术院）；Microsoft Research Asia（微软亚洲研究院）
稠密预测任务是计算机视觉中的一类基本问题。由于监督方法遭受高的逐像素标记成本，因此期望能够从几个标记图像学习任何密集任务的少样本学习解决方案。然而，当前的少样本学习方法针对有限的任务集，例如语义分割，这可能是由于设计能够灵活有效地适应不可见语义的任意任务的通用和统一模型的挑战。我们提出了视觉标记匹配（VTM），一个通用的Few-Shot学习器，用于任意密集预测任务。它采用非参数匹配的补丁级嵌入式令牌的图像和标签，封装所有的任务。此外，VTM灵活地适应任何任务，只需少量任务特定的参数来调节匹配算法。我们实现VTM作为一个功能强大的分层编码器-解码器架构，涉及ViT骨干，令牌匹配在多个功能层次结构。我们在Taskonomy数据集的一个具有挑战性的变体上实验了VTM，并观察到它鲁棒地学习了各种看不见的密集预测任务。令人惊讶的是，它与仅使用10个标记的新任务示例（完全监督的0.004%）的完全监督基线相比具有竞争力，有时甚至优于使用0.1%的完全监督。代码可在https://github.com/GitGyun/visual_token_matching上获得。
2023-03-27 cs.AI cs.CV
