Patch-based Evaluation of Dense Image Matching Quality
University of Twente（特文特大学）；Technical University of Brunswick（布伦瑞克工业大学）
机载激光扫描和摄影测量是获取物体表面三维数据的两种主要技术。由于激光扫描的高成本，我们希望探索使用密集图像匹配（DIM）获得的点云作为激光扫描数据的有效替代品的潜力。我们提出了一个框架来评估点云从密集的图像匹配和衍生的数字表面模型（DSM）的基础上自动提取的样本补丁。从局部和整体两个层次对密集匹配误差和噪声水平进行了定量评估。实验表明，密集匹配的最佳垂直精度为：与参考数据的平均偏移为0.1地面采样距离（GSD），最大偏移可达1.0 GSD。当在密集匹配中使用额外的倾斜图像时，平均偏差、平均偏差的变化和随机噪声水平都得到改善。我们还检测点云和DSM从一个单一的摄影测量工作流程之间的偏差。该框架还允许揭示由于过拟合BBA网络而导致的密集匹配误差分布的不均匀性。同时对摄影测量质量控制提出了建议。
2018-07-25 cs.CV
EDM: Equirectangular Projection-Oriented Dense Kernelized Feature Matching
NAVER LABS（NAVER实验室）；University of Maryland（马里兰大学）
本文提出首个面向全方位图像的基于学习的密集匹配算法EDM，通过球面相机模型、测地线流细化、球面位置嵌入及球面-笛卡尔双向变换解决ERP图像畸变，在Matterport3D和Stanford2D3D上AUC@5°分别提升+26.72和+42.62。
2025-02-28 cs.CV
Precise Location Matching Improves Dense Contrastive Learning in Digital Pathology
Stony Brook University（石溪大学）；Snap Inc.（Snap公司）；CentraleSupélec（中央理工-高等电力学院）；University of Paris-Saclay（巴黎萨克雷大学）
诸如病理实体的分割和检测等密集预测任务在计算病理学工作流程中具有至关重要的临床价值。然而，在大型队列上获得密集注释通常是繁琐且昂贵的。因此，对比学习（CL）通常用于利用大量未标记的数据来预训练骨干网络。为了提高密集预测的CL，一些研究提出了预训练中密集匹配目标的变化。然而，我们的分析表明，采用现有的密集匹配策略的组织病理学图像之间的不正确的密集功能对强制执行不变性，因此，是不精确的。为了解决这个问题，我们提出了一个精确的基于位置的匹配机制，利用几何变换之间的重叠信息，以精确地匹配两个增强区域。在两个预训练数据集（TCGA-BRCA，NCT-CRC-HE）和三个下游数据集（GlaS，CRAG，BCSS）上的大量实验突出了我们的方法在语义和实例分割任务中的优越性。我们的方法优于以前的密集匹配方法高达7.2%的平均精度检测和实例分割任务的平均精度为5.6%。此外，通过在三个流行的对比学习框架MoCo-v2，VICRegL和ConCL中使用我们的匹配机制，检测的平均精度提高了0.7%到5.2%，分割的平均精度提高了0.7%到4.0%，具有推广性。我们的代码可在https://github.com/cvlab-stonybrook/PLM_SSL上获得。
2023-03-23 cs.CV
DeepMatching: Hierarchical Deformable Dense Matching
INRIA（法国国家信息与自动化研究所）；Inria Grenoble Rhone-Alpes（法国国家信息与自动化研究所格勒诺布尔-罗讷阿尔卑斯分院）；Laboratoire Jean Kuntzmann（让·孔茨曼实验室）；CNRS（法国国家科学研究中心）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）
我们引入了一种新的匹配算法，称为DeepMatching，来计算图像之间的密集对应关系。DeepMatching依赖于一个分层的、多层的、相关的架构，旨在匹配图像，并受到深度卷积方法的启发。所提出的匹配算法可以处理非刚性变形和重复的纹理，并有效地确定密集的对应关系，在图像之间存在显着的变化。我们在Mikolajczyk（Mikolajczyk et al 2005），MPI-Sintel（Butler et al 2012）和Kitti（Geiger et al 2013）数据集上评估了DeepMatching与最先进的匹配算法的性能。DeepMatching优于最先进的算法，特别是对于重复纹理，显示出出色的结果。我们还提出了一种用于估计光流的方法，称为DeepFlow，通过将DeepMatching集成到Brox和Malik（2011）的大位移光流（LDOF）方法中。与现有的匹配算法相比，由于我们的匹配方法，获得了额外的鲁棒性大位移和复杂的运动。DeepFlow在光流估计的公共基准测试中获得了具有竞争力的性能。
2015-10-08 cs.CV
S2DNet: Learning Accurate Correspondences for Sparse-to-Dense Feature Matching
LIGM, École des Ponts, Univ Gustave Eiffel, CNRS（LIGM，法国国立桥路学校，古斯塔夫·埃菲尔大学，法国国家科学研究中心）；Laboratoire IMS, Université de Bordeaux（IMS实验室，波尔多大学）
建立鲁棒且准确的对应关系是许多计算机视觉算法的基本支柱。虽然最近的基于学习的特征匹配方法在具有挑战性的条件下提供鲁棒的对应关系方面显示出有希望的结果，但它们通常在精度方面受到限制。在本文中，我们介绍了S2DNet，这是一种新型的特征匹配管道，经过设计和训练，可以有效地建立鲁棒和准确的对应关系。通过利用稀疏到密集的匹配范式，我们将对应学习问题视为一个监督分类任务，以学习输出高峰值的对应图。我们证明了S2DNet在HPatches基准测试以及几个长期视觉定位数据集上取得了最先进的结果。
2020-04-03 cs.CV
Weakly Supervised Dense Video Captioning via Jointly Usage of Knowledge Distillation and Cross-modal Matching
Hangzhou Dianzi University（杭州电子科技大学）；Baidu Inc.（百度公司）；Zhejiang International Studies University（浙江外国语学院）
提出了一种无需事件句标注的密集视频描述（DVC）方法。首先，我们采用从相关和解决好的任务中提取的知识来生成高质量的活动提案。然后，我们将通常应用于跨模态检索任务的对比损失和循环一致性损失，以建立建议和句子之间的语义匹配，最终用于训练字幕生成模块。此外，匹配模块的参数通过预训练的基础上标注的图像进行初始化，以提高匹配性能。在ActivityNet-Caption数据集上的大量实验表明，基于提取的事件建议生成和基于跨模态检索的语义匹配对弱监督DVC具有重要意义，并证明了该方法相对于现有方法的优越性.
2021-05-18 cs.CV
Solving Dense Image Matching in Real-Time using Discrete-Continuous Optimization
Institute for Computer Graphics and Vision, Graz University of Technology（格拉茨工业大学计算机图形与视觉研究所）
稠密图像匹配是计算机视觉中一个基本的底层问题，受到离散和连续优化领域的极大关注。本文的目标是在一个连贯的框架中结合离散和连续优化的优点。我们设计了一个基于能量最小化的模型，通过离散和连续算法以一致的方式进行优化。在离散设置，我们提出了一种新的优化算法，可以大规模并行化。在连续的设置，我们解决的问题，非凸正则化的制定基于凸函数的差异。由此产生的混合离散-连续算法可以有效地加速现代GPU，我们证明了其实时的【形】性能密集立体匹配和光流的应用。
2016-01-23 cs.CV
Geometric Image Correspondence Verification by Dense Pixel Matching
Nokia Technologies（诺基亚技术公司）；Aalto University（阿尔托大学）
本文讨论了确定两幅图像之间密集像素对应关系的问题，并将其应用于图像检索中的几何对应关系验证。的主要贡献是几何对应验证方法重新排序检索到的数据库图像的基础上，其密集的成对匹配的查询图像在像素级的短名单。我们确定了一组循环一致的密集像素匹配的图像对之间的匹配，并使用基于神经网络的图像描述符的匹配像素的局部相似性进行评估。最后的重新排序是基于一种新的相似性函数，它融合了局部相似性度量与全局相似性度量和几何一致性度量计算的匹配像素。对于密集匹配，我们的方法利用了最近提出的密集几何对应网络（DGC-Net）的修改版本，我们还通过优化架构来改进。所提出的模型和相似性度量相媲美的国家的最先进的图像检索方法。此外，我们将我们的方法应用于长期视觉定位的问题，展示了有希望的结果和跨数据集的泛化。
2020-08-17 cs.CV
Deep Dense Local Feature Matching and Vehicle Removal for Indoor Visual Localization
SOCAR AI Research（SOCAR人工智能研究院）
视觉定位是智能交通系统的重要组成部分，能够在其他传感器不可用时实现需要了解自身位置的广泛应用。它主要通过图像检索来解决，使得查询图像的位置由其在先前收集的图像中的最接近匹配来确定。现有的方法集中在大规模定位，其中地标有助于找到位置。然而，视觉定位变得具有挑战性的小规模的环境中，对象是难以识别的。在本文中，我们提出了一个视觉定位框架，鲁棒地发现从室内停车场收集的图像之间的查询匹配。当图像中的车辆具有相似的外观并且经常被替换（例如停车场）时，这是一个具有挑战性的问题。我们建议采用一种类似于人类感知的深度密集局部特征匹配来找到对应关系，并使用车辆检测器自动消除车辆中的匹配。该方法对低纹理场景具有较好的鲁棒性，对车辆引起的误匹配具有较好的鲁棒性。我们将我们的框架与替代方案进行比较，以验证我们在基准数据集上的优越性，该基准数据集包含267个预先收集的图像和从34个停车场部分拍摄的99个查询图像。我们的方法达到了86.9%的准确率，优于其他方法。
2022-05-25 cs.AI cs.CV
Viewpoint Invariant Dense Matching for Visual Geolocalization
Politecnico di Torino（都灵理工大学）；Italian Institute of Technology（意大利理工学院）
在本文中，我们提出了一种新的方法，图像匹配的基础上密集的本地功能和视觉地理定位。密集的局部特征匹配对光照和遮挡的变化是鲁棒的，但对作为地理定位的一个基本方面的视点移位不是鲁棒的。我们的方法，称为GeoWarp，直接嵌入不变性的视点转移的过程中提取密集的功能。这是通过一个可训练的模块来实现的，该模块从数据中学习对识别地点的任务有意义的不变性。我们还设计了一个新的自监督损失和两个新的弱监督损失训练这个模块只使用未标记的数据和弱标签。GeoWarp是一种有效的重新排序方法，可以很容易地嵌入到现有的可视化地理定位管道中。标准地理定位基准的实验验证表明，GeoWarp提高了最先进的检索架构的准确性。代码和训练模型可在https://github.com/gmberton/geo_warp上获得
2021-09-20 cs.CV
Deep Matching Prior: Test-Time Optimization for Dense Correspondence
Korea University（高丽大学）
在视觉上或语义上相似的图像之间建立密集对应的传统技术集中在设计特定于任务的匹配先验上，这是难以建模的。为了克服这一点，最近的基于学习的方法已经尝试在大的训练数据上学习模型本身内的良好匹配先验。性能改进是明显的，但需要足够的训练数据和强化学习阻碍了它们的适用性。此外，在测试时使用固定模型并没有考虑到一对图像可能需要自己的先验知识这一事实，从而提供了有限的性能并且对看不见的图像的泛化能力较差。在本文中，我们证明了可以通过单独优化输入图像对上的未训练匹配网络来捕获特定于图像对的先验。针对这种密集对应的测试时间优化，我们提出了一个残差匹配网络和一个置信度感知的对比损失，以保证有意义的收敛。实验表明，我们的框架，被称为深度匹配先验（Deep Matching Prior，缩写为MMM），是有竞争力的，甚至优于，对最新的基于学习的方法在几个基准几何匹配和语义匹配，即使它既不需要大的训练数据，也不需要密集的学习。通过预先训练的网络，它在所有基准测试中都达到了最先进的性能。
2021-12-15 cs.CV
ConDL: Detector-Free Dense Image Matching
Technische Universität Berlin（柏林工业大学）
本文提出ConDL框架，通过全卷积网络生成像素级密集描述子，并在含视角、光照、阴影和高光畸变的合成数据上进行对比学习，实现无需关键点检测器的鲁棒多图密集匹配。
2024-08-05 cs.CV cs.LG
ResFPN: Residual Skip Connections in Multi-Resolution Feature Pyramid Networks for Accurate Dense Pixel Matching
DFKI - German Research Center for Artificial Intelligence（德国人工智能研究中心）；Birla Institute of Technology and Science (BITS) Pilani（皮拉尼伯拉理工学院（BITS皮拉尼））；University of Applied Sciences Mannheim（曼海姆应用科学大学）；University of Kaiserslautern - TUK（凯泽斯劳滕大学（TUK））
密集像素匹配对于诸如视差、光流或场景流估计的许多计算机视觉算法是必需的。特征金字塔网络（FPN）已被证明是基于CNN的密集匹配任务的合适特征提取器。FPN在多个尺度上生成良好的本地化和语义强的特征。然而，由于其合理但有限的定位精度，通用FPN没有利用其全部潜力。因此，我们提出了ResFPN --一种具有多个残差跳过连接的多分辨率特征金字塔网络，在任何尺度下，我们都可以利用来自更高分辨率地图的信息来获得更强、更好的局部特征。在我们的消融研究中，我们证明了我们的新架构的有效性，其准确性明显高于FPN。此外，我们还在KITTI、Sintel和FlyingThings 3D等已建立的数据集上验证了ResFPN在许多不同像素匹配应用中的卓越精度。
2020-06-22 cs.CV
Learning Camera Localization via Dense Scene Matching
Simon Fraser University（西蒙菲莎大学）；Alibaba A.I Labs（阿里巴巴人工智能实验室）
摄像机定位的目的是从RGB图像中估计6自由度摄像机姿态。传统的方法检测和匹配查询图像和预先构建的3D模型之间的兴趣点。最近基于学习的方法将场景结构编码到特定的卷积神经网络（CNN）中，因此能够从RGB图像中预测密集坐标。然而，他们中的大多数需要重新训练或重新适应一个新的场景，并有困难，在处理大规模的场景，由于网络容量有限。我们提出了一种新的方法，场景不可知的相机定位使用密集场景匹配（DSM），其中的成本体积之间构建的查询图像和场景。成本体积和对应的坐标由CNN处理以预测密集坐标。然后，可以通过Pestrian算法来解决相机姿势。此外，我们的方法可以扩展到时域，这导致在测试时间额外的性能提升。我们的场景不可知的方法实现了与现有的场景特定的方法，如KFNet，在7scenes和剑桥基准相当的准确性。这种方法也明显优于最先进的场景不可知密集坐标回归网络SANet。该守则可在https://github.com/Tangshitao/Dense-Scene-Matching上查阅。
2021-03-31 cs.CV
Dense Scene Multiple Object Tracking with Box-Plane Matching
Tencent Youtu Lab（腾讯优图实验室）
多目标跟踪（MOT）是计算机视觉中的一项重要任务。由于遮挡问题，MOT仍然具有挑战性，特别是在密集场景中。在检测跟踪的框架下，我们提出了盒平面匹配（BPM）方法来提高密集场景下的MOT性能。首先，我们设计了分层聚集判别模型（LADM）来过滤噪声检测。然后，为了正确地关联剩余检测，我们引入全局注意力特征模型（GAFM）来提取外观特征，并使用它来计算历史轨迹和当前检测之间的外观相似性。最后，我们提出了盒平面匹配策略，以实现数据关联，根据运动相似性和外观相似性之间的轨迹和检测。凭借这三个模块的有效性，我们的团队在ACM MM Grand Challenge Hieve 2020中获得了第一名。
2021-04-01 cs.CV
SDC - Stacked Dilated Convolution: A Unified Descriptor Network for Dense Matching Tasks
DFKI - German Research Center for Artificial Intelligence（德国人工智能研究中心）；BMW Group（宝马集团）
密集像素匹配对于诸如视差和流估计的许多计算机视觉任务是重要的。我们提出了一个强大的，统一的描述符网络，认为一个大的上下文区域具有高空间方差。我们的网络具有非常大的感受野，并避免跨越层以保持空间分辨率。这些特性是通过创建一个新的神经网络层来实现的，该层由多个并行堆叠的扩张卷积（SDC）组成。这些层中的几个层组合在一起形成了我们的SDC描述符网络。在我们的实验中，我们表明，我们的SDC功能优于国家的最先进的特征描述符的准确性和鲁棒性。此外，我们展示了卓越的性能，SDC在国家的最先进的立体匹配，光流和场景流算法在几个著名的公共基准。
2019-04-05 cs.CV
Uncertainty Estimation for End-To-End Learned Dense Stereo Matching via Probabilistic Deep Learning
Leibniz University Hannover（莱布尼茨汉诺威大学）
出于识别错误视差分配的需要，近年来已经提出了用于密集立体匹配的不确定性和置信度估计的各种方法。与许多其他领域一样，特别是基于深度学习的方法已经显示出令人信服的结果。然而，大多数这些方法仅对数据中包含的不确定性进行建模，而忽略了所采用的密集立体匹配过程的不确定性。然而，如果训练数据的域不同于要处理的数据的域，则另外对后者建模是特别有益的。为此，在本工作中，概率深度学习的思想首次应用于密集立体匹配的任务。基于GC-Net结构，提出了一种新的概率神经网络，用于对极线校正立体图像对的深度和不确定性估计的联合估计。所提出的概率神经网络不是直接学习网络参数，而是学习概率分布，从该概率分布中对每个预测进行参数采样。在同一图像对上的多个这样的预测之间的变化允许近似模型不确定性。估计的深度和不确定性信息的质量进行了评估，在三个不同的数据集上进行了广泛的评价。
2020-02-10 cs.CV
Latent Fingerprint Matching via Dense Minutia Descriptor
Tsinghua University（清华大学）
本文提出基于深度学习的密集细节点描述符（DMD），通过提取以细节点对齐的指纹块构建三维表示并结合分割图约束有效区域，在多个潜在指纹数据集上取得最先进匹配性能，且更具代表性和可解释性。
2024-07-05 cs.CV
PMatch: Paired Masked Image Modeling for Dense Geometric Matching
Michigan State University（密歇根州立大学）
提出PMatch框架，通过成对掩码图像建模预训练跨帧transformer模块，结合解码器预训练、跨帧全局匹配模块（CFGM）与单应性损失，在几何匹配任务上实现了最先进的性能。
2023-03-30 cs.CV
Towards Geometry-Grounded Dense Semantic Matching with VGGT Priors
S-Lab, Nanyang Technological University（南洋理工大学S实验室）；Visual Geometry Group, University of Oxford（牛津大学视觉几何组）
本文针对现有语义匹配方法的几何歧义与最近邻规则局限，采用VGGT先验，通过特征调整、循环训练等策略实现适配，在多方面性能优于基线。
2026-08-12 cs.CV
An Empirical Evaluation Study on the Training of SDC Features for Dense Pixel Matching
DFKI - German Research Center for Artificial Intelligence（德国人工智能研究中心）；BMW Group（宝马集团）
训练深度神经网络是一项重要的任务。不仅是超参数的调整，还有训练数据的收集和选择、损失函数的设计以及训练计划的构建对于充分利用模型都很重要。在这项研究中，我们进行了一系列与这些问题相关的实验。不同的训练策略进行了研究的模型是最近提出的SDC描述符网络（堆叠扩张卷积）。它用于在像素级上描述密集匹配任务的图像。我们的工作更详细地分析了SDC，验证了训练深度神经网络的一些最佳实践，并提供了对多域数据训练的见解。
2019-04-12 cs.CV
Object-Centric Stereo Ranging for Autonomous Driving: From Dense Disparity to Census-Based Template Matching
本文提出一种综合立体测距系统，结合密集BM/SGM视差、基于census的目标中心模板匹配和单目几何先验，实现实时测距。核心贡献是新的基于census的目标中心模板匹配算法，通过GPU加速稀疏立体匹配，提升远距离测距鲁棒性。
2026-04-09 cs.CV
DenseGRPO: From Sparse to Dense Reward for Flow Matching Model Alignment
Tongyi Lab, Alibaba Group（阿里集团通义实验室）
DenseGRPO通过引入密集奖励机制，解决流匹配模型中稀疏奖励导致的反馈与贡献不匹配问题，提升文本到图像生成的人类偏好对齐效果。
2026-02-25 cs.CV
Affine-based Deformable Attention and Selective Fusion for Semi-dense Matching
Apple Inc.（苹果公司）；Hong Kong University of Science and Technology（香港科技大学）
本文提出基于仿射的可变形注意力与选择性融合，改进半稠密匹配，完整版性能最优，精简版以低计算和参数达到LoFTR基线。
2024-05-22 cs.CV
DOMR: Establishing Cross-View Segmentation via Dense Object Matching
Hangzhou International Innovation Institute, Beihang University（北京航空航天大学杭州国际创新研究院）；Faculty of Science and Technology, University of Macau（澳门大学科学与技术学院）；College of Computer Science and Technology, Zhejiang University of Technology（浙江工业大学计算机科学与技术学院）；School of Artificial Intelligence, Beihang University（北京航空航天大学人工智能学院）
本文提出DOMR框架，通过密集对象匹配器联合建模对象间位置与语义关系，结合掩码细化头，在Ego-Exo4D上实现跨视角分割SOTA性能。
2025-08-06 cs.CV
Towards Establishing Dense Correspondence on Multiview Coronary Angiography: From Point-to-Point to Curve-to-Curve Query Matching
University of Pennsylvania（宾夕法尼亚大学）；Siemens Healthineers（西门子医疗）
针对多视图冠脉造影2D投影缺3D信息、有视觉歧义的问题，提出基于CCTA模拟数据的点到点再到曲线到曲线的查询匹配方法，建立密集对应关系，在1260组图像对上验证了可行性。
2023-12-18 cs.CV
UltraMatch: Transport Path Routing for Ultra-Fast and Memory-Efficient Image Matching
Wuhan University（武汉大学）；Xiaomi Corporation（小米公司）；Harbin Institute of Technology（哈尔滨工业大学）
UltraMatch通过轻量传输路径路由器仅匹配少量候选路径，实现超快速、内存高效的半稠密图像匹配，速度提升1.67倍，内存仅0.44 GiB，并支持6K分辨率推理。
2026-09-30 cs.CV
CNN-based Cost Volume Analysis as Confidence Measure for Dense Matching
Leibniz University Hannover（莱布尼茨汉诺威大学）
由于其在密集立体匹配中识别错误视差分配的能力，置信度估计对于广泛的应用是有益的，例如自动驾驶，其需要高置信度作为强制性先决条件。特别是，引入基于深度学习的方法导致近年来该领域的日益普及，这是由于准确性的显著提高。尽管有了这一显著的发展，但这些方法中的大多数仅依赖于从视差图中学习的特征，而没有考虑相应的三维成本。然而，已经证明，利用基于手工制作特征的传统方法，可以使用该附加信息来进一步提高准确性。为了结合深度学习和基于体积的特征的优势，本文提出了一种新型卷积神经网络（CNN）架构，可以直接从体积3D数据中学习用于置信度估计的特征。使用三种常见的密集立体匹配技术的三个数据集上的广泛的评估表明，所提出的方法的通用性和国家的最先进的精度。
2019-10-22 cs.CV
DKM: Dense Kernelized Feature Matching for Geometry Estimation
Linköping University（林雪平大学）
特征匹配是一项具有挑战性的计算机视觉任务，涉及寻找3D场景的两个图像之间的对应关系。在本文中，我们认为密集的方法，而不是更常见的稀疏范例，从而努力找到所有的对应。也许与直觉相反，密集的方法以前表现出较差的性能，他们的稀疏和半稀疏的两视图几何形状的估计。这与我们的新的密集方法，它优于密集和稀疏的几何估计方法的变化。新颖性是三方面的：首先，我们提出了一个内核回归全局匹配。其次，我们提出了通过堆叠的特征映射和深度卷积核的翘曲细化。第三，我们提出了通过一致的深度和稠密置信图的平衡采样方法来学习稠密置信度。通过大量的实验，我们证实，我们提出的密集的方法，\textbf{D}感\textbf{K} nelized功能\textbf{M}匹配，设置一个新的国家的最先进的多几何估计基准。特别是，我们实现了+4.9和+8.9 AUC $@5^{\circ}$的MegaDepth-1500相比，以前最好的稀疏方法和密集的方法分别改善。我们的代码在https://github.com/Parskatt/dkm上提供
2022-11-25 cs.CV cs.LG
Learning Dense Wide Baseline Stereo Matching for People
University of Surrey（萨里大学）；Vicon Motion Systems Ltd.（Vicon运动系统有限公司）
用于窄基线图像对上的立体工作的现有方法在宽基线视图之间给出有限的性能。本文提出了一个框架，学习和估计密集立体声的人从宽基线图像对。引入合成的人立体面片数据集（S2P2）来学习宽基线密集的人立体匹配。所提出的框架不仅从合成数据中学习人类特定的特征，而且还利用池化层和数据增强来适应真实数据。该网络从所提出的数据集中的人类特定立体补丁中学习，以进行宽基线立体估计。除了补丁匹配学习，立体约束的框架中引入解决宽基线的人体立体重建。定量和定性的性能评估对国家的最先进的方法，所提出的方法证明了改进的宽基线立体重建具有挑战性的数据集。我们表明，它是可能的，从合成的人的数据集学习立体匹配和提高性能的真实数据集的立体重建的人从窄和宽的基线立体数据。
2019-10-02 cs.CV
Direct Image to Point Cloud Descriptors Matching for 6-DOF Camera Localization in Dense 3D Point Cloud
The University of Western Australia（西澳大学）；Murdoch University（默多克大学）
我们提出了一个新的概念，直接匹配从RGB图像中提取的特征描述符，从三维点云提取的特征描述符。我们使用这个概念来本地化的位置和方向（姿态）的查询图像的相机在密集的点云。我们生成一个数据集匹配的2D和3D描述符，并用它来训练一个建议的描述符匹配算法。为了在点云中定位查询图像，我们从查询图像中提取2D关键点和描述符。然后使用描述符匹配器通过将2D描述符与点云的预提取的3D描述符进行匹配来找到对应的2D和3D关键点对。该信息用于鲁棒的姿态估计算法中，以在3D点云中定位查询图像。实验表明，直接匹配的2D和3D描述符不仅是一个可行的想法，但也实现了竞争力的准确性相比，其他国家的最先进的相机姿态定位的方法。
2019-06-14 cs.CV
FD-SLAM: 3-D Reconstruction Using Features and Dense Matching
University of Bristol（布里斯托大学）；Zhejiang University（浙江大学）
众所周知，基于密集匹配的视觉SLAM系统是局部准确的，但也容易受到长期漂移和地图损坏的影响。相比之下，特征匹配方法可以实现更大的长期一致性，但是当特征信息稀疏时，可能遭受不准确的局部姿态估计。基于这些观察结果，我们提出了一个RGB-D SLAM系统，该系统利用了这两种方法的优点：使用密集的帧到模型的里程计来构建准确的子地图，并在子地图之间进行基于特征的动态匹配，以实现全局地图优化。此外，我们还结合了一个基于学习的循环闭合组件，该组件基于3-D特征，进一步稳定了地图构建。我们已经对来自公共数据集的室内序列的方法进行了评估，结果表明，在地图重建质量和姿态估计方面，它的性能与最先进的系统相当或更好。该方法还可以扩展到其他系统经常失败的大型场景。
2022-03-25 cs.CV cs.RO
Hierarchical Dense Correlation Distillation for Few-Shot Segmentation
The Chinese University of Hong Kong（香港中文大学）；SmartMore（思谋科技）；The University of Hong Kong（香港大学）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））
Few-Shot语义分割（FSS）旨在形成与类别无关的模型，该模型仅使用少量注释来分割不可见的类别。以前的方法局限于语义特征和原型表示，存在分割粒度粗和训练集过拟合的问题。本文基于Transformer架构设计了分层解耦匹配网络（HDMNet）挖掘像素级支持度相关。自注意模块用于辅助建立层次密集特征，作为完成查询和支持特征之间级联匹配的一种手段。此外，我们提出了一个匹配模块，以减少训练集过拟合，并引入相关性蒸馏，利用粗分辨率的语义对应来提高细粒度分割。我们的方法在实验中表现得很好。我们实现了$50.0\%$ mIoU上的\coco ~数据集一杆设置和$56.0\%$上的五杆分割，分别。
2023-03-26 cs.AI cs.CV
VMatcher: State-Space Semi-Dense Local Feature Matching
Ali Youssef
针对现有基于学习的特征匹配依赖Transformer注意力机制、计算成本高的问题，本文提出混合Mamba-Transformer网络VMatcher，结合Mamba线性复杂度的长序列处理能力与Transformer注意力，高效刷新匹配基准，适用于实时应用。
2025-07-31 cs.CV
Leveraging AV1 motion vectors for Fast and Dense Feature Matching
Sigmedia Group（Sigmedia集团）；Department of Electronic and Electrical Engineering（电子与电气工程系）
本文利用AV1运动向量生成密集子像素对应关系和经过余弦一致性过滤的短轨迹，通过压缩域前端在短视频中实现与顺序SIFT相当的性能，但消耗更少CPU资源，且产生更密集的匹配结果。
2025-10-21 cs.CV
Deep Stereo Matching with Dense CRF Priors
Technion - Israel Institute of Technology（以色列理工学院）
最近在深度学习的背景下重新审视了从矫正图像的立体重建。使用深度卷积神经网络来获得逐块匹配成本体积已经导致了在像Middlebury和Kitti这样的经典数据集上的最先进的立体重建。通过将此成本引入到经典的立体声管道中，最终结果比基于非学习的成本模型有了显着改善。然而，这些管道通常包括手工设计的后处理步骤，以有效地调整和清洁结果。在这里，我们表明，通过训练一个完全端到端的网络，可以采取一种更全面的方法，该网络直接包括以密集连接的条件随机场（CRF）形式的正则化，该条件随机场作为像素间交互的先验。我们证明了我们在合成和真实世界数据集上的方法优于替代的端到端网络，并且与手工设计的方法相比更有利。
2017-01-24 cs.CV
3DG-STFM: 3D Geometric Guided Student-Teacher Feature Matching
Purdue University（普渡大学）；XPeng Motors（小鹏汽车）
我们解决了在一对图像之间找到密集的视觉对应的基本任务。这是一个具有挑战性的问题，由于各种因素，如不良的纹理，重复的模式，照明变化，和运动模糊的实际情况。与使用密集对应地面实况作为局部特征匹配训练的直接监督的方法相比，我们训练3DG-STFM：多模态匹配模型（教师），以在3D密集对应监督下加强深度一致性，并将知识转移到2D单峰匹配模型（学生）。教师和学生模型都由两个基于变换器的匹配模块组成，它们以从粗到细的方式获得密集的对应关系。教师模型引导学生模型学习RGB诱导的深度信息，用于粗分支和细分支上的匹配目的。我们还评估了3DG-STFM的模型压缩任务。据我们所知，3DG-STFM是第一个用于局部特征匹配任务的学生-教师学习方法。实验表明，我们的方法优于国家的最先进的方法在室内和室外摄像机的姿态估计，单应性估计问题。代码可在：https://github.com/Ryan-prime/3DG-STFM.
2022-07-19 cs.CV
Flow Fields: Dense Correspondence Fields for Highly Accurate Large Displacement Optical Flow Estimation
German Research Center of Artificial Intelligence（德国人工智能研究中心）；University of Kaiserslautern（凯泽斯劳滕大学）
现代大位移光流算法通常使用稀疏描述符匹配技术或密集近似最近邻场的初始化。虽然后者具有密集的优点，但它们具有非常容易离群的主要缺点，因为它们不是被设计成找到光流，而是视觉上最相似的对应关系。在这篇文章中，我们提出了一个密集的对应字段的方法，是少得多的离群倾向，因此更适合于光流估计比近似最近邻字段。我们的方法不需要显式正则化，平滑（如中值滤波）或新的数据项。相反，我们完全依赖于补丁匹配技术和一种新的多尺度匹配策略。我们还提出了增强离群值过滤。我们表明，我们的方法是更适合于大位移光流估计比现代描述符匹配技术。我们通过使用我们的方法初始化EpicFlow来实现这一点，而不是他们最初使用的最先进的描述符匹配技术。我们在MPI-Sintel、KITTI 2012、KITTI 2015和Middlebury上的表现明显优于原始EpicFlow。在我们以前的会议出版物的这篇扩展文章中，我们进一步改进了我们在匹配精度和运行时间方面的方法，并提出了更多的实验和见解。
2018-10-28 cs.CV
LoRetta: A Foundation Model and Extensive Dataset for Global-Scale Remote Sensing Dense Image Matching
Beihang University（北京航空航天大学）
针对全球尺度遥感密集图像匹配的挑战，本文提出结合可匹配性感知仿射定位与引导式密集配准的基础模型LoRetta，并构建含原生可匹配性标签的LEVIR-GM基准，实验表明其性能优于现有模型且迁移性良好。
2026-08-06 cs.CV eess.IV
RoMa v2: Harder Better Faster Denser Feature Matching
Linköping University（_linköping大学）；Chalmers University of Technology（_chalmers技术大学）；University of Amsterdam（_阿姆斯特丹大学）；Centre for Mathematical Sciences, Lund University（_数学科学中心，吕勒奥大学）
研究针对现有密集匹配器在复杂场景中表现不佳及高精度模型慢等弱点，通过系列改进构建新架构与损失函数，采用解耦管道加速训练、减少内存使用，利用基础模型提升鲁棒性，新匹配器达新的技术水平。
2026-07-07 cs.CV
Learning Dense Stereo Matching for Digital Surface Models from Satellite Imagery
University of Delaware（特拉华大学）；Vision Systems Inc.（视觉系统公司）
从卫星图像生成数字表面模型是一项艰巨的任务，在很大程度上被深度学习社区所忽视。为包括自动驾驶汽车在内的地面系统开发的立体重建技术不能很好地转化为图像对差异很大的卫星图像。在这项工作中，我们提出了神经网络量身定制的数字表面模型生成，地面的真实性和训练计划，最大限度地利用硬件，我们提出了一个比较现有的方法。生成的模型是平滑的，保留边界，并允许进一步处理。这是在这个领域利用深度学习的第一次尝试。
2018-12-11 cs.CV
Learning to Produce Semi-dense Correspondences for Visual Localization
School of Computing, KAIST（韩国科学技术院计算机学院）；College of AI Convergence, Dongguk University（东国大学人工智能融合学院）
针对夜间、恶劣天气等苛刻条件下的视觉定位问题，提出一种基于密集关键点匹配提取半密集2D-3D匹配点的新颖定位方法，利用点推理网络推断未观测关键点的3D坐标，显著提升了相机位姿估计精度并在大规模基准上取得竞争力表现。
2024-03-20 cs.CV
Unsupervised Feature Learning for Dense Correspondences across Scenes
Beijing Institute of Technology（北京理工大学）；The University of Adelaide（阿德莱德大学）；Australian Centre for Robotic Vision（澳大利亚机器人视觉中心）
我们提出了一种快速，准确的匹配方法，估计密集的像素对应场景。估计描绘相同对象类别的不同场景或实例的图像之间的密集像素对应关系是一个具有挑战性的问题。虽然大多数这样的匹配方法依赖于手工制作的特征，如SIFT，但我们使用无监督学习从大量未标记的图像块中学习特征。像素层特征是通过对字典进行编码来获得的，然后通过空间池化来获得补丁层特征。然后将学习到的特征无缝嵌入到多层匹配框架中。我们的实验表明，学习的功能，与我们的匹配模型，优于国家的最先进的方法，如SIFT流，一致性敏感哈希和最近的可变形空间金字塔匹配方法的准确性和计算效率。此外，我们评估了几种不同的字典学习和特征编码方法在建议的像素对应关系估计框架的性能，并分析了字典学习和特征编码对最终匹配性能的影响。
2015-04-23 cs.CV
Efficient LoFTR: Semi-Dense Local Feature Matching with Sparse-Like Speed
Zhejiang University（浙江大学）
针对无检测器匹配器LoFTR效率低的问题，提出带自适应token选择的聚合注意力机制和两阶段相关层，在提升半稠密特征匹配精度的同时实现类稀疏匹配的速度，适配延迟敏感应用。
2024-03-11 cs.CV
Direction-Aware Semi-Dense SLAM
为了辅助同时定位与地图构建（SLAM），未来的感知系统将结合场景理解的形式。在迈向完全集成的概率几何场景理解，定位和映射的一步，我们提出了第一个方向感知半密集SLAM系统。它联合推断的方向Stata中心世界（SCW）分割和基于冲浪的半密集地图，同时执行实时相机跟踪。联合SCW地图模型通过条件随机场（CRF）将场景范围内的贝叶斯非参数Dirichlet过程von-Mises-Fisher混合模型（DP-vMF）与局部surfel位置连接起来。摄像机跟踪利用SCW分割，通过引导观察选择来提高效率。结果表明，改进的SLAM的准确性和跟踪效率在最先进的性能。
2017-09-18 cs.AI cs.CV
PlantStereo: A Stereo Matching Benchmark for Plant Surface Dense Reconstruction
Zhejiang University（浙江大学）
立体匹配是计算机视觉中的一项重要任务，几十年来一直受到人们的关注。而公共立体数据集在视差精度、密度和数据量等方面难以满足模型的要求。在本文中，我们的目标是解决数据集和模型之间的问题，并提出了一个大规模的立体数据集与高精度视差地面真相命名为PlantStereo。我们使用半自动的方式来构建数据集：经过摄像机校准和图像配准，可以从深度图像中获得高精度的视差图像。PlantStereo总共包含812个图像对，涵盖了各种植物：菠菜、番茄、辣椒和南瓜。我们首先评估了四种不同立体匹配方法的PlantStereo数据集。在不同模型和植物上进行的大量实验表明，与整数精度的地面真值相比，PlantStereo提供的高精度视差图像可以显著提高深度学习模型的训练效果。为实现植物表面密集化改造提供了一种可行可靠的方法。PlantStereo数据集和相关代码可在https://www.github.com/wangqingyu985/PlantStereo上获得
2021-11-30 cs.CV
A Comparative Evaluation of SGM Variants (including a New Variant, tMGM) for Dense Stereo Matching
Purdue University（普渡大学）
我们的目标有三个方面：[1]提出了一种新的稠密立体匹配算法tMGM，该算法将tSGM的层次逻辑与MGM的支撑结构相结合，比基本SGM的性能提高了6 ~ 8（这些业绩数字在米德尔伯里基准V3中的tMGM-16下公布）;和[2]通过详尽的定量和定性比较研究，比较SGM方法的主要变体如何进行密集立体匹配，包括新的tMGM，在存在以下情况下执行：（a）照明变化和阴影，（b）无纹理或弱纹理区域，（c）在存在大的立体校正误差的情况下场景中的重复图案。[3]提出了一种新的DEM雕刻方法，用于估计多数据卫星立体像对的初始视差搜索范围。根据我们的研究，我们发现tMGM通常在所有这些数据条件下表现最好。tSGM和MGM都提高了立体视差图的密度，并且在tMGM中组合这两者使得可以准确地估计大量像素处的视差，否则这些像素将被SGM宣布为无效。我们在比较评估中使用的数据集包括Middlebury 2014、KITTI 2015和ETH 3D数据集以及来自MVS挑战数据集的圣费尔南多地区卫星图像。
2019-11-22 cs.CV
BluRef: Unsupervised Image Deblurring with Dense-Matching References
本文提出一种无监督图像去模糊方法，利用简单数据收集流程生成伪真实数据，无需配对数据即可提升去模糊效果，适用于不同场景和设备。
2026-03-15 cs.CV
Handling Multiple Hypotheses in Coarse-to-Fine Dense Image Matching
Univ. Bordeaux, CNRS, Bordeaux INP, IMS, UMR 5218, F-33400 Talence, France（波尔多大学、国家科学研究中心、波尔多理工学院、IMSA、UMR 5218）
本文提出BEAMER架构，通过束搜索在由粗到精的稠密图像匹配中为每个源位置保留并传播多个对应假设，并将其集成到交叉注意力层中，显著提升了在深度不连续和强放大场景下的匹配鲁棒性。
2025-09-23 cs.CV
Multi-view dense image matching with similarity learning and geometry priors
Univ Gustave Eiffel, LASTIG, ENSG-IGN（古斯塔夫·埃菲尔大学，LASTIG，ENSG-IGN）；Thales（泰雷兹）
本研究提出MV-DeepSimNets多视图相似性学习深度网络套件，结合在线几何先验与平面扫描构建正则化代价体，无需专用多视图训练集即可提升重建效果，泛化性优异且已集成至MicMac软件。
2025-05-16 cs.CV
InLoc: Indoor Visual Localization with Dense Matching and View Synthesis
Tokyo Institute of Technology（东京工业大学）；ETH Zürich（苏黎世联邦理工学院）；CIIRC, CTU in Prague（布拉格捷克理工大学信息学、机器人学与网络学捷克研究所）；Inria（法国国家信息与自动化研究所）；Microsoft（微软）
我们试图预测6自由度（6DoF）的查询照片相对于一个大的室内3D地图的姿态。这项工作的贡献是三方面的。首先，我们开发了一种新的大规模视觉定位方法针对室内环境。该方法沿着三个步骤进行：（i）候选姿态的有效检索，以确保大规模环境的可扩展性，（ii）姿态估计使用密集匹配，而不是本地功能，以处理无纹理的室内场景，以及（iii）通过虚拟视图合成的姿态验证，以应对视点，场景布局和遮挡物的显着变化。其次，我们收集了一个新的数据集与参考6DoF构成大规模室内定位。查询照片由移动电话在与参考3D地图不同的时间捕获，从而呈现真实的室内定位场景。第三，我们证明，我们的方法在这些新的具有挑战性的数据上显着优于当前最先进的室内定位方法。
2018-04-08 cs.CV
Aligning Information Capacity Between Vision and Language via Dense-to-Sparse Feature Distillation for Image-Text Matching
College of Computer Science, Sichuan University（四川大学计算机学院）；Engineering Research Center of Machine Learning and Industry Intelligence（机器学习与工业智能工程研究中心）
本文提出D2S-VSE两阶段框架，通过稠密文本蒸馏增强稀疏文本嵌入的信息容量，在MS-COCO和Flickr30K上取得优于现有方法的图像-文本匹配性能。
2025-07-17 cs.CV
Dense Affinity Matching for Few-Shot Segmentation
Zhejiang University（浙江大学）；Huawei Technologies Ltd（华为技术有限公司）；Aberystwyth University（阿伯里斯特威斯大学）；State University of New York（纽约州立大学）
提出DAM框架，用双向3D卷积建模支持-查询像素及像素-图像块关系，并通过HSFM利用支持背景抑制查询干扰，在10个基准上以0.68M参数取得有竞争力的小样本分割性能。
2023-07-17 cs.CV
SAMatcher: Dense Co-Visibility Modeling via Cross-View Fusion for Scale-Imbalance Image Matching
Wuhan University（武汉大学）；Nanyang Technological University（南洋理工大学）；Space Engineering University（航天工程大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
提出SAMatcher框架，通过共视性建模预测共视区域掩码和边界框作为结构先验，利用Segment Anything Model的对称交叉视图交互机制和统一监督方案，显著提升大视角和尺度变化下的特征匹配性能。
2026-09-23 cs.CV
