Long-Term Invariant Local Features via Implicit Cross-Domain Correspondences
ETH Zurich(苏黎世联邦理工学院);Computer Vision Center CVC-Barcelona(巴塞罗那计算机视觉中心);Huawei-Munich(华为慕尼黑);TU Munich (TUM)(慕尼黑工业大学);KU Leuven(鲁汶大学)
针对长期视觉域变化导致视觉定位性能下降的问题,提出基于隐式跨域对应关系(iCDC)的方法,通过多域神经辐射场生成跨域准确对应关系以提升跨域定位性能,表现优于现有方法。
2023-11-06 cs.CV
Searching Dense Point Correspondences via Permutation Matrix Learning
Northwestern Polytechnical University(西北工业大学)
虽然3D点云数据作为3D信号表达的一般形式受到了广泛的关注,但将点云应用于3D形状之间的密集对应估计的任务尚未得到广泛研究。此外,即使在现有的几个三维点云的方法,一个重要的和广泛认可的原则,即。一对一匹配,通常被忽略。为此,本文提出了一种基于端到端学习的点云密集对应关系估计方法,将点云匹配问题转化为零-一分配问题,得到一个置换匹配矩阵,从根本上实现了一对一原则。请注意,这个分配问题的经典解总是不可微的,这对于深度学习框架来说是致命的。为此,我们设计了一个特殊的匹配模块,它首先求解一个双随机矩阵,然后将得到的近似解投影到所需的置换矩阵上。此外,为了保证端到端的学习和计算损失的准确性,我们从学习的置换矩阵计算损失,但在反向传播期间绕过置换矩阵直接将梯度传播到双随机矩阵。我们的方法可以应用于非刚性和刚性的3D点云数据和广泛的实验表明,我们的方法达到了最先进的性能密集的对应学习。
2022-10-26 cs.CV
Extremely Dense Point Correspondences using a Learned Feature Descriptor
Johns Hopkins University(约翰斯·霍普金斯大学);Johns Hopkins Medical Institutions(约翰斯·霍普金斯医疗机构)
来自内窥镜视频的高质量3D重建在许多临床应用中发挥着重要作用,包括手术导航,其中它们可以实现直接的视频-CT配准。虽然存在许多方法用于一般的多视图3D重建,但这些方法通常不能在内窥镜视频上提供令人满意的性能。部分原因是建立成对点对应的局部描述符,从而驱动重建,当面对解剖结构的纹理稀缺表面时,这些描述符会挣扎。基于学习的密集描述符通常具有更大的感受野,能够编码全局信息,这可以用于消除匹配的歧义。在这项工作中,我们提出了一个有效的自监督训练方案和新的损失设计密集描述符学习。在直接比较最近的本地和密集的描述符在内部鼻窦内窥镜检查数据集,我们证明了我们提出的密集描述符可以推广到看不见的患者和范围,从而大大提高性能的运动恢复结构(SfM)的模型密度和完整性。我们还评估了我们的方法在一个公共密集光流数据集和一个小规模的SfM公共数据集,以进一步证明我们的方法的有效性和通用性。源代码可在https://github.com/lppllppl920/DenseDescriptorLearning-Pytorch上获得。
2020-03-27 cs.CV
From Sparse to Dense: Camera Relocalization with Scene-Specific Detector from Feature Gaussian Splatting
Zhejiang University(浙江大学);SenseTime Research(商汤科技研究院)
本文提出STDLoc,一种基于特征高斯溅射的相机重定位方法,采用稀疏到密集的定位范式,通过场景特定检测器和密集特征匹配实现无需姿态先验的高精度定位,在室内外数据集上优于现有方法。
2025-03-25 cs.CV
Context without Commitment: Robust Dense Correspondence under Non-Rigid Deformation
Mannheim Institute for Intelligent Systems in Medicine (MIISM)(曼海姆智能系统医学研究所);Medical Faculty Mannheim, Heidelberg University(海德堡大学曼海姆医学院)
针对非刚性点云配准中局部几何相似导致的对应模糊问题,提出CoCo-Reg方法,利用区域补丁丰富稠密特征而不限制最终点级搜索,显著降低对应误差。
2026-09-30 cs.CV
Efficient Sparse-to-Dense Visual Localization via Compact Gaussian Scene Representation and Accelerated Dense Pose Estimation
Electronic Information School, Wuhan University(武汉大学电子信息学院);School of Robotics, Wuhan University(武汉大学机器人学院);Electronic Information School and the School of Robotics, Wuhan University(武汉大学电子信息学院和机器人学院)
本文提出了一种高效的视觉定位方法LiteLoc,通过去除冗余的色彩字段和优化密集姿态估计,显著提升了内存和计算效率,同时保持了定位性能。
2026-05-18 cs.CV
Learning Accurate Dense Correspondences and When to Trust Them
ETH Zurich(苏黎世联邦理工学院)
在一对图像之间建立密集的对应关系是一个重要而普遍的问题。然而,稠密流估计往往是不准确的情况下,大位移或均匀的区域。对于大多数应用程序和下游任务,如姿态估计、图像处理或3D重建,了解何时以及在何处信任估计的匹配至关重要。在这项工作中,我们的目标是估计一个密集的流场相关的两个图像,再加上一个强大的像素的信心图,表明预测的可靠性和准确性。我们开发了一种灵活的概率方法,共同学习流量预测及其不确定性。特别是,我们将预测分布参数化为约束混合模型,确保更好地建模准确的流量预测和离群值。此外,我们开发了一个架构和训练策略,专为强大的和可推广的不确定性预测的自监督训练的背景下。我们的方法在多个具有挑战性的几何匹配和光流数据集上获得了最先进的结果。我们进一步验证了我们的概率置信度估计的任务的姿态估计的有用性。代码和模型可在https://github.com/PruneTruong/PDCNet上获得。
2021-04-01 cs.CV
Learning Dense Correspondence for NeRF-Based Face Reenactment
University of Chinese Academy of Sciences(中国科学院大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Nanyang Technological University(南洋理工大学);SenseTime(商汤科技)
针对基于NeRF的人脸重演中稠密对应建立难的问题,提出以三面体为基础表征、含PlaneDict模块的新框架,首次在无3D参数模型先验下实现单样本多视角人脸重演,细粒度动作控制与身份保留效果更优。
2023-12-19 cs.CV
CorrI2P: Deep Image-to-Point Cloud Registration via Dense Correspondence
City University of Hong Kong(香港城市大学);Tianjin University(天津大学)
出于直觉,在相应的3D点云中定位2D图像的关键步骤是在它们之间建立2D-3D对应关系,我们提出了第一个基于特征的密集对应框架,用于解决图像到点云配准问题,称为CorrI 2 P,它由三个模块组成,即,特征嵌入、对称重叠区域检测和通过所建立的对应关系的姿态估计。具体来说,给定一对2D图像和3D点云,我们首先将它们转换到高维特征空间,并将所得特征馈送到对称重叠区域检测器中,以确定图像和点云相互重叠的区域。然后,我们使用重叠区域的特征来建立2D-3D对应关系,然后在RANSAC内运行EPRECT来估计相机的姿态。在KITTI和NuScenes数据集上的实验结果表明,我们的CorrI 2 P显著优于最先进的图像到点云配准方法。我们将公开代码。
2022-09-20 cs.CV cs.MM
CorrNet3D: Unsupervised End-to-end Learning of Dense Correspondence for 3D Point Clouds
City University of Hong Kong(香港城市大学);Shandong University(山东大学);Nanyang Technological University(南洋理工大学)
出于这样的直觉,即人们可以将两个对齐的点云相互转换,比未对齐的点云更容易和更有意义,我们提出了CorrNet 3D-第一个无监督和基于端到端深度学习的框架-通过变形重建来驱动3D形状之间密集对应关系的学习,以克服对注释数据的需求。具体来说,CorrNet 3D由一个深度特征嵌入模块和两个称为对应指示器和对称变形器的新模块组成。通过输入一对原始点云,我们的模型首先学习逐点特征,并将其传递到指示器中,以生成用于置换输入对的可学习对应矩阵。对称变形器(具有额外的正则化损失)将两个置换的点云相互变换,以驱动对应关系的无监督学习。在刚性和非刚性3D形状的合成和真实世界数据集上的广泛实验表明,我们的CorrNet 3D在很大程度上优于最先进的方法,包括那些将网格作为输入的方法。CorrNet 3D是一个灵活的框架,如果有注释数据,它可以很容易地适应监督学习。源代码和预训练模型将在https://github.com/ZENGYIMING-EAMON/CorrNet3D.git上提供。
2021-05-03 cs.AI cs.CV
GSFeatLoc: Visual Localization Using Feature Correspondence on 3D Gaussian Splatting
Department of Aerospace Engineering, University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校航空航天工程系)
本文提出GSFeatLoc方法,通过3DGS渲染合成RGBD图像并建立2D-2D特征对应,将其提升为2D-3D对应并求解PnP问题,显著降低了视觉定位的推理时间与位姿估计误差。
2025-05-01 cs.CV cs.RO
SurfEmb: Dense and Continuous Correspondence Distributions for Object Pose Estimation with Learnt Surface Embeddings
University of Southern Denmark(南丹麦大学)
我们提出了一种方法来学习密集的,连续的2D-3D对应分布的表面上的对象从数据没有先验知识的视觉模糊性,如对称性。我们还提出了一种新的方法,用于6D姿态估计的刚性物体使用的学习分布的采样,评分和完善的姿势假设。对应分布的学习与对比损失,表示在特定于对象的潜在空间的编码器-解码器查询模型和一个小的全连接的关键模型。我们的方法是无监督的视觉歧义,但我们表明,查询和关键模型学习表示准确的多模态表面分布。我们的姿态估计方法在全面的BOP挑战中显着提高了最先进的水平,纯粹在合成数据上训练,甚至与在真实数据上训练的方法相比。该项目的网站是https://surfemb.github.io/。
2022-04-04 cs.AI cs.CV cs.LG
Deep Weighted Consensus: Dense correspondence confidence maps for 3D shape registration
Tel Aviv University(特拉维夫大学)
我们提出了一个新的范例刚性对齐点云的基础上学习加权共识,这是强大的噪声以及旋转组的全频谱。当前的模型,可学习的或公理化的,通常通过端到端学习器或迭代方案,对于受限的方向和有限的噪声水平工作得很好。然而,现实世界的任务要求我们处理大的旋转以及离群值,所有已知的模型都无法提供。在这里,我们提出了一个不同的方向。我们声称,我们可以对齐点云的采样匹配点,根据来自一个密集的,软对齐地图的置信水平。流水线是可微的,并且在SO(3)的全谱中的大旋转下收敛,即使具有高噪声水平。我们将该网络与最近提出的方法(如DCP,PointNetLK,RPM-Net,PRnet)以及公理化方法(如ICP和Go-ICP)进行了比较。我们在此报告性能的根本提升。
2021-05-06 cs.AI cs.CV
Tightly-Coupled, Speed-aided Monocular Visual-Inertial Localization in Topological Map
提出一种基于拓扑地图的紧耦合速度辅助单目视觉惯性定位算法,利用IESKF融合图像对应与车速,在隧道等场景中优于现有方法。
2024-11-08 cs.CV cs.RO
W-PoseNet: Dense Correspondence Regularized Pixel Pair Pose Regression
School of Electronic and Information Engineering, South China University of Technology(华南理工大学电子与信息学院);Peng Cheng Laboratory(鹏城实验室)
针对6D姿态估计受遮挡、光照等影响的难题,提出W-PoseNet算法,通过稠密对应正则化、像素对特征组合与软投票提升鲁棒性,在YCB-Video、LineMOD基准上性能优于现有最优方法。
2021-03-04 cs.CV cs.RO
MvDeCor: Multi-view Dense Correspondence Learning for Fine-grained 3D Segmentation
University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校);NVIDIA(英伟达);University of Toronto(多伦多大学);Vector Institute(向量研究所)
我们建议在2D域中利用自监督技术进行细粒度的3D形状分割任务。这是受到以下观察的启发:基于视图的表面表示在建模高分辨率表面细节和纹理方面比基于点云或体素占用的3D对应物更有效。具体来说,给定一个3D形状,我们从多个视图渲染它,并在对比学习框架内设置了一个密集的对应学习任务。因此,学习的2D表示是视图不变的和几何一致的,与单独利用2D或3D中的自我监督的替代方案相比,当在有限数量的标记形状上训练时,导致更好的泛化。在纹理(RenderPeople)和无纹理(PartNet)3D数据集上的实验表明,我们的方法在细粒度零件分割方面优于最先进的替代方法。当只有稀疏的视图集可用于训练或形状被纹理化时,基线的改进更大,这表明MvDeCor从2D处理和3D几何推理中受益。
2022-08-18 cs.AI cs.CV cs.GR
Stereo Dense Scene Reconstruction and Accurate Localization for Learning-Based Navigation of Laparoscope in Minimally Invasive Surgery
City University of Hong Kong(香港城市大学);The Chinese University of Hong Kong(香港中文大学);Soochow University(苏州大学)
目的:解剖信息和腹腔镜位置的计算是微创手术(MIS)中手术导航的基本模块。使用视觉线索恢复手术场景的密集3D结构仍然是一个挑战,并且在线腹腔镜跟踪主要依赖于外部传感器,这增加了系统的复杂性。研究方法:在这里,我们提出了一个学习驱动的框架,在该框架中,获得了图像引导的腹腔镜定位与复杂解剖结构的3D重建。为了重建整个手术环境的3D结构,我们首先微调了一种基于学习的立体深度感知方法,该方法对无纹理和变化的软组织具有鲁棒性,用于深度估计。然后,我们开发了一种稠密的视觉重建算法来表示场景的surfels,估计腹腔镜的姿态和融合的深度图到一个统一的参考坐标的组织重建。为了估计新的腹腔镜视图的姿态,我们实现了一种由粗到细的定位方法,该方法结合了我们重建的3D模型。结果如下:我们在三个数据集上评估了重建方法和定位模块,即内窥镜数据的立体对应和重建(SCARED),使用通用机器人(UR)和Karl Storz腹腔镜收集的体外体模和组织数据,以及体内DaVinci机器人手术数据集,其中重建的3D结构具有表面纹理的丰富细节,精确度误差在1.71 mm以下,并且定位模块可以仅用图像作为输入来精确地跟踪腹腔镜。结论:实验结果表明,所提出的方法在三维解剖重建和腹腔镜定位的优越性能。意义:所提出的框架可能扩展到当前的手术导航系统。
2022-11-27 cs.AI cs.CV eess.IV
Scene Coordinate and Correspondence Learning for Image-Based Localization
Siemens AG(西门子股份公司);Johns Hopkins University(约翰斯·霍普金斯大学)
场景坐标回归已成为当前摄像机重定位方法的重要组成部分。不同的版本,如回归森林和深度学习方法,已成功应用于估计给定单个输入图像的相应相机姿态。在这项工作中,我们建议通过使用深度学习来回归给定RGB图像的场景坐标。与最近的方法相比,通常采用RANSAC从建立的点对应关系中获得鲁棒的姿态估计,我们建议回归这些对应关系的置信度,这使我们能够立即丢弃错误的预测并改善初始姿态估计。最后,所得到的置信度可以用于对初始姿势假设进行评分并帮助姿势细化,从而提供了解决该任务的通用解决方案。
2018-07-26 cs.CV
NHO: A Neural Hamiltonian Operator for Anchor-based Region Localization and Dense Correspondence
Jilin University(吉林大学);Zhejiang University(浙江大学);North China University of Technology(北方工业大学)
提出NHO,结合稀疏锚点与内在几何学习神经哈密顿算子,通过相互细化实现非刚性部分到整体的区域定位与稠密对应,实验验证其精度与对缩放旋转的鲁棒性。
2026-10-01 cs.CV
Dense Semantic Correspondence where Every Pixel is a Classifier
Queensland University of Technology(昆士兰科技大学);Carnegie Mellon University(卡内基梅隆大学)
确定对象和场景之间的密集语义对应关系是支撑许多更高级别计算机视觉算法的难题。与考虑空间或时间相邻的图像的规范密集对应问题不同,语义对应的特征在于共享相似的高级结构的图像,其确切的外观和几何形状可能不同。受对象识别文献和最近的工作快速估计线性分类器的启发,我们把语义对应作为一个约束检测问题,学习每个像素的一个示例LDA分类器。LDA分类器有两个明显的好处:(i)它们表现出比对应问题中通常使用的相似性度量更高的平均精度,以及(ii)与示例SVM不同,可以在没有校准的情况下输出全局可解释的后验概率,同时训练也明显更快。我们提出的对应问题作为一个图形模型,其中一元电位计算通过卷积与一组样本分类器,和联合电位执行平滑变化的对应分配。
2015-05-15 cs.CV
S2DNet: Learning Accurate Correspondences for Sparse-to-Dense Feature Matching
LIGM, École des Ponts, Univ Gustave Eiffel, CNRS(LIGM,法国国立桥路学校,古斯塔夫·埃菲尔大学,法国国家科学研究中心);Laboratoire IMS, Université de Bordeaux(IMS实验室,波尔多大学)
建立鲁棒且准确的对应关系是许多计算机视觉算法的基本支柱。虽然最近的基于学习的特征匹配方法在具有挑战性的条件下提供鲁棒的对应关系方面显示出有希望的结果,但它们通常在精度方面受到限制。在本文中,我们介绍了S2DNet,这是一种新型的特征匹配管道,经过设计和训练,可以有效地建立鲁棒和准确的对应关系。通过利用稀疏到密集的匹配范式,我们将对应学习问题视为一个监督分类任务,以学习输出高峰值的对应图。我们证明了S2DNet在HPatches基准测试以及几个长期视觉定位数据集上取得了最先进的结果。
2020-04-03 cs.CV
ViFi-Loc: Multi-modal Pedestrian Localization using GAN with Camera-Phone Correspondences
Rutgers University(罗格斯大学);Toyota Motor North America(丰田汽车北美公司)
在智慧城市和车联网(V2X)系统中,获取行人的准确位置对交通安全至关重要。目前的系统采用摄像头和无线传感器,通过传感器融合来检测和估计人的位置。然而,当多模态数据不相关联时,标准融合算法变得不适用。例如,行人在摄像机视野之外,或者来自摄像机模态的数据丢失。为了应对这一挑战,并为行人提供更准确的位置估计,我们提出了一种生成对抗网络(GAN)架构。在训练过程中,它学习行人的摄像头-手机数据对应之间的潜在联系。在推理过程中,它仅基于由GPS、IMU和FTM组成的行人电话数据生成精确的位置估计。结果表明,我们的GAN产生的三维坐标在1至2米的定位误差在5个不同的户外场景。我们进一步表明,该模型支持自学习。所生成的坐标可以与行人的限界框坐标相关联,以获得附加的相机-电话数据对应关系。这允许在推断期间自动收集数据汇集。在对扩展数据集进行微调后,定位精度提高了26%。
2022-11-22 cs.CV
BodyMap: Learning Full-Body Dense Correspondence Map
Meta Reality Labs Research(Meta现实实验室);Meta AI;Moscow Institute of Physics and Technology(莫斯科物理技术学院)
人类之间的密集对应关系携带了强大的语义信息,可用于解决全身理解的基本问题,例如野外表面匹配,跟踪和重建。在本文中,我们提出了BodyMap,一个新的框架,用于获得高清晰度的全身和连续密集的对应关系,在野外图像的穿着人类和表面的三维模板模型。这些对应关系涵盖了手和头发等细节,同时捕捉了远离身体表面的区域,如宽松的衣服。用于估计这种密集表面对应的现有方法i)将3D身体切割成部分,这些部分被展开到2D UV空间,沿着部分接缝产生不连续性,或者ii)使用单个表面来表示整个身体,但是没有处理身体细节。在这里,我们介绍了一种新颖的网络架构,它具有视觉Transformer,可以在连续的身体表面上学习精细级别的特征。BodyMap在各种指标和数据集上的表现优于之前的工作,包括DensePose-COCO。此外,我们展示了各种应用程序,从多层密集的布料对应,神经渲染与新颖的视图合成和外观交换。
2022-05-18 cs.CV
Geometric Image Correspondence Verification by Dense Pixel Matching
Nokia Technologies(诺基亚技术公司);Aalto University(阿尔托大学)
本文讨论了确定两幅图像之间密集像素对应关系的问题,并将其应用于图像检索中的几何对应关系验证。的主要贡献是几何对应验证方法重新排序检索到的数据库图像的基础上,其密集的成对匹配的查询图像在像素级的短名单。我们确定了一组循环一致的密集像素匹配的图像对之间的匹配,并使用基于神经网络的图像描述符的匹配像素的局部相似性进行评估。最后的重新排序是基于一种新的相似性函数,它融合了局部相似性度量与全局相似性度量和几何一致性度量计算的匹配像素。对于密集匹配,我们的方法利用了最近提出的密集几何对应网络(DGC-Net)的修改版本,我们还通过优化架构来改进。所提出的模型和相似性度量相媲美的国家的最先进的图像检索方法。此外,我们将我们的方法应用于长期视觉定位的问题,展示了有希望的结果和跨数据集的泛化。
2020-08-17 cs.CV
Deformed Implicit Field: Modeling 3D Shapes with Learned Dense Correspondence
Tsinghua University(清华大学);Microsoft Research Asia(微软亚洲研究院)
我们提出了一种新的变形隐式场(DIF)表示建模的三维形状的一个类别,并产生密集的形状之间的对应关系。使用DIF,3D形状由跨类别共享的模板隐式字段以及专用于每个形状实例的3D变形字段和校正字段来表示。形状对应可以很容易地建立使用它们的变形场。我们的神经网络,被称为DIF网络,共同学习形状潜在空间和属于一个类别的3D对象的这些字段,而不使用任何对应或部分标签。学习后的DIF-Net还可以提供反映形状结构差异的可靠对应不确定性度量。实验表明,DIF-Net不仅可以生成高保真的3D形状,还可以在不同形状之间建立高质量的密集对应关系。我们还展示了几个应用程序,如纹理传输和形状编辑,我们的方法实现了令人信服的结果,不能实现以前的方法。
2021-03-29 cs.CV
Deep Functional Maps: Structured Prediction for Dense Shape Correspondence
Tel Aviv University(特拉维夫大学);Intel(英特尔);USI Lugano(卢加诺大学);Sapienza University of Rome(罗马大学);Technion(以色列理工学院)
我们介绍了一个新的框架,学习可变形的3D形状之间的密集对应。现有的基于学习的方法将形状对应建模为标签问题,其中查询形状的每个点接收标识某个参考域上的点的标签;然后通过组成两个输入形状的标签预测来构造后验对应。我们提出了一个范式转变,并设计了一个结构化的预测模型的空间功能图,线性算子,提供了一个紧凑的表示的对应关系。我们通过深度残差网络对学习过程进行建模,该网络将定义在两个形状上的密集描述符字段作为输入,并输出两个给定对象之间的软映射。由此产生的对应关系被证明是准确的几个具有挑战性的基准,包括多个类别,合成模型,真正的扫描与采集伪影,拓扑噪声,和噪声。
2017-07-30 cs.CV
CoordGAN: Self-Supervised Dense Correspondences Emerge from GANs
Nvidia(英伟达);UC San Diego(加州大学圣地亚哥分校)
最近的进展表明,生成对抗网络(GANs)可以沿着语义上有意义的潜在方向(如姿势,表情,布局等)合成具有平滑变化的图像,虽然这表明GANs隐式地学习图像之间的像素级对应关系,但很少有研究探索如何显式地提取它们。在这项工作中,我们介绍了坐标GAN(CoordGAN GAN),一个结构-纹理解纠缠的GAN,为每个生成的图像学习一个密集的对应映射。我们将不同图像的对应图表示为从规范坐标系变换的扭曲坐标系,即,对应映射,其描述结构(例如,面部的形状)通过变换来控制。因此,找到对应关系归结为在不同的对应映射中定位相同的坐标。在CoordGAN中,我们采样一个变换来表示合成实例的结构,而一个独立的纹理分支负责渲染与结构正交的外观细节。我们的方法还可以通过在生成器上添加编码器来提取真实图像的密集对应图。我们通过在多个数据集上的分割掩码转移定量地证明了所学习的密集对应的质量。我们还表明,该发电机实现了更好的结构和纹理解纠缠相比,现有的方法。项目页面:https://jitengmu.github.io/CoordGAN/
2022-03-30 cs.CV
DASC: Robust Dense Descriptor for Multi-modal and Multi-spectral Correspondence Estimation
Yonsei University(延世大学);Chungnam National University(忠南国立大学);INRIA(法国国家信息与自动化研究所);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
在多个图像之间建立密集的对应关系是许多应用中的基本任务。然而,由于其具有挑战性的光度和几何变化,在多模态或多光谱图像中找到可靠的对应关系仍然没有解决。在本文中,我们提出了一种新的密集描述,称为密集自适应自相关(DASC),估计多模态和多光谱密集对应。基于观察到图像内存在的自相似性对成像模态变化是鲁棒的,我们定义了描述符与一系列的自适应自相关相似性度量由随机感受野池采样的补丁之间,其中采样模式是使用判别式学习获得的。密集描述符的计算冗余显着减少应用快速边缘感知过滤。此外,为了解决几何变化,包括缩放和旋转,我们提出了一个几何不变的DASC(GI-DASC)描述符,有效地利用DASC通过基于超像素的表示。为了定量评估GI-DASC,我们建立了一个新的多模态基准作为不同的光度和几何条件。实验结果表明DASC和GI-DASC在多模态和多光谱密集对应的许多情况下具有出色的性能。
2016-04-27 cs.CV
Unsupervised Dense Shape Correspondence using Heat Kernels
Technical University of Munich(慕尼黑工业大学)
在这项工作中,我们提出了一种无监督的方法,使用最近的深度功能图框架来学习形状之间的密集对应关系。我们使用热核,而不是依赖于地面实况对应或计算昂贵的测地线距离。这些可以在训练期间作为监督信号快速计算。此外,我们提出了一个课程学习策略,使用不同的热扩散时间,在优化过程中提供不同程度的难度,没有任何采样机制或硬例子挖掘。我们在不同的基准上展示了我们的方法的结果,这些基准具有不同的挑战,如噪声,拓扑噪声和不同的连接性。
2020-10-23 cs.CV
DenseGAP: Graph-Structured Dense Correspondence Learning with Anchor Points
University of Southern California(南加州大学);USC Institute for Creative Technologies(南加州大学创意技术研究所);Stanford University(斯坦福大学)
建立两幅图像之间的密集对应关系是一个基本的计算机视觉问题,通常通过匹配局部特征描述符来解决。然而,如果没有全局意识,这些局部特征通常不足以消除类似区域的歧义。计算图像之间的成对特征相关性既计算昂贵又占用内存。为了使局部特征了解全局上下文并提高其匹配精度,我们引入了DenseGAP,这是一种新的解决方案,用于使用以锚点为条件的图结构神经网络进行高效的密集对应学习。具体来说,我们首先提出了一个图形结构,利用锚点,以提供稀疏但可靠的图像间和图像内的上下文之前,并通过有向边缘传播到所有的图像点。我们还设计了一个图结构的网络,通过轻量级的消息传递层广播多级上下文,并以低内存成本生成高分辨率的特征图。最后,基于预测的特征图,我们引入了一个由粗到细的框架,用于使用循环一致性进行精确的对应预测。我们的特征描述符捕获本地和全局信息,从而实现连续的特征字段,以高分辨率查询任意点。通过对大规模室内和室外数据集进行全面的烧蚀实验和评估,我们证明了我们的方法在大多数基准上都能提高最先进的对应学习。
2022-12-22 cs.CV
Weakly-Supervised Learning of Dense Functional Correspondences
Stanford University(斯坦福大学)
针对跨类别图像密集对应匹配难题,提出基于视觉语言模型伪标注与密集对比学习的弱监督学习范式,构建新模型实现密集功能对应关系建立,并通过合成与真实数据集验证其优于现有基线方案。
2025-09-04 cs.CV
Trimmed Action Recognition, Dense-Captioning Events in Videos, and Spatio-temporal Action Localization with Focus on ActivityNet Challenge 2019
本文概述和比较分析了我们为ActivityNet Challenge 2019中的以下三项任务设计的系统:修剪动作识别,视频中的密集字幕事件和时空动作定位。
2019-06-14 cs.CV
Learning Implicit Functions for Topology-Varying Dense 3D Shape Correspondence
Michigan State University(密歇根州立大学)
本文的目标是以无监督的方式学习拓扑变化对象的密集3D形状对应。传统的隐式函数估计给定形状潜码的3D点的占用。相反,我们的新隐式函数为每个3D点生成一个部分嵌入向量,该向量被假设为与相同对象类别的另一个3D形状中的密集对应点相似。此外,我们实现了密集的对应,通过一个反函数映射从部分嵌入到相应的3D点。这两个函数联合学习几个有效的损失函数,以实现我们的假设,与编码器产生的形状潜码。在推理过程中,如果用户选择源形状上的任意点,我们的算法可以自动生成一个置信度分数,指示目标形状上是否存在对应关系,以及对应的语义点(如果存在)。这种机制本质上有利于具有不同部件构造的人造物体。我们的方法的有效性证明,通过无监督的三维语义对应和形状分割。
2020-10-26 cs.CV
High-Fidelity Zero-Shot Texture Anomaly Localization Using Feature Correspondence Analysis
Friedrich-Alexander-Universität Erlangen-Nürnberg(埃尔朗根-纽伦堡弗里德里希-亚历山大大学)
本文提出一种基于一维Wasserstein距离双射映射的零样本文理异常定位方法,通过局部特征对应分析聚合像素误差贡献,在MVTec AD上实现误差降低超40%。
2023-12-04 cs.CV
UniABG: Unified Adversarial View Bridging and Graph Correspondence for Unsupervised Cross-View Geo-Localization
针对无监督跨视角地理定位的伪标签噪声问题,提出双阶段框架UniABG,通过对抗视角桥接与图对应校准实现SOTA性能,在两个基准数据集上精度大幅提升,甚至超过部分有监督方法。
2025-11-15 cs.CV
DPODv2: Dense Correspondence-Based 6 DoF Pose Estimation
Technical University of Munich(慕尼黑工业大学);Siemens AG(西门子公司);Toyota Research Institute(丰田研究院)
我们提出了一个三阶段的6自由度目标检测方法称为DPODv 2(密集姿态对象检测器),依赖于密集的对应关系。我们将2D对象检测器与密集的对应估计网络和多视图姿态细化方法相结合,以估计完整的6 DoF姿态。与通常仅限于单目RGB图像的其他深度学习方法不同,我们提出了一个统一的深度学习网络,允许使用不同的成像模式(RGB或深度)。此外,我们提出了一种新的姿态细化方法,即基于微分绘制。主要概念是比较多个视图中的预测对应和渲染对应,以获得与所有视图中的预测对应一致的姿态。我们提出的方法进行了严格的评估,不同的数据模式和类型的训练数据在一个受控的设置。主要结论是,RGB擅长对应性估计,而深度有助于姿态精度,如果良好的3D-3D对应性是可用的。自然,它们的组合实现了整体最佳性能。我们进行了广泛的评估和消融研究,以分析和验证几个具有挑战性的数据集的结果。DPODv 2在所有这些方面都取得了优异的结果,同时仍然保持快速和可扩展性,与所使用的数据模态和训练数据类型无关
2022-07-06 cs.CV
Dense 3D Face Correspondence
The University of Western Australia(西澳大学);University of Adelaide(阿德莱德大学)
我们提出了一种算法,自动建立大量的3D面之间的密集对应。从自动检测到的稀疏对应的外边界的3D人脸,该算法三角形化现有的对应关系,并扩大他们迭代匹配点的独特的表面曲率沿三角形边缘。在穷尽关键点匹配之后,通过从大三角形的质心演化水平集测地线曲线来生成三角形内均匀分布的点,从而建立进一步的对应关系。从密集的对应的脸构造一个可变形模型(K3DM),并提出了一个算法变形K3DM,以适应不可见的脸。该算法在不可见的面部的刚性对齐和可变形模型的正则化变形之间迭代。我们已经广泛地评估了所提出的算法的合成数据和真正的3D人脸从FRGCv2,博斯普鲁斯海峡,BU3DFE和UND耳数据库使用定量和定性基准。我们的算法实现了密集的对应关系,平均定位误差为1.28毫米的合成脸和检测$14$人体测量地标看不见的真实面孔从FRGCv2数据库中的3毫米精度。此外,我们的可变形模型拟合算法在FRGCv2和博斯普鲁斯数据库上分别达到了98.5%和98.6%的人脸识别准确率。我们的稠密模型也能够推广到看不见的数据集。
2019-08-15 cs.CV
PARN: Pyramidal Affine Regression Networks for Dense Semantic Correspondence
Yonsei University(延世大学);Ewha Womans University(梨花女子大学)
本文提出了一种用于密集语义对应的深层架构,称为金字塔仿射回归网络(PARN),它可以估计图像中局部变化的仿射变换场。为了处理同一对象类别中不同实例之间通常存在的类内外观和形状变化,我们利用金字塔模型,其中仿射变换场以从粗到细的方式逐步估计,以便在深度网络中自然地施加平滑度约束。PARN估计每个级别的残余仿射变换,并将它们组合以估计最终仿射变换。此外,为了克服语义对应训练数据不足的局限性,我们提出了一种新的弱监督训练方案,通过利用图像对之间的对应一致性来生成渐进式监督。我们的方法是完全可学习的,在一个端到端的方式,不需要量化无限连续仿射变换领域。据我们所知,这是第一个尝试在深度网络中以粗到细的方式估计密集仿射变换场的工作。实验结果表明,PARN优于国家的最先进的方法密集的语义对应在各种基准。
2018-08-01 cs.CV
Improving 2D-3D Dense Correspondences with Diffusion Models for 6D Object Pose Estimation
Automation and Control Institute, TU Wien(维也纳技术大学自动化与控制研究所);Department of Industrial Engineering, UAS Technikum Vienna(维也纳技术高等专业学院工业工程系)
本研究比较了GAN与扩散模型在图像到图像转换中用于六维物体姿态估计的稠密对应图生成,发现扩散模型表现更优,为姿态估计改进提供新方向。
2024-02-09 cs.CV
Towards Establishing Dense Correspondence on Multiview Coronary Angiography: From Point-to-Point to Curve-to-Curve Query Matching
University of Pennsylvania(宾夕法尼亚大学);Siemens Healthineers(西门子医疗)
针对多视图冠脉造影2D投影缺3D信息、有视觉歧义的问题,提出基于CCTA模拟数据的点到点再到曲线到曲线的查询匹配方法,建立密集对应关系,在1260组图像对上验证了可行性。
2023-12-18 cs.CV
Warp Consistency for Unsupervised Learning of Dense Correspondences
Computer Vision Lab, ETH Zurich(苏黎世联邦理工学院计算机视觉实验室)
学习密集对应的关键挑战在于缺乏真实图像对的地面实况匹配。虽然光度一致性损失提供了无监督的替代方案,但它们在几何和语义匹配任务中普遍存在的大的外观变化中挣扎。此外,依赖于合成训练对的方法往往难以推广到真实数据。我们提出了经一致性,一个无监督学习目标密集对应回归。我们的目标是有效的,即使在设置与大的外观和视点变化。给定一对真实图像,我们首先通过将随机采样的扭曲应用于其中一个原始图像来构建图像三元组。我们推导和分析所有的三重流之间产生的一致性约束。从我们的观察和实证结果,我们设计了一个一般的无监督的目标,采用两个派生的约束。我们通过训练三个最近的密集对应网络进行几何和语义匹配任务来验证我们的翘曲一致性损失。我们的方法在几个具有挑战性的基准测试上树立了新的先进水平,包括MegaDepth,RobotCar和TSS。代码和模型在github.com/PruneTruong/DenseMatching上。
2021-08-18 cs.CV
Learning Body Shape and Pose from Dense Correspondences
CNRS-AIST JRL(法国国家科学研究中心-日本产业技术综合研究所联合机器人实验室)
在本文中,我们解决了从2D图像数据集学习3D人体姿势和身体形状的问题,而不必使用3D数据集(身体形状和姿势)。这个想法是使用图像点和身体表面之间的密集对应关系,可以在野外2D图像上进行注释,并从中提取和聚合3D信息。为此,我们提出了一种名为"变形和学习”的训练策略,在该策略中,我们交替进行可变形表面配准和深度卷积神经网络(ConvNets)的训练。与以前的方法不同,我们的方法不需要从运动捕捉(MoCap)系统或人为干预来验证3D姿态注释的3D姿态注释。
2019-07-27 cs.CV
Learning Implicit Functions for Dense 3D Shape Correspondence of Generic Objects
Michigan State University(密歇根州立大学)
本文的目标是以无监督的方式学习拓扑变化通用对象的密集3D形状对应关系。传统的隐式函数估计给定形状潜码的3D点的占用。相反,我们的新隐式函数产生一个概率嵌入,以表示部分嵌入空间中的每个3D点。假设对应点在嵌入空间中是相似的,我们通过从部分嵌入向量到对应的3D点的反函数映射来实现稠密对应。这两个函数与几个有效的和不确定性感知的损失函数联合学习,以实现我们的假设,以及编码器生成的形状潜码。在推理过程中,如果用户选择源形状上的任意点,我们的算法可以自动生成一个置信度分数,指示目标形状上是否存在对应关系,以及对应的语义点(如果存在)。这种机制本质上有利于具有不同部件构造的人造物体。我们的方法的有效性证明,通过无监督的三维语义对应和形状分割。
2022-12-29 cs.CV
Dense4D: Pixel-Level 4D Human Correspondence
Imperial College London(帝国理工学院)
提出首个无需人体模板的前馈模型Dense4D,通过处理单目RGB图像的人体裁剪图预测HPM与深度,实现更高精度的4D人体对应关系与运动跟踪。
2026-10-16 cs.CV
PDC-Net+: Enhanced Probabilistic Dense Correspondence Network
ETH Zurich(苏黎世联邦理工学院)
在一对图像之间建立鲁棒且准确的对应关系是具有许多应用的长期存在的计算机视觉问题。虽然经典的稀疏方法占主导地位,新兴的密集方法提供了一个引人注目的替代范式,避免了关键点检测步骤。然而,密集流估计往往是不准确的情况下,大位移,闭塞,或均匀的区域。为了将密集方法应用于现实世界的应用,例如姿态估计、图像处理或3D重建,因此,估计预测匹配的置信度至关重要。我们提出了增强的概率密集对应网络,PDC-Net+,能够估计准确的密集对应以及可靠的置信度图。我们开发了一种灵活的概率方法,共同学习流量预测及其不确定性。特别是,我们将预测分布参数化为约束混合模型,确保更好地建模准确的流量预测和离群值。此外,我们开发了一个架构和一个增强的训练策略,专为强大的和可推广的不确定性预测的自监督训练的背景下。我们的方法在多个具有挑战性的几何匹配和光流数据集上获得了最先进的结果。我们进一步验证了我们的概率置信度估计的有用性的任务的姿态估计,三维重建,基于图像的定位,和图像检索。代码和型号可在https://github.com/PruneTruong/DenseMatching上获得。
2021-09-29 cs.CV
FCSS: Fully Convolutional Self-Similarity for Dense Semantic Correspondence
Yonsei University(延世大学);Chungnam National University(忠南国立大学);Microsoft Research(微软研究院)
我们提出了一个描述符,称为全卷积自相似性(FCSS),密集的语义对应。为了在同一对象类中的不同实例之间鲁棒地匹配点,我们在全卷积网络中使用局部自相似性(LSS)来制定FCSS。与现有的基于CNN的描述符相比,由于其基于LSS的结构,FCSS本质上对类内外观变化不敏感,同时保持了深度神经网络的精确定位能力。局部结构的采样模式和自相似性度量在所提出的网络中以端到端和多尺度的方式联合学习。由于语义对应的训练数据相当有限,我们建议利用现有图像数据集中提供的对象候选先验以及对象对之间的对应一致性来实现弱监督学习。实验表明,FCSS优于传统的手工描述符和基于CNN的描述符在各种基准测试。
2017-02-03 cs.CV
Mars Rover Localization Based on A2G Obstacle Distribution Pattern Matching
漫游车定位是大规模漫游车探测的前提条件之一。在美国宇航局的火星2020任务中,“无畏号”直升机与火星车一起携带,火星车能够获得火星地形的高分辨率图像,并有可能基于空地(A2G)图像对应进行定位。然而,考虑到火星地形的低纹理性质,以及无人机和漫游车图像之间的大视角变化,传统的图像匹配方法将难以获得有效的图像对应关系。在本文中,我们提出了一种新的管道火星车定位。结合基于图像的岩石检测和岩石分布模式匹配的算法被用来获取A2G图像对应,从而在无人机生成的地面地图中建立漫游器位置。这种方法的可行性进行评估的样本数据从火星模拟环境。所提出的方法可以作为一个可靠的协助,在未来的火星任务。
2022-10-07 cs.CV
PAUL: Uncertainty-Guided Partition and Augmentation for Robust Cross-View Geo-Localization under Noisy Correspondence
National University of Defense Technology(国防科技大学);Shenzhen Loop Area Institute(深圳河套学院);School of Artificial Intelligence, The Chinese University of Hong Kong, Shenzhen(香港中文大学深圳人工智能学院);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学深圳研究院)
本文提出PAUL框架,通过不确定性感知的共增强和证据共训练,解决跨视图地理定位中的噪声对应问题,提升鲁棒性。
2026-03-23 cs.CV
CVLNet: Cross-View Semantic Correspondence Learning for Video-based Camera Localization
Australian National University(澳大利亚国立大学);University of Technology Sydney(悉尼科技大学)
本文研究了基于跨视角视频的摄像机定位问题。任务是通过利用来自其过去观测的信息来定位查询相机,即,在先前时间戳观察到的图像的连续序列,并将它们与大型俯视卫星图像进行匹配。这项任务的关键挑战是学习一个强大的全球功能描述符的连续地面视图图像,同时考虑其域对齐参考卫星图像。为此,我们引入了CVLNet,它首先通过探索地面和头顶的几何对应关系将连续的地面视图图像投影到头顶视图中,然后利用投影图像之间的照片一致性来形成全局表示。以这种方式,跨视图域差异被桥接。由于参考卫星图像通常是预先裁剪和定期采样的,因此查询相机位置与其匹配的卫星图像中心之间总是存在不对准。出于这一动机,我们建议估计查询相机的相对位移的卫星图像相似性匹配之前。在这个位移估计过程中,我们还考虑了摄像机位置的不确定性。例如,摄像机不太可能在树上。为了评估所提出的方法的性能,我们从谷歌地图收集卫星图像的KITTI数据集,并构建了一个新的跨视图基于视频的本地化基准数据集,KITTI-CVL。大量的实验已经证明了基于视频的定位的有效性,基于单个图像的定位和每个模块的优越性,比其他替代品。
2022-08-07 cs.CV
Dense Semantic 3D Map Based Long-Term Visual Localization with Hybrid Features
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
视觉定位在许多应用中起着重要的作用。然而,由于季节和光照变化,以及天气和昼夜变化等大的外观变化,它仍然是一个很大的挑战,鲁棒的长期视觉定位算法。在本文中,我们提出了一种新的视觉定位方法,使用混合手工制作和学习功能与密集的语义3D地图。混合特征有助于我们在不同的成像条件下充分利用它们的优势,而密集的语义图为我们提供了可靠和完整的几何和语义信息,用于构建足够的具有语义一致性得分的2D-3D匹配对。在我们的流水线中,我们通过稠密模型和查询图像之间的语义一致性来检索和评分每个候选数据库图像。然后,语义一致性得分被用作软约束的加权RANSAC的Puppose求解器。长期的视觉定位基准的实验结果表明,我们的方法相比,国家的最先进的有效性。
2020-05-21 cs.CV
Dense Wide-Baseline Scene Flow From Two Handheld Video Cameras
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Intel Visual Computing Institute(英特尔视觉计算研究所);University of Bath(巴斯大学)
我们提出了一种新的技术,用于计算密集的场景流从两个手持视频与宽相机基线和不同的光度特性,由于不同的传感器或相机设置,如曝光和白平衡。我们的技术在两个方面比现有的方法创新:(1)它支持独立移动的摄像机,(2)它计算密集的场景流的宽基线scenaries.We实现了这一点,结合国家的最先进的宽基线对应发现与变分场景流公式。首先,我们使用DAISY描述符计算密集的宽基线对应关系,用于相机之间的匹配和随时间的变化。然后,我们使用一种新的边缘保持拉普拉斯对应完成技术检测和替换遮挡像素的对应字段。最后,我们完善的计算对应领域的变分场景流配方。我们展示了从具有挑战性的数据集计算出的密集场景流结果,这些数据集具有独立移动的手持式摄像机(摄像机设置不同)。
2016-09-16 cs.CV
Unsupervised Feature Learning for Dense Correspondences across Scenes
Beijing Institute of Technology(北京理工大学);The University of Adelaide(阿德莱德大学);Australian Centre for Robotic Vision(澳大利亚机器人视觉中心)
我们提出了一种快速,准确的匹配方法,估计密集的像素对应场景。估计描绘相同对象类别的不同场景或实例的图像之间的密集像素对应关系是一个具有挑战性的问题。虽然大多数这样的匹配方法依赖于手工制作的特征,如SIFT,但我们使用无监督学习从大量未标记的图像块中学习特征。像素层特征是通过对字典进行编码来获得的,然后通过空间池化来获得补丁层特征。然后将学习到的特征无缝嵌入到多层匹配框架中。我们的实验表明,学习的功能,与我们的匹配模型,优于国家的最先进的方法,如SIFT流,一致性敏感哈希和最近的可变形空间金字塔匹配方法的准确性和计算效率。此外,我们评估了几种不同的字典学习和特征编码方法在建议的像素对应关系估计框架的性能,并分析了字典学习和特征编码对最终匹配性能的影响。
2015-04-23 cs.CV
Dense Point Prediction: A Simple Baseline for Crowd Counting and Localization
Nanyang Technological University(南洋理工大学)
在本文中,我们提出了一个简单而有效的人群计数和定位网络名为SCALNet。与大多数将计数和定位任务分开的现有作品不同,我们将这些任务视为像素密集预测问题,并将其集成到端到端框架中。具体而言,对于人群计数,我们采用了由均方误差(MSE)损失监督的计数头。对于人群定位,关键的洞察力是识别人的关键点,即,头部的中心点。我们提出了一个定位头来区分密集人群训练的两个损失函数,即,负抑制焦点(NSF)损失和假阳性(FP)损失,其平衡正/负示例并处理假阳性预测。在最近的大规模基准测试NWPU-Crowd上的实验表明,我们的方法在人群定位和计数任务上分别比最先进的方法提高了5%和10%以上。该代码可在https://github.com/WangyiNTU/SCALNet上公开获取。
2021-04-26 cs.CV
Learning Dense Correspondence via 3D-guided Cycle Consistency
UC Berkeley(加州大学伯克利分校);ENPC ParisTech(巴黎高科路桥学校);TTI-Chicago(芝加哥丰田技术研究院)
判别式深度学习方法在人类标记的基础事实丰富的问题上表现出了令人印象深刻的结果,但对于难以或不可能获得标签的任务呢?本文解决了这样一个问题:在不同的对象实例之间建立密集的视觉对应。对于这个任务,虽然我们不知道地面实况是什么,但我们知道它应该在该类别的实例中保持一致。我们利用这种一致性作为监督信号来训练卷积神经网络,以预测描绘同一类别对象的图像对之间的跨实例对应关系。对于每一对训练图像,我们找到一个合适的3D CAD模型,并渲染两个合成视图以与这对图像链接,建立一个对应流4循环。我们使用渲染引擎提供的地面实况合成到合成对应关系来训练ConvNet,以预测与地面实况周期一致的合成到真实、真实到真实和真实到合成对应关系。在测试时,不需要CAD模型。我们证明了我们的端到端训练的ConvNet由周期一致性监督,在对应相关任务中优于最先进的成对匹配方法。
2016-04-18 cs.CV