Dense Semantic Correspondence where Every Pixel is a Classifier
Queensland University of Technology（昆士兰科技大学）；Carnegie Mellon University（卡内基梅隆大学）
确定对象和场景之间的密集语义对应关系是支撑许多更高级别计算机视觉算法的难题。与考虑空间或时间相邻的图像的规范密集对应问题不同，语义对应的特征在于共享相似的高级结构的图像，其确切的外观和几何形状可能不同。受对象识别文献和最近的工作快速估计线性分类器的启发，我们把语义对应作为一个约束检测问题，学习每个像素的一个示例LDA分类器。LDA分类器有两个明显的好处：（i）它们表现出比对应问题中通常使用的相似性度量更高的平均精度，以及（ii）与示例SVM不同，可以在没有校准的情况下输出全局可解释的后验概率，同时训练也明显更快。我们提出的对应问题作为一个图形模型，其中一元电位计算通过卷积与一组样本分类器，和联合电位执行平滑变化的对应分配。
2015-05-15 cs.CV
Leveraging Motion Information for Better Self-Supervised Video Correspondence Learning
School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院）
提出自监督视频对应学习框架MER，通过运动增强引擎和多簇采样策略捕捉动态运动信息，在视频对象分割和关键点跟踪任务上优于现有方法。
2025-04-30 cs.CV
S2DNet: Learning Accurate Correspondences for Sparse-to-Dense Feature Matching
LIGM, École des Ponts, Univ Gustave Eiffel, CNRS（LIGM，法国国立桥路学校，古斯塔夫·埃菲尔大学，法国国家科学研究中心）；Laboratoire IMS, Université de Bordeaux（IMS实验室，波尔多大学）
建立鲁棒且准确的对应关系是许多计算机视觉算法的基本支柱。虽然最近的基于学习的特征匹配方法在具有挑战性的条件下提供鲁棒的对应关系方面显示出有希望的结果，但它们通常在精度方面受到限制。在本文中，我们介绍了S2DNet，这是一种新型的特征匹配管道，经过设计和训练，可以有效地建立鲁棒和准确的对应关系。通过利用稀疏到密集的匹配范式，我们将对应学习问题视为一个监督分类任务，以学习输出高峰值的对应图。我们证明了S2DNet在HPatches基准测试以及几个长期视觉定位数据集上取得了最先进的结果。
2020-04-03 cs.CV
BodyMap: Learning Full-Body Dense Correspondence Map
Meta Reality Labs Research（Meta现实实验室）；Meta AI；Moscow Institute of Physics and Technology（莫斯科物理技术学院）
人类之间的密集对应关系携带了强大的语义信息，可用于解决全身理解的基本问题，例如野外表面匹配，跟踪和重建。在本文中，我们提出了BodyMap，一个新的框架，用于获得高清晰度的全身和连续密集的对应关系，在野外图像的穿着人类和表面的三维模板模型。这些对应关系涵盖了手和头发等细节，同时捕捉了远离身体表面的区域，如宽松的衣服。用于估计这种密集表面对应的现有方法i）将3D身体切割成部分，这些部分被展开到2D UV空间，沿着部分接缝产生不连续性，或者ii）使用单个表面来表示整个身体，但是没有处理身体细节。在这里，我们介绍了一种新颖的网络架构，它具有视觉Transformer，可以在连续的身体表面上学习精细级别的特征。BodyMap在各种指标和数据集上的表现优于之前的工作，包括DensePose-COCO。此外，我们展示了各种应用程序，从多层密集的布料对应，神经渲染与新颖的视图合成和外观交换。
2022-05-18 cs.CV
Geometric Image Correspondence Verification by Dense Pixel Matching
Nokia Technologies（诺基亚技术公司）；Aalto University（阿尔托大学）
本文讨论了确定两幅图像之间密集像素对应关系的问题，并将其应用于图像检索中的几何对应关系验证。的主要贡献是几何对应验证方法重新排序检索到的数据库图像的基础上，其密集的成对匹配的查询图像在像素级的短名单。我们确定了一组循环一致的密集像素匹配的图像对之间的匹配，并使用基于神经网络的图像描述符的匹配像素的局部相似性进行评估。最后的重新排序是基于一种新的相似性函数，它融合了局部相似性度量与全局相似性度量和几何一致性度量计算的匹配像素。对于密集匹配，我们的方法利用了最近提出的密集几何对应网络（DGC-Net）的修改版本，我们还通过优化架构来改进。所提出的模型和相似性度量相媲美的国家的最先进的图像检索方法。此外，我们将我们的方法应用于长期视觉定位的问题，展示了有希望的结果和跨数据集的泛化。
2020-08-17 cs.CV
Rethinking Self-supervised Correspondence Learning: A Video Frame-level Similarity Perspective
UC San Diego（加州大学圣迭戈分校）
学习时空对应的良好表示是各种计算机视觉任务的关键，包括跟踪对象边界框和执行视频对象像素分割。为了学习大规模对应的可概括表示，提出了各种自监督的借口任务来显式地执行对象级或块级相似性学习。我们建议使用视频帧级相似性（VFS）学习来学习对应关系，而不是遵循以前的文献，即简单地从比较视频帧中学习。我们的工作受到最近成功的图像级对比学习和相似性学习的视觉识别。我们的假设是，如果表示有利于识别，则需要卷积特征来找到相似对象或部分之间的对应关系。我们的实验显示了令人惊讶的结果，VFS超越了最先进的自监督方法，用于OTB视觉对象跟踪和DAVIS视频对象分割。我们对VFS中的重要内容进行了详细的分析，并揭示了图像和帧级相似性学习的新特性。带有代码的项目页面可在https://jerryxu.net/VFS上获得
2021-10-14 cs.CV
Deformed Implicit Field: Modeling 3D Shapes with Learned Dense Correspondence
Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）
我们提出了一种新的变形隐式场（DIF）表示建模的三维形状的一个类别，并产生密集的形状之间的对应关系。使用DIF，3D形状由跨类别共享的模板隐式字段以及专用于每个形状实例的3D变形字段和校正字段来表示。形状对应可以很容易地建立使用它们的变形场。我们的神经网络，被称为DIF网络，共同学习形状潜在空间和属于一个类别的3D对象的这些字段，而不使用任何对应或部分标签。学习后的DIF-Net还可以提供反映形状结构差异的可靠对应不确定性度量。实验表明，DIF-Net不仅可以生成高保真的3D形状，还可以在不同形状之间建立高质量的密集对应关系。我们还展示了几个应用程序，如纹理传输和形状编辑，我们的方法实现了令人信服的结果，不能实现以前的方法。
2021-03-29 cs.CV
Locality-Aware Inter-and Intra-Video Reconstruction for Self-Supervised Correspondence Learning
Beijing University of Posts and Telecommunications（北京邮电大学）；Zhejiang University（浙江大学）；Baidu Research（百度研究院）；Beijing Institute of Technology（北京理工大学）；ETH Zurich（苏黎世联邦理工学院）；University of Technology Sydney（悉尼科技大学）
我们的目标是从未标记的视频中学习视觉对应。我们开发了LIIR，一个局部感知的视频间和视频内重建框架，它填补了三个缺失的部分，即，实例判别，位置意识，空间紧凑性，自我监督对应学习难题。首先，而不是大多数现有的努力只集中在视频内的自我监督，我们利用跨视频的亲和力作为额外的负样本在一个统一的，帧间和帧内的视频重建方案。这使得能够通过将期望的视频内像素关联与负的视频间对应进行对比来进行实例区分性表示学习。其次，我们将位置信息合并到对应匹配中，并设计了一种位置偏移策略，以消除位置编码在视频间亲和力计算中的副作用，使我们的LIIR位置敏感。第三，为了充分利用视频数据的空间连续性，我们对对应匹配施加了基于紧性的约束，从而产生更稀疏和可靠的解决方案。在标签传播任务（包括对象、语义部分和关键点）上，学习到的表示超越了自我监督的最新技术水平。
2022-03-29 cs.CV
Self-supervised Shape Completion via Involution and Implicit Correspondences
ETH Zurich（苏黎世联邦理工学院）；INSAIT, Sofia University（保加利亚索菲亚大学INSAIT研究院）；Google（谷歌公司）；TU Munich（慕尼黑工业大学）
提出一种非对抗性自监督3D形状补全方法，利用对合函数约束和隐式对应关系，在规范空间中通过一致性度量监督补全函数，采用“冻结与交替”策略优化，在刚性和非刚性形状上接近监督方法的精度。
2024-09-24 cs.CV
Deep Functional Maps: Structured Prediction for Dense Shape Correspondence
Tel Aviv University（特拉维夫大学）；Intel（英特尔）；USI Lugano（卢加诺大学）；Sapienza University of Rome（罗马大学）；Technion（以色列理工学院）
我们介绍了一个新的框架，学习可变形的3D形状之间的密集对应。现有的基于学习的方法将形状对应建模为标签问题，其中查询形状的每个点接收标识某个参考域上的点的标签;然后通过组成两个输入形状的标签预测来构造后验对应。我们提出了一个范式转变，并设计了一个结构化的预测模型的空间功能图，线性算子，提供了一个紧凑的表示的对应关系。我们通过深度残差网络对学习过程进行建模，该网络将定义在两个形状上的密集描述符字段作为输入，并输出两个给定对象之间的软映射。由此产生的对应关系被证明是准确的几个具有挑战性的基准，包括多个类别，合成模型，真正的扫描与采集伪影，拓扑噪声，和噪声。
2017-07-30 cs.CV
Semantic-Aware Fine-Grained Correspondence
Tsinghua University（清华大学）；Shanghai Qi Zhi Institute（上海期智研究院）
在图像之间建立视觉对应是一项具有挑战性和必要的任务。最近，已经提出了大量的自监督方法来更好地学习视觉对应的表示。然而，我们发现，这些方法往往无法利用语义信息和过度依赖于低级别的功能匹配。相比之下，人类视觉能够区分不同的物体作为跟踪的借口。受这种范式的启发，我们提出学习语义感知的细粒度对应。首先，我们证明了语义对应是隐含地通过一组丰富的图像级自监督方法。我们进一步设计了一个像素级的自监督学习目标，专门针对细粒度的对应关系。对于下游任务，我们将这两种互补的对应表示融合在一起，证明它们协同提高性能。我们的方法超越了以前使用卷积网络进行各种视觉对应任务的最先进的自监督方法，包括视频对象分割，人体姿势跟踪和人体部位跟踪。
2022-07-22 cs.CV
CoordGAN: Self-Supervised Dense Correspondences Emerge from GANs
Nvidia（英伟达）；UC San Diego（加州大学圣地亚哥分校）
最近的进展表明，生成对抗网络（GANs）可以沿着语义上有意义的潜在方向（如姿势，表情，布局等）合成具有平滑变化的图像，虽然这表明GANs隐式地学习图像之间的像素级对应关系，但很少有研究探索如何显式地提取它们。在这项工作中，我们介绍了坐标GAN（CoordGAN GAN），一个结构-纹理解纠缠的GAN，为每个生成的图像学习一个密集的对应映射。我们将不同图像的对应图表示为从规范坐标系变换的扭曲坐标系，即，对应映射，其描述结构（例如，面部的形状）通过变换来控制。因此，找到对应关系归结为在不同的对应映射中定位相同的坐标。在CoordGAN中，我们采样一个变换来表示合成实例的结构，而一个独立的纹理分支负责渲染与结构正交的外观细节。我们的方法还可以通过在生成器上添加编码器来提取真实图像的密集对应图。我们通过在多个数据集上的分割掩码转移定量地证明了所学习的密集对应的质量。我们还表明，该发电机实现了更好的结构和纹理解纠缠相比，现有的方法。项目页面：https://jitengmu.github.io/CoordGAN/
2022-03-30 cs.CV
Weakly-Supervised Learning of Dense Functional Correspondences
Stanford University（斯坦福大学）
针对跨类别图像密集对应匹配难题，提出基于视觉语言模型伪标注与密集对比学习的弱监督学习范式，构建新模型实现密集功能对应关系建立，并通过合成与真实数据集验证其优于现有基线方案。
2025-09-04 cs.CV
DASC: Robust Dense Descriptor for Multi-modal and Multi-spectral Correspondence Estimation
Yonsei University（延世大学）；Chungnam National University（忠南国立大学）；INRIA（法国国家信息与自动化研究所）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
在多个图像之间建立密集的对应关系是许多应用中的基本任务。然而，由于其具有挑战性的光度和几何变化，在多模态或多光谱图像中找到可靠的对应关系仍然没有解决。在本文中，我们提出了一种新的密集描述，称为密集自适应自相关（DASC），估计多模态和多光谱密集对应。基于观察到图像内存在的自相似性对成像模态变化是鲁棒的，我们定义了描述符与一系列的自适应自相关相似性度量由随机感受野池采样的补丁之间，其中采样模式是使用判别式学习获得的。密集描述符的计算冗余显着减少应用快速边缘感知过滤。此外，为了解决几何变化，包括缩放和旋转，我们提出了一个几何不变的DASC（GI-DASC）描述符，有效地利用DASC通过基于超像素的表示。为了定量评估GI-DASC，我们建立了一个新的多模态基准作为不同的光度和几何条件。实验结果表明DASC和GI-DASC在多模态和多光谱密集对应的许多情况下具有出色的性能。
2016-04-27 cs.CV
Unsupervised Dense Shape Correspondence using Heat Kernels
Technical University of Munich（慕尼黑工业大学）
在这项工作中，我们提出了一种无监督的方法，使用最近的深度功能图框架来学习形状之间的密集对应关系。我们使用热核，而不是依赖于地面实况对应或计算昂贵的测地线距离。这些可以在训练期间作为监督信号快速计算。此外，我们提出了一个课程学习策略，使用不同的热扩散时间，在优化过程中提供不同程度的难度，没有任何采样机制或硬例子挖掘。我们在不同的基准上展示了我们的方法的结果，这些基准具有不同的挑战，如噪声，拓扑噪声和不同的连接性。
2020-10-23 cs.CV
DenseGAP: Graph-Structured Dense Correspondence Learning with Anchor Points
University of Southern California（南加州大学）；USC Institute for Creative Technologies（南加州大学创意技术研究所）；Stanford University（斯坦福大学）
建立两幅图像之间的密集对应关系是一个基本的计算机视觉问题，通常通过匹配局部特征描述符来解决。然而，如果没有全局意识，这些局部特征通常不足以消除类似区域的歧义。计算图像之间的成对特征相关性既计算昂贵又占用内存。为了使局部特征了解全局上下文并提高其匹配精度，我们引入了DenseGAP，这是一种新的解决方案，用于使用以锚点为条件的图结构神经网络进行高效的密集对应学习。具体来说，我们首先提出了一个图形结构，利用锚点，以提供稀疏但可靠的图像间和图像内的上下文之前，并通过有向边缘传播到所有的图像点。我们还设计了一个图结构的网络，通过轻量级的消息传递层广播多级上下文，并以低内存成本生成高分辨率的特征图。最后，基于预测的特征图，我们引入了一个由粗到细的框架，用于使用循环一致性进行精确的对应预测。我们的特征描述符捕获本地和全局信息，从而实现连续的特征字段，以高分辨率查询任意点。通过对大规模室内和室外数据集进行全面的烧蚀实验和评估，我们证明了我们的方法在大多数基准上都能提高最先进的对应学习。
2022-12-22 cs.CV
NHO: A Neural Hamiltonian Operator for Anchor-based Region Localization and Dense Correspondence
Jilin University（吉林大学）；Zhejiang University（浙江大学）；North China University of Technology（北方工业大学）
提出NHO，结合稀疏锚点与内在几何学习神经哈密顿算子，通过相互细化实现非刚性部分到整体的区域定位与稠密对应，实验验证其精度与对缩放旋转的鲁棒性。
2026-10-01 cs.CV
Learning Implicit Functions for Topology-Varying Dense 3D Shape Correspondence
Michigan State University（密歇根州立大学）
本文的目标是以无监督的方式学习拓扑变化对象的密集3D形状对应。传统的隐式函数估计给定形状潜码的3D点的占用。相反，我们的新隐式函数为每个3D点生成一个部分嵌入向量，该向量被假设为与相同对象类别的另一个3D形状中的密集对应点相似。此外，我们实现了密集的对应，通过一个反函数映射从部分嵌入到相应的3D点。这两个函数联合学习几个有效的损失函数，以实现我们的假设，与编码器产生的形状潜码。在推理过程中，如果用户选择源形状上的任意点，我们的算法可以自动生成一个置信度分数，指示目标形状上是否存在对应关系，以及对应的语义点（如果存在）。这种机制本质上有利于具有不同部件构造的人造物体。我们的方法的有效性证明，通过无监督的三维语义对应和形状分割。
2020-10-26 cs.CV
DPODv2: Dense Correspondence-Based 6 DoF Pose Estimation
Technical University of Munich（慕尼黑工业大学）；Siemens AG（西门子公司）；Toyota Research Institute（丰田研究院）
我们提出了一个三阶段的6自由度目标检测方法称为DPODv 2（密集姿态对象检测器），依赖于密集的对应关系。我们将2D对象检测器与密集的对应估计网络和多视图姿态细化方法相结合，以估计完整的6 DoF姿态。与通常仅限于单目RGB图像的其他深度学习方法不同，我们提出了一个统一的深度学习网络，允许使用不同的成像模式（RGB或深度）。此外，我们提出了一种新的姿态细化方法，即基于微分绘制。主要概念是比较多个视图中的预测对应和渲染对应，以获得与所有视图中的预测对应一致的姿态。我们提出的方法进行了严格的评估，不同的数据模式和类型的训练数据在一个受控的设置。主要结论是，RGB擅长对应性估计，而深度有助于姿态精度，如果良好的3D-3D对应性是可用的。自然，它们的组合实现了整体最佳性能。我们进行了广泛的评估和消融研究，以分析和验证几个具有挑战性的数据集的结果。DPODv 2在所有这些方面都取得了优异的结果，同时仍然保持快速和可扩展性，与所使用的数据模态和训练数据类型无关
2022-07-06 cs.CV
Dense 3D Face Correspondence
The University of Western Australia（西澳大学）；University of Adelaide（阿德莱德大学）
我们提出了一种算法，自动建立大量的3D面之间的密集对应。从自动检测到的稀疏对应的外边界的3D人脸，该算法三角形化现有的对应关系，并扩大他们迭代匹配点的独特的表面曲率沿三角形边缘。在穷尽关键点匹配之后，通过从大三角形的质心演化水平集测地线曲线来生成三角形内均匀分布的点，从而建立进一步的对应关系。从密集的对应的脸构造一个可变形模型（K3DM），并提出了一个算法变形K3DM，以适应不可见的脸。该算法在不可见的面部的刚性对齐和可变形模型的正则化变形之间迭代。我们已经广泛地评估了所提出的算法的合成数据和真正的3D人脸从FRGCv2，博斯普鲁斯海峡，BU3DFE和UND耳数据库使用定量和定性基准。我们的算法实现了密集的对应关系，平均定位误差为1.28毫米的合成脸和检测$14$人体测量地标看不见的真实面孔从FRGCv2数据库中的3毫米精度。此外，我们的可变形模型拟合算法在FRGCv2和博斯普鲁斯数据库上分别达到了98.5%和98.6%的人脸识别准确率。我们的稠密模型也能够推广到看不见的数据集。
2019-08-15 cs.CV
Template NeRF: Towards Modeling Dense Shape Correspondences from Category-Specific Object Images
City University of Hong Kong（香港城市大学）；Xi’an Jiaotong University（西安交通大学）
我们提出了神经辐射场（NeRF）与模板，被称为模板NeRF，用于建模外观和几何形状，并同时生成密集的形状对应的对象之间的同一类别，只有多视图构成的图像，而不需要任何3D监督或地面真理的对应知识。学习的密集对应关系可以很容易地用于各种基于图像的任务，如关键点检测，零件分割和纹理转移，以前需要特定的模型设计。我们的方法也可以适应一个或Few-Shot的方式，只给一个或几个实例的类别的注释转移。使用周期性激活和特征线性调制（FiLM）条件，我们将3D数据上的深层隐式模板引入3D感知图像合成流水线NeRF。通过将同一类别内的对象实例表示为共享NeRF模板的形状和外观变化，我们所提出的方法可以针对各种对象类在图像上实现密集形状对应推理。我们展示了结果和应用程序的合成和现实世界的数据与竞争力的结果相比，其他方法的基础上的三维信息。
2021-11-08 cs.CV
PARN: Pyramidal Affine Regression Networks for Dense Semantic Correspondence
Yonsei University（延世大学）；Ewha Womans University（梨花女子大学）
本文提出了一种用于密集语义对应的深层架构，称为金字塔仿射回归网络（PARN），它可以估计图像中局部变化的仿射变换场。为了处理同一对象类别中不同实例之间通常存在的类内外观和形状变化，我们利用金字塔模型，其中仿射变换场以从粗到细的方式逐步估计，以便在深度网络中自然地施加平滑度约束。PARN估计每个级别的残余仿射变换，并将它们组合以估计最终仿射变换。此外，为了克服语义对应训练数据不足的局限性，我们提出了一种新的弱监督训练方案，通过利用图像对之间的对应一致性来生成渐进式监督。我们的方法是完全可学习的，在一个端到端的方式，不需要量化无限连续仿射变换领域。据我们所知，这是第一个尝试在深度网络中以粗到细的方式估计密集仿射变换场的工作。实验结果表明，PARN优于国家的最先进的方法密集的语义对应在各种基准。
2018-08-01 cs.CV
Dense Multi-view 3D-reconstruction Without Dense Correspondences
Technical University of Munich（慕尼黑工业大学）；University of Toulouse（图卢兹大学）；Mikros Image
介绍了一种自然光照下多视点形状恢复的变分方法。其关键思想是耦合基于偏微分方程的解决方案，单图像为基础的形状从阴影的问题，跨多个图像和多个颜色通道的变分制定。而不是交替地解决个别SFS问题和优化的一致性跨图像和通道，这是已知的，导致次优的结果，我们提出了一个有效的解决方案的耦合问题的ADMM算法的装置。在对模拟图像和真实图像进行的大量实验中，我们证明了多视图重建和明暗恢复形状的融合可以提供高度准确的密集重建，而无需计算密集对应关系。随着所提出的变分集成跨多个视图的形状从阴影技术变得适用于具有挑战性的现实世界的重建问题，即使在平滑的亮度变化和缺乏纹理的区域中，也会产生非常详细的几何形状。
2017-04-02 cs.CV
Improving 2D-3D Dense Correspondences with Diffusion Models for 6D Object Pose Estimation
Automation and Control Institute, TU Wien（维也纳技术大学自动化与控制研究所）；Department of Industrial Engineering, UAS Technikum Vienna（维也纳技术高等专业学院工业工程系）
本研究比较了GAN与扩散模型在图像到图像转换中用于六维物体姿态估计的稠密对应图生成，发现扩散模型表现更优，为姿态估计改进提供新方向。
2024-02-09 cs.CV
Towards Establishing Dense Correspondence on Multiview Coronary Angiography: From Point-to-Point to Curve-to-Curve Query Matching
University of Pennsylvania（宾夕法尼亚大学）；Siemens Healthineers（西门子医疗）
针对多视图冠脉造影2D投影缺3D信息、有视觉歧义的问题，提出基于CCTA模拟数据的点到点再到曲线到曲线的查询匹配方法，建立密集对应关系，在1260组图像对上验证了可行性。
2023-12-18 cs.CV
Warp Consistency for Unsupervised Learning of Dense Correspondences
Computer Vision Lab, ETH Zurich（苏黎世联邦理工学院计算机视觉实验室）
学习密集对应的关键挑战在于缺乏真实图像对的地面实况匹配。虽然光度一致性损失提供了无监督的替代方案，但它们在几何和语义匹配任务中普遍存在的大的外观变化中挣扎。此外，依赖于合成训练对的方法往往难以推广到真实数据。我们提出了经一致性，一个无监督学习目标密集对应回归。我们的目标是有效的，即使在设置与大的外观和视点变化。给定一对真实图像，我们首先通过将随机采样的扭曲应用于其中一个原始图像来构建图像三元组。我们推导和分析所有的三重流之间产生的一致性约束。从我们的观察和实证结果，我们设计了一个一般的无监督的目标，采用两个派生的约束。我们通过训练三个最近的密集对应网络进行几何和语义匹配任务来验证我们的翘曲一致性损失。我们的方法在几个具有挑战性的基准测试上树立了新的先进水平，包括MegaDepth，RobotCar和TSS。代码和模型在github.com/PruneTruong/DenseMatching上。
2021-08-18 cs.CV
Feature-metric Registration: A Fast Semi-supervised Approach for Robust Point Cloud Registration without Correspondences
The University of Sydney（悉尼大学）；University of Technology Sydney（悉尼科技大学）
我们提出了一个快速的特征度量点云配准框架，它通过最小化没有对应关系的特征度量投影误差来执行配准的优化。与几何投影误差相比，特征度量投影误差的优点是对噪声、离群值和密度差具有鲁棒性。此外，最小化特征度量投影误差不需要搜索对应关系，因此优化速度快。所提出的方法背后的原理是，如果点云对齐得很好，则特征差异最小。我们训练所提出的方法在半监督或无监督的方法，这需要有限的或没有注册标签数据。实验结果表明，该方法比现有方法具有更高的准确性和鲁棒性。实验结果表明，该方法能有效地处理噪声和密度差异，并能同时解决同源和跨源点云的配准问题。
2020-05-03 cs.CV
Learning Body Shape and Pose from Dense Correspondences
CNRS-AIST JRL（法国国家科学研究中心-日本产业技术综合研究所联合机器人实验室）
在本文中，我们解决了从2D图像数据集学习3D人体姿势和身体形状的问题，而不必使用3D数据集（身体形状和姿势）。这个想法是使用图像点和身体表面之间的密集对应关系，可以在野外2D图像上进行注释，并从中提取和聚合3D信息。为此，我们提出了一种名为"变形和学习”的训练策略，在该策略中，我们交替进行可变形表面配准和深度卷积神经网络（ConvNets）的训练。与以前的方法不同，我们的方法不需要从运动捕捉（MoCap）系统或人为干预来验证3D姿态注释的3D姿态注释。
2019-07-27 cs.CV
There and Back Again: Self-supervised Multispectral Correspondence Estimation
University of Surrey（萨里大学）
在从自动驾驶车辆到医学成像的广泛应用中，多光谱图像提供了提取彩色图像中不存在的附加信息的机会。使这些信息易于获得的最重要步骤之一是准确估计不同光谱之间的密集对应关系。由于交叉光谱图像的性质，视觉域的大多数对应求解技术根本不适用。此外，大多数交叉光谱技术利用光谱特定特性来执行对准。在这项工作中，我们的目标是解决密集对应估计问题的方式，推广到一个以上的频谱。我们通过引入一种新的周期一致性度量来实现这一点，该度量允许我们进行自我监督。这与我们的光谱不可知损失函数相结合，使我们能够在多个光谱上训练相同的网络。我们展示了我们的方法上的密集RGB-FIR对应估计的挑战性任务。我们还展示了未修改的网络在RGB-NIR和RGB-RGB情况下的性能，在这些情况下，我们比类似的自监督方法实现了更高的准确性。我们的工作表明，跨谱对应估计可以解决在一个共同的框架，学习概括跨谱对齐。
2021-05-26 cs.CV
Learning Implicit Functions for Dense 3D Shape Correspondence of Generic Objects
Michigan State University（密歇根州立大学）
本文的目标是以无监督的方式学习拓扑变化通用对象的密集3D形状对应关系。传统的隐式函数估计给定形状潜码的3D点的占用。相反，我们的新隐式函数产生一个概率嵌入，以表示部分嵌入空间中的每个3D点。假设对应点在嵌入空间中是相似的，我们通过从部分嵌入向量到对应的3D点的反函数映射来实现稠密对应。这两个函数与几个有效的和不确定性感知的损失函数联合学习，以实现我们的假设，以及编码器生成的形状潜码。在推理过程中，如果用户选择源形状上的任意点，我们的算法可以自动生成一个置信度分数，指示目标形状上是否存在对应关系，以及对应的语义点（如果存在）。这种机制本质上有利于具有不同部件构造的人造物体。我们的方法的有效性证明，通过无监督的三维语义对应和形状分割。
2022-12-29 cs.CV
Unified Mask Embedding and Correspondence Learning for Self-Supervised Video Segmentation
Zhejiang University（浙江大学）；ETH Zurich（苏黎世联邦理工学院）；Beijing Institute of Technology（北京理工大学）；Baidu VIS（百度视觉技术部）
本文的目标是视频对象分割的自监督学习。我们开发了一个统一的框架，同时模型跨帧密集对应的局部判别特征学习和嵌入目标掩码解码的对象级上下文。因此，它能够直接学习从未标记的视频中执行掩模引导的顺序分割，而不是以前的努力通常依赖于倾斜解决方案-根据像素相关性廉价地“复制”标签。具体地说，我们的算法交替i）聚类视频像素，用于创建伪分割标签，从无到有;和ii）利用伪标签来学习VOS的掩码编码和解码。无监督的对应学习进一步纳入这个自学，掩模嵌入方案，以确保学习表示的通用性，避免集群退化。我们的算法在两个标准基准上设置了最先进的技术（即，DAVIS 17和YouTube-VOS），在性能和网络架构设计方面缩小了自监督和全监督VOS之间的差距。
2023-03-17 cs.CV
PDC-Net+: Enhanced Probabilistic Dense Correspondence Network
ETH Zurich（苏黎世联邦理工学院）
在一对图像之间建立鲁棒且准确的对应关系是具有许多应用的长期存在的计算机视觉问题。虽然经典的稀疏方法占主导地位，新兴的密集方法提供了一个引人注目的替代范式，避免了关键点检测步骤。然而，密集流估计往往是不准确的情况下，大位移，闭塞，或均匀的区域。为了将密集方法应用于现实世界的应用，例如姿态估计、图像处理或3D重建，因此，估计预测匹配的置信度至关重要。我们提出了增强的概率密集对应网络，PDC-Net+，能够估计准确的密集对应以及可靠的置信度图。我们开发了一种灵活的概率方法，共同学习流量预测及其不确定性。特别是，我们将预测分布参数化为约束混合模型，确保更好地建模准确的流量预测和离群值。此外，我们开发了一个架构和一个增强的训练策略，专为强大的和可推广的不确定性预测的自监督训练的背景下。我们的方法在多个具有挑战性的几何匹配和光流数据集上获得了最先进的结果。我们进一步验证了我们的概率置信度估计的有用性的任务的姿态估计，三维重建，基于图像的定位，和图像检索。代码和型号可在https://github.com/PruneTruong/DenseMatching上获得。
2021-09-29 cs.CV
FCSS: Fully Convolutional Self-Similarity for Dense Semantic Correspondence
Yonsei University（延世大学）；Chungnam National University（忠南国立大学）；Microsoft Research（微软研究院）
我们提出了一个描述符，称为全卷积自相似性（FCSS），密集的语义对应。为了在同一对象类中的不同实例之间鲁棒地匹配点，我们在全卷积网络中使用局部自相似性（LSS）来制定FCSS。与现有的基于CNN的描述符相比，由于其基于LSS的结构，FCSS本质上对类内外观变化不敏感，同时保持了深度神经网络的精确定位能力。局部结构的采样模式和自相似性度量在所提出的网络中以端到端和多尺度的方式联合学习。由于语义对应的训练数据相当有限，我们建议利用现有图像数据集中提供的对象候选先验以及对象对之间的对应一致性来实现弱监督学习。实验表明，FCSS优于传统的手工描述符和基于CNN的描述符在各种基准测试。
2017-02-03 cs.CV
Dynamic in Static: Hybrid Visual Correspondence for Self-Supervised Video Object Segmentation
Nanjing University of Science and Technology（南京理工大学）；Zhejiang University（浙江大学）；University of Birmingham（伯明翰大学）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））
本文提出HVC框架，通过从静态图像提取伪动态信号并利用全卷积架构学习静态-动态视觉对应，仅需约2小时训练即在多个自监督视频目标分割基准上达到SOTA性能。
2024-04-21 cs.CV
Dense Wide-Baseline Scene Flow From Two Handheld Video Cameras
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Intel Visual Computing Institute（英特尔视觉计算研究所）；University of Bath（巴斯大学）
我们提出了一种新的技术，用于计算密集的场景流从两个手持视频与宽相机基线和不同的光度特性，由于不同的传感器或相机设置，如曝光和白平衡。我们的技术在两个方面比现有的方法创新：（1）它支持独立移动的摄像机，（2）它计算密集的场景流的宽基线scenaries.We实现了这一点，结合国家的最先进的宽基线对应发现与变分场景流公式。首先，我们使用DAISY描述符计算密集的宽基线对应关系，用于相机之间的匹配和随时间的变化。然后，我们使用一种新的边缘保持拉普拉斯对应完成技术检测和替换遮挡像素的对应字段。最后，我们完善的计算对应领域的变分场景流配方。我们展示了从具有挑战性的数据集计算出的密集场景流结果，这些数据集具有独立移动的手持式摄像机（摄像机设置不同）。
2016-09-16 cs.CV
Unsupervised Feature Learning for Dense Correspondences across Scenes
Beijing Institute of Technology（北京理工大学）；The University of Adelaide（阿德莱德大学）；Australian Centre for Robotic Vision（澳大利亚机器人视觉中心）
我们提出了一种快速，准确的匹配方法，估计密集的像素对应场景。估计描绘相同对象类别的不同场景或实例的图像之间的密集像素对应关系是一个具有挑战性的问题。虽然大多数这样的匹配方法依赖于手工制作的特征，如SIFT，但我们使用无监督学习从大量未标记的图像块中学习特征。像素层特征是通过对字典进行编码来获得的，然后通过空间池化来获得补丁层特征。然后将学习到的特征无缝嵌入到多层匹配框架中。我们的实验表明，学习的功能，与我们的匹配模型，优于国家的最先进的方法，如SIFT流，一致性敏感哈希和最近的可变形空间金字塔匹配方法的准确性和计算效率。此外，我们评估了几种不同的字典学习和特征编码方法在建议的像素对应关系估计框架的性能，并分析了字典学习和特征编码对最终匹配性能的影响。
2015-04-23 cs.CV
DGC-Net: Dense Geometric Correspondence Network
Aalto University（阿尔托大学）；University of Oulu（奥卢大学）；ETH Zürich（苏黎世联邦理工学院）；Microsoft（微软）；Tampere University of Technology（坦佩雷理工大学）
本文解决了两幅图像之间的密集像素对应估计的挑战。这个问题与光流估计任务密切相关，其中ConvNets（CNN）最近取得了重大进展。虽然光流方法对于小像素平移和有限的外观变化场景产生非常准确的结果，但它们很难处理我们在这项工作中考虑的强几何变换。在本文中，我们提出了一个由粗到细的基于CNN的框架，可以利用光流方法的优势，并将其扩展到大型变换的情况下，提供密集和亚像素的准确估计。它在合成转换上进行了训练，并对看不见的，现实的数据表现出非常好的性能。此外，我们将我们的方法应用于相对相机姿态估计的问题，并证明该模型优于现有的密集方法。
2018-10-22 cs.CV
Learning 3D Dense Correspondence via Canonical Point Autoencoder
National Tsing-Hua University（国立清华大学）；University of California, Merced（加州大学默塞德分校）；NVIDIA（英伟达）
我们提出了一个典型的点自动编码器（CPAE），预测同一类别的3D形状之间的密集对应。自动编码器执行两个关键功能：（a）将任意排序的点云编码为规范图元，例如，球体，以及（b）将图元解码回原始输入实例形状。由于该基元位于瓶颈区域，它对将所有无序点云映射到规范曲面上并以有序的方式进行重构起着关键作用。一旦被训练，来自映射到原始表面上的相同位置的不同形状实例的点被确定为一对对应关系。我们的方法不需要任何形式的注释或自监督零件分割网络，并且可以处理未对齐的输入点云。三维语义关键点转移和部分分割转移的实验结果表明，我们的模型表现良好，对国家的最先进的对应学习方法。
2021-07-10 cs.CV
Learning Dense Correspondence via 3D-guided Cycle Consistency
UC Berkeley（加州大学伯克利分校）；ENPC ParisTech（巴黎高科路桥学校）；TTI-Chicago（芝加哥丰田技术研究院）
判别式深度学习方法在人类标记的基础事实丰富的问题上表现出了令人印象深刻的结果，但对于难以或不可能获得标签的任务呢？本文解决了这样一个问题：在不同的对象实例之间建立密集的视觉对应。对于这个任务，虽然我们不知道地面实况是什么，但我们知道它应该在该类别的实例中保持一致。我们利用这种一致性作为监督信号来训练卷积神经网络，以预测描绘同一类别对象的图像对之间的跨实例对应关系。对于每一对训练图像，我们找到一个合适的3D CAD模型，并渲染两个合成视图以与这对图像链接，建立一个对应流4循环。我们使用渲染引擎提供的地面实况合成到合成对应关系来训练ConvNet，以预测与地面实况周期一致的合成到真实、真实到真实和真实到合成对应关系。在测试时，不需要CAD模型。我们证明了我们的端到端训练的ConvNet由周期一致性监督，在对应相关任务中优于最先进的成对匹配方法。
2016-04-18 cs.CV
Spatial-then-Temporal Self-Supervised Learning for Video Correspondence
University of Science and Technology of China（中国科学技术大学）
提出空间-时间自监督学习方法，通过对比学习提取空间特征并用重构学习增强时间线索，辅以蒸馏损失，在视频对应任务上超越现有方法。
2023-06-22 cs.CV
Self-supervised co-salient object detection via feature correspondence at multiple scales
Stony Brook University（石溪大学）
本文提出一种无需分割标注的两阶段自监督CoSOD方法，利用块级和区域级多尺度特征对应检测共显著目标，在多个基准上大幅超越无监督模型并优于部分监督模型。
2024-07-03 cs.CV
GAN-Supervised Dense Visual Alignment
UC Berkeley（加州大学伯克利分校）；Carnegie Mellon University（卡内基梅隆大学）；Adobe Research（奥多比研究院）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Facebook AI Research (FAIR)（脸书人工智能研究院）
我们提出了GAN-监督学习，这是一个用于端到端联合学习判别模型及其GAN生成的训练数据的框架。我们将我们的框架应用于密集的视觉对齐问题。受经典Congealing方法的启发，我们的GANgealing算法训练了一个空间Transformer，将来自未对齐数据训练的GAN的随机样本映射到一个共同的联合学习目标模式。我们展示了八个数据集的结果，所有这些都表明我们的方法成功地对齐了复杂的数据并发现了密集的对应关系。GANgealing显著优于过去的自监督对应算法，并在几个数据集上与最先进的监督对应算法相当（有时甚至超过）-而不使用任何对应监督或数据增强，尽管只在GAN生成的数据上进行训练。对于精确的对应关系，我们改进了最先进的监督方法多达$3\times$。我们展示了我们的方法在增强现实、图像编辑和图像数据集自动预处理中的应用，以用于下游GAN训练。
2022-04-05 cs.CV
Self-supervised Feature Learning by Cross-modality and Cross-view Correspondences
City University of New York（纽约城市大学）；Northwestern Polytechnical University（西北工业大学）
监督学习的成功需要大规模的地面实况标签，这是非常昂贵的，耗时的，或者可能需要特殊的技能来注释。为了解决这个问题，开发了许多自我或无监督的方法。与大多数现有的仅学习2D图像特征或仅学习3D点云特征的自监督学习方法不同，本文提出了一种新颖有效的自监督学习方法，通过利用跨模态和跨视图对应关系来联合学习2D图像特征和3D点云特征，而不使用任何人工标注标签。具体地，通过2D卷积神经网络提取来自不同视角的渲染图像的2D图像特征，并且通过图卷积神经网络提取3D点云特征。两种类型的特征被送入一个两层全连接神经网络来估计跨模态对应关系。通过验证不同模态的两个采样数据是否属于同一对象来联合训练三个网络（即交叉模态），同时，通过最小化对象内距离同时最大化不同视图（即交叉视图）中渲染图像的对象间距离来额外优化2D卷积神经网络。学习的2D和3D功能的有效性进行评估，通过将它们转移到五个不同的任务，包括多视图2D形状识别，3D形状识别，多视图2D形状检索，3D形状检索和3D部分分割。对不同数据集上所有五个不同任务的广泛评估表明，所提出的自监督方法对所学习的2D和3D特征具有很强的泛化能力和有效性。
2020-04-13 cs.CV
FOCUS -- Multi-View Foot Reconstruction From Synthetically Trained Dense Correspondences
Department of Engineering, University of Cambridge（剑桥大学工程系）
针对多视角足部重建需大量重叠图像的问题，提出FOCUS方法，通过扩展合成数据集SynFoot2、训练不确定性感知密集对应预测器及两种重建方法，实现少视角下的SOTA重建质量，且速度更快。
2025-02-10 cs.CV
Self-supervised Keypoint Correspondences for Multi-Person Pose Estimation and Tracking in Videos
University of Bonn（波恩大学）；RWTH Aachen（亚琛工业大学）
视频注释是昂贵且耗时的。因此，与用于人类姿态估计的大规模图像数据集相比，用于多人姿态估计和跟踪的数据集不太多样化并且具有更稀疏的注释。这使得学习用于跨帧关联关键点的基于深度学习的模型具有挑战性，这些模型对于多人姿势跟踪任务的干扰因素（例如运动模糊和遮挡）是鲁棒的。为了解决这个问题，我们提出了一种方法，依赖于关键点的对应关系相关联的人在视频中。不是训练网络来估计视频数据上的关键点对应关系，而是在大规模图像数据集上训练网络，以使用自我监督进行人体姿势估计。结合自上而下的人体姿态估计框架，我们使用关键点对应来（i）恢复错过的姿态检测（ii）跨视频帧关联姿态检测。我们的方法在PosTrack $2017$和PoseTrack $2018$数据集上实现了多帧姿态估计和多人姿态跟踪的最新结果。
2021-03-15 cs.CV
Semi-supervised Learning for Dense Object Detection in Retail Scenes
ParallelDots, Inc.（ParallelDots公司）
零售场景通常在每个图像中包含密集的大量对象。标准的目标检测技术使用完全监督的训练方法。这是非常昂贵的，因为与标准数据集相比，注释大的密集零售目标检测数据集涉及多一个数量级的工作。因此，我们提出了半监督学习，以有效地利用大量的未标记的数据在零售领域。我们适应一个流行的自我监督的方法，称为嘈杂的学生最初提出的对象分类密集的目标检测的任务。我们表明，使用未标记的数据与嘈杂的学生训练方法，我们可以提高在密集的零售场景中精确检测物体的最新技术水平。我们还表明，模型的性能随着未标记数据量的增加而增加。
2021-07-05 cs.CV
GLU-Net: Global-Local Universal Network for Dense Flow and Correspondences
ETH Zürich（苏黎世联邦理工学院）
建立图像间的稠密对应是一个重要而普遍的问题，涉及几何匹配、光流和语义对应。虽然这些应用都面临着一些基本的挑战，例如大位移、像素精度和外观变化，但它们目前都是通过专门的网络架构来解决的，这些网络架构仅为一项特定任务而设计。这严重限制了这种网络对新场景的泛化能力，例如需要对更大位移或更高精度的鲁棒性。在这项工作中，我们提出了一个通用的网络架构，是直接适用于所有上述密集对应问题。我们实现了高精度和鲁棒性大位移调查的结合使用的全球和当地的相关层。我们还提出了一种自适应分辨率策略，允许我们的网络在几乎任何输入图像分辨率上运行。当使用相同的网络和权重时，所提出的GLU网络实现了几何和语义匹配以及光流的最先进的性能。代码和训练模型可在https://github.com/PruneTruong/GLU-Net上获得。
2021-04-05 cs.CV
Bootstrap Your Own Correspondences
University of Michigan（密歇根大学）
几何特征提取是点云配准流程的重要组成部分。最近的工作已经证明了如何利用监督学习来学习更好、更紧凑的3D特征。然而，这些方法对地面实况注释的依赖限制了它们的可扩展性。我们建议BYOC：这是一种自我监督的方法，可以从RGB-D视频中学习视觉和几何特征，而不依赖于地面实况姿态或对应关系。我们的关键观察结果是，随机初始化的CNN很容易为我们提供良好的对应关系;使我们能够引导视觉和几何特征的学习。我们的方法结合了点云配准的经典思想和最近的表示学习方法。我们在室内场景数据集上评估了我们的方法，发现我们的方法优于传统和学习的描述符，同时与当前最先进的监督方法相比具有竞争力。
2021-06-01 cs.CV
Dense Teacher: Dense Pseudo-Labels for Semi-supervised Object Detection
MEGVII Technology（旷视科技）；Harbin Institute of Technology（哈尔滨工业大学）；Waseda University（早稻田大学）
迄今为止，最强大的半监督对象检测器（SS-OD）是基于伪框的，这需要一系列具有微调超参数的后处理。在这项工作中，我们建议用密集预测代替稀疏伪框作为统一和直接的伪标签形式。与伪盒相比，我们的密集伪标签（DPL）不涉及任何后处理方法，从而保留了更丰富的信息。我们还介绍了一个区域选择技术，突出的关键信息，同时抑制密集标签携带的噪声。我们将我们提出的利用DPL的SS-OD算法命名为Dense Teacher。在COCO和VOC上，与基于伪框的方法相比，Dense Teacher在各种设置下都表现出优异的性能。
2022-07-19 cs.CV
Flow Fields: Dense Correspondence Fields for Highly Accurate Large Displacement Optical Flow Estimation
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI））；University of Kaiserslautern（凯泽斯劳滕大学）
现代大位移光流算法通常使用稀疏描述符匹配技术或密集近似最近邻场的初始化。虽然后者具有密集的优点，但它们具有非常离群的主要缺点，因为它们不是被设计成找到光流，而是视觉上最相似的对应关系。在本文中，我们提出了一个密集的对应场的方法，是少得多的离群值倾向，因此更适合于光流估计比近似最近邻场。我们的方法在概念上是新颖的，因为它不需要显式正则化，平滑（如中值滤波）或新的数据项，但仅仅是我们的新的纯粹基于数据的搜索策略，发现大多数内点（即使是小对象），同时有效地避免发现离群值。此外，我们提出了新的增强离群值过滤。我们表明，我们的方法是更好地适合于大位移光流估计比国家的最先进的描述符匹配技术。我们通过使用我们的流场初始化EpicFlow（迄今为止MPI-Sintel上最好的方法）来实现这一点，而不是他们最初使用的最先进的描述符匹配技术。我们在MPI-Sintel、KITTI和Middlebury上的表现明显优于原始EpicFlow。
2015-10-20 cs.CV
Self-supervised object detection from audio-visual correspondence
University of Oxford（牛津大学）；University of Amsterdam（阿姆斯特丹大学）；Meta AI
我们解决了在没有监督的情况下学习对象检测器的问题。与弱监督目标检测不同，我们不假设图像级的类标签。相反，我们从视听数据中提取监督信号，使用音频组件来“教导”对象检测器。虽然这个问题与声源定位有关，但它相当困难，因为检测器必须按类型对对象进行分类，枚举对象的每个实例，并且即使对象是无声的也要这样做。我们通过首先设计一个具有对比目标的自监督框架来解决这个问题，该框架联合学习对对象进行分类和定位。然后，在不使用任何监督的情况下，我们简单地使用这些自监督标签和盒子来训练基于图像的对象检测器。因此，我们在目标检测和声源定位的任务中优于以前的无监督和弱监督检测器。我们还展示了我们可以将这个检测器与每个伪类只有一个标签的地面实况类对齐，并展示了我们的方法如何学习检测超越仪器的通用对象，如飞机和猫。
2022-07-09 cs.CV
Searching Dense Point Correspondences via Permutation Matrix Learning
Northwestern Polytechnical University（西北工业大学）
虽然3D点云数据作为3D信号表达的一般形式受到了广泛的关注，但将点云应用于3D形状之间的密集对应估计的任务尚未得到广泛研究。此外，即使在现有的几个三维点云的方法，一个重要的和广泛认可的原则，即。一对一匹配，通常被忽略。为此，本文提出了一种基于端到端学习的点云密集对应关系估计方法，将点云匹配问题转化为零-一分配问题，得到一个置换匹配矩阵，从根本上实现了一对一原则。请注意，这个分配问题的经典解总是不可微的，这对于深度学习框架来说是致命的。为此，我们设计了一个特殊的匹配模块，它首先求解一个双随机矩阵，然后将得到的近似解投影到所需的置换矩阵上。此外，为了保证端到端的学习和计算损失的准确性，我们从学习的置换矩阵计算损失，但在反向传播期间绕过置换矩阵直接将梯度传播到双随机矩阵。我们的方法可以应用于非刚性和刚性的3D点云数据和广泛的实验表明，我们的方法达到了最先进的性能密集的对应学习。
2022-10-26 cs.CV
HumanGPS: Geodesic PreServing Feature for Dense Human Correspondences
Google（谷歌）；Simon Fraser University（西蒙弗雷泽大学）
在本文中，我们解决的问题，建立密集的对应关系下的任意相机的观点和身体构成的人的图像。现有技术或者假设帧之间的小运动，或者依赖于局部描述符，局部描述符不能处理大运动或视觉上模糊的身体部位，例如，左手vs右手。相比之下，我们提出了一个深度学习框架，它将每个像素映射到一个特征空间，其中特征距离反映了像素之间的测地线距离，就像它们被投影到3D人体扫描的表面上一样。为此，我们引入了新的损失函数，根据它们在表面上的测地线距离将特征分开。在没有任何语义注释的情况下，所提出的嵌入自动学习区分视觉上相似的部分，并将不同的主题对齐到统一的特征空间中。大量的实验表明，学习的嵌入可以产生准确的图像之间的对应关系，具有显着的泛化能力，无论是在内部和跨主题。
2021-03-29 cs.CV
DenseReg: Fully Convolutional Dense Shape Regression In-the-Wild
INRIA-CentraleSupélec（法国国家信息与自动化研究所-中央理工-高等电力学院）；Imperial College London（帝国理工学院）；University College London（伦敦大学学院）
在本文中，我们提出通过完全卷积网络学习从图像像素到密集模板网格的映射。我们制定这个任务作为一个回归问题和训练我们的网络，利用人工标注的面部标志“在野外”。我们使用这样的地标来建立三维对象模板和输入图像之间的密集对应场，然后将其作为训练回归系统的基础事实。我们表明，我们可以将语义分割的思想与回归网络相结合，产生一个高度准确的“量化回归”架构。我们的系统名为DenseReg，允许我们以完全卷积的方式估计密集的图像到模板的对应关系。因此，我们的网络可以作为独立系统提供有用的对应信息，而当用作统计可变形模型的初始化时，我们获得的地标定位结果在具有挑战性的300 W基准上大大优于当前最先进的水平。我们彻底评估了我们的方法在一系列面部分析任务，并提供了密集的人体对应的定性结果。我们在http://alpguler.com/DenseReg.html上提供我们的代码以及补充材料。
2017-06-19 cs.CV
