Geometric Image Correspondence Verification by Dense Pixel Matching
Nokia Technologies(诺基亚技术公司);Aalto University(阿尔托大学)
本文讨论了确定两幅图像之间密集像素对应关系的问题,并将其应用于图像检索中的几何对应关系验证。的主要贡献是几何对应验证方法重新排序检索到的数据库图像的基础上,其密集的成对匹配的查询图像在像素级的短名单。我们确定了一组循环一致的密集像素匹配的图像对之间的匹配,并使用基于神经网络的图像描述符的匹配像素的局部相似性进行评估。最后的重新排序是基于一种新的相似性函数,它融合了局部相似性度量与全局相似性度量和几何一致性度量计算的匹配像素。对于密集匹配,我们的方法利用了最近提出的密集几何对应网络(DGC-Net)的修改版本,我们还通过优化架构来改进。所提出的模型和相似性度量相媲美的国家的最先进的图像检索方法。此外,我们将我们的方法应用于长期视觉定位的问题,展示了有希望的结果和跨数据集的泛化。
2020-08-17 cs.CV
Deformed Implicit Field: Modeling 3D Shapes with Learned Dense Correspondence
Tsinghua University(清华大学);Microsoft Research Asia(微软亚洲研究院)
我们提出了一种新的变形隐式场(DIF)表示建模的三维形状的一个类别,并产生密集的形状之间的对应关系。使用DIF,3D形状由跨类别共享的模板隐式字段以及专用于每个形状实例的3D变形字段和校正字段来表示。形状对应可以很容易地建立使用它们的变形场。我们的神经网络,被称为DIF网络,共同学习形状潜在空间和属于一个类别的3D对象的这些字段,而不使用任何对应或部分标签。学习后的DIF-Net还可以提供反映形状结构差异的可靠对应不确定性度量。实验表明,DIF-Net不仅可以生成高保真的3D形状,还可以在不同形状之间建立高质量的密集对应关系。我们还展示了几个应用程序,如纹理传输和形状编辑,我们的方法实现了令人信服的结果,不能实现以前的方法。
2021-03-29 cs.CV
Deep Functional Maps: Structured Prediction for Dense Shape Correspondence
Tel Aviv University(特拉维夫大学);Intel(英特尔);USI Lugano(卢加诺大学);Sapienza University of Rome(罗马大学);Technion(以色列理工学院)
我们介绍了一个新的框架,学习可变形的3D形状之间的密集对应。现有的基于学习的方法将形状对应建模为标签问题,其中查询形状的每个点接收标识某个参考域上的点的标签;然后通过组成两个输入形状的标签预测来构造后验对应。我们提出了一个范式转变,并设计了一个结构化的预测模型的空间功能图,线性算子,提供了一个紧凑的表示的对应关系。我们通过深度残差网络对学习过程进行建模,该网络将定义在两个形状上的密集描述符字段作为输入,并输出两个给定对象之间的软映射。由此产生的对应关系被证明是准确的几个具有挑战性的基准,包括多个类别,合成模型,真正的扫描与采集伪影,拓扑噪声,和噪声。
2017-07-30 cs.CV
CoordGAN: Self-Supervised Dense Correspondences Emerge from GANs
Nvidia(英伟达);UC San Diego(加州大学圣地亚哥分校)
最近的进展表明,生成对抗网络(GANs)可以沿着语义上有意义的潜在方向(如姿势,表情,布局等)合成具有平滑变化的图像,虽然这表明GANs隐式地学习图像之间的像素级对应关系,但很少有研究探索如何显式地提取它们。在这项工作中,我们介绍了坐标GAN(CoordGAN GAN),一个结构-纹理解纠缠的GAN,为每个生成的图像学习一个密集的对应映射。我们将不同图像的对应图表示为从规范坐标系变换的扭曲坐标系,即,对应映射,其描述结构(例如,面部的形状)通过变换来控制。因此,找到对应关系归结为在不同的对应映射中定位相同的坐标。在CoordGAN中,我们采样一个变换来表示合成实例的结构,而一个独立的纹理分支负责渲染与结构正交的外观细节。我们的方法还可以通过在生成器上添加编码器来提取真实图像的密集对应图。我们通过在多个数据集上的分割掩码转移定量地证明了所学习的密集对应的质量。我们还表明,该发电机实现了更好的结构和纹理解纠缠相比,现有的方法。项目页面:https://jitengmu.github.io/CoordGAN/
2022-03-30 cs.CV
DASC: Robust Dense Descriptor for Multi-modal and Multi-spectral Correspondence Estimation
Yonsei University(延世大学);Chungnam National University(忠南国立大学);INRIA(法国国家信息与自动化研究所);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
在多个图像之间建立密集的对应关系是许多应用中的基本任务。然而,由于其具有挑战性的光度和几何变化,在多模态或多光谱图像中找到可靠的对应关系仍然没有解决。在本文中,我们提出了一种新的密集描述,称为密集自适应自相关(DASC),估计多模态和多光谱密集对应。基于观察到图像内存在的自相似性对成像模态变化是鲁棒的,我们定义了描述符与一系列的自适应自相关相似性度量由随机感受野池采样的补丁之间,其中采样模式是使用判别式学习获得的。密集描述符的计算冗余显着减少应用快速边缘感知过滤。此外,为了解决几何变化,包括缩放和旋转,我们提出了一个几何不变的DASC(GI-DASC)描述符,有效地利用DASC通过基于超像素的表示。为了定量评估GI-DASC,我们建立了一个新的多模态基准作为不同的光度和几何条件。实验结果表明DASC和GI-DASC在多模态和多光谱密集对应的许多情况下具有出色的性能。
2016-04-27 cs.CV
Unsupervised Dense Shape Correspondence using Heat Kernels
Technical University of Munich(慕尼黑工业大学)
在这项工作中,我们提出了一种无监督的方法,使用最近的深度功能图框架来学习形状之间的密集对应关系。我们使用热核,而不是依赖于地面实况对应或计算昂贵的测地线距离。这些可以在训练期间作为监督信号快速计算。此外,我们提出了一个课程学习策略,使用不同的热扩散时间,在优化过程中提供不同程度的难度,没有任何采样机制或硬例子挖掘。我们在不同的基准上展示了我们的方法的结果,这些基准具有不同的挑战,如噪声,拓扑噪声和不同的连接性。
2020-10-23 cs.CV
DenseGAP: Graph-Structured Dense Correspondence Learning with Anchor Points
University of Southern California(南加州大学);USC Institute for Creative Technologies(南加州大学创意技术研究所);Stanford University(斯坦福大学)
建立两幅图像之间的密集对应关系是一个基本的计算机视觉问题,通常通过匹配局部特征描述符来解决。然而,如果没有全局意识,这些局部特征通常不足以消除类似区域的歧义。计算图像之间的成对特征相关性既计算昂贵又占用内存。为了使局部特征了解全局上下文并提高其匹配精度,我们引入了DenseGAP,这是一种新的解决方案,用于使用以锚点为条件的图结构神经网络进行高效的密集对应学习。具体来说,我们首先提出了一个图形结构,利用锚点,以提供稀疏但可靠的图像间和图像内的上下文之前,并通过有向边缘传播到所有的图像点。我们还设计了一个图结构的网络,通过轻量级的消息传递层广播多级上下文,并以低内存成本生成高分辨率的特征图。最后,基于预测的特征图,我们引入了一个由粗到细的框架,用于使用循环一致性进行精确的对应预测。我们的特征描述符捕获本地和全局信息,从而实现连续的特征字段,以高分辨率查询任意点。通过对大规模室内和室外数据集进行全面的烧蚀实验和评估,我们证明了我们的方法在大多数基准上都能提高最先进的对应学习。
2022-12-22 cs.CV
NHO: A Neural Hamiltonian Operator for Anchor-based Region Localization and Dense Correspondence
Jilin University(吉林大学);Zhejiang University(浙江大学);North China University of Technology(北方工业大学)
提出NHO,结合稀疏锚点与内在几何学习神经哈密顿算子,通过相互细化实现非刚性部分到整体的区域定位与稠密对应,实验验证其精度与对缩放旋转的鲁棒性。
2026-10-01 cs.CV
Weakly-Supervised Learning of Dense Functional Correspondences
Stanford University(斯坦福大学)
针对跨类别图像密集对应匹配难题,提出基于视觉语言模型伪标注与密集对比学习的弱监督学习范式,构建新模型实现密集功能对应关系建立,并通过合成与真实数据集验证其优于现有基线方案。
2025-09-04 cs.CV
Learning Implicit Functions for Topology-Varying Dense 3D Shape Correspondence
Michigan State University(密歇根州立大学)
本文的目标是以无监督的方式学习拓扑变化对象的密集3D形状对应。传统的隐式函数估计给定形状潜码的3D点的占用。相反,我们的新隐式函数为每个3D点生成一个部分嵌入向量,该向量被假设为与相同对象类别的另一个3D形状中的密集对应点相似。此外,我们实现了密集的对应,通过一个反函数映射从部分嵌入到相应的3D点。这两个函数联合学习几个有效的损失函数,以实现我们的假设,与编码器产生的形状潜码。在推理过程中,如果用户选择源形状上的任意点,我们的算法可以自动生成一个置信度分数,指示目标形状上是否存在对应关系,以及对应的语义点(如果存在)。这种机制本质上有利于具有不同部件构造的人造物体。我们的方法的有效性证明,通过无监督的三维语义对应和形状分割。
2020-10-26 cs.CV
Doduo: Learning Dense Visual Correspondence from Unsupervised Semantic-Aware Flow
the University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出 Doduo,利用语义先验和自监督光流变形,从无标注野外视频中学习鲁棒的密集视觉对应,并在点级对应及机器人任务上验证优势。
2023-09-26 cs.AI cs.CV cs.RO
UFM: A Simple Path towards Unified Dense Correspondence with Flow
Carnegie Mellon University(卡内基梅隆大学)
UFM通过统一训练方法在密集对应关系任务中实现了更高的准确性和效率,优于专门方法。
2026-02-10 cs.CV cs.LG cs.RO
DPODv2: Dense Correspondence-Based 6 DoF Pose Estimation
Technical University of Munich(慕尼黑工业大学);Siemens AG(西门子公司);Toyota Research Institute(丰田研究院)
我们提出了一个三阶段的6自由度目标检测方法称为DPODv 2(密集姿态对象检测器),依赖于密集的对应关系。我们将2D对象检测器与密集的对应估计网络和多视图姿态细化方法相结合,以估计完整的6 DoF姿态。与通常仅限于单目RGB图像的其他深度学习方法不同,我们提出了一个统一的深度学习网络,允许使用不同的成像模式(RGB或深度)。此外,我们提出了一种新的姿态细化方法,即基于微分绘制。主要概念是比较多个视图中的预测对应和渲染对应,以获得与所有视图中的预测对应一致的姿态。我们提出的方法进行了严格的评估,不同的数据模式和类型的训练数据在一个受控的设置。主要结论是,RGB擅长对应性估计,而深度有助于姿态精度,如果良好的3D-3D对应性是可用的。自然,它们的组合实现了整体最佳性能。我们进行了广泛的评估和消融研究,以分析和验证几个具有挑战性的数据集的结果。DPODv 2在所有这些方面都取得了优异的结果,同时仍然保持快速和可扩展性,与所使用的数据模态和训练数据类型无关
2022-07-06 cs.CV
Dense 3D Face Correspondence
The University of Western Australia(西澳大学);University of Adelaide(阿德莱德大学)
我们提出了一种算法,自动建立大量的3D面之间的密集对应。从自动检测到的稀疏对应的外边界的3D人脸,该算法三角形化现有的对应关系,并扩大他们迭代匹配点的独特的表面曲率沿三角形边缘。在穷尽关键点匹配之后,通过从大三角形的质心演化水平集测地线曲线来生成三角形内均匀分布的点,从而建立进一步的对应关系。从密集的对应的脸构造一个可变形模型(K3DM),并提出了一个算法变形K3DM,以适应不可见的脸。该算法在不可见的面部的刚性对齐和可变形模型的正则化变形之间迭代。我们已经广泛地评估了所提出的算法的合成数据和真正的3D人脸从FRGCv2,博斯普鲁斯海峡,BU3DFE和UND耳数据库使用定量和定性基准。我们的算法实现了密集的对应关系,平均定位误差为1.28毫米的合成脸和检测$14$人体测量地标看不见的真实面孔从FRGCv2数据库中的3毫米精度。此外,我们的可变形模型拟合算法在FRGCv2和博斯普鲁斯数据库上分别达到了98.5%和98.6%的人脸识别准确率。我们的稠密模型也能够推广到看不见的数据集。
2019-08-15 cs.CV
Template NeRF: Towards Modeling Dense Shape Correspondences from Category-Specific Object Images
City University of Hong Kong(香港城市大学);Xi’an Jiaotong University(西安交通大学)
我们提出了神经辐射场(NeRF)与模板,被称为模板NeRF,用于建模外观和几何形状,并同时生成密集的形状对应的对象之间的同一类别,只有多视图构成的图像,而不需要任何3D监督或地面真理的对应知识。学习的密集对应关系可以很容易地用于各种基于图像的任务,如关键点检测,零件分割和纹理转移,以前需要特定的模型设计。我们的方法也可以适应一个或Few-Shot的方式,只给一个或几个实例的类别的注释转移。使用周期性激活和特征线性调制(FiLM)条件,我们将3D数据上的深层隐式模板引入3D感知图像合成流水线NeRF。通过将同一类别内的对象实例表示为共享NeRF模板的形状和外观变化,我们所提出的方法可以针对各种对象类在图像上实现密集形状对应推理。我们展示了结果和应用程序的合成和现实世界的数据与竞争力的结果相比,其他方法的基础上的三维信息。
2021-11-08 cs.CV
PARN: Pyramidal Affine Regression Networks for Dense Semantic Correspondence
Yonsei University(延世大学);Ewha Womans University(梨花女子大学)
本文提出了一种用于密集语义对应的深层架构,称为金字塔仿射回归网络(PARN),它可以估计图像中局部变化的仿射变换场。为了处理同一对象类别中不同实例之间通常存在的类内外观和形状变化,我们利用金字塔模型,其中仿射变换场以从粗到细的方式逐步估计,以便在深度网络中自然地施加平滑度约束。PARN估计每个级别的残余仿射变换,并将它们组合以估计最终仿射变换。此外,为了克服语义对应训练数据不足的局限性,我们提出了一种新的弱监督训练方案,通过利用图像对之间的对应一致性来生成渐进式监督。我们的方法是完全可学习的,在一个端到端的方式,不需要量化无限连续仿射变换领域。据我们所知,这是第一个尝试在深度网络中以粗到细的方式估计密集仿射变换场的工作。实验结果表明,PARN优于国家的最先进的方法密集的语义对应在各种基准。
2018-08-01 cs.CV
Dense Multi-view 3D-reconstruction Without Dense Correspondences
Technical University of Munich(慕尼黑工业大学);University of Toulouse(图卢兹大学);Mikros Image
介绍了一种自然光照下多视点形状恢复的变分方法。其关键思想是耦合基于偏微分方程的解决方案,单图像为基础的形状从阴影的问题,跨多个图像和多个颜色通道的变分制定。而不是交替地解决个别SFS问题和优化的一致性跨图像和通道,这是已知的,导致次优的结果,我们提出了一个有效的解决方案的耦合问题的ADMM算法的装置。在对模拟图像和真实图像进行的大量实验中,我们证明了多视图重建和明暗恢复形状的融合可以提供高度准确的密集重建,而无需计算密集对应关系。随着所提出的变分集成跨多个视图的形状从阴影技术变得适用于具有挑战性的现实世界的重建问题,即使在平滑的亮度变化和缺乏纹理的区域中,也会产生非常详细的几何形状。
2017-04-02 cs.CV
Improving 2D-3D Dense Correspondences with Diffusion Models for 6D Object Pose Estimation
Automation and Control Institute, TU Wien(维也纳技术大学自动化与控制研究所);Department of Industrial Engineering, UAS Technikum Vienna(维也纳技术高等专业学院工业工程系)
本研究比较了GAN与扩散模型在图像到图像转换中用于六维物体姿态估计的稠密对应图生成,发现扩散模型表现更优,为姿态估计改进提供新方向。
2024-02-09 cs.CV
Towards Establishing Dense Correspondence on Multiview Coronary Angiography: From Point-to-Point to Curve-to-Curve Query Matching
University of Pennsylvania(宾夕法尼亚大学);Siemens Healthineers(西门子医疗)
针对多视图冠脉造影2D投影缺3D信息、有视觉歧义的问题,提出基于CCTA模拟数据的点到点再到曲线到曲线的查询匹配方法,建立密集对应关系,在1260组图像对上验证了可行性。
2023-12-18 cs.CV
Warp Consistency for Unsupervised Learning of Dense Correspondences
Computer Vision Lab, ETH Zurich(苏黎世联邦理工学院计算机视觉实验室)
学习密集对应的关键挑战在于缺乏真实图像对的地面实况匹配。虽然光度一致性损失提供了无监督的替代方案,但它们在几何和语义匹配任务中普遍存在的大的外观变化中挣扎。此外,依赖于合成训练对的方法往往难以推广到真实数据。我们提出了经一致性,一个无监督学习目标密集对应回归。我们的目标是有效的,即使在设置与大的外观和视点变化。给定一对真实图像,我们首先通过将随机采样的扭曲应用于其中一个原始图像来构建图像三元组。我们推导和分析所有的三重流之间产生的一致性约束。从我们的观察和实证结果,我们设计了一个一般的无监督的目标,采用两个派生的约束。我们通过训练三个最近的密集对应网络进行几何和语义匹配任务来验证我们的翘曲一致性损失。我们的方法在几个具有挑战性的基准测试上树立了新的先进水平,包括MegaDepth,RobotCar和TSS。代码和模型在github.com/PruneTruong/DenseMatching上。
2021-08-18 cs.CV
DenseMatcher: Learning 3D Semantic Correspondence for Category-Level Manipulation from a Single Demo
Stanford University(斯坦福大学);IIIS, Tsinghua University(清华大学交叉信息研究院);UC Berkeley(加州大学伯克利分校);Shanghai Jiao Tong University(上海交通大学);Shanghai Qi Zhi Institute(上海期智研究院);Shanghai AI Lab(上海人工智能实验室);Tepan Inc.(特潘公司)
该研究针对类别级机器人操作的3D语义对应问题,提出DenseMatcher方法,通过多视角特征投影与3D网络优化顶点特征,结合功能映射计算对应,构建首个跨类别3D匹配数据集,显著提升匹配性能并验证下游操作与颜色映射有效性。
2024-12-06 cs.CV cs.RO
Learning Body Shape and Pose from Dense Correspondences
CNRS-AIST JRL(法国国家科学研究中心-日本产业技术综合研究所联合机器人实验室)
在本文中,我们解决了从2D图像数据集学习3D人体姿势和身体形状的问题,而不必使用3D数据集(身体形状和姿势)。这个想法是使用图像点和身体表面之间的密集对应关系,可以在野外2D图像上进行注释,并从中提取和聚合3D信息。为此,我们提出了一种名为"变形和学习”的训练策略,在该策略中,我们交替进行可变形表面配准和深度卷积神经网络(ConvNets)的训练。与以前的方法不同,我们的方法不需要从运动捕捉(MoCap)系统或人为干预来验证3D姿态注释的3D姿态注释。
2019-07-27 cs.CV
Learning Implicit Functions for Dense 3D Shape Correspondence of Generic Objects
Michigan State University(密歇根州立大学)
本文的目标是以无监督的方式学习拓扑变化通用对象的密集3D形状对应关系。传统的隐式函数估计给定形状潜码的3D点的占用。相反,我们的新隐式函数产生一个概率嵌入,以表示部分嵌入空间中的每个3D点。假设对应点在嵌入空间中是相似的,我们通过从部分嵌入向量到对应的3D点的反函数映射来实现稠密对应。这两个函数与几个有效的和不确定性感知的损失函数联合学习,以实现我们的假设,以及编码器生成的形状潜码。在推理过程中,如果用户选择源形状上的任意点,我们的算法可以自动生成一个置信度分数,指示目标形状上是否存在对应关系,以及对应的语义点(如果存在)。这种机制本质上有利于具有不同部件构造的人造物体。我们的方法的有效性证明,通过无监督的三维语义对应和形状分割。
2022-12-29 cs.CV
Dense4D: Pixel-Level 4D Human Correspondence
Imperial College London(帝国理工学院)
提出首个无需人体模板的前馈模型Dense4D,通过处理单目RGB图像的人体裁剪图预测HPM与深度,实现更高精度的4D人体对应关系与运动跟踪。
2026-10-16 cs.CV
A Sparse and Locally Coherent Morphable Face Model for Dense Semantic Correspondence Across Heterogeneous 3D Faces
University of Florence(佛罗伦萨大学)
3D变形模型(3DMM)是一个强大的统计工具,用于表示3D人脸形状。为了构建3DMM,需要完全点对点对应的面部扫描的训练集,并且其建模能力直接取决于训练数据中包含的可变性。因此,为了提高3DMM的描述能力,在身份、种族或表达方面具有足够多样性的异质扫描之间建立密集对应关系变得至关重要。在本文中,我们提出了一种全自动的方法,该方法利用3DMM在原始3D面部之间传输其密集的语义注释,从而在它们之间建立密集的对应关系。我们提出了一种新的公式来学习一组稀疏的变形组件与本地支持的脸,连同一个原始的非刚性变形算法,允许3DMM精确地适应看不见的脸和转移其语义注释。我们对我们的方法进行了广泛的实验,表明它可以有效地推广到高度多样化的样本,即使在复杂的面部表情中也能准确地建立密集的对应关系。通过将三个大型数据集连接在一起获得9,000多个完全配准的扫描,构建一个异构的大规模3DMM,证明了密集配准的准确性。
2021-06-24 cs.CG cs.CV
SurfEmb: Dense and Continuous Correspondence Distributions for Object Pose Estimation with Learnt Surface Embeddings
University of Southern Denmark(南丹麦大学)
我们提出了一种方法来学习密集的,连续的2D-3D对应分布的表面上的对象从数据没有先验知识的视觉模糊性,如对称性。我们还提出了一种新的方法,用于6D姿态估计的刚性物体使用的学习分布的采样,评分和完善的姿势假设。对应分布的学习与对比损失,表示在特定于对象的潜在空间的编码器-解码器查询模型和一个小的全连接的关键模型。我们的方法是无监督的视觉歧义,但我们表明,查询和关键模型学习表示准确的多模态表面分布。我们的姿态估计方法在全面的BOP挑战中显着提高了最先进的水平,纯粹在合成数据上训练,甚至与在真实数据上训练的方法相比。该项目的网站是https://surfemb.github.io/。
2022-04-04 cs.AI cs.CV cs.LG
PDC-Net+: Enhanced Probabilistic Dense Correspondence Network
ETH Zurich(苏黎世联邦理工学院)
在一对图像之间建立鲁棒且准确的对应关系是具有许多应用的长期存在的计算机视觉问题。虽然经典的稀疏方法占主导地位,新兴的密集方法提供了一个引人注目的替代范式,避免了关键点检测步骤。然而,密集流估计往往是不准确的情况下,大位移,闭塞,或均匀的区域。为了将密集方法应用于现实世界的应用,例如姿态估计、图像处理或3D重建,因此,估计预测匹配的置信度至关重要。我们提出了增强的概率密集对应网络,PDC-Net+,能够估计准确的密集对应以及可靠的置信度图。我们开发了一种灵活的概率方法,共同学习流量预测及其不确定性。特别是,我们将预测分布参数化为约束混合模型,确保更好地建模准确的流量预测和离群值。此外,我们开发了一个架构和一个增强的训练策略,专为强大的和可推广的不确定性预测的自监督训练的背景下。我们的方法在多个具有挑战性的几何匹配和光流数据集上获得了最先进的结果。我们进一步验证了我们的概率置信度估计的有用性的任务的姿态估计,三维重建,基于图像的定位,和图像检索。代码和型号可在https://github.com/PruneTruong/DenseMatching上获得。
2021-09-29 cs.CV
TartanMatch: Towards Universal Dense Correspondence Across Modalities
Fisk University(菲斯克大学);Carnegie Mellon University(卡内基梅隆大学)
TartanMatch是适用于5种传感器模态全部25种有序对的统一密集对应模型,通过轻量模态适配和真实合成数据混合,在零样本基准中大幅降低端点误差,联合训练提升了跨模态匹配准确率。
2026-10-14 cs.CV cs.LG cs.RO
FCSS: Fully Convolutional Self-Similarity for Dense Semantic Correspondence
Yonsei University(延世大学);Chungnam National University(忠南国立大学);Microsoft Research(微软研究院)
我们提出了一个描述符,称为全卷积自相似性(FCSS),密集的语义对应。为了在同一对象类中的不同实例之间鲁棒地匹配点,我们在全卷积网络中使用局部自相似性(LSS)来制定FCSS。与现有的基于CNN的描述符相比,由于其基于LSS的结构,FCSS本质上对类内外观变化不敏感,同时保持了深度神经网络的精确定位能力。局部结构的采样模式和自相似性度量在所提出的网络中以端到端和多尺度的方式联合学习。由于语义对应的训练数据相当有限,我们建议利用现有图像数据集中提供的对象候选先验以及对象对之间的对应一致性来实现弱监督学习。实验表明,FCSS优于传统的手工描述符和基于CNN的描述符在各种基准测试。
2017-02-03 cs.CV
Learning Dense Correspondence via 3D-guided Cycle Consistency
UC Berkeley(加州大学伯克利分校);ENPC ParisTech(巴黎高科路桥学校);TTI-Chicago(芝加哥丰田技术研究院)
判别式深度学习方法在人类标记的基础事实丰富的问题上表现出了令人印象深刻的结果,但对于难以或不可能获得标签的任务呢?本文解决了这样一个问题:在不同的对象实例之间建立密集的视觉对应。对于这个任务,虽然我们不知道地面实况是什么,但我们知道它应该在该类别的实例中保持一致。我们利用这种一致性作为监督信号来训练卷积神经网络,以预测描绘同一类别对象的图像对之间的跨实例对应关系。对于每一对训练图像,我们找到一个合适的3D CAD模型,并渲染两个合成视图以与这对图像链接,建立一个对应流4循环。我们使用渲染引擎提供的地面实况合成到合成对应关系来训练ConvNet,以预测与地面实况周期一致的合成到真实、真实到真实和真实到合成对应关系。在测试时,不需要CAD模型。我们证明了我们的端到端训练的ConvNet由周期一致性监督,在对应相关任务中优于最先进的成对匹配方法。
2016-04-18 cs.CV
FOCUS -- Multi-View Foot Reconstruction From Synthetically Trained Dense Correspondences
Department of Engineering, University of Cambridge(剑桥大学工程系)
针对多视角足部重建需大量重叠图像的问题,提出FOCUS方法,通过扩展合成数据集SynFoot2、训练不确定性感知密集对应预测器及两种重建方法,实现少视角下的SOTA重建质量,且速度更快。
2025-02-10 cs.CV
Learning Dense Correspondences between Photos and Sketches
University of California, San Diego(加州大学圣地亚哥分校);Stanford University(斯坦福大学)
该研究提出含15万标注的草图-照片对应基准PSC6k,并设计基于对比学习ConvNet与空间变换网络的自监督稠密对应学习方法,性能优于基线,同时揭示了模型与人类预测的系统差异,为类人视觉理解研究提供了新路径。
2023-07-24 cs.CV cs.LG
Dense Wide-Baseline Scene Flow From Two Handheld Video Cameras
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Intel Visual Computing Institute(英特尔视觉计算研究所);University of Bath(巴斯大学)
我们提出了一种新的技术,用于计算密集的场景流从两个手持视频与宽相机基线和不同的光度特性,由于不同的传感器或相机设置,如曝光和白平衡。我们的技术在两个方面比现有的方法创新:(1)它支持独立移动的摄像机,(2)它计算密集的场景流的宽基线scenaries.We实现了这一点,结合国家的最先进的宽基线对应发现与变分场景流公式。首先,我们使用DAISY描述符计算密集的宽基线对应关系,用于相机之间的匹配和随时间的变化。然后,我们使用一种新的边缘保持拉普拉斯对应完成技术检测和替换遮挡像素的对应字段。最后,我们完善的计算对应领域的变分场景流配方。我们展示了从具有挑战性的数据集计算出的密集场景流结果,这些数据集具有独立移动的手持式摄像机(摄像机设置不同)。
2016-09-16 cs.CV
Unsupervised Feature Learning for Dense Correspondences across Scenes
Beijing Institute of Technology(北京理工大学);The University of Adelaide(阿德莱德大学);Australian Centre for Robotic Vision(澳大利亚机器人视觉中心)
我们提出了一种快速,准确的匹配方法,估计密集的像素对应场景。估计描绘相同对象类别的不同场景或实例的图像之间的密集像素对应关系是一个具有挑战性的问题。虽然大多数这样的匹配方法依赖于手工制作的特征,如SIFT,但我们使用无监督学习从大量未标记的图像块中学习特征。像素层特征是通过对字典进行编码来获得的,然后通过空间池化来获得补丁层特征。然后将学习到的特征无缝嵌入到多层匹配框架中。我们的实验表明,学习的功能,与我们的匹配模型,优于国家的最先进的方法,如SIFT流,一致性敏感哈希和最近的可变形空间金字塔匹配方法的准确性和计算效率。此外,我们评估了几种不同的字典学习和特征编码方法在建议的像素对应关系估计框架的性能,并分析了字典学习和特征编码对最终匹配性能的影响。
2015-04-23 cs.CV
DGC-Net: Dense Geometric Correspondence Network
Aalto University(阿尔托大学);University of Oulu(奥卢大学);ETH Zürich(苏黎世联邦理工学院);Microsoft(微软);Tampere University of Technology(坦佩雷理工大学)
本文解决了两幅图像之间的密集像素对应估计的挑战。这个问题与光流估计任务密切相关,其中ConvNets(CNN)最近取得了重大进展。虽然光流方法对于小像素平移和有限的外观变化场景产生非常准确的结果,但它们很难处理我们在这项工作中考虑的强几何变换。在本文中,我们提出了一个由粗到细的基于CNN的框架,可以利用光流方法的优势,并将其扩展到大型变换的情况下,提供密集和亚像素的准确估计。它在合成转换上进行了训练,并对看不见的,现实的数据表现出非常好的性能。此外,我们将我们的方法应用于相对相机姿态估计的问题,并证明该模型优于现有的密集方法。
2018-10-22 cs.CV
Learning 3D Dense Correspondence via Canonical Point Autoencoder
National Tsing-Hua University(国立清华大学);University of California, Merced(加州大学默塞德分校);NVIDIA(英伟达)
我们提出了一个典型的点自动编码器(CPAE),预测同一类别的3D形状之间的密集对应。自动编码器执行两个关键功能:(a)将任意排序的点云编码为规范图元,例如,球体,以及(b)将图元解码回原始输入实例形状。由于该基元位于瓶颈区域,它对将所有无序点云映射到规范曲面上并以有序的方式进行重构起着关键作用。一旦被训练,来自映射到原始表面上的相同位置的不同形状实例的点被确定为一对对应关系。我们的方法不需要任何形式的注释或自监督零件分割网络,并且可以处理未对齐的输入点云。三维语义关键点转移和部分分割转移的实验结果表明,我们的模型表现良好,对国家的最先进的对应学习方法。
2021-07-10 cs.CV
Automatic landmark annotation and dense correspondence registration for 3D human facial images
CAS-MPG Partner Institute and Key Laboratory for Computational Biology, Shanghai Institutes for Biological Sciences, Chinese Academy of Sciences(中国科学院上海生命科学研究院计算生物学重点实验室(中科院-马普学会伙伴研究所))
三维人脸图像的密集表面配准对于人类特征多样性、疾病遗传学和法医学的研究具有巨大的潜力。非刚性配准对于在面部之间建立密集的解剖学对应关系特别有用。在这里,我们描述了一种新的非刚性配准方法,全自动三维人脸图像映射。该方法包括两个步骤:首先,自动标注17个面部标志,主要是通过基于PCA的特征识别后的3D到2D数据转换。其次,一个有效的薄板样条(TPS)协议被用来建立密集的面部图像之间的解剖对应关系,在预定义的标志的指导下。我们证明,这种方法是强大的和高度准确的,即使对于不同的种族。平均脸是为汉族和维吾尔族的个人计算的。虽然完全自动化和计算效率高,这种方法能够高通量分析人类面部特征的变化。
2012-12-20 cs.CV q-bio.QM
CorrI2P: Deep Image-to-Point Cloud Registration via Dense Correspondence
City University of Hong Kong(香港城市大学);Tianjin University(天津大学)
出于直觉,在相应的3D点云中定位2D图像的关键步骤是在它们之间建立2D-3D对应关系,我们提出了第一个基于特征的密集对应框架,用于解决图像到点云配准问题,称为CorrI 2 P,它由三个模块组成,即,特征嵌入、对称重叠区域检测和通过所建立的对应关系的姿态估计。具体来说,给定一对2D图像和3D点云,我们首先将它们转换到高维特征空间,并将所得特征馈送到对称重叠区域检测器中,以确定图像和点云相互重叠的区域。然后,我们使用重叠区域的特征来建立2D-3D对应关系,然后在RANSAC内运行EPRECT来估计相机的姿态。在KITTI和NuScenes数据集上的实验结果表明,我们的CorrI 2 P显著优于最先进的图像到点云配准方法。我们将公开代码。
2022-09-20 cs.CV cs.MM
GLU-Net: Global-Local Universal Network for Dense Flow and Correspondences
ETH Zürich(苏黎世联邦理工学院)
建立图像间的稠密对应是一个重要而普遍的问题,涉及几何匹配、光流和语义对应。虽然这些应用都面临着一些基本的挑战,例如大位移、像素精度和外观变化,但它们目前都是通过专门的网络架构来解决的,这些网络架构仅为一项特定任务而设计。这严重限制了这种网络对新场景的泛化能力,例如需要对更大位移或更高精度的鲁棒性。在这项工作中,我们提出了一个通用的网络架构,是直接适用于所有上述密集对应问题。我们实现了高精度和鲁棒性大位移调查的结合使用的全球和当地的相关层。我们还提出了一种自适应分辨率策略,允许我们的网络在几乎任何输入图像分辨率上运行。当使用相同的网络和权重时,所提出的GLU网络实现了几何和语义匹配以及光流的最先进的性能。代码和训练模型可在https://github.com/PruneTruong/GLU-Net上获得。
2021-04-05 cs.CV
Real time dense anomaly detection by learning on synthetic negative data
University of Zagreb Faculty of Electrical Engineering and Computing(萨格勒布大学电气工程与计算学院)
提出一种联合训练生成流的混合方法,在内点分布边界采样合成负数据,实现无需真实负数据的密集异常检测,并验证了基于能量密度的贡献。
2023-05-24 cs.CV cs.LG
Flow Fields: Dense Correspondence Fields for Highly Accurate Large Displacement Optical Flow Estimation
German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心(DFKI));University of Kaiserslautern(凯泽斯劳滕大学)
现代大位移光流算法通常使用稀疏描述符匹配技术或密集近似最近邻场的初始化。虽然后者具有密集的优点,但它们具有非常离群的主要缺点,因为它们不是被设计成找到光流,而是视觉上最相似的对应关系。在本文中,我们提出了一个密集的对应场的方法,是少得多的离群值倾向,因此更适合于光流估计比近似最近邻场。我们的方法在概念上是新颖的,因为它不需要显式正则化,平滑(如中值滤波)或新的数据项,但仅仅是我们的新的纯粹基于数据的搜索策略,发现大多数内点(即使是小对象),同时有效地避免发现离群值。此外,我们提出了新的增强离群值过滤。我们表明,我们的方法是更好地适合于大位移光流估计比国家的最先进的描述符匹配技术。我们通过使用我们的流场初始化EpicFlow(迄今为止MPI-Sintel上最好的方法)来实现这一点,而不是他们最初使用的最先进的描述符匹配技术。我们在MPI-Sintel、KITTI和Middlebury上的表现明显优于原始EpicFlow。
2015-10-20 cs.CV
Unsupervised Dense Deformation Embedding Network for Template-Free Shape Correspondence
State Key Laboratory of Robotics, Shenyang Institute of Automation, Chinese Academy of Sciences(中国科学院沈阳自动化研究所机器人学国家重点实验室);Institutes for Robotics and Intelligent Manufacturing, Chinese Academy of Sciences(中国科学院机器人与智能制造创新研究院);University of Chinese Academy of Sciences(中国科学院大学)
三维变形学习中的形状对应问题近年来引起了学术界的广泛关注。然而,当前基于深度学习的方法需要监督密集注释来学习逐点平移,这严重地过度参数化了变形过程。此外,它们无法通过全局特征嵌入来捕获原始形状的局部几何细节。为了解决这些挑战,我们开发了一种新的无监督密集变形嵌入网络(即,UD^2 E-Net),其学习从密集局部特征预测非刚性形状之间的变形。由于它是不平凡的匹配变形变化的局部特征的变形预测,我们开发了一个外在的内在的自动编码器,第一次编码外部几何特征从源到内在坐标在一个共享的规范形状,解码器,然后合成相应的目标功能。此外,一个有界的最大平均差异损失的开发,以减轻合成和原始功能之间的分布分歧。为了在没有密集监督的情况下学习自然变形,我们引入了一种粗参数化的变形图,并提出了一种新的跟踪和传播算法来提高变形的质量和效率。我们的UD^2 E-Net在Faust Inter挑战中比最先进的无监督方法高出24%,甚至在Faust Intra挑战中比有监督方法高出13%。
2021-08-26 cs.AI cs.CV cs.GR
Searching Dense Point Correspondences via Permutation Matrix Learning
Northwestern Polytechnical University(西北工业大学)
虽然3D点云数据作为3D信号表达的一般形式受到了广泛的关注,但将点云应用于3D形状之间的密集对应估计的任务尚未得到广泛研究。此外,即使在现有的几个三维点云的方法,一个重要的和广泛认可的原则,即。一对一匹配,通常被忽略。为此,本文提出了一种基于端到端学习的点云密集对应关系估计方法,将点云匹配问题转化为零-一分配问题,得到一个置换匹配矩阵,从根本上实现了一对一原则。请注意,这个分配问题的经典解总是不可微的,这对于深度学习框架来说是致命的。为此,我们设计了一个特殊的匹配模块,它首先求解一个双随机矩阵,然后将得到的近似解投影到所需的置换矩阵上。此外,为了保证端到端的学习和计算损失的准确性,我们从学习的置换矩阵计算损失,但在反向传播期间绕过置换矩阵直接将梯度传播到双随机矩阵。我们的方法可以应用于非刚性和刚性的3D点云数据和广泛的实验表明,我们的方法达到了最先进的性能密集的对应学习。
2022-10-26 cs.CV
HumanGPS: Geodesic PreServing Feature for Dense Human Correspondences
Google(谷歌);Simon Fraser University(西蒙弗雷泽大学)
在本文中,我们解决的问题,建立密集的对应关系下的任意相机的观点和身体构成的人的图像。现有技术或者假设帧之间的小运动,或者依赖于局部描述符,局部描述符不能处理大运动或视觉上模糊的身体部位,例如,左手vs右手。相比之下,我们提出了一个深度学习框架,它将每个像素映射到一个特征空间,其中特征距离反映了像素之间的测地线距离,就像它们被投影到3D人体扫描的表面上一样。为此,我们引入了新的损失函数,根据它们在表面上的测地线距离将特征分开。在没有任何语义注释的情况下,所提出的嵌入自动学习区分视觉上相似的部分,并将不同的主题对齐到统一的特征空间中。大量的实验表明,学习的嵌入可以产生准确的图像之间的对应关系,具有显着的泛化能力,无论是在内部和跨主题。
2021-03-29 cs.CV
DenseReg: Fully Convolutional Dense Shape Regression In-the-Wild
INRIA-CentraleSupélec(法国国家信息与自动化研究所-中央理工-高等电力学院);Imperial College London(帝国理工学院);University College London(伦敦大学学院)
在本文中,我们提出通过完全卷积网络学习从图像像素到密集模板网格的映射。我们制定这个任务作为一个回归问题和训练我们的网络,利用人工标注的面部标志“在野外”。我们使用这样的地标来建立三维对象模板和输入图像之间的密集对应场,然后将其作为训练回归系统的基础事实。我们表明,我们可以将语义分割的思想与回归网络相结合,产生一个高度准确的“量化回归”架构。我们的系统名为DenseReg,允许我们以完全卷积的方式估计密集的图像到模板的对应关系。因此,我们的网络可以作为独立系统提供有用的对应信息,而当用作统计可变形模型的初始化时,我们获得的地标定位结果在具有挑战性的300 W基准上大大优于当前最先进的水平。我们彻底评估了我们的方法在一系列面部分析任务,并提供了密集的人体对应的定性结果。我们在http://alpguler.com/DenseReg.html上提供我们的代码以及补充材料。
2017-06-19 cs.CV
Dense Correspondences Across Scenes and Scales
The Open University of Israel(以色列开放大学)
我们寻求一种实用的方法,用于在具有相似内容但可能不同的3D场景的两个图像之间建立密集的对应关系。设计这种系统的挑战之一是出现在两个图像中的对象的局部尺度差异。以前的方法通常只考虑图像像素的小子集;只匹配稳定尺度可以可靠估计的像素。最近,其他人已经考虑了密集的对应关系,但与生成,存储和匹配尺度不变描述符相关的成本很高。我们在这里的工作是由观察到的图像中的像素有上下文-他们周围的像素-这可能是为了可靠地和可重复地估计局部尺度利用。具体而言,我们做出以下贡献。(i)我们发现,在稀疏的兴趣点估计的尺度可能会传播到邻近的像素,这些信息不能可靠地确定。这样做允许在图像中的任何地方提取尺度不变描述符,而不仅仅是检测到的兴趣点。(ii)我们提出了三种不同的方法来传播这些信息:只使用检测到的兴趣点的尺度,使用底层图像信息来引导这些信息在每个图像上的传播,分别使用,同时使用两个图像。最后,(iii),我们提供了大量的结果,定性和定量,表明即使在非常不同的图像之间也可以获得准确的密集对应,而现有方法所需的计算成本很小。
2014-06-24 cs.CV
Extremely Dense Point Correspondences using a Learned Feature Descriptor
Johns Hopkins University(约翰斯·霍普金斯大学);Johns Hopkins Medical Institutions(约翰斯·霍普金斯医疗机构)
来自内窥镜视频的高质量3D重建在许多临床应用中发挥着重要作用,包括手术导航,其中它们可以实现直接的视频-CT配准。虽然存在许多方法用于一般的多视图3D重建,但这些方法通常不能在内窥镜视频上提供令人满意的性能。部分原因是建立成对点对应的局部描述符,从而驱动重建,当面对解剖结构的纹理稀缺表面时,这些描述符会挣扎。基于学习的密集描述符通常具有更大的感受野,能够编码全局信息,这可以用于消除匹配的歧义。在这项工作中,我们提出了一个有效的自监督训练方案和新的损失设计密集描述符学习。在直接比较最近的本地和密集的描述符在内部鼻窦内窥镜检查数据集,我们证明了我们提出的密集描述符可以推广到看不见的患者和范围,从而大大提高性能的运动恢复结构(SfM)的模型密度和完整性。我们还评估了我们的方法在一个公共密集光流数据集和一个小规模的SfM公共数据集,以进一步证明我们的方法的有效性和通用性。源代码可在https://github.com/lppllppl920/DenseDescriptorLearning-Pytorch上获得。
2020-03-27 cs.CV
Self-supervised Learning of Dense Shape Correspondence
Technion(以色列理工学院);Facebook AI Research(脸书人工智能研究院);Sapienza University of Rome(罗马第一大学)
我们介绍了第一个完全无监督的对应学习方法,可变形的3D形状。我们的模型的关键是理解自然变形(例如姿势的变化)近似地保留了表面的度量结构,从而产生了一个自然的标准来驱动学习过程以实现失真最小化的预测。在此基础上,我们克服了需要注释的数据,取而代之的是一个纯粹的几何标准。由此产生的学习模型是类不可知的,并且能够利用任何类型的可变形几何数据用于训练阶段。与现有的专门针对训练时看到的类的监督方法相比,我们展示了更强的泛化能力以及对各种具有挑战性的设置的适用性。我们展示了我们的方法在广泛的选择对应基准,我们优于其他方法的准确性,泛化和效率。
2018-12-06 cs.CV
Learning Dense Facial Correspondences in Unconstrained Images
University of Southern California(南加州大学);Pinscreen;Adobe Research(Adobe 研究院);USC Institute for Creative Technologies(南加州大学创新技术研究院)
我们提出了一个简约但有效的神经网络,计算密集的面部对应高度不受约束的RGB图像。我们的网络学习每个像素的流和一个人的2D输入照片和纹理3D人脸模型的投影之间的匹配性掩码。为了训练这样一个网络,我们生成了一个巨大的数据集的合成人脸与密集的标签使用渲染的变形人脸模型的姿态,表情,照明和闭塞的变化。我们发现,需要使用真实照片进行训练优化,以大幅提高处理真实图像的能力。当与面部检测和3D面部拟合步骤相结合时,我们表明我们的方法在准确性和速度方面优于最先进的面部对齐方法。通过直接估计密集的对应关系,我们不依赖于稀疏的面部标志的完全可见性,并且不限于基于回归的方法的模型空间。我们还评估了我们的视频帧的方法,并证明了成功的每帧处理极端的姿态变化,遮挡和照明条件下。与现有的3D人脸跟踪技术相比,我们的拟合不依赖于以前的帧或正面的面部初始化,是不完美的人脸检测鲁棒性。
2017-09-02 cs.CV
Fast deep learning correspondence for neuron tracking and identification in C.elegans using synthetic training
Princeton University(普林斯顿大学);Stanford University(斯坦福大学)
我们提出了一种自动化的方法来跟踪和识别神经元在C。elegans,称为“快速深度学习对应”或fDLC,基于Transformer网络架构。该模型在经验得出的合成数据上训练一次,然后通过迁移学习预测真实动物之间的神经对应关系。相同的预训练模型既可以跟踪神经元的时间变化,也可以识别个体之间对应的神经元。根据手动注释的数据集(包括NeuroPAL)评价性能[1]。仅使用位置信息,该方法在跟踪个体内的神经元时达到80.0%的准确率,在识别个体间的神经元时达到65.8%的准确率。在已发布的数据集上,准确性甚至更高[2]。当使用NeuroPAL的颜色信息时,准确率达到76.5%。与以前的方法不同,fDLC不需要将动物拉直或转换到规范坐标系中。该方法是快速的,并预测在10毫秒的对应关系,使其适合于未来的实时应用。
2021-01-20 cs.CV q-bio.NC q-bio.QM
Estimation of Large Motion in Lung CT by Integrating Regularized Keypoint Correspondences into Dense Deformable Registration
Fraunhofer MEVIS(弗劳恩霍夫医学图像计算研究所(MEVIS));University of Lübeck(吕贝克大学);Anthropics Technology Ltd.(Anthropics科技有限公司)
我们提出了一种新的算法配准肺部CT扫描。我们的方法是专为大型呼吸运动,将稀疏的关键点对应集成到一个密集的连续优化框架。关键点对应关系的检测通过联合优化大量潜在的离散位移来实现对大变形的鲁棒性,而密集连续配准通过平滑变换实现亚体素对准。两个步骤都由相同的归一化梯度场数据项驱动。我们采用曲率正则化和体积变化控制机制,以防止折叠的变形网格和限制的雅可比行列式的生理意义的值。关键点对应被集成到密集注册的二次惩罚与自适应确定的权重。采用并行无矩阵导数计算方案,在标准PC机上实现了约5 min的运行时间。该算法在EMPIRE 10肺图像配准挑战中排名第一。此外,它在DIR-Lab COPD数据库上实现了0.82 mm的平均界标距离,从而将最新技术的准确性提高了15%。我们的算法是第一个在这个数据集上达到观察者间地标注释的变化。
2018-07-02 cs.CV
Flow Fields: Dense Correspondence Fields for Highly Accurate Large Displacement Optical Flow Estimation
German Research Center of Artificial Intelligence(德国人工智能研究中心);University of Kaiserslautern(凯泽斯劳滕大学)
现代大位移光流算法通常使用稀疏描述符匹配技术或密集近似最近邻场的初始化。虽然后者具有密集的优点,但它们具有非常容易离群的主要缺点,因为它们不是被设计成找到光流,而是视觉上最相似的对应关系。在这篇文章中,我们提出了一个密集的对应字段的方法,是少得多的离群倾向,因此更适合于光流估计比近似最近邻字段。我们的方法不需要显式正则化,平滑(如中值滤波)或新的数据项。相反,我们完全依赖于补丁匹配技术和一种新的多尺度匹配策略。我们还提出了增强离群值过滤。我们表明,我们的方法是更适合于大位移光流估计比现代描述符匹配技术。我们通过使用我们的方法初始化EpicFlow来实现这一点,而不是他们最初使用的最先进的描述符匹配技术。我们在MPI-Sintel、KITTI 2012、KITTI 2015和Middlebury上的表现明显优于原始EpicFlow。在我们以前的会议出版物的这篇扩展文章中,我们进一步改进了我们在匹配精度和运行时间方面的方法,并提出了更多的实验和见解。
2018-10-28 cs.CV
MvDeCor: Multi-view Dense Correspondence Learning for Fine-grained 3D Segmentation
University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校);NVIDIA(英伟达);University of Toronto(多伦多大学);Vector Institute(向量研究所)
我们建议在2D域中利用自监督技术进行细粒度的3D形状分割任务。这是受到以下观察的启发:基于视图的表面表示在建模高分辨率表面细节和纹理方面比基于点云或体素占用的3D对应物更有效。具体来说,给定一个3D形状,我们从多个视图渲染它,并在对比学习框架内设置了一个密集的对应学习任务。因此,学习的2D表示是视图不变的和几何一致的,与单独利用2D或3D中的自我监督的替代方案相比,当在有限数量的标记形状上训练时,导致更好的泛化。在纹理(RenderPeople)和无纹理(PartNet)3D数据集上的实验表明,我们的方法在细粒度零件分割方面优于最先进的替代方法。当只有稀疏的视图集可用于训练或形状被纹理化时,基线的改进更大,这表明MvDeCor从2D处理和3D几何推理中受益。
2022-08-18 cs.AI cs.CV cs.GR
Progressive Color Transfer with Dense Semantic Correspondences
Hong Kong UST(香港科技大学);City University of Hong Kong(香港城市大学);Microsoft Research(微软研究院);University of Science and Technology of China(中国科学技术大学);Microsoft AI Perception and Mixed Reality(微软人工智能感知与混合现实部门)
我们提出了一种新的算法,具有感知相似的语义结构的图像之间的颜色转移。我们的目标是实现一个更准确的颜色转移,利用图像之间的语义有意义的密集对应。为了实现这一点,我们的算法使用神经表示进行匹配。此外,颜色转移应该是空间变化的和全局相干的。因此,我们的算法优化了一个局部线性模型的颜色转移,同时满足局部和全局约束。我们提出的方法联合优化匹配和颜色转移,采用了一种由粗到细的策略。所提出的方法可以成功地从一对一扩展到一对多的颜色传递。后者进一步解决了输入图像的元素不匹配的问题。我们验证我们提出的方法,通过测试它对各种各样的图像内容。
2018-12-12 cs.CV