NeRF-Supervision: Learning Dense Object Descriptors from Neural Radiance Fields
MIT(麻省理工学院);Google(谷歌);Nvidia(英伟达)
叉子和搅拌器等薄的反射物体在我们的日常生活中很常见,但它们对机器人感知特别具有挑战性,因为很难使用商品RGB-D相机或多视图立体视觉技术重建它们。虽然传统的管道与这些对象斗争,神经辐射场(NeRFs)最近被证明是非常有效的执行薄结构或反射材料的对象上的视图合成。在本文中,我们探讨了使用NeRF作为一个新的来源,强大的机器人视觉系统的监督。特别是,我们证明了NeRF表示的场景可以用来训练密集的对象描述符。我们使用优化的NeRF提取对象的多个视图之间的密集对应,然后使用这些对应作为训练数据,用于学习对象的视图不变表示。NeRF的密度场的使用使我们能够用一种新的深度分布公式来重新表述对应问题,而不是使用深度图的传统方法。使用我们的方法监督的密集对应模型的性能显著优于现成的学习描述符106%(PCK@3px度量,性能增加一倍以上),并且优于我们使用多视图立体视觉监督的基线29%。此外,我们证明了学习的密集描述符使机器人能够执行精确的6自由度(6-DoF)拾取和放置薄和反射物体。
2022-04-27 cs.CV cs.RO
SDRSAC: Semidefinite-Based Randomized Approach for Robust Point Cloud Registration without Correspondences
Singapore University of Technology and Design(新加坡科技设计大学);University of Liverpool(利物浦大学);AIOZ Pte Ltd(AIOZ私人有限公司)
提出了一种新的无对应点云鲁棒配准的随机算法。大多数现有的注册方法需要一组假定的对应关系,通过提取不变的描述符。然而,这种描述符在嘈杂和污染的环境中可能变得不可靠。在这些设置中,直接处理输入点集的方法更可取。然而,如果没有对应关系,传统的随机化技术需要非常大量的样本,以达到令人满意的解决方案。在本文中,我们提出了一种新的方法来解决这个问题。特别是,我们的工作使点云注册的随机方法的使用,而不需要假定的对应关系。通过将点云对齐视为图匹配的一种特殊情况,并采用有效的半定松弛,我们提出了一种新的采样机制,其中采样子集的大小可以大于最小值。我们的紧松弛方案可以快速拒绝采样集中的离群值,从而产生高质量的假设。我们进行了大量的实验,以证明我们的方法优于其他国家的最先进的方法。重要的是,我们提出的方法作为一个通用的框架,可以扩展到已知的对应问题。
2019-04-14 cs.CV
Improved Descriptors for Patch Matching and Reconstruction
Indian Institute of Technology Bombay(印度理工学院孟买分校);New York University(纽约大学);Mercedes-Benz Research and Development India Pvt. Ltd.(梅赛德斯-奔驰印度研发私人有限公司)
我们提出了一种基于卷积神经网络(ConvNet)的方法,用于学习局部图像描述符,可用于显着改善补丁匹配和3D重建。多分辨率ConvNet用于学习关键点描述符。我们还提出了一个新的数据集,与当前可用的多视图立体视觉(MVS)[18]数据集相比,该数据集包含更多数量级的场景、图像以及正对应和负对应。与MVS数据集相比,新数据集还更好地覆盖了整体视点、比例和照明变化。我们在公开可用的数据集上评估我们的方法,例如牛津仿射协变区域数据集(ACRD)[12],MVS [18],合成[6]和Strecha [15]数据集,以量化图像描述符性能。来自Oxford ACRD、MVS和合成数据集的场景用于评估学习描述符的补丁匹配性能,而Strecha数据集用于评估3D重建任务。实验表明,该描述符优于当前国家的最先进的描述符在这两个评估任务。
2017-08-27 cs.CV
You Only Hypothesize Once: Point Cloud Registration with Rotation-equivariant Descriptors
Wuhan University(武汉大学);The University of Hong Kong(香港大学);Texas A&M University(得克萨斯农工大学)
在本文中,我们提出了一种新的本地基于几何的框架,称为你只假设一次(YOHO),两个未对齐的点云的注册。与大多数现有的局部描述符依赖于脆弱的局部参考系来获得旋转不变性相比,所提出的描述符通过最近的组等变特征学习技术来实现旋转不变性,从而对点密度和噪声具有更强的鲁棒性。同时,YOHO中的描述符也有一个旋转等变部分,这使得我们能够从一个对应假设来估计配准。这一性质减小了可行变换的搜索空间,从而大大提高了YOHO算法的精度和效率。大量的实验表明,YOHO在四个广泛使用的数据集,3DMatch/3DLoMatch数据集,ETH数据集和WHU-TLS数据集上实现了更少的RANSAC迭代,从而获得了优异的性能。更多详细信息请参阅我们的项目页面:https://hpwang-whu.github.io/YOHO/。
2022-07-25 cs.CV
Learning Probabilistic Coordinate Fields for Robust Correspondences
Huazhong University of Science and Technology(华中科技大学);West Virginia University(西弗吉尼亚大学)
本文提出概率坐标场(PCFs)及其网络PCF-Net,通过高斯混合模型参数化坐标分布并生成置信度图,实现几何不变的鲁棒坐标表示,可作为即插即用模块提升稀疏匹配、密集配准、相机姿态估计等任务的性能。
2023-06-07 cs.CV
Efficient and Robust Shape Correspondence via Sparsity-Enforced Quadratic Assignment
UC Irvine(加州大学欧文分校);Rensselaer Polytechnic Institute(伦斯勒理工学院)
在这项工作中,我们引入了一种新的局部成对描述子,然后开发了一个简单,有效的迭代法,通过稀疏控制解决由此产生的二次分配两个近似等距曲面之间的形状对应。我们的成对描述符是基于Laplace-Beltrami微分算子的有限元近似的刚度和质量矩阵,其在空间中是局部的,稀疏的,并且非常容易计算,同时包含全局信息。它使我们能够处理开放的表面,部分匹配,和拓扑扰动鲁棒。为了有效地解决由此产生的二次分配问题,我们的迭代算法的两个关键思想是:1)选择具有良好(近似)对应关系的对作为锚点,2)通过稀疏控制仅在选定的锚点的邻域内解决正则化的二次分配问题。这两种成分可以快速地改进和增加锚点的数量,同时显著地降低每次二次分配迭代中的计算成本。有了足够的高质量锚点,可以参考这些锚点使用各种逐点全局特征,以进一步提高密集形状对应性。我们使用各种实验来展示我们的方法在大型数据集,补丁和点云(没有全局网格)上的效率,质量和多功能性。
2020-03-20 cs.CV
HD2Reg: Hierarchical Descriptors and Detectors for Point Cloud Registration
Xi’an Jiaotong University(西安交通大学);Shunan Academy of Artificial Intelligence(舜人工智能研究院)
针对点云配准中特征描述子与检测器缺乏局部和全局语义显式表征的问题,提出HD2Reg框架,通过分层对比学习、双层级关键点检测及全局到局部匹配实现更优配准效果。
2023-05-05 cs.CV
Learning to Guide Local Feature Matches
Thales LAS France(泰雷兹LAS法国公司);LIGM (UMR 8049), Ecole des Ponts, Univ. Gustave Eiffel, CNRS, Marne-la-Vallée, France(LIGM(UMR 8049),巴黎高科路桥学校,古斯塔夫·埃菲尔大学,法国国家科学研究中心,马恩拉瓦莱,法国)
我们解决了找到图像之间准确和鲁棒的关键点对应关系的问题。我们提出了一种基于学习的方法,通过学习的近似图像匹配来指导局部特征匹配。我们的方法可以将SIFT的结果提升到类似于最先进的深度描述符的水平,例如Superpoint,ContextDesc或D2-Net,并且可以提高这些描述符的性能。我们介绍和研究不同层次的监督,学习粗糙的对应关系。特别是,我们表明,从对极几何弱监督导致性能高于更强,但更有偏见的点级监督,是一个明显的改善弱图像级监督。我们通过评估我们的引导关键点对应关系来展示我们的方法在各种条件下的好处,这些关键点对应关系用于YFCC 100 M数据集上的互联网图像和SUN 3D数据集上的室内图像的本地化,用于亚琛昼夜基准的鲁棒本地化以及使用LTLL历史图像数据在具有挑战性的条件下进行3D重建。
2020-10-21 cs.CV
LCD: Learned Cross-Domain Descriptors for 2D-3D Matching
Singapore University of Technology and Design(新加坡科技设计大学);Stanford University(斯坦福大学);The University of Tokyo(东京大学);Deakin University(迪肯大学);Geothe University of Frankfrut am Main(法兰克福歌德大学);Hong Kong University of Science and Technology(香港科技大学)
在这项工作中,我们提出了一种新的方法来学习一个局部的跨域描述符的二维图像和三维点云匹配。我们提出的方法是一个双自动编码器神经网络,映射到一个共享的潜在空间表示的2D和3D输入。我们表明,这种局部跨域描述符在共享嵌入比那些从2D和3D域中的单独训练获得的更具歧视性。为了促进训练过程,我们通过从公开的RGB-D场景中收集$\approx 1.4$数百万个具有各种照明条件和设置的2D-3D对应关系来构建新的数据集。我们的描述符进行评估,在三个主要的实验:2D-3D匹配,跨域检索,稀疏到密集的深度估计。实验结果证实了我们的方法的鲁棒性,以及其竞争力的表现,不仅在解决跨域的任务,而且能够推广到解决单一的2D和3D任务。我们的数据集和代码在\url{https://hkust-vgd.github.io/lcd}上公开发布。
2019-11-21 cs.CV
Bootstrap Your Own Correspondences
University of Michigan(密歇根大学)
几何特征提取是点云配准流程的重要组成部分。最近的工作已经证明了如何利用监督学习来学习更好、更紧凑的3D特征。然而,这些方法对地面实况注释的依赖限制了它们的可扩展性。我们建议BYOC:这是一种自我监督的方法,可以从RGB-D视频中学习视觉和几何特征,而不依赖于地面实况姿态或对应关系。我们的关键观察结果是,随机初始化的CNN很容易为我们提供良好的对应关系;使我们能够引导视觉和几何特征的学习。我们的方法结合了点云配准的经典思想和最近的表示学习方法。我们在室内场景数据集上评估了我们的方法,发现我们的方法优于传统和学习的描述符,同时与当前最先进的监督方法相比具有竞争力。
2021-06-01 cs.CV
Category-Level Global Camera Pose Estimation with Multi-Hypothesis Point Cloud Correspondences
University of Minnesota(明尼苏达大学)
对应搜索是刚性点云配准算法中必不可少的一步。大多数方法在每一步都保持一个对应关系,并逐渐删除错误的对应关系。然而,建立一对一的对应与硬分配是非常困难的,特别是当匹配两个点云与许多本地相似的功能。本文提出了一种优化方法,保留所有可能的对应关系,为每个关键点匹配时,部分点云的完整点云。这些不确定的对应关系,然后逐渐更新与估计的刚性变换,考虑匹配成本。此外,我们提出了一个新的点特征描述符,衡量局部点云区域之间的相似性。大量的实验表明,我们的方法优于国家的最先进的(SoTA)的方法,即使在同一类别中匹配不同的对象。值得注意的是,我们的方法在将真实世界的噪声深度图像配准到模板形状时的性能优于SoTA方法,高达20%。
2022-09-28 cs.CV
4D Human Body Correspondences from Panoramic Depth Maps
University of Delaware(特拉华大学);ShanghaiTech University(上海科技大学)
可负担得起的3D全身重建系统的可用性已经引起了人体形状的自由视点视频(FVV)。大多数现有的解决方案产生时间上不相关的点云或网格与未知的点/顶点对应。单独压缩每个帧是无效的,仍然会产生超大的数据大小。我们提出了一个端到端的深度学习方案来建立密集的形状对应关系,并随后压缩数据。我们的方法使用稀疏集的“全景”深度图或PDM,每个模拟向内观看同心马赛克。然后,我们开发了一种基于学习的技术来学习PDM上的逐像素特征描述符。结果被送入基于自动编码器的网络进行压缩。综合实验表明,我们的解决方案是强大的,有效的公共和我们新捕获的数据集。
2018-10-12 cs.CV
3D Multi-View Stylization with Pose-Free Correspondences Matching for Robust 3D Geometry Preservation
本文提出一种无需姿态信息或显式3D表示的多视角风格化方法,通过复合目标结合外观迁移与几何保持,提升3D任务的鲁棒性。
2026-03-22 cs.CV
FoundPose: Unseen Object Pose Estimation with Foundation Features
Technical University of Munich(慕尼黑工业大学);Meta Reality Labs(元现实实验室)
提出FoundPose方法,利用DINOv2基础特征匹配图像与3D模型模板,实现无需训练的单目RGB未见物体6D姿态估计,在BOP基准上达到领先性能。
2024-07-19 cs.CV cs.RO
Combining Spatio-Temporal Appearance Descriptors and Optical Flow for Human Action Recognition in Video Data
University of Zagreb(萨格勒布大学);Graz University of Technology(格拉茨技术大学)
本文提出了结合时空外观(STA)描述符和光流的人类行为识别。STA描述符是基于局部直方图的时空描述符,适用于构建任意时空现象的部分表示。由于迭代细化的可能性,它们在在线人类动作识别的背景下很有趣。我们研究使用密集的光流作为图像功能的STA描述符的人类动作识别,使用两种不同的算法计算流量:Farnebäck算法和TVL1算法。我们提供了一个详细的分析的影响光流算法参数上产生的光流领域。在KTH人体动作数据集上对基于光流的STA描述符在人体动作识别中进行了广泛的实验验证。令人鼓舞的实验结果表明,我们的方法在在线人类行为识别的潜力。
2013-10-01 cs.CV
REGTR: End-to-end Point Cloud Correspondences with Transformers
National University of Singapore(新加坡国立大学)
尽管最近在将学习结合到点云配准中方面取得了成功,但许多工作都集中在学习特征描述符上,并继续依赖于最近邻特征匹配和通过RANSAC进行离群值过滤来获得最终的对应关系集以进行姿态估计。在这项工作中,我们推测,注意力机制可以取代显式特征匹配和RANSAC的作用,从而提出了一个端到端的框架,直接预测最终的对应关系。我们使用一个网络架构主要由Transformer层包含自我和交叉注意力,并训练它来预测每个点位于重叠区域的概率及其在其他点云中的相应位置。然后,可以直接从预测的对应关系估计所需的刚性变换,而无需进一步的后处理。尽管简单,但我们的方法在3DMatch和ModelNet基准测试中实现了最先进的性能。我们的源代码可以在https://github.com/yewzijian/RegTR上找到。
2022-03-28 cs.CV
NeuraLoc: Visual Localization in Neural Implicit Map with Dual Complementary Features
State Key Lab of CAD&CG, Zhejiang University(浙江大学CAD&CG国家重点实验室);RayNeo(雷尼奥公司)
本文提出NeuraLoc,通过隐式学习三维关键点描述子场和语义上下文特征场,并利用描述子相似度分布对齐构建匹配图,在降低存储和加速训练的同时实现高精度六自由度视觉定位。
2025-03-08 cs.CV
Correspondence Learning via Linearly-invariant Embedding
University of Verona(维罗纳大学);LIX, Ecole Polytechnique, IP Paris(巴黎理工学院LIX实验室);Sapienza University of Rome(罗马第一大学)
在本文中,我们提出了一个完全可微的管道,用于估计3D点云之间的精确密集对应。所提出的管道是功能图框架的扩展和概括。然而,而不是使用拉普拉斯-贝尔特拉米特征函数在几乎所有以前的作品在这一领域,我们证明,从数据中学习的基础,既可以提高鲁棒性,并导致更好的准确性,在具有挑战性的设置。我们将基础解释为学习嵌入到更高维空间中。按照功能映射范式,在这个嵌入空间中的最佳变换必须是线性的,我们提出了一个单独的架构,旨在通过学习最佳描述符函数来估计变换。这导致了第一个端到端可训练的基于功能映射的对应方法,其中基础和描述符都是从数据中学习的。有趣的是,我们还观察到学习\emph{canonical}嵌入会导致更差的结果,这表明为嵌入网络留下额外的线性自由度会使其具有更强的鲁棒性,从而也揭示了以前方法的成功。最后,我们证明了我们的方法在具有挑战性的非刚性3D点云对应应用中取得了最先进的结果。
2020-10-25 cs.CG cs.CV cs.LG
LiteGE: Lightweight Geodesic Embedding for Efficient Geodesics Computation and Non-Isometric Shape Correspondence
LiteGE通过PCA处理信息体素的无符号距离场样本,构建紧凑且类别感知的形状描述符,实现高效测地线计算和非等距形状对应,显著降低内存使用和推理时间。
2025-12-23 cs.CV cs.GR
STD: Stable Triangle Descriptor for 3D place recognition
The University of Hong Kong(香港大学);Southern University of Science and Technology(南方科技大学)
在这项工作中,我们提出了一种新的全局描述符称为稳定的三角形描述符(STD)的三维位置识别。对于三角形,其形状由边长或夹角唯一确定。此外,三角形的形状对于刚性变换是完全不变的。基于这一特性,我们首先设计了一种算法,有效地提取局部关键点从三维点云和编码这些关键点到三角形描述符。然后,通过匹配点云之间的描述符的边长(和一些其他信息)来实现位置识别。从描述符匹配对中获得的点对应关系可以进一步用于几何验证,大大提高了场所识别的准确性。在我们的实验中,我们将我们提出的系统与其他最先进的系统(即,M2 DP,扫描上下文)在公共数据集上(即,KITTI,NCLT和Complex-Urban)和我们自己收集的数据集(使用非重复扫描固态LiDAR)。定量结果表明,STD具有较强的适应性和精度上的较大提高。为了分享我们的发现并为社区做出贡献,我们在GitHub上开源了我们的代码:https://github.com/hku-mars/STD。
2023-02-22 cs.CV cs.RO
Water Detection through Spatio-Temporal Invariant Descriptors
Utrecht University(乌得勒支大学);University of Amsterdam(阿姆斯特丹大学);SIM University(SIM大学)
在这项工作中,我们的目标是分割和检测视频中的水。水检测对于诸如视频搜索、户外监控以及诸如无人地面车辆和无人飞行器之类的系统的应用是有益的。然而,与一般纹理识别相比,具体问题较少讨论。在这里,我们分析了水的几个运动特性。首先,我们描述了一个视频预处理步骤,以增加对水的反射和水的颜色的不变性。其次,我们调查的时间和空间属性的水,并得出相应的本地描述符。描述符被用来本地分类的水的存在和二进制水检测掩模生成通过时空马尔可夫随机场正则化的本地分类。第三,我们介绍了视频水数据库,包含几个小时的水和非水的视频,以验证我们的算法。在视频水数据库和DynTex数据库上的实验结果表明了该算法的有效性,在动态纹理识别和材质识别方面,该算法的性能优于多种算法。5%和15%。
2015-11-03 cs.CV
Learning Sequence Descriptor based on Spatio-Temporal Attention for Visual Place Recognition
Tongji University(同济大学);Institute of Intelligent Vehicles, Tongji University(同济大学智能车辆研究所)
针对现有基于序列的视觉地点识别中序列描述符缺乏时空交互的问题,提出融合时空注意力的序列描述符方法,通过空间注意力与时间注意力结合滑动窗口和相对位置编码提升识别性能,超越现有最优水平。
2024-01-27 cs.CV
Descriptor Ensemble: An Unsupervised Approach to Descriptor Fusion in the Homography Space
Research Center for Information Technology Innovation, Academia Sinica(中央研究院资讯科技创新研究中心);Department of Computer Science and Information Engineering, National Taiwan University(国立台湾大学资讯工程学系)
为了提高特征匹配的性能,我们提出了一种无监督的方法来融合各种局部描述符的单应性空间。受正确特征对应的单应性沿空间域平滑变化的观察的启发,我们的方法基于特征匹配的无监督性质,并且可以选择用于匹配每个特征点的良好描述符。具体地,单应性空间用作公共域,其中由任何描述符获得的对应关系被认为是点,用于集成各种异构描述符。通过计算空间上的测地距离,考虑了对应关系之间的几何相干性和空间连续性。以这种方式,允许跨不同描述符的相互验证,并且正确的对应关系将以高度的一致性被突出显示(即,短的测地线距离)。因此,单类支持向量机可以用来识别这些正确的对应关系,并提高特征匹配的性能。该方法是全面的比较与国家的最先进的方法,并评估四个基准的图像匹配。实验结果表明了该方法的有效性。
2014-12-13 cs.CV
DASC: Robust Dense Descriptor for Multi-modal and Multi-spectral Correspondence Estimation
Yonsei University(延世大学);Chungnam National University(忠南国立大学);INRIA(法国国家信息与自动化研究所);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
在多个图像之间建立密集的对应关系是许多应用中的基本任务。然而,由于其具有挑战性的光度和几何变化,在多模态或多光谱图像中找到可靠的对应关系仍然没有解决。在本文中,我们提出了一种新的密集描述,称为密集自适应自相关(DASC),估计多模态和多光谱密集对应。基于观察到图像内存在的自相似性对成像模态变化是鲁棒的,我们定义了描述符与一系列的自适应自相关相似性度量由随机感受野池采样的补丁之间,其中采样模式是使用判别式学习获得的。密集描述符的计算冗余显着减少应用快速边缘感知过滤。此外,为了解决几何变化,包括缩放和旋转,我们提出了一个几何不变的DASC(GI-DASC)描述符,有效地利用DASC通过基于超像素的表示。为了定量评估GI-DASC,我们建立了一个新的多模态基准作为不同的光度和几何条件。实验结果表明DASC和GI-DASC在多模态和多光谱密集对应的许多情况下具有出色的性能。
2016-04-27 cs.CV
Desc++: Efficient Descriptor Enhancement for Data Association in Existing Visual SLAM Systems
National Yang Ming Chiao Tung University(国立阳明交通大学)
研究针对视觉SLAM中描述符在光照和视角变化下性能不佳的问题,提出Desc++轻量级增强模块,通过混合架构联合编码描述符和关键点几何信息,实验表明其能提高匹配精度、稳定轨迹估计,在准确性和效率间取得良好平衡。
2026-09-22 cs.CV cs.RO
Leveraging Local and Global Descriptors in Parallel to Search Correspondences for Visual Localization
University of Chinese Academy of Sciences(中国科学院大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);National Laboratory of Pattern Recognition(模式识别国家重点实验室)
从给定图像计算6自由度摄像机姿态的视觉定位在机器人、虚拟现实、增强现实等领域有着广泛的应用。一个是全局描述符,从每个图像中提取整个特征。另一种是局部描述符,它从每个图像块中提取局部特征,通常包含一个关键点。越来越多的视觉定位方法分为两个阶段:首先利用全局描述符进行图像检索,然后根据检索反馈利用局部描述符进行2D-3D点对应。对于大多数方法,这两个阶段是连续的。这种简单的组合并没有实现融合局部和全局描述符的优越性。从检索反馈中得到的三维点仅通过全局描述符作为二维图像点的最近邻候选。当执行2D-3D点对应时,每个2D图像点也被称为查询局部特征。在本文中,我们提出了一种新的并行搜索框架,它利用本地和全局描述符的优势,以获得查询本地功能的最近邻候选人。具体来说,除了使用基于深度学习的全局描述符之外,我们还利用局部描述符来构建随机树结构,以获得查询局部特征的最近邻候选。在构建随机树时,我们提出了一种新的概率模型和一种新的基于深度学习的局部描述符。在局部描述子的损失函数中加入加权Hamming正则项,以保持二值化后的判别性。损失函数共同训练实数和二进制描述符,其结果被集成到随机树中。
2020-09-23 cs.CV
Beyond Spatial Pyramid Matching: Space-time Extended Descriptor for Action Recognition
Carnegie Mellon University(卡内基梅隆大学)
我们解决的问题,产生视频功能的动作识别。空间金字塔及其变体由于其在平衡空间位置编码和空间不变性方面的成功而成为非常流行的特征模型。虽然将空间金字塔扩展到时间域(时空金字塔)似乎很简单,但无约束视频的大时空多样性和由此产生的显着更高的维度表示使其不那么吸引人。本文介绍了时空扩展描述符,一个简单而有效的替代方法,包括时空位置的视频功能。代替仅对运动信息进行编码并将时空位置留在池化阶段表示,位置信息被用作编码步骤的一部分。与固定网格模型相比,该方法避免了过度承诺人工边界的危险,并且其维数相对较低,是一种更有效和高效的位置编码方法。在多个基准数据集上的实验结果表明,尽管该方法简单,但其效果与时空金字塔相当或更好。
2015-10-15 cs.CV
Deep Self-Convolutional Activations Descriptor for Dense Cross-Modal Correspondence
Yonsei University(延世大学);Microsoft Research(微软研究院)
我们提出了一种新型描述符,称为深度自卷积激活(DeSCA),旨在在不同成像方式(例如不同光谱范围或照明条件)下拍摄的图像之间建立密集的对应关系。受基于局部自相似性(LSS)的描述符的启发,我们通过在深层架构中利用LSS来制定一种新的描述符,从而比最先进的跨模态描述符具有更好的区分能力和对非刚性图像变形的更强鲁棒性。DeSCA首先在随机采样补丁的局部支持窗口上计算自卷积,然后通过在深度卷积架构内的分层公式执行平均池化来构建自卷积激活。最后,通过圆形配置中的空间金字塔池化对自卷积激活的特征响应进行编码。与现有的基于卷积神经网络(CNN)的描述符相比,DeSCA是无训练的(即,随机采样的片被用作卷积核),对于交叉模态成像是鲁棒的,并且可以以显著减少计算冗余的有效方式密集地计算。通过大量的实验证明了DeSCA在交叉模态图像对的挑战性情况下的最先进性能。
2016-03-21 cs.CV
OST: Refining Text Knowledge with Optimal Spatio-Temporal Descriptor for General Video Recognition
Hunan University(湖南大学);Hunan Normal University(湖南师范大学);Center for Research in Computer Vision, University of Central Florida(中佛罗里达大学计算机视觉研究中心)
本文提出OST方法,通过LLM将动作类别扩展为时空描述符,并设计最优描述符求解器匹配视频帧与描述符,在零样本、少样本和全监督视频识别中取得领先性能,Kinetics-600零样本准确率达75.1%。
2024-03-28 cs.CV
Spatio-Temporal Covariance Descriptors for Action and Gesture Recognition
NICTA;University of Queensland(昆士兰大学)
我们提出了一种新的动作和手势识别方法的基础上的时空协方差描述符和加权黎曼局部保持投影方法,考虑到弯曲的空间形成的描述符。然后在提升期间利用加权投影来创建采用最有用的时空区域的最终多类分类算法。我们还展示了如何通过使用积分视频表示的描述符可以快速计算。UCF运动,CK+面部表情和剑桥手势数据集上的实验表明,与最近几种最先进的技术相比,所提出的方法具有更好的性能。所提出的方法是鲁棒的,并且不需要额外的处理的视频,如前景检测,兴趣点检测或跟踪。
2013-03-25 cs.CV cs.HC
PPFNet: Global Context Aware Local Features for Robust 3D Point Matching
Technische Universitat München(慕尼黑工业大学);Siemens AG(西门子股份公司);National University of Defense Technology(国防科技大学)
我们提出了PPFNet -点对特征网络,用于深入学习全局信息的3D局部特征描述符,以在无组织的点云中找到对应关系。PPFNet学习纯几何的局部描述符,并高度了解全局上下文,这是深度学习的重要线索。我们的3D表示被计算为与局部附近的点和法线相结合的点对特征的集合。我们的排列不变网络设计灵感来自PointNet,并将PPFNet设置为无顺序。与体素化相反,我们的方法能够消耗原始点云来充分利用稀疏性。PPFNet使用一种新型的$\textit{N-tuple}$丢失和架构,将全局信息自然注入到本地描述符中。它表明,上下文意识也提高了本地特征表示。我们的网络的定性和定量评估表明,提高了召回率,提高了鲁棒性和不变性,以及在3D描述符提取性能的重要一步。
2018-03-01 cs.AI cs.CV
SketchDesc: Learning Local Sketch Descriptors for Multi-view Correspondence
City University of Hong Kong(香港城市大学);Hong Kong University of Science and Technology(香港科技大学);Zhejiang University(浙江大学);University of Surrey(萨里大学)
在本文中,我们研究的问题,多视图草图对应,我们采取的输入多个手绘草图与不同的意见,同一个对象和预测输出的语义之间的对应关系的草图。这个问题是具有挑战性的,因为在不同的视图对应点的视觉特征可以是非常不同的。为此,我们采取深度学习方法,从数据中学习一种新的局部草图描述符。我们通过为从3D形状合成的多视图线条图生成像素级对应关系来贡献训练数据集。为了处理草图的稀疏性和模糊性,我们设计了一种新的多分支神经网络,它集成了基于块的表示和多尺度策略来学习多视图草图之间的像素级对应关系。我们证明了我们所提出的方法的有效性与广泛的实验手绘草图和多视图线图呈现从多个3D形状数据集。
2020-08-10 cs.CV
GSplatLoc: Grounding Keypoint Descriptors into 3D Gaussian Splatting for Improved Visual Localization
ITMO University(ITMO大学);Robotics Center(机器人中心);T-Tech
针对现有视觉定位方法优化复杂、精度有限的问题,提出将轻量XFeat关键点描述子集成到3DGS的两阶段定位方法,通过2D-3D匹配粗定位加光度损失优化精调,在室内外基准上优于NeRFMatch等同类方法。
2025-03-20 cs.AI cs.CV cs.LG
PARTE: Plane-Assisted Robust Transformation Estimation for Point Cloud Registration
Colorado School of Mines(科罗拉多矿业大学);University of Texas at Dallas(德克萨斯大学达拉斯分校);U.S. Army Combat Capabilities Development Command, Army Research Laboratory(美国陆军作战能力发展司令部陆军研究实验室)
PARTE利用平面结构作为互补证据,通过新颖的平面上下文直方图描述符和两级匹配,结合置信度加权图进行联合离群点剔除,实现鲁棒的全局点云配准,在多个基准上取得最高成功率。
2026-09-25 cs.CV cs.RO
FCSS: Fully Convolutional Self-Similarity for Dense Semantic Correspondence
Yonsei University(延世大学);Chungnam National University(忠南国立大学);Microsoft Research(微软研究院)
我们提出了一个描述符,称为全卷积自相似性(FCSS),密集的语义对应。为了在同一对象类中的不同实例之间鲁棒地匹配点,我们在全卷积网络中使用局部自相似性(LSS)来制定FCSS。与现有的基于CNN的描述符相比,由于其基于LSS的结构,FCSS本质上对类内外观变化不敏感,同时保持了深度神经网络的精确定位能力。局部结构的采样模式和自相似性度量在所提出的网络中以端到端和多尺度的方式联合学习。由于语义对应的训练数据相当有限,我们建议利用现有图像数据集中提供的对象候选先验以及对象对之间的对应一致性来实现弱监督学习。实验表明,FCSS优于传统的手工描述符和基于CNN的描述符在各种基准测试。
2017-02-03 cs.CV
Learning Feature Descriptors using Camera Pose Supervision
Cornell University(康奈尔大学);Cornell Tech(康奈尔科技校区);Zhejiang University(浙江大学)
针对现有特征描述子学习需大规模真实对应关系训练数据的难题,提出仅用相对相机位姿监督的弱监督框架CAPS,通过对极约束损失与可微高效架构实现,性能超越全监督方法,达几何任务SOTA。
2024-01-29 cs.CV
Learning Local Descriptors by Optimizing the Keypoint-Correspondence Criterion: Applications to Face Matching, Learning from Unlabeled Videos and 3D-Shape Retrieval
University of Zagreb, Faculty of Electrical Engineering and Computing(萨格勒布大学电气工程与计算学院);Linköping University(林雪平大学)
当前最佳局部描述符是在匹配和非匹配关键点对的大型数据集上学习的。然而,这种类型的数据并不总是可用的,因为详细的关键点对应关系可能难以建立。另一方面,我们通常可以获得关键点包对的标签。例如,从同一对象在不同视图下的两个图像中提取的关键点包形成匹配对,而从不同对象的图像中提取的关键点包形成非匹配对。平均而言,匹配对应该比非匹配对包含更多的对应关键点。我们描述了一个端到端的可区分的架构,使学习的本地关键点描述符从这样的弱标记的数据。此外,我们还讨论了如何通过引入挖掘硬否定的过程来改进该方法。我们还展示了如何使用我们的方法从未标记的视频信号和3D模型中学习卷积特征。我们的实现可以在www.example.com上获得
2019-05-07 cs.CV
Bilateral Operators for Functional Maps
Technion - Israel Institute Of Technology(以色列理工学院)
大多数形状对应框架是基于对应图上的逐点和成对约束的设计。功能映射框架允许在谱域中制定这些约束。在本文中,我们开发了一个功能地图框架的形状对应问题,通过构建成对的约束,使用逐点描述符。我们的核心观察是,每个逐点描述符允许构造成对核算子,其低频本征函数描绘在各种频率尺度下的相似描述符值的区域。通过聚集成对的信息从描述符和内在的几何形状的表面编码的热核,我们构造了一个混合核,并称之为双边算子。类似于图像处理中的边缘保持双边滤波器,双边算子对定义在流形上的函数的作用产生该函数的描述符相关的局部平滑。通过强迫对应映射与双边算子进行交换,我们表明,我们可以最大限度地利用功能映射框架中给定的逐点描述符集的信息。
2019-07-30 cs.CV
Embedded Spectral Descriptors: Learning the point-wise correspondence metric via Siamese neural networks
University of Iowa(爱荷华大学);Northeastern University(东北大学);University of Houston(休斯顿大学)
一个鲁棒的和信息丰富的局部形状描述子在网格配准中起着重要的作用。在这方面,基于Laplace-Beltrami算子的谱的谱描述符由于其有利的性质(诸如等距不变性)而在过去十年中一直是研究的热门主题。尽管如此,然而,光谱描述符往往不能给出一个正确的相似性度量的非等距的情况下,模型之间的度量失真是大的。因此,当模型不是等距的时,它们对于对应匹配问题是不可靠的。本文提出了一种改进谱描述子相似性度量的方法。我们嵌入到不同的度量空间的元素之间的欧氏距离直接表示的几何相异性的光谱形状描述符。我们设计并训练了一个Siamese神经网络来寻找这样的嵌入,其中嵌入的描述符被提升为基于几何相似性重新排列。我们证明了我们的方法可以显着提高传统的光谱描述符的性能,通过简单的增强实现的暹罗神经网络相比,其他国家的最先进的方法。
2019-10-18 cs.CV cs.GR
Stacked Spatio-Temporal Graph Convolutional Networks for Action Segmentation
University of Maryland(马里兰大学);SRI International(SRI国际)
我们提出了一种新的堆叠时空图卷积网络(Stacked-STGCN)用于动作分割,即,预测和定位长视频中的一系列动作。我们扩展了最初为基于动作的动作识别提出的时空图卷积网络(STGCN),以使具有不同特征的节点(例如,场景、演员、物体、动作等),具有不同长度的特征描述符和任意时间边缘连接,以解释通常与复杂活动相关联的大的图形变形。我们进一步将堆叠沙漏架构引入STGCN,以利用编码器-解码器设计的优势,提高泛化性能和定位精度。我们探索了各种描述符,如帧级VGG,段级I3 D,基于RCNN的对象等作为节点描述符,以实现基于综合上下文信息的联合推理的动作分割。我们展示了CAD 120(它提供了预先计算的节点特征和边权重,以便在算法之间进行公平的性能比较)以及更复杂的真实世界活动数据集Charades的结果。我们的Stacked-STGCN在CAD 120上的F1得分和使用VGG功能的Charades上的mAP中的最佳报告结果相比,总体上实现了4.0%的性能改进。
2019-06-02 cs.CV
MMGSD: Multi-Modal Gaussian Shape Descriptors for Correspondence Matching in 1D and 2D Deformable Objects
University of California, Berkeley(加利福尼亚大学伯克利分校)
我们探索学习像素之间的对应关系的图像在不同的配置可变形的对象。传统的对应匹配方法,如SIFT,SURF和ORB可能无法提供足够的上下文信息进行细粒度操作。我们提出了多模态高斯形状描述符(MMGSD),一个新的视觉表示的可变形对象,扩展的想法从密集的对象描述符来预测不同的对象配置之间的所有对称对应。MMGSD以自监督的方式从合成数据中学习,并产生具有可测量不确定性的对应热图。在模拟中,实验表明,MMGSD可以达到的RMSE为32.4和31.3的方形布和编织合成尼龙绳分别。结果表明,基于对比学习、对称像素对比损失(SPCL),与强制分布连续性的MMGSD相反,在提供的基线上平均改善47.7%。
2020-10-09 cs.CV cs.RO
Generalized Correspondence Matching via Flexible Hierarchical Refinement and Patch Descriptor Distillation
Donghua University(东华大学);the Hong Kong University of Science and Technology(香港科技大学);Tongji University(同济大学)
针对现有最先进的即插即用对应匹配方法DFM的局限性,提出灵活最近邻分层细化与块描述符蒸馏方法,拓展骨干网络适配性并降低计算量,在多数据集上实现性能超越。
2024-03-08 cs.CV
Learning Local Shape Descriptors from Part Correspondences With Multi-view Convolutional Networks
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);IIT Bombay(印度理工学院孟买分校);Adobe Research(Adobe 研究院)
我们提出了一个新的局部描述符的三维形状,直接适用于广泛的形状分析问题,如点对应,语义分割,启示预测,形状扫描匹配。描述符由卷积网络产生,该卷积网络被训练成在描述符空间中嵌入彼此接近的几何和语义相似的点。该网络处理形状上的点周围的表面邻域,这些点是通过从仔细选择的相机位置拍摄的一系列逐渐缩小的视图以多个尺度捕获的。我们利用两个非常大的数据源来训练我们的网络。首先,由于我们的网络以2D图像的形式处理渲染视图,因此我们重新调整了在大量图像数据集上预先训练的架构。其次,我们自动生成一个合成的密集点对应数据集的非刚性对齐相应的形状部分在一个大的集合分割的3D模型。由于这些设计选择,我们的网络有效地编码多尺度局部上下文和细粒度表面细节。我们的网络可以通过从多个形状类别中学习来训练生成特定于类别的描述符或更通用的描述符。一旦经过训练,在测试时,网络提取形状的局部描述符,而不需要任何部分分割作为输入。即使对于类别未知或与训练时使用的形状不同的形状,我们的方法也可以生成有效的局部描述符。我们通过几个实验证明,我们学习的本地描述符相比,最先进的替代品更具歧视性,并在各种形状分析应用中是有效的。
2017-09-05 cs.CV cs.GR
SGSoft: Learning Fused Semantic-Geometric Features for 3D Shape Correspondence via Template-Guided Soft Signals
KAIST AI(韩国科学技术院人工智能研究所);Anigma Technologies(Anigma科技公司)
本文提出SGSoft方法,通过模板引导的软信号学习融合语义-几何特征,实现3D形状对应,解决了结构变化、非等距变形和拓扑不一致的挑战,实现了最先进的跨类别泛化和最佳精度-效率权衡。
2026-05-18 cs.CV
Deep Spectral Correspondence for Matching Disparate Image Pairs
The University of Georgia(佐治亚大学);Netaji Subhas Institute of Technology(内塔吉·苏巴斯理工学院);Technische Universitat Darmstadt(达姆施塔特工业大学)
提出了一种新的、基于非学习的、显著性感知的、形状认知的对应确定技术,用于匹配本质上明显不同的图像对。现实世界中的图像在尺度、方向、视点、光照和仿射投影参数等方面往往表现出高度的变化,并且常常伴随着无纹理区域的存在以及场景对象的完全或部分遮挡。上述条件通过使得使用全局基于轮廓的描述符或局部像素级特征来建立对应性不切实际而混淆了大多数对应性确定技术。建议的深谱对应(DSC)确定方案利用局部特征描述符的代表性的权力,以获得一个复杂的高层次的全球形状表示匹配不同的图像。该方案的原因不同的图像之间的对应关系,使用高级别的全球形状线索来自低级别的本地特征描述符。因此,所提出的方案享有两全其美的好处,即,对仿射参数(例如,由全局形状线索提供的尺度、方向、视点、照明)的高度不变性以及对由低级特征描述符提供的遮挡的鲁棒性。虽然所提出的方案中的基于形状的组件推断要寻找什么,但一个额外的基于显着性的组件规定了要看哪里,从而解决了无纹理区域和复杂背景的存在所引起的噪声对应。在所提出的方案中,使用在外观中的兴趣点之间计算的距离来构造联合图像图(即,图像)空间。联合图像图的本征谱分解允许在外观空间和本征空间中联合执行关于形状相似性的推理。
2018-09-12 cs.CV
3DMatch: Learning Local Geometric Descriptors from RGB-D Reconstructions
Princeton University(普林斯顿大学);Stanford University(斯坦福大学);AutoX;Adobe Systems(Adobe系统公司)
由于3D扫描数据的噪声、低分辨率和不完整性,在真实世界的深度图像上匹配局部几何特征是一项具有挑战性的任务。这些困难限制了当前最先进的方法的性能,这些方法通常基于几何特性上的直方图。在本文中,我们提出了3DMatch,一个数据驱动的模型,学习一个局部体积补丁描述符建立部分3D数据之间的对应关系。为了为我们的模型积累训练数据,我们提出了一种自监督特征学习方法,该方法利用了现有RGB-D重建中发现的数百万个对应标签。实验表明,我们的描述符不仅能够匹配新场景中的局部几何形状进行重建,而且还可以推广到不同的任务和空间尺度(例如,Amazon Picking Challenge的实例级对象模型对齐,以及网格表面对应)。结果表明,3DMatch始终优于其他国家的最先进的方法显着保证金。代码、数据、基准测试和预训练模型可在http://3dmatch.cs.princeton.edu上在线获取
2017-04-09 cs.CV
Multi-view registration of unordered range scans by fast correspondence propagation of multi-scale descriptors
Xi’an Jiaotong University(西安交通大学);Jiangnan University(江南大学);University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校)
本文提出了一种全局的无序距离扫描多视图配准方法。作为多视点配准的基础,两两配准是非常关键的。因此,我们首先选择一个好的描述符,并加速其对应传播的成对配准。然后,我们设计了一个有效的规则来判断两两配准结果的可靠性。随后,我们提出了一种模型增强方法,它可以利用成对配准的可靠结果来增强模型形状。最后,通过对配准判断和模型增强的交替操作,实现多视点配准。在公开数据集上的实验结果表明,该方法可以自动实现无序距离扫描的多视图配准,具有良好的精度和有效性。
2018-04-21 cs.CV cs.RO
HOPC: Histogram of Oriented Principal Components of 3D Pointclouds for Action Recognition
The University of Western Australia(西澳大学)
用于3D动作识别的现有技术对视点变化敏感,因为它们从随视点显著变化的深度图像中提取特征。相比之下,我们直接处理点云,并提出了一种新的技术,用于动作识别,这是更强大的噪声,动作速度和视点变化。我们的技术包括一个新的描述符和关键点检测算法。所提出的描述符提取在一个点通过编码的直方图的定向主成分(HOPC)内的自适应时空支持体积周围的点。基于该描述子,我们提出了一种新的方法来检测时空关键点(STKPs)的三维点云序列。实验结果表明,所提出的描述符和STKP检测器优于国家的最先进的算法在三个基准人体活动数据集。我们还介绍了一个新的多视图公共数据集,并显示我们提出的方法的鲁棒性的观点变化。
2014-09-22 cs.CV
Leveraging Semantic Cues from Foundation Vision Models for Enhanced Local Feature Correspondence
Universidade Federal de Minas Gerais(米纳斯吉拉斯联邦大学);Université de Bourgogne(勃艮第大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Université de Lorraine(洛林大学);Microsoft(微软公司)
本文提出一种利用基础视觉模型(如DINOv2)语义线索增强局部特征匹配的方法,将语义推理融入现有描述子,实现无需图像对的快速特征缓存与相似性搜索,在相机定位中性能平均提升29%,准确率与LightGlue和LoFTR相当。
2024-10-12 cs.CV
A Spatiotemporal Correspondence Approach to Unsupervised LiDAR Segmentation with Traffic Applications
University of Florida(佛罗里达大学);Auburn University(奥本大学)
针对交通场景室外LiDAR点云无监督语义分割问题,提出基于时空对应、结合聚类与伪标签学习的方法,在多个基准上取得媲美全监督方法的性能,可支撑通用点云表示学习。
2023-08-23 cs.CV
Dynamic texture recognition using time-causal and time-recursive spatio-temporal receptive fields
KTH Royal Institute of Technology(瑞典皇家理工学院)
这项工作提出了第一次评估使用时空感受野从最近提出的时间因果时空尺度空间框架作为原语的视频分析。我们提出了一个新的家庭的视频描述符的时空感受野响应的区域统计的基础上,并评估这种方法的动态纹理识别的问题。我们的方法概括了以前使用的方法,联合直方图的感受野响应的基础上,从空间到时空域,从对象识别到动态纹理识别。时间递归公式使计算效率的时间因果识别。实验评估表明竞争力的性能相比,国家的最先进的。特别是,它表明,我们的动态纹理描述符的二进制版本相比,使用不同的原语手工制作或从数据中学习的大范围的类似方法实现了改进的性能。此外,我们的定性和定量的参数选择和使用不同的感受野的调查突出了我们的方法的鲁棒性和灵活性。总之,这些结果支持这个家庭的时间因果时空感受野的描述能力,验证我们的动态纹理识别方法,并指向设计一系列视频分析方法的可能性,这些新的时间因果时空原语的基础上。
2018-06-21 cs.CV
Visual Descriptor Learning from Monocular Video
University of Bonn(波恩大学)
对应性估计是计算机视觉中研究最广泛但仅部分解决的领域之一,在目标和环境的跟踪、映射、识别中有许多应用。在本文中,我们提出了一种新的方法来估计RGB图像上的密集对应关系,其中视觉描述符通过训练完全卷积网络从视频示例中学习。大多数深度学习方法通过使用大量昂贵的标记数据训练网络来解决这个问题,或者使用RGB-D视频通过强大的3D生成模型来执行标记。我们的方法使用对比度损失从RGB视频中学习,其中相对标记是从光流中估计的。我们展示了在渲染视频的定量分析,地面实况信息可用的功能。该方法不仅在相同背景的测试数据上表现良好,而且还可以推广到新背景的情况。学习的描述符是唯一的,由网络确定的表示是全局的。我们进一步展示了该方法对现实世界视频的适用性。
2020-04-15 cs.CV
Flow Fields: Dense Correspondence Fields for Highly Accurate Large Displacement Optical Flow Estimation
German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心(DFKI));University of Kaiserslautern(凯泽斯劳滕大学)
现代大位移光流算法通常使用稀疏描述符匹配技术或密集近似最近邻场的初始化。虽然后者具有密集的优点,但它们具有非常离群的主要缺点,因为它们不是被设计成找到光流,而是视觉上最相似的对应关系。在本文中,我们提出了一个密集的对应场的方法,是少得多的离群值倾向,因此更适合于光流估计比近似最近邻场。我们的方法在概念上是新颖的,因为它不需要显式正则化,平滑(如中值滤波)或新的数据项,但仅仅是我们的新的纯粹基于数据的搜索策略,发现大多数内点(即使是小对象),同时有效地避免发现离群值。此外,我们提出了新的增强离群值过滤。我们表明,我们的方法是更好地适合于大位移光流估计比国家的最先进的描述符匹配技术。我们通过使用我们的流场初始化EpicFlow(迄今为止MPI-Sintel上最好的方法)来实现这一点,而不是他们最初使用的最先进的描述符匹配技术。我们在MPI-Sintel、KITTI和Middlebury上的表现明显优于原始EpicFlow。
2015-10-20 cs.CV
Covariance of Motion and Appearance Featuresfor Spatio Temporal Recognition Tasks
University of Central Florida(中佛罗里达大学)
在本文中,我们介绍了一个端到端的视频分析框架,重点是建立在稀疏表示理论基础上的实际场景,包括一个用于通用视频分析的新描述符。在我们的方法中,我们从光流和强度的一阶和二阶导数计算运动学特征,分别表示运动和外观。这些功能,然后用于构建协方差矩阵,捕获联合统计的低级别的运动和外观特征提取的视频。使用从标记的训练样本构建的基于协方差的描述符的过完备字典,我们将低级别事件识别制定为稀疏线性近似问题。在此范围内,我们提出的协方差矩阵,这也符合半正定矩阵的空间,作为一个行列式最大化问题的稀疏分解。此外,由于协方差矩阵位于非线性黎曼流形上,我们比较我们以前的方法与稀疏线性近似的替代方案,是适合于等价的向量空间的协方差矩阵。这是通过使用正交匹配追踪算法搜索查询数据在字典上的最佳投影来完成的。我们展示了我们的视频描述符在两个不同应用领域的适用性-即在不受约束的情况下的低级别事件识别和使用一次性学习的手势识别。我们的实验为大规模视频分析提供了有前途的见解。
2016-06-16 cs.CV