Exploration of object recognition from 3D point cloud
Lin Duan
我们提出了我们的最新实验结果的物体识别从三维点云数据通过移动的汽车。
We present our latest experiment results of object recognition from 3D point cloud data collected through moving car.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
继续探索
PointCAT: Contrastive Adversarial Training for Robust Point Cloud Recognition
尽管点云识别模型在各种应用中取得了突出的性能，但它经常遭受自然破坏和对抗性扰动。在本文中，我们深入研究了点云识别模型的一般鲁棒性，并提出了点云对比对抗训练（PointCAT）。PointCAT的主要直觉是鼓励目标识别模型缩小干净点云和损坏点云之间的决策差距。具体而言，我们利用监督对比损失，以促进识别模型提取的超球体特征的对齐和均匀性，并设计了一对集中损失与动态原型指导，以避免这些特征偏离其所属的类别集群。为了提供更具挑战性的损坏点云，我们从头开始对抗性地训练噪声发生器和识别模型，而不是像以前的对抗性训练方法那样使用基于梯度的攻击作为内环。实验结果表明，该方法在各向同性点噪声、LiDAR模拟噪声、随机点丢失和对抗性扰动等多种干扰下，识别效果优于基线方法，显著提高了不同点云识别模型的鲁棒性。
Escape from Cells: Deep Kd-Networks for the Recognition of 3D Point Cloud Models
我们提出了一种新的深度学习架构（称为KD网络），该架构专为3D模型识别任务设计，并与非结构化点云一起使用。新的体系结构进行乘法变换和共享这些变换的参数，根据细分的点云强加给他们的Kd-树。与目前主流的卷积架构（通常需要在均匀的二维或三维网格上进行光栅化）不同，Kd网络不以任何方式依赖于此类网格，因此避免了不良的缩放行为。在一系列流行的形状识别基准的实验中，KD网络在一些形状识别任务中表现出有竞争力的性能，如形状分类，形状检索和形状部分分割。
PointNetVLAD: Deep Point Cloud Based Retrieval for Large-Scale Place Recognition
与基于图像的检索不同，基于点云的位置识别检索一直是一个未探索和未解决的问题。这在很大程度上是由于难以从点云中提取局部特征描述符，随后可以将其编码为用于检索任务的全局描述符。在本文中，我们提出了PointNetVLAD，利用深度网络最近的成功来解决基于点云的位置识别检索。具体来说，我们的PointNetVLAD是现有PointNet和NetVLAD的组合/修改，它允许端到端的训练和推理，从给定的3D点云中提取全局描述符。此外，我们提出了“懒惰的三元组和四元组”的损失函数，可以实现更多的歧视性和概括性的全局描述符，以解决检索任务。我们创建基准数据集的点云检索的位置识别，这些数据集上的实验结果表明，我们的PointNetVLAD的可行性。我们的代码和基准数据集下载的链接可以在我们的项目网站上找到。http://github.com/mikacuy/pointnetvlad/
PIC-Net: Point Cloud and Image Collaboration Network for Large-Scale Place Recognition
位置识别是自动化技术的研究热点之一，目前仍是一个悬而未决的问题，摄像机和激光雷达是这一任务中使用的两种主流传感器，基于摄像机的方法容易受到光照和季节变化的影响，激光雷达不能像图像那样获得丰富的数据，本文提出了PIC-Net（点云与图像协作网络），利用注意力机制融合图像与点云的特征，挖掘两者之间的互补信息。此外，为了提高夜间的识别性能，我们将夜间图像转换为白天的风格。对比结果表明，图像与点云的协同优于基于图像和点云的协同，注意策略和昼夜变换可以进一步提高协同性能。
Human Action Recognition from Point Clouds over Time
本文提出一种基于点云与稀疏卷积结合的新型3D动作识别方法，通过分割、跟踪和部位解析，在NTU RGB-D 120上达到89.3%准确率，优于现有方法。
LidarGait: Benchmarking 3D Gait Recognition with Point Clouds
基于视频的步态识别在受限场景中取得了令人印象深刻的结果。然而，视觉摄像机忽略了人体的三维结构信息，这限制了步态识别的可行性，在三维野生世界。这项工作不是从图像中提取步态特征，而是从点云中探索精确的3D步态特征，并提出了一个简单而有效的3D步态识别框架，称为LidarGait。我们提出的方法将稀疏点云投影到深度图中，以学习具有3D几何信息的表示，其性能明显优于现有的逐点和基于相机的方法。由于缺乏点云数据集，我们构建了第一个基于LiDAR的大规模步态识别数据集SUSTEch 1 K，该数据集由LiDAR传感器和RGB相机收集。该数据集包含来自1,050个主题的25,239个序列，涵盖了许多变化，包括可见性，视图，遮挡，服装，携带和场景。大量的实验表明：（1）三维结构信息是步态识别的重要特征。(2)LidarGait比现有的基于点和基于轮廓的方法有显著的优势，同时它还提供稳定的交叉视图结果。(3)LiDAR传感器在户外环境下的步态识别方面优于RGB相机。源代码和数据集已在https://lidargait.github.io上提供。
Point Cloud Recognition with Position-to-Structure Attention Transformers
在本文中，我们提出了位置到结构的注意力Transformers（PS-Former），一个基于transformer的三维点云识别算法。PS-Former解决了3D点云表示中的挑战，其中点没有定位在固定的网格结构中，并且具有有限的特征描述（只有分散点的3D坐标（$x, y, z$））。该领域中现有的基于Transformer的架构通常需要预先指定的特征工程步骤来提取点特征。在这里，我们介绍了PS-Former中的两个新方面：1）一个可学习的凝聚层，它执行点下采样和特征提取; 2）一个位置到结构注意力机制，它通过位置注意力分支递归地丰富结构信息。与竞争的方法相比，虽然是通用的，较少的几何特征设计，PS-Former展示了三个三维点云任务，包括分类，部分分割和场景分割的竞争力的实验结果。
MinkLoc3D: Point Cloud Based Large-Scale Place Recognition
本文提出了一种基于学习的方法来计算一个有区别的三维点云描述符的地方识别的目的。现有的方法，如PointNetVLAD，是基于无序点云表示。他们使用PointNet作为第一个处理步骤来提取局部特征，然后将其聚合到全局描述符中。PointNet架构不太适合捕获局部几何结构。因此，最先进的方法通过添加不同的机制来捕获本地上下文信息，例如图卷积网络或使用手工制作的特征，来增强普通PointNet架构。我们提出了一种替代方法，称为MinkLoc3D，计算一个有区别的三维点云描述符，基于稀疏体素化点云表示和稀疏三维卷积。所提出的方法具有一个简单而有效的架构。标准基准测试的评估证明MinkLoc3D优于当前最先进的技术。我们的代码可在项目网站上公开获取：https://github.com/jac99/MinkLoc3D
LPD-Net: 3D Point Cloud Learning for Large-Scale Place Recognition and Environment Analysis
基于点云的位置识别仍然是一个悬而未决的问题，由于难以从原始的3D点云中提取局部特征和生成全局描述符，在大规模动态环境中更是困难。在本文中，我们开发了一种新的深度神经网络，命名为LPD-Net（大规模地点描述网络），它可以从原始的3D点云中提取有区别的和可概括的全局描述符。提出了自适应局部特征提取模块和基于图的邻域聚合模块，以端到端的方式提取大规模点云的局部结构，揭示局部特征的空间分布。我们在解决基于点云的检索任务中实现了所提出的全局描述符，以实现大规模的地点识别。比较结果表明，我们的LPD-Net比PointNetVLAD好得多，达到了最先进的水平。我们还将我们的LPD-Net与基于视觉的解决方案进行了比较，以显示我们的方法对不同天气和光照条件的鲁棒性。
Real-time Rail Recognition Based on 3D Point Clouds
准确的钢轨定位是铁路支护驱动系统安全监测的关键环节。LiDAR可以获得携带铁路环境3D信息的点云，特别是在黑暗和恶劣天气条件下。针对点云数据杂乱、密度不均、体积大等问题，提出了一种基于三维点云的钢轨实时的【形】识别方法。首先提出了一种用于铁路点云密度均衡的体素下采样方法，并设计了金字塔分区将三维扫描区域划分为不同体积的体素。然后，特征编码模块的开发，以找到最近的邻居点，并聚集其局部几何特征的中心点。最后，提出了一种多尺度神经网络来生成每个体素和轨道位置的预测结果。对9个序列的铁路三维点云数据进行了实验。实验结果表明，该方法对直线、曲线等复杂拓扑的钢轨具有良好的检测性能。
PVNet: A Joint Convolutional Network of Point Cloud and Multi-View for 3D Shape Recognition
三维物体识别在多媒体和计算机视觉领域引起了广泛的研究关注。随着最近深度学习的激增，具有不同表示的各种深度模型已经实现了最先进的性能。其中，基于点云和多视图的三维形状表示是最近很有前途的，其相应的深度模型在三维形状识别上表现出显着的性能。然而，有很少的努力集中点云数据和多视图数据的三维形状表示，这是，在我们的考虑，是有益的，相互补偿。在本文中，我们提出了点视图网络（PVNet），第一个框架集成的点云和多视图数据对联合三维形状识别。更具体地说，嵌入注意力融合方案提出，可以采用高层次的功能，从多视图数据建模的内在相关性和区分不同的结构特征从点云数据。特别地，将区分性描述量化并利用为软注意力掩模以进一步细化3D形状的结构特征。我们已经在ModelNet40数据集上评估了所提出的方法，用于3D形状分类和检索任务。实验结果和国家的最先进的方法的比较表明，我们的框架可以实现卓越的性能。
Boosting Object Recognition in Point Clouds by Saliency Detection
3D点云中的对象识别是一项具有挑战性的任务，主要是在时间是一个重要的处理因素时，例如在工业应用中。本地描述符是一个顺从的选择时，识别对象的6自由度姿态也应估计。然而，这种描述符的流水线非常耗时。在这项工作中，我们提出了一个更新的传统管道，通过添加一个初步的过滤阶段，称为显着性提升。我们通过考虑四个关键点检测器和四个局部描述符对标准对象识别基准进行测试，以比较传统管道和提升管道之间的时间和识别性能。结果显示，增强后的管道速度可以提高5倍，在大多数情况下识别率都有所提高，而在其他情况下只略有下降。这些结果表明，增强的流水线可以大大加快处理时间，但对识别准确性的影响有限，甚至有益。
Discrete Rotation Equivariance for Point Cloud Recognition
尽管最近对使用深度网络处理点云进行了积极的研究，但很少有人关注网络对旋转的敏感性。在本文中，我们提出了一种深度学习架构，可以实现离散$\mathbf{SO}(2)$ / $\mathbf{SO}(3)$旋转等方差点云识别。具体来说，旋转的输入点云与旋转组的元素是类似的洗牌的特征向量生成的方法。通过用诸如最大值或平均值之类的运算消除置换，等方差很容易地被简化为不变性。我们的方法可以直接应用于任何现有的基于点云的网络，从而显着提高其性能的旋转输入。我们展示了$\mathbf{SO}(2)$和$\mathbf{SO}(3)$旋转下各种数据集的分类任务的最新结果。此外，我们进一步分析了将我们的方法应用于基于PointNet的网络的必要条件。源代码在https://github.com/lijx10/rot-equ-net
RPR-Net: A Point Cloud-based Rotation-aware Large Scale Place Recognition Network
基于点云的大规模地点识别是同时定位与地图构建（SLAM）等应用中的一个重要而具有挑战性的任务。将该问题作为一个点云检索问题，已有的方法取得了可喜的成绩。然而，如何处理旋转问题引起的灾难性倒塌仍然是探索不足。在本文中，为了解决这个问题，我们提出了一种新的基于点云的旋转感知大规模地点识别网络（RPR-Net）。特别是，为了解决这个问题，我们建议分三步学习旋转不变特征。首先，我们设计了三种新的旋转不变特征（RIF），这是低级别的功能，可以保持旋转不变的性质。其次，使用这些RIF，我们设计了一个专注的模块来学习旋转不变的内核。第三，我们将这些内核应用于以前的点云特征以生成新的特征，这是众所周知的SO（3）映射过程。通过这样做，可以学习高级场景特定的旋转不变特征。我们将上述过程称为注意旋转不变卷积（ARIConv）。为了实现地点识别的目标，我们建立了RPR-Net，它以ARIConv为基本单元，构建了一个密集的网络结构。然后，强大的全局描述符用于检索的位置识别，可以充分从RPR网络提取。在流行数据集上的实验结果表明，我们的方法实现了与现有的最先进的位置识别模型相当的结果，并在解决旋转问题时显着优于其他旋转不变的基线模型。
BPT: Binary Point Cloud Transformer for Place Recognition
地点识别是一种识别重访地点的算法，在完整的SLAM系统中起着后端优化触发器的作用。许多搭载了深度学习工具的作品，如MLP、CNN、Transformer等，在这一研究领域取得了很大的进步。点云Transformer是机器人位置识别的优秀框架之一，但点云Transformer网络的内存消耗大、计算量大，不利于在移动或嵌入式设备中广泛部署。为了解决这个问题，我们提出了一个二进制点云Transformer的地点识别。因此，32位全精度模型可以减少到1位模型，具有更少的内存占用和更快的二进制逐位操作。据我们所知，这是第一个可以部署在移动设备上的二进制点云Transformer，用于在线应用，如位置识别。在多个标准基准上的实验表明，该方法可以获得与相应的全精度Transformer模型相当的结果，甚至优于一些全精度深度学习方法。例如，在Oxford RobotCar数据集上，就平均召回率的度量而言，所提出的方法在顶部@1%处达到93.28%，在顶部@1%处达到85.74%。同时，在相同的Transformer结构下，模型的规模和浮点运算精度分别比原始模型的精度降低了56.1%和34.1%。
Empowering Knowledge Distillation via Open Set Recognition for Robust 3D Point Cloud Classification
尽管基于深度学习的计算机视觉技术在研究中取得了巨大的成功，但现实世界的场景对它们提出了一些挑战。更深的模型提供更好的性能，但部署具有挑战性，知识蒸馏使我们能够以最小的性能损失训练更小的模型。该模型还必须处理来自其训练对象之外的类的开集样本，并且应该能够将它们识别为未知样本，同时正确分类已知样本。最后，大多数现有的图像识别研究只集中在使用现实世界的三维物体的二维快照。在这项工作中，我们的目标是弥合这三个研究领域，这三个领域迄今为止一直是独立发展的，尽管它们之间存在着深刻的相互关联。我们提出了一个联合知识蒸馏和开集识别训练方法的三维物体识别。我们通过各种实验证明了所提出的方法的有效性，它如何使我们能够获得一个更小的模型，这需要一个最小的性能打击，同时能够开集识别3D点云数据。
HiTPR: Hierarchical Transformer for Place Recognition in Point Cloud
位置识别或环路闭合检测是完整SLAM系统中的核心组件之一。为了同时增强局部邻域点的关联性和全局点之间的上下文依赖性，本文研究了基于变换器的网络特征提取方法，提出了一种基于层次Transformer的位置识别方法（HiTPR）。HiTPR由四个主要部分组成：点单元生成、短程Transformer（SRT）、长程Transformer（LRT）和全局描述符聚合。具体地说，点云最初被划分成一系列的小细胞通过下采样和最近的邻居搜索。在SRT中，我们提取每个点细胞的局部特征。而在LRT中，我们建立了整个点云中所有点单元之间的全局依赖关系。在几个标准基准上的实验证明了HiTPR在平均召回率方面的优越性，例如在Oxford RobotCar数据集上，前1%和前1分别达到93.71%和86.63%。
Enhancing Robustness to Noise Corruption for Point Cloud Recognition via Spatial Sorting and Set-Mixing Aggregation Module
针对点云识别模型在现实噪声数据上鲁棒性不足的问题，本文通过网络架构设计提出噪声鲁棒的Set-Mixer聚合模块与排序策略，在ModelNet40-C上显著提升了噪声环境下的识别性能。
Object Scan Context: Object-centric Spatial Descriptor for Place Recognition within 3D Point Cloud Map
针对现有激光雷达中心描述符在距离大时失效且仅算旋转的缺陷，提出围绕主对象的局部描述符，结合几何法精确计算相对位姿，并在KITTI数据集上验证了优越性。
Improving Point Cloud Based Place Recognition with Ranking-based Loss and Large Batch Training
本文提出了一种简单有效的基于学习的方法来计算一个有区别的三维点云描述符的地方识别的目的。最近的最先进的方法具有相对复杂的架构，例如与特征聚合模块的金字塔相结合的点Transformers的多尺度金字塔。我们的方法使用一个简单而有效的3D卷积特征提取，基于稀疏体素化表示，增强与通道注意块。我们采用图像检索的最新进展，并提出了一个修改后的版本的损失函数的基础上可微的平均精度近似。这种损失函数需要以非常大的批量进行训练以获得最佳结果。这是通过使用多级反向传播实现的。在流行的基准测试上的实验评估证明了我们的方法的有效性，与最先进的状态一致的改进
A Robust and Reliable Point Cloud Recognition Network Under Rigid Transformation
点云识别是工业机器人和自动驾驶中的一项重要任务。最近，几个点云处理模型已经取得了最先进的性能。然而，这些方法缺乏旋转鲁棒性，并且它们的性能在随机旋转下严重下降，未能扩展到具有不同方向的真实世界场景。为此，我们提出了一种名为自轮廓变换（SCT）的方法，它可以灵活地集成到各种现有的点云识别模型对任意旋转。SCT通过引入轮廓感知变换（CAT）来提供有效的旋转和平移不变性，轮廓感知变换（CAT）将点的笛卡尔坐标线性地变换为平移和旋转不变表示。在理论分析的基础上，证明了CAT是一个旋转和平移不变的变换。此外，帧对齐模块提出了通过捕获轮廓和将自身基于轮廓的帧转换为类内帧来增强区分性特征提取。大量的实验结果表明，SCT优于国家的最先进的方法在任意旋转的有效性和效率的合成和现实世界的基准。此外，鲁棒性和通用性评估表明，SCT是强大的，适用于各种点云处理模型，突出了SCT在工业应用中的优势。
Multi-view Structural Convolution Network for Domain-Invariant Point Cloud Recognition of Autonomous Vehicles
针对自动驾驶场景下点云识别受域偏移影响精度下降的问题，提出多视图结构卷积网络MSCN，通过结构卷积与聚合层结合源域生成数据训练，跨域识别精度较PointTransformer提升15.8%。
Occlusion-aware Text-Image-Point Cloud Pretraining for Open-World 3D Object Recognition
针对现有开放世界3D目标识别方法存在遮挡域差距、推理成本高的问题，提出遮挡感知文本-图像-点云预训练框架与双流点云模型DuoMamba，在提升性能的同时降低了计算开销。
SOE-Net: A Self-Attention and Orientation Encoding Network for Point Cloud based Place Recognition
我们解决了从点云数据中识别位置的问题，并引入了一个自我关注和方向编码网络（SOE-Net），该网络充分探索了点之间的关系，并将长程上下文结合到逐点局部描述符中。从八个方向的每个点的本地信息被捕获在PointOE模块中，而本地描述符之间的远程特征依赖性被捕获与自我关注单元。此外，我们提出了一种新的损失函数称为硬正硬负四重损失（HPHN四重），实现更好的性能比常用的度量学习损失。在各种基准数据集上的实验表明，该网络的性能优于当前最先进的方法。我们的代码在https://github.com/Yan-Xia/SOE-Net上公开发布。
TransLoc3D : Point Cloud based Large-scale Place Recognition using Adaptive Receptive Fields
位置识别在自动驾驶和机器人导航领域起着至关重要的作用。基于点云的方法主要集中在从点云的局部特征中提取全局描述符。尽管已经取得了有希望的结果，但现有的解决方案忽略了以下方面，这可能导致性能下降：（1）室外场景中的对象之间的巨大尺寸差异;（2）与地点识别无关的移动对象;（3）长距离上下文信息。我们说明，上述方面带来的挑战，提取歧视性的全球描述符。为了缓解这些问题，我们提出了一种新的方法名为transloc 3D，利用自适应感受野逐点重新加权方案来处理不同大小的对象，同时抑制噪声，和外部Transformer来捕获远程特征依赖关系。与采用固定和有限感受野的现有架构相反，我们的方法受益于大小自适应感受野以及全局上下文信息，并且在流行数据集上具有显着改进，优于当前最先进的技术。
Training-Free Point Cloud Recognition Based on Geometric and Semantic Information Fusion
针对现有免训练点云识别方法仅提取单一特征的局限，该研究首次提出融合几何与语义特征的免训练方法，引入GFE和MFF模块，在主流基准上性能超越现有SOTA免训练方法。
APC: Transferable and Efficient Adversarial Point Counterattack for Robust 3D Point Cloud Recognition
本文提出APC，一种轻量级输入级净化模块，通过生成实例特定的对抗扰动有效中和攻击，并通过混合训练策略提升跨不同攻击的泛化能力，实验表明其在3D识别基准上达到最先进的防御性能。
HorGait: A Hybrid Model for Accurate Gait Recognition in LiDAR Point Cloud Planar Projections
本文提出HorGait混合模型，利用LHM Block和大卷积核CNN处理LiDAR点云平面投影，解决了Transformer架构中哑补丁问题，在SUSTech1K数据集上实现了最先进的步态识别性能。
SpheriGait: Enriching Spatial Representation via Spherical Projection for LiDAR-based Gait Recognition
针对基于LiDAR的步态识别，提出SpheriGait方法，用球面投影替代平面投影增强3D动态特征，并设计DAM-L网络块提取步态线索，在SUSTech1K数据集上达到最先进性能，且可作为通用预处理技术提升其他方法。
SelFLoc: Selective Feature Fusion for Large-scale Point Cloud-based Place Recognition
本文提出SelFLoc架构，通过结合堆叠非对称卷积块（SACB）和选择性特征融合块（SFFB），有效增强点云特征表示与融合，在多个基准上实现了最先进的场景识别性能。
PvNeXt: Rethinking Network Design and Temporal Motion for Point Cloud Video Recognition
PvNeXt通过运动模仿器和单步运动编码器，以个性化一次性查询替代迭代密集查询，实现高效点云视频识别。
CSI: Enhancing the Robustness of 3D Point Cloud Recognition against Corruption
针对点云识别模型在数据损坏下泛化性不足的问题，提出结合密度感知采样与自熵最小化的关键子集识别方法CSI，显著提升了损坏基准上的识别鲁棒性。
A B-Spline Function Based 3D Point Cloud Unwrapping Scheme for 3D Fingerprint Recognition and Identification
本文提出基于B样条曲线拟合的3D点云解缠方法，用于3D指纹识别与鉴定，通过减少高度变化和注册限制，提升识别精度和鲁棒性。
Certified L2-Norm Robustness of 3D Point Cloud Recognition in the Frequency Domain
本文提出频域认证框架 FreqCert，利用图傅里叶变换和谱相似性子采样构建子点云并通过多数投票分类，为三维点云识别提供针对全局 L2 扰动的可认证鲁棒性，在多个数据集上取得更高认证准确率。
Improving Video Violence Recognition with Human Interaction Learning on 3D Skeleton Point Clouds
本研究从3D骨架点云视角出发，提出局部与全局两种骨架点交互学习策略，有效提升视频暴力识别性能，在相关数据集上达到当前最优水平。
Efficient 3D Point Cloud Feature Learning for Large-Scale Place Recognition
由于场景在变化的环境中会发生剧烈的外观和光照变化，基于点云的位置检索仍然是一个具有挑战性的问题。用于检索任务的现有的基于深度学习的全局描述符通常消耗大量的计算资源（例如，存储器），这可能不适合于有限硬件资源的情况。在本文中，我们开发了一个高效的点云学习网络（EPC-Net），形成一个全局描述符的视觉位置识别，它可以获得良好的性能，减少计算内存和推理时间。首先，我们提出了一个轻量级的，但有效的神经网络模块，称为ProxyConv，聚集点云的局部几何特征。我们利用空间相邻矩阵和代理点来简化原始边缘卷积，以降低内存消耗。然后，我们设计了一个轻量级的分组VLAD网络（G-VLAD），以形成全局描述符检索。与原有的VLAD网络相比，提出了一种分组全连通（GFC）层，将高维向量分解为一组低维向量，减少了网络参数的数量，同时保持了特征向量的区分度。最后，为了进一步减少推理时间，我们开发了一个简单版本的EPC-Net，称为EPC-Net-L，它由两个ProxyConv模块和一个最大池化层组成，用于聚合全局描述符。EPC-Net-L通过提取EPC-Net中的知识，得到具有区分性的全局描述符，用于检索。在牛津数据集和三个内部数据集上的大量实验表明，我们提出的方法可以以较低的参数，FLOPs和每帧运行时间实现最先进的性能。
GaitPoint+: A Gait Recognition Network Incorporating Point Cloud Analysis and Recycling
本文提出GaitPoint+步态识别网络，将骨架关键点建模为3D点云并以轻量点处理提取特征，再与轮廓特征融合，同时通过Recycling Max-Pooling回收被最大池化丢弃的关键点，显著提升多种CNN基线性能。
Computation-Efficient and Recognition-Friendly 3D Point Cloud Privacy Protection
针对三维点云隐私泄露问题，提出PointFlowGMM框架，通过流生成模型投影至高斯混合子空间并引入角度相似性损失混淆几何结构，同时随机正交旋转保护数据，在缩小模型至120MB的同时保持识别性能。
Point-cloud-based place recognition using CNN feature extraction
本文提出了一种新的基于点云的地点识别系统，该系统采用深度学习方法进行特征提取。通过使用在彩色图像上预训练的卷积神经网络来从范围图像中提取特征，而无需对额外范围图像进行微调，与使用手工制作的特征相比，已经观察到显著的改进。所得到的系统是光照不变，旋转不变和鲁棒性对移动对象无关的地方身份。除了系统本身，我们还为社区带来了一个新的地方识别数据集，包含点云和灰度图像，涵盖了完整的$360^\circ$环境视图。此外，数据集的组织方式，它有利于实验验证旋转不变性或鲁棒性对无关的移动对象分开。
Duodepth: Static Gesture Recognition Via Dual Depth Sensors
静态手势识别是用户和他们的设备之间的有效的非语言通信信道;然而，许多现代方法对用户的手相对于捕获设备的相对姿势敏感，因为手势的部分可能被遮挡。我们提出了两种方法，通过同步记录从两个深度相机的手势识别，以减轻这种遮挡问题。一种是更经典的方法，使用迭代最近点配准来精确地融合点云和用于分类的单个PointNet架构，另一种是用于分类而无需配准的双PointNet架构。在手动收集的20，100个点云数据集上，与标准单相机管道相比，融合点云方法的错误分类减少了39.2%，双PointNet减少了53.4%。
InCloud: Incremental Learning for Point Cloud Place Recognition
位置识别是机器人技术的一个基本组成部分，近年来通过使用深度学习模型，位置识别得到了巨大的改进。当部署在看不见的或高度动态的环境中时，网络可能会经历性能的显著下降，并且需要对收集的数据进行额外的培训。然而，对新的训练分布进行天真的微调可能会导致以前访问过的域的性能严重下降，这种现象称为灾难性遗忘。在本文中，我们解决了点云位置识别的增量学习问题，并介绍了InCloud，一种基于结构感知的蒸馏方法，它保留了网络嵌入空间的高阶结构。我们在四个流行的大规模LiDAR数据集（Oxford，MulRan，In-house和KITTI）上引入了几个具有挑战性的新基准，显示了各种网络架构上点云位置识别性能的广泛改进。据我们所知，这项工作是第一个有效地应用增量学习点云位置识别。本文的数据预处理、训练和评估代码可以在https://github.com/csiro-robotics/InCloud上找到。
Invariant Training 2D-3D Joint Hard Samples for Few-Shot Point Cloud Recognition
提出InvJoint不变性训练策略，通过强化2D-3D联合难样本并寻求冲突预测间的不变性，提升少样本点云识别的跨模态集成性能。
3D Adaptive Structural Convolution Network for Domain-Invariant Point Cloud Recognition
本文提出3D自适应结构卷积网络（3D-ASCN），通过结合3D卷积核、结构树和自适应邻域采样提取域不变几何特征，在无需参数调整的情况下提升自动驾驶点云识别在不同传感器配置下的鲁棒性与效率。
MANet: Multimodal Attention Network based Point- View fusion for 3D Shape Recognition
三维形状识别作为三维视觉研究的一个重要课题，受到了越来越多的关注。3D数据的激增鼓励了基于3D数据的各种深度学习方法。现在已经有许多基于点云数据或多视图数据的深度学习模型。然而，在大数据时代，整合两种不同模态的数据以获得统一的3D形状描述符势必会提高识别精度。因此，本文提出了一种基于多模态注意力机制的融合网络用于三维形状识别。考虑到多视点数据的局限性，提出了一种软注意方案，利用全局点云特征对多视点特征进行过滤，实现了两种特征的有效融合。更具体地说，我们通过挖掘每个多视图图像对整体形状识别的贡献来获得增强的多视图特征，然后融合点云特征和增强的多视图特征以获得更具鉴别力的3D形状描述符。在ModelNet40数据集上进行了相关实验，实验结果验证了该方法的有效性。
FRAME: Fast and Robust Autonomous 3D point cloud Map-merging for Egocentric multi-robot exploration
本文提出了一种独立于初始猜测的3D点云地图合并框架FRAME，利用位置识别描述符进行快速区域重叠估计，并结合Fast-GICP算法实现精细对齐，有效解决了异构多机器人探索中的地图集成问题。
Semantic Graph Based Place Recognition for 3D Point Clouds
由于难以生成对遮挡和视点变化具有鲁棒性的有效描述符，三维点云的位置识别仍然是一个悬而未决的问题。与大多数专注于提取原始点云的局部，全局和统计特征的现有方法不同，我们的方法旨在语义级别，可以在对环境变化的鲁棒性方面更胜一筹。受人类通过识别语义对象并捕捉它们之间关系来识别场景的观点的启发，本文提出了一种新的基于语义图的地点识别方法。首先，我们提出了一种新的语义图表示的点云场景，通过保留原始点云的语义和拓扑信息。因此，地点识别被建模为图匹配问题。然后设计了一个快速有效的图相似度网络来计算相似度。在KITTI数据集上的详尽评估表明，我们的方法对遮挡和视点变化具有鲁棒性，并且以较大的幅度优于最先进的方法。我们的代码可从以下网址获得：\url{https://github.com/kxhit/SG_PR}。
3D objects and scenes classification, recognition, segmentation, and reconstruction using 3D point cloud data: A review
本文系统综述了3D点云在物体与场景分类、识别、分割及重建中的技术，提出分类体系，对比数据集与性能，并指出挑战与未来方向。
Target-Guided Adversarial Point Cloud Transformer Towards Recognition Against Real-world Corruptions
针对现有基于Transformer的点云识别模型易过拟合、抗损坏鲁棒性不足的问题，提出集成对抗显著性标识符与目标引导提示器的APCT架构，通过迭代对抗特征擦除增强全局结构捕捉，在多个损坏基准上达SOTA。
InOR-Net: Incremental 3D Object Recognition Network for Point Cloud Representation
三维物体识别已经成功地成为现实世界中一个吸引人的研究课题。然而，大多数现有的识别模型不合理地假设，在现实世界中的3D对象的类别不会随着时间的推移而改变。这种不切实际的假设可能会导致它们连续学习3D对象的新类的显著性能下降，这是由于对旧学习类的灾难性遗忘。此外，他们不能探索哪些3D几何特征对于减轻旧类3D对象上的灾难性遗忘是必不可少的。为了解决上述挑战，我们开发了一种新的增量3D对象识别网络（即，InOR-Net），通过克服对旧类的灾难性遗忘，不断识别新类的三维对象。具体而言，类别引导的几何推理提出了理由局部几何结构与独特的3D特征的每个类，利用内在的类别信息。然后，我们提出了一种新的批评引起的几何注意力机制，以区分每个类内的3D几何特征是有益的，以克服旧类的3D对象的灾难性遗忘，同时防止无用的3D特征的负面影响。此外，设计了一种双重自适应公平性补偿策略，通过补偿分类器的偏置权值和预测值来克服类不平衡带来的遗忘。对比实验验证了所提出的InOR-Net模型在几个公共点云数据集上的最新性能。
Zero-shot Learning of 3D Point Cloud Objects
最近的深度学习架构可以很好地识别先前看到的类的3D点云对象的实例。同时，当前的3D深度相机技术允许从任意场景生成/分割大量的3D点云对象，对于任意场景，没有先前看到的训练数据。因此，3D点云识别系统的一个挑战是从新的、不可见的类别中对对象进行分类。这个问题可以通过对3D数据采用零样本学习（zero-shot learning，简称ZNL）方法来解决，类似于同一问题的2D图像版本。CAMEL试图通过比较可见和不可见类的语义信息（属性/词向量）来对不可见对象进行分类。在这里，我们适应了最近的几个3D点云识别系统，其架构的一些变化，以适应CNOL设置。据我们所知，这是第一次尝试分类看不见的3D点云对象在CNOL设置。一个标准的协议（包括数据集的选择和看到/看不到的分裂），以评估这样的系统也提出了。基线性能报告使用新的协议在调查模型。这项调查对3D点云识别社区提出了新的挑战，可能会引发许多未来的工作。
MinkUNeXt: Point Cloud-based Large-scale Place Recognition using 3D Sparse Convolutions
提出完全基于3D稀疏卷积残差块MinkNeXt Block的MinkUNeXt点云地点识别架构，结合U-Net多尺度特征提取与GeM聚合，在Oxford RobotCar和In-house上超越现有方法。
Sign Language Recognition Using Original and Synthetic Depth Image Based Point Cloud Data Models
该研究利用Depth Anything V2生成合成深度图像，结合三个手语数据集，采用PointNet等模型对比原始与合成深度图像点云的手语识别性能，发现多数模型中原始数据性能更优，部分模型合成数据更优。
Towards real-time object recognition and pose estimation in point clouds
对象识别和6 DoF位姿估计是计算机视觉应用中非常具有挑战性的任务。尽管这些任务效率很高，但标准方法提供的处理速率远非实时的【形】。本文提出了一种新的管道来估计一个精细的6自由度的对象位姿，应用于现实场景中的实时的【形】。我们把建议分成三个主要部分。首先，颜色特征分类利用在ImageNet上训练的预训练CNN颜色特征进行目标检测。基于轮廓的配准模块进行粗略的姿态估计，并且最后，精细调整步骤执行基于ICP的密集配准。在最好的情况下，我们的建议在RGB-D场景数据集上实现了近83%的准确性性能。关于处理时间，目标检测任务以高达90 FPS的帧处理速率完成，并且在完全执行策略中以几乎14 FPS的姿态估计完成。我们讨论，由于建议的模块化，我们可以让完全执行只发生在必要时，并执行一个预定的执行解锁实时的【形】处理，即使是多任务的情况。
Fast 3D point clouds retrieval for Large-scale 3D Place Recognition
本文提出将可微搜索索引（DSI）适配于3D点云检索，通过Vision Transformers结合位置与语义编码生成1D标识符，实现常数时间直接检索，在公共基准上验证了其在位置识别中的质量与速度优势。
PVRNet: Point-View Relation Neural Network for 3D Shape Recognition
三维（3D）形状识别在计算机视觉领域引起了广泛的研究关注。深度学习的进步鼓励了用于3D特征表示的各种深度模型。针对点云和多视图数据这两种常用的三维数据形态，提出了不同的模型，并取得了显著的效果。然而，点云和视图之间的关系却很少被研究。在本文中，我们介绍了点视图关系网络（PVRNet），一个有效的网络设计，很好地融合了视图功能和点云功能与建议的关系评分模块。更具体地，基于关系得分模块，首先通过融合点云特征和具有点单视图关系的每个单视图特征来提取点单视图融合特征，然后通过融合点云特征和具有点多视图关系的不同数目的视图的特征来提取点多视图融合特征。最后，将点-单视图融合特征和点-多视图融合特征进一步结合起来，实现了三维形状的统一表示。我们提出的PVRNet已经在ModelNet 40数据集上进行了评估，用于3D形状分类和检索。实验结果表明，我们的模型可以实现显着的性能改善相比，国家的最先进的模型。
DSC: Deep Scan Context Descriptor for Large-Scale Place Recognition
基于激光雷达的位置识别是一个重要的和具有挑战性的任务，无论是在循环闭合检测和全球重定位。我们提出了深度扫描上下文（DSC），一个通用的和歧视性的全局描述符，捕捉点云的片段之间的关系。与以前的方法，利用语义或相邻的点云序列更好地识别，我们只使用原始点云，以获得有竞争力的结果。具体地说，我们首先对点云进行自我中心分割，得到线段的质心和特征值。然后，我们引入了一个图神经网络来聚合这些特征到一个嵌入表示。在KITTI数据集上进行的大量实验表明，DSC对场景变体具有鲁棒性，并且优于现有方法。
PointMCD: Boosting Deep Point Cloud Encoders via Multi-view Cross-modal Distillation for 3D Shape Recognition
针对点云编码器学习能力不足的问题，提出多视图跨模态蒸馏框架PointMCD，通过可见性感知特征投影实现2D视觉与3D几何特征对齐，有效提升点云编码器在多类3D任务上的性能。
Improving Adversarial Robustness for 3D Point Cloud Recognition at Test-Time through Purified Self-Training
针对3D点云识别中对抗纯化方法计算开销大及流式测试场景的挑战，提出测试时纯化自训练策略，结合自适应阈值与特征分布对齐动态更新模型，有效应对持续变化的对抗攻击。
PRFusion: Toward Effective and Robust Multi-Modal Place Recognition with Image and Point Cloud Fusion
针对地点识别需兼顾准确性与环境鲁棒性的挑战，提出PRFusion与PRFusion++两种多模态融合模型，通过不同特征融合机制结合神经扩散层，在多个基准上取得SOTA性能，在Boreas数据集上AR@1领先现有模型3.0。
T3DNet: Compressing Point Cloud Models for Lightweight 3D Recognition
针对3D点云模型难以部署到边缘设备的问题，本文提出T3DNet，通过预定义微型模型并结合增强网络与原模型的辅助蒸馏监督，实现高压缩率、低延迟且精度损失很小。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈
发表机构由 AI 从论文文本抽取，如发现错误，欢迎反馈修正建议。