IPOD: Intensive Point-based Object Detector for Point Cloud
Youtu Lab, Tencent(腾讯优图实验室);The Chinese University of Hong Kong(香港中文大学)
提出了一种基于原始点云的三维目标检测框架IPOD。它为每个点播种对象建议,这是基本元素。这种范式为我们提供了高召回率和高保真度的信息,从而为处理点云数据提供了合适的方法。我们设计了一个端到端的可训练架构,其中建议内的所有点的特征从骨干网络中提取,并实现最终边界推理的建议功能。这些具有上下文信息和精确点云坐标的功能可以提高性能。我们在KITTI数据集上进行实验,评估我们在3D目标检测、鸟瞰图(BEV)检测和2D目标检测方面的性能。我们的方法完成了新的国家的最先进的,显示出很大的优势,在硬集。
2018-12-13 cs.CV
Shape-Prior-Based Point Cloud Completion for Single-Stage Fully Sparse 3D Object Detection
School of Computer Science and Engineering, Nanjing University of Science and Technology(南京理工大学计算机科学与工程学院)
针对单阶段全稀疏3D检测器中点云稀疏和不完整的问题,提出一种基于形状先验的点云补全方法,通过实例选择和对齐补全模块显著提升检测性能。
2026-05-30 cs.CV
Zero-shot Learning of 3D Point Cloud Objects
Australian National University(澳大利亚国立大学);Data61-CSIRO(数据61-澳大利亚联邦科学与工业研究组织)
最近的深度学习架构可以很好地识别先前看到的类的3D点云对象的实例。同时,当前的3D深度相机技术允许从任意场景生成/分割大量的3D点云对象,对于任意场景,没有先前看到的训练数据。因此,3D点云识别系统的一个挑战是从新的、不可见的类别中对对象进行分类。这个问题可以通过对3D数据采用零样本学习(zero-shot learning,简称ZNL)方法来解决,类似于同一问题的2D图像版本。CAMEL试图通过比较可见和不可见类的语义信息(属性/词向量)来对不可见对象进行分类。在这里,我们适应了最近的几个3D点云识别系统,其架构的一些变化,以适应CNOL设置。据我们所知,这是第一次尝试分类看不见的3D点云对象在CNOL设置。一个标准的协议(包括数据集的选择和看到/看不到的分裂),以评估这样的系统也提出了。基线性能报告使用新的协议在调查模型。这项调查对3D点云识别社区提出了新的挑战,可能会引发许多未来的工作。
2019-02-27 cs.CV
FVNet: 3D Front-View Proposal Generation for Real-Time Object Detection from Point Clouds
Shanghai Jiao Tong University(上海交通大学)
从原始和稀疏点云的三维目标检测已经远远低于处理日期,与其2D对应。在本文中,我们提出了一个新的框架称为FVNet的三维前视图建议生成和目标检测从点云。它包括两个阶段:生成前视图建议和估计三维限界框参数。而不是从相机图像或鸟瞰图生成建议,我们首先将点云投影到圆柱表面上,以生成保留丰富信息的前视图特征图。然后,我们引入了一个建议生成网络,从生成的地图中预测3D区域建议,并进一步从整个点云中挤出感兴趣的对象。最后,我们提出了另一个网络提取逐点的功能,从挤出的对象点,并回归最终的三维限界框参数的规范坐标。我们的框架实现了12毫秒每个点云样本实时的【形】性能。在3D检测基准KITTI上进行的大量实验表明,所提出的架构在精度和推理时间方面优于将摄像机图像或点云作为输入的最先进技术。
2019-11-26 cs.CV
Contextual Modeling for 3D Dense Captioning on Point Clouds
National Space Science Center, Chinese Academy of Sciences(中国科学院国家空间科学中心);University of Chinese Academy of Sciences(中国科学院大学);University of Rochester(罗切斯特大学);Meituan(美团)
3D密集字幕作为一种新兴的视觉语言任务,其目的是从一组点云中识别和定位每个对象,并生成描述每个定位对象的独特的自然语言语句。然而,现有的方法主要集中在挖掘对象间的关系,而忽略了点云内部的上下文信息,特别是非对象细节和背景环境,从而导致描述质量不高,如相对位置信息不准确。在本文中,我们第一次尝试利用点云聚类功能作为上下文信息,以提供点云的非对象细节和背景环境,并将它们纳入到3D密集字幕任务。我们提出了两个独立的模块,即全球上下文建模(GCM)和本地上下文建模(LCM),在一个由粗到精的方式来执行点云的上下文建模。具体地说,GCM模块利用全局上下文信息捕捉所有对象之间的对象关系,以获得整个点云的更完整的场景信息。LCM模块利用目标对象的邻近对象和局部上下文信息的影响来丰富对象表示。通过这种全局和局部上下文建模策略,我们提出的模型可以有效地表征对象表示和上下文信息,从而生成全面和详细的描述所定位的对象。在ScanRefer和Nr3D数据集上的大量实验表明,该方法在3D密集字幕任务上创下了新的记录,并验证了我们提出的点云上下文建模的有效性。
2022-10-08 cs.CV
PointVoteNet: Accurate Object Detection and 6 DoF Pose Estimation in Point Clouds
University of Southern Denmark(南丹麦大学)
提出了一种基于学习的点云数据中刚体6自由度位姿估计方法。许多最近的基于学习的方法主要使用RGB信息来检测对象,在某些情况下使用深度数据添加细化步骤。我们的方法消耗无序点集与/不RGB信息,从初始检测到最终的变换估计阶段。这使我们能够实现准确的姿态估计,在某些情况下超过了在相同数据上训练的最先进的方法。
2020-06-17 cs.CV
Boosting Single-Frame 3D Object Detection by Simulating Multi-Frame Point Clouds
CUHK(香港中文大学);Max Planck Institute(马克斯·普朗克研究所);Zhejiang University(浙江大学)
为了提高单帧3D目标检测的检测器,我们提出了一种新的方法来训练它来模拟在多帧点云上训练的检测器的特征和响应。我们的方法只在训练单帧检测器时需要多帧点云,并且一旦训练好,它就可以在推理过程中仅用单帧点云作为输入来检测对象。我们设计了一个新的模拟多帧单阶段目标检测器(SMF-SSD)框架来实现该方法:多视图稠密目标融合以使地面真实目标稠密化以生成多帧点云;自注意体素蒸馏以促进从多帧体素到单帧体素的一对多知识传递;多尺度BEV特征蒸馏以传递低级别空间和高级别语义BEV特征中的知识;以及自适应响应蒸馏以激活高置信度和准确定位的单帧响应。Waymo测试集上的实验结果表明,我们的SMF-SSD在mAP和mAPH方面始终优于所有最先进的单帧3D对象检测器,适用于难度级别为1和2的所有对象类别。
2022-07-12 cs.CV
Point-GNN: Graph Neural Network for 3D Object Detection in a Point Cloud
Carnegie Mellon University(卡内基梅隆大学)
在本文中,我们提出了一个图神经网络检测对象从激光雷达点云。为此,我们在一个固定半径的近邻图中有效地编码点云。我们设计了一个图神经网络,称为Point-GNN,用于预测图中每个顶点所属对象的类别和形状。在Point-GNN中,我们提出了一种自动配准机制来减少平移方差,并设计了一种框合并和评分操作来准确地组合来自多个顶点的检测。我们在KITTI基准测试上的实验表明,该方法仅使用点云就达到了领先的精度,甚至可以超过基于融合的算法。我们的研究结果表明,潜在的使用图神经网络作为一种新的方法,三维目标检测。代码可在https://github.com/WeijingShi/Point-GNN上获得。
2020-03-02 cs.CV
A Density-Aware PointRCNN for 3D Object Detection in Point Clouds
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
提出了一种改进的PointRCNN用于三维目标检测,其中采用多分支骨干网络来处理点云密度不均匀的问题。提出了一种基于不确定性的采样策略,以处理不同点云的分布差异。新模型在KITTI val集上可以实现比基线PointRCNN高约0.8AP的性能。此外,一个简化的模型,使用一个单一的规模分组为每个集合抽象层可以实现具有竞争力的性能与更少的计算成本。
2021-01-08 cs.CV
Classification of Single-View Object Point Clouds
South China University of Technology(华南理工大学);Peng Cheng Laboratory(鹏城实验室)
自ModelNet和ShapeNet等基准数据集发布以来,对象点云分类引起了极大的研究关注。这些基准测试假设点云覆盖对象实例的完整表面,为此已经开发了大量高性能的方法。然而,它们的设置偏离了实践中经常遇到的设置,在实践中,由于(自)遮挡,从任意视图捕获覆盖对象部分表面的点云。在本文中,我们表明,现有的点云分类器的性能急剧下降下所考虑的单视图,部分设置;该现象是一致的观察,部分对象表面的语义类别是不那么模糊,只有当它在整个表面上的分布是明确规定的。为此,我们主张一个单视图,部分设置对象姿态估计的监督学习应伴随着分类。从技术上讲,我们提出了一种姿势伴随点云分类网络(PAPNet)的基线方法;建立在SE(3)-等变卷积的基础上,PAPNet学习矢量场上定义的等变特征的中间姿势变换,这使得后续分类更容易(理想情况下)在类别级别,规范姿势。通过将现有的ModelNet 40和ScanNet数据集适应于单视图、部分设置,实验结果可以验证目标姿态估计的必要性以及我们的PAPNet相对于现有分类器的优越性。
2022-02-27 cs.CV
Free-form Description Guided 3D Visual Graph Network for Object Grounding in Point Cloud
Xidian University(西安电子科技大学);Hunan University(湖南大学);The University of Western Australia(西澳大学)
3D对象接地旨在基于自由形式的语言描述在原始点云场景中定位最相关的目标对象。由于点云的不规则性和稀疏性,理解复杂多样的描述并将其直接提升为点云是一个新的具有挑战性的课题。3D对象接地主要有三个挑战:在复杂多样的描述中找到主要焦点;理解点云场景;定位目标对象。在本文中,我们将解决所有三个挑战。首先,我们提出了一个语言场景图模块来捕捉丰富的结构和长距离短语相关性。其次,我们引入了一个多层次的三维建议关系图模块来提取对象与对象、对象与场景的共现关系,增强了初始建议的视觉特征。最后,我们开发了一个描述引导的三维可视化图形模块,通过节点匹配策略对短语和建议的全局上下文进行编码。在具有挑战性的基准数据集(ScanRefer和Nr 3D)上进行的大量实验表明,我们的算法优于现有的最先进的算法。我们的代码可以在https://github.com/PNXD/FFL-3DOG上找到。
2021-03-30 cs.CV
Open-Vocabulary Point-Cloud Object Detection without 3D Annotation
本文提出分治策略解决开放词汇3D点云检测,利用2D图像和视觉-语言预训练模型监督点云检测器定位与分类,并设计去偏三重态跨模态对比学习,实现无需3D标注的检测,在ScanNet和SUN RGB-D上显著优于基线。
2023-05-17 cs.CV
MoDAR: Using Motion Forecasting for 3D Object Detection in Point Cloud Sequences
Waymo LLC(Waymo有限责任公司)
本文提出MoDAR,将运动预测生成的虚拟点与LiDAR点云融合以增强3D检测,在Waymo数据集上利用18秒序列显著提升现有检测器并达到新SOTA。
2023-06-05 cs.CV
Object Detection in 3D Point Clouds via Local Correlation-Aware Point Embedding
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Fraunhofer Center for Machine Learning(弗劳恩霍夫机器学习中心);Fraunhofer IOSB(弗劳恩霍夫光电、系统技术与图像利用研究所)
提出了一种基于FrustumPointNet(F-PointNet)的点云数据三维目标检测的改进方法。与原始的F-PointNet相比,我们新提出的方法在计算点特征时考虑了点邻域。新引入的局部邻域嵌入操作模仿了2D神经网络中的卷积操作。因此,每个点的特征不仅用其自身的特征或整个点云的特征来计算,而且特别是关于其邻居的特征来计算。实验结果表明,该方法在三维目标检测任务中取得了比F-Pointnet基线更好的性能。
2023-01-11 cs.CV
A Survey of Robust 3D Object Detection Methods in Point Clouds
Technical University of Munich(慕尼黑工业大学)
这项工作的目的是审查国家的最先进的激光雷达为基础的三维目标检测方法,数据集和挑战。我们描述了新的数据增强方法,采样策略,激活函数,注意力机制和正则化方法。此外,我们列出了最近推出的归一化方法,学习率调度和损失函数。此外,我们还介绍了10种新型自动驾驶数据集的优点和局限性。我们在KITTI、nuScenes和Waymo数据集上评估了新型3D对象检测器,并展示了它们的准确性、速度和鲁棒性。最后,我们提到了当前在LiDAR点云中进行3D目标检测的挑战,并列出了一些悬而未决的问题。
2022-03-31 cs.CV
Revisiting Point Cloud Classification: A New Benchmark Dataset and Classification Model on Real-World Data
Hong Kong University of Science and Technology(香港科技大学);Singapore University of Technology and Design(新加坡科技设计大学);The University of Tokyo(东京大学);Deakin University(迪肯大学)
针对点云数据的深度学习技术在解决3D计算机视觉中的经典问题(如3D对象分类和分割)方面表现出巨大的潜力。最近的几种3D对象分类方法在CAD模型数据集(如ModelNet 40)上具有最先进的性能,准确率高达92%。尽管如此令人印象深刻的结果,在本文中,我们认为,对象分类仍然是一个具有挑战性的任务时,对象的框架与现实世界的设置。为了证明这一点,我们引入了ScanObjectNN,这是一种基于扫描室内场景数据的新的真实世界点云对象数据集。从我们的综合基准,我们表明,我们的数据集构成了巨大的挑战,现有的点云分类技术,从现实世界的扫描对象往往是杂乱的背景和/或部分由于闭塞。我们确定了点云对象分类的三个关键问题,并提出了新的点云分类神经网络,实现了最先进的性能分类对象与杂乱的背景。我们的数据集和代码在我们的项目页面https://hkust-vgd.github.io/scanobjectnn/中公开。
2019-08-19 cs.CV
DPointNet: A Density-Oriented PointNet for 3D Object Detection in Point Clouds
Research Center for Intelligent Computing Systems(智能计算系统研究中心);University of Chinese Academy of Sciences(中国科学院大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
对于当前的目标检测器,特征提取算子的感受野尺度通常逐层增大。这些操作符在本文中称为面向尺度的操作符,例如CNN中的卷积层和PointNet++中的集合抽象层。面向尺度的算子适用于具有多尺度对象的2D图像,但对于具有多密度但尺度不变对象的3D点云不自然。本文提出了一种新的面向密度的点网(DPointNet)算法,用于点云中的三维目标检测。在目标检测的实验中,将DPointNet应用于PointRCNN,实验结果表明,与基准PointRCNN相比,采用新算子的模型具有更好的性能和更高的速度,验证了DPointNet的有效性。
2021-02-07 cs.CV
Salient Object Detection for Point Clouds
Peking University Shenzhen Graduate School(北京大学深圳研究生院);Peng Cheng Laboratory(鹏城实验室)
研究了未探测任务点云显著目标检测(SOD)。与图像的SOD不同,我们发现点云的注意力转移可能会引起显着性冲突,即,一个对象矛盾地属于显着和非显着的类别。为了避免这个问题,我们提出了一种新的显着对象的视图依赖的角度,合理地反映点云场景中最引人注目的对象。根据这个公式,我们介绍了PCSOD,第一个为点云SOD提出的数据集,由2,872个室内/室外3D视图组成。我们数据集中的样本用分层注释标记,例如,超/子类,限界框和分割图,这赋予了我们的数据集验证各种架构的出色的通用性和广泛的适用性。为了证明我们的解决方案的可行性,我们进一步贡献了一个基线模型和基准五个代表性的模型进行全面的比较。该模型可以有效地分析不规则和无序的点检测显著对象。由于结合了任务定制的设计,我们的方法显示出明显的优越性,比其他基线,产生更令人满意的结果。大量的实验和讨论揭示了这一研究领域的潜力,为进一步研究铺平了道路。
2022-07-25 cs.CV
DetVPCC: RoI-based Point Cloud Sequence Compression for 3D Object Detection
Huazhong University of Science and Technology(华中科技大学)
针对VPCC无法区分点云区域重要性导致检测精度与码率权衡不佳的问题,提出DetVPCC,通过轻量级RoI检测器识别关键区域并分配非均匀质量等级,在nuScenes上显著提升3D目标检测精度。
2025-02-07 cs.CV
Occlusion Resistant Object Rotation Regression from Point Cloud Segments
University of Hamburg(汉堡大学)
已知刚性物体的旋转估计对于机器人应用例如灵巧操作是重要的。用于旋转估计的大多数现有方法使用中间表示,诸如模板、全局或局部特征描述符或对象坐标,其需要多个步骤以便推断对象姿态。我们建议使用卷积神经网络直接从原始点云片段回归姿态向量。实验结果表明,我们的方法可以潜在地实现竞争力的性能相比,一个国家的最先进的方法,同时也表现出更强的鲁棒性对遮挡。我们的方法不需要任何后处理,如迭代最近点算法的细化。
2018-12-02 cs.CV
Investigating Attention Mechanism in 3D Point Cloud Object Detection
Australian National University(澳大利亚国立大学);Data61-CSIRO;University of Technology Sydney(悉尼科技大学);Nanyang Technological University(南洋理工大学)
三维(3D)空间中的目标检测吸引了学术界和工业界的极大兴趣,因为它是人工智能驱动的应用(诸如机器人、自动驾驶和增强现实)中的基本任务。点云作为三维数据的基本格式,能够提供原始三维空间中物体的详细几何信息。然而,由于3D数据的稀疏性和无序性,需要专门设计的网络和模块来处理这类数据。注意力机制在不同的计算机视觉任务中取得了令人印象深刻的性能,然而,目前还不清楚注意力模块将如何影响3D点云目标检测的性能,以及什么样的注意力模块可以适合3D数据的固有属性。这项工作研究的注意力机制在三维点云目标检测的作用,并提供洞察不同的注意力模块的潜力。为了实现这一目标,我们全面研究了经典的2D注意力,新颖的3D注意力,包括SUN RGB-D和ScanNetV 2数据集上的最新点云Transformers。在详细的实验和分析的基础上,我们总结了不同的注意模块的效果。希望本文的研究成果能为关注嵌入式三维点云目标检测提供参考。代码和训练模型可在https://github.com/ShiQiu0419/attentions_in_3D_detection上获得。
2021-10-14 cs.CV
Boundary-Aware Dense Feature Indicator for Single-Stage 3D Object Detection from Point Clouds
Zhejiang University(浙江大学);Fabu Inc.(Fabu公司)
基于点云的三维目标检测越来越受到人们的重视。一些方法提出直接从原始点云定位3D对象以避免信息丢失。然而,这些方法具有复杂的结构和显著的计算开销,限制了其在实时场景中的更广泛应用。一些方法选择首先将点云数据转换为紧凑的张量,并利用现成的2D检测器来提出3D对象,这要快得多并获得最先进的结果。然而,由于2D和3D数据之间的不一致性,我们认为,紧凑的基于张量的3D检测器的性能受到限制,如果我们使用2D检测器没有相应的修改。具体来说,点云的分布是不均匀的,大多数点聚集在物体的边界上,而2D数据的检测器总是均匀地提取特征。出于这种观察,我们提出了DENSE特征指示器(DENFI),这是一个通用模块,可以帮助3D检测器以边界感知的方式关注点云的密集区域。此外,DENFI是轻量级的,并保证实时速度时,应用于3D物体探测器。KITTI数据集上的实验表明,DENFI显著提高了基线单级检测器的性能,在先前的3D检测器(包括两级和多传感器融合方法)中实现了新的最先进的性能,在mAP方面具有34FPS的检测速度。
2020-04-01 cs.CV
Drosophila-Inspired 3D Moving Object Detection Based on Point Clouds
National University of Defense Technology(中国人民解放军国防科技大学);National Innovation Institute of Defense Technology(国防科技创新研究院)
三维运动目标检测是动态景物分析中最关键的任务之一。在本文中,我们提出了一种新的果蝇启发的三维运动目标检测方法使用激光雷达传感器。根据初级运动检测器的原理,我们研制了一种基于果蝇浅层视觉神经通路的运动检测器。该检测器对目标的运动敏感,并能很好地抑制背景噪声。该方法通过设计不同连接方式的神经回路,以由粗到精的方式搜索运动区域,并提取每个运动区域的点云,形成运动对象建议。然后使用改进的3D目标检测网络来估计每个建议的点云,并有效地生成3D包围盒和对象类别。我们评估所提出的方法广泛使用的KITTI基准测试,并通过使用所提出的方法的运动检测的任务,获得了最先进的性能。
2020-05-06 cs.CV
PTTR: Relational 3D Point Cloud Object Tracking with Transformer
Nanyang Technological University(南洋理工大学);S-Lab, Nanyang Technological University(南洋理工大学S-Lab实验室);Sensetime Research(商汤科技研究院)
在点云序列中,3D对象跟踪的目的是在给定模板点云的情况下预测对象在当前搜索点云中的位置和方向。受Transformers成功的启发,我们提出了点跟踪变压器(PTTR),它有效地预测高质量的三维跟踪结果,在一个粗略到精细的方式与Transformer操作的帮助。PTTR由三种新颖的设计组成。1)代替随机采样,我们设计了一种基于感知的采样,在二次采样过程中保留与给定模板相关的点。2)此外,我们提出了一个点关系Transformer(PRT)的自注意和交叉注意模块组成。全局自注意操作捕获长范围依赖关系,以分别增强搜索区域和模板的编码点特征。随后,我们通过交叉注意匹配两组点特征来生成粗略的跟踪结果。3)基于粗跟踪结果,我们采用了一种新的预测细化模块,以获得最终的细化预测。此外,我们还基于Waymo Open Dataset创建了一个大规模点云单对象跟踪基准。大量的实验表明,PTTR实现优越的点云跟踪的准确性和效率。
2022-03-30 cs.CV
3D Object Tracking with Transformer
Northeastern University(东北大学)
特征融合和相似度计算是三维目标跟踪中的两个核心问题,特别是对于稀疏无序点云的目标跟踪。特征融合通过包含目标对象的信息,使相似度计算更加有效。然而,大多数现有的基于激光雷达的方法直接使用提取的点云特征来计算相似性,而忽略了跟踪过程中对象区域的注意力变化。本文提出了一种基于Transformer结构的特征融合网络。得益于自注意力机制,Transformer编码器捕捉点云不同区域之间的相互关系和内部关系。Transformer解码器利用交叉注意力融合特征,在当前点云特征中加入更多的目标线索,计算区域注意力,提高了相似度计算的效率。基于此特征融合网络,我们提出了一个端到端的点云目标跟踪框架,一个简单而有效的方法,用于3D目标跟踪使用点云。KITTI数据集上的综合实验结果表明,我们的方法达到了新的最先进的性能。代码可在:https://github.com/3bobo/lttr.
2021-10-28 cs.CV
Relation Graph Network for 3D Object Detection in Point Clouds
Hunan University(湖南大学);Xidian University(西安电子科技大学);The University of Western Australia(西澳大学);Edith Cowan University(伊迪丝·考恩大学)
卷积神经网络(CNN)已成为2D图像上大多数目标检测任务的强大策略。然而,它们的力量还没有完全实现直接检测点云中的3D对象,而不将它们转换为规则网格。现有的最先进的3D目标检测方法旨在单独地识别3D对象,而不利用它们在学习或推断期间的关系。在本文中,我们首先提出了一种策略,将方向向量和伪几何中心的预测关联在一起,从而为3D限界框候选回归提供双赢的解决方案。其次,我们提出了点注意力池,以提取统一的外观特征为每个3D对象的建议,受益于学习的方向特征,语义特征和空间坐标的对象点。最后,外观特征与位置特征一起用于为所有建议构建3D对象-对象关系图,以模拟它们的共存。我们探讨了监督和无监督设置下的建议的外观特征增强的关系图的效果。所提出的关系图网络由3D对象建议生成模块和3D关系模块组成,使其成为用于检测点云中的3D对象的端到端可训练网络。在具有挑战性的基准数据集(SunRGB-D和ScanNet数据集)上的实验表明,该算法的性能优于现有的最先进的方法。
2019-11-30 cs.CV
3D Focusing-and-Matching Network for Multi-Instance Point Cloud Registration
School of Electronics and Information, Northwestern Polytechnical University(西北工业大学电子信息学院)
针对多实例点云配准中全局对应关系受杂乱与遮挡影响的问题,提出3DFMNet,通过3D多物体聚焦和双掩码实例匹配实现成对配准,并在Scan2CAD与ROBI上达到最先进性能。
2025-01-06 cs.CV
6D Object Pose Regression via Supervised Learning on Point Clouds
University of Hamburg(汉堡大学);Tsinghua University(清华大学)
本文讨论了从点云表示的深度信息中估计已知3D对象的6个自由度姿态的任务。由卷积神经网络从颜色信息中学习的深度特征已经成为用于推断对象姿态的主要特征,而深度信息受到的关注要少得多。然而,深度信息包含丰富的几何信息的对象形状,这是重要的推断对象的姿态。我们使用点云表示的深度信息作为深度网络和基于几何的姿势优化的输入,并使用单独的网络进行旋转和平移回归。我们认为轴角表示是适合深度学习的旋转表示,并使用测地线损失函数进行旋转回归。消融研究表明,这些设计选择优于替代方案,如四元数表示和L2损失,或用相同的网络回归平移和旋转。我们简单而有效的方法在YCB视频数据集上明显优于最先进的方法。可在https://github.com/GeeeG/CloudPose上获取实施和训练模型。
2020-01-24 cs.CV
A Fast Location Algorithm for Very Sparse Point Clouds Based on Object Detection
受性能因素的限制,在低端移动设备上,尤其是单目摄像机下的增强现实(Augmented Reality,AR)场景中,目标物体的识别和定位是一项艰巨的任务。提出了一种在特征点稀疏的情况下,通过图像目标检测快速定位目标的算法。我们将YOLOv 3-Tiny引入到我们的算法中作为目标检测模块来过滤可能的点,并使用主成分分析(PCA)来确定位置。我们通过手持智能手机在手动设计的场景中进行实验,结果表明我们的方法具有很高的定位速度和精度。
2021-10-21 cs.CV
SCA-PVNet: Self-and-Cross Attention Based Aggregation of Point Cloud and Multi-View for 3D Object Retrieval
Institute for Infocomm Research, A*STAR(新加坡科技研究局资讯通信研究院)
本文提出SCA-PVNet,通过模态内自注意力和跨模态交叉注意力聚合点云与多视图特征,在多个数据集上验证了其三维物体检索性能优于现有方法。
2023-11-30 cs.CV
DV-Det: Efficient 3D Point Cloud Object Detection with Dynamic Voxelization
Hong Kong University of Science and Technology(香港科技大学)
在这项工作中,我们提出了一种新的两阶段的框架,有效的三维点云目标检测。我们不将点云转换为2D鸟瞰图投影,而是直接在3D空间中解析原始点云数据,同时实现了令人印象深刻的效率和准确性。为了实现这一目标,我们提出了动态体素化,一种方法,体素化点在本地规模上的飞行。通过这样做,我们保留了具有3D体素的点云几何形状,并且因此放弃了对昂贵的MLP的依赖以从点坐标学习。另一方面,我们本质上仍然遵循与逐点方法相同的处理模式(例如,PointNet),并且不再像传统卷积那样受到量化问题的困扰。为了进一步优化速度,我们提出了基于网格的下采样和体素化方法,并提供了不同的CUDA实现,以适应训练和推理阶段的不同要求。我们强调了我们在75 FPS的KITTI 3D目标检测数据集和25 FPS推理速度的Waymo Open数据集上的效率,并具有令人满意的准确性。
2021-07-27 cs.CV
Weakly Supervised 3D Object Detection from Point Clouds
Massachusetts Institute of Technology(麻省理工学院);Microsoft Research(微软研究院)
三维目标检测是场景理解中的一项重要任务,其目的是检测和定位属于特定类别的物体的三维边界框。现有的3D对象检测器在训练过程中严重依赖于带注释的3D边界框,而这些注释的获取成本可能很高,并且只能在有限的场景中使用。弱监督学习是一种很有前途的方法,以减少注释的要求,但现有的弱监督对象检测器大多是2D检测,而不是3D。在这项工作中,我们提出了VS3D,一个框架,用于弱监督的3D目标检测从点云,而不使用任何地面实况3D限界框进行训练。首先,我们介绍了一个无监督的3D建议模块,该模块通过利用归一化点云密度来生成对象建议。其次,我们提出了一种跨模态知识蒸馏策略,其中卷积神经网络通过查询在图像数据集上预训练的教师网络来学习预测3D对象提案的最终结果。在具有挑战性的KITTI数据集上进行的全面实验证明了我们的VS3D在各种评估设置中的卓越性能。源代码和预训练模型可在https://github.com/Zengyi-Qin/Weakly-Supervised-3D-Object-Detection上公开获取。
2020-07-28 cs.CV
GreenPCO: An Unsupervised Lightweight Point Cloud Odometry Method
University of Southern California(南加州大学);Tencent America(腾讯美国)
视觉里程计的目的是利用视觉传感器捕获的信息来跟踪物体的增量运动。本文研究了点云测距问题,该问题仅利用激光测距仪(LiDAR)获得的点云扫描数据来估计目标的运动轨迹。提出了一种轻量级的点云测距方法--绿色点云测距法(GreenPCO)。GreenPCO是一种通过匹配连续点云扫描的特征来预测物体运动的无监督学习方法。算法分为3个步骤。首先,使用几何感知的点采样方案从大的点云中选择判别点。其次,将视图划分为围绕目标的四个区域,并使用PointHop++方法提取点特征。第三,建立点对应以估计两个连续扫描之间的对象运动。在KITTI数据集上的实验验证了GreenPCO方法的有效性。实验结果表明,GreenPCO在模型规模和训练时间上均明显优于基准深度学习方法.
2022-07-17 cs.CV
Semantics-aware LiDAR-Only Pseudo Point Cloud Generation for 3D Object Detection
Halmstad University(哈尔姆斯塔德大学)
本文提出一种仅依赖LiDAR和场景语义的伪点云生成框架,通过分割模型与多模态域转换器生成密集语义点云,并利用语义引导投影提升3D目标检测性能,在KITTI上取得最高2.9%的提升。
2023-09-16 cs.CV
Hierarchical Object Parsing from Structured Noisy Point Clouds
Florida State University(佛罗里达州立大学)
从点云中解析和分割对象是一项具有挑战性的任务,因为相关数据仅作为沿对象边界或其他特征的薄结构可用,并且被大量噪声破坏。为了处理这种数据,需要灵活的形状模型,可以准确地遵循对象边界。流行的模型,如主动形状和主动外观模型缺乏必要的灵活性,这一任务,而最近的方法,如递归组合模型,使模型简化,以获得计算保证。本文研究了一种生成环境下的形状和外观的分层贝叶斯模型。输入数据由对象解析层解释,该对象解析层是具有高斯先验的隐藏PCA形状模型的变形。本文还介绍了一种新的高效的推理算法,使用知情的数据驱动的建议,以初始化本地搜索的隐藏变量。应用于结构化点云(如边缘检测图像)的对象解析问题,该方法在两个标准数据集上获得了最新的解析错误,而无需使用任何强度信息。
2012-09-15 cs.CV
VoxelNet: End-to-End Learning for Point Cloud Based 3D Object Detection
Apple Inc(苹果公司)
三维点云中物体的精确检测是许多应用中的核心问题,例如自主导航、家务机器人和增强/虚拟现实。为了将高度稀疏的LiDAR点云与区域建议网络(RPN)连接起来,大多数现有的努力都集中在手工制作的特征表示上,例如鸟瞰图投影。在这项工作中,我们消除了对3D点云进行手动特征工程的需求,并提出了VoxelNet,这是一种通用的3D检测网络,将特征提取和限界框预测统一到一个单阶段的端到端可训练深度网络中。具体来说,VoxelNet将点云划分为等距的3D体素,并通过新引入的体素特征编码(VFE)层将每个体素内的一组点转换为统一的特征表示。通过这种方式,点云被编码为描述性的体积表示,然后将其连接到RPN以生成检测。在KITTI汽车检测基准上的实验表明,VoxelNet的性能大大优于最先进的基于LiDAR的3D检测方法。此外,我们的网络学习了具有各种几何形状的物体的有效区分表示,从而在仅基于LiDAR的行人和骑自行车者的3D检测中取得了令人鼓舞的结果。
2017-11-17 cs.CV
Point Cloud Colorization Based on Densely Annotated 3D Shape Dataset
Nagoya University(名古屋大学)
本文介绍了DensePoint,一个密集采样和注释的点云数据集,包含16个类别的10,000多个单个对象,通过合并来自两个现有数据集的不同类型的信息。DensePoint中的每个点云包含40,000个点,每个点与两种信息相关联:RGB值和零件注释。此外,我们提出了一种利用生成对抗网络(GANs)的点云着色方法。该网络可以通过只给出点云本身来为单个对象的点云生成颜色。在DensePoint上的实验表明,在物体的不同部分之间的点云中存在清晰的边界,这表明所提出的网络能够生成相当好的颜色。我们的数据集在项目页面上公开提供。
2018-10-12 cs.CV
SSN: Shape Signature Networks for Multi-class Object Detection from Point Clouds
The Chinese University of Hong Kong(香港中文大学);SenseTime Research(商汤科技研究院);Hong Kong Baptist University(香港浸会大学)
多类三维目标检测的目标是从点云数据中定位和分类多类目标。由于点云数据的非结构化、稀疏性和噪声性,使得一些有利于多类识别的特征(如形状信息)没有得到充分利用。在本文中,我们提出了一种新的3D形状签名,探索从点云的形状信息。通过引入对称性、凸包和切比雪夫拟合等操作,形状特征不仅简洁有效,而且对噪声具有较强的鲁棒性,作为一种软约束,提高了特征的多类鉴别能力.在此基础上,提出了一种用于三维目标检测的形状特征网络(shape signature networks,SSN),该网络由金字塔特征编码部分、形状感知分组头和显式形状编码目标组成。在两个大规模数据集上的实验结果表明,该方法的性能明显优于现有方法。此外,我们的形状签名可以作为一个即插即用的组件和消融研究表明,其有效性和良好的可扩展性
2020-04-06 cs.CV
An Overview Of 3D Object Detection
Computer Science in Multimedia University of Alberta(阿尔伯塔大学多媒体计算机科学)
点云三维目标检测是近年来三维计算机视觉领域的一个研究热点。然而,由于点云的复杂性,在LiDAR(光检测和测距)中识别3D物体仍然是一个挑战。行人、骑自行车的人或交通锥等对象通常由非常稀疏的点表示,这使得仅使用点云进行检测非常复杂。在这个项目中,我们提出了一个框架,使用RGB和点云数据来执行多类对象识别。我们使用现有的2D检测模型来定位感兴趣区域(ROI)的RGB图像,其次是点云的像素映射策略,最后,解除初始的2D限界框到3D空间。我们使用最近发布的nuScenes数据集-一个包含许多数据格式的大规模数据集-来训练和评估我们提出的架构。
2020-10-29 cs.CV
PC-DAN: Point Cloud based Deep Affinity Network for 3D Multi-Object Tracking (Accepted as an extended abstract in JRDB-ACT Workshop at CVPR21)
University of Western Australia(西澳大学)
近年来,基于LIDAR(光检测和测距)传感器的技术范围已扩展到众多领域。它被广泛用于将地形和导航信息映射到可靠的3D点云数据中,可能会彻底改变自动驾驶汽车和辅助机器人行业。点云是三维坐标中空间数据的密集编译。它在建模复杂的真实世界场景中起着至关重要的作用,因为它保留了结构信息并避免了透视失真,而不像图像数据那样是3D结构在2D平面上的投影。为了利用激光雷达数据的内在功能,我们提出了一种基于PointNet的三维多目标跟踪(MOT)方法。
2021-06-03 cs.CV
CG-SSD: Corner Guided Single Stage 3D Object Detection from LiDAR Point Cloud
Wuhan University(武汉大学)
目前,基于锚点或无锚点的三维目标检测模型均采用中心分配器策略来推断三维边界框。然而,在现实场景中,激光雷达只能获取有限的物体表面点云,而物体的中心点是不存在的。通过聚集不完整的表面点云来获取目标,会带来方向和尺寸估计精度的损失。针对这一问题,本文提出了一种角点引导无锚点单级三维目标检测模型(CG-SSD),该模型首先利用由残差层和子流形稀疏卷积层组成的三维稀疏卷积骨干网络构建鸟瞰图(BEV)特征,然后利用精简的U型网络进行更深层次的特征挖掘;其次,提出了一种新的角点引导辅助模块(CGAM),将角点监控信号纳入神经网络。CGAM被明确地设计和训练来检测部分可见和不可见的角点,以获得更准确的对象特征表示,特别是对于小的或部分被遮挡的对象;最后,来自骨干网络和CGAM模块的深度特征被连接并馈送到头部模块,以预测场景中对象的分类和3D边界框。实验结果表明,CG-SSD在ONCE基准测试中使用单帧点云数据进行监督式3D目标检测,达到了最先进的性能,具有62.77%mAP。此外,在ONCE和Waymo Open Dataset上的实验表明,CGAM可以扩展到大多数基于锚点的模型,这些模型使用BEV特征来检测对象,作为插件,并带来+1.17%-+14.27%AP的改进。
2022-03-05 cs.CV
Global-Local Bidirectional Reasoning for Unsupervised Representation Learning of 3D Point Clouds
Tsinghua University(清华大学);Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院)
一个对象的局部模式和全局模式是密切相关的。虽然对象的每个部分都是不完整的,但对象的底层属性在所有部分之间是共享的,这使得从单个部分推理整个对象成为可能。我们假设,一个强大的表示的3D对象应该模型的属性之间共享的部分和整个对象,并从其他对象区分。基于这一假设,我们提出了学习点云表示在不同的抽象层次和全球形状的局部结构之间的双向推理没有人的监督。在各种基准数据集上的实验结果表明,无监督学习的表示在区分能力,泛化能力和鲁棒性方面甚至优于监督表示。我们表明,未经监督训练的点云模型在下游分类任务上的表现优于有监督的点云模型。最值得注意的是,通过简单地增加SSG PointNet++的通道宽度,我们的无监督模型在合成和真实世界的3D对象分类数据集上都超越了最先进的监督方法。我们希望我们的观察提供了一个新的视角,从数据结构而不是人类注释中学习更好的表示来理解点云。
2020-03-29 cs.CV
From Points to Parts: 3D Object Detection from Point Cloud with Part-aware and Part-aggregation Network
The Chinese University of Hong Kong(香港中文大学);SenseTime Research(商汤科技研究院)
从LiDAR点云数据中检测三维目标检测是三维场景理解中的一个具有挑战性的问题,有着广泛的实际应用。在本文中,我们将我们的初步工作PointRCNN扩展到一个新的,强大的基于点云的3D目标检测框架,部分感知和聚合神经网络(部分- $A^2$网)。整个框架由部件感知阶段和部件聚合阶段组成。首先,部件感知阶段首次充分利用来自3D地面实况框的免费部件监督,同时预测高质量的3D建议和准确的对象内部件位置。同一提案中的预测对象内部分位置由我们新设计的RoI感知点云池化模块分组,这导致有效的表示来编码每个3D提案的几何特定特征。然后,部件聚合阶段学习对框重新评分,并通过探索池化的对象内部件位置的空间关系来细化框位置。进行了大量的实验,以证明我们提出的框架的每个组件的性能改进。我们的Part- $A^2$网络优于所有现有的3D检测方法,并通过仅利用LiDAR点云数据在KITTI 3D目标检测数据集上实现了新的最先进技术。代码可在https://github.com/sshaoshuai/PointCloudDet3D上获得。
2020-03-16 cs.CV
MonoSIM: Simulating Learning Behaviors of Heterogeneous Point Cloud Object Detectors for Monocular 3D Object Detection
Nanjing University of Science and Technology(南京理工大学);Renmin University of China(中国人民大学);Nreal(Nreal(太若科技))
单目3D目标检测对于包括自动驾驶、机器人抓取和增强现实在内的许多应用来说是一项基本但非常重要的任务。现有的主要方法倾向于先估计输入图像的深度,然后基于点云检测三维物体。该例程受到深度估计和目标检测之间的固有间隙的影响。此外,预测误差的积累也会影响性能。本文提出了一种新的方法MonoSIM。引入MonoSIM背后的见解是,我们建议在训练期间模拟基于点云的检测器的特征学习行为。因此,在推理期间,学习的特征和预测将尽可能类似于基于点云的检测器。为了实现这一目标,我们提出了一个场景级仿真模块,一个ROI级仿真模块和一个响应级仿真模块,这些模块逐步用于检测器的全特征学习和预测管道。我们将我们的方法应用于著名的M3 D-RPN检测器和CaDDN检测器,在KITTI和Waymo Open数据集上进行了广泛的实验。结果表明,我们的方法一致地提高了性能的不同的单目检测器的大幅度,而不改变其网络架构。我们的代码将在https://github.com/sunh18/MonoSIM}{https://github.com/sunh18/MonoSIM}上公开。
2022-12-05 cs.CV
Learning geometry-image representation for 3D point cloud generation
Wuhan University(武汉大学)
研究了三维物体点云的生成问题。我们提出了一种新的基于几何图像的生成器(GIG),将三维点云生成问题转化为二维几何图像生成问题,而不是将对象离散化为具有巨大计算成本和分辨率限制的三维体素。由于几何图像是包含3D对象的表面点的完全规则的2D阵列,因此它利用2D阵列的规则性和3D表面的测地线邻域。因此,我们的GIG的一个显著优点是,它允许我们使用高效的2D图像生成网络直接生成3D点云。在刚性和非刚性3D对象数据集上的实验表明,我们的方法不仅可以创建合理和新颖的3D对象,而且还可以学习一个概率潜在空间,很好地支持插值和算术等形状编辑。
2020-11-29 cs.CV
Continual Learning for Pose-Agnostic Object Recognition in 3D Point Clouds
Technical University of Munich(慕尼黑工业大学);East China Normal University(华东师范大学)
持续学习的目的是不断地学习多个新任务,并将学习任务的表现保持在一个一致的水平。然而,关于持续学习的现有研究假设对象的姿态是预定义的并且是良好对准的。对于实际应用,这项工作的重点是姿态不可知的持续学习任务,其中对象的姿态变化动态和不可预测的。在持续学习的过程中,随着任务的增加,以往的点云扩充方法所需的点云扩充量会急剧增加。为了解决这个问题,我们将等方差作为额外的先验知识注入网络。我们提出了一种新的持续学习模型,有效地提取以前的任务的几何等方差信息。实验表明,我们的方法克服了姿势不可知的情况下,在几个主流的点云数据集的挑战。我们进一步进行消融研究,以评估我们方法的每个组成部分的有效性。
2022-09-11 cs.CV
Back-tracing Representative Points for Voting-based 3D Object Detection in Point Clouds
Beihang University(北京航空航天大学);The Chinese University of Hong Kong(香港中文大学);The University of Sydney(悉尼大学)
点云中的3D目标检测是一项具有挑战性的视觉任务,它有利于理解3D视觉世界的各种应用。最近的许多研究集中在如何利用端到端的可训练Hough投票来生成对象提案。然而,目前的投票策略只能接收来自潜在对象的表面的部分投票以及来自杂乱背景的严重离群投票,这阻碍了对来自输入点云的信息的充分利用。受传统Hough投票方法中回溯策略的启发,本文提出了一种新的三维目标检测方法--回溯代表点网络(BRNet),它从投票中心生成回溯代表点,并在这些生成点周围重新访问互补种子点,以便更好地从原始点云捕获潜在对象周围的精细局部结构特征。因此,在我们的BRNet中,这种自下而上然后自上而下的策略强制执行预测投票中心和原始表面点之间的相互一致性,从而实现更可靠和灵活的对象定位和类别预测结果。我们的BRNet简单但有效,在两个大规模点云数据集上的性能明显优于最先进的方法,ScanNet V2(mAP@0.50方面+7.5%)和SUN RGB-D(mAP@0.50方面+4.7%),同时它仍然是轻量级和高效的。代码将在https://github.com/cheng052/BRNet上提供。
2021-04-14 cs.CV
PointRCNN: 3D Object Proposal Generation and Detection from Point Cloud
The Chinese University of Hong Kong(香港中文大学)
在本文中,我们提出了PointRCNN的三维目标检测从原始点云。整个框架由两个阶段组成:第一阶段用于自底向上的3D建议生成,第二阶段用于在规范坐标中细化建议以获得最终检测结果。与以往的方法不同的是,该方法不需要从RGB图像生成建议,也不需要将点云投影到鸟瞰图或体素上,而是通过将整个场景的点云分割成前景点和背景,以自底向上的方式直接从点云生成少量高质量的3D建议。阶段2子网络将每个建议的池化点转换为规范坐标,以学习更好的局部空间特征,并将其与阶段1中学习的每个点的全局语义特征相结合,以进行准确的框细化和置信度预测。在KITTI数据集的3D检测基准上进行的大量实验表明,我们提出的架构仅使用点云作为输入,性能优于最先进的方法,具有显着的边缘。该代码可在https://github.com/sshaoshuai/PointRCNN上获得。
2019-05-16 cs.CV
RFNet-4D++: Joint Object Reconstruction and Flow Estimation from 4D Point Clouds with Cross-Attention Spatio-Temporal Features
The Hong Kong University of Science and Technology(香港科技大学);Deakin University(迪肯大学);Trinity College Dublin(都柏林圣三一学院);Woven by Toyota(丰田Woven公司)
本文提出RFNet-4D++网络,通过交叉注意力时空特征联合学习4D点云的物体重建与光流估计,实现最先进性能且训练推理更快。
2023-10-17 cs.CV
SWFormer: Sparse Window Transformer for 3D Object Detection in Point Clouds
Waymo LLC(Waymo有限责任公司)
点云中的3D目标检测是现代机器人和自动驾驶系统的核心组件。3D目标检测中的一个关键挑战来自3D场景内点占用的固有稀疏性质。在本文中,我们提出了稀疏窗口Transformer(SWFormer),一个可扩展的和准确的三维目标检测模型,它可以充分利用点云的稀疏性。SWFormer基于基于窗口的Transformers思想,将3D点转换为稀疏体素和窗口,然后使用桶方案有效地处理这些可变长度的稀疏窗口。除了在每个空间窗口内的自我关注,我们的SWFormer还捕获跨窗口相关性与多尺度特征融合和窗口移位操作。为了进一步解决从稀疏特征中准确检测3D对象的独特挑战,我们提出了一种新的体素扩散技术。Waymo开放数据集上的实验结果显示,我们的SWFormer在官方测试集上实现了最先进的73.36 L2 mAPH,用于车辆和行人的3D目标检测,优于之前所有的单阶段和两阶段模型,同时效率更高。
2022-10-13 cs.CV
Geometry-Aware Self-Training for Unsupervised Domain Adaptationon Object Point Clouds
South China University of Technology(华南理工大学);DexForce Technology Co., Ltd(德思科技股份有限公司);Peng Cheng Laboratory(鹏城实验室);Pazhou Laboratory(琶洲实验室)
由于不一致的数据采集过程,对象的点云表示可能具有较大的几何变化,从而导致由于不同且不可控的形状表示跨数据集而导致的域差异。为了从实用可行的角度提高对点云几何特征不可见分布的识别能力,提出一种几何感知自训练(GAST)方法,用于目标点云分类的无监督领域自适应。具体来说,本文旨在通过两个新的自监督几何学习任务作为特征正则化来学习语义类别的域共享表示。一方面,表示学习通过点云样本与其自生成的旋转标签的线性混合来授权,以捕获局部几何的全局拓扑配置。另一方面,跨数据集的不同点分布可以用新颖的曲率感知失真定位来归一化。在PointDA-10数据集上的实验表明,我们的GAST方法可以显着优于最先进的方法。
2021-08-20 cs.CV
Deep Hough Voting for 3D Object Detection in Point Clouds
Facebook AI Research(脸书人工智能研究院);Stanford University(斯坦福大学)
当前的3D目标检测方法受到2D检测器的严重影响。为了利用2D检测器中的架构,它们通常将3D点云转换为规则网格(即,体素网格或鸟瞰图像),或者依赖于2D图像中的检测来提出3D框。很少有作品试图直接检测点云中的物体。在这项工作中,我们回到第一原则,为点云数据构建一个3D检测管道,并尽可能通用。然而,由于数据的稀疏性-来自3D空间中的2D流形的样本-当直接从场景点预测限界框参数时,我们面临着一个主要挑战:3D对象质心可能远离任何表面点,因此很难在一步中准确回归。为了应对这一挑战,我们提出了VoteNet,这是一种基于深度点集网络和Hough投票协同作用的端到端3D目标检测网络。我们的模型在两个大型真实3D扫描数据集ScanNet和SUN RGB-D上实现了最先进的3D检测,具有简单的设计,紧凑的模型尺寸和高效率。值得注意的是,VoteNet通过使用纯粹的几何信息而不依赖彩色图像,比以前的方法表现更好。
2019-08-22 cs.CV
Towards Efficient Object Re-Identification with A Novel Cloud-Edge Collaborative Framework
Beijing University of Posts and Telecommunications(北京邮电大学)
本文提出一种用于目标重识别的云边协同推理框架及分布感知相关性建模网络(DaCM),通过隐式建模摄像头网络时空相关性,在云端调节上传窗口并在边缘调整图像序列,显著降低传输开销并提升系统性能。
2024-12-20 cs.CV
Object Scan Context: Object-centric Spatial Descriptor for Place Recognition within 3D Point Cloud Map
Beihang University(北京航空航天大学);Beijing Yihang Yuanzhi Technology Co., Ltd(北京一航远志科技有限公司)
针对现有激光雷达中心描述符在距离大时失效且仅算旋转的缺陷,提出围绕主对象的局部描述符,结合几何法精确计算相对位姿,并在KITTI数据集上验证了优越性。
2023-11-13 cs.CV