re-OBJ: Jointly Learning the Foreground and Background for Object Instance Re-identification
Istituto Italiano di Tecnologia(意大利理工学院);Università degli studi di Genova(热那亚大学)
对象实例重新识别的常规方法依赖于在一组帧之间匹配目标对象的外观。然而,当场景中存在具有相似外观的多个对象或相同对象类的多个实例时,单独学习对象的外观可能会失败。本文提出的背景的部分观察,可以用来帮助在对象重新识别任务的刚性场景,特别是一个刚性的环境,有很多重复出现的相同模型的对象。使用Mask R-CNN架构的扩展,我们学习将背景中的重要和独特信息与与刚性现实世界场景相关的前景联合编码,例如室内环境,其中对象是静态的,相机在场景中移动。我们证明了我们的联合视觉特征在重新识别ScanNet数据集中的对象方面的有效性,并显示出比deepSort方法在rank-1准确度上相对提高了约28.25%。
2019-09-23 cs.CV
Positive Pair Distillation Considered Harmful: Continual Meta Metric Learning for Lifelong Object Re-Identification
Computer Vision Center(计算机视觉中心);Universitat Autònoma de Barcelona(巴塞罗那自治大学);Nankai University(南开大学);University of Florence(佛罗伦萨大学);Huawei Kirin Solution(华为麒麟解决方案部)
终身对象重新识别从一系列重新识别任务中逐步学习。我们的目标是学习一个表示,可以应用于所有的任务,并概括到以前看不见的重新识别任务。主要的挑战是,在推理时,表示必须推广到以前看不见的身份。为了解决这个问题,我们将持续的Meta度量学习应用于终身对象重新识别。为了防止忘记以前的任务,我们使用知识蒸馏,并探讨积极和消极对的作用。根据我们的观察,蒸馏和度量损失是对立的,我们建议从蒸馏中删除正对,以增强模型更新。我们的方法,称为蒸馏无正对(DwoPP),在人和车辆重新识别数据集上进行了广泛的域内实验,以及在LReID基准上进行了域间实验。我们的实验表明,DwoPP显着优于最先进的。代码在这里:https://github.com/wangkai930418/DwoPP_code
2022-10-04 cs.CV
HSGNet: Object Re-identification with Hierarchical Similarity Graph Network
目标重识别方法由骨干网络、特征聚合和损失函数组成。然而,大多数骨干网络缺乏一个特殊的机制来处理丰富的规模变化和挖掘歧视性的特征表示。本文首先设计了一个层次相似图模块(HSGM),以减少骨干网和重标识网络的冲突。所设计的HSGM建立了一个丰富的层次图,挖掘全局-局部和局部-局部之间的映射关系。其次,我们在每个层次图中沿着空间和通道方向划分特征图。HSGM将从不同位置提取的空间特征和信道特征分别作为节点,利用节点间的相似性得分构建空间和信道相似性图。在HSGM的学习过程中,我们利用一个可学习的参数来重新优化每个位置的重要性,以及评估不同节点之间的相关性。第三,我们开发了一种新的层次相似性图网络(HSGNet)通过嵌入HSGM骨干网络。此外,HSGM可以很容易地嵌入到任何深度的骨干网络中,以提高对象重新识别能力。最后,在三个大规模的对象数据集上进行的大量实验表明,所提出的HSGNet优于最先进的对象重新识别方法。
2022-11-10 cs.CV
Learning Embeddings with Centroid Triplet Loss for Object Identification in Robotic Grasping
TU Dortmund(多特蒙德大学);University of Bonn(波恩大学);Lamarr Institute for Machine Learning and Artificial Intelligence(拉马尔机器学习与人工智能研究所);Fraunhofer IML(弗劳恩霍夫物流研究所)
本文提出质心三元组损失 CTL,用于训练输入尺寸灵活、支持多查询多图库的物体识别嵌入模型,并在 ArmBench 上达到新最优,在 HOPE 中实现可比或超越专用方法的未见物体检测。
2024-07-08 cs.CV
A Generic Object Re-identification System for Short Videos
Fudan University(复旦大学);Tencent(腾讯)
像TikTok和Kwai这样的短视频应用最近很受欢迎。为了满足日益增长的需求并充分利用短视频中的视觉信息,需要将每个短视频中的对象定位和分析作为上游任务。因此,提出了一个问题-如何提高目标检测,跟踪和重新识别的准确性和鲁棒性,在数以百计的类别和复杂的视觉效果(VFX)的短视频吨。为此,本文提出了一种由检测模块、跟踪模块和类属对象重识别模块组成的系统,该系统从短视频中提取主要对象的特征。特别是,针对短视频实际应用中的高效率需求,在目标检测模块中提出了一种时间信息融合网络(TIFN),该网络具有与现有视频目标检测器相当的精度和更高的时间效率。此外,为了解决短视频中轨迹片段的碎片化问题,在跟踪模块中提出了一种跨层逐点连体网络(CPSN)来增强外观模型的鲁棒性。此外,为了评估所提出的系统,两个挑战数据集包含现实世界的短视频建立视频对象轨迹提取和通用对象重新识别。总体而言,对每个模块和整个系统的广泛实验证明了我们的系统的有效性和效率。
2021-02-10 cs.CV
PAT++: a cautionary tale about generative visual augmentation for Object Re-identification
本文提出 PAT++ 流程,将扩散自蒸馏引入部件感知 Transformer,并在 Urban Elements ReID Challenge 数据集上验证生成式视觉增强对目标重识别的影响,发现因域偏移和身份特征丢失导致性能持续下降,揭示了生成模型在细粒度识别任务中的关键局限。
2025-07-19 cs.CV
Beyond Gait: Person Identification from Millimeter-Wave Point Clouds Across Activities of Daily Living
University of Ottawa(渥太华大学)
提出活动条件专家混合框架,利用日常生活活动超越步态,通过DS-SDPNet实现毫米波点云人员识别,显著提升闭集识别和重识别性能。
2026-11-06 cs.CV
A B-Spline Function Based 3D Point Cloud Unwrapping Scheme for 3D Fingerprint Recognition and Identification
School of Systems and Computing, UNSW Canberra(UNSW Canberra 系统与计算学院);Information Systems, University of Canberra(堪培拉大学信息系统系);School of Information and Communication Technology, Griffith University(格里菲斯大学信息与通信技术学院);School of Engineering & Technology, UNSW Canberra(UNSW Canberra 工程与技术学院)
本文提出基于B样条曲线拟合的3D点云解缠方法,用于3D指纹识别与鉴定,通过减少高度变化和注册限制,提升识别精度和鲁棒性。
2026-04-17 cs.CV
Cloud Detection Algorithm for Remote Sensing Images Using Fully Convolutional Neural Networks
Simon Fraser University(西蒙弗雷泽大学)
本文提出了一种基于深度学习的框架,用于解决遥感图像中精确云检测的问题。该框架受益于全卷积神经网络(FCN),它能够在Landsat 8图像中对云区域进行像素级标记。此外,提出了一种基于梯度的识别方法来识别和排除训练集的地面实况中的雪/冰区域。我们表明,使用这两种方法(基于阈值的和深度学习)的混合提高了云识别过程的性能,而无需手动校正自动生成的地面实况。平均而言,Jaccard指数和召回率分别提高了4.36%和3.62%。
2018-10-13 cs.CV
Edge-Cloud Collaborated Object Detection via Difficult-Case Discriminator
作为计算机视觉的基本任务之一,目标检测在许多智能应用中得到了广泛的应用。然而,目标检测算法通常在计算上是重量级的,这阻碍了它们在资源受限的边缘设备上的实现。当前的边缘云协作方法,例如边缘云设备上的CNN分区,不适合目标检测,因为中间结果的巨大数据大小将引入昂贵的通信成本。为了应对这一挑战,我们提出了一个小-大模型框架,在云中部署一个大模型,在边缘设备上部署一个小模型。在接收到数据时,边缘设备操作困难情况分类器以根据图像的特定语义将图像分类为容易情况和困难情况。简单的案例将在边缘本地处理,而困难的案例将上传到云端。在VOC、COCO、HELMET数据集上,采用两种不同的目标检测算法进行实验,结果表明,在SSD模式下,小-大模型系统可以检测出94.01%-97.84%的目标,而上传到云端的图像只有50%左右。此外,小-大模型平均达到了将所有图像上传到云的方案的91.22%- 92.52%的端到端mAP。
2021-08-29 cs.CV cs.LG
A Tiny Machine Learning Model for Point Cloud Object Classification
University of Southern California(南加州大学);Tencent Media Lab(腾讯媒体实验室);Tencent America(腾讯美国)
设计了一个小型的机器学习模型,它可以部署在移动和边缘设备,点云对象分类的研究在这项工作中。为了实现这一目标,我们用单尺度表示来代替点云对象的多尺度表示以降低复杂性,并利用点云对象的丰富3D几何信息来提高性能。由于其低计算复杂性,所提出的解决方案被命名为Green-PointHop。我们在ModelNet 40和ScanObjectNN两个数据集上评估了Green-PointHop的性能。Green-PointHop的模型大小为64 K参数。它需要2.3M浮点运算(FLOPs)来对1024个下采样点的ModelNet 40对象进行分类。它与最先进的DGCNN方法的分类性能差距分别为ModelNet 40和ScanObjectNN的3%和7%。另一方面,DGCNN的模型大小和推理复杂度分别是Green-PointHop的42倍和1203倍。
2023-03-20 cs.CV cs.LG
A knowledge-based data-driven (KBDD) framework for all-day identification of cloud types using satellite remote sensing
Southern University of Science and Technology(南方科技大学);Peng Cheng Laboratory(鹏城实验室);Eastern Institute of Technology(东方理工大学);Ningbo Institute of Digital Twin(宁波数字孪生研究院);Peking University(北京大学)
本文提出基于知识的KBDD框架和轻量级CldNet网络,利用Himawari-8/9光谱数据实现全天候云类型识别,以0.46M参数量达到80.89%准确率并具备强泛化能力。
2023-12-01 cs.CV eess.IV stat.AP
A Deep Learning Approach to Identify Rock Bolts in Complex 3D Point Clouds of Underground Mines Captured Using Mobile Laser Scanners
University of New South Wales(新南威尔士大学);University of Southern Queensland(南昆士兰大学)
本文提出名为DeepBolt的两阶段深度学习架构,用于在复杂地下矿井3D点云中自动识别锚杆,解决了数据噪声、类别不平衡和部分遮挡等挑战,其IoU比现有模型提升42.5%,精确率达96.41%,召回率达96.96%。
2025-06-25 cs.CV
Exploration of object recognition from 3D point cloud
Yunnan University(云南大学)
我们提出了我们的最新实验结果的物体识别从三维点云数据通过移动的汽车。
2017-07-05 cs.CV
Online Multi-Object Tracking with Unsupervised Re-Identification Learning and Occlusion Estimation
University of Science and Technology of China(中国科学技术大学);Microsoft Cloud AI(微软云人工智能);International Digital Economy Academy(国际数字经济研究院)
不同目标之间的遮挡是多目标跟踪(MOT)中的一个典型挑战,这通常会导致由于丢失检测到的目标而导致较差的跟踪结果。在多目标跟踪中,通常的做法是在丢失的目标重新出现后重新识别它们。虽然通过重新辨识可以提高跟踪性能,但是需要对模型进行身份标注来训练。此外,这种重新识别的做法仍然不能跟踪那些高度遮挡的目标时,他们被错过的检测器。在本文中,我们专注于在线多目标跟踪和设计两个新的模块,无监督的重新识别学习模块和遮挡估计模块,来处理这些问题。具体而言,所提出的无监督重新识别学习模块不需要任何(伪)身份信息,也不存在可扩展性问题。所提出的遮挡估计模块试图预测遮挡发生的位置,该位置被用于由检测器估计错过的对象的位置。我们的研究表明,当应用于最先进的MOT方法时,所提出的无监督重新识别学习与有监督重新识别学习相当,并且所提出的遮挡估计模块进一步提高了跟踪性能。
2022-01-04 cs.CV
PCRP: Unsupervised Point Cloud Object Retrieval and Pose Estimation
University of Southern California(南加州大学);Tencent America(腾讯美国);Tencent Media Lab(腾讯媒体实验室)
提出了一种无监督的点云目标检索和姿态估计方法,称为PCRP。假设存在包含具有给定姿态定向信息的点云对象的图库点云集合。PCRP尝试将未知点云对象与图库集合中的对象进行配准,从而联合实现基于内容的对象检索和姿态估计,其中点云配准任务建立在无监督R-PointHop方法的增强版本上。在ModelNet 40数据集上的实验证明,与传统方法和基于学习的方法相比,PCRP具有优越的性能。
2022-02-16 cs.CV
A Two-Stage Framework for Ego-Centric Key Object Identification via Object State Prediction
School of Computing and Information, University of Pittsburgh(匹兹堡大学计算与信息学院)
提出一种两阶段框架,通过虚拟自我车辆表示和对象状态预测,结合时空推理,在自动驾驶中提升关键对象识别的准确性。
2026-09-09 cs.CV
PointTrackNet: An End-to-End Network For 3-D Object Detection and Tracking From Point Clouds
The Hong Kong University of Science and Technology(香港科技大学);Tongji University(同济大学)
最近基于机器学习的多目标跟踪(MOT)框架对于3D点云变得流行。大多数传统的跟踪方法使用滤波器(例如,卡尔曼滤波器或粒子滤波器)来预测时间序列中的对象位置,然而,它们易受极端运动条件的影响,例如突然制动和转弯。在这封信中,我们提出了PointTrackNet,一个端到端的3-D目标检测和跟踪网络,为每个检测到的对象生成前景蒙版,3-D边界框和逐点跟踪关联位移。该网络仅将两个相邻的点云帧作为输入。在KITTI跟踪数据集上的实验结果显示了与最先进技术相比具有竞争力的结果,特别是在不规则和快速变化的场景中。
2020-02-26 cs.CV cs.LG cs.RO
Closed Curves and Elementary Visual Object Identification
对于平面上的两条封闭曲线(离散形式)和曲线上点的局部相似性准则,得到一个描述曲线点之间相似性的势函数。这是封闭曲线的全局相似性度量(Fréchet距离)的基础。我使用手写数字的边界线来演示应用领域。我想,测量闭合曲线的相似性是视觉系统执行的一项基本任务。这种相似性度量方法可以被视觉系统使用。
2015-07-14 cs.CV cs.LG q-bio.NC
Surface Defect Identification using Bayesian Filtering on a 3D Mesh
Università di Trento(特伦托大学);Istituto Italiano di Tecnologia(意大利技术研究院)
本文提出一种基于CAD模型的表面缺陷检测方法,通过将CAD转换为高密度多边形网格并结合点云数据,利用加权最小二乘算法迭代估计工件状态,实现了亚毫米级精度的高精度质量控制。
2025-01-30 cs.CV cs.RO
Towards Integrated Rock Support Visualisation in 3D Point Cloud of Underground Mines
School of Minerals and Energy Resources Engineering, University of New South Wales(新南威尔士大学矿物与能源资源工程学院);School of Surveying and Built Environment, University of Southern Queensland(南方昆士兰大学测绘与环境工程学院)
本文提出了一种自动化框架,用于利用地下矿山开掘的3D点云进行集成岩支可视化,通过结构映射、岩钉识别、断层面拟合和岩钉方向估计的统一工作流,实现了对断层面和岩钉向量的集成3D可视化,以评估其空间交集和几何关系,同时通过互补的立体分析评估整体锚固几何有效性。
2026-05-20 cs.CV
3D Object Detection Method Based on YOLO and K-Means for Image and Point Clouds
Graduate School of Interdisciplinary Information Studies, The University of Tokyo(东京大学跨学科信息学研究生院);National Institute of Advanced Industrial Science and Technology(产业技术综合研究所)
基于激光雷达的3D目标检测和分类任务对于自动驾驶(AD)至关重要。激光雷达传感器可以提供周围环境的3D点云数据重建。然而,在三维点云的实时的检测仍然需要一个强大的算法。提出了一种基于点云和图像的三维目标检测方法。(1)激光相机标定和无畸变图像变换。(2)基于YOLO的点云检测与点云提取;(3)基于K-means的点云分割与检测在深度图像中的实验测试与评价。在我们的研究中,摄像头可以捕获图像,通过使用YOLO进行实时的二维目标检测,我们将限界框传递给节点,节点的功能是对激光雷达的点云数据进行三维目标检测。通过比较从三维点传来的二维坐标是否在目标限界框内,实现GPU高速三维目标识别功能。对点云数据进行k-means聚类后,精度和准确性都得到了提高。我们的检测方法的速度比PointNet更快。
2020-04-21 cs.CV
YOLO and K-Means Based 3D Object Detection Method on Image and Point Cloud
AIST(产业技术综合研究所);The University of Tokyo(东京大学)
基于激光雷达的3D目标检测和分类任务对于自动驾驶(AD)至关重要。激光雷达传感器可以提供周围环境的3D点云数据重建。但是三维点云的检测仍然需要很强的算法挑战。本文共分三个部分。(1)激光雷达相机校准。(2)基于YOLO的检测和点云提取;(3)基于k-means的点云分割。在我们的研究中,相机可以捕获图像进行实时的二维目标检测使用YOLO,我把限界框的功能是从激光雷达点云数据进行三维目标检测节点。通过比较从三维点传来的二维坐标是否在目标的限界框内,并进行k均值聚类,可以在GPU中实现高速的三维目标识别功能。
2020-04-21 cs.CV
CloudAAE: Learning 6D Object Pose Regression with On-line Data Synthesis on Point Clouds
University of Hamburg(汉堡大学);Tsinghua University(清华大学)
通常期望在合成数据上训练6D姿态估计系统,因为手动注释是昂贵的。然而,由于合成图像和真实图像之间的大的域间隙,合成彩色图像是昂贵的。相比之下,这个域间隙相当小,并且更容易填充深度信息。在这项工作中,我们提出了一个系统,从点云表示的深度信息中回归6D对象姿态,以及一个轻量级的数据合成管道,创建用于训练的合成点云段。我们使用一个增强的自动编码器(AAE)学习一个潜在的代码,编码6D对象姿态信息的姿态回归。数据合成流水线只需要无纹理的3D对象模型和期望的视点,并且在时间和硬件存储方面都很便宜。我们的数据合成过程比渲染RGB图像数据的常用方法快三个数量级。我们展示了我们的系统在LineMOD,LineMOD遮挡和YCB视频数据集上的有效性。我们的系统的实现可在https://github.com/GeeeG/CloudAAE上获得。
2021-03-02 cs.CV
IPOD: Intensive Point-based Object Detector for Point Cloud
Youtu Lab, Tencent(腾讯优图实验室);The Chinese University of Hong Kong(香港中文大学)
提出了一种基于原始点云的三维目标检测框架IPOD。它为每个点播种对象建议,这是基本元素。这种范式为我们提供了高召回率和高保真度的信息,从而为处理点云数据提供了合适的方法。我们设计了一个端到端的可训练架构,其中建议内的所有点的特征从骨干网络中提取,并实现最终边界推理的建议功能。这些具有上下文信息和精确点云坐标的功能可以提高性能。我们在KITTI数据集上进行实验,评估我们在3D目标检测、鸟瞰图(BEV)检测和2D目标检测方面的性能。我们的方法完成了新的国家的最先进的,显示出很大的优势,在硬集。
2018-12-13 cs.CV
Shape-Prior-Based Point Cloud Completion for Single-Stage Fully Sparse 3D Object Detection
School of Computer Science and Engineering, Nanjing University of Science and Technology(南京理工大学计算机科学与工程学院)
针对单阶段全稀疏3D检测器中点云稀疏和不完整的问题,提出一种基于形状先验的点云补全方法,通过实例选择和对齐补全模块显著提升检测性能。
2026-05-30 cs.CV
Zero-shot Learning of 3D Point Cloud Objects
Australian National University(澳大利亚国立大学);Data61-CSIRO(数据61-澳大利亚联邦科学与工业研究组织)
最近的深度学习架构可以很好地识别先前看到的类的3D点云对象的实例。同时,当前的3D深度相机技术允许从任意场景生成/分割大量的3D点云对象,对于任意场景,没有先前看到的训练数据。因此,3D点云识别系统的一个挑战是从新的、不可见的类别中对对象进行分类。这个问题可以通过对3D数据采用零样本学习(zero-shot learning,简称ZNL)方法来解决,类似于同一问题的2D图像版本。CAMEL试图通过比较可见和不可见类的语义信息(属性/词向量)来对不可见对象进行分类。在这里,我们适应了最近的几个3D点云识别系统,其架构的一些变化,以适应CNOL设置。据我们所知,这是第一次尝试分类看不见的3D点云对象在CNOL设置。一个标准的协议(包括数据集的选择和看到/看不到的分裂),以评估这样的系统也提出了。基线性能报告使用新的协议在调查模型。这项调查对3D点云识别社区提出了新的挑战,可能会引发许多未来的工作。
2019-02-27 cs.CV
FVNet: 3D Front-View Proposal Generation for Real-Time Object Detection from Point Clouds
Shanghai Jiao Tong University(上海交通大学)
从原始和稀疏点云的三维目标检测已经远远低于处理日期,与其2D对应。在本文中,我们提出了一个新的框架称为FVNet的三维前视图建议生成和目标检测从点云。它包括两个阶段:生成前视图建议和估计三维限界框参数。而不是从相机图像或鸟瞰图生成建议,我们首先将点云投影到圆柱表面上,以生成保留丰富信息的前视图特征图。然后,我们引入了一个建议生成网络,从生成的地图中预测3D区域建议,并进一步从整个点云中挤出感兴趣的对象。最后,我们提出了另一个网络提取逐点的功能,从挤出的对象点,并回归最终的三维限界框参数的规范坐标。我们的框架实现了12毫秒每个点云样本实时的【形】性能。在3D检测基准KITTI上进行的大量实验表明,所提出的架构在精度和推理时间方面优于将摄像机图像或点云作为输入的最先进技术。
2019-11-26 cs.CV
Cooking Object's State Identification Without Using Pretrained Model
University of South Florida(南佛罗里达大学)
最近,机器人烹饪一直是一个非常有前途的领域。为了执行食谱,机器人必须识别不同的对象及其状态。与对象识别相反,状态识别还没有被探索那么多。但它非常重要,因为不同的配方可能需要对象的不同状态。此外,机器人抓取取决于状态。预训练模型通常在这类测试中表现得很好。我们的挑战是在不使用任何预训练模型的情况下处理这个问题。在本文中,我们提出了一个CNN,并从头开始训练它。该模型在烹饪状态识别挑战赛的数据集上进行了训练和测试。我们亦从不同角度评估网络的表现。我们的模型在看不见的测试数据集上达到了65.8%的准确率。
2021-03-03 cs.CV
Contextual Modeling for 3D Dense Captioning on Point Clouds
National Space Science Center, Chinese Academy of Sciences(中国科学院国家空间科学中心);University of Chinese Academy of Sciences(中国科学院大学);University of Rochester(罗切斯特大学);Meituan(美团)
3D密集字幕作为一种新兴的视觉语言任务,其目的是从一组点云中识别和定位每个对象,并生成描述每个定位对象的独特的自然语言语句。然而,现有的方法主要集中在挖掘对象间的关系,而忽略了点云内部的上下文信息,特别是非对象细节和背景环境,从而导致描述质量不高,如相对位置信息不准确。在本文中,我们第一次尝试利用点云聚类功能作为上下文信息,以提供点云的非对象细节和背景环境,并将它们纳入到3D密集字幕任务。我们提出了两个独立的模块,即全球上下文建模(GCM)和本地上下文建模(LCM),在一个由粗到精的方式来执行点云的上下文建模。具体地说,GCM模块利用全局上下文信息捕捉所有对象之间的对象关系,以获得整个点云的更完整的场景信息。LCM模块利用目标对象的邻近对象和局部上下文信息的影响来丰富对象表示。通过这种全局和局部上下文建模策略,我们提出的模型可以有效地表征对象表示和上下文信息,从而生成全面和详细的描述所定位的对象。在ScanRefer和Nr3D数据集上的大量实验表明,该方法在3D密集字幕任务上创下了新的记录,并验证了我们提出的点云上下文建模的有效性。
2022-10-08 cs.CV
PointVoteNet: Accurate Object Detection and 6 DoF Pose Estimation in Point Clouds
University of Southern Denmark(南丹麦大学)
提出了一种基于学习的点云数据中刚体6自由度位姿估计方法。许多最近的基于学习的方法主要使用RGB信息来检测对象,在某些情况下使用深度数据添加细化步骤。我们的方法消耗无序点集与/不RGB信息,从初始检测到最终的变换估计阶段。这使我们能够实现准确的姿态估计,在某些情况下超过了在相同数据上训练的最先进的方法。
2020-06-17 cs.CV
Boosting Single-Frame 3D Object Detection by Simulating Multi-Frame Point Clouds
CUHK(香港中文大学);Max Planck Institute(马克斯·普朗克研究所);Zhejiang University(浙江大学)
为了提高单帧3D目标检测的检测器,我们提出了一种新的方法来训练它来模拟在多帧点云上训练的检测器的特征和响应。我们的方法只在训练单帧检测器时需要多帧点云,并且一旦训练好,它就可以在推理过程中仅用单帧点云作为输入来检测对象。我们设计了一个新的模拟多帧单阶段目标检测器(SMF-SSD)框架来实现该方法:多视图稠密目标融合以使地面真实目标稠密化以生成多帧点云;自注意体素蒸馏以促进从多帧体素到单帧体素的一对多知识传递;多尺度BEV特征蒸馏以传递低级别空间和高级别语义BEV特征中的知识;以及自适应响应蒸馏以激活高置信度和准确定位的单帧响应。Waymo测试集上的实验结果表明,我们的SMF-SSD在mAP和mAPH方面始终优于所有最先进的单帧3D对象检测器,适用于难度级别为1和2的所有对象类别。
2022-07-12 cs.CV
Point-GNN: Graph Neural Network for 3D Object Detection in a Point Cloud
Carnegie Mellon University(卡内基梅隆大学)
在本文中,我们提出了一个图神经网络检测对象从激光雷达点云。为此,我们在一个固定半径的近邻图中有效地编码点云。我们设计了一个图神经网络,称为Point-GNN,用于预测图中每个顶点所属对象的类别和形状。在Point-GNN中,我们提出了一种自动配准机制来减少平移方差,并设计了一种框合并和评分操作来准确地组合来自多个顶点的检测。我们在KITTI基准测试上的实验表明,该方法仅使用点云就达到了领先的精度,甚至可以超过基于融合的算法。我们的研究结果表明,潜在的使用图神经网络作为一种新的方法,三维目标检测。代码可在https://github.com/WeijingShi/Point-GNN上获得。
2020-03-02 cs.CV
OGC: Unsupervised 3D Object Segmentation from Rigid Dynamics of Point Clouds
The Hong Kong Polytechnic University(香港理工大学)
在本文中,我们研究的问题,三维物体分割的原始点云。与所有现有的方法,通常需要大量的人类注释的全面监督,我们提出了第一个无监督的方法,称为OGC,同时识别多个3D对象在一个单一的向前通过,而不需要任何类型的人类注释。我们的方法的关键是充分利用连续点云上的动态运动模式作为监督信号来自动发现刚性物体。我们的方法由三个主要部分组成,1)对象分割网络直接从单个点云帧估计多对象掩模,2)辅助自监督场景流估计器,以及3)我们的核心对象几何一致性组件。通过精心设计一系列损失函数,有效地考虑了多目标的刚性一致性和目标在时间和空间尺度上的形状不变性。这使得我们的方法能够真正发现对象的几何形状,即使在没有注释的情况下。我们广泛地评估我们的方法在五个数据集上,展示了在室内和具有挑战性的室外场景中对象部分实例分割和一般对象分割的优越性能。
2022-10-10 cs.AI cs.CV cs.LG
A Density-Aware PointRCNN for 3D Object Detection in Point Clouds
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
提出了一种改进的PointRCNN用于三维目标检测,其中采用多分支骨干网络来处理点云密度不均匀的问题。提出了一种基于不确定性的采样策略,以处理不同点云的分布差异。新模型在KITTI val集上可以实现比基线PointRCNN高约0.8AP的性能。此外,一个简化的模型,使用一个单一的规模分组为每个集合抽象层可以实现具有竞争力的性能与更少的计算成本。
2021-01-08 cs.CV
AirObject: A Temporally Evolving Graph Embedding for Object Identification
Carnegie Mellon University(卡内基梅隆大学);IIT (ISM) Dhanbad(印度理工学院(印度矿业学院)丹巴德分校);Geek+ Corp(极智嘉公司)
物体编码和识别对于机器人自主探索、语义场景理解和重新定位等任务至关重要。先前的方法已经尝试跟踪对象或生成用于对象识别的描述符。然而,这样的系统限于从单个视点的“固定”部分对象表示。在机器人探索设置中,需要在机器人从多个视点观察对象时构建时间上“演进”的全局对象表示。此外,鉴于未知的新对象在现实世界中的广泛分布,对象识别过程必须是类不可知的。在这种情况下,我们提出了一种新的时间3D对象编码方法,称为AirObject,以获得全局关键点图为基础的嵌入对象。具体地,全局3D对象嵌入使用跨从基于图形注意力的编码方法获得的多个帧的结构信息的时间卷积网络来生成。我们证明了AirObject在视频对象识别方面达到了最先进的性能,并且对严重遮挡、感知混叠、视点偏移、变形和尺度变换具有鲁棒性,优于最先进的单帧和顺序描述符。据我们所知,AirObject是最早的时间对象编码方法之一。源代码可在https://github.com/Nik-V9/AirObject上获得。
2022-03-13 cs.CV cs.RO
Associate-3Ddet: Perceptual-to-Conceptual Association for 3D Point Cloud Object Detection
Fudan University(复旦大学);Baidu Inc.(百度公司);University of Science and Technology of China(中国科学技术大学)
从3D点云中检测目标检测仍然是一项具有挑战性的任务,尽管最近的研究利用深度学习技术突破了极限。由于点云数据存在严重的空间遮挡和点密度随距离变化的固有差异,同一物体在点云数据中的外观变化很大。因此,针对这种外观变化设计鲁棒的特征表示是3D目标检测方法中的关键问题。在本文中,我们创新性地提出了一种类似领域自适应的方法来增强特征表示的鲁棒性。更具体地说,我们弥合了感知域之间的差距,在感知域中的特征来自真实场景,在概念域中的特征是从由非遮挡点云丰富的详细信息组成的增强场景中提取的。这种领域自适应方法模拟了人脑在进行物体感知时的功能。大量的实验表明,我们简单而有效的方法从根本上提高了三维点云目标检测的性能,并达到了最先进的结果。
2020-06-08 cs.CV cs.LG cs.RO
Classification of Single-View Object Point Clouds
South China University of Technology(华南理工大学);Peng Cheng Laboratory(鹏城实验室)
自ModelNet和ShapeNet等基准数据集发布以来,对象点云分类引起了极大的研究关注。这些基准测试假设点云覆盖对象实例的完整表面,为此已经开发了大量高性能的方法。然而,它们的设置偏离了实践中经常遇到的设置,在实践中,由于(自)遮挡,从任意视图捕获覆盖对象部分表面的点云。在本文中,我们表明,现有的点云分类器的性能急剧下降下所考虑的单视图,部分设置;该现象是一致的观察,部分对象表面的语义类别是不那么模糊,只有当它在整个表面上的分布是明确规定的。为此,我们主张一个单视图,部分设置对象姿态估计的监督学习应伴随着分类。从技术上讲,我们提出了一种姿势伴随点云分类网络(PAPNet)的基线方法;建立在SE(3)-等变卷积的基础上,PAPNet学习矢量场上定义的等变特征的中间姿势变换,这使得后续分类更容易(理想情况下)在类别级别,规范姿势。通过将现有的ModelNet 40和ScanNet数据集适应于单视图、部分设置,实验结果可以验证目标姿态估计的必要性以及我们的PAPNet相对于现有分类器的优越性。
2022-02-27 cs.CV
Free-form Description Guided 3D Visual Graph Network for Object Grounding in Point Cloud
Xidian University(西安电子科技大学);Hunan University(湖南大学);The University of Western Australia(西澳大学)
3D对象接地旨在基于自由形式的语言描述在原始点云场景中定位最相关的目标对象。由于点云的不规则性和稀疏性,理解复杂多样的描述并将其直接提升为点云是一个新的具有挑战性的课题。3D对象接地主要有三个挑战:在复杂多样的描述中找到主要焦点;理解点云场景;定位目标对象。在本文中,我们将解决所有三个挑战。首先,我们提出了一个语言场景图模块来捕捉丰富的结构和长距离短语相关性。其次,我们引入了一个多层次的三维建议关系图模块来提取对象与对象、对象与场景的共现关系,增强了初始建议的视觉特征。最后,我们开发了一个描述引导的三维可视化图形模块,通过节点匹配策略对短语和建议的全局上下文进行编码。在具有挑战性的基准数据集(ScanRefer和Nr 3D)上进行的大量实验表明,我们的算法优于现有的最先进的算法。我们的代码可以在https://github.com/PNXD/FFL-3DOG上找到。
2021-03-30 cs.CV
Multi-Object Tracking and Identification over Sets
UC Berkeley(加州大学伯克利分校)
自主智能体或机器人在动态环境中跟踪和识别潜在的多个对象的能力对于许多应用是必不可少的,例如自动监控,交通监控,人机交互等。主要的挑战是由于噪声和不完整的感知,包括不可避免的假阴性和假阳性错误从低级别检测器。在本文中,我们提出了一种新的多目标跟踪和识别集的方法来解决这一挑战。我们将联合状态和观测定义为有限集合,并相应地开发运动和观测函数。对象识别问题,然后制定和解决使用期望最大化的方法。集合公式使我们能够避免直接执行观察到对象的关联。我们经验证实,整体算法优于国家的最先进的流行的PETS数据集。
2016-05-25 cs.CV cs.RO
Open-Vocabulary Point-Cloud Object Detection without 3D Annotation
本文提出分治策略解决开放词汇3D点云检测,利用2D图像和视觉-语言预训练模型监督点云检测器定位与分类,并设计去偏三重态跨模态对比学习,实现无需3D标注的检测,在ScanNet和SUN RGB-D上显著优于基线。
2023-05-17 cs.CV
MoDAR: Using Motion Forecasting for 3D Object Detection in Point Cloud Sequences
Waymo LLC(Waymo有限责任公司)
本文提出MoDAR,将运动预测生成的虚拟点与LiDAR点云融合以增强3D检测,在Waymo数据集上利用18秒序列显著提升现有检测器并达到新SOTA。
2023-06-05 cs.CV
Find First, Track Next: Decoupling Identification and Propagation in Referring Video Object Segmentation
GenGenAI;Yonsei University(延世大学)
针对指代表达视频目标分割中多模态特征纠缠导致的目标识别歧义和跨帧传播不一致问题,本文提出 FindTrack 解耦框架,通过自适应关键帧选择与专用传播模块提升性能,并在公开基准上取得最优结果。
2025-07-26 cs.CV
Object Detection in 3D Point Clouds via Local Correlation-Aware Point Embedding
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Fraunhofer Center for Machine Learning(弗劳恩霍夫机器学习中心);Fraunhofer IOSB(弗劳恩霍夫光电、系统技术与图像利用研究所)
提出了一种基于FrustumPointNet(F-PointNet)的点云数据三维目标检测的改进方法。与原始的F-PointNet相比,我们新提出的方法在计算点特征时考虑了点邻域。新引入的局部邻域嵌入操作模仿了2D神经网络中的卷积操作。因此,每个点的特征不仅用其自身的特征或整个点云的特征来计算,而且特别是关于其邻居的特征来计算。实验结果表明,该方法在三维目标检测任务中取得了比F-Pointnet基线更好的性能。
2023-01-11 cs.CV
A Survey of Robust 3D Object Detection Methods in Point Clouds
Technical University of Munich(慕尼黑工业大学)
这项工作的目的是审查国家的最先进的激光雷达为基础的三维目标检测方法,数据集和挑战。我们描述了新的数据增强方法,采样策略,激活函数,注意力机制和正则化方法。此外,我们列出了最近推出的归一化方法,学习率调度和损失函数。此外,我们还介绍了10种新型自动驾驶数据集的优点和局限性。我们在KITTI、nuScenes和Waymo数据集上评估了新型3D对象检测器,并展示了它们的准确性、速度和鲁棒性。最后,我们提到了当前在LiDAR点云中进行3D目标检测的挑战,并列出了一些悬而未决的问题。
2022-03-31 cs.CV
Revisiting Point Cloud Classification: A New Benchmark Dataset and Classification Model on Real-World Data
Hong Kong University of Science and Technology(香港科技大学);Singapore University of Technology and Design(新加坡科技设计大学);The University of Tokyo(东京大学);Deakin University(迪肯大学)
针对点云数据的深度学习技术在解决3D计算机视觉中的经典问题(如3D对象分类和分割)方面表现出巨大的潜力。最近的几种3D对象分类方法在CAD模型数据集(如ModelNet 40)上具有最先进的性能,准确率高达92%。尽管如此令人印象深刻的结果,在本文中,我们认为,对象分类仍然是一个具有挑战性的任务时,对象的框架与现实世界的设置。为了证明这一点,我们引入了ScanObjectNN,这是一种基于扫描室内场景数据的新的真实世界点云对象数据集。从我们的综合基准,我们表明,我们的数据集构成了巨大的挑战,现有的点云分类技术,从现实世界的扫描对象往往是杂乱的背景和/或部分由于闭塞。我们确定了点云对象分类的三个关键问题,并提出了新的点云分类神经网络,实现了最先进的性能分类对象与杂乱的背景。我们的数据集和代码在我们的项目页面https://hkust-vgd.github.io/scanobjectnn/中公开。
2019-08-19 cs.CV
DPointNet: A Density-Oriented PointNet for 3D Object Detection in Point Clouds
Research Center for Intelligent Computing Systems(智能计算系统研究中心);University of Chinese Academy of Sciences(中国科学院大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
对于当前的目标检测器,特征提取算子的感受野尺度通常逐层增大。这些操作符在本文中称为面向尺度的操作符,例如CNN中的卷积层和PointNet++中的集合抽象层。面向尺度的算子适用于具有多尺度对象的2D图像,但对于具有多密度但尺度不变对象的3D点云不自然。本文提出了一种新的面向密度的点网(DPointNet)算法,用于点云中的三维目标检测。在目标检测的实验中,将DPointNet应用于PointRCNN,实验结果表明,与基准PointRCNN相比,采用新算子的模型具有更好的性能和更高的速度,验证了DPointNet的有效性。
2021-02-07 cs.CV
Who Make Drivers Stop? Towards Driver-centric Risk Assessment: Risk Object Identification via Causal Inference
Purdue University(普渡大学);Honda Research Institute USA(本田研究所美国)
大量的人死于交通事故,由于司机的错误。为了减少死亡人数,迫切需要开发智能驾驶系统,帮助驾驶员识别潜在风险。在现有的工作中,通常基于碰撞预测来定义危险情况。然而,碰撞只是潜在风险的一个来源,需要一个更一般性的定义。在这项工作中,我们提出了一个新的以驾驶员为中心的风险定义,即,影响驾驶员行为的对象是危险的。引入了一个新的任务,称为风险对象识别。我们制定的任务的因果问题,并提出了一种新的两阶段的风险对象识别框架的基础上因果推理与建议的对象级可操纵驾驶模型。与本田研究所驾驶数据集(HDD)的强基线相比,我们在风险对象识别方面表现出了良好的性能。我们的框架在强大的基线上实现了7.5%的平均性能提升。
2020-08-03 cs.CV cs.RO
Salient Object Detection for Point Clouds
Peking University Shenzhen Graduate School(北京大学深圳研究生院);Peng Cheng Laboratory(鹏城实验室)
研究了未探测任务点云显著目标检测(SOD)。与图像的SOD不同,我们发现点云的注意力转移可能会引起显着性冲突,即,一个对象矛盾地属于显着和非显着的类别。为了避免这个问题,我们提出了一种新的显着对象的视图依赖的角度,合理地反映点云场景中最引人注目的对象。根据这个公式,我们介绍了PCSOD,第一个为点云SOD提出的数据集,由2,872个室内/室外3D视图组成。我们数据集中的样本用分层注释标记,例如,超/子类,限界框和分割图,这赋予了我们的数据集验证各种架构的出色的通用性和广泛的适用性。为了证明我们的解决方案的可行性,我们进一步贡献了一个基线模型和基准五个代表性的模型进行全面的比较。该模型可以有效地分析不规则和无序的点检测显著对象。由于结合了任务定制的设计,我们的方法显示出明显的优越性,比其他基线,产生更令人满意的结果。大量的实验和讨论揭示了这一研究领域的潜力,为进一步研究铺平了道路。
2022-07-25 cs.CV
Adaptive Lighting for Data-Driven Non-Line-of-Sight 3D Localization and Object Identification
Arizona State University(亚利桑那州立大学)
对摄像机或照明源不可见的物体进行非视线(NLOS)成像是一项具有挑战性的任务,具有重要的应用,包括监控和机器人。最近的NLOS重建的进展已经实现了使用时间分辨的测量,这需要昂贵的和专门的探测器和激光源。相比之下,我们提出了一种数据驱动的方法,只需要一个传统的相机和投影仪的NLOS三维定位和对象识别。为了推广到具有非平面表面和遮挡的复杂视线(LOS)场景,我们引入了一种自适应照明算法。该算法,基于辐射度,识别和照明场景补丁的LOS最有助于NLOS光路,并可以在系统的功率约束的因素。我们实现了平均识别87.1%的对象识别四类对象,平均定位的非视距对象的质心的均方误差(MSE)为1.97厘米的遮挡区域的实际数据从硬件原型。这些结果表明,数据驱动的NLOS成像的光传输与主动照明的物理相结合的优势。
2019-07-26 cs.CV eess.IV
ISAR: A Benchmark for Single- and Few-Shot Object Instance Segmentation and Re-Identification
ETH Zürich(苏黎世联邦理工学院)
针对现有目标级建图系统学习新类别需大规模数据重训练、缺乏单样本/少样本实例分割与重识别统一基准的问题,提出ISAR基准及基线方法,配套半合成数据集与评估流程,推动相关算法研发。
2023-11-05 cs.CV cs.RO
Towards Robust 3D Object Recognition with Dense-to-Sparse Deep Domain Adaptation
BMW Group(宝马集团);Technical University of Munich(慕尼黑工业大学);University of Glasgow(格拉斯哥大学);Radboud University(拉德堡德大学)
三维(3D)物体识别对于智能自主智能体(如自主车辆和机器人)在非结构化环境中有效运行至关重要。大多数最先进的方法依赖于相对密集的点云,并且对于稀疏点云,性能显著下降。无监督域自适应允许使用最少的未标记稀疏点云来最小化密集点云和稀疏点云之间的差异,从而节省额外的稀疏数据汇集、注释和再训练成本。在这项工作中,我们提出了一种基于点云的对象识别的新方法,该方法在密集和稀疏点云上具有与最先进的方法竞争的性能,同时仅使用密集点云进行训练。
2022-05-07 cs.CV cs.RO
Object Recognition and Identification Using ESM Data
McMaster University(麦克马斯特大学);Defence Research and Development Canada(加拿大国防研究与发展部)
对未知目标的识别是监控和安全系统中的一项重要任务。电子支援措施(ESM)是最有效的识别传感器之一,特别是在海上和空对地应用中。在典型的监视系统中,多个ESM传感器通常与雷达等运动传感器一起部署。不同的ESM传感器可以产生准备发送到融合中心的不同类型的报告。本文的重点是发展一种新的体系结构的目标识别和识别时,非均匀ESM和可能的运动报告收到的融合中心。新的融合架构进行评估,使用模拟显示利用不同的ESM报告,如属性和信号级ESM数据的好处。
2016-03-22 cs.CV stat.AP
Point-Syn2Real: Semi-Supervised Synthetic-to-Real Cross-Domain Learning for Object Classification in 3D Point Clouds
The Commonwealth Scientific and Industrial Research Organisation(联邦科学与工业研究组织);Evolve Group(Evolve集团)
使用LiDAR 3D点云数据进行对象分类对于自动驾驶等现代应用至关重要。然而,标记点云数据是劳动密集型的,因为它需要人类注释员从不同的角度可视化和检查3D数据。在本文中,我们提出了一种半监督跨域学习方法,该方法不依赖于点云的手动注释,并且与全监督方法相似。我们利用现有的3D对象模型来训练分类器,可以推广到现实世界的点云。我们模拟采集点云采样的三维对象模型从多个角度和任意的部分遮挡。然后,我们通过随机旋转和添加高斯噪声来增强点云的结果集,以更好地模拟真实世界的场景。然后,我们训练点云编码模型,例如,DGCNN,PointNet++,在合成和增强的数据集上,并评估它们在相应的真实世界数据集上的跨域分类性能。我们还介绍了Point-Syn 2 Real,这是一个用于点云跨域学习的新基准数据集。我们对该数据集进行的大量实验结果表明,所提出的点云跨域学习方法在跨域泛化能力方面优于室内和室外环境中的相关基线和最先进的方法。代码和数据将在发布时提供。
2022-10-31 cs.CV cs.MM