Accurate Bounding-box Regression with Distance-IoU Loss for Visual Tracking
Guangzhou Institute of Technology, Xidian University(西安电子科技大学广州研究院);School of Computer Science and Technology, Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳)计算机科学与技术学院);School of Science, Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳)理学院);School of Computing Technologies, RMIT University(皇家墨尔本理工大学计算技术学院);National Center for Applied Mathematics, Chongqing Normal University(重庆师范大学国家应用数学中心)
现有的大多数跟踪器都是基于分类器和多尺度估计来估计目标状态的。因此,正如预期的那样,跟踪器变得更加稳定,而跟踪精度却停滞不前。虽然跟踪器采用基于交并(IoU)损失的最大重叠方法来缓解此问题,但IoU损失本身存在缺陷,当给定的限界框完全包含在另一个限界框内/不包含另一个边界框时,无法继续优化目标函数;这使得准确估计目标状态非常具有挑战性。因此,在本文中,我们解决了上述问题,提出了一种新的跟踪方法的基础上的距离IoU(DIoU)的损失,使建议的跟踪器包括目标估计和目标分类。训练目标估计部分以预测目标地面实况限界框和估计的限界框之间的DIoU分数。DIoU损失可以保持IoU损失提供的优势,同时最小化两个边界框的中心点之间的距离,从而使目标估计更准确。此外,我们引入了一个分类部分,该部分是在线训练的,并使用基于共轭梯度的策略进行优化,以保证实时跟踪速度。综合实验结果表明,该方法实现了竞争力的跟踪精度相比,国家的最先进的跟踪器,同时具有实时跟踪速度。
2022-01-20 cs.CV
Dense Scene Multiple Object Tracking with Box-Plane Matching
Tencent Youtu Lab(腾讯优图实验室)
多目标跟踪(MOT)是计算机视觉中的一项重要任务。由于遮挡问题,MOT仍然具有挑战性,特别是在密集场景中。在检测跟踪的框架下,我们提出了盒平面匹配(BPM)方法来提高密集场景下的MOT性能。首先,我们设计了分层聚集判别模型(LADM)来过滤噪声检测。然后,为了正确地关联剩余检测,我们引入全局注意力特征模型(GAFM)来提取外观特征,并使用它来计算历史轨迹和当前检测之间的外观相似性。最后,我们提出了盒平面匹配策略,以实现数据关联,根据运动相似性和外观相似性之间的轨迹和检测。凭借这三个模块的有效性,我们的团队在ACM MM Grand Challenge Hieve 2020中获得了第一名。
2021-04-01 cs.CV
Multi-object Tracking with Tracked Object Bounding Box Association
Nanyang Technological University(南洋理工大学)
CenterTrack跟踪算法使用简单的检测模型和单帧空间偏移来定位对象并预测它们在单个网络中的关联,从而实现最先进的跟踪性能。然而,这种联合检测和跟踪方法仍然遭受高身份切换由于较差的关联方法。为了减少大量的身份切换和提高跟踪精度,本文提出了一种简单的跟踪对象的限界框和重叠预测的基础上,当前帧的CenterTrack算法。具体来说,我们提出了一个交集在联合(IOU)的距离成本矩阵的关联步骤,而不是简单的点位移距离。我们在MOT17测试数据集上评估了我们提出的跟踪器,结果表明,与原始CenterTrack相比,在相同的tracklet寿命下,我们提出的方法可以将身份切换显著减少22.6%,并在IDF1中获得1.5%的显着改善。源代码发布于https://github.com/Nanyangny/CenterTrack-IOU。
2021-05-17 cs.CV
Fast Vehicle Detection and Tracking on Fisheye Traffic Monitoring Video using CNN and Bounding Box Propagation
National Yang Ming Chiao Tung University(国立阳明交通大学)
针对十字路口交通监控鱼眼视频,设计了一种快速的车辆检测与跟踪算法。我们使用ICIP 2020 VIP Cup数据集,并采用YOLOv5作为目标检测基础模型。该数据集的夜间视频非常具有挑战性,基础模型的检测准确率(AP50)约为54%。我们基于帧间限界框传播的概念设计了一种可靠的汽车检测和跟踪算法,可提供17.9个百分点(pp)和6.2个百分点。分别针对夜间和白天视频的基础模型的准确度提高。为了加快速度,灰度帧差用于片段中的中间帧,这可以使处理速度加倍。
2022-07-13 cs.CV
IoU Attack: Towards Temporally Coherent Black-Box Adversarial Attack for Visual Object Tracking
Shanghai Jiao Tong University(上海交通大学);Tencent AI Lab(腾讯AI实验室)
对抗攻击的出现是由于深度神经网络的脆弱性,以感知注入了不可感知的扰动的输入样本。最近,对抗攻击已被应用于视觉对象跟踪,以评估深度跟踪器的鲁棒性。假设深度跟踪器的模型结构是已知的,用于视觉跟踪的各种白盒攻击方法已经证明了有希望的结果。然而,关于深度跟踪器的模型知识通常在实际应用中不可用。本文提出了一种基于决策的黑盒攻击方法用于视觉目标跟踪。与现有的处理静态图像进行图像分类的黑盒对抗攻击方法相比,我们提出了基于当前和历史帧的预测IoU分数顺序生成扰动的IoU攻击。通过降低IoU分数,所提出的攻击方法降低了时间相干边界框的准确性(即,物体运动)。此外,我们将学习到的扰动转移到接下来的几帧中,以初始化时间运动攻击。我们在最先进的深度跟踪器上验证了所提出的IoU攻击(即,基于检测、基于相关滤波器和长期跟踪器)。在基准数据集上的大量实验表明了所提出的IoU攻击方法的有效性。源代码可在https://github.com/VISION-SJTU/IoUattack上获得。
2021-03-27 cs.CV
ByteTrack: Multi-Object Tracking by Associating Every Detection Box
Huazhong University of Science and Technology(华中科技大学);The University of Hong Kong(香港大学);ByteDance Inc.(字节跳动公司)
多目标跟踪(MOT)的目的是估计边界框和身份的对象在视频中。大多数方法通过关联得分高于阈值的检测框来获得身份。具有低检测分数的对象(例如,被遮挡的对象)被简单地丢弃,这带来不可忽略的真实对象丢失和碎片轨迹。为了解决这个问题,我们提出了一个简单,有效和通用的关联方法,跟踪关联几乎每个检测框,而不是只高分的。对于低分数检测框,我们利用它们与tracklet的相似性来恢复真实对象并过滤掉背景检测。当应用于9种不同的最先进的跟踪器时,我们的方法在IDF1分数上实现了从1到10分的一致改进。为了提高MOT的性能,我们设计了一个简单而强大的跟踪器ByteTrack。我们首次在MOT17的测试集上实现了80.3 MOTA,77.3 IDF1和63.1 HOTA,在单个V100 GPU上运行速度为30 FPS。ByteTrack还在MOT20、HiEve和BDD 100K跟踪基准测试中实现了最先进的性能。源代码,预训练模型与部署版本和应用到其他跟踪器的教程在https://github.com/ifzhang/ByteTrack上发布。
2022-04-07 cs.CV
Box-Aware Feature Enhancement for Single Object Tracking on Point Clouds
The Chinese University of Hong Kong (Shenzhen)(香港中文大学(深圳));Shenzhen Research Institute of Big Data(深圳大数据研究院);Research Institute of USV Engineering, Shanghai University(上海大学无人船工程研究院);Baidu Inc(百度公司)
当前的3D单目标跟踪方法基于目标模板和搜索区域之间的特征比较来跟踪目标。然而,由于LiDAR扫描中常见的遮挡,因此在严重稀疏和不完整的形状上进行准确的特征比较并非易事。在这项工作中,我们利用地面实况限界框在第一帧作为一个强有力的线索,以提高目标对象的特征描述,使一个更准确的特征比较,在一个简单而有效的方式。特别是,我们首先提出了BoxCloud,一个信息丰富和强大的表示,描绘一个对象使用的点到框的关系。我们进一步设计了一个高效的框感知特征融合模块,该模块利用上述BoxCloud进行可靠的特征匹配和嵌入。将所提出的通用组件集成到现有的模型P2B中,我们构建了一个优越的盒感知跟踪器(BAT)。实验证实,我们提出的BAT在KITTI和NuScenes基准测试中的表现都远远优于之前的最先进技术,在精度方面提高了15.2%,同时运行速度提高了约20%。
2021-10-31 cs.CV
DIMBA: Discretely Masked Black-Box Attack in Single Object Tracking
University of Exeter(埃克塞特大学)
对抗攻击可以通过恶意操纵人类无法感知的输入来迫使基于CNN的模型产生错误的输出。探索这种扰动可以帮助我们更深入地了解神经网络的脆弱性,并为深度学习提供抵御各种对手的鲁棒性。尽管广泛的研究集中在图像,音频和NLP的鲁棒性上,但在视觉对象跟踪的对抗性示例上的工作-特别是以黑盒方式-非常缺乏。在本文中,我们提出了一种新的对抗攻击方法来产生噪声的单目标跟踪下的黑盒设置,其中扰动只是添加在初始帧的跟踪序列,这是很难被注意到从整个视频剪辑的角度。具体来说,我们将我们的算法分为三个部分,并利用强化学习精确定位重要的帧补丁,同时减少不必要的计算查询开销。与现有技术相比,我们的方法需要更少的查询初始化帧的视频操纵竞争力,甚至更好的攻击性能。我们在长期和短期数据集中测试了我们的算法,包括OTB 100,VOT 2018,UAV 123和LaSOT。大量的实验证明了我们的方法对三种主流类型的跟踪器的有效性:歧视,基于暹罗,和基于强化学习的跟踪器。
2022-07-17 cs.CV
Alpha-Refine: Boosting Tracking Performance by Precise Bounding Box Estimation
近年来,多阶段策略已成为视觉跟踪的一种流行趋势。该策略首先利用基本跟踪器对目标进行粗定位,然后利用细化模块获得更精确的结果。然而,现有的细化模块受到有限的可移植性和精度。在这项工作中,我们提出了一种新颖的,灵活的和准确的细化模块称为Alpha-Refine,它利用一个精确的像素相关层与空间感知的非局部层融合功能,并可以预测三个互补的输出:限界框,角落和掩码。为了明智地选择最合适的输出,我们还设计了一个轻量级的分支选择器模块。我们将建议的Alpha-Refine模块应用于五个著名的和最先进的基础跟踪器:DiMP,ATOM,SiamRPN++,RTMDNet和ECO。在TrackingNet、LaSOT和VOT 2018基准上的综合实验表明,与其他现有的细化方法相比,该方法显着提高了跟踪性能。源代码将在https://github.com/MasterBin-IIAU/AlphaRefine上提供。
2021-04-05 cs.CV
CRACT: Cascaded Regression-Align-Classification for Robust Visual Tracking
Stony Brook University(石溪大学)
高质量的目标建议是利用区域建议网络(RPN)的视觉跟踪算法的关键。这些建议的改进,通常是通过箱回归和分类并行,已被广泛采用,以提高跟踪性能。然而,在处理复杂动态背景时,该方法仍存在一些问题。因此,出于动机,在本文中,我们介绍了一个改进的建议细化模块,级联回归对齐分类(CRAC),它产生了新的国家的最先进的性能在许多基准测试。首先,我们观察到,从框回归的偏移量可以作为建议功能细化的指导,我们设计CRAC作为一个级联的框回归,功能对齐和框分类。关键是通过对齐步骤来桥接框回归和分类,这会为建议分类带来更准确的特征,并提高鲁棒性。为了解决对象外观的变化,我们引入了一个用于框分类的识别-区分组件,该组件利用离线可靠的细粒度模板和在线丰富的背景信息来区分目标和背景。此外,我们提出了金字塔RoIAlign的好处CRAC利用本地和全球线索的建议。在推理过程中,跟踪通过对所有细化的建议进行排名并选择最佳建议来进行。在包括OTB-2015,UAV 123,NfS,VOT-2018,TrackingNet,GOT-10 k和LaSOT在内的七个基准测试中,与最先进的竞争对手相比,我们的CRACT表现出非常有希望的结果,并实时运行。
2020-11-25 cs.CV
CityTrack: Improving City-Scale Multi-Camera Multi-Target Tracking by Location-Aware Tracking and Box-Grained Matching
Baidu Inc.(百度公司);Shanghai AI Laboratory(上海人工智能实验室)
CityTrack提出位置感知SCMT跟踪器和框粒度匹配方法,解决城市级多相机多目标跟踪中的跨相机关联难题,在CityFlowV2上以84.91%的IDF1获2022 AI CITY CHALLENGE第1名。
2023-07-06 cs.CV
Robust Visual Tracking by Segmentation
ETH Zürich(苏黎世联邦理工学院)
估计目标的范围提出了一个基本的挑战,在视觉对象跟踪。通常,跟踪器是以框为中心的,并且完全依赖于限界框来定义场景中的目标。在实践中,对象通常具有复杂的形状,并且不与图像轴对齐。在这些情况下,边界框不提供目标的准确描述,并且通常包含大部分背景像素。我们提出了一个以分割为中心的跟踪管道,不仅可以产生高度准确的分割掩码,而且可以在内部使用分割掩码而不是边界框。因此,我们的跟踪器能够更好地学习目标表示,该目标表示可以清楚地将场景中的目标与背景内容区分开来。为了实现必要的鲁棒性具有挑战性的跟踪情况下,我们提出了一个单独的实例定位组件,用于条件的分割解码器时,产生的输出掩码。我们从分割掩码中推断出一个限界框,在具有挑战性的跟踪数据集上验证我们的跟踪器,并在LaSOT上实现了最新的技术水平,成功AUC得分为69.7%。由于大多数跟踪数据集不包含掩模注释,因此我们无法使用它们来评估预测的分割掩模。相反,我们在两个流行的视频对象分割数据集上验证了我们的分割质量。
2022-07-20 cs.CV
PrivateGaze: Preserving User Privacy in Black-box Mobile Gaze Tracking Services
Delft University of Technology(代尔夫特理工大学);The Pennsylvania State University(宾夕法尼亚州立大学)
针对黑盒移动视线服务需上传全脸图像的隐私风险,本文提出 PrivateGaze,通过训练隐私保护器生成可用于视线估计且隐藏身份、性别等信息的混淆人脸图像,并在四个数据集上验证其隐私保护与性能保持效果。
2024-08-01 cs.CV
ByteTrackV2: 2D and 3D Multi-Object Tracking by Associating Every Detection Box
Baidu Inc.(百度公司);Huazhong University of Science and Technology(华中科技大学);The University of Hong Kong(香港大学)
多目标跟踪(MOT)的目的是估计边界框和跨视频帧的对象的身份。检测框作为2D和3D MOT的基础。检测分数的不可避免的变化导致跟踪后的目标丢失。本文提出了一种分层数据关联策略,在低分检测框中挖掘真实目标,解决了目标丢失和轨迹碎片化的问题。简单而通用的数据关联策略在2D和3D设置下都显示出有效性。在3D场景中,跟踪器更容易预测世界坐标中的物体速度。我们提出了一个互补的运动预测策略,将检测到的速度与卡尔曼滤波器,以解决突然的运动和短期消失的问题。ByteTrackV2在相机(56.4% AMOTA)和激光雷达(70.1% AMOTA)模式中均领先nuScenes 3D MOT排行榜。此外,它是非参数的,可以与各种检测器集成,使其在实际应用中具有吸引力。源代码发布于https://github.com/ifzhang/ByteTrack-V2。
2023-03-27 cs.CV
Alpha-Refine: Boosting Tracking Performance by Precise Bounding Box Estimation
Dalian University of Technology(大连理工大学);Peng Cheng Laboratory(鹏城实验室);Remark AI
视觉目标跟踪的目标是精确地估计给定目标的限界框,这是一个具有挑战性的问题,由于变形和遮挡等因素。近年来,许多跟踪器采用多阶段跟踪策略来提高限界框估计的质量。这些方法首先粗略地定位目标,然后在接下来的阶段中细化初始预测。然而,现有的方法仍然受到有限的精度,不同阶段的耦合严重限制了方法的可移植性。本文提出了一种新的、灵活的、精确的细化模块Alpha-Refine(AR),它可以显著提高基本跟踪器的框估计质量。通过探索一系列的设计方案,我们得出结论,成功的细化的关键是提取和维护尽可能详细的空间信息。遵循这一原则,Alpha-Refine采用逐像素相关、角点预测头和辅助掩模头作为核心部件。在TrackingNet、LaSOT、GOT-10 K和VOT 2020基准测试中,使用多个基本跟踪器进行的综合实验表明,我们的方法在几乎没有额外延迟的情况下显着提高了基本跟踪器的性能。所提出的Alpha-Refine方法导致了一系列增强的跟踪器,其中ARSiamRPN(AR增强的SiamRPNpp)和ARDiMP 50(AR增强的DiMP 50)实现了良好的效率-精度权衡,而ARDiMPsuper(AR增强的DiMP-super)在实时速度上实现了非常有竞争力的性能。代码和预训练模型可在https://github.com/MasterBin-IIAU/AlphaRefine上获得。
2021-07-11 cs.CV
RTrack: Accelerating Convergence for Visual Object Tracking via Pseudo-Boxes Exploration
Guangdong University of Technology(广东工业大学);South University of Science and Technology(南方科技大学)
针对真实边界框难以处理目标形变与旋转的问题,本文提出基于采样点生成伪框的 RTrack,并采用一对多主导分配策略,在 GOT-10k 上以仅 10% 训练成本达到 SOTA 性能。
2023-09-23 cs.CV
A Novel Bounding Box Regression Method for Single Object Tracking
University of British Columbia(不列颠哥伦比亚大学)
针对单目标跟踪问题,本研究聚焦边界框回归环节,提出inception和可变形两种新型回归网络,其中搭载inception模块的ODTrack在三个基准数据集上性能超越原模型。
2024-05-16 cs.CV
Track without Appearance: Learn Box and Tracklet Embedding with Local and Global Motion Patterns for Vehicle Tracking
Zhejiang University(浙江大学);Hangzhou Dianzi University(杭州电子科技大学);Guangdong University of Petrochemical Technology(广东石油化工学院);University of Washington(华盛顿大学)
车辆跟踪是多目标跟踪领域的一项重要任务。车辆跟踪的一个显著特点是车辆的轨迹在世界坐标系和图像坐标系中都是相当平滑的。因此,捕捉运动轨迹的模型是非常必要的。然而,使用独立的基于运动的跟踪器进行跟踪是相当具有挑战性的,因为目标很容易由于有限的信息、检测误差和遮挡而丢失。利用外观信息来辅助对象重新识别可以在一定程度上解决这一挑战。然而,这样做需要额外的计算,而外观信息也对遮挡敏感。在本文中,我们试图探讨的意义,运动模式的车辆跟踪没有外观信息。我们提出了一种新颖的方法,通过独家充分利用的运动信息来解决长期跟踪的关联问题。我们提出了基于深度图卷积神经网络(GCN)的重构嵌入策略来解决轨迹嵌入问题。在KITTI汽车跟踪数据集和UA-Detrac数据集上的综合实验表明,该方法虽然没有外观信息,但可以达到与最先进的(SOTA)跟踪器竞争的性能。源代码将在https://github.com/GaoangW/LGMTracker上提供。
2021-08-13 cs.CV
End-to-end Deep Object Tracking with Circular Loss Function for Rotated Bounding Box
JetBrains Research(JetBrains研究院);National Research University Higher School of Economics(国立研究型高等经济学院)
任务对象跟踪在自动驾驶、智能监控、机器人等众多应用中至关重要。该任务需要为视频流中的对象分配限界框,仅给定第一帧上该对象的限界框。2015年,一种新型的视频对象跟踪(VOT)数据集被创建,它引入了旋转边界框作为轴对齐边界框的扩展。在这项工作中,我们介绍了一种基于Transformer多头注意力架构的新型端到端深度学习方法。我们还提出了一种新的损失函数,它考虑了限界框重叠和方向。我们的具有循环损失函数(DOTCL)的深度对象跟踪模型在鲁棒性方面比当前最先进的端到端深度学习模型有了相当大的改进。它在VOT2018数据集上的预期平均重叠(EAO)度量方面也优于最先进的对象跟踪方法。
2020-12-17 cs.CV cs.LG
MBPTrack: Improving 3D Point Cloud Tracking with Memory Networks and Box Priors
Tsinghua University(清华大学);Cardiff University(卡迪夫大学)
几十年来,3D单目标跟踪一直是自动驾驶等众多应用的关键问题。尽管其广泛的使用,这项任务仍然具有挑战性,由于显着的外观变化所造成的遮挡和尺寸差异之间的跟踪目标。为了解决这些问题,我们提出了MBPTrack,它采用了内存机制,利用过去的信息,并制定了本地化的粗到细的计划,使用框先验在第一帧。具体地,具有目标性掩模的过去帧充当外部存储器,并且基于变换器的模块将跟踪的目标线索从存储器传播到当前帧。为了精确定位所有大小的对象,MBPTrack首先通过Hough投票预测目标中心。通过利用第一帧中给出的盒子先验,我们自适应地对目标中心周围的参考点进行采样,这些参考点大致覆盖了不同大小的目标。然后,我们通过将点特征聚合到参考点来获得密集的特征图,其中可以更有效地执行定位。大量实验表明,MBPTrack在KITTI、nuScenes和Waymo Open Dataset上实现了最先进的性能,同时在单个RTX3090 GPU上以50 FPS运行。
2023-03-09 cs.CV
P2B: Point-to-Box Network for 3D Object Tracking in Point Clouds
Huazhong University of Science and Technology(华中科技大学)
针对点云中的三维目标跟踪问题,提出了一种端到端学习的点到盒网络P2B。我们的主要思想是首先定位潜在的目标中心在3D搜索区域嵌入目标信息。然后,点驱动的三维目标的建议和验证联合执行。通过这种方式,可以避免耗时的3D穷举搜索。具体地说,我们首先从模板和搜索区域的点云分别采样种子。然后,我们执行置换不变的特征增强嵌入目标线索从模板到搜索区域种子,并表示它们与目标特定的功能。因此,增强的搜索区域种子通过Hough投票回归潜在的目标中心。这些中心进一步加强了种子方面的目标得分。最后,每个中心聚类其邻居,以利用集合功率进行联合3D目标建议和验证。我们应用PointNet++作为我们的骨干,在KITTI跟踪数据集上的实验证明了P2B的优越性(比最先进的提高了约10%)。请注意,P2B可以在单个NVIDIA 1080Ti GPU上以40FPS运行。我们的代码和模型可以在https://github.com/HaozheQi/P2B上找到。
2020-05-28 cs.CV
OSP2B: One-Stage Point-to-Box Network for 3D Siamese Tracking
Hangzhou Dianzi University(杭州电子科技大学);The University of Sydney(悉尼大学)
提出单阶段点到框网络OSP2B,同步生成3D提议与中心度分数,采用中心感知焦点损失和二元分类器缓解任务错位,在KITTI和Waymo数据集上实现领先性能与实时速度。
2023-05-09 cs.CV
Tracking Randomly Moving Objects on Edge Box Proposals
Australian National University(澳大利亚国立大学);NICTA(澳大利亚国家信息通信技术卓越中心);ARC Centre of Excellence for Robotic Vision(澳大利亚研究理事会机器人视觉卓越中心)
大多数检测跟踪方法在当前帧中的预测对象位置周围采用局部搜索窗口,假设先前的位置是准确的,轨迹是平滑的,并且计算能力允许可以容纳最大速度但又足够小以减少失配的搜索半径。然而,这些可能并不总是有效的,特别是对于快速和不规则移动的对象。在这里,我们提出了一个对象跟踪器,不限于本地搜索窗口,并有能力有效地探测整个帧。我们的方法产生了少量的“高品质”的建议,一个新的实例特定的对象性措施,并评估他们对对象模型,可以通过从现有的跟踪检测方法作为核心跟踪器。在跟踪过程中,我们更新的对象模型集中在硬假阳性提供的建议,这有助于抑制干扰所造成的困难的背景杂波,并学习如何重新排名的建议,根据对象模型。由于我们大大减少了核心跟踪器评估的假设数量,我们可以使用更丰富的对象描述符和更强大的检测器。我们的方法在流行的跟踪基准上优于最新的最先进的跟踪器,并为快速移动的对象以及超低帧速率视频提供了更好的鲁棒性。
2015-11-29 cs.CV
Learning Tracking Representations from Single Point Annotations
City University of Hong Kong(香港城市大学)
针对深度跟踪器边界框标注成本高的问题,提出融入目标物体性先验的软对比学习SoCL框架,以单点标注弱监督学习跟踪表征,在降低标注成本的同时实现了优异且抗噪的跟踪性能。
2024-04-15 cs.CV
DiffusionTrack: Diffusion Model For Multi-Object Tracking
Shenzen Institute of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);University of Chinese Academy of Sciences(中国科学院大学);Huazhong University of Science and Technology(华中科技大学);University of California, Santa Barbara(加州大学圣巴巴拉分校)
本文提出DiffusionTrack,将多目标检测与关联统一建模为从噪声框到真值框的去噪扩散过程,在MOT17、MOT20和Dancetrack上取得与最先进方法相当的跟踪性能。
2024-02-21 cs.CV
Video Annotation for Visual Tracking via Selection and Refinement
Dalian University of Technology(大连理工大学);CSA Intellicloud Ltd(CSA 智云有限公司);Remark Holdings(Remark Holdings公司)
基于深度学习的视觉跟踪器需要在大量视频数据集上进行离线预训练,这些视频数据集具有精确的限界框注释,而实现这些注释的劳动力成本很高。我们提出了一个新的框架,以促进限界框注释的视频序列,调查的选择和细化策略,自动提高跟踪算法产生的初步注释。提出了一种时间评估网络(T-Assess Net),该网络能够捕获目标位置的时间相关性,并通过测量其质量来选择可靠的跟踪结果。同时,视觉几何细化网络(VG-Refine Net)也被设计为进一步增强所选择的跟踪结果,通过考虑目标外观和时间几何约束,允许不准确的跟踪结果进行校正。上述两种网络的结合提供了一种原则性的方法来确保自动视频标注的质量。在大规模跟踪基准上的实验表明,我们的方法可以提供高度准确的限界框注释,并显着减少94.0%的人工劳动,产生一种有效的手段,以进一步提高跟踪性能与增强训练数据。
2021-08-09 cs.CV
DeTrack: In-model Latent Denoising Learning for Visual Object Tracking
Fudan University(复旦大学);Shanghai Key Lab of Intelligent Information Processing(上海市智能信息处理重点实验室);School of Computer Science, Fudan University(复旦大学计算机科学技术学院);Shanghai Engineering Research Center of AI & Robotics(上海市人工智能与机器人工程技术研究中心);Academy for Engineering and Technology, Fudan University(复旦大学工程与技术学院)
本文提出 DeTrack,将视觉跟踪建模为模型内潜在去噪学习,通过去噪 ViT 逐块消除边界框噪声,并结合轨迹与视觉记忆,在保证实时性的同时提升鲁棒性和跟踪性能。
2025-01-05 cs.CV
TrajectoryFormer: 3D Object Tracking Transformer with Predictive Trajectory Hypotheses
CUHK(香港中文大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Samsung Telecommunication Research(三星电信研究院);NVIDIA AI Technology Center(英伟达人工智能技术中心);CPII(香港中文大学工程学院感知与交互研究中心);Shanghai AI Laboratory(上海人工智能实验室)
本文提出基于点云的TrajectoryFormer,通过融合时间预测框与当前检测框生成轨迹假设,并结合运动、外观特征及全局—局部交互,恢复漏检目标,在Waymo 3D MOT基准上达到SOTA。
2023-08-18 cs.CV
Saliency based Semi-supervised Learning for Orbiting Satellite Tracking
University of Chinese Academy of Sciences(中国科学院大学);Key Laboratory of Space Utilization, Chinese Academy of Sciences(中国科学院空间利用重点实验室)
在轨卫星的轨道和边界是空间机器人进行在轨修复和操作的基础信息。然而,由于在轨卫星的自由和快速运动、快速变化的背景和照明条件的突然变化,这项任务具有挑战性。传统的跟踪通常依赖于目标物体的单个限界框,然而,视觉跟踪需要提供更详细的信息,如二进制掩码。在本文中,我们提出了一种SSLT(基于显着性的半监督学习跟踪)算法,提供了限界框和目标卫星的分割二进制掩码在12帧/秒,而不需要注释数据。我们的方法,SSLT,提高了分割性能,通过生成一个显着图为基础的半监督在线学习方法内的初始限界框估计跟踪。一旦训练了定制的分割模型,将使用二进制分割结果来细化限界框和卫星轨迹。实验使用来自NASA(国家航空航天局)的真实在轨交会对接视频,来自ESA(欧洲航天局)的模拟卫星动画序列和我们实验室拍摄的3D打印卫星模型的图像序列,与最先进的跟踪和分割方法相比,我们的方法具有鲁棒性,通用性和快速性。我们的数据集将在未来发布用于学术用途。
2019-09-09 cs.CV
Center-based 3D Object Detection and Tracking
UT Austin(德克萨斯大学奥斯汀分校);cs.utexas.edu(德克萨斯大学奥斯汀分校计算机系)
三维对象通常表示为点云中的3D框。这种表示模仿了基于图像的2D边界框检测,但也带来了额外的挑战。3D世界中的对象不遵循任何特定方向,并且基于框的检测器难以枚举所有方向或将轴对齐的限界框适配到旋转的对象。在本文中,我们建议将3D对象表示,检测和跟踪为点。我们的框架CenterPoint首先使用关键点检测器检测对象的中心,并回归到其他属性,包括3D大小,3D方向和速度。在第二阶段,它使用对象上的附加点特征来细化这些估计。在CenterPoint中,3D对象跟踪简化为贪婪最近点匹配。所得到的检测和跟踪算法是简单,高效,有效的。CenterPoint在nuScenes基准测试中实现了最先进的3D检测和跟踪性能,单个模型的NDS为65.5,AMOTA为63.8。在Waymo Open Dataset上,CenterPoint的表现远远优于之前所有的单一模型方法,在所有仅使用激光雷达的提交中排名第一。代码和预训练模型可在https://github.com/tianweiy/CenterPoint上获得。
2021-01-06 cs.CV
Zero-Shot Open-Vocabulary Tracking with Large Pre-Trained Models
Carnegie Mellon University(卡内基梅隆大学);Stanford University(斯坦福大学);Toyota Research Institute(丰田研究所)
本文提出将开放词汇检测器、分割器与光流估计器重构为零样本视频跟踪框架,结合框传播、细化、分割、轨迹终止和重识别,在 UVO 与 BURST 上超越此前最优方法。
2024-01-25 cs.CV
Ocean: Object-aware Anchor-free Tracking
CASIA(中国科学院自动化研究所);UCAS(中国科学院大学);Microsoft Research(微软研究院)
基于锚点的暹罗跟踪器在跟踪精度上取得了显著的进步,但跟踪鲁棒性滞后限制了进一步的提高。我们发现根本原因是基于锚点的方法中的回归网络仅在正锚点框(即,$IoU \geq0.6$)。这种机制使得难以细化与目标对象重叠较小的锚点。在本文中,我们提出了一种新的对象感知无锚网络来解决这个问题。首先,而不是细化的参考锚框,我们直接预测的位置和规模的目标对象在一个锚的方式。由于地面实况框中的每个像素都经过良好的训练,因此跟踪器能够在推理过程中纠正目标对象的不准确预测。其次,我们引入了一个特征对齐模块来从预测的边界框中学习对象感知特征。对象感知特征可以进一步有助于目标对象和背景的分类。此外,我们提出了一种新的跟踪框架的基础上无锚模型。实验表明,我们的无锚跟踪器在包括VOT-2018,VOT-2019,OTB-100,GOT-10 k和LaSOT在内的五个基准测试中达到了最先进的性能。源代码可在https://github.com/researchmm/TracKit上获得。
2020-07-09 cs.CV
Pixel Intensity Tracking for Remote Respiratory Monitoring: A Study on Indonesian Subject
Institut Teknologi Sumatera(苏门答腊理工学院)
针对传统接触式呼吸测量的不适及替代方案的局限,提出基于RGB图像像素强度变化的非接触呼吸监测方法,通过多配置实验在印尼受试者中验证了不同条件下的最优参数组合。
2024-12-13 cs.CV
Target Transformed Regression for Accurate Tracking
Nanjing University(南京大学)
由于视频中目标的外观变化、姿态和视角变化以及几何变形,精确跟踪仍然是一项具有挑战性的任务。最近的无锚跟踪器提供了一种有效的回归机制,但不能产生精确的限界框估计。为了解决这些问题,本文重新设计了一个类似于Transformer的回归分支,称为目标转换回归(Target Transformed Regression,TREG),用于精确的无锚跟踪。TREG的核心是建立目标模板和搜索区域中元素之间的成对关系,并使用得到的目标增强视觉表示进行精确的限界框回归。这种目标上下文化表示能够增强目标相关信息,帮助精确定位框边界,并由于其局部和密集的匹配机制在一定程度上处理对象变形。此外,我们设计了一个简单的在线模板更新机制来选择可靠的模板,增加了鲁棒性的外观变化和几何变形的目标的时间。在视觉跟踪基准测试(包括VOT 2018、VOT 2019、OTB100、GOT10k、NFS、UAV123、LaSOT和TrackingNet)上的实验结果表明,TREG获得了最先进的性能,在LaSOT上实现了0.640的成功率,同时运行在30 FPS左右。代码和模型将在https://github.com/MCG-NJU/TREG上提供。
2021-04-01 cs.CV
ATOM: Accurate Tracking by Overlap Maximization
Linköping University(林雪平大学);ETH Zürich(苏黎世联邦理工学院);Inception Institute of Artificial Intelligence(起源人工智能研究院)
虽然近年来在视觉跟踪鲁棒性方面取得了惊人的进步,但跟踪精度的进步却受到限制。由于研究的重点一直集中在发展功能强大的分类器上,因此在很大程度上忽略了目标状态估计的精确性问题。事实上,大多数跟踪器采取简单的多尺度搜索,以估计目标限界框。我们认为,这种方法从根本上是有限的,因为目标估计是一项复杂的任务,需要高层次的知识对象。我们解决这个问题,提出了一种新的跟踪架构,由专用的目标估计和分类组件。通过广泛的离线学习将高级知识并入目标估计中。我们的目标估计组件被训练来预测目标对象和估计的限界框之间的重叠。通过仔细整合特定目标的信息,我们的方法实现了以前看不见的限界框的准确性。我们还引入了一个分类组件,它是在线训练的,以保证在干扰物存在的情况下具有高的辨别力。我们最终的跟踪框架在五个具有挑战性的基准上设置了一个新的最先进的状态。在新的大规模TrackingNet数据集上,我们的跟踪器ATOM比以前的最佳方法实现了15%的相对增益,同时运行速度超过30 FPS。代码和型号可在https://github.com/visionml/pytracking上获得。
2019-04-11 cs.CV
ClickTrack: Towards Real-time Interactive Single Object Tracking
Institute of Vision Intelligence, Peng Cheng Laboratory(鹏城实验室视觉智能研究院)
本文提出ClickTrack范式,通过引导式点击精化器GCR将点击及可选文本转换为边界框,用于实时交互式单目标跟踪,并在LaSOT和GOT-10k上验证了其稳定性,同时可集成到SAM中减少点输入歧义。
2024-11-24 cs.CV
PolyTrack: Tracking with Bounding Polygons
Polyechnique Montréal(蒙特利尔理工学院)
在本文中,我们提出了一种新的方法称为PolyTrack的快速多目标跟踪和分割使用边界多边形。Polytrack通过生成中心关键点的热图来检测对象。对于每个实例,通过计算每个实例上的边界多边形而不是传统的限界框来进行粗略分割。跟踪是通过将两个连续帧作为输入并计算在第一帧中检测到的每个对象的中心偏移来预测其在第二帧中的位置来完成的。还应用卡尔曼滤波器来减少ID开关的数量。由于我们的目标应用是自动驾驶系统,我们将我们的方法应用于城市环境视频。我们在MOTS和KITTIMOTS数据集上训练和评估了PolyTrack。结果表明,跟踪多边形可以是一个很好的替代限界框和面具跟踪。PolyTrack的代码可在https://github.com/gafaua/PolyTrack上获得。
2021-11-02 cs.CV
SRCN3D: Sparse R-CNN 3D for Compact Convolutional Multi-View 3D Object Detection and Tracking
Tsinghua University(清华大学)
本文提出SRCN3D,一种结合稀疏查询、稀疏注意力和稀疏预测的两阶段全稀疏3D目标检测器,通过级联结构和局部RoI特征采样实现高效且易于部署的多视图3D检测与跟踪。
2023-07-02 cs.CV
SpOT: Spatiotemporal Modeling for 3D Object Tracking
Stanford University(斯坦福大学);Toyota Research Institute(丰田研究院)
3D多目标跟踪旨在通过时间唯一且一致地识别所有移动实体。尽管在此设置中可用的丰富的时空信息,当前的3D跟踪方法主要依赖于抽象的信息和有限的历史,例如单帧对象边界框。在这项工作中,我们开发了一个整体表示的交通场景,利用空间和时间信息的演员在现场。具体来说,我们重新制定跟踪作为一个时空问题,通过跟踪对象的时间戳点和边界框序列在一个很长的时间历史。在每个时间戳,我们通过对整个对象历史序列的学习改进来改进跟踪对象的位置和运动估计。通过将时间和空间结合起来考虑,我们的表征自然地编码了基本的物理先验,例如物体永久性和跨时间的一致性。我们的时空跟踪框架在Waymo和nuScenes基准测试中达到了最先进的性能。
2022-07-12 cs.CV
ROAM: Recurrently Optimizing Tracking Model
Tencent AI Lab(腾讯人工智能实验室);City University of Hong Kong(香港城市大学);Didi Chuxing(滴滴出行)
在本文中,我们设计了一个跟踪模型,包括响应生成和限界框回归,其中第一个组件产生一个热图,以指示在不同位置的对象的存在和第二部分回归的相对限界框移动到安装在滑动窗口位置的锚。由于在两个组件中使用了可调整大小的卷积滤波器来适应对象的形状变化,我们的跟踪模型不需要枚举不同大小的锚点,从而节省了模型参数。为了有效地适应模型的外观变化,我们提出了离线训练一个递归神经优化器更新跟踪模型中的元学习设置,它可以收敛在几个梯度步骤的模型。这提高了更新跟踪模型的收敛速度,同时实现更好的性能。我们在OTB、VOT、LaSOT、GOT-10 K和TrackingNet基准测试中广泛评估了我们的跟踪器ROAM和ROAM++,我们的方法与最先进的算法相比表现良好。
2020-03-24 cs.CV
SAM-PD: How Far Can SAM Take Us in Tracking and Segmenting Anything in Videos by Prompt Denoising
Zhejiang University(浙江大学);Hong Kong University of Science and Technology(香港科技大学)
本研究将视频跟踪任务转化为提示去噪任务,提出多提示策略和点精调阶段增强SAM的去噪与抗误差能力,在三个数据集上取得与现有方法相当的性能,为SAM下游应用提供跟踪能力基线。
2024-03-07 cs.CV
Generating Masks from Boxes by Mining Spatio-Temporal Consistencies in Videos
ETH Zurich(苏黎世联邦理工学院)
分割视频中的对象是一项基本的计算机视觉任务。当前基于深度学习的范式提供了一个强大但数据饥渴的解决方案。然而,当前的数据集受到在视频中注释对象遮罩的成本和人力的限制。这有效地限制了现有视频分割方法的性能和泛化能力。为了解决这个问题,我们探索较弱形式的限界框注释。我们介绍了一种从视频中的每帧限界框注释生成分割掩模的方法。为此,我们提出了一个时空聚合模块,有效地挖掘在多帧的对象和背景的外观。我们使用我们得到的精确掩码进行视频对象分割(VOS)网络的弱监督训练。我们只使用大规模跟踪数据集的限界框注释来生成分割掩码。额外的数据提供了更好的泛化性能,从而在VOS和更具挑战性的跟踪域中产生最先进的结果。
2021-01-06 cs.CV
Asynchronous Tracking-by-Detection on Adaptive Time Surfaces for Event-based Object Tracking
Xiamen University(厦门大学);Xidian University(西安电子科技大学)
事件摄像机是一种异步生物视觉传感器,在快速运动和低照度场景等各种情况下显示出巨大的潜力。然而,大多数基于事件的对象跟踪方法都是针对无纹理对象和无杂乱背景的场景而设计的。很少有基于事件的对象跟踪方法支持基于限界框的对象跟踪。这项工作背后的主要思想是提出一个异步的基于事件的跟踪检测(ETD)方法的通用限界框为基础的对象跟踪。为了实现这一目标,我们提出了一个自适应时间表面与线性时间衰减(ATSLTD)的事件到帧转换算法,异步和有效地扭曲的时空信息的异步视网膜事件的序列的ATSLTD帧具有清晰的对象轮廓。我们饲料的ATSLTD帧序列的建议ETD方法进行准确和有效的对象跟踪,它利用了事件相机的高时间分辨率属性。我们比较了建议的ETD方法与七种流行的对象跟踪方法,这些方法是基于传统的相机或事件相机,以及ETD的两个变体。实验结果表明,所提出的ETD方法在处理各种具有挑战性的环境中的优越性。
2020-02-13 cs.CV
Learning Spatio-Temporal Transformer for Visual Tracking
Dalian University of Technology(大连理工大学);Microsoft Research Asia(微软亚洲研究院)
在本文中,我们提出了一种新的跟踪架构的编码器-解码器Transformer的关键组成部分。编码器对目标对象和搜索区域之间的全局时空特征依赖关系进行建模,而解码器学习查询嵌入以预测目标对象的空间位置。我们的方法将对象跟踪转换为直接的限界框预测问题,而不使用任何建议或预定义的锚。使用编码器-解码器Transformer,对象的预测仅使用简单的全卷积网络,直接估计对象的角点。整个方法是端到端的,不需要任何后处理步骤,如余弦窗口和限界框平滑,从而大大简化了现有的跟踪管道。该跟踪器在五个具有挑战性的短期和长期基准测试中实现了最先进的性能,同时以实时速度运行,比Siam R-CNN快6倍。代码和模型在https://github.com/researchmm/Stark上开源。
2021-03-31 cs.CV
Multi-Ship Tracking by Robust Similarity metric
Harbin Engineering University(哈尔滨工程大学)
针对船舶数据集中IoU度量失效导致的跟踪身份切换问题,提出兼顾重叠面积与形状相似性的TIoU度量,集成到主流跟踪框架后有效提升了多船舶跟踪性能。
2023-10-08 cs.AI cs.CV
ARKitTrack: A New Diverse Dataset for Tracking Using Mobile RGB-D Data
Dalian University of Technology(大连理工大学);Peng Cheng Laboratory(鹏城实验室)
与传统的仅基于RGB的视觉跟踪相比,很少有数据集被构建用于RGB-D跟踪。在本文中,我们提出了ARKitTrack,这是一种新的RGB-D跟踪数据集,用于Apple iPhone和iPad上配备的消费级LiDAR扫描仪捕获的静态和动态场景。ARKitTrack包含300个RGB-D序列,455个目标和229.7K视频帧。除了限界框注释和帧级属性外,我们还使用123.9K像素级目标遮罩来注释该数据集。此外,相机的内在和相机姿态的每一帧提供了未来的发展。为了证明该数据集的潜在有用性,我们进一步为框级和像素级跟踪提供了一个统一的基线,该基线将RGB特征与鸟瞰图表示相结合,以更好地探索跨模态3D几何形状。深入的实证分析已经验证了ARKitTrack数据集可以显着促进RGB-D跟踪,并且所提出的基线方法与最先进的方法相比具有优势。代码和数据集可在https://arkittrack.github.io上获得。
2023-03-24 cs.CV
Tracking Feral Horses in Aerial Video Using Oriented Bounding Boxes
本文提出一种头部姿态估计方法,利用定向边界框提升空中视频中野马追踪的准确性与稳定性。
2026-03-04 cs.CV q-bio.QM
PanoPed: Beyond Bounding Boxes for Sim-to-Real Panoramic Pedestrian Tracking
Xi’an Jiaotong-Liverpool University(西交利物浦大学);University of Liverpool(利物浦大学);Duke Kunshan University(昆山杜克大学);CNRS(法国国家科学研究中心)
针对全景行人跟踪中平面边界框无法准确表示球面位置的问题,提出PanoPed基准和Sextant角度定位头,以极低参数提升跟踪精度,并在仿真到现实迁移中表现优异。
2026-10-08 cs.CV
A Simple Baseline for Pose Tracking in Videos of Crowded Scenes
National University of Singapore(新加坡国立大学);YITU Technology(依图科技)
本文介绍了我们的解决方案,ACM MM挑战:大规模以人为中心的视频分析在复杂的事件\cite{lin2020human},特别是,在这里,我们专注于跟踪3:人群姿态跟踪在复杂的事件。近年来,多姿势训练取得了显著的进展。然而,如何在拥挤和复杂的环境中跟踪人体姿态一直没有得到很好的解决。我们制定的问题作为几个子问题要解决。首先,我们使用多目标跟踪方法来分配人类ID到每个限界框产生的检测模型。最后,利用光流法充分利用视频中的时间信息,生成最终的姿态跟踪结果。
2020-10-21 cs.CV
Joint Spatial-Temporal Optimization for Stereo 3D Object Tracking
The Hong Kong University of Science and Technology(香港科技大学)
直接从序列图像中学习多个三维目标的运动是困难的,而几何光束法平差缺乏定位不可见目标质心的能力。为了利用深度神经网络强大的目标理解能力,同时解决精确的几何建模以实现一致的轨迹估计,我们提出了一种基于时空联合优化的立体3D目标跟踪方法。从网络中,我们检测相邻图像上的相应的2D边界框,并回归初始3D限界框。然后使用基于区域的网络预测与对象质心相关联的密集对象线索(局部深度和局部坐标)。同时考虑到即时定位精度和运动一致性,我们的优化模型之间的关系的对象质心和观察到的线索到一个联合的时空误差函数。所有的历史线索将被总结,以有助于通过每帧边缘化策略的当前估计,而无需重复计算。KITTI跟踪数据集的定量评估表明,我们的方法优于以前的基于图像的3D跟踪方法的显着利润率。我们还报告了多个类别和更大数据集(KITTI raw和Argoverse Tracking)的广泛结果,以供未来的基准测试。
2020-04-20 cs.CV
Fast Online Object Tracking and Segmentation: A Unifying Approach
CASIA(中国科学院自动化研究所);University of Oxford(牛津大学);FiveAI
在本文中,我们说明了如何执行视觉对象跟踪和半监督视频对象分割,在实时,一个简单的方法。我们的方法被称为SiamMask,通过使用二进制分割任务增加其损失,改进了用于对象跟踪的流行全卷积Siamese方法的离线训练过程。一旦经过训练,SiamMask仅依赖于单个限界框初始化并在线运行,以每秒55帧的速度生成与类别无关的对象分割掩码和旋转边界框。尽管其简单性,多功能性和快速性,我们的策略使我们能够在VOT-2018上建立实时跟踪器的新技术水平,同时在DAVIS-2016和DAVIS-2017上展示半监督视频对象分割任务的竞争力和最佳速度。该项目的网站是http://www.robots.ox.ac.uk/~qwang/SiamMask。
2019-05-05 cs.CV
Exploring Decoupled Spatio-Temporal Consistency Learning and Self-Prompting Evolution for Self-Supervised Tracking
本研究提出SSTrack++自监督跟踪模型,通过弱到强自监督框架、解耦时空一致性策略等,在十个基准数据集上超越SOTA自监督跟踪方法,显著缩小与全监督跟踪器的性能差距。
2026-08-12 cs.CV
TSDM: Tracking by SiamRPN++ with a Depth-refiner and a Mask-generator
Dalian University of Technology(大连理工大学)
在通用对象跟踪中,深度(D)信息为前景-背景分离和目标限界框回归提供信息线索。然而,到目前为止,由于缺乏合适的模型,很少有跟踪器使用深度信息来发挥上述重要作用。本文提出了一种RGB-D跟踪器TSDM,它由掩码生成器(M-g)、SiamRPN++和深度细化器(D-r)组成。M-g生成背景遮罩,并随着目标3D位置的变化更新它们。D-r基于目标与周围背景之间的空间深度分布差异,优化SiamRPN++估计的目标限界框。对普林斯顿跟踪基准和视觉对象跟踪挑战的广泛评估表明,我们的跟踪器在实现23 FPS的同时大大优于最先进的跟踪器。此外,一个轻量级的变体可以以31 FPS运行,因此它对于现实世界的应用是实用的。TSDM的代码和模型可在https://github.com/lql-team/TSDM上获得。
2020-05-08 cs.CV
LATTE: Accelerating LiDAR Point Cloud Annotation via Sensor Fusion, One-Click Annotation, and Tracking
Berkeley AI Research(伯克利人工智能研究院);University of California, Berkeley(加州大学伯克利分校);Huaqiao University(华侨大学)
LiDAR(光探测和测距)是自动驾驶汽车的一种重要且广泛采用的传感器,特别是对于那些在更高级别(L4-L5)自动驾驶下运行的车辆。最近的工作已经证明了深度学习方法对基于LiDAR的检测的承诺。然而,深度学习算法非常需要数据,需要大量标记的点云数据进行训练和评估。由于以下问题,对LiDAR点云数据进行注释具有挑战性:1)LiDAR点云通常是稀疏的并且具有低分辨率,使得人类注释者难以识别对象。2)与2D图像上的注释相比,在LiDAR点云上绘制3D边界框甚至逐点标签的操作更加复杂和耗时。3)LiDAR数据通常是按顺序收集的,因此连续的帧高度相关,导致重复注释。为了应对这些挑战,我们提出了LATTE,这是一种用于LiDAR点云的开源注释工具。LATTE具有以下创新:1)传感器融合:我们利用基于图像的检测算法自动预标记校准图像,并将标签转移到点云。2)一键标注:我们没有绘制3D边界框或逐点标签,而是将注释简化为只需单击目标对象,并自动生成目标的限界框。3)跟踪:我们将跟踪集成到序列注释中,使得我们可以将标签从一个帧转移到后续帧,从而显著减少重复标记。实验结果表明,该特征将标注速度提高了6.2倍,显著提高了标注质量,实例级准确率和召回率分别提高了23.6%和2.2%,限界框IoU提高了2.0%。LATTE在https://github.com/bernwang/latte上是开源的。
2019-04-19 cs.CV