Track to Detect and Segment: An Online Multi-Object Tracker
SUNY Buffalo(纽约州立大学布法罗分校);TJU(天津大学);Horizon Robotics
大多数在线多目标跟踪器在没有来自跟踪的任何输入的情况下在神经网络中独立地执行目标检测。在本文中,我们提出了一个新的在线联合检测和跟踪模型,TRADES(TRAck到DEtect和段),利用跟踪线索,以协助检测端到端。TraDeS通过成本量推断对象跟踪偏移,该成本量用于传播先前的对象特征以改进当前目标检测和分割。TraDeS在MOT(2D跟踪)、nuScenes(3D跟踪)、MOTS和Youtube-VIS(实例分割跟踪)4个数据集上的有效性和优越性得到了验证。项目页面:https://jialianwu.com/projects/TraDeS.html。
2021-03-16 cs.CV
Object Detection, Tracking, and Motion Segmentation for Object-level Video Segmentation
University of Freiburg(弗莱堡大学)
我们提出了一种方法,结合帧级的目标检测的概念,从对象跟踪和运动分割的视频对象分割。该方法基于现成的检测器提取时间上一致的对象管。除了每个管的类别标签之外,这还提供了独立于运动的位置先验。对于最终的视频分割,我们将这些信息与运动线索相结合。该方法克服了弱监督/无监督视频分割的典型问题,如没有运动的场景,占主导地位的摄像机运动,以及作为一个单元移动的对象。与大多数跟踪方法相比,它提供了一个准确的,时间上一致的分割每个对象。我们报告了四个视频分割数据集的结果:YouTube Objects,SegTrackv 2,egoMotion和FBMS。
2016-08-10 cs.CV
Tracking Multiple Moving Objects Using Unscented Kalman Filtering Techniques
Virginia Polytechnic Institute and State University(弗吉尼亚理工学院暨州立大学)
对多个运动目标进行可靠的检测和跟踪是视频监控的重要任务。然而,当遮挡发生在非线性运动场景中,许多现有的方法往往无法连续跟踪多个运动的感兴趣的对象。在本文中,我们提出了一种有效的方法来检测和跟踪多运动目标的遮挡。移动目标最初使用一个简单而有效的块匹配技术检测,提供多个对象跟踪的粗略位置信息。然后通过非线性跟踪算法为每个移动对象估计更精确的位置信息。考虑到多个运动目标之间的遮挡所造成的模糊性,我们采用无迹卡尔曼滤波(UKF)技术可靠的目标检测和跟踪。与传统的卡尔曼滤波(KF)在非线性跟踪场景中无法实现最优估计不同,UKF由于采用了无迹变换,可以同时跟踪线性和非线性运动。此外,它估计每个对象的速度信息,以协助目标检测算法,有效地描绘多个移动对象的遮挡。实验结果表明,该方法可以正确地检测和跟踪多个运动目标的非线性运动模式和闭塞。
2018-02-05 cs.CV
Vision-based Real-Time Aerial Object Localization and Tracking for UAV Sensing System
University of Kansas(堪萨斯大学)
研究了无人机导航中基于视觉的障碍物检测与跟踪问题。将目标检测和跟踪有效地结合到动态卡尔曼模型中,提出了一种单目图像序列中目标的实时的【形】定位和跟踪策略。在检测阶段,感兴趣的对象是自动检测和本地化的显着性地图计算通过在每帧的图像背景连接线索;在跟踪阶段,一个卡尔曼滤波器被用来提供一个粗略的预测的对象状态,这是进一步细化通过一个本地检测器,结合显着性地图和两个连续帧之间的时间信息。与现有的方法相比,所提出的方法不需要任何手动初始化跟踪,运行速度远远快于国家的最先进的跟踪器的同类,并实现了大量的图像序列上的竞争力的跟踪性能。大量的实验证明了所提出的方法的有效性和优越的性能。
2017-03-19 cs.CV
Integrated Object Detection and Tracking with Tracklet-Conditioned Detection
Microsoft Research Asia(微软亚洲研究院);Beijing Institute of Technology(北京理工大学);University of Science and Technology of China(中国科学技术大学)
目标的准确检测和跟踪对于有效的视频理解至关重要。在以前的工作中,这两个任务已经结合在一起的方式,跟踪是基于检测很大程度上,但检测效益边际跟踪。为了提高协同作用,我们建议通过在先前帧中计算的轨迹上调节当前帧中的目标检测来更紧密地集成任务。利用该方法,目标检测结果不仅具有高的检测响应,而且还提高了与现有轨迹的一致性。这种更大的相干性导致估计的对象轨迹比在没有轨迹段条件检测的情况下获得的抖动路径更平滑和更稳定。在广泛的实验中,这种方法被证明是实现国家的最先进的性能方面的检测和跟踪精度,以及跟踪稳定性的显着改善。
2018-11-27 cs.CV
UA-DETRAC: A New Benchmark and Protocol for Multi-Object Detection and Tracking
JD Finance America Corporation(京东金融美国公司);University at Albany, State University of New York(纽约州立大学奥尔巴尼分校);University of California, San Diego(加利福尼亚大学圣地亚哥分校);National Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所模式识别国家重点实验室);University of Chinese Academy of Sciences(中国科学院大学);Hanyang University(汉阳大学);University of California at Merced(加利福尼亚大学默塞德分校)
近年来,由于多目标跟踪的广泛应用,发展了许多有效的多目标跟踪方法。现有的MOT方法的性能评估通常通过使用相同的固定目标检测结果进行比较来将目标跟踪步骤与目标检测步骤分开。在这项工作中,我们进行了全面的定量研究的影响目标检测准确性的整体MOT性能,使用新的大规模大学奥尔巴尼检测和tRACKing(UA-DETRAC)基准数据集。UA-DETRAC基准数据集由100个从真实交通场景中捕获的具有挑战性的视频序列组成(超过140,000帧,具有丰富的注释,包括遮挡、天气、车辆类别、截断和车辆边界框),用于目标检测、目标跟踪和MOT系统。我们评估完整的MOT系统,从国家的最先进的目标检测和目标跟踪方法的组合。我们的分析表明,复杂的影响,目标检测精度的MOT系统的性能。基于这些观察,我们提出了新的评估工具和指标的MOT系统,同时考虑目标检测和目标跟踪的综合分析。
2020-01-24 cs.CV
Parallel WiSARD object tracker: a ram-based tracking system
UFRJ University(里约热内卢联邦大学)
本文提出了并行WiSARD对象跟踪器(PWOT),一种新的对象跟踪器的基础上的WiSARD失重神经网络,是对量化误差的鲁棒性。视频中的目标跟踪在许多应用中是一项重要且具有挑战性的任务。由于天气条件、目标轨迹和外观、遮挡、照明条件和噪音,可能会出现困难。跟踪是一个高级应用,需要实时的逐帧定位目标。本文提出了一种快速混合图像分割(阈值和边缘检测)在YcbCr颜色模型和一个并行RAM为基础的可编程逻辑器件,提高效率时,量化错误发生。最初的WiSARD训练算法被更改为允许跟踪。
2014-03-12 cs.CV
Simultaneous Object Detection, Tracking, and Event Recognition
Purdue University(普渡大学)
目标检测、基于检测的跟踪和事件识别的共同内部结构和算法组织促进了集成这三个组件的通用方法。这支持这些组件之间的多方向信息流,从而允许目标检测影响跟踪和事件识别,并且允许事件识别影响跟踪和目标检测。组合的性能可以超过单独的组件的性能。这可以用线性渐近复杂度来完成。
2012-04-12 cs.AI cs.CV
Uncertainty-Aware Voxel based 3D Object Detection and Tracking with von-Mises Loss
University of Michigan(密歇根大学)
目标检测与跟踪是实现自主飞行的关键。具体地,3D目标检测和跟踪最近已经成为新兴的热门话题。尽管已经提出了各种方法用于目标检测,但是3D检测和跟踪任务中的不确定性较少被探索。不确定性有助于我们解决感知系统中的错误并提高鲁棒性。针对三维目标检测中最具代表性的SECOND检测算法,提出了一种通过在SECOND检测器中加入不确定性回归来提高目标跟踪性能的方法。我们的方法估计的位置和尺寸的不确定性与高斯负对数似然(NLL)损失估计和角度不确定性估计引入冯米塞斯NLL损失。我们将不确定性输出馈送到经典的目标跟踪框架中,并证明了与具有常数协方差假设的香草跟踪器相比,我们的方法提高了跟踪性能。
2020-11-04 cs.CV cs.LG
Integration of Regularized l1 Tracking and Instance Segmentation for Video Object Tracking
Istanbul Technical University(伊斯坦布尔理工大学)
我们介绍了一种检测跟踪方法,该方法将深度对象检测器与粒子滤波跟踪器集成在正则化框架下,其中跟踪对象由稀疏字典表示。一种新的观察模型,建立检测器和跟踪器之间的共识制定,使我们能够更新字典的指导下,深检测器。这产生了通过视频序列的对象外观的有效表示,因此提高了对遮挡和姿态变化的鲁棒性。此外,我们提出了一个新的状态向量,包括平移,旋转,缩放和剪切参数,允许跟踪变形的对象边界框,从而显着增加了规模变化的鲁棒性。在具有挑战性的VOT 2016和VOT 2018基准测试数据集上报告的数值结果表明,引入的跟踪器L1 DPF-M在两个数据集上实现了相当的鲁棒性,同时在两个数据集上的性能优于最先进的跟踪器,在IoU-th=0.5时成功率的提高分别为11%和9%。
2019-12-30 cs.CV eess.IV
Efficient and accurate object detection with simultaneous classification and tracking
University of New South Wales(新南威尔士大学)
移动机器人与环境的交互,如目标检测和跟踪,是移动机器人的一项重要能力。除了高精度之外,还期望在处理工作量和能量消耗方面的效率。为了满足这两个要求,我们提出了一个检测框架的基础上同时分类和跟踪点流。在这个框架中,跟踪器在点云的序列中执行数据关联,引导检测器避免冗余处理(即对已知对象进行分类)。对于其分类不是足够确定的对象,融合模型被设计为融合在跟踪跨度上提供不同视角的所选关键观测。因此,可以提高性能(检测的精度和效率)。该方法特别适合于检测和跟踪移动对象,如果使用传统程序来解决该过程,则需要昂贵的计算。在基准数据集上进行的实验表明,该方法在效率和准确性上均优于传统的检测跟踪方法。
2020-07-04 cs.CV cs.RO
ROFT: Real-Time Optical Flow-Aided 6D Object Pose and Velocity Tracking
Istituto Italiano di Tecnologia(意大利技术研究院)
6D物体姿态跟踪在机器人和计算机视觉领域得到了广泛的研究。最有前途的解决方案,利用深度神经网络和/或过滤和优化,在标准基准测试中表现出显着的性能。然而,据我们所知,这些还没有经过彻底的测试,对快速物体运动。这种情况下的跟踪性能会显著下降,特别是对于那些不能实现实时的【形】性能并引入不可忽略的延迟的方法。在这项工作中,我们介绍了ROFT,卡尔曼滤波方法的6D对象的姿态和速度跟踪从流的RGB-D图像。通过利用实时的【形】光流,ROFT将低帧速率卷积神经网络的延迟输出用于实例分割和具有RGB-D输入流的6D对象姿态估计,以实现快速和精确的6D对象姿态和速度跟踪。我们测试我们的方法上新引入的真实感数据集,快速YCB,其中包括快速移动的对象从YCB模型集,并在数据集上的对象和手部姿态估计HO-3D。结果表明,我们的方法优于最先进的方法,为6D对象姿态跟踪,同时还提供6D对象速度跟踪。作为补充材料,提供了一个显示实验的视频。
2021-11-06 cs.CV cs.RO
PointTrackNet: An End-to-End Network For 3-D Object Detection and Tracking From Point Clouds
The Hong Kong University of Science and Technology(香港科技大学);Tongji University(同济大学)
最近基于机器学习的多目标跟踪(MOT)框架对于3D点云变得流行。大多数传统的跟踪方法使用滤波器(例如,卡尔曼滤波器或粒子滤波器)来预测时间序列中的对象位置,然而,它们易受极端运动条件的影响,例如突然制动和转弯。在这封信中,我们提出了PointTrackNet,一个端到端的3-D目标检测和跟踪网络,为每个检测到的对象生成前景蒙版,3-D边界框和逐点跟踪关联位移。该网络仅将两个相邻的点云帧作为输入。在KITTI跟踪数据集上的实验结果显示了与最先进技术相比具有竞争力的结果,特别是在不规则和快速变化的场景中。
2020-02-26 cs.CV cs.LG cs.RO
Memory Maps for Video Object Detection and Tracking on UAVs
University of Tuebingen(图宾根大学)
提出了一种新的无人机视频目标检测方法。通过合并元数据,所提出的方法创建了一个内存映射的对象位置在实际世界坐标,提供了一个更强大的和可解释的表示对象的位置在这两个,图像空间和现实世界。我们使用这种表示来提高置信度,从而提高了几个时间计算机视觉任务的性能,如视频目标检测,短期和长期的单个和多个目标跟踪,以及视频异常检测。这些发现证实了元数据在增强无人机在时间计算机视觉领域的能力方面的好处,并为该领域的进一步发展铺平了道路。
2023-03-06 cs.AI cs.CV cs.RO
Integrating Boundary and Center Correlation Filters for Visual Tracking with Aspect Ratio Variation
Harbin Institute of Technology(哈尔滨工业大学);Dalian University of Technology(大连理工大学);The Hong Kong Polytechnic University(香港理工大学);University of California, Merced(加州大学默塞德分校)
纵横比变化是视觉跟踪中经常出现的问题,对跟踪性能有很大的影响。虽然许多相关滤波器(CF)为基础的跟踪器也被建议为规模自适应跟踪,很少有研究已经给出了处理纵横比的CF跟踪器的变化。在本文中,我们首次尝试通过引入一系列1D边界CF来定位视频中的左,右,顶部和底部边界来解决这个问题。这使得我们能够在跟踪过程中灵活地应对纵横比的变化。具体来说,我们提出了一种新的跟踪模型,集成1D边界和2D中心CF(IBCCF),其中边界和中心过滤器是由一个近正交正则化项。为了优化我们的IBCCF模型,我们开发了一个交替方向的乘数方法。在多个数据集上的实验表明,IBCCF可以有效地处理长宽比的变化,并在准确性和鲁棒性方面达到最先进的性能。
2017-10-05 cs.CV
Trexplorer Super: Topologically Correct Centerline Tree Tracking of Tubular Objects in CT Volumes
Chalmers University of Technology(查尔姆斯理工大学)
研究旨在改进 CT 体积中管状物体中心线跟踪。针对 Trexplorer 问题提出 Trexplorer Super,通过开发三个难度递增的中心线数据集,对现有 SOTA 模型全面评估,结果显示 Trexplorer Super 性能更优,且合成数据与真实数据表现有差异。
2026-07-09 cs.CV
Center of circle after perspective transformation
TU Berlin(柏林工业大学)
基于视频的无闪光眼动追踪通常根据瞳孔中心估计注视方向。用椭圆拟合瞳孔的边界,并将图像中椭圆的欧几里德中心作为瞳孔的中心。然而,瞳孔的中心通常不通过投影相机变换映射到椭圆的中心。由于使用不是瞳孔的真实中心的点而导致的该误差直接影响眼动追踪精度。我们探讨了基本的几何问题,确定一个圆形物体的中心的基础上,其投影图像。其主要思想是利用两个同心圆-在应用场景中,它们是瞳孔和虹膜。我们表明,它是可能的计算中心和半径的比例,从映射的同心圆与直接的方法,是快速和强大的在实践中。我们对合成生成的数据评估了我们的方法,发现它比使用拟合椭圆的中心有系统性的改进。除了眼动追踪的应用,我们估计,我们的方法将是有用的,在其他跟踪应用。
2019-02-12 cs.CV
Multi-object Tracking with Tracked Object Bounding Box Association
Nanyang Technological University(南洋理工大学)
CenterTrack跟踪算法使用简单的检测模型和单帧空间偏移来定位对象并预测它们在单个网络中的关联,从而实现最先进的跟踪性能。然而,这种联合检测和跟踪方法仍然遭受高身份切换由于较差的关联方法。为了减少大量的身份切换和提高跟踪精度,本文提出了一种简单的跟踪对象的限界框和重叠预测的基础上,当前帧的CenterTrack算法。具体来说,我们提出了一个交集在联合(IOU)的距离成本矩阵的关联步骤,而不是简单的点位移距离。我们在MOT17测试数据集上评估了我们提出的跟踪器,结果表明,与原始CenterTrack相比,在相同的tracklet寿命下,我们提出的方法可以将身份切换显著减少22.6%,并在IDF1中获得1.5%的显着改善。源代码发布于https://github.com/Nanyangny/CenterTrack-IOU。
2021-05-17 cs.CV
CFTrack: Center-based Radar and Camera Fusion for 3D Multi-Object Tracking
University of Tennessee(田纳西大学)
三维多目标跟踪是自动驾驶汽车感知系统的重要组成部分。跟踪车辆周围的所有动态物体对于避障和路径规划等任务至关重要。自动驾驶车辆通常配备不同的传感器模态,以提高准确性和可靠性。近年来,传感器融合技术在目标检测网络中得到了广泛的应用,但现有的多目标跟踪算法要么依赖于单一的输入方式,要么没有充分利用多传感器提供的信息。在这项工作中,我们提出了一个端到端的网络联合目标检测和跟踪雷达和摄像机传感器融合的基础上。我们提出的方法使用基于中心的雷达相机融合算法的目标检测,并利用贪心算法的对象关联。所提出的贪心算法使用检测到的对象的深度、速度和2D位移来将它们通过时间关联。这使得我们的跟踪算法对被遮挡和重叠的对象非常鲁棒,因为深度和速度信息可以帮助网络区分它们。我们在具有挑战性的nuScenes数据集上评估了我们的方法,它达到了20.0 AMOTA,并且优于基准测试中所有基于视觉的3D跟踪方法以及基于LiDAR的基线方法。我们的方法是在线的,每张图像的运行时间为35 ms,非常适合自动驾驶应用。
2021-07-11 cs.CV
MONCE Tracking Metrics: a comprehensive quantitative performance evaluation methodology for object tracking
Lockheed Martin AI Center(洛克希德·马丁人工智能中心)
评估跟踪模型的性能是一项复杂的任务,特别是对于在国防应用中至关重要的非连续多目标跟踪器。虽然有各种优秀的跟踪基准,这项工作将它们扩展到量化长期,非连续,多目标和检测模型辅助跟踪器的性能。我们提出了一套MONCE(多对象非连续性实体)图像跟踪指标,提供客观的跟踪模型性能基准以及诊断洞察力,以预期平均重叠,短期/长期重新识别,跟踪召回,跟踪精度,寿命,定位和缺席预测的形式驱动跟踪模型的开发。
2022-04-11 cs.CV
An equalised global graphical model-based approach for multi-camera object tracking
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);National Laboratory of Pattern Recognition(模式识别国家重点实验室)
非重叠多摄像机视觉目标跟踪通常包括两个步骤:单摄像机目标跟踪和摄像机间目标跟踪。大多数跟踪方法都是针对同一场景下的单摄像机目标跟踪,而对于实际监控场景,需要进行多摄像机间的目标跟踪,单摄像机跟踪方法无法有效地实现目标跟踪。在本文中,我们试图提高整体的多摄像机目标跟踪性能的全局图模型与改进的相似性度量。该方法区别对待单摄像机跟踪和摄像机间跟踪的相似性,并在全局图模型中得到优化。实验结果表明,该方法在单摄像机跟踪效果较差的情况下也能取得较好的效果。
2016-07-19 cs.CV
Computer Vision-aided Atom Tracking in STEM Imaging
Oak Ridge National Laboratory(橡树岭国家实验室)
为了解决SMC'17数据挑战-“材料属性的原子分辨图像数据采掘”,我们首先使用计算机视觉中开发的经典“斑点检测”算法来识别每个STEM图像帧中的所有原子中心。在最近邻分析的帮助下,我们找到并标记了所有STEM框架共同的每个原子中心,并跟踪了钼或硒原子在给定时间间隔内的运动。
2018-09-13 cs.CV
Object Tracking in Videos: Approaches and Issues
INRIA(法国国家信息与自动化研究所);Phu Xuan Private University(富春私立大学)
移动目标跟踪在计算机视觉的应用中有着重要的地位。在本文中,我们使用一个跟踪目标为基础的分类,提出了目标跟踪算法。跟踪目标分为三类:兴趣点,外观和轮廓的移动对象。分析了各种跟踪方法的优点和局限性,指出了目标跟踪领域的发展方向。
2013-04-18 cs.CV
Adaptive Objectness for Object Tracking
Temple University(天普大学);HiScene Information Technologies(海深信息科技);Toyota Research Institute, North America(丰田北美研究院)
目标跟踪是视觉领域的一个长期存在的问题。虽然已经花费了很大的努力来提高跟踪性能,但一个简单而可靠的先验知识尚未被利用:跟踪中的目标对象必须是非对象以外的对象。最近提出并推广的目标性度量为视觉跟踪中的先验建模提供了一种自然的方法。因此,在本文中,我们提出了适应对象的视觉对象跟踪。而不是直接应用现有的对象性措施,是通用的,并处理各种对象和环境,我们适应它是兼容的特定的跟踪序列和对象。更具体地说,我们使用新提出的BING对象作为基础,然后训练对象自适应对象的每个跟踪任务。训练是通过使用自适应支持向量机,它将来自特定跟踪目标的信息集成到BING测量中来实现的。我们强调,建议的自适应对象,名为ADOBING的好处,是通用的。为了证明这一点,我们在最近的评估中将ADOBING与七个表现最好的跟踪器结合起来。我们在两个流行的基准上运行ADOBING增强的跟踪器及其基础跟踪器,CVPR 2013基准(50个序列)和普林斯顿跟踪基准(100个序列)。在这两个基准测试中,我们的方法不仅始终如一地提高了基础跟踪器,而且还实现了最佳性能。注意到我们在视觉跟踪中集成对象性的方式是通用的和直接的,我们期望通过使用跟踪器特定的对象性得到更多的改进。
2015-01-05 cs.CV
Visual Coin-Tracking: Tracking of Planar Double-Sided Objects
Czech Technical University in Prague(布拉格捷克理工大学)
我们介绍了一个新的视频分析问题-跟踪的刚性平面物体的序列中,他们的双方都是可见的。这种硬币状物体通常相对于任意轴快速旋转,产生独特的挑战,例如快速入射光和纵横比变化以及旋转运动模糊。尽管很常见,但包含硬币状物体的跟踪序列和合适的算法都没有公布。作为第二个贡献,我们提出了一个新的硬币跟踪基准包含17个视频序列注释对象分割掩模。实验表明,该序列与标准跟踪数据集中遇到的序列有很大不同。提出了一种基于卷积神经网络分割和显式姿态建模的基线硬币跟踪方法。它的性能证实了硬币跟踪是一个开放和具有挑战性的问题。
2019-08-07 cs.CV
P2B: Point-to-Box Network for 3D Object Tracking in Point Clouds
Huazhong University of Science and Technology(华中科技大学)
针对点云中的三维目标跟踪问题,提出了一种端到端学习的点到盒网络P2B。我们的主要思想是首先定位潜在的目标中心在3D搜索区域嵌入目标信息。然后,点驱动的三维目标的建议和验证联合执行。通过这种方式,可以避免耗时的3D穷举搜索。具体地说,我们首先从模板和搜索区域的点云分别采样种子。然后,我们执行置换不变的特征增强嵌入目标线索从模板到搜索区域种子,并表示它们与目标特定的功能。因此,增强的搜索区域种子通过Hough投票回归潜在的目标中心。这些中心进一步加强了种子方面的目标得分。最后,每个中心聚类其邻居,以利用集合功率进行联合3D目标建议和验证。我们应用PointNet++作为我们的骨干,在KITTI跟踪数据集上的实验证明了P2B的优越性(比最先进的提高了约10%)。请注意,P2B可以在单个NVIDIA 1080Ti GPU上以40FPS运行。我们的代码和模型可以在https://github.com/HaozheQi/P2B上找到。
2020-05-28 cs.CV
SMOT: Single-Shot Multi Object Tracking
Amazon AWS AI(亚马逊AWS人工智能(Amazon AWS AI))
我们提出了单镜头多目标跟踪器(SMOT),一个新的跟踪框架,任何单镜头检测器(SSD)模型转换成一个在线多目标跟踪器,它强调同时检测和跟踪的对象路径。与现有的检测跟踪方法不同,SMOT采用了最近提出的重检测跟踪方法。我们将此方案与SSD检测器相结合,提出了一种新的跟踪锚分配模块。通过这种设计,SMOT能够以恒定的每帧运行时间生成轨迹。一个轻量级的链接算法,然后用于在线tracklet链接。在Hannah、Music Videos和MOT17三个目标跟踪基准测试中,SMOT达到了最先进的性能。
2020-10-30 cs.CV
Single Object Tracking Research: A Survey
Tianjin University(天津大学);Key Research Center for Surface Monitoring and Analysis of Cultural Relics(文物本体表面监测与分析研究重点科研基地)
视觉目标跟踪是计算机视觉中的一项重要任务,它有许多现实世界的应用,例如,视频监控视觉导航视觉对象跟踪也具有许多挑战,例如,物体遮挡和变形。为了解决上述问题,准确、高效地跟踪目标,近年来出现了许多跟踪算法。本文介绍了近十年来最流行的两种跟踪框架的基本原理和代表作品,相关滤波器和Siamese网络用于目标跟踪。然后,我们提出了一些基于深度学习的跟踪方法,按不同的网络结构分类。我们还介绍了一些经典的策略来处理跟踪问题的挑战。在此基础上,详细介绍和比较了跟踪的基准和挑战,总结了视觉跟踪的发展历史和发展趋势。重点介绍了目标跟踪技术的未来发展,认为目标跟踪技术在应用于实际场景之前还需要解决一些问题,如长时间跟踪、低功耗高速跟踪和攻击鲁棒性跟踪等问题。在未来,多模态数据的集成,例如,深度图像、热图像与传统的彩色图像相结合,将为视觉跟踪提供更多的解决方案。此外,跟踪任务将与其他一些任务一起进行,例如,视频目标检测和分割。
2022-04-25 cs.CV
Exemplar-based Linear Discriminant Analysis for Robust Object Tracking
Huazhong University of Science and Technology(华中科技大学)
检测跟踪是一种非常有吸引力的跟踪技术,它将跟踪问题视为一个类别检测问题。然而,跟踪中的任务是搜索特定的对象,而不是像检测中那样搜索对象类别。在本文中,我们提出了一种新的跟踪框架的基础上,样本检测器,而不是类别检测器。建议的跟踪器是一个基于样本的线性判别分析(ELDA)检测器的合奏。每个检测器都是非常具体和有区别的,因为它是由单个对象实例和大量否定训练的。为了提高其自适应性,我们更新对象和背景模型。在几个具有挑战性的视频序列上的实验结果表明,我们的跟踪算法的有效性和鲁棒性。
2014-02-24 cs.CV
Asynchronous Tracking-by-Detection on Adaptive Time Surfaces for Event-based Object Tracking
Xiamen University(厦门大学);Xidian University(西安电子科技大学)
事件摄像机是一种异步生物视觉传感器,在快速运动和低照度场景等各种情况下显示出巨大的潜力。然而,大多数基于事件的对象跟踪方法都是针对无纹理对象和无杂乱背景的场景而设计的。很少有基于事件的对象跟踪方法支持基于限界框的对象跟踪。这项工作背后的主要思想是提出一个异步的基于事件的跟踪检测(ETD)方法的通用限界框为基础的对象跟踪。为了实现这一目标,我们提出了一个自适应时间表面与线性时间衰减(ATSLTD)的事件到帧转换算法,异步和有效地扭曲的时空信息的异步视网膜事件的序列的ATSLTD帧具有清晰的对象轮廓。我们饲料的ATSLTD帧序列的建议ETD方法进行准确和有效的对象跟踪,它利用了事件相机的高时间分辨率属性。我们比较了建议的ETD方法与七种流行的对象跟踪方法,这些方法是基于传统的相机或事件相机,以及ETD的两个变体。实验结果表明,所提出的ETD方法在处理各种具有挑战性的环境中的优越性。
2020-02-13 cs.CV
Real-time Multi-Object Tracking Based on Bi-directional Matching
Jiangxi University of Science and Technology(江西理工大学)
近年来,无锚点目标检测模型与匹配算法相结合,可以实现实时的【形】多目标跟踪,并保证较高的跟踪精度。然而,多目标跟踪仍然存在很大的挑战。例如,当目标的大部分被遮挡或目标只是暂时从图像中消失时,这通常会导致大多数现有跟踪算法的跟踪中断。因此,本研究提供一种多目标追踪的双向匹配演算法,利用双向运动预测资讯来改善遮蔽处理。在匹配算法中使用滞留区域来临时存储未能被跟踪的对象。当物体从遮挡中恢复时,我们的方法将首先尝试将它们与滞留区域中的物体进行匹配,以避免错误地生成新的身份,从而形成更连续的轨迹。实验结果表明,该方法可以提高多目标跟踪的性能,在存在遮挡。此外,本研究还提供了一个注意力上采样模块,不仅保证了跟踪的准确性,而且加快了训练速度。在MOT17挑战赛中,该算法实现了63.4%的MOTA,55.3%的IDF1和20.1 FPS的跟踪速度。
2023-03-15 cs.CV
TopTrack: Tracking Objects By Their Top
Polytechnique Montréal(蒙特利尔理工学院)
针对拥挤场景中中心点不可见导致漏检的问题,TopTrack提出以物体顶部作为检测关键点的联合检测与跟踪方法,并在分离流中处理连续帧,从而减少漏检、提升轨迹完整性,在两个MOT基准上取得有竞争力的结果。
2023-04-12 cs.CV
Seeing Behind Objects for 3D Multi-Object Tracking in RGB-D Sequences
Technical University of Munich(慕尼黑工业大学);University College London(伦敦大学学院);Adobe Research(Adobe研究院)
RGB-D视频序列中的多目标跟踪是一个具有挑战性的问题,因为随着时间的推移,变化的视点,运动和遮挡的组合。我们观察到,具有完整的几何形状的对象的援助,在他们的跟踪,因此建议联合推断的完整的几何形状的对象,以及跟踪它们,随着时间的推移,刚性移动的对象。我们的关键见解是,推断对象的完整几何形状显着有助于跟踪。通过幻觉对象的看不见的区域,我们可以获得相同实例之间的额外对应关系,从而即使在强烈的外观变化下也提供鲁棒的跟踪。从RGB-D帧序列中,我们检测每个帧中的对象,并学习预测它们的完整对象几何形状以及到规范空间的密集对应映射。这使我们能够导出每个帧中对象的6DoF姿态,以及帧之间的对应关系,从而在RGB-D序列中提供强大的对象跟踪。在合成和真实RGB-D数据上的实验表明,我们在动态对象跟踪上实现了最先进的性能。此外,我们表明,我们的对象完成显着有助于跟踪,提供了一个平均MOTA的$6.5\%$的改进。
2020-12-16 cs.CV
Automatic Parameter Adaptation for Multi-object Tracking
INRIA(法国国家信息与自动化研究所)
对象跟踪质量通常取决于视频上下文(例如对象遮挡水平、对象密度)。为了减少这种依赖性,本文提出了一种学习方法,以适应跟踪器参数的上下文变化。在离线阶段中,为视频上下文聚类学习令人满意的跟踪参数。在在线控制阶段,一旦检测到上下文变化,就使用学习值来调谐跟踪参数。实验结果表明,该方法的性能优于现有的跟踪器。本文的主要贡献有两个方面:(1)提出了一种基于视频序列分类的离线跟踪参数学习方法;(2)提出了一种基于跟踪上下文的在线跟踪参数调整方法。
2013-05-13 cs.CV
Tracking 6-DoF Object Motion from Events and Frames
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
事件相机是用于低延迟跟踪和高动态范围成像的有前途的设备。在本文中,我们提出了一种新的方法为6度的自由度(6-DoF)的对象运动跟踪相结合的测量事件和帧为基础的相机。我们制定跟踪从高速率事件的概率生成模型的eventmeasurement过程中的对象。在第二层上,我们通过直接图像对齐在较慢速率的图像帧中细化对象轨迹。我们评估了我们的方法的准确性在几个目标跟踪场景与合成数据,并alsocperformed实验与真实数据。
2021-03-29 cs.CV
Globally Optimal Object Tracking with Fully Convolutional Networks
Kyushu University(九州大学)
跟踪是计算机视觉和模式识别中最重要但也是最困难的任务之一。跟踪领域的主要困难是外观变化和遮挡。传统的跟踪方法大多预先设定跟踪目标的参数或模板,并进行相应的修改。因此,我们提出了一种新的和强大的跟踪方法,使用全卷积网络(FCN),以获得一个对象的概率图和动态规划(DP),以寻求通过所有帧的视频的全局最优路径。我们提出的方法解决了对象外观变化的问题,使用FCN和处理遮挡DP。我们表明,我们的方法是有效的,通过视频帧跟踪各种单一的对象。
2016-12-25 cs.CV
CenterRadarNet: Joint 3D Object Detection and Tracking Framework using 4D FMCW Radar
University of Washington(华盛顿大学);National Yang Ming Chiao Tung University(国立阳明交通大学);Cisco(思科)
针对现有3D雷达感知方法无法同时获取目标3D属性与身份的问题,提出CenterRadarNet联合架构,基于4D雷达数据实现3D目标检测与重识别,在K-Radar基准上取得SOTA,且首次给出该数据集V2的雷达3D跟踪结果。
2023-11-04 cs.CV
Transparent Object Tracking Benchmark
University of North Texas(北德克萨斯大学);Stony Brook University(石溪大学);Brookhaven National Laboratory(布鲁克海文国家实验室)
视觉跟踪近年来取得了长足的发展。然而,目前该领域的研究主要集中在不透明物体的跟踪,而很少关注透明物体的跟踪。在本文中,我们首次尝试在探索这个问题,提出了一个透明的对象跟踪基准(TOTB)。具体来说,TOTB由来自15个不同透明对象类别的225个视频(86K帧)组成。每个序列都使用轴对齐的边界框手动标记。据我们所知,TOTB是第一个致力于透明对象跟踪的基准测试。为了了解现有跟踪器的性能,并为未来的TOTB研究提供比较,我们广泛评估了25种最先进的跟踪算法。评估结果表明,需要更多的努力,以提高透明对象跟踪。此外,我们观察到一些不平凡的结果,从评价是不一致的一些共同的信念,在不透明的对象跟踪。例如,我们发现更深层次的特征并不总是有利于改进。此外,为了鼓励未来的研究,我们引入了一种新的跟踪器,名为TransATOM,它利用透明功能进行跟踪,并大大超过了所有25种评估方法。通过发布TOTB,我们希望在学术界和工业界促进透明物体跟踪的未来研究和应用。TOTB和评估结果以及TransATOM可在https://hengfan2010.github.io/projects/TOTB上获得。
2021-08-01 cs.CV
Visual Multiple-Object Tracking for Unknown Clutter Rate
Curtin University(科廷大学)
在多目标跟踪应用中,模型参数整定是实现可靠性能的前提。具体地,由于各种感测条件和视场中的变化,难以知道错误测量的统计。在本文中,我们有兴趣设计一个多目标跟踪算法,处理未知的错误测量率。最近提出的鲁棒多贝努利滤波器用于杂波估计,而广义标记多贝努利滤波器被认为是用于目标跟踪。实际视频的性能评估证明了该跟踪算法在实际场景中的有效性。
2017-11-30 cs.CV
Unified Transformer Tracker for Object Tracking
University of Technology Sydney(悉尼科技大学);National University of Singapore(新加坡国立大学);Meta AI;Zhejiang University(浙江大学)
目标跟踪作为计算机视觉的一个重要研究领域,已经形成了两个独立的研究群体,分别研究单目标跟踪(SOT)和多目标跟踪(MOT)。然而,由于两个任务的训练数据集和跟踪对象不同,一个跟踪场景中的当前方法不容易适应另一个。虽然UniTrack \cite{wang2021different}证明了具有多个头部的共享外观模型可以用于处理单个跟踪任务,但它未能利用大规模跟踪数据集进行训练,并且在单个对象跟踪上表现不佳。在这项工作中,我们提出了统一的Transformer跟踪器(UTT),以解决跟踪问题,在不同的情况下,一个范例。我们的UTT中开发了一个跟踪Transformer,用于SOT和MOT中的目标跟踪。利用目标和跟踪帧特征之间的相关性对目标进行定位。我们证明,SOT和MOT任务可以在这个框架内解决。该模型可以通过在单个任务的数据集上交替优化SOT和MOT目标来同时进行端到端训练。在SOT和MOT数据集上训练的统一模型在几个基准上进行了广泛的实验。代码将在https://github.com/Flowerfan/Trackron上提供。
2022-06-08 cs.CV
Tracking the Trackers: An Analysis of the State of the Art in Multiple Object Tracking
Technical University Munich(慕尼黑工业大学);University of Adelaide(阿德莱德大学);ETH Zürich(苏黎世联邦理工学院);TU Darmstadt(达姆施塔特工业大学)
标准化基准对于大多数计算机视觉应用至关重要。虽然排行榜和排名表不应被过分夸大,但基准往往提供了最客观的业绩衡量标准,因此是研究的重要指南。我们为2014年底推出的多目标跟踪提供了一个基准,目标是为多目标跟踪方法的标准化评估创建一个框架。本文收集了迄今为止的两个基准测试版本,并对近50种最先进的跟踪器进行了深入分析,这些跟踪器在超过11000帧上进行了测试。我们展示了多人跟踪方法的当前趋势和弱点,并提供了研究人员应该专注于推动该领域向前发展的指针。
2017-04-10 cs.CV
Trans2k: Unlocking the Power of Deep Models for Transparent Object Tracking
Czech Technical University in Prague(捷克布拉格技术大学)
视觉对象跟踪主要集中在不透明对象上,而透明对象跟踪很少受到关注。由于透明物体的外观直接受背景影响,因此最近出现了第一个专用评估数据集。我们通过提出第一个透明对象跟踪训练数据集Trans2k来促进这一努力,该数据集由超过2k个序列组成,总共有104,343张图像,由边界框和分割掩码注释。注意到透明对象可以由现代渲染器逼真地渲染,我们量化特定于域的属性,并渲染包含现有对象训练数据集中未涵盖的视觉属性和跟踪情况的数据集。当使用Trans2k进行训练时,我们在各种现代跟踪架构中观察到一致的性能提升(高达16%),并显示出由于缺乏适当的训练集而无法实现的见解。数据集和渲染引擎将公开发布,以释放现代基于学习的跟踪器的功能,并促进透明对象跟踪的新设计。
2022-10-07 cs.CV
PolyTrack: Tracking with Bounding Polygons
Polyechnique Montréal(蒙特利尔理工学院)
在本文中,我们提出了一种新的方法称为PolyTrack的快速多目标跟踪和分割使用边界多边形。Polytrack通过生成中心关键点的热图来检测对象。对于每个实例,通过计算每个实例上的边界多边形而不是传统的限界框来进行粗略分割。跟踪是通过将两个连续帧作为输入并计算在第一帧中检测到的每个对象的中心偏移来预测其在第二帧中的位置来完成的。还应用卡尔曼滤波器来减少ID开关的数量。由于我们的目标应用是自动驾驶系统,我们将我们的方法应用于城市环境视频。我们在MOTS和KITTIMOTS数据集上训练和评估了PolyTrack。结果表明,跟踪多边形可以是一个很好的替代限界框和面具跟踪。PolyTrack的代码可在https://github.com/gafaua/PolyTrack上获得。
2021-11-02 cs.CV
Visual Object Tracking on Multi-modal RGB-D Videos: A Review
本综述系统总结RGB-D视觉目标跟踪的基准数据集、性能评估指标和现有方法,并展望未来研究方向,为复杂场景下的多模态跟踪提供全面参考。
2024-03-17 cs.CV
Deep Siamese Networks with Bayesian non-Parametrics for Video Object Tracking
Portland State University(波特兰州立大学);Intel Corporation(英特尔公司)
我们提出了一种新的算法,利用深连体神经网络作为一个通用的对象相似性函数结合贝叶斯优化(BO)框架编码的时空信息,有效的视频对象跟踪。特别是,我们把视频跟踪问题作为一个动态(即时间演变)优化问题。使用高斯过程先验,我们建模一个动态的目标函数,表示跟踪对象在每帧中的位置。通过利用时间相关性,所提出的方法以统计原则和有效的方式查询搜索空间,提供了优于当前技术视频跟踪方法的几个优点。
2018-11-18 cs.CV
Camouflaged Object Tracking: A Benchmark
College of Computer Science and Engineering, Guilin University of Technology, China(桂林理工大学计算机科学与工程学院);Guangxi Key Laboratory of Embedded Technology and Intelligent System, Guilin University of Technology, China(广西嵌入式技术与智能系统重点实验室);School of Automation Science and Engineering, Xi’an Jiaotong University, Xi’an, Shaanxi 710049, China(西安交通大学自动化科学与工程学院);College of Computer Science, Sichuan University, Sichuan 610065, China(四川大学计算机学院)
针对伪装目标跟踪研究不足的问题,本文构建了包含200个序列的COTD基准,评估现有算法并发现其缺陷,同时提出HiPTrack-MLS框架以提升伪装目标跟踪性能。
2025-05-30 cs.CV
Multi-Branch Siamese Networks with Online Selection for Object Tracking
Polytechnique Montreal(蒙特利尔高等理工学院);TELUQ University(魁北克大学电视学院)
在本文中,我们提出了一个强大的目标跟踪算法的基础上,选择分支选择机制,选择最有效的对象表示从多分支连体网络。虽然大多数深度学习跟踪器使用单个CNN进行目标表示,但提出的多分支连体跟踪器(MBST)采用了针对不同任务预先训练的CNN的多个分支,并用于我们跟踪方法中的各种目标表示。利用我们的分支选择机制,以在线方式根据目标特征选择适当的CNN分支。通过使用最充分的目标表示相对于被跟踪的对象,我们的方法实现了实时跟踪,同时获得改进的性能相比,标准的暹罗网络跟踪器的对象跟踪基准。
2018-08-31 cs.CV
Faster object tracking pipeline for real time tracking
Infocusp Innovations Private Limited(Infocusp创新私人有限公司)
多目标跟踪(MOT)是基于视觉的应用中一个具有挑战性的实际问题。MOT的最新方法使用来自Faster RCNN等模型的预计算检测,在后续阶段执行边界框和关联的微调。然而,这不适合于实际的工业应用,因为不能预先检测。在他们最近的工作中,Wang等人提出了一种跟踪管道,该管道使用联合检测和嵌入模型,并实时执行目标定位和关联。在研究通过检测进行跟踪的范例时,我们发现通过与模型预测并行地执行定位和关联任务可以使跟踪管道更快。这一点,以及其他计算优化,如使用混合精度模型和执行分批检测,导致跟踪流水线的速度提高了57.8%(19 FPS到30 FPS)的全高清分辨率。此外,该速度与图像序列中的目标密度无关。本文的主要贡献是展示了一个通用的管道,可用于加快基于检测的对象跟踪方法。我们还审查了不同的批处理大小以获得最佳性能,同时考虑了GPU内存使用和速度。
2020-11-08 cs.CV
A Novel Low-cost FPGA-based Real-time Object Tracking System
Shenzhen Graduate School, Harbin Institute of Technology(哈尔滨工业大学深圳研究生院);Sanechips Technology Co., Ltd(中兴微电子技术有限公司)
在目前的视觉目标跟踪系统中,基于CPU或GPU的视觉目标跟踪系统具有高计算成本并且消耗令人望而却步的量的功率。因此,在本文中,为了减少Camshift算法的计算负担,我们提出了一种新的视觉目标跟踪算法,利用二进制分类器和卡尔曼预测器的属性。此外,我们提出了一个低成本的基于FPGA的实时的【形】目标跟踪硬件架构。OTB基准测试结果表明,该系统具有极强的实时的【形】稳定性和鲁棒性。评估结果表明,我们的算法的准确率约为48%,平均速度约为每秒309帧。
2018-04-22 cs.CV
CoMaL Tracking: Tracking Points at the Object Boundaries
IIT Madras(印度理工学院马德拉斯分校);Duke University(杜克大学)
传统的点跟踪算法(如KLT)使用局部2D信息聚合进行特征检测和跟踪,因此它们的性能在分离多个对象的对象边界处降低。最近,已经提出了处理这种情况的CoMaL特征。然而,他们提出了一个简单的跟踪框架,其中在每帧中重新检测点并进行匹配。这是低效的,并且还可能丢失在下一帧中未被重新检测到的许多点。我们提出了一种新型跟踪算法来准确有效地跟踪CoMaL点。为此,使用基于形状的匹配将与CoMaL点相关联的水平线段匹配到下一帧中的MSER段,并且使用基于纹理的匹配进一步过滤匹配。实验表明,在不同的现实世界的应用程序,特别是在对象边界的速度/准确性方面,一个简单的重新检测和匹配框架以及KLT的改进。
2017-06-07 cs.CV
Robust video object tracking using particle filter with likelihood based feature fusion and adaptive template updating
Nanjing University(南京大学)
针对复杂视频场景中的目标跟踪问题,提出了一种鲁棒的算法解决方案。在这种解决方案中,引导粒子滤波器(PF)初始化的对象检测器,模型的视频信号的时间演变的背景下,自适应高斯混合。对象的运动由马尔可夫模型表示,该模型定义了状态转移先验。采用颜色和纹理特征表示目标,提出了一种基于边缘似然的特征融合方法。相应的目标模板模型更新程序的开发,以考虑在跟踪过程中的对象的可能的规模变化。实验结果表明,我们的算法击败了现有的几个替代方案,在解决具有挑战性的情况下,视频跟踪任务。
2015-09-28 cs.CV
Beyond Traditional Single Object Tracking: A Survey
The University of British Columbia(不列颠哥伦比亚大学)
该综述聚焦单目标跟踪任务,梳理多类前沿视觉技术在该领域的应用,提出新的方法分类体系,开展性能对比与优劣分析,给出非传统技术应用指南并指明未来研究方向。
2024-05-16 cs.CV
Robust 6-DoF Object Pose Tracking with Built-In Recovery under Occlusions and Rapid Object Motions
Woven by Toyota, Inc.(丰田编织公司);University of Bonn(波恩大学);University of Bonn, Center for Robotics, and the Lamarr Institute for Machine Learning and Artificial Intelligence(波恩大学机器人中心以及拉玛尔机器学习与人工智能研究所)
针对RGB-D数据中未见物体的6自由度跟踪问题,尤其是遮挡和快速运动场景,提出结合关键点匹配与优化对齐及故障检测恢复模块的方法,在多场景评估中表现出色,是鲁棒6自由度物体跟踪的重要进展。
2026-07-28 cs.CV
TransTrack: Multiple Object Tracking with Transformer
The University of Hong Kong(香港大学);Carnegie Mellon University(卡内基梅隆大学);ByteDance AI Lab(字节跳动人工智能实验室);Tongji University(同济大学)
在这项工作中,我们提出了TransTrack,一个简单而有效的计划来解决多目标跟踪问题。TransTrack利用了Transformer体系结构,这是一种基于注意力的查询键机制。它将来自前一帧的对象特征应用为当前帧的查询,并引入一组学习的对象查询以检测新出现的对象。该算法通过在Single Shot内完成目标检测和目标关联,简化了检测跟踪方法中复杂的多步设置,建立了一种新的联合检测跟踪方法。在MOT 17和MOT 20基准测试中,TransTrack的MOTA分别达到74.5%和64.5%,与现有方法相比具有一定的竞争力。我们希望TransTrack提供一个新的视角多目标跟踪。代码可在以下网址获得:\url{https://github.com/PeizeSun/TransTrack}。
2021-05-04 cs.CV