Simultaneous Detection and Tracking with Motion Modelling for Multiple Object Tracking
University of Western Australia(西澳大利亚大学);Deakin University(迪肯大学);University of Central Florida(中佛罗里达大学)
基于深度学习的多目标跟踪(MOT)目前依赖于现成的检测器进行逐检测跟踪。这导致深度模型受到检测器的偏见,评估受到检测器的影响。为了解决这个问题,我们引入了深度运动建模网络(DMM-Net),它可以估计多个对象的运动参数,以端到端的方式执行联合检测和关联。DMM-Net在多个帧上对对象特征进行建模,并同时推断对象类别、可见性及其运动参数。这些输出很容易用于更新tracklet以实现有效的MOT。DMM-Net在流行的UA-DETRAC挑战中获得了12.80@120 + fps的PR-MOTA分数,这是更好的性能和更快的数量级。我们还贡献了一个用于车辆跟踪的合成大规模公共数据集Omni-MOT,该数据集提供精确的地面实况注释,以消除MOT评估中的检测器影响。这个14 M+帧数据集可以使用我们的公共脚本进行扩展(代码位于Dataset <https://github.com/shijieS/OmniMOTDataset>,Dataset Recorder <https://github.com/shijieS/OMOTDRecorder>,Omni-MOT Source <https://github.com/shijieS/DMMN>)。我们通过DMMNet证明了Omni-MOT对深度学习的适用性,并公开了我们网络的源代码。
2020-08-20 cs.CV
Deep Learning with Predictive Control for Human Motion Tracking
IBM Research - Tokyo, IBM Japan(IBM日本东京研究院)
我们建议将模型预测控制与深度学习相结合,用于机器人精确的人体运动跟踪任务。我们设计的MPC允许学习和保守的预测之间切换。我们还使用DyBM模型探索了在线学习。我们将此方法应用于UR-5机器人的手写运动跟踪。结果表明,该框架显著提高了跟踪性能。
2018-08-07 cs.RO
Deep Motion Features for Visual Tracking
Linköping University(林雪平大学)
鲁棒视觉跟踪是计算机视觉中一个具有挑战性的问题,有着广泛的应用前景。大多数现有的方法采用手工制作的外观特征,如HOG或颜色名称。最近,从卷积神经网络提取的深度RGB特征已成功应用于跟踪。尽管他们的成功,这些功能只捕捉外观信息。另一方面,运动提示提供了可以提高跟踪性能的鉴别和补充信息。与视觉跟踪相反,深度运动特征已成功应用于动作识别和视频分类任务。通常,通过在从大量标记视频提取的光流图像上训练CNN来学习运动特征。本文提出了一种调查的影响,深层运动功能的跟踪检测框架。我们进一步表明,手工制作,深RGB和深运动功能包含互补信息。据我们所知,我们是第一个提出融合外观信息与深度运动特征的视觉跟踪。综合实验清楚地表明,我们的深度运动特征融合方法优于仅依赖外观信息的标准方法。
2016-12-20 cs.CV
Tracking 6-DoF Object Motion from Events and Frames
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
事件相机是用于低延迟跟踪和高动态范围成像的有前途的设备。在本文中,我们提出了一种新的方法为6度的自由度(6-DoF)的对象运动跟踪相结合的测量事件和帧为基础的相机。我们制定跟踪从高速率事件的概率生成模型的eventmeasurement过程中的对象。在第二层上,我们通过直接图像对齐在较慢速率的图像帧中细化对象轨迹。我们评估了我们的方法的准确性在几个目标跟踪场景与合成数据,并alsocperformed实验与真实数据。
2021-03-29 cs.CV
Enhanced Transformer-Based Tracking for Skiing Events: Overcoming Multi-Camera Challenges, Scale Variations and Rapid Motion -- SkiTB Visual Tracking Challenge 2025
Tredence Analytics(特伦登斯分析公司)
针对高山滑雪赛事中的跟踪难题,采用STARK模型并优化其架构与超参数,以应对多摄像头、遮挡和快速运动,提升跟踪准确性。
2025-02-26 cs.CV
Motion-Guided Dual-Camera Tracker for Endoscope Tracking and Motion Analysis in a Mechanical Gastric Simulator
The Chinese University of Hong Kong(香港中文大学);Tsinghua University(清华大学)
本文提出运动引导双摄像头跟踪器,通过跨摄像头互模板策略和基于Mamba的运动引导预测头,实现机械胃模拟器中内窥镜尖端三维位置的鲁棒跟踪,性能显著优于现有方法,并能更可靠地区分不同专业水平的内窥镜操作者。
2025-03-10 cs.CV
BoT-SORT: Robust Associations Multi-Pedestrian Tracking
Tel-Aviv University(特拉维夫大学)
多目标跟踪(MOT)的目标是检测和跟踪场景中的所有目标,同时为每个目标保持唯一的标识符。在本文中,我们提出了一种新的鲁棒性国家的最先进的跟踪器,它可以结合运动和外观信息的优点,随着相机运动补偿,和一个更准确的卡尔曼滤波器状态向量。我们的新跟踪器BoT-SORT和BoT-SORT-ReID在MOT 17和MOT 20测试集的MOTChallenge [29,11]数据集中排名第一,就所有主要MOT指标而言:MOTA,IDF 1和HOTA。对于MOT 17:达到80.5 MOTA、80.2 IDF 1和65.0 HOTA。源代码和预训练模型可在https://github.com/NirAharon/BOT-SORT上获得
2022-07-07 cs.CV
IA-MOT: Instance-Aware Multi-Object Tracking with Motion Consistency
University of Washington(华盛顿大学)
多目标跟踪(MOT)是计算机视觉的一项重要任务。然而,大多数跟踪检测MOT方法,与可用的检测到的边界框,不能有效地处理静态,缓慢移动和快速移动的摄像机的情况下,由于自我运动和频繁的遮挡。在这项工作中,我们提出了一种新的跟踪框架,称为“实例感知MOT”(IA-MOT),它可以跟踪多个对象,无论是静态或移动摄像机,通过共同考虑的实例级功能和对象运动。首先,通过发送给定的检测作为区域建议,从具有额外嵌入头的Mask R-CNN检测器的变体中提取鲁棒的外观特征。同时,空间注意力,集中在边界框内的前景,从给定的实例掩码中产生,并应用到提取的嵌入特征。在跟踪阶段,使用匈牙利关联算法通过特征相似性和运动一致性来对齐对象实例掩码。此外,对象重新识别(ReID)被纳入恢复ID开关造成的长期闭塞或错过检测。总的来说,在MOTS 20和KITTI-MOTS数据集上进行评估时,我们提出的方法在CVPR 2020研讨会的BMTT挑战赛第三轨道中获得了第一名。
2020-06-24 cs.CV
MOTS: Multi-Object Tracking and Segmentation
RWTH Aachen University(亚琛工业大学);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Tübingen(图宾根大学)
本文将多目标跟踪问题扩展到多目标跟踪与分割(MOTS)。为了实现这一目标,我们使用半自动注释程序为两个现有的跟踪数据集创建密集的像素级注释。我们的新注释包括65,213个像素掩码,用于10,870个视频帧中的977个不同对象(汽车和行人)。对于评估,我们扩展现有的多对象跟踪指标,这个新的任务。此外,我们提出了一种新的基线方法,该方法通过单个卷积网络联合解决检测,跟踪和分割问题。我们通过在MOTS注释上训练时实现性能的改进来证明我们的数据集的价值。我们相信,我们的数据集、指标和基线将成为开发超越2D边界框的多目标跟踪方法的宝贵资源。我们在https://www.vision.rwth-aachen.de/page/mots上提供注释、代码和模型。
2019-04-08 cs.CV
Efficient Motion Prompt Learning for Robust Visual Tracking
本文提出一种高效运动提示学习方法,通过整合运动和视觉线索提升视觉跟踪的鲁棒性,实验表明其在多个基准测试中表现优异,且训练成本低。
2025-05-22 cs.CV
Track without Appearance: Learn Box and Tracklet Embedding with Local and Global Motion Patterns for Vehicle Tracking
Zhejiang University(浙江大学);Hangzhou Dianzi University(杭州电子科技大学);Guangdong University of Petrochemical Technology(广东石油化工学院);University of Washington(华盛顿大学)
车辆跟踪是多目标跟踪领域的一项重要任务。车辆跟踪的一个显著特点是车辆的轨迹在世界坐标系和图像坐标系中都是相当平滑的。因此,捕捉运动轨迹的模型是非常必要的。然而,使用独立的基于运动的跟踪器进行跟踪是相当具有挑战性的,因为目标很容易由于有限的信息、检测误差和遮挡而丢失。利用外观信息来辅助对象重新识别可以在一定程度上解决这一挑战。然而,这样做需要额外的计算,而外观信息也对遮挡敏感。在本文中,我们试图探讨的意义,运动模式的车辆跟踪没有外观信息。我们提出了一种新颖的方法,通过独家充分利用的运动信息来解决长期跟踪的关联问题。我们提出了基于深度图卷积神经网络(GCN)的重构嵌入策略来解决轨迹嵌入问题。在KITTI汽车跟踪数据集和UA-Detrac数据集上的综合实验表明,该方法虽然没有外观信息,但可以达到与最先进的(SOTA)跟踪器竞争的性能。源代码将在https://github.com/GaoangW/LGMTracker上提供。
2021-08-13 cs.CV
Beyond 3D Siamese Tracking: A Motion-Centric Paradigm for 3D Single Object Tracking in Point Clouds
Westlake University(西湖大学);The Chinese University of Hong Kong (Shenzhen)(香港中文大学(深圳));The future network of intelligence institute (FNII)(未来网络智能研究院);Shenzhen Research Institute of Big Data(深圳大数据研究院)
LiDAR点云中的3D单目标跟踪(3D SOT)在自动驾驶中起着至关重要的作用。目前的方法都遵循基于外观匹配的暹罗范例。然而,激光雷达点云通常是无纹理和不完整的,这阻碍了有效的外观匹配。此外,以往的方法严重忽略了目标之间的关键运动线索。在这项工作中,除了3D暹罗跟踪,我们引入了一个以运动为中心的范例,从一个新的角度来处理3D SOT。在此基础上,我们提出了一种无匹配的两级跟踪器M^2-Track。在第一阶段,M^2跟踪通过运动变换在连续帧内定位目标。然后在第二阶段通过运动辅助形状完成对目标框进行细化。广泛的实验证实,M^2-Track在三个大规模数据集上的性能明显优于之前的最先进技术,同时在KITTI、NuScenes和Waymo Open Dataset上以57 FPS的精度分别提高了约8%、约17%和约22%。进一步的分析验证了每个组件的有效性,并显示了以运动为中心的范式的前景潜力时,与外观匹配相结合。
2022-03-03 cs.CV
Tracking the Unstable: Appearance-Guided Motion Modeling for Robust Multi-Object Tracking in UAV-Captured Videos
本文提出AMOT方法,通过结合外观和运动线索,改进无人机视频中多目标跟踪的鲁棒性和稳定性。
2025-11-28 cs.CV
CAMO-MOT: Combined Appearance-Motion Optimization for 3D Multi-Object Tracking with Camera-LiDAR Fusion
Tsinghua University(清华大学);Mogo Auto Intelligence and Telemetics Information Technology Co. Ltd.(蘑菇车联智能网联科技有限公司)
3D多目标跟踪(MOT)确保了连续动态检测过程中的一致性,有利于自动驾驶中后续的运动规划和导航任务。然而,基于相机的方法在遮挡的情况下会受到影响,并且对于基于LiDAR的方法来说,准确地跟踪对象的不规则运动可能具有挑战性。一些融合方法工作得很好,但没有考虑遮挡下的外观特征不可信的问题。同时,误检测问题也显著影响跟踪。因此,我们提出了一种新的基于组合外观运动优化(CAMO-MOT)的相机-LiDAR融合3D MOT框架,该框架同时使用相机和LiDAR数据,并显着减少了由遮挡和错误检测引起的跟踪失败。对于遮挡问题,我们首次提出了一种遮挡头,可以有效地多次选择最佳对象外观特征,减少遮挡的影响。为了减少误检测对跟踪的影响,我们设计了一个基于置信度的运动代价矩阵,提高了在3D空间中的定位和目标预测精度。针对现有的多目标跟踪方法只考虑单一类别的问题,本文还提出了建立多类别损失来实现多类别场景下的多目标跟踪。在KITTI和nuScenes跟踪基准上进行了一系列验证实验。我们提出的方法在KITTI测试数据集上的所有多模态MOT方法中实现了最先进的性能和最低的身份开关(IDS)值(汽车23,行人137)。我们提出的方法在nuScenes测试数据集上的所有算法中达到了最先进的性能,具有75.3%的AMOTA。
2022-09-12 cs.CV
Rotation Adaptive Visual Object Tracking with Motion Consistency
Indian Institute of Space Science and Technology(印度空间科学技术研究院)
视觉目标跟踪的研究在过去的几年里有了很大的发展。跟踪范式中的检测跟踪方法的出现在许多方面都相当成功。最近,深度卷积神经网络已被广泛用于大多数成功的跟踪器。然而,标准方法是基于相关性或特征选择,对运动一致性考虑最少。因此,仍然需要通过运动一致性来捕获各种物理约束,这将提高准确性、鲁棒性以及更重要的旋转适应性。因此,本文的一个主要方面是研究旋转自适应视觉目标跟踪的结果。在其他关键贡献中,该论文还包括各种不同的方法,这些方法在许多具有挑战性的序列中比当前最先进的方法非常有效。
2017-11-22 cs.CV
SiamMOT: Siamese Multi-Object Tracking
Amazon Web Services (AWS)(亚马逊云科技(AWS))
在本文中,我们专注于改善在线多目标跟踪(MOT)。特别是,我们介绍了一个基于区域的暹罗多目标跟踪网络,我们命名为SiamMOT。SiamMOT包括一个运动模型,该模型估计实例在两个帧之间的移动,使得检测到的实例相关联。为了探索运动建模如何影响其跟踪能力,我们提出了两种变体的暹罗跟踪器,一个隐式模型的运动和一个模型明确。我们在三个不同的MOT数据集上进行了广泛的定量实验:MOT 17,TAO-person和Caltech Roadside Pedestrian,显示了运动建模对MOT的重要性以及SiamMOT大幅超越最先进技术的能力。最后,SiamMOT在HiEve数据集上的表现也优于ACM MM'20 Hieve Grand Challenge的获胜者。此外,SiamMOT是高效的,它在单个现代GPU上以17 FPS的速度运行720 P视频。代码在\url{https://github.com/amazon-research/siam-mot}中可用。
2021-05-25 cs.CV
1st Place Solutions for Waymo Open Dataset Challenges -- 2D and 3D Tracking
Horizon Robotics Inc.(地平线机器人公司)
本技术报告介绍了在线和实时2D和3D多对象跟踪(MOT)算法,该算法在Waymo Open Dataset 2D跟踪和3D跟踪挑战中均获得第一名。提出了一种高效实用的在线检测跟踪框架HorizonMOT,用于图像空间中基于摄像机的2D跟踪和3D世界空间中基于LiDAR的3D跟踪。在检测跟踪模式中,我们的跟踪器利用我们在2D/3D检测挑战中使用的高性能检测器,在2D/3D跟踪挑战中实现了45.13%的2D MOTA/L2和63.45%的3D MOTA/L2。
2020-06-28 cs.CV
SMMT: Siamese Motion Mamba with Self-attention for Thermal Infrared Target Tracking
China Three Gorges University(三峡大学)
针对热红外目标跟踪中遮挡、运动模糊等问题,提出融合双向状态空间模型与自注意力的SMMT跟踪器,通过运动Mamba模块、参数共享策略与运动边缘感知损失提升性能,在四个基准上表现优异。
2025-06-11 cs.CV
PatchTrack: Multiple Object Tracking Using Frame Patches
UC, Santa Barbara(加州大学圣塔芭芭拉分校);Amazon(亚马逊);Appen
对象运动和对象外观是多对象跟踪(MOT)应用中常用的信息,用于在逐检测跟踪方法中跨帧关联检测,或者用于联合检测和跟踪方法的直接跟踪预测。然而,不仅这两种类型的信息通常被单独考虑,而且它们也无助于直接优化来自当前感兴趣帧的视觉信息的使用。在本文中,我们提出了PatchTrack,一个基于变换器的联合检测和跟踪系统,使用当前感兴趣的帧的补丁预测轨道。我们使用卡尔曼滤波器从前一帧预测当前帧中现有轨道的位置。从预测的边界框中裁剪的补丁被发送到Transformer解码器以推断新的轨道。通过利用对象运动和对象外观信息编码在补丁中,所提出的方法更加关注新的轨迹更可能出现的地方。我们在最近的MOT基准测试中显示了PatchTrack的有效性,包括MOT16(MOTA 73.71%,IDF1 65.77%)和MOT17(MOTA 73.59%,IDF1 65.23%)。结果发表在https://motchallenge.net/method/MOT=4725&chl=10上。
2022-01-01 cs.CV
PlugTrack: Multi-Perceptive Motion Analysis for Adaptive Fusion in Multi-Object Tracking
Seungjae Kim, SeungJoon Lee, MyeongAh Cho(作者)
针对多目标跟踪中卡尔曼滤波器难处理非线性运动、数据驱动预测器泛化差且开销高的问题,提出PlugTrack框架,通过多感知运动分析自适应融合两类预测器,在多个基准上取得更优性能。
2025-11-17 cs.CV
MotionTrack: Learning Motion Predictor for Multiple Object Tracking
School of Computer Science, National University of Defense Technology(国防科技大学计算机学院);JD Explore Academy(京东探索研究院);Meituan Inc.(美团公司);Laboratory of Digitizing Software for Frontier Equipment, National University of Defense Technology(国防科技大学前沿装备数字化软件实验室)
针对多目标跟踪中外观同质、运动异质场景下跟踪不准的问题,提出基于可学习运动预测器的在线跟踪器MotionTrack,融合两级运动特征建模时序动态,在复杂运动数据集上取得SOTA性能。
2024-03-11 cs.CV
Towards Grand Unification of Object Tracking
Peng Cheng Laboratory(鹏城实验室);Dalian University of Technology(大连理工大学);ByteDance(字节跳动);The University of Hong Kong(香港大学)
我们提出了一个统一的方法,称为独角兽,可以同时解决四个跟踪问题(SOT,MOT,VOS,MOTS)与一个单一的网络使用相同的模型参数。由于对象跟踪问题本身的零散定义,大多数现有的跟踪器都是针对单个或部分任务开发的,并且过度专注于特定任务的特性。相比之下,Unicorn提供了一个统一的解决方案,在所有跟踪任务中采用相同的输入、主干、嵌入和头部。首次实现了跟踪网络结构和学习范式的统一。Unicorn在8个跟踪数据集中的表现与其特定任务的同行相当或更好,包括LaSOT,TrackingNet,MOT 17,BDD 100 K,DAVIS 16 -17,MOTS 20和BDD 100 K MOTS。我们相信,Unicorn将成为迈向通用愿景模型的坚实一步。代码可在https://github.com/MasterBin-IIAU/Unicorn上获得。
2022-08-11 cs.CV
MOT16: A Benchmark for Multi-Object Tracking
University of Adelaide(阿德莱德大学);ETH Zurich(苏黎世联邦理工学院);Technische Universität Darmstadt(达姆施塔特工业大学)
标准化基准对于大多数计算机视觉应用至关重要。虽然排行榜和排名表不应该被过分夸大,但基准往往提供了最客观的业绩衡量标准,因此是研究的重要指南。最近,推出了一个新的多目标跟踪基准MOTChallenge,其目标是收集现有和新的数据,并为多目标跟踪方法的标准化评估创建一个框架。基准测试的第一个版本专注于多人跟踪,因为行人是迄今为止跟踪社区中研究最多的对象。本文伴随着MOTChallenge基准测试的新版本。与最初的版本不同,MOT16的所有视频都遵循一致的协议进行了仔细的注释。此外,它不仅显著增加了标记框的数量,而且还提供了行人旁边的多个对象类别以及每个感兴趣对象的可见性水平。
2016-05-03 cs.CV
MOT20: A benchmark for multi object tracking in crowded scenes
Australian Institute for Machine Learning(澳大利亚机器学习研究院);University of Adelaide(阿德莱德大学);Amazon(亚马逊);ETH Zurich(苏黎世联邦理工学院);Technische Universität Darmstadt(达姆施塔特工业大学)
标准化基准对于大多数计算机视觉应用至关重要。虽然排行榜和排名表不应被过分夸大,但基准往往提供了最客观的业绩衡量标准,因此是研究的重要指南。MOTChallenge是多目标跟踪的基准,其目标是建立多目标跟踪方法的标准化评估。挑战的重点是多人跟踪,因为行人在跟踪社区中得到了很好的研究,精确的跟踪和检测具有很高的实际意义。自第一个版本以来,MOT15,MOT16和MOT17通过引入一个干净的数据集和精确的框架来对多对象跟踪器进行基准测试,为社区做出了巨大贡献。在本文中,我们提出了我们的MOT20benchmark,由8个新的序列描绘非常拥挤的具有挑战性的场景。该基准首次在2019年计算机视觉和模式识别会议(CVPR)的第四届BMTT MOT挑战研讨会上提出,并有机会评估在处理极其拥挤的场景时用于多目标跟踪的最先进方法。
2020-03-19 cs.CV
Joint Learning Architecture for Multiple Object Tracking and Trajectory Forecasting
University of Warwick(华威大学)
本文介绍了一种用于多目标跟踪和轨迹预测的联合学习结构(JLA),其目标是同时预测目标的当前和未来轨迹。运动预测被广泛地用在若干现有技术的MOT方法中,以改进边界框形式的预测。通常,卡尔曼滤波器提供短期估计以帮助跟踪器正确地预测对象在当前帧中的位置。然而,基于卡尔曼滤波器的方法不能预测非线性轨迹。我们建议联合训练跟踪和轨迹预测模型,并使用预测的轨迹预测短期运动估计代替线性运动预测方法,如卡尔曼滤波器。我们在MOTChallenge基准上评估我们的JLA。评估结果表明,JLA在短期运动预测方面表现更好,与FairMOT相比,在MOT16,MOT17和MOT20数据集中分别减少了33%,31%和47%的ID切换。
2021-08-24 cs.CV
DanceTrack: Multi-Object Tracking in Uniform Appearance and Diverse Motion
The University of Hong Kong(香港大学);Carnegie Mellon University(卡内基梅隆大学);ByteDance Inc.(字节跳动公司)
用于多对象跟踪(MOT)的典型流水线是使用用于对象定位的检测器,以及随后用于对象关联的重新识别(re-ID)。该流水线部分地由目标检测和重新ID两者的最新进展所激励,并且部分地由现有跟踪数据集中的偏差所激励,其中大多数对象倾向于具有区分的外观并且重新ID模型足以建立关联。针对这种偏差,我们要再次强调,当对象外观没有足够的区分力时,多对象跟踪的方法也应该起作用。为此,我们提出了一个大规模的多人跟踪数据集,其中人类具有相似的外观,不同的运动和极端的清晰度。由于该数据集主要包含群舞视频,因此我们将其命名为“DanceTrack”。我们希望DanceTrack能够提供一个更好的平台来开发更多的MOT算法,这些算法更少地依赖于视觉识别,更多地依赖于运动分析。我们在我们的数据集上对几个最先进的跟踪器进行了基准测试,并观察到与现有基准测试相比,DanceTrack的性能显着下降。数据集、项目代码和竞赛服务器发布于:\url{https://github.com/DanceTrack}。
2022-05-24 cs.CV
Motion Planning and Tracking Control of Unmanned Underwater Vehicles: Technologies, Challenges and Prospects
University of Guelph(圭尔夫大学)
无人水下航行器(UUV)的运动规划与跟踪控制技术是实现UUV高效、鲁棒导航的基础,对于水下救援、设施维护、海洋资源勘探、水上娱乐等具有重要意义。UUV运动规划与跟踪控制的研究在国内外得到了迅速发展。多UUV系统的任务分配、UUV路径规划和UUV轨迹跟踪。本文对UUV的运动规划和跟踪控制的传统技术和智能技术进行了全面的综述。这些不同的方法在文献中的优点和缺点的分析。最后,展望了UUV运动规划和跟踪控制的发展前景。
2022-07-10 cs.RO cs.SY eess.SY
Probabilistic Tracklet Scoring and Inpainting for Multiple Object Tracking
Australian National University(澳大利亚国立大学);ACRV(澳大利亚机器人视觉中心);Monash University(莫纳什大学);CVLab-EPFL(洛桑联邦理工学院计算机视觉实验室)
尽管最近在通过联合检测和跟踪实现的多目标跟踪(MOT)方面取得了进展,但处理长遮挡仍然是一个挑战。这是由于这样的技术倾向于忽略长期运动信息的事实。在本文中,我们引入了一个概率自回归运动模型,直接测量它们的可能性来评分tracklet建议。这是通过训练我们的模型来学习自然轨迹的底层分布来实现的。因此,我们的模型不仅允许我们为现有的轨迹片段分配新的检测,而且还允许我们在对象丢失很长时间时对轨迹片段进行补绘,例如,由于遮挡,通过采样轨迹以填充由误检测引起的间隙。我们的实验证明了我们的方法在跟踪具有挑战性的序列中的对象方面的优越性;它在多个MOT基准数据集(包括MOT 16,MOT 17和MOT 20)上的大多数标准MOT指标中表现优于最先进的技术。
2020-12-10 cs.CV
Fast Online and Relational Tracking
University of Tehran(德黑兰大学)
为了克服多目标跟踪任务中的挑战,最近的算法使用交互提示以及运动和外观特征。这些算法使用图神经网络或Transformers来提取交互特征,这导致了高计算成本。本文提出了一种新的基于几何特征的交互提示,旨在检测遮挡和重新识别丢失的目标,具有较低的计算成本。此外,在大多数算法中,相机运动被认为是可忽略的,这是一个强假设,并不总是正确的,并导致ID切换或目标的不匹配。本文提出了一种测量摄像机运动并消除其影响的方法,有效地降低了摄像机运动对跟踪的影响。该算法在MOT17和MOT20数据集上进行了评估,它实现了MOT17的最先进性能和MOT20的可比结果。该代码也是公开的。
2022-08-07 cs.CV
Vehicle Detection and Tracking From Surveillance Cameras in Urban Scenes
Polytechnique Montreal(蒙特利尔综合理工学院);Cysca Technologies(Cysca技术公司)
在城市场景中检测和跟踪车辆是许多交通相关应用中的关键一步,因为它有助于提高道路使用者的安全性。在多目标跟踪中,目标信息描述、长时间遮挡和快速运动等问题仍然是一个亟待解决的难题。我们提出了一个多车辆检测和跟踪系统跟踪的检测范式,解决了前面提到的挑战。我们的MOT方法扩展了基于交集的跟踪器与车辆重新识别功能。这使我们能够利用外观信息,以更好地匹配对象后,长的闭塞阶段和/或当对象的位置显着转移,由于快速运动。我们在UA-DETRAC基准测试中优于我们的基线MOT方法,同时保持适合在线用例的总处理速度。
2021-09-25 cs.CV
TransFiner: A Full-Scale Refinement Approach for Multiple Object Tracking
China University of Geosciences(中国地质大学)
多目标跟踪是一个包含检测和关联的任务。许多跟踪器都取得了具有竞争力的性能。不幸的是,由于缺乏对这些子任务的信息交换,它们往往偏向于两者之一,并且在复杂的场景中表现不佳,例如在跟踪人群中的个体时不可避免地错过和错误的目标轨迹。本文提出了transFiner,一种基于transformer的方法来后细化MOT。它是一个依赖于查询对的通用附件框架,是原始跟踪器和TransFiner之间的桥梁。通过融合解码器,每个查询对产生针对特定对象的精细检测和运动线索。在此之前,它们在原始跟踪器的跟踪结果(位置和类别预测)的指导下进行特征对齐和组标记,完成有重点和全面的跟踪细化。实验结果表明,我们的设计是有效的,在MOT17基准测试中,我们将CenterTrack从67.8%MOTA和64.7%IDF1提高到71.5%MOTA和66.8%IDF1。
2022-09-02 cs.CV
MambaMOT: State-Space Model as Motion Predictor for Multi-Object Tracking
University of Washington(华盛顿大学)
本文提出MambaMOT和MambaMOT+,用基于学习的运动模型替代卡尔曼滤波器,以应对复杂非线性运动和遮挡,在DanceTrack和SportsMOT数据集上取得先进性能。
2025-01-21 cs.CV
Referring Multi-Object Tracking in Moving-Camera Videos via Global Motion Compensation
National Cheng Kung University(国立成功大学)
本文针对移动相机视频中的指代多目标跟踪,提出通过估计相机运动提取残差运动并与查询表达式匹配,经后期融合提升RMOT性能。
2026-10-06 cs.CV
MM-Tracker: Motion Mamba with Margin Loss for UAV-platform Multiple Object Tracking
Fudan University(复旦大学);Tencent Youtu Lab(腾讯优图实验室);Shanghai Ocean University(上海海洋大学);University of Iceland(冰岛大学)
针对无人机多目标跟踪中局部全局运动并存、运动模糊影响检测的问题,提出含Motion Mamba模块与运动边际损失的MM-Tracker,在两个开源数据集上性能超现有最优水平。
2024-12-12 cs.CV
VSE-MOT: Multi-Object Tracking in Low-Quality Video Scenes Guided by Visual Semantic Enhancement
School of Software Engineering(软件工程学院);Guangdong Laboratory of Artificial Intelligence and Digital Economy(人工智能与数字经济广东实验室)
针对低质量视频导致多目标跟踪性能下降的问题,提出VSE-MOT框架,利用视觉语言模型提取全局语义信息并通过MOT-Adapter和VSFM模块增强特征融合,在低质量场景下性能提升8%至20%且保持常规场景稳健性。
2025-09-17 cs.CV
Deep Learning-Based Multi-Object Tracking: A Comprehensive Survey from Foundations to State-of-the-Art
Department of Computer Science, Faculty of Mathematics, University of Belgrade(计算机科学系,数学学院,贝尔格莱德大学)
该综述系统梳理了基于深度学习的多目标跟踪方法,将检测跟踪类方法分为五大类,对比了端到端跟踪方法,经多基准测试发现启发式方法适配密集线性运动场景,深度学习关联方法适配复杂运动场景。
2025-06-16 cs.CV
Unified Transformer Tracker for Object Tracking
University of Technology Sydney(悉尼科技大学);National University of Singapore(新加坡国立大学);Meta AI;Zhejiang University(浙江大学)
目标跟踪作为计算机视觉的一个重要研究领域,已经形成了两个独立的研究群体,分别研究单目标跟踪(SOT)和多目标跟踪(MOT)。然而,由于两个任务的训练数据集和跟踪对象不同,一个跟踪场景中的当前方法不容易适应另一个。虽然UniTrack \cite{wang2021different}证明了具有多个头部的共享外观模型可以用于处理单个跟踪任务,但它未能利用大规模跟踪数据集进行训练,并且在单个对象跟踪上表现不佳。在这项工作中,我们提出了统一的Transformer跟踪器(UTT),以解决跟踪问题,在不同的情况下,一个范例。我们的UTT中开发了一个跟踪Transformer,用于SOT和MOT中的目标跟踪。利用目标和跟踪帧特征之间的相关性对目标进行定位。我们证明,SOT和MOT任务可以在这个框架内解决。该模型可以通过在单个任务的数据集上交替优化SOT和MOT目标来同时进行端到端训练。在SOT和MOT数据集上训练的统一模型在几个基准上进行了广泛的实验。代码将在https://github.com/Flowerfan/Trackron上提供。
2022-06-08 cs.CV
MOTS R-CNN: Cosine-margin-triplet loss for multi-object tracking
School of Computing and Electrical Engineering, Indian Institute of Technology, Mandi(曼迪印度理工学院计算与电气工程学院)
多目标跟踪的中心任务之一是学习与对象的语义相似性一致的距离度量。设计一个适当的损失函数来鼓励区分性特征学习是基于深度神经网络的度量学习中最关键的挑战之一。尽管取得了重大进展,但现有的基于对比和三元组损失的深度度量学习方法的收敛速度慢和局部最优性差,需要更好的解决方案。本文从余弦距离的角度出发,通过对对比损失函数和三重损失函数的重新定义,提出了余弦边际对比损失(CMC)和余弦边际三重损失(CMT).所提出的重构为余弦损失是通过特征归一化来实现的,该特征归一化将学习到的特征分布在超球面上。然后,我们提出了用于联合多对象跟踪和分割的MOTS R-CNN框架,特别针对提高跟踪性能。具体而言,跟踪问题通过基于所提出的损失函数的深度度量学习来解决。我们提出了一个尺度不变的跟踪,通过使用多层特征聚合计划,使模型对对象的规模变化和遮挡鲁棒性。MOTS R-CNN在KITTI MOTS数据集上实现了最先进的跟踪性能。我们表明,与Track R-CNN相比,MOTS R-CNN分别在汽车和行人上减少了$62\%$和$61\%$的身份切换。
2021-02-06 cs.CV
MAT: Motion-Aware Multi-Object Tracking
Huazhong University of Science and Technology(华中科技大学);Nanyang Technological University(南洋理工大学)
现代多目标跟踪(MOT)系统通常通过关联每帧检测来对轨迹进行建模。然而,当相机运动、快速运动和遮挡挑战发生时,很难确保长距离跟踪甚至轨迹片段纯度,特别是对于小物体。虽然经常采用重新识别,但由于噪声部分检测,相似的外观,以及缺乏时间-空间约束,它不仅不可靠且耗时,而且仍然不能解决遮挡和模糊对象的假阴性。在本文中,我们提出了一个增强的MOT范式,即运动感知跟踪器(MAT),更侧重于不同对象的各种运动模式。将摄像机的刚性运动和行人的非刚性运动相融合,形成了完整的运动定位模块。同时,我们引入了动态重连上下文模块,该模块旨在平衡基于长距离运动的重连的鲁棒性,并包括循环伪观测更新策略,以平滑地填充由于遮挡或模糊引起的跟踪片段。此外,三维积分图像模块,提出了有效地削减无用的跟踪检测关联连接的时间和空间的限制。在MOT 16和MOT 17挑战性基准上进行的大量实验表明,与其他最先进的跟踪器相比,我们的MAT方法可以以高效率实现更高的性能。
2020-09-18 cs.CV
Motion State: A New Benchmark Multiple Object Tracking
Northwestern Polytechnical University(西北工业大学);School of Automation(自动化学院);Key Laboratory of Information Fusion(信息融合重点实验室)
针对多目标跟踪中运动状态识别难题,提出融合数学建模与深度学习的MoD2T方法,并引入MVF1指标,在KITTI、MOT17和UAVDT数据集上取得显著效果。
2024-05-07 cs.CV
Concurrent Tracking of Inliers and Outliers
Electronics and Telecommunications Research Institute (ETRI)(电子通信研究院(ETRI))
在目标跟踪中,野点是影响基于图像的跟踪算法性能的主要因素之一。因此,在这方面,大多数现有方法简单地丢弃检测到的离群值,并且很少或根本不注意将它们用作运动估计的重要信息源。我们认为离群点和内点对目标跟踪同样重要,提出了一种基于内点和离群点同时跟踪的运动估计算法。我们的跟踪器利用金字塔实现的卢卡斯-卡纳德跟踪器来估计运动流的内点和离群点和最终的目标运动估计鲁棒性的基础上,这些信息。具有挑战性的基准视频序列的实验结果证实了增强的跟踪性能,表现出高度稳定的目标跟踪严重遮挡相比,国家的最先进的算法。该算法在不使用硬件加速器的情况下,每秒运行超过100帧,这使得该方法更实用和可移植。
2014-09-13 cs.CV
EGM: Efficiently Learning General Motion Tracking Policy for High Dynamic Humanoid Whole-Body Control
Shanghai Innovation Institute(上海创新研究院);College of Future Information Technology, Fudan University(复旦大学未来信息科技学院);College of Intelligent Robotics and Advanced Manufacturing, Fudan University(复旦大学智能机器人与先进制造学院);The Chinese University of Hong Kong(香港中文大学);ByteDance(字节跳动)
EGM通过高效学习通用运动跟踪策略,提升高动态人形全身体控的鲁棒性和泛化能力。
2025-12-22 cs.RO
MOTCOM: The Multi-Object Tracking Dataset Complexity Metric
Aalborg University(奥尔堡大学);Pioneer Center for AI(人工智能先锋中心);Technical University of Munich(慕尼黑工业大学)
多目标跟踪(MOT)序列的复杂性目前还没有一个全面的度量标准。这种指标的缺乏降低了可解释性,使数据集的比较复杂化,并将关于跟踪器性能的对话减少到领先地位的问题。作为补救措施,我们提出了新型MOT数据集复杂性度量(MOTCOM),它是受MOT中关键问题启发的三个子度量的组合:遮挡、不稳定运动和视觉相似性。MOTCOM的见解可以开启关于跟踪器性能的细致入微的讨论,并可能导致更广泛地承认为不太知名的数据集或旨在解决子问题的数据集开发的新贡献。我们在综合MOT17,MOT20和MOTSynth数据集上评估了MOTCOM,并表明MOTCOM在描述MOT序列的复杂性方面远远优于传统的轨道密度和数量。项目页面https://vap.aau.dk/motcom
2022-07-20 cs.CV
End-to-end Learning of Object Motion Estimation from Retinal Events for Event-based Object Tracking
Xiamen University(厦门大学);Edith Cowan University(伊迪斯科文大学)
事件摄像机是一种异步生物视觉传感器,在计算机视觉和人工智能领域显示出巨大的潜力。然而,事件摄像机的应用对象级运动估计或跟踪仍处于起步阶段。这项工作背后的主要思想是提出一种新的深度神经网络来学习和回归用于基于事件的对象跟踪的参数对象级运动/变换模型。为了实现这一目标,我们提出了一个同步的时间表面与线性时间衰减(TSLTD)表示,有效地编码的时空信息的异步视网膜事件到TSLTD帧清晰的运动模式。我们将TSLTD帧序列馈送到一个新的视网膜运动回归网络(RMRNet),以执行端到端的5-DoF对象运动回归。我们的方法相比,国家的最先进的对象跟踪方法,是基于传统的相机或事件相机。实验结果表明,我们的方法在处理各种具有挑战性的环境,如快速运动和低光照条件下的优越性。
2020-02-14 cs.CV
Tracking-by-Counting: Using Network Flows on Crowd Density Maps for Tracking Multiple Targets
多目标跟踪(MOT)方法遵循检测跟踪范式,其中通过关联目标检测器的每帧输出来获得目标轨迹。然而,在拥挤的场景中,由于严重的遮挡和高人群密度,检测器往往无法获得准确的检测。在本文中,我们提出了一个新的MOT范式,跟踪计数,适合拥挤的场景。使用人群密度图,我们联合模型的检测,计数和跟踪的多个目标作为一个网络流程序,同时发现全局最优的检测和轨迹的多个目标在整个视频。这是在以前的MOT方法,要么忽略人群密度,从而容易在拥挤的场景中的错误,或依赖于一个次优的两步过程中使用启发式密度感知点跟踪匹配targets.We的方法产生有希望的结果,公共基准的各个领域,包括人跟踪,细胞跟踪,鱼跟踪。
2020-07-18 cs.CV
Convolutional Recurrent Predictor: Implicit Representation for Multi-target Filtering and Tracking
Cortexica Vision Systems Ltd.(科蒂西卡视觉系统有限公司);Mesirow Financial(梅斯罗金融公司);AnyVision(安尼维逊)
定义多目标运动模型是跟踪算法的重要步骤,具有很大的挑战性。使用固定模型(如在几种生成贝叶斯算法中,例如卡尔曼滤波器)可能无法准确预测复杂的目标运动。另一方面,运动模型的顺序学习(例如,使用递归神经网络)可能由于目标的可变未知数量而在计算上复杂且困难。在本文中,我们提出了一种多目标滤波和跟踪算法,学习的运动模型,同时为所有的目标,从一个隐式表示的状态图,并进行时空数据预测。为此,多目标状态是在一个连续的假设目标空间建模,使用随机有限集和高斯混合概率假设密度公式。使用具有长短期记忆架构的深度卷积递归神经网络递归地执行预测步骤,该深度卷积递归神经网络在“概率密度差”图上被训练为回归块。我们的方法在广泛使用的行人跟踪基准上进行了评估,显著优于最先进的多目标滤波算法,同时与其他跟踪方法相比,具有竞争力的结果:该方法在MOT 15和MOT 16/17数据集上分别产生平均40.40和62.29个最优子模式分配(OSPA)错误,同时产生62.0%,当使用公开可用的检测器时,MOT 16/17,PNNL停车场和PETS 09行人跟踪数据集的多目标跟踪准确率(MOTA)分别为70.0%和66.9%。
2019-07-28 cs.CV
Visual-Inertial Target Tracking and Motion Planning for UAV-based Radiation Detection
University of Delaware(特拉华大学)
本文讨论了使用最小传感能力的无人机在运输中检测放射性物质的问题,其目标是分类目标的放射性车辆计划通过工作空间的路径,同时跟踪目标的短时间间隔。为此,我们提出了一个运动规划框架,它集成了紧密耦合的视觉惯性定位和目标跟踪。在这个框架中,3D工作空间是已知的,并且该信息与UAV动力学一起用于构建导航功能,该导航功能生成动态可行的安全路径,该路径避开障碍物并且可证明地收敛到移动目标。通过Gazebo中的真实仿真验证了所提出方法的有效性。
2018-05-23 cs.RO
Instance Flow Based Online Multiple Object Tracking
Fraunhofer Institute of Optronics, System Technologies and Image Exploitation(弗劳恩霍夫光电、系统技术与图像利用研究所)
我们提出了一种方法来执行在线多目标跟踪(MOT)的已知对象类别的单目视频数据。当前的检测跟踪MOT方法建立在2D限界框检测之上。相比之下,我们利用最先进的实例感知语义分割技术来计算目标对象在每帧中的二维形状表示。我们利用光流线索来预测分割实例在后续帧中的位置和形状。我们定义了一个亲和矩阵的后续帧的实例之间的局部性和视觉相似性。实例关联采用匈牙利方法求解。我们使用MOT 2D 2015训练数据集评估了我们算法的不同配置。评估表明,我们的跟踪方法是能够跟踪高相对运动的对象。此外,我们提供了我们的方法在MOT 2D 2015测试集上的结果,以与以前的作品进行比较。我们的MOTA得分为32.1。
2017-05-15 cs.CV
Robust 6-DoF Object Pose Tracking with Built-In Recovery under Occlusions and Rapid Object Motions
Woven by Toyota, Inc.(丰田编织公司);University of Bonn(波恩大学);University of Bonn, Center for Robotics, and the Lamarr Institute for Machine Learning and Artificial Intelligence(波恩大学机器人中心以及拉玛尔机器学习与人工智能研究所)
针对RGB-D数据中未见物体的6自由度跟踪问题,尤其是遮挡和快速运动场景,提出结合关键点匹配与优化对齐及故障检测恢复模块的方法,在多场景评估中表现出色,是鲁棒6自由度物体跟踪的重要进展。
2026-07-28 cs.CV
Multiple Object Tracking with Motion and Appearance Cues
School of Information and Communication Engineering, Xi’an Jiaotong University(西安交通大学信息与通信工程学院)
近年来,由于视频质量的提高和帧速率的提高,多目标跟踪问题的性能得到了很大的改善。然而,在实际应用场景中,摄像机运动和每帧检测结果的噪声会显着降低跟踪器的性能。高速、高质量的多目标跟踪器仍然是迫切需要的。在本文中,我们提出了一个新的多目标跟踪器以下流行的检测跟踪计划。我们用光流网络来处理摄像机的运动问题,并利用辅助跟踪器来处理丢失检测问题。此外,我们使用的外观和运动信息,以提高匹配质量。在VisDrone-MOT数据集上的实验结果表明,该方法在实现高效率的同时,显著提高了多目标跟踪的性能。
2019-09-01 cs.CV eess.IV
SiamMo: Siamese Motion-Centric 3D Object Tracking
School of Electronics and Information, Hangzhou Dianzi University(杭州电子科技大学电子信息学院);School of Computer Science, The University of Sydney(悉尼大学计算机学院)
针对LiDAR点云3D单目标跟踪难题,提出纯运动中心的SiamMo,通过孪生特征提取、时空聚合和框感知编码实现高精度与高速度。
2024-09-09 cs.CV
UniTrack: Differentiable Graph Representation Learning for Multi-Object Tracking
Augmented Cognition Lab (ACLab), Electrical and Computer Engineering Department, Northeastern University(增强认知实验室(ACLab)、电气与计算机工程系、东北大学)
UniTrack通过统一的可微学习方法,提升多目标跟踪性能,减少身份切换并提高IDF1指标。
2026-02-04 cs.CV
Motion-Aware Vision-Reference Alignment for Referring Multi-Object Tracking
Shanghai University(上海大学);PAII Inc.(PAII公司)
VMRMOT通过多模态大语言模型实现视觉-运动-参考对齐,提升指称多目标跟踪的性能。
2026-08-25 cs.CV
A Novel Tuning Method for Real-time Multiple-Object Tracking Utilizing Thermal Sensor with Complexity Motion Pattern
Department of Electrical and Computer Engineering, Sungkyunkwan University(电气与计算机工程系,成均馆大学)
本文针对热图像行人跟踪中低级特征表示导致的检测跟踪困难,提出一种两阶段超参数调优方法,在不依赖复杂重识别或运动模型的情况下实现实时高精度多目标跟踪,并在PBVS Thermal MOT数据集上验证了其鲁棒性。
2025-07-03 cs.CV