Joint Counting, Detection and Re-Identification for Multi-Object Tracking
Shenzhen Duorou Intelligent System Co., Ltd.（深圳多柔智能系统有限公司）；School of Electrical Engineering, Xi’an Jiaotong University（西安交通大学电气工程学院）；State Key Laboratory of Robotics, Shenyang Institute of Automation, Chinese Academy of Science（中国科学院沈阳自动化研究所机器人国家重点实验室）
本文提出端到端框架CountingMOT，通过联合建模计数、检测与重识别，在拥挤场景中利用目标计数约束平衡检测与密度估计，有效恢复漏检和拒绝误检，实现实时在线跟踪并在MOT16/17/20基准上取得最先进结果。
2024-02-19 cs.CV
DeNoising-MOT: Towards Multiple Object Tracking with Severe Occlusions
Fudan University（复旦大学）
提出端到端可训练的去噪Transformer框架DNMOT，通过在训练阶段对轨迹加噪并学习去噪过程，结合级联掩码策略，有效解决了多目标跟踪中的严重遮挡问题，在MOT17等数据集上显著超越现有方法。
2023-09-09 cs.CV
Recurrent Autoregressive Networks for Online Multi-Object Tracking
Stanford University（斯坦福大学）；University of Washington（华盛顿大学）
在线多目标跟踪的主要挑战是基于其跟踪历史将对象轨迹与每个视频帧中的检测可靠地关联。在这项工作中，我们提出了递归自回归网络（RAN），一个时间生成建模框架来表征多个对象随时间的外观和运动动态。RAN耦合外部存储器和内部存储器。外部存储器明确地存储时间窗口中每个轨迹的先前输入，而内部存储器通过处理外部存储器来学习总结长期跟踪历史并关联检测。我们在MOT 2015和2016数据集上进行了实验，以证明我们的跟踪方法在高度拥挤和遮挡场景中的鲁棒性。我们的方法在两个基准测试中取得了最好的结果。
2018-03-04 cs.AI cs.CV cs.LG
Long-term Correlation Tracking using Multi-layer Hybrid Features in Sparse and Dense Environments
Heriot Watt University（赫瑞-瓦特大学）；Sheffield Hallam University（谢菲尔德哈勒姆大学）
在稀疏和拥挤的环境中跟踪感兴趣的目标是一个具有挑战性的问题，尚未成功地解决在文献中。在本文中，我们提出了一种新的长期视觉跟踪算法，学习判别相关滤波器和使用在线分类器，跟踪目标的兴趣在稀疏和拥挤的视频序列。首先，我们使用卷积神经网络（CNN）和传统手工特征的多层混合来学习翻译相关滤波器。我们结合了较低的卷积层（保留更多空间细节以进行精确定位）和较高的卷积层（编码语义信息以处理外观变化）的优势，然后将这些与定向梯度直方图（HOG）和颜色命名传统特征相结合。其次，我们包括一个重新检测模块，用于克服由于长期遮挡而导致的跟踪失败，方法是使用手工设计的功能在最有信心的帧上训练增量（在线）SVM。仅当对象的相关响应低于某个预定义阈值时，才激活该重新检测模块。这生成高分检测建议，使用高斯混合概率假设密度（GM-PHD）滤波器对高分检测建议进行时间滤波，以通过去除作为杂波的其他检测建议来找到具有最大权重的检测建议作为目标状态估计。最后，我们学习了一个尺度相关滤波器，用于通过使用HOG特征在估计或重新检测的位置周围构建目标金字塔来估计目标的尺度。我们在稀疏和密集数据集上进行了广泛的实验，结果表明我们的方法显着优于最先进的方法。
2019-02-03 cs.CV
Multiple object tracking with context awareness
Gottfried Wilhelm Leibniz Universität Hannover（汉诺威莱布尼茨大学）
多人跟踪是监控、动画或汽车导航等许多应用的关键问题，也是活动识别等任务的关键输入。在拥挤的环境中，遮挡和错误检测是常见的，尽管近年来已经取得了实质性的进展，但跟踪仍然是一项具有挑战性的任务。跟踪通常分为两个步骤：检测，即，定位图像中的行人，以及数据关联，即，将跨帧的检测连接起来以形成完整的轨迹。对于数据关联任务，方法通常旨在开发新的，更复杂的公式，这反过来又把重点放在解决它们所需的优化技术上。然而，它们仍然使用非常基本的信息，例如检测之间的距离。在这篇论文中，我专注于数据关联任务，并认为有上下文信息，尚未得到充分利用，在跟踪社区，主要是社会背景和空间背景来自不同的观点。
2016-11-30 cs.CV
DynamicTrack: Advancing Gigapixel Tracking in Crowded Scenes
Tsinghua University（清华大学）；Biren Technology（壁仞科技）；HoloMatic Technology Co.,Ltd.（禾多科技有限公司）
针对拥挤场景下千兆像素跟踪面临复杂交互与遮挡导致性能下降的问题，提出动态跟踪框架DynamicTrack，通过对比学习联合检测行人头身并设计动态关联算法进行匹配，在相关基准上取得最先进性能。
2024-07-26 cs.CV
SportsTrack: An Innovative Method for Tracking Athletes in Sports Scenes
SportsMOT数据集旨在解决运动员在篮球或足球等不同运动场景中的多个对象跟踪问题。由于摄像机视角不稳定、运动员轨迹复杂、背景复杂，因此数据集具有挑战性。以往的MOT方法不能匹配足够高质量的运动员轨迹。为了在运动场景中追求更高的MOT性能，我们引入了一个创新的跟踪器SportsTrack，我们利用检测跟踪作为我们的检测范式。然后，我们将介绍一个三阶段的匹配过程，以解决运动模糊和身体重叠的运动场景。同时，本文还提出了另一个创新点：检测框与拥挤跑道的一对多对应关系，以解决运动员在运动比赛中身体重叠的问题。与其他跟踪器（如BOT-SORT和ByteTrack）相比，我们仔细恢复了被其他跟踪器忽略的边缘丢失的跟踪。最后，我们在SportsMOT数据集中得到了SOTA结果。
2023-02-15 cs.CV
Decoding Attention from Gaze: A Benchmark Dataset and End-to-End Models
Indian Institute of Technology, Kharagpur（印度理工学院克勒格布尔分校）；Carnegie Mellon University（卡内基梅隆大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
眼动追踪有可能提供丰富的行为数据，人类的认知在生态有效的环境。然而，分析这些丰富的数据往往具有挑战性。大多数自动化分析是特定于简单的人工视觉刺激与分离良好，静态的感兴趣的区域，而大多数分析的背景下，复杂的视觉刺激，如大多数自然场景，依赖于费力和耗时的手动注释。本文研究了使用计算机视觉工具进行“注意解码”，即评估参与者随时间推移的外显视觉注意轨迹的任务。我们提供了一个公开可用的多对象眼动跟踪（MOET）数据集，由跟踪特定对象的参与者的凝视数据组成，在拥挤的现实世界视频中用标签和边界框进行注释，用于训练和评估注意力解码算法。我们还提出了两种用于注意力解码的端到端深度学习模型，并将其与最先进的探试法进行了比较。
2022-11-20 cs.CV cs.LG
TGCN: Time Domain Graph Convolutional Network for Multiple Objects Tracking
多目标跟踪是给视频中的每个对象一个id。其难点在于如何在同一帧中对预测目标和检测目标进行匹配。匹配特征包括外观特征、位置特征等，预测对象的这些特征基本上是基于之前的一些帧。然而，很少有论文描述前一帧特征和当前帧特征之间在时域上的关系，本文提出了一种用于多目标跟踪的时域图卷积网络，该模型主要分为两部分，我们首先使用卷积神经网络（CNN）提取行人外观特征，这是深度学习中的正常操作处理图像，然后利用GCN对过去的几帧图像的外观特征进行建模，得到当前帧的预测外观特征。由于这种扩展，我们可以得到当前帧的姿态特征，根据过去的一些帧之间的关系。实验评估表明，我们的扩展提高了1.3的MOT 16上的MOTA，在高帧速率实现整体竞争力的表现。
2021-01-06 cs.CV cs.LG
Hand Held Multi-Object Tracking Dataset in American Football
Keio University（庆应大学）
针对美式橄榄球球员跟踪缺乏标准化公开数据集的问题，构建首个专门的检测与跟踪数据集，对比评估多种方法，发现微调模型及集成策略可提升拥挤场景下的跟踪精度。
2025-11-12 cs.CV
UGO: Unified Architecture for General Multi-Object Tracking by Segmentation
University of Ljubljana（卢布尔雅那大学）
UGO提出统一分割架构，结合示例条件检测与实例传播头，通过能量最小化整合和分层记忆，在GMOT基准和视频计数上达到新最优，并可与专业MOT方法竞争。
2026-09-30 cs.CV
SAMIDARE: Advanced Tracking-by-Segmentation for Dense Scenarios
Toyota Technological Institute（丰田技术研究所）
本文提出SAMIDARE框架，通过改进分割到跟踪的方法，解决密集场景中分割误差和ID切换问题，提升鲁棒性和效率。
2026-04-24 cs.CV
IndoorCrowd: A Multi-Scene Dataset for Human Detection, Segmentation, and Tracking with an Automated Annotation Pipeline
National University of Science and Technology Politehnica Bucharest（布加勒斯特理工大学国家科学技术大学）；Expleo
IndoorCrowd数据集通过多场景采集，提供人体检测、实例分割和多目标跟踪的基准，包含31个视频和自动化标注工具的评估结果，揭示了人群密度、尺度和遮挡对任务的影响。
2026-04-02 cs.CV cs.LG
Simple Unsupervised Multi-Object Tracking
University of Oxford（牛津大学）
多目标跟踪最近取得了很大的进展，尽管开发更好和更大的标记数据集需要大量的注释成本。在这项工作中，我们通过提出一个无监督的重新识别网络来消除对注释数据集的需求，从而完全避免了训练所需的标签成本。给定未标记的视频，我们提出的方法（SimpleReID）首先使用SORT生成跟踪标签，并训练ReID网络使用交叉熵损失预测生成的标签。我们证明了SimpleReID的性能大大优于简单的替代品，并且我们在不同的跟踪框架中始终恢复其监督对应物的全部性能。这些观察结果是不寻常的，因为无人监督的ReID预计不会在拥挤的场景中表现出色，包括遮挡和剧烈的视点变化。通过将我们的无监督SimpleReID与在增强静态图像上训练的CenterTrack相结合，我们在MOT 16/17等流行数据集上建立了一个新的最先进的性能，而无需使用跟踪监督，以0.2-0.3 MOTA和4.4-4.8 IDF 1得分击败当前最好的（CenterTrack）。我们进一步提供了证据，证明在所研究的环境中，IDF 1分数的改善范围有限，超出了我们的无监督ReID。我们的调查表明，通过在更简单的无监督替代品中显示承诺，可以重新考虑更复杂，有监督，端到端的跟踪器。
2020-06-04 cs.CV
TopTrack: Tracking Objects By Their Top
Polytechnique Montréal（蒙特利尔理工学院）
针对拥挤场景中中心点不可见导致漏检的问题，TopTrack提出以物体顶部作为检测关键点的联合检测与跟踪方法，并在分离流中处理连续帧，从而减少漏检、提升轨迹完整性，在两个MOT基准上取得有竞争力的结果。
2023-04-12 cs.CV
End-to-End Learning Deep CRF models for Multi-Object Tracking
South-Central University for Nationalities（中南民族大学）；Shanghai Jiao Tong University（上海交通大学）
现有的深度多目标跟踪（MOT）方法首先学习一个深度表示来描述目标对象，然后通过优化线性分配问题来关联检测结果。尽管取得了成功，但在相互遮挡下区分目标对象或减少拥挤场景中的身份切换是具有挑战性的。在本文中，我们提出了学习深度条件随机场（CRF）网络，旨在将分配成本建模为一元势，并将检测结果之间的长期依赖关系建模为成对势。具体来说，我们使用双向长短期记忆（LSTM）网络来编码长期依赖关系。我们提出的CRF推理作为一个经常性的神经网络学习过程中使用的标准梯度下降算法，其中一元和成对的潜力联合优化的端到端的方式。在具有挑战性的MOT数据集（包括MOT-2015和MOT-2016）上进行的大量实验结果表明，与两个基准测试的已发表作品相比，我们的方法实现了最先进的性能。
2019-07-29 cs.CV
Multi-object Tracking with a Hierarchical Single-branch Network
National University of Defense Technology（国防科技大学）
近年来的多目标跟踪（MOT）方法逐渐尝试将目标检测和实例重识别（Re-ID）集成到一个统一的网络中，形成一个单阶段的解决方案。通常，这些方法使用单个网络中的两个分离的分支来分别完成检测和Re-ID，而不研究它们之间的相互关系，这不可避免地阻碍了跟踪性能。在本文中，我们提出了一个在线多目标跟踪框架的基础上，层次单分支网络来解决这个问题。具体而言，建议的单分支网络利用改进的分层在线实例匹配（iHOIM）损失明确建模之间的相互关系目标检测和重新ID。我们的新的iHOIM损失函数统一的目标，这两个子任务，并鼓励更好的检测性能和特征学习，即使在非常拥挤的场景。此外，我们建议引入由运动模型预测的对象位置，作为后续目标检测的区域建议，其中直觉是检测结果和运动预测可以在不同的场景中相互补充。在MOT 16和MOT 20数据集上的实验结果表明，我们可以实现最先进的跟踪性能，消融研究验证了每个组件的有效性。
2021-01-06 cs.CV
ReST: A Reconfigurable Spatial-Temporal Graph Model for Multi-Camera Multi-Object Tracking
National Tsing Hua University（国立清华大学）；National Chung Cheng University（国立中正大学）
针对现有基于图的多相机多目标跟踪方法时空信息利用不足、轨迹易碎片化的问题，提出可重构时空图模型ReST，通过两阶段关联提取时空感知特征，实现了多个公开数据集上的当前最优性能。
2023-08-25 cs.CV
LMGP: Lifted Multicut Meets Geometry Projections for Multi-Camera Multi-Object Tracking
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；German Research Center for Artificial Intelligence（德国人工智能研究中心）；Leibniz University Hannover（汉诺威莱布尼茨大学）；Oldenburg University（奥尔登堡大学）
多摄像机多目标跟踪由于其在拥挤场景或广阔空间中的视频监控等实际应用中的优越性能，目前在计算机视觉领域引起了广泛的关注。在这项工作中，我们提出了一个数学优雅的多摄像头多目标跟踪方法的基础上的时空提升多分割制定。我们的模型利用了由单摄像头跟踪器产生的最先进的tracklets作为建议。由于这些轨迹可能包含ID切换错误，我们通过从3D几何投影获得的新的预聚类来细化它们。因此，我们得到了一个更好的跟踪图没有ID开关和更精确的亲和度成本的数据关联阶段。然后通过求解全局提升的多切割公式将轨迹线与多相机轨迹相匹配，该公式将位于同一相机以及相机间的轨迹线上的短距离和长距离时间交互结合起来。WildTrack数据集上的实验结果产生了近乎完美的性能，优于Campus上最先进的跟踪器，同时与PETS-09数据集相当。
2022-05-03 cs.CV
Gr-IoU: Ground-Intersection over Union for Robust Multi-Object Tracking with 3D Geometric Constraints
Meijo University（名城大学）；Chubu Electric Power Co., Inc.（中部电力株式会社）
本文提出Gr-IoU方法，利用消失点几何将边界框映射到地面平面以增强前后关系敏感性，在MOT17和MOT20上验证其优于无外观特征的实时跟踪方法，有效减少ID切换。
2024-09-05 cs.CV
ProContEXT: Exploring Progressive Context Transformer for Tracking
DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；Carnegie Mellon University（卡内基梅隆大学）
现有的视觉对象跟踪（VOT）仅将第一帧中的目标区域作为模板。这导致跟踪在快速变化和拥挤的场景中不可避免地失败，因为它无法解释帧之间对象外观的变化。为此，我们改进了跟踪框架与渐进式上下文编码Transformer跟踪器（ProContEXT），它连贯地利用空间和时间的背景来预测对象的运动轨迹。具体而言，ProContEXT利用上下文感知的自注意模块来编码空间和时间上下文，改进和更新多尺度静态和动态模板，以逐步执行准确的跟踪。它探讨了空间和时间上下文之间的互补性，提出了一个新的途径，多上下文建模的transformer为基础的跟踪器。此外，ProContEXT修改了令牌修剪技术，以降低计算复杂性。在GOT-10 k和TrackingNet等流行的基准数据集上进行的大量实验表明，所提出的ProContEXT实现了最先进的性能。
2023-03-30 cs.AI cs.CV cs.MM
Using Cross-Domain Detection Loss to Infer Multi-Scale Information for Improved Tiny Head Tracking
Department of Electrical and Computer Engineering, University of Nebraska-Lincoln（内布拉斯加大学林肯分校电气与计算机工程系）；Department of Electrical and Computer Engineering, University of Maryland（马里兰大学电气与计算机工程系）；Department of Electrical and Computer Engineering, University of Arizona（亚利桑那大学电气与计算机工程系）
提出一种结合跨域检测损失、多尺度模块和小感受野机制的框架，在CroHD和CrowdHuman数据集上提升了微小头部检测与跟踪的MOTA和mAP，优化了性能与效率的平衡。
2025-05-14 cs.CV
Motion-Aware Transformer for Multi-Object Tracking
Department of Computer Science, Illinois Institute of Technology（计算机科学系，伊利诺伊理工学院）
本文提出运动感知Transformer，通过显式建模物体运动提升多目标跟踪性能，在多个数据集上取得显著改进。
2026-03-08 cs.CV
Long-Term Face Tracking for Crowded Video-Surveillance Scenarios
Herta（赫塔）
大多数当前的多目标跟踪器专注于短期跟踪，并且基于不实时操作的深度和复杂系统，这通常使它们对于视频监控不切实际。在本文中，我们提出了一个长期的多人脸跟踪架构，设想在拥挤的环境中工作，特别是在运动和遮挡方面不受约束，并且人脸通常是人的唯一可见部分。我们的系统受益于人脸检测和人脸识别领域的进步，以实现长期跟踪。它遵循一种通过检测进行跟踪的方法，将快速短期视觉跟踪器与基于人脸验证的新型在线tracklet重连接策略相结合。此外，还包括一个校正模块，用于校正过去的轨道分配，而无需额外的计算成本。我们提出了一系列的实验，介绍了新的，专门的指标，长期跟踪能力和视频数据集，我们公开发布的评估。研究结果表明，在这种情况下，我们的方法可以获得比最先进的深度学习跟踪器长50%的跟踪。
2020-10-17 cs.CV
Rt-Track: Robust Tricks for Multi-Pedestrian Tracking
Yunnan Normal University（云南师范大学）
目标跟踪分为单目标跟踪（SOT）和多目标跟踪（MOT）。MOT的目标是在一系列连续的视频序列中保持多个对象的身份。近年来，MOT取得了长足的进步。然而，在复杂场景中建立物体的运动和外观模型仍然面临着各种挑战性的问题。本文提出了一种新的平滑轨迹预测的方向一致性方法（STP-DC），以提高运动信息的建模能力，克服以往方法在复杂场景下鲁棒性不足的缺点。现有的方法使用行人重新识别（Re-ID）来建模外观，但他们提取更多的背景信息，缺乏可区分的遮挡和拥挤的场景。我们提出了一个超粒度特征嵌入网络（HG-FEN），以加强外观模型的建模，从而产生强大的外观描述符。我们还提出了其他鲁棒性技术，包括CF-ECM存储强大的外观信息和SK-AS提高关联精度。为了实现国家的最先进的性能在MOT，我们提出了一个强大的跟踪器名为RT跟踪，结合各种技巧和技术。在MOT 17的测试集上，Rt-track的MOTA、IDF 1和HOTA分别达到79.5、76.0和62.1。在MOT 20的测试集上，Rt-track的MOTA、IDF 1和HOTA分别达到77.9、78.4和63.3，超过了所有已发表的方法。
2023-03-16 cs.CV
End-to-end Recurrent Multi-Object Tracking and Trajectory Prediction with Relational Reasoning
Applied AI Lab, University of Oxford（牛津大学应用人工智能实验室）
大多数当代对象跟踪方法不对对象之间的交互进行建模。这与物体的路径不是独立的事实形成对比：骑自行车的人可能会突然偏离先前计划的轨迹，以避免与汽车相撞。HART，神经类无关的单对象跟踪器的基础上，我们介绍了一种多目标跟踪方法MOHART能够关系推理。重要的是，整个系统，包括对对象之间的交互和关系的理解，是类不可知的，并且以端到端的方式同时学习。我们探讨了一些关系推理架构，并表明，置换不变的模型优于非置换不变的替代品。我们还发现，使用像DeepSets这样的单一置换不变运算的架构，尽管在理论上是通用函数逼近器，但仍然被基于多头注意力的更复杂的架构所超越。后者更好地解释了在一个具有挑战性的玩具实验中复杂的物理相互作用。此外，我们发现，建模交互导致跟踪以及三个真实世界数据集（MOTChallenge，UA-DETRAC和Stanford Drone数据集）的未来轨迹预测的一致性能增益，特别是在存在自我运动，遮挡，拥挤场景和错误传感器输入的情况下。
2020-09-28 cs.AI cs.CV cs.LG
SparseTrack: Multi-Object Tracking by Performing Scene Decomposition based on Pseudo-Depth
Huazhong University of Science and Technology（华中科技大学）
提出SparseTrack多目标跟踪器，通过伪深度估计和深度级联匹配算法将密集目标集分解为稀疏子集进行关联，有效解决拥挤场景下的遮挡问题。
2023-11-20 cs.CV
Multiple Object Tracking with Correlation Learning
Alibaba Group（阿里巴巴集团）
最近的工作表明，卷积网络通过同时学习检测和外观特征，大大提高了多目标跟踪的性能。然而，由于卷积网络结构本身的局部感知，无法有效地获得空间和时间上的长程依赖性。为了结合空间布局，我们提出利用局部相关模块来建模目标与周围环境之间的拓扑关系，这可以增强我们的模型在拥挤场景中的区分能力。具体来说，我们建立了每个空间位置及其上下文的密集对应关系，并通过自监督学习明确约束相关体积。为了利用时间上下文，现有方法通常利用两个或更多个相邻帧来构建增强的特征表示，但动态运动场景本质上难以通过CNN来描绘。相反，我们的论文提出了一个可学习的相关算子，在不同层的卷积特征映射上建立帧到帧的匹配，以对齐和传播时间上下文。通过在MOT数据集上的大量实验结果，我们的方法证明了相关学习的有效性和优越的性能，并在MOT17上获得了76.5%的最新MOTA和73.6%的IDF1。
2021-04-08 cs.CV
A Bayesian Filter for Multi-view 3D Multi-object Tracking with Occlusion Handling
Curtin University（科廷大学）；RMIT University（皇家墨尔本理工大学）
本文提出了一种在线多摄像机多目标跟踪器，只需要单目检测器的培训，独立的多摄像机配置，允许无缝扩展/删除的相机，而无需重新训练的努力。所提出的算法在跨相机的检测总数中具有线性复杂度，因此随着相机的数量优雅地缩放。它在3D世界框架中运行，并提供对象的3D轨迹估计。关键的创新是一个高保真但易处理的3D遮挡模型，服从最佳贝叶斯多视图多对象过滤，无缝集成，到一个单一的贝叶斯递归，子任务的轨道管理，状态估计，杂波抑制，和遮挡/误检测处理。该算法在最新的WILDTRACKS数据集上进行了评估，并在一个新的数据集上证明了该算法在非常拥挤的场景中工作。
2020-10-27 cs.CV eess.IV eess.SP
LITE: A Paradigm Shift in Multi-Object Tracking with Efficient ReID Feature Integration
Inha University（仁荷大学）；HUMBLEBEE R&D（HUMBLEBEE研发机构）
LITE 范式通过将 ReID 特征提取直接集成到 CNN 检测器跟踪流程中，消除了 ReID 相关训练与推理开销，在保持精度的同时显著提升多目标跟踪速度，并验证了传统跟踪器在公平评估下仍具竞争力。
2024-10-01 cs.CV
Segment as Points for Efficient Online Multi-Object Tracking and Segmentation
University of Science and Technology of China（中国科学技术大学）；Baidu Inc.（百度公司）
当前的多目标跟踪和分割（MOTS）方法遵循检测跟踪范式，并采用卷积进行特征提取。然而，由于受固有感受野的影响，基于卷积的特征提取不可避免地会混淆前景特征和背景特征，导致后续实例关联中的歧义。在本文中，我们提出了一种高效的方法来学习基于段的实例嵌入，通过转换紧凑的图像表示无序的2D点云表示。我们的方法生成了一个新的点跟踪范例，其中判别实例嵌入是从随机选择的点而不是图像中学习的。此外，多个信息数据模态转换成逐点表示，以丰富逐点特征。由此产生的在线MOTS框架，名为PointTrack，超过了所有最先进的方法，包括3D跟踪方法的大幅度（MOTSA高出5.4%，比MOTSFusion快18倍），接近实时速度（22 FPS）。在三个数据集上的评估证明了我们方法的有效性和效率。此外，基于现有MOTS数据集缺乏拥挤场景的观察，我们构建了一个更具挑战性的MOTS数据集，名为APOLLO MOTS，具有更高的实例密度。APOLLO MOTS和我们的代码都可以在https://github.com/detectRecog/PointTrack上公开获得。
2020-07-03 cs.CV
LiDAR MOT-DETR: A LiDAR-based Two-Stage Transformer for 3D Multiple Object Tracking
University of Wuppertal（伍珀塔尔大学）；Aptiv Services Deutschland GmbH（安波福服务德国有限公司）；Osnabrück University（奥斯纳布吕克大学）
针对LiDAR点云多目标跟踪的挑战，提出一种基于DETR的两阶段Transformer（平滑器与跟踪器），在nuScenes和KITTI上以在线/离线模式训练，在线模式aMOTA达0.724，优于基线。
2025-09-24 cs.CV
A Graphical Social Topology Model for Multi-Object Tracking
当多个物体成群移动并相互遮挡时，跟踪多个物体是一项具有挑战性的任务。现有的方法研究了群体划分和群体能量最小化问题，但缺乏整体的对象群体拓扑建模，限制了它们处理复杂对象和群体动态的能力。受移动对象的社会亲和属性的启发，我们提出了一个图形社会拓扑（GST）模型，该模型通过使用拓扑表示联合建模组结构和对象的状态来估计组动态。通过这种拓扑表示，移动对象不仅被分配到群组，而且还动态地相互连接，从而使群组内的个体能够正确关联，并精确建模每个群组的凝聚力。使用精心设计的拓扑学习模块和拓扑训练，我们推断的出生/死亡和合并/分裂的动态组。与GST模型，所提出的多对象跟踪器可以自然地促进闭塞问题，通过治疗闭塞对象和其他组内成员作为一个整体，同时利用整体状态转换。在RGB和RGB-D数据集上的实验证实，所提出的多目标跟踪器改善了最先进的技术，特别是在拥挤的场景中。
2017-09-29 cs.CV
SAMURAI: Adapting Segment Anything Model for Zero-Shot Visual Tracking with Motion-Aware Memory
University of Washington（华盛顿大学）
针对SAM 2在视觉跟踪中处理复杂场景及固定窗口记忆导致误差传播的问题，提出SAMURAI，通过运动感知记忆选择机制结合时间运动线索优化跟踪，在零样本场景下取得显著性能提升且与全监督方法具竞争力。
2024-11-30 cs.CV
GateMOT: Q-Gated Attention for Dense Object Tracking
Huazhong University of Science and Technology, Wuhan, China（华中科技大学，武汉，中国）；Zhejiang University, Hangzhou, China（浙江大学，杭州，中国）；La Trobe University, Melbourne, Australia（拉筹伯大学，墨尔本，澳大利亚）
针对原生注意力二次复杂度高难以适配高分辨率密集目标跟踪的问题，提出以Q门控注意力为核心的在线跟踪框架GateMOT，实现线性复杂度多任务解码，在多个基准上取得SOTA性能。
2026-11-03 cs.CV
Rank-based verification for long-term face tracking in crowded scenes
Herta（赫塔公司）
当前大多数多对象跟踪器都专注于短期跟踪，并且基于深度和复杂的系统，这些系统通常无法实时操作，这使得它们对于视频监控来说不切实际。在本文中，我们提出了一个长期的，多人脸跟踪架构，设想在拥挤的环境中工作，脸往往是一个人的唯一可见的部分。我们的系统受益于人脸检测和人脸识别领域的进步，以实现长期跟踪，特别是不受运动和遮挡的人。它遵循一个跟踪检测的方法，结合了一个快速的短期视觉跟踪器与一个新的在线tracklet重连接策略基于排名的人脸验证。所提出的基于秩的约束有利于更高的类间距离之间的轨迹，并减少由于错误的重新连接的错误的传播。此外，还包括一个校正模块来校正过去的分配，而不需要额外的计算成本。我们提出了一系列实验，引入新的专门指标来评估长期跟踪能力，并公开发布了一个视频数据集，其中包含10个手动注释的视频，总长度为8' 54”。我们的研究结果验证了每个拟议模块的鲁棒性，并表明，在这些具有挑战性的背景下，我们的方法产生的跟踪时间比最先进的深度学习跟踪器长50%。
2021-07-28 cs.CV
JRDB-PanoTrack: An Open-world Panoptic Segmentation and Tracking Robotic Dataset in Crowded Human Environments
Monash University（莫纳什大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；University of Adelaide（阿德莱德大学）
本文提出JRDB-PanoTrack数据集，扩展JRDB以支持拥挤人类环境中的开放世界全景分割与跟踪，提供多模态2D/3D同步数据、高质量标注及OSPA评估指标，并验证了现有方法面临的显著挑战。
2024-04-02 cs.CV
Delving into Dynamic Scene Cue-Consistency for Robust 3D Multi-Object Tracking
Fabu
本文提出DSC-Track方法，通过动态场景提示一致性提升3D多目标跟踪的鲁棒性，实验表明其在nuScenes基准上达到SOTA性能。
2025-12-03 cs.CV
Easy-Poly: An Easy Polyhedral Framework For 3D Multi-Object Tracking
East China Normal University（东华师范大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
Easy-Poly提出了一种基于过滤的三维多目标跟踪框架，通过四个创新方法提升小目标检测和跟踪精度，实现实时高性能表现。
2026-02-13 cs.CV
Head Anchor Enhanced Detection and Association for Crowded Pedestrian Tracking
Macao Polytechnic University（澳门理工学院）；University of Coimbra（科英布拉大学）；Beihang University（北航大学）
针对拥挤场景下行人跟踪的遮挡难题，本文提出结合检测器双分支特征与头部关键点检测，并采用迭代卡尔曼滤波整合3D先验，以增强外观和运动建模，实现更稳健的多目标跟踪。
2025-08-07 cs.CV
Fast Self-Supervised depth and mask aware Association for Multi-Object Tracking
Concordia University（康科迪亚大学）
提出一种基于自监督编码器的TBD多目标跟踪方法，融合深度与掩码特征生成稳定目标表示，避免计算掩码IoU，在复杂场景基准上优于现有方法。
2025-10-10 cs.CV
Getting the Most from Eye-Tracking: User-Interaction Based Reading Region Estimation Dataset and Models
University of Minnesota - Twin Cities（明尼苏达大学双城分校）
本研究基于20万条眼动追踪真实数据，训练机器学习与深度学习模型，通过浏览器交互数据预测消息级阅读时长，双塔神经网络误差达27%，优于启发式基线，并提出相关技术开发建议。
2023-06-12 cs.HC cs.LG
The H3D Dataset for Full-Surround 3D Multi-Object Detection and Tracking in Crowded Urban Scenes
Honda Research Institute（本田研究所）
三维多目标检测与跟踪是交通场景理解的关键。然而，由于缺乏标准化的基准数据集来推进该领域，社区对这些领域的关注较少。此外，现有的数据集（例如，KITTI）没有提供足够的数据和标签来解决具有挑战性的场景，其中存在高度互动和闭塞的交通参与者。为了解决这些问题，我们提出了本田研究所3D数据集（H3D），一个大规模的全环绕3D多目标检测和跟踪数据集收集使用3D激光雷达扫描仪。H3D由160个拥挤且高度交互的交通场景组成，在27，721帧中共有100万个标记实例。H3D具有独特的数据集大小，丰富的注释和复杂的场景，可以促进全环绕3D多目标检测和跟踪的研究。为了有效和高效地注释大规模的3D点云数据集，我们提出了一种标记方法来加快整个注释周期。创建标准化基准以评估全环绕3D多目标检测和跟踪算法。3D目标检测和跟踪算法在H3D上进行了训练和测试。最后，误差的来源进行了讨论，为未来的算法的发展。
2019-03-04 cs.CV cs.RO
Automation of Pedestrian Tracking in a Crowded Situation
Ateneo De Manila University（马尼拉雅典耀大学）
微观行人研究需要大量的真实行人群体轨迹数据。这种数据汇集如果手动完成，则需要巨大的努力并且非常耗时。虽然许多研究都声称有可能使用摄像机自动完成这项任务，但我们发现只有少数研究在非常拥挤的情况下或从顶部视角观察场景时表现出良好的性能。本文研究了从一个角度场景中跟踪行人人群严重遮挡。我们的自动跟踪系统由两个模块组成，它们按顺序执行。第一模块检测作为斑点的移动对象。第二个模块是跟踪系统。我们采用概率分布从每个行人的检测和使用贝叶斯更新跟踪下一个位置。这种跟踪的结果是随时间和空间的行人轨迹的数据库。在一定的先验信息下，我们证明了该系统可以在遮挡和杂乱场景下跟踪大量的人。
2016-09-06 cs.AI cs.CV cs.CY
A Causal And-Or Graph Model for Visibility Fluent Reasoning in Tracking Interacting Objects
University of California, Los Angeles（加州大学洛杉矶分校）；Dept. Computer Science, San Diego State University（圣地亚哥州立大学计算机科学系）；Hikvision Research Institute, USA（海康威视研究院（美国））；Inst. Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
跟踪与其他对象或环境交互的人在视觉跟踪中仍然未解决，因为视频中感兴趣的人的可见性是未知的并且可能随时间而变化。特别是，对于最先进的人类跟踪器来说，在具有频繁人类交互的拥挤场景中恢复完整的人类轨迹仍然是困难的。在这项工作中，我们认为一个主体的可见性状态作为一个流畅的变量，其变化主要归因于主体与周围环境的相互作用，例如，引入因果与或图（CausalAnd-Or Graph，C-AOG）来表示对象的可见性流与其活动之间的因果关系，并建立概率图模型来联合推理可见性流的变化（例如，从可见到不可见）并在视频中跟踪人类。我们将这个联合任务表述为对可行因果图结构的迭代搜索，该结构能够实现快速搜索算法，例如，动态规划方法。我们将所提出的方法应用于具有挑战性的视频序列，以评估其能力，估计可见性，流畅的变化的主题和跟踪的兴趣随着时间的推移。比较结果表明，我们的方法优于替代跟踪器，并可以恢复完整的轨迹的人在复杂的场景与频繁的人类互动。
2018-03-29 cs.AI cs.CV
Tracking by Detection and Query: An Efficient End-to-End Framework for Multi-Object Tracking
organization= School of Automation , addressline= Southeast University , city= Nanjing , postcode= 210096 , country= China；organization= Key Laboratory of Measurement；organization= School of Physical \& Mathematical Sciences , addressline= Nanyang Technological University , postcode= 639798 , country= Singapore；organization= Big Data Institute , addressline= Central South University , city= Changsha , postcode= 410083 , country= China；organization= School of Instrument Science；Engineering , addressline= Southeast University , city= Nanjing , postcode= 210096 , country= China
本文提出TBDQ-Net框架，结合检测与查询方法，提升多目标跟踪的效率与精度，通过轻量级关联器和双流更新模块解决任务冲突和遮挡问题，在多个基准测试中表现出色。
2026-03-29 cs.CV
GSLAMOT: A Tracklet and Query Graph-based Simultaneous Locating, Mapping, and Multiple Object Tracking System
School of Information, Renmin University of China（中国人民大学信息学院）
针对陌生环境下同步定位建图与多目标3D位姿跟踪的需求，提出基于轨迹子图和查询图的GSLAMOT框架，结合多模态输入、多准则关联与图优化，在多数据集上实现优于现有方法的性能。
2024-08-17 cs.CV
3D-SiamRPN: An End-to-End Learning Method for Real-Time 3D Single Object Tracking Using Raw Point Cloud
Northeastern University（东北大学）
三维单目标跟踪是自主跟随机器人的一个关键问题，其中机器人应该鲁棒地跟踪目标并精确定位目标以实现高效跟随。在本文中，我们提出了一种三维跟踪方法称为3D-SiamRPN网络跟踪一个单一的目标对象，通过使用原始的三维点云数据。该网络由两个子网组成。第一个子网络为特征嵌入子网络，用于点云特征提取和融合。在这个子网络中，我们首先使用PointNet++从模板和搜索分支中提取点云的特征。然后，为了融合两个分支中的特征信息并获得它们的相似性，我们提出了两个互相关模块，分别命名为Pointcloud-wise和Point-wise。第二个子网络是区域建议网络（RPN），用于根据互相关模块的融合特征得到目标物体的最终三维限界框。在这个子网络中，我们利用区域建议子网络的回归和分类分支来获得建议和分数，从而得到目标对象的最终三维限界框。在KITTI数据集上的实验结果表明，该方法在成功率和精确度上都优于现有方法，并且能够以20.8 FPS的速度实时的【形】运行。此外，在H3 D数据集上的实验结果表明，我们的方法也具有良好的泛化能力，可以在新的场景中实现良好的跟踪性能，而无需重新训练。
2021-08-12 cs.CV
MapTrack: Tracking in the Map
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Beijing Jiaotong University（北京交通大学）
本文提出 MapTrack 跟踪框架，通过概率图、预测图和协方差自适应卡尔曼滤波三个轻量算法，在遮挡和拥挤场景下优先信任状态预测，显著提升 DeepSORT 的鲁棒性，并在 MOT17 和 MOT20 上达到最先进性能。
2024-02-20 cs.CV
CrowdTraj: A Benchmark for Dense Crowd Trajectory Prediction in Realistic Crowded Environments
提出CrowdTraj基准，用于真实密集人群场景下的行人轨迹预测，支持端到端评估，揭示现有方法在跟踪噪声和计算开销上的局限。
2026-09-09 cs.CV
Exploring Simple 3D Multi-Object Tracking for Autonomous Driving
QCraft（轻舟智航）；Johns Hopkins University（约翰斯·霍普金斯大学）
LiDAR点云中的3D多目标跟踪是自动驾驶汽车的关键组成部分。现有的方法主要基于检测跟踪流水线，并且不可避免地需要用于检测关联的启发式匹配步骤。在本文中，我们提出了SimTrack简化手工制作的跟踪范例，提出了一个端到端的可训练模型，用于从原始点云进行联合检测和跟踪。我们的关键设计是预测每个对象在给定片段中的首次出现位置以获得跟踪标识，然后基于运动估计更新位置。在推理中，通过简单的读取操作就可以完全免除启发式匹配步骤。SimTrack在一个统一的模型中集成了跟踪对象关联、新生目标检测和死轨迹消除。我们对两个大规模数据集进行了广泛的评估：nuScenes和Waymo Open Dataset。实验结果表明，我们的简单的方法相比毫不逊色，与国家的最先进的方法，同时排除了启发式匹配规则。
2021-08-23 cs.CV
Backbone is All Your Need: A Simplified Architecture for Visual Object Tracking
The University of Sydney（悉尼大学）；SenseTime（商汤科技）；Shanghai AI Laboratory（上海人工智能实验室）
利用一个通用的神经架构来取代手工布线的设计或电感偏置最近引起了广泛的兴趣。然而，现有的跟踪方法依赖于定制的子模块，并需要先验知识的架构选择，阻碍了更一般的系统中的跟踪开发。本文提出了一种简化的跟踪架构（SimTrack），利用Transformer骨干的联合特征提取和交互。与现有的Siamese跟踪器不同，我们将输入图像序列化，并将它们直接连接在单分支主干之前。主干中的功能交互有助于删除设计良好的交互模块，并生成更高效和有效的框架。为了减少视觉Transformer中下采样的信息损失，我们进一步提出了一种中央凹窗口策略，以可接受的计算成本提供更多样化的输入补丁。我们的SimTrack在LaSOT/TNL 2K上以2.5%/2.6%的AUC增益改善了基线，并获得了与其他专业跟踪算法竞争的结果。
2022-07-15 cs.CV
Automatic trajectory measurement of large numbers of crowded objects
自然系统的复杂运动模式，如鱼群、鸟群和细胞群，多年来一直吸引着科学家的极大关注。个体的轨迹测量对于定量和高通量地研究群体行为至关重要。然而，这样的数据是罕见的，主要是由于检测和跟踪大量具有相似视觉特征和频繁遮挡的对象的挑战。我们提出了一个自动和有效的框架来测量大量拥挤的椭圆形物体，如鱼和细胞的轨迹。我们首先使用一种新的双椭圆定位器来检测每个个体的粗略位置，然后提出一种方差最小活动轮廓方法来获得最佳的分割结果。对于跟踪，连续帧之间的分配的成本矩阵是可训练的通过随机森林分类器与许多空间，纹理和形状特征。通过求解两个线性分配问题，为整个图像序列找到最优轨迹。我们在许多具有挑战性的数据集上评估了所提出的方法。
2019-02-03 cs.CV
Multiple Object Tracking with Kernelized Correlation Filters in Urban Mixed Traffic
University of Electronic Science and Technology of China（电子科技大学）；Polytechnique Montréal（蒙特利尔理工学院）
最近，核相关滤波器跟踪器（KCF）在视觉对象跟踪方面取得了有竞争力的性能和鲁棒性。另一方面，视觉跟踪器通常不用于多对象跟踪。在本文中，我们研究了如何一个强大的视觉跟踪器，如KCF可以提高多目标跟踪。由于KCF是一个快速跟踪器，许多可以并行使用，仍然导致快速跟踪。我们建立了一个基于KCF和背景差分的多目标跟踪系统。背景减除被应用于提取运动对象，并结合KCF输出获得它们的尺度和大小，而KCF用于数据关联以及处理碎片和遮挡问题。因此，KCF和背景减法相互帮助，以采取跟踪决策在每一帧。有时KCF输出是最值得信赖的（例如在遮挡期间），而在某些其他情况下，它是背景减除输出。为了验证我们的系统的有效性，该算法被证明在四个城市的视频记录从一个标准的数据集。结果表明，我们的方法是有竞争力的国家的最先进的跟踪器，即使我们使用一个更简单的数据关联步骤。
2017-03-27 cs.CV
