An End-to-End Framework of Road User Detection, Tracking, and Prediction from Monocular Images
University of Twente（特文特大学）；Leibniz University Hannover（汉诺威莱布尼茨大学）；VISCODA GmbH（VISCODA有限公司）
本文提出端到端框架ODTP，结合在线跟踪模型QD-3DT与轨迹预测器DCENet++，直接基于检测结果训练，在nuScenes数据集上实现高性能且鲁棒的轨迹预测。
2023-08-09 cs.CV
A Simple Video Segmenter by Tracking Objects Along Axial Trajectories
Johns Hopkins University（约翰斯·霍普金斯大学）；ByteDance（字节跳动）；Korea Advanced Institute of Science and Technology（韩国科学技术院）
针对高分辨率视频分割中自注意力显存开销大的问题，提出Axial-VS，用轴向轨迹注意力实现clip内分割与跨clip跟踪，并取得最先进性能。
2024-06-12 cs.CV
Lightweight and Scalable Particle Tracking and Motion Clustering of 3D Cell Trajectories
The University of Georgia（佐治亚大学）；University of Vermont（佛蒙特大学）
在3D显微镜视频中跟踪细胞颗粒是一项具有挑战性的任务，但对于细胞运动建模具有重要意义。正确表征细胞的形状，进化及其随时间的运动对于理解和模拟许多疾病中细胞迁移的机械生物学至关重要。特别是弓形虫病是由寄生虫弓形虫引起的疾病。粗略地说，世界上三分之一的人口对T。刚地。它的毒力与其裂解周期有关，这取决于其进入和退出有核细胞的运动性和能力;因此，阐明其运动模式的研究对最终开发治疗策略至关重要。在这里，我们提出了一个计算框架，快速和可扩展的检测，跟踪和识别T。弓形虫运动表型在3D视频，在一个完全无人监督的方式。我们的管道由几个不同的模块组成，包括预处理，稀疏化，细胞检测，细胞跟踪，轨迹提取，轨迹参数化;最后，聚类步骤。此外，我们确定了计算瓶颈，并通过任务分配和并行性的结合开发了一个轻量级和高度可扩展的管道。我们的结果证明了我们的方法的准确性和性能。
2021-01-12 cs.CV cs.DC
Global Tracking Transformers
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Apple（苹果公司）
我们提出了一种新的基于变换器的全局多目标跟踪架构。我们的网络将一个短的帧序列作为输入，并为所有对象生成全局轨迹。核心组件是一个全局跟踪Transformer，它对序列中所有帧中的对象进行操作。Transformer对来自所有帧的对象特征进行编码，并使用轨迹查询将它们分组为轨迹。轨迹查询是来自单个帧的对象特征，并且自然地产生独特的轨迹。我们的全局跟踪Transformer不需要中间成对分组或组合关联，并且可以与对象检测器联合训练。它在流行的MOT17基准上实现了具有竞争力的性能，MOTA为75.3，HOTA为59.1。更重要的是，我们的框架无缝集成到最先进的大词汇量检测器中，以跟踪任何对象。在具有挑战性的TAO数据集上的实验表明，我们的框架在基于成对关联的基线上不断改进，通过显着的7.7跟踪mAP优于已发表的作品。代码可在https://github.com/xingyizhou/GTR上获得。
2022-04-25 cs.CV
Tracking-by-Counting: Using Network Flows on Crowd Density Maps for Tracking Multiple Targets
多目标跟踪（MOT）方法遵循检测跟踪范式，其中通过关联目标检测器的每帧输出来获得目标轨迹。然而，在拥挤的场景中，由于严重的遮挡和高人群密度，检测器往往无法获得准确的检测。在本文中，我们提出了一个新的MOT范式，跟踪计数，适合拥挤的场景。使用人群密度图，我们联合模型的检测，计数和跟踪的多个目标作为一个网络流程序，同时发现全局最优的检测和轨迹的多个目标在整个视频。这是在以前的MOT方法，要么忽略人群密度，从而容易在拥挤的场景中的错误，或依赖于一个次优的两步过程中使用启发式密度感知点跟踪匹配targets.We的方法产生有希望的结果，公共基准的各个领域，包括人跟踪，细胞跟踪，鱼跟踪。
2020-07-18 cs.CV
An On-line Variational Bayesian Model for Multi-Person Tracking from Cluttered Scenes
INRIA Grenoble Rhône-Alpes（法国国家信息与自动化研究所格勒诺布尔-罗纳-阿尔卑斯研究中心）；University of Trento（特伦托大学）
目标跟踪是一个普遍存在的问题，出现在许多应用中，如遥感，音频处理，计算机视觉，人机界面，人机交互等，虽然在计算机视觉彻底调查，跟踪随时间变化的人数仍然是一个具有挑战性的开放问题。在本文中，我们提出了一个在线变分贝叶斯模型的多人跟踪从杂乱的视觉观察提供的人检测器。本文的贡献如下。首先，我们提出了一个变分贝叶斯框架跟踪未知和变化的人数。其次，我们的模型产生了变分期望最大化（VEM）算法，该算法具有潜变量后验分布和模型参数估计的封闭形式表达式。第三，所提出的模型利用来自多个检测器的观测，因此它本质上是多模态的。最后，我们建议嵌入对象的出生和对象的可见性过程，努力鲁棒地处理人的出现和消失随着时间的推移。在经典的多人跟踪数据集上进行评估，我们的方法显示出与最先进的多目标跟踪模型（例如概率假设密度（PHD）滤波器等）相比具有竞争力的结果。
2016-06-30 cs.CV stat.ML
Simple Two-Dimensional Object Tracking based on a Graph Algorithm
Technische Universität München（慕尼黑工业大学）
细胞和其他微米级物体的视觉观察和跟踪具有许多不同的生物医学应用。基于计算机方法的这些任务的自动化有助于评估这种测量。在这项工作中，我们提出了一个通用的算法，擅长评估确定性行为的微米大小的对象。我们的具体应用是跟踪快速移动的物体在很大的距离沿确定性的轨迹在显微镜视频。因此，我们能够确定对象的特征属性。为此，我们使用了一套基本的算法，包括斑点识别，基于特征的形状识别和图形算法，并结合它们在一个新的方式。算法性能的评价显示了高精度的识别对象以及完整的轨迹。此外，与类似算法的直接比较显示出更高的识别率。
2014-12-03 cs.CV
SQE: a Self Quality Evaluation Metric for Parameters Optimization in Multi-Object Tracking
Tsinghua University（清华大学）；Megvii Inc.（旷视科技）
我们提出了一种新的自我质量评价度量SQE参数优化的挑战性，但关键的多目标跟踪任务。目前的评估指标都需要注释的基础事实，因此在测试环境和现实环境中会失败，无法在训练后进行进一步优化。相比之下，我们的度量反映了轨迹假设的内部特征，并在没有地面实况的情况下测量跟踪性能。我们证明了具有不同质量的轨迹在特征距离分布上表现出不同的单峰或多峰，启发我们设计一种简单而有效的方法来评估使用两类高斯混合模型的轨迹质量。主要在MOT16 Challenge数据集上的实验验证了该方法在与现有指标相关以及使参数自优化以实现更好性能方面的有效性。我们相信，我们的结论和方法是启发未来的多目标跟踪在实践中。
2020-04-16 cs.CV
Tracking Road Users using Constraint Programming
Polytechnique Montreal（蒙特利尔综合理工学院）
在本文中，我们的目的是提高在城市场景中的道路使用者的跟踪。我们提出了一个约束规划（CP）的方法中发现的多目标跟踪（MOT）问题的检测范式跟踪的数据关联阶段。这种方法可以比基于图的方法更有效地解决数据关联问题，并且可以更好地处理分析多个帧时发生的组合爆炸。由于我们的重点是数据关联问题，我们的MOT方法只使用简单的图像特征，即每帧检测的中心位置和颜色。约束定义在这两个功能和一般的MOT问题。例如，我们在轨迹上强制颜色外观保留，并限制帧之间的运动范围。过滤层的使用，以消除检测候选人使用CP之前，并删除由CP求解器产生的虚拟轨迹。我们提出的方法在机动车辆跟踪数据集上进行了测试，结果优于UA-DETRAC基准的顶级方法。
2020-03-10 cs.CV
Beyond MOT: Semantic Multi-Object Tracking
Institute of Software Chinese Academy of Sciences（中国科学院软件研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Hangzhou Institute for Advanced Study, University of Chinese Academy of Sciences（中国科学院大学杭州高等研究院）；University of North Texas（北得克萨斯大学）
该研究提出语义多目标跟踪（SMOT）任务，旨在同时预测目标轨迹并理解语义细节，并构建了首个大规模基准BenSMOT及专用跟踪器SMOTer，推动视频理解新方向。
2024-07-29 cs.CV
Joint Learning Architecture for Multiple Object Tracking and Trajectory Forecasting
University of Warwick（华威大学）
本文介绍了一种用于多目标跟踪和轨迹预测的联合学习结构（JLA），其目标是同时预测目标的当前和未来轨迹。运动预测被广泛地用在若干现有技术的MOT方法中，以改进边界框形式的预测。通常，卡尔曼滤波器提供短期估计以帮助跟踪器正确地预测对象在当前帧中的位置。然而，基于卡尔曼滤波器的方法不能预测非线性轨迹。我们建议联合训练跟踪和轨迹预测模型，并使用预测的轨迹预测短期运动估计代替线性运动预测方法，如卡尔曼滤波器。我们在MOTChallenge基准上评估我们的JLA。评估结果表明，JLA在短期运动预测方面表现更好，与FairMOT相比，在MOT16，MOT17和MOT20数据集中分别减少了33%，31%和47%的ID切换。
2021-08-24 cs.CV
CC-3DT: Panoramic 3D Object Tracking via Cross-Camera Fusion
ETH Zürich（苏黎世联邦理工学院）；National Tsing Hua University（台湾清华大学）
为了在任何给定时间跟踪其他交通参与者的3D位置和轨迹，现代自动驾驶汽车配备了多个摄像头，覆盖车辆的整个环境。然而，基于相机的3D对象跟踪方法优先优化单相机设置，并在多相机设置中采用事后融合。在本文中，我们提出了一种全景3D对象跟踪的方法，称为CC-3DT，关联和建模对象轨迹的时间和跨视图，并提高了整体跟踪的一致性。特别是，我们的方法在关联之前融合了来自多个相机的3D检测，显著减少了身份切换并改进了运动建模。我们在大规模驾驶数据集上的实验表明，在关联之前进行融合比事后融合有很大的改进余地。在竞争性NuScenes 3D跟踪基准测试中，所有基于相机的方法的平均多目标跟踪精度（AMOTA）提高了12.6%，比之前发布的方法在AMOTA中使用相同的3D检测器的性能高出6.5%。
2022-12-02 cs.CV
Long-term Correlation Tracking using Multi-layer Hybrid Features in Sparse and Dense Environments
Heriot Watt University（赫瑞-瓦特大学）；Sheffield Hallam University（谢菲尔德哈勒姆大学）
在稀疏和拥挤的环境中跟踪感兴趣的目标是一个具有挑战性的问题，尚未成功地解决在文献中。在本文中，我们提出了一种新的长期视觉跟踪算法，学习判别相关滤波器和使用在线分类器，跟踪目标的兴趣在稀疏和拥挤的视频序列。首先，我们使用卷积神经网络（CNN）和传统手工特征的多层混合来学习翻译相关滤波器。我们结合了较低的卷积层（保留更多空间细节以进行精确定位）和较高的卷积层（编码语义信息以处理外观变化）的优势，然后将这些与定向梯度直方图（HOG）和颜色命名传统特征相结合。其次，我们包括一个重新检测模块，用于克服由于长期遮挡而导致的跟踪失败，方法是使用手工设计的功能在最有信心的帧上训练增量（在线）SVM。仅当对象的相关响应低于某个预定义阈值时，才激活该重新检测模块。这生成高分检测建议，使用高斯混合概率假设密度（GM-PHD）滤波器对高分检测建议进行时间滤波，以通过去除作为杂波的其他检测建议来找到具有最大权重的检测建议作为目标状态估计。最后，我们学习了一个尺度相关滤波器，用于通过使用HOG特征在估计或重新检测的位置周围构建目标金字塔来估计目标的尺度。我们在稀疏和密集数据集上进行了广泛的实验，结果表明我们的方法显着优于最先进的方法。
2019-02-03 cs.CV
Efficient Multiple Object Tracking Using Mutually Repulsive Active Membranes
Princeton University（普林斯顿大学）
在相互作用的生物体中的社会和群体行为的研究需要大量的个体主体的运动的高通量分析。计算机视觉技术为特定的跟踪问题提供了解决方案，并允许以最少的人为干预进行自动化和有效的跟踪。在这项工作中，我们采用了开放的活动轮廓模型来跟踪运动物体的轨迹在高密度。我们增加了排斥开放的轮廓之间的相互作用，原始模型，治疗的轨迹作为一个挤出的时间维度，并显示应用程序的两个跟踪问题。研究了果蝇在不同种群密度和性别组成下的行走行为。我们表明，个别男性苍蝇有不同的行走签名，苍蝇在混合性别舞台上的社会互动是性别特异性的。我们还将我们的模型应用于研究高密度下的滑行粘球菌的轨迹。我们研究的滑翔速度分布方面的个人滑翔行为的统计。使用这两个例子在非常独特的空间尺度，我们说明了使用我们的算法跟踪短刚体（果蝇）和长的灵活的对象（粘球菌）。我们的排斥性活性膜模型达到的错误率优于$5\times 10^{-6}$每飞每秒果蝇跟踪和可比的结果，黄色粘球菌。
2012-12-26 cs.CV physics.bio-ph q-bio.QM
Multi-Scene Generalized Trajectory Global Graph Solver with Composite Nodes for Multiple Object Tracking
Xidian University（西安电子科技大学）；Chongqing University of Posts and Telecommunications（重庆邮电大学）
针对现有多目标跟踪方法长视频匹配非最优、缺错配修正的问题，提出带复合节点的CoNo-Link框架，以低开销建图实现长时关联，性能超越现有最优水平。
2023-12-14 cs.CV
SPOT!: Map-Guided LLM Agent for Unsupervised Multi-CCTV Dynamic Object Tracking
Kwangwoon University（光云大学）
SPOT通过映射引导LLM代理在多CCTV环境中实现无先验训练的动态目标跟踪，有效解决盲区导致的轨迹丢失问题。
2026-01-14 cs.CV
TopTrack: Tracking Objects By Their Top
Polytechnique Montréal（蒙特利尔理工学院）
针对拥挤场景中中心点不可见导致漏检的问题，TopTrack提出以物体顶部作为检测关键点的联合检测与跟踪方法，并在分离流中处理连续帧，从而减少漏检、提升轨迹完整性，在两个MOT基准上取得有竞争力的结果。
2023-04-12 cs.CV
Pixel personality for dense object tracking in a 2D honeybee hive
Okinawa Institute of Science and Technology（冲绳科学技术大学院大学）；VU University Amsterdam（阿姆斯特丹自由大学）
由于遮挡和可能的轨迹组合的复杂性以及相关标记数据集的稀疏性，跟踪大量密集排列的交互对象具有挑战性。在这里，我们描述了一种新的技术，集体跟踪的模型环境中的2D蜂巢，其中样本菌落由$N\sim10^3$高度相似的个人，紧密包装，并在快速，不规则的运动。这样的系统为多目标跟踪提供了普遍的挑战，同时可以方便地进行图像记录。我们首先应用一个准确的，基于分割的目标检测方法，建立初始的短轨迹段匹配对象配置的基础上类，位置和方向。然后，我们通过创建一个对象识别模型，将这些轨迹加入到完整的单个对象轨迹中，该模型经过自适应训练，可以通过多帧中蜜蜂的视觉外观识别蜜蜂个体，我们将此属性表示为像素个性。总的来说，我们重建约46%的轨迹在5分钟的记录，从两个不同的蜂箱和超过71%的轨道至少2分钟。我们提供了验证的轨迹跨越3000视频帧的876无标记移动蜜蜂在两个不同的殖民地在不同的位置和拍摄不同的像素分辨率，我们希望这将有助于进一步开发通用跟踪解决方案。
2018-12-31 cs.CV q-bio.QM stat.ML
RSPT: Reconstruct Surroundings and Predict Trajectories for Generalizable Active Object Tracking
Peking University（北京大学）；Beijing Institute for General Artificial Intelligence (BIGAI)（北京通用人工智能研究院）；Shandong University（山东大学）；Zhengzhou University（郑州大学）
提出RSPT框架，通过重建周围环境并预测目标轨迹形成结构感知运动表示，结合非对称决斗机制训练策略网络，有效提升了主动目标跟踪在非结构化未见环境中的泛化能力并实现真实世界迁移。
2023-04-07 cs.AI cs.CV cs.RO
ModTrack: Sensor-Agnostic Multi-View Tracking via Identity-Informed PHD Filtering with Covariance Propagation
Brown University（布朗大学）
ModTrack通过身份感知的PHD滤波与协方差传播实现多视角多目标跟踪，提供跨模态、传感器无关的泛化能力及可追溯的不确定性。系统将学习限制在检测和特征提取阶段，利用闭式分析方法进行融合、关联和跟踪，实现95.5 IDF1和91.4 MOTA的优异性能。
2026-08-25 cs.CV
Trajectory PHD and CPHD filters
University of Liverpool（利物浦大学）；Chalmers University of Technology（查尔姆斯理工大学）
提出了一种轨迹集的概率假设密度滤波器（PHD）和基数密度滤波器（CPHD），分别称为轨迹PHD（TPHD）和轨迹CPHD（TCPHD）滤波器。与PHD/CPHD滤波器相反，TPHD/TCPHD滤波器能够根据第一原理产生轨迹估计。TPHD滤波器是通过递归获得最佳泊松多轨迹密度近似的后验密度在活的轨迹，通过最小化的Kullback-Leibler分歧。TCPHD是以同样的方式得出的，但传播一个独立同分布（IID）集群多轨迹密度近似。我们还提出了高斯混合实现的TPHD和TCPHD递归，高斯混合TPHD（GMTPHD）和高斯混合TCPHD（GMTCPHD），和L-扫描计算效率的实现，它只更新最后L个时间步的轨迹状态的密度。
2019-10-25 cs.CV stat.CO
Trajectory probability hypothesis density filter
University of Liverpool（利物浦大学）；Chalmers University of Technology（查尔姆斯理工大学）
本文提出了一种用于轨迹集的概率假设密度（PHD）滤波器：轨迹概率密度（TPHD）滤波器。TPHD滤波器能够以原则性的方式估计轨迹，而不需要评估所有测量到目标关联假设。TPHD滤波器基于递归地获得多轨迹滤波密度的最佳泊松近似，在最小化库尔贝克-莱布勒散度的意义上。我们还提出了一个高斯混合实现的TPHD递归。最后，我们包括仿真结果，以显示所提出的算法的性能。
2018-09-13 cs.CV stat.AP
Multiple target tracking based on sets of trajectories
University of Liverpool（利物浦大学）；Universidad Antonio de Nebrija（安东尼奥·德·内布里哈大学）；Chalmers University of Technology（查尔姆斯理工大学）；National Australia Bank（澳大利亚国民银行）
提出了一种基于轨迹集和随机有限集框架的多目标跟踪（MTT）问题的解决方案。MTT的一个完整的贝叶斯方法应该考虑给定测量的轨迹的分布，因为它包含了关于轨迹的所有信息。我们通过考虑多目标密度函数来实现这一点，其中目标是轨迹。对于标准的跟踪模型，我们还描述了一个共轭家庭的多轨迹密度函数。
2020-06-11 cs.CV cs.SY eess.SY
Utilising Visual Attention Cues for Vehicle Detection and Tracking
Insight SFI Research Centre for Data Analytics（Insight SFI 数据分析研究中心）；Dublin City University（都柏林城市大学）
高级驾驶辅助系统（ADAS）一直受到许多研究人员的关注。基于视觉的传感器是模拟人类驾驶员在驾驶时视觉行为的最接近的方法。在本文中，我们探讨了可能的方式来使用视觉注意（显着性）的目标检测和跟踪。我们调查：1）诸如\emph{subjectness}注意力或显著性图和\emph{objectness}注意力图的视觉注意力图如何能够促进2阶段对象检测器中的区域提议生成; 2）视觉注意力图如何能够用于跟踪多个对象。我们提出了一个神经网络，可以同时检测对象，并生成对象和主体的地图，以节省计算能力。我们进一步利用视觉注意力图跟踪过程中使用顺序蒙特卡罗概率假设密度（PHD）过滤器。实验在KITTI和DETRAC数据集上进行。视觉注意和层次特征的使用在目标检测中显示出$\approx$ 8%的相当大的改进，从而有效地将跟踪性能提高了$\approx$ 4%。
2020-07-31 cs.CV
A metric on the space of finite sets of trajectories for evaluation of multi-target tracking algorithms
Zenuity AB（Zenuity AB公司）
本文提出了一种用于以数学严谨方式评估多目标跟踪算法的有限轨迹集合空间上的度量。该度量用于比较不同算法对轨迹的估计与真实轨迹，并包含与定位误差、漏检和误检以及轨迹切换相关的直观成本。度量计算基于解决多维分配问题，还提出了该度量的下界，该下界也是轨迹集合的度量，并可通过线性规划在多项式时间内计算。此外，还扩展了该度量到随机有限轨迹集合。
2020-09-14 cs.CV cs.SY eess.SY
DELTAv2: Accelerating Dense 3D Tracking
UMass Amherst（马萨诸塞大学阿默斯特分校）；Snap Inc.（Snap公司）；University of Toronto（多伦多大学）；TU Crete（希腊技术大学）；KAUST（王国科学院）
DELTAv2通过粗到细策略和优化相关特征计算，实现密集三维跟踪的加速，提升效率的同时保持高精度。
2025-12-10 cs.CV
Neural Network-Based Tracking and 3D Reconstruction of Baseball Pitch Trajectories from Single-View 2D Video
National Taiwan Univeristy（台湾大学）
提出一种基于神经网络的方法，利用OpenCV CSRT跟踪2D视频中的棒球轨迹，并通过多层全连接网络将2D坐标映射为3D坐标，实验证明该方法在3D轨迹重建上具有高精度，可用于体育分析与教练辅助。
2024-05-25 cs.CV cs.GR cs.MM
Graph Convolutional Network for Multi-Target Multi-Camera Vehicle Tracking
Universidad Autónoma de Madrid（马德里自治大学）
本文主要研究多目标多摄像机车辆跟踪问题。我们建议通过训练一个图卷积网络将单摄像机轨迹关联到多摄像机全局轨迹。我们的方法同时处理所有相机提供了一个全球性的解决方案，它也是强大的大型相机不同步。此外，我们设计了一个新的损失函数来处理类不平衡。我们的建议优于相关的工作，表现出更好的泛化，不需要特别的手动注释或阈值，不像比较的方法。
2022-11-28 cs.CV
Video-based Surgical Skills Assessment using Long term Tool Tracking
Johnson & Johnson（强生公司）；Johnson & Johnson Medical GmbH（强生医疗有限公司）
掌握手术所需的技术技能是一项极具挑战性的任务。基于视频的评估允许外科医生接收关于其技术技能的反馈，以促进学习和发展。目前，这种反馈主要来自手动视频审查，这是时间密集型的，并限制了跟踪外科医生在许多情况下的进展的可行性。在这项工作中，我们介绍了一种基于运动的方法来自动评估手术技能的手术案例视频饲料。所提出的流水线首先可靠地跟踪手术工具以创建运动轨迹，然后使用这些轨迹来预测外科医生的技术技能水平。跟踪算法采用了一个简单而有效的重新识别模块，与其他最先进的方法相比，改进了ID切换。当仪器定期在屏幕上和屏幕外移动或定期被遮挡时，这对于创建可靠的工具轨迹至关重要。基于运动的分类模型采用了最先进的自我注意力Transformer网络来捕获技能评估所必需的短期和长期运动模式。在体内（Cholec80）数据集上评估所提出的方法，其中使用Calot三角解剖的专家级GOALS技能评估作为定量技能测量。我们比较基于变压器的技能评估与传统的机器学习方法，使用建议和国家的最先进的跟踪。我们的研究结果表明，使用可靠的跟踪方法的运动轨迹是有益的评估外科医生的技能，仅基于视频流。
2022-07-05 cs.CV
RISEE: A Highly Interactive Naturalistic Driving Trajectories Dataset with Human Subjective Risk Perception and Eye-tracking Information
School of Automotive Studies, Tongji University（同济大学汽车学院）
本文提出RISEE数据集，整合人类主观风险评估和眼动数据，通过无人机与模拟相结合的方法，提升自动驾驶决策系统的人机交互研究质量。
2025-07-29 cs.CV cs.HC
Globally Consistent Multi-People Tracking using Motion Patterns
EPFL（洛桑联邦理工学院）；UIUC（伊利诺伊大学厄巴纳-香槟分校）
许多最先进的人跟踪方法依赖于在每个帧中独立地检测他们，将检测分组为短但可靠的轨迹段，然后进一步将它们分组为完整的轨迹。这种分组通常依赖于施加局部平滑约束，但几乎从不对轨迹施加更全局的约束。在本文中，我们提出了一种方法，通过首先从地面真相推断行为模式，然后使用它们来指导跟踪算法，从而实现全局一致性。当与几种最先进的算法结合使用时，这进一步提高了它们已经很好的性能。此外，我们提出了一个无监督的计划，产生几乎类似的改进，而不需要地面真相。
2016-12-02 cs.CV
Segmentation based tracking of cells in 2D+time microscopy images of macrophages
Slovak University of Technology in Bratislava（布拉迪斯拉发斯洛伐克理工大学）；CNRS（法国国家科学研究中心）；Univ. Montpellier（蒙彼利埃大学）
由于巨噬细胞动态变化的形状和运动，在巨噬细胞迁移期间对其进行自动分割和跟踪是一项具有挑战性的任务。本文提出了一种新的算法，以实现自动跟踪细胞的延时显微镜巨噬细胞数据。首先，我们设计了一个分割方法，采用空时滤波，局部大津阈值，SUBSURF（主观表面分割）方法。接着，在分割图像中提取在时间方向上重叠的细胞的部分轨迹。最后，通过考虑它们的运动方向来连接所提取的轨迹。分割图像和所获得的轨迹从所提出的方法进行了比较的半自动分割和手动跟踪。在具有挑战性的情况下，所提出的跟踪实现了巨噬细胞数据的97.4%的准确性，弱荧光强度，不规则形状和巨噬细胞的运动。我们期望自动提取的巨噬细胞的轨迹可以提供巨噬细胞如何根据其极化模式在情况下（例如在伤口愈合期间）迁移的证据。
2023-01-02 cs.CV eess.IV q-bio.CB
Detecting and Tracking Small Moving Objects in Wide Area Motion Imagery (WAMI) Using Convolutional Neural Networks (CNNs)
University of Liverpool（利物浦大学）
针对广域运动图像中运动目标较小且相互分离的特点，提出了一种运动目标检测方法。由于$100-$像素车辆难以与包括背景的对象区分开，因此仅使用前景外观来识别对象是困难的。我们的方法是基于背景减法作为一种有效的和无监督的方法，能够输出的对象的形状。为了可靠地检测低对比度和小对象，我们配置背景减法来提取可能是感兴趣对象的前景区域。虽然这大大增加了假警报的数量，但考虑空间和时间信息的卷积神经网络（CNN）随后被训练以拒绝假警报。在交通繁忙的区域，背景减除产生合并的检测。为了降低多目标跟踪器的复杂度，我们训练另一个CNN来预测多个运动目标在一个区域内的位置。我们的方法表现出竞争力的检测性能较小的对象相对于国家的最先进的。我们采用了GM-PHD过滤器随着时间的推移相关联的检测和分析所产生的性能。
2019-11-08 cs.CV
Two is a crowd: tracking relations in videos
University of Amsterdam（阿姆斯特丹大学）
单独跟踪多个对象不同于跟踪相关对象的组。当一个对象是组的一部分时，它的轨迹取决于其他组成员的轨迹。大多数当前最先进的跟踪器遵循独立跟踪每个对象的方法，并在必要时处理重叠轨迹的机制。这种方法没有考虑对象间关系，这可能导致对组的成员的不可靠跟踪，特别是在拥挤的场景中，其中个体线索由于遮挡而变得不可靠。为了克服这些限制，并扩展这样的跟踪器拥挤的场景，我们提出了一个插件的关系编码模块（REM）。REM通过在相应的时空图上运行消息来编码被跟踪对象之间的关系，计算被跟踪对象的关系嵌入。我们在MOT17和MOT20上的实验表明，基线跟踪器在使用REM进行简单扩展后改善了其结果。建议的模块允许跟踪严重甚至完全闭塞的对象，利用关系线索。
2021-08-11 cs.CV
A Multi-cut Formulation for Joint Segmentation and Tracking of Multiple Objects
University of Freiburg（弗莱堡大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
最近，最小成本多分割公式已被提出，并被证明是成功的运动轨迹分割和多目标跟踪的情况下。这两个任务都受益于将图形模型分解为基于吸引和排斥成对项的最佳数量的连接组件。这两个任务在不同的粒度级别上制定，因此，主要利用局部信息进行运动分割，主要利用高级信息进行多目标跟踪。在本文中，我们认为，点轨迹和它们的局部关系可以有助于多目标跟踪的高层次任务，也认为，高层次的线索，从目标检测和跟踪有助于解决运动分割。我们提出了一个联合图形模型的点轨迹和目标检测的多割运动分割{ \it和}多目标跟踪问题的解决方案在一次。FBMS 59运动分割基准以及2D MOT 2015基准的行人跟踪序列的结果证明了这种联合方法的前景。
2016-07-21 cs.CV
DiffEye: Diffusion-Based Continuous Eye-Tracking Data Generation Conditioned on Natural Images
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
DiffEye提出基于扩散模型的框架，利用原始眼动轨迹生成连续多样眼动数据，首次在自然图像上实现连续轨迹生成，并在扫描路径生成上达到最优性能。
2025-10-09 cs.CV
Uncertainty-Aware Trajectory Forecasting from Imperfect Tracking
SATIE – CNRS UMR 8029, Université Paris-Saclay（巴黎萨克雷大学SATIE实验室（法国国家科学研究中心联合研究单位））；ENS Paris-Saclay, Université Paris-Saclay（巴黎萨克雷高等师范学校，巴黎萨克雷大学）
针对实际跟踪轨迹的不完美问题，本文提出不确定性感知轨迹预测方法，结合检测与关联不确定性建模，通过扰动与知识蒸馏训练，提升了预测精度与概率预测的可靠性-清晰度权衡。
2026-09-01 cs.CV
Towards a tracking algorithm based on the clustering of spatio-temporal clouds of points
Istituto Sistemi Complessi, Consiglio Nazionale delle Ricerche（意大利国家研究委员会复杂系统研究所）
在机器人、生物学和流体动力学等领域，对3D动态跟踪的兴趣正在增长。最近，3D跟踪的一个主要进展来源是对生物系统中集体行为的研究，其中需要重建在大而密集的群体中移动的个体动物的轨迹以理解行为交互规则。在这一领域的实验数据通常是嘈杂的，在低空间分辨率，使个人出现小的无特征的对象和轨迹必须检索仅利用核线信息。此外，光学遮挡经常发生：在多相机系统中，一个或多个对象在一个视图中变得无法区分，这可能会危及长时间轨迹上的身份保护。最先进的3D跟踪算法克服光学遮挡利用集覆盖技术，但必须解决NP-难优化问题。此外，当前的方法不能处理由3D空间中的对象的实际物理接近引起的遮挡。在这里，我们提出了一种旨在直接在3D空间和时间中工作的新方法，创建（3D+1）点云，代表移动目标的完整时空演变。然后，我们可以使用一个简单的连接组件标记例程，这是线性的时间，以解决光学闭塞，从而降低从NP到P的问题的复杂性。最后，我们使用归一化割谱聚类来处理3D物理邻近。
2015-11-04 cs.CV
Traffic-Aware Multi-Camera Tracking of Vehicles Based on ReID and Camera Link Model
University of Washington（华盛顿大学）
多目标多摄像机跟踪（MTMCT），即，跨多个摄像头跟踪多个目标是智慧城市应用的关键技术。在本文中，我们提出了一个有效的和可靠的MTMCT框架的车辆，它包括一个交通感知的单摄像机跟踪（TSCT）算法，一个基于冗余的摄像机链接模型（CLM）的车辆重新识别（ReID），和一个层次聚类算法来获得跨摄像机车辆轨迹。首先，TSCT，它联合考虑车辆外观，几何特征，和一些常见的交通场景，提出了跟踪车辆在每个摄像头分别。其次，采用基于语义的CLM来促进每对相邻连接的摄像机之间的关系，并为后续车辆ReID添加时空约束。最后，采用层次聚类算法对所有摄像机的车辆轨迹进行融合，得到最终的MTMCT结果。我们提出的MTMCT在CityFlow数据集上进行了评估，并实现了最先进的性能，IDF1为74.93%。
2020-08-30 cs.CV
MTP: Multi-Hypothesis Tracking and Prediction for Reduced Error Propagation
NVIDIA Research（英伟达研究院）；Stanford University（斯坦福大学）
最近，在开发标准感知规划机器人自主管道的每个单独模块方面都取得了巨大进展，包括检测，跟踪，预测其他代理的轨迹，以及自我代理轨迹规划。然而，很少有人注意到这些组成部分的原则性整合，特别是在级联错误的特性和缓解方面。本文针对级联误差的问题，着重于跟踪和预测模块之间的耦合。首先，通过使用最先进的跟踪和预测工具，我们进行了一个全面的实验评估，如何严重的跟踪误差会影响预测性能。在KITTI和nuScenes数据集上，我们发现，与使用地面真实过去轨迹作为输入的理想化设置相比，使用跟踪轨迹作为输入的预测（实践中的典型情况）可能会经历显着（甚至数量级）的性能下降。为了解决这个问题，我们提出了一个多假设跟踪和预测框架。我们的框架不是依赖于一组跟踪结果进行预测，而是同时推理多组跟踪结果，从而增加了将准确的跟踪结果作为预测输入的可能性。我们表明，该框架在nuScenes数据集上将标准单假设跟踪预测管道的整体预测性能提高了34.2%，当将评估限制在涉及身份切换和片段的具有挑战性的场景时，其改进更显着（高达70%）-所有这些都具有可接受的计算开销。
2021-10-18 cs.CV cs.MA cs.RO
leave a trace - A People Tracking System Meets Anomaly Detection
Humboldt-Universität zu Berlin（柏林洪堡大学）；German Aerospace Center（德国航空航天中心）
视频监控总是有负面的含义，除其他外，因为失去隐私，因为它可能不会自动增加公共安全。如果它能够实时的、自主的、匿名的检测非典型（即危险）情况，这一点可能会改变。其先决条件是从视频数据中可靠地自动检测可能的危险情况。这通常通过对象提取和跟踪来完成。从导出的轨迹中，我们希望通过检测非典型轨迹来确定危险情况。然而，出于道德考虑，最好是在没有人受到威胁甚至伤害的情况下开发这样一个数据系统，再加上让他们知道安装了这样一个跟踪系统。另一个重要的问题是，这些情况在真实的公共闭路电视区域中并不经常发生，甚至可能更少被正确捕捉到。在艺术项目中，被跟踪的对象，机构建筑中庭中的人，成为演员，因此成为装置的一部分。实时可视化允许这些参与者进行交互，这反过来又创造了许多非典型的交互情况，我们可以在这些情况下发展我们的情况检测。数据集经过三年的发展，因此是巨大的。在这篇文章中，我们描述了跟踪系统和几种方法检测非典型轨迹。
2017-07-20 cs.CV cs.MM
Exploring Sub-skeleton Trajectories for Interpretable Recognition of Sign Language
University of Sydney, Australia（悉尼大学（澳大利亚））
跟踪传感器和姿态估计软件的最新进展使智能系统能够使用骨骼关节位置的轨迹进行监督学习。我们研究准确识别手语单词的问题，这是缩小重听人和非重听人之间沟通差距的关键。我们的方法探讨了一个几何特征空间，我们称之为“子骨架”方面的运动。我们使用自然的，速度不变的距离度量来评估特征空间轨迹的相似性，这使得清晰和有见地的最近邻分类成为可能。我们的基本方法的简单性和可扩展性允许在不同的数据域中立即应用，几乎没有参数调整。我们证明了我们的基本方法的有效性，并提高了变化，从不同的应用领域和跟踪技术的数据上的实验。令人惊讶的是，我们简单的方法比最近的最先进的方法提高了标志识别。
2022-02-03 cs.CV cs.IR cs.LG
