Simple Online and Realtime Tracking
Queensland University of Technology（昆士兰科技大学）；University of Sydney（悉尼大学）
本文探讨了一种实用的方法，多个对象跟踪的主要重点是关联对象有效地在线和实时应用。为此，检测质量被确定为影响跟踪性能的关键因素，其中改变检测器可以提高跟踪高达18.9%。尽管只使用了熟悉的技术，如卡尔曼滤波器和匈牙利算法的跟踪组件的基本组合，这种方法实现了一个国家的最先进的在线跟踪器相媲美的精度。此外，由于我们的跟踪方法简单，跟踪器以260 Hz的速率更新，比其他最先进的跟踪器快20倍以上。
2017-07-07 cs.CV
Learning Online for Unified Segmentation and Tracking Models
Monash University（莫纳什大学）
跟踪需要在推理阶段建立目标的判别模型。实现这一目标的一种有效方法是在线学习，它可以轻松地胜过仅离线训练的模型。最近的研究表明，视觉跟踪由于其像素级的歧视，显着受益于视觉跟踪和分割的统一。然而，对这样一个统一的模型进行在线学习是一个很大的挑战。分割模型不能容易地从视觉跟踪场景中给出的先验信息中学习。在本文中，我们提出了TrackMLP：一种新的元学习方法，它只从部分信息中学习，以解决强加的挑战。我们的模型能够广泛利用有限的先验信息，因此比其他在线学习方法具有更强的目标-背景区分能力。从经验上讲，我们表明，我们的模型实现了最先进的性能和有形的改进竞争车型。我们的模型在VOT 2019、VOT 2018和VOT 2016数据集中实现了66.0%、67.1%和68.5%的改进平均重叠，比我们的基线高6.4%、7.3%和6.4%。代码将公开提供。
2021-11-12 cs.AI cs.CV cs.LG
DeepMix: Online Auto Data Augmentation for Robust Visual Object Tracking
Kyushu University（九州大学）；Tianjin University of Technology（天津理工大学）；Alibaba Group（阿里巴巴集团）；Nanyang Technological University（南洋理工大学）；University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所（Amii））
通过来自历史帧的样本在线更新对象模型对于精确的视觉对象跟踪是非常重要的。最近的工作主要集中在构建有效和高效的更新方法，而忽略了学习判别对象模型的训练样本，这也是学习问题的关键部分。在本文中，我们提出了DeepMix，它将历史样本的嵌入作为输入，并在线生成增强的嵌入，增强了视觉对象跟踪的最先进的在线学习方法。更具体地说，我们首先提出了在线数据增强跟踪，在线增加的历史样本，通过对象感知过滤。然后，我们提出了MixNet，这是一个离线训练的网络，用于在一步内执行在线数据增强，提高跟踪精度，同时保持最先进的在线学习方法的高速。在三种不同的跟踪框架上进行了广泛的实验，即，DiMP、DSiam和SiamRPN++以及三个大规模和具有挑战性的数据集\ie、OTB-2015、LaSOT和VOT证明了所提出方法的有效性和优势。
2021-05-03 cs.CV
Track to Detect and Segment: An Online Multi-Object Tracker
SUNY Buffalo（纽约州立大学布法罗分校）；TJU（天津大学）；Horizon Robotics
大多数在线多目标跟踪器在没有来自跟踪的任何输入的情况下在神经网络中独立地执行目标检测。在本文中，我们提出了一个新的在线联合检测和跟踪模型，TRADES（TRAck到DEtect和段），利用跟踪线索，以协助检测端到端。TraDeS通过成本量推断对象跟踪偏移，该成本量用于传播先前的对象特征以改进当前目标检测和分割。TraDeS在MOT（2D跟踪）、nuScenes（3D跟踪）、MOTS和Youtube-VIS（实例分割跟踪）4个数据集上的有效性和优越性得到了验证。项目页面：https://jialianwu.com/projects/TraDeS.html。
2021-03-16 cs.CV
A Hybrid Data Association Framework for Robust Online Multi-Object Tracking
全局优化算法在基于数据关联的多目标跟踪中表现出令人印象深刻的性能，但处理在线数据仍然是一个难以克服的障碍。在本文中，我们提出了一个混合的数据关联框架与最小成本的多商品网络流的鲁棒在线多目标跟踪。我们建立局部目标特定的模型，与多个视频帧上的最佳数据关联的全局优化交织。更具体地说，在最小成本多商品网络流中，目标特定的相似性在线学习，以加强局部一致性，以降低全局数据关联的复杂性。同时，考虑到多个视频帧的全局数据关联消除了相邻帧之间的局部数据关联引起的不可恢复的错误。为了保证在线跟踪的效率，我们给出了一个有效的近似最优解的最小费用多商品流问题，并提供了经验证明其次优性。真实数据上的综合实验表明，我们的方法在各种具有挑战性的情况下具有优越的跟踪性能。
2017-03-31 cs.CV
LightTrack: A Generic Framework for Online Top-Down Human Pose Tracking
JD Digits（京东数字科技）；University of Pittsburgh（匹兹堡大学）
在本文中，我们提出了一种新的有效的轻量级框架，称为LightTrack，在线人体姿态跟踪。所提出的框架被设计为通用的自上而下的姿态跟踪，比现有的在线和离线方法更快。单人姿态跟踪（SPT）和视觉对象跟踪（VOT）被合并到一个统一的功能实体中，可以通过可替换的单人姿态估计模块轻松实现。我们的框架将单人姿势跟踪与多人身份关联相结合，并首次将关键点跟踪与对象跟踪相结合。我们还提出了一个暹罗图卷积网络（SGCN）的人体姿态匹配作为一个重新ID模块在我们的姿态跟踪系统。与其他Re-ID模块相反，我们使用人体关节的图形表示进行匹配。该方法有效地捕捉了人体姿态的相似性，并且计算成本低。它对引入人类漂移的突然相机移位具有鲁棒性。据我们所知，这是第一篇提出自上而下的在线人体姿势跟踪框架的论文。所提出的框架是通用的，足以适应其他姿态估计和候选匹配机制。我们的方法优于其他在线方法，同时保持更高的帧速率，并且与我们的离线最先进的技术相比非常具有竞争力。我们将代码公开于：https://github.com/Guanghan/lighttrack.
2019-05-07 cs.CV
Temporal Dynamic Appearance Modeling for Online Multi-Person Tracking
Beijing Institute of Technology（北京理工大学）
强大的在线多人跟踪需要在线检测响应与现有轨迹的正确关联。我们通过开发一种新的外观建模方法来解决这个问题，以提供准确的外观亲和力来指导数据关联。与大多数现有的只考虑人类外观的空间结构的算法相比，我们利用时间外观序列内的时间动态特性来区分不同的人。时间动态对特征空间中不同外观的空间结构进行了充分的补充，这显着提高了轨迹和检测之间的亲和力测量。我们提出了一个特征选择算法来描述的外观变化与中级语义功能，并证明其有用的时间动态外观建模。此外，通过交替地评估新观察到的外观并调整模型参数以适合于在线跟踪来增量地学习外观模型。在复杂场景中的多个人的可靠跟踪是通过将学习到的模型到一个在线跟踪检测框架。我们在具有挑战性的基准测试MOTChallenge 2015上的实验表明，我们的方法优于最先进的多人跟踪算法。
2015-10-10 cs.CV
Multi-Branch Siamese Networks with Online Selection for Object Tracking
Polytechnique Montreal（蒙特利尔高等理工学院）；TELUQ University（魁北克大学电视学院）
在本文中，我们提出了一个强大的目标跟踪算法的基础上，选择分支选择机制，选择最有效的对象表示从多分支连体网络。虽然大多数深度学习跟踪器使用单个CNN进行目标表示，但提出的多分支连体跟踪器（MBST）采用了针对不同任务预先训练的CNN的多个分支，并用于我们跟踪方法中的各种目标表示。利用我们的分支选择机制，以在线方式根据目标特征选择适当的CNN分支。通过使用最充分的目标表示相对于被跟踪的对象，我们的方法实现了实时跟踪，同时获得改进的性能相比，标准的暹罗网络跟踪器的对象跟踪基准。
2018-08-31 cs.CV
Online Tracking of Skin Colour Regions Against a Complex Background
MCKV Institute of Engineering（MCKV工程学院）
在复杂背景下在线跟踪人类活动对于许多应用来说是一项具有挑战性的任务。在本文中，我们已经开发了一个强大的技术，从无约束的图像帧定位肤色区域。提出了一种简单快速的肤色分割算法，用于训练多层感知器（MLP）的肤色检测。步进电机与MLP同步，以跟踪皮肤颜色区域的移动。
2014-10-15 cs.CV
Simple online and real-time tracking with occlusion handling
School of Electrical and Computer Engineering（电气与计算机工程学院）；University of Tehran（德黑兰大学）
多目标跟踪是计算机视觉中的一个具有挑战性的问题，由于难以处理运动预测，遮挡处理和目标重新识别。许多最近的算法使用运动和外观线索来克服这些挑战。但使用外观线索会显着增加计算量，因此算法的速度显着下降，这使得它们不适合在线应用。相比之下，有一些算法只使用运动提示来提高速度，特别是对于在线应用程序。但是这些算法不能处理遮挡和重新识别丢失的对象。本文提出了一种新的在线多目标跟踪算法，该算法只使用目标的几何线索，同时解决遮挡和重新识别的挑战。因此，它降低了身份切换和碎片度量。实验结果表明，与现有的在线跟踪算法相比，该算法可以减少40%的身份切换和28%的碎片。该代码也是公开的。
2021-03-06 cs.CV
Leveraging Long-Term Predictions and Online-Learning in Agent-based Multiple Person Tracking
City University of Hong Kong（香港城市大学）
本文提出了一种基于粒子滤波和RVO的多人跟踪算法，RVO是一种基于Agent的人群模型，它通过推断无碰撞速度来预测行人的运动。除了位置和速度，我们的跟踪算法可以估计的内部目标（所需的目的地或所需的速度）的跟踪行人在一个在线的方式，从而消除了需要事先指定此信息。此外，我们通过推导高阶粒子滤波器来利用RVO的长期预测，该滤波器聚合来自不同先前时间步长的多个预测。这产生了一个跟踪器，可以恢复从短期闭塞和虚假噪声的外观模型。实验结果表明，该跟踪算法不需要场景先验信息或人工标注的目标信息，能够在线预测行人的行为，提高了低帧速率下真实拥挤场景下的跟踪效果。
2014-03-07 cs.CV
A Data-driven Approach for Human Pose Tracking Based on Spatio-temporal Pictorial Structure
Indian Statistical Institute（印度统计学院）
在本文中，我们提出了一个数据驱动的方法，在视频数据中的人体姿态跟踪。我们制定的人体姿态跟踪问题作为一个离散的优化问题的基础上的时空图像结构模型和解决这个问题的贪婪框架非常有效。我们提出的模型来跟踪人体的姿势相结合的人从单一的图像和传统的目标跟踪视频中的姿态估计。我们的姿态跟踪目标函数由以下条款组成：一个帧内的一部分的外观，从前一帧到当前帧的时间位移的一部分，和一个部分的空间依赖性与它的父亲在图形结构中的相似性。在基准数据集（VideoPose2，Poses in the Wild and Outdoor Pose）以及我们新构建的ICDPose数据集上的实验评估表明了我们所提出的方法的实用性。
2016-07-31 cs.CV
Learning to Divide and Conquer for Online Multi-Target Tracking
University of Modena and Reggio Emilia（摩德纳-雷焦艾米利亚大学）
在线多目标跟踪（MTT）通常在检测跟踪范式中解决。检测先前独立地在每帧中提取，然后通过最大化专门设计的相干函数来构建对象轨迹。然而，在存在遮挡或检测错误的情况下会产生模糊性。在本文中，我们声称，在跟踪中的模糊性可以通过选择性地使用的功能来解决，通过与更可靠的功能，如果可能的话，并利用更深层次的目标表示，只有在必要的。为此，我们提出了一个在线分而治之的静态相机场景跟踪器，分区分配问题的局部子问题，并解决它们有选择地选择和组合的最佳功能。完整的框架被转换为一个结构化的学习任务，统一这些阶段，并从示例中学习跟踪器参数。在两个不同数据集上的实验突出了跟踪性能的显着改善（MOTA +10%）超过现有技术。
2015-09-14 cs.CV
Fully Convolutional Online Tracking
Nanjing University（南京大学）
在线学习已被证明对提高跟踪性能是有效的。然而，它可以简单地应用于分类分支，但由于其复杂的设计和对高质量在线样本的内在要求，适应回归分支仍然具有挑战性。为了解决这个问题，我们提出了完全卷积的在线跟踪框架，被称为FCOT，并专注于通过使用基于目标过滤器的跟踪范式来实现分类和回归分支的在线学习。我们的主要贡献是引入了一个在线回归模型生成器（RMG），用于使用在线样本初始化目标滤波器的权重，然后根据第一帧的地面真实样本优化此目标滤波器权重。基于在线RGM，我们设计了一个简单的无锚跟踪器（FCOT），由一个功能骨干，上采样解码器，多尺度分类分支，多尺度回归分支。由于RMG的独特设计，我们的FCOT不仅可以更有效地处理目标沿时间维度的变化，从而产生更精确的结果，但也克服了在跟踪过程中的误差积累的问题。此外，由于其设计简单，我们的FCOT可以以完全卷积的方式进行训练和部署，具有实时运行速度。拟议的FCOT在包括VOT 2018，LaSOT，TrackingNet，GOT-10k，OTB100，UAV123和NFS在内的七个基准上实现了最先进的性能。我们的FCOT的代码和模型已发布在：\url{https://github.com/MCG-NJU/FCOT}。
2021-09-26 cs.CV
Sparse Message Passing Network with Feature Integration for Online Multiple Object Tracking
Nanjing University of Science and Technology（南京理工大学）；Graz University of Technology（格拉茨技术大学）
现有的多目标跟踪（MOT）方法设计了复杂的体系结构以获得更好的跟踪性能。然而，没有一个适当的组织输入信息，他们仍然无法执行跟踪鲁棒性和遭受频繁的身份切换。在本文中，我们提出了两个新的方法，连同一个简单的在线消息传递网络（MPN），以解决这些限制。首先，我们探索了图节点和边嵌入的不同集成方法，并提出了一种新的IoU（Intersection over Union）引导函数，该函数改善了长期跟踪并处理身份切换。其次，我们引入了一种分层采样策略来构建稀疏图，从而可以将训练集中在更困难的样本上。实验结果表明，一个简单的在线MPN与这两个贡献可以执行更好地比许多国家的最先进的方法。此外，我们的关联方法具有很好的推广性，也可以改善基于私有检测的方法的结果。
2022-12-06 cs.CV
Recursive Least-Squares Estimator-Aided Online Learning for Visual Tracking
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Microsoft Research Asia（微软亚洲研究院）；The University of Hong Kong（香港大学）
在测试阶段从单个初始样本跟踪视觉对象已经被广泛地视为一个一次/Few-Shot问题，即，用于初始适应的单次学习和用于在线适应的少样本学习。最近的Few-Shot在线自适应方法通过在离线阶段进行复杂的元学习优化来结合来自大量带注释的训练数据的先验知识。这有助于在线深度跟踪器实现快速适应并降低跟踪中的过拟合风险。在本文中，我们提出了一个简单而有效的递归最小二乘估计辅助在线学习方法的Few-Shot在线适应，而不需要离线训练。它允许模型的内置内存保留机制记住之前看到的对象的知识，因此可以安全地从训练中删除看到的数据。这也与防止灾难性遗忘的新兴持续学习领域有某些相似之处。这种机制使我们能够在不产生太多额外计算成本的情况下揭示现代在线深度跟踪器的功能。我们评估我们的方法的基础上两个网络的在线学习家庭的跟踪，即，RT-MDNet中的多层感知器和DiMP中的卷积神经网络。在几个具有挑战性的跟踪基准上的持续改进证明了其有效性和效率。
2022-03-10 cs.CV
Online Tracking by Learning Discriminative Saliency Map with Convolutional Neural Network
POSTECH（浦项科技大学）；INRIA（法国国家信息与自动化研究所）
提出了一种利用卷积神经网络（CNN）学习判别显著图的在线视觉跟踪算法。给定一个在离线的大规模图像库上预先训练的CNN，我们的算法将网络隐藏层的输出作为特征描述符，因为它们在各种一般的视觉识别问题中表现出出色的表示性能。这些特征用于使用在线支持向量机（SVM）学习区分性目标外观模型。此外，在SVM的指导下，通过反向传播CNN特征构建目标特定的显著图，并基于显著图生成的外观模型获得每帧的最终跟踪结果。由于显著图有效地可视化了目标的空间结构，提高了目标定位精度，使我们能够实现像素级的目标分割。我们验证了我们的跟踪算法的有效性，通过广泛的实验上具有挑战性的基准，我们的方法说明了出色的性能相比，国家的最先进的跟踪算法。
2015-02-24 cs.CV
Online Multi-Target Tracking Using Recurrent Neural Networks
The University of Adelaide（阿德莱德大学）；ETH Zürich（苏黎世联邦理工学院）
提出了一种基于循环神经网络的在线多目标跟踪方法。在真实世界场景中跟踪多个目标涉及许多挑战，包括a）先验未知且时变的目标数量，b）所有当前目标的连续状态估计，以及c）数据关联的离散组合问题。大多数以前的方法涉及复杂的模型，需要繁琐的参数调整。在这里，我们首次提出了一种用于在线多目标跟踪的端到端学习方法。现有的深度学习方法不是针对上述挑战而设计的，并且不能简单地应用于任务。我们的解决方案以原则性的方式解决了上述所有问题。合成和真实数据上的实验表明，在标准CPU上在~300 Hz下获得了有希望的结果，并为未来在这个方向上的研究铺平了道路。
2016-12-07 cs.CV
Adaptive Compressive Tracking via Online Vector Boosting Feature Selection
Nanjing University of Information Science and Technology（南京信息工程大学）
近年来，压缩跟踪（compressive tracking，CT）方法因其高效性而受到广泛关注，但CT方法的随机投影矩阵与数据无关，导致CT方法的特征鉴别力较弱，不能很好地处理大尺度目标的外观变化。为了解决这个问题，在本文中，我们提出了一种自适应CT方法，它选择最有区别的功能，设计一个有效的外观模型。我们的方法在三个方面显着改善CT：首先，通过在线矢量提升方法选择最具鉴别力的特征。其次，以有效的在线方式更新对象表示，保留稳定的特征，同时过滤掉噪声。最后，采用了一种简单有效的弹道修正方法，使估计位置更加准确。在CVPR2013跟踪基准上的大量实验表明，与最先进的跟踪算法相比，我们的算法具有优异的性能。
2015-04-22 cs.CV
Online 3D reconstruction and dense tracking in endoscopic videos
ARTORG Center, University of Bern（伯尔尼大学ARTORG中心）；Applied Research, Intuitive Surgical（直觉外科公司应用研究部）；Inselspital（因塞尔医院）
针对立体内窥镜视频，提出基于 Gaussian splatting 与稀疏控制点形变建模的在线密集三维重建和跟踪框架，在 StereoMIS 上优于现有跟踪方法并接近离线重建性能。
2024-09-09 cs.CV
Online Multi-Object Tracking with Dual Matching Attention Networks
Shanghai Jiao Tong University（上海交通大学）；Visbody Inc（维塑科技有限公司）；University of California, Merced（加州大学默塞德分校）；Google Inc（谷歌公司）；Northwestern Polytechnical University（西北工业大学）；Massachusetts Institute of Technology（麻省理工学院）
在本文中，我们提出了一种在线多目标跟踪（MOT）的方法，它集成了单目标跟踪和数据关联方法在一个统一的框架来处理噪声检测和目标之间的频繁交互的优点。具体来说，对于在MOT中应用单个对象跟踪，我们引入了基于最先进的视觉跟踪器的成本敏感的跟踪损失，这鼓励模型在在线学习期间专注于硬负面干扰。对于数据关联，我们提出了双匹配注意力网络（DMAN）的空间和时间的注意力机制。空间注意力模块生成双注意力图，使网络能够专注于输入图像对的匹配模式，而时间注意力模块自适应地将不同级别的注意力分配给轨迹中的不同样本，以抑制噪声观测。在MOT基准数据集上的实验结果表明，该算法在身份保持指标方面对在线和离线跟踪器都表现良好。
2019-02-02 cs.CV
A Top-down Approach to Articulated Human Pose Estimation and Tracking
JD.com Silicon Valley Research Center（京东硅谷研究中心）
视频中的多人姿态估计和姿态跟踪任务都是相当具有挑战性的。现有的方法可分为两类：自上而下和自下而上的方法。在本文中，遵循自顶向下的方法，我们的目标是建立一个强大的基线系统，三个模块：人体候选人检测器，单人姿势估计器和人体姿势跟踪器。首先，我们选择一个通用的对象检测器中的国家的最先进的方法来检测人类候选人。然后，使用级联金字塔网络来估计相应的人体姿态。最后，我们使用基于流的姿势跟踪器来渲染跨帧的关键点关联，即，为了多目标姿态跟踪的目的，为每个人类候选者分配唯一的和时间上一致的ID。我们进行了广泛的烧蚀实验，以验证各种选择的模型和配置。我们参加了两个ECCV 18 PoseTrack挑战：姿态估计和姿态跟踪。
2019-01-23 cs.CV
Simple Online and Realtime Tracking with a Deep Association Metric
University of Koblenz-Landau（科布伦茨-兰道大学）；Queensland University of Technology（昆士兰科技大学）
简单在线和实时跟踪（SORT）是一种实用的多目标跟踪方法，专注于简单，有效的算法。在本文中，我们整合外观信息，以提高SORT的性能。由于这种扩展，我们能够通过更长时间的遮挡来跟踪对象，有效地减少了身份切换的数量。本着原始框架的精神，我们将大部分计算复杂性放入离线预训练阶段，在此阶段，我们在大规模人员重新识别数据集上学习深度关联度量。在线应用时，我们在视觉外观空间中使用最近邻查询建立测量到跟踪的关联。实验评估表明，我们的扩展减少了45%的身份开关的数量，在高帧速率实现整体竞争力的性能。
2017-03-21 cs.CV
Real-time Online Multi-Object Tracking in Compressed Domain
University of Science and Technology of China（中国科学技术大学）；Alibaba Group（阿里巴巴集团）
最近的在线多目标跟踪（MOT）方法已经取得了令人满意的跟踪性能。然而，大多数现有方法的跟踪速度相当慢。受相邻帧之间高度相关性和冗余性的启发，我们将相邻帧分别划分为关键帧和非关键帧，在压缩域中跟踪目标。对于关键帧，恢复RGB图像用于检测和数据关联。为了提高数据关联的可靠性，提出了一种可与检测器联合训练的表观卷积神经网络（CNN）。对于非关键帧，对象由跟踪CNN基于在压缩域中提供的运动信息直接传播。与最先进的在线MOT方法相比，我们的跟踪器速度约为6倍，同时保持相当的跟踪性能。
2022-04-05 cs.CV eess.IV
Explicit Spatiotemporal Joint Relation Learning for Tracking Human Pose
Microsoft Research（微软研究院）；Zhejiang University（浙江大学）；Microsoft Research Asia（微软亚洲研究院）
我们提出了一种基于学习关节间时空关系的人体姿态跟踪方法。除了生成给定帧中关节的热图之外，我们的系统还学会预测该关节与帧中相邻关节的偏移。此外，它被训练来预测关节从其在前一帧中的位置的位移，其方式可以考虑可能改变的关节外观，这与光流不同。通过仅关注视频帧中的相关区域，以鲁棒的方式推断空间域和时间域中的这些关系线索。通过明确地学习和利用这些关节关系，我们的系统在各种姿势跟踪任务的标准基准上实现了最先进的性能，包括RGB视频中的3D身体姿势跟踪，深度序列中的3D手部姿势跟踪和RGB视频中的3D手势跟踪。
2019-03-27 cs.CV
Self-supervised Keypoint Correspondences for Multi-Person Pose Estimation and Tracking in Videos
University of Bonn（波恩大学）；RWTH Aachen（亚琛工业大学）
视频注释是昂贵且耗时的。因此，与用于人类姿态估计的大规模图像数据集相比，用于多人姿态估计和跟踪的数据集不太多样化并且具有更稀疏的注释。这使得学习用于跨帧关联关键点的基于深度学习的模型具有挑战性，这些模型对于多人姿势跟踪任务的干扰因素（例如运动模糊和遮挡）是鲁棒的。为了解决这个问题，我们提出了一种方法，依赖于关键点的对应关系相关联的人在视频中。不是训练网络来估计视频数据上的关键点对应关系，而是在大规模图像数据集上训练网络，以使用自我监督进行人体姿势估计。结合自上而下的人体姿态估计框架，我们使用关键点对应来（i）恢复错过的姿态检测（ii）跨视频帧关联姿态检测。我们的方法在PosTrack $2017$和PoseTrack $2018$数据集上实现了多帧姿态估计和多人姿态跟踪的最新结果。
2021-03-15 cs.CV
Cascaded Regression Tracking: Towards Online Hard Distractor Discrimination
University of Science and Technology of China（中国科学技术大学）；Huawei Noah’s Ark Laboratory（华为诺亚方舟实验室）
视觉跟踪很容易受到周围相似物体的干扰。硬干扰物等对象，即使是负样本中的少数，也会增加目标漂移和模型损坏的风险，这在在线跟踪和模型更新中值得额外关注。为了提高跟踪的鲁棒性，本文提出了一种两级级联的回归跟踪器。在第一阶段，我们通过高效的卷积回归过滤出大量容易识别的阴性候选。在第二阶段中，设计了基于离散采样的岭回归来双重检查剩余的模糊硬样本，其作为全连接层的替代方案，并受益于封闭形式的求解器以进行有效的学习。在11个具有挑战性的跟踪基准上进行了广泛的实验，包括OTB-2013，OTB-2015，VOT 2018，VOT 2019，UAV 123，Temple-Color，NfS，TrackingNet，LaSOT，UAV 20 L和OxUvA。所提出的方法在普遍的基准测试中实现了最先进的性能，同时以实时速度运行。
2020-06-18 cs.CV
Deep Learning on Monocular Object Pose Detection and Tracking: A Comprehensive Overview
Renmin University of China（中国人民大学）；Beijing Jiaotong University（北京交通大学）；Tsinghua University（清华大学）
目标姿态检测和跟踪由于其在自动驾驶、机器人和增强现实等领域的广泛应用而受到越来越多的关注。在物体姿态检测和跟踪的方法中，深度学习是最有前途的方法，表现出比其他方法更好的性能。然而，对基于深度学习的方法的最新发展的调查研究还很缺乏。因此，本研究对深度学习技术路线中的物体姿态检测与跟踪的最新进展进行了全面的综述。为了实现更全面的介绍，本研究的范围仅限于以单目RGB/RGBD数据为输入的方法，并涵盖三种主要任务：实例级单目物体姿态检测，类别级单目物体姿态检测和单目物体姿态跟踪。在我们的工作中，指标，数据集，以及检测和跟踪的方法都详细介绍。还介绍了几个公开数据集上当前最先进方法的比较结果，以及有见地的观察和鼓舞人心的未来研究方向。
2022-04-21 cs.CV
FastPose: Towards Real-time Pose Estimation and Tracking via Scale-normalized Multi-task Networks
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Beijing University of Posts and Telecommunications（北京邮电大学）；Horizon Robotics（地平线机器人）
准确性和效率对于视频中的位姿估计和跟踪都是至关重要的。最先进的表演以两阶段自上而下的方法为主。尽管取得了领先的结果，但由于其分离的结构和复杂的计算，这些方法对于实际应用是不切实际的。本文研究了关节式多人姿态估计与跟踪的实时的【形】速度问题。一个端到端的多任务网络（MTN）的目的是同时执行人体检测，姿态估计，和个人重新识别（重新ID）的任务。为了缓解尺度变化问题带来的性能瓶颈，提出了一种利用尺度归一化图像和特征金字塔（SIFP）来提高性能和速度的方法。基于MTN的结果，在姿态跟踪模块中采用了遮挡感知的Re-ID特征策略，利用姿态信息来推断遮挡状态，从而更好地利用Re-ID特征。在实验中，我们证明了姿态估计和跟踪性能稳步提高利用SIFP通过不同的骨干。使用ResNet-18和ResNet-50作为主干，整体姿态跟踪框架分别以29.4 FPS和12.2 FPS实现了具有竞争力的性能。此外，遮挡感知Re-ID功能减少了37%的姿态跟踪过程中的识别开关。
2019-08-15 cs.CV
Deep Learning of Appearance Models for Online Object Tracking
提出了一种基于深度学习的单目标视觉跟踪方法。我们解决这个问题，提出了一个网络架构，它需要输入的视频帧，并直接计算跟踪分数的任何候选目标位置，通过估计的概率分布的正面和负面的例子。这是通过在统一框架中将深度卷积神经网络与贝叶斯损失层相结合来实现的。为了处理有限数量的正训练样本，网络被预先离线训练用于通用图像特征表示，然后在多个步骤中进行微调。在线微调步骤在每一帧进行，以学习目标的外观。我们采用两阶段迭代算法来自适应地更新网络参数，并保持目标/非目标区域的概率密度。该跟踪器已经在标准跟踪基准上进行了测试，结果表明，所提出的解决方案达到了最先进的跟踪结果。
2016-07-09 cs.CV
Track-On: Transformer-based Online Point Tracking with Memory
Koç University（科克大学）；KUIS AI Center（KUIS人工智能中心）；Shanghai Jiao Tong University（上海交通大学）
提出基于Transformer的在线长期点跟踪模型Track-On，利用空间记忆和上下文记忆模块在流媒体场景中实现高精度实时跟踪，在七个数据集上达到SOTA。
2025-01-30 cs.CV
Near-Online Multi-target Tracking with Aggregated Local Flow Descriptor
NEC Laboratories America（美国NEC实验室）
在本文中，我们专注于多目标跟踪问题的两个关键方面：1）设计一个准确的亲和性措施相关联的检测和2）实现一个有效的和准确的（近）在线多目标跟踪算法。作为第一个贡献，我们介绍了一种新的聚合本地流描述符（ALFD），编码的相对运动模式之间的一对时间上遥远的检测使用长期的兴趣点轨迹（IPT）。利用IPT，ALFD提供了一个强大的亲和度测量，用于估计匹配检测的可能性，而不管应用场景。作为另一个贡献，我们提出了一个近在线多目标跟踪（NOMT）算法。跟踪问题被公式化为在时间窗口中的目标和检测之间的数据关联，这是重复地在每帧执行。在高效的同时，NOMT通过将ALFD度量、目标动态、外观相似性和长期轨迹正则化等多个线索集成到模型中来实现鲁棒性。我们的消融分析验证了ALFD度量优于其他传统的亲和力度量。我们对两个具有挑战性的跟踪数据集KITTI和MOT数据集进行了全面的实验评估。NOMT方法与ALFD度量相结合，在两个数据集中实现了最佳精度，与最先进的数据集相比具有显著的裕度（MOTA高出约10%）。
2015-04-09 cs.CV
Robust Online Multi-target Visual Tracking using a HISP Filter with Discriminative Deep Appearance Learning
Lancaster University（兰卡斯特大学）；University of Lincoln（林肯大学）
我们提出了一种新的在线多目标视觉跟踪器的基础上最近开发的假设和独立的随机人口（HISP）过滤器。HISP滤波器结合了MHT等传统跟踪方法和PHD滤波器等基于点过程的跟踪方法的优点，在保持跟踪身份的同时具有线性复杂度。我们应用此过滤器跟踪多个目标在不同的环境条件下获得的视频序列和目标密度使用跟踪检测方法。我们还通过在大规模人员重新识别数据集上训练验证识别网络（VerIdNet）来采用深度CNN外观表示。我们使用这种深度CNN外观特征和时空信息以原则性的方式构建增强的可能性。此外，我们解决了两个或多个目标具有相同的标签的问题，考虑每个已确认的假设传播的权重。在MOT16和MOT17基准数据集上进行的大量实验表明，我们的跟踪器在跟踪精度方面明显优于几种最先进的跟踪器。
2020-10-11 cs.CV
Human Pose-based Estimation, Tracking and Action Recognition with Deep Learning: A Survey
Zhengzhou University（郑州大学）；Amazon Prime Video（亚马逊Prime Video）
本文全面综述了基于深度学习的人体姿态估计、跟踪与动作识别技术，探讨了现有方法的优势与局限，并强调了将三者整合至视频统一框架的方法及未来研究方向。
2023-10-19 cs.CV
Combining detection and tracking for human pose estimation in videos
AWS Rekognition
我们提出了一种新的自上而下的方法，解决了多人的人体姿态估计和跟踪视频中的问题。与现有的自上而下的方法相比，我们的方法不受其人检测器的性能限制，可以预测未本地化的人实例的姿势。它通过在时间上向前和向后传播已知的人的位置并搜索这些区域中的姿势来实现这种能力。我们的方法由三个部分组成：（i）一个剪辑跟踪网络，同时对小视频剪辑进行身体关节检测和跟踪;（ii）一个视频跟踪管道，将剪辑跟踪网络产生的固定长度轨迹合并为任意长度的轨迹;以及（iii）一个时空合并过程，根据空间和时间平滑项细化关节位置。由于我们的剪辑跟踪网络和我们的合并过程的精度，我们的方法产生非常准确的联合预测，并可以修复常见的错误在困难的情况下，如严重纠缠的人。我们的方法在PoseTrack 2017和2018数据集以及所有自上而下和自下而下的方法上实现了联合检测和跟踪的最新结果。
2020-03-30 cs.CV
Multi-Domain Pose Network for Multi-Person Pose Estimation and Tracking
ByteDance AI Lab（字节跳动人工智能实验室）
野外多人姿态估计和跟踪是一个重要而又具有挑战性的问题。为了训练一个强大的模型，大规模的训练数据是至关重要的。虽然有几个数据集用于人体姿势估计，但尚未研究在多数据集上训练的最佳实践。在本文中，我们提出了一个简单的网络称为多域姿态网络（MDPN）来解决这个问题。通过将任务视为多域学习，我们的方法可以学习更好的姿态预测表示。结合预测头微调和多分支组合，它显示出比基线的显着改进，并在PoseTrack ECCV 2018挑战赛上实现了最佳性能，而无需MPII和COCO以外的其他数据集。
2018-10-19 cs.CV
Spatial-Temporal Multi-Cuts for Online Multiple-Camera Vehicle Tracking
Technical University of Munich（慕尼黑工业大学）
本文提出一种基于时空多割的单步图聚类方法，将新检测与已有聚类在空间和时间上联合连接，无需训练或预提取轨迹，在CityFlow和Synthehicle数据集上显著超越在线最先进方法。
2024-10-03 cs.CV
Discriminative and Robust Online Learning for Siamese Visual Tracking
Northwestern Polytechnical University（西北工业大学）；National Engineering Laboratory for Integrated Aero-Space-Ground-Ocean Big Data Application Technology（空天地海一体化大数据应用技术国家工程实验室）
传统上，视觉对象跟踪的问题一直由不同的跟踪范式来处理，要么只在线学习对象外观的模型，要么在离线训练的嵌入空间中将对象与目标进行匹配。尽管最近取得了成功，但每一种方法都因其内在的限制而苦恼。仅在线的方法遭受缺乏它们学习的模型的泛化，因此在目标回归中较差，而仅离线的方法（例如，卷积连体跟踪器）缺乏目标特定的上下文信息，因此对于处理干扰项没有足够的辨别力，并且对于变形没有足够的鲁棒性。因此，我们提出了一个在线模块与注意力机制离线连体网络提取目标特定的功能下L2错误。我们进一步提出了一个过滤器更新策略自适应危险的背景噪声的歧视性学习，和一个模板更新策略，以处理大的目标变形的鲁棒学习。有效性可以在三个暹罗基线的持续改善中得到验证：SiamFC、SiamRPN++和SiamMask。除此之外，我们基于SiamRPN++的模型在六个流行的跟踪基准上获得了最佳结果，并且可以实时运行。
2019-11-21 cs.CV
Simple Baselines for Human Pose Estimation and Tracking
Microsoft Research Asia（微软亚洲研究院）；University of Electronic Science and Technology of China（电子科技大学）
近年来，姿态估计和姿态跟踪的研究取得了重大进展。同时，整体算法和系统复杂度也增加，使得算法分析和比较更加困难。这项工作提供了简单有效的基线方法。它们有助于激发和评估该领域的新想法。在具有挑战性的基准上取得了最先进的成果。该代码将在https://github.com/leoxiaobin/pose.pytorch上提供。
2018-08-21 cs.CV
Fast Pose Tracking of Rigid Objects with Compact Pose Graph Optimization
University of Technology Nuremberg（纽伦堡工业大学）；Lund University（隆德大学）
本文提出一种基于紧凑位姿图优化的轻量级跟踪模块，将其应用于多种对应估计方法，实现了低成本、高精度的刚体长时6D位姿跟踪。
2026-10-09 cs.CV
pROST : A Smoothed Lp-norm Robust Online Subspace Tracking Method for Realtime Background Subtraction in Video
Technische Universität München（慕尼黑工业大学）
越来越多的背景减除方法使用鲁棒PCA来识别稀疏的前景对象。虽然许多算法使用L1范数作为理想稀疏化函数的凸松弛，但我们用平滑的Lp范数来处理这个问题，并提出了一种鲁棒的在线子空间跟踪方法pROST。该算法基于流形上的交替极小化。在图形处理单元上实现，它实现了实时性能。在现实世界的视频数据的背景减除的最先进的基准上的实验结果表明，该方法成功地在各种各样的背景减除的情况下，它优于竞争的方法时，视频质量恶化相机抖动。
2013-03-28 cs.CV
BlazePose: On-device Real-time Body Pose tracking
Google Research（谷歌研究院）
我们提出了BlazePose，这是一种用于人体姿势估计的轻量级卷积神经网络架构，专为移动设备上的实时的【形】推理量身定制。在推理过程中，该网络为单个人生成33个身体关键点，并在Pixel 2手机上以每秒30帧以上的速度运行。这使得它特别适合实时的【形】用例，如健身跟踪和手语识别。我们的主要贡献包括一个新的身体姿势跟踪解决方案和一个轻量级的身体姿势估计神经网络，使用热图和回归关键点坐标。
2020-06-17 cs.CV
APT-36K: A Large-scale Benchmark for Animal Pose Estimation and Tracking
Hangzhou Dianzi University（杭州电子科技大学）；The University of Sydney（悉尼大学）；National University of Defense Technology（国防科技大学）；JD Explore Academy（京东探索研究院）
动物姿态估计和跟踪（APT）是从视频帧序列中检测和跟踪动物关键点的基本任务。以前的动物相关数据集要么关注动物跟踪，要么关注单帧动物姿势估计，而从来没有同时关注这两个方面。APT数据集的缺乏阻碍了基于视频的动物姿态估计和跟踪方法的开发和评估，限制了现实世界的应用，例如，了解野生动物保护中的动物行为。为了填补这一空白，我们迈出了第一步，提出了APT-36 K，即，第一个大规模的动物姿态估计和跟踪基准。具体来说，APT-36 K由从30种动物物种中收集和过滤的2，400个视频片段组成，每个视频15帧，总共36，000帧。在手动注释和仔细的双重检查之后，为所有动物实例提供高质量的关键点和跟踪注释。基于APT-36 K，我们在以下三个方面对几个代表性模型进行了基准测试：（1）在域内和域间迁移学习设置下的单帧监督动物姿态估计，（2）未见过动物的物种间领域泛化测试，以及（3）动物跟踪的动物姿态估计。基于实验结果，我们获得了一些经验性的见解，并表明APT-36 K提供了一个有价值的动物姿态估计和跟踪基准，为未来的研究提供了新的挑战和机遇。代码和数据集将在https://github.com/pandorgan/APT-36K上公开。
2022-10-13 cs.CV
The Second-place Solution for CVPR 2022 SoccerNet Tracking Challenge
Fujitsu Research（富士通研究院）
这是我们在CVPR 2022 SoccerNet跟踪挑战赛中获得的第二名解决方案。我们的方法主要包括两个步骤：使用级联缓冲区IoU（C-BIoU）跟踪器进行在线短期跟踪，以及使用外观特征和层次聚类进行离线长期跟踪。在每一步中，在线跟踪产生的HOTA分数接近90，离线跟踪进一步提高HOTA分数到93.2左右。
2022-12-06 cs.CV
Temporally Guided Articulated Hand Pose Tracking in Surgical Videos
University of Michigan（密歇根大学）；Microsoft（微软公司）；University of Edinburgh（爱丁堡大学）；Harvard Medical School（哈佛医学院）
本文提出时间引导的手部姿态估计模型 CondPose，并构建首个手术视频多实例手部姿态数据集 Surgical Hands，在姿态估计和跟踪精度上均优于现有方法。
2025-02-06 cs.CV
Active Control Points-based 6DoF Pose Tracking for Industrial Metal Objects
Zhejiang University（浙江大学）；School of Mechanical Engineering（机械工程学院）；The State Key Lab of Fluid Power and Mechatronic Systems（流体动力与机械系统国家重点实验室）
针对工业金属物体因反射特性导致的位姿跟踪困难，提出基于主动控制点的6DoF位姿跟踪方法，以图像控制点替代位姿渲染生成边缘特征，并引入最优控制点回归提升鲁棒性，在数据集和真实任务中均验证有效。
2025-07-02 cs.CV
AFAT: Adaptive Failure-Aware Tracker for Robust Visual Object Tracking
University of Surrey（萨里大学）；Jiangnan University（江南大学）
近年来，Siamese方法在视觉目标跟踪中取得了很好的效果。Siamese跟踪器成功的关键是通过在大规模视频数据集上进行成对离线训练来学习外观不变的特征嵌入函数。然而，暹罗范式使用一次性学习来模拟在线跟踪任务，这阻碍了跟踪过程中的在线适应。此外，在线跟踪响应的不确定性没有被测量，导致忽略潜在故障的问题。在本文中，我们主张在跟踪阶段的在线适应。为此，我们提出了一个故障感知系统，该系统由质量预测网络（QPN）实现，基于决策阶段的卷积和LSTM模块，能够在线报告潜在的跟踪故障。具体地说，从先前的连续帧以及当前帧的序列响应图收集预测跟踪的信心，实现时空融合的决策层。此外，我们还提供了一个自适应故障感知跟踪器（AFAT），通过结合国家的最先进的暹罗跟踪器与我们的系统。在标准基准测试数据集上获得的实验结果证明了所提出的故障感知系统的有效性和我们的AFAT跟踪器的优点，在准确性和速度方面具有出色和平衡的性能。
2020-05-27 cs.CV
Instance Flow Based Online Multiple Object Tracking
Fraunhofer Institute of Optronics, System Technologies and Image Exploitation（弗劳恩霍夫光电、系统技术与图像利用研究所）
我们提出了一种方法来执行在线多目标跟踪（MOT）的已知对象类别的单目视频数据。当前的检测跟踪MOT方法建立在2D限界框检测之上。相比之下，我们利用最先进的实例感知语义分割技术来计算目标对象在每帧中的二维形状表示。我们利用光流线索来预测分割实例在后续帧中的位置和形状。我们定义了一个亲和矩阵的后续帧的实例之间的局部性和视觉相似性。实例关联采用匈牙利方法求解。我们使用MOT 2D 2015训练数据集评估了我们算法的不同配置。评估表明，我们的跟踪方法是能够跟踪高相对运动的对象。此外，我们提供了我们的方法在MOT 2D 2015测试集上的结果，以与以前的作品进行比较。我们的MOTA得分为32.1。
2017-05-15 cs.CV
Tracking as Online Decision-Making: Learning a Policy from Streaming Videos with Reinforcement Learning
University of California, Irvine（加利福尼亚大学尔湾分校）；Carnegie Mellon University（卡内基梅隆大学）
我们制定跟踪作为一个在线决策过程，跟踪代理必须遵循对象，尽管模糊的图像帧和有限的计算预算。至关重要的是，智能体必须决定在即将到来的帧中查看哪里，何时重新初始化，因为它认为目标已经丢失，以及何时更新其跟踪对象的外观模型。这种决定通常是以经验主义的方式做出的。相反，我们建议通过将跟踪制定为部分可观察决策过程（POMDP）来学习最佳决策策略。我们用深度强化学习算法学习策略，只有当轨迹出错时才需要监督（奖励信号）。我们证明，稀疏的奖励，使我们能够快速训练的大规模数据集，几个数量级以上，比过去的工作。有趣的是，通过将互联网视频的数据源视为无限流，我们都在一个统一的计算流中学习和评估我们的跟踪器。
2017-07-17 cs.CV
Online Multi-Object Tracking with Historical Appearance Matching and Scene Adaptive Detection Filtering
Gwangju Institute of Science and Technology（光州科学技术院）
在本文中，我们提出的方法来处理多目标跟踪过程中的时间误差。当对象被遮挡或噪声检测出现在对象附近时，会发生时间误差。在这些情况下，跟踪可能会失败，并发生漂移或ID切换等各种错误。仅利用运动和形状信息很难克服时间误差。因此，本文提出了历史外观匹配方法和两步训练的联合输入连体网络。该方法可以防止目标在被遮挡或最后匹配信息不可靠时的跟踪失败。我们还提供了有用的技术，以消除噪声检测有效地根据现场条件。跟踪性能，特别是身份一致性，大大提高了附加我们的方法。
2018-09-18 cs.CV
Snipper: A Spatiotemporal Transformer for Simultaneous Multi-Person 3D Pose Estimation Tracking and Forecasting on a Video Snippet
University of Alberta（阿尔伯塔大学）；Meta Reality Labs（Meta现实实验室）；Spree3D
本文提出Snipper统一框架，通过可变形注意力机制在单阶段内同时完成多人3D姿态估计、跟踪与运动预测，在三个公开数据集上表现媲美专门的最先进基线。
2023-09-12 cs.CV
Online Metric-Weighted Linear Representations for Robust Visual Tracking
Zhejiang University（浙江大学）；University of Adelaide（阿德莱德大学）
在本文中，我们提出了一个视觉跟踪器的基础上的外观的度量加权线性表示。为了捕捉不同的特征维度的相互依赖性，我们开发了两种在线距离度量学习方法，使用邻近比较信息和结构化输出学习。然后将学习的度量并入外观的线性表示中。我们表明，在线距离度量学习显着提高了跟踪器的鲁棒性，特别是对那些表现出剧烈的外观变化的序列。为了约束训练样本数量的增长，我们设计了一种时间加权的储层采样方法。此外，我们使我们的跟踪器自动执行对象识别过程中的对象跟踪，通过引入一个集合的静态模板样本属于几个感兴趣的对象类。整个视频序列的对象识别结果是通过系统地结合跟踪信息和视觉识别在每一帧。在具有挑战性的视频序列上的实验结果证明了该方法在帧间跟踪和目标识别方面的有效性。
2015-07-21 cs.CV
Online Unsupervised Feature Learning for Visual Tracking
University of Adelaide（阿德莱德大学）
关于通过无监督方法学习的过完备字典的特征编码，随后是空间金字塔池化和线性分类，在各种视觉应用中表现出强大的实力。在这里，我们建议使用特征学习管道进行视觉跟踪。跟踪是使用检测跟踪实现的，所得到的框架非常简单而有效。首先，使用在线字典学习来构建字典，该字典捕获跟踪目标的外观变化以及背景变化。给定一个测试图像窗口，我们从它提取局部图像补丁，每个局部补丁相对于字典进行编码。然后将编码的特征汇集在空间金字塔上以形成聚合特征向量。最后，在这些特征上训练一个简单的线性分类器。我们的实验表明，所提出的功能强大-虽然简单-跟踪器，优于所有国家的最先进的跟踪方法，我们已经测试过。此外，我们评估了不同的字典学习和特征编码方法在建议的跟踪框架中的性能，并分析了每个组件在跟踪场景中的影响。我们还证明了功能学习的灵活性，将其插入到野兔等。的跟踪方法。据我们所知，其结果是有史以来最好的跟踪器，这有利于特征学习和结构化输出预测的优势。
2013-10-07 cs.CV
Online Object Tracking with Proposal Selection
Inria Grenoble Rhône-Alpes（法国国家信息与自动化研究所格勒诺布尔-罗讷阿尔卑斯分院）；Laboratoire Jean Kuntzmann（让·昆茨曼实验室）；CNRS（法国国家科学研究中心）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）
检测跟踪方法是近年来最成功的目标跟踪方法之一。他们的成功在很大程度上取决于他们最初学习的检测器模型，然后随着时间的推移进行更新。然而，在具有挑战性的条件下，物体可能会发生变化，例如，严重的旋转，这些方法被发现是缺乏的。在本文中，我们解决这个问题，制定它作为一个建议的选择任务，并作出两个贡献。第一个是引入新的建议，估计从所经历的对象的几何变换，并建立一个丰富的候选集预测对象的位置。第二个是设计一种新的选择策略，使用多个线索，即，检测分数和边缘分数从现有技术的对象边缘和运动边界计算。我们在视觉对象跟踪2014挑战赛和在线跟踪基准数据集上广泛评估了我们的方法，并显示出最佳性能。
2015-09-30 cs.CV
