The Second-place Solution for ECCV 2022 Multiple People Tracking in Group Dance Challenge
Fujitsu Research（富士通研究所）
这是我们在ECCV 2022集体舞挑战赛中获得第二名的解决方案。我们的方法主要包括两个步骤：使用级联缓冲区IoU（C-BIoU）跟踪器进行在线短期跟踪，以及使用外观特征和层次聚类进行离线长期跟踪。我们的C-BIoU跟踪器增加了缓冲区来扩展检测和跟踪的匹配空间，这从两个方面减轻了不规则运动的影响：一是直接匹配相邻帧中相同但不重叠的检测和跟踪，另一个是补偿匹配空间中的运动估计偏差。此外，为了降低匹配空间过度扩展的风险，采用级联匹配：首先用小缓冲器匹配活动轨迹和检测，然后用大缓冲器匹配不匹配的轨迹和检测。在使用我们的C-BIoU进行在线跟踪之后，我们应用了ReMOTS引入的离线细化。
2022-12-06 cs.CV
Real-time Multiple People Tracking with Deeply Learned Candidate Selection and Person Re-Identification
Tsinghua University（清华大学）
在线多目标跟踪是实时视频分析应用中的一个基本问题。流行的检测跟踪框架中的一个主要挑战是如何将不可靠的检测结果与现有的轨迹相关联。在本文中，我们建议处理不可靠的检测，从检测和跟踪的输出收集候选人。生成冗余候选项背后的直觉是，检测和跟踪可以在不同的场景中相互补充。高置信度的检测结果防止跟踪漂移在长期内，和轨迹的预测可以处理由遮挡引起的噪声检测。为了实时的【形】从大量的候选图像中进行最优选择，我们提出了一种基于全卷积神经网络的评分函数，它可以分担整个图像的大部分计算。此外，我们采用了一种深入学习的外观表示，该表示是在大规模的人员重新识别数据集上训练的，以提高我们的跟踪器的识别能力。大量的实验表明，我们的跟踪器实现了实时的【形】和国家的最先进的性能上广泛使用的人跟踪基准。
2018-09-12 cs.CV
Tracking People with 3D Representations
UC Berkeley（加州大学伯克利分校）
我们提出了一种新的方法来跟踪视频中的多个人。与过去采用2D表示的方法不同，我们专注于使用位于三维空间中的人的3D表示。为此，我们开发了一种方法，人体网格和外观恢复（HMAR），除了提取的三维几何形状的人作为SMPL网格，还提取外观作为纹理映射的三角形网格。这用作外观的3D表示，对视点和姿势变化具有鲁棒性。给定一个视频片段，我们首先检测对应于人的边界框，对于每个边界框，我们使用HMAR提取3D外观，姿势和位置信息。然后，这些嵌入向量被发送到Transformer，该transformer在序列的持续时间内执行表示的时空聚合。结果表示的相似性用于解决将每个人分配给轨迹片段的关联。我们在Posetrack，MuPoTs和AVA数据集上评估了我们的方法。我们发现，在这些设置中，3D表示比2D表示更有效的跟踪，我们获得了最先进的性能。代码和结果可在https://brjathu.github.io/T3DP上获得。
2021-11-15 cs.CV
Multiple People Tracking Using Hierarchical Deep Tracklet Re-identification
Technical University of Munich（慕尼黑工业大学）
单目视频中多人跟踪的任务是具有挑战性的，因为涉及到许多困难：遮挡，变化的环境，拥挤的场景，相机参数和运动。在检测跟踪范式中，大多数方法采用基于计算检测之间的成对相似性的人重新识别技术。然而，这些技术在处理长期阻塞方面效果较差。相比之下，tracklet（一系列检测）重新识别可以提高关联精度，因为tracklet提供了更丰富的视觉外观和时空线索。在本文中，我们提出了一个跟踪框架，采用分层聚类机制合并tracklet。为此，通过利用新颖的多级深度网络来执行轨迹片段重新识别，该多级深度网络可以联合推理一对轨迹片段的视觉外观和时空属性，从而提供亲和力的鲁棒测量。在具有挑战性的MOT16和MOT17基准测试上的实验结果表明，我们的方法明显优于最先进的方法。
2018-11-17 cs.CV
Enhancing Multi-Camera People Tracking with Anchor-Guided Clustering and Spatio-Temporal Consistency ID Re-Assignment
University of Washington（华盛顿大学）；Electronics and Telecommunications Research Institute（电子与电信研究所）；National Center for High-Performance Computing（国家高性能计算中心）
提出一种结合锚定引导聚类与时空一致性的多摄像机多人员跟踪方法，在CVPR AI City Challenge 2023上以95.36% IDF1获第一名。
2023-06-18 cs.CV
Multi-Camera Industrial Open-Set Person Re-Identification and Tracking
University of Verona（维罗纳大学）
针对工业监控中的开集、多摄像头与实时挑战，提出模块化 MICRO-TRACK 行人重识别跟踪系统，并发布含 8 路摄像头、18 分钟视频的 Facility-ReID 数据集。
2024-09-05 cs.CV
Tracking People by Predicting 3D Appearance, Location & Pose
UC Berkeley（加州大学伯克利分校）
在本文中，我们提出了一种方法来跟踪人在单目视频中，通过预测他们未来的3D表示。为了实现这一目标，我们首先以稳健的方式将人从单个帧提升到3D。该提升包括关于人的3D姿势、他或她在3D空间中的位置以及3D外观的信息。当我们跟踪一个人时，我们会在tracklet表示中收集随时间变化的3D观察结果。考虑到我们观察的3D性质，我们为前面的每个属性构建时间模型。我们使用这些模型来预测轨迹的未来状态，包括3D位置，3D外观和3D姿态。对于未来的帧，我们以概率的方式计算轨迹片段的预测状态与单帧观测之间的相似性。关联通过简单的匈牙利匹配来解决，匹配用于更新相应的tracklet。我们根据各种基准评估我们的方法，并报告最先进的结果。
2021-12-08 cs.CV
A Low Cost Vision Based Hybrid Fiducial Mark Tracking Technique for Mobile Industrial Robots
University of Jazan（贾赞大学）
机器人视觉领域发展迅速。机器人可以智能地做出反应，并通过感知计算为用户活动提供帮助。由于工业应用提出了人类无法处理的复杂要求，因此需要一种有效的低成本和鲁棒的技术来跟踪移动工业机器人。现有的基于传感器的移动机器人跟踪技术是昂贵的，部署，配置和维护复杂。其中一些还需要专用且通常昂贵的硬件。本文提出了一种低成本的视觉为基础的技术称为混合基准标记跟踪（HFMT）技术的跟踪移动工业机器人。HFMT技术需要现成的硬件（CCD摄像头）和可打印的2-D圆形标记用作基准，用于跟踪预处理器上的移动工业机器人定义的路径。该技术允许机器人跟踪一个预定义的路径，通过使用基准检测右和左转弯的路径和白色地带跟踪路径。HFMT技术的实现和测试的室内移动机器人在我们的实验室机器人在真实环境中导航的实验结果证实了我们的方法简单而鲁棒，可以在人类无法工作的任何恶劣工业环境中采用。
2012-09-29 cs.CV cs.RO
Calibration-Free 3D Multi-Camera People Tracking for Indoor Environment
针对室内环境下多摄像机人体跟踪依赖校准的问题，提出统一无校准3D MCPT框架，集成多种技术，采用姿态引导3D提升策略和全局身份关联方法，在挑战赛中取得53.13%的HOTA分数，为纯视觉3D跟踪建立基线。
2026-07-28 cs.CV
MMPTRACK: Large-scale Densely Annotated Multi-camera Multiple People Tracking Benchmark
Microsoft（微软）
多摄像机跟踪系统在需要高质量跟踪结果的应用中越来越受欢迎，例如无摩擦结账，因为单目多目标跟踪（MOT）系统经常由于遮挡而在混乱和拥挤的环境中失败。多个高度重叠的相机可以通过恢复部分3D信息来显著缓解该问题。然而，创建具有不同相机设置和背景的高质量多相机跟踪数据集的成本限制了该领域的数据集规模。在本文中，我们提供了一个大规模的密集标记的多摄像机跟踪数据集在五个不同的环境与自动注释系统的帮助。该系统使用重叠和校准的深度和RGB相机来构建一个高性能的3D跟踪器，自动生成3D跟踪结果。使用相机参数将3D跟踪结果投影到每个RGB相机视图以创建2D跟踪结果。然后，我们手动检查和纠正3D跟踪结果，以确保标签质量，这比完全手动标注便宜得多。我们使用两个实时多摄像头跟踪器和一个具有不同设置的人重新识别（ReID）模型进行了广泛的实验。该数据集为杂乱和拥挤环境中的多摄像头、多目标跟踪系统提供了更可靠的基准。此外，我们的研究结果表明，在此数据集上调整跟踪器和ReID模型可以显着提高其性能。我们的数据集将在接受这项工作后公开发布。
2021-11-30 cs.CV
Object detection and tracking benchmark in industry based on improved correlation filter
Beihang University（北京航空航天大学）；Shenzhen Academy of Aerospace Technology（深圳航天科技创新研究院）
实时目标检测和跟踪已被证明是工业4.0应用智能生产的基础。在复杂的工业环境中，数据失真的情况很多，这是一个具有挑战性的任务.相关滤波器（CF）被用来权衡低成本的计算和高性能。然而，传统的CF训练策略对于各种工业数据不能获得满意的性能，因为训练过程中的简单采样（装袋）在具有较大多样性的数据空间中不会找到精确解。在本文中，我们提出了基于Dijkstra距离的相关滤波器（DBCF），它建立了一个新的学习框架，嵌入分布相关的约束到多通道相关滤波器（MCCF）。DBCF能够处理工业数据中存在的巨大变化，通过改进这些约束，基于所有解决方案中的最短路径。为了评估DBCF，我们建立了一个新的数据集作为工业4.0应用的基准。大量的实验表明，DBCF产生高性能，超过了国家的最先进的方法。数据集和源代码可以在https://github.com/bczhangbczhang上找到
2018-06-12 cs.CV
Tracking Gaze and Visual Focus of Attention of People Involved in Social Interaction
INRIA Grenoble Rhône-Alpes（法国国家信息与自动化研究所格勒诺布尔-罗纳-阿尔卑斯分部）；Dailymotion（每日运动）
注意力的视觉焦点（VFOA）被认为是一个突出的会话线索。我们有兴趣估计和跟踪与多方社交互动相关的VFOA。我们注意到，在这种情况下，参与者要么看着对方，要么看着感兴趣的物体;因此，他们的眼睛并不总是可见的。因此，凝视和VFOA估计都不能基于眼睛检测和跟踪。我们提出了一种方法，利用眼睛凝视和头部运动之间的相关性。VFOA和凝视都被建模为贝叶斯切换状态空间模型中的潜变量。所提出的配方导致一个易于处理的学习过程和一个有效的算法，同时跟踪凝视和视觉焦点。该方法使用两个公开的数据集进行测试和基准测试，这些数据集包含典型的多方人-机器人和人-人交互。
2017-11-21 cs.CV
LDTrack: Dynamic People Tracking by Service Robots using Diffusion Models
针对机器人跟踪动态人员的难题，提出基于条件潜在扩散模型的LDTrack架构，通过时空特征提取与细化，在拥挤环境中显著提升跟踪精度与准确性。
2024-11-06 cs.CV cs.RO
A Multilevel Strategy to Improve People Tracking in a Real-World Scenario
Federal University of Paraná（巴拉那联邦大学）；Federal University of Ceará（塞阿拉联邦大学）；University of Beira Interior（贝拉内斯大学）；National Institute of Criminalistics, Brazilian Federal Police（巴西联邦警察国家刑事科学研究所）
本文针对真实场景创建了UFPR-Planalto801行人跟踪数据集，并提出一种多级层次结构方法结合SOTA跟踪器以纠正轨迹ID关联，使所有实验跟踪器的IDF1分数提升达9.5%。
2024-04-29 cs.CV
Detecting Invisible People
Carnegie Mellon University（卡内基梅隆大学）；Argo AI
单目目标检测和跟踪近年来有了很大的改进，但依赖于一个关键的假设：目标对相机是可见的。许多离线跟踪方法通过在对象重新出现后将轨迹片段链接在一起，利用重新识别（ReID）来事后推断被遮挡的对象。然而，嵌入式机器人代理（如自动驾驶车辆）的在线跟踪从根本上需要对象永久性，即在被遮挡的对象重新出现之前对其进行推理的能力。在这项工作中，我们重新定位跟踪基准，并提出了新的指标检测不可见的对象的任务，专注于说明性的情况下的人。我们证明，目前的检测和跟踪系统执行这项任务显着恶化。我们引入了两个关键的创新，以恢复大部分的性能下降。我们将时间序列中的遮挡目标检测视为短期预测挑战，从动态序列预测中引入工具。其次，我们建立动态模型，明确的原因在3D中，利用国家的最先进的单眼深度估计网络产生的意见。据我们所知，我们的工作是第一次证明单目深度估计的跟踪和检测被遮挡物体的任务的有效性。我们的方法在消融方面比基线显著提高了11.4%，在F1评分方面比最新技术水平提高了5.0%。
2020-12-15 cs.CV
LAMP: Localization Aware Multi-camera People Tracking in Metric 3D World
Meta Reality Labs Research（Meta现实实验室）
LAMP提出一种新颖简单框架，通过早期解耦观察者与目标运动，解决多摄像头视角下3D人体跟踪问题，实现动态视角下的高效跟踪。
2026-05-06 cs.CV
Development of a Realistic Crowd Simulation Environment for Fine-grained Validation of People Tracking Methods
Silesian University of Technology（西里西亚工业大学）；Institute of Information Science and Technologies, National Research Council（国家研究委员会信息科学与技术研究所）；QSystems.pro sp. z o.o.（QSystems.pro有限责任公司）；Blees sp. z o.o.（Blees有限责任公司）；Silesian University（西里西亚大学）
本文基于 Unity 3D 开发人群仿真扩展 CrowdSim2，通过增强环境、天气、交通和智能体运动真实性生成数据集，并利用 IOU-Tracker、Deep-Sort 与 Deep-TAMA 验证其用于人员跟踪算法评估的可用性。
2023-04-26 cs.CV
People Tracking and Re-Identifying in Distributed Contexts: Extension Study of PoseTReID
University of Mons（蒙斯大学）；Institute of Technology of Cambodia（柬埔寨理工学院）
在我们以前的论文中，我们介绍了PoseTReID，这是一个通用的框架，用于实时的2D多人跟踪在分布式交互空间，长期的人的身份是重要的其他研究，如行为分析等，在本文中，我们介绍了进一步研究的PoseTReID框架，以提供一个更完整的理解框架。我们使用一个著名的限界框检测器YOLO（v4）进行检测，以与我们上一篇论文中使用的OpenPose进行比较，我们使用SORT和DeepSORT与之前使用的质心进行比较，最重要的是，对于重新识别，我们使用了一系列深度学习方法，如MLFN，OSNet，和OSNet-AIN与我们的自定义分类层进行比较，FaceNet也在我们的上一篇论文中使用。通过对我们的PoseTReID数据集进行评估，尽管这些深度学习重新识别方法仅用于跨多个摄像机或视频的短期重新识别，但值得证明的是，它们提供了令人印象深刻的结果，无论跟踪方法的类型如何，都可以提高PoseTReID框架的整体跟踪性能。与此同时，我们还介绍了我们的研究友好和开源Python工具箱pyppbox，它完全用Python编写，包含本研究中使用的所有子模块以及对我们的PoseTReID数据集的实时在线和离线评估。这个pyppbox可以在GitHub https://github.com/rathaumons/pyppbox上找到。
2022-05-25 cs.CV
Real-time 3D Deep Multi-Camera Tracking
Microsoft Cloud & AI（微软云与人工智能）
使用多个RGB相机在3D中跟踪人群是一项具有挑战性的任务。以往的多摄像机跟踪算法大多是针对离线设置而设计的，具有较高的计算复杂性。鲁棒的实时的【形】多摄像机3D跟踪仍然是一个未解决的问题。在这项工作中，我们提出了一种新的端到端跟踪管道，深度多摄像机跟踪（DMCT），它实现了可靠实时的【形】多摄像机人跟踪。我们的DMCT包括1）一个快速和新颖的透视感知的Deep GroudPoint网络，2）一个用于地面占用热图估计的融合过程，3）一个用于人员检测的新型Deep Glimpse网络和4）一个快速准确的在线跟踪器。我们的设计充分释放了深度神经网络的力量，可以估计每个彩色图像中每个人的“地面点”，可以优化以高效稳健地运行。我们的融合过程，一瞥网络和跟踪器合并来自不同视图的结果，使用多个视频帧找到候选人，然后在融合的热图上跟踪人。我们的系统在保持实时的【形】性能的同时，达到了最先进的跟踪结果。除了对具有挑战性的WILDTRACK数据集进行评估外，我们还从两个不同的环境和相机设置中收集了两个具有高质量标签的跟踪数据集。我们的实验结果证实，我们提出的实时的【形】管道提供了优越的结果，以前的方法。
2020-03-26 cs.CV
Multi-view Tracking Using Weakly Supervised Human Motion Prediction
EPFL（洛桑联邦理工学院）；Tencent（腾讯）
在拥挤的场景中，多视角的人跟踪方法比单视角的人跟踪方法有可能更好地处理遮挡。它们通常依赖于通过检测进行跟踪的模式，即首先检测人，然后将检测结果连接起来。在本文中，我们认为，一个更有效的方法是预测随着时间的推移的人的运动，并推断出人的存在，从这些个别帧。这使得能够在时间上和跨单个时间帧的视图两者实施一致性。我们在PETS 2009和WILDTRACK数据集上验证了我们的方法，并证明它优于最先进的方法。
2022-10-19 cs.CV cs.LG
Real-Time AI-Driven People Tracking and Counting Using Overhead Cameras
Singapore University of Technology and Design（新加坡科技设计大学）；Nanyang Technological University（南洋理工大学）；University of Moratuwa（莫拉图瓦大学）
针对智能建筑和交通系统中大量人群计数准确性下降的问题，本研究提出结合新目标跟踪算法、新计数算法和微调目标检测模型的方法，在低功耗边缘设备上实现97%准确率的实时人数计数。
2024-11-15 cs.AI cs.CV
Total Capture: A 3D Deformation Model for Tracking Faces, Hands, and Bodies
Carnegie Mellon University（卡内基梅隆大学）
我们提出了一个统一的变形模型，用于无标记地捕获多尺度的人体运动，包括面部表情，身体运动和手势。通过将人体各个部分的模型局部拼接在一起来生成初始模型，我们将其称为“弗兰肯斯坦”模型。该模型能够通过单个无缝模型完整地表达部分运动，包括面部和手部。使用大规模捕捉穿着日常服装的人，我们优化弗兰肯斯坦模型以创建“亚当”。Adam是一个经过校准的模型，与初始模型共享相同的骨架层次结构，但可以表达头发和衣服的几何形状，使其可以直接用于拟合人们在日常生活中通常出现的样子。最后，我们展示了使用这些模型的总运动跟踪，同时捕捉大规模的身体运动和微妙的面部和手部运动的一个社会群体的人。
2018-01-05 cs.CV
Non-line-of-sight tracking of people at long range
Heriot-Watt University（赫瑞-瓦特大学）
能够确定隐藏物体位置的遥感系统在许多关键的现实生活场景中有应用，例如搜索和救援任务以及安全的自动驾驶。以前的工作已经表明，有能力范围和图像的对象隐藏在直接视线，采用先进的光学成像技术，旨在在短距离的小物体。在这项工作中，我们展示了一个远程跟踪系统的基础上单激光照明和单像素单光子检测。这使我们能够跟踪一个或多个人隐藏在视野中超过50米的距离。这些结果为下一代LiDAR系统铺平了道路，该系统不仅可以重建直视场景，还可以重建隐藏在墙壁或角落后面的主要元素。
2017-03-02 cs.CV physics.ins-det
Learning to Detect and Track Visible and Occluded Body Joints in a Virtual World
University of Modena and Reggio Emilia（摩德纳和雷焦艾米利亚大学）
开放世界环境中的多人跟踪需要在精确检测方面做出特殊努力。此外，在检测阶段的时间连续性获得更重要的场景杂波引入了具有挑战性的问题，遮挡目标。为此，我们提出了一种深度网络架构，该架构可以联合提取人的身体部位，并在短时间内将它们关联起来。我们的模型明确地处理被遮挡的身体部位，通过对不可见的关节产生幻觉来解决问题。我们提出了一种新的端到端架构，由四个分支（可见热图，遮挡热图，部分亲和字段和时间亲和字段）由时间链接器特征提取器提供。为了克服缺乏跟踪，身体部位和遮挡注释的监控数据，我们通过利用逼真的视频游戏创建了最广泛的计算机图形数据集，用于在城市场景中进行人员跟踪。它是迄今为止最庞大的人体部位数据集（约50万帧，近1000万个人体姿势），用于城市场景中的人体跟踪。当图像分辨率和清晰度足够高时，我们在虚拟数据上训练的架构在公共真实跟踪基准上也表现出良好的泛化能力，从而产生可用于进一步批量数据关联或re-id模块的可靠tracklet。
2018-09-18 cs.CV
Understanding Sensor Vulnerabilities in Industrial XR Tracking
City University of New York（纽约城市大学）
本文研究了工业XR跟踪中传感器退化对VIO的影响，发现视觉退化导致厘米级误差，而惯性退化可能引发数百至数千米的轨迹偏移，强调了对惯性可靠性的重视。
2026-02-16 cs.CV cs.RO
Features for Multi-Target Multi-Camera Tracking and Re-Identification
Duke University（杜克大学）
多目标多摄像机跟踪（MTMCT）通过从多个摄像机拍摄的视频跟踪多个人。人重新识别（Re-ID）从图库中检索与人查询图像相似的人的图像。我们用卷积神经网络学习MTMCT和Re-ID的好特征。我们的贡献包括自适应加权三重损失的训练和硬身份挖掘的新技术。我们的方法优于最先进的DukeMTMC基准跟踪，并在市场-1501和DukeMTMC-ReID基准Re-ID。我们检查良好的Re-ID和良好的MTMCT分数之间的相关性，并进行消融研究，以阐明我们的系统的主要组成部分的贡献。代码可用。
2018-03-28 cs.CV
No Identity, no problem: Motion through detection for people tracking
EPFL（洛桑联邦理工学院）
本文提出一种无需身份标注的行人跟踪方法，通过预测两时刻检测热图及二维运动估计，利用热图变形一致性为运动提供监督信号，在MOT17和WILDTRACK上取得最先进结果。
2024-11-25 cs.CV cs.LG
People Tracking in Panoramic Video for Guiding Robots
University of Padova（帕多瓦大学）
本文提出一组针对性方法，将标准人员检测与跟踪流水线适配至全景视频，解决大图像尺寸、柱面投影畸变及周期性等挑战，并在真实引导机器人上验证其优于现有系统，同时开源数据集与代码。
2022-06-06 cs.CV cs.RO
leave a trace - A People Tracking System Meets Anomaly Detection
Humboldt-Universität zu Berlin（柏林洪堡大学）；German Aerospace Center（德国航空航天中心）
视频监控总是有负面的含义，除其他外，因为失去隐私，因为它可能不会自动增加公共安全。如果它能够实时的、自主的、匿名的检测非典型（即危险）情况，这一点可能会改变。其先决条件是从视频数据中可靠地自动检测可能的危险情况。这通常通过对象提取和跟踪来完成。从导出的轨迹中，我们希望通过检测非典型轨迹来确定危险情况。然而，出于道德考虑，最好是在没有人受到威胁甚至伤害的情况下开发这样一个数据系统，再加上让他们知道安装了这样一个跟踪系统。另一个重要的问题是，这些情况在真实的公共闭路电视区域中并不经常发生，甚至可能更少被正确捕捉到。在艺术项目中，被跟踪的对象，机构建筑中庭中的人，成为演员，因此成为装置的一部分。实时可视化允许这些参与者进行交互，这反过来又创造了许多非典型的交互情况，我们可以在这些情况下发展我们的情况检测。数据集经过三年的发展，因此是巨大的。在这篇文章中，我们描述了跟踪系统和几种方法检测非典型轨迹。
2017-07-20 cs.CV cs.MM
ArtTrack: Articulated Multi-person Tracking in the Wild
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Saarland Informatics Campus（萨尔兰信息学园区）
在本文中，我们提出了一种方法，在不受约束的视频多人的关节式跟踪。我们的出发点是一个类似于现有单帧姿态估计架构的模型，但速度要快得多。我们通过两种方式实现这一点：（1）通过简化和稀疏化身体部位关系图，并利用最新的方法进行更快的推理，以及（2）通过将大量计算分担到前馈卷积架构上，该架构即使在混乱中也能够检测和关联同一个人的身体关节。我们使用这个模型来生成身体关节位置的建议，并制定了这样的建议的时空分组铰接跟踪。这允许通过时间传播来自强检测的证据并强制每个建议只能分配给一个人的约束来联合解决场景中所有人的关联问题。我们报告了一个公共MPII人体姿势基准测试和一个新的MPII视频姿势图像序列数据集与多个人的结果。我们证明了我们的模型在仅使用一小部分时间的情况下实现了最先进的结果，并且能够利用时间信息来提高拥挤场景的最先进水平。
2017-05-09 cs.CV
Binary Quadratic Programing for Online Tracking of Hundreds of People in Extremely Crowded Scenes
多目标跟踪已经研究了几十年。然而，当涉及到在极其拥挤的场景中跟踪行人时，我们仅限于少数作品。这是一个重要的问题，引起了若干挑战。预先训练的对象检测器无法在拥挤的序列中定位目标。因此，这限制了依赖于对象检测器的结果的基于数据关联的多目标跟踪方法的使用。此外，小的表观目标尺寸使得提取特征以将目标与其周围环境区分开具有挑战性。最后，大量的目标大大增加了计算复杂性，这反过来又使得现有的多目标跟踪方法难以扩展到高密度人群场景。在本文中，我们提出了一个跟踪器，解决了上述问题，并能够有效地跟踪数百人。我们制定在线人群跟踪二进制二次规划。我们的配方采用目标的个人信息的外观和运动的形式，以及上下文线索的形式邻域运动，空间接近和分组的限制，并解决检测和数据关联同时。为了有效地解决所提出的二次优化问题，在最先进的商业二次规划求解器无法在合理的时间内找到答案的情况下，我们建议使用最新版本的修改的Frank Wolfe算法，该算法利用SWAP步骤来加速优化。我们表明，所提出的配方可以有效地跟踪数百个目标，并提高了国家的最先进的结果显着利润率对11个具有挑战性的高密度人群序列。
2016-03-30 cs.CV cs.RO
Real-time Multi-modal Object Detection and Tracking on Edge for Regulatory Compliance Monitoring
The University of Queensland（昆士兰大学）；CSIRO（联邦科学与工业研究组织）
针对工业合规审计中人工和间歇性监控的疏漏问题，提出一种基于边缘AI设备的实时多模态感知系统，采用3D飞行时间和RGB相机结合无监督学习实现连续目标跟踪，并在农业食品刀具消毒场景验证了其抗遮挡和低光能力，可扩展至多种工业监控。
2025-01-31 cs.CV
One Graph to Track Them All: Dynamic GNNs for Single- and Multi-View Tracking
EPFL（苏黎世联邦理工学院）；Invision AI；CSEM（瑞士联邦材料科学与技术研究院）
本文提出了一种动态图神经网络模型，用于单视图和多视图人群跟踪，通过构建动态空间时间图提升遮挡处理能力，并公开了新的大规模数据集以促进研究。
2025-12-30 cs.CV
Iterative Greedy Matching for 3D Human Pose Tracking from Multiple Views
University of Bonn（波恩大学）
在这项工作中，我们提出了一种方法来估计3D人体姿势的多个人从一组校准的相机。从多个视图估计3D人体姿势具有几个引人注目的特性：在全局坐标空间内估计人体姿势，并且多个相机提供扩展的视场，这有助于解决模糊性，遮挡和运动模糊。我们的方法建立在一个实时的2D多人姿态估计系统和greatly解决了多个视图之间的关联问题。我们利用二分匹配来跟踪多个人在多个帧。这证明是特别有效的，因为与贪婪匹配相关的问题，如遮挡，可以很容易地在3D中解决。我们的方法在流行的基准测试中取得了最先进的结果，并可作为未来工作的基线。
2021-01-24 cs.CV
A Two-Stage Detection-Tracking Framework for Stable Apple Quality Inspection in Dense Conveyor-Belt Environments
Interdisciplinary Program in Artificial Intelligence, Seoul National University（人工智能交叉学科项目，首尔国立大学）；Department of Biological Environmental Science, College of Life Science and Biotechnology, Dongguk University（生命科学与生物技术学院生物环境科学系，东国大学）；Department of Food Science and Biotechnology, Dongguk University（食品科学与生物技术系，东国大学）
本文提出了一种两阶段检测跟踪框架，用于在密集传送带环境中实现稳定苹果质量检测，通过YOLOv8和ByteTrack结合缺陷分类器提升检测稳定性。
2026-02-22 cs.CV
Efficient Online Multi-Person 2D Pose Tracking with Recurrent Spatio-Temporal Affinity Fields
Carnegie Mellon University（卡内基梅隆大学）
我们提出了一种在线的方法来有效地，同时检测和跟踪视频序列中的多个人的2D姿态。我们建立在部分亲和场（PAF）表示设计的静态图像，并提出了一个架构，可以编码和预测时空亲和场（STAF）的视频序列。特别是，我们提出了一种新的时间拓扑交叉链接的四肢，可以始终处理身体运动的幅度很大。此外，我们使整个方法在本质上是重复的，其中网络从以前的帧中摄取STAF热图，并估计当前帧的STAF热图。我们的方法只使用在线推理和跟踪，是目前最快和最准确的自下而上的方法，是运行时不变的场景中的人数和精度不变的输入帧速率的相机。它在单GPU上以单规模以$\sim$ 30 fps的速度运行，在PoseTrack基准测试中取得了极具竞争力的结果。
2019-06-12 cs.CV
O-VAD: Industrial Video Anomaly Detection through Object-Centric Tracking and Reasoning
Carnegie Mellon University（卡内基梅隆大学）；University of Alabama at Birmingham（阿拉巴马大学伯明翰分校）；Griffith University（格里菲斯大学）
针对工业视频异常检测，现有基于VLM的方法在工业场景中性能不佳的问题，提出无训练的智能框架O-VAD，通过跟踪对象时空动态和推理状态轨迹来检测异常，在多数据集实验中优于多种方法且能提供可解释报告。
2026-07-21 cs.AI cs.CL cs.CV
Tracking-by-Counting: Using Network Flows on Crowd Density Maps for Tracking Multiple Targets
多目标跟踪（MOT）方法遵循检测跟踪范式，其中通过关联目标检测器的每帧输出来获得目标轨迹。然而，在拥挤的场景中，由于严重的遮挡和高人群密度，检测器往往无法获得准确的检测。在本文中，我们提出了一个新的MOT范式，跟踪计数，适合拥挤的场景。使用人群密度图，我们联合模型的检测，计数和跟踪的多个目标作为一个网络流程序，同时发现全局最优的检测和轨迹的多个目标在整个视频。这是在以前的MOT方法，要么忽略人群密度，从而容易在拥挤的场景中的错误，或依赖于一个次优的两步过程中使用启发式密度感知点跟踪匹配targets.We的方法产生有希望的结果，公共基准的各个领域，包括人跟踪，细胞跟踪，鱼跟踪。
2020-07-18 cs.CV
Tracking the industrial growth of modern China with high-resolution panchromatic imagery: A sequential convolutional approach
New York University（纽约大学）；William & Mary（威廉玛丽学院）
本研究针对单个厂区工业增长缺乏深度学习估算方法的问题，提出基于高分辨率全色影像的多层计算机视觉框架，通过两种方法估算中国419个工业厂区的发展，验证了日间高分辨率影像可有效估算工业发展的两个维度。
2024-05-17 cs.CV cs.CY cs.LG
Detection, Recognition, and Tracking: A Survey
对于人类来说，目标检测、识别和跟踪是与生俱来的。这些为人类提供感知其环境和其环境中的对象的能力。然而，这种能力在计算机中并不适用。在计算机视觉和多媒体中，检测、识别和跟踪图像和/或视频中的对象变得越来越重要。这些应用中的许多应用，诸如面部识别、监视、动画，用于跟踪特征和/或人。然而，这些任务对计算机来说是一个挑战，因为有大量的数据需要解析。因此，需要许多技术和算法，并因此研究试图实现类似人类的感知。在这篇文献综述中，我们集中在目标检测和识别的一些新技术，以及如何将跟踪算法应用于检测到的特征来跟踪目标的运动。
2022-03-22 cs.CV
Self-supervised Multi-view Person Association and Its Applications
Carnegie Mellon University（卡内基梅隆大学）；Uber ATG（优步先进技术集团）；Adobe Research（奥多比研究院）；Amazon Lab 126（亚马逊Lab 126）
由于频繁的遮挡、强烈的视点和外观变化以及异步视频流，从多个移动摄像机对参与复杂群体活动的人进行可靠的无标记运动跟踪是具有挑战性的。为了解决这个问题，同一个人跨遥远的观点和时间实例的可靠关联是必不可少的。我们提出了一个自我监督的框架，通过利用运动跟踪，互斥约束和多视图几何形状来适应一个通用的人的外观描述符的未标记的视频。适应判别描述符中使用的跟踪聚类公式。我们验证了描述符学习在WILDTRACK [14]和三个新的复杂社交场景上的有效性，这些场景由多个摄像机拍摄，最多有60人“在野外”。我们报告了关联准确性（高达18%）和稳定连贯的3D人体骨骼跟踪（5至10倍）的基线显着改善。使用重建的3D骨架，我们将输入视频切割成多角度视频，其中指定人物的图像从最佳可见的前置摄像头显示。我们的算法检测人与人之间的遮挡，以确定相机切换时刻，同时仍然保持良好的动作流。
2020-04-18 cs.CV
CoMotion: Concurrent Multi-person 3D Motion
Apple（苹果公司）
提出CoMotion方法，通过单目相机流实现多人3D姿态检测与跟踪，结合逐帧检测和姿态更新处理遮挡，经多数据集训练，3D姿态精度达SOTA且跟踪速度与准确性更优，提供代码与权重。
2025-04-16 cs.CV cs.LG
CIAGAN: Conditional Identity Anonymization Generative Adversarial Networks
Technical University Munich（慕尼黑工业大学）；University of Venice（威尼斯大学）
计算机视觉技术在社会中的使用空前增加，与此同时，人们对数据隐私的担忧也在增加。在许多现实世界的场景中，如人员跟踪或动作识别，重要的是能够处理数据，同时仔细考虑保护人员的身份。我们提出并开发了CIAGAN，一种基于条件生成对抗网络的图像和视频匿名化模型。我们的模型能够去除面部和身体的识别特征，同时生成高质量的图像和视频，可用于任何计算机视觉任务，如检测或跟踪。与以前的方法不同，我们可以完全控制去识别（匿名化）过程，确保匿名化和多样性。我们将我们的方法与几个基线进行比较，并获得了最先进的结果。
2020-11-30 cs.CV
LIFT OFF: LoRaWAN Installation and Fiducial Tracking Operations for the Flightline of the Future
Naval Air Warfare Center Aircraft Division Lakehurst（海军航空作战中心飞机分部莱克赫斯特站）
针对GPS在飞行线受限的问题，提出混合框架LIFT OFF，结合机器视觉、GPS与LoRaWAN实现人员、设备和飞机的实时位置感知，并验证了其有效性。
2023-11-27 cs.CV
Trajectory Prediction in Dynamic Object Tracking: A Critical Study
本文批判性综述了动态目标跟踪中轨迹预测的各类方法及其应用，指出现存挑战，并提出多模态融合与上下文感知等未来研究方向。
2025-06-24 cs.CV
An Event-based Fast Movement Detection Algorithm for a Positioning Robot Using POWERLINK Communication
Universitat de Valencia（瓦伦西亚大学）
本工作开发了一个基于事件的摄像机的跟踪系统。在FPGA中实现了一种生物启发滤波算法，在保持场景主要特征的同时，降低了噪声和传输数据。采用POWERLINK IEEE 61158工业网络实现FPGA与控制器的通信，控制器与自主开发的双轴伺服控制机器人相连。FPGA包括网络协议，以将基于事件的摄像机集成为任何其他现有网络节点。机器人的逆运动学包含在控制器中。此外，另一个网络节点用于控制气动阀以不同的速度和轨迹吹球。为了完成系统并提供比较，传统的基于框架的相机也连接到控制器。用于跟踪系统的成像数据从基于事件或基于帧的相机获得。实验结果表明，该机器人能够利用快速图像识别准确地跟踪球，具有基于事件系统的固有优势（尺寸、价格、功耗）。该作品展示了新设备和算法的开发如何高效地集成到工业系统中，将商用工业设备与新设备融合，使新技术快速进入工业领域。
2017-07-22 cs.CV cs.RO
An Intelligent and Low-cost Eye-tracking System for Motorized Wheelchair Control
School of Engineering, University of Maryland（马里兰大学工程学院）；College of Engineering, Qatar University（卡塔尔大学工程学院）；University of Dhaka（达卡大学）
在34个发达国家和156个发展中国家中，约有1.32亿残疾人需要轮椅，占世界人口的1.86%。此外，还有数以百万计的人患有与运动障碍有关的疾病，导致无法在任何肢体甚至头部进行控制运动。本文提出了一种系统，通过恢复他们的能力，有效地和毫不费力地移动，而不必依靠他人使用眼睛控制的电动轮椅来帮助运动障碍的人。系统输入是用户眼睛的图像，这些图像被处理以估计注视方向，并且轮椅相应地移动。为了实现这一壮举，开发、实施和测试了四种用户特定的方法;所有这些方法都基于作者创建的基准数据库。前三种技术是自动的，采用相关性，是模板匹配的变体，而最后一种使用卷积神经网络（CNN）。不同的指标，定量评估每种算法的准确性和延迟方面的性能进行了计算和整体比较。CNN表现出最好的性能（即99.3%的分类准确度），因此它是用于控制轮椅运动的凝视估计器的选择模型。该系统进行了仔细评估，在8个科目实现99%的准确性，在不同的照明条件下，室外和室内。这需要修改机动轮椅以使其适应视线估计算法输出的预测。轮椅控制可以绕过凝视估计器做出的任何决定，如果测量的距离低于明确定义的安全裕度，则在一系列接近传感器的帮助下立即停止其运动。
2020-05-02 cs.CV cs.HC
