Multiple Human Tracking using Multi-Cues including Primitive Action Features
KDDI Research, Inc.（KDDI综合研究所）；Graduate School of Informatics, Nagoya University（名古屋大学信息学研究科）
在本文中，我们提出了一个多人跟踪方法使用多线索，包括原始动作特征（MHT-PAF）。MHT-PAF可以在无人机拍摄的动态空中视频中执行精确的人体跟踪。PAF采用全局上下文、多标签动作的丰富信息和中间层特征。使用PAF的准确的人体跟踪结果有助于基于多帧的动作识别。在实验中，我们使用Okutama-Action数据集验证了所提出的方法的有效性。我们的代码可在线获取。
2019-09-18 cs.CV cs.RO
Simple Cues Lead to a Strong Multi-Object Tracker
Technical University of Munich（慕尼黑工业大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；NVIDIA（英伟达）
本文研究传统 TbD 多目标跟踪能否媲美端到端模型，通过两项改进增强标准重识别网络，并结合简单运动模型，在四个公开数据集上达到最先进性能。
2023-04-26 cs.CV
Object Tracking by Detection with Visual and Motion Cues
FZI Research Center for Information Technology（FZI信息技术研究中心）
自动驾驶汽车和其他自动驾驶车辆需要检测和跟踪摄像头图像中的物体。我们提出了一个简单的在线跟踪算法，是基于一个恒定的速度运动模型与卡尔曼滤波器，和分配启发式。分配启发式依赖于四个度量：描述对象的外观并可用于重新识别它们的嵌入向量，描述两个连续视频帧之间的对象移动的位移向量，卡尔曼滤波器状态和新检测之间的Mahalanobis距离，以及类距离。这些指标与线性SVM相结合，然后通过匈牙利算法解决分配问题。我们还提出了一个有效的CNN架构，估计这些指标。我们的多帧模型接受两个连续的视频帧，这是单独处理的骨干，然后光流估计的结果特征图。这允许网络头估计位移向量。我们在具有挑战性的BDD 100K跟踪数据集上评估了我们的方法。我们的多帧模型在MOTP中实现了39.1%的良好MOTA值和0.206的低定位误差。我们的快速单帧模型在MOTP中实现了更低的定位误差0.202，MOTA值为36.8%。
2021-01-19 cs.CV
MambaLCT: Boosting Tracking via Long-term Context State Space Model
Guangxi Normal University（广西师范大学）；Wuzhou University（梧州学院）；University of Chinese Academy of Sciences（中国科学院大学）
针对目标跟踪中上下文长度受限的问题，提出MambaLCT，利用单向Context Mamba模块沿时间维度扫描并聚合全序列目标变化线索至隐状态空间，注入注意力机制增强跟踪稳定性，在六个基准上实现SOTA且保持实时速度。
2024-12-18 cs.CV
Joint Spatial-Temporal Optimization for Stereo 3D Object Tracking
The Hong Kong University of Science and Technology（香港科技大学）
直接从序列图像中学习多个三维目标的运动是困难的，而几何光束法平差缺乏定位不可见目标质心的能力。为了利用深度神经网络强大的目标理解能力，同时解决精确的几何建模以实现一致的轨迹估计，我们提出了一种基于时空联合优化的立体3D目标跟踪方法。从网络中，我们检测相邻图像上的相应的2D边界框，并回归初始3D限界框。然后使用基于区域的网络预测与对象质心相关联的密集对象线索（局部深度和局部坐标）。同时考虑到即时定位精度和运动一致性，我们的优化模型之间的关系的对象质心和观察到的线索到一个联合的时空误差函数。所有的历史线索将被总结，以有助于通过每帧边缘化策略的当前估计，而无需重复计算。KITTI跟踪数据集的定量评估表明，我们的方法优于以前的基于图像的3D跟踪方法的显着利润率。我们还报告了多个类别和更大数据集（KITTI raw和Argoverse Tracking）的广泛结果，以供未来的基准测试。
2020-04-20 cs.CV
PD-SORT: Occlusion-Robust Multi-Object Tracking Using Pseudo-Depth Cues
School of Computer Science and Technology, Zhejiang Normal University（浙江师范大学计算机科学与技术学院）
本文提出PD-SORT，通过引入伪深度状态、深度体积IoU和量化伪深度测量策略，增强多目标跟踪在遮挡场景下的关联性能，在DanceTrack、MOT17和MOT20上取得领先结果。
2025-01-20 cs.CV
FusionSORT: Fusion Methods for Online Multi-object Visual Tracking
School of Computer Science and Informatics（计算机科学与信息学学院）；De Montfort University（德蒙福特大学）
本文研究多目标视觉跟踪中检测与轨迹关联的融合策略，系统比较最小值、IoU 加权求和、KF 门控和代价 Hadamard 乘积四种方法，并在 MOT17、MOT20 与 DanceTrack 上验证其影响。
2025-05-10 cs.CV
Spatial-Temporal Relation Networks for Multi-Object Tracking
Microsoft Research Asia（微软亚洲研究院）；Hong Kong University of Science and Technology（香港科技大学）；Tsinghua University（清华大学）
多目标跟踪（MOT）的最新进展表明，一个强大的相似性得分是成功的跟踪器的关键。期望良好的相似性分数反映长时间段内的多个线索，例如外观、位置和拓扑。然而，这些线索是异构的，使得它们很难被组合在一个统一的网络中。因此，现有的方法通常将它们编码在单独的网络中，或者需要复杂的训练方法。在本文中，我们提出了一个统一的框架相似性测量，可以同时编码各种线索，并执行跨空间和时间域的推理。我们还深入研究了tracklet对象对的特征表示，表明对特征的适当设计可以很好地增强跟踪器。由此产生的方法被命名为时空关系网络（STRN）。它以前馈方式运行，可以以端到端的方式进行训练。使用公共检测和在线设置，在所有MOT 15 -17基准上实现了最先进的准确性。
2019-04-25 cs.CV
Multiple Object Tracking with Motion and Appearance Cues
School of Information and Communication Engineering, Xi’an Jiaotong University（西安交通大学信息与通信工程学院）
近年来，由于视频质量的提高和帧速率的提高，多目标跟踪问题的性能得到了很大的改善。然而，在实际应用场景中，摄像机运动和每帧检测结果的噪声会显着降低跟踪器的性能。高速、高质量的多目标跟踪器仍然是迫切需要的。在本文中，我们提出了一个新的多目标跟踪器以下流行的检测跟踪计划。我们用光流网络来处理摄像机的运动问题，并利用辅助跟踪器来处理丢失检测问题。此外，我们使用的外观和运动信息，以提高匹配质量。在VisDrone-MOT数据集上的实验结果表明，该方法在实现高效率的同时，显著提高了多目标跟踪的性能。
2019-09-01 cs.CV eess.IV
Segment Anything with Motion, Geometry, and Semantic Adaptation for Complex Nonlinear Visual Object Tracking
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Department of Automation, Tsinghua University（清华大学自动化系）
本文提出SAMOSA框架，通过显式利用运动、几何和语义线索，改进SAM 2在复杂非线性视觉目标跟踪中的表现，实现了更鲁棒和通用的跟踪方法。
2026-05-21 cs.CV
Prediction-Tracking-Segmentation
Carnegie Mellon University（卡内基梅隆大学）
提出了一种基于预测驱动的视频视觉跟踪和分割方法。我们建立了一个预测模型来指导有效地找到更准确的跟踪区域，而不是仅仅依赖于与外观线索的匹配来进行跟踪。与建议的预测机制，我们提高了模型的鲁棒性，对分心和遮挡跟踪过程中。我们不仅在视觉跟踪任务（VOT 2016和VOT 2018）上，而且在视频分割数据集（DAVIS 2016和DAVIS 2017）上都证明了最先进方法的显著改进。
2019-04-05 cs.CV
An Angular-Temporal Interaction Network for Light Field Object Tracking in Low-Light Scenes
Engineering Research Center of Learning-Based Intelligent System (Ministry of Education)（教育部学习驱动智能系统工程研究中心）；key Laboratory of Computer Vision and System (Ministry of Education)（教育部计算机视觉与系统重点实验室）；School of Computer Science and Engineering, Tianjin University of Technology（天津工业大学计算机科学与工程学院）
提出一种光场极线平面结构图像表示和角-时交互网络，通过显式建模几何结构和自监督优化，在低光场景下实现高效目标跟踪，性能达到最优。
2026-06-19 cs.CV
Beyond Pixels: Leveraging Geometry and Shape Cues for Online Multi-Object Tracking
IIIT Hyderabad（海得拉巴国际信息技术学院）；Mila, Universite de Montreal（蒙特利尔大学米拉研究所）
本文介绍了城市驾驶场景中多目标跟踪的几何和对象形状和姿态成本。单独使用单目摄像机的图像，我们设计成对的成本对象的轨道，基于几个3D线索，如对象的姿势，形状和运动。所提出的成本对于数据关联方法是不可知的，并且可以被并入任何优化框架中以输出成对数据关联。这些成本很容易实现，可以实时计算，并相互补充，以解决检测跟踪框架中可能出现的错误。我们进行了广泛的分析设计成本和经验证明一致的改进，在不同的条件下，采用了一系列的对象检测器的最先进的，表现出各种相机和对象的运动，更重要的是，不依赖于选择的关联框架。我们还表明，通过使用最简单的关联框架（两帧匈牙利分配），我们超越了国家的最先进的道路场景中的多目标跟踪。更多的定性和定量结果可以在以下URL中找到：https://junaidcs032.github.io/Geometry_ObjectShape_MOT/。
2018-07-27 cs.CV cs.RO
Visual Tracking via Boolean Map Representations
Nanjing University of Information Science and Technology（南京信息工程大学）；University of California（加利福尼亚大学）
在本文中，我们提出了一个简单而有效的布尔地图为基础的表示，利用连接线索的视觉跟踪。我们描述了一个目标对象与直方图的方向梯度和原始的颜色特征，其中每一个是由一组布尔映射的特点是通过均匀的阈值产生的值。布尔映射有效地编码具有不同粒度的目标的多尺度连接线索。细粒度的布尔映射捕捉空间结构的细节，是有效的精确的目标定位，而粗粒度的编码的全局形状信息，是强大的大目标外观变化。最后，所有的布尔映射一起形成一个强大的表示，可以近似由一个明确的特征映射的交集内核，这是一个逻辑回归分类器与在线更新，并估计目标位置的粒子滤波框架内。所提出的表示方案是计算效率高，有利于实现良好的性能方面的准确性和鲁棒性对国家的最先进的跟踪方法在一个大的基准数据集的50个图像序列。
2016-10-30 cs.CV
Object Tracking by Jointly Exploiting Frame and Event Domain
Dalian University of Technology（大连理工大学）；SRI International（斯坦福国际研究院）
受传统的基于帧的相机和生物启发的基于事件的相机之间的互补性的启发，我们提出了一种基于多模态的方法来融合来自帧域和事件域的视觉线索，以增强单对象跟踪性能，特别是在退化条件下（例如，具有高动态范围、低亮度和快速运动对象的场景）。所提出的方法可以有效地和自适应地结合有意义的信息，从两个领域。我们的方法的有效性是加强了一种新的设计跨域注意力计划，它可以有效地提高功能的基础上自我和跨域注意力计划的自适应性是由一个专门设计的加权方案，它可以自适应地平衡两个域的贡献。为了在单目标跟踪中利用基于事件的视觉线索，我们构建了一个大规模的基于帧事件的数据集，我们随后采用训练一个新的基于帧事件融合的模型。大量的实验表明，所提出的方法优于国家的最先进的基于帧的跟踪方法至少10.4%和11.9%的代表性的成功率和准确率，分别。此外，我们的方法的每个关键组成部分的有效性是由我们的全面消融研究证明。
2021-09-19 cs.CV
Tracking the Unstable: Appearance-Guided Motion Modeling for Robust Multi-Object Tracking in UAV-Captured Videos
本文提出AMOT方法，通过结合外观和运动线索，改进无人机视频中多目标跟踪的鲁棒性和稳定性。
2025-11-28 cs.CV
SLAck: Semantic, Location, and Appearance Aware Open-Vocabulary Tracking
ETH Zürich（苏黎世联邦理工学院）；INSAIT（INSAIT（国际计算机科学与技术研究所））
针对开放词汇多目标跟踪中现有方法未有效利用运动与语义线索的问题，提出SLAck框架，通过轻量级时空目标图早期融合语义、位置与外观先验，在相关基准新类别跟踪任务上取得最优性能。
2024-09-17 cs.CV
Quality Matters: Embracing Quality Clues for Robust 3D Multi-Object Tracking
Huazhong University of Science and Technology（华中科技大学）；MEGVII Technology（旷视科技）
随着三维目标检测和二维多目标跟踪技术的迅速发展，三维多目标跟踪技术取得了巨大的成就。最近的先进作品通常采用一系列对象属性，例如，位置、大小、速度和外观，为3D MOT中的关联提供线索。然而，这些线索可能是不可靠的，由于一些视觉噪声，如遮挡和模糊，导致跟踪性能瓶颈。为了揭示这一困境，我们进行了大量的实证分析，以揭示每一条线索的关键瓶颈以及它们之间的相互关系。分析结果促使我们有效地吸收所有线索中的优点，并自适应地产生最优的跟踪方式。具体来说，我们提出了位置和速度质量学习，它有效地指导网络估计预测对象属性的质量。基于这些质量估计，我们提出了一个质量感知的对象关联（QOA）策略，利用质量分数作为一个重要的参考因素，实现强大的关联。尽管它的简单性，广泛的实验表明，所提出的策略显着提高跟踪性能的2.2% AMOTA和我们的方法优于所有现有的国家的最先进的作品nuScenes的大幅度。此外，QTrack在nuScenes验证和测试集上实现了48.0%和51.1%的AMOTA跟踪性能，这大大缩小了纯相机和基于LiDAR的跟踪器之间的性能差距。
2022-08-23 cs.CV
FeatureSORT: Essential Features for Effective Tracking
Pintel Co. Ltd.（普能公司）
FeatureSORT通过增强检测和模块化后处理提升多目标跟踪性能。
2025-09-01 cs.CV
Motion-Driven Multi-Object Tracking of Model Organisms in Space Science Experiments
Technology and Engineering Center for Space Utilization, Chinese Academy of Sciences（中国科学院空间利用技术与工程中心）；School of Space Exploration, University of Chinese Academy of Sciences（中国科学院大学空间探索学院）
本文提出ART-Track框架，通过多模型运动估计、运动状态驱动关联和不确定性自适应融合，有效解决空间实验中生物多目标跟踪的挑战，提升轨迹稳定性与身份保持性。
2026-04-29 cs.CV
ComPose: When to Trust Hands for Object Pose Tracking
GIST（韩国信息科学与技术学院）；Yonsei Univ.（延世大学）；DGIST（国立地面空间技术研究所）
提出ComPose框架，利用手部作为补充线索，结合基础模型中的物体和手部线索，在RGB视频中实现6DoF物体姿态跟踪，有效应对严重手部遮挡和几何模糊。
2026-05-22 cs.CV
UBATrack: Spatio-Temporal State Space Model for General Multi-Modal Tracking
Key Laboratory of Education Blockchain and Intelligent Technology, Ministry of Education, Guangxi Normal University（教育区块链与智能技术重点实验室，教育部，广西师范大学）；Guangxi Key Laboratory of Multi-Source Information Mining and Security, Guangxi Normal University（广西多源信息挖掘与安全重点实验室，广西师范大学）；University Engineering Research Center of Educational Intelligent Technology, Guangxi Normal University（教育智能技术大学工程研究中心，广西师范大学）；Guangxi Key Laboratory of Machine Vision and Intelligent Control, Wuzhou University（广西机器视觉与智能控制重点实验室，梧州大学）
UBATrack提出基于mamba状态空间模型的多模态跟踪框架，通过时空Mamba适配器和动态多模态特征混合器提升跟踪鲁棒性，有效捕捉时空线索并提高训练效率。
2026-01-21 cs.CV
NetTrack: Tracking Highly Dynamic Objects with a Net
The University of Hong Kong（香港大学）；Tongji University（同济大学）
针对开放世界动态物体的跟踪难题，提出NetTrack框架，利用点级细粒度线索和物体-文本对应实现动态性感知关联，并在自建鸟群数据集及多个开放世界基准上验证了有效性与泛化性。
2024-03-17 cs.CV
Hierarchical IoU Tracking based on Interval
Beijing University of Posts and Telecommunications（北京邮电大学）；Beijing Key Laboratory of Network System and Network Culture（网络系统与网络文化北京市重点实验室）；Key Laboratory of Interactive Technology and Experience System Ministry of Culture and Tourism（交互技术与体验系统文化和旅游部重点实验室）
针对多目标跟踪混合流水线两阶段脱节导致性能次优的问题，提出仅用IoU、以跟踪片段区间为先验的分层跟踪框架HIT，在四个数据集上性能优异且可与多类跟踪器无缝集成。
2024-06-19 cs.CV
PolarMOT: How Far Can Geometric Relations Take Us in 3D Multi-Object Tracking?
Technical University of Munich（慕尼黑工业大学）
大多数（3D）多目标跟踪方法依赖于基于外观的线索进行数据关联。相比之下，我们研究了我们可以通过只编码3D空间中的对象之间的几何关系作为数据驱动的数据关联的线索。我们将3D检测编码为图中的节点，其中对象之间的空间和时间成对关系通过图边缘上的局部极坐标进行编码。这种表示使我们的几何关系不变的全局变换和平滑的轨迹变化，特别是在非完整运动。这使得我们的图神经网络能够学习有效地编码时间和空间交互，并充分利用上下文和运动线索，通过将数据关联作为边缘分类来获得最终的场景解释。我们在nuScenes数据集上建立了一个新的最先进的技术，更重要的是，我们的方法PolarMOT在不同的地点（波士顿，新加坡，卡尔斯鲁厄）和数据集（nuScenes和KITTI）之间具有非常好的泛化能力。
2022-08-03 cs.CV cs.LG
Robust Visual Tracking using Multi-Frame Multi-Feature Joint Modeling
Huazhong University of Science and Technology（华中科技大学）；University of Florida（佛罗里达大学）；Wuhan University（武汉大学）；Nanjing University of Posts and Telecommunications（南京邮电大学）；UBTech Sydney Artificial Intelligence Institute（优必选悉尼人工智能研究院）；The University of Sydney（悉尼大学）
在复杂的场景下设计有效的跟踪器仍然是一个巨大的挑战，包括遮挡，光照变化和姿态变化。为了解决这个问题，一个有前途的解决方案是在一个统一的模型中集成连续帧和多个特征线索的时间一致性。受此思想的启发，我们提出了一种新的相关滤波器为基础的跟踪器在这项工作中，其中的时间相关性是协调下的多任务学习框架和多个特征线索建模使用多视图学习方法。我们证明了由此产生的回归模型可以有效地学习，利用块对角矩阵的结构。一个快速的块对角矩阵求逆算法，此后开发的有效的在线跟踪。同时，我们加入了自适应尺度估计机制，以加强规模变化跟踪的稳定性。我们使用两种类型的功能实现我们的跟踪器，并在两个基准数据集上进行测试。实验结果表明，我们提出的方法相比，其他国家的最先进的跟踪器的优越性。项目主页http://bmal.hust.edu.cn/project/KMF2JMTtracking.html
2018-11-19 cs.CV
UCMCTrack: Multi-Object Tracking with Uniform Camera Motion Compensation
Changsha University of Science and Technology（长沙理工大学）；Changsha Intelligent Driving Institute（长沙智能驾驶研究院）
UCMCTrack提出一种基于统一相机运动补偿和地面平面卡尔曼滤波的多目标跟踪方法，以映射马氏距离替代IoU，仅靠运动线索即在多个基准上达到最先进性能。
2024-01-11 cs.CV
GLT-T: Global-Local Transformer Voting for 3D Single Object Tracking in Point Clouds
Hangzhou Dianzi University（杭州电子科技大学）；The University of Sydney（悉尼大学）
当前的3D单目标跟踪方法通常基于VoteNet，一种3D区域提议网络。尽管取得了成功，但在VoteNet中使用单个种子点特征作为偏移学习的线索会阻止生成高质量的3D提案。此外，不同重要性的种子点在投票过程中被平等对待，加剧了这一缺陷。为了解决这些问题，我们提出了一种新的全局-局部Transformer投票方案，以提供更多的信息线索，并引导模型更多地关注潜在的种子点，促进高质量的3D提案的生成。从技术上讲，采用全局-局部Transformer（GLT）模块将对象感知先验和块感知先验集成到种子点特征中，以有效地形成种子点几何位置的强特征表示，从而为偏移学习提供更鲁棒和准确的线索。随后，一个简单而有效的训练策略是设计训练的GLT模块。我们开发了一个重要性预测分支来学习种子点的潜在重要性，并将输出权重向量作为训练约束项。通过将上述组件结合在一起，我们表现出一个优越的跟踪方法GLT-T。在具有挑战性的KITTI和NuScenes基准上进行的大量实验表明，GLT-T在3D单目标跟踪任务中达到了最先进的性能。此外，进一步的消融研究表明，提出的全局-局部Transformer投票方案的优势，比原来的VoteNet。代码和模型将在https://github.com/haooozi/GLT-T上提供。
2022-11-20 cs.CV
MMOT: The First Challenging Benchmark for Drone-based Multispectral Multi-Object Tracking
Beijing Institute of Technology（北京理工大学）；Beijing Institute of Technology Chongqing Innovation Center（北京理工大学重庆创新中心）
针对无人机多目标跟踪中RGB算法在航拍下性能退化的问题，提出首个多光谱多目标跟踪基准MMOT，并设计光谱与方向感知的跟踪方案，显著提升小目标和密集场景的跟踪性能。
2025-10-14 cs.CV
Fast Online and Relational Tracking
University of Tehran（德黑兰大学）
为了克服多目标跟踪任务中的挑战，最近的算法使用交互提示以及运动和外观特征。这些算法使用图神经网络或Transformers来提取交互特征，这导致了高计算成本。本文提出了一种新的基于几何特征的交互提示，旨在检测遮挡和重新识别丢失的目标，具有较低的计算成本。此外，在大多数算法中，相机运动被认为是可忽略的，这是一个强假设，并不总是正确的，并导致ID切换或目标的不匹配。本文提出了一种测量摄像机运动并消除其影响的方法，有效地降低了摄像机运动对跟踪的影响。该算法在MOT17和MOT20数据集上进行了评估，它实现了MOT17的最先进性能和MOT20的可比结果。该代码也是公开的。
2022-08-07 cs.CV
Transformer Meets Tracker: Exploiting Temporal Context for Robust Visual Tracking
University of Science and Technology of China (USTC)（中国科学技术大学）；Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院）
在视频对象跟踪中，连续帧之间存在丰富的时间上下文，这在很大程度上被现有的跟踪器所忽视。在这项工作中，我们的桥梁的各个视频帧，并探讨他们通过强大的对象跟踪的Transformer架构的时间上下文。与传统的自然语言处理任务中使用的Transformer不同，我们将其编码器和解码器分成两个并行分支，并在类似于Siamese的跟踪流水线中进行了精心设计。Transformer编码器通过基于注意力的特征增强来提升目标模板，这有利于高质量的跟踪模型生成。Transformer解码器将跟踪线索从先前模板传播到当前帧，这有助于对象搜索过程。我们的transformer辅助跟踪框架是整洁的，并以端到端的方式进行训练。与建议的Transformer，一个简单的暹罗匹配的方法是能够超越目前的顶级性能的跟踪器。通过将我们的Transformer与最近的判别跟踪管道相结合，我们的方法在流行的跟踪基准上创造了几个新的最先进的记录。
2021-03-24 cs.CV
Describe and Attend to Track: Learning Natural Language guided Structural Representation and Visual Attention for Object Tracking
Anhui University（安徽大学）；University of Chinese Academy of Sciences（中国科学院大学）
检测跟踪框架需要一组正训练样本和负训练样本来学习鲁棒跟踪模型，以精确定位目标对象。然而，现有的跟踪模型大多独立处理不同的样本，而忽略了它们之间的关系信息。在本文中，我们提出了一种新的结构感知深度神经网络来克服这些限制。特别地，我们构造了一个图来表示训练样本之间的成对关系，并且另外将自然语言作为监督信息来鲁棒地学习特征表示和分类器。为了细化目标的状态，并重新跟踪目标时，它是从严重的遮挡和视野外回到视图，我们精心设计了一个新的子网络学习目标驱动的视觉注意力从视觉和自然语言线索的指导。在五个跟踪基准数据集上的实验验证了该方法的有效性。
2018-11-27 cs.CV
Instance Flow Based Online Multiple Object Tracking
Fraunhofer Institute of Optronics, System Technologies and Image Exploitation（弗劳恩霍夫光电、系统技术与图像利用研究所）
我们提出了一种方法来执行在线多目标跟踪（MOT）的已知对象类别的单目视频数据。当前的检测跟踪MOT方法建立在2D限界框检测之上。相比之下，我们利用最先进的实例感知语义分割技术来计算目标对象在每帧中的二维形状表示。我们利用光流线索来预测分割实例在后续帧中的位置和形状。我们定义了一个亲和矩阵的后续帧的实例之间的局部性和视觉相似性。实例关联采用匈牙利方法求解。我们使用MOT 2D 2015训练数据集评估了我们算法的不同配置。评估表明，我们的跟踪方法是能够跟踪高相对运动的对象。此外，我们提供了我们的方法在MOT 2D 2015测试集上的结果，以与以前的作品进行比较。我们的MOTA得分为32.1。
2017-05-15 cs.CV
DeconfuseTrack:Dealing with Confusion for Multi-Object Tracking
Huazhong University of Science and Technology（华中科技大学）
针对多目标跟踪中简单全局关联易引发混淆的问题，提出分解式数据关联DDA和遮挡感知非极大值抑制ONMS，构建DeconfuseTrack跟踪器，在MOT17、MOT20上取得SOTA性能。
2024-03-05 cs.CV
SAMOFT: Robust Multi-Object Tracking via Region and Flow
School of Computer Science and Technology, Zhejiang Normal University（浙江师范大学计算机科学与技术学院）；Institute for Sustainable Industries and Liveable Cities, College of Engineering and Science, Victoria University（维多利亚大学可持续产业与宜居城市研究所、工程与科学学院）；School of Electrical Engineering and Computer Science, University of California at Merced（加州大学默塞德分校电子工程与计算机科学学院）
SAMOFT通过区域和流信息提升多目标跟踪的鲁棒性，引入PMM、CDM和DBC模块，结合实例级特征和像素级线索，提高复杂运动场景下的跟踪性能。
2026-05-10 cs.CV
Online Object Tracking with Proposal Selection
Inria Grenoble Rhône-Alpes（法国国家信息与自动化研究所格勒诺布尔-罗讷阿尔卑斯分院）；Laboratoire Jean Kuntzmann（让·昆茨曼实验室）；CNRS（法国国家科学研究中心）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）
检测跟踪方法是近年来最成功的目标跟踪方法之一。他们的成功在很大程度上取决于他们最初学习的检测器模型，然后随着时间的推移进行更新。然而，在具有挑战性的条件下，物体可能会发生变化，例如，严重的旋转，这些方法被发现是缺乏的。在本文中，我们解决这个问题，制定它作为一个建议的选择任务，并作出两个贡献。第一个是引入新的建议，估计从所经历的对象的几何变换，并建立一个丰富的候选集预测对象的位置。第二个是设计一种新的选择策略，使用多个线索，即，检测分数和边缘分数从现有技术的对象边缘和运动边界计算。我们在视觉对象跟踪2014挑战赛和在线跟踪基准数据集上广泛评估了我们的方法，并显示出最佳性能。
2015-09-30 cs.CV
DirectTracker: 3D Multi-Object Tracking Using Direct Image Alignment and Photometric Bundle Adjustment
Technical University of Munich (TUM)（慕尼黑工业大学（TUM））
直接方法在视觉里程计和SLAM的应用中表现出优异的性能。在这项工作中，我们建议利用其有效性的任务，三维多目标跟踪。为此，我们提出了DirectTracker，一个框架，有效地结合了直接的图像对齐的短期跟踪和滑动窗口光度束调整的三维目标检测。对象建议基于稀疏滑动窗口点云进行估计，并使用基于优化的成本函数进行进一步优化，该成本函数仔细结合了3D和2D线索，以确保图像和世界空间的一致性。我们建议使用最近引入的高阶跟踪精度（HOTA）度量和广义交集相似性度量来评估3D跟踪，以减轻传统使用交集的局限性。我们对汽车类的KITTI跟踪基准进行了评估，并在2D和3D跟踪对象方面表现出竞争力。
2022-09-29 cs.CV
3D Object Tracking with Transformer
Northeastern University（东北大学）
特征融合和相似度计算是三维目标跟踪中的两个核心问题，特别是对于稀疏无序点云的目标跟踪。特征融合通过包含目标对象的信息，使相似度计算更加有效。然而，大多数现有的基于激光雷达的方法直接使用提取的点云特征来计算相似性，而忽略了跟踪过程中对象区域的注意力变化。本文提出了一种基于Transformer结构的特征融合网络。得益于自注意力机制，Transformer编码器捕捉点云不同区域之间的相互关系和内部关系。Transformer解码器利用交叉注意力融合特征，在当前点云特征中加入更多的目标线索，计算区域注意力，提高了相似度计算的效率。基于此特征融合网络，我们提出了一个端到端的点云目标跟踪框架，一个简单而有效的方法，用于3D目标跟踪使用点云。KITTI数据集上的综合实验结果表明，我们的方法达到了新的最先进的性能。代码可在：https://github.com/3bobo/lttr.
2021-10-28 cs.CV
Learning Frequency and Memory-Aware Prompts for Multi-Modal Object Tracking
State Key Laboratory for Novel Software Technology（新型软件技术国家重点实验室）；School of Information Science and Engineering（信息科学与工程学院）；School of Mathematics（数学学院）；Purple Mountain Laboratories（紫金山实验室）
针对现有多模态跟踪提示学习方法未充分利用模态频率结构与长程时序依赖的问题，提出含频率引导视觉适配器和多级记忆适配器的双适配器框架，在多个多模态基准上取得SOTA结果且参数与运行效率更优。
2025-10-01 cs.CV
Deep Motion Features for Visual Tracking
Linköping University（林雪平大学）
鲁棒视觉跟踪是计算机视觉中一个具有挑战性的问题，有着广泛的应用前景。大多数现有的方法采用手工制作的外观特征，如HOG或颜色名称。最近，从卷积神经网络提取的深度RGB特征已成功应用于跟踪。尽管他们的成功，这些功能只捕捉外观信息。另一方面，运动提示提供了可以提高跟踪性能的鉴别和补充信息。与视觉跟踪相反，深度运动特征已成功应用于动作识别和视频分类任务。通常，通过在从大量标记视频提取的光流图像上训练CNN来学习运动特征。本文提出了一种调查的影响，深层运动功能的跟踪检测框架。我们进一步表明，手工制作，深RGB和深运动功能包含互补信息。据我们所知，我们是第一个提出融合外观信息与深度运动特征的视觉跟踪。综合实验清楚地表明，我们的深度运动特征融合方法优于仅依赖外观信息的标准方法。
2016-12-20 cs.CV
Multi-domain Collaborative Feature Representation for Robust Visual Object Tracking
Dalian University of Technology（大连理工大学）；Advanced Institute of Information Technology, Peking University（北京大学信息技术高等研究院）
联合利用多个不同但互补的域信息已被证明是执行鲁棒对象跟踪的有效方法。本文的重点是有效地表示和利用互补的功能，从帧域和事件域提高目标跟踪性能的挑战性的情况下。具体来说，我们提出了共同特征提取器（CFE）学习潜在的共同表示从RGB域和事件域。为了学习这两个域的独特特征，我们利用基于脉冲神经网络的事件唯一提取器（UEE）提取事件域中的边缘线索，这些线索在某些具有挑战性的条件下可能在RGB中丢失，并且基于深度卷积神经网络的RGB唯一提取器（UER）提取RGB域中的纹理和语义信息。在标准RGB基准数据集和真实事件跟踪数据集上的实验证明了该方法的有效性。我们表明，我们的方法优于所有比较国家的最先进的跟踪算法，并验证基于事件的数据是一个强大的线索，在具有挑战性的场景跟踪。
2021-10-08 cs.CV
Is First Person Vision Challenging for Object Tracking?
University of Udine（乌迪内大学）；University of Catania（卡塔尼亚大学）
理解人与物体的交互是第一人称视觉（FPV）的基础。跟踪由相机佩戴者操纵的对象的跟踪算法可以提供有用的线索以有效地对这种交互进行建模。尽管之前有一些尝试利用FPV应用程序中的跟踪器，但仍然缺少对该领域中最先进的视觉跟踪器的性能的系统分析。在这篇简短的论文中，我们回顾了FPV中对象跟踪的第一次系统研究。我们的工作广泛分析了最近和基线FPV跟踪器在不同方面的性能。这是通过TREK-150实现的，TREK-150是一个由150个密集注释的视频序列组成的新基准数据集。结果表明，更多的研究工作应该致力于这个问题，使跟踪可能有利于FPV任务。本文的完整版本可在arXiv：2108.13665上获得。
2021-09-24 cs.CV
Is First Person Vision Challenging for Object Tracking?
University of Udine（乌迪内大学）；University of Catania（卡塔尼亚大学）
理解人与物体的交互是第一人称视觉（FPV）的基础。跟踪由相机佩戴者操纵的对象的跟踪算法可以提供有用的线索以有效地对这种交互进行建模。计算机视觉文献中可用的视觉跟踪解决方案在过去几年中针对各种各样的目标对象和跟踪场景显著提高了它们的性能。然而，尽管之前有几次尝试利用FPV应用程序中的跟踪器，但仍然缺少对该领域中最先进的跟踪器的性能的系统分析。在本文中，我们填补了空白，提出了第一个系统的研究FPV中的对象跟踪。我们的研究广泛地分析了最近的视觉跟踪器和基线FPV跟踪器的性能，从不同的方面考虑，并考虑一个新的性能指标。这是通过TREK-150实现的，TREK-150是一个由150个密集注释的视频序列组成的新基准数据集。我们的研究结果表明，FPV中的对象跟踪是具有挑战性的，这表明，更多的研究工作应该致力于这个问题，使跟踪可以受益于FPV任务。
2021-08-31 cs.CV
Enhancing the Association in Multi-Object Tracking via Neighbor Graph
National University of Defense Technology（国防科技大学）
大多数现代多目标跟踪（MOT）系统遵循检测跟踪范式。该方法首先对感兴趣的目标进行定位，然后提取其个体外观特征进行数据关联。然而，个体特征容易受到遮挡、光照变化和不准确检测等负面影响，从而导致关联推理中的失配。在这项工作中，我们建议通过充分利用相邻信息来处理这个问题。我们的动机来自于人们倾向于在一个群体中移动的观察。因此，当单个目标的外观发生严重变化时，我们仍然可以在其邻居的帮助下识别它。为此，我们首先利用跟踪自我产生的时空关系，有效地选择合适的邻居的目标。随后，我们构造目标和邻居的邻居图，然后使用图卷积网络（GCN）来学习图特征。据我们所知，这是第一次利用邻居线索通过GCN在MOT。最后，我们在MOT基准测试中测试了我们的方法，并在在线跟踪中实现了最先进的性能。
2020-07-01 cs.CV
TSDM: Tracking by SiamRPN++ with a Depth-refiner and a Mask-generator
Dalian University of Technology（大连理工大学）
在通用对象跟踪中，深度（D）信息为前景-背景分离和目标限界框回归提供信息线索。然而，到目前为止，由于缺乏合适的模型，很少有跟踪器使用深度信息来发挥上述重要作用。本文提出了一种RGB-D跟踪器TSDM，它由掩码生成器（M-g）、SiamRPN++和深度细化器（D-r）组成。M-g生成背景遮罩，并随着目标3D位置的变化更新它们。D-r基于目标与周围背景之间的空间深度分布差异，优化SiamRPN++估计的目标限界框。对普林斯顿跟踪基准和视觉对象跟踪挑战的广泛评估表明，我们的跟踪器在实现23 FPS的同时大大优于最先进的跟踪器。此外，一个轻量级的变体可以以31 FPS运行，因此它对于现实世界的应用是实用的。TSDM的代码和模型可在https://github.com/lql-team/TSDM上获得。
2020-05-08 cs.CV
Occlusion-aware Visual Tracker using Spatial Structural Information and Dominant Features
Fujian Normal University（福建师范大学）；Fujian Newland Computer Co Ltd.（福建新大陆电脑有限公司）
针对视觉跟踪中的遮挡问题，提出了一种遮挡感知的跟踪算法。该算法根据目标的像素分布，通过聚类将目标分割成离散的图像块。为了避免跟踪器漂移到虚假目标，该算法提取的主导功能，如颜色直方图或直方图的梯度方向，从这些图像块，并使用它们作为线索进行跟踪。为了提高跟踪器的鲁棒性，该算法采用了一个隐式的空间结构之间的这些补丁作为跟踪的另一个线索，然后，该算法将这些组件的粒子滤波框架，这导致在一个强大的和精确的跟踪器。在不同分辨率的彩色图像序列上的实验结果表明，该跟踪器在处理视觉跟踪中的遮挡问题上优于比较算法。
2021-04-16 cs.CV
Efficient Language-to-Vision Feature Injection for Referring Single-Object Tracking
Technology and Engineering Center for Space Utilization, Chinese Academy of Sciences（中国科学院空间应用工程与技术中心）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出LVTrack纯Transformer框架，通过模式条件门控特征注入器等设计缓解语义漂移，利用冻结的视觉-语言预训练模型降低训练成本，在指称单目标跟踪任务的标准基准上取得优异性能。
2026-09-01 cs.CV
Robust Visual Object Tracking with Two-Stream Residual Convolutional Networks
Shanghai University（上海大学）；JD AI Research（京东人工智能研究院）；Migu Culture & Technology（咪咕文化科技有限公司）
当前基于深度学习的视觉跟踪方法通过在离线模式下从大量监督训练数据中学习目标分类和/或估计模型已经非常成功。然而，由于存在干扰物密集、背景模糊、运动模糊等问题，大多数算法仍无法实现目标跟踪。受人类“视觉跟踪“能力的启发，本文提出了一种基于两流残差卷积网络（TS-RCN）的视觉跟踪算法，其成功地利用了外观和运动特征来进行模型更新。我们的TS-RCN可以与现有的基于深度学习的视觉跟踪器集成。为了进一步提高跟踪性能，我们采用了一个“更广泛的”残差网络ResNeXt作为其特征提取骨干。据我们所知，TS-RCN是第一个端到端可训练的双流视觉跟踪系统，它充分利用了目标的外观和运动特征。我们在最广泛使用的基准数据集上广泛评估了TS-RCN，包括VOT 2018，VOT 2019和GOT-10 K。实验结果表明，我们的双流模型可以大大优于基于外观的跟踪器，它也达到了最先进的性能。跟踪系统的运行速度高达38.1 FPS。
2020-05-13 cs.CV
Multi-Adapter RGBT Tracking
Anhui University（安徽大学）
RGBT跟踪的任务是利用可见光和热红外数据的互补优势，实现鲁棒的视觉跟踪，近年来受到越来越多的关注。现有的工作集中在特定模态的信息集成，通过引入模态权重来实现自适应融合或学习不同模态的鲁棒特征表示。虽然这些方法可以有效地部署特定于模态的属性，但它们忽略了模态共享线索以及实例感知信息的潜在价值，这对于RGBT跟踪中不同模态的有效融合至关重要。在本文中，我们提出了一种新的多适配器卷积网络（MANET），用于在端到端训练的深度框架中联合执行模态共享，模态特定和实例感知的特征学习，以进行RGBT跟踪。我们在网络中设计了三种适配器。具体而言，通用适配器用于提取共享对象表示，模态适配器用于编码模态特定信息以发挥其互补优势，实例适配器用于建模特定对象的外观属性和时间变化。此外，为了降低视觉跟踪实时性要求的计算复杂性，设计了通用适配器和模态适配器的并行结构。在两个RGBT跟踪基准数据集上进行的大量实验表明，该跟踪器与其他最先进的RGB和RGBT跟踪算法相比具有出色的性能。
2019-07-17 cs.CV
Efficient Motion Prompt Learning for Robust Visual Tracking
本文提出一种高效运动提示学习方法，通过整合运动和视觉线索提升视觉跟踪的鲁棒性，实验表明其在多个基准测试中表现优异，且训练成本低。
2025-05-22 cs.CV
Monocular Quasi-Dense 3D Object Tracking
National Tsing Hua University（国立清华大学）；UC Berkeley（加州大学伯克利分校）；ETH Zurich（苏黎世联邦理工学院）
在自动驾驶等众多应用中，可靠准确的3D跟踪框架对于预测周围物体的未来位置和规划观察者的行动至关重要。我们提出了一个框架，可以有效地关联移动对象随着时间的推移，并估计其完整的三维限界框信息从一系列的2D图像上捕获的移动平台。对象关联利用准密集相似性学习来识别仅具有外观线索的各种姿势和视点中的对象。在初始的2D关联之后，我们进一步利用3D边界框深度排序算法进行鲁棒的实例关联和基于运动的3D轨迹预测来重新识别被遮挡的车辆。最后，基于LSTM的物体速度学习模块聚合长期轨迹信息，以实现更准确的运动外推。在我们提出的模拟数据和真实世界的基准测试（包括KITTI，nuScenes和Waymo数据集）上进行的实验表明，我们的跟踪框架在城市驾驶场景中提供了强大的对象关联和跟踪。在Waymo Open基准测试中，我们在3D跟踪和3D检测挑战中建立了第一个仅摄像头的基线。我们的准密集3D跟踪流水线在nuScenes 3D跟踪基准上取得了令人印象深刻的改进，其跟踪精度是所有已发布方法中最佳视觉提交的近五倍。我们的代码、数据和训练模型可在https://github.com/SysCV/qd-3dt上获得。
2021-03-12 cs.CV
Graph Neural Based End-to-end Data Association Framework for Online Multiple-Object Tracking
Beihang University（北京航空航天大学）；Brandeis University（布兰迪斯大学）；Inception Institute of Artificial Intelligence（因赛普申人工智能研究院）
在这项工作中，我们提出了一个端到端的框架来解决在线多目标跟踪（MOT）中的数据关联。给定检测响应，我们制定的最大加权二分匹配问题，其解决方案是学习使用神经网络的帧的数据关联。该网络结合了一个亲和力学习模块，其中外观和运动线索进行调查，编码对象特征表示和计算成对的亲和力。采用计算出的相似度作为边权重，优化模块解决了二分图上的匹配问题，该优化模块利用图神经网络来适应关联问题的变化基数，并解决了具有良好的可扩展性和兼容性的组合硬度。为了便于有效的训练建议的跟踪网络，我们设计了一个多层次的矩阵损失与组装的监督方法。通过端到端的训练，跟踪器中的所有模块都可以协同适应和合作，从而提高模型的适应性，减少参数调整工作。在MOT基准测试上的实验结果证明了该方法的有效性。
2019-07-11 cs.CV
Multiple Object Tracking based on Occlusion-Aware Embedding Consistency Learning
Northwestern Polytechnical University（西北工业大学）
针对遮挡场景下多目标跟踪中嵌入特征可靠性下降、轨迹易中断的问题，提出含遮挡预测模块和遮挡感知关联模块的视觉嵌入一致性跟踪方法，在遮挡与非遮挡场景均实现优异性能。
2023-11-05 cs.CV
Jointly Modeling Motion and Appearance Cues for Robust RGB-T Tracking
在这项研究中，我们提出了一种新的RGB-T跟踪框架，通过联合建模的外观和运动线索。首先，为了获得鲁棒的外观模型，我们开发了一种新的后期融合方法来推断RGB和热（T）模态的融合权重图。融合权值由离线训练的全局和局部多模态融合网络确定，并用于线性组合RGB和T模态的响应图。第二，当外观线索不可靠时，我们全面地采取动作线索，即，目标和摄像机运动，使跟踪器鲁棒。我们进一步提出一个追踪器切换器来灵活切换外观和运动追踪器。在最近的三个RGB-T跟踪数据集上的大量结果表明，该跟踪器的性能明显优于其他最先进的算法。
2020-07-04 cs.CV
