Tracking The Untrackable: Learning To Track Multiple Cues with Long-Term Dependencies
Stanford University（斯坦福大学）
针对多目标跟踪（MTT）问题的大多数现有解决方案在很长一段时间内不以连贯的端到端方式组合线索。然而，我们提出了一种在线方法，编码跨多个线索的长期时间依赖性。跟踪方法的一个关键挑战是准确地跟踪被遮挡的目标或与周围物体具有相似外观特性的目标。为了解决这一挑战，我们提出了一种递归神经网络（RNN）的结构，它在时间窗口上联合推理多个线索。我们能够纠正许多数据关联错误，并从闭塞状态恢复观测。我们展示了我们的数据驱动的方法的鲁棒性，通过跟踪多个目标使用他们的外观，运动，甚至相互作用。我们的方法在多个公开数据集上的性能优于以前的作品，包括具有挑战性的MOT基准。
2017-04-03 cs.CV
A Framework for Real-Time Face and Facial Feature Tracking using Optical Flow Pre-estimation and Template Tracking
LIACS, Leiden University（莱顿大学LIACS（莱顿高级计算机科学研究所））
这项工作提出了一个框架，用于跟踪头部运动和捕捉运动的嘴和两个眉毛在实时的【形】。我们提出了一个头部跟踪器，这是一个组合的光流和基于模板的跟踪器。光流头部跟踪器的估计被用作微调头部估计的模板跟踪器的起始点。该方法与重新更新光流点一起防止头部跟踪器漂移。这种结合与我们的切换方案，使我们的跟踪器非常强大的快速运动和运动模糊。我们还提出了一种方法来减少头部部分遮挡的影响。在光流和基于模板的跟踪器中，我们识别并排除遮挡点。
2010-12-31 cs.CV
Handcrafted and Deep Trackers: Recent Visual Object Tracking Approaches and Trends
Kyungpook National University（庆北国立大学）；Information Technology University（信息技术大学）；University of Warwick（华威大学）
近年来，视觉目标跟踪已经成为一个非常活跃的研究领域.每年都有越来越多的跟踪算法被提出。这是因为跟踪在各种现实世界的问题，如人机交互，自动驾驶汽车，机器人技术，监控和安全只是举几个例子有广泛的应用。在当前的研究中，我们回顾了跟踪领域的最新趋势和进展，并评估了不同的跟踪器的鲁棒性的基础上的特征提取方法。这项工作的第一部分包括对最近提出的跟踪器的全面调查。我们将跟踪器大致分类为基于相关滤波器的跟踪器（CFTs）和非CFTs。每个类别基于体系结构和跟踪机制进一步分为各种类型。在第二部分中，我们通过实验评估了24个最近的跟踪器的鲁棒性，并比较了手工制作和基于深度特征的跟踪器。我们观察到，使用深度特征的跟踪器表现更好，尽管在某些情况下，两者的融合显着提高了性能。为了克服现有基准的缺点，一个新的基准对象跟踪和寺庙颜色（OTTC）也被提出并用于评估不同的算法。我们分析了OTTC中11个不同挑战和其他三个基准的跟踪器的性能。我们的研究得出结论，基于判别相关滤波器（DCF）的跟踪器比其他的性能更好。我们的研究还表明，在DCF上包含不同类型的正则化通常会提高跟踪性能。最后，我们总结了我们的研究，指出了一些见解和未来的发展趋势，在视觉目标跟踪领域。
2019-02-12 cs.CV
CoCoLoT: Combining Complementary Trackers in Long-Term Visual Tracking
University of Udine（乌迪内大学）
如何将不同算法的互补能力结合起来，一直是视觉目标跟踪领域的核心问题。在这一问题上已经取得了重大进展，但考虑到短期跟踪情况。相反，解决方案基本上忽略了长期跟踪设置。在本文中，我们明确考虑长期跟踪场景，并提供了一个名为CoCoLoT的框架，该框架结合了互补视觉跟踪器的特性，以实现增强的长期跟踪性能。CoCoLoT通过在线学习的深度验证模型感知跟踪器是否在跟踪目标对象，并相应地激活决策策略，该决策策略选择性能最佳的跟踪器，并纠正失败跟踪器的性能。所提出的方法进行了广泛的评估和与其他几个解决方案的比较表明，它的竞争有利的最流行的长期视觉跟踪基准上的国家的最先进的。
2022-05-09 cs.CV
Revisiting the details when evaluating a visual tracker
视觉跟踪算法在各种应用中自然被采用，已经有了几个基准测试和许多跟踪算法，更多的有望在未来出现。在这份报告中，我专注于单目标跟踪，并通过介绍一种更简单、准确和可扩展的跟踪器评估和比较方法，重新审视了基于广泛使用的OTB \cite{otb}基准的跟踪器评估细节。实验结果表明，在跟踪算法中可能没有绝对的赢家。我们必须进行详细的分析，为用例选择合适的跟踪器。
2021-01-25 cs.CV
Hy-Tracker: A Novel Framework for Enhancing Efficiency and Accuracy of Object Tracking in Hyperspectral Videos
Griffith University（格里菲斯大学）；Bangladesh Agricultural University（孟加拉国农业大学）
本文提出Hy-Tracker框架，首次将YOLOv7引入高光谱视频目标跟踪，并结合精化跟踪模块与卡尔曼滤波器，有效应对遮挡和尺度变化，提升跟踪精度与效率。
2023-11-30 cs.CV
Motion-Guided Dual-Camera Tracker for Endoscope Tracking and Motion Analysis in a Mechanical Gastric Simulator
The Chinese University of Hong Kong（香港中文大学）；Tsinghua University（清华大学）
本文提出运动引导双摄像头跟踪器，通过跨摄像头互模板策略和基于Mamba的运动引导预测头，实现机械胃模拟器中内窥镜尖端三维位置的鲁棒跟踪，性能显著优于现有方法，并能更可靠地区分不同专业水平的内窥镜操作者。
2025-03-10 cs.CV
AFAT: Adaptive Failure-Aware Tracker for Robust Visual Object Tracking
University of Surrey（萨里大学）；Jiangnan University（江南大学）
近年来，Siamese方法在视觉目标跟踪中取得了很好的效果。Siamese跟踪器成功的关键是通过在大规模视频数据集上进行成对离线训练来学习外观不变的特征嵌入函数。然而，暹罗范式使用一次性学习来模拟在线跟踪任务，这阻碍了跟踪过程中的在线适应。此外，在线跟踪响应的不确定性没有被测量，导致忽略潜在故障的问题。在本文中，我们主张在跟踪阶段的在线适应。为此，我们提出了一个故障感知系统，该系统由质量预测网络（QPN）实现，基于决策阶段的卷积和LSTM模块，能够在线报告潜在的跟踪故障。具体地说，从先前的连续帧以及当前帧的序列响应图收集预测跟踪的信心，实现时空融合的决策层。此外，我们还提供了一个自适应故障感知跟踪器（AFAT），通过结合国家的最先进的暹罗跟踪器与我们的系统。在标准基准测试数据集上获得的实验结果证明了所提出的故障感知系统的有效性和我们的AFAT跟踪器的优点，在准确性和速度方面具有出色和平衡的性能。
2020-05-27 cs.CV
Comparative Study of ECO and CFNet Trackers in Noisy Environment
Kyungpook National University（庆北国立大学）；University of Warwick（华威大学）；Qatar University（卡塔尔大学）
目标跟踪是最具挑战性的任务之一，在过去的二十年里得到了计算机视觉研究人员的极大关注。最近基于深度学习的跟踪器在各种跟踪挑战中表现出良好的性能。跟踪方法应该在诸如变形、低分辨率、遮挡、尺度和光线变化的挑战中准确地跟踪连续帧中的对象。大多数跟踪器在特定的挑战上实现了良好的性能，而不是所有的跟踪问题，因此缺乏可以在所有条件下都表现良好的通用跟踪算法。此外，跟踪技术的性能还没有在嘈杂的环境中进行评估。视觉对象跟踪具有现实世界的应用，并且在监控摄像机中的图像采集期间很有可能会添加噪声。我们的目标是研究两个国家的最先进的跟踪器在噪声的存在下，包括有效的卷积算子（ECO）和相关滤波器网络（CFNet）的鲁棒性。我们的研究表明，这些跟踪器的性能下降的噪声水平的增加，这表明需要设计更强大的跟踪算法。
2018-01-29 cs.CV
Detection-aware multi-object tracking evaluation
Universidad Autónoma de Madrid（马德里自治大学）；Fondazione Bruno Kessler（布鲁诺·凯塞勒基金会）
你如何公平地评估两种多目标跟踪算法（即跟踪器），每一种都采用不同的目标检测器？探测器不断改进，因此跟踪器可以随着时间的推移减少估计物体状态的工作量。那么，将使用新探测器的新跟踪器与使用旧探测器的另一跟踪器进行比较是否公平？在本文中，我们提出了一种新的性能指标，跟踪努力措施（TEM），使用不同的检测器来评估跟踪器。TEM估计跟踪器相对于其输入数据（即检测）在帧级（帧内复杂度）和序列级（帧间复杂度）的改进。我们评估TEM在众所周知的数据集，四个跟踪器和八个检测集。结果表明，不同于传统的跟踪评估措施，TEM可以量化跟踪器所做的努力，减少相关的输入检测。其实现可在https://github.com/vpulab/MOT-evaluation上公开获取。
2022-12-16 cs.CV
Tracking the Trackers: An Analysis of the State of the Art in Multiple Object Tracking
Technical University Munich（慕尼黑工业大学）；University of Adelaide（阿德莱德大学）；ETH Zürich（苏黎世联邦理工学院）；TU Darmstadt（达姆施塔特工业大学）
标准化基准对于大多数计算机视觉应用至关重要。虽然排行榜和排名表不应被过分夸大，但基准往往提供了最客观的业绩衡量标准，因此是研究的重要指南。我们为2014年底推出的多目标跟踪提供了一个基准，目标是为多目标跟踪方法的标准化评估创建一个框架。本文收集了迄今为止的两个基准测试版本，并对近50种最先进的跟踪器进行了深入分析，这些跟踪器在超过11000帧上进行了测试。我们展示了多人跟踪方法的当前趋势和弱点，并提供了研究人员应该专注于推动该领域向前发展的指针。
2017-04-10 cs.CV
OneTracker: Unifying Visual Object Tracking with Foundation Models and Efficient Tuning
Shanghai Key Lab of Intelligent Information Processing（上海智能信息处理重点实验室）；School of Computer Science, Fudan University（复旦大学计算机科学技术学院）；The Chinese University of Hong Kong（香港中文大学）；Shanghai Engineering Research Center of AI & Robotics（上海AI与机器人工程研究中心）；Academy for Engineering & Technology, Fudan University（复旦大学工程技术研究院）；Engineering Research Center of AI & Robotics, Ministry of Education（教育部AI与机器人工程研究中心）
提出OneTracker统一框架，通过预训练基础跟踪器并冻结其参数、仅微调提示跟踪器，高效统一RGB与RGB+X多模态跟踪任务，在11个基准上取得最优性能。
2024-03-14 cs.CV
Transformer Meets Tracker: Exploiting Temporal Context for Robust Visual Tracking
University of Science and Technology of China (USTC)（中国科学技术大学）；Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院）
在视频对象跟踪中，连续帧之间存在丰富的时间上下文，这在很大程度上被现有的跟踪器所忽视。在这项工作中，我们的桥梁的各个视频帧，并探讨他们通过强大的对象跟踪的Transformer架构的时间上下文。与传统的自然语言处理任务中使用的Transformer不同，我们将其编码器和解码器分成两个并行分支，并在类似于Siamese的跟踪流水线中进行了精心设计。Transformer编码器通过基于注意力的特征增强来提升目标模板，这有利于高质量的跟踪模型生成。Transformer解码器将跟踪线索从先前模板传播到当前帧，这有助于对象搜索过程。我们的transformer辅助跟踪框架是整洁的，并以端到端的方式进行训练。与建议的Transformer，一个简单的暹罗匹配的方法是能够超越目前的顶级性能的跟踪器。通过将我们的Transformer与最近的判别跟踪管道相结合，我们的方法在流行的跟踪基准上创造了几个新的最先进的记录。
2021-03-24 cs.CV
Sparse vs. Non-sparse: Which One Is Better for Practical Visual Tracking?
Politecnico di Milano（米兰理工大学）；Harbin Institute of Technology（哈尔滨工业大学）；University of Guilan（吉兰大学）
近年来，基于稀疏表示的视觉跟踪方法在计算机视觉领域引起了越来越多的关注。虽然取得了优于传统跟踪方法的性能，然而，一个基本问题还没有得到回答-稀疏约束是否真的是视觉跟踪所需要的？为了回答这个问题，在本文中，我们首先提出了一个强大的非稀疏表示为基础的跟踪器，然后进行广泛的实验，比较它对几个国家的最先进的稀疏表示为基础的跟踪器。实验结果和分析表明，所提出的非稀疏跟踪器在具有较快运行速度的同时，达到了与稀疏跟踪器相媲美的跟踪精度，为非稀疏跟踪器在实际应用中的应用提供了支持。
2016-07-30 cs.CV
A Universal Update-pacing Framework For Visual Tracking
South China Agricultural University（华南农业大学）
针对视觉跟踪中的模型漂移问题，提出了一种基于步长更新和轨迹选择的新框架。给定一个基本跟踪器，生成一个跟踪器的集合，其中每个跟踪器的更新行为将被调整，然后向前和向后跟踪目标对象，以生成一对间隔中的轨迹。然后，我们隐式地进行自我检查的基础上的轨迹对每个跟踪器，并选择最强大的跟踪器。该框架可以有效地利用时序帧的时间上下文，并避免学习损坏的信息。在标准基准上进行的大量实验表明，所提出的框架对最先进的跟踪器实现了卓越的性能。
2016-03-01 cs.CV
In Defense of Subspace Tracker: Orthogonal Embedding for Visual Tracking
Harvard Medical School（哈佛医学院）；Harvard University（哈佛大学）；Ryerson University（瑞尔森大学）；Tsinghua University（清华大学）
本文重点介绍了一个经典的跟踪模型，子空间学习，接地的事实，即连续帧中的目标被认为是驻留在一个低维的子空间或流形，由于它们的外观相似。近年来，人们提出了许多子空间跟踪器，并取得了令人瞩目的成果。最近的研究结果表明，跟踪性能得到了提升的子空间的歧视能力，学习最近本地化的目标和他们的周围的背景，这项工作的目的是解决这样一个问题：如何学习一个强大的低维子空间，以准确和有区别地代表这些目标和背景样本。为此，一个判别方法，可靠地将目标从其周围的背景中分离出来，注入到子空间学习的联合学习，实现了一个维度自适应的子空间具有优越的鉴别能力。所提出的方法进行了广泛的评估和比较，与国家的最先进的跟踪器上四个流行的跟踪基准。实验结果表明，所提出的跟踪器执行竞争对手。特别是，它实现了超过9%的性能提高相比，国家的最先进的子空间跟踪器。
2022-04-17 cs.CV
Occlusion-aware Visual Tracker using Spatial Structural Information and Dominant Features
Fujian Normal University（福建师范大学）；Fujian Newland Computer Co Ltd.（福建新大陆电脑有限公司）
针对视觉跟踪中的遮挡问题，提出了一种遮挡感知的跟踪算法。该算法根据目标的像素分布，通过聚类将目标分割成离散的图像块。为了避免跟踪器漂移到虚假目标，该算法提取的主导功能，如颜色直方图或直方图的梯度方向，从这些图像块，并使用它们作为线索进行跟踪。为了提高跟踪器的鲁棒性，该算法采用了一个隐式的空间结构之间的这些补丁作为跟踪的另一个线索，然后，该算法将这些组件的粒子滤波框架，这导致在一个强大的和精确的跟踪器。在不同分辨率的彩色图像序列上的实验结果表明，该跟踪器在处理视觉跟踪中的遮挡问题上优于比较算法。
2021-04-16 cs.CV
Efficient Adversarial Attacks for Visual Object Tracking
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；Cyberspace Security Research Center, Peng Cheng Laboratory（鹏城实验室网络空间安全研究中心）；Beijing Key Laboratory of Digital Media, School of Computer Science and Engineering, Beihang University（北京航空航天大学计算机学院数字媒体北京市重点实验室）
视觉目标跟踪是一项重要的任务，它要求跟踪器能够快速、准确地发现目标。现有的最先进的对象跟踪器，即，基于Siamese的跟踪器使用DNN来实现高精度。然而，视觉跟踪模型的鲁棒性却很少被研究。本文分析了基于Siamese网络的目标跟踪器的弱点，并将对抗性例子扩展到视觉目标跟踪。我们提出了一个端到端的网络FAN（快速攻击网络），它使用一种新的漂移损失结合嵌入式特征损失攻击暹罗网络的跟踪器。在单GPU下，FAN训练速度快，攻击性能强。FAN可以在10ms内生成一个对抗示例，实现有效的目标攻击（OTB上至少40%的丢包率）和非目标攻击（OTB上至少70%的丢包率）。
2020-08-01 cs.CV cs.LG eess.IV
Rethinking Convolutional Features in Correlation Filter Based Tracking
Jiangxi Normal University（江西师范大学）；The University of Adelaide（阿德莱德大学）
准确性和效率对于视觉目标跟踪任务都是非常重要的。近年来，随着深度学习的兴起，深度卷积神经网络（Deep Convolutional NeuralNetwork，DCNN）成为跟踪领域的热门选择。然而，由于高计算复杂性，端到端视觉对象跟踪器很难实现可接受的推理时间，因此很难在许多现实应用中使用。在本文中，我们重新审视了一个层次化的基于深度特征的视觉跟踪器，发现深度跟踪器的性能和效率都受到特征质量差的限制。因此，我们提出了一个特征选择模块，以选择更多的区别特征的跟踪器。去除冗余功能后，我们提出的跟踪器在性能和效率方面都取得了显着的改善。最后，提供了与最先进的跟踪器的比较。
2019-12-30 cs.CV
RSINet: Rotation-Scale Invariant Network for Online Visual Tracking
Korea Advanced Institute of Science and Technology (KAIST)（韩国高等科学技术院（KAIST））；Inha University（仁荷大学）
大多数基于Siamese网络的跟踪器在执行跟踪过程中不需要模型更新，并且不能自适应地学习目标特定的变化。此外，基于Siamese的跟踪器通过生成轴对齐的边界框来推断被跟踪对象的新状态，该边界框包含额外的背景噪声，并且无法准确地估计移动对象的旋转和尺度变换，从而潜在地降低跟踪性能。在本文中，我们提出了一种新的旋转尺度不变网络（RSINet）来解决上述问题。我们的RSINet跟踪器由一个目标分心判别分支和一个旋转尺度估计分支组成，旋转和尺度知识可以通过多任务学习方法以端到端的方式显式学习。同时，在时空能量控制下，对跟踪模型进行自适应优化和更新，保证了模型的稳定性和可靠性，以及较高的跟踪效率。在OTB-100、VOT 2018和LaSOT基准测试上的综合实验表明，与最近的跟踪器相比，我们提出的RSinet跟踪器具有新的最先进的性能，同时以约45 FPS的实时速度运行。
2020-11-18 cs.CV cs.LG eess.IV
An Analysis of Object Representations in Deep Visual Trackers
Google Research（谷歌研究院）
全卷积深度相关网络是最先进的单目标视觉跟踪方法的组成部分。通常假设这些网络通过将对象实例的特征与整个帧的特征相匹配来检测来执行跟踪。强大的建筑先验知识和对象表示的条件被认为是鼓励这种跟踪策略。尽管有这些强大的先验知识，但我们发现深度跟踪器通常默认通过显着性检测进行跟踪-而不依赖于对象实例表示。我们的分析表明，尽管显著性检测是一种有用的先验知识，但它可以防止深度网络中出现更强大的跟踪策略。这导致我们引入一个辅助检测任务，鼓励更多的歧视性对象表示，提高跟踪性能。
2020-01-08 cs.CV
AAA: Adaptive Aggregation of Arbitrary Online Trackers with Theoretical Performance Guarantee
Kyushu University（九州大学）
在视觉目标跟踪中，由于目标的外观随图像序列的变化而变化很大，很难实现全能的在线跟踪。本文提出了一种在线跟踪方法，自适应聚合任意多个在线跟踪器。所提出的方法的性能理论上保证是可比的最好的跟踪器的任何图像序列，虽然最好的专家是未知的跟踪过程中。在基准数据集和聚合跟踪器的大变化上的实验研究表明，该方法可以达到最先进的性能。该代码可在https://github.com/songheony/AAA-journal上获得。
2020-09-24 cs.CV
SDOF-Tracker: Fast and Accurate Multiple Human Tracking by Skipped-Detection and Optical-Flow
KDDI Research, Inc.（KDDI研究所）；RIKEN（理化学研究所）；Nagoya University（名古屋大学）
多人跟踪是场景理解的一个基本问题。虽然在现实世界的应用中需要准确性和速度，但最近基于深度学习的跟踪方法专注于准确性，需要大量的运行时间。本研究的目的是提高运行速度，在一定的帧间隔进行人体检测，因为它占了大部分的运行时间。问题是如何在跳过人类检测的同时保持准确性。在本文中，我们提出了一种方法，补充检测结果与光流的基础上，一个人的外观并没有改变很多相邻帧之间。为了保持跟踪的准确性，我们引入了强大的兴趣点选择内的人体区域和跟踪终止度量计算的兴趣点的分布。在MOTChallenge的MOT 20数据集上，提出的SDOF-Tracker在保持MOTA指标的同时，在总运行速度方面实现了最佳性能。我们的代码可在https://github.com/hitottiez/sdof-tracker上获得。
2022-04-30 cs.CV
Tracking Noisy Targets: A Review of Recent Object Tracking Approaches
Kyungpook National University（庆北国立大学）；Qatar University（卡塔尔大学）
视觉对象跟踪是一个重要的计算机视觉问题，具有许多现实世界的应用，包括人机交互，自主车辆，机器人，基于运动的识别，视频索引，监控和安全。在本文中，我们的目标是广泛审查的最新趋势和跟踪算法的进展，并评估跟踪器的鲁棒性存在噪声。这项工作的第一部分包括最近提出的跟踪算法的全面调查。我们广泛地将跟踪器分类为基于相关滤波器的跟踪器和其他非相关滤波器跟踪器。每个类别进一步分为各种类型的跟踪器的基础上的跟踪机制的架构。在这项工作的第二部分中，我们实验评估跟踪算法的鲁棒性存在加性高斯白噪声。在2015年的目标跟踪基准测试（OTB）中加入了多个层次的加性噪声，并对跟踪算法的精度和成功率进行了评估。一些算法比其他算法遭受更多的性能下降，这揭示了跟踪算法的一个以前未探索的方面。基于基准数据集上的性能的算法的相对排名可能会在存在噪声的情况下发生变化。我们的研究得出结论，没有一个单一的跟踪器是能够实现相同的效率，在噪声的存在下，在无噪声的条件下，因此，有必要包括一个参数的鲁棒性噪声时，评估新提出的跟踪算法。
2018-02-14 cs.CV
Real-time Visual Tracking Using Sparse Representation
NICTA（澳大利亚国家信息与通信技术研究院）；Australian National University（澳大利亚国立大学）；University of Adelaide（阿德莱德大学）
$\ell_1$跟踪器通过经由$\ell_1$范数最小化\cite{Xue_ICCV_09_Track}寻求跟踪对象的稀疏表示来获得鲁棒性。然而，$ \ell_1 $跟踪器的高计算复杂性限制了其在实时的处理场景中的进一步应用。因此，我们提出了一个实时的压缩感知跟踪（RTCST）利用压缩感知（CS）的信号恢复能力。该算法采用降维和自定义的正交匹配追踪（OMP）算法来加速CS跟踪。因此，我们的算法实现了一个实时的速度，是$6,000$倍快于$\ell_1$跟踪器。同时，与现有的$\ell_1$跟踪器相比，RTCST仍然产生有竞争力的（有时甚至是优越的）跟踪精度。此外，对于一个固定的摄像机，进一步细化跟踪器的设计，通过整合基于CS的背景模型（CSBM）。这种配备CSBM的跟踪器被称为RTCST-B，在准确性和鲁棒性方面优于大多数最先进的技术。最后，我们在不同的视频序列上的实验结果，这是验证了一个新的度量-跟踪成功概率（TSP），显示了所提出的算法的优越性。
2010-12-12 cs.CV
F-Siamese Tracker: A Frustum-based Double Siamese Network for 3D Single Object Tracking
Zhejiang University（浙江大学）；Huawei Noah’s Ark lab（华为诺亚方舟实验室）
本文提出了一种新的单目标跟踪方法F-Siamese Tracker，它的突出特点是更鲁棒地融合了二维和三维信息，减少了冗余的搜索空间。3D单目标跟踪中的主要挑战是如何减少搜索空间以生成合适的3D候选。首先，我们的方法不是仅仅依赖于3D提案，而是利用应用于RGB图像的Siamese网络来产生2D区域提案，然后将其挤出到3D视锥中。此外，我们对3D平截头体进行在线精度验证，以生成精确的点云搜索空间，该空间可以直接嵌入到现有的3D跟踪骨干中。为了提高效率，我们的方法通过减少搜索空间，以较少的候选人获得更好的性能。此外，由于引入了在线精度验证，对于偶尔出现的强遮挡或非常稀疏的点，即使在2D暹罗跟踪器丢失目标的情况下，我们的方法仍然可以达到很高的精度。这种方法使我们能够在稀疏的室外数据集（KITTI跟踪）上设置一个新的最先进的3D单对象跟踪。此外，在2D单目标跟踪上的实验表明，我们的框架也提高了2D跟踪性能。
2020-10-22 cs.CV
SPM-Tracker: Series-Parallel Matching for Real-Time Visual Object Tracking
University of Science Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）
视觉目标跟踪面临的最大挑战是同时要求鲁棒性和识别能力。在本文中，我们提出了一个基于SiamFC的跟踪器，命名为SPM跟踪器，以解决这一挑战。其基本思想是在两个单独的匹配阶段解决这两个要求。通过广义训练在粗匹配（CM）阶段增强鲁棒性，而通过远程学习网络在细匹配（FM）阶段增强辨别力。这两个级串联连接，因为FM级的输入建议由CM级生成。它们还并行连接，因为匹配分数和框位置细化被融合以生成最终结果。这种创新的串并联结构利用了两个级的优势，并带来了卓越的性能。本文提出的SPM-Tracker在GPU上以120 fps的速度运行，在OTB-100上的AUC为0.687，在VOT-16上的EAO为0.434，明显优于其他实时的【形】跟踪器。
2019-04-09 cs.CV
Tracklet-Switch Adversarial Attack against Pedestrian Multi-Object Tracking Trackers
Huazhong University of Science and Technology（华中科技大学）
本文提出了一种名为TraSw的新型对抗攻击方法，通过扰动极少数帧成功欺骗FairMOT和ByteTrack等先进行人多目标跟踪器，在MOT-Challenge数据集上平均仅攻击4帧即可实现超过95%的攻击成功率。
2023-04-04 cs.CV
High-Performance Long-Term Tracking with Meta-Updater
Dalian University of Technology（大连理工大学）；University of Amsterdam（阿姆斯特丹大学）；Peng Cheng Laboratory（鹏城实验室）；China Science IntelliCloud Technology Co., Ltd（中科智能云科技有限公司）
长期视觉跟踪由于比短期跟踪更接近实际应用而受到越来越多的关注。大多数排名靠前的长期跟踪器采用离线训练的暹罗架构，因此，它们无法从在线更新的短期跟踪器的巨大进步中受益。然而，由于长期的不确定性和噪声观测，直接引入基于在线更新的跟踪器来解决长期问题是相当危险的。在这项工作中，我们提出了一种新的离线训练的元更新器，以解决一个重要但未解决的问题：跟踪器是否准备好在当前帧中更新？所提出的元更新器可以以顺序的方式有效地集成几何、区分和外观线索，然后使用设计的级联LSTM模块来挖掘顺序信息。我们的元更新器学习二进制输出来指导跟踪器的更新，并且可以很容易地嵌入到不同的跟踪器中。这项工作还引入了一个长期的跟踪框架，包括一个在线本地跟踪器，一个在线验证器，一个基于SiamRPN的重检测器，和我们的元更新器。在VOT 2018 LT、VOT 2019 LT、OxUvALT、TLP和LaSOT基准测试上的大量实验结果表明，我们的跟踪器的性能明显优于其他竞争算法。我们的项目可以在网站上找到：https://github.com/Daikenan/LTMU。
2020-04-01 cs.CV
Correlation Tracking via Robust Region Proposals
Beijing Institute of Technology（北京理工大学）
最近，基于相关滤波器的跟踪器由于其简单性和优越的速度而受到广泛关注。然而，当目标由于预定义的采样策略而经历遮挡、视点改变或其他具有挑战性的属性时，这样的跟踪器表现不佳。为了解决这些问题，在本文中，我们提出了一种自适应区域建议方案来促进视觉跟踪。更具体地说，提出了一种新的跟踪监测指标来预测跟踪失败。之后，我们分别结合检测和缩放建议，以从模型漂移中恢复并处理纵横比变化。我们测试了几个具有挑战性的序列，这表明，所提出的跟踪器对国家的最先进的跟踪器表现良好的算法。
2018-06-14 cs.CV
RGBD Object Tracking: An In-depth Review
Southern University of Science and Technology（南方科技大学）；University of Birmingham（伯明翰大学）；Tampere University（坦佩雷大学）；Inception Institute of Artificial Intelligence（因赛普申人工智能研究院）
由于深度传感器的发展，RGBD对象跟踪在计算机视觉研究中获得了动力。虽然已经提出了许多RGBD跟踪器具有良好的性能，但缺乏对这一领域的全面理解的深入审查。在本文中，我们首先回顾了RGBD对象跟踪器从不同的角度，包括RGBD融合，深度使用，和跟踪框架。然后，我们总结了现有的数据集和评估指标。我们基准的RGBD跟踪器的代表性，并给出详细的分析，根据他们的表现。特别是，我们是第一个在RGBD跟踪中提供深度友好场景下跟踪结果的深度质量评估和分析。对于大多数RGBD跟踪视频中的长期设置，我们给出了跟踪器处理目标消失的性能分析。为了更好地理解RGBD跟踪器，我们提出了对输入扰动的鲁棒性评估。最后，我们总结了挑战，并为这个社区提供开放的方向。所有资源均可在https://github.com/memoryunreal/RGBD-tracking-review上公开获取。
2022-03-26 cs.CV
Object Tracking in Satellite Videos Based on a Multi-Frame Optical Flow Tracker
Wuhan University（武汉大学）；The University of Sydney（悉尼大学）
目标跟踪是计算机视觉中的一个研究热点。随着超高分辨率遥感技术的发展，利用卫星视频对感兴趣的目标进行跟踪成为可能。然而，由于卫星视频中的目标相对于整幅图像而言往往太小，且与背景过于相似，现有的算法都不能很好地跟踪卫星视频中的目标。基于光流在检测目标微小运动方面的巨大潜力，提出了一种多帧光流跟踪器（MOFT）用于卫星视频中的目标跟踪。采用Lucas-Kanade光流法结合HSV彩色系统和积分图像对卫星视频中的目标进行跟踪，采用多帧差分法对光流跟踪器进行解译。对3个VHR遥感卫星视频数据集的实验表明，与现有目标跟踪算法相比，该方法能够更准确地跟踪目标。
2018-04-25 cs.CV
Tracklet Association Tracker: An End-to-End Learning-based Association Approach for Multi-Object Tracking
Tsinghua Univeristy（清华大学）；Horizon Robotics（地平线机器人）
传统的多目标跟踪方法将任务分为两部分：相似度学习和数据关联。任务的分离需要在亲和学习阶段定义一个手工制作的训练目标，并在数据关联阶段定义一个手工制作的成本函数，这阻止了跟踪目标直接从特征中学习。本文提出了一种基于数据驱动关联的多目标跟踪框架，称为Tracklet关联跟踪器（TAT）。该框架旨在通过一个双层优化公式将特征学习和数据关联结合为一体，从而可以直接从特征中学习关联结果。为了提高性能，我们还采用了流行的层次关联，并执行必要的对齐和选择原始检测响应。我们的模型训练速度比类似方法快20倍以上，并在MOT2016和MOT2017基准测试中实现了最先进的性能。
2018-08-05 cs.CV
Effects of Blur and Deblurring to Visual Object Tracking
Colledge of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）；Key Research Center for Surface Monitoring and Analysis of Cultural Relics (SMARC), State Administration of Cultural Heritage, China（国家文物局文物表面监测与分析重点研究中心）；Department of Computer Science and Engineering, University of South Carolina（南卡罗来纳大学计算机科学与工程系）
直观地说，运动模糊可能会损害视觉对象跟踪的性能。然而，我们缺乏定量评估跟踪器的鲁棒性，以不同程度的运动模糊。与此同时，虽然图像去模糊方法可以产生视觉上更清晰的视频以取悦人眼，但视觉对象跟踪是否可以从图像去模糊中受益还不清楚。在本文中，我们通过构建一个模糊视频跟踪基准来解决这两个问题，该基准包含具有不同运动模糊水平的各种视频，以及用于评估跟踪器的地面实况跟踪结果。我们在这个基准上广泛评估了23个跟踪器，并观察到一些新的有趣结果。具体来说，我们发现，轻模糊可以提高许多跟踪器的性能，但严重的模糊总是伤害跟踪性能。我们还发现，图像去模糊可能有助于提高跟踪性能的严重模糊的视频，但伤害的性能轻微模糊的视频。根据这些观察，我们提出了一个新的GAN为基础的计划，以提高跟踪器的鲁棒性运动模糊。在该方案中，一个微调的模糊度作为一个自适应评估器，有选择地去模糊帧在跟踪过程中使用。我们使用该方案成功地提高了6跟踪器的准确性和鲁棒性。
2019-08-21 cs.CV
D3S -- A Discriminative Single Shot Segmentation Tracker
Faculty of Computer and Information Science, University of Ljubljana（卢布尔雅那大学计算机与信息科学学院）；Faculty of Electrical Engineering, Czech Technical University in Prague（布拉格捷克理工大学电气工程学院）
基于模板的判别式跟踪器由于其鲁棒性而成为当前占主导地位的跟踪范例，但其局限于限界框跟踪和有限范围的变换模型，这降低了其定位精度。本文提出了一种判别式单镜头分割跟踪器D3 S，它缩小了视觉对象跟踪和视频对象分割之间的差距。单次网络应用具有互补几何特性的两个目标模型，一个对广泛的变换（包括非刚性变形）不变，另一个假设刚性对象以同时实现高鲁棒性和在线目标分割。D3 S没有对每个数据集进行微调，并且只对分割进行训练作为主要输出，在VOT 2016，VOT 2018和GOT-10 k基准测试中表现优于所有跟踪器，并且在TrackingNet上的表现接近最先进的跟踪器。D3 S在视频对象分割基准测试中的表现优于领先的分割跟踪器SiamMask，并与顶级视频对象分割算法不相上下，同时运行速度更快一个数量级，接近实时。
2020-04-14 cs.CV
A Survey for Deep RGBT Tracking
Jiangnan University（江南大学）
利用可见光（RGB）和热红外（TIR）电磁波（简称RGBT跟踪）的视觉目标跟踪最近引起了跟踪界越来越多的关注。鉴于深度学习的快速发展，本文综述了近年来基于深度神经网络的RGBT跟踪器。首先，我们对归入这一类别的RGBT跟踪器进行了简要介绍。然后，在几个具有挑战性的基准之间的比较，现有的RGBT跟踪统计。具体来说，MDNet和Siamese架构是RGBT社区的两个主流框架，尤其是前者。基于MDNet的跟踪器具有更高的性能，而基于Siamese的跟踪器满足实时性要求。总之，自从大规模数据集LasHeR发布以来，端到端框架的集成，例如，应进一步考虑Siamese和Transformer，以满足实时性和更鲁棒的性能。此外，在设计网络时应更多地考虑其数学意义。这项调查可以被视为关注RGBT跟踪的研究人员的查找表。
2022-01-29 cs.CV
Multi-Object Tracking with Hallucinated and Unlabeled Videos
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Amazon Web Services（亚马逊云服务）
在本文中，我们探索了在没有跟踪注释的情况下学习端到端深度神经跟踪器。这一点很重要，因为大规模训练数据对于训练深度神经跟踪器至关重要，而跟踪注释的获取成本很高。在跟踪注释的地方，我们首先幻觉视频从图像与限界框注释使用放大/缩小运动变换，以获得免费的跟踪标签。我们添加视频模拟增强来创建一个多样化的跟踪数据集，尽管只是简单的运动。接下来，为了解决更难的跟踪问题，我们在一个未标记的真实视频池中挖掘硬例子，跟踪器在我们的幻觉视频数据上进行训练。对于硬示例挖掘，我们提出了一个基于优化的连接过程，首先从未标记的视频池中识别并纠正硬示例。最后，我们使用幻觉数据和挖掘的硬视频示例联合训练我们的跟踪器。我们的弱监督跟踪器在MOT 17和TAO人员数据集上实现了最先进的性能。在MOT 17上，我们进一步证明了我们自己生成的数据和现有的手动注释数据的结合带来了额外的改进。
2021-08-19 cs.CV
Efficient Version-Space Reduction for Visual Tracking
Kyoto University（京都大学）
辨别性跟踪器采用分类方法将目标与其背景分离。为了应对目标形状和外观的变化，分类器与目标和背景的不同样本在线更新。样本选择、标记和更新分类器容易产生各种误差源，使跟踪器漂移。我们引入了一个有效的版本空间收缩策略，以减少标记错误，并提高其采样策略，通过测量的不确定性的跟踪器的样本。所提出的跟踪器，利用代表不同假设的分类器的集合，使用提升来使它们多样化，以提供更大和更一致的版本空间覆盖范围，并调整分类器的权重。所提出的系统通过促进短记忆集成与长记忆预言机的共同训练来调整模型更新速率。所提出的跟踪器优于国家的最先进的跟踪器在不同的序列轴承各种跟踪的挑战。
2017-04-02 cs.CV
Unified Transformer Tracker for Object Tracking
University of Technology Sydney（悉尼科技大学）；National University of Singapore（新加坡国立大学）；Meta AI；Zhejiang University（浙江大学）
目标跟踪作为计算机视觉的一个重要研究领域，已经形成了两个独立的研究群体，分别研究单目标跟踪（SOT）和多目标跟踪（MOT）。然而，由于两个任务的训练数据集和跟踪对象不同，一个跟踪场景中的当前方法不容易适应另一个。虽然UniTrack \cite{wang2021different}证明了具有多个头部的共享外观模型可以用于处理单个跟踪任务，但它未能利用大规模跟踪数据集进行训练，并且在单个对象跟踪上表现不佳。在这项工作中，我们提出了统一的Transformer跟踪器（UTT），以解决跟踪问题，在不同的情况下，一个范例。我们的UTT中开发了一个跟踪Transformer，用于SOT和MOT中的目标跟踪。利用目标和跟踪帧特征之间的相关性对目标进行定位。我们证明，SOT和MOT任务可以在这个框架内解决。该模型可以通过在单个任务的数据集上交替优化SOT和MOT目标来同时进行端到端训练。在SOT和MOT数据集上训练的统一模型在几个基准上进行了广泛的实验。代码将在https://github.com/Flowerfan/Trackron上提供。
2022-06-08 cs.CV
A Discriminative Single-Shot Segmentation Network for Visual Object Tracking
University of Ljubljana（卢布尔雅那大学）；Czech Technical University in Prague（布拉格捷克理工大学）
基于模板的判别式跟踪器由于其鲁棒性而成为当前占主导地位的跟踪范例，但其局限于限界框跟踪和有限范围的变换模型，这降低了其定位精度。本文提出了一种判别式单镜头分割跟踪器D3 S2，它缩小了视觉对象跟踪和视频对象分割之间的差距。单发网络应用两个具有互补几何特性的目标模型，一个对广泛的变换（包括非刚性变形）不变，另一个假设刚性对象同时实现鲁棒的在线目标分割。通过解耦对象和特征尺度估计，进一步增加了整体跟踪可靠性。在没有对每个数据集进行微调的情况下，D3 S2仅针对分割作为主要输出进行训练，在最近的短期跟踪基准测试VOT 2020上的表现优于所有已发布的跟踪器，并且在GOT-10 k、TrackingNet、OTB 100和LaSoT上的表现非常接近最先进的跟踪器。D3 S2在视频对象分割基准测试中的表现优于领先的分割跟踪器SiamMask，并与顶级视频对象分割算法不相上下。
2021-12-27 cs.CV
Object Tracking with Correlation Filters using Selective Single Background Patch
M. S. Ramaiah University of Applied Sciences（M. S. 拉迈亚应用科学大学）
与现有的跟踪器相比，相关滤波器在提高跟踪性能方面起着重要作用。跟踪器使用自适应相关响应来预测目标的位置。近年来提出了许多种具有高精度和高帧速率的相关跟踪器。本文提出了一种选择单个背景块的方法，以具有更好的跟踪性能。本文还提出了一种相关滤波器的变形，即用图像复原滤波器对相关滤波器进行修正。使用目标跟踪基准序列对该方法进行了验证。
2018-05-09 cs.CV
Real-time Visual Object Tracking with Natural Language Description
Boston University（波士顿大学）；Hikvision Research America（海康威视美国研究院）；Horizon Robotics（地平线机器人）；University of Chinese Academy of Sciences（中国科学院大学）
近年来，基于深度学习的视觉对象跟踪器得到了深入研究，但处理目标的遮挡和/或快速运动仍然具有挑战性。在这项工作中，我们认为，条件反射的自然语言（NL）描述的目标提供了长期不变的信息，从而有助于应对典型的跟踪挑战。然而，推导出一个公式来结合基于外观的跟踪与语言模态的优势并不简单。我们提出了一种新的深度跟踪检测配方，可以利用NL的描述。与给定NL描述相关的区域由建议网络在跟踪器的检测阶段期间生成。然后，我们基于LSTM的跟踪器从基于NL的检测阶段提出的区域预测目标的更新。在基准测试中，我们的方法与最先进的跟踪器竞争，同时它在具有明确和精确的语言注释的目标上优于所有其他跟踪器。在没有限界框的情况下初始化时，它也击败了最先进的NL跟踪器。我们的方法在单个GPU上以超过30 fps的速度运行。
2019-12-03 cs.CV
Selective Mask Propagation for Multi-Object Tracking
KTH Royal Institute of Technology（瑞典皇家理工学院）
提出选择性掩码传播算法，仅在不确定性高的帧调用视频目标分割模型，以轻量级基跟踪器为主，在DanceTrack和SportsMOT上提升性能，SportsMOT达86.8 HOTA。
2026-07-10 cs.CV
STMTrack: Template-free Visual Tracking with Space-time Memory Networks
由于从第一帧裁剪的模板的固定信息几乎已经被完全挖掘，因此提高离线训练的暹罗跟踪器的性能变得越来越困难，但是它们抵抗目标外观变化的能力很差。现有的模板更新机制的跟踪器依赖于耗时的数值优化和复杂的手工设计策略来实现竞争性能，阻碍了它们的实时跟踪和实际应用。在本文中，我们提出了一种新的跟踪框架，建立在一个时空记忆网络，能够充分利用历史信息的目标，更好地适应跟踪过程中的外观变化。具体地说，引入了一种新的记忆机制，它存储的历史信息的目标，以指导跟踪器集中在当前帧中的信息量最大的区域。此外，记忆网络的像素级相似性计算使我们的跟踪器能够生成更准确的目标边界框。在具有挑战性的大规模基准测试（OTB-2015，TrackingNet，GOT-10 k，LaSOT，UAV 123和VOT 2018）上与许多竞争对手的跟踪器进行了广泛的实验和比较，结果表明，在没有花哨的情况下，我们的跟踪器在以37 FPS运行时优于所有以前最先进的实时方法。该代码可在https://github.com/fzh0917/STMTrack上获得。
2021-04-02 cs.CV
Multiple Object Tracking with Kernelized Correlation Filters in Urban Mixed Traffic
University of Electronic Science and Technology of China（电子科技大学）；Polytechnique Montréal（蒙特利尔理工学院）
最近，核相关滤波器跟踪器（KCF）在视觉对象跟踪方面取得了有竞争力的性能和鲁棒性。另一方面，视觉跟踪器通常不用于多对象跟踪。在本文中，我们研究了如何一个强大的视觉跟踪器，如KCF可以提高多目标跟踪。由于KCF是一个快速跟踪器，许多可以并行使用，仍然导致快速跟踪。我们建立了一个基于KCF和背景差分的多目标跟踪系统。背景减除被应用于提取运动对象，并结合KCF输出获得它们的尺度和大小，而KCF用于数据关联以及处理碎片和遮挡问题。因此，KCF和背景减法相互帮助，以采取跟踪决策在每一帧。有时KCF输出是最值得信赖的（例如在遮挡期间），而在某些其他情况下，它是背景减除输出。为了验证我们的系统的有效性，该算法被证明在四个城市的视频记录从一个标准的数据集。结果表明，我们的方法是有竞争力的国家的最先进的跟踪器，即使我们使用一个更简单的数据关联步骤。
2017-03-27 cs.CV
Unsupervised Green Object Tracker (GOT) without Offline Pre-training
University of Southern California（南加州大学）；Army Research Laboratory（陆军研究实验室）
本文提出无需离线预训练的无监督轻量级单目标跟踪器 GOT，通过全局关联、局部关联和超像素分割三个分支集成实现鲁棒跟踪，以极小的模型规模和低推理复杂度达到与重型无监督跟踪器相当的精度。
2023-09-16 cs.CV
Distilled Siamese Networks for Visual Tracking
Inception Institute of Artificial Intelligence（起源人工智能研究院）；Beijing Institute of Technology（北京理工大学）；Shandong University（山东大学）；Singapore Management University（新加坡管理大学）；Salesforce Research Asia（赛富时亚洲研究院）
近年来，基于Siamese网络的跟踪器在实时跟踪方面大大提高了最先进的水平。尽管他们的成功，暹罗跟踪器往往遭受高内存成本，这限制了他们的适用性与内存预算紧张的移动设备。为了解决这个问题，我们提出了一个蒸馏暹罗跟踪框架，学习小，快速，准确的跟踪器（学生），捕捉关键知识从大暹罗跟踪器（教师）的师生知识蒸馏模型。这种模式直观地受到学校通常采用的一名教师与多名学生学习方法的启发。特别是，我们的模型包含一个单一的教师-学生蒸馏模块和学生-学生知识共享机制。前者是使用跟踪特定的蒸馏策略来将知识从教师转移到学生。后者用于学生之间的相互学习，以实现深入的知识理解。广泛的经验评估几个流行的暹罗跟踪器证明了我们的框架的通用性和有效性。此外，五个跟踪基准测试的结果表明，所提出的蒸馏跟踪器实现高达18 $\times$的压缩率和$265$ FPS的帧速率，同时获得可比的跟踪精度相比，基本模型。
2022-11-28 cs.CV
MixFormer: End-to-End Tracking with Iterative Mixed Attention
Nanjing University（南京大学）
视觉对象跟踪通常采用特征提取、目标信息集成和限界框估计的多级流水线。为了简化这个管道和统一的特征提取和目标信息集成的过程中，在本文中，我们提出了一个紧凑的跟踪框架，称为MixFormer，建立在变压器。我们的核心设计是利用注意操作的灵活性，并提出了一个混合注意模块（MAM）的同时特征提取和目标信息集成。这种同步建模方案允许提取目标特定的判别特征，并在目标和搜索区域之间进行广泛的通信。基于MAM，我们只需堆叠多个MAM并在顶部放置一个本地化头即可构建MixFormer跟踪器。具体来说，我们实例化两种类型的MixFormer跟踪器，分层跟踪器MixCvT和非分层跟踪器MixViT。对于这两个跟踪器，我们研究了一系列预训练方法，并揭示了我们的MixFormer跟踪器中监督预训练和自监督预训练之间的不同行为。我们还将掩蔽预训练扩展到我们的MixFormer跟踪器，并设计了具有竞争力的TrackMAE预训练技术。最后，针对在线跟踪过程中多目标模板的处理问题，提出了一种基于MAM的非对称注意机制以降低计算开销，并提出了一种有效的分数预测模块来选择高质量的模板.我们的MixFormer跟踪器在七个跟踪基准上设置了最先进的性能，包括LaSOT，TrackingNet，VOT 2020，GOT-10k，OTB100和UAV123。特别是，我们的MixViT-L在LaSOT上的AUC得分为73.3%，…
2023-02-09 cs.CV
Online Multi-Object Tracking with Instance-Aware Tracker and Dynamic Model Refreshment
Temple University（天普大学）
无模型单目标跟踪（SOT）算法的最新进展在很大程度上启发了将SOT应用于\emph{multi-object tracking}（MOT）以提高鲁棒性并减轻对外部检测器的依赖。然而，SOT算法通常被设计用于区分目标和它的环境，因此遇到的问题时，目标是空间混合与相似的对象在MOT中经常观察到的。为了解决这个问题，在本文中，我们提出了一个实例感知跟踪器，通过编码内和目标模型之间的意识，集成SOT技术的MOT。特别是，我们构建每个目标模型融合信息区分目标从背景和其他情况（跟踪目标）。为了保持所有目标模型的唯一性，我们的实例感知跟踪器考虑来自所有目标模型的响应图，并专门分配空间位置以优化整体准确性。我们的另一个贡献是通过卷积神经网络学习的动态模型刷新策略。该方法既能消除初始化噪声，又能适应目标尺寸和外观的变化。为了证明所提出的方法的有效性，它是在流行的MOT15和MOT16挑战基准进行评估。在这两个基准，我们的方法实现了最好的整体性能与公布的结果相比。
2019-02-21 cs.CV
Robust Multi-body Feature Tracker: A Segmentation-free Approach
ANU（澳大利亚国立大学）；EPFL（洛桑联邦理工学院）
特征跟踪是计算机视觉中的一个基本问题，在许多计算机视觉任务中有应用，例如视觉SLAM和动作识别。本文介绍了一种新的多体特征跟踪器，利用多体刚性假设，以提高跟踪鲁棒性下的一般透视相机模型。解决这个问题的传统方法将包括在解决两个子任务之间交替：运动分割和每个段的刚性约束下的特征跟踪。然而，这种方法需要知道运动的数量，以及将点分配给运动组，这通常对运动估计敏感。相比之下，在这里，我们引入了一个无分割的多体特征跟踪解决方案，绕过了运动分配步骤，并减少到解决一系列具有封闭形式的解决方案的子问题。我们的实验证明了我们的方法在跟踪精度和对噪声的鲁棒性方面的好处。
2016-03-15 cs.CV
Hierarchical Feature-Aware Tracking
Xidian University（西安电子科技大学）
在本文中，我们提出了一个分层的特征感知跟踪框架，有效的视觉跟踪。近年来，将多个分量跟踪器相结合的集成跟踪器取得了令人印象深刻的性能。在集成跟踪器中，结果的决定通常是一个事后过程，即，首先获得每个跟踪器的跟踪结果，然后根据结果集合选择合适的跟踪器。在本文中，我们提出了一个预事件的方法。我们构建了一个专家库，每个专家都是一组特征。对于每一帧，首先根据过去的表现在池中选择几个专家，然后使用他们来预测对象。然后更新库中每个专家的选择率，并根据结果集成获得跟踪结果。我们提出了一种新的预先已知的专家自适应选择策略。由于该过程更有效，因此可以通过融合更多类型的特征来构建更多的专家，从而提高鲁棒性。此外，新的专家选择策略，可以减轻过拟合所造成的固定专家为每帧。在几个公开数据集上的实验表明了该方法的优越性及其在集成跟踪器中的最新性能。
2019-10-18 cs.CV cs.LG eess.IV
Understanding and Diagnosing Visual Tracking Systems
Hong Kong University of Science and Technology（香港科技大学）；Chinese University of Hongkong（香港中文大学）
近年来，人们提出了几种用于视觉跟踪研究的基准数据集。尽管它们很有用，但它们是否足以理解和诊断不同跟踪器的优点和缺点仍然值得怀疑。为了解决这个问题，我们提出了一个框架，将跟踪器分解为五个组成部分，即运动模型，特征提取器，观察模型，模型更新器和集成后处理器。然后，我们对每个组件进行烧蚀实验，以研究它如何影响整体结果。令人惊讶的是，我们的研究结果与视觉跟踪研究界的一些共同信念不一致。我们发现，特征提取器在跟踪器中起着最重要的作用。另一方面，虽然观察模型是许多研究的焦点，但我们发现它往往不会带来显著的改善。此外，运动模型和模型更新器包含许多可能影响结果的细节。此外，当组成跟踪器具有高分集时，总体后处理器可以显著改善结果。根据我们的研究结果，我们把一些非常基本的构建块放在一起，给出一个基本的跟踪器，它在性能上与最先进的跟踪器相比具有竞争力。我们相信我们的框架可以提供一个坚实的基线时，进行控制实验的视觉跟踪研究。
2015-04-23 cs.CV
Adaptive Objectness for Object Tracking
Temple University（天普大学）；HiScene Information Technologies（海深信息科技）；Toyota Research Institute, North America（丰田北美研究院）
目标跟踪是视觉领域的一个长期存在的问题。虽然已经花费了很大的努力来提高跟踪性能，但一个简单而可靠的先验知识尚未被利用：跟踪中的目标对象必须是非对象以外的对象。最近提出并推广的目标性度量为视觉跟踪中的先验建模提供了一种自然的方法。因此，在本文中，我们提出了适应对象的视觉对象跟踪。而不是直接应用现有的对象性措施，是通用的，并处理各种对象和环境，我们适应它是兼容的特定的跟踪序列和对象。更具体地说，我们使用新提出的BING对象作为基础，然后训练对象自适应对象的每个跟踪任务。训练是通过使用自适应支持向量机，它将来自特定跟踪目标的信息集成到BING测量中来实现的。我们强调，建议的自适应对象，名为ADOBING的好处，是通用的。为了证明这一点，我们在最近的评估中将ADOBING与七个表现最好的跟踪器结合起来。我们在两个流行的基准上运行ADOBING增强的跟踪器及其基础跟踪器，CVPR 2013基准（50个序列）和普林斯顿跟踪基准（100个序列）。在这两个基准测试中，我们的方法不仅始终如一地提高了基础跟踪器，而且还实现了最佳性能。注意到我们在视觉跟踪中集成对象性的方式是通用的和直接的，我们期望通过使用跟踪器特定的对象性得到更多的改进。
2015-01-05 cs.CV
DepthTrack : Unveiling the Power of RGBD Tracking
Tampere University（坦佩雷大学）；Southern University of Science and Technology（南方科技大学）；University of Birmingham（伯明翰大学）
随着RGBD传感器在机器人等许多应用领域的普及，RGBD（RGB+深度）对象跟踪正在获得发展势头。然而，最好的RGBD跟踪器是最先进的深度RGB跟踪器的扩展。它们使用RGB数据进行训练，深度通道用作遮挡检测等微妙功能的助手。这可以通过以下事实来解释：不存在足够大的RGBD数据集来1）训练深的深度跟踪器和2）利用深度线索对于其是必不可少的序列来挑战RGB跟踪器。这项工作引入了一个新的RGBD跟踪数据集-深度跟踪-它的序列（200）和场景类型（40）是现有最大数据集的两倍，对象（90）是现有数据集的三倍。此外，序列的平均长度（1473）、可变形对象的数量（16）和带注释的跟踪属性的数量（15）已经增加。此外，通过在DepthTrack上运行SotA RGB和RGBD跟踪器，我们提出了一个新的RGBD跟踪基线，即DeT，这表明深度RGBD跟踪确实受益于真正的训练数据。代码和数据集可在https://github.com/xiaozai/DeT上获得
2021-08-31 cs.CV
