Kernalised Multi-resolution Convnet for Visual Tracking
Shenzhen University（深圳大学）；Peking University Shenzhen Graduate School（北京大学深圳研究生院）
视觉跟踪本质上是一个时间问题。判别相关滤波器（DCF）已经证明了高速通用视觉目标跟踪的优异性能。基于他们的开创性工作，最近有大量的改进依赖于在ImageNet上预训练的卷积神经网络（CNN）作为视觉跟踪的特征提取器。然而，他们的大多数作品都依赖于专门的分析来设计不同层的权重，或者使用提升或对冲技术作为集成跟踪器。在本文中，我们超越了传统的DCF框架，并提出了一个核多分辨率Convnet（KMC）公式，利用分层响应映射直接输出目标运动。当直接部署学习的网络来预测看不见的具有挑战性的无人机跟踪数据集，而不需要任何权重调整，所提出的模型始终实现良好的跟踪性能。此外，转移的多分辨率CNN使其可以集成到RNN时间学习框架中，从而为视觉跟踪的端到端时间深度学习（TDL）打开了大门。
2017-08-02 cs.CV
Visual Object Tracking on Multi-modal RGB-D Videos: A Review
本综述系统总结RGB-D视觉目标跟踪的基准数据集、性能评估指标和现有方法，并展望未来研究方向，为复杂场景下的多模态跟踪提供全面参考。
2024-03-17 cs.CV
Real-time visual tracking by deep reinforced decision making
Seoul National University（首尔大学）；Chung-Ang University（中央大学）
无模型视觉跟踪问题的主要挑战之一是，我们的目标跟踪对象的外观不可预测的和剧烈的变化所带来的困难。现有的方法通过在线更新外观模型以适应外观的变化来解决这个问题。然而，尽管这些方法取得了成功，但外观模型的不准确和错误更新会导致跟踪器漂移。在本文中，我们介绍了一种新的实时的【形】视觉跟踪算法的基础上，通过深度强化学习方法构建的模板选择策略。跟踪算法利用这种策略来选择合适的模板来跟踪给定的帧。模板选择策略是通过利用一个简单的策略梯度方法在从跟踪基准数据集随机生成的大量训练片段上自学习的。我们提出的强化学习框架一般适用于其他基于置信图的跟踪算法。实验结果表明，该跟踪算法的实时的【形】运行速度为43 fps，所提出的策略网络能够有效地确定合适的模板，从而实现成功的视觉跟踪。
2018-08-17 cs.CV
Attentive Deep Regression Networks for Real-Time Visual Face Tracking in Video Surveillance
Middle East Technical University（中东技术大学）
视觉人脸跟踪是视频监控系统中的重要任务之一。然而，由于姿势、比例、表情和照明的变化，这被认为是一项艰巨的任务。最近的研究表明，深度学习方法在目标跟踪任务中具有巨大的潜力，自适应特征选择方法可以提高其性能。受此启发，我们提出了一个端到端的专注的基于深度学习的跟踪器，这是建立在最先进的GOTURN跟踪器之上，用于视频监控中的实时的【形】视觉人脸跟踪任务。我们的方法优于最先进的GOTURN和IVT跟踪器非常大的利润率，它实现的速度是远远超出了实时的【形】跟踪的要求。此外，为了克服视觉人脸跟踪中数据稀缺的问题，我们还对ChokePoint数据集的G1和G2集进行了限界框标注，使其适用于监控条件下人脸跟踪的进一步研究。
2019-08-10 cs.CV
Efficient Visual Tracking with Exemplar Transformers
ETH Zürich（苏黎世联邦理工学院）；KU Leuven（鲁汶大学）
更复杂和更强大的神经网络模型的设计大大提高了视觉目标跟踪的最新技术水平。这些进步可以归因于更深层次的网络，或引入新的构建模块，如Transformers。然而，在追求提高跟踪性能的过程中，运行时间常常受到阻碍。此外，有效的跟踪架构得到了令人惊讶的关注。在本文中，我们介绍了示例Transformer，一个Transformer模块，利用一个单一的实例级的注意力层的实时视觉对象跟踪。E.T.Track是我们的视觉跟踪器，集成了Exemplar Transformer模块，在CPU上以47 FPS运行。这比其他基于变压器的模型快8倍。与可以在标准CPU上实时运行的轻量级跟踪器相比，E.T.Track在LaSOT、OTB-100、NFS、TrackingNet和VOT-ST 2020数据集上的性能始终优于所有其他方法。代码和型号可在https://github.com/pblatter/ettrack上获得。
2022-10-04 cs.CV
TraX: The visual Tracking eXchange Protocol and Library
University of Ljubljana（卢布尔雅那大学）
在本文中，我们解决的问题，开发在线视觉跟踪算法。我们提出了一个专门的通信协议，作为一个跟踪器实现和利用应用程序之间的桥梁。它简化了算法和应用程序的开发，鼓励可重用性。主要用例是算法评估，其中协议促进了当今使用的更复杂的评估场景，从而推动了视觉跟踪领域的发展。我们提出了一个参考实现的协议，使其易于使用的几种流行的程序设计语言和讨论的协议已经使用和一些使用场景，我们设想的未来。
2017-05-12 cs.CV
Sparse vs. Non-sparse: Which One Is Better for Practical Visual Tracking?
Politecnico di Milano（米兰理工大学）；Harbin Institute of Technology（哈尔滨工业大学）；University of Guilan（吉兰大学）
近年来，基于稀疏表示的视觉跟踪方法在计算机视觉领域引起了越来越多的关注。虽然取得了优于传统跟踪方法的性能，然而，一个基本问题还没有得到回答-稀疏约束是否真的是视觉跟踪所需要的？为了回答这个问题，在本文中，我们首先提出了一个强大的非稀疏表示为基础的跟踪器，然后进行广泛的实验，比较它对几个国家的最先进的稀疏表示为基础的跟踪器。实验结果和分析表明，所提出的非稀疏跟踪器在具有较快运行速度的同时，达到了与稀疏跟踪器相媲美的跟踪精度，为非稀疏跟踪器在实际应用中的应用提供了支持。
2016-07-30 cs.CV
Robust Visual Object Tracking with Two-Stream Residual Convolutional Networks
Shanghai University（上海大学）；JD AI Research（京东人工智能研究院）；Migu Culture & Technology（咪咕文化科技有限公司）
当前基于深度学习的视觉跟踪方法通过在离线模式下从大量监督训练数据中学习目标分类和/或估计模型已经非常成功。然而，由于存在干扰物密集、背景模糊、运动模糊等问题，大多数算法仍无法实现目标跟踪。受人类“视觉跟踪“能力的启发，本文提出了一种基于两流残差卷积网络（TS-RCN）的视觉跟踪算法，其成功地利用了外观和运动特征来进行模型更新。我们的TS-RCN可以与现有的基于深度学习的视觉跟踪器集成。为了进一步提高跟踪性能，我们采用了一个“更广泛的”残差网络ResNeXt作为其特征提取骨干。据我们所知，TS-RCN是第一个端到端可训练的双流视觉跟踪系统，它充分利用了目标的外观和运动特征。我们在最广泛使用的基准数据集上广泛评估了TS-RCN，包括VOT 2018，VOT 2019和GOT-10 K。实验结果表明，我们的双流模型可以大大优于基于外观的跟踪器，它也达到了最先进的性能。跟踪系统的运行速度高达38.1 FPS。
2020-05-13 cs.CV
Visual Multiple-Object Tracking for Unknown Clutter Rate
Curtin University（科廷大学）
在多目标跟踪应用中，模型参数整定是实现可靠性能的前提。具体地，由于各种感测条件和视场中的变化，难以知道错误测量的统计。在本文中，我们有兴趣设计一个多目标跟踪算法，处理未知的错误测量率。最近提出的鲁棒多贝努利滤波器用于杂波估计，而广义标记多贝努利滤波器被认为是用于目标跟踪。实际视频的性能评估证明了该跟踪算法在实际场景中的有效性。
2017-11-30 cs.CV
Object-Adaptive LSTM Network for Real-time Visual Tracking with Adversarial Data Augmentation
Xiamen University（厦门大学）；Tsinghua University（清华大学）；Xiamen University of Technology（厦门理工学院）；Queen’s University Belfast（贝尔法斯特女王大学）
近年来，由于卷积神经网络（CNN）强大的特征表示能力，基于深度学习的视觉跟踪方法取得了巨大的成功。在这些方法中，基于分类的跟踪方法表现出优异的性能，但它们的速度受到大规模建议特征提取的昂贵计算的严重限制。相比之下，基于匹配的跟踪方法（如暹罗网络）具有显着的速度优势。然而，在线更新的缺乏使得这些方法不适用于显著的对象外观变化。本文提出了一种新的实时的【形】视觉跟踪方法，该方法采用对象自适应LSTM网络来有效地捕获视频序列依赖性，并自适应地学习对象外观变化。为了提高计算效率，我们还提出了一种快速建议选择策略，该策略利用基于匹配的跟踪方法来预先估计密集建议，并选择高质量的建议馈送到LSTM网络进行分类。该策略有效地过滤掉了一些不相关的建议，避免了特征提取的冗余计算，这使得我们的方法比传统的基于分类的跟踪方法更快。此外，为了解决在线跟踪过程中样本不足和类别不平衡的问题，我们采用了基于生成对抗网络（GAN）的数据增强技术来促进LSTM网络的训练。在四个视觉跟踪基准上的实验表明，该方法在跟踪精度和速度上都达到了最高水平，显示了递归结构在视觉跟踪中的巨大潜力.
2020-02-07 cs.CV
Deep Motion Features for Visual Tracking
Linköping University（林雪平大学）
鲁棒视觉跟踪是计算机视觉中一个具有挑战性的问题，有着广泛的应用前景。大多数现有的方法采用手工制作的外观特征，如HOG或颜色名称。最近，从卷积神经网络提取的深度RGB特征已成功应用于跟踪。尽管他们的成功，这些功能只捕捉外观信息。另一方面，运动提示提供了可以提高跟踪性能的鉴别和补充信息。与视觉跟踪相反，深度运动特征已成功应用于动作识别和视频分类任务。通常，通过在从大量标记视频提取的光流图像上训练CNN来学习运动特征。本文提出了一种调查的影响，深层运动功能的跟踪检测框架。我们进一步表明，手工制作，深RGB和深运动功能包含互补信息。据我们所知，我们是第一个提出融合外观信息与深度运动特征的视觉跟踪。综合实验清楚地表明，我们的深度运动特征融合方法优于仅依赖外观信息的标准方法。
2016-12-20 cs.CV
Rotation Adaptive Visual Object Tracking with Motion Consistency
Indian Institute of Space Science and Technology（印度空间科学技术研究院）
视觉目标跟踪的研究在过去的几年里有了很大的发展。跟踪范式中的检测跟踪方法的出现在许多方面都相当成功。最近，深度卷积神经网络已被广泛用于大多数成功的跟踪器。然而，标准方法是基于相关性或特征选择，对运动一致性考虑最少。因此，仍然需要通过运动一致性来捕获各种物理约束，这将提高准确性、鲁棒性以及更重要的旋转适应性。因此，本文的一个主要方面是研究旋转自适应视觉目标跟踪的结果。在其他关键贡献中，该论文还包括各种不同的方法，这些方法在许多具有挑战性的序列中比当前最先进的方法非常有效。
2017-11-22 cs.CV
Visual Object Tracking with Discriminative Filters and Siamese Networks: A Survey and Outlook
Khalifa University of Science and Technology（哈利法科技大学）；ETH Zürich（苏黎世联邦理工学院）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Linköping University（林雪平大学）；Czech Technical University（捷克理工大学）
准确、鲁棒的视觉目标跟踪是计算机视觉中最具挑战性和最基本的问题之一。它需要估计图像序列中目标的轨迹，仅给定其初始位置，并分割，或以限界框的形式粗略近似。判别相关滤波器（DCF）和深度连体网络（SN）已经成为主要的跟踪范式，这导致了重大进展。随着视觉对象跟踪在过去十年中的快速发展，这项调查基于九个跟踪基准的结果，对90多个DCF和暹罗跟踪器进行了系统和全面的审查。首先，我们提出了DCF和暹罗跟踪核心配方的背景理论。然后，我们区分和全面审查共享以及具体的开放式研究的挑战，在这两个跟踪范式。此外，我们深入分析了DCF和暹罗跟踪器在九个基准测试中的性能，涵盖了视觉跟踪的不同实验方面：数据集，评估指标，性能和速度比较。最后，我们根据我们的分析，为杰出的开放性挑战提出建议和意见。
2021-12-06 cs.CV
Fast Visual Object Tracking with Rotated Bounding Boxes
York University（约克大学）
在本文中，我们提出了一种新的算法，使用椭圆拟合估计的限界框旋转角度和大小的分割（掩模）的目标上的在线和实时的视觉对象跟踪。我们的方法SiamMask_E改进了最先进的对象跟踪算法SiamMask的限界框拟合过程，并且在配备GPU（GeForce GTX 1080 Ti或更高版本）的系统上仍然保持快速跟踪帧速率（80 fps）。我们在使用旋转边界框标记的视觉对象跟踪数据集（VOT 2016，VOT 2018和VOT 2019）上测试了我们的方法。通过与原始SiamMask相比，我们在VOT 2019上实现了0.652和0.309 EAO的改进精度，比原始SiamMask高出0.056和0.026。该实现可在GitHub上获得：https://github.com/baoxinchen/siammask_e。
2019-09-12 cs.CV
Visual Prompt Multi-Modal Tracking
Dalian University of Technology（大连理工大学）；Peng Cheng Laboratory（鹏城实验室）
可见模态目标跟踪产生一系列下游多模态跟踪分支。为了继承基础模型的强大表示，多模态跟踪的自然操作方式是对基于RGB的参数进行完全微调。虽然有效，这种方式是不是最佳的，由于下游数据的稀缺性和可移植性差，在本文中，灵感来自最近成功的语言模型的提示学习，我们开发了视觉提示多模态跟踪（ViPT），学习模态相关的提示，以适应冻结的预训练基础模型的各种下游多模态跟踪任务。ViPT找到了一种更好的方法来刺激基于RGB的模型的知识，该模型在规模上进行了预训练，同时只引入了一些可训练的参数（不到模型参数的1%）。ViPT在多个下游跟踪任务（包括RGB+深度、RGB+热量和RGB+事件跟踪）上的性能优于完整的微调范例。大量的实验表明，视觉提示学习的多模态跟踪的潜力，和ViPT可以实现最先进的性能，同时满足参数效率。代码和型号可在https://github.com/jiawen-zhu/ViPT上获得。
2023-03-25 cs.CV
Visual object tracking performance measures revisited
Faculty of Computer and Information Science, University of Ljubljana（卢布尔雅那大学计算机与信息科学学院）；Centre for Computational Neuroscience and Cognitive Robotics, University of Birmingham（伯明翰大学计算神经科学与认知机器人中心）
视觉跟踪评估的问题是体育各种各样的性能指标，并在很大程度上遭受缺乏共识的措施，应在实验中使用。这使得跨纸跟踪器比较困难。此外，由于一些措施可能不如其他措施有效，因此跟踪结果可能偏向或偏向于特定的跟踪方面。在本文中，我们重新审视流行的性能指标和跟踪器的性能可视化，并从理论和实验上分析它们。我们表明，几种措施是等效的，从点的信息，他们提供的跟踪比较，至关重要的是，一些比其他更脆弱。根据我们的分析，我们缩小了一组潜在的措施，只有两个互补的，描述的准确性和鲁棒性，从而推动同质化的跟踪器评估方法。这两个措施可以直观地解释和可视化，并已采用最近的视觉对象跟踪（VOT）的挑战作为基础的评估方法。
2016-03-07 cs.CV
Spatially Supervised Recurrent Convolutional Neural Networks for Visual Object Tracking
University of Missouri（密苏里大学）；TCL Research America（TCL美国研究院）
在本文中，我们开发了一种新的方法，空间监督递归卷积神经网络的视觉目标跟踪。我们的递归卷积网络利用了位置的历史以及深度神经网络学习的独特视觉特征。受最近用于目标检测的限界框回归方法的启发，我们研究了时间域中长短期记忆（LSTM）的回归能力，并提出将卷积网络产生的高级视觉特征与区域信息连接起来。与现有的基于深度学习的跟踪器相比，这些跟踪器对区域候选者使用二进制分类，我们使用回归来直接预测卷积层和递归单元的跟踪位置。我们在具有挑战性的基准视频跟踪数据集上与最先进的跟踪方法进行了广泛的实验结果和性能比较，结果表明，我们的跟踪器更准确，更强大，同时保持较低的计算成本。对于大多数测试视频序列，我们的方法实现了最好的跟踪性能，往往优于第二个最好的大幅度。
2016-07-19 cs.CV
3D Visual Tracking Framework with Deep Learning for Asteroid Exploration
Harbin Institute of Technology（哈尔滨工业大学）
三维视觉跟踪是深空探测计划的重要组成部分，它可以保证航天器灵活地接近目标。在本文中，我们专注于研究的精确和实时的三维跟踪方法。考虑到目前几乎没有公开的小行星跟踪数据集，本文提出了一种新的大规模小行星3D跟踪数据集，包括双目视频序列、深度图和具有各种形状和纹理的小行星的点云。得益于仿真平台的强大功能和便捷性，所有的2D和3D标注都是自动生成的。同时，我们提出了一个基于深度学习的3D跟踪框架，称为Track3D，它涉及2D单目跟踪器和一种新型的轻量级非模态轴对齐边界盒网络A3BoxNet。评估结果表明，Track3D在准确性和精度方面都达到了最先进的3D跟踪性能，与基线算法相比。此外，我们的框架有很大的泛化能力，2D单目跟踪性能。
2021-11-21 cs.CV
Multi-modal Visual Tracking: Review and Experimental Comparison
视觉目标跟踪作为计算机视觉中的一项基本任务，近年来受到了广泛的关注。为了将跟踪器扩展到更广泛的应用，研究人员引入了来自多种模态的信息来处理特定场景，这是一个有前途的研究前景，具有新兴的方法和基准。为了对多模态跟踪技术进行全面的综述，本文从不同的角度对多模态跟踪算法，特别是可见光深度跟踪（RGB-D）和可见光温度跟踪（RGB-T）进行了统一的分类。其次，我们提供了相关基准和挑战的详细描述。此外，我们进行了广泛的实验，以分析跟踪器在五个数据集上的有效性：PTB，VOT 19-RGBD，GTOT，RGBT 234和VOT 19-RGBT。最后，我们从不同的角度讨论了未来的各种方向，包括模型设计和数据集构建，以进一步研究。
2020-12-08 cs.CV
Parallel Tracking and Verifying: A Framework for Real-Time and High Accuracy Visual Tracking
Meitu HiScene Lab, HiScene Information Technologies（美图亮风台实验室，亮风台信息科技有限公司）；Temple University（天普大学）
被深入研究的视觉跟踪在速度（例如，具有相关滤波器）或准确度（例如，深的特征）。然而，实时和高精度的跟踪算法仍然很少。在本文中，我们从一个新的角度来研究这个问题，并提出了一种新的并行跟踪和验证（PTAV）框架，利用多线程技术的普及和借鉴并行跟踪和映射在视觉SLAM的成功。我们的PTAV框架通常由两个组件组成，跟踪器T和验证器V，在两个单独的线程上并行工作。跟踪器T旨在提供超实时跟踪推理，并且期望在大多数时间内表现良好;相比之下，验证器V检查跟踪结果并在需要时校正T。关键的创新点在于，V并不是对每一帧都起作用，而是只对T的请求起作用;在这种协作下，PTAV既享受了T提供的高效率，又享受了V提供的强分辨力。在我们对流行的基准测试（包括OTB2013、OTB2015、TC128和UAV20L）进行的广泛实验中，PTAV在所有实时跟踪器中实现了最佳的跟踪精度，实际上比许多基于深度学习的解决方案性能更好。此外，PTAV作为一个通用的框架，具有很大的灵活性和改进和推广的空间。
2017-08-01 cs.CV
Learning Multi-Domain Convolutional Neural Networks for Visual Tracking
POSTECH（浦项科技大学）
我们提出了一种新的视觉跟踪算法的基础上，从一个有区别地训练卷积神经网络（CNN）的表示。我们的算法使用大量具有跟踪地面实况的视频来预训练CNN，以获得通用的目标表示。我们的网络由共享层和特定领域层的多个分支组成，其中域对应于单独的训练序列，每个分支负责二进制分类以识别每个域中的目标。我们训练的网络相对于每个域迭代地获得通用的目标表示在共享层。当跟踪新序列中的目标时，我们通过将预训练的CNN中的共享层与在线更新的新二进制分类层相结合来构建新网络。在线跟踪通过评估在先前目标状态周围随机采样的候选窗口来执行。与现有跟踪基准测试中的最新方法相比，该算法具有出色的性能。
2016-01-06 cs.CV
VSE-MOT: Multi-Object Tracking in Low-Quality Video Scenes Guided by Visual Semantic Enhancement
School of Software Engineering（软件工程学院）；Guangdong Laboratory of Artificial Intelligence and Digital Economy（人工智能与数字经济广东实验室）
针对低质量视频导致多目标跟踪性能下降的问题，提出VSE-MOT框架，利用视觉语言模型提取全局语义信息并通过MOT-Adapter和VSFM模块增强特征融合，在低质量场景下性能提升8%至20%且保持常规场景稳健性。
2025-09-17 cs.CV
Single Object Tracking Research: A Survey
Tianjin University（天津大学）；Key Research Center for Surface Monitoring and Analysis of Cultural Relics（文物本体表面监测与分析研究重点科研基地）
视觉目标跟踪是计算机视觉中的一项重要任务，它有许多现实世界的应用，例如，视频监控视觉导航视觉对象跟踪也具有许多挑战，例如，物体遮挡和变形。为了解决上述问题，准确、高效地跟踪目标，近年来出现了许多跟踪算法。本文介绍了近十年来最流行的两种跟踪框架的基本原理和代表作品，相关滤波器和Siamese网络用于目标跟踪。然后，我们提出了一些基于深度学习的跟踪方法，按不同的网络结构分类。我们还介绍了一些经典的策略来处理跟踪问题的挑战。在此基础上，详细介绍和比较了跟踪的基准和挑战，总结了视觉跟踪的发展历史和发展趋势。重点介绍了目标跟踪技术的未来发展，认为目标跟踪技术在应用于实际场景之前还需要解决一些问题，如长时间跟踪、低功耗高速跟踪和攻击鲁棒性跟踪等问题。在未来，多模态数据的集成，例如，深度图像、热图像与传统的彩色图像相结合，将为视觉跟踪提供更多的解决方案。此外，跟踪任务将与其他一些任务一起进行，例如，视频目标检测和分割。
2022-04-25 cs.CV
Now you see me: evaluating performance in long-term visual tracking
University of Ljubljana（卢布尔雅那大学）；Czech Technical University in Prague（布拉格捷克理工大学）
我们提出了一种新的长期跟踪性能评估方法，并提出了一个新的具有挑战性的数据集精心挑选的序列与许多目标失踪。我们使用新的性能指标对六种长期和九种短期最先进的跟踪器进行了广泛的评估，这些指标适用于评估长期跟踪-跟踪精度，召回率和F分数。评估表明，良好的模型更新策略和图像范围内的重新检测能力是长期跟踪性能的关键。我们将该方法集成到VOT工具包中，以自动化实验分析和基准测试，并促进长期跟踪器的开发。
2018-04-19 cs.CV
Deep Meta Learning for Real-Time Target-Aware Visual Tracking
Seoul National University（首尔国立大学）；Chung-Ang Univeristy（中央大学）
本文提出了一种基于Siamese匹配网络和元学习器网络的在线视觉跟踪框架，具有实时的【形】速度。传统的基于深度卷积特征的区别性视觉跟踪算法需要分类器或相关滤波器的连续重新训练，这涉及解决复杂的优化任务以适应目标对象的新外观。为了减轻这个复杂的过程中，我们提出的算法采用并利用元学习者网络，通过添加目标感知的特征空间，为匹配网络提供新的目标对象的外观信息。目标特定特征空间的参数从元学习者网络的单个前向传递立即提供。通过消除跟踪过程中不断求解复杂优化任务的必要性，实验结果表明，我们的算法执行在一个实时的【形】速度，同时保持与其他国家的最先进的跟踪算法的竞争力的性能。
2019-08-16 cs.CV
Robust Visual Tracking Using Dynamic Classifier Selection with Sparse Representation of Label Noise
School of Computer Science and Engineering Northwestern Polytechnical University（西北工业大学计算机学院）
近年来，在视觉跟踪问题中，一类基于“检测跟踪”的跟踪方法得到了广泛的应用。这些方法中的大多数使用跟踪器生成的样本在线更新分类器以处理外观变化。然而，自更新机制使这些方法遭受漂移问题，因为不正确的标签的弱分类器在训练样本。在本文中，我们将类标签分为真标签和噪声标签，并通过稀疏表示来建模。提出了一种新的动态分类器选择方法，该方法对含噪训练数据具有鲁棒性。此外，我们提出的分类器选择算法的视觉跟踪通过集成基于部分的在线助推框架。我们已经评估了我们提出的方法对12个具有挑战性的序列，涉及严重的闭塞，显着的照明变化和大的姿态变化。定性和定量的评估表明，我们的方法跟踪对象准确，鲁棒性和性能优于国家的最先进的跟踪器。
2019-03-19 cs.CV
SMTrack: State-Aware Mamba for Efficient Temporal Modeling in Visual Tracking
SMTrack提出了一种基于状态的Mamba模型，通过线性计算复杂度实现高效视觉跟踪，无需复杂模块或高计算成本，提升跟踪鲁棒性。
2026-02-02 cs.CV
RPT++: Customized Feature Representation for Siamese Visual Tracking
虽然近年来在视觉跟踪的特征表示方面取得了显着进展，但分类和回归任务之间的特征不对齐问题在很大程度上被忽视了。在大多数先进的跟踪器中，特征提取的方法对于这两个任务没有区别。我们认为，视觉跟踪的性能增益是有限的，因为从显著区域提取的特征提供了更多的可识别的视觉模式分类，而这些周围的边界有助于准确地估计目标状态。我们通过提出两个自定义的特征提取器来解决这个问题，命名为极池和极端池来捕获特定于任务的视觉模式。极池化的作用是丰富从语义关键点收集的信息，以实现更强的分类，而极端池化有助于对象边界的明确视觉模式，以实现准确的目标状态估计。我们证明了特定于任务的功能表示的有效性，将其集成到最近和先进的跟踪器RPT。在多个基准测试上进行的大量实验表明，我们基于自定义特征的RPT（RPT++）在OTB-100、VOT 2018、VOT 2019、GOT-10 k、TrackingNet和LaSOT上实现了最新的性能。
2022-04-26 cs.CV
ACTrack: Adding Spatio-Temporal Condition for Visual Object Tracking
Lenovo Research（联想研究院）
针对视觉目标跟踪中时空关系建模不足及训练成本高的问题，提出ACTrack框架，通过冻结预训练骨干并附加轻量网络建模时空关系，在多个基准上实现训练效率与跟踪性能的平衡。
2024-02-27 cs.CV
Video Annotation for Visual Tracking via Selection and Refinement
Dalian University of Technology（大连理工大学）；CSA Intellicloud Ltd（CSA 智云有限公司）；Remark Holdings（Remark Holdings公司）
基于深度学习的视觉跟踪器需要在大量视频数据集上进行离线预训练，这些视频数据集具有精确的限界框注释，而实现这些注释的劳动力成本很高。我们提出了一个新的框架，以促进限界框注释的视频序列，调查的选择和细化策略，自动提高跟踪算法产生的初步注释。提出了一种时间评估网络（T-Assess Net），该网络能够捕获目标位置的时间相关性，并通过测量其质量来选择可靠的跟踪结果。同时，视觉几何细化网络（VG-Refine Net）也被设计为进一步增强所选择的跟踪结果，通过考虑目标外观和时间几何约束，允许不准确的跟踪结果进行校正。上述两种网络的结合提供了一种原则性的方法来确保自动视频标注的质量。在大规模跟踪基准上的实验表明，我们的方法可以提供高度准确的限界框注释，并显着减少94.0%的人工劳动，产生一种有效的手段，以进一步提高跟踪性能与增强训练数据。
2021-08-09 cs.CV
Describe and Attend to Track: Learning Natural Language guided Structural Representation and Visual Attention for Object Tracking
Anhui University（安徽大学）；University of Chinese Academy of Sciences（中国科学院大学）
检测跟踪框架需要一组正训练样本和负训练样本来学习鲁棒跟踪模型，以精确定位目标对象。然而，现有的跟踪模型大多独立处理不同的样本，而忽略了它们之间的关系信息。在本文中，我们提出了一种新的结构感知深度神经网络来克服这些限制。特别地，我们构造了一个图来表示训练样本之间的成对关系，并且另外将自然语言作为监督信息来鲁棒地学习特征表示和分类器。为了细化目标的状态，并重新跟踪目标时，它是从严重的遮挡和视野外回到视图，我们精心设计了一个新的子网络学习目标驱动的视觉注意力从视觉和自然语言线索的指导。在五个跟踪基准数据集上的实验验证了该方法的有效性。
2018-11-27 cs.CV
Effects of Blur and Deblurring to Visual Object Tracking
Colledge of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）；Key Research Center for Surface Monitoring and Analysis of Cultural Relics (SMARC), State Administration of Cultural Heritage, China（国家文物局文物表面监测与分析重点研究中心）；Department of Computer Science and Engineering, University of South Carolina（南卡罗来纳大学计算机科学与工程系）
直观地说，运动模糊可能会损害视觉对象跟踪的性能。然而，我们缺乏定量评估跟踪器的鲁棒性，以不同程度的运动模糊。与此同时，虽然图像去模糊方法可以产生视觉上更清晰的视频以取悦人眼，但视觉对象跟踪是否可以从图像去模糊中受益还不清楚。在本文中，我们通过构建一个模糊视频跟踪基准来解决这两个问题，该基准包含具有不同运动模糊水平的各种视频，以及用于评估跟踪器的地面实况跟踪结果。我们在这个基准上广泛评估了23个跟踪器，并观察到一些新的有趣结果。具体来说，我们发现，轻模糊可以提高许多跟踪器的性能，但严重的模糊总是伤害跟踪性能。我们还发现，图像去模糊可能有助于提高跟踪性能的严重模糊的视频，但伤害的性能轻微模糊的视频。根据这些观察，我们提出了一个新的GAN为基础的计划，以提高跟踪器的鲁棒性运动模糊。在该方案中，一个微调的模糊度作为一个自适应评估器，有选择地去模糊帧在跟踪过程中使用。我们使用该方案成功地提高了6跟踪器的准确性和鲁棒性。
2019-08-21 cs.CV
Event-based Visual Tracking in Dynamic Environments
Universidad de Zaragoza（萨拉戈萨大学）
在运动和光线的挑战性条件下的视觉对象跟踪可能受到传统相机的能力的阻碍，容易产生具有运动模糊的图像。事件相机是适合在这些条件下稳健地执行视觉任务的新型传感器。然而，由于其输出的性质，将其应用于目标检测和跟踪是不平凡的。在这项工作中，我们提出了一个框架，利用事件相机和现成的深度学习进行对象跟踪。我们表明，重建事件数据到强度帧提高了跟踪性能的条件下，传统的相机无法提供可接受的结果。
2022-12-15 cs.CV
SiamFC++: Towards Robust and Accurate Visual Tracking with Target Estimation Guidelines
Zhejiang University（浙江大学）；Megvii Inc.（旷视科技）
视觉跟踪问题要求对给定的目标同时进行鲁棒的分类和精确的目标状态估计。以往的方法提出了多种目标状态估计的方法，但很少考虑到视觉跟踪问题本身的特殊性。经过仔细的分析，我们提出了一套实用的目标状态估计的高性能通用目标跟踪器设计的指导方针。根据这些指导方针，我们设计了我们的全卷积暹罗跟踪器++（SiamFC ++），通过引入分类和目标状态估计分支（G1），分类评分无歧义（G2），跟踪没有先验知识（G3），估计质量评分（G4）。广泛的分析和消融研究证明了我们提出的指南的有效性。在没有花里胡哨的情况下，我们的SiamFC ++跟踪器在五个具有挑战性的基准测试（OTB2015，VOT2018，LaSOT，GOT-10k，TrackingNet）上实现了最先进的性能，这证明了跟踪器的跟踪和泛化能力。特别是，在大规模TrackingNet数据集上，SiamFC ++在以超过90 FPS的速度运行时达到了75.4的AUC分数，远远高于实时要求。代码和模型可在www.example.com上获得。
2020-04-02 cs.CV
Visual Tracking by TridentAlign and Context Embedding
Seoul National University（首尔大学）
基于暹罗网络的视觉跟踪方法的最新进展已经在许多跟踪基准上实现了高性能。然而，具有相似类别的目标对象和干扰对象的广泛尺度变化一直对视觉跟踪提出挑战。为了解决这些持续存在的问题，我们提出了新的TridentAlign和上下文嵌入模块的暹罗网络为基础的视觉跟踪方法。TridentAlign模块有助于适应广泛的尺度变化和目标的大变形，其中它将目标对象的特征表示汇集到多个空间维度中以形成特征金字塔，然后在区域建议阶段使用该特征金字塔。同时，上下文嵌入模块通过考虑对象之间的全局上下文信息来区分目标和干扰对象。上下文嵌入模块提取给定帧的全局上下文信息并将其嵌入到局部特征表示中，使得该信息可以在最终分类阶段中使用。在多个基准数据集上的实验结果表明，该跟踪器的性能与最先进的跟踪器相当，同时该跟踪器以实时速度运行。
2020-07-14 cs.CV
AViTMP: A Tracking-Specific Transformer for Single-Branch Visual Tracking
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Optics and Electronics, Chinese Academy of Sciences（中国科学院光电技术研究所）；Computer Vision Center（计算机视觉中心）；Universitat Autonoma de Barcelona（巴塞罗那自治大学）
本文提出AViTMP跟踪器，首次将单分支ViT与判别式模型结合，并通过CycleTrack双向循环验证增强抗干扰能力，在多个基准上取得最先进性能。
2024-07-04 cs.CV
Siam R-CNN: Visual Tracking by Re-Detection
RWTH Aachen University（亚琛工业大学）；University of Oxford（牛津大学）
我们提出了Siam R-CNN，这是一种Siamese重新检测架构，它释放了视觉对象跟踪的两阶段目标检测方法的全部功能。我们将其与一种新的基于轨迹的动态规划算法相结合，该算法利用第一帧模板和前一帧预测的重新检测，来模拟要跟踪的对象和潜在干扰对象的完整历史。这使得我们的方法能够做出更好的跟踪决策，以及在长时间遮挡后重新检测跟踪对象。最后，我们提出了一种新的硬示例挖掘策略，以提高Siam R-CNN对相似对象的鲁棒性。Siam R-CNN在10个跟踪基准测试中取得了目前最好的性能，在长期跟踪方面取得了特别好的效果。我们在www.vision.rwth-aachen.de/page/siamrcnn上提供我们的代码和模型。
2020-04-02 cs.CV
Visual Tracking using Particle Swarm Optimization
Blekinge Institute of Technology（布莱金厄理工学院）
研究了从手眼摄像机获取的图像序列中鲁棒地提取视觉里程计的问题。提出了一种新的方法来解决基于平面模板的跟踪，它执行一个非线性的图像对齐成功检索的相机变换。为了获得全局最优的生物元启发式用于优化的平面区域之间的相似性。所提出的方法进行了验证，图像序列与真实的以及合成的变换，并发现强度变化是有弹性的。通过对各种相似性度量方法和各种最新方法的比较分析，表明该算法能够鲁棒地跟踪平面区域，具有很好的应用前景。
2014-01-19 cs.CV
CDTB: A Color and Depth Visual Object Tracking Dataset and Benchmark
University of Ljubljana（卢布尔雅那大学）；Tampere University（坦佩雷大学）；Czech Technical University in Prague（捷克布拉格技术大学）
提出了一种长期的视觉目标跟踪性能评估方法和基准测试。性能度量的设计遵循长期跟踪定义，以最大限度地提高分析探测强度。新的措施优于现有的解释潜力和更好地区分不同的跟踪行为。我们表明，这些措施概括了短期的性能指标，从而将两个跟踪问题。此外，新的措施是非常强大的时间注释稀疏性，并允许注释的序列比在当前数据集长数百倍，而不增加人工注释劳动。提出了一个新的具有挑战性的数据集，精心挑选的序列与许多目标失踪。提出了一种新的跟踪分类定位跟踪器的短期/长期频谱。该基准包含对最大数量的长期跟踪器的广泛评估，并与最先进的短期跟踪器进行比较。我们分析了跟踪架构实现对长期性能的影响，并探讨了各种重新检测策略以及视觉模型更新策略对长期跟踪漂移的影响。该方法集成在VOT工具包中，以自动进行实验分析和基准测试，并促进长期跟踪器的未来开发。
2019-07-01 cs.CV
Continuity-Discrimination Convolutional Neural Network for Visual Object Tracking
University of Chinese Academy of Sciences（中国科学院大学）
提出了一种新的视觉目标跟踪模型--连续判别卷积神经网络（CD-CNN）。现有的最先进的跟踪方法不处理视频序列中的时间关系，这导致不完善的特征表示。为了解决这个问题，CD-CNN基于时间缓慢的想法对时间外观连续性进行建模。在数学上，我们证明了，通过引入时间外观连续跟踪，目标外观表示误差的上限可以足够小的概率。此外，为了减轻不准确的目标定位和漂移，我们提出了一个新的概念，对象质心，不仅表征对象，而且在一个给定的补丁内的目标的相对位置。时间外观连续性和物体质心在离线训练期间联合学习，然后转移到在线跟踪。我们评估我们的跟踪器通过广泛的实验两个具有挑战性的基准，并显示其竞争力的跟踪性能相比，最先进的跟踪器。
2021-04-18 cs.CV
An Analysis of Object Representations in Deep Visual Trackers
Google Research（谷歌研究院）
全卷积深度相关网络是最先进的单目标视觉跟踪方法的组成部分。通常假设这些网络通过将对象实例的特征与整个帧的特征相匹配来检测来执行跟踪。强大的建筑先验知识和对象表示的条件被认为是鼓励这种跟踪策略。尽管有这些强大的先验知识，但我们发现深度跟踪器通常默认通过显着性检测进行跟踪-而不依赖于对象实例表示。我们的分析表明，尽管显著性检测是一种有用的先验知识，但它可以防止深度网络中出现更强大的跟踪策略。这导致我们引入一个辅助检测任务，鼓励更多的歧视性对象表示，提高跟踪性能。
2020-01-08 cs.CV
VPTracker: Global Vision-Language Tracking via Visual Prompt
School of Data Science and Engineering, East China Normal University, Shanghai 200062, China（数据科学与工程学院，华东师范大学，上海200062，中国）；Medical Artificial Intelligence Laboratory, Westlake University, Hangzhou 310024, China（医学人工智能实验室，西湖大学，杭州310024，中国）
本文提出VPTracker，首个基于多模态大语言模型的全局视觉-语言跟踪框架，通过引入位置感知的视觉提示机制，提升跟踪鲁棒性和稳定性，有效抑制干扰。
2026-04-14 cs.CV
Exemplar Loss for Siamese Network in Visual Tracking
视觉跟踪是感知系统的重要组成部分，是智能交通的重要组成部分。近年来，暹罗网络以其结构简单、精度高等优点成为视觉跟踪的研究热点。一般情况下，在逻辑损失和三重损失的监督下，Siamese跟踪算法会增加样本模板与阳性样本的内积值，而减少样本与背景样本的内积值。然而，上述损失函数没有考虑来自不同样本的干扰项，这限制了特征模型的区分度。本文提出了一种新的与逻辑损失相结合的样本损失，通过减少样本之间的内积来增强特征模型的区分度。没有花里胡哨的东西，所提出的算法优于由逻辑损失或三元组损失监督的方法。数值结果表明，新开发的算法在公共基准测试中达到了相当的性能。
2020-10-04 cs.CV
Long-Term Visual Object Tracking Benchmark
Center for Visual Information Technology, Kohli Center on Intelligent Systems（视觉信息技术中心，科利智能系统中心）；International Institute of Information Technology, Hyderabad, India（海得拉巴国际信息技术学院）
我们提出了一个新的长视频数据集（称为Track Long和Projective-TLP）和单对象跟踪基准。该数据集由来自真实世界场景的50个高清视频组成，持续时间超过400分钟（676 K帧），与现有的视觉跟踪通用数据集相比，每个序列的平均持续时间增加了20倍以上，总覆盖时间增加了8倍以上。所提出的数据集为适当评估长期跟踪性能和训练更好的深度学习架构（避免/减少可能无法反映真实世界行为的增强）铺平了道路。我们在17个最先进的跟踪器上对数据集进行基准测试，并根据跟踪精度和运行时间速度对它们进行排名。我们进一步提出了全面的定性和定量评估，强调长期跟踪方面的重要性。我们最有趣的观察结果是：（a）现有的短序列基准未能揭示跟踪算法的固有差异，这些差异在跟踪长序列时会扩大;（b）跟踪器的准确性在具有挑战性的长序列上突然下降，这表明在长期跟踪方向上可能需要进行研究。
2019-01-01 cs.CV
Progressive Scaling Visual Object Tracking
Xiaohongshu Inc.（小红书公司）；AIM Lab, University of Amsterdam（阿姆斯特丹大学AIM实验室）；Institute of Big Data, Fudan University（复旦大学大数据研究院）
本文提出一种用于视觉目标跟踪的渐进式缩放训练策略，通过结合小教师迁移和双分支对齐的DT-Training框架解决简单训练的次优优化问题，在多个基准上取得SOTA表现并具备强泛化性。
2025-05-28 cs.CV
Efficient Motion Prompt Learning for Robust Visual Tracking
本文提出一种高效运动提示学习方法，通过整合运动和视觉线索提升视觉跟踪的鲁棒性，实验表明其在多个基准测试中表现优异，且训练成本低。
2025-05-22 cs.CV
Performance Evaluation Methodology for Long-Term Visual Object Tracking
Czech Technical University in Prague（捷克技术大学）；University of Ljubljana（卢布尔雅那大学）
提出了一种长期的视觉目标跟踪性能评估方法和基准测试。性能度量的设计遵循长期跟踪定义，以最大限度地提高分析探测强度。新的措施优于现有的解释潜力和更好地区分不同的跟踪行为。我们表明，这些措施概括了短期的性能指标，从而将两个跟踪问题。此外，新的措施是非常强大的时间注释稀疏性，并允许注释的序列比在当前数据集长数百倍，而不增加人工注释劳动。提出了一个新的具有挑战性的数据集，精心挑选的序列与许多目标失踪。提出了一种新的跟踪分类定位跟踪器的短期/长期频谱。该基准包含对最大数量的长期跟踪器的广泛评估，并与最先进的短期跟踪器进行比较。我们分析了跟踪架构实现对长期性能的影响，并探讨了各种重新检测策略以及视觉模型更新策略对长期跟踪漂移的影响。该方法集成在VOT工具包中，以自动进行实验分析和基准测试，并促进长期跟踪器的未来开发。
2019-06-19 cs.CV
FusionSORT: Fusion Methods for Online Multi-object Visual Tracking
School of Computer Science and Informatics（计算机科学与信息学学院）；De Montfort University（德蒙福特大学）
本文研究多目标视觉跟踪中检测与轨迹关联的融合策略，系统比较最小值、IoU 加权求和、KF 门控和代价 Hadamard 乘积四种方法，并在 MOT17、MOT20 与 DanceTrack 上验证其影响。
2025-05-10 cs.CV
Equivalence of Correlation Filter and Convolution Filter in Visual Tracking
College of Computer Science, Sichuan University（四川大学计算机科学学院）；National Key Laboratory of Fundamental Science on Synthetic Vision, Sichuan University（四川大学视觉合成图形图像技术国家级重点实验室）
（判别）相关滤波器已成功地应用于视觉跟踪，并在近年来取得了显著的进展。基于相关滤波器的跟踪器将视觉跟踪看作是将目标的特征模板与检测样本中的候选区域进行匹配的问题，其中相关滤波器提供了计算相似度的手段。而在图像处理中，卷积滤波通常用于模糊、锐化、浮雕、边缘检测等。从表面上看，相关滤波器和卷积滤波器通常用于不同的目的。本文首次证明了在最优解存在且理想滤波器响应为高斯中心对称的条件下，相关滤波器和卷积滤波器在视觉跟踪中的最小均方误差（MMSE）相等的意义上是等价的。这一结果使研究人员可以自由选择相关或卷积来制定他们的跟踪器。它还表明，用相似性来解释理想反应并不重要。
2021-05-04 cs.CV
A Survey of Appearance Models in Visual Object Tracking
The University of Adelaide（阿德莱德大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；State University of New York, Binghamton（纽约州立大学宾汉姆顿分校）
视觉目标跟踪是一项重要的计算机视觉任务，在视觉监控、人机交互、视频压缩等领域有着广泛的应用。在文献中，研究人员提出了各种2D外观模型。为了帮助读者快速了解视觉对象跟踪的2D外观模型的最新进展，我们提供了这个调查，它提供了现有的2D外观模型的详细审查。特别是，本调查采用了基于模块的架构，使读者能够轻松掌握视觉对象跟踪的关键点。在本研究中，我们首先将外观建模问题分解为两个不同的处理阶段：视觉表示和统计建模。然后，不同的二维外观模型进行了分类，并讨论了其组成模块。最后，我们解决了几个感兴趣的问题，以及剩余的挑战，为今后的研究这一主题。这项调查的贡献有四个方面。首先，我们根据视觉表征的特征构建机制（即，本地和全球）。其次，现有的统计建模方案跟踪检测审查根据其模型的建设机制：生成，歧视性，和混合生成歧视性。第三，从理论或实践的角度分析和讨论了每种类型的视觉表示或统计建模技术。第四，现有的基准资源（例如，源代码和视频数据集）进行了检查。
2013-03-20 cs.CV
Learning Support Correlation Filters for Visual Tracking
在基于支持向量机（SVM）的跟踪算法中，训练样本的采样和预算是两个必不可少的因素，需要在精度和效率之间进行权衡。近年来，通过对平移图像块进行密集采样而形成的循环矩阵已被用于相关滤波器中以实现快速跟踪。在本文中，我们推导了一个等价的SVM模型与循环矩阵表达式，并提出了一个有效的交替优化方法的视觉跟踪。我们将离散傅立叶变换与建议的交替优化过程，并提出了跟踪问题作为一个迭代学习的支持相关滤波器（SCF），找到具有实时性能的全局最优解。对于一个给定的循环数据矩阵，具有n^2个样本的大小为n*n，所提出的算法的计算复杂性为O（n^2*logn），而标准的基于SVM的方法的计算复杂性至少为O（n^4）。此外，我们扩展的SCF为基础的跟踪算法与多通道功能，核函数和规模自适应的方法，以进一步提高跟踪性能。在大型基准数据集上的实验结果表明，所提出的基于SCF的算法在准确性和速度方面优于现有的跟踪方法。
2016-01-22 cs.CV
Real-Time Visual Tracking: Promoting the Robustness of Correlation Filter Learning
University of Kansas（堪萨斯大学）；Boston University（波士顿大学）；China Unicom Research Institute（中国联通研究院）；Tsinghua University（清华大学）
基于相关滤波的跟踪模型在实时的【形】跟踪中取得了很大的成功，但现有的相关滤波模型存在函数丢失的问题，不能可靠地响应遮挡和光照变化引起的外观变化。本研究旨在提升相关滤波器学习的鲁棒性。通过利用滤波器响应的各向异性，提出了三个稀疏相关的损失函数，以减轻以前的方法的过拟合问题，提高整体跟踪性能。因此，实现了三个实时的【形】跟踪器。在各种具有挑战性的情况下进行的大量实验表明，通过所设计的损失函数，学习相关滤波器的鲁棒性得到了极大的提高。此外，该研究还从实验的角度揭示了不同的损失函数对跟踪性能的影响。一个重要的结论是，在连续帧中的滤波器的峰值的灵敏度是一致的跟踪性能。这对于设计用于视觉跟踪的鲁棒相关滤波器是一个有用的参考准则。
2016-09-09 cs.CV
Visual Tracking by means of Deep Reinforcement Learning and an Expert Demonstrator
University of Udine（乌迪内大学）
在过去的十年中，已经提出了许多不同的算法来跟踪视频中的通用对象。它们在最近的大规模视频数据集上的执行可以产生大量各种跟踪行为。强化学习的新趋势表明，专家代理的演示可以有效地用于加速策略学习的过程。从这些作品和最近的应用强化学习视觉跟踪的灵感，我们提出了两个新的跟踪器，A3 CT，它利用一个国家的最先进的跟踪器的演示学习一个有效的跟踪策略，和A3 CTD，利用相同的专家跟踪器，以纠正其在跟踪过程中的行为。通过对GOT-10 k，OTB-100，LaSOT，UAV 123和VOT基准测试的广泛实验验证，我们表明所提出的跟踪器在实时运行时达到了最先进的性能。
2019-09-18 cs.CV
A Bayesian Detect to Track System for Robust Visual Object Tracking and Semi-Supervised Model Learning
University at Buffalo, The State University of New York（纽约州立大学布法罗分校）
目标跟踪是视觉识别任务中的基本问题之一，近年来取得了显著的进展。这些成就往往伴随着巨大的硬件消耗和连续贴标的昂贵劳动力的代价。鲁棒跟踪的一个缺失成分是在对网络结构和半监督学习间歇标记帧进行最小修改的情况下实现性能。在本文中，我们解决这些问题的贝叶斯跟踪和检测框架参数的神经网络输出。在我们的框架中，跟踪和检测过程中制定的概率方式为多目标动态和网络检测的不确定性。在此基础上，提出了一种基于粒子滤波的近似采样跟踪目标状态估计算法。在粒子滤波推理算法的基础上，采用变分推理的半监督学习算法，在间断标记帧上学习跟踪网络。在我们的实验中，我们提供了mAP和基于概率的检测测量我们的算法与非贝叶斯解决方案之间的比较。我们还在M2 Cai 16-Tool-Locations数据集上训练了一个半监督跟踪网络，并将我们的结果与完全标记帧上的监督学习进行了比较。
2022-05-05 cs.CV
