Exemplar-based Linear Discriminant Analysis for Robust Object Tracking
Huazhong University of Science and Technology(华中科技大学)
检测跟踪是一种非常有吸引力的跟踪技术,它将跟踪问题视为一个类别检测问题。然而,跟踪中的任务是搜索特定的对象,而不是像检测中那样搜索对象类别。在本文中,我们提出了一种新的跟踪框架的基础上,样本检测器,而不是类别检测器。建议的跟踪器是一个基于样本的线性判别分析(ELDA)检测器的合奏。每个检测器都是非常具体和有区别的,因为它是由单个对象实例和大量否定训练的。为了提高其自适应性,我们更新对象和背景模型。在几个具有挑战性的视频序列上的实验结果表明,我们的跟踪算法的有效性和鲁棒性。
2014-02-24 cs.CV
Asynchronous Tracking-by-Detection on Adaptive Time Surfaces for Event-based Object Tracking
Xiamen University(厦门大学);Xidian University(西安电子科技大学)
事件摄像机是一种异步生物视觉传感器,在快速运动和低照度场景等各种情况下显示出巨大的潜力。然而,大多数基于事件的对象跟踪方法都是针对无纹理对象和无杂乱背景的场景而设计的。很少有基于事件的对象跟踪方法支持基于限界框的对象跟踪。这项工作背后的主要思想是提出一个异步的基于事件的跟踪检测(ETD)方法的通用限界框为基础的对象跟踪。为了实现这一目标,我们提出了一个自适应时间表面与线性时间衰减(ATSLTD)的事件到帧转换算法,异步和有效地扭曲的时空信息的异步视网膜事件的序列的ATSLTD帧具有清晰的对象轮廓。我们饲料的ATSLTD帧序列的建议ETD方法进行准确和有效的对象跟踪,它利用了事件相机的高时间分辨率属性。我们比较了建议的ETD方法与七种流行的对象跟踪方法,这些方法是基于传统的相机或事件相机,以及ETD的两个变体。实验结果表明,所提出的ETD方法在处理各种具有挑战性的环境中的优越性。
2020-02-13 cs.CV
Real-time Multi-Object Tracking Based on Bi-directional Matching
Jiangxi University of Science and Technology(江西理工大学)
近年来,无锚点目标检测模型与匹配算法相结合,可以实现实时的【形】多目标跟踪,并保证较高的跟踪精度。然而,多目标跟踪仍然存在很大的挑战。例如,当目标的大部分被遮挡或目标只是暂时从图像中消失时,这通常会导致大多数现有跟踪算法的跟踪中断。因此,本研究提供一种多目标追踪的双向匹配演算法,利用双向运动预测资讯来改善遮蔽处理。在匹配算法中使用滞留区域来临时存储未能被跟踪的对象。当物体从遮挡中恢复时,我们的方法将首先尝试将它们与滞留区域中的物体进行匹配,以避免错误地生成新的身份,从而形成更连续的轨迹。实验结果表明,该方法可以提高多目标跟踪的性能,在存在遮挡。此外,本研究还提供了一个注意力上采样模块,不仅保证了跟踪的准确性,而且加快了训练速度。在MOT17挑战赛中,该算法实现了63.4%的MOTA,55.3%的IDF1和20.1 FPS的跟踪速度。
2023-03-15 cs.CV
Seeing Behind Objects for 3D Multi-Object Tracking in RGB-D Sequences
Technical University of Munich(慕尼黑工业大学);University College London(伦敦大学学院);Adobe Research(Adobe研究院)
RGB-D视频序列中的多目标跟踪是一个具有挑战性的问题,因为随着时间的推移,变化的视点,运动和遮挡的组合。我们观察到,具有完整的几何形状的对象的援助,在他们的跟踪,因此建议联合推断的完整的几何形状的对象,以及跟踪它们,随着时间的推移,刚性移动的对象。我们的关键见解是,推断对象的完整几何形状显着有助于跟踪。通过幻觉对象的看不见的区域,我们可以获得相同实例之间的额外对应关系,从而即使在强烈的外观变化下也提供鲁棒的跟踪。从RGB-D帧序列中,我们检测每个帧中的对象,并学习预测它们的完整对象几何形状以及到规范空间的密集对应映射。这使我们能够导出每个帧中对象的6DoF姿态,以及帧之间的对应关系,从而在RGB-D序列中提供强大的对象跟踪。在合成和真实RGB-D数据上的实验表明,我们在动态对象跟踪上实现了最先进的性能。此外,我们表明,我们的对象完成显着有助于跟踪,提供了一个平均MOTA的$6.5\%$的改进。
2020-12-16 cs.CV
Automatic Parameter Adaptation for Multi-object Tracking
INRIA(法国国家信息与自动化研究所)
对象跟踪质量通常取决于视频上下文(例如对象遮挡水平、对象密度)。为了减少这种依赖性,本文提出了一种学习方法,以适应跟踪器参数的上下文变化。在离线阶段中,为视频上下文聚类学习令人满意的跟踪参数。在在线控制阶段,一旦检测到上下文变化,就使用学习值来调谐跟踪参数。实验结果表明,该方法的性能优于现有的跟踪器。本文的主要贡献有两个方面:(1)提出了一种基于视频序列分类的离线跟踪参数学习方法;(2)提出了一种基于跟踪上下文的在线跟踪参数调整方法。
2013-05-13 cs.CV
Tracking 6-DoF Object Motion from Events and Frames
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
事件相机是用于低延迟跟踪和高动态范围成像的有前途的设备。在本文中,我们提出了一种新的方法为6度的自由度(6-DoF)的对象运动跟踪相结合的测量事件和帧为基础的相机。我们制定跟踪从高速率事件的概率生成模型的eventmeasurement过程中的对象。在第二层上,我们通过直接图像对齐在较慢速率的图像帧中细化对象轨迹。我们评估了我们的方法的准确性在几个目标跟踪场景与合成数据,并alsocperformed实验与真实数据。
2021-03-29 cs.CV
Globally Optimal Object Tracking with Fully Convolutional Networks
Kyushu University(九州大学)
跟踪是计算机视觉和模式识别中最重要但也是最困难的任务之一。跟踪领域的主要困难是外观变化和遮挡。传统的跟踪方法大多预先设定跟踪目标的参数或模板,并进行相应的修改。因此,我们提出了一种新的和强大的跟踪方法,使用全卷积网络(FCN),以获得一个对象的概率图和动态规划(DP),以寻求通过所有帧的视频的全局最优路径。我们提出的方法解决了对象外观变化的问题,使用FCN和处理遮挡DP。我们表明,我们的方法是有效的,通过视频帧跟踪各种单一的对象。
2016-12-25 cs.CV
Transparent Object Tracking Benchmark
University of North Texas(北德克萨斯大学);Stony Brook University(石溪大学);Brookhaven National Laboratory(布鲁克海文国家实验室)
视觉跟踪近年来取得了长足的发展。然而,目前该领域的研究主要集中在不透明物体的跟踪,而很少关注透明物体的跟踪。在本文中,我们首次尝试在探索这个问题,提出了一个透明的对象跟踪基准(TOTB)。具体来说,TOTB由来自15个不同透明对象类别的225个视频(86K帧)组成。每个序列都使用轴对齐的边界框手动标记。据我们所知,TOTB是第一个致力于透明对象跟踪的基准测试。为了了解现有跟踪器的性能,并为未来的TOTB研究提供比较,我们广泛评估了25种最先进的跟踪算法。评估结果表明,需要更多的努力,以提高透明对象跟踪。此外,我们观察到一些不平凡的结果,从评价是不一致的一些共同的信念,在不透明的对象跟踪。例如,我们发现更深层次的特征并不总是有利于改进。此外,为了鼓励未来的研究,我们引入了一种新的跟踪器,名为TransATOM,它利用透明功能进行跟踪,并大大超过了所有25种评估方法。通过发布TOTB,我们希望在学术界和工业界促进透明物体跟踪的未来研究和应用。TOTB和评估结果以及TransATOM可在https://hengfan2010.github.io/projects/TOTB上获得。
2021-08-01 cs.CV
Visual Multiple-Object Tracking for Unknown Clutter Rate
Curtin University(科廷大学)
在多目标跟踪应用中,模型参数整定是实现可靠性能的前提。具体地,由于各种感测条件和视场中的变化,难以知道错误测量的统计。在本文中,我们有兴趣设计一个多目标跟踪算法,处理未知的错误测量率。最近提出的鲁棒多贝努利滤波器用于杂波估计,而广义标记多贝努利滤波器被认为是用于目标跟踪。实际视频的性能评估证明了该跟踪算法在实际场景中的有效性。
2017-11-30 cs.CV
Unified Transformer Tracker for Object Tracking
University of Technology Sydney(悉尼科技大学);National University of Singapore(新加坡国立大学);Meta AI;Zhejiang University(浙江大学)
目标跟踪作为计算机视觉的一个重要研究领域,已经形成了两个独立的研究群体,分别研究单目标跟踪(SOT)和多目标跟踪(MOT)。然而,由于两个任务的训练数据集和跟踪对象不同,一个跟踪场景中的当前方法不容易适应另一个。虽然UniTrack \cite{wang2021different}证明了具有多个头部的共享外观模型可以用于处理单个跟踪任务,但它未能利用大规模跟踪数据集进行训练,并且在单个对象跟踪上表现不佳。在这项工作中,我们提出了统一的Transformer跟踪器(UTT),以解决跟踪问题,在不同的情况下,一个范例。我们的UTT中开发了一个跟踪Transformer,用于SOT和MOT中的目标跟踪。利用目标和跟踪帧特征之间的相关性对目标进行定位。我们证明,SOT和MOT任务可以在这个框架内解决。该模型可以通过在单个任务的数据集上交替优化SOT和MOT目标来同时进行端到端训练。在SOT和MOT数据集上训练的统一模型在几个基准上进行了广泛的实验。代码将在https://github.com/Flowerfan/Trackron上提供。
2022-06-08 cs.CV
Tracking the Trackers: An Analysis of the State of the Art in Multiple Object Tracking
Technical University Munich(慕尼黑工业大学);University of Adelaide(阿德莱德大学);ETH Zürich(苏黎世联邦理工学院);TU Darmstadt(达姆施塔特工业大学)
标准化基准对于大多数计算机视觉应用至关重要。虽然排行榜和排名表不应被过分夸大,但基准往往提供了最客观的业绩衡量标准,因此是研究的重要指南。我们为2014年底推出的多目标跟踪提供了一个基准,目标是为多目标跟踪方法的标准化评估创建一个框架。本文收集了迄今为止的两个基准测试版本,并对近50种最先进的跟踪器进行了深入分析,这些跟踪器在超过11000帧上进行了测试。我们展示了多人跟踪方法的当前趋势和弱点,并提供了研究人员应该专注于推动该领域向前发展的指针。
2017-04-10 cs.CV
Trans2k: Unlocking the Power of Deep Models for Transparent Object Tracking
Czech Technical University in Prague(捷克布拉格技术大学)
视觉对象跟踪主要集中在不透明对象上,而透明对象跟踪很少受到关注。由于透明物体的外观直接受背景影响,因此最近出现了第一个专用评估数据集。我们通过提出第一个透明对象跟踪训练数据集Trans2k来促进这一努力,该数据集由超过2k个序列组成,总共有104,343张图像,由边界框和分割掩码注释。注意到透明对象可以由现代渲染器逼真地渲染,我们量化特定于域的属性,并渲染包含现有对象训练数据集中未涵盖的视觉属性和跟踪情况的数据集。当使用Trans2k进行训练时,我们在各种现代跟踪架构中观察到一致的性能提升(高达16%),并显示出由于缺乏适当的训练集而无法实现的见解。数据集和渲染引擎将公开发布,以释放现代基于学习的跟踪器的功能,并促进透明对象跟踪的新设计。
2022-10-07 cs.CV
Visual Object Tracking on Multi-modal RGB-D Videos: A Review
本综述系统总结RGB-D视觉目标跟踪的基准数据集、性能评估指标和现有方法,并展望未来研究方向,为复杂场景下的多模态跟踪提供全面参考。
2024-03-17 cs.CV
Deep Siamese Networks with Bayesian non-Parametrics for Video Object Tracking
Portland State University(波特兰州立大学);Intel Corporation(英特尔公司)
我们提出了一种新的算法,利用深连体神经网络作为一个通用的对象相似性函数结合贝叶斯优化(BO)框架编码的时空信息,有效的视频对象跟踪。特别是,我们把视频跟踪问题作为一个动态(即时间演变)优化问题。使用高斯过程先验,我们建模一个动态的目标函数,表示跟踪对象在每帧中的位置。通过利用时间相关性,所提出的方法以统计原则和有效的方式查询搜索空间,提供了优于当前技术视频跟踪方法的几个优点。
2018-11-18 cs.CV
Camouflaged Object Tracking: A Benchmark
College of Computer Science and Engineering, Guilin University of Technology, China(桂林理工大学计算机科学与工程学院);Guangxi Key Laboratory of Embedded Technology and Intelligent System, Guilin University of Technology, China(广西嵌入式技术与智能系统重点实验室);School of Automation Science and Engineering, Xi’an Jiaotong University, Xi’an, Shaanxi 710049, China(西安交通大学自动化科学与工程学院);College of Computer Science, Sichuan University, Sichuan 610065, China(四川大学计算机学院)
针对伪装目标跟踪研究不足的问题,本文构建了包含200个序列的COTD基准,评估现有算法并发现其缺陷,同时提出HiPTrack-MLS框架以提升伪装目标跟踪性能。
2025-05-30 cs.CV
Multi-Branch Siamese Networks with Online Selection for Object Tracking
Polytechnique Montreal(蒙特利尔高等理工学院);TELUQ University(魁北克大学电视学院)
在本文中,我们提出了一个强大的目标跟踪算法的基础上,选择分支选择机制,选择最有效的对象表示从多分支连体网络。虽然大多数深度学习跟踪器使用单个CNN进行目标表示,但提出的多分支连体跟踪器(MBST)采用了针对不同任务预先训练的CNN的多个分支,并用于我们跟踪方法中的各种目标表示。利用我们的分支选择机制,以在线方式根据目标特征选择适当的CNN分支。通过使用最充分的目标表示相对于被跟踪的对象,我们的方法实现了实时跟踪,同时获得改进的性能相比,标准的暹罗网络跟踪器的对象跟踪基准。
2018-08-31 cs.CV
Faster object tracking pipeline for real time tracking
Infocusp Innovations Private Limited(Infocusp创新私人有限公司)
多目标跟踪(MOT)是基于视觉的应用中一个具有挑战性的实际问题。MOT的最新方法使用来自Faster RCNN等模型的预计算检测,在后续阶段执行边界框和关联的微调。然而,这不适合于实际的工业应用,因为不能预先检测。在他们最近的工作中,Wang等人提出了一种跟踪管道,该管道使用联合检测和嵌入模型,并实时执行目标定位和关联。在研究通过检测进行跟踪的范例时,我们发现通过与模型预测并行地执行定位和关联任务可以使跟踪管道更快。这一点,以及其他计算优化,如使用混合精度模型和执行分批检测,导致跟踪流水线的速度提高了57.8%(19 FPS到30 FPS)的全高清分辨率。此外,该速度与图像序列中的目标密度无关。本文的主要贡献是展示了一个通用的管道,可用于加快基于检测的对象跟踪方法。我们还审查了不同的批处理大小以获得最佳性能,同时考虑了GPU内存使用和速度。
2020-11-08 cs.CV
A Novel Low-cost FPGA-based Real-time Object Tracking System
Shenzhen Graduate School, Harbin Institute of Technology(哈尔滨工业大学深圳研究生院);Sanechips Technology Co., Ltd(中兴微电子技术有限公司)
在目前的视觉目标跟踪系统中,基于CPU或GPU的视觉目标跟踪系统具有高计算成本并且消耗令人望而却步的量的功率。因此,在本文中,为了减少Camshift算法的计算负担,我们提出了一种新的视觉目标跟踪算法,利用二进制分类器和卡尔曼预测器的属性。此外,我们提出了一个低成本的基于FPGA的实时的【形】目标跟踪硬件架构。OTB基准测试结果表明,该系统具有极强的实时的【形】稳定性和鲁棒性。评估结果表明,我们的算法的准确率约为48%,平均速度约为每秒309帧。
2018-04-22 cs.CV
Robust video object tracking using particle filter with likelihood based feature fusion and adaptive template updating
Nanjing University(南京大学)
针对复杂视频场景中的目标跟踪问题,提出了一种鲁棒的算法解决方案。在这种解决方案中,引导粒子滤波器(PF)初始化的对象检测器,模型的视频信号的时间演变的背景下,自适应高斯混合。对象的运动由马尔可夫模型表示,该模型定义了状态转移先验。采用颜色和纹理特征表示目标,提出了一种基于边缘似然的特征融合方法。相应的目标模板模型更新程序的开发,以考虑在跟踪过程中的对象的可能的规模变化。实验结果表明,我们的算法击败了现有的几个替代方案,在解决具有挑战性的情况下,视频跟踪任务。
2015-09-28 cs.CV
Beyond Traditional Single Object Tracking: A Survey
The University of British Columbia(不列颠哥伦比亚大学)
该综述聚焦单目标跟踪任务,梳理多类前沿视觉技术在该领域的应用,提出新的方法分类体系,开展性能对比与优劣分析,给出非传统技术应用指南并指明未来研究方向。
2024-05-16 cs.CV
Robust 6-DoF Object Pose Tracking with Built-In Recovery under Occlusions and Rapid Object Motions
Woven by Toyota, Inc.(丰田编织公司);University of Bonn(波恩大学);University of Bonn, Center for Robotics, and the Lamarr Institute for Machine Learning and Artificial Intelligence(波恩大学机器人中心以及拉玛尔机器学习与人工智能研究所)
针对RGB-D数据中未见物体的6自由度跟踪问题,尤其是遮挡和快速运动场景,提出结合关键点匹配与优化对齐及故障检测恢复模块的方法,在多场景评估中表现出色,是鲁棒6自由度物体跟踪的重要进展。
2026-07-28 cs.CV
TransTrack: Multiple Object Tracking with Transformer
The University of Hong Kong(香港大学);Carnegie Mellon University(卡内基梅隆大学);ByteDance AI Lab(字节跳动人工智能实验室);Tongji University(同济大学)
在这项工作中,我们提出了TransTrack,一个简单而有效的计划来解决多目标跟踪问题。TransTrack利用了Transformer体系结构,这是一种基于注意力的查询键机制。它将来自前一帧的对象特征应用为当前帧的查询,并引入一组学习的对象查询以检测新出现的对象。该算法通过在Single Shot内完成目标检测和目标关联,简化了检测跟踪方法中复杂的多步设置,建立了一种新的联合检测跟踪方法。在MOT 17和MOT 20基准测试中,TransTrack的MOTA分别达到74.5%和64.5%,与现有方法相比具有一定的竞争力。我们希望TransTrack提供一个新的视角多目标跟踪。代码可在以下网址获得:\url{https://github.com/PeizeSun/TransTrack}。
2021-05-04 cs.CV
MOTS: Multi-Object Tracking and Segmentation
RWTH Aachen University(亚琛工业大学);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Tübingen(图宾根大学)
本文将多目标跟踪问题扩展到多目标跟踪与分割(MOTS)。为了实现这一目标,我们使用半自动注释程序为两个现有的跟踪数据集创建密集的像素级注释。我们的新注释包括65,213个像素掩码,用于10,870个视频帧中的977个不同对象(汽车和行人)。对于评估,我们扩展现有的多对象跟踪指标,这个新的任务。此外,我们提出了一种新的基线方法,该方法通过单个卷积网络联合解决检测,跟踪和分割问题。我们通过在MOTS注释上训练时实现性能的改进来证明我们的数据集的价值。我们相信,我们的数据集、指标和基线将成为开发超越2D边界框的多目标跟踪方法的宝贵资源。我们在https://www.vision.rwth-aachen.de/page/mots上提供注释、代码和模型。
2019-04-08 cs.CV
A data set for evaluating the performance of multi-class multi-object video tracking
University of South Australia(南澳大学);Defence Science and Technology Group(国防科技集团)
评估多目标视频检测、跟踪和分类系统的挑战之一是拥有可用于比较不同系统的可用数据集。然而,跟踪和分类的性能度量是不同的。适用于评估跟踪系统的数据集可能不适合分类。跟踪视频数据集通常仅具有地面实况轨道ID,而分类视频数据集仅具有地面实况类别标签ID。前者识别多个帧中的同一对象,而后者识别单个帧中的对象类型。本文描述了DARPA Neovision2 Tower数据集的地面真实元数据的进步,以允许跟踪和分类的评估。本文中提出的地面实况数据集包含5种不同类别的对象(汽车,公共汽车,卡车,人,骑自行车者)的唯一对象ID,每个视频871帧。除了对象ID和类标签之外,地面实况数据还包含原始限界框坐标以及存在未注释对象的实例中的新边界框。在多个对象之间的遮挡期间或当对象重新进入视场时,保持唯一ID。这将提供:评估不同类型目标的多目标跟踪性能的坚实基础,使用标准多目标跟踪(MOT)框架直接比较跟踪系统性能,使用Neovision2指标进行分类性能。这些数据已被托管。
2017-04-21 cs.CV
Multi-Class Multi-Object Tracking using Changing Point Detection
Inha University(仁荷大学)
提出了一种基于贝叶斯滤波框架的鲁棒多类多目标跟踪算法(MCMOT)。通过结合检测响应和变化点检测(CPD)算法,实现了对无限目标类别的多目标跟踪。CPD模型用于观察由于漂移和基于轨道状态的时空特性的遮挡而导致的突然或异常变化。采用基于卷积神经网络(CNN)的对象检测器和基于Lucas-Kanede Tracker(KLT)的运动检测器的集成来计算前景区域的似然度作为不同对象类的检测响应。使用最近引入的具有挑战性的基准视频进行了广泛的实验; ImageNet VID和MOT基准数据集。与最先进的视频跟踪技术的比较显示了非常令人鼓舞的结果。
2016-08-30 cs.CV
ABCTracker: an easy-to-use, cloud-based application for tracking multiple objects
University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校);The University of Arizona(亚利桑那大学)
视觉多目标跟踪有可能加速许多形式的定量分析,特别是在研究群体动物的运动,行为或社会互动的研究社区。尽管其增加分析吞吐量的潜力,与可访问性,适应性,准确性,或可扩展的应用程序出现与现有的跟踪系统的并发症。经过多次原型设计和测试,我们开发出了一个多目标跟踪系统- ABCTracker -这是一个既符合系统要求又符合技术知识要求的系统,易于适应新的视频,能够通过混合自动和半自动跟踪功能产生准确的跟踪数据。
2020-01-29 cs.CV
Self-supervised Object Tracking with Cycle-consistent Siamese Networks
Hong Kong University of Science and Technology(香港科技大学)
与监督学习相比,用于视觉对象跟踪的自监督学习具有有价值的优点,例如不需要费力的人工注释和在线训练。在这项工作中,我们利用一个端到端的暹罗网络在一个周期一致的自我监督框架的对象跟踪。自我监督可以通过利用前向和后向跟踪中的周期一致性来执行。为了更好地利用深度网络的端到端学习,我们建议在我们的跟踪框架中集成暹罗区域建议和掩码回归网络,以便在不对每帧进行注释的情况下学习更快,更准确的跟踪器。在用于视觉对象跟踪的VOT数据集和用于视频对象分割传播的DAVIS数据集上的实验表明,我们的方法在这两个任务上都优于以前的方法。
2020-08-03 cs.CV
Object Preserving Siamese Network for Single Object Tracking on Point Clouds
East China University of Science and Technology(华东理工大学)
显然,目标是三维单目标跟踪(SOT)任务的关键因素。然而,以前的基于Siamese的跟踪器忽略了骨干采样过程中随机丢弃的对象点带来的负面影响,这阻碍了跟踪器预测准确的边界框(BBoxes)。探索一种方法,寻求最大限度地保存对象点及其对象感知功能是特别重要的。受此启发,我们提出了一个对象保持暹罗网络(OPSNet),它可以显着保持对象的完整性和提高跟踪性能。首先,对象高亮模块增强对象感知特征,并从模板和搜索区域中提取区分特征。然后,对象保留采样选择对象候选者以获得对象保留搜索区域种子,并丢弃对跟踪贡献较小的背景点。最后,对象定位网络基于对象保留的搜索区域种子精确定位3D BBox。大量的实验表明,我们的方法优于最先进的性能(在KITTI和Waymo Open Dataset上分别获得了9.4%和2.5%的成功率)。
2023-01-28 cs.CV
GUSOT: Green and Unsupervised Single Object Tracking for Long Video Sequences
University of Southern California(南加州大学);Army Research Laboratory(陆军研究实验室)
近年来,依赖于深度学习技术的有监督和无监督深度跟踪器很受欢迎。然而,它们需要高计算复杂性和高存储器成本。提出了一种绿色无监督单目标跟踪器GUSOT,用于资源受限环境下的长视频目标跟踪。GUSOT基于基线跟踪器UHP-SOT++构建,适用于短期跟踪,GUSOT包含两个额外的新模块:1)丢失的对象恢复,2)基于颜色显着性的形状建议。它们分别有助于解决跟踪丢失问题和提供更灵活的对象建议。因此,它们使GUSOT能够在长期内实现更高的跟踪精度。我们在具有长视频序列的大规模数据集LaSOT上进行了实验,并表明GUSOT提供了一种轻量级的高性能跟踪解决方案,可以在移动和边缘计算平台中找到应用。
2022-07-15 cs.CV
Multi-Object Tracking by Hierarchical Visual Representations
Carnegie Mellon University(卡内基梅隆大学);Shanghai AI Laboratory(上海人工智能实验室)
本文提出一种组合-语义-上下文层次化视觉表示范式,并设计基于注意力的特征融合模块,在多目标跟踪基准上以查询类方法实现最优准确率与时间效率。
2024-02-24 cs.CV
Proposal, Tracking and Segmentation (PTS): A Cascaded Network for Video Object Segmentation
Huazhong University of Science and Technology(华中科技大学);Horizon Robotics(地平线机器人)
视频对象分割(VOS)的目的是在像素级的对象跟踪给定的第一帧中的注释。由于视频中对象的视觉变化大,训练样本的缺乏,尽管深度学习的发展方兴未艾,但它仍然是一项艰巨的任务。为了解决VOS问题,我们提出了由对象建议,跟踪和分割组件组成的统一框架,带来了一些新的见解。对象建议网络将对象信息作为通用知识传输到VOS中;跟踪网络从建议中识别目标对象;并且分割网络基于跟踪结果与新的基于动态参考的模型自适应方案来执行。在DAVIS'17数据集和YouTube-VOS数据集上进行了大量的实验,我们的方法在几个视频对象分割基准上达到了最先进的性能。我们在https://github.com/sydney0zq/PTSNet上公开提供代码。
2019-07-04 cs.CV
Video object tracking based on YOLOv7 and DeepSORT
Northwestern Polytechnical University(西北工业大学)
多目标跟踪(MOT)是计算机视觉领域的一项重要技术,在自动驾驶、智能监控、行为识别等方向有着广泛的应用。在当前流行的基于深度学习的MOT方法中,基于检测的跟踪(DBT)在工业中应用最为广泛,其性能取决于其目标检测网络。目前性能较好、应用最广泛的DBT算法是YOLOv 5-DeepSORT。受YOLOv 5-DeepSORT的启发,结合在目标检测方面表现较好的YOLOv 7网络的提出,将YOLOv 7作为目标检测部分应用到DeepSORT中,提出了YOLOv 7-DeepSORT。经过实验评估,与之前的YOLOv 5-DeepSORT相比,YOLOv 7-DeepSORT在跟踪精度上表现更好。
2022-07-25 cs.CV
An Analysis of Kalman Filter based Object Tracking Methods for Fast-Moving Tiny Objects
McNeese State University(麦基内斯州立大学);University of Louisiana at Lafayette(路易斯安那州立大学拉法叶分校);Informatics Research Institute (IRI)(信息研究研究院);Center for Advanced Computer Studies (CACS)(高级计算机研究中心)
本文评估了五种基于卡尔曼滤波的跟踪方法在快速运动微小物体上的性能,发现DeepOCSORT跟踪误差最低但所有方法均存在显著漂移,误差率比标准基准高3-4倍,表明现有方法需针对此类场景进行专门改进。
2025-09-22 cs.CV
A Discriminative Single-Shot Segmentation Network for Visual Object Tracking
University of Ljubljana(卢布尔雅那大学);Czech Technical University in Prague(布拉格捷克理工大学)
基于模板的判别式跟踪器由于其鲁棒性而成为当前占主导地位的跟踪范例,但其局限于限界框跟踪和有限范围的变换模型,这降低了其定位精度。本文提出了一种判别式单镜头分割跟踪器D3 S2,它缩小了视觉对象跟踪和视频对象分割之间的差距。单发网络应用两个具有互补几何特性的目标模型,一个对广泛的变换(包括非刚性变形)不变,另一个假设刚性对象同时实现鲁棒的在线目标分割。通过解耦对象和特征尺度估计,进一步增加了整体跟踪可靠性。在没有对每个数据集进行微调的情况下,D3 S2仅针对分割作为主要输出进行训练,在最近的短期跟踪基准测试VOT 2020上的表现优于所有已发布的跟踪器,并且在GOT-10 k、TrackingNet、OTB 100和LaSoT上的表现非常接近最先进的跟踪器。D3 S2在视频对象分割基准测试中的表现优于领先的分割跟踪器SiamMask,并与顶级视频对象分割算法不相上下。
2021-12-27 cs.CV
Track, then Decide: Category-Agnostic Vision-based Multi-Object Tracking
Visual Computing Institute, RWTH Aachen University(亚琛工业大学视觉计算研究所)
基于视觉的多目标跟踪最常见的范例是检测跟踪,这是因为对于几个重要的目标类别(如汽车和行人),可靠的检测器是可用的。然而,未来的移动系统将需要有能力应对丰富的人造环境,在这种环境中,为每一种可能的物体类别获取探测器是不可行的。在本文中,我们提出了一个无模型的多目标跟踪方法,使用一个类别无关的图像分割方法来跟踪对象。我们提出了一个有效的分割掩模为基础的跟踪器相关联的像素精确的掩模报告的分割。我们的方法可以利用语义信息,只要它是可用于分类对象的轨道水平,同时保留跟踪通用的未知对象的能力,在没有这样的信息。我们的实验表明,我们的方法实现的性能与最先进的跟踪检测方法的流行的对象类别,如汽车和行人。此外,我们表明,该方法可以发现和鲁棒跟踪各种各样的其他对象。
2017-12-21 cs.CV
Tracking without bells and whistles
Technical University of Munich(慕尼黑工业大学)
在视频序列中跟踪多个对象的问题提出了几个具有挑战性的任务。对于检测跟踪,这些包括对象重新识别,运动预测和处理遮挡。我们提出了一个跟踪器(没有花里胡哨的东西),它可以在不专门针对任何这些任务的情况下完成跟踪,特别是,我们不对跟踪数据进行训练或优化。为此,我们利用对象检测器的限界框回归来预测对象在下一帧中的位置,从而将检测器转换为跟踪器。我们展示了Tracktor的潜力,并通过简单的重新识别和相机运动补偿扩展它,在三个多对象跟踪基准上提供了一个新的最先进的技术。然后,我们对几种最先进的跟踪方法的性能和故障情况进行了分析,并与我们的Tracktor进行了比较。令人惊讶的是,没有一种专用的跟踪方法在处理复杂的跟踪场景,即小的和被遮挡的对象或丢失的检测方面要好得多。然而,我们的方法解决了大多数容易跟踪的情况。因此,我们激励我们的方法作为一个新的跟踪范式,并指出有前途的未来研究方向。总体而言,Tracktor的跟踪性能优于任何当前的跟踪方法,我们的分析揭示了剩余的和未解决的跟踪挑战,以启发未来的研究方向。
2019-08-17 cs.CV
3D Object Tracking with Transformer
Northeastern University(东北大学)
特征融合和相似度计算是三维目标跟踪中的两个核心问题,特别是对于稀疏无序点云的目标跟踪。特征融合通过包含目标对象的信息,使相似度计算更加有效。然而,大多数现有的基于激光雷达的方法直接使用提取的点云特征来计算相似性,而忽略了跟踪过程中对象区域的注意力变化。本文提出了一种基于Transformer结构的特征融合网络。得益于自注意力机制,Transformer编码器捕捉点云不同区域之间的相互关系和内部关系。Transformer解码器利用交叉注意力融合特征,在当前点云特征中加入更多的目标线索,计算区域注意力,提高了相似度计算的效率。基于此特征融合网络,我们提出了一个端到端的点云目标跟踪框架,一个简单而有效的方法,用于3D目标跟踪使用点云。KITTI数据集上的综合实验结果表明,我们的方法达到了新的最先进的性能。代码可在:https://github.com/3bobo/lttr.
2021-10-28 cs.CV
Online Multi-Object Tracking with Historical Appearance Matching and Scene Adaptive Detection Filtering
Gwangju Institute of Science and Technology(光州科学技术院)
在本文中,我们提出的方法来处理多目标跟踪过程中的时间误差。当对象被遮挡或噪声检测出现在对象附近时,会发生时间误差。在这些情况下,跟踪可能会失败,并发生漂移或ID切换等各种错误。仅利用运动和形状信息很难克服时间误差。因此,本文提出了历史外观匹配方法和两步训练的联合输入连体网络。该方法可以防止目标在被遮挡或最后匹配信息不可靠时的跟踪失败。我们还提供了有用的技术,以消除噪声检测有效地根据现场条件。跟踪性能,特别是身份一致性,大大提高了附加我们的方法。
2018-09-18 cs.CV
Iterative Scale-Up ExpansionIoU and Deep Features Association for Multi-Object Tracking in Sports
University of Washington(华盛顿大学);Electronics and Telecommunications Research Institute(电子通信研究院);National Center for High-Performance Computing(国家高性能计算中心)
针对体育场景中运动员非线性运动导致 Kalman filter 失效的问题,提出 Deep-EIoU 多目标跟踪方法,利用迭代尺度扩展 ExpansionIoU 和深度特征关联实现鲁棒在线跟踪,在多个体育基准上超越 SOTA。
2023-11-19 cs.CV
SpOT: Spatiotemporal Modeling for 3D Object Tracking
Stanford University(斯坦福大学);Toyota Research Institute(丰田研究院)
3D多目标跟踪旨在通过时间唯一且一致地识别所有移动实体。尽管在此设置中可用的丰富的时空信息,当前的3D跟踪方法主要依赖于抽象的信息和有限的历史,例如单帧对象边界框。在这项工作中,我们开发了一个整体表示的交通场景,利用空间和时间信息的演员在现场。具体来说,我们重新制定跟踪作为一个时空问题,通过跟踪对象的时间戳点和边界框序列在一个很长的时间历史。在每个时间戳,我们通过对整个对象历史序列的学习改进来改进跟踪对象的位置和运动估计。通过将时间和空间结合起来考虑,我们的表征自然地编码了基本的物理先验,例如物体永久性和跨时间的一致性。我们的时空跟踪框架在Waymo和nuScenes基准测试中达到了最先进的性能。
2022-07-12 cs.CV
Derivation of a Constant Velocity Motion Model for Visual Tracking
School of Computing and Communications, Lancaster University(兰卡斯特大学计算与通信学院)
运动模型在视觉跟踪应用中起着重要的作用,它可以预测目标在下一帧中的可能位置。与雷达或航空航天领域的目标跟踪只考虑点不同,计算机视觉中的目标跟踪涉及到目标的大小。等速运动模型是视觉跟踪中应用最广泛的运动模型,但对于新加入该研究领域的研究者来说,还没有一个清晰易懂的关于物体大小的推导。在本文中,我们推导出了包含物体大小的恒速运动模型,我们认为这可以帮助新的研究人员很快适应它。
2020-10-20 cs.CV
SCTracker: Multi-object tracking with shape and confidence constraints
Fuzhou University(福州大学)
本文提出 SCTracker,通过形状约束的交并比距离计算代价矩阵和基于检测置信度的卡尔曼滤波更新运动状态,解决了多目标跟踪中重叠和低置信度检测导致的关联错误问题,提升了跟踪性能。
2023-05-16 cs.CV
Temporally Propagated Masks and Bounding Boxes: Combining the Best of Both Worlds for Multi-Object Tracking
Inria centre at Université Côte d’Azur(蔚蓝海岸大学法国国家信息与自动化研究所中心)
针对传统检测跟踪泛化性不足、掩码方法跟踪管理难的问题,提出McByte方法,融合时间传播掩码与边界框信息,无需逐序列调优,在四个基准数据集上性能提升且优于现有掩码方法。
2024-11-22 cs.CV
Object Tracking with Correlation Filters using Selective Single Background Patch
M. S. Ramaiah University of Applied Sciences(M. S. 拉迈亚应用科学大学)
与现有的跟踪器相比,相关滤波器在提高跟踪性能方面起着重要作用。跟踪器使用自适应相关响应来预测目标的位置。近年来提出了许多种具有高精度和高帧速率的相关跟踪器。本文提出了一种选择单个背景块的方法,以具有更好的跟踪性能。本文还提出了一种相关滤波器的变形,即用图像复原滤波器对相关滤波器进行修正。使用目标跟踪基准序列对该方法进行了验证。
2018-05-09 cs.CV
Hy-Tracker: A Novel Framework for Enhancing Efficiency and Accuracy of Object Tracking in Hyperspectral Videos
Griffith University(格里菲斯大学);Bangladesh Agricultural University(孟加拉国农业大学)
本文提出Hy-Tracker框架,首次将YOLOv7引入高光谱视频目标跟踪,并结合精化跟踪模块与卡尔曼滤波器,有效应对遮挡和尺度变化,提升跟踪精度与效率。
2023-11-30 cs.CV
Multi-Object Tracking in the Dark
Beijing Institute of Technology(北京理工大学)
针对黑暗场景多目标跟踪数据与方法不足的问题,本文构建LMOT数据集并提出LTrack,通过自适应低通下采样和退化抑制学习提升夜间跟踪鲁棒性。
2024-05-10 cs.CV
Online Multi-Object Tracking with Unsupervised Re-Identification Learning and Occlusion Estimation
University of Science and Technology of China(中国科学技术大学);Microsoft Cloud AI(微软云人工智能);International Digital Economy Academy(国际数字经济研究院)
不同目标之间的遮挡是多目标跟踪(MOT)中的一个典型挑战,这通常会导致由于丢失检测到的目标而导致较差的跟踪结果。在多目标跟踪中,通常的做法是在丢失的目标重新出现后重新识别它们。虽然通过重新辨识可以提高跟踪性能,但是需要对模型进行身份标注来训练。此外,这种重新识别的做法仍然不能跟踪那些高度遮挡的目标时,他们被错过的检测器。在本文中,我们专注于在线多目标跟踪和设计两个新的模块,无监督的重新识别学习模块和遮挡估计模块,来处理这些问题。具体而言,所提出的无监督重新识别学习模块不需要任何(伪)身份信息,也不存在可扩展性问题。所提出的遮挡估计模块试图预测遮挡发生的位置,该位置被用于由检测器估计错过的对象的位置。我们的研究表明,当应用于最先进的MOT方法时,所提出的无监督重新识别学习与有监督重新识别学习相当,并且所提出的遮挡估计模块进一步提高了跟踪性能。
2022-01-04 cs.CV
Continuity-Discrimination Convolutional Neural Network for Visual Object Tracking
University of Chinese Academy of Sciences(中国科学院大学)
提出了一种新的视觉目标跟踪模型--连续判别卷积神经网络(CD-CNN)。现有的最先进的跟踪方法不处理视频序列中的时间关系,这导致不完善的特征表示。为了解决这个问题,CD-CNN基于时间缓慢的想法对时间外观连续性进行建模。在数学上,我们证明了,通过引入时间外观连续跟踪,目标外观表示误差的上限可以足够小的概率。此外,为了减轻不准确的目标定位和漂移,我们提出了一个新的概念,对象质心,不仅表征对象,而且在一个给定的补丁内的目标的相对位置。时间外观连续性和物体质心在离线训练期间联合学习,然后转移到在线跟踪。我们评估我们的跟踪器通过广泛的实验两个具有挑战性的基准,并显示其竞争力的跟踪性能相比,最先进的跟踪器。
2021-04-18 cs.CV
VariabilityTrack:Multi-Object Tracking with Variable Speed Object Movement
本文提出基于环境反馈的变速卡尔曼滤波算法并改进匹配过程,解决了车辆和无人机加速等复杂视角下匀速卡尔曼滤波易导致跟踪丢失的问题,在保持静态场景精度的同时提升了变速场景跟踪效果。
2024-01-01 cs.CV
OmniTracker: Unifying Object Tracking by Tracking-with-Detection
Shanghai Key Lab of Intelligent Information Processing and School of Computer Science, Fudan University(上海智能信息处理关键实验室和复旦大学计算机学院);Microsoft Research, Redmond(微软研究院(红mond));Microsoft Research, Asia(微软亚洲研究院)
OmniTracker通过结合跟踪与检测的优势,统一解决不同目标跟踪任务,实现高效且一致的模型架构和参数共享。
2026-03-02 cs.CV
MOT16: A Benchmark for Multi-Object Tracking
University of Adelaide(阿德莱德大学);ETH Zurich(苏黎世联邦理工学院);Technische Universität Darmstadt(达姆施塔特工业大学)
标准化基准对于大多数计算机视觉应用至关重要。虽然排行榜和排名表不应该被过分夸大,但基准往往提供了最客观的业绩衡量标准,因此是研究的重要指南。最近,推出了一个新的多目标跟踪基准MOTChallenge,其目标是收集现有和新的数据,并为多目标跟踪方法的标准化评估创建一个框架。基准测试的第一个版本专注于多人跟踪,因为行人是迄今为止跟踪社区中研究最多的对象。本文伴随着MOTChallenge基准测试的新版本。与最初的版本不同,MOT16的所有视频都遵循一致的协议进行了仔细的注释。此外,它不仅显著增加了标记框的数量,而且还提供了行人旁边的多个对象类别以及每个感兴趣对象的可见性水平。
2016-05-03 cs.CV
A New Dataset and a Distractor-Aware Architecture for Transparent Object Tracking
Faculty of computer and information science, University of Ljubljana(卢布尔雅那大学计算机与信息科学学院);Center for Machine Perception, Czech Technical University in Prague(布拉格捷克理工大学机器感知中心)
针对透明物体跟踪因背景干扰和相似物导致性能下降且缺乏训练数据的问题,提出首个含2k序列的数据集Trans2k及将定位与识别分离的新型抗干扰跟踪器DiTra,实现性能最优并良好泛化。
2024-01-08 cs.CV
TDIOT: Target-driven Inference for Deep Video Object Tracking
Istanbul Technical University(伊斯坦布尔理工大学)
最近的检测跟踪方法使用深目标检测器作为目标检测基线,因为它们在静止图像上的高性能。为了有效的视频对象跟踪,将目标检测与由定制设计推理架构或端到端联合训练执行的数据关联步骤集成以用于跟踪目的。在这项工作中,我们采用了前一种方法,并使用预训练的Mask R-CNN深度对象检测器作为基线。我们在Mask R-CNN的FPN-ResNet 101主干上引入了一种新的推理架构,以联合执行检测和跟踪,而无需额外的跟踪训练。建议的单目标跟踪器,TDIOT,适用于外观相似性为基础的时间匹配的数据关联。为了解决跟踪的不连续性,我们将一个本地搜索和匹配模块的推理头层,利用SiamFC的短期跟踪。此外,为了提高对尺度变化的鲁棒性,我们引入了一个尺度自适应区域建议网络,该网络能够在由目标的轨迹指定的自适应扩大的空间邻域中搜索目标。为了满足长期跟踪的要求,低成本的验证层被纳入推理架构,以监测存在的目标的基础上,其LBP直方图模型。对来自VOT 2016、VOT 2018和VOT-LT 2018数据集的视频进行的性能评估表明,与最先进的短期跟踪器相比,TDIOT实现了更高的准确性,同时在长期跟踪方面提供了相当的性能。
2021-03-23 cs.CV
DirectTracker: 3D Multi-Object Tracking Using Direct Image Alignment and Photometric Bundle Adjustment
Technical University of Munich (TUM)(慕尼黑工业大学(TUM))
直接方法在视觉里程计和SLAM的应用中表现出优异的性能。在这项工作中,我们建议利用其有效性的任务,三维多目标跟踪。为此,我们提出了DirectTracker,一个框架,有效地结合了直接的图像对齐的短期跟踪和滑动窗口光度束调整的三维目标检测。对象建议基于稀疏滑动窗口点云进行估计,并使用基于优化的成本函数进行进一步优化,该成本函数仔细结合了3D和2D线索,以确保图像和世界空间的一致性。我们建议使用最近引入的高阶跟踪精度(HOTA)度量和广义交集相似性度量来评估3D跟踪,以减轻传统使用交集的局限性。我们对汽车类的KITTI跟踪基准进行了评估,并在2D和3D跟踪对象方面表现出竞争力。
2022-09-29 cs.CV