Learning Global Structure Consistency for Robust Object Tracking
Huazhong University of Science and Technology(华中科技大学);Baidu Inc.(百度公司)
快速的外观变化和相似物体的干扰是视觉目标跟踪中最具挑战性的两个问题。与许多现有的跟踪器,专注于建模的目标,在这项工作中,我们考虑的\emph{transient variations of the whole scene}。关键的见解是整个场景的对象对应和空间布局是一致的(即,全局结构一致性),这有助于将目标与干扰物区分开。此外,建模瞬态变化使得能够在快速变化下定位目标。具体来说,我们提出了一个有效的和高效的短期模型,学习利用全球结构的一致性在很短的时间内,从而可以处理快速变化和干扰。由于短期建模无法处理遮挡和视图外,因此我们采用长短期范式,并使用长期模型,当短期模型偏离目标或目标不存在时,该模型会纠正短期模型。这两个组件被仔细地结合在一起,以实现跟踪过程中稳定性和可塑性的平衡。我们经验验证,建议的跟踪器可以解决这两个具有挑战性的情况下,并验证它在大规模的基准。值得注意的是,我们的跟踪器将VOT 2018的最先进性能从0.440提高到0.460,GOT-10 k从0.611提高到0.640,NFS从0.619提高到0.629。
2020-08-26 cs.CV
Multi-Object Tracking with Multiple Cues and Switcher-Aware Classification
Sensetime Group Limited(商汤集团有限公司);Beihang University(北京航空航天大学);The University of Sydney(悉尼大学)
在本文中,我们提出了一个统一的多目标跟踪(MOT)框架学习,充分利用长期和短期的线索处理复杂的情况下,在MOT场景。此外,为了更好的关联,我们提出了切换感知分类(SAC),它考虑到潜在的身份切换的原因(切换)。具体而言,所提出的框架包括一个单一的对象跟踪(SOT)子网捕捉短期线索,一个重新识别(ReID)子网提取长期线索和切换感知分类器进行匹配决策使用提取的功能,从主要目标和切换。短期线索有助于发现假阴性,而长期线索避免了发生遮挡时的严重错误,SAC学会以有效的方式组合多个线索并提高鲁棒性。该方法是具有挑战性的MOT基准进行评估,并取得了国家的最先进的结果。
2019-01-18 cs.CV
Beyond standard benchmarks: Parameterizing performance evaluation in visual object tracking
University of Ljubljana(卢布尔雅那大学)
物体到摄像机的运动会产生各种明显的运动模式,这些模式会显著影响短期视觉跟踪器的性能。尽管对于设计健壮的跟踪器至关重要,但由于定义较弱,有偏见和重叠的属性注释,它们的影响在标准基准测试中很少被探索。在本文中,我们建议超越预先记录的基准与事后注释,提出了一种方法,利用全向视频生成逼真的,一致的注释,短期跟踪场景与精确参数化的运动模式。我们已经创建了一个评估系统,构建了一个全方位视频和典型运动模式的生成器的完全注释的数据集。我们提供了一个深入的分析,主要的跟踪范式,这是补充标准的基准,并确认我们的评价方法的表达能力。
2017-03-25 cs.CV
MONCE Tracking Metrics: a comprehensive quantitative performance evaluation methodology for object tracking
Lockheed Martin AI Center(洛克希德·马丁人工智能中心)
评估跟踪模型的性能是一项复杂的任务,特别是对于在国防应用中至关重要的非连续多目标跟踪器。虽然有各种优秀的跟踪基准,这项工作将它们扩展到量化长期,非连续,多目标和检测模型辅助跟踪器的性能。我们提出了一套MONCE(多对象非连续性实体)图像跟踪指标,提供客观的跟踪模型性能基准以及诊断洞察力,以预期平均重叠,短期/长期重新识别,跟踪召回,跟踪精度,寿命,定位和缺席预测的形式驱动跟踪模型的开发。
2022-04-11 cs.CV
Tracking by Associating Clips
KAIST(韩国科学技术院);Adobe Research(Adobe研究院)
通过检测的跟踪范例今天已经成为多目标跟踪的主要方法,并且通过检测每个帧中的对象,然后跨帧执行数据关联来工作。然而,它的顺序逐帧匹配特性从根本上受到视频中的中间中断的影响,例如对象遮挡、快速相机移动和突然的光线变化。此外,它通常忽略两个帧之外的时间信息以进行匹配。在本文中,我们研究了一种替代治疗对象关联剪辑明智的匹配。我们的新视角将单个长视频序列视为多个短剪辑,然后在剪辑内和剪辑之间执行跟踪。这种新方法的好处有两个方面。首先,我们的方法是强大的跟踪误差积累或传播,因为视频分块允许绕过中断的帧,和短剪辑跟踪避免了传统的容易出错的长期跟踪存储管理。第二,多帧信息在剪辑方式匹配期间被聚合,导致比当前帧方式匹配更准确的长距离轨迹关联。鉴于最先进的检测跟踪器,QDTrack,我们展示了如何跟踪性能提高我们的新的跟踪配方。我们在两个跟踪基准TAO和MOT17上评估我们的建议,这两个基准具有互补的特点和相互挑战。
2022-12-20 cs.CV
ReMOTS: Self-Supervised Refining Multi-Object Tracking and Segmentation
Nara Institute of Science and Technology(奈良先端科学技术大学院大学);RIKEN(理化学研究所);UISEE Technology (Beijing) Co. Ltd.(北京驭势科技有限公司);Kyoto University(京都大学)
我们的目标是通过细化来提高多目标跟踪和分割(MOTS)的性能。然而,它仍然具有挑战性的改进MOTS结果,这可能是由于外观特征不适应目标视频,也很难找到合适的阈值来区分它们。为了解决这个问题,我们提出了一个自我监督的细化MOTS(即,ReMOTS)框架。从数据关联的角度来看,ReMOTS主要采取四个步骤来细化MOTS结果。(1)使用预测掩码训练外观编码器。(2)关联相邻帧之间的观测以形成短期轨迹。(3)使用短期tracklet作为可靠的伪标签来训练外观编码器。(4)利用从统计信息自动获得的所采用的外观特征和阈值将短期tracklet合并到长期tracklet。使用ReMOTS,我们在CVPR 2020 MOTS挑战1中达到了$1^{st}$的位置,sMOTSA评分为$69.9$。
2021-01-13 cs.CV
Quo Vadis: Is Trajectory Forecasting the Key Towards Long-Term Multi-Object Tracking?
Technical University of Munich(慕尼黑工业大学)
单目多目标跟踪的最新发展在跟踪可见对象和桥接短遮挡间隙方面非常成功,主要依赖于数据驱动的外观模型。虽然我们已经显著提高了短期跟踪性能,但桥接较长的遮挡间隙仍然难以实现:最先进的对象跟踪器只能桥接不到10%的超过三秒的遮挡。我们认为,缺少的关键是在较长的时间范围内推理未来的轨迹。直觉上,遮挡间隙越长,可能关联的搜索空间就越大。在本文中,我们表明,即使是一个小而多样的移动代理的轨迹预测集将显着减少这个搜索空间,从而提高长期跟踪的鲁棒性。我们的实验表明,我们的方法的关键组成部分是在鸟瞰图空间中进行推理,并在考虑其定位不确定性的同时生成一组小而多样的预测。通过这种方式,我们可以在MOTChallenge数据集上推进最先进的跟踪器,并显着提高其长期跟踪性能。本文的源代码和实验数据可在https://github.com/dendorferpatrick/QuoVadis上获得。
2022-10-25 cs.CV
TDIOT: Target-driven Inference for Deep Video Object Tracking
Istanbul Technical University(伊斯坦布尔理工大学)
最近的检测跟踪方法使用深目标检测器作为目标检测基线,因为它们在静止图像上的高性能。为了有效的视频对象跟踪,将目标检测与由定制设计推理架构或端到端联合训练执行的数据关联步骤集成以用于跟踪目的。在这项工作中,我们采用了前一种方法,并使用预训练的Mask R-CNN深度对象检测器作为基线。我们在Mask R-CNN的FPN-ResNet 101主干上引入了一种新的推理架构,以联合执行检测和跟踪,而无需额外的跟踪训练。建议的单目标跟踪器,TDIOT,适用于外观相似性为基础的时间匹配的数据关联。为了解决跟踪的不连续性,我们将一个本地搜索和匹配模块的推理头层,利用SiamFC的短期跟踪。此外,为了提高对尺度变化的鲁棒性,我们引入了一个尺度自适应区域建议网络,该网络能够在由目标的轨迹指定的自适应扩大的空间邻域中搜索目标。为了满足长期跟踪的要求,低成本的验证层被纳入推理架构,以监测存在的目标的基础上,其LBP直方图模型。对来自VOT 2016、VOT 2018和VOT-LT 2018数据集的视频进行的性能评估表明,与最先进的短期跟踪器相比,TDIOT实现了更高的准确性,同时在长期跟踪方面提供了相当的性能。
2021-03-23 cs.CV
Flow Guided Short-term Trackers with Cascade Detection for Long-term Tracking
School of Information and Communication Engineering, Xi’an Jiaotong University(西安交通大学信息与通信工程学院)
目标跟踪的研究已经有几十年的历史了,但现有的研究大多集中在短时跟踪上。对于较长的序列,目标往往被完全遮挡或长时间处于视野之外,现有的短时目标跟踪算法往往会丢失目标,即使目标再次出现也很难重新捕捉到。本文提出了一种新的长期目标跟踪算法flow_MDNet_RPN,该算法在短期目标跟踪算法的基础上增加了跟踪结果判断模块和检测模块。实验结果表明,该算法对目标消失问题具有较好的跟踪效果。
2019-09-01 cs.CV eess.IV
Multiple Pedestrians and Vehicles Tracking in Aerial Imagery: A Comprehensive Study
Technical University of Munich(慕尼黑工业大学)
在本文中,我们通过对一些传统的和基于深度学习的单目标和多目标跟踪方法的深入评估,解决了高分辨率航空图像中多行人和车辆跟踪的各种挑战。我们还描述了我们提出的基于深度学习的多目标跟踪方法AerialMPTNet,该方法使用连体神经网络,长短期记忆和图形卷积神经网络模块融合外观,时间和图形信息,以实现更准确和稳定的跟踪。此外,我们研究了挤压和激励层和在线硬示例挖掘对AerialMPTNet性能的影响。据我们所知,我们是第一个使用这两个基于回归的多目标跟踪。此外,我们还研究和比较了L1和Huber损失函数。在我们的实验中,我们在三个空中多目标跟踪数据集上广泛评估了AerialMPTNet,即AerialMPT和KIT AIS行人和车辆数据集。定性和定量的结果表明,AerialMPTNet优于所有以前的方法的行人数据集和车辆数据集取得了竞争力的结果。此外,长短期记忆和图卷积神经网络模块增强了跟踪性能。此外,使用挤压和激励和在线硬示例挖掘在某些情况下有很大帮助,而在其他情况下会降低结果。此外,根据结果,L1产生更好的结果相对于Huber损失的大多数情况下。所呈现的结果为空中多目标跟踪领域的挑战和机遇提供了深刻的见解,为未来的研究铺平了道路。
2020-10-19 cs.CV
Faster and Simpler Siamese Network for Single Object Tracking
State Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室);Department of Computer Science and Technology, Nanjing University(南京大学计算机科学与技术系);School of Electronic Science and Engineering, Nanjing University(南京大学电子科学与工程学院)
单目标跟踪是当前计算机视觉中最重要的任务之一。随着深度网络的发展和一系列用于单目标跟踪的大规模数据集的发布,已经提出了siamese网络,并且比大多数传统方法表现得更好。然而,最近的连体网络变得更深,更慢,以获得更好的性能。这些方法大多只能满足理想环境下目标实时跟踪的需要。为了在效率和准确性之间实现更好的平衡,我们提出了一种更简单的用于单目标跟踪的连体网络,该网络在较差的硬件配置下运行速度快,同时保持了出色的准确性。我们使用一个更有效的回归方法来计算跟踪对象的位置在较短的时间内,而不会失去太多的精度。为了提高特征提取的准确性和加快训练速度,我们将挤压和激励(SE)网络引入特征提取器。在本文中,我们比较了所提出的方法与一些国家的最先进的跟踪器,并分析其性能。使用我们的方法,一个连体网络可以用更短的时间和更少的数据进行训练。快速的处理速度使得能够将对象跟踪与目标检测或其他任务实时的相结合。
2021-05-07 cs.CV
Now you see me: evaluating performance in long-term visual tracking
University of Ljubljana(卢布尔雅那大学);Czech Technical University in Prague(布拉格捷克理工大学)
我们提出了一种新的长期跟踪性能评估方法,并提出了一个新的具有挑战性的数据集精心挑选的序列与许多目标失踪。我们使用新的性能指标对六种长期和九种短期最先进的跟踪器进行了广泛的评估,这些指标适用于评估长期跟踪-跟踪精度,召回率和F分数。评估表明,良好的模型更新策略和图像范围内的重新检测能力是长期跟踪性能的关键。我们将该方法集成到VOT工具包中,以自动化实验分析和基准测试,并促进长期跟踪器的开发。
2018-04-19 cs.CV
SOTFormer: A Minimal Transformer for Unified Object Tracking and Trajectory Prediction
School of Computer Science University College Dublin(计算机科学学院都柏林大学学院);School of Computer Science and Technology Dalian University of Technology(计算机科学与技术学院大连理工大学)
针对遮挡等场景下单目标跟踪与短期运动预测的难题,提出端到端极简Transformer模型SOTFormer,统一检测、跟踪与短时域轨迹预测,在基准测试中性能优于同类基线且支持实时推理。
2025-11-14 cs.CV
Robust Long-Term Object Tracking via Improved Discriminative Model Prediction
KAIST(韩国科学技术院);Korea University(高丽大学);Carnegie Mellon University(卡内基梅隆大学)
我们提出了一种改进的判别模型预测方法,用于基于预训练的短期跟踪器的鲁棒长期跟踪。基线预训练的短期跟踪器是SuperDiMP,它将PrDiMP的边界框回归器与标准DiMP分类器相结合。我们的跟踪器RLT-DiMP在以下三个方面改进了SuperDiMP:(1)使用随机擦除减少不确定性:为了使我们的模型鲁棒,我们利用擦除随机小矩形区域后多个图像的一致性作为确定性。然后,我们相应地校正模型的跟踪状态。(2)随机搜索与时空约束:我们提出了一个强大的随机搜索方法与分数惩罚,以防止突然检测的距离。(3)背景增强以实现更具鉴别力的特征学习:我们增强了搜索区域中不包括的各种背景,以在背景杂波中训练更鲁棒的模型。在VOT-LT 2020基准数据集上的实验中,所提出的方法实现了与最先进的长期跟踪器相当的性能。源代码可在https://github.com/bismex/RLT-DIMP上获得。
2020-08-25 cs.CV
High-Performance Long-Term Tracking with Meta-Updater
Dalian University of Technology(大连理工大学);University of Amsterdam(阿姆斯特丹大学);Peng Cheng Laboratory(鹏城实验室);China Science IntelliCloud Technology Co., Ltd(中科智能云科技有限公司)
长期视觉跟踪由于比短期跟踪更接近实际应用而受到越来越多的关注。大多数排名靠前的长期跟踪器采用离线训练的暹罗架构,因此,它们无法从在线更新的短期跟踪器的巨大进步中受益。然而,由于长期的不确定性和噪声观测,直接引入基于在线更新的跟踪器来解决长期问题是相当危险的。在这项工作中,我们提出了一种新的离线训练的元更新器,以解决一个重要但未解决的问题:跟踪器是否准备好在当前帧中更新?所提出的元更新器可以以顺序的方式有效地集成几何、区分和外观线索,然后使用设计的级联LSTM模块来挖掘顺序信息。我们的元更新器学习二进制输出来指导跟踪器的更新,并且可以很容易地嵌入到不同的跟踪器中。这项工作还引入了一个长期的跟踪框架,包括一个在线本地跟踪器,一个在线验证器,一个基于SiamRPN的重检测器,和我们的元更新器。在VOT 2018 LT、VOT 2019 LT、OxUvALT、TLP和LaSOT基准测试上的大量实验结果表明,我们的跟踪器的性能明显优于其他竞争算法。我们的项目可以在网站上找到:https://github.com/Daikenan/LTMU。
2020-04-01 cs.CV
CoCoLoT: Combining Complementary Trackers in Long-Term Visual Tracking
University of Udine(乌迪内大学)
如何将不同算法的互补能力结合起来,一直是视觉目标跟踪领域的核心问题。在这一问题上已经取得了重大进展,但考虑到短期跟踪情况。相反,解决方案基本上忽略了长期跟踪设置。在本文中,我们明确考虑长期跟踪场景,并提供了一个名为CoCoLoT的框架,该框架结合了互补视觉跟踪器的特性,以实现增强的长期跟踪性能。CoCoLoT通过在线学习的深度验证模型感知跟踪器是否在跟踪目标对象,并相应地激活决策策略,该决策策略选择性能最佳的跟踪器,并纠正失败跟踪器的性能。所提出的方法进行了广泛的评估和与其他几个解决方案的比较表明,它的竞争有利的最流行的长期视觉跟踪基准上的国家的最先进的。
2022-05-09 cs.CV
Sea You Later: Metadata-Guided Long-Term Re-Identification for UAV-Based Multi-Object Tracking
National Taiwan University(台湾大学);National Center for High-performance Computing(国家高性能计算中心);University of Washington(华盛顿大学)
针对无人机海事多目标跟踪中短期和长期重识别的挑战,提出利用GPS等元数据融合轨迹的MG-MOT算法,在SeaDroneSee数据集上取得HOTA 69.5%和IDF1 85.9%的SOTA性能。
2023-11-22 cs.CV
GUSOT: Green and Unsupervised Single Object Tracking for Long Video Sequences
University of Southern California(南加州大学);Army Research Laboratory(陆军研究实验室)
近年来,依赖于深度学习技术的有监督和无监督深度跟踪器很受欢迎。然而,它们需要高计算复杂性和高存储器成本。提出了一种绿色无监督单目标跟踪器GUSOT,用于资源受限环境下的长视频目标跟踪。GUSOT基于基线跟踪器UHP-SOT++构建,适用于短期跟踪,GUSOT包含两个额外的新模块:1)丢失的对象恢复,2)基于颜色显着性的形状建议。它们分别有助于解决跟踪丢失问题和提供更灵活的对象建议。因此,它们使GUSOT能够在长期内实现更高的跟踪精度。我们在具有长视频序列的大规模数据集LaSOT上进行了实验,并表明GUSOT提供了一种轻量级的高性能跟踪解决方案,可以在移动和边缘计算平台中找到应用。
2022-07-15 cs.CV
Enforcing Template Representability and Temporal Consistency for Adaptive Sparse Tracking
Colorado School of Mines(科罗拉多矿业学院)
稀疏表示在视觉跟踪中得到了广泛的研究,并显示出良好的跟踪性能。尽管取得了很大的进展,但由于外观随时间的变化,视觉跟踪问题仍然是一项具有挑战性的任务。在本文中,我们提出了一种新的稀疏跟踪算法,很好地解决时间外观的变化,通过执行模板表示性和时间一致性(TRAC)。通过建模时间一致性,我们的算法解决了漂移远离跟踪目标的问题。该方法通过探索模板的长期-短期可表示性,使用最具描述性的模板自适应地更新字典,显著提高了对目标外观变化的鲁棒性。我们比较我们的TRAC算法对国家的最先进的方法对12个具有挑战性的基准图像序列。定性和定量的结果表明,我们的算法显着优于以前的国家的最先进的跟踪器。
2016-04-30 cs.CV
Is a Pure Transformer Effective for Separated and Online Multi-Object Tracking?
Dalian University of Technology(大连理工大学);Shandong University of Science and Technology(山东科技大学)
本文提出将轨迹图表示为有向无环图,并利用经典 Transformer 架构(PuTR)统一分离式在线多目标跟踪的短期与长期关联,在四个数据集上验证了其有效性和域适应能力。
2025-03-25 cs.CV
Multi-Object Tracking with Siamese Track-RCNN
Amazon Web Service (AWS) Rekognition(亚马逊云科技(AWS)Rekognition)
多目标跟踪系统通常由检测器、短期链接器、重新识别特征提取器和求解器的组合组成,该求解器从这些单独的组件获取输出并进行最终预测。因此,这项工作的目的是将所有这些统一在一个单一的跟踪系统。为此,我们提出了Siamese Track-RCNN,这是一个两阶段的检测和跟踪框架,由三个功能分支组成:(1)检测分支定位对象实例;(2)基于Siamese的跟踪分支估计对象运动;(3)对象重新识别分支在重新出现时重新激活先前终止的跟踪。我们在MOTChallenge的两个流行数据集上测试我们的跟踪系统。Siamese Track-RCNN实现了比最先进的更高的结果,同时由于其统一的设计,也更高效。
2020-04-16 cs.CV
Observation Centric and Central Distance Recovery on Sports Player Tracking
University of Washington(华盛顿大学);Electronics and Telecommunications Research Institute(韩国电子通信研究院)
随着目标检测和重识别技术的发展,人体多目标跟踪技术得到了迅速的发展。然而,即使对于最先进的跟踪算法,对具有相似外观和非线性运动的人类的多演员跟踪仍然是非常具有挑战性的。现有的基于运动的跟踪算法通常采用卡尔曼滤波器来预测目标的运动,但是当目标不是线性运动时,其线性运动假设会导致跟踪失败。而对于运动场上的多人跟踪,由于同一球队的球员通常穿着相同颜色的球衣,使得在跟踪过程中短期和长期的重新识别更加困难。在这项工作中,我们提出了一个基于运动的跟踪算法和三个后处理流水线的三个运动,包括篮球,足球,排球,我们成功地处理运动场上的运动员的非线性运动的跟踪。在ECCV DeeperAction Challenge SportsMOT Dataset测试集上的实验结果证明了该方法的有效性,其HOTA达到73.968,在2022年Sportsmot workshop最终排行榜上排名第3。
2022-09-27 cs.CV
Benchmarking Visual State Tracking in Multimodal Video Understanding
New York University(纽约大学);KAIST(韩国科学技术院)
提出VSTAT基准,通过需要连续感知和整合整个视频流的问题评估多模态大语言模型的视觉状态追踪能力,发现当前模型远低于人类表现,失败主要源于视觉感知而非文本推理。
2026-06-02 cs.CV
PlanarTrack: A high-quality and challenging benchmark for large-scale planar object tracking
organization= Institute of Software, Chinese Academy of Sciences , city= Beijing , country= China;organization= University of Chinese Academy of Sciences , city= Beijing , country= China;organization= Dept. of Computer Science \& Engineering, University of North Texas , city= Denton , country= United States of America
针对平面跟踪缺乏大规模基准的问题,提出包含1150个序列、73万帧的PlanarTrack基准,并评估10种跟踪器,发现现有方法性能大幅下降,推动该领域发展。
2025-10-27 cs.CV
Long-Term Visual Object Tracking Benchmark
Center for Visual Information Technology, Kohli Center on Intelligent Systems(视觉信息技术中心,科利智能系统中心);International Institute of Information Technology, Hyderabad, India(海得拉巴国际信息技术学院)
我们提出了一个新的长视频数据集(称为Track Long和Projective-TLP)和单对象跟踪基准。该数据集由来自真实世界场景的50个高清视频组成,持续时间超过400分钟(676 K帧),与现有的视觉跟踪通用数据集相比,每个序列的平均持续时间增加了20倍以上,总覆盖时间增加了8倍以上。所提出的数据集为适当评估长期跟踪性能和训练更好的深度学习架构(避免/减少可能无法反映真实世界行为的增强)铺平了道路。我们在17个最先进的跟踪器上对数据集进行基准测试,并根据跟踪精度和运行时间速度对它们进行排名。我们进一步提出了全面的定性和定量评估,强调长期跟踪方面的重要性。我们最有趣的观察结果是:(a)现有的短序列基准未能揭示跟踪算法的固有差异,这些差异在跟踪长序列时会扩大;(b)跟踪器的准确性在具有挑战性的长序列上突然下降,这表明在长期跟踪方向上可能需要进行研究。
2019-01-01 cs.CV
DirectTracker: 3D Multi-Object Tracking Using Direct Image Alignment and Photometric Bundle Adjustment
Technical University of Munich (TUM)(慕尼黑工业大学(TUM))
直接方法在视觉里程计和SLAM的应用中表现出优异的性能。在这项工作中,我们建议利用其有效性的任务,三维多目标跟踪。为此,我们提出了DirectTracker,一个框架,有效地结合了直接的图像对齐的短期跟踪和滑动窗口光度束调整的三维目标检测。对象建议基于稀疏滑动窗口点云进行估计,并使用基于优化的成本函数进行进一步优化,该成本函数仔细结合了3D和2D线索,以确保图像和世界空间的一致性。我们建议使用最近引入的高阶跟踪精度(HOTA)度量和广义交集相似性度量来评估3D跟踪,以减轻传统使用交集的局限性。我们对汽车类的KITTI跟踪基准进行了评估,并在2D和3D跟踪对象方面表现出竞争力。
2022-09-29 cs.CV
Spatially Supervised Recurrent Convolutional Neural Networks for Visual Object Tracking
University of Missouri(密苏里大学);TCL Research America(TCL美国研究院)
在本文中,我们开发了一种新的方法,空间监督递归卷积神经网络的视觉目标跟踪。我们的递归卷积网络利用了位置的历史以及深度神经网络学习的独特视觉特征。受最近用于目标检测的限界框回归方法的启发,我们研究了时间域中长短期记忆(LSTM)的回归能力,并提出将卷积网络产生的高级视觉特征与区域信息连接起来。与现有的基于深度学习的跟踪器相比,这些跟踪器对区域候选者使用二进制分类,我们使用回归来直接预测卷积层和递归单元的跟踪位置。我们在具有挑战性的基准视频跟踪数据集上与最先进的跟踪方法进行了广泛的实验结果和性能比较,结果表明,我们的跟踪器更准确,更强大,同时保持较低的计算成本。对于大多数测试视频序列,我们的方法实现了最好的跟踪性能,往往优于第二个最好的大幅度。
2016-07-19 cs.CV
Multi-tracklet Tracking for Generic Targets with Adaptive Detection Clustering
Macao Polytechnic University(澳门理工学院);University of Coimbra(科英布拉大学);Beihang University(北航大学)
本文提出多轨迹片段跟踪(MTT)框架,通过自适应聚类检测结果生成稳健轨迹片段,并利用多线索关联估计最佳划分,以解决通用目标跟踪中低置信度检测与长期遮挡问题,实验验证其竞争力。
2025-08-07 cs.CV
A Survey for Deep RGBT Tracking
Jiangnan University(江南大学)
利用可见光(RGB)和热红外(TIR)电磁波(简称RGBT跟踪)的视觉目标跟踪最近引起了跟踪界越来越多的关注。鉴于深度学习的快速发展,本文综述了近年来基于深度神经网络的RGBT跟踪器。首先,我们对归入这一类别的RGBT跟踪器进行了简要介绍。然后,在几个具有挑战性的基准之间的比较,现有的RGBT跟踪统计。具体来说,MDNet和Siamese架构是RGBT社区的两个主流框架,尤其是前者。基于MDNet的跟踪器具有更高的性能,而基于Siamese的跟踪器满足实时性要求。总之,自从大规模数据集LasHeR发布以来,端到端框架的集成,例如,应进一步考虑Siamese和Transformer,以满足实时性和更鲁棒的性能。此外,在设计网络时应更多地考虑其数学意义。这项调查可以被视为关注RGBT跟踪的研究人员的查找表。
2022-01-29 cs.CV
A Discriminative Single-Shot Segmentation Network for Visual Object Tracking
University of Ljubljana(卢布尔雅那大学);Czech Technical University in Prague(布拉格捷克理工大学)
基于模板的判别式跟踪器由于其鲁棒性而成为当前占主导地位的跟踪范例,但其局限于限界框跟踪和有限范围的变换模型,这降低了其定位精度。本文提出了一种判别式单镜头分割跟踪器D3 S2,它缩小了视觉对象跟踪和视频对象分割之间的差距。单发网络应用两个具有互补几何特性的目标模型,一个对广泛的变换(包括非刚性变形)不变,另一个假设刚性对象同时实现鲁棒的在线目标分割。通过解耦对象和特征尺度估计,进一步增加了整体跟踪可靠性。在没有对每个数据集进行微调的情况下,D3 S2仅针对分割作为主要输出进行训练,在最近的短期跟踪基准测试VOT 2020上的表现优于所有已发布的跟踪器,并且在GOT-10 k、TrackingNet、OTB 100和LaSoT上的表现非常接近最先进的跟踪器。D3 S2在视频对象分割基准测试中的表现优于领先的分割跟踪器SiamMask,并与顶级视频对象分割算法不相上下。
2021-12-27 cs.CV
Real-Time Salient Closed Boundary Tracking via Line Segments Perceptual Grouping
University of Alberta(阿尔伯塔大学)
提出了一种新的实时的【形】跟踪视频图像序列中显著闭合边界的方法。该方法对由直线检测产生的一组直线段进行操作。跟踪方案被连贯地集成到感知分组框架中,其中通过识别这些线段的子集并将它们顺序地连接以形成具有最大显著性和与前一个的一定相似性的闭合边界来解决视觉跟踪问题。具体来说,我们定义了一个新的跟踪标准,它结合了分组成本和区域相似性约束。所提出的标准,使所得的边界跟踪更强大的局部极小值。为了实现实时的【形】跟踪性能,我们使用德洛内三角剖分剖分与检测到的线段建立一个图模型,然后减少跟踪问题,找到这个图中的最佳周期。这是解决我们新提出的封闭边界候选搜索算法称为“双向最短路径(BDSP)”。所提出的方法的效率和鲁棒性进行了测试,在真实的视频序列,以及在机器人手臂浇注实验。
2017-08-09 cs.CV
Learning Spatio-Temporal Transformer for Visual Tracking
Dalian University of Technology(大连理工大学);Microsoft Research Asia(微软亚洲研究院)
在本文中,我们提出了一种新的跟踪架构的编码器-解码器Transformer的关键组成部分。编码器对目标对象和搜索区域之间的全局时空特征依赖关系进行建模,而解码器学习查询嵌入以预测目标对象的空间位置。我们的方法将对象跟踪转换为直接的限界框预测问题,而不使用任何建议或预定义的锚。使用编码器-解码器Transformer,对象的预测仅使用简单的全卷积网络,直接估计对象的角点。整个方法是端到端的,不需要任何后处理步骤,如余弦窗口和限界框平滑,从而大大简化了现有的跟踪管道。该跟踪器在五个具有挑战性的短期和长期基准测试中实现了最先进的性能,同时以实时速度运行,比Siam R-CNN快6倍。代码和模型在https://github.com/researchmm/Stark上开源。
2021-03-31 cs.CV
Iterative hypothesis testing for multi-object tracking in presence of features with variable reliability
Université catholique de Louvain(鲁汶天主教大学);Keemotion(基莫申公司)
本文假设在每个时刻的多个目标的先验检测,并使用基于图形的方法来连接这些检测跨时间,基于它们的位置和外观估计。与该领域的大多数早期作品相比,我们的框架旨在利用外观特征,即使它们只是偶尔可用,或者受到非平稳噪声的影响,沿着检测序列。这是通过实施迭代假设检验策略来逐步将检测聚合成短轨迹(称为tracklets)来完成的。具体而言,每次迭代考虑一个节点,命名为关键节点,并研究如何链接这个关键节点与其他节点在其附近,假设目标外观定义的关键节点外观估计。这是通过关键节点的时间邻域中的最短路径计算来完成的。该方法是保守的,因为它只聚合与替代路径相比足够好的最短路径。它也是多尺度的,因为所研究的邻域的大小与已经聚合到关键节点中的检测的数量成比例地增加。该过程的多尺度性质及其保守性的逐步放松使其在计算上既高效又有效。实验验证进行了广泛的玩具的例子,一个15分钟长的多视图篮球数据集,和其他单眼行人数据集。
2015-09-01 cs.CV
Track to Reconstruct and Reconstruct to Track
RWTH Aachen University(亚琛工业大学)
对象跟踪和3D重建通常一起执行,其中跟踪用作重建的输入。然而,获得的重建也为改进跟踪提供了有用的信息。我们提出了一种新的方法,关闭这个循环,首先跟踪重建,然后重建跟踪。我们的方法,MOTSFusion(多对象跟踪,分割和动态对象融合),利用从动态对象重建中提取的3D运动来跟踪对象,通过长时间的完全遮挡,并恢复丢失的检测。我们的方法首先建立短的轨迹使用二维光流,然后融合到动态的三维物体重建。这些重建的精确3D对象运动用于通过遮挡将轨迹线合并为长期轨迹,并在检测丢失时定位对象。在KITTI上,我们的基于重建的跟踪减少了初始tracklet的ID开关的数量超过50%,并且在限界框和分割跟踪方面优于所有以前的方法。
2020-04-19 cs.CV
Global Tracking Transformers
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Apple(苹果公司)
我们提出了一种新的基于变换器的全局多目标跟踪架构。我们的网络将一个短的帧序列作为输入,并为所有对象生成全局轨迹。核心组件是一个全局跟踪Transformer,它对序列中所有帧中的对象进行操作。Transformer对来自所有帧的对象特征进行编码,并使用轨迹查询将它们分组为轨迹。轨迹查询是来自单个帧的对象特征,并且自然地产生独特的轨迹。我们的全局跟踪Transformer不需要中间成对分组或组合关联,并且可以与对象检测器联合训练。它在流行的MOT17基准上实现了具有竞争力的性能,MOTA为75.3,HOTA为59.1。更重要的是,我们的框架无缝集成到最先进的大词汇量检测器中,以跟踪任何对象。在具有挑战性的TAO数据集上的实验表明,我们的框架在基于成对关联的基线上不断改进,通过显着的7.7跟踪mAP优于已发表的作品。代码可在https://github.com/xingyizhou/GTR上获得。
2022-04-25 cs.CV
Is First Person Vision Challenging for Object Tracking?
University of Udine(乌迪内大学);University of Catania(卡塔尼亚大学)
理解人与物体的交互是第一人称视觉(FPV)的基础。跟踪由相机佩戴者操纵的对象的跟踪算法可以提供有用的线索以有效地对这种交互进行建模。尽管之前有一些尝试利用FPV应用程序中的跟踪器,但仍然缺少对该领域中最先进的视觉跟踪器的性能的系统分析。在这篇简短的论文中,我们回顾了FPV中对象跟踪的第一次系统研究。我们的工作广泛分析了最近和基线FPV跟踪器在不同方面的性能。这是通过TREK-150实现的,TREK-150是一个由150个密集注释的视频序列组成的新基准数据集。结果表明,更多的研究工作应该致力于这个问题,使跟踪可能有利于FPV任务。本文的完整版本可在arXiv:2108.13665上获得。
2021-09-24 cs.CV
A Framework for Multi-View Multiple Object Tracking using Single-View Multi-Object Trackers on Fish Data
Informatics Institute, University of Amsterdam(阿姆斯特丹大学信息技术研究所)
本研究提出一个多视图框架,利用FairMOT和YOLOv8单视图跟踪器处理水下鱼类数据,通过立体匹配提升跟踪精度,并以47%的相对精度生成3D输出,增强行为识别。
2025-05-22 cs.CV
Multi-object tracking with self-supervised associating network
Yonsei University(延世大学)
多目标跟踪(MOT)是一项很有发展潜力的任务,也有许多问题需要解决。在传统的检测跟踪模式中,基于特征的目标重识别方法已经得到了大量的研究。但是,该方法存在训练数据不足的问题。对于多目标跟踪数据集的标记,视频序列中的每个检测都需要其位置和ID。由于为每个序列中的每个检测分配连续的ID是一项非常劳动密集型的任务,因此当前的多目标跟踪数据集不足以训练重新识别网络。为此,本文提出了一种新的自监督学习方法,利用大量没有人类标记的短视频,通过自监督方式训练的重识别网络来提高跟踪性能,以解决训练数据不足的问题。尽管重新识别网络是以自我监督的方式训练的,但它在MOT17测试基准上达到了MOTA 62.0\%和IDF 1 62.6\%的最先进性能。此外,性能的提高与学习大量的数据,它显示了自监督方法的潜力。
2020-10-26 cs.CV
DOT: Dynamic Object Tracking for Visual SLAM
University of Zaragoza(萨拉戈萨大学);German Aerospace Center (DLR)(德国航空航天中心);Technical University of Munich(慕尼黑工业大学)
在本文中,我们提出了DOT(动态对象跟踪),前端添加到现有的SLAM系统可以显着提高其鲁棒性和准确性,在高度动态的环境。DOT结合了实例分割和多视图几何来生成动态对象的掩模,以便允许基于刚性场景模型的SLAM系统在其优化中避免此类图像区域。为了确定哪些对象实际上正在移动,DOT首先对潜在动态对象进行分段,然后利用估计的相机运动,通过最小化光度重投影误差来跟踪这些对象。这种短期跟踪相对于其他方法提高了分割的准确性。最后,只生成实际上动态的掩码。我们在三个公共数据集中使用ORB-SLAM 2评估了DOT。我们的结果表明,我们的方法显着提高了ORB-SLAM 2的准确性和鲁棒性,特别是在高度动态的场景。
2020-09-30 cs.CV
SENTRY: SAM2-Enhanced Neighbor-Aware and Temporally Reasoned Memory for Visual Tracking
Khalifa University(哈利法大学);University of Western Australia(西澳大利亚大学)
针对SAM2跟踪器在遮挡、快速运动和干扰下因置信度掩码选择导致的漂移问题,提出无需训练、即插即用的SENTRY模块,通过短时一致性验证、多假设聚合和循环匹配来优化记忆更新,在9个基准上实现零样本SOTA。
2026-06-25 cs.CV
Self-Supervised Multi-Object Tracking For Autonomous Driving From Consistency Across Timescales
University of Freiburg(弗莱堡大学);Robert Bosch GmbH(罗伯特·博世有限公司)
本文提出SubCo损失函数,通过跨短期和长期时间尺度的一致性约束从连续多帧中自监督学习重识别特征,显著减少自动驾驶多目标跟踪中的ID切换,达到自监督方法最优并与全监督方法相当。
2023-09-21 cs.CV
MOTChallenge 2015: Towards a Benchmark for Multi-Target Tracking
ETH Zurich(苏黎世联邦理工学院);University of Adelaide(阿德莱德大学);Technische Universität Darmstadt(达姆施塔特工业大学)
最近,计算机视觉社区已经开发了用于各种任务的性能评估的集中基准,包括通用对象和行人检测、3D重建、光流、单对象短期跟踪和立体估计。尽管这些基准可能存在缺陷,但已证明它们对推进相关领域的最新技术水平极为有益。有趣的是,在多目标跟踪的定量基准标准化方面的工作相当有限。少数例外之一是著名的PETS数据集,主要针对监控应用程序。尽管被广泛使用,但它的应用往往不一致,例如涉及使用不同的可用数据子集,不同的训练模型的方法,或不同的评估脚本。本文介绍了我们的工作对一种新的多目标跟踪基准,旨在解决这些问题。我们讨论了创建这样一个框架,收集现有和新的数据,收集最先进的方法来测试数据集,并最终创建一个统一的评估系统的挑战。通过MOTChallenge,我们的目标是为统一的评估框架铺平道路,以便对多目标跟踪进行更有意义的量化。
2015-04-08 cs.CV
Temporal Aggregation for Adaptive RGBT Tracking
Jiangnan University(江南大学)
利用RGB和热红外(TIR)光谱进行视觉目标跟踪,简称RGBT跟踪,是一个新颖而具有挑战性的研究课题,目前正受到越来越多的关注。在本文中,我们提出了一个RGBT跟踪器,考虑到强大的外观模型学习的时空线索,同时,构建了一个自适应融合子网络的跨模态的相互作用。与大多数现有的RGBT跟踪器,实现对象跟踪任务,仅包括空间信息,时间信息被进一步考虑在该方法中。与传统的Siamese跟踪器在提取模板-搜索图像对的过程中只获得一个搜索图像不同,该算法选择了一个与原始搜索样本相邻的额外搜索样本来预测时间变换,从而提高了跟踪性能的鲁棒性。自适应融合子网络在决策级被附加到我们的方法,以反映包含在两种模态中的互补特性。为了设计热红外辅助RGB跟踪器,在从RGB模态的剩余连接之前考虑来自TIR模态的分类头的输出。在VOT-RGBT 2019、GTOT和RGBT 210三个具有挑战性的数据集上的实验结果验证了该方法的有效性。代码将在\textcolor{blue}{\emph{https://github.com/Zhangyong-Tang/TAAT}}上共享。
2022-01-29 cs.CV
Tracking using Numerous Anchor points
Polytechnique Montreal(蒙特利尔理工学院);École de technologie supérieure, Université du Québec(魁北克大学高等技术学院)
本文提出了一种在线自适应无模型跟踪器来跟踪视频序列中的单个对象,以应对低分辨率、对象变形、遮挡和运动模糊等现实世界的跟踪挑战。新颖之处在于一个强大的外观模型,捕获功能从初始化的限界框,然后组装成锚点功能的建设。这些特征记住了物体的全局模式,并具有内部的星形结构。这些功能是独特和灵活的,有助于跟踪通用和可变形的对象,而不限于特定的对象。此外,使用短期一致性和长期一致性在线评估每个特征的相关性。这些参数被调整以保持一致的特征,这些特征投票支持对象位置并且处理长期跟踪场景的离群值。此外,以高斯方式投票有助于解决跟踪系统的固有噪声和准确的对象定位。此外,该跟踪器使用成对距离测量来应对尺度变化,并结合像素级二值特征和全局加权颜色特征进行模型更新。最后,在一个视觉跟踪基准数据集上的实验结果证明了所提出的跟踪器的有效性和竞争力。
2017-12-10 cs.CV
Learning regression and verification networks for long-term visual tracking
Dalian University of Technology(大连理工大学)
与短期跟踪相比,长期跟踪任务需要确定被跟踪对象是否存在,然后如果存在则估计准确的限界框,或者如果不存在则进行图像范围的重新检测。到目前为止,虽然这项任务更接近于设计实用的跟踪系统,但几乎没有尝试。在这项工作中,我们提出了一种基于深度回归和验证网络的新型长期跟踪框架。离线训练回归模型的设计使用对象感知的特征融合和区域建议网络生成一系列的候选人,并有效地估计他们的相似性得分。验证网络评估这些候选对象,以输出最佳的一个作为跟踪对象及其分类分数,该分类分数在线更新以适应基于新的可靠观察的外观变化。将相似度和分类得分相结合以获得最终的置信度值,基于该置信度值,我们的跟踪器可以准确地确定目标的不存在,并在目标重新出现时进行图像范围的重新检测以成功捕获目标。广泛的实验表明,我们的跟踪器在VOT2018长期挑战中实现了最佳性能,并在OxUvA长期数据集上获得了最先进的结果。
2018-11-19 cs.CV
Rethinking Memory Design in SAM-Based Visual Object Tracking
Department of Computer Science, Khalifa University(计算机科学系,卡利法大学)
本文提出了一种统一的混合记忆框架,通过分解记忆为短期外观记忆和长期干扰解决记忆,提升基于SAM的视觉目标跟踪在复杂场景下的鲁棒性。
2025-12-27 cs.CV
TrajectoryFormer: 3D Object Tracking Transformer with Predictive Trajectory Hypotheses
CUHK(香港中文大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Samsung Telecommunication Research(三星电信研究院);NVIDIA AI Technology Center(英伟达人工智能技术中心);CPII(香港中文大学工程学院感知与交互研究中心);Shanghai AI Laboratory(上海人工智能实验室)
本文提出基于点云的TrajectoryFormer,通过融合时间预测框与当前检测框生成轨迹假设,并结合运动、外观特征及全局—局部交互,恢复漏检目标,在Waymo 3D MOT基准上达到SOTA。
2023-08-18 cs.CV
Tracking the Untrackable
虽然短期完全遮挡在视觉目标跟踪中很少发生,但大多数跟踪器在这些情况下都会失败。然而,即使目标是不可见的,人类仍然可以通过预测目标的轨迹来追赶目标。最近的心理学也表明,人类构建了未来的心理形象。受此启发,我们提出了一个HALLucinating特征跟踪(HAFT)模型,该模型能够预测未来帧的视觉特征嵌入。预期的未来帧聚焦于目标的运动,同时使目标的被遮挡部分产生幻觉。联合跟踪的幻觉特征和真实的功能,提高了跟踪器的鲁棒性,即使在目标是高度闭塞。通过广泛的实验评估,我们在多个数据集上取得了有希望的结果:OTB100,VOT 2018,LaSOT,TrackingNet和UAV123。
2020-07-17 cs.CV eess.IV
Tracking by Joint Local and Global Search: A Target-aware Attention based Approach
Peng Cheng Laboratory(鹏城实验室);Anhui University(安徽大学);University of Science and Technology of China(中国科学技术大学);Peking University(北京大学)
检测跟踪是一种非常流行的单目标跟踪框架,它试图在每帧的局部搜索窗口内搜索目标对象。虽然这种本地搜索机制在简单的视频上工作得很好,但是它使跟踪器对非常具有挑战性的场景敏感,例如严重的遮挡和快速运动。在本文中,我们提出了一种新的和通用的目标感知的注意力机制(称为TANet),并将其与跟踪检测框架进行联合本地和全局搜索的鲁棒跟踪。具体来说,我们提取目标对象补丁和连续视频帧的特征,然后将它们连接并馈送到解码器网络中以生成目标感知的全局注意力地图。更重要的是,我们采用对抗训练来更好地预测注意力。外观和运动映射网络的设计,以确保其在空间和时间视图的一致性。在跟踪过程中,我们整合了目标感知的注意力与多个跟踪器探索候选搜索区域的鲁棒跟踪。在短期和长期跟踪基准数据集上的大量实验都验证了算法的有效性。本文的项目页面可以在\url{https://sites.google.com/view/globalattentiontracking/home/extend}上找到。
2021-06-09 cs.CV cs.LG
DTVLT: A Multi-modal Diverse Text Benchmark for Visual Language Tracking Based on LLM
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);School of Physical and Mathematical Sciences, Nanyang Technological University(南洋理工大学物理与数学科学学院);School of Computer Science and Technology, University of Chinese Academy of Sciences(中国科学院大学计算机科学与技术学院);CAS Center for Excellence in Brain Science and Intelligence Technology(中国科学院脑科学与智能技术卓越创新中心)
针对现有视觉语言跟踪基准文本描述单一、易导致算法“记答案”的问题,本研究基于LLM为5个主流跟踪基准生成4种粒度的多样化文本,构建了含3个子任务的DTVLT多模态基准,并通过实验分析了多样化文本对跟踪性能的影响。
2024-10-09 cs.CL cs.CV
Efficient Multiple Object Tracking Using Mutually Repulsive Active Membranes
Princeton University(普林斯顿大学)
在相互作用的生物体中的社会和群体行为的研究需要大量的个体主体的运动的高通量分析。计算机视觉技术为特定的跟踪问题提供了解决方案,并允许以最少的人为干预进行自动化和有效的跟踪。在这项工作中,我们采用了开放的活动轮廓模型来跟踪运动物体的轨迹在高密度。我们增加了排斥开放的轮廓之间的相互作用,原始模型,治疗的轨迹作为一个挤出的时间维度,并显示应用程序的两个跟踪问题。研究了果蝇在不同种群密度和性别组成下的行走行为。我们表明,个别男性苍蝇有不同的行走签名,苍蝇在混合性别舞台上的社会互动是性别特异性的。我们还将我们的模型应用于研究高密度下的滑行粘球菌的轨迹。我们研究的滑翔速度分布方面的个人滑翔行为的统计。使用这两个例子在非常独特的空间尺度,我们说明了使用我们的算法跟踪短刚体(果蝇)和长的灵活的对象(粘球菌)。我们的排斥性活性膜模型达到的错误率优于$5\times 10^{-6}$每飞每秒果蝇跟踪和可比的结果,黄色粘球菌。
2012-12-26 cs.CV physics.bio-ph q-bio.QM
Deep Learning-Based Robust Multi-Object Tracking via Fusion of mmWave Radar and Camera Sensors
The University of Arizona(亚利桑那大学)
针对自动驾驶中多目标跟踪的准确性与鲁棒性需求,提出融合毫米波雷达与相机数据的深度学习方法,结合双向LSTM、类FaceNet外观模型与三输出机制,在真实数据集尤其是低能见度场景下实现跟踪精度显著提升。
2024-07-10 cs.CV cs.SY eess.SP
LSDM: Long-Short Diffeomorphic Motion for Weakly-Supervised Ultrasound Landmark Tracking
University of Leicester(莱斯特大学);University Hospitals of Leicester NHS Trust(莱斯特大学医院NHS信托);Affiliated Hospital of Nantong University(南通大学附属医院)
随着时间的推移对解剖标志的准确跟踪对于诸如微创手术和肿瘤放射治疗的疾病评估具有高度的兴趣。超声成像是一种很有前途的模式,受益于低成本和实时采集。然而,生成精确的地标轨迹是非常具有挑战性的,因为尝试可以容易地被不同的干扰(例如地标变形、视觉模糊和部分观察)扭曲。在本文中,我们提出了一个长短同构运动网络,这是一个多任务的框架,具有可学习的变形之前,寻找合理的变形的地标。具体来说,我们设计了一种新的双态表示在长和短的时间域划定运动的利润和减少长期累积跟踪误差。为了进一步减轻局部解剖模糊性,我们提出了一个期望最大化运动对齐模块,以迭代优化长和短变形,对齐到相同的方向和空间表示。所提出的多任务系统可以以弱监督的方式进行训练,这只需要很少的地标标注用于跟踪,并且对于长短变形学习,零标注。我们在两个超声标志跟踪数据集上进行了广泛的实验。实验结果表明,我们提出的方法可以实现更好的或有竞争力的地标跟踪性能相比,其他国家的最先进的跟踪方法,具有较强的泛化能力,在不同的扫描仪类型和不同的超声模态。
2023-01-31 cs.CV
Long and Short Memory Balancing in Visual Co-Tracking using Q-Learning
Graduate School of Informatics, Kyoto University(京都大学信息学研究生院);RIKEN Center for Advanced Intelligence Project (AIP)(理化学研究所先进智能项目中心)
采用一个或多个额外的分类器来打破检测跟踪中的自学习循环已经获得了相当大的关注。大多数这样的跟踪器仅仅利用冗余来解决跟踪循环中的累积标签误差,并且遭受高计算复杂性以及可能中断所有分类器的跟踪挑战(例如,时间遮挡)。我们提出了主动协同跟踪框架,在该框架中,跟踪器的主分类器标记视频序列的样本,并且仅在不确定时参考辅助分类器。基于不确定性的来源和两个分类器的差异(例如,准确度、速度、更新频率等),两个分类器之间的信息交换应该采取不同的策略。在这里,我们引入了一种强化学习方法,通过考虑特定序列中跟踪器的状态来找到合适的策略。所提出的方法产生的最好的跟踪检测方法相比,有前途的结果。
2019-02-14 cs.CV