Hierarchical Instance Tracking to Balance Privacy Preservation with Accessible Information
University of Colorado Boulder（科罗拉多大学博尔德分校）；Pennsylvania State University（宾夕法尼亚州立大学）；University of Washington（华盛顿大学）；Georgia Institute of Technology（佐治亚理工学院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出层级实例跟踪任务，构建首个支持该任务的基准数据集，通过评估多种模型展示数据集的挑战性，旨在平衡隐私保护与信息可获取性。
2025-12-10 cs.CV
Radar Tracker: Moving Instance Tracking in Sparse and Noisy Radar Point Clouds
CARIAD SE；Center for Robotics, University of Bonn（机器人中心，波恩大学）；Lamarr Institute for Machine Learning and Artificial Intelligence（拉马尔机器学习与人工智能研究所）
本文提出一种基于学习的雷达跟踪器，通过时间偏移预测、注意力机制及几何与外观特征融合，提升稀疏含噪雷达点云中移动实例的跟踪与分割性能，并在 RadarScenes 基准上优于现有方法。
2025-07-04 cs.CV
Instance Segmentation and Tracking with Cosine Embeddings and Recurrent Hourglass Networks
Graz University of Technology（格拉茨工业大学）；Ludwig Boltzmann Institute for Clinical Forensic Imaging（路德维希·玻尔兹曼临床法医成像研究所）；BioTechMed-Graz（格拉茨生物医学技术中心）
与语义分割不同，实例分割为同一类的每个实例分配唯一的标签。在这项工作中，我们提出了一种新的经常性的全卷积网络架构，用于跟踪这种实例分割随着时间的推移。该网络架构将卷积门控递归单元（ConvGRU）集成到堆栈沙漏网络中，以利用时间视频信息。此外，我们还训练了一种基于余弦相似性的新型嵌入损失网络，这样网络就可以为整个视频中的每个实例预测唯一的嵌入。然后，这些嵌入在后续视频帧中被聚类以创建最终跟踪的实例分割。我们通过分割心脏MR视频中的左心室来评估复发性沙漏网络，它优于不包含视频信息的网络。此外，我们证明了余弦嵌入损失的适用性分割叶实例上的静止图像的植物。最后，我们评估的框架实例分割和跟踪六个数据集的ISBI细胞跟踪的挑战，它显示了国家的最先进的性能。
2018-07-30 cs.CV
Classifying, Segmenting, and Tracking Object Instances in Video with Mask Propagation
Facebook AI（脸书人工智能研究院）
我们介绍了一种方法，同时分类，分割和跟踪对象实例的视频序列。我们的方法名为MaskProp，通过添加掩码传播分支将流行的Mask R-CNN适应视频，该分支将帧级对象实例掩码从每个视频帧传播到视频剪辑中的所有其他帧。这使得我们的系统能够预测剪辑级实例轨道相对于对象实例分割在中间帧的剪辑。剪辑级实例轨道生成密集的序列中的每一帧，最后聚合产生视频级对象的实例分割和分类。我们的实验表明，我们的剪辑级实例分割，使我们的方法在视频中的运动模糊和对象遮挡鲁棒。MaskProp在YouTube-VIS数据集上实现了最佳报告准确性，优于ICCV 2019年视频实例分割挑战赛冠军，尽管它更简单，使用的标记数据数量级更少（130万与1B图像和860 K与14 M边界框）。
2021-07-09 cs.CV
Instance Segmentation GNNs for One-Shot Conformal Tracking at the LHC
Princeton Institute for Computational Science and Engineering（普林斯顿计算科学与工程研究所）；Princeton University（普林斯顿大学）；Department of Physics（物理系）
三维实例分割一直是计算机视觉中一个具有挑战性的问题。在对撞机（如LHC）上的粒子跟踪可以被概念化为一个实例分割任务：从粒子检测器中的点云开始，算法必须识别哪些命中属于单个粒子轨迹并提取轨迹属性。图神经网络（GNN）在标准实例分割任务上表现出了良好的性能。在这项工作中，我们证明了实例分割GNN架构对粒子跟踪的适用性;此外，我们重新想象了传统的笛卡尔空间寻迹方法，而是在保形几何中工作，允许GNN在Single Shot中识别轨迹并提取参数。
2021-03-11 cs.CV hep-ex
IA-MOT: Instance-Aware Multi-Object Tracking with Motion Consistency
University of Washington（华盛顿大学）
多目标跟踪（MOT）是计算机视觉的一项重要任务。然而，大多数跟踪检测MOT方法，与可用的检测到的边界框，不能有效地处理静态，缓慢移动和快速移动的摄像机的情况下，由于自我运动和频繁的遮挡。在这项工作中，我们提出了一种新的跟踪框架，称为“实例感知MOT”（IA-MOT），它可以跟踪多个对象，无论是静态或移动摄像机，通过共同考虑的实例级功能和对象运动。首先，通过发送给定的检测作为区域建议，从具有额外嵌入头的Mask R-CNN检测器的变体中提取鲁棒的外观特征。同时，空间注意力，集中在边界框内的前景，从给定的实例掩码中产生，并应用到提取的嵌入特征。在跟踪阶段，使用匈牙利关联算法通过特征相似性和运动一致性来对齐对象实例掩码。此外，对象重新识别（ReID）被纳入恢复ID开关造成的长期闭塞或错过检测。总的来说，在MOTS 20和KITTI-MOTS数据集上进行评估时，我们提出的方法在CVPR 2020研讨会的BMTT挑战赛第三轨道中获得了第一名。
2020-06-24 cs.CV
Eye tracking guided deep multiple instance learning with dual cross-attention for fundus disease detection
Southern University of Science and Technology（南方科技大学）；Wenzhou Medical University（温州医科大学）；Peking University（北京大学）
提出融合眼科医生眼动注视先验的HITL CAD系统，基于DCAMIL并结合序列增强与域对抗模块，提升AMD和早期DR检测性能。
2023-04-25 cs.CV cs.LG eess.IV
ASIST: Annotation-free synthetic instance segmentation and tracking for microscope video analysis
Vanderbilt University（范德堡大学）；Tufts University（塔夫茨大学）
实例对象分割和跟踪提供跨显微镜视频的对象的全面量化。最近的单阶段基于像素嵌入的深度学习方法已经显示出与“分段然后关联”的两阶段解决方案相比的优越性能。然而，将基于监督像素嵌入的方法应用于显微镜视频的一个主要限制是资源密集型手动标记，其涉及跟踪数百个重叠对象及其跨视频帧的时间关联。受最近基于生成对抗网络（GAN）的无注释图像分割的启发，我们提出了一种新的无注释合成实例分割和跟踪（ASIST）算法，用于分析亚细胞微绒毛的显微镜视频。本文的贡献主要体现在三个方面：（1）提出了一种新的无注释视频分析范式。(2)将基于嵌入的实例分割和跟踪与无注释的合成学习聚合为一个整体框架;（3）据我们所知，这是第一次研究使用基于嵌入的深度学习来研究微绒毛实例分割和跟踪。从实验结果来看，与监督学习相比，所提出的无注释方法取得了更好的性能。
2020-11-02 cs.CV eess.IV
Explicitly Modeling the Discriminability for Instance-Aware Visual Object Tracking
近年来，视觉对象跟踪性能得到了显着提高，但仍然存在一些严峻的挑战，如干扰物和遮挡。我们怀疑的原因是，跟踪目标的特征表示只表达学习，但没有完全区分建模。在本文中，我们提出了一种新的实例感知跟踪器（IAT）明确挖掘的特征表示，改进了经典的视觉跟踪管道与实例级分类器的可区分性。首先，我们引入了一个对比学习机制来制定分类任务，确保每个训练样本可以被唯一地建模，并与大量其他样本高度区分。此外，我们设计了一个有效的负样本选择方案，以包含实例分类分支中的各种内部和内部类。此外，我们实现了两个变种的建议IAT，包括视频级和对象级。它们分别将\textbf{instance}的概念以不同的粒度实现为视频和目标包围盒。前者增强了从背景中识别目标的能力，而后者则增强了区分能力，从而缓解了目标-干扰物困境。在8个基准数据集上进行的广泛的实验评估表明，所提出的两个版本的IAT在30 FPS下运行时都取得了领先的结果。代码将在发布时可用。
2021-10-28 cs.CV
Instance Tracking in 3D Scenes from Egocentric Videos
UC Irvine（加利福尼亚大学欧文分校）；Texas A&M University（得克萨斯农工大学）；Institute of Collaborative Innovation（协同创新研究院）；University of Macau（澳门大学）
本文提出IT3DEgo基准及评估协议，并设计利用预训练分割检测模型与三维异我中心坐标的实例跟踪方法，在第一人称视频中显著优于单目标跟踪方法。
2024-06-07 cs.CV
PointTrack++ for Effective Online Multi-Object Tracking and Segmentation
University of Science and Technology of China（中国科学技术大学）；Baidu Inc.（百度公司）
多目标跟踪与分割（MOTS）是一种新型的计算机视觉任务，旨在联合执行多目标跟踪（MOT）和实例分割。在这项工作中，我们提出了PointTrack++，一个有效的在线框架MOTS，显着扩展了我们最近提出的PointTrack框架。首先，PointTrack采用一个有效的一阶段框架进行实例分割，并通过将紧凑的图像表示转换为无序的2D点云来学习实例嵌入。与PointTrack相比，我们提出的PointTrack++提供了三个主要的改进。首先，在实例分割阶段，我们采用焦点损失训练的语义分割解码器来提高实例选择的质量。其次，为了进一步提高分割性能，我们提出了一种数据增强策略，通过复制和粘贴实例到训练图像。最后，我们在实例关联阶段引入了一种更好的训练策略，以提高学习到的实例嵌入的可识别性。由此产生的框架在第五届BMTT MOTChallenge上实现了最先进的性能。
2020-07-03 cs.CV
Online Multi-Object Tracking with Instance-Aware Tracker and Dynamic Model Refreshment
Temple University（天普大学）
无模型单目标跟踪（SOT）算法的最新进展在很大程度上启发了将SOT应用于\emph{multi-object tracking}（MOT）以提高鲁棒性并减轻对外部检测器的依赖。然而，SOT算法通常被设计用于区分目标和它的环境，因此遇到的问题时，目标是空间混合与相似的对象在MOT中经常观察到的。为了解决这个问题，在本文中，我们提出了一个实例感知跟踪器，通过编码内和目标模型之间的意识，集成SOT技术的MOT。特别是，我们构建每个目标模型融合信息区分目标从背景和其他情况（跟踪目标）。为了保持所有目标模型的唯一性，我们的实例感知跟踪器考虑来自所有目标模型的响应图，并专门分配空间位置以优化整体准确性。我们的另一个贡献是通过卷积神经网络学习的动态模型刷新策略。该方法既能消除初始化噪声，又能适应目标尺寸和外观的变化。为了证明所提出的方法的有效性，它是在流行的MOT15和MOT16挑战基准进行评估。在这两个基准，我们的方法实现了最好的整体性能与公布的结果相比。
2019-02-21 cs.CV
Global Instance Tracking: Locating Target More Like Humans
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
目标跟踪是人类视觉系统的基本能力，人们已经用计算机视觉任务来模拟目标跟踪。然而，现有的跟踪器在严峻的实验环境中表现良好，但在遮挡和快速运动等挑战中失败。巨大的差距表明，研究只衡量跟踪性能，而不是智力。如何科学判断追踪者的智能水平？与决策问题不同，缺乏三个条件（具有挑战性的任务，公平的环境和科学的评估程序）使其难以回答问题。在这篇文章中，我们首先提出了全局实例跟踪（GIT）任务，这是应该搜索一个任意的用户指定的实例在视频中没有任何假设的相机或运动的一致性，以模拟人类的视觉跟踪能力。随后，我们构建了一个高质量、大规模的基准测试VideoCube，以创建一个具有挑战性的环境。最后，我们设计了一个科学的评估程序，以人类的能力为基准来判断跟踪智能。此外，我们还提供了一个在线平台，包括工具包和更新的排行榜。虽然实验结果表明跟踪器和人类之间存在一定的差距，但我们希望向前迈出一步，生成真正的类人跟踪器。数据库、工具包、评估服务器和基线结果可在http://videocube.aitestunion.com上获得。
2022-02-26 cs.CV
Video Text Tracking With a Spatio-Temporal Complementary Model
Huazhong University of Science and Technology（华中科技大学）；Huawei Technologies Co., Ltd.（华为技术有限公司）
文本跟踪是指跟踪视频中的多个文本，并为每个文本构建一个轨迹。现有的方法通过利用检测跟踪框架来堆叠该任务，即，检测每个帧中的文本实例，并将对应的文本实例关联到召唤帧中。我们认为，这种模式的跟踪精度在更复杂的情况下受到严重限制，例如，由于运动模糊等，文本实例的漏检测导致文本轨迹的中断。此外，不同的文本实例具有相似的外观，容易混淆，导致文本实例的不正确关联。为此，本文提出了一种新的时空互补文本跟踪模型.我们利用Siamese ComplementaryModule充分利用文本在时间维度上的连续性，有效地避免了文本实例的漏检，从而保证了每个文本轨迹的完整性。通过文本相似性学习网络将文本实例的语义线索和视觉线索整合到一个统一的表示中，从而在存在相似外观的文本实例时提供高的区分能力，避免了它们之间的误关联。我们的方法在几个公共基准测试中达到了最先进的性能。源代码可在https://github.com/lsabrinax/VideoTextSCM上获得。
2021-12-29 cs.CV
Integration of Regularized l1 Tracking and Instance Segmentation for Video Object Tracking
Istanbul Technical University（伊斯坦布尔理工大学）
我们介绍了一种检测跟踪方法，该方法将深度对象检测器与粒子滤波跟踪器集成在正则化框架下，其中跟踪对象由稀疏字典表示。一种新的观察模型，建立检测器和跟踪器之间的共识制定，使我们能够更新字典的指导下，深检测器。这产生了通过视频序列的对象外观的有效表示，因此提高了对遮挡和姿态变化的鲁棒性。此外，我们提出了一个新的状态向量，包括平移，旋转，缩放和剪切参数，允许跟踪变形的对象边界框，从而显着增加了规模变化的鲁棒性。在具有挑战性的VOT 2016和VOT 2018基准测试数据集上报告的数值结果表明，引入的跟踪器L1 DPF-M在两个数据集上实现了相当的鲁棒性，同时在两个数据集上的性能优于最先进的跟踪器，在IoU-th=0.5时成功率的提高分别为11%和9%。
2019-12-30 cs.CV eess.IV
Tracking by Instance Detection: A Meta-Learning Approach
Microsoft Research Asia（微软亚洲研究院）
我们认为跟踪问题是一种特殊类型的目标检测问题，我们称之为实例检测。通过正确的初始化，检测器可以通过从单个图像学习新实例来快速转换为跟踪器。我们发现，模型不可知的元学习（MAML）提供了一个策略来初始化检测器，满足我们的需求。我们提出了一个原则性的三步方法来建立一个高性能的跟踪器。首先，选择任何经过梯度下降训练的现代对象检测器。其次，使用MAML进行离线训练（或初始化）。第三，使用初始帧执行领域自适应。我们按照这个过程构建了两个跟踪器，名为Retina-MAML和FCOS-MAML，基于两个现代检测器RetinaNet和FCOS。对四个基准的评估表明，这两个跟踪器对最先进的跟踪器具有竞争力。在OTB-100上，Retina-MAML达到了有史以来最高的AUC 0.712。在TrackingNet上，FCOS-MAML以0.757的AUC和0.822的标准化精度位居排行榜第一。这两个跟踪器都以40 FPS实时运行。
2020-04-02 cs.CV
Cross-Classification Clustering: An Efficient Multi-Object Tracking Technique for 3-D Instance Segmentation in Connectomics
MIT（麻省理工学院）；Harvard University（哈佛大学）；Neural Magic Inc.（Neural Magic公司）；Tel-Aviv University（特拉维夫大学）
对对象的像素精确跟踪是许多计算机视觉应用中的关键要素，通常通过迭代的单个对象跟踪或实例分割以及随后的对象匹配来解决。在这里，我们介绍了交叉分类聚类（3C），一种同时跟踪图像堆栈中复杂的、相互关联的对象的技术。交叉分类的关键思想是通过对每个图像运行对数数量的独立分类，将聚类问题有效地转化为分类问题，让这些分类的交叉标记将每个像素唯一地分类为对象标签。我们应用3C机制来实现连接组学中最先进的准确性-从电子显微镜体积神经组织的纳米级映射。我们的重建系统增加了可扩展性的数量级超过现有的单对象跟踪方法（如洪水填充网络）。这种可扩展性对于connectomics管道的部署非常重要，因为目前最好的性能技术需要大多数实验室无法达到的计算基础设施。我们的算法可以在其他需要对多个对象进行像素精确跟踪的领域中提供优势，例如视频和医学图像的分割。
2019-06-15 cs.CV
ASIST: Annotation-free Synthetic Instance Segmentation and Tracking by Adversarial Simulations
Vanderbilt University（范德堡大学）；Tufts University（塔夫茨大学）
背景：显微镜视频的定量分析通常需要对细胞和亚细胞对象进行实例分割和跟踪。传统的方法包括两个阶段：（1）执行每帧的实例对象分割，（2）关联对象逐帧。最近，基于像素嵌入的深度学习作为单阶段整体解决方案同时处理这两个步骤。在计算机视觉中，具有一致分割和跟踪的注释训练数据是资源密集型的，其严重性在显微镜成像中成倍增加，这是由于（1）密集对象（例如，重叠或接触），以及（2）高动态（例如，不规则运动和有丝分裂）。对抗性模拟已经提供了成功的解决方案来缓解计算机视觉中的动态场景中缺乏这种注释，例如使用模拟环境（例如，计算机游戏）来训练真实世界的自动驾驶系统。研究方法：在本文中，我们提出了一个无注释的合成实例分割和跟踪（ASIST）方法与对抗性模拟和单阶段基于像素嵌入的学习。出资额：本文的贡献是三方面的：（1）所提出的方法聚合了对抗性模拟和基于单阶段像素嵌入的深度学习;（2）该方法使用细胞（即，HeLa细胞）和亚细胞（即，微绒毛）对象;据我们所知，这是第一个研究探索无注释的显微镜视频实例分割和跟踪研究。结果如下：与完全监督方法相比，ASIST方法向前迈出了重要的一步：相对于完全监督方法，ASIST在微绒毛上的分割，检测和跟踪性能高出7%至11%，并且在Hela细胞视频上的性能相当。
2021-05-21 cs.CV eess.IV
Towards Discriminative Representations with Contrastive Instances for Real-Time UAV Tracking
Southern University of Science and Technology（南方科技大学）；Guilin University of Technology（桂林理工大学）
针对无人机跟踪中轻量级模型判别性不足的问题，首次将对比学习引入该领域，通过无标注对比实例学习增强特征判别力，提出的DRCI跟踪器在四个基准上性能超越现有最优方法。
2023-08-22 cs.CV
Learning to Track Instances without Video Annotations
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；NVIDIA（英伟达）；University of Oregon（俄勒冈大学）
跟踪多个实例的分割掩模已经被深入研究，但仍然面临两个基本挑战：1）大规模、逐帧注释的要求，以及2）两阶段方法的复杂性。为了解决这些挑战，我们引入了一个新的半监督框架，通过学习实例跟踪网络，只有一个标记的图像数据集和未标记的视频序列。通过实例对比目标，我们学习嵌入来区分每个实例。我们表明，即使只使用图像进行训练，所学习的特征表示对实例外观变化也具有鲁棒性，因此能够跨帧稳定地跟踪对象。我们通过以自我监督的方式从未标记的视频中学习对应关系来进一步增强嵌入的跟踪能力。此外，我们将该模块集成到单阶段实例分割和姿态估计框架中，与两阶段网络相比，这显著降低了跟踪的计算复杂性。我们在YouTube-VIS和PoseTrack数据集上进行实验。在没有任何视频注释工作的情况下，我们提出的方法可以实现与大多数完全监督方法相当甚至更好的性能。
2021-04-01 cs.CV
IP-MOT: Instance Prompt Learning for Cross-Domain Multi-Object Tracking
SIAT（中国科学院深圳先进技术研究院）；HUST（华中科技大学）
针对现有多目标跟踪方法跨域泛化性不足、现有文本表示无法区分同类别不同实例的问题，提出IP-MOT模型，通过实例级伪文本提示调优和带知识蒸馏的查询平衡策略提升跨域跟踪性能，在多个基准上取得优异效果。
2024-10-30 cs.CV
Multi-person Articulated Tracking with Spatial and Temporal Embeddings
SenseTime Research（商汤科技研究院）；The University of Sydney（悉尼大学）；SenseTime Computer Vision Research Group（商汤科技计算机视觉研究组）
我们提出了一个统一的框架，多人姿态估计和跟踪。我们的框架包括两个主要组件，~ \ie ~SpatialNet和TemporalNet。SpatialNet在单个帧中完成身体部位检测和部位级数据关联，而TemporalNet将连续帧中的人体实例分组为轨迹。具体来说，除了身体部位检测热图，SpatialNet还预测身体部位关联的关键点嵌入（KE）和空间实例嵌入（SIE）。我们将分组过程建模为可区分的姿势引导训练（PGG）模块，以使整个部分检测和分组管道完全端到端可训练。TemporalNet将关键点的空间分组扩展到人类实例的时间分组。考虑到来自两个连续帧的人类建议，TemporalNet利用人类嵌入（HE）中编码的外观特征和时间实例嵌入（TIE）中体现的时间一致的几何特征进行鲁棒跟踪。大量的实验证明了我们提出的模型的有效性。值得注意的是，我们在ICCV'17 PoseTrack数据集上展示了比最先进的姿势跟踪方法的实质性改进，多对象跟踪准确性（MOTA）从65.4%提高到71.8%。
2019-03-21 cs.CV
TAU-Bench: From Anomaly Instance Tracking to Fine-Grained Video Anomaly Understanding
该研究引入TAU-Bench这一以跟踪为核心的基准，用于联合评估异常实例跟踪与细粒度视频异常理解，发现现有视觉-语言模型存在语义推理与视觉接地的差距，为构建更可靠的视频异常理解系统提供了关键评估方向。
2026-08-07 cs.CV
BundleTrack: 6D Pose Tracking for Novel Objects without Instance or Category-Level 3D Models
Rutgers（罗格斯大学）
跟踪视频序列中的物体的6D姿态对于机器人操作是重要的。然而，大多数先前的努力通常假设目标对象的CAD模型至少在类别级别上可用于离线训练或在线模板匹配期间。这项工作提出了BundleTrack，6D姿态跟踪的新对象，它不依赖于3D模型，无论是在实例或类别级别的一般框架。它利用深度学习最新进展的互补属性进行分割和鲁棒的特征提取，以及内存增强的姿态图优化以实现时空一致性。这使得在各种具有挑战性的场景下，包括显著的遮挡和物体运动，都能实现长期、低漂移的跟踪。给出两个公共基准的综合实验表明，所提出的方法显着优于最先进的类别级6D跟踪或动态SLAM方法。当与依赖于对象实例CAD模型的最先进的方法相比时，尽管所提出的方法的信息要求降低，但仍实现了相当的性能。CUDA中的高效实现为整个框架提供了10Hz的实时性能。代码可在：https://github.com/wenbowen123/BundleTrack
2021-08-01 cs.AI cs.CV cs.GR
Siamese Instance Search for Tracking
QUVA Lab（QUVA实验室）
在本文中，我们提出了一个跟踪器，这是从根本上不同于国家的最先进的跟踪器：我们没有应用模型更新，没有遮挡检测，没有跟踪器的组合，没有几何匹配，仍然提供国家的最先进的跟踪性能，在流行的在线跟踪基准（OTB）和六个非常具有挑战性的YouTube视频。该跟踪器简单地将第一帧中目标的初始块与新帧中的候选块进行匹配，并通过学习的匹配函数返回最相似的块。匹配功能的强度来自广泛的一般训练，即，在没有任何目标数据的情况下，使用我们设计用于跟踪的连体深度神经网络。一旦学习，匹配函数就被原样使用，而不需要任何调整，以跟踪以前看不见的目标。事实证明，学习的匹配函数是如此强大，以至于一个简单的跟踪器建立在它的基础上，创造了Siamese Instance搜索跟踪器，SINT，它只使用来自第一帧的目标的原始观察，足以达到最先进的性能。此外，我们提出的跟踪器甚至允许目标重新识别后，目标是缺席一个完整的视频镜头。
2016-05-19 cs.CV
Human Instance Segmentation and Tracking via Data Association and Single-stage Detector
Donghua University（东华大学）
人体视频实例分割在计算机理解人体活动中起着重要作用，广泛应用于视频处理、视频监控、虚拟现实中的人体建模等领域。目前大部分VIS方法都是基于Mask-RCNN框架的，其中用于数据匹配的目标外观和运动信息会增加计算成本并对分割实时性能产生影响;另一方面，现有的VIS数据集较少关注视频中出现的所有人。针对上述问题，本文提出了一种基于单级检测器的人体视频实例分割方法。为了在视频中跟踪实例，我们采用了数据关联策略来匹配视频序列中的同一实例，其中我们以端到端的方式联合学习一对视频帧中的目标实例外观及其亲和力。为了提高实例的嵌入提取能力，我们还采用了质心采样策略，即在实例掩码重叠严重的情况下，将实例位置偏向每个实例掩码的内部。结果，即使角色活动存在突然变化，实例位置也不会移出掩码，从而可以缓解由两个不同实例表示同一实例的问题。最后，我们通过组装多个视频实例分割数据集来收集PVIS数据集，以填补目前缺乏专门用于人类视频分割的数据集的空白。基于这样的数据集进行了广泛的模拟。仿真结果验证了所提出的工作的有效性和效率。
2022-03-31 cs.AI cs.CV
Any3DIS: Class-Agnostic 3D Instance Segmentation by 2D Mask Tracking
VinAI Research（VinAI研究院）；Posts & Telecommunications Inst. of Tech.（邮电技术研究院）
针对现有3D实例分割因无监督合并导致的过分割问题，提出3D感知2D掩码跟踪模块与动态规划优化视图的3D掩码优化模块，在ScanNet200和ScanNet++上的三类任务中提升了性能。
2024-11-25 cs.CV
Beyond Local Search: Tracking Objects Everywhere with Instance-Specific Proposals
Australian National University（澳大利亚国立大学）；NICTA（澳大利亚国家信息与通信技术中心）；ARC Centre of Excellence for Robotic Vision（澳大利亚研究理事会机器人视觉卓越中心）
大多数检测跟踪方法在当前帧中的预测对象位置周围采用局部搜索窗口，假设先前的位置是准确的，轨迹是平滑的，并且计算能力允许可以容纳最大速度但又足够小以减少失配的搜索半径。然而，这些可能并不总是有效的，特别是对于快速和不规则移动的对象。在这里，我们提出了一个对象跟踪器，不限于本地搜索窗口，并有能力有效地探测整个帧。我们的方法产生了少量的“高品质”的建议，一个新的实例特定的对象性措施，并评估他们对对象模型，可以通过从现有的跟踪检测方法作为核心跟踪器。在跟踪过程中，我们更新的对象模型集中在硬假阳性提供的建议，这有助于抑制干扰所造成的困难的背景杂波，并学习如何重新排名的建议，根据对象模型。由于我们大大减少了核心跟踪器评估的假设数量，我们可以使用更丰富的对象描述符和更强大的检测器。我们的方法在流行的跟踪基准上优于最新的最先进的跟踪器，并为快速移动的对象以及超低帧速率视频提供了更好的鲁棒性。
2016-05-06 cs.CV
MouseSIS: A Frames-and-Events Dataset for Space-Time Instance Segmentation of Mice
Technical University of Berlin（柏林技术大学）；Science of Intelligence Excellence Cluster（智能科学卓越中心）；Robotics Institute Germany（德国机器人研究所）；Free University of Berlin（柏林自由大学）；German Federal Institute for Risk Assessment（德国联邦风险评估研究所）；Einstein Center Digital Future（爱因斯坦中心数字未来）
针对视频算法在退化条件和快速运动下的困难，提出时空实例分割新任务及MouseSIS数据集，提供对齐灰度帧与事件及小鼠实例分割标注，并验证事件数据能提升跟踪性能。
2024-09-05 cs.CV cs.LG cs.RO
UGO: Unified Architecture for General Multi-Object Tracking by Segmentation
University of Ljubljana（卢布尔雅那大学）
UGO提出统一分割架构，结合示例条件检测与实例传播头，通过能量最小化整合和分层记忆，在GMOT基准和视频计数上达到新最优，并可与专业MOT方法竞争。
2026-09-30 cs.CV
Tracking Instances as Queries
Huazhong University of Science & Technology（华中科技大学）；Applied Research Center (ARC), Tencent PCG（腾讯平台与内容事业群应用研究中心）
最近，基于查询的深度网络由于其端到端的流水线和在几个基本计算机视觉任务（诸如对象检测、语义分割和实例分割）上的竞争结果而引起了大量关注。然而，如何建立一个架构优雅、性能强大的基于查询的视频实例分割（VIS）框架，仍然是一个亟待解决的问题。在本文中，我们提出了\textbf{QueryTrack}（即，跟踪实例作为查询），这是一个基于统一查询的VIS框架，充分利用了QueryInst中实例和查询之间的内在一对一对应关系。该方法在YouTube-VIS-2019/2021数据集上获得52.7/52.3 AP，在CVPR 2021 \textbf{with a single online end-to-end model, single scale testing \& modest amount of training data}的YouTube-VIS挑战赛中获得第二名。我们还在YouTube-VIS-2021 val set上提供QueryTrack-ResNet-50基线结果，作为VIS社区的参考。
2021-06-23 cs.AI cs.CV cs.MM
OpenVIS: Open-vocabulary Video Instance Segmentation
Academy for Engineering and Technology, Fudan University（复旦大学工程与应用技术研究院）；Amazon Web Services（亚马逊云科技）
针对开放词汇视频实例分割任务，提出InstFormer框架，通过对比损失优化掩码提议、适配CLIP构建实例编码器及通用滚动关联跟踪，在有限类别微调下实现基准最优与全监督任务的竞争力表现。
2024-08-17 cs.CV
Instance-Aware Representation Learning and Association for Online Multi-Person Tracking
Sun Yat-sen University（中山大学）；Guangdong University of Foreign Studies（广东外语外贸大学）；WINNER Technology；Carnegie Mellon University（卡内基梅隆大学）；University of California, Los Angeles（加州大学洛杉矶分校）；Guilin University of Electronic Technology（桂林电子科技大学）
多人跟踪（MPT）通常在检测到关联范式中解决。在这种方法中，首先在每帧中提取人的检测，然后通过数据关联（通常离线）的过程来恢复人的轨迹。然而，它们的性能通常退化存在的检测错误，相互作用和闭塞。在本文中，我们提出了一种基于深度学习的MPT方法，该方法学习被跟踪人员的实例感知表示，并鲁棒地在线推断被跟踪人员的状态。具体地说，我们设计了一个多分支神经网络（MBN），它通过一批候选区域作为输入来预测所有目标的分类置信度和位置。在我们的MBN架构中，每个分支（实例子网）对应于一个要跟踪的个人，新的分支可以动态创建，用于处理新出现的人。然后，基于MBN的输出，我们构造一个联合关联矩阵，该矩阵表示被跟踪人的有意义的状态（例如，被跟踪或从场景中消失），并使用高效的匈牙利算法来求解。此外，我们允许的instance-pronouncer更新跟踪过程中，通过在线挖掘硬的例子，会计随着时间的推移，人的外观变化。我们全面评估我们的框架上流行的MPT基准，展示了其优异的性能与最近的在线MPT方法相比。
2019-05-29 cs.CV
VoxelEmbed: 3D Instance Segmentation and Tracking with Voxel Embedding based Deep Learning
Dartmouth College（达特茅斯学院）；Vanderbilt University（范德堡大学）
生物成像的最新进展为科学家提供了卓越的高时空分辨率，以观察活细胞的动态作为3D立体视频。不幸的是，3D生物医学视频分析是滞后的，阻碍了资源不敏感的人类策展使用现成的3D分析工具。在此，生物学家通常需要通过经由最大强度投影在2D分析上妥协来丢弃相当大量的丰富的3D空间信息。最近，基于像素嵌入的细胞实例分割和跟踪为理解细胞动力学提供了一个整洁和可推广的计算范例。在这项工作中，我们提出了一种新的时空体素嵌入（VoxelEmbed）为基础的学习方法，同时进行细胞实例分割和跟踪的三维体积视频序列。我们的贡献是在四个方面：（1）提出的体素嵌入推广了像素嵌入与三维上下文信息;（2）提出了一个简单的多流学习方法，允许有效的时空嵌入;（3）完成了一个端到端的框架，一个阶段的三维细胞实例分割和跟踪没有沉重的参数调整;（4）所提出的3D量化经由具有12 GB存储器的单个GPU是存储器高效的。我们在ISBI细胞跟踪挑战赛的四个3D数据集（具有不同的细胞类型）上评估了我们的VoxelEmbed方法。所提出的VoxelEmbed方法在两个密集注释的数据集上实现了一致的优越的整体性能（OP）。在两个稀疏注释的队列中，性能也具有竞争力，其中20.6%和2%的数据集具有分割注释。结果表明，体素嵌入方法是一个通用的和内存有效的解决方案。
2021-06-22 cs.CV eess.IV
Instance As Identity: A Generic Online Paradigm for Video Instance Segmentation
Baidu Research（百度研究院）；University of Technology Sydney（悉尼科技大学）；Zhejiang University（浙江大学）；Beijing Jiaotong University（北京交通大学）
在一个统一的框架中对检测和跟踪的时间信息进行建模已被证明是视频实例分割（VIS）的一个有前途的解决方案。然而，如何有效地将时态信息纳入在线模型仍然是一个悬而未决的问题。在这项工作中，我们提出了一个新的在线VIS范例命名为实例作为身份（IAI），它的模型的时间信息检测和跟踪的有效方式。具体地说，IAI采用了一种新的识别模块来预测跟踪实例的识别号。为了跨帧传递时间信息，IAI利用了一个结合当前特征和过去嵌入的关联模块。值得注意的是，IAI可以与不同的图像模型集成。我们在三个VIS基准上进行了广泛的实验。IAI在YouTube-VIS-2019（ResNet-101 43.7 mAP）和YouTube-VIS-2021（ResNet-50 38.0 mAP）上的表现优于所有在线竞争对手。令人惊讶的是，在更具挑战性的OVIS上，IAI实现了SOTA性能（20.6 mAP）。代码可在https://github.com/zfonemore/IAI上获得
2022-08-16 cs.CV
Learning Moving-Object Tracking with FMCW LiDAR
University of Macau（澳门大学）；Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；University of Chinese Academy of Sciences（中国科学院大学）；Baidu Research（百度研究院）
在本文中，我们提出了一种基于学习的运动物体跟踪方法，利用我们新开发的激光雷达传感器，调频连续波（FMCW）激光雷达。与大多数现有的商业激光雷达传感器相比，我们的FMCW激光雷达可以提供额外的多普勒速度信息的点云的每个3D点。受益于此，我们可以以半自动的方式生成实例标签作为基础事实。给定标签，我们提出了一个对比学习框架，该框架在嵌入空间中将来自同一实例的特征拉到一起，并将来自不同实例的特征推开，以提高跟踪质量。在我们记录的驾驶数据上进行了大量的实验，结果表明，我们的方法比基线方法有很大的优势。
2022-03-02 cs.CV
SG-Net: Spatial Granularity Network for One-Stage Video Instance Segmentation
Purdue University（普渡大学）；University of Florida（佛罗里达大学）
视频实例分割（VIS）是计算机视觉中一个新的关键问题。到目前为止，性能最好的VIS方法通过添加跟踪分支扩展了两阶段Mask R-CNN，留下了很大的改进空间。相比之下，我们从一个新的角度来处理VIS任务，并提出了一个一阶段的空间粒度网络（SG-Net）。与传统的两阶段方法相比，SG-Net具有四个优点：1）该方法具有一阶段紧凑的结构，每个任务头（检测、分割和跟踪）是相互依赖的，因此它们可以有效地共享特征并享受联合优化; 2）我们的掩模预测是在每个检测实例的子区域上动态执行的，从而产生细粒度的高质量掩模; 3）我们的每个任务预测避免使用昂贵的基于提议的RoI特征，从而大大降低了每个实例的运行时复杂度; 4）我们的跟踪头为跟踪对象的中心运动建模，这有效地增强了对不同对象外观的跟踪鲁棒性。在评估中，我们在YouTube-VIS数据集上进行了最先进的比较。大量的实验表明，我们的紧凑的一阶段的方法可以实现提高性能的准确性和推理速度。我们希望我们的SG-Net可以作为VIS任务的强大而灵活的基线。我们的代码将可用。
2021-04-05 cs.CV
UNIT: Unsupervised Online Instance Segmentation through Time
Ecole des Ponts（巴黎路桥学院）；Univ Gustave Eiffel（古斯塔夫·埃菲尔大学）；CNRS（法国国家科学研究中心）
针对激光雷达点云在线实例分割与追踪人工标注成本高的问题，提出基于伪标签训练的无监督类别无关在线实例分割方法，在两个户外激光雷达数据集上优于强基线。
2024-09-12 cs.CV
Video Instance Segmentation
ByteDance AI Lab（字节跳动人工智能实验室）；UIUC（伊利诺伊大学厄巴纳-香槟分校）；Adobe Research（奥多比研究中心）
在本文中，我们提出了一个新的计算机视觉任务，命名为视频实例分割。这个新任务的目标是同时检测，分割和跟踪视频中的实例。也就是说，这是第一次将图像实例分割问题扩展到视频领域。为了促进对这一新任务的研究，我们提出了一个名为YouTube-VIS的大规模基准测试，它由2883个高分辨率YouTube视频，40个类别的标签集和131 k个高质量实例掩码组成。此外，我们还提出了一种名为MaskTrack R-CNN的新算法来完成这项任务。我们的新方法为Mask R-CNN引入了一个新的跟踪分支，以同时联合执行检测，分割和跟踪任务。最后，我们在新数据集上评估了所提出的方法和几个强基线。实验结果清楚地证明了所提出的算法的优点，并揭示了未来的改进洞察力。我们相信视频实例分割任务将激励社区沿着视频理解的研究路线。
2019-08-16 cs.CV
CDIS: Cross-Dimensional Class-Agnostic 3D Instance Segmentation via 2D Mask Tracking and 3D-2D Projection Merging
Interdisciplinary Program in AI, Seoul National University（首尔国立大学人工智能跨学科项目）
研究针对未知环境中机器人系统的类别无关3D实例分割问题，提出CDIS零样本框架，通过跨帧跟踪2D实例掩码并与3D超点关联，在2D和3D间创建反馈循环，实验证明其比现有方法更准确、一致且高效可扩展。
2026-07-21 cs.AI cs.CV
Instance-level Visual Active Tracking with Occlusion-Aware Planning
South China University of Technology（南方科技大学）；Pazhou Laboratory（Pazhou实验室）；Key Laboratory of Big Data and Intelligent Robot, Ministry of Education（教育部大数据与智能机器人重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出OA-VAT方法，通过实例感知原型初始化、在线原型增强跟踪和遮挡感知轨迹规划模块，解决遮挡和相似干扰问题，实现高精度实时跟踪。
2026-04-23 cs.CV
IndoorCrowd: A Multi-Scene Dataset for Human Detection, Segmentation, and Tracking with an Automated Annotation Pipeline
National University of Science and Technology Politehnica Bucharest（布加勒斯特理工大学国家科学技术大学）；Expleo
IndoorCrowd数据集通过多场景采集，提供人体检测、实例分割和多目标跟踪的基准，包含31个视频和自动化标注工具的评估结果，揭示了人群密度、尺度和遮挡对任务的影响。
2026-04-02 cs.CV cs.LG
Multi-Adapter RGBT Tracking
Anhui University（安徽大学）
RGBT跟踪的任务是利用可见光和热红外数据的互补优势，实现鲁棒的视觉跟踪，近年来受到越来越多的关注。现有的工作集中在特定模态的信息集成，通过引入模态权重来实现自适应融合或学习不同模态的鲁棒特征表示。虽然这些方法可以有效地部署特定于模态的属性，但它们忽略了模态共享线索以及实例感知信息的潜在价值，这对于RGBT跟踪中不同模态的有效融合至关重要。在本文中，我们提出了一种新的多适配器卷积网络（MANET），用于在端到端训练的深度框架中联合执行模态共享，模态特定和实例感知的特征学习，以进行RGBT跟踪。我们在网络中设计了三种适配器。具体而言，通用适配器用于提取共享对象表示，模态适配器用于编码模态特定信息以发挥其互补优势，实例适配器用于建模特定对象的外观属性和时间变化。此外，为了降低视觉跟踪实时性要求的计算复杂性，设计了通用适配器和模态适配器的并行结构。在两个RGBT跟踪基准数据集上进行的大量实验表明，该跟踪器与其他最先进的RGB和RGBT跟踪算法相比具有出色的性能。
2019-07-17 cs.CV
Learning Appearance and Motion Cues for Panoptic Tracking
Department of Computer Science, University of Freiburg（弗赖堡大学计算机科学系）
本文提出一种同时利用外观与运动线索的全景跟踪方法，通过多尺度可变形卷积网络头和两步融合模块提升动态场景下的实例跟踪精度，在两个基准数据集上达到最先进性能。
2025-03-12 cs.CV cs.RO
End-to-end video instance segmentation via spatial-temporal graph neural networks
Shanghai Jiao Tong University（上海交通大学）；Adobe Research（奥多比研究院）
视频实例分割是将图像实例分割扩展到视频域的一项具有挑战性的任务。现有的方法要么只依赖于单帧信息的检测和分割子问题或处理跟踪作为一个单独的后处理步骤，这限制了他们的能力，充分利用和共享有用的时空信息的所有子问题。在本文中，我们提出了一种新的基于图神经网络（GNN）的方法来处理上述限制。具体地说，图节点表示的实例特征用于检测和分割，而图边缘表示的实例关系用于跟踪。帧间和帧内信息通过图更新有效地传播和共享，并且所有子问题（即检测，分割和跟踪）在统一的框架中联合优化。与现有方法相比，我们的方法在YoutubeVIS验证数据集上的性能有了很大的改进，并在ResNet-50主干上实现了35.2%的AP，以22 FPS运行。代码可在http://github.com/lucaswithai/visgraph.git上获得。
2022-03-07 cs.CV
Segment as Points for Efficient Online Multi-Object Tracking and Segmentation
University of Science and Technology of China（中国科学技术大学）；Baidu Inc.（百度公司）
当前的多目标跟踪和分割（MOTS）方法遵循检测跟踪范式，并采用卷积进行特征提取。然而，由于受固有感受野的影响，基于卷积的特征提取不可避免地会混淆前景特征和背景特征，导致后续实例关联中的歧义。在本文中，我们提出了一种高效的方法来学习基于段的实例嵌入，通过转换紧凑的图像表示无序的2D点云表示。我们的方法生成了一个新的点跟踪范例，其中判别实例嵌入是从随机选择的点而不是图像中学习的。此外，多个信息数据模态转换成逐点表示，以丰富逐点特征。由此产生的在线MOTS框架，名为PointTrack，超过了所有最先进的方法，包括3D跟踪方法的大幅度（MOTSA高出5.4%，比MOTSFusion快18倍），接近实时速度（22 FPS）。在三个数据集上的评估证明了我们方法的有效性和效率。此外，基于现有MOTS数据集缺乏拥挤场景的观察，我们构建了一个更具挑战性的MOTS数据集，名为APOLLO MOTS，具有更高的实例密度。APOLLO MOTS和我们的代码都可以在https://github.com/detectRecog/PointTrack上公开获得。
2020-07-03 cs.CV
GlobalTrack: A Simple and Strong Baseline for Long-term Tracking
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
长期跟踪器的一个关键能力是在非常大的区域（通常是整个图像）中搜索目标，以处理可能的目标缺失或跟踪失败。然而，目前缺乏全局实例搜索的强大基线。在这项工作中，我们的目标是弥合这一差距。具体来说，我们提出了GlobalTrack，一个纯粹的全球实例搜索为基础的跟踪器，不假设目标的位置和规模的时间一致性。GlobalTrack是基于两阶段目标检测器开发的，它能够执行全图像和多尺度搜索的任意实例，只有一个单一的查询作为指导。我们进一步提出了一个交叉查询损失，以提高我们的方法对干扰的鲁棒性。由于没有在线学习，没有对位置或尺度变化的惩罚，没有尺度平滑，也没有轨迹细化，我们的基于纯全局实例搜索的跟踪器在四个大规模跟踪基准上实现了相当的，有时更好的性能（即，LaSOT上的AUC为52.1%，TLP上的成功率为63.8%，OxUvA上的MaxGM为60.3%，TrackingNet上的标准化精度为75.4%），而最先进的方法通常需要复杂的后处理。更重要的是，我们的跟踪器运行时没有累积错误，即，任何类型的临时跟踪故障都不会影响其在未来帧上的性能，使其成为长期跟踪的理想选择。我们希望这项工作将成为长期跟踪的一个强有力的基线，并将促进这一领域的未来工作。代码可在www.example.com上获得。
2019-12-18 cs.CV
Leveraging Vision-Language Models for Open-Vocabulary Instance Segmentation and Tracking
Autonomous Intelligent Systems, University of Bonn（博恩大学自主智能系统中心）；Lamarr Institute for Machine Learning and AI（拉马尔人工智能与机器学习研究所）；Center for Robotics, University of Bonn（博恩大学机器人中心）
提出一种结合 VLM 结构化描述、开放词汇检测与视频分割跟踪的框架，实现动态环境中非标准对象的实时开放词汇实例分割、属性提取与在线轨迹更新。
2025-10-20 cs.CV cs.RO
SeekNet: Improved Human Instance Segmentation and Tracking via Reinforcement Learning Based Optimized Robot Relocation
Purdue University（普渡大学）
非模态识别是系统检测被遮挡物体的能力。大多数SOTA视觉识别系统缺乏执行非模态识别的能力。很少有研究通过被动预测或具体识别方法实现非模态识别。然而，这些方法在现实世界的应用中受到挑战，例如动态障碍。我们提出了SeekNet，一种改进的优化方法，通过具体的视觉识别进行非模态识别。此外，我们为社交机器人实施SeekNet，在社交机器人中，与拥挤的行人进行多种交互。我们还证明了我们的算法在其他基线上对遮挡人体检测和跟踪的好处。此外，我们还使用SeekNet建立了一个多机器人环境，以识别和跟踪拥挤地区空气传播疾病的视觉疾病标记。我们在模拟的室内环境中进行实验，结果表明，我们的方法提高了非模态识别任务的整体准确性，并且与基线方法相比，随着时间的推移，检测准确性得到了最大的提高。
2023-03-08 cs.CV cs.RO
SCATR: Mitigating New Instance Suppression in LiDAR-based Tracking-by-Attention via Second Chance Assignment and Track Query Dropout
University of Toronto（多伦多大学）
SCATR通过二次分配和轨迹查询丢弃缓解基于LiDAR的跟踪-注意力中的新实例抑制，实现性能提升
2026-03-02 cs.CV
Hallucinated Adversarial Learning for Robust Visual Tracking
Xiamen University（厦门大学）；Beihang University（北京航空航天大学）
人类可以很容易地从一个样本中学习新的概念，这主要是因为他们有非凡的能力去想象或幻觉看不见的样本在不同的环境中会是什么样子。实现这种使被跟踪实例的不同新样本产生幻觉的能力可以帮助跟踪器减轻低数据跟踪机制中的过拟合问题。为了实现这一点，我们提出了一个有效的对抗性的方法，表示为对抗性的“幻觉”（AH），强大的视觉跟踪。所提出的AH的目的是首先学习一对相同身份的实例之间的可转移的非线性变形，然后将这些变形应用到一个看不见的跟踪实例，以生成不同的正训练样本。通过将AH纳入在线检测跟踪框架，我们提出了幻觉对抗跟踪器（HAT），它与在线分类器（例如，MDNet）以端到端的方式。此外，提出了一种新的选择性变形传递（SDT）方法，以更好地选择更适合传递的变形。在3个流行的基准测试上的大量实验表明，我们的HAT达到了最先进的性能。
2019-06-17 cs.CV
Walker: Self-supervised Multiple Object Tracking by Walking on Temporal Appearance Graphs
ETH Zurich（苏黎世联邦理工学院）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；INSAIT
提出首个自监督多目标跟踪器Walker，通过设计准密集时序外观图并优化随机游走学习实例相似性，在大幅减少标注需求下于多个基准上取得竞争力性能。
2024-09-25 cs.CV
Exploring Decoupled Spatio-Temporal Consistency Learning and Self-Prompting Evolution for Self-Supervised Tracking
本研究提出SSTrack++自监督跟踪模型，通过弱到强自监督框架、解耦时空一致性策略等，在十个基准数据集上超越SOTA自监督跟踪方法，显著缩小与全监督跟踪器的性能差距。
2026-08-12 cs.CV
Learning to Track Instance from Single Nature Language Description
Key Laboratory of Education Blockchain and Intelligent Technology, Ministry of Education Guangxi Normal University（教育区块链与智能技术重点实验室，教育部广西师范大学）；University Engineering Research Center of Educational Intelligent Technology Guangxi Normal University（教育智能技术大学工程研究中心，广西师范大学）；University of Southampton（南安普顿大学）
本文提出一种自监督视觉-语言跟踪方法，通过动态令牌聚合模块提升语义对齐，无需bounding-box标注即可实现实例跟踪。
2026-05-08 cs.CV
