A Discriminative Single-Shot Segmentation Network for Visual Object Tracking
University of Ljubljana(卢布尔雅那大学);Czech Technical University in Prague(布拉格捷克理工大学)
基于模板的判别式跟踪器由于其鲁棒性而成为当前占主导地位的跟踪范例,但其局限于限界框跟踪和有限范围的变换模型,这降低了其定位精度。本文提出了一种判别式单镜头分割跟踪器D3 S2,它缩小了视觉对象跟踪和视频对象分割之间的差距。单发网络应用两个具有互补几何特性的目标模型,一个对广泛的变换(包括非刚性变形)不变,另一个假设刚性对象同时实现鲁棒的在线目标分割。通过解耦对象和特征尺度估计,进一步增加了整体跟踪可靠性。在没有对每个数据集进行微调的情况下,D3 S2仅针对分割作为主要输出进行训练,在最近的短期跟踪基准测试VOT 2020上的表现优于所有已发布的跟踪器,并且在GOT-10 k、TrackingNet、OTB 100和LaSoT上的表现非常接近最先进的跟踪器。D3 S2在视频对象分割基准测试中的表现优于领先的分割跟踪器SiamMask,并与顶级视频对象分割算法不相上下。
2021-12-27 cs.CV
GridShift: A Faster Mode-seeking Algorithm for Image Segmentation and Object Tracking
Kyungpook National University(庆北国立大学);Indian Statistical Institute(印度统计研究所)
在机器学习和计算机视觉中,均值漂移(MS)是用于聚类和图像分割的最流行的模式搜索算法之一。它迭代地将每个数据点移动到其邻域数据点的加权平均值。找到每个数据点的邻居所需的计算成本是数据点数量的二次方。因此,vanilla MS对于大规模数据集似乎非常慢。为了解决这个问题,我们提出了一种模式搜索算法,称为GridShift,具有显着的加速,主要是基于MS。为了加速,GridShift采用了基于网格的方法进行邻居搜索,这是线性的数据点的数量。此外,GridShift将活动网格单元(与至少一个数据点相关联的网格单元)代替数据点向更高密度移动,这一步骤提供了更多的加速。GridShift的运行时间在活动网格单元的数量上是线性的,在特征的数量上是指数的。因此,它是理想的大规模低维应用,如目标跟踪和图像分割。通过大量的实验,我们展示了优越的性能相比,其他MS为基础的,以及国家的最先进的算法在准确性和运行时间的基准数据集的图像分割GridShift。最后,我们提供了一个新的基于GridShift的对象跟踪算法,并显示了有前途的结果相比,CamShift和meanshift++的对象跟踪。
2022-06-05 cs.CV cs.LG
On Duality Of Multiple Target Tracking and Segmentation
Center for Research in Computer Vision, University of Central Florida(中佛罗里达大学计算机视觉研究中心)
传统上,目标跟踪和分割被视为两个独立的问题,并独立解决。然而,在本文中,我们认为跟踪和分割实际上是密切相关的,解决一个应该帮助另一个。一方面,对象轨迹是一组边界框,每帧中有一个限界框,它将为目标/背景分割任务提供强有力的高级指导。另一方面,对象分割将对象与其他对象和背景分离,这将有助于确定每帧中的轨迹位置。我们提出了一个新的框架,它结合了在线多目标跟踪和视频分割。在我们的方法中,跟踪和分割问题耦合拉格朗日对偶分解,这导致更准确的分割结果,也\emph{helps resolve typical difficulties in multiple target tracking, such as occlusion handling, ID-switch and track drifting}。为了跟踪目标,通过结构化学习为每个目标学习单独的外观模型,并采用网络流从密集采样的候选对象生成轨迹。对于分割,多标签条件随机场(CRF)应用于视频片段中的基于超像素的时空图,以将背景或目标标签分配给每个超像素。不同序列上的实验表明,我们的方法优于国家的最先进的方法,多目标跟踪以及分割。
2016-10-14 cs.CV
A Multi-cut Formulation for Joint Segmentation and Tracking of Multiple Objects
University of Freiburg(弗莱堡大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
最近,最小成本多分割公式已被提出,并被证明是成功的运动轨迹分割和多目标跟踪的情况下。这两个任务都受益于将图形模型分解为基于吸引和排斥成对项的最佳数量的连接组件。这两个任务在不同的粒度级别上制定,因此,主要利用局部信息进行运动分割,主要利用高级信息进行多目标跟踪。在本文中,我们认为,点轨迹和它们的局部关系可以有助于多目标跟踪的高层次任务,也认为,高层次的线索,从目标检测和跟踪有助于解决运动分割。我们提出了一个联合图形模型的点轨迹和目标检测的多割运动分割{ \it和}多目标跟踪问题的解决方案在一次。FBMS 59运动分割基准以及2D MOT 2015基准的行人跟踪序列的结果证明了这种联合方法的前景。
2016-07-21 cs.CV
CellTrack R-CNN: A Novel End-To-End Deep Neural Network for Cell Segmentation and Tracking in Microscopy Images
University of Sydney(悉尼大学);University of New South Wales(新南威尔士大学);Brigham and Women’s Hospital(布莱根妇女医院);Harvard Medical School(哈佛医学院);Sydney Nano Institute(悉尼纳米研究所)
显微图像中的细胞分割与跟踪对于生物学和医学的新发现具有重要意义。在这项研究中,我们提出了一种新的方法,将细胞分割和细胞跟踪结合到一个统一的基于端到端深度学习的框架中,其中细胞检测和分割是通过当前的实例分割管道执行的,细胞跟踪是通过将暹罗网络与管道集成来实现的。此外,通过将空间信息引入网络,融合空间预测和视觉预测,提高了跟踪性能。我们的方法在DeepCell基准数据集上进行了评估。尽管简单有效,但我们的方法在细胞分割和细胞跟踪准确性方面优于最先进的算法。
2021-02-20 cs.CV
Robust Visual Tracking by Segmentation
ETH Zürich(苏黎世联邦理工学院)
估计目标的范围提出了一个基本的挑战,在视觉对象跟踪。通常,跟踪器是以框为中心的,并且完全依赖于限界框来定义场景中的目标。在实践中,对象通常具有复杂的形状,并且不与图像轴对齐。在这些情况下,边界框不提供目标的准确描述,并且通常包含大部分背景像素。我们提出了一个以分割为中心的跟踪管道,不仅可以产生高度准确的分割掩码,而且可以在内部使用分割掩码而不是边界框。因此,我们的跟踪器能够更好地学习目标表示,该目标表示可以清楚地将场景中的目标与背景内容区分开来。为了实现必要的鲁棒性具有挑战性的跟踪情况下,我们提出了一个单独的实例定位组件,用于条件的分割解码器时,产生的输出掩码。我们从分割掩码中推断出一个限界框,在具有挑战性的跟踪数据集上验证我们的跟踪器,并在LaSOT上实现了最新的技术水平,成功AUC得分为69.7%。由于大多数跟踪数据集不包含掩模注释,因此我们无法使用它们来评估预测的分割掩模。相反,我们在两个流行的视频对象分割数据集上验证了我们的分割质量。
2022-07-20 cs.CV
3D-Aware Instance Segmentation and Tracking in Egocentric Videos
University of Oxford(牛津大学);NAVER LABS Europe(NAVER欧洲实验室)
本文提出一种融合场景几何、3D质心跟踪与实例分割的第一人称视频3D感知方法,在EPIC Fields上显著提升跟踪与分割一致性,并支持3D重建等下游任务。
2024-11-20 cs.AI cs.CV cs.LG
Prototypical Cross-Attention Networks for Multiple Object Tracking and Segmentation
ETH Zürich(苏黎世联邦理工学院);HKUST(香港科技大学);Kuaishou Technology(快手科技)
多目标跟踪和分割需要检测、跟踪和分割属于一组给定类别的对象。大多数方法仅利用时间维度来解决关联问题,而依赖于对分割掩码本身的单帧预测。我们提出了原型交叉注意网络(PCAN),能够利用丰富的时空信息进行在线多目标跟踪和分割。PCAN首先将一个时空记忆提炼成一组原型,然后利用交叉注意从过去的帧中检索丰富的信息。为了分割每个对象,PCAN采用原型外观模块来学习一组对比的前景和背景原型,然后随时间传播。大量的实验表明,PCAN在Youtube-VIS和BDD 100 K数据集上的性能优于当前的视频实例跟踪和分割竞赛获胜者,并且对一阶段和两阶段分割框架都显示出有效性。代码和视频资源可在http://vis.xyz/pub/pcan上获得。
2021-11-30 cs.CV
Semi supervised segmentation and graph-based tracking of 3D nuclei in time-lapse microscopy
University of California Santa Barbara(加州大学圣巴巴拉分校)
我们提出了一种新的弱监督的方法来改善边界的3D分割核利用过分割图像。这是由于观察到当前最先进的深度学习方法在训练数据被弱注释时不会产生准确的边界。为此,训练3D U-Net以获得细胞核的质心,并与简单的线性迭代聚类(SLIC)超体素算法集成,该算法提供了更好的聚类边界。为了跟踪这些分割的细胞核,我们的算法利用描绘细胞核分裂和凋亡过程的相对细胞核位置。与Cell Tracking Challenge(CTC)2019中的最先进方法相比,所提出的算法流水线实现了更好的分割性能,并且与IEEE ISBI CTC 2020中的最先进方法具有相当的性能,同时利用很少的像素注释数据。提供了详细的实验结果,源代码可在GitHub上获得。
2020-10-26 cs.CV cs.LG
Visual Object Tracking by Segmentation with Graph Convolutional Network
Anhui University(安徽大学)
基于分割的跟踪技术在计算机视觉和多媒体领域得到了广泛的研究。基于超像素的目标分割和跟踪方法通常被开发用于此任务。然而,它们独立地执行超像素的特征表示和学习,这可能导致次优结果。在本文中,我们提出了利用图卷积网络(GCN)模型的超像素为基础的目标跟踪。该模型提供了一个通用的端到端框架,该框架将i)标签线性预测和ii)每个超像素的结构感知特征信息集成在一起以获得对象分割,并进一步提高跟踪性能。所提出的GCN方法的主要优点有两个主要方面。首先,它提供了一个有效的端到端的方式来利用空间和时间的一致性约束的目标对象分割。其次,它利用混合图卷积模块来学习用于超像素表示和标记的上下文感知和区分特征。一个有效的算法已被开发,以优化所提出的模型。在五个数据集上进行的大量实验表明,我们的方法比现有的替代方法获得了更好的性能。
2020-09-08 cs.CV
Multi-Object Tracking and Segmentation via Neural Message Passing
Technical University of Munich(慕尼黑工业大学)
图提供了一种自然的方式来制定多对象跟踪(MOT)和多对象跟踪和分割(MOTS)的跟踪检测范式。然而,它们也为学习方法带来了一个重大挑战,因为定义一个可以在这种结构化域上操作的模型并不简单。在这项工作中,我们利用经典的网络流制定MOT定义一个完全可微的框架的消息传递网络(MPN)的基础上。通过直接在图域上操作,我们的方法可以在整个检测集上进行全局推理,并利用上下文特征。然后,它联合预测数据关联问题的最终解决方案和场景中所有对象的分割掩码,同时利用两个任务之间的协同作用。我们在几个公开的数据集中实现了跟踪和分割的最先进的结果。我们的代码可在github.com/ocetintas/MPNTrackSeg上获得。
2022-07-15 cs.CV
IndoorCrowd: A Multi-Scene Dataset for Human Detection, Segmentation, and Tracking with an Automated Annotation Pipeline
National University of Science and Technology Politehnica Bucharest(布加勒斯特理工大学国家科学技术大学);Expleo
IndoorCrowd数据集通过多场景采集,提供人体检测、实例分割和多目标跟踪的基准,包含31个视频和自动化标注工具的评估结果,揭示了人群密度、尺度和遮挡对任务的影响。
2026-04-02 cs.CV cs.LG
Faster Mean-shift: GPU-accelerated clustering for cosine embedding-based cell segmentation and tracking
Dartmouth College(达特茅斯学院);Vanderbilt University(范德堡大学);PAII Inc.(PAII公司)
近年来,基于单阶段嵌入的深度学习算法在细胞分割和跟踪中获得了越来越多的关注。与传统的“分割-关联”两阶段算法相比,单阶段算法不仅能够同时实现一致的实例细胞分割和跟踪,而且在区分边界和重叠区域上的模糊像素时具有更好的性能。然而,基于嵌入的算法的部署受到慢推理速度的限制(例如,每帧大约1-2分钟)。在这项研究中,我们提出了一种新的快速均值漂移算法,它解决了基于嵌入的细胞分割和跟踪的计算瓶颈。与以往GPU加速的快速均值漂移算法不同,提出了一种新的在线种子优化策略(OSOP),自适应地确定最小种子数,加快计算速度,节省GPU内存。通过ISBI细胞跟踪挑战的四个队列的嵌入模拟和经验验证,与最先进的基于嵌入的细胞实例分割和跟踪算法相比,所提出的更快的均值漂移算法实现了7-10倍的加速。与其他GPU基准测试相比,我们的Faster Mean-shift算法还实现了最高的计算速度,并优化了内存消耗。Faster Mean-shift算法是一种即插即用的模型,可用于其他基于像素嵌入的医学图像聚类分析。(即插即用模型已公开:https://github.com/masqm/Faster-Mean-Shift)
2021-04-20 cs.CV cs.LG eess.IV
SiamMask: A Framework for Fast Online Object Tracking and Segmentation
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Fudan University(复旦大学);Five AI Limited(Five AI有限公司);University of Oxford(牛津大学)
在本文中,我们介绍了SiamMask,一个框架来执行视觉对象跟踪和视频对象分割,在实时,用同样的简单方法。我们通过使用二进制分割任务增加损失来改进流行的全卷积Siamese方法的离线训练过程。一旦离线训练完成,SiamMask只需要一个限界框进行初始化,可以同时进行视觉对象跟踪和分割在高帧速率。此外,我们表明,它是可以扩展的框架来处理多个对象的跟踪和分割,通过简单地重复使用级联方式的多任务模型。实验结果表明,我们的方法具有较高的处理效率,在每秒55帧左右。它在视觉对象跟踪基准测试中产生实时的最先进的结果,同时在视频对象分割基准测试中以高速展示具有竞争力的性能。
2022-07-05 cs.CV
Learning Online for Unified Segmentation and Tracking Models
Monash University(莫纳什大学)
跟踪需要在推理阶段建立目标的判别模型。实现这一目标的一种有效方法是在线学习,它可以轻松地胜过仅离线训练的模型。最近的研究表明,视觉跟踪由于其像素级的歧视,显着受益于视觉跟踪和分割的统一。然而,对这样一个统一的模型进行在线学习是一个很大的挑战。分割模型不能容易地从视觉跟踪场景中给出的先验信息中学习。在本文中,我们提出了TrackMLP:一种新的元学习方法,它只从部分信息中学习,以解决强加的挑战。我们的模型能够广泛利用有限的先验信息,因此比其他在线学习方法具有更强的目标-背景区分能力。从经验上讲,我们表明,我们的模型实现了最先进的性能和有形的改进竞争车型。我们的模型在VOT 2019、VOT 2018和VOT 2016数据集中实现了66.0%、67.1%和68.5%的改进平均重叠,比我们的基线高6.4%、7.3%和6.4%。代码将公开提供。
2021-11-12 cs.AI cs.CV cs.LG
Eye on the Target: Eye Tracking Meets Rodent Tracking
RWTH Aachen University(亚琛工业大学);Institute of Imaging and Computer Vision(成像与计算机视觉研究所);Institute for Laboratory Animal Science(实验动物科学研究所)
本文提出利用 Aria 眼动数据生成提示点并结合后处理优化与零样本分割模型的流程,显著提升大鼠视频分割准确率。
2025-03-13 cs.CV
MOTS: Multi-Object Tracking and Segmentation
RWTH Aachen University(亚琛工业大学);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Tübingen(图宾根大学)
本文将多目标跟踪问题扩展到多目标跟踪与分割(MOTS)。为了实现这一目标,我们使用半自动注释程序为两个现有的跟踪数据集创建密集的像素级注释。我们的新注释包括65,213个像素掩码,用于10,870个视频帧中的977个不同对象(汽车和行人)。对于评估,我们扩展现有的多对象跟踪指标,这个新的任务。此外,我们提出了一种新的基线方法,该方法通过单个卷积网络联合解决检测,跟踪和分割问题。我们通过在MOTS注释上训练时实现性能的改进来证明我们的数据集的价值。我们相信,我们的数据集、指标和基线将成为开发超越2D边界框的多目标跟踪方法的宝贵资源。我们在https://www.vision.rwth-aachen.de/page/mots上提供注释、代码和模型。
2019-04-08 cs.CV
Tracking-Assisted Segmentation of Biological Cells
University of Amsterdam(阿姆斯特丹大学)
U-Net及其变体已被证明在生物细胞跟踪和分割方面工作得足够好。然而,这些方法仍然存在复杂的过程,如细胞碰撞,有丝分裂和凋亡。在本文中,我们使用基于Siamese匹配的跟踪来增强U-Net,并建议随着时间的推移跟踪单个核。通过对细胞的行为模式进行建模,我们通过重新分割程序实现了改进的分割和跟踪性能。我们对Fluo-N2 DH-SIM+和Fluo-N2 DH-GOWT 1数据集的初步研究表明,分割和跟踪准确性分别可获得高达3.8%和3.4%的绝对改善。
2019-10-19 cs.CV eess.IV q-bio.QM
Fusing RGBD Tracking and Segmentation Tree Sampling for Multi-Hypothesis Volumetric Segmentation
University of Michigan(密歇根大学)
尽管近年来场景分割技术取得了快速的进展,但在严重遮挡情况下,三维场景分割方法仍然受到限制。关键的挑战是估计(部分)被遮挡对象的分割边界,当只考虑单个帧时,这些边界本身是模糊的。在这项工作中,我们提出了多假设分割跟踪(MST),体积分割在不断变化的场景,它允许场景的模糊性进行跟踪和我们的估计,随着时间的推移,我们与场景的互动进行调整的一种新方法。两个主要的创新使我们能够解决这个难题:1)一种从分割树中采样可能分割的新方法; 2)一种将跟踪结果与多个分割估计融合的新方法。这些方法允许MST随时间跟踪分割状态并包含新信息,例如正在显示的新对象。我们评估我们的方法在模拟和现实中的几个杂乱的桌面环境。我们的研究结果表明,MST优于基线在所有测试场景。
2021-04-01 cs.CV cs.RO
Cell Segmentation and Tracking using CNN-Based Distance Predictions and a Graph-Based Matching Strategy
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
显微图像序列中细胞的精确分割和跟踪是生物医学研究中的一项重要任务,例如,用于研究组织、器官或整个生物体的发育。然而,在低信噪比的图像中分割接触细胞仍然是一个具有挑战性的问题。本文提出了一种显微图像中粘连细胞的分割方法。通过使用受距离图启发的细胞边界的新表示,我们的方法不仅能够在训练过程中利用接触细胞,还能够利用闭合细胞。此外,这种表示是非常强大的注释错误,并显示出有前途的结果分割的显微图像中包含的训练数据代表不足或不包括细胞类型。对于所提出的邻居距离的预测,使用具有两个解码器路径的自适应U-Net卷积神经网络(CNN)。此外,我们采用基于图的细胞跟踪算法来评估我们提出的方法对细胞跟踪的任务。适应的跟踪算法包括成本函数中的运动估计,以在短帧序列上重新链接具有缺失分割掩码的轨迹。我们通过检测方法进行的组合跟踪已经在IEEE ISBI 2020细胞跟踪挑战赛(http://celltrackingchallenge.net/)中证明了其潜力,在该挑战赛中,我们作为KIT-Sch-GE团队使用单个分割模型为不同的数据集实现了多个前三名的排名,其中包括两个顶级性能。
2020-10-22 cs.CV
RASNet: Segmentation for Tracking Surgical Instruments in Surgical Videos Using Refined Attention Segmentation Network
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);CAS Center for Excellence in Brain Science and Intelligence Technology(中国科学院脑科学与智能技术卓越创新中心)
分割手术器械跟踪在机器人辅助手术中起着重要的作用。手术器械的分割有助于捕获用于跟踪的准确空间信息。本文提出了一种新的网络,精细注意分割网络,同时分割手术器械,并确定其类别。采用了分割中常用的U型网络。与以往工作不同的是,采用了一个注意力模块来帮助网络集中在关键区域,这可以提高分割精度。为了解决类不平衡问题,交叉熵损失和Jaccard指数的对数的加权和被用作损失函数。此外,我们的网络采用了迁移学习。编码器在ImageNet上进行了预训练。MICCAI EndoVis Challenge 2017的数据集用于评估我们的网络。基于这个数据集,我们的网络实现了最先进的性能,平均Dice为94.65%,平均IOU为90.33%。
2019-09-19 cs.CV
Fast Online Object Tracking and Segmentation: A Unifying Approach
CASIA(中国科学院自动化研究所);University of Oxford(牛津大学);FiveAI
在本文中,我们说明了如何执行视觉对象跟踪和半监督视频对象分割,在实时,一个简单的方法。我们的方法被称为SiamMask,通过使用二进制分割任务增加其损失,改进了用于对象跟踪的流行全卷积Siamese方法的离线训练过程。一旦经过训练,SiamMask仅依赖于单个限界框初始化并在线运行,以每秒55帧的速度生成与类别无关的对象分割掩码和旋转边界框。尽管其简单性,多功能性和快速性,我们的策略使我们能够在VOT-2018上建立实时跟踪器的新技术水平,同时在DAVIS-2016和DAVIS-2017上展示半监督视频对象分割任务的竞争力和最佳速度。该项目的网站是http://www.robots.ox.ac.uk/~qwang/SiamMask。
2019-05-05 cs.CV
Weakly Supervised Multi-Object Tracking and Segmentation
Computer Vision Center, UAB(巴塞罗那自治大学计算机视觉中心);Facebook(脸书)
本文提出了弱监督多目标跟踪与分割问题,即联合弱监督实例分割和多目标跟踪,其中不提供任何类型的模板标注。为了解决这个问题,我们设计了一种新的协同训练策略,利用多任务学习,即分类和跟踪任务指导训练的无监督实例分割。为此,我们提取Grad-CAM热图提供的弱前景定位信息,以生成部分地面实况以供学习。此外,RGB图像级信息被用来细化对象边缘处的掩模预测。我们在KITTI MOTS上评估了我们的方法,这是这项任务最具代表性的基准,将完全监督和弱监督方法之间的MOTSP指标的性能差距分别缩小到12%和12.7%。
2021-01-03 cs.CV
Advancing Complex Video Object Segmentation via Tracking-Enhanced Prompt: The 1st Winner for 5th PVUW MOSE Challenge
Harbin Institute of Technology, Shenzhen, China(哈尔滨工业大学(深圳));Shenzhen Loop Area Institute, China(深圳市环区研究所)
本文提出TEP方法,通过跟踪增强提示解决SAM3在处理小目标和语义主导对象时的不足,取得PVUW挑战赛优异成绩。
2026-04-01 cs.CV
Multi-appearance Segmentation and Extended 0-1 Program for Dense Small Object Tracking
Nanjing University of Science and Technology(南京理工大学)
针对密集小目标在集群背景下的快速多目标跟踪问题,研究了考虑批量优化的面向轨迹的多假设跟踪算法(TOMHT)。采用基于自相关的运动评分检验和阶段性假设合并方法,建立了相应的假设生成和管理方法。提出了一种新的一对多约束,并将其应用于复杂遮挡情况下的航迹排除问题。此外,为了达到更好的效果,我们开发了一种多外观分割检测,它利用树状拓扑信息,并实现了一个目标的一个阈值。实验结果验证了我们的方法的强度,表明我们的跟踪器的速度和性能的优势。
2017-12-14 cs.CV
PointTrack++ for Effective Online Multi-Object Tracking and Segmentation
University of Science and Technology of China(中国科学技术大学);Baidu Inc.(百度公司)
多目标跟踪与分割(MOTS)是一种新型的计算机视觉任务,旨在联合执行多目标跟踪(MOT)和实例分割。在这项工作中,我们提出了PointTrack++,一个有效的在线框架MOTS,显着扩展了我们最近提出的PointTrack框架。首先,PointTrack采用一个有效的一阶段框架进行实例分割,并通过将紧凑的图像表示转换为无序的2D点云来学习实例嵌入。与PointTrack相比,我们提出的PointTrack++提供了三个主要的改进。首先,在实例分割阶段,我们采用焦点损失训练的语义分割解码器来提高实例选择的质量。其次,为了进一步提高分割性能,我们提出了一种数据增强策略,通过复制和粘贴实例到训练图像。最后,我们在实例关联阶段引入了一种更好的训练策略,以提高学习到的实例嵌入的可识别性。由此产生的框架在第五届BMTT MOTChallenge上实现了最先进的性能。
2020-07-03 cs.CV
Joint Multi-Leaf Segmentation, Alignment and Tracking from Fluorescence Plant Videos
提出了一种新的荧光植物视频处理框架。植物研究界对植物叶片水平的光合作用分析很感兴趣。这种分析的先决条件是分割所有叶子,估计它们的结构,并随时间跟踪它们。我们确定这是一个联合多叶分割,对齐和跟踪问题。首先,对植物视频的最后一帧应用叶分割和对齐,以找到许多对齐良好的叶候选者。第二,叶跟踪应用于剩余的帧与叶候选变换从前一帧。我们形成了两个优化问题,在其目标函数的叶对齐和跟踪分别共享条款。一个定量的评估框架,制定评估我们的算法的性能与四个指标。通过学习两个模型,分别预测对准精度和检测跟踪失败,为后续的植物生物学分析提供指导。本文还研究了算法的局限性。实验结果表明了该方法的有效性、高效性和鲁棒性。
2017-05-09 cs.CV
Instance Segmentation GNNs for One-Shot Conformal Tracking at the LHC
Princeton Institute for Computational Science and Engineering(普林斯顿计算科学与工程研究所);Princeton University(普林斯顿大学);Department of Physics(物理系)
三维实例分割一直是计算机视觉中一个具有挑战性的问题。在对撞机(如LHC)上的粒子跟踪可以被概念化为一个实例分割任务:从粒子检测器中的点云开始,算法必须识别哪些命中属于单个粒子轨迹并提取轨迹属性。图神经网络(GNN)在标准实例分割任务上表现出了良好的性能。在这项工作中,我们证明了实例分割GNN架构对粒子跟踪的适用性;此外,我们重新想象了传统的笛卡尔空间寻迹方法,而是在保形几何中工作,允许GNN在Single Shot中识别轨迹并提取参数。
2021-03-11 cs.CV hep-ex
360VOTS: Visual Object Tracking and Segmentation in Omnidirectional Videos
Division of Integrative Systems and Design(整合系统与设计系);Department of Computer Science and Engineering(计算机科学与工程系);Hong Kong University of Science and Technology(香港科学与技术大学)
针对360°图像宽视场和球面畸变带来的跟踪分割难题,提出eBFoV表示和通用360跟踪框架,并构建含290序列的360VOS数据集与基准,实验验证其有效性。
2025-06-20 cs.CV
Instance Segmentation and Tracking with Cosine Embeddings and Recurrent Hourglass Networks
Graz University of Technology(格拉茨工业大学);Ludwig Boltzmann Institute for Clinical Forensic Imaging(路德维希·玻尔兹曼临床法医成像研究所);BioTechMed-Graz(格拉茨生物医学技术中心)
与语义分割不同,实例分割为同一类的每个实例分配唯一的标签。在这项工作中,我们提出了一种新的经常性的全卷积网络架构,用于跟踪这种实例分割随着时间的推移。该网络架构将卷积门控递归单元(ConvGRU)集成到堆栈沙漏网络中,以利用时间视频信息。此外,我们还训练了一种基于余弦相似性的新型嵌入损失网络,这样网络就可以为整个视频中的每个实例预测唯一的嵌入。然后,这些嵌入在后续视频帧中被聚类以创建最终跟踪的实例分割。我们通过分割心脏MR视频中的左心室来评估复发性沙漏网络,它优于不包含视频信息的网络。此外,我们证明了余弦嵌入损失的适用性分割叶实例上的静止图像的植物。最后,我们评估的框架实例分割和跟踪六个数据集的ISBI细胞跟踪的挑战,它显示了国家的最先进的性能。
2018-07-30 cs.CV
Fast Video Object Segmentation With Temporal Aggregation Network and Dynamic Template Matching
The Hong Kong University of Science and Technology(香港科技大学);Tencent(腾讯)
视频对象分割(VOS)是视频对象跟踪的最高层次,已经取得了重大进展。虽然VOS任务可以自然地解耦为图像语义分割和视频对象跟踪,但在分割方面的研究工作要比跟踪多得多。在本文中,我们引入“跟踪检测”到VOS可以连贯地集成分割跟踪,提出了一种新的时间聚合网络和一种新的动态时间演化模板匹配机制,以实现显着提高性能。值得注意的是,我们的方法是完全在线的,因此适合一次性学习,我们的端到端可训练模型允许在一次向前传递中进行多个对象分割。我们在DAVIS基准测试中实现了最先进的性能,在速度和准确性方面都没有复杂的花里胡哨,每帧速度为0.14秒,J&F测量值分别为75.9%。
2020-07-11 cs.CV
Self-supervised Video Object Segmentation
Fudan University(复旦大学);University of Oxford(牛津大学);West Virginia University(西弗吉尼亚大学)
本文的目标是自监督的表示学习,目标是解决半监督视频对象分割(a.k.a.密集跟踪)。本文的主要贡献如下:(1)改进了现有的自监督匹配方法,提出了一种简单有效的长时匹配记忆机制,解决了对象消失和再现带来的挑战;(ii)通过用在线自适应模块增强自监督方法,我们的方法成功地消除了由时空不连续性引起的跟踪器漂移,例如,遮挡或不遮挡,快速运动;(iii)我们探索了自监督表示学习用于密集跟踪的效率,令人惊讶的是,我们证明了一个强大的跟踪模型可以用少至100个原始视频剪辑来训练(相当于11分钟的持续时间),表明低级别的统计数据已经对跟踪任务有效;(iv)我们在DAVIS-2017和YouTube-VOS上展示了自监督方法的最新结果,并超越了使用数百万手动分割注释训练的大多数方法,进一步弥合了自监督学习和监督学习之间的差距。发布代码以促进任何进一步的研究(https://github.com/fangruizhu/self_sup_semiVOS)。
2020-06-22 cs.CV cs.LG
BoLTVOS: Box-Level Tracking for Video Object Segmentation
RWTH Aachen University(亚琛工业大学)
我们的方法视频对象分割(VOS)的任务分为两个子任务:限界框水平跟踪,其次是限界框分割。遵循这种范式,我们提出了BoLTVOS(VOS的框级跟踪),它由一个R-CNN检测器,条件是第一帧限界框检测感兴趣的对象,时间一致性重新评分算法,以及将边界框转换为分割掩码的Box 2Seg网络。BoLTVOS仅使用第一帧限界框而不使用掩码来执行VOS。我们在DAVIS 2017和YouTube-VOS上评估了我们的方法,并表明它优于所有不执行第一帧微调的方法。我们进一步提出了BoLTVOS-ft,它学习使用第一帧掩码在跟踪时分割有问题的对象,而不增加运行时间。BoLTVOS-ft的性能优于PReMVOS,后者是DAVIS 2016和YouTube-VOS上之前性能最好的VOS方法,同时运行速度快了45倍。我们的限界框跟踪器在限界框级跟踪数据集OTB 2015和LTB 35上的性能也优于所有以前的短期和长期跟踪器。这个作品的更新版本可以在arXiv:1911.12836找到。
2019-12-29 cs.CV
Video Object Segmentation and Tracking: A Survey
China University of Mining and Technology(中国矿业大学);Nanyang Technological University(南洋理工大学)
目标分割和跟踪是计算机视觉领域的基础研究领域。这两个主题很难处理一些常见的挑战,如遮挡,变形,运动模糊和尺度变化。前者包括异质对象、交互对象、边缘模糊性和形状复杂性。而后者在处理快速运动、视野外和实时处理方面存在困难。将视频对象分割和跟踪(VOST)这两个问题结合起来,可以克服各自的困难,提高其性能。VOST可广泛应用于视频摘要、高清视频压缩、人机交互、自动驾驶汽车等实际应用中。本文旨在提供一个全面的审查国家的最先进的跟踪方法,并将这些方法分为不同的类别,并确定新的趋势。首先,我们提供了一个分层分类现有的方法,包括无监督的VOS,半监督的VOS,交互式VOS,弱监督的VOS,和基于分割的跟踪方法。其次,我们提供了一个详细的讨论和概述的技术特点的不同方法。第三,总结了相关视频数据集的特点,并给出了各种评价指标。最后,我们指出了一组有趣的未来工作,并得出我们自己的结论。
2019-04-26 cs.CV
Fully Convolutional Neural Networks for Raw Eye Tracking Data Segmentation, Generation, and Reconstruction
Eberhard Karls University Tübingen(图宾根埃伯哈德·卡尔斯大学)
在本文中,我们使用完全卷积神经网络的眼动追踪数据的语义分割。我们还使用这些网络进行重建,并结合变分自动编码器来生成眼动数据。我们的方法的第一个改进是不需要输入窗口,因为使用了全卷积网络,因此可以直接处理任何输入大小。第二个改进是所使用和生成的数据是未经预处理的原始眼动追踪数据(位置X、Y和时间)。这是通过预先初始化第一层中的滤波器并沿着z轴构建输入张量来实现的。我们在三个公开的数据集上评估了我们的方法,并将结果与最先进的方法进行了比较。
2021-01-17 cs.CV cs.HC cs.LG
PointIT: A Fast Tracking Framework Based on 3D Instance Segmentation
The Hong Kong University of Science and Technology(香港科技大学)
最近最流行的跟踪框架集中在2D图像序列。他们很少跟踪点云中的3D对象。在本文中,我们提出了PointIT,一个快速,简单的跟踪方法的基础上三维道路上的实例分割。首先,我们将3D LiDAR数据转换为尺寸为64 x 512 x 4的球形图像,并将其送入实例片段模型,以获得每个类的预测实例掩码。然后,我们使用MobileNet作为我们的主要编码器,而不是原来的ResNet,以减少计算复杂性。最后,利用该实例框架对排序算法进行了扩展,实现了三维LiDAR点云数据的跟踪。该模型是在球形图像数据集上训练的,具有由KITTI 3D Object Track数据集提供的相应实例标签掩码。实验结果表明,该网络的平均跟踪精度(AP)达到0.617,多目标跟踪性能也得到了提高。
2019-02-18 cs.CV
ASIST: Annotation-free synthetic instance segmentation and tracking for microscope video analysis
Vanderbilt University(范德堡大学);Tufts University(塔夫茨大学)
实例对象分割和跟踪提供跨显微镜视频的对象的全面量化。最近的单阶段基于像素嵌入的深度学习方法已经显示出与“分段然后关联”的两阶段解决方案相比的优越性能。然而,将基于监督像素嵌入的方法应用于显微镜视频的一个主要限制是资源密集型手动标记,其涉及跟踪数百个重叠对象及其跨视频帧的时间关联。受最近基于生成对抗网络(GAN)的无注释图像分割的启发,我们提出了一种新的无注释合成实例分割和跟踪(ASIST)算法,用于分析亚细胞微绒毛的显微镜视频。本文的贡献主要体现在三个方面:(1)提出了一种新的无注释视频分析范式。(2)将基于嵌入的实例分割和跟踪与无注释的合成学习聚合为一个整体框架;(3)据我们所知,这是第一次研究使用基于嵌入的深度学习来研究微绒毛实例分割和跟踪。从实验结果来看,与监督学习相比,所提出的无注释方法取得了更好的性能。
2020-11-02 cs.CV eess.IV
SAM2MOT: A Novel Paradigm of Multi-Object Tracking by Segmentation
受SAM2启发,提出分割驱动的SAM2MOT多目标跟踪范式,突破传统检测-关联框架,将分割置于核心以解决假阳性和遮挡问题,集成预训练模型形成零样本系统,在主流基准上取得SOTA结果,降低对标注数据的依赖。
2025-11-18 cs.CV
Object Segmentation Tracking from Generic Video Cues
Data and Web Science Group, University of Mannheim(曼海姆大学数据与网络科学组);Fraunhofer ITWM, Competence Center HPC(弗劳恩霍夫工业数学研究所高性能计算能力中心);Fraunhofer Center Machine Learning(弗劳恩霍夫机器学习中心);Mathematical Image Analysis Group, Saarland University(萨尔大学数学图像分析组)
我们提出了一个轻量级的变分框架,用于基于光流和图像边界的视频对象分割的在线跟踪。虽然这项任务的高端计算机视觉方法依赖于专用CNN架构的序列特定训练,但我们展示了基于运动和颜色的通用视频信息的变分模型的潜力。这些线索通常需要的任务,如机器人导航或把握估计。我们直接利用它们进行视频对象分割,从而以潜在的非常低的额外成本提供准确的分割。我们简单的方法可以提供有竞争力的结果相比,昂贵的基于CNN的方法与参数调整。此外,我们表明,我们的方法可以与最先进的基于CNN的分割相结合,以改善各自的结果。我们在数据集DAVIS 16,17和SegTrack v2上评估了我们的方法。
2020-08-14 cs.CV
Tracking Anything with Decoupled Video Segmentation
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Adobe Research(Adobe研究院)
提出解耦视频分割方法DEVA,通过结合图像级分割与通用双向时间传播模型,在数据稀缺任务中实现高效且泛化的“追踪任何事物”。
2023-09-07 cs.CV
Patch-based adaptive weighting with segmentation and scale (PAWSS) for visual tracking
Surgical Vision Group, University College London(伦敦大学学院外科视觉组);Deliveroo
检测跟踪算法广泛用于视觉跟踪,其中问题被视为分类任务,其中使用在线学习技术随时间更新对象模型。在对象经历变形或尺度变化的挑战性条件下,更新步骤易于在模型外观中包括背景信息或缺乏估计尺度变化的能力,这降低了分类器的性能。在本文中,我们将采用基于补丁的自适应加权分割和规模(PAWSS)跟踪框架,解决规模和背景的问题。一个简单但有效的基于颜色的分割模型被用来抑制背景信息,并提取多尺度样本来丰富训练池,这使得跟踪器能够处理帧之间的增量和突然的尺度变化。实验上,我们评估我们的方法上的在线跟踪基准(OTB)数据集和视觉对象跟踪(VOT)挑战数据集。结果表明,我们的方法优于最近的国家的最先进的跟踪器,它特别是提高了成功率分数上的OTB数据集,而在VOT数据集,PAWSS排名前列的跟踪器,同时在实时帧速率操作。
2017-08-03 cs.CV
Learning a Fast 3D Spectral Approach to Object Segmentation and Tracking over Space and Time
Bitdefender(比特梵德);University of Bucharest(布加勒斯特大学);Institute of Mathematics of the Romanian Academy(罗马尼亚科学院数学研究所);Politehnica University of Bucharest(布加勒斯特理工大学)
我们提出视频对象分割的频谱图聚类的空间和时间,与一个图节点的每个像素和边缘形成局部时空邻域。我们声称,在这个视频图中最强的集群代表的显着对象。我们首先介绍了一种新的和有效的方法,基于3D过滤近似的谱解,作为图的邻接矩阵的主特征向量,而不显式地建立矩阵。这个关键属性使我们能够在GPU上快速并行实现,比计算特征向量的经典方法快几个数量级。我们的动机频谱时空聚类方法,独特的视频语义分割文献,是这样的聚类是专门保留对象的一致性随着时间的推移,我们使用我们的新的分割一致性措施进行评估。进一步,我们展示了如何在多个输入特征通道上有效地学习解决方案。最后,我们扩展制定我们的方法超出了分割任务,到领域的对象跟踪。在广泛的实验中,我们展示了对顶级方法的显着改进,以及将它们组合在一起的强大集成,在跟踪和分割的多个基准上实现了最先进的水平。
2022-12-15 cs.CV
Temporal extrapolation of heart wall segmentation in cardiac magnetic resonance images via pixel tracking
University of Glasgow(格拉斯哥大学);University of Leeds(利兹大学)
在这项研究中,我们已经定制了一个像素跟踪方法的时间外推的心室分割掩模在心脏磁共振图像。像素跟踪过程从心脏周期的舒张末期帧开始,使用可用的手动分割图像来预测收缩末期分割掩模。超像素方法用于将原始图像划分为较小的单元,并且在每个时间帧中,将新的标签分配给图像单元,这导致跟踪心脏壁元素通过不同帧的移动。将收缩末期的跟踪掩模与已经可用的手动分割掩模进行比较,发现骰子分数在0.81至0.84之间。考虑到所提出的方法不一定需要训练数据集,在训练数据有限的情况下,它可能是深度学习分割方法的一种有吸引力的替代方法。
2022-07-30 cs.CV eess.IV
UGO: Unified Architecture for General Multi-Object Tracking by Segmentation
University of Ljubljana(卢布尔雅那大学)
UGO提出统一分割架构,结合示例条件检测与实例传播头,通过能量最小化整合和分层记忆,在GMOT基准和视频计数上达到新最优,并可与专业MOT方法竞争。
2026-09-30 cs.CV
DistNet: Deep Tracking by displacement regression: application to bacteria growing in the Mother Machine
Laboratoire Jean-Perrin UMR 8237, Sorbonne Université(索邦大学让-佩兰实验室);SABILAb;CMAP, Ecole Polytechnique, Université Paris-Saclay(巴黎萨克雷大学综合理工学院应用数学中心);Heuritech
母机是一种流行的微流体设备,可以通过显微镜对数千个细胞进行长期的延时成像。它已成为单细胞水平定量分析和表征许多细胞过程,如基因表达和调控,诱变或对抗生素的反应的有价值的工具。对这些实验产生的大量数据进行自动化和定量分析现在是限制性的一步。特别是相衬显微镜成像的细菌细胞的分割和跟踪--与高通量数据兼容的错误率--是一个具有挑战性的问题。在这项工作中,我们描述了一种新的配方的多目标跟踪问题,其中跟踪是通过回归的细菌的位移,允许同时跟踪多个细菌,尽管他们的生长和分裂随着时间的推移。我们的方法执行联合分割和跟踪,利用顺序信息,以提高分割精度。我们引入了一个深度神经网络架构,利用自注意机制,产生极低的跟踪错误率和分割错误率。与最先进的方法相比,我们展示了卓越的性能和速度。我们的方法被命名为DistNet,代表DISTance+Displacement Segmentation and Tracking Network。虽然这种方法是特别适合于母机显微镜数据,其一般的联合跟踪和分割配方可以应用于许多其他问题与不同的几何形状。
2020-09-19 cs.CV cs.LG eess.IV
Post-Hoc MOTS: Exploring the Capabilities of Time-Symmetric Multi-Object Tracking
ITK, PPCU(PPCU信息技术学院)
本研究针对此前仅在视频显微镜场景评估的时间对称MOTS架构,拓展至行人跟踪等场景测试其泛用能力,通过消融实验对比其与受限变体、卡尔曼滤波器的性能,并开展预训练与非预训练模型的注意力分析。
2024-12-11 cs.CV cs.LG
BURST: A Benchmark for Unifying Object Recognition, Segmentation and Tracking in Video
RWTH Aachen University(亚琛工业大学);Carnegie Mellon University(卡内基梅隆大学);Google(谷歌);Amazon(亚马逊)
多个现有的基准涉及跟踪和分割视频中的对象,视频对象分割(VOS)和多对象跟踪和分割(MOTS),但由于使用不同的基准数据集和指标(例如J&F,mAP,sMOTSA),它们之间几乎没有交互。因此,出版的作品通常针对特定的基准,并且不容易相互比较。我们认为,开发能够处理多种任务的通用方法需要这些研究子社区之间更大的凝聚力。在本文中,我们的目标是通过提出BURST来促进这一点,BURST是一个包含数千个具有高质量对象掩码的不同视频的数据集,以及一个相关的基准测试,其中包含六个涉及视频中对象跟踪和分割的任务。所有任务都使用相同的数据和可比指标进行评估,这使研究人员能够统一考虑它们,从而更有效地将不同方法的知识汇集到不同任务中。此外,我们展示了所有任务的几个基线,并表明一个任务的方法可以应用于另一个可量化和可解释的性能差异。数据集注释和评估代码可在https://github.com/Ali2500/BURST-benchmark上获得。
2022-11-22 cs.CV
HOIST-Former: Hand-held Objects Identification, Segmentation, and Tracking in the Wild
Stony Brook University(石溪大学);VinAI Research(VinAI研究院)
针对手持物体因遮挡和短暂性难以识别、分割与跟踪的问题,提出基于transformer的HOIST-Former架构,利用手与物体特征迭代汇聚和接触损失进行优化,并构建包含4,125个视频的HOIST数据集,有效提升了分割与跟踪性能。
2024-04-22 cs.CV
Robust Multi-body Feature Tracker: A Segmentation-free Approach
ANU(澳大利亚国立大学);EPFL(洛桑联邦理工学院)
特征跟踪是计算机视觉中的一个基本问题,在许多计算机视觉任务中有应用,例如视觉SLAM和动作识别。本文介绍了一种新的多体特征跟踪器,利用多体刚性假设,以提高跟踪鲁棒性下的一般透视相机模型。解决这个问题的传统方法将包括在解决两个子任务之间交替:运动分割和每个段的刚性约束下的特征跟踪。然而,这种方法需要知道运动的数量,以及将点分配给运动组,这通常对运动估计敏感。相比之下,在这里,我们引入了一个无分割的多体特征跟踪解决方案,绕过了运动分配步骤,并减少到解决一系列具有封闭形式的解决方案的子问题。我们的实验证明了我们的方法在跟踪精度和对噪声的鲁棒性方面的好处。
2016-03-15 cs.CV
Joint Multi-frame Detection and Segmentation for Multi-cell Tracking
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳))
由于细胞形态和细胞之间的高度相似性,在视频序列中跟踪活细胞是困难的。检测跟踪方法广泛应用于多小区跟踪。基于细胞质心检测进行多细胞跟踪,检测器的性能对跟踪性能有很大影响。本文利用UNet提取细胞的帧间和帧内时空信息。通过多帧输入,提高了有丝分裂期细胞的检测性能。良好的检测结果有利于多小区跟踪。提出了一种有丝分裂检测算法,检测细胞有丝分裂,建立细胞谱系。另一个UNet用于获取初级分割。联合使用检测和初级分割,可以在高密度细胞群中对细胞进行精细分割。实验结果表明了该方法的有效性。
2019-06-26 cs.CV cs.GR eess.IV
Hand Segmentation and Fingertip Tracking from Depth Camera Images Using Deep Convolutional Neural Network and Multi-task SegNet
Chonnam National University(全南国立大学);Chosun University(朝鲜大学)
在基于手势的人机交互系统中,手部分割和指尖检测起着不可或缺的作用。在这项研究中,我们提出了一种方法来区分手的组成部分,并在RGB-D图像中定位指尖。该系统由三个主要步骤组成:使用RGB图像进行手部检测,提供被认为是有前途的区域进行进一步处理,手部分割,以及使用深度图像和我们修改后的SegNet进行指尖检测,SegNet是一个轻量级架构,可以同时处理两个独立的任务。实验结果表明,我们的系统是一个很有前途的方法,手分割和指尖检测,实现了相当的性能,而模型复杂度是适合实时应用。
2020-03-11 cs.CV
MAS for video objects segmentation and tracking based on active contours and SURF descriptor
National Engineering School of Sfax (ENIS)(斯法克斯国家工程学院);University of Sfax(斯法克斯大学)
在计算机视觉中,视频分割和跟踪是一个重要的挑战性问题。本文提出了一种基于MAS多智能体系统和SURF加速鲁棒特征的视频序列分割和跟踪算法。我们的方法包括在建模的多智能体系统分割的第一个图像从视频序列和跟踪对象的视频序列。所使用的代理是监督者和探索者代理,他们之间进行通信,并从活动轮廓方法中激发他们的行为。对象的跟踪是基于SURF描述符“加速鲁棒特征”。我们使用DIMA平台和“API Ateji PX”(Java语言的扩展,以促进异构体系结构上的并行编程)来实现该算法。实验结果表明,该算法比以往的方法具有更好的鲁棒性和更快的速度。
2013-08-01 cs.CV cs.MM
An Efficient Approach for Muscle Segmentation and 3D Reconstruction Using Keypoint Tracking in MRI Scan
Northeastern University, San Jose, USA(东北大学,旧金山,美国)
针对MRI肌肉自动分割计算成本高、依赖大量训练数据且小肌肉分割精度低的问题,提出一种结合关键点选择与Lucas-Kanade光流的无训练分割方法,在保持与CNN模型相当性能的同时大幅降低计算需求并提升可解释性。
2025-07-11 cs.CV
D3S -- A Discriminative Single Shot Segmentation Tracker
Faculty of Computer and Information Science, University of Ljubljana(卢布尔雅那大学计算机与信息科学学院);Faculty of Electrical Engineering, Czech Technical University in Prague(布拉格捷克理工大学电气工程学院)
基于模板的判别式跟踪器由于其鲁棒性而成为当前占主导地位的跟踪范例,但其局限于限界框跟踪和有限范围的变换模型,这降低了其定位精度。本文提出了一种判别式单镜头分割跟踪器D3 S,它缩小了视觉对象跟踪和视频对象分割之间的差距。单次网络应用具有互补几何特性的两个目标模型,一个对广泛的变换(包括非刚性变形)不变,另一个假设刚性对象以同时实现高鲁棒性和在线目标分割。D3 S没有对每个数据集进行微调,并且只对分割进行训练作为主要输出,在VOT 2016,VOT 2018和GOT-10 k基准测试中表现优于所有跟踪器,并且在TrackingNet上的表现接近最先进的跟踪器。D3 S在视频对象分割基准测试中的表现优于领先的分割跟踪器SiamMask,并与顶级视频对象分割算法不相上下,同时运行速度更快一个数量级,接近实时。
2020-04-14 cs.CV