AlphaPose: Whole-Body Regional Multi-Person Pose Estimation and Tracking in Real-Time
Shanghai Jiao Tong University(上海交通大学)
精确的多人全身姿态估计和跟踪是计算机视觉中一个重要而又具有挑战性的课题。为了捕捉人类的细微动作以进行复杂的行为分析,包括面部、身体、手和脚的全身姿态估计比传统的仅身体姿态估计是必不可少的。在本文中,我们介绍了AlphaPose,这是一个可以在实时运行时联合执行准确的全身姿势估计和跟踪的系统。为此,我们提出了几种新技术:用于快速和精细定位的对称积分关键点回归(SIKR),用于消除冗余人体检测的参数姿态非最大值抑制(P-NMS)和用于联合姿态估计和跟踪的姿态感知身份嵌入。在训练过程中,我们采用部分引导的建议生成器(PPG)和多领域的知识蒸馏,以进一步提高准确性。我们的方法能够准确地定位全身关键点,并在不准确的边界框和冗余检测的情况下同时跟踪人类。我们在COCO-全身,COCO,PoseTrack和我们提出的Halpe-FullBody姿势估计数据集上的速度和准确性方面都比当前最先进的方法有了显着的改进。我们的模型,源代码和数据集在https://github.com/MVIG-SJTU/AlphaPose上公开提供。
2022-11-07 cs.CV
The Multi-Agent Behavior Dataset: Mouse Dyadic Social Interactions
Caltech(加州理工学院);AICrowd Research(AICrowd研究院);Freie Universität Berlin(柏林自由大学);OPPO Research Institute(OPPO研究院);Northwestern University(西北大学)
多智能体行为建模旨在理解智能体之间发生的交互。我们提出了一个来自行为神经科学的多智能体数据集,加州理工学院小鼠社会互动(CalMS21)数据集。我们的数据集由社会互动的轨迹数据组成,这些数据记录自标准居民入侵者测定中自由行为小鼠的视频。为了帮助加速行为研究,CalMS 21数据集提供了基准来评估自动行为分类方法在三种设置中的性能:(1)用于在所有由单个注释器注释的大型行为数据集上进行训练,(2)用于风格转移以学习行为定义中的注释器间差异,以及(3)用于在有限的训练数据下学习感兴趣的新行为。该数据集包括600万帧未标记的相互作用小鼠的跟踪姿势,以及超过100万帧的跟踪姿势和相应的帧级行为注释。我们的数据集的挑战是能够使用标记和未标记的跟踪数据准确地对行为进行分类,以及能够推广到新的设置。
2021-11-18 cs.CV cs.LG
Correlation Tracking via Robust Region Proposals
Beijing Institute of Technology(北京理工大学)
最近,基于相关滤波器的跟踪器由于其简单性和优越的速度而受到广泛关注。然而,当目标由于预定义的采样策略而经历遮挡、视点改变或其他具有挑战性的属性时,这样的跟踪器表现不佳。为了解决这些问题,在本文中,我们提出了一种自适应区域建议方案来促进视觉跟踪。更具体地说,提出了一种新的跟踪监测指标来预测跟踪失败。之后,我们分别结合检测和缩放建议,以从模型漂移中恢复并处理纵横比变化。我们测试了几个具有挑战性的序列,这表明,所提出的跟踪器对国家的最先进的跟踪器表现良好的算法。
2018-06-14 cs.CV
Correlation filter tracking with adaptive proposal selection for accurate scale estimation
Xiamen University(厦门大学);School of Information Science and Engineering, Xiamen University(厦门大学信息科学与工程学院)
最近,一些基于相关滤波器的跟踪器与检测建议已经取得了最先进的跟踪结果。然而,由建议生成器给出的大量冗余建议可能会降低这些跟踪器的性能和速度。在本文中,我们提出了一个自适应的建议选择算法,可以产生少量的高质量的建议,以处理视觉对象跟踪的规模变化的问题。具体地,我们首先利用HSV颜色空间中的颜色直方图来表示实例(即,第一帧中的初始目标和前一帧中的预测目标)和建议。然后,制定了一个自适应策略的基础上的颜色相似性,以选择高质量的建议。我们进一步整合所提出的自适应建议选择算法与粗到细的深度特征,以验证所提出的跟踪器的通用性和效率。两个基准数据集上的实验表明,该算法对几个国家的最先进的跟踪器表现良好。
2020-07-14 cs.CV
Proposal, Tracking and Segmentation (PTS): A Cascaded Network for Video Object Segmentation
Huazhong University of Science and Technology(华中科技大学);Horizon Robotics(地平线机器人)
视频对象分割(VOS)的目的是在像素级的对象跟踪给定的第一帧中的注释。由于视频中对象的视觉变化大,训练样本的缺乏,尽管深度学习的发展方兴未艾,但它仍然是一项艰巨的任务。为了解决VOS问题,我们提出了由对象建议,跟踪和分割组件组成的统一框架,带来了一些新的见解。对象建议网络将对象信息作为通用知识传输到VOS中;跟踪网络从建议中识别目标对象;并且分割网络基于跟踪结果与新的基于动态参考的模型自适应方案来执行。在DAVIS'17数据集和YouTube-VOS数据集上进行了大量的实验,我们的方法在几个视频对象分割基准上达到了最先进的性能。我们在https://github.com/sydney0zq/PTSNet上公开提供代码。
2019-07-04 cs.CV
Learning a Proposal Classifier for Multiple Object Tracking
Tsinghua University(清华大学);Aibee Inc(爱笔公司)
多目标跟踪(MOT)的最新趋势是利用深度学习来提高跟踪性能。然而,以端到端的方式解决数据关联问题并非易事。在本文中,我们提出了一种新的基于提案的可学习框架,模型MOT作为一个建议的生成,建议评分和轨迹推理范式上的亲和图。该框架类似于两阶段对象检测器Faster RCNN,可以以数据驱动的方式解决MOT问题。对于建议生成,我们提出了一个迭代图聚类方法,以减少计算成本,同时保持所生成的建议的质量。对于提案评分,我们部署了一个可训练的图卷积网络(GCN)来学习生成的提案的结构模式,并根据估计的质量分数对其进行排名。对于轨迹推断,采用简单的去重叠策略来生成跟踪输出,同时遵守不能将检测分配给多个轨迹的约束。我们的实验表明,所提出的方法实现了明显的性能改善,在MOTA和IDF1相对于以前的国家的最先进的两个公共基准。我们的代码可在https://github.com/daip13/LPC_MOT.git上获得。
2021-03-26 cs.CV
A New Target-specific Object Proposal Generation Method for Visual Tracking
Xiamen University(厦门大学);Academia Sinica(中央研究院);Beihang University(北京航空航天大学)
目标建议生成方法已广泛应用于许多计算机视觉任务中。然而,现有的对象提议生成方法经常遭受运动模糊、低对比度、变形等问题,当它们应用于视频相关任务时。在本文中,我们提出了一个有效的和高度准确的目标特定的对象建议生成(TOPG)的方法,它充分利用视频的上下文信息,以减轻这些问题。具体来说,我们建议通过整合两个重要的对象线索:颜色和边缘的信息,这是互补的,为不同的挑战性的环境中,在生成对象的建议的过程中,生成特定于目标的对象的建议。因此,所提出的TOPG方法的召回率显着增加。此外,我们提出了一个对象的建议排名策略,以提高排名的准确性所产生的对象的建议。在几个具有挑战性的视觉跟踪数据集上,与几种最先进的对象建议方法相比,所提出的TOPG方法产生了显着的召回增益(约高出20%-60%)。然后,我们提出的TOPG方法的视觉跟踪的任务,并提出了一个TOPG为基础的跟踪器(称为TOPGT),其中TOPG是作为一个样本选择策略,选择少量的高质量的目标候选人从生成的对象建议。由于所提出的TOPG生成的目标建议涵盖了许多硬负样本和正样本,这些目标建议不仅可以用于训练一个有效的分类器,而且还可以用作目标候选视觉跟踪。实验结果表明,TOPGT的视觉跟踪性能优于其他几种最先进的视觉跟踪器(在距离精度方面比VOT 2015挑战赛的获胜者高出约3%-11%)。
2018-03-27 cs.CV
MouseSIS: A Frames-and-Events Dataset for Space-Time Instance Segmentation of Mice
Technical University of Berlin(柏林技术大学);Science of Intelligence Excellence Cluster(智能科学卓越中心);Robotics Institute Germany(德国机器人研究所);Free University of Berlin(柏林自由大学);German Federal Institute for Risk Assessment(德国联邦风险评估研究所);Einstein Center Digital Future(爱因斯坦中心数字未来)
针对视频算法在退化条件和快速运动下的困难,提出时空实例分割新任务及MouseSIS数据集,提供对齐灰度帧与事件及小鼠实例分割标注,并验证事件数据能提升跟踪性能。
2024-09-05 cs.CV cs.LG cs.RO
Online Object Tracking with Proposal Selection
Inria Grenoble Rhône-Alpes(法国国家信息与自动化研究所格勒诺布尔-罗讷阿尔卑斯分院);Laboratoire Jean Kuntzmann(让·昆茨曼实验室);CNRS(法国国家科学研究中心);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Inria(法国国家信息与自动化研究所)
检测跟踪方法是近年来最成功的目标跟踪方法之一。他们的成功在很大程度上取决于他们最初学习的检测器模型,然后随着时间的推移进行更新。然而,在具有挑战性的条件下,物体可能会发生变化,例如,严重的旋转,这些方法被发现是缺乏的。在本文中,我们解决这个问题,制定它作为一个建议的选择任务,并作出两个贡献。第一个是引入新的建议,估计从所经历的对象的几何变换,并建立一个丰富的候选集预测对象的位置。第二个是设计一种新的选择策略,使用多个线索,即,检测分数和边缘分数从现有技术的对象边缘和运动边界计算。我们在视觉对象跟踪2014挑战赛和在线跟踪基准数据集上广泛评估了我们的方法,并显示出最佳性能。
2015-09-30 cs.CV
Efficient Bird Eye View Proposals for 3D Siamese Tracking
由于数据的稀疏性和搜索空间的密集性,在LIDAR点云中跟踪车辆是一项具有挑战性的任务。点云结构的缺乏阻碍了卷积滤波器在2D目标跟踪中的应用。此外,结构化点云是繁琐的,并意味着丢失细粒度的信息。因此,在3D空间中生成建议是昂贵且低效的。在本文中,我们利用LIDAR点云的密集和结构化鸟瞰图(BEV)表示来有效地搜索感兴趣的对象。我们使用高效的区域建议网络,并在3D中生成少量的对象建议。成功地,我们完善我们的3D对象候选人的选择,利用3D暹罗网络的相似性能力。我们调整后的三维暹罗网络形状完成,以提高其歧视能力。我们的方法尝试解决在BEV空间中的有效搜索空间和使用3D LIDAR点云的有意义的选择两者。我们表明,在BEV中的区域建议优于贝叶斯方法,如卡尔曼和粒子滤波器提供了显着的保证金的建议,这些候选人是适合的3D暹罗网络。通过端到端训练我们的方法,当只使用16个候选项时,我们在成功和精确度方面比之前的车辆跟踪基线高出12% / 18%。
2020-05-06 cs.CV
Cell Tracking via Proposal Generation and Selection
University of Oulu(奥卢大学);Aalto University(阿尔托大学)
显微成像在理解发育和疾病中的许多生物过程中起着至关重要的作用。显微镜自动化和活细胞成像方法和标记物的开发的最新进展导致捕获的图像数据量快速增长。为了有效和可靠地从这些捕获的序列中提取有用的见解,自动化细胞跟踪至关重要。这是一个具有挑战性的问题,由于在外观和形状的细胞取决于许多因素,包括成像方法,细胞的生物学特性,细胞基质组成,标记方法等,通常细胞跟踪方法需要一个序列特异性的分割方法和手动调整许多跟踪参数,这限制了它们的适用性序列以外的其他设计。在本文中,我们提出了1)一种基于深度学习的细胞提议方法,该方法提出了细胞候选及其分数,以及2)一种细胞跟踪方法,该方法使用表示不同细胞事件的边缘在图形模型中链接相邻帧中的提议,并将联合细胞检测和跟踪作为对细胞和边缘提议子集的选择。我们的方法是完全自动化的,并给予足够的训练数据,可以应用于各种各样的显微镜序列。我们评估我们的方法在多个荧光和相差显微镜序列包含各种形状和外观的细胞从ISBI细胞跟踪挑战,并表明我们的方法优于现有的细胞跟踪方法。代码可在:https://github.com/SaadUllahAkram/CellTracker
2017-05-09 cs.CV
CRACT: Cascaded Regression-Align-Classification for Robust Visual Tracking
Stony Brook University(石溪大学)
高质量的目标建议是利用区域建议网络(RPN)的视觉跟踪算法的关键。这些建议的改进,通常是通过箱回归和分类并行,已被广泛采用,以提高跟踪性能。然而,在处理复杂动态背景时,该方法仍存在一些问题。因此,出于动机,在本文中,我们介绍了一个改进的建议细化模块,级联回归对齐分类(CRAC),它产生了新的国家的最先进的性能在许多基准测试。首先,我们观察到,从框回归的偏移量可以作为建议功能细化的指导,我们设计CRAC作为一个级联的框回归,功能对齐和框分类。关键是通过对齐步骤来桥接框回归和分类,这会为建议分类带来更准确的特征,并提高鲁棒性。为了解决对象外观的变化,我们引入了一个用于框分类的识别-区分组件,该组件利用离线可靠的细粒度模板和在线丰富的背景信息来区分目标和背景。此外,我们提出了金字塔RoIAlign的好处CRAC利用本地和全球线索的建议。在推理过程中,跟踪通过对所有细化的建议进行排名并选择最佳建议来进行。在包括OTB-2015,UAV 123,NfS,VOT-2018,TrackingNet,GOT-10 k和LaSOT在内的七个基准测试中,与最先进的竞争对手相比,我们的CRACT表现出非常有希望的结果,并实时运行。
2020-11-25 cs.CV
Robust Tracking Using Region Proposal Networks
SenseTime Group Limited(商汤集团有限公司)
视觉跟踪的最新进展表明,为图像分类训练的深度卷积神经网络(CNN)可以成为区分性跟踪器的强大特征提取器。然而,由于图像分类和跟踪之间的巨大差异,额外的处理,如模型集成和特征工程必须进行桥梁的两个领域。这样的过程要么很耗时,要么很难在数据集上很好地推广。在本文中,我们发现区域建议网络(RPN)的顶层特征的内部结构可以用于鲁棒的视觉跟踪。我们发现,这种属性必须释放一个新的损失函数,同时考虑分类精度和限界框质量。在没有集成和对特征图进行任何额外处理的情况下,我们提出的方法在包括OTB50,OTB100和VOT 2016在内的几个大规模基准上取得了最先进的结果。我们将公开我们的代码。
2017-05-30 cs.CV
Tracking Randomly Moving Objects on Edge Box Proposals
Australian National University(澳大利亚国立大学);NICTA(澳大利亚国家信息通信技术卓越中心);ARC Centre of Excellence for Robotic Vision(澳大利亚研究理事会机器人视觉卓越中心)
大多数检测跟踪方法在当前帧中的预测对象位置周围采用局部搜索窗口,假设先前的位置是准确的,轨迹是平滑的,并且计算能力允许可以容纳最大速度但又足够小以减少失配的搜索半径。然而,这些可能并不总是有效的,特别是对于快速和不规则移动的对象。在这里,我们提出了一个对象跟踪器,不限于本地搜索窗口,并有能力有效地探测整个帧。我们的方法产生了少量的“高品质”的建议,一个新的实例特定的对象性措施,并评估他们对对象模型,可以通过从现有的跟踪检测方法作为核心跟踪器。在跟踪过程中,我们更新的对象模型集中在硬假阳性提供的建议,这有助于抑制干扰所造成的困难的背景杂波,并学习如何重新排名的建议,根据对象模型。由于我们大大减少了核心跟踪器评估的假设数量,我们可以使用更丰富的对象描述符和更强大的检测器。我们的方法在流行的跟踪基准上优于最新的最先进的跟踪器,并为快速移动的对象以及超低帧速率视频提供了更好的鲁棒性。
2015-11-29 cs.CV
Beyond Local Search: Tracking Objects Everywhere with Instance-Specific Proposals
Australian National University(澳大利亚国立大学);NICTA(澳大利亚国家信息与通信技术中心);ARC Centre of Excellence for Robotic Vision(澳大利亚研究理事会机器人视觉卓越中心)
大多数检测跟踪方法在当前帧中的预测对象位置周围采用局部搜索窗口,假设先前的位置是准确的,轨迹是平滑的,并且计算能力允许可以容纳最大速度但又足够小以减少失配的搜索半径。然而,这些可能并不总是有效的,特别是对于快速和不规则移动的对象。在这里,我们提出了一个对象跟踪器,不限于本地搜索窗口,并有能力有效地探测整个帧。我们的方法产生了少量的“高品质”的建议,一个新的实例特定的对象性措施,并评估他们对对象模型,可以通过从现有的跟踪检测方法作为核心跟踪器。在跟踪过程中,我们更新的对象模型集中在硬假阳性提供的建议,这有助于抑制干扰所造成的困难的背景杂波,并学习如何重新排名的建议,根据对象模型。由于我们大大减少了核心跟踪器评估的假设数量,我们可以使用更丰富的对象描述符和更强大的检测器。我们的方法在流行的跟踪基准上优于最新的最先进的跟踪器,并为快速移动的对象以及超低帧速率视频提供了更好的鲁棒性。
2016-05-06 cs.CV
Siamese Anchor Proposal Network for High-Speed Aerial Tracking
Tongji University(同济大学);New York University(纽约大学)
在视觉跟踪领域,大多数基于深度学习的跟踪器都强调准确性,但忽略了效率。因此,它们在移动平台(如无人机(UAV))上的实际部署受到阻碍。在这项工作中,提出了一种新的两阶段暹罗网络为基础的方法,空中跟踪,\textit{i.e.},阶段1的高质量的锚建议的产生,阶段2细化锚建议。与基于锚点的方法具有许多预定义的固定大小的锚点不同,我们的无先验方法可以:1)根据自适应锚点生成,在复杂场景下提高对不同大小的不同对象的鲁棒性和泛化能力,特别是对小的,遮挡的和快速移动的对象,2)由于锚点数量的大幅减少,使计算变得可行。此外,与无锚方法相比,我们的框架由于在第2阶段的细化而具有更好的性能。在三个基准上的综合实验证明了我们的方法的优越性能,速度约为200帧/秒。
2021-07-30 cs.CV
Object-Adaptive LSTM Network for Real-time Visual Tracking with Adversarial Data Augmentation
Xiamen University(厦门大学);Tsinghua University(清华大学);Xiamen University of Technology(厦门理工学院);Queen’s University Belfast(贝尔法斯特女王大学)
近年来,由于卷积神经网络(CNN)强大的特征表示能力,基于深度学习的视觉跟踪方法取得了巨大的成功。在这些方法中,基于分类的跟踪方法表现出优异的性能,但它们的速度受到大规模建议特征提取的昂贵计算的严重限制。相比之下,基于匹配的跟踪方法(如暹罗网络)具有显着的速度优势。然而,在线更新的缺乏使得这些方法不适用于显著的对象外观变化。本文提出了一种新的实时的【形】视觉跟踪方法,该方法采用对象自适应LSTM网络来有效地捕获视频序列依赖性,并自适应地学习对象外观变化。为了提高计算效率,我们还提出了一种快速建议选择策略,该策略利用基于匹配的跟踪方法来预先估计密集建议,并选择高质量的建议馈送到LSTM网络进行分类。该策略有效地过滤掉了一些不相关的建议,避免了特征提取的冗余计算,这使得我们的方法比传统的基于分类的跟踪方法更快。此外,为了解决在线跟踪过程中样本不足和类别不平衡的问题,我们采用了基于生成对抗网络(GAN)的数据增强技术来促进LSTM网络的训练。在四个视觉跟踪基准上的实验表明,该方法在跟踪精度和速度上都达到了最高水平,显示了递归结构在视觉跟踪中的巨大潜力.
2020-02-07 cs.CV
Siamese Cascaded Region Proposal Networks for Real-Time Visual Tracking
Temple University(天普大学)
区域建议网络(RPN)最近已与暹罗网络相结合,用于跟踪,并显示出良好的精度和高效率。然而,以前提出的一个阶段的暹罗RPN跟踪退化存在类似的干扰和大规模的变化。针对这些问题,我们提出了一个多阶段的跟踪框架,暹罗级联RPN(C-RPN),它由一系列的RPN级联从深层次的高层到浅层次的低层次的暹罗网络。与以前的解决方案相比,C-RPN有几个优点:(1)每个RPN都是使用前一阶段RPN的输出进行训练的。这样的过程刺激了硬负采样,导致更平衡的训练样本。因此,RPN在区分困难背景(即,类似的干扰物)。(2)通过针对每个RPN的新颖的特征传递块(FTB)充分利用多级特征,进一步使用高级语义和低级空间信息来提高C-RPN的可辨别性。(3)通过多步回归,C-RPN利用前一阶段调整的锚框逐步细化每个RPN中目标的位置和形状,使定位更加准确。C-RPN使用多任务损失函数进行端到端训练。在推理中,C-RPN被部署为实时的【形】跟踪,而没有任何时间适应。在OTB-2013、OTB-2015、VOT-2016、VOT-2017、LaSOT和TrackingNet上进行的大量实验中,C-RPN始终实现最先进的结果并实时的【形】运行。
2018-12-14 cs.CV
Of Mice and Pose: 2D Mouse Pose Estimation from Unlabelled Data and Synthetic Prior
University of Leeds(利兹大学);University of Tasmania(塔斯马尼亚大学)
针对动物录像缺乏标注的问题,提出一种基于合成姿态先验和生成对抗网络的自监督方法,实现无标注图像中的二维小鼠姿态估计,并在实验中展现出与监督方法相当的性能及跨物种适应性。
2023-07-25 cs.CV
OSP2B: One-Stage Point-to-Box Network for 3D Siamese Tracking
Hangzhou Dianzi University(杭州电子科技大学);The University of Sydney(悉尼大学)
提出单阶段点到框网络OSP2B,同步生成3D提议与中心度分数,采用中心感知焦点损失和二元分类器缓解任务错位,在KITTI和Waymo数据集上实现领先性能与实时速度。
2023-05-09 cs.CV
Feature Based Framework to Detect Diseases, Tumor, and Bleeding in Wireless Capsule Endoscopy
Temple University(天普大学);Thomas Jefferson Hospital(托马斯·杰斐逊医院)
研究动物运动可以提高我们对运动控制的理解,并有助于治疗运动障碍。小鼠是人类疾病的首要模型,也是许多基础神经科学的首选模型系统。需要高帧速率(250 Hz)来量化这些奔跑的啮齿动物的运动学。手动跟踪,特别是对于多个标记,变得耗时且不可能。因此,自动化方法是必要的。我们提出了一种跟踪动物爪子的方法:首先,基于颜色分割所有可能的爪子;其次,使用支持向量机(SVM)和神经网络(NN)对分割的对象进行分类;第三,使用奔跑动物的运动学特征,结合早期帧的纹理特征对对象进行分类;最后,检测和处理冲突,以确保标记的PAW的正确性。所提出的方法在由来自五只小鼠的四个相机捕获的六十个1,000帧视频序列(4秒)中进行验证。使用SVM分类器和NN分类器对前后爪跟踪的总灵敏度分别为99.70%和99.76%。此外,我们展示了使用四摄像机系统进行三维重建的可行性。
2018-01-27 cs.CV
Any3DIS: Class-Agnostic 3D Instance Segmentation by 2D Mask Tracking
VinAI Research(VinAI研究院);Posts & Telecommunications Inst. of Tech.(邮电技术研究院)
针对现有3D实例分割因无监督合并导致的过分割问题,提出3D感知2D掩码跟踪模块与动态规划优化视图的3D掩码优化模块,在ScanNet200和ScanNet++上的三类任务中提升了性能。
2024-11-25 cs.CV
GLT-T++: Global-Local Transformer for 3D Siamese Tracking with Ranking Loss
本文提出GLT-T与增强版GLT-T++,通过全局-局部Transformer增强种子点投票,并以目标感知和定位感知排序损失优化3D建议排序,在点云单目标跟踪上达到领先精度且保持实时速度。
2023-12-17 cs.CV
No Blind Spots: Full-Surround Multi-Object Tracking for Autonomous Vehicles using Cameras & LiDARs
UC San Diego(加州大学圣地亚哥分校)
在线多目标跟踪(MOT)对于自主和高度自动化车辆的高级空间推理和路径规划至关重要。在本文中,我们提出了一个模块化的框架,用于跟踪多个对象(车辆),能够接受对象的建议,从不同的传感器模态(视觉和范围)和可变数量的传感器,产生连续的对象跟踪。这项工作是MDP框架MOT的推广,有一些关键的扩展-首先,我们跟踪对象跨多个摄像机和跨不同的传感器模态。这是通过准确有效地融合传感器之间的对象建议来完成的。第二,直接在现实世界中跟踪感兴趣的对象(目标)。这与传统的技术不同,传统的技术只是在图像平面中跟踪对象。这样做允许轨迹容易地被自主智能体用于导航和相关任务。为了验证我们的方法的有效性,我们测试它在现实世界中的高速公路数据收集从一个高度传感器化的测试平台能够捕捉全环绕信息。我们证明,我们的框架是非常适合跟踪对象通过整个演习周围的自我车辆,其中一些需要几分钟以上才能完成。我们还利用我们的方法的模块化,通过比较包括/排除不同的传感器,改变传感器的总数,以及最终跟踪结果的对象建议的质量的影响。
2019-02-19 cs.CV
ArtTrack: Articulated Multi-person Tracking in the Wild
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Saarland Informatics Campus(萨尔兰信息学园区)
在本文中,我们提出了一种方法,在不受约束的视频多人的关节式跟踪。我们的出发点是一个类似于现有单帧姿态估计架构的模型,但速度要快得多。我们通过两种方式实现这一点:(1)通过简化和稀疏化身体部位关系图,并利用最新的方法进行更快的推理,以及(2)通过将大量计算分担到前馈卷积架构上,该架构即使在混乱中也能够检测和关联同一个人的身体关节。我们使用这个模型来生成身体关节位置的建议,并制定了这样的建议的时空分组铰接跟踪。这允许通过时间传播来自强检测的证据并强制每个建议只能分配给一个人的约束来联合解决场景中所有人的关联问题。我们报告了一个公共MPII人体姿势基准测试和一个新的MPII视频姿势图像序列数据集与多个人的结果。我们证明了我们的模型在仅使用一小部分时间的情况下实现了最先进的结果,并且能够利用时间信息来提高拥挤场景的最先进水平。
2017-05-09 cs.CV
F-Siamese Tracker: A Frustum-based Double Siamese Network for 3D Single Object Tracking
Zhejiang University(浙江大学);Huawei Noah’s Ark lab(华为诺亚方舟实验室)
本文提出了一种新的单目标跟踪方法F-Siamese Tracker,它的突出特点是更鲁棒地融合了二维和三维信息,减少了冗余的搜索空间。3D单目标跟踪中的主要挑战是如何减少搜索空间以生成合适的3D候选。首先,我们的方法不是仅仅依赖于3D提案,而是利用应用于RGB图像的Siamese网络来产生2D区域提案,然后将其挤出到3D视锥中。此外,我们对3D平截头体进行在线精度验证,以生成精确的点云搜索空间,该空间可以直接嵌入到现有的3D跟踪骨干中。为了提高效率,我们的方法通过减少搜索空间,以较少的候选人获得更好的性能。此外,由于引入了在线精度验证,对于偶尔出现的强遮挡或非常稀疏的点,即使在2D暹罗跟踪器丢失目标的情况下,我们的方法仍然可以达到很高的精度。这种方法使我们能够在稀疏的室外数据集(KITTI跟踪)上设置一个新的最先进的3D单对象跟踪。此外,在2D单目标跟踪上的实验表明,我们的框架也提高了2D跟踪性能。
2020-10-22 cs.CV
3D-SiamRPN: An End-to-End Learning Method for Real-Time 3D Single Object Tracking Using Raw Point Cloud
Northeastern University(东北大学)
三维单目标跟踪是自主跟随机器人的一个关键问题,其中机器人应该鲁棒地跟踪目标并精确定位目标以实现高效跟随。在本文中,我们提出了一种三维跟踪方法称为3D-SiamRPN网络跟踪一个单一的目标对象,通过使用原始的三维点云数据。该网络由两个子网组成。第一个子网络为特征嵌入子网络,用于点云特征提取和融合。在这个子网络中,我们首先使用PointNet++从模板和搜索分支中提取点云的特征。然后,为了融合两个分支中的特征信息并获得它们的相似性,我们提出了两个互相关模块,分别命名为Pointcloud-wise和Point-wise。第二个子网络是区域建议网络(RPN),用于根据互相关模块的融合特征得到目标物体的最终三维限界框。在这个子网络中,我们利用区域建议子网络的回归和分类分支来获得建议和分数,从而得到目标对象的最终三维限界框。在KITTI数据集上的实验结果表明,该方法在成功率和精确度上都优于现有方法,并且能够以20.8 FPS的速度实时的【形】运行。此外,在H3 D数据集上的实验结果表明,我们的方法也具有良好的泛化能力,可以在新的场景中实现良好的跟踪性能,而无需重新训练。
2021-08-12 cs.CV
GLT-T: Global-Local Transformer Voting for 3D Single Object Tracking in Point Clouds
Hangzhou Dianzi University(杭州电子科技大学);The University of Sydney(悉尼大学)
当前的3D单目标跟踪方法通常基于VoteNet,一种3D区域提议网络。尽管取得了成功,但在VoteNet中使用单个种子点特征作为偏移学习的线索会阻止生成高质量的3D提案。此外,不同重要性的种子点在投票过程中被平等对待,加剧了这一缺陷。为了解决这些问题,我们提出了一种新的全局-局部Transformer投票方案,以提供更多的信息线索,并引导模型更多地关注潜在的种子点,促进高质量的3D提案的生成。从技术上讲,采用全局-局部Transformer(GLT)模块将对象感知先验和块感知先验集成到种子点特征中,以有效地形成种子点几何位置的强特征表示,从而为偏移学习提供更鲁棒和准确的线索。随后,一个简单而有效的训练策略是设计训练的GLT模块。我们开发了一个重要性预测分支来学习种子点的潜在重要性,并将输出权重向量作为训练约束项。通过将上述组件结合在一起,我们表现出一个优越的跟踪方法GLT-T。在具有挑战性的KITTI和NuScenes基准上进行的大量实验表明,GLT-T在3D单目标跟踪任务中达到了最先进的性能。此外,进一步的消融研究表明,提出的全局-局部Transformer投票方案的优势,比原来的VoteNet。代码和模型将在https://github.com/haooozi/GLT-T上提供。
2022-11-20 cs.CV
Long-term Correlation Tracking using Multi-layer Hybrid Features in Sparse and Dense Environments
Heriot Watt University(赫瑞-瓦特大学);Sheffield Hallam University(谢菲尔德哈勒姆大学)
在稀疏和拥挤的环境中跟踪感兴趣的目标是一个具有挑战性的问题,尚未成功地解决在文献中。在本文中,我们提出了一种新的长期视觉跟踪算法,学习判别相关滤波器和使用在线分类器,跟踪目标的兴趣在稀疏和拥挤的视频序列。首先,我们使用卷积神经网络(CNN)和传统手工特征的多层混合来学习翻译相关滤波器。我们结合了较低的卷积层(保留更多空间细节以进行精确定位)和较高的卷积层(编码语义信息以处理外观变化)的优势,然后将这些与定向梯度直方图(HOG)和颜色命名传统特征相结合。其次,我们包括一个重新检测模块,用于克服由于长期遮挡而导致的跟踪失败,方法是使用手工设计的功能在最有信心的帧上训练增量(在线)SVM。仅当对象的相关响应低于某个预定义阈值时,才激活该重新检测模块。这生成高分检测建议,使用高斯混合概率假设密度(GM-PHD)滤波器对高分检测建议进行时间滤波,以通过去除作为杂波的其他检测建议来找到具有最大权重的检测建议作为目标状态估计。最后,我们学习了一个尺度相关滤波器,用于通过使用HOG特征在估计或重新检测的位置周围构建目标金字塔来估计目标的尺度。我们在稀疏和密集数据集上进行了广泛的实验,结果表明我们的方法显着优于最先进的方法。
2019-02-03 cs.CV
The 1st-place Solution for ECCV 2022 Multiple People Tracking in Group Dance Challenge
MEGVII Technology(旷视科技);Shanghai Jiao Tong University(上海交通大学)
我们提出了我们的第一位解决方案,以集体舞多人跟踪挑战。根据MOTR:使用Transformer的端到端多对象跟踪,我们探索:1)检测查询作为锚点,2)跟踪作为查询去噪,3)在CrowdHuman数据集生成的伪视频片段上进行联合训练,以及4)使用YOLOX检测建议进行检测查询的锚点初始化。我们的方法在DanceTrack测试集上实现了73.4%HOTA,超过了第二名的解决方案+6.8%HOTA。
2022-10-27 cs.CV
Tracking objects using 3D object proposals
Institute for Infocomm Research(资讯通信研究院);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
3D对象建议(3D场景中可能包含感兴趣对象的快速检测区域)是提高目标检测框架的计算效率和准确性的有效方法。在这项工作中,我们提出了一种新的在线方法,使用我们以前开发的3D对象的建议,在RGB-D视频序列,匹配和跟踪静态对象的场景中使用形状匹配。我们的主要观察是,深度图像提供了重要的信息,往往被忽略的对象匹配技术的场景的几何形状。我们的方法在单线程CPU上的UW-RGBD场景数据集上在MATLAB中花费不到一秒钟,因此,有可能用于无人机(UAV),四轴飞行器和无人机的低功耗芯片中。
2017-12-19 cs.CG cs.CV cs.RO
P2B: Point-to-Box Network for 3D Object Tracking in Point Clouds
Huazhong University of Science and Technology(华中科技大学)
针对点云中的三维目标跟踪问题,提出了一种端到端学习的点到盒网络P2B。我们的主要思想是首先定位潜在的目标中心在3D搜索区域嵌入目标信息。然后,点驱动的三维目标的建议和验证联合执行。通过这种方式,可以避免耗时的3D穷举搜索。具体地说,我们首先从模板和搜索区域的点云分别采样种子。然后,我们执行置换不变的特征增强嵌入目标线索从模板到搜索区域种子,并表示它们与目标特定的功能。因此,增强的搜索区域种子通过Hough投票回归潜在的目标中心。这些中心进一步加强了种子方面的目标得分。最后,每个中心聚类其邻居,以利用集合功率进行联合3D目标建议和验证。我们应用PointNet++作为我们的骨干,在KITTI跟踪数据集上的实验证明了P2B的优越性(比最先进的提高了约10%)。请注意,P2B可以在单个NVIDIA 1080Ti GPU上以40FPS运行。我们的代码和模型可以在https://github.com/HaozheQi/P2B上找到。
2020-05-28 cs.CV
Graph Convolutional Network for Multi-Target Multi-Camera Vehicle Tracking
Universidad Autónoma de Madrid(马德里自治大学)
本文主要研究多目标多摄像机车辆跟踪问题。我们建议通过训练一个图卷积网络将单摄像机轨迹关联到多摄像机全局轨迹。我们的方法同时处理所有相机提供了一个全球性的解决方案,它也是强大的大型相机不同步。此外,我们设计了一个新的损失函数来处理类不平衡。我们的建议优于相关的工作,表现出更好的泛化,不需要特别的手动注释或阈值,不像比较的方法。
2022-11-28 cs.CV
Video object tracking based on YOLOv7 and DeepSORT
Northwestern Polytechnical University(西北工业大学)
多目标跟踪(MOT)是计算机视觉领域的一项重要技术,在自动驾驶、智能监控、行为识别等方向有着广泛的应用。在当前流行的基于深度学习的MOT方法中,基于检测的跟踪(DBT)在工业中应用最为广泛,其性能取决于其目标检测网络。目前性能较好、应用最广泛的DBT算法是YOLOv 5-DeepSORT。受YOLOv 5-DeepSORT的启发,结合在目标检测方面表现较好的YOLOv 7网络的提出,将YOLOv 7作为目标检测部分应用到DeepSORT中,提出了YOLOv 7-DeepSORT。经过实验评估,与之前的YOLOv 5-DeepSORT相比,YOLOv 7-DeepSORT在跟踪精度上表现更好。
2022-07-25 cs.CV
Landmark Tracking in Liver US images Using Cascade Convolutional Neural Networks with Long Short-Term Memory
Emory University(埃默里大学);University of Chicago(芝加哥大学);Georgia Institute of Technology(佐治亚理工学院);Emory University School of Medicine(埃默里大学医学院)
本研究提出了一种基于深度学习的超声(US)图像引导放射治疗跟踪方法。所提出的级联深度学习模型由注意力网络、基于掩码区域的卷积神经网络(mask R-CNN)和长短期记忆(LSTM)网络组成。注意力网络学习从US图像到疑似地标运动区域的映射,以减少搜索区域。然后,掩码R-CNN在缩小的区域中产生多个感兴趣区域(ROI)建议,并通过三个网络头识别建议的地标:限界框回归,建议分类和地标分割。LSTM网络对连续图像帧之间的时间关系进行建模,用于限界框回归和建议分类。为了巩固最终的建议,选择方法是根据连续帧之间的相似性设计的。所提出的方法在医学图像计算和计算机辅助干预(MICCAI)2015挑战中使用的肝脏US跟踪数据集上进行了测试,其中由三名经验丰富的观察者注释标志以获得其平均位置。对24个给定的具有地面真实值的US序列进行的五重交叉验证表明,所有地标的平均跟踪误差为0.65+/-0.56 mm,并且所有地标的误差都在2 mm以内。我们进一步在来自测试数据集的69个地标上测试了所提出的模型,这些地标具有与训练模式相似的图像模式,结果平均跟踪误差为0.94+/-0.83 mm。我们的实验结果证明了我们提出的方法在使用US图像跟踪肝脏解剖标志方面的可行性和准确性,为放射治疗期间的主动运动管理提供了实时肝脏跟踪的潜在解决方案。
2022-09-14 cs.CV physics.med-ph
Key Frame Proposal Network for Efficient Pose Estimation in Videos
Northeastern University(东北大学);Motorola Solutions, Inc.(摩托罗拉系统公司)
视频中的人体姿态估计依赖于本地信息,要么独立地估计每个帧,要么跨帧跟踪姿态。在本文中,我们提出了一种新的方法相结合的局部方法与全球背景。我们引入了一个轻量级的,无监督的,关键帧建议网络(K-FPN)来选择信息帧和一个学习字典来恢复这些帧的整个姿势序列。K-FPN加速了姿态估计,并对具有遮挡、运动模糊和照明变化的坏帧提供了鲁棒性,而学习的字典提供了全局动态上下文。在Penn Action和sub-JHMDB数据集上的实验表明,该方法具有较高的准确率和较好的加速性能。
2020-07-30 cs.CV
SurgAtt-Tracker: Online Surgical Attention Tracking via Temporal Proposal Reranking and Motion-Aware Refinement
Department of Electronic Engineering, The Chinese University of Hong Kong, Hong Kong SAR, China(香港中文大学电子工程系);Division of Gastrointestinal Surgery, Shenzhen People's Hospital, China(深圳人民医院胃肠外科);College of Mechatronics and Control Engineering, Shenzhen University, China(深圳大学机电与控制工程学院);Department of Mechanical Engineering, The University of Hong Kong, Hong Kong SAR, China(香港大学机械工程系);Department of Electronic and Electrical Engineering, Southern University of Science and Technology(南方科技大学电子与电气工程系)
SurgAtt-Tracker通过时间提案重排和运动感知细化实现手术注意力跟踪,提供帧级视野指导以支持机器人规划和自动摄像头控制。
2026-02-24 cs.AI cs.CV
Self-supervised Object Tracking with Cycle-consistent Siamese Networks
Hong Kong University of Science and Technology(香港科技大学)
与监督学习相比,用于视觉对象跟踪的自监督学习具有有价值的优点,例如不需要费力的人工注释和在线训练。在这项工作中,我们利用一个端到端的暹罗网络在一个周期一致的自我监督框架的对象跟踪。自我监督可以通过利用前向和后向跟踪中的周期一致性来执行。为了更好地利用深度网络的端到端学习,我们建议在我们的跟踪框架中集成暹罗区域建议和掩码回归网络,以便在不对每帧进行注释的情况下学习更快,更准确的跟踪器。在用于视觉对象跟踪的VOT数据集和用于视频对象分割传播的DAVIS数据集上的实验表明,我们的方法在这两个任务上都优于以前的方法。
2020-08-03 cs.CV
Lost and Found: Overcoming Detector Failures in Online Multi-Object Tracking
Fondazione Bruno Kessler(布鲁诺·凯塞勒基金会);CiTIUS, Univ. of Santiago de Compostela(西班牙圣地亚哥-德孔波斯特拉大学CiTIUS研究中心);Inria Grenoble, Univ. Grenoble Alpes(法国国家信息与自动化研究所格勒诺布尔分部、格勒诺布尔阿尔卑斯大学)
本文提出兼容任意在线 TbD 系统的 BUSCA 框架,利用邻近轨迹、运动、token 与决策 Transformer 恢复检测器漏检目标,在五种跟踪器和三个基准上实现一致提升。
2024-07-16 cs.CV
Multiple target tracking with interaction using an MCMC MRF Particle Filter
Universidade do Porto(波尔图大学)
本文提出并讨论了一种多目标跟踪方法的实现,该方法能够处理目标之间的相互作用,防止跟踪器因劫持而失效。所引用的方法使用马尔可夫链蒙特卡罗(MCMC)采样步骤来评估过滤器,并构造一个有效的建议密度来生成新的样本。该密度基于每个时间步生成的马尔可夫随机场(MRF)集成目标交互项。MRF对目标之间的相互作用进行建模,试图减少跟踪模糊性,而跟踪多个目标时,典型的粒子滤波器会遇到这种模糊性。在一个有限空间中,使用包含20只蚂蚁的662帧灰度图像序列对该方法和一组基于重要性采样的独立粒子滤波器进行了测试,并建立了性能比较.结果表明,使用MRF建模目标相互作用的实现方法成功地纠正了许多独立的,相互作用不知道,粒子滤波器的跟踪误差。
2021-11-25 cs.CV
MeMOT: Multi-Object Tracking with Memory
AWS AI Labs(AWS人工智能实验室);University of Washington(华盛顿大学)
我们提出了一个在线跟踪算法,执行目标检测和数据关联下一个共同的框架,能够链接对象后,很长一段时间跨度。这是通过保存一个大的时空存储器来存储被跟踪对象的身份嵌入,并通过自适应地引用和聚合有用的信息,从内存中的需要来实现。我们的模型,称为MeMOT,由三个主要模块组成,都是基于transformer的:1)假设生成,在当前视频帧中产生对象建议; 2)内存编码,从内存中提取每个跟踪对象的核心信息;和3)内存解码,同时解决多对象跟踪的目标检测和数据关联任务。在广泛采用的MOT基准数据集上进行评估时,MeMOT观察到非常有竞争力的性能。
2022-03-31 cs.CV
TrackNet: Simultaneous Object Detection and Tracking and Its Application in Traffic Video Analysis
New York University(纽约大学);Chongqing University of Technology(重庆理工大学)
目标检测和目标跟踪通常被视为两个独立的过程。使用深度学习网络在2D图像中的目标检测方面取得了重大进展。用于对象跟踪的通常的逐检测跟踪流水线要求在第一帧和所有后续帧中成功检测对象,并且通过关联检测结果来完成跟踪。通过单个网络执行目标检测和目标跟踪仍然是一个具有挑战性的开放问题。我们提出了一种名为trackNet的新型网络结构,通过扩展更快的R-CNN框架,可以直接检测视频片段中包含移动对象的3D管。trackNet内部的Tube Proposal Network(TPN)用于预测每个候选管道的对象和指定边界管道的位置参数。所提出的框架适用于检测和跟踪任何对象,在本文中,我们专注于它的应用交通视频分析。该模型在UA-DETRAC(一个可用于多车辆检测和跟踪的大型交通视频数据集)上进行了训练和测试,并获得了非常有前途的结果。
2019-02-04 cs.CV
Learning Open-World Object Proposals without Learning to Classify
KAIST(韩国科学技术院);Google Brain(谷歌大脑)
目标检测已经成为目标检测、弱监督检测、目标发现、跟踪等视觉流程中不可或缺的预处理步骤。与无学习方法相比,由于人们对目标检测的兴趣越来越大,基于学习的目标检测方法最近变得流行起来。常见的范例是从标记有一组对象区域及其相应类别的数据中学习对象建议。然而,这种方法经常与训练集中不存在的开放世界中的新对象进行斗争。在本文中,我们发现问题在于现有建议方法中的二进制分类器倾向于过拟合训练类别。因此,我们提出了一种无分类的对象定位网络(OLN),它纯粹通过区域的位置和形状与任何地面真实对象(例如,中心和IoU)。这个简单的策略学习了可概括的对象,并优于COCO上现有的跨类别概括建议,以及RoboNet,Object365和EpicKitchen上的跨数据集评估。最后,我们证明了OLN的优点长尾目标检测的大词汇量数据集,LVIS,我们注意到在罕见和常见的类别有明显的改善。
2021-08-15 cs.CV
Probabilistic Tracklet Scoring and Inpainting for Multiple Object Tracking
Australian National University(澳大利亚国立大学);ACRV(澳大利亚机器人视觉中心);Monash University(莫纳什大学);CVLab-EPFL(洛桑联邦理工学院计算机视觉实验室)
尽管最近在通过联合检测和跟踪实现的多目标跟踪(MOT)方面取得了进展,但处理长遮挡仍然是一个挑战。这是由于这样的技术倾向于忽略长期运动信息的事实。在本文中,我们引入了一个概率自回归运动模型,直接测量它们的可能性来评分tracklet建议。这是通过训练我们的模型来学习自然轨迹的底层分布来实现的。因此,我们的模型不仅允许我们为现有的轨迹片段分配新的检测,而且还允许我们在对象丢失很长时间时对轨迹片段进行补绘,例如,由于遮挡,通过采样轨迹以填充由误检测引起的间隙。我们的实验证明了我们的方法在跟踪具有挑战性的序列中的对象方面的优越性;它在多个MOT基准数据集(包括MOT 16,MOT 17和MOT 20)上的大多数标准MOT指标中表现优于最先进的技术。
2020-12-10 cs.CV
Towards Autonomous Driving: a Multi-Modal 360$^{\circ}$ Perception Proposal
Universidad Carlos III de Madrid(马德里卡洛斯三世大学);Renault SAS(雷诺股份有限公司)
本文提出了一种用于自动驾驶车辆的三维目标检测和跟踪的多模态360 $^{\circ}$框架。这一进程分为四个主要阶段。首先,将图像馈送到CNN网络中以获得周围道路参与者的实例分割。其次,对估计的掩模建议进行LiSAR与图像的关联。然后,通过PointNet集成处理每个对象的孤立点,以计算其对应的3D边界框和姿态。最后,跟踪阶段的基础上Unscented卡尔曼滤波器被用来跟踪代理沿时间。该解决方案基于一种新颖的传感器融合配置,提供准确可靠的道路环境检测。部署在自动驾驶车辆中的系统的各种测试已经成功地评估了所提出的感知堆栈在真实自动驾驶应用中的适用性。
2020-08-21 cs.CV cs.RO
Utilising Visual Attention Cues for Vehicle Detection and Tracking
Insight SFI Research Centre for Data Analytics(Insight SFI 数据分析研究中心);Dublin City University(都柏林城市大学)
高级驾驶辅助系统(ADAS)一直受到许多研究人员的关注。基于视觉的传感器是模拟人类驾驶员在驾驶时视觉行为的最接近的方法。在本文中,我们探讨了可能的方式来使用视觉注意(显着性)的目标检测和跟踪。我们调查:1)诸如\emph{subjectness}注意力或显著性图和\emph{objectness}注意力图的视觉注意力图如何能够促进2阶段对象检测器中的区域提议生成; 2)视觉注意力图如何能够用于跟踪多个对象。我们提出了一个神经网络,可以同时检测对象,并生成对象和主体的地图,以节省计算能力。我们进一步利用视觉注意力图跟踪过程中使用顺序蒙特卡罗概率假设密度(PHD)过滤器。实验在KITTI和DETRAC数据集上进行。视觉注意和层次特征的使用在目标检测中显示出$\approx$ 8%的相当大的改进,从而有效地将跟踪性能提高了$\approx$ 4%。
2020-07-31 cs.CV
Multi-person Articulated Tracking with Spatial and Temporal Embeddings
SenseTime Research(商汤科技研究院);The University of Sydney(悉尼大学);SenseTime Computer Vision Research Group(商汤科技计算机视觉研究组)
我们提出了一个统一的框架,多人姿态估计和跟踪。我们的框架包括两个主要组件,~ \ie ~SpatialNet和TemporalNet。SpatialNet在单个帧中完成身体部位检测和部位级数据关联,而TemporalNet将连续帧中的人体实例分组为轨迹。具体来说,除了身体部位检测热图,SpatialNet还预测身体部位关联的关键点嵌入(KE)和空间实例嵌入(SIE)。我们将分组过程建模为可区分的姿势引导训练(PGG)模块,以使整个部分检测和分组管道完全端到端可训练。TemporalNet将关键点的空间分组扩展到人类实例的时间分组。考虑到来自两个连续帧的人类建议,TemporalNet利用人类嵌入(HE)中编码的外观特征和时间实例嵌入(TIE)中体现的时间一致的几何特征进行鲁棒跟踪。大量的实验证明了我们提出的模型的有效性。值得注意的是,我们在ICCV'17 PoseTrack数据集上展示了比最先进的姿势跟踪方法的实质性改进,多对象跟踪准确性(MOTA)从65.4%提高到71.8%。
2019-03-21 cs.CV
Real-Time Siamese Multiple Object Tracker with Enhanced Proposals
Centro Singular de Investigación en Tecnoloxías Intelixentes (CiTIUS)(智能技术卓越研究中心(CiTIUS));Universidade de Santiago de Compostela(圣地亚哥德孔波斯特拉大学)
在实时的【形】视频中保持多个对象的身份是一项具有挑战性的任务,因为在每一帧上运行检测器并不总是可行的。因此,经常采用运动估计系统,其要么不能很好地随目标的数量缩放,要么产生具有有限语义信息的特征。为了解决上述问题,并允许实时的【形】跟踪几十个任意对象,我们提出了SiamMOTION。SiamMOTION包括一个新颖的建议引擎,通过注意力机制和一个由惯性模块提供并由特征金字塔网络提供动力的感兴趣区域提取器产生高质量的特征。最后,提取的张量进入一个比较头,有效地匹配样本和搜索区域对,通过成对的dependency区域建议网络和多对象惩罚模块生成质量预测。SiamMOTION已在五个公共基准测试中得到验证,与当前最先进的跟踪器相比具有领先的性能。代码可在:https://github.com/lorenzovaquero/SiamMOTION
2022-11-08 cs.CV
Depth image hand tracking from an overhead perspective using partially labeled, unbalanced data: Development and real-world testing
University of Toronto(多伦多大学)
我们提出的开发和评估的手跟踪算法的基础上,从开销的角度来看,用于教练提示系统中捕获的单深度图像。我们训练一个随机决策森林身体部位分类器使用大约5,000手动标记,不平衡,部分标记的训练图像。分类器表示每个深度图像中的像素的随机子集,其具有跨所有训练的身体部位的学习的概率密度函数。一个本地模式发现的方法是用来搜索聚类存在于底层特征空间采样的分类像素。在每个帧中,身体部位位置被选择为具有最高置信度的模式。基于与环境对象的接近度,将用户手的位置转换成洗手任务动作。我们验证了分类器的性能和任务操作建议的一个大的约24,000手动标记的图像。
2014-09-06 cs.CV
Video Object Segmentation using Tracked Object Proposals
Visualead
我们在DAVIS 2017挑战赛的背景下提出了一种半监督视频对象分割的方法。我们的方法结合了基于类别的目标检测,类别无关的对象外观分割和时间对象跟踪。我们的动机是这样一个事实,即对象的语义类别往往不会改变整个视频,而它的外观和位置可以有很大的变化。为了捕获独立于其类别的特定对象外观,对于每个视频,我们使用给定注释帧的增强来训练完全卷积网络。我们改进的外观分割掩模与语义目标检测网络提供的边界框,如果适用,或由以前的帧预测。通过在检测到的盒子上引入时间连续性约束,我们能够改进外观网络的对象分割掩码,并在DAVIS数据集上获得有竞争力的结果。
2017-07-20 cs.CV
E^2TAD: An Energy-Efficient Tracking-based Action Detector
Texas A&M University(德克萨斯农工大学);New York University(纽约大学);Wormpex AI Research(Wormpex人工智能研究院);UT Austin(德克萨斯大学奥斯汀分校)
视频动作检测(时空动作定位)通常是当今以人为中心的视频智能分析的起点。它对机器人、安全、医疗保健等领域的许多应用都具有很高的实际影响。Faster R-CNN的两阶段范式激发了目标检测中视频动作检测的标准范式,即,首先生成人员建议,然后对他们的行动进行分类。然而,没有一个现有的解决方案可以提供到"who-when-where-what"级别的细粒度动作检测。本文提出了一种基于跟踪的解决方案,以准确和有效地定位预定义的关键动作空间(通过预测相关联的目标ID和位置)和时间(通过预测准确的帧索引中的时间)。该解决方案在2021年低功耗计算机视觉挑战赛(LPCVC)的无人机视频赛道中获得第一名。
2022-10-30 cs.CV
SiamAPN++: Siamese Attentional Aggregation Network for Real-Time UAV Tracking
Tongji University(同济大学);New York University(纽约大学)
最近,基于Siamese的方法由于其最先进的(SOTA)性能而从众多的跟踪方法中脱颖而出。然而,由于无人机跟踪中的各种特殊挑战,\textit{e.g.},严重遮挡和快速运动,大多数现有的基于暹罗的跟踪器很难将优异的性能与高效率结合起来。针对这一问题,本文提出了一种新的用于无人机实时的【形】跟踪的注意力连体跟踪器(SiamAPN++)。借助注意力机制,我们构造了一个由自注意力聚合网络和交叉注意力聚合网络组成的特殊的注意力聚合网络,以提高特征的表征能力。前AAN聚合和模型的自我语义的相互依赖性的单一功能地图,通过空间和通道尺寸。后者的目的是聚集两个不同的语义特征,包括锚点的位置信息的交叉依赖关系。此外,提出了基于双特征的锚建议网络,以提高其跟踪不同尺度目标的鲁棒性。在两个著名的权威基准上进行了实验,其中SiamAPN++优于其基线SiamAPN和其他SOTA跟踪器。此外,在典型的嵌入式平台上的实际测试表明,SiamAPN++实现了良好的跟踪效果与实时的【形】速度。
2021-07-30 cs.CV
TDIOT: Target-driven Inference for Deep Video Object Tracking
Istanbul Technical University(伊斯坦布尔理工大学)
最近的检测跟踪方法使用深目标检测器作为目标检测基线,因为它们在静止图像上的高性能。为了有效的视频对象跟踪,将目标检测与由定制设计推理架构或端到端联合训练执行的数据关联步骤集成以用于跟踪目的。在这项工作中,我们采用了前一种方法,并使用预训练的Mask R-CNN深度对象检测器作为基线。我们在Mask R-CNN的FPN-ResNet 101主干上引入了一种新的推理架构,以联合执行检测和跟踪,而无需额外的跟踪训练。建议的单目标跟踪器,TDIOT,适用于外观相似性为基础的时间匹配的数据关联。为了解决跟踪的不连续性,我们将一个本地搜索和匹配模块的推理头层,利用SiamFC的短期跟踪。此外,为了提高对尺度变化的鲁棒性,我们引入了一个尺度自适应区域建议网络,该网络能够在由目标的轨迹指定的自适应扩大的空间邻域中搜索目标。为了满足长期跟踪的要求,低成本的验证层被纳入推理架构,以监测存在的目标的基础上,其LBP直方图模型。对来自VOT 2016、VOT 2018和VOT-LT 2018数据集的视频进行的性能评估表明,与最先进的短期跟踪器相比,TDIOT实现了更高的准确性,同时在长期跟踪方面提供了相当的性能。
2021-03-23 cs.CV
Multi-object Tracking with a Hierarchical Single-branch Network
National University of Defense Technology(国防科技大学)
近年来的多目标跟踪(MOT)方法逐渐尝试将目标检测和实例重识别(Re-ID)集成到一个统一的网络中,形成一个单阶段的解决方案。通常,这些方法使用单个网络中的两个分离的分支来分别完成检测和Re-ID,而不研究它们之间的相互关系,这不可避免地阻碍了跟踪性能。在本文中,我们提出了一个在线多目标跟踪框架的基础上,层次单分支网络来解决这个问题。具体而言,建议的单分支网络利用改进的分层在线实例匹配(iHOIM)损失明确建模之间的相互关系目标检测和重新ID。我们的新的iHOIM损失函数统一的目标,这两个子任务,并鼓励更好的检测性能和特征学习,即使在非常拥挤的场景。此外,我们建议引入由运动模型预测的对象位置,作为后续目标检测的区域建议,其中直觉是检测结果和运动预测可以在不同的场景中相互补充。在MOT 16和MOT 20数据集上的实验结果表明,我们可以实现最先进的跟踪性能,消融研究验证了每个组件的有效性。
2021-01-06 cs.CV