Online Object Tracking with Proposal Selection
Inria Grenoble Rhône-Alpes（法国国家信息与自动化研究所格勒诺布尔-罗讷阿尔卑斯分院）；Laboratoire Jean Kuntzmann（让·昆茨曼实验室）；CNRS（法国国家科学研究中心）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）
检测跟踪方法是近年来最成功的目标跟踪方法之一。他们的成功在很大程度上取决于他们最初学习的检测器模型，然后随着时间的推移进行更新。然而，在具有挑战性的条件下，物体可能会发生变化，例如，严重的旋转，这些方法被发现是缺乏的。在本文中，我们解决这个问题，制定它作为一个建议的选择任务，并作出两个贡献。第一个是引入新的建议，估计从所经历的对象的几何变换，并建立一个丰富的候选集预测对象的位置。第二个是设计一种新的选择策略，使用多个线索，即，检测分数和边缘分数从现有技术的对象边缘和运动边界计算。我们在视觉对象跟踪2014挑战赛和在线跟踪基准数据集上广泛评估了我们的方法，并显示出最佳性能。
2015-09-30 cs.CV
Efficient Bird Eye View Proposals for 3D Siamese Tracking
由于数据的稀疏性和搜索空间的密集性，在LIDAR点云中跟踪车辆是一项具有挑战性的任务。点云结构的缺乏阻碍了卷积滤波器在2D目标跟踪中的应用。此外，结构化点云是繁琐的，并意味着丢失细粒度的信息。因此，在3D空间中生成建议是昂贵且低效的。在本文中，我们利用LIDAR点云的密集和结构化鸟瞰图（BEV）表示来有效地搜索感兴趣的对象。我们使用高效的区域建议网络，并在3D中生成少量的对象建议。成功地，我们完善我们的3D对象候选人的选择，利用3D暹罗网络的相似性能力。我们调整后的三维暹罗网络形状完成，以提高其歧视能力。我们的方法尝试解决在BEV空间中的有效搜索空间和使用3D LIDAR点云的有意义的选择两者。我们表明，在BEV中的区域建议优于贝叶斯方法，如卡尔曼和粒子滤波器提供了显着的保证金的建议，这些候选人是适合的3D暹罗网络。通过端到端训练我们的方法，当只使用16个候选项时，我们在成功和精确度方面比之前的车辆跟踪基线高出12% / 18%。
2020-05-06 cs.CV
Cell Tracking via Proposal Generation and Selection
University of Oulu（奥卢大学）；Aalto University（阿尔托大学）
显微成像在理解发育和疾病中的许多生物过程中起着至关重要的作用。显微镜自动化和活细胞成像方法和标记物的开发的最新进展导致捕获的图像数据量快速增长。为了有效和可靠地从这些捕获的序列中提取有用的见解，自动化细胞跟踪至关重要。这是一个具有挑战性的问题，由于在外观和形状的细胞取决于许多因素，包括成像方法，细胞的生物学特性，细胞基质组成，标记方法等，通常细胞跟踪方法需要一个序列特异性的分割方法和手动调整许多跟踪参数，这限制了它们的适用性序列以外的其他设计。在本文中，我们提出了1）一种基于深度学习的细胞提议方法，该方法提出了细胞候选及其分数，以及2）一种细胞跟踪方法，该方法使用表示不同细胞事件的边缘在图形模型中链接相邻帧中的提议，并将联合细胞检测和跟踪作为对细胞和边缘提议子集的选择。我们的方法是完全自动化的，并给予足够的训练数据，可以应用于各种各样的显微镜序列。我们评估我们的方法在多个荧光和相差显微镜序列包含各种形状和外观的细胞从ISBI细胞跟踪挑战，并表明我们的方法优于现有的细胞跟踪方法。代码可在：https://github.com/SaadUllahAkram/CellTracker
2017-05-09 cs.CV
CRACT: Cascaded Regression-Align-Classification for Robust Visual Tracking
Stony Brook University（石溪大学）
高质量的目标建议是利用区域建议网络（RPN）的视觉跟踪算法的关键。这些建议的改进，通常是通过箱回归和分类并行，已被广泛采用，以提高跟踪性能。然而，在处理复杂动态背景时，该方法仍存在一些问题。因此，出于动机，在本文中，我们介绍了一个改进的建议细化模块，级联回归对齐分类（CRAC），它产生了新的国家的最先进的性能在许多基准测试。首先，我们观察到，从框回归的偏移量可以作为建议功能细化的指导，我们设计CRAC作为一个级联的框回归，功能对齐和框分类。关键是通过对齐步骤来桥接框回归和分类，这会为建议分类带来更准确的特征，并提高鲁棒性。为了解决对象外观的变化，我们引入了一个用于框分类的识别-区分组件，该组件利用离线可靠的细粒度模板和在线丰富的背景信息来区分目标和背景。此外，我们提出了金字塔RoIAlign的好处CRAC利用本地和全球线索的建议。在推理过程中，跟踪通过对所有细化的建议进行排名并选择最佳建议来进行。在包括OTB-2015，UAV 123，NfS，VOT-2018，TrackingNet，GOT-10 k和LaSOT在内的七个基准测试中，与最先进的竞争对手相比，我们的CRACT表现出非常有希望的结果，并实时运行。
2020-11-25 cs.CV
Robust Tracking Using Region Proposal Networks
SenseTime Group Limited（商汤集团有限公司）
视觉跟踪的最新进展表明，为图像分类训练的深度卷积神经网络（CNN）可以成为区分性跟踪器的强大特征提取器。然而，由于图像分类和跟踪之间的巨大差异，额外的处理，如模型集成和特征工程必须进行桥梁的两个领域。这样的过程要么很耗时，要么很难在数据集上很好地推广。在本文中，我们发现区域建议网络（RPN）的顶层特征的内部结构可以用于鲁棒的视觉跟踪。我们发现，这种属性必须释放一个新的损失函数，同时考虑分类精度和限界框质量。在没有集成和对特征图进行任何额外处理的情况下，我们提出的方法在包括OTB50，OTB100和VOT 2016在内的几个大规模基准上取得了最先进的结果。我们将公开我们的代码。
2017-05-30 cs.CV
Siamese Anchor Proposal Network for High-Speed Aerial Tracking
Tongji University（同济大学）；New York University（纽约大学）
在视觉跟踪领域，大多数基于深度学习的跟踪器都强调准确性，但忽略了效率。因此，它们在移动平台（如无人机（UAV））上的实际部署受到阻碍。在这项工作中，提出了一种新的两阶段暹罗网络为基础的方法，空中跟踪，\textit{i.e.}，阶段1的高质量的锚建议的产生，阶段2细化锚建议。与基于锚点的方法具有许多预定义的固定大小的锚点不同，我们的无先验方法可以：1）根据自适应锚点生成，在复杂场景下提高对不同大小的不同对象的鲁棒性和泛化能力，特别是对小的，遮挡的和快速移动的对象，2）由于锚点数量的大幅减少，使计算变得可行。此外，与无锚方法相比，我们的框架由于在第2阶段的细化而具有更好的性能。在三个基准上的综合实验证明了我们的方法的优越性能，速度约为200帧/秒。
2021-07-30 cs.CV
Object-Adaptive LSTM Network for Real-time Visual Tracking with Adversarial Data Augmentation
Xiamen University（厦门大学）；Tsinghua University（清华大学）；Xiamen University of Technology（厦门理工学院）；Queen’s University Belfast（贝尔法斯特女王大学）
近年来，由于卷积神经网络（CNN）强大的特征表示能力，基于深度学习的视觉跟踪方法取得了巨大的成功。在这些方法中，基于分类的跟踪方法表现出优异的性能，但它们的速度受到大规模建议特征提取的昂贵计算的严重限制。相比之下，基于匹配的跟踪方法（如暹罗网络）具有显着的速度优势。然而，在线更新的缺乏使得这些方法不适用于显著的对象外观变化。本文提出了一种新的实时的【形】视觉跟踪方法，该方法采用对象自适应LSTM网络来有效地捕获视频序列依赖性，并自适应地学习对象外观变化。为了提高计算效率，我们还提出了一种快速建议选择策略，该策略利用基于匹配的跟踪方法来预先估计密集建议，并选择高质量的建议馈送到LSTM网络进行分类。该策略有效地过滤掉了一些不相关的建议，避免了特征提取的冗余计算，这使得我们的方法比传统的基于分类的跟踪方法更快。此外，为了解决在线跟踪过程中样本不足和类别不平衡的问题，我们采用了基于生成对抗网络（GAN）的数据增强技术来促进LSTM网络的训练。在四个视觉跟踪基准上的实验表明，该方法在跟踪精度和速度上都达到了最高水平，显示了递归结构在视觉跟踪中的巨大潜力.
2020-02-07 cs.CV
Siamese Cascaded Region Proposal Networks for Real-Time Visual Tracking
Temple University（天普大学）
区域建议网络（RPN）最近已与暹罗网络相结合，用于跟踪，并显示出良好的精度和高效率。然而，以前提出的一个阶段的暹罗RPN跟踪退化存在类似的干扰和大规模的变化。针对这些问题，我们提出了一个多阶段的跟踪框架，暹罗级联RPN（C-RPN），它由一系列的RPN级联从深层次的高层到浅层次的低层次的暹罗网络。与以前的解决方案相比，C-RPN有几个优点：（1）每个RPN都是使用前一阶段RPN的输出进行训练的。这样的过程刺激了硬负采样，导致更平衡的训练样本。因此，RPN在区分困难背景（即，类似的干扰物）。(2)通过针对每个RPN的新颖的特征传递块（FTB）充分利用多级特征，进一步使用高级语义和低级空间信息来提高C-RPN的可辨别性。(3)通过多步回归，C-RPN利用前一阶段调整的锚框逐步细化每个RPN中目标的位置和形状，使定位更加准确。C-RPN使用多任务损失函数进行端到端训练。在推理中，C-RPN被部署为实时的【形】跟踪，而没有任何时间适应。在OTB-2013、OTB-2015、VOT-2016、VOT-2017、LaSOT和TrackingNet上进行的大量实验中，C-RPN始终实现最先进的结果并实时的【形】运行。
2018-12-14 cs.CV
OSP2B: One-Stage Point-to-Box Network for 3D Siamese Tracking
Hangzhou Dianzi University（杭州电子科技大学）；The University of Sydney（悉尼大学）
提出单阶段点到框网络OSP2B，同步生成3D提议与中心度分数，采用中心感知焦点损失和二元分类器缓解任务错位，在KITTI和Waymo数据集上实现领先性能与实时速度。
2023-05-09 cs.CV
Efficient Version-Space Reduction for Visual Tracking
Kyoto University（京都大学）
辨别性跟踪器采用分类方法将目标与其背景分离。为了应对目标形状和外观的变化，分类器与目标和背景的不同样本在线更新。样本选择、标记和更新分类器容易产生各种误差源，使跟踪器漂移。我们引入了一个有效的版本空间收缩策略，以减少标记错误，并提高其采样策略，通过测量的不确定性的跟踪器的样本。所提出的跟踪器，利用代表不同假设的分类器的集合，使用提升来使它们多样化，以提供更大和更一致的版本空间覆盖范围，并调整分类器的权重。所提出的系统通过促进短记忆集成与长记忆预言机的共同训练来调整模型更新速率。所提出的跟踪器优于国家的最先进的跟踪器在不同的序列轴承各种跟踪的挑战。
2017-04-02 cs.CV
Deep Attentive Tracking via Reciprocative Learning
BUPT（北京邮电大学）；Tencent AI Lab（腾讯人工智能实验室）；SJTU（上海交通大学）；UC Merced（加州大学默塞德分校）
视觉注意，来自认知神经科学，促进人类对感官数据的最相关子集的感知。最近，已经做出了重大努力来利用注意力方案来推进计算机视觉系统。对于视觉跟踪，跟踪经历大的外观变化的目标对象通常是具有挑战性的。注意力地图通过选择性地关注时间鲁棒特征来促进视觉跟踪。现有的检测跟踪方法主要使用额外的注意力模块来生成特征权重，因为分类器没有配备这样的机制。在本文中，我们提出了一个互惠的学习算法，利用视觉注意训练深度分类器。该算法包括前馈和后向操作，以产生注意力地图，这作为正则化条款加上原来的分类损失函数的训练。深度分类器学习关注对外观变化鲁棒的目标对象的区域。大规模基准数据集上的大量实验表明，所提出的注意跟踪方法对最先进的方法表现良好。
2018-10-15 cs.CV
Instance Significance Guided Multiple Instance Boosting for Robust Visual Tracking
School of Computer Science, Beijing Institute of Technology（北京理工大学计算机学院）；School of Information Science and Technology, Lingnan Normal University（岭南师范学院信息科学与技术学院）；Beijing Laboratory of Intelligent Information Technology（北京智能信息技术实验室）
多实例学习（MIL）最近提供了一个有吸引力的方法来减轻漂移问题的视觉跟踪。跟踪检测框架后，开发了一种在线MILBoost方法，通过最大化袋的可能性，依次选择弱分类器。在本文中，我们扩展了这个想法，将实例的重要性估计到在线MILBoost框架。首先，我们不是平等地对待所有实例，而是将每个实例与代表其对袋可能性的贡献的显著性系数相关联。系数由一个简单的贝叶斯公式估计，该公式联合考虑了几个标准MILBoost分类器的预测。接下来，我们遵循在线提升框架，并提出了一个新的弱分类器选择标准。具有挑战性的公共数据集的实验表明，所提出的方法优于现有的MIL和boosting的跟踪器。
2020-03-17 cs.CV
GLT-T++: Global-Local Transformer for 3D Siamese Tracking with Ranking Loss
本文提出GLT-T与增强版GLT-T++，通过全局-局部Transformer增强种子点投票，并以目标感知和定位感知排序损失优化3D建议排序，在点云单目标跟踪上达到领先精度且保持实时速度。
2023-12-17 cs.CV
Learning Target-oriented Dual Attention for Robust RGB-T Tracking
Anhui University（安徽大学）
RGB-热目标跟踪尝试使用互补的视觉和热红外数据来定位目标对象。现有的RGB-T跟踪器通过鲁棒的特征表示学习或自适应模态加权来融合不同的模态。然而，如何整合双注意力机制来进行视觉跟踪，仍是一个尚未被研究的课题。在本文中，我们提出了两个视觉注意力机制鲁棒RGB-T目标跟踪。具体而言，通过利用RGB和热数据的共同视觉注意来训练深度分类器来实现局部注意。我们还介绍了全局注意力，这是一个多模态目标驱动的注意力估计网络。它可以为分类器提供全局建议以及从先前跟踪结果中提取的局部建议。在两个RGB-T基准数据集上的实验验证了该算法的有效性。
2019-08-12 cs.CV
MGCA-Net: Multi-Grained Category-Aware Network for Open-Vocabulary Temporal Action Localization
School of Computer Science and Information Engineering, Hefei University of Technology（合肥工业大学计算机科学与信息工程学院）
提出MGCA-Net解决开放词汇表时间动作定位问题，含定位器、动作存在预测器、传统分类器和粗细分类器，通过多粒度类别感知提升定位性能，在多个基准测试中达最优。
2026-07-07 cs.CV
GUSOT: Green and Unsupervised Single Object Tracking for Long Video Sequences
University of Southern California（南加州大学）；Army Research Laboratory（陆军研究实验室）
近年来，依赖于深度学习技术的有监督和无监督深度跟踪器很受欢迎。然而，它们需要高计算复杂性和高存储器成本。提出了一种绿色无监督单目标跟踪器GUSOT，用于资源受限环境下的长视频目标跟踪。GUSOT基于基线跟踪器UHP-SOT++构建，适用于短期跟踪，GUSOT包含两个额外的新模块：1）丢失的对象恢复，2）基于颜色显着性的形状建议。它们分别有助于解决跟踪丢失问题和提供更灵活的对象建议。因此，它们使GUSOT能够在长期内实现更高的跟踪精度。我们在具有长视频序列的大规模数据集LaSOT上进行了实验，并表明GUSOT提供了一种轻量级的高性能跟踪解决方案，可以在移动和边缘计算平台中找到应用。
2022-07-15 cs.CV
No Blind Spots: Full-Surround Multi-Object Tracking for Autonomous Vehicles using Cameras & LiDARs
UC San Diego（加州大学圣地亚哥分校）
在线多目标跟踪（MOT）对于自主和高度自动化车辆的高级空间推理和路径规划至关重要。在本文中，我们提出了一个模块化的框架，用于跟踪多个对象（车辆），能够接受对象的建议，从不同的传感器模态（视觉和范围）和可变数量的传感器，产生连续的对象跟踪。这项工作是MDP框架MOT的推广，有一些关键的扩展-首先，我们跟踪对象跨多个摄像机和跨不同的传感器模态。这是通过准确有效地融合传感器之间的对象建议来完成的。第二，直接在现实世界中跟踪感兴趣的对象（目标）。这与传统的技术不同，传统的技术只是在图像平面中跟踪对象。这样做允许轨迹容易地被自主智能体用于导航和相关任务。为了验证我们的方法的有效性，我们测试它在现实世界中的高速公路数据收集从一个高度传感器化的测试平台能够捕捉全环绕信息。我们证明，我们的框架是非常适合跟踪对象通过整个演习周围的自我车辆，其中一些需要几分钟以上才能完成。我们还利用我们的方法的模块化，通过比较包括/排除不同的传感器，改变传感器的总数，以及最终跟踪结果的对象建议的质量的影响。
2019-02-19 cs.CV
Spot On: Action Localization from Pointly-Supervised Proposals
University of Amsterdam（阿姆斯特丹大学）；Delft University of Technology（代尔夫特理工大学）
我们致力于视频中动作的时空定位。最先进的技术依赖于测试时的行动建议，并使用经过仔细注释的框注释训练的分类器选择最好的一个。在视频中注释动作框是繁琐、乏味且容易出错的。而不是注释框，我们建议在视频中的动作只与帧的稀疏子集上的点。我们引入了行动建议和点之间的重叠度量，并将它们全部纳入非凸多实例学习优化的目标中。对UCF Sports和UCF 101数据集的实验评估表明，（i）时空建议可用于训练分类器，同时保持本地化性能，（ii）点注释产生与框注释相当的结果，同时注释速度明显更快，（iii）在最小量的监督下，我们的方法与最先进的方法相比具有竞争力。我们在Hollywood2的训练和测试视频上引入时空动作注释，从而产生Hollywood2Tubes，其可在www.example.com获得http://tinyurl.com/hollywood2tubes。
2016-07-25 cs.CV
F-Siamese Tracker: A Frustum-based Double Siamese Network for 3D Single Object Tracking
Zhejiang University（浙江大学）；Huawei Noah’s Ark lab（华为诺亚方舟实验室）
本文提出了一种新的单目标跟踪方法F-Siamese Tracker，它的突出特点是更鲁棒地融合了二维和三维信息，减少了冗余的搜索空间。3D单目标跟踪中的主要挑战是如何减少搜索空间以生成合适的3D候选。首先，我们的方法不是仅仅依赖于3D提案，而是利用应用于RGB图像的Siamese网络来产生2D区域提案，然后将其挤出到3D视锥中。此外，我们对3D平截头体进行在线精度验证，以生成精确的点云搜索空间，该空间可以直接嵌入到现有的3D跟踪骨干中。为了提高效率，我们的方法通过减少搜索空间，以较少的候选人获得更好的性能。此外，由于引入了在线精度验证，对于偶尔出现的强遮挡或非常稀疏的点，即使在2D暹罗跟踪器丢失目标的情况下，我们的方法仍然可以达到很高的精度。这种方法使我们能够在稀疏的室外数据集（KITTI跟踪）上设置一个新的最先进的3D单对象跟踪。此外，在2D单目标跟踪上的实验表明，我们的框架也提高了2D跟踪性能。
2020-10-22 cs.CV
3D-SiamRPN: An End-to-End Learning Method for Real-Time 3D Single Object Tracking Using Raw Point Cloud
Northeastern University（东北大学）
三维单目标跟踪是自主跟随机器人的一个关键问题，其中机器人应该鲁棒地跟踪目标并精确定位目标以实现高效跟随。在本文中，我们提出了一种三维跟踪方法称为3D-SiamRPN网络跟踪一个单一的目标对象，通过使用原始的三维点云数据。该网络由两个子网组成。第一个子网络为特征嵌入子网络，用于点云特征提取和融合。在这个子网络中，我们首先使用PointNet++从模板和搜索分支中提取点云的特征。然后，为了融合两个分支中的特征信息并获得它们的相似性，我们提出了两个互相关模块，分别命名为Pointcloud-wise和Point-wise。第二个子网络是区域建议网络（RPN），用于根据互相关模块的融合特征得到目标物体的最终三维限界框。在这个子网络中，我们利用区域建议子网络的回归和分类分支来获得建议和分数，从而得到目标对象的最终三维限界框。在KITTI数据集上的实验结果表明，该方法在成功率和精确度上都优于现有方法，并且能够以20.8 FPS的速度实时的【形】运行。此外，在H3 D数据集上的实验结果表明，我们的方法也具有良好的泛化能力，可以在新的场景中实现良好的跟踪性能，而无需重新训练。
2021-08-12 cs.CV
SiamCAR: Siamese Fully Convolutional Classification and Regression for Visual Tracking
College of Computer Science and Technology（计算机科学与技术学院）；Zhejiang University of Technology（浙江工业大学）
通过将视觉跟踪任务分解为像素类别的分类和该像素处对象限界框的回归两个子问题，提出了一种新的全卷积Siamese网络，以逐像素的方式解决端到端的视觉跟踪问题。SiamCAR框架由两个简单的子网络组成：一个用于特征提取的Siamese子网络和一个用于限界框预测的分类回归子网络。我们的框架以ResNet-50为骨干。与Siamese-RPN，SiamRPN++和SPM等基于区域建议的最先进的跟踪器不同，所提出的框架既没有建议也没有锚。因此，我们能够避免棘手的超参数调整锚，并减少人为干预。拟议的框架简单、整洁和有效。在GOT-10 K、LaSOT、UAV 123和OTB-50等许多具有挑战性的基准上进行了广泛的实验和与最先进的跟踪器的比较。没有花里胡哨，我们的SiamCAR以相当快的实时速度实现了领先的性能。
2019-12-13 cs.CV
GLT-T: Global-Local Transformer Voting for 3D Single Object Tracking in Point Clouds
Hangzhou Dianzi University（杭州电子科技大学）；The University of Sydney（悉尼大学）
当前的3D单目标跟踪方法通常基于VoteNet，一种3D区域提议网络。尽管取得了成功，但在VoteNet中使用单个种子点特征作为偏移学习的线索会阻止生成高质量的3D提案。此外，不同重要性的种子点在投票过程中被平等对待，加剧了这一缺陷。为了解决这些问题，我们提出了一种新的全局-局部Transformer投票方案，以提供更多的信息线索，并引导模型更多地关注潜在的种子点，促进高质量的3D提案的生成。从技术上讲，采用全局-局部Transformer（GLT）模块将对象感知先验和块感知先验集成到种子点特征中，以有效地形成种子点几何位置的强特征表示，从而为偏移学习提供更鲁棒和准确的线索。随后，一个简单而有效的训练策略是设计训练的GLT模块。我们开发了一个重要性预测分支来学习种子点的潜在重要性，并将输出权重向量作为训练约束项。通过将上述组件结合在一起，我们表现出一个优越的跟踪方法GLT-T。在具有挑战性的KITTI和NuScenes基准上进行的大量实验表明，GLT-T在3D单目标跟踪任务中达到了最先进的性能。此外，进一步的消融研究表明，提出的全局-局部Transformer投票方案的优势，比原来的VoteNet。代码和模型将在https://github.com/haooozi/GLT-T上提供。
2022-11-20 cs.CV
Long-term Correlation Tracking using Multi-layer Hybrid Features in Sparse and Dense Environments
Heriot Watt University（赫瑞-瓦特大学）；Sheffield Hallam University（谢菲尔德哈勒姆大学）
在稀疏和拥挤的环境中跟踪感兴趣的目标是一个具有挑战性的问题，尚未成功地解决在文献中。在本文中，我们提出了一种新的长期视觉跟踪算法，学习判别相关滤波器和使用在线分类器，跟踪目标的兴趣在稀疏和拥挤的视频序列。首先，我们使用卷积神经网络（CNN）和传统手工特征的多层混合来学习翻译相关滤波器。我们结合了较低的卷积层（保留更多空间细节以进行精确定位）和较高的卷积层（编码语义信息以处理外观变化）的优势，然后将这些与定向梯度直方图（HOG）和颜色命名传统特征相结合。其次，我们包括一个重新检测模块，用于克服由于长期遮挡而导致的跟踪失败，方法是使用手工设计的功能在最有信心的帧上训练增量（在线）SVM。仅当对象的相关响应低于某个预定义阈值时，才激活该重新检测模块。这生成高分检测建议，使用高斯混合概率假设密度（GM-PHD）滤波器对高分检测建议进行时间滤波，以通过去除作为杂波的其他检测建议来找到具有最大权重的检测建议作为目标状态估计。最后，我们学习了一个尺度相关滤波器，用于通过使用HOG特征在估计或重新检测的位置周围构建目标金字塔来估计目标的尺度。我们在稀疏和密集数据集上进行了广泛的实验，结果表明我们的方法显着优于最先进的方法。
2019-02-03 cs.CV
The 1st-place Solution for ECCV 2022 Multiple People Tracking in Group Dance Challenge
MEGVII Technology（旷视科技）；Shanghai Jiao Tong University（上海交通大学）
我们提出了我们的第一位解决方案，以集体舞多人跟踪挑战。根据MOTR：使用Transformer的端到端多对象跟踪，我们探索：1）检测查询作为锚点，2）跟踪作为查询去噪，3）在CrowdHuman数据集生成的伪视频片段上进行联合训练，以及4）使用YOLOX检测建议进行检测查询的锚点初始化。我们的方法在DanceTrack测试集上实现了73.4%HOTA，超过了第二名的解决方案+6.8%HOTA。
2022-10-27 cs.CV
Robust Visual Tracking via Hierarchical Convolutional Features
Shanghai Jiao Tong University（上海交通大学）；Australian Centre for Robotic Vision, The University of Adelaide（阿德莱德大学澳大利亚机器人视觉中心）；Virginia Tech（弗吉尼亚理工学院暨州立大学）；University of California, Merced（加州大学默塞德分校）
在本文中，我们提出利用深度卷积神经网络的丰富层次特征来提高视觉跟踪的准确性和鲁棒性。在对象识别数据集上训练的深度神经网络由多个卷积层组成。这些层用不同的抽象级别对目标外观进行编码。例如，最后一个卷积层的输出对目标的语义信息进行编码，并且这种表示对于显著的外观变化是不变的。然而，它们的空间分辨率太粗糙，无法精确定位目标。相比之下，早期卷积层的特征提供了更精确的定位，但对外观变化的不稳定性较低。我们将卷积层的分层特征解释为图像金字塔表示的非线性对应物，并明确利用这些多层次的抽象来表示目标对象。具体来说，我们在每个卷积层的输出上学习自适应相关滤波器来编码目标外观。我们推断每一层的最大响应，以粗到细的方式定位目标。为了进一步处理尺度估计和重新检测目标对象的问题，从跟踪失败所造成的严重遮挡或out-of-the-view运动，我们保守地学习另一个相关滤波器，保持目标外观的长期记忆，作为一个判别分类器。我们将分类器应用于两种类型的对象建议：（1）具有小步长并且紧密围绕估计位置进行尺度估计的建议;以及（2）具有大步长并且跨越整个图像进行目标重新检测的建议。大规模基准数据集上的实验结果表明，该算法对最先进的跟踪方法表现良好。
2018-08-11 cs.CV
P2B: Point-to-Box Network for 3D Object Tracking in Point Clouds
Huazhong University of Science and Technology（华中科技大学）
针对点云中的三维目标跟踪问题，提出了一种端到端学习的点到盒网络P2B。我们的主要思想是首先定位潜在的目标中心在3D搜索区域嵌入目标信息。然后，点驱动的三维目标的建议和验证联合执行。通过这种方式，可以避免耗时的3D穷举搜索。具体地说，我们首先从模板和搜索区域的点云分别采样种子。然后，我们执行置换不变的特征增强嵌入目标线索从模板到搜索区域种子，并表示它们与目标特定的功能。因此，增强的搜索区域种子通过Hough投票回归潜在的目标中心。这些中心进一步加强了种子方面的目标得分。最后，每个中心聚类其邻居，以利用集合功率进行联合3D目标建议和验证。我们应用PointNet++作为我们的骨干，在KITTI跟踪数据集上的实验证明了P2B的优越性（比最先进的提高了约10%）。请注意，P2B可以在单个NVIDIA 1080Ti GPU上以40FPS运行。我们的代码和模型可以在https://github.com/HaozheQi/P2B上找到。
2020-05-28 cs.CV
Visual Tracking via Shallow and Deep Collaborative Model
Dalian University of Technology（大连理工大学）
在本文中，我们提出了一个强大的跟踪方法的基础上的生成模型和判别式分类器的合作，其中的特征分别由浅和深架构学习。对于生成模型，我们引入了一种基于块的增量学习方案，其中构造局部二值掩模来处理遮挡。该方法综合了局部面片与其对应子空间之间的相似度，建立了更精确的全局外观模型。在判别模型中，我们利用深度学习架构的进步来学习对背景杂波和前景外观变化都具有鲁棒性的通用特征。为此，我们首先从辅助视频序列中构建一个有区别的训练集。然后在该训练集上离线训练深度分类神经网络。通过在线微调，分层特征提取器和分类器都可以适应目标的外观变化，实现有效的在线跟踪。这两个模型的协作在处理遮挡和目标外观变化这两个视觉跟踪中矛盾的挑战性因素方面取得了很好的平衡。定量和定性评估对几个国家的最先进的算法上具有挑战性的图像序列证明了所提出的跟踪器的准确性和鲁棒性。
2016-07-27 cs.CV
Ranking-Based Siamese Visual Tracking
University of Science and Technology of China（中国科学技术大学）；Hefei Comprehensive National Science Center（合肥综合性国家科学中心）
目前基于暹罗的跟踪器主要将视觉跟踪分为两个独立的子任务，包括分类和定位。它们通过单独处理每个样本来学习分类子网络，忽略了正负样本之间的关系。此外，这样的跟踪范例仅采用用于最终预测的建议的分类置信度，这可能产生分类和定位之间的不对准。为了解决这些问题，本文提出了一种基于排序的优化算法，以探索不同的建议之间的关系。为此，我们引入了两个排名损失，包括分类损失和IoU引导损失，作为优化约束。分类排序损失可以确保阳性样本的排序高于硬阴性样本，即，干扰物，使得跟踪器可以成功地选择前景样本而不被干扰物愚弄。IoU引导的排名损失旨在将分类置信度分数与阳性样本的相应定位预测的交集（IoU）对齐，从而使定位良好的预测能够由高分类置信度表示。具体来说，建议的两个排名损失是兼容的大多数暹罗跟踪器，并不会产生额外的计算推理。在OTB 100、UAV 123、TC 128、VOT 2016、NFS 30、GOT-10 k和LaSOT等7个跟踪基准上进行了大量实验，验证了基于排序的优化算法的有效性。代码和原始结果可在https://github.com/sansanfree/RBO上获得。
2022-05-24 cs.CV
Video object tracking based on YOLOv7 and DeepSORT
Northwestern Polytechnical University（西北工业大学）
多目标跟踪（MOT）是计算机视觉领域的一项重要技术，在自动驾驶、智能监控、行为识别等方向有着广泛的应用。在当前流行的基于深度学习的MOT方法中，基于检测的跟踪（DBT）在工业中应用最为广泛，其性能取决于其目标检测网络。目前性能较好、应用最广泛的DBT算法是YOLOv 5-DeepSORT。受YOLOv 5-DeepSORT的启发，结合在目标检测方面表现较好的YOLOv 7网络的提出，将YOLOv 7作为目标检测部分应用到DeepSORT中，提出了YOLOv 7-DeepSORT。经过实验评估，与之前的YOLOv 5-DeepSORT相比，YOLOv 7-DeepSORT在跟踪精度上表现更好。
2022-07-25 cs.CV
Domain Adaptive SiamRPN++ for Object Tracking in the Wild
Chongqing University（重庆大学）
受益于大规模的训练数据，基于Siamese的目标跟踪的最新进展在正常序列上取得了令人信服的结果。而基于Siamese的跟踪器假设训练和测试数据遵循相同的分布。假设有一组雾或下雨的测试序列，不能保证在正常图像上训练的跟踪器在属于其他域的数据上表现良好。训练和测试数据之间的域转移问题已经在目标检测和语义分割领域中讨论过，然而，还没有针对视觉跟踪进行研究。为此，在SiamRPN++的基础上，我们引入了一种域自适应SiamRPN++，即DASiamRPN++，以提高跟踪器的跨域可移植性和鲁棒性。受A-距离理论的启发，我们提出了两个领域自适应模块：像素领域自适应（PDA）和语义领域自适应（SDA）。PDA模块对齐模板和搜索区域图像的特征图，以消除由天气、光照等引起的像素级域偏移。SDA模块对齐跟踪目标外观的特征表示，以消除语义级域偏移。PDA和SDA模块通过以对抗训练方式学习域分类器来减少域差异。域分类器强制网络学习域不变特征表示。在两个不同领域的标准数据集上进行了大量的实验，包括合成雾和TIR序列，这表明了所提出的跟踪器的可移植性和领域适应性。
2021-06-15 cs.CV
A Novel Low-cost FPGA-based Real-time Object Tracking System
Shenzhen Graduate School, Harbin Institute of Technology（哈尔滨工业大学深圳研究生院）；Sanechips Technology Co., Ltd（中兴微电子技术有限公司）
在目前的视觉目标跟踪系统中，基于CPU或GPU的视觉目标跟踪系统具有高计算成本并且消耗令人望而却步的量的功率。因此，在本文中，为了减少Camshift算法的计算负担，我们提出了一种新的视觉目标跟踪算法，利用二进制分类器和卡尔曼预测器的属性。此外，我们提出了一个低成本的基于FPGA的实时的【形】目标跟踪硬件架构。OTB基准测试结果表明，该系统具有极强的实时的【形】稳定性和鲁棒性。评估结果表明，我们的算法的准确率约为48%，平均速度约为每秒309帧。
2018-04-22 cs.CV
Self-supervised Object Tracking with Cycle-consistent Siamese Networks
Hong Kong University of Science and Technology（香港科技大学）
与监督学习相比，用于视觉对象跟踪的自监督学习具有有价值的优点，例如不需要费力的人工注释和在线训练。在这项工作中，我们利用一个端到端的暹罗网络在一个周期一致的自我监督框架的对象跟踪。自我监督可以通过利用前向和后向跟踪中的周期一致性来执行。为了更好地利用深度网络的端到端学习，我们建议在我们的跟踪框架中集成暹罗区域建议和掩码回归网络，以便在不对每帧进行注释的情况下学习更快，更准确的跟踪器。在用于视觉对象跟踪的VOT数据集和用于视频对象分割传播的DAVIS数据集上的实验表明，我们的方法在这两个任务上都优于以前的方法。
2020-08-03 cs.CV
CAST: Character labeling in Animation using Self-supervision by Tracking
Reichman University（赖希曼大学）；Microsoft Corporation（微软公司）
与现实生活中的图像和视频相比，卡通和动画领域的视频具有非常不同的特征。此外，这个域在样式上具有很大的可变性。当前的计算机视觉和深度学习解决方案通常在动画内容上失败，因为它们是在自然图像上训练的。在本文中，我们提出了一种方法来完善适合于特定的动画内容的语义表示。我们首先在一组大规模的动画视频上训练一个神经网络，并使用到深度特征的映射作为嵌入空间。接下来，我们使用自我监督来改进任何特定动画风格的表示，通过收集这种风格的动画角色的许多示例，使用多对象跟踪。这些示例用于定义对比损失训练的三元组。细化的语义空间允许更好地聚类动画角色，即使他们有不同的表现形式。使用这个空间，我们可以在动画视频中构建角色的字典，并为特定的风格内容定义专门的分类器（例如，特定动画系列中的角色），用户只需付出很少的努力。这些分类器是自动标记动画视频中的角色的基础。我们目前的结果在各种动画风格的字符集合。
2022-01-19 cs.CV
Lost and Found: Overcoming Detector Failures in Online Multi-Object Tracking
Fondazione Bruno Kessler（布鲁诺·凯塞勒基金会）；CiTIUS, Univ. of Santiago de Compostela（西班牙圣地亚哥-德孔波斯特拉大学CiTIUS研究中心）；Inria Grenoble, Univ. Grenoble Alpes（法国国家信息与自动化研究所格勒诺布尔分部、格勒诺布尔阿尔卑斯大学）
本文提出兼容任意在线 TbD 系统的 BUSCA 框架，利用邻近轨迹、运动、token 与决策 Transformer 恢复检测器漏检目标，在五种跟踪器和三个基准上实现一致提升。
2024-07-16 cs.CV
Real-time 3D Single Object Tracking with Transformer
Northeastern University（东北大学）；Science and Technology on Near-Surface Detection Laboratory（近地面探测技术重点实验室）
基于LiDAR的3D单目标跟踪是机器人和自动驾驶领域的一个具有挑战性的问题。目前，现有的方法通常遭受的问题，在长距离的对象往往是非常稀疏或部分闭塞的点云，这使得由模型提取的特征模糊。模糊特征会给目标定位带来困难，最终导致跟踪效果不佳。为了解决这个问题，我们利用强大的Transformer架构，并提出了一个点跟踪-Transformer（PTT）模块的点云为基础的3D单目标跟踪任务。具体而言，PTT模块通过计算注意力权重生成微调的注意力特征，引导跟踪器聚焦于目标的重要特征，提高复杂场景下的跟踪能力。为了评估我们的PTT模块，我们将PTT嵌入到主流方法中，并构建了一个新的3D SOT跟踪器PTT-Net。在PTT-Net中，我们将PTT分别嵌入到投票阶段和提案生成阶段。投票阶段的PTT模块可以模拟点块之间的交互，学习上下文相关的特征。同时，在建议生成阶段，PTT模块可以捕获对象和背景之间的上下文信息。我们在KITTI和NuScenes数据集上评估我们的PTT-Net。实验结果证明了PTT模块的有效性和PTT-Net的优越性，在汽车类别中超过了基线的明显幅度约10%。同时，我们的方法也有一个显着的性能改善稀疏场景。一般来说，Transformer和跟踪管道的组合使我们的PTT-Net能够在两个数据集上实现最先进的性能。此外，PTT-Net可以在NVIDIA 1080Ti GPU上以40 …
2022-09-02 cs.CV
Siamese Natural Language Tracker: Tracking by Natural Language Descriptions with Siamese Trackers
Boston University（波士顿大学）；University of Washington（华盛顿大学）；Horizon Robotics（地平线机器人）
我们提出了一种新颖的连体自然语言跟踪器（SNLT），它将视觉跟踪的进步带到了通过自然语言（NL）描述任务进行的跟踪中。建议的SNLT适用于各种暹罗跟踪器，为NL任务的跟踪提供了一类新的基线，并有望从暹罗跟踪器的进步中获得未来的改进。暹罗自然语言区域建议网络（SNL-RPN）的精心设计的架构，连同视觉和语言模态的动态聚合，被引入到执行NL任务的跟踪。在NL注释的跟踪基准上的实证结果表明，所提出的SNLT将暹罗跟踪器提高了3到7个百分点，速度略有折衷。拟议的SNLT优于迄今为止所有的NL跟踪器，并且在LaSOT基准测试中具有最先进的实时跟踪器的竞争力，同时在单个GPU上以每秒50帧的速度运行。
2021-04-05 cs.CV
MeMOT: Multi-Object Tracking with Memory
AWS AI Labs（AWS人工智能实验室）；University of Washington（华盛顿大学）
我们提出了一个在线跟踪算法，执行目标检测和数据关联下一个共同的框架，能够链接对象后，很长一段时间跨度。这是通过保存一个大的时空存储器来存储被跟踪对象的身份嵌入，并通过自适应地引用和聚合有用的信息，从内存中的需要来实现。我们的模型，称为MeMOT，由三个主要模块组成，都是基于transformer的：1）假设生成，在当前视频帧中产生对象建议; 2）内存编码，从内存中提取每个跟踪对象的核心信息;和3）内存解码，同时解决多对象跟踪的目标检测和数据关联任务。在广泛采用的MOT基准数据集上进行评估时，MeMOT观察到非常有竞争力的性能。
2022-03-31 cs.CV
Instance Tracking in 3D Scenes from Egocentric Videos
UC Irvine（加利福尼亚大学欧文分校）；Texas A&M University（得克萨斯农工大学）；Institute of Collaborative Innovation（协同创新研究院）；University of Macau（澳门大学）
本文提出IT3DEgo基准及评估协议，并设计利用预训练分割检测模型与三维异我中心坐标的实例跟踪方法，在第一人称视频中显著优于单目标跟踪方法。
2024-06-07 cs.CV
Cannot See the Forest for the Trees: Aggregating Multiple Viewpoints to Better Classify Objects in Videos
Yonsei University（延世大学）；Adobe Research（奥多比研究院）
最近，长尾识别和目标跟踪都取得了很大的进展。TAO基准测试提出了两者的混合、长尾目标跟踪，以进一步反映现实世界的方面。迄今为止，现有的解决方案已经采用了在长尾分布中显示鲁棒性的检测器，其导出每帧结果。然后，他们使用跟踪算法，将时间独立的检测结合起来，以最终确定tracklet。然而，由于这些方法没有考虑场景的时间变化，视频中不一致的分类结果导致整体性能低下。在本文中，我们提出了一套分类器，提高分类轨迹的准确性，通过聚合信息，从多个观点包含在一个轨迹。为了应对视频中的稀疏注释，我们进一步提出了可以最大限度地提高数据效率的tracklet的增强。集合分类器是即插即用现有的对象跟踪器，并大大提高了长尾对象跟踪的性能。通过简单地将我们的方法附加到ResNet-101之上的QDTrack，我们在TAO验证集和测试集上分别实现了19.9%和15.7%的最新TrackAP_50。
2022-06-05 cs.CV
Temporal Action Proposal Generation with Background Constraint
Baidu Inc（百度公司）
时间动作建议生成（TAPG）是一项具有挑战性的任务，旨在定位未修剪的视频与时间边界的动作实例。为了评估提案的置信度，现有的工作通常预测提案的动作得分，这些提案由提案和地面事实之间的时间交集（tIoU）监督。在本文中，我们创新性地提出了一个通用的辅助背景约束的思想，以进一步抑制低质量的建议，利用背景预测得分来限制建议的信心。以这种方式，背景约束概念可以容易地即插即用到现有的TAPG方法中（例如，BMN，Gynthia）。从这个角度出发，我们提出了背景约束网络（BCNet），以进一步利用丰富的信息的行动和背景。具体来说，我们引入了一个可靠的置信度评估，模型之间的不一致性动作和背景的注意力机制在帧和剪辑水平的背景交互模块。广泛的实验进行了两个流行的基准，即，ActivityNet-1.3和THUMOS 14。结果表明，我们的方法优于最先进的方法。配备现有的动作分类器，我们的方法也取得了显着的性能上的时间动作定位任务。
2021-12-15 cs.CV
Learning a Robust Society of Tracking Parts
Bitdefender；University of Bucharest（布加勒斯特大学）；University Politehnica of Bucharest（布加勒斯特理工大学）
目标跟踪是计算机视觉中的一项重要任务，从该领域的早期就开始研究。能够跟踪视频序列中经历不同变换的对象，包括尺度、照明、形状和遮挡的变化，使得问题变得非常困难。真正的挑战之一是跟踪对象外观的变化，而不是向背景杂波漂移。与以往的方法不同，我们获得了对背景的鲁棒性与跟踪器模型，它是由许多不同的部分。它们是在不同尺度和位置响应的分类器。跟踪系统作为一个由各个部分组成的社会发挥作用，每个部分都有自己的作用和可信度。可靠的分类器决定跟踪器的下一步行动，而新来者在获得参与决策过程所需的可靠性之前首先受到监视。一些失去一致性的部分被拒绝，而另一些在足够长的时间内表现出一致性的部分则被提升为永久角色。整个跟踪系统也可能经历不同的阶段，从通常的正常运作到协议薄弱甚至危机的状态。跟踪器系统在每个状态下具有不同的管理规则。真正将我们的工作与其他人区分开来的不一定是单个跟踪部件的强度，而是它们协同工作并建立强大而强大的组织的方式。我们还提出了一种有效的方法来同时学习多个跟踪部分，一个单一的封闭形式制定。我们在具有挑战性的OTB50数据集上获得了具有最先进性能的快速鲁棒跟踪器。
2017-05-26 cs.CV
DirectTracker: 3D Multi-Object Tracking Using Direct Image Alignment and Photometric Bundle Adjustment
Technical University of Munich (TUM)（慕尼黑工业大学（TUM））
直接方法在视觉里程计和SLAM的应用中表现出优异的性能。在这项工作中，我们建议利用其有效性的任务，三维多目标跟踪。为此，我们提出了DirectTracker，一个框架，有效地结合了直接的图像对齐的短期跟踪和滑动窗口光度束调整的三维目标检测。对象建议基于稀疏滑动窗口点云进行估计，并使用基于优化的成本函数进行进一步优化，该成本函数仔细结合了3D和2D线索，以确保图像和世界空间的一致性。我们建议使用最近引入的高阶跟踪精度（HOTA）度量和广义交集相似性度量来评估3D跟踪，以减轻传统使用交集的局限性。我们对汽车类的KITTI跟踪基准进行了评估，并在2D和3D跟踪对象方面表现出竞争力。
2022-09-29 cs.CV
Learning Spatio-Temporal Transformer for Visual Tracking
Dalian University of Technology（大连理工大学）；Microsoft Research Asia（微软亚洲研究院）
在本文中，我们提出了一种新的跟踪架构的编码器-解码器Transformer的关键组成部分。编码器对目标对象和搜索区域之间的全局时空特征依赖关系进行建模，而解码器学习查询嵌入以预测目标对象的空间位置。我们的方法将对象跟踪转换为直接的限界框预测问题，而不使用任何建议或预定义的锚。使用编码器-解码器Transformer，对象的预测仅使用简单的全卷积网络，直接估计对象的角点。整个方法是端到端的，不需要任何后处理步骤，如余弦窗口和限界框平滑，从而大大简化了现有的跟踪管道。该跟踪器在五个具有挑战性的短期和长期基准测试中实现了最先进的性能，同时以实时速度运行，比Siam R-CNN快6倍。代码和模型在https://github.com/researchmm/Stark上开源。
2021-03-31 cs.CV
Probabilistic Tracklet Scoring and Inpainting for Multiple Object Tracking
Australian National University（澳大利亚国立大学）；ACRV（澳大利亚机器人视觉中心）；Monash University（莫纳什大学）；CVLab-EPFL（洛桑联邦理工学院计算机视觉实验室）
尽管最近在通过联合检测和跟踪实现的多目标跟踪（MOT）方面取得了进展，但处理长遮挡仍然是一个挑战。这是由于这样的技术倾向于忽略长期运动信息的事实。在本文中，我们引入了一个概率自回归运动模型，直接测量它们的可能性来评分tracklet建议。这是通过训练我们的模型来学习自然轨迹的底层分布来实现的。因此，我们的模型不仅允许我们为现有的轨迹片段分配新的检测，而且还允许我们在对象丢失很长时间时对轨迹片段进行补绘，例如，由于遮挡，通过采样轨迹以填充由误检测引起的间隙。我们的实验证明了我们的方法在跟踪具有挑战性的序列中的对象方面的优越性;它在多个MOT基准数据集（包括MOT 16，MOT 17和MOT 20）上的大多数标准MOT指标中表现优于最先进的技术。
2020-12-10 cs.CV
Complementary Boundary Generator with Scale-Invariant Relation Modeling for Temporal Action Localization: Submission to ActivityNet Challenge 2020
SenseTime Group Limited（商汤集团有限公司）
本技术报告概述了我们在提交ActivityNet Challenge 2020任务1（\textbf{temporal action localization/detection}）时使用的解决方案。时间动作定位不仅要求精确定位动作实例的时间边界，还要求将未修剪的视频准确分类到特定的类别。在本文中，我们解耦的时间动作本地化任务分为两个阶段（即建议生成和分类），丰富的建议多样性，通过详尽的探索多个组件的影响，从不同的，但互补的角度。具体来说，为了生成高质量的建议，我们考虑了几个因素，包括视频特征编码器，建议生成器，建议的建议关系，规模不平衡，和合奏策略。最后，为了获得准确的检测，我们需要进一步训练一个最优的视频分类器来识别生成的建议。我们提出的方案实现了最先进的性能的时间动作定位任务与\textbf{42.26}平均mAP的挑战测试集。
2020-08-26 cs.CV
Learning Sparse 2D Temporal Adjacent Networks for Temporal Action Localization
University of Rochester（罗切斯特大学）；Microsoft Research（微软研究院）
在本报告中，我们介绍了2019年HACS时间动作本地化挑战赛的获胜者方法。时间动作定位是具有挑战性的，因为目标提案可能与未修剪视频中的几个其他候选提案相关。现有的方法不能很好地解决这一挑战，因为时间建议被单独考虑，它们的时间依赖性被忽略。为了解决这个问题，我们提出了稀疏的二维时间相邻网络来模拟候选提案之间的时间关系。这种方法是建立在最近提出的2D-TAN方法。2D-TAN中的采样策略引入了不平衡的上下文问题，其中短提议可以比长提议感知更多的上下文。因此，我们进一步提出了一种稀疏二维时间相邻网络（S-2D-TAN）。它能够为长提案提供更多的上下文信息，并进一步从中学习判别特征。通过将我们的S-2D-TAN与一个简单的动作分类器相结合，我们的方法在测试集上获得了23.49的mAP，在HACS挑战赛中获得了第一名。
2019-12-08 cs.CV
Deep Meta Learning for Real-Time Target-Aware Visual Tracking
Seoul National University（首尔国立大学）；Chung-Ang Univeristy（中央大学）
本文提出了一种基于Siamese匹配网络和元学习器网络的在线视觉跟踪框架，具有实时的【形】速度。传统的基于深度卷积特征的区别性视觉跟踪算法需要分类器或相关滤波器的连续重新训练，这涉及解决复杂的优化任务以适应目标对象的新外观。为了减轻这个复杂的过程中，我们提出的算法采用并利用元学习者网络，通过添加目标感知的特征空间，为匹配网络提供新的目标对象的外观信息。目标特定特征空间的参数从元学习者网络的单个前向传递立即提供。通过消除跟踪过程中不断求解复杂优化任务的必要性，实验结果表明，我们的算法执行在一个实时的【形】速度，同时保持与其他国家的最先进的跟踪算法的竞争力的性能。
2019-08-16 cs.CV
Describe and Attend to Track: Learning Natural Language guided Structural Representation and Visual Attention for Object Tracking
Anhui University（安徽大学）；University of Chinese Academy of Sciences（中国科学院大学）
检测跟踪框架需要一组正训练样本和负训练样本来学习鲁棒跟踪模型，以精确定位目标对象。然而，现有的跟踪模型大多独立处理不同的样本，而忽略了它们之间的关系信息。在本文中，我们提出了一种新的结构感知深度神经网络来克服这些限制。特别地，我们构造了一个图来表示训练样本之间的成对关系，并且另外将自然语言作为监督信息来鲁棒地学习特征表示和分类器。为了细化目标的状态，并重新跟踪目标时，它是从严重的遮挡和视野外回到视图，我们精心设计了一个新的子网络学习目标驱动的视觉注意力从视觉和自然语言线索的指导。在五个跟踪基准数据集上的实验验证了该方法的有效性。
2018-11-27 cs.CV
Tracking by Associating Clips
KAIST（韩国科学技术院）；Adobe Research（Adobe研究院）
通过检测的跟踪范例今天已经成为多目标跟踪的主要方法，并且通过检测每个帧中的对象，然后跨帧执行数据关联来工作。然而，它的顺序逐帧匹配特性从根本上受到视频中的中间中断的影响，例如对象遮挡、快速相机移动和突然的光线变化。此外，它通常忽略两个帧之外的时间信息以进行匹配。在本文中，我们研究了一种替代治疗对象关联剪辑明智的匹配。我们的新视角将单个长视频序列视为多个短剪辑，然后在剪辑内和剪辑之间执行跟踪。这种新方法的好处有两个方面。首先，我们的方法是强大的跟踪误差积累或传播，因为视频分块允许绕过中断的帧，和短剪辑跟踪避免了传统的容易出错的长期跟踪存储管理。第二，多帧信息在剪辑方式匹配期间被聚合，导致比当前帧方式匹配更准确的长距离轨迹关联。鉴于最先进的检测跟踪器，QDTrack，我们展示了如何跟踪性能提高我们的新的跟踪配方。我们在两个跟踪基准TAO和MOT17上评估我们的建议，这两个基准具有互补的特点和相互挑战。
2022-12-20 cs.CV
UGO: Unified Architecture for General Multi-Object Tracking by Segmentation
University of Ljubljana（卢布尔雅那大学）
UGO提出统一分割架构，结合示例条件检测与实例传播头，通过能量最小化整合和分层记忆，在GMOT基准和视频计数上达到新最优，并可与专业MOT方法竞争。
2026-09-30 cs.CV
Multi-person Articulated Tracking with Spatial and Temporal Embeddings
SenseTime Research（商汤科技研究院）；The University of Sydney（悉尼大学）；SenseTime Computer Vision Research Group（商汤科技计算机视觉研究组）
我们提出了一个统一的框架，多人姿态估计和跟踪。我们的框架包括两个主要组件，~ \ie ~SpatialNet和TemporalNet。SpatialNet在单个帧中完成身体部位检测和部位级数据关联，而TemporalNet将连续帧中的人体实例分组为轨迹。具体来说，除了身体部位检测热图，SpatialNet还预测身体部位关联的关键点嵌入（KE）和空间实例嵌入（SIE）。我们将分组过程建模为可区分的姿势引导训练（PGG）模块，以使整个部分检测和分组管道完全端到端可训练。TemporalNet将关键点的空间分组扩展到人类实例的时间分组。考虑到来自两个连续帧的人类建议，TemporalNet利用人类嵌入（HE）中编码的外观特征和时间实例嵌入（TIE）中体现的时间一致的几何特征进行鲁棒跟踪。大量的实验证明了我们提出的模型的有效性。值得注意的是，我们在ICCV'17 PoseTrack数据集上展示了比最先进的姿势跟踪方法的实质性改进，多对象跟踪准确性（MOTA）从65.4%提高到71.8%。
2019-03-21 cs.CV
Visual Tracking by TridentAlign and Context Embedding
Seoul National University（首尔大学）
基于暹罗网络的视觉跟踪方法的最新进展已经在许多跟踪基准上实现了高性能。然而，具有相似类别的目标对象和干扰对象的广泛尺度变化一直对视觉跟踪提出挑战。为了解决这些持续存在的问题，我们提出了新的TridentAlign和上下文嵌入模块的暹罗网络为基础的视觉跟踪方法。TridentAlign模块有助于适应广泛的尺度变化和目标的大变形，其中它将目标对象的特征表示汇集到多个空间维度中以形成特征金字塔，然后在区域建议阶段使用该特征金字塔。同时，上下文嵌入模块通过考虑对象之间的全局上下文信息来区分目标和干扰对象。上下文嵌入模块提取给定帧的全局上下文信息并将其嵌入到局部特征表示中，使得该信息可以在最终分类阶段中使用。在多个基准数据集上的实验结果表明，该跟踪器的性能与最先进的跟踪器相当，同时该跟踪器以实时速度运行。
2020-07-14 cs.CV
Deep Convolutional Likelihood Particle Filter for Visual Tracking
Marquette University（马凯特大学）
我们提出了一种新的卷积相关视觉跟踪器的粒子滤波器。我们的方法使用相关响应图来估计似然分布，并将这些似然作为建议密度来采样粒子。似然分布比基于目标转换分布的建议密度更可靠，因为相关响应图提供了关于目标位置的额外信息。此外，我们的粒子滤波器在似然分布中搜索多个模式，这提高了目标遮挡场景的性能，同时通过更有效地采样粒子来降低计算成本。在其他具有挑战性的场景中，例如涉及运动模糊的场景，其中仅存在一种模式，但可能需要更大的搜索区域，我们的粒子滤波器允许似然分布的方差增加。我们在Visual Tracker Benchmark v1.1（OTB100）上测试了我们的算法，我们的实验结果表明，我们的框架优于最先进的方法。
2020-06-11 cs.CV cs.LG eess.IV
Temporal Action Proposal Generation with Transformers
Harbin Institute of Technology（哈尔滨工业大学）；Baidu Inc.（百度公司）
Transformer网络在对长距离上下文信息进行建模方面是有效的，并且最近在自然语言处理领域中展示了示例性性能。传统的时间动作建议生成（TAPG）任务分为两个主要的子任务：边界预测和建议置信度预测，它们分别依赖于帧级依赖关系和建议级关系。为了捕获不同粒度级别上的依赖关系，本文直观地提出了一个带有原始Transformers的统一时态动作建议生成框架TAPG Transformer，它由边界Transformer和建议Transformer组成。具体而言，边界Transformer捕获长期的时间依赖性以预测精确的边界信息，并且建议Transformer学习丰富的建议间关系以进行可靠的置信度评估。在ActivityNet-1.3和THUMOS 14两个流行的基准上进行了大量的实验，结果表明TAPG Transformer优于最先进的方法。配备现有的动作分类器，我们的方法取得了显着的性能上的时间动作定位任务。将提供代码和模型。
2021-05-25 cs.CV cs.MM
