HarDNet-MSEG: A Simple Encoder-Decoder Polyp Segmentation Neural Network that Achieves over 0.9 Mean Dice and 86 FPS
National Tsing Hua University（国立清华大学）
我们提出了一种新的卷积神经网络称为HardNet-MSEG息肉分割。它在五个流行的数据集上实现了SOTA的准确性和推理速度。对于Kvasir-SEG，HardNet-MSEG在GeForce RTX 2080 Ti GPU上以86.7 FPS运行时提供0.904平均Dice。它由一个主干和一个解码器组成。骨干是一个低内存流量的CNN称为HardNet 68，它已成功地应用于各种CV任务，包括图像分类，对象检测，多对象跟踪和语义分割等解码器部分的灵感来自级联部分解码器，已知的快速和准确的显着目标检测。我们使用这五个流行的数据集评估了HardNet-MSEG。代码和所有实验细节都可以在Github上找到。https://github.com/james128333/HarDNet-MSEG
2021-01-20 cs.CV
UCT: Learning Unified Convolutional Networks for Real-time Visual Tracking
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Horizon Robotics, Inc.（地平线机器人公司）
基于卷积神经网络（CNN）的跟踪方法在最近的基准测试中表现出良好的性能。尽管如此，所选择的CNN特征总是在不同的任务中预先训练，并且跟踪系统中的各个组件是单独学习的，因此所实现的跟踪性能可能是次优的。此外，由于这些跟踪器的特征提取耗时且优化细节复杂，大多数跟踪器都不是面向实时的【形】应用而设计的。本文提出了一种端到端的框架，即统一卷积跟踪器（UCT），用于同时学习卷积特征和执行跟踪过程。具体而言，UCT将特征提取器和跟踪过程都视为卷积运算并联合训练它们，使学习到的CNN特征与跟踪过程紧密耦合。在在线跟踪中，通过引入峰值噪声比（PNR）准则，提出了一种有效的更新方法，并通过在网络中引入尺度分支来有效地处理尺度变化。所提出的方法的结果在优越的跟踪性能，同时保持实时的【形】速度。标准UCT和UCT-Lite可以分别以41 FPS和154 FPS的速度跟踪通用对象，无需进一步优化。在四个具有挑战性的基准跟踪数据集：OTB 2013，OTB 2015，VOT 2014和VOT 2015上进行了实验，与其他实时的【形】跟踪器相比，我们的方法在这些基准上取得了最先进的结果。
2017-11-10 cs.CV
FC-Track: Overlap-Aware Post-Association Correction for Online Multi-Object Tracking
Graduate School of Engineering, Chiba University（Chiba大学工学研究科）
FC-Track通过重叠感知的后关联修正方法，有效减少在线多目标跟踪中的身份切换问题，无需全局优化或重识别，实现在复杂动态环境下的高可靠性跟踪。
2026-03-13 cs.AI cs.CV
SSP-Net: Scalable Sequential Pyramid Networks for Real-Time 3D Human Pose Regression
ETIS UMR 8051, Paris Seine University, ENSEA, CNRS（ETIS UMR 8051，巴黎塞纳大学，ENSEA，法国国家科学研究中心）；IBISC, Univ. d´Evry Val d´Essonne, Université Paris Saclay（IBISC，埃夫里-瓦尔德埃松大学，巴黎-萨克雷大学）；LIGM, UMR 8049, École des Ponts, UPE（LIGM，UMR 8049，国立路桥学校，巴黎东大学）
在本文中，我们提出了一个高度可扩展的卷积神经网络，端到端的训练，实时的【形】三维人体姿态回归从静止的RGB图像。我们将这种方法称为可扩展顺序金字塔网络（SSP-Net），因为它是以顺序的方式在多个尺度上进行精细监督训练的。我们的网络需要一个单一的训练过程，并且能够以每秒120帧（FPS）的速度产生最佳预测，或者在测试时切割时以超过200 FPS的速度产生可接受的预测。我们证明了所提出的回归方法对特征图的大小是不变的，这使得我们的方法能够执行多分辨率中间监督，并达到与具有非常低分辨率特征图的最新技术相当的结果。我们证明了我们的方法的准确性和有效性，提供了广泛的实验上的两个最重要的公开可用的数据集的3D姿态估计，Human3.6M和MPI-INF-3DHP。此外，我们还提供了有关我们对网络架构的决策的相关见解，并展示了其灵活性，以满足最佳精度-速度折衷。
2020-09-04 cs.CV
Distractor-aware Siamese Networks for Visual Object Tracking
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；SenseTime Group Limited（商汤集团有限公司）
近年来，暹罗网络由于其在准确性和速度上的平衡而引起了视觉跟踪界的极大关注。然而，大多数暹罗跟踪方法中使用的特征只能区分前景和非语义背景。语义背景通常被认为是干扰物，这阻碍了暹罗跟踪器的鲁棒性。在本文中，我们专注于学习分心感知的暹罗网络，以实现准确和长期的跟踪。为此，首先分析了传统暹罗跟踪器的特征。我们观察到，训练数据的不平衡分布使得学习到的特征的区分性降低。在离线训练阶段，引入了一种有效的抽样策略来控制这种分布，使模型集中于语义干扰项。在推理过程中，设计了一种新的干扰子感知模块来进行增量学习，可以有效地将一般的嵌入转移到当前的视频域。此外，我们通过引入一个简单而有效的局部到全局搜索区域策略来扩展所提出的长期跟踪方法。在基准测试上进行的大量实验表明，我们的方法显著优于最先进的方法，在VOT 2016数据集上获得了9.6%的相对增益，在UAV20L数据集上获得了35.9%的相对增益。所提出的跟踪器可以在短期基准上以160 FPS执行，在长期基准上以110 FPS执行。
2018-08-18 cs.CV
Multi-Object Tracking as Attention Mechanism
NEC Corporation（日本电气股份有限公司）
本文提出仅由基础检测器和交叉注意力模块构成的端到端MOT模型TicrossNet，去除卡尔曼滤波、匈牙利算法等附加模块，在高实例密度下实现实时且对实例数量鲁棒的跟踪。
2023-07-12 cs.CV
DR^2Track: Towards Real-Time Visual Tracking for UAV via Distractor Repressed Dynamic Regression
Tongji University（同济大学）；New York University（纽约大学）
视觉跟踪在无人机上有着广阔的应用前景。在文献中，先进的判别相关滤波器（DCF）类型的跟踪器通常区分前景与背景的学习回归，回归到一个固定的目标标签的隐式循环样本。然而，预定义的和不变的回归目标导致低鲁棒性和适应性不确定的空中跟踪场景。在这项工作中，我们利用局部最大值点的检测阶段产生的反应地图，自动定位当前的干扰。通过在回归学习中抑制干扰项的响应，我们可以动态地自适应地改变我们的回归目标，以利用跟踪鲁棒性和自适应性。在三个具有挑战性的无人机基准上进行的大量实验表明，我们的跟踪器具有出色的性能和非凡的速度（在廉价的CPU上约50 fps）。
2020-08-10 cs.CV cs.RO
PolyLaneNet: Lane Estimation via Deep Polynomial Regression
Universidade Federal do Espírito Santo (UFES)（圣灵联邦大学（UFES））；Instituto Federal do Espírito Santo (IFES)（圣灵联邦研究所（IFES））
自动驾驶技术取得巨大进步的主要因素之一是深度学习的出现。对于更安全的自动驾驶汽车来说，其中一个尚未完全解决的问题是车道检测。由于此任务的方法必须实时工作（+30 FPS），因此它们不仅必须有效（即，具有高精度）但是它们也必须是有效的（即，快）。在这项工作中，我们提出了一种新的车道检测方法，该方法使用安装在车辆上的前视摄像头的图像作为输入，并通过深度多项式回归输出表示图像中每个车道标记的多项式。该方法与TuSimple数据集中现有的最先进的方法相比具有竞争力，同时保持其效率（115 FPS）。此外，在两个额外的公共数据集上的广泛的定性结果，以及最近的车道检测工程所使用的评估指标的限制。最后，我们提供了源代码和训练模型，允许其他人复制本文中显示的所有结果，这在最先进的车道检测方法中是非常罕见的。完整的源代码和预训练模型可在https://github.com/lucastabelini/PolyLaneNet上获得。
2020-07-14 cs.CV
Probabilistic Regression for Visual Tracking
ETH Zürich（苏黎世联邦理工学院）
视觉跟踪从根本上说是对每一帧视频中目标的状态进行回归的问题。虽然已经取得了重大进展，但跟踪器仍然容易出现故障和不准确。因此，在目标估计中表示不确定性至关重要。虽然目前突出的范例依赖于估计状态依赖的置信度得分，但该值缺乏明确的概率解释，使其使用复杂化。因此，在这项工作中，我们提出了一个概率回归公式，并将其应用于跟踪。我们的网络预测给定输入图像的目标状态的条件概率密度。至关重要的是，我们的配方是能够建模的标签噪音源于不准确的注释和模糊的任务。通过最小化Kullback-Leibler散度来训练回归网络。当应用于跟踪时，我们的配方不仅允许输出的概率表示，而且还大大提高了性能。我们的跟踪器在六个数据集上设置了新的最先进的技术，在LaSOT上实现了59.8%的AUC，在TrackingNet上实现了75.8%的成功率。代码和模型可在https://github.com/visionml/pytracking上获得。
2020-03-27 cs.CV cs.LG
Weakly-Supervised Domain Adaptation of Deep Regression Trackers via Reinforced Knowledge Distillation
University of Udine（乌迪内大学）
深度回归跟踪器是最快的跟踪算法之一，因此适合实时机器人应用。然而，由于分布偏移和过拟合，它们的精度在许多领域是不够的。在本文中，我们克服了这样的局限性，提出了第一种方法域适应这样一类的跟踪器。为了减少标签的努力，我们提出了一个弱监督的适应策略，其中强化学习是用来表示弱监督作为一个标量的应用程序相关的和时间延迟的反馈。同时，采用知识蒸馏来保证学习稳定性，并压缩和传输来自功能更强大但速度更慢的跟踪器的知识。五个不同的机器人视觉领域的广泛实验证明了我们的方法的相关性。在嵌入式设备和没有GPU的机器上实现了实时速度，同时精度也达到了显著的效果。
2021-03-26 cs.CV cs.RO
Exploring Reliable Spatiotemporal Dependencies for Efficient Visual Tracking
STDTrack通过引入可靠的时空依赖性，提升轻量级视觉跟踪的效率和性能，在多个基准测试中取得最佳结果。
2026-01-14 cs.CV
Feature Selection Convolutional Neural Networks for Visual Tracking
现有的基于CNN（卷积神经网络）的跟踪方法虽然具有很好的跟踪精度，但由于速度太慢，难以实时应用。此外，神经网络是内存密集型的，这将占用大量的硬件资源。提出了一种基于CNN的MDNet（Multi-Domain Network）和RoIAlign的特征选择视觉跟踪算法。我们发现卷积层的特征图中有很多冗余。因此，通过互信息选择有效的特征图，而放弃其他特征图，从而降低了网络的复杂度和计算量，并且不影响精度。MDNet的主要问题还在于时间效率。考虑到MDNet的计算复杂性主要是由跟踪过程中大量的卷积运算和网络微调引起的，增加了一个可以在整个图像上进行卷积的RoIAlign层来加速卷积，而不是每个RoI，并使用一种新的微调全连接层的策略来加速更新。采用RoIAlign后，计算速度有所提高，并且比RoIPool显示出更高的精度。因为RoIAlign可以通过双线性插值处理浮点数坐标。这些策略可以加速处理，降低复杂性，对精度的影响非常小，并且可以以大约10 fps的速度运行（而MDNet的速度大约为1 fps）。所提出的算法已被评估的基准：OTB 100，在其上已获得高精度和速度。
2018-11-09 cs.CV
Blending of Learning-based Tracking and Object Detection for Monocular Camera-based Target Following
National Institute of Technology, Rourkela（鲁尔克拉国立技术学院）；University of Alberta（阿尔伯塔大学）
深度学习最近开始应用于视频流中通用对象的视觉跟踪。对于机器人应用的目的，这是非常重要的目标跟踪器恢复其轨道，如果它是由于严重或长期的闭塞或运动模糊的目标丢失。我们提出了一个实时的方法，融合了通用的目标跟踪器和目标检测模块与目标重新识别模块。我们的工作重点是提高性能的卷积递归神经网络为基础的对象跟踪器的情况下，感兴趣的对象属于类别的\emph{familiar}对象。我们提出的方法足够轻巧，可以以85-90 FPS的速度跟踪对象，同时在具有挑战性的基准测试中获得有竞争力的结果。
2020-08-21 cs.CV cs.RO
Instant 3D Object Tracking with Applications in Augmented Reality
Google Research（谷歌研究院）
三维物体姿态跟踪是增强现实应用的重要组成部分。我们提出了一个即时运动跟踪系统，跟踪一个对象的姿态在空间（由其3D限界框表示）在移动设备上实时。我们的系统不需要任何事先的感官校准或初始化功能。我们采用深度神经网络来检测物体并估计其初始3D姿态。然后使用鲁棒平面跟踪器跟踪估计的位姿。我们的跟踪器能够在移动设备上实时执行相对规模的9自由度跟踪。通过有效地结合使用CPU和GPU，我们在移动设备上实现了26-FPS+的性能。
2020-06-23 cs.CV
Cascaded Regression Tracking: Towards Online Hard Distractor Discrimination
University of Science and Technology of China（中国科学技术大学）；Huawei Noah’s Ark Laboratory（华为诺亚方舟实验室）
视觉跟踪很容易受到周围相似物体的干扰。硬干扰物等对象，即使是负样本中的少数，也会增加目标漂移和模型损坏的风险，这在在线跟踪和模型更新中值得额外关注。为了提高跟踪的鲁棒性，本文提出了一种两级级联的回归跟踪器。在第一阶段，我们通过高效的卷积回归过滤出大量容易识别的阴性候选。在第二阶段中，设计了基于离散采样的岭回归来双重检查剩余的模糊硬样本，其作为全连接层的替代方案，并受益于封闭形式的求解器以进行有效的学习。在11个具有挑战性的跟踪基准上进行了广泛的实验，包括OTB-2013，OTB-2015，VOT 2018，VOT 2019，UAV 123，Temple-Color，NfS，TrackingNet，LaSOT，UAV 20 L和OxUvA。所提出的方法在普遍的基准测试中实现了最先进的性能，同时以实时速度运行。
2020-06-18 cs.CV
Separable Self and Mixed Attention Transformers for Efficient Object Tracking
Concordia University（康考迪亚大学）
提出一种高效自注意力与混合注意力Transformer架构SMAT，首次在轻量级跟踪中同时部署Transformer骨干与预测头，实现高精度与低计算开销。
2023-09-07 cs.CV
DAL -- A Deep Depth-aware Long-term Tracker
Tampere University（坦佩雷大学）；University of Ljubljana（卢布尔雅那大学）；Czech Technical University in Prague（捷克布拉格技术大学）
最好的RGBD跟踪器提供高精度，但运行缓慢。另一方面，最好的RGB跟踪器速度很快，但在RGBD数据集上明显较差。在这项工作中，我们提出了一个深度感知的长期跟踪器，实现了最先进的RGBD跟踪性能，并且运行速度快。我们重新制定的深度判别相关滤波器（DCF）的深度信息嵌入到深层功能。此外，相同的深度感知相关滤波器用于目标重新检测。综合评估表明，所提出的跟踪器实现了最先进的性能在普林斯顿RGBD，STC，和新发布的CDTB基准和运行20 fps。
2019-12-02 cs.CV
Unstructured Road Vanishing Point Detection Using the Convolutional Neural Network and Heatmap Regression
Tianjin University（天津大学）
非结构化道路消失点检测是一个具有挑战性的问题，特别是在自动驾驶领域。在本文中，我们提出了一种新的解决方案，结合卷积神经网络（CNN）和热图回归检测非结构化道路VP。该算法首先采用了一个轻量级的骨干网，即，采用非结构化卷积改进的HRNet，提取非结构化道路图像的层次特征。然后，提出了三种高级策略，即，利用多尺度监督学习、热图超分辨率和坐标回归技术来实现快速和高精度的非结构化道路VP检测。在Kong数据集上的实验结果表明，与各种实时条件下的最先进方法相比，我们提出的方法具有最高的检测精度，最高速度可达33 fps。
2020-06-08 cs.CV
MaST: Motion-aware Sparse Pipeline for Lightweight Object Tracking
South China University of Technology（华南理工大学）；Pengcheng Laboratory（鹏城实验室）
针对Transformer目标跟踪器计算成本过高的问题，提出MaST框架，通过运动先验优化token剪枝、设计原生稀疏预测头，在轻量型跟踪任务中取得最优性能，速度优于现有方法。
2026-08-26 cs.CV
Group Regression for Query Based Object Detection and Tracking
Robert Bosch GmbH（罗伯特·博世有限公司）；Ulm University（乌尔姆大学）
针对基于查询的感知方法无法应用组回归的问题，提出适配自动驾驶3D场景的多类组回归方法，将其融入基于Transformer的检测跟踪模型，在nuScenes上验证了有效性与通用性，为相关后续研究提供了新方向。
2023-08-28 cs.CV cs.LG
Rethinking the competition between detection and ReID in Multi-Object Tracking
University of Electronic Science and Technology of China（电子科技大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
基于检测和识别嵌入的单次学习模型，由于兼顾了精度和速度，在多目标跟踪中得到了广泛的关注。然而，检测和重新识别（ReID）之间的内在差异和联系被无意识地忽视，因为在一次性跟踪范式中将它们视为两个孤立的任务。与现有的两阶段方法相比，这导致较差的性能。在本文中，我们首先剖析了这两个任务的推理过程，这表明它们之间的竞争不可避免地会破坏任务依赖的表征学习。为了解决这个问题，我们提出了一种新的互惠网络（REN），具有自关系和交叉关系设计，以便促使每个分支更好地学习任务相关的表示。该模型旨在缓解有害的任务竞争，同时提高检测和ReID之间的合作。此外，我们引入了一个规模感知的注意力网络（SAAN），防止语义水平的错位，以提高ID嵌入的关联能力。通过将两个精心设计的网络集成到一个一次性在线MOT系统中，我们构建了一个强大的MOT跟踪器，即CSTrack。我们的跟踪器在MOT16，MOT17和MOT20数据集上实现了最先进的性能，没有其他花哨的东西。此外，CSTrack效率很高，在单个现代GPU上运行速度为16.4 FPS，其轻量级版本甚至可以运行34.6 FPS。完整的代码已在www.example.com上发布。
2022-05-24 cs.CV
Chained-Tracker: Chaining Paired Attentive Regression Results for End-to-End Joint Multiple-Object Detection and Tracking
Tencent Youtu Lab（腾讯优图实验室）；Fudan University（复旦大学）；Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
现有的多目标跟踪（MOT）方法要么遵循逐检测跟踪的范式来分别进行目标检测、特征提取和数据关联，要么将这三个子任务中的两个子任务集成起来形成部分端到端的解决方案。超越这些次优框架，我们提出了一个名为Chained-Tracker（CTracker）的简单在线模型，它自然地将所有三个子任务集成到端到端解决方案中（据我们所知是第一个）。它将从重叠节点估计的成对边界框回归结果链接起来，其中每个节点覆盖两个相邻的帧。配对回归由对象注意（由检测模块引起）和身份注意（由ID验证模块确保）引起注意。两大新奇之处：链式结构和配对注意回归，使CTracker简单，快速和有效，在MOT 16和MOT 17挑战数据集上设置新的MOTA记录（分别为67.6和66.6），而不依赖于任何额外的训练数据。CTracker的源代码可以在github.com/pjl1995/CTracker上找到。
2020-07-29 cs.CV
Robust Tracking with Particle Filtering for Fluorescent Cardiac Imaging
Institute of Medical Technology and Intelligent Systems（医学技术与智能系统研究所）；Hamburg University of Technology（汉堡技术大学）；Department of Cardiovascular Surgery（心血管外科系）；University Heart and Vascular Center Hamburg（汉堡心脏和血管中心）；SustAInLivWork Center of Excellence（SustAInLivWork卓越中心）
针对术中荧光心脏成像中因心脏运动和图像波动导致的跟踪难题，提出基于循环一致性检查的粒子滤波跟踪器，实现117个目标实时鲁棒跟踪，误差显著低于深度学习和传统方法。
2025-08-07 cs.AI cs.CV
Staple: Complementary Learners for Real-Time Tracking
University of Oxford（牛津大学）
基于相关滤波器的跟踪器最近取得了优异的性能，表现出很大的鲁棒性，具有挑战性的情况下，表现出运动模糊和照明变化。然而，由于它们学习的模型强烈依赖于跟踪对象的空间布局，因此它们对变形非常敏感。基于颜色统计的模型具有互补的特性：它们可以很好地处理形状的变化，但是当照明在整个序列中不一致时会受到影响。此外，单独的颜色分布可能不具有足够的区分性。在本文中，我们证明了在岭回归框架中结合互补线索的简单跟踪器可以以超过80 FPS的速度运行，并且不仅优于流行的VOT14比赛中的所有参赛作品，而且还优于最近和更复杂的跟踪器。
2016-04-13 cs.CV
Learning regression and verification networks for long-term visual tracking
Dalian University of Technology（大连理工大学）
与短期跟踪相比，长期跟踪任务需要确定被跟踪对象是否存在，然后如果存在则估计准确的限界框，或者如果不存在则进行图像范围的重新检测。到目前为止，虽然这项任务更接近于设计实用的跟踪系统，但几乎没有尝试。在这项工作中，我们提出了一种基于深度回归和验证网络的新型长期跟踪框架。离线训练回归模型的设计使用对象感知的特征融合和区域建议网络生成一系列的候选人，并有效地估计他们的相似性得分。验证网络评估这些候选对象，以输出最佳的一个作为跟踪对象及其分类分数，该分类分数在线更新以适应基于新的可靠观察的外观变化。将相似度和分类得分相结合以获得最终的置信度值，基于该置信度值，我们的跟踪器可以准确地确定目标的不存在，并在目标重新出现时进行图像范围的重新检测以成功捕获目标。广泛的实验表明，我们的跟踪器在VOT2018长期挑战中实现了最佳性能，并在OxUvA长期数据集上获得了最先进的结果。
2018-11-19 cs.CV
SiamRCR: Reciprocal Classification and Regression for Visual Object Tracking
Tencent Youtu Lab（腾讯优图实验室）；Kyoto University（京都大学）；Shanghai Jiao Tong University（上海交通大学）
目前，大多数基于暹罗网络的跟踪器通过目标分类和边界盒回归来定位目标。通常，他们选择具有最大分类置信度的边界框作为最终预测。由于分类和回归之间的准确性不一致，这种策略可能会错过正确的结果。在本文中，我们提出了一种新的连体跟踪算法称为SiamRCR，解决这个问题，一个简单，轻便，有效的解决方案。它在分类和回归分支之间建立了相互联系，可以动态地重新加权每个阳性样本的损失。此外，我们增加了一个定位分支来预测定位精度，使其可以在推理过程中作为回归辅助链接的替代。这个分支使训练和推理更加一致。广泛的实验结果证明了SiamRCR的有效性及其在GOT-10 k、LaSOT、TrackingNet、OTB-2015、VOT-2018和VOT-2019上优于最先进的竞争对手。此外，我们的SiamRCR运行速度为65 FPS，远高于实时要求。
2021-07-19 cs.CV
Efficient Visual Tracking with Exemplar Transformers
ETH Zürich（苏黎世联邦理工学院）；KU Leuven（鲁汶大学）
更复杂和更强大的神经网络模型的设计大大提高了视觉目标跟踪的最新技术水平。这些进步可以归因于更深层次的网络，或引入新的构建模块，如Transformers。然而，在追求提高跟踪性能的过程中，运行时间常常受到阻碍。此外，有效的跟踪架构得到了令人惊讶的关注。在本文中，我们介绍了示例Transformer，一个Transformer模块，利用一个单一的实例级的注意力层的实时视觉对象跟踪。E.T.Track是我们的视觉跟踪器，集成了Exemplar Transformer模块，在CPU上以47 FPS运行。这比其他基于变压器的模型快8倍。与可以在标准CPU上实时运行的轻量级跟踪器相比，E.T.Track在LaSOT、OTB-100、NFS、TrackingNet和VOT-ST 2020数据集上的性能始终优于所有其他方法。代码和型号可在https://github.com/pblatter/ettrack上获得。
2022-10-04 cs.CV
Convolutional Regression for Visual Tracking
Huazhong University of Science and Technology（华中科技大学）
近年来，判别学习相关滤波器（DCF）在视觉目标跟踪领域引起了广泛的关注。DCF的成功潜在地归因于利用大量的样本来训练岭回归模型并预测对象的位置。为了以有效的方式解决回归问题，这些样本都是通过从搜索块循环移位来生成的。然而，这些合成样本也会引起一些负面影响，削弱了基于DCF的跟踪器的鲁棒性。在本文中，我们提出了一个卷积回归框架的视觉跟踪（CRT）。我们尝试通过使用梯度下降（GD）优化单通道输出卷积层来解决回归问题，而不是以封闭形式学习线性回归模型。特别地，卷积层的感受野大小被设置为对象的大小。与DCF相反，可以合并从整个图像中剪切的所有“真实”样本。GD方法的一个关键问题是大多数卷积样本都是负的，正样本的贡献将被抑制。为了解决这个问题，我们提出了一种新的自动硬负挖掘方法，以消除容易的负面和增强积极的。广泛的实验进行了广泛使用的基准与100个序列。实验结果表明，该算法取得了优异的性能，优于现有的几乎所有基于DCF的算法。
2016-11-15 cs.CV
Attentive Deep Regression Networks for Real-Time Visual Face Tracking in Video Surveillance
Middle East Technical University（中东技术大学）
视觉人脸跟踪是视频监控系统中的重要任务之一。然而，由于姿势、比例、表情和照明的变化，这被认为是一项艰巨的任务。最近的研究表明，深度学习方法在目标跟踪任务中具有巨大的潜力，自适应特征选择方法可以提高其性能。受此启发，我们提出了一个端到端的专注的基于深度学习的跟踪器，这是建立在最先进的GOTURN跟踪器之上，用于视频监控中的实时的【形】视觉人脸跟踪任务。我们的方法优于最先进的GOTURN和IVT跟踪器非常大的利润率，它实现的速度是远远超出了实时的【形】跟踪的要求。此外，为了克服视觉人脸跟踪中数据稀缺的问题，我们还对ChokePoint数据集的G1和G2集进行了限界框标注，使其适用于监控条件下人脸跟踪的进一步研究。
2019-08-10 cs.CV
Solar Event Tracking with Deep Regression Networks: A Proof of Concept Evaluation
Georgia State University（佐治亚州立大学）
随着深度学习在计算机视觉任务中的出现，对大量准确标记数据的需求对于任何应用都至关重要。太阳动力学观测站（SDO）任务产生的大量太阳图像数据越来越多，使得这个领域对于深度学习系统的开发和测试特别有趣。目前可用的标记太阳数据是由SDO任务的特征寻找小组（FFT）专门的检测模块生成的。这些模块的主要缺点是，检测和标记是以每4至12小时的节奏进行的，这取决于模块。由于SDO图像数据产品每10秒创建一次，因此标记的观测值和连续数据流之间存在相当大的差距。为了解决这个问题，我们训练了一个深度回归网络来跟踪两种太阳现象的运动：活动区和冕洞事件。据我们所知，这是第一次尝试使用深度学习方法跟踪太阳事件。由于不可能用原始数据完全评估建议的事件轨迹的性能（只有部分地面实况可用），我们用几个指标证明了我们方法的有效性。为了生成连续标记的太阳图像数据，我们提出了这种可行性分析，显示了深度回归网络在这项任务中的巨大潜力。
2019-11-19 cs.CV cs.LG
Re3 : Real-Time Recurrent Regression Networks for Visual Tracking of Generic Objects
Paul G. Allen School of Computer Science, University of Washington（保罗·G·艾伦计算机科学学院，华盛顿大学）；Allen Institute for AI（艾伦人工智能研究所）
鲁棒的对象跟踪需要了解和理解被跟踪的对象：它的外观，它的运动，以及它如何随着时间的推移而变化。跟踪器必须能够修改其基础模型并适应新的观测。我们提出了Re 3，一个实时的【形】深度对象跟踪器，能够将时间信息纳入其模型。我们不是专注于一组有限的对象或在测试时训练模型来跟踪特定的实例，而是在各种各样的对象上预训练我们的通用跟踪器，并在运行中有效地更新; Re 3同时跟踪和更新外观模型，只需一次向前传递。这种轻量级模型能够以150 FPS的速度跟踪物体，同时在具有挑战性的基准测试中获得有竞争力的结果。我们还表明，我们的方法处理临时遮挡比其他可比的跟踪器使用实验，直接测量性能的序列与遮挡。
2018-02-26 cs.CV
Learning Spatial-Aware Regressions for Visual Tracking
Dalian University of Technology（大连理工大学）；University of California, Merced（加州大学默塞德分校）
本文分析了深度特征的空间信息，提出了两种互补的回归方法用于鲁棒的视觉跟踪。首先，我们提出了一个核岭回归模型，其中的核值被定义为两个样本之间的所有对补丁的相似性得分的加权和。我们表明，这个模型可以制定为一个神经网络，从而可以有效地解决。其次，我们提出了一个完全卷积神经网络与空间正则化的内核，通过它对应于每个输出通道的滤波器内核被迫集中在目标的特定区域。进一步利用距离变换池来确定卷积层的每个输出通道的有效性。核化岭回归模型和全卷积神经网络的输出被组合以获得最终响应。在两个基准数据集上的实验结果验证了该方法的有效性。
2018-04-24 cs.CV
RSINet: Rotation-Scale Invariant Network for Online Visual Tracking
Korea Advanced Institute of Science and Technology (KAIST)（韩国高等科学技术院（KAIST））；Inha University（仁荷大学）
大多数基于Siamese网络的跟踪器在执行跟踪过程中不需要模型更新，并且不能自适应地学习目标特定的变化。此外，基于Siamese的跟踪器通过生成轴对齐的边界框来推断被跟踪对象的新状态，该边界框包含额外的背景噪声，并且无法准确地估计移动对象的旋转和尺度变换，从而潜在地降低跟踪性能。在本文中，我们提出了一种新的旋转尺度不变网络（RSINet）来解决上述问题。我们的RSINet跟踪器由一个目标分心判别分支和一个旋转尺度估计分支组成，旋转和尺度知识可以通过多任务学习方法以端到端的方式显式学习。同时，在时空能量控制下，对跟踪模型进行自适应优化和更新，保证了模型的稳定性和可靠性，以及较高的跟踪效率。在OTB-100、VOT 2018和LaSOT基准测试上的综合实验表明，与最近的跟踪器相比，我们提出的RSinet跟踪器具有新的最先进的性能，同时以约45 FPS的实时速度运行。
2020-11-18 cs.CV cs.LG eess.IV
DistNet: Deep Tracking by displacement regression: application to bacteria growing in the Mother Machine
Laboratoire Jean-Perrin UMR 8237, Sorbonne Université（索邦大学让-佩兰实验室）；SABILAb；CMAP, Ecole Polytechnique, Université Paris-Saclay（巴黎萨克雷大学综合理工学院应用数学中心）；Heuritech
母机是一种流行的微流体设备，可以通过显微镜对数千个细胞进行长期的延时成像。它已成为单细胞水平定量分析和表征许多细胞过程，如基因表达和调控，诱变或对抗生素的反应的有价值的工具。对这些实验产生的大量数据进行自动化和定量分析现在是限制性的一步。特别是相衬显微镜成像的细菌细胞的分割和跟踪--与高通量数据兼容的错误率--是一个具有挑战性的问题。在这项工作中，我们描述了一种新的配方的多目标跟踪问题，其中跟踪是通过回归的细菌的位移，允许同时跟踪多个细菌，尽管他们的生长和分裂随着时间的推移。我们的方法执行联合分割和跟踪，利用顺序信息，以提高分割精度。我们引入了一个深度神经网络架构，利用自注意机制，产生极低的跟踪错误率和分割错误率。与最先进的方法相比，我们展示了卓越的性能和速度。我们的方法被命名为DistNet，代表DISTance+Displacement Segmentation and Tracking Network。虽然这种方法是特别适合于母机显微镜数据，其一般的联合跟踪和分割配方可以应用于许多其他问题与不同的几何形状。
2020-09-19 cs.CV cs.LG eess.IV
TURN TAP: Temporal Unit Regression Network for Temporal Action Proposals
Google Research（谷歌研究院）；University of Southern California（南加州大学）
时间动作建议（TAP）生成是一个重要的问题，因为从未修剪的视频中快速准确地提取语义重要（例如人类动作）片段是大规模视频分析的重要步骤。提出了一种新的时间单位回归网络模型（TURN）。TURN有两个突出的方面：（1）TURN联合预测动作建议，并通过时间坐标回归细化时间边界;（2）通过单元特征重用实现快速计算：将长的未修剪视频分解为视频单元，这些单元被重用为时间建议的基本构建块。TURN在THUMOS-14和ActivityNet数据集上的平均召回率（AR）下的表现远远优于最先进的方法，并在TITAN X GPU上以超过880帧每秒（FPS）的速度运行。我们进一步应用TURN作为现有时间动作本地化管道的建议生成阶段，它在THUMOS-14和ActivityNet上的性能优于最先进的性能。
2017-08-04 cs.CV
Deep-LK for Efficient Adaptive Object Tracking
Carnegie Mellon University（卡内基梅隆大学）
在本文中，我们提出了一种新的方法，有效的回归为基础的对象跟踪，我们称之为深LK。我们的方法是密切相关的通用对象跟踪使用回归网络（GOTURN）的框架举行等。我们作出以下贡献。首先，我们证明了像GOTURN这样的连体回归网络和经典的逆合成Lucas & Kanade（IC-LK）算法之间存在理论关系。此外，我们证明，与GOTURN IC-LK适应其回归到当前跟踪帧的外观。我们认为，GOTURN中缺失的这个属性可以归因于它在看不见的对象和/或观点上的性能不佳。其次，我们提出了一个新的对象跟踪框架-我们称之为Deep-LK -这是受IC-LK框架的启发。最后，我们展示了令人印象深刻的结果，证明Deep-LK大大优于GOTURN。此外，我们展示了与当前最先进的深度跟踪器相当的跟踪性能，同时具有一个数量级（即100 FPS）的计算效率。
2017-05-30 cs.CV
UHP-SOT: An Unsupervised High-Performance Single Object Tracker
University of Southern California（南加州大学）；Army Research Laboratory（陆军研究实验室）
提出了一种利用前景和背景相关性的无监督在线对象跟踪方法，并命名为UHP-SOT（无监督高性能单对象跟踪器）。UHP-SOT由三个模块组成：1）外观模型更新，2）背景运动建模和3）基于几何的框预测。一个国家的最先进的判别相关滤波器（DCF）为基础的跟踪器采用UHP-SOT作为第一个模块。我们指出单独使用第一个模块的缺点，如无法从跟踪丢失中恢复和对象框自适应的可扩展性，然后提出第二和第三个模块来克服它们。这两种方法在单目标跟踪（SOT）中都是新颖的。我们在两个流行的对象跟踪基准测试TB-50和TB-100上测试了UHP-SOT，并表明它优于所有以前的无监督SOT方法，实现了与最好的基于监督深度学习的SOT方法相当的性能，并且运行速度很快（即CPU上的22.7-32.0 FPS）。
2021-10-05 cs.CV
Quasi-Dense Similarity Learning for Multiple Object Tracking
Zhejiang University（浙江大学）；Georgia Institute of Technology（佐治亚理工学院）；ETH Zürich（苏黎世联邦理工学院）；Stanford University（斯坦福大学）；UC Berkeley（加州大学伯克利分校）
相似性学习被认为是目标跟踪的关键步骤。然而，现有的多目标跟踪方法只使用稀疏地面真值匹配作为训练目标，而忽略了图像上的大部分信息区域。在本文中，我们提出了准密集相似性学习，密集采样数百个区域的建议对一对图像的对比学习。我们可以直接将这种相似性学习与现有的检测方法结合起来，构建准密集跟踪（QDTrack），而无需转向位移回归或运动先验。我们还发现，由此产生的独特的特征空间承认一个简单的最近邻搜索在推理时间。尽管简单，但QDTrack在MOT，BDD 100K，Waymo和TAO跟踪基准上优于所有现有方法。它在MOT17上以20.3 FPS实现了68.7 MOTA，而无需使用外部训练数据。与使用类似检测器的方法相比，它提高了近10个MOTA点，并显着减少了BDD 100K和Waymo数据集上的ID开关数量。我们的代码和训练模型可以在www.example.com上找到。
2021-09-08 cs.CV cs.LG
State-Aware Tracker for Real-Time Video Object Segmentation
Zhejiang University（浙江大学）；Megvii Inc.（旷视科技有限公司）
在这项工作中，我们解决了半监督视频对象分割（VOS）的任务，并探讨如何有效地利用视频属性来应对半监督的挑战。我们提出了一种新的管道称为状态感知跟踪器（SAT），它可以产生准确的分割结果与实时的【形】速度。为了提高效率，SAT利用帧间一致性，并处理每个目标对象作为一个轨迹。为了在视频序列上获得更稳定和鲁棒的性能，SAT可以感知每个状态，并通过两个反馈回路进行自适应。一个循环帮助SAT生成更稳定的轨迹。另一个循环有助于构建更健壮和更全面的目标表示。SAT在DAVIS 2017-Val数据集上实现了72.3%J &F平均值和39 FPS的令人满意的结果，这表明效率和准确性之间的折衷。代码将在github.com/MegviiDetection/video_analyst上发布。
2020-03-01 cs.CV
Robust Visual Tracking via Iterative Gradient Descent and Threshold Selection
School of Software, Shandong University（山东大学软件学院）；School of Mathematics and Computer, Shantou University（汕头大学数学与计算机学院）；School of Chemistry and Life Sciences, Suzhou University of Science and Technology（苏州科技大学化学与生命科学学院）
本文提出了一种基于鲁棒回归的视觉跟踪技术，通过引入 IGDTS 算法快速解决异常值问题，并将其扩展到生成式跟踪器与更新方案中，实验证明其优于现有跟踪器。
2024-06-02 cs.AI cs.CV
SiamTHN: Siamese Target Highlight Network for Visual Tracking
Aerospace Information Research Institute, Chinese Academy of Sciences（中国科学院空天信息创新研究院）；University of Chinese Academy of Sciences（中国科学院大学）；School of Electronic, Electrical and Communication Engineering, University of Chinese Academy of Sciences（中国科学院大学电子电气与通信工程学院）；Jigang Defence Technology Company, Ltd.（济钢防务技术有限公司）
近年来，基于暹罗网络的跟踪器在视觉目标跟踪领域发展迅速。现在使用的大多数基于暹罗网络的跟踪器平等地对待骨干网络生成的特征图中的每个通道，使得相似性响应图对背景影响敏感，因此难以集中在目标区域上。此外，在这些跟踪器中，分类和回归分支之间没有结构性联系，这两个分支在训练期间分别进行优化。因此，在分类和回归分支之间存在不对准，这导致不太准确的跟踪结果。在本文中，提出了一个目标突出显示模块，以帮助生成的相似性响应图更集中的目标区域。为了减少失准，并产生更精确的跟踪结果，我们提出了一个纠正损失的训练模型。该模型的两个分支通过使用校正损失进行联合调整，以产生更可靠的预测结果。在5个具有挑战性的基准数据集上的实验表明，该方法在性能方面优于现有模型，并且运行速度为38 fps，证明了其有效性和效率。
2023-03-22 cs.AI cs.CV
Plug & Play Convolutional Regression Tracker for Video Object Detection
University of Twente（特温特大学）；Wuhan University（武汉大学）
视频目标检测的目标是同时定位对象的边界框并在给定视频中识别它们的类别。视频目标检测的一个挑战是在整个视频中一致地检测所有对象。由于对象的外观可能在某些帧中恶化，因此通常使用来自其他帧的特征或检测来增强预测。在本文中，我们提出了一个即插即用的规模自适应卷积回归跟踪器的视频目标检测任务，它可以很容易地和兼容地植入到当前国家的最先进的检测网络。由于跟踪器重复使用来自检测器的特征，因此对检测网络来说，这是一个非常轻的增量。整个网络的运行速度接近标准的目标检测器。通过我们新的视频目标检测流水线设计，图像目标检测器可以轻松地变成高效的视频目标检测器，而无需修改任何参数。性能在大规模ImageNet VID数据集上进行了评估。我们的即插即用设计将图像检测器的mAP分数提高了约5%，速度仅下降很少。
2020-03-02 cs.CV
Tracking by Instance Detection: A Meta-Learning Approach
Microsoft Research Asia（微软亚洲研究院）
我们认为跟踪问题是一种特殊类型的目标检测问题，我们称之为实例检测。通过正确的初始化，检测器可以通过从单个图像学习新实例来快速转换为跟踪器。我们发现，模型不可知的元学习（MAML）提供了一个策略来初始化检测器，满足我们的需求。我们提出了一个原则性的三步方法来建立一个高性能的跟踪器。首先，选择任何经过梯度下降训练的现代对象检测器。其次，使用MAML进行离线训练（或初始化）。第三，使用初始帧执行领域自适应。我们按照这个过程构建了两个跟踪器，名为Retina-MAML和FCOS-MAML，基于两个现代检测器RetinaNet和FCOS。对四个基准的评估表明，这两个跟踪器对最先进的跟踪器具有竞争力。在OTB-100上，Retina-MAML达到了有史以来最高的AUC 0.712。在TrackingNet上，FCOS-MAML以0.757的AUC和0.822的标准化精度位居排行榜第一。这两个跟踪器都以40 FPS实时运行。
2020-04-02 cs.CV
Learning Tracking Representations via Dual-Branch Fully Transformer Networks
Southeast University（东南大学）；Microsoft Research Asia（微软亚洲研究院）
提出了一种基于单Transformers的双分支网络跟踪算法。给定一个模板和一个搜索图像，我们把它们分成不重叠的补丁，并提取一个特征向量，为每个补丁的基础上，其匹配结果与他人在一个注意力窗口。对于每个token，我们估计它是否包含目标对象以及相应的大小。该方法的优点是，特征是从匹配中学习的，并最终用于匹配。因此，这些特征与对象跟踪任务保持一致。该方法取得了更好的或相当的效果，作为性能最好的方法，首先使用CNN提取特征，然后使用Transformer融合它们。它在GOT-10 k和VOT 2020基准测试中优于最先进的方法。此外，该方法在一个GPU上实现了实时推理速度（约$40$ fps）。代码和模型将被释放。
2021-12-05 cs.CV
Real-time Visual Object Tracking with Natural Language Description
Boston University（波士顿大学）；Hikvision Research America（海康威视美国研究院）；Horizon Robotics（地平线机器人）；University of Chinese Academy of Sciences（中国科学院大学）
近年来，基于深度学习的视觉对象跟踪器得到了深入研究，但处理目标的遮挡和/或快速运动仍然具有挑战性。在这项工作中，我们认为，条件反射的自然语言（NL）描述的目标提供了长期不变的信息，从而有助于应对典型的跟踪挑战。然而，推导出一个公式来结合基于外观的跟踪与语言模态的优势并不简单。我们提出了一种新的深度跟踪检测配方，可以利用NL的描述。与给定NL描述相关的区域由建议网络在跟踪器的检测阶段期间生成。然后，我们基于LSTM的跟踪器从基于NL的检测阶段提出的区域预测目标的更新。在基准测试中，我们的方法与最先进的跟踪器竞争，同时它在具有明确和精确的语言注释的目标上优于所有其他跟踪器。在没有限界框的情况下初始化时，它也击败了最先进的NL跟踪器。我们的方法在单个GPU上以超过30 fps的速度运行。
2019-12-03 cs.CV
DomainSiam: Domain-Aware Siamese Network for Visual Object Tracking
Memorial University of Newfoundland（纽芬兰纪念大学）
视觉目标跟踪是计算机视觉领域的一项基本任务。最近，暹罗跟踪器在最近的基准测试中取得了最先进的性能。然而，Siamese跟踪器没有充分利用来自已经在图像分类任务上训练的预训练网络的语义和对象信息。此外，预先训练的暹罗架构被类别标签稀疏地激活，这导致不必要的计算和过拟合。在本文中，我们提出了学习领域感知，即充分利用语义和对象信息，同时使用岭回归网络产生类不可知。此外，为了减少稀疏性问题，我们用可微加权动态损失函数来解决岭回归问题。我们的跟踪器，被称为DomainSiam，提高了训练阶段的特征学习和对其他领域的泛化能力。在五个跟踪基准上进行了广泛的实验，包括验证集的OTB 2013和OTB 2015;以及测试集的VOT 2017，VOT 2018，LaSOT，TrackingNet和GOT 10 k。DomainSiam在这些基准测试中实现了最先进的性能，同时以53 FPS运行。
2019-08-21 cs.CV
DCFNet: Discriminant Correlation Filters Network for Visual Tracking
University of Chinese Academy of Sciences（中国科学院大学）
基于判别相关滤波器（DCF）的方法已成为在线目标跟踪的主流方法。然而，这些方法中使用的特征要么是基于手工制作的特征（如HoG），要么是独立于其他任务（如图像分类）训练的卷积特征。在这项工作中，我们提出了一个端到端的轻量级网络架构，即DCFNet，以学习卷积特征并同时执行相关跟踪过程。具体来说，我们将DCF视为在Siamese网络中添加的特殊相关过滤层，并通过将网络输出定义为对象位置的概率热图来仔细推导反向传播。由于推导仍然在傅立叶频域中进行，因此保留了DCF的效率属性。这使我们的跟踪器在测试期间能够以超过60 FPS的速度运行，同时与使用HoG的KCF相比，实现了显着的准确性增益。对OTB-2013、OTB-2015和VOT 2015基准测试的广泛评估表明，所提出的DCFNet跟踪器与几种最先进的跟踪器相比具有竞争力，同时更紧凑，速度更快。
2017-04-13 cs.CV
A Novel Bounding Box Regression Method for Single Object Tracking
University of British Columbia（不列颠哥伦比亚大学）
针对单目标跟踪问题，本研究聚焦边界框回归环节，提出inception和可变形两种新型回归网络，其中搭载inception模块的ODTrack在三个基准数据集上性能超越原模型。
2024-05-16 cs.CV
SiamVGG: Visual Tracking using Deeper Siamese Networks
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
最近，我们看到了基于深度神经网络（DNN）的视觉跟踪解决方案的快速发展。一些跟踪器将基于DNN的解决方案与判别相关过滤器（DCF）相结合，以提取语义特征，并成功地提供最先进的跟踪精度。然而，这些解决方案是高度计算密集型的，需要很长的处理时间，从而导致不安全的实时性能。为了提供高精度和可靠的实时性能，我们提出了一种新的跟踪器称为SiamVGG \footnote{https://github.com/leeyeehoo/SiamVGG}。它结合了卷积神经网络（CNN）主干和互相关算子，并利用示例性图像的特征进行更准确的对象跟踪。SiamVGG的架构是根据VGG-16定制的，其参数由示例性图像和期望的输入视频帧共享。我们在OTB-2013/50/100和VOT 2015/2016/2017数据集上展示了拟议的SiamVGG，具有最先进的准确性，同时在GTX 1080Ti上运行时保持了50 FPS的良好实时性能。在VOT 2017挑战赛中，我们的设计与ECO和C-COT相比，预期平均重叠（EAO）高出2%。
2022-07-04 cs.CV
Spatially Supervised Recurrent Convolutional Neural Networks for Visual Object Tracking
University of Missouri（密苏里大学）；TCL Research America（TCL美国研究院）
在本文中，我们开发了一种新的方法，空间监督递归卷积神经网络的视觉目标跟踪。我们的递归卷积网络利用了位置的历史以及深度神经网络学习的独特视觉特征。受最近用于目标检测的限界框回归方法的启发，我们研究了时间域中长短期记忆（LSTM）的回归能力，并提出将卷积网络产生的高级视觉特征与区域信息连接起来。与现有的基于深度学习的跟踪器相比，这些跟踪器对区域候选者使用二进制分类，我们使用回归来直接预测卷积层和递归单元的跟踪位置。我们在具有挑战性的基准视频跟踪数据集上与最先进的跟踪方法进行了广泛的实验结果和性能比较，结果表明，我们的跟踪器更准确，更强大，同时保持较低的计算成本。对于大多数测试视频序列，我们的方法实现了最好的跟踪性能，往往优于第二个最好的大幅度。
2016-07-19 cs.CV
STMTrack: Template-free Visual Tracking with Space-time Memory Networks
由于从第一帧裁剪的模板的固定信息几乎已经被完全挖掘，因此提高离线训练的暹罗跟踪器的性能变得越来越困难，但是它们抵抗目标外观变化的能力很差。现有的模板更新机制的跟踪器依赖于耗时的数值优化和复杂的手工设计策略来实现竞争性能，阻碍了它们的实时跟踪和实际应用。在本文中，我们提出了一种新的跟踪框架，建立在一个时空记忆网络，能够充分利用历史信息的目标，更好地适应跟踪过程中的外观变化。具体地说，引入了一种新的记忆机制，它存储的历史信息的目标，以指导跟踪器集中在当前帧中的信息量最大的区域。此外，记忆网络的像素级相似性计算使我们的跟踪器能够生成更准确的目标边界框。在具有挑战性的大规模基准测试（OTB-2015，TrackingNet，GOT-10 k，LaSOT，UAV 123和VOT 2018）上与许多竞争对手的跟踪器进行了广泛的实验和比较，结果表明，在没有花哨的情况下，我们的跟踪器在以37 FPS运行时优于所有以前最先进的实时方法。该代码可在https://github.com/fzh0917/STMTrack上获得。
2021-04-02 cs.CV
Accurate Bounding-box Regression with Distance-IoU Loss for Visual Tracking
Guangzhou Institute of Technology, Xidian University（西安电子科技大学广州研究院）；School of Computer Science and Technology, Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）计算机科学与技术学院）；School of Science, Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）理学院）；School of Computing Technologies, RMIT University（皇家墨尔本理工大学计算技术学院）；National Center for Applied Mathematics, Chongqing Normal University（重庆师范大学国家应用数学中心）
现有的大多数跟踪器都是基于分类器和多尺度估计来估计目标状态的。因此，正如预期的那样，跟踪器变得更加稳定，而跟踪精度却停滞不前。虽然跟踪器采用基于交并（IoU）损失的最大重叠方法来缓解此问题，但IoU损失本身存在缺陷，当给定的限界框完全包含在另一个限界框内/不包含另一个边界框时，无法继续优化目标函数;这使得准确估计目标状态非常具有挑战性。因此，在本文中，我们解决了上述问题，提出了一种新的跟踪方法的基础上的距离IoU（DIoU）的损失，使建议的跟踪器包括目标估计和目标分类。训练目标估计部分以预测目标地面实况限界框和估计的限界框之间的DIoU分数。DIoU损失可以保持IoU损失提供的优势，同时最小化两个边界框的中心点之间的距离，从而使目标估计更准确。此外，我们引入了一个分类部分，该部分是在线训练的，并使用基于共轭梯度的策略进行优化，以保证实时跟踪速度。综合实验结果表明，该方法实现了竞争力的跟踪精度相比，国家的最先进的跟踪器，同时具有实时跟踪速度。
2022-01-20 cs.CV
A2J: Anchor-to-Joint Regression Network for 3D Articulated Pose Estimation from a Single Depth Image
IHPC, A*STAR（新加坡科技研究局高性能计算研究所）；State University of New York at Buffalo（纽约州立大学布法罗分校）
针对深度图像中手部和身体的三维姿态估计问题，提出了一种基于锚点的具有端到端学习能力的锚点到关节回归网络（A2J）。在A2J内，能够捕获全局-局部空间上下文信息的锚点被密集地设置在深度图像上作为关节的局部回归量。它们有助于以集成的方式预测关节的位置，以提高泛化能力。所提出的3D铰接姿态估计范例不同于现有技术的基于编码器-解码器的FCN、3D CNN和基于点集的方式。为了发现信息锚点对某些关节，锚建议程序也提出了A2J。同时2D CNN（即，ResNet-50）被用作驱动A2J的骨干网络，而不使用耗时的3D卷积或去卷积层。在3个手部数据集和2个人体数据集上的实验验证了A2J算法的优越性。同时，A2J在单个NVIDIA 1080Ti GPU上具有约100 FPS的高运行速度。
2019-08-27 cs.CV
Joint Representation and Truncated Inference Learning for Correlation Filter based Tracking
Harbin Institute of Technology（哈尔滨工业大学）；University of Pittsburgh（匹兹堡大学）；Institute of Computing Technology, CAS（中国科学院计算技术研究所）
基于相关滤波器（CF）的跟踪器通常包括两个模块，即，特征表示和在线模型自适应。在用于CF跟踪器的现有离线深度学习模型中，模型自适应通常被放弃或者具有封闭形式的解决方案，以使得以端到端的方式学习深度表示是可行的。然而，这样的解决方案未能利用CF模型的进步，并且与最先进的CF跟踪器相比不能实现有竞争力的准确性。在本文中，我们研究了深度表示和模型自适应的联合学习，其中引入了一个更新器网络，通过将当前帧表示，跟踪结果和最后一个CF跟踪器作为输入来更好地跟踪未来帧。通过将表示器建模为卷积神经网络（CNN），我们截断了交替方向乘法器（ADMM）并将其解释为更新器的深度网络，从而产生了我们的学习表示和截断推理模型（RTINet）。实验表明，我们的RTINet跟踪器实现了良好的跟踪精度对国家的最先进的跟踪器，其快速版本可以运行在24 fps的实时速度。代码和预训练模型将在https://github.com/tourmaline612/RTINet上公开。
2018-07-29 cs.CV
