Sparse vs. Non-sparse: Which One Is Better for Practical Visual Tracking?
Politecnico di Milano（米兰理工大学）；Harbin Institute of Technology（哈尔滨工业大学）；University of Guilan（吉兰大学）
近年来，基于稀疏表示的视觉跟踪方法在计算机视觉领域引起了越来越多的关注。虽然取得了优于传统跟踪方法的性能，然而，一个基本问题还没有得到回答-稀疏约束是否真的是视觉跟踪所需要的？为了回答这个问题，在本文中，我们首先提出了一个强大的非稀疏表示为基础的跟踪器，然后进行广泛的实验，比较它对几个国家的最先进的稀疏表示为基础的跟踪器。实验结果和分析表明，所提出的非稀疏跟踪器在具有较快运行速度的同时，达到了与稀疏跟踪器相媲美的跟踪精度，为非稀疏跟踪器在实际应用中的应用提供了支持。
2016-07-30 cs.CV
SparseTT: Visual Tracking with Sparse Transformers
Beihang University（北京航空航天大学）；Hangzhou Innovation Institute, Beihang University（北京航空航天大学杭州创新研究院）
Transformers已成功应用于视觉跟踪任务，并显着提高跟踪性能。自注意力机制是Transformers成功的关键。然而，自我注意力缺乏对搜索区域中最相关信息的关注，很容易被背景分散注意力。在本文中，我们缓解这个问题与稀疏的注意力机制，通过集中在搜索区域中的最相关的信息，这使得更准确的跟踪。此外，我们引入了双头预测器，以提高前景-背景分类和目标边界框回归的准确性，从而进一步提高跟踪性能。大量的实验表明，在没有花里胡哨的情况下，我们的方法在以40 FPS运行时，在LaSOT、GOT-10 k、TrackingNet和UAV 123上的性能明显优于最先进的方法。值得注意的是，我们的方法的训练时间比TransT减少了75%。源代码和模型可以在https://github.com/fzh0917/SparseTT上找到。
2022-05-08 cs.CV
Enforcing Template Representability and Temporal Consistency for Adaptive Sparse Tracking
Colorado School of Mines（科罗拉多矿业学院）
稀疏表示在视觉跟踪中得到了广泛的研究，并显示出良好的跟踪性能。尽管取得了很大的进展，但由于外观随时间的变化，视觉跟踪问题仍然是一项具有挑战性的任务。在本文中，我们提出了一种新的稀疏跟踪算法，很好地解决时间外观的变化，通过执行模板表示性和时间一致性（TRAC）。通过建模时间一致性，我们的算法解决了漂移远离跟踪目标的问题。该方法通过探索模板的长期-短期可表示性，使用最具描述性的模板自适应地更新字典，显著提高了对目标外观变化的鲁棒性。我们比较我们的TRAC算法对国家的最先进的方法对12个具有挑战性的基准图像序列。定性和定量的结果表明，我们的算法显着优于以前的国家的最先进的跟踪器。
2016-04-30 cs.CV
Patchwise object tracking via structural local sparse appearance model
Iran University of Science and Technology（伊朗科技大学）
在本文中，我们提出了一个强大的视觉跟踪方法，利用相邻帧中的目标之间的关系，使用patchwise联合稀疏表示。从候选目标中提取两组不同大小的重叠块，构造两个字典，并考虑联合稀疏表示。通过将这种表示应用于结构稀疏外观模型，我们可以获得双重优势。首先，考虑目标斑块随时间的相关性。其次，采用不同斑块大小的局部外观模型，充分考虑了目标的局部特征。此外，候选补丁的位置和他们的遮挡水平被同时利用，以获得最终的目标候选的可能性。对最近具有挑战性的基准测试的评估表明，我们的跟踪方法优于最先进的跟踪器。
2018-03-16 cs.CV
Robust Structured Multi-task Multi-view Sparse Tracking
Utah State University（犹他州立大学）
稀疏表示是解决视觉跟踪问题的一种可行方法。在本文中，我们提出了一种结构化的多任务多视图跟踪（SMTMVT）方法，它利用粒子滤波框架中的稀疏外观模型来跟踪目标在不同的挑战。具体来说，我们从不同视图中提取目标候选者的特征，并通过不同视图模板的线性组合稀疏地表示它们。与传统的稀疏跟踪器不同，SMTMVT不仅联合考虑了不同任务和不同视图之间的关系，而且在一个强大的多任务多视图制定中保留了不同视图之间的结构。我们引入了一个数值算法的基础上的近似梯度法，快速，有效地找到稀疏的优化问题分为两个子问题的封闭形式的解决方案。具有挑战性的图像序列的基准上的定性和定量评估表明，所提出的跟踪器对各种国家的最先进的跟踪器的优越性能。
2018-06-06 cs.CV
SparseTrack: Multi-Object Tracking by Performing Scene Decomposition based on Pseudo-Depth
Huazhong University of Science and Technology（华中科技大学）
提出SparseTrack多目标跟踪器，通过伪深度估计和深度级联匹配算法将密集目标集分解为稀疏子集进行关联，有效解决拥挤场景下的遮挡问题。
2023-11-20 cs.CV
VoxelNeXt: Fully Sparse VoxelNet for 3D Object Detection and Tracking
The Chinese University of Hong Kong（香港中文大学）；The University of Hong Kong（香港大学）；MEGVII Technology（旷视科技）
3D对象检测器通常依赖于手工制作的代理，例如，锚点或中心，并将研究良好的2D框架转换为3D。因此，稀疏体素特征需要通过密集预测头进行加密和处理，这不可避免地需要额外的计算。在本文中，我们提出VoxelNext用于完全稀疏的3D目标检测。我们的核心见解是直接基于稀疏体素特征预测对象，而不依赖于手工制作的代理。我们强大的稀疏卷积网络VoxelNeXt完全通过体素特征检测和跟踪3D对象。它是一个优雅而高效的框架，不需要稀疏到密集的转换或NMS后处理。我们的方法比nuScenes数据集上的其他主机检测器实现了更好的速度-精度权衡。这是第一次，我们证明了一个完全稀疏的基于体素的表示工程体面的激光雷达三维目标检测和跟踪。在nuScenes，Waymo和Argoverse 2基准上进行的大量实验验证了我们方法的有效性。在没有花里胡哨的情况下，我们的模型在nuScenes跟踪测试基准上的性能优于所有现有的LIDAR方法。
2023-03-20 cs.CV
KLTNet: Learning Sparse Feature Tracking for Robust and Accurate Monocular Visual-Inertial Odometry
Shanghai Jiao Tong University（上海交通大学）
该研究提出轻量型学习型稀疏特征跟踪器KLTNet，替换传统KLT跟踪器，结合由粗到精架构与各向同性置信度权重，在多数据集实验中提升了VIO系统的跟踪与里程计精度，且保持实时性。
2026-08-26 cs.CV
Sparse Message Passing Network with Feature Integration for Online Multiple Object Tracking
Nanjing University of Science and Technology（南京理工大学）；Graz University of Technology（格拉茨技术大学）
现有的多目标跟踪（MOT）方法设计了复杂的体系结构以获得更好的跟踪性能。然而，没有一个适当的组织输入信息，他们仍然无法执行跟踪鲁棒性和遭受频繁的身份切换。在本文中，我们提出了两个新的方法，连同一个简单的在线消息传递网络（MPN），以解决这些限制。首先，我们探索了图节点和边嵌入的不同集成方法，并提出了一种新的IoU（Intersection over Union）引导函数，该函数改善了长期跟踪并处理身份切换。其次，我们引入了一种分层采样策略来构建稀疏图，从而可以将训练集中在更困难的样本上。实验结果表明，一个简单的在线MPN与这两个贡献可以执行更好地比许多国家的最先进的方法。此外，我们的关联方法具有很好的推广性，也可以改善基于私有检测的方法的结果。
2022-12-06 cs.CV
Robust Visual Tracking Using Dynamic Classifier Selection with Sparse Representation of Label Noise
School of Computer Science and Engineering Northwestern Polytechnical University（西北工业大学计算机学院）
近年来，在视觉跟踪问题中，一类基于“检测跟踪”的跟踪方法得到了广泛的应用。这些方法中的大多数使用跟踪器生成的样本在线更新分类器以处理外观变化。然而，自更新机制使这些方法遭受漂移问题，因为不正确的标签的弱分类器在训练样本。在本文中，我们将类标签分为真标签和噪声标签，并通过稀疏表示来建模。提出了一种新的动态分类器选择方法，该方法对含噪训练数据具有鲁棒性。此外，我们提出的分类器选择算法的视觉跟踪通过集成基于部分的在线助推框架。我们已经评估了我们提出的方法对12个具有挑战性的序列，涉及严重的闭塞，显着的照明变化和大的姿态变化。定性和定量的评估表明，我们的方法跟踪对象准确，鲁棒性和性能优于国家的最先进的跟踪器。
2019-03-19 cs.CV
Real-time Visual Tracking Using Sparse Representation
NICTA（澳大利亚国家信息与通信技术研究院）；Australian National University（澳大利亚国立大学）；University of Adelaide（阿德莱德大学）
$\ell_1$跟踪器通过经由$\ell_1$范数最小化\cite{Xue_ICCV_09_Track}寻求跟踪对象的稀疏表示来获得鲁棒性。然而，$ \ell_1 $跟踪器的高计算复杂性限制了其在实时的处理场景中的进一步应用。因此，我们提出了一个实时的压缩感知跟踪（RTCST）利用压缩感知（CS）的信号恢复能力。该算法采用降维和自定义的正交匹配追踪（OMP）算法来加速CS跟踪。因此，我们的算法实现了一个实时的速度，是$6,000$倍快于$\ell_1$跟踪器。同时，与现有的$\ell_1$跟踪器相比，RTCST仍然产生有竞争力的（有时甚至是优越的）跟踪精度。此外，对于一个固定的摄像机，进一步细化跟踪器的设计，通过整合基于CS的背景模型（CSBM）。这种配备CSBM的跟踪器被称为RTCST-B，在准确性和鲁棒性方面优于大多数最先进的技术。最后，我们在不同的视频序列上的实验结果，这是验证了一个新的度量-跟踪成功概率（TSP），显示了所提出的算法的优越性。
2010-12-12 cs.CV
Exploiting More Information in Sparse Point Cloud for 3D Single Object Tracking
Northeastern University（东北大学）；Science and Technology on Near-Surface Detection Laboratory（近地面探测技术重点实验室）；National Frontiers Science Center for Industrial Intelligence and Systems Optimization（工业智能与系统优化国家级前沿科学中心）
三维单目标跟踪是三维计算机视觉中的一项关键任务。然而，点云的稀疏性使得计算相似性和定位目标变得困难，这给三维跟踪器带来了很大的挑战。以往的工作试图解决这个问题，并提高跟踪性能，在一些常见的场景，但他们通常失败，在一些极端稀疏的场景，如跟踪对象在长距离或部分遮挡。为了解决上述问题，在这封信中，我们提出了一个稀疏到密集和基于transformer的3D单目标跟踪框架。首先，我们将3D稀疏点转换为3D柱，然后将它们压缩为2D BEV特征以具有密集表示。然后，我们提出了一个基于注意力的编码器，以实现模板和搜索分支之间的全局相似性计算，这可以减轻稀疏性的影响。同时，编码器对多尺度特征进行关注，以弥补点云稀疏性和特征尺度单一所带来的信息不足。最后，我们使用集合预测跟踪对象通过两个阶段的解码器，也利用注意力。大量的实验表明，我们的方法在KITTI和NuScenes数据集上取得了非常有前途的结果。
2022-10-02 cs.CV
SMTT: Novel Structured Multi-task Tracking with Graph-Regularized Sparse Representation for Robust Thermal Infrared Target Tracking
College of Computer and Information Technology, China Three Gorges University（三峡大学计算机与信息学院）；Hubei Province Engineering Technology Research Center for Construction Quality Testing Equipment, China Three Gorges University（三峡大学湖北省建筑质量检测装备工程技术研究中心）；Hubei Key Laboratory of Intelligent Vision Based Monitoring for Hydroelectric Engineering, China Three Gorges University（三峡大学水电工程智能视觉监测湖北省重点实验室）
针对热红外目标跟踪中的噪声、遮挡和快速运动挑战，提出基于多任务学习、联合稀疏表示和图正则化的SMTT跟踪器，在多个基准上实现高精度、鲁棒性和实时性能。
2025-04-20 cs.CV
SRCN3D: Sparse R-CNN 3D for Compact Convolutional Multi-View 3D Object Detection and Tracking
Tsinghua University（清华大学）
本文提出SRCN3D，一种结合稀疏查询、稀疏注意力和稀疏预测的两阶段全稀疏3D目标检测器，通过级联结构和局部RoI特征采样实现高效且易于部署的多视图3D检测与跟踪。
2023-07-02 cs.CV
Sparse Coding and Counting for Robust Visual Tracking
Dalian University of Technology（大连理工大学）
本文提出了一种新的稀疏编码和计数方法下的贝叶斯框架下的视觉跟踪。与现有方法相比，该方法采用L0和L1范数的组合来正则化增量更新线性基的线性系数。稀疏性约束使跟踪器能够有效地处理困难的挑战，例如遮挡或图像损坏。为了实现实时处理，我们提出了一个快速有效的数值算法求解所提出的模型。虽然这是一个NP难问题，建议加速邻近梯度（APG）的方法是保证快速收敛到一个解决方案。此外，我们提供了一个封闭的解决方案，结合L0和L1正则化表示，以获得更好的稀疏性。在具有挑战性的视频序列上的实验结果表明，该方法在准确性和速度上都达到了最先进的结果。
2016-05-28 cs.CV
SENDD: Sparse Efficient Neural Depth and Deformation for Tissue Tracking
The University of British Columbia（不列颠哥伦比亚大学）；Intuitive Surgical（直觉外科公司）
本文提出SENDD模型，利用稀疏关键点匹配的图神经网络联合检测、估计逐点深度与3D光流，以不足50万参数实现立体内窥镜组织的实时3D跟踪。
2023-09-25 cs.CV
Avatars Grow Legs: Generating Smooth Human Motion from Sparse Tracking Inputs with Diffusion Model
Meta AI
本文提出AGRoL条件扩散模型，基于MLP架构和新颖条件化方案，从HMD稀疏上半身追踪信号实时生成准确平滑的全身运动，并在AMASS数据集上超越现有方法。
2023-04-17 cs.CV
Non-sparse Linear Representations for Visual Tracking with Online Reservoir Metric Learning
Australian Centre for Visual Technologies（澳大利亚视觉技术中心）；The University of Adelaide（阿德莱德大学）
大多数基于稀疏线性表示的跟踪器需要解决计算上昂贵的L1正则化优化问题。为了解决这个问题，我们提出了一个基于非稀疏线性表示的视觉跟踪器，它允许一个有效的封闭形式的解决方案，而不牺牲精度。此外，为了捕获不同特征维度之间的相关信息，我们在线学习Mahalanobis距离度量，并将学习到的度量纳入优化问题以获得线性表示。我们表明，在线度量学习使用邻近比较显着提高了跟踪的鲁棒性，特别是对那些序列表现出剧烈的外观变化。此外，为了防止度量学习的训练样本数量的无限增长，我们设计了一种时间加权的水库采样方法来维护和更新有限大小的前景和背景样本缓冲区，以平衡样本的多样性和适应性。挑战性视频的实验结果表明，所提出的跟踪器的有效性和鲁棒性。
2012-04-13 cs.CV
SRT3D: A Sparse Region-Based 3D Object Tracking Approach for the Real World
German Aerospace Center（德国航空航天中心）；Technical University of Munich（慕尼黑工业大学）
基于区域的方法已经变得越来越流行的基于模型的，单目3D跟踪的纹理较少的对象在混乱的场景。然而，虽然它们实现了最先进的结果，但大多数方法在计算上是昂贵的，需要大量的资源来实时运行。在下文中，我们将在以前工作的基础上开发SRT3D，这是一种基于稀疏区域的3D对象跟踪方法，可以弥补这一效率差距。我们的方法认为图像信息稀疏沿所谓的对应线模型的对象的轮廓位置的概率。因此，我们改进了目前的最先进的，并引入平滑的阶梯函数，考虑一个定义的全局和局部的不确定性。对于由此产生的概率公式，提供了一个彻底的分析。最后，我们使用一个预先渲染的稀疏视点模型来创建一个联合后验概率的对象姿态。使用具有Tikhonov正则化的二阶牛顿优化来最大化函数。在姿态估计过程中，我们区分全局和局部优化，使用一种新的近似牛顿法中采用的一阶导数。在多个实验中，我们证明了所得到的算法在运行时间和质量方面都提高了当前的技术水平，对于现实世界中遇到的嘈杂和混乱的图像表现得特别好。
2021-10-25 cs.CV
STARS: Sparse Learning Correlation Filter with Spatio-temporal Regularization and Super-resolution Reconstruction for Thermal Infrared Target Tracking
College of Computer and Information Technology, China Three Gorges University（中国三峡大学计算机与信息学院）；Hubei Province Engineering Technology Research Center for Construction Quality Testing Equipment, China Three Gorges University（中国三峡大学湖北省建筑质量检测装备工程技术研究中心）；Hubei Key Laboratory of Intelligent Vision Based Monitoring for Hydroelectric Engineering, China Three Gorges University（中国三峡大学水电工程智能视觉监测湖北省重点实验室）
提出STARS，一种结合时空正则化与超分辨率重建的稀疏学习相关滤波跟踪器，解决热红外图像低分辨率和干扰问题，在多个基准上鲁棒性优于现有方法。
2025-04-20 cs.CV
Direct and Sparse Deformable Tracking
Instituto de Investigación en Ingeniería de Aragón (I3A), Universidad de Zaragoza（萨拉戈萨大学阿拉贡工程研究所（I3A））
可变形单目SLAM算法在未知的可变形环境中恢复相机的定位。目前的方法使用基于模板的可变形跟踪来恢复相机姿态和地图的变形。这些基于模板的方法使用底层全局变形模型。在本文中，我们介绍了一种新的变形摄像机跟踪方法与每个点的局部变形模型。每个贴图点都定义为独立于其他贴图点移动的单个带纹理的面元。由于直接的光度误差成本函数，我们可以跟踪的位置和方向的surfel没有显式的全球变形模型。在我们的实验中，我们验证了所提出的系统，并观察到我们的局部变形模型在实验室控制的实验和经历非等距变形的体内场景中更准确和鲁棒地估计地图的目标变形，具有变化的拓扑结构或不连续性。
2021-09-15 cs.CV
Long-term Correlation Tracking using Multi-layer Hybrid Features in Sparse and Dense Environments
Heriot Watt University（赫瑞-瓦特大学）；Sheffield Hallam University（谢菲尔德哈勒姆大学）
在稀疏和拥挤的环境中跟踪感兴趣的目标是一个具有挑战性的问题，尚未成功地解决在文献中。在本文中，我们提出了一种新的长期视觉跟踪算法，学习判别相关滤波器和使用在线分类器，跟踪目标的兴趣在稀疏和拥挤的视频序列。首先，我们使用卷积神经网络（CNN）和传统手工特征的多层混合来学习翻译相关滤波器。我们结合了较低的卷积层（保留更多空间细节以进行精确定位）和较高的卷积层（编码语义信息以处理外观变化）的优势，然后将这些与定向梯度直方图（HOG）和颜色命名传统特征相结合。其次，我们包括一个重新检测模块，用于克服由于长期遮挡而导致的跟踪失败，方法是使用手工设计的功能在最有信心的帧上训练增量（在线）SVM。仅当对象的相关响应低于某个预定义阈值时，才激活该重新检测模块。这生成高分检测建议，使用高斯混合概率假设密度（GM-PHD）滤波器对高分检测建议进行时间滤波，以通过去除作为杂波的其他检测建议来找到具有最大权重的检测建议作为目标状态估计。最后，我们学习了一个尺度相关滤波器，用于通过使用HOG特征在估计或重新检测的位置周围构建目标金字塔来估计目标的尺度。我们在稀疏和密集数据集上进行了广泛的实验，结果表明我们的方法显着优于最先进的方法。
2019-02-03 cs.CV
Minkowski Tracker: A Sparse Spatio-Temporal R-CNN for Joint Object Detection and Tracking
Stanford University（斯坦福大学）
多任务学习的最新研究揭示了在单个神经网络中解决相关问题的好处。3D目标检测和多目标跟踪（MOT）是预测和关联对象实例在时间上的位置的两个严重交织的问题。然而，大多数以前的作品在3D MOT处理的检测器作为一个预先分离的管道，不相交的检测器的输出作为输入到跟踪器。在这项工作中，我们提出了Minkowski Tracker，这是一个稀疏的时空R-CNN，它联合解决了目标检测和跟踪。受基于区域的CNN（R-CNN）的启发，我们提出将跟踪作为对象检测器R-CNN的第二阶段来解决，该对象检测器预测跟踪的分配概率。首先，Minkowski Tracker将4D点云作为输入，通过4D稀疏卷积编码器网络生成时空鸟瞰图（BEV）特征图。然后，我们提出的TrackAlign聚合BEV特征中的跟踪感兴趣区域（ROI）特征。最后，Minkowski Tracker根据ROI特征预测的检测到跟踪匹配概率更新跟踪及其置信度得分。我们在大规模的实验中表明，我们的方法的整体性能增益是由于四个因素：1。4D编码器的时间推理提高了检测性能2.目标检测和MOT的多任务学习共同增强对方3.检测到跟踪匹配分数学习隐式运动模型以增强跟踪分配4。检测到跟踪匹配分数提高了跟踪置信度分数的质量。因此，Minkowski Tracker在Nuscenes数据集跟踪任务上实现了最先进的性能，而无需手动设计运动模型。
2022-08-26 cs.CV
Online Multi-Camera 3D Tracking via ID Prediction over Recurrent Sparse Queries
Playbox Inc.（Playbox 公司）
提出在线多相机3D跟踪架构，通过循环稀疏查询显式预测ID，结合Sparse4D检测与MOTIP解码，在AI City Challenge上HOTA从29.63提升至38.01，排名第三。
2026-09-17 cs.CV
SpikeMOT: Event-based Multi-Object Tracking with Sparse Motion Features
The University of Hong Kong（香港大学）
针对复杂背景与相机运动下事件相机MOT难题，提出基于脉冲神经网络提取稀疏时空特征的SpikeMOT，并构建大规模DSEC-MOT基准，实验证明其达到最先进跟踪精度。
2023-09-29 cs.CV
Sparse-Dense Mixture of Experts Adapter for Multi-Modal Tracking
本文提出稀疏-密集专家混合适配器框架，通过稀疏MoE和密集共享MoE有效建模多模态特征，结合Gram基于语义对齐超图融合模块，提升多模态跟踪性能。
2026-03-14 cs.CV
An HMM-based framework for identity-aware long-term multi-object tracking from sparse and uncertain identification: use case on long-term tracking in livestock
Centre de développement du porc du Québec（魁北克猪发展中心）
针对长期多目标跟踪中的身份切换问题，提出基于HMM的框架，结合稀疏不确定的身份识别与跟踪，在猪跟踪及MOT17/20数据集上显著提升了ByteTrack和FairMOT的F1分数。
2025-09-12 cs.CV
MaST: Motion-aware Sparse Pipeline for Lightweight Object Tracking
South China University of Technology（华南理工大学）；Pengcheng Laboratory（鹏城实验室）
针对Transformer目标跟踪器计算成本过高的问题，提出MaST框架，通过运动先验优化token剪枝、设计原生稀疏预测头，在轻量型跟踪任务中取得最优性能，速度优于现有方法。
2026-08-26 cs.CV
Patchwise Joint Sparse Tracking with Occlusion Detection
Sharif University of Technology（谢里夫理工大学）
本文提出了一种鲁棒的跟踪方法来处理的挑战，如遮挡和外观变化。在这里，目标被划分为多个补丁。然后，使用由先前帧中的对应目标补丁组成的字典来对每个补丁的外观进行建模。在每一帧中，通过似然测度，在由粒子滤波器生成的一组候选者中找到目标，该似然测度被示出为与每个候选者的块重构误差的总和成比例。由于目标的外观往往在视频序列中变化缓慢，因此假设当前帧中的目标和少量先前帧的最佳候选者属于公共子空间。这是使用联合稀疏表示来强制目标和先前的最佳候选者具有共同的稀疏模式。此外，提出了一种遮挡检测方案，使用补丁重建误差和先验概率的遮挡，从自适应马尔可夫链中提取，计算每个补丁的遮挡概率。在每一帧中，当更新字典时，被遮挡的补丁被排除。在几个具有挑战性的序列上的大量实验结果表明，该方法优于最先进的跟踪器。
2014-02-05 cs.CV
A Unified Diffusion Framework for Scene-aware Human Motion Estimation from Sparse Signals
ShanghaiTech University（上海科技大学）；Shanghai Engineering Research Center of Intelligent Vision and Imaging（上海智能视觉与成像工程技术研究中心）
本文提出统一扩散框架S²Fusion，融合三维场景几何与稀疏跟踪信号，通过周期性自编码器、条件扩散模型及场景穿透和相位匹配损失，从AR/VR稀疏信号中生成合理连贯的全身人体运动，并在估计质量和平滑度上超越现有方法。
2024-04-07 cs.CV
A Framework for Real-Time Face and Facial Feature Tracking using Optical Flow Pre-estimation and Template Tracking
LIACS, Leiden University（莱顿大学LIACS（莱顿高级计算机科学研究所））
这项工作提出了一个框架，用于跟踪头部运动和捕捉运动的嘴和两个眉毛在实时的【形】。我们提出了一个头部跟踪器，这是一个组合的光流和基于模板的跟踪器。光流头部跟踪器的估计被用作微调头部估计的模板跟踪器的起始点。该方法与重新更新光流点一起防止头部跟踪器漂移。这种结合与我们的切换方案，使我们的跟踪器非常强大的快速运动和运动模糊。我们还提出了一种方法来减少头部部分遮挡的影响。在光流和基于模板的跟踪器中，我们识别并排除遮挡点。
2010-12-31 cs.CV
Dynamic Subframe Splitting and Spatio-Temporal Motion Entangled Sparse Attention for RGB-E Tracking
School of Artificial Intelligence and Computer Science, Jiangnan University（江南大学人工智能与计算机学院）；Centre for Vision, Speech and Signal Processing, University of Surrey（萨里大学视觉、语音与信号处理中心）
本文提出动态事件子帧划分策略与基于事件的稀疏注意力机制，有效提取事件流的时空特征，在FE240和COESOT数据集上优于现有最先进的RGB-E跟踪方法。
2024-09-26 cs.CV
TF-SASM: Training-free Spatial-aware Sparse Memory for Multi-object Tracking
John von Neumann Institute（约翰·冯·诺依曼研究所）；University of Science, VNU-HCM Viet Nam National University（越南国家大学胡志明市自然科学大学）；Faculty of Information Technology（信息技术学院）
针对多目标跟踪中基于记忆的方法计算与内存开销高的问题，提出免训练空间感知稀疏记忆TF-SASM，通过运动与重叠感知选存关键特征，在DanceTrack测试集上较MOTRv2的AssA、IDF1分别提升2.0%、2.1%。
2024-07-15 cs.CV
Motion-guided sparse correction enables expert-quality point tracking across diverse microscopy regimes
Department of Computer Science, Old Dominion University（奥德赛大学计算机科学系）；Department of Biology, Massachusetts Institute of Technology（麻省理工学院生物学系）；The Picower Institute for Learning and Memory, Massachusetts Institute of Technology（麻省理工学院学习与记忆研究所）；Department of Physics and Technology, UiT--The Arctic University of Norway（挪威北极大学物理与技术系）；Department of Physics, University of Oslo（奥斯陆大学物理系）；School of Data Science, Old Dominion University（奥德赛大学数据科学学院）；Department of Physics, Old Dominion University（奥德赛大学物理系）
提出RIPPLE方法，通过运动引导的稀疏校正，在多种显微镜视频中实现专家级点跟踪，将手动标注工作量减少3至25倍。
2026-05-28 cs.CV
PaFiMoCS: Particle Filtered Modified-CS and Applications in Visual Tracking across Illumination Change
Iowa State University（爱荷华州立大学）；Carnegie Mellon University（卡内基梅隆大学）
我们研究的问题跟踪（因果关系估计）的时间序列的稀疏空间信号与变化的稀疏模式，以及其他未知的状态，从一个序列的非线性观测损坏（可能）非高斯噪声。在许多应用中，特别是在视觉跟踪中的那些应用中，未知状态可以被分成小维度部分（例如，全局运动）和空间信号（例如，照明或形状变形）。空间信号通常被很好地建模为在某些域中是稀疏的。对于长序列，其稀疏模式可以随时间变化，尽管变化通常很慢。为了解决上述问题，我们提出了一种新的解决方案，称为粒子过滤修改CS（PaFiMoCS）。PaFiMoCS的核心思想是对小维状态向量进行重要性采样，同时用慢稀疏模式变化约束的后验模式跟踪代替重要性采样来恢复稀疏空间信号。我们表明，在空间变化的光照变化的跟踪移动对象的问题是上述问题的一个例子，并解释如何设计PaFiMoCS为it.Experiments模拟数据以及在真实视频具有显着的光照变化证明了该算法的优越性相比，现有的粒子滤波跟踪算法。
2013-01-08 cs.CV
Shadow-Background-Noise 3D Spatial Decomposition Using Sparse Low-Rank Gaussian Properties for Video-SAR Moving Target Shadow Enhancement
University of Electronic Science and Technology of China（电子科技大学）
视频合成孔径雷达（Video-SAR）图像中的运动目标阴影往往受到低散射背景和杂波噪声的干扰，导致检测跟踪精度不高。因此，提出了一种阴影-背景-噪声三维空间分解（SBN-3D-SD）模型来增强阴影，以获得更高的检测跟踪精度。它利用阴影的稀疏性、背景的低秩性和噪声的高斯性进行三维空间三分解。该算法利用交替方向乘子法（ADMM）将阴影从背景和噪声中分离出来。桑迪亚国家实验室（SNL）数据的结果验证了其有效性。从定性和定量评价两个方面提高了阴影的显著性。它提高了Faster R-CNN，RetinaNet和YOLOv 3的阴影检测准确性。它还提高了TransTrack、FairMOT和ByteTrack的阴影跟踪精度。
2022-12-07 cs.CV
Planar Object Tracking via Weighted Optical Flow
Czech Technical University in Prague（捷克理工大学）
我们提出WOFT -一种新的方法，用于平面对象跟踪，估计一个完整的8度的自由姿态，即单应性w.r.t.参考视图。该方法使用了一种新的模块，该模块利用密集的光流，并为每个光流对应关系分配权重，以完全可微的方式通过加权最小二乘估计单应性。在大多数情况下，训练模块为不正确的对应关系（离群值）分配零权重，使该方法具有鲁棒性，并消除了对RANSAC等通常使用的不可微鲁棒估计器的需要。所提出的加权光流跟踪器（WOFT）在两个基准POT-210和POIC上实现了最先进的性能，在广泛的场景中始终跟踪良好。
2023-01-24 cs.CV
Detection and Tracking of Small Objects in Sparse 3D Laser Range Data
University of Bonn（波恩大学）
动态对象的检测和跟踪是在连续变化的环境中自主行为的关键特征。随着微型飞行器（MAVs）的日益普及和能力的提高，必须利用有效的算法在有限的硬件和轻量级传感器提供的数据上实现多目标跟踪。我们提出了一种新的分割方法的基础上相结合的中值滤波器和一个有效的管道，用于检测和跟踪由Velodyne VLP-16传感器生成的稀疏点云内的小物体。我们通过利用数据的固有结构在MAV硬件的单个核心上实现实时性能。我们的方法在室内和室外环境的模拟和真实扫描上进行了评估，获得了与最先进水平相当的结果。此外，我们提供了一个应用程序，用于过滤数据的动态和映射静态部分，进一步了解管道对未标记数据的性能。
2019-03-14 cs.CV cs.RO
Sparse3DTrack: Monocular 3D Object Tracking Using Sparse Supervision
University of Freiburg, Germany（弗赖堡大学）；Qualcomm SARL France（法国高通公司）；Automated Driving, Qualcomm Technologies, Inc., USA（美国高通技术公司自动驾驶部门）
本文提出首个稀疏监督的单目3D物体跟踪框架，通过分解为2D查询匹配和3D几何估计两阶段任务，利用时空一致性增强稀疏标注样本，生成高质量3D伪标签，提升极端稀疏标注下的跟踪性能。
2026-03-18 cs.AI cs.CV cs.RO
Sparse Regularized Correlation Filter for UAV Object Tracking with adaptive Contextual Learning and Keyfilter Selection
Shanxi University（山西大学）
近年来，相关滤波器由于其高帧速率、鲁棒性和低计算资源等优点，在无人机跟踪中得到了广泛的应用。然而，由于边界效应和滤波器损坏这两个固有缺陷，它是脆弱的。一些方法通过扩大搜索区域来减轻边界效应，但引入了不希望的背景干扰。另一种方法可以通过引入时间正则化器来减轻学习滤波器的时间退化，这取决于连续帧之间的滤波器应该是相干的假设。事实上，有时第（$t-1$）帧处的滤波器易受来自背景的严重遮挡的影响，这导致假设不成立。为了处理这些问题，在这项工作中，我们提出了一种新的$\ell_{1}$正则化相关滤波器与自适应上下文学习和关键滤波器选择无人机跟踪。首先，我们自适应地检测有效的上下文干扰的位置，通过使用先前的相关滤波器模型产生的当前帧的响应图上的局部最大值的分布的援助。接下来，我们消除了不一致的标签跟踪目标删除一个干扰，并制定一个新的评分方案，每个干扰。然后，我们可以从过滤器池中选择关键过滤器，通过寻找当前帧的目标和过滤器池中每个过滤器对应的目标模板之间的最大相似度。最后，在三个权威的无人机数据集上进行了定量和定性实验，实验结果表明该方法优于现有的基于相关滤波框架的跟踪方法。
2022-10-13 cs.CV
Detection Recovery in Online Multi-Object Tracking with Sparse Graph Tracker
The Hong Kong University of Science and Technology（香港科技大学）；Clova AI, NAVER Corp.（NAVER公司Clova AI）
本文提出稀疏图跟踪器SGT，利用高阶关系特征构建图结构，通过大K值top-K候选选择恢复低分检测和漏检，在多个多目标跟踪基准上以实时速度超越现有方法。
2023-09-19 cs.CV
HMD-Poser: On-Device Real-time Human Motion Tracking from Scalable Sparse Observations
PICO, ByteDance（皮科，字节跳动）
针对独立VR头显实时人体运动跟踪难题，提出支持多类稀疏输入组合的HMD-Poser方法，通过轻量时空网络与在线体型估计实现设备端实时高精度跟踪，在基准与自建数据集上均达最优效果并完成商用头显应用验证。
2024-03-06 cs.CV
From Sparse Signal to Smooth Motion: Real-Time Motion Generation with Rolling Prediction Models
Meta Reality Labs（元宇宙实验室）；Universitat de Barcelona（巴塞罗那大学）；Computer Vision Center（计算机视觉中心）；King’s College London（伦敦国王学院）
本文提出滚动预测模型RPM，在XR中从稀疏且可能缺失的手部追踪或控制器信号实时生成平滑全身运动，并构建了首个商用VR头显稀疏输入数据集GORP以验证其在追踪与合成模式间无缝过渡的有效性。
2025-04-07 cs.CV
Neural Implicit Event Generator for Motion Tracking
Keio University（庆应义塾大学）；Denso IT Laboratory（电装IT实验室）
我们提出了一个新的框架，运动跟踪的事件数据使用隐式表达式。我们的框架使用预先训练的事件生成MLP，称为隐式事件生成器（IEG），并根据观察到的事件和当前状态估计生成的事件之间的差异，通过更新其状态（位置和速度）来进行运动跟踪。差异由IEG隐式计算。与传统的显式方法，这需要密集的计算来评估的差异，我们的隐式方法实现了有效的状态更新直接从稀疏的事件数据。我们的稀疏算法特别适合于计算资源和电池寿命有限的移动机器人应用。为了验证我们的方法在真实世界数据上的有效性，我们将其应用到AR标记跟踪应用中。我们已经证实，我们的框架在存在噪声和背景杂波的现实环境中工作得很好。
2021-11-06 cs.CV
Realistic Full-Body Tracking from Sparse Observations via Joint-Level Modeling
ByteDance Inc（字节跳动公司）
针对仅靠 HMD 与手部控制器的稀疏全身追踪问题，提出两阶段关节级建模框架，利用时空 transformer 与专用损失生成准确平滑的全身运动。
2023-08-17 cs.CV
A-MFST: Adaptive Multi-Flow Sparse Tracker for Real-Time Tissue Tracking Under Occlusion
The University of British Columbia（不列颠哥伦比亚大学）；Intuitive Surgical Inc.（直觉外科公司）
本文提出无监督自适应多流稀疏跟踪器A-MFST，并结合SAM2遮挡掩蔽与前向-后向一致性扩展SENDD，在STIR上显著降低遮挡跟踪误差且保持实时性。
2024-10-25 cs.CV cs.RO
Efficient 3D Full-Body Motion Generation from Sparse Tracking Inputs with Temporal Windows
CERTH；Samsung R&D Institute UK（三星英国研发中心）
本文提出一种基于多层感知机和时间窗口机制的神经网络方法，将长序列稀疏跟踪输入划分为短窗口并通过潜在表示融合历史上下文，在显著提升三维全身运动生成精度的同时大幅降低计算与内存开销，适用于资源受限设备。
2025-05-03 cs.CV
Object Tracking in Satellite Videos Based on a Multi-Frame Optical Flow Tracker
Wuhan University（武汉大学）；The University of Sydney（悉尼大学）
目标跟踪是计算机视觉中的一个研究热点。随着超高分辨率遥感技术的发展，利用卫星视频对感兴趣的目标进行跟踪成为可能。然而，由于卫星视频中的目标相对于整幅图像而言往往太小，且与背景过于相似，现有的算法都不能很好地跟踪卫星视频中的目标。基于光流在检测目标微小运动方面的巨大潜力，提出了一种多帧光流跟踪器（MOFT）用于卫星视频中的目标跟踪。采用Lucas-Kanade光流法结合HSV彩色系统和积分图像对卫星视频中的目标进行跟踪，采用多帧差分法对光流跟踪器进行解译。对3个VHR遥感卫星视频数据集的实验表明，与现有目标跟踪算法相比，该方法能够更准确地跟踪目标。
2018-04-25 cs.CV
ATLASFusion: Aggregation Tracking with Location-Aware Sparse Fusion for Robust Spatio-Temporal Multi-View Pedestrian Tracking
Meijo University（名古屋大学）；Chubu Electric Power Co., Inc.（Chubu电力公司）
本文提出ATLASFusion框架，通过稀疏透视变换、密度感知加权聚合等技术解决多视角行人跟踪的特征畸变问题，在基准测试中提升精度与鲁棒性，且计算开销极小。
2026-08-11 cs.AI cs.CV
Through-Foliage Tracking with Airborne Optical Sectioning
Johannes Kepler University Linz（林茨约翰·开普勒大学）；University of Applied Sciences Upper Austria（上奥地利应用科学大学）
通过树叶检测和跟踪运动目标是困难的，在许多情况下，甚至不可能在常规的航空图像和视频。我们提出了一个初始的重量轻，无人机操作的一维相机阵列，支持并行合成孔径航空成像。我们的主要发现是，与传统的原始图像或视频帧相比，颜色异常检测明显受益于图像集成（在我们的现场实验中，平均精度为97% vs. 42%）。我们证明，这两个贡献可以导致检测和跟踪移动的人通过密集闭塞的森林。
2021-11-30 cs.CV
QuestSim: Human Motion Tracking from Sparse Sensors with Simulated Avatars
Reality Labs Research, Meta（Meta现实实验室研究部）；Meta AI Research（Meta人工智能研究院）
人体运动的实时跟踪对于AR/VR中的交互式和沉浸式体验至关重要。然而，关于身体的非常有限的传感器数据可从独立的可穿戴设备（诸如HMD（头戴式设备）或AR眼镜）获得。在这项工作中，我们提出了一个强化学习框架，它从HMD和两个控制器接收稀疏信号，并模拟看似合理和物理上有效的全身运动。在训练期间使用高质量的全身运动作为密集监督，简单的策略网络可以学习输出适当的扭矩，使角色保持平衡、行走和慢跑，同时密切关注输入信号。我们的结果表明，即使输入仅是HMD的6D变换，在没有对下半身进行任何观察的情况下，腿部运动也与地面实况惊人地相似。我们还表明，单一策略可以适用于不同的运动方式、不同的体型和新颖的环境。
2022-09-20 cs.CV cs.GR
SDOF-Tracker: Fast and Accurate Multiple Human Tracking by Skipped-Detection and Optical-Flow
KDDI Research, Inc.（KDDI研究所）；RIKEN（理化学研究所）；Nagoya University（名古屋大学）
多人跟踪是场景理解的一个基本问题。虽然在现实世界的应用中需要准确性和速度，但最近基于深度学习的跟踪方法专注于准确性，需要大量的运行时间。本研究的目的是提高运行速度，在一定的帧间隔进行人体检测，因为它占了大部分的运行时间。问题是如何在跳过人类检测的同时保持准确性。在本文中，我们提出了一种方法，补充检测结果与光流的基础上，一个人的外观并没有改变很多相邻帧之间。为了保持跟踪的准确性，我们引入了强大的兴趣点选择内的人体区域和跟踪终止度量计算的兴趣点的分布。在MOTChallenge的MOT 20数据集上，提出的SDOF-Tracker在保持MOTA指标的同时，在总运行速度方面实现了最佳性能。我们的代码可在https://github.com/hitottiez/sdof-tracker上获得。
2022-04-30 cs.CV
Visual Tracking Using Sparse Coding and Earth Mover's Distance
University of Connecticut（康涅狄格大学）
提出了一种有效的迭代地球移动器距离（iEMD）视觉跟踪算法。该方法利用地球移动器距离（EMD）作为相似性度量，在视频序列的特征空间中搜索最优模板候选。EMD的计算被公式化为线性规划的运输问题。EMD优化问题的效率限制了其在视觉跟踪中的应用。为了解决这一问题，我们将迁移单纯形法用于EMD优化，并提出了一种单调收敛的迭代优化算法。局部稀疏表示被用作iEMD跟踪器的外观模型。采用最大对齐池法构造稀疏编码直方图，降低了EMD优化的计算复杂度。提出了基于经验模态分解的模板更新算法。iEMD跟踪算法假设小的帧间移动以保证收敛。当摄像机安装在移动机器人上时，例如，在飞行的四轴飞行器中，相机可能经历导致大的帧间移动的突然且快速的运动。为了确保跟踪算法收敛，陀螺仪辅助扩展的iEMD跟踪器，其中同步陀螺仪信息被用来补偿相机的旋转。iEMD算法的性能使用八个公开可用的数据集进行评估。的iEMD算法的性能进行了比较与7个国家的最先进的跟踪算法的基础上相对百分比重叠。该算法对大帧间位移的鲁棒性也被说明。
2018-04-06 cs.CV cs.RO eess.IV
Robust Structured Group Local Sparse Tracker Using Deep Features
稀疏表示最近已成功地应用于视觉跟踪。该算法利用一组模板来表示候选目标，并找到重建误差最小的最佳模板作为跟踪结果。在本文中，我们提出了一个强大的基于深度特征的结构化组局部稀疏跟踪器（DF-SGLST），它利用目标候选人内部的局部补丁的深度特征，并在粒子滤波框架中用一组模板表示它们。与传统的局部稀疏跟踪器不同，DF-SGLST中提出的优化模型采用组稀疏正则化项来无缝地采用目标候选者的局部和空间信息，并获得它们之间的空间布局结构。为了解决优化模型，我们提出了一个有效的和快速的数值算法，由两个子问题的封闭形式的解决方案。在具有挑战性的图像序列的基准上的成功和精度方面的不同评价（例如，OTB 50和OTB 100）证明了所提出的跟踪器对几个国家的最先进的跟踪器的优越性能。
2020-03-30 cs.CV
