Patchwise object tracking via structural local sparse appearance model
Iran University of Science and Technology（伊朗科技大学）
在本文中，我们提出了一个强大的视觉跟踪方法，利用相邻帧中的目标之间的关系，使用patchwise联合稀疏表示。从候选目标中提取两组不同大小的重叠块，构造两个字典，并考虑联合稀疏表示。通过将这种表示应用于结构稀疏外观模型，我们可以获得双重优势。首先，考虑目标斑块随时间的相关性。其次，采用不同斑块大小的局部外观模型，充分考虑了目标的局部特征。此外，候选补丁的位置和他们的遮挡水平被同时利用，以获得最终的目标候选的可能性。对最近具有挑战性的基准测试的评估表明，我们的跟踪方法优于最先进的跟踪器。
2018-03-16 cs.CV
Robust Structured Multi-task Multi-view Sparse Tracking
Utah State University（犹他州立大学）
稀疏表示是解决视觉跟踪问题的一种可行方法。在本文中，我们提出了一种结构化的多任务多视图跟踪（SMTMVT）方法，它利用粒子滤波框架中的稀疏外观模型来跟踪目标在不同的挑战。具体来说，我们从不同视图中提取目标候选者的特征，并通过不同视图模板的线性组合稀疏地表示它们。与传统的稀疏跟踪器不同，SMTMVT不仅联合考虑了不同任务和不同视图之间的关系，而且在一个强大的多任务多视图制定中保留了不同视图之间的结构。我们引入了一个数值算法的基础上的近似梯度法，快速，有效地找到稀疏的优化问题分为两个子问题的封闭形式的解决方案。具有挑战性的图像序列的基准上的定性和定量评估表明，所提出的跟踪器对各种国家的最先进的跟踪器的优越性能。
2018-06-06 cs.CV
SparseTrack: Multi-Object Tracking by Performing Scene Decomposition based on Pseudo-Depth
Huazhong University of Science and Technology（华中科技大学）
提出SparseTrack多目标跟踪器，通过伪深度估计和深度级联匹配算法将密集目标集分解为稀疏子集进行关联，有效解决拥挤场景下的遮挡问题。
2023-11-20 cs.CV
Object Tracking by Jointly Exploiting Frame and Event Domain
Dalian University of Technology（大连理工大学）；SRI International（斯坦福国际研究院）
受传统的基于帧的相机和生物启发的基于事件的相机之间的互补性的启发，我们提出了一种基于多模态的方法来融合来自帧域和事件域的视觉线索，以增强单对象跟踪性能，特别是在退化条件下（例如，具有高动态范围、低亮度和快速运动对象的场景）。所提出的方法可以有效地和自适应地结合有意义的信息，从两个领域。我们的方法的有效性是加强了一种新的设计跨域注意力计划，它可以有效地提高功能的基础上自我和跨域注意力计划的自适应性是由一个专门设计的加权方案，它可以自适应地平衡两个域的贡献。为了在单目标跟踪中利用基于事件的视觉线索，我们构建了一个大规模的基于帧事件的数据集，我们随后采用训练一个新的基于帧事件融合的模型。大量的实验表明，所提出的方法优于国家的最先进的基于帧的跟踪方法至少10.4%和11.9%的代表性的成功率和准确率，分别。此外，我们的方法的每个关键组成部分的有效性是由我们的全面消融研究证明。
2021-09-19 cs.CV
MambaTrack: Exploiting Dual-Enhancement for Night UAV Tracking
Cooperative Medianet Innovation Center（合作 medi 创新中心）；Shanghai Jiao Tong University（上海交通大学）；Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；CloudWalk Technology（云从科技）；Shanghai AI Laboratory（上海人工智能实验室）
针对夜间无人机跟踪受低光照影响性能不佳的问题，提出基于mamba的MambaTrack跟踪器，通过低光照增强与跨模态交互双重提升性能，兼具高精度与高效计算内存优势。
2025-01-14 cs.CV
Sparse Message Passing Network with Feature Integration for Online Multiple Object Tracking
Nanjing University of Science and Technology（南京理工大学）；Graz University of Technology（格拉茨技术大学）
现有的多目标跟踪（MOT）方法设计了复杂的体系结构以获得更好的跟踪性能。然而，没有一个适当的组织输入信息，他们仍然无法执行跟踪鲁棒性和遭受频繁的身份切换。在本文中，我们提出了两个新的方法，连同一个简单的在线消息传递网络（MPN），以解决这些限制。首先，我们探索了图节点和边嵌入的不同集成方法，并提出了一种新的IoU（Intersection over Union）引导函数，该函数改善了长期跟踪并处理身份切换。其次，我们引入了一种分层采样策略来构建稀疏图，从而可以将训练集中在更困难的样本上。实验结果表明，一个简单的在线MPN与这两个贡献可以执行更好地比许多国家的最先进的方法。此外，我们的关联方法具有很好的推广性，也可以改善基于私有检测的方法的结果。
2022-12-06 cs.CV
Robust Visual Tracking Using Dynamic Classifier Selection with Sparse Representation of Label Noise
School of Computer Science and Engineering Northwestern Polytechnical University（西北工业大学计算机学院）
近年来，在视觉跟踪问题中，一类基于“检测跟踪”的跟踪方法得到了广泛的应用。这些方法中的大多数使用跟踪器生成的样本在线更新分类器以处理外观变化。然而，自更新机制使这些方法遭受漂移问题，因为不正确的标签的弱分类器在训练样本。在本文中，我们将类标签分为真标签和噪声标签，并通过稀疏表示来建模。提出了一种新的动态分类器选择方法，该方法对含噪训练数据具有鲁棒性。此外，我们提出的分类器选择算法的视觉跟踪通过集成基于部分的在线助推框架。我们已经评估了我们提出的方法对12个具有挑战性的序列，涉及严重的闭塞，显着的照明变化和大的姿态变化。定性和定量的评估表明，我们的方法跟踪对象准确，鲁棒性和性能优于国家的最先进的跟踪器。
2019-03-19 cs.CV
Real-time Visual Tracking Using Sparse Representation
NICTA（澳大利亚国家信息与通信技术研究院）；Australian National University（澳大利亚国立大学）；University of Adelaide（阿德莱德大学）
$\ell_1$跟踪器通过经由$\ell_1$范数最小化\cite{Xue_ICCV_09_Track}寻求跟踪对象的稀疏表示来获得鲁棒性。然而，$ \ell_1 $跟踪器的高计算复杂性限制了其在实时的处理场景中的进一步应用。因此，我们提出了一个实时的压缩感知跟踪（RTCST）利用压缩感知（CS）的信号恢复能力。该算法采用降维和自定义的正交匹配追踪（OMP）算法来加速CS跟踪。因此，我们的算法实现了一个实时的速度，是$6,000$倍快于$\ell_1$跟踪器。同时，与现有的$\ell_1$跟踪器相比，RTCST仍然产生有竞争力的（有时甚至是优越的）跟踪精度。此外，对于一个固定的摄像机，进一步细化跟踪器的设计，通过整合基于CS的背景模型（CSBM）。这种配备CSBM的跟踪器被称为RTCST-B，在准确性和鲁棒性方面优于大多数最先进的技术。最后，我们在不同的视频序列上的实验结果，这是验证了一个新的度量-跟踪成功概率（TSP），显示了所提出的算法的优越性。
2010-12-12 cs.CV
Sparse Coding and Counting for Robust Visual Tracking
Dalian University of Technology（大连理工大学）
本文提出了一种新的稀疏编码和计数方法下的贝叶斯框架下的视觉跟踪。与现有方法相比，该方法采用L0和L1范数的组合来正则化增量更新线性基的线性系数。稀疏性约束使跟踪器能够有效地处理困难的挑战，例如遮挡或图像损坏。为了实现实时处理，我们提出了一个快速有效的数值算法求解所提出的模型。虽然这是一个NP难问题，建议加速邻近梯度（APG）的方法是保证快速收敛到一个解决方案。此外，我们提供了一个封闭的解决方案，结合L0和L1正则化表示，以获得更好的稀疏性。在具有挑战性的视频序列上的实验结果表明，该方法在准确性和速度上都达到了最先进的结果。
2016-05-28 cs.CV
Exploiting Multimodal Spatial-temporal Patterns for Video Object Tracking
Nanjing University of Science and Technology（南京理工大学）；Nanjing University（南京大学）；Guangxi Normal University（广西师范大学）
针对多模态跟踪未充分利用时间相关性的问题，提出STTrack，通过时间状态生成器持续生成时间信息token指导目标定位，并引入mamba融合与背景抑制交互模块实现双阶段模态融合，在五个基准数据集上达到最先进性能。
2024-12-20 cs.CV
Non-sparse Linear Representations for Visual Tracking with Online Reservoir Metric Learning
Australian Centre for Visual Technologies（澳大利亚视觉技术中心）；The University of Adelaide（阿德莱德大学）
大多数基于稀疏线性表示的跟踪器需要解决计算上昂贵的L1正则化优化问题。为了解决这个问题，我们提出了一个基于非稀疏线性表示的视觉跟踪器，它允许一个有效的封闭形式的解决方案，而不牺牲精度。此外，为了捕获不同特征维度之间的相关信息，我们在线学习Mahalanobis距离度量，并将学习到的度量纳入优化问题以获得线性表示。我们表明，在线度量学习使用邻近比较显着提高了跟踪的鲁棒性，特别是对那些序列表现出剧烈的外观变化。此外，为了防止度量学习的训练样本数量的无限增长，我们设计了一种时间加权的水库采样方法来维护和更新有限大小的前景和背景样本缓冲区，以平衡样本的多样性和适应性。挑战性视频的实验结果表明，所提出的跟踪器的有效性和鲁棒性。
2012-04-13 cs.CV
SRT3D: A Sparse Region-Based 3D Object Tracking Approach for the Real World
German Aerospace Center（德国航空航天中心）；Technical University of Munich（慕尼黑工业大学）
基于区域的方法已经变得越来越流行的基于模型的，单目3D跟踪的纹理较少的对象在混乱的场景。然而，虽然它们实现了最先进的结果，但大多数方法在计算上是昂贵的，需要大量的资源来实时运行。在下文中，我们将在以前工作的基础上开发SRT3D，这是一种基于稀疏区域的3D对象跟踪方法，可以弥补这一效率差距。我们的方法认为图像信息稀疏沿所谓的对应线模型的对象的轮廓位置的概率。因此，我们改进了目前的最先进的，并引入平滑的阶梯函数，考虑一个定义的全局和局部的不确定性。对于由此产生的概率公式，提供了一个彻底的分析。最后，我们使用一个预先渲染的稀疏视点模型来创建一个联合后验概率的对象姿态。使用具有Tikhonov正则化的二阶牛顿优化来最大化函数。在姿态估计过程中，我们区分全局和局部优化，使用一种新的近似牛顿法中采用的一阶导数。在多个实验中，我们证明了所得到的算法在运行时间和质量方面都提高了当前的技术水平，对于现实世界中遇到的嘈杂和混乱的图像表现得特别好。
2021-10-25 cs.CV
Long-term Correlation Tracking using Multi-layer Hybrid Features in Sparse and Dense Environments
Heriot Watt University（赫瑞-瓦特大学）；Sheffield Hallam University（谢菲尔德哈勒姆大学）
在稀疏和拥挤的环境中跟踪感兴趣的目标是一个具有挑战性的问题，尚未成功地解决在文献中。在本文中，我们提出了一种新的长期视觉跟踪算法，学习判别相关滤波器和使用在线分类器，跟踪目标的兴趣在稀疏和拥挤的视频序列。首先，我们使用卷积神经网络（CNN）和传统手工特征的多层混合来学习翻译相关滤波器。我们结合了较低的卷积层（保留更多空间细节以进行精确定位）和较高的卷积层（编码语义信息以处理外观变化）的优势，然后将这些与定向梯度直方图（HOG）和颜色命名传统特征相结合。其次，我们包括一个重新检测模块，用于克服由于长期遮挡而导致的跟踪失败，方法是使用手工设计的功能在最有信心的帧上训练增量（在线）SVM。仅当对象的相关响应低于某个预定义阈值时，才激活该重新检测模块。这生成高分检测建议，使用高斯混合概率假设密度（GM-PHD）滤波器对高分检测建议进行时间滤波，以通过去除作为杂波的其他检测建议来找到具有最大权重的检测建议作为目标状态估计。最后，我们学习了一个尺度相关滤波器，用于通过使用HOG特征在估计或重新检测的位置周围构建目标金字塔来估计目标的尺度。我们在稀疏和密集数据集上进行了广泛的实验，结果表明我们的方法显着优于最先进的方法。
2019-02-03 cs.CV
SpikeMOT: Event-based Multi-Object Tracking with Sparse Motion Features
The University of Hong Kong（香港大学）
针对复杂背景与相机运动下事件相机MOT难题，提出基于脉冲神经网络提取稀疏时空特征的SpikeMOT，并构建大规模DSEC-MOT基准，实验证明其达到最先进跟踪精度。
2023-09-29 cs.CV
An HMM-based framework for identity-aware long-term multi-object tracking from sparse and uncertain identification: use case on long-term tracking in livestock
Centre de développement du porc du Québec（魁北克猪发展中心）
针对长期多目标跟踪中的身份切换问题，提出基于HMM的框架，结合稀疏不确定的身份识别与跟踪，在猪跟踪及MOT17/20数据集上显著提升了ByteTrack和FairMOT的F1分数。
2025-09-12 cs.CV
MaST: Motion-aware Sparse Pipeline for Lightweight Object Tracking
South China University of Technology（华南理工大学）；Pengcheng Laboratory（鹏城实验室）
针对Transformer目标跟踪器计算成本过高的问题，提出MaST框架，通过运动先验优化token剪枝、设计原生稀疏预测头，在轻量型跟踪任务中取得最优性能，速度优于现有方法。
2026-08-26 cs.CV
A Unified Diffusion Framework for Scene-aware Human Motion Estimation from Sparse Signals
ShanghaiTech University（上海科技大学）；Shanghai Engineering Research Center of Intelligent Vision and Imaging（上海智能视觉与成像工程技术研究中心）
本文提出统一扩散框架S²Fusion，融合三维场景几何与稀疏跟踪信号，通过周期性自编码器、条件扩散模型及场景穿透和相位匹配损失，从AR/VR稀疏信号中生成合理连贯的全身人体运动，并在估计质量和平滑度上超越现有方法。
2024-04-07 cs.CV
TF-SASM: Training-free Spatial-aware Sparse Memory for Multi-object Tracking
John von Neumann Institute（约翰·冯·诺依曼研究所）；University of Science, VNU-HCM Viet Nam National University（越南国家大学胡志明市自然科学大学）；Faculty of Information Technology（信息技术学院）
针对多目标跟踪中基于记忆的方法计算与内存开销高的问题，提出免训练空间感知稀疏记忆TF-SASM，通过运动与重叠感知选存关键特征，在DanceTrack测试集上较MOTRv2的AssA、IDF1分别提升2.0%、2.1%。
2024-07-15 cs.CV
Hypergraph Multi-modal Large Language Model: Exploiting EEG and Eye-tracking Modalities to Evaluate Heterogeneous Responses for Video Understanding
Peking University（北京大学）；Mininglamp Technology（Mininglamp科技）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
本文提出SRI-ADV广告视频主观响应数据集和超图多模态大语言模型HMLLM，通过融合EEG与眼动追踪数据评估不同人群对视频内容的理解差异，实验验证了其有效性。
2024-09-05 cs.CV
Extending Multi-Object Tracking systems to better exploit appearance and 3D information
University of Moratuwa（莫拉图瓦大学）
实时的跟踪多个物体对于各种现实世界的应用至关重要，其中自动驾驶行业是最重要的。这项工作涉及利用随时间变化的外观和运动信息进行跟踪。Siamese网络最近在基于外观的单对象跟踪方面取得了非常成功，而递归神经网络已经开始主导基于运动和外观的跟踪。我们的工作重点是将Siamese网络和RNN结合起来，分别利用外观和运动信息来构建一个能够实时的多目标跟踪的联合系统。我们进一步探讨了基于几何学的约束跟踪在鸟瞰视图空间有效地利用3D信息作为一个约束优化问题的跟踪预测。
2019-12-25 cs.CV cs.RO
PaFiMoCS: Particle Filtered Modified-CS and Applications in Visual Tracking across Illumination Change
Iowa State University（爱荷华州立大学）；Carnegie Mellon University（卡内基梅隆大学）
我们研究的问题跟踪（因果关系估计）的时间序列的稀疏空间信号与变化的稀疏模式，以及其他未知的状态，从一个序列的非线性观测损坏（可能）非高斯噪声。在许多应用中，特别是在视觉跟踪中的那些应用中，未知状态可以被分成小维度部分（例如，全局运动）和空间信号（例如，照明或形状变形）。空间信号通常被很好地建模为在某些域中是稀疏的。对于长序列，其稀疏模式可以随时间变化，尽管变化通常很慢。为了解决上述问题，我们提出了一种新的解决方案，称为粒子过滤修改CS（PaFiMoCS）。PaFiMoCS的核心思想是对小维状态向量进行重要性采样，同时用慢稀疏模式变化约束的后验模式跟踪代替重要性采样来恢复稀疏空间信号。我们表明，在空间变化的光照变化的跟踪移动对象的问题是上述问题的一个例子，并解释如何设计PaFiMoCS为it.Experiments模拟数据以及在真实视频具有显着的光照变化证明了该算法的优越性相比，现有的粒子滤波跟踪算法。
2013-01-08 cs.CV
UncertaintyTrack: Exploiting Detection and Localization Uncertainty in Multi-Object Tracking
Institute For Aerospace Studies (UTIAS), University of Toronto（多伦多大学航空航天研究所（UTIAS））
本文提出UncertaintyTrack扩展，使多个基于检测的跟踪器能够利用概率检测器的定位不确定性，在Berkeley Deep Drive MOT数据集上将ID切换减少约19%并提升mMOTA 2-3%。
2024-04-29 cs.CV cs.RO
Detection and Tracking of Small Objects in Sparse 3D Laser Range Data
University of Bonn（波恩大学）
动态对象的检测和跟踪是在连续变化的环境中自主行为的关键特征。随着微型飞行器（MAVs）的日益普及和能力的提高，必须利用有效的算法在有限的硬件和轻量级传感器提供的数据上实现多目标跟踪。我们提出了一种新的分割方法的基础上相结合的中值滤波器和一个有效的管道，用于检测和跟踪由Velodyne VLP-16传感器生成的稀疏点云内的小物体。我们通过利用数据的固有结构在MAV硬件的单个核心上实现实时性能。我们的方法在室内和室外环境的模拟和真实扫描上进行了评估，获得了与最先进水平相当的结果。此外，我们提供了一个应用程序，用于过滤数据的动态和映射静态部分，进一步了解管道对未标记数据的性能。
2019-03-14 cs.CV cs.RO
Sparse3DTrack: Monocular 3D Object Tracking Using Sparse Supervision
University of Freiburg, Germany（弗赖堡大学）；Qualcomm SARL France（法国高通公司）；Automated Driving, Qualcomm Technologies, Inc., USA（美国高通技术公司自动驾驶部门）
本文提出首个稀疏监督的单目3D物体跟踪框架，通过分解为2D查询匹配和3D几何估计两阶段任务，利用时空一致性增强稀疏标注样本，生成高质量3D伪标签，提升极端稀疏标注下的跟踪性能。
2026-03-18 cs.AI cs.CV cs.RO
Sparse Regularized Correlation Filter for UAV Object Tracking with adaptive Contextual Learning and Keyfilter Selection
Shanxi University（山西大学）
近年来，相关滤波器由于其高帧速率、鲁棒性和低计算资源等优点，在无人机跟踪中得到了广泛的应用。然而，由于边界效应和滤波器损坏这两个固有缺陷，它是脆弱的。一些方法通过扩大搜索区域来减轻边界效应，但引入了不希望的背景干扰。另一种方法可以通过引入时间正则化器来减轻学习滤波器的时间退化，这取决于连续帧之间的滤波器应该是相干的假设。事实上，有时第（$t-1$）帧处的滤波器易受来自背景的严重遮挡的影响，这导致假设不成立。为了处理这些问题，在这项工作中，我们提出了一种新的$\ell_{1}$正则化相关滤波器与自适应上下文学习和关键滤波器选择无人机跟踪。首先，我们自适应地检测有效的上下文干扰的位置，通过使用先前的相关滤波器模型产生的当前帧的响应图上的局部最大值的分布的援助。接下来，我们消除了不一致的标签跟踪目标删除一个干扰，并制定一个新的评分方案，每个干扰。然后，我们可以从过滤器池中选择关键过滤器，通过寻找当前帧的目标和过滤器池中每个过滤器对应的目标模板之间的最大相似度。最后，在三个权威的无人机数据集上进行了定量和定性实验，实验结果表明该方法优于现有的基于相关滤波框架的跟踪方法。
2022-10-13 cs.CV
Detection Recovery in Online Multi-Object Tracking with Sparse Graph Tracker
The Hong Kong University of Science and Technology（香港科技大学）；Clova AI, NAVER Corp.（NAVER公司Clova AI）
本文提出稀疏图跟踪器SGT，利用高阶关系特征构建图结构，通过大K值top-K候选选择恢复低分检测和漏检，在多个多目标跟踪基准上以实时速度超越现有方法。
2023-09-19 cs.CV
Deep Siamese Networks with Bayesian non-Parametrics for Video Object Tracking
Portland State University（波特兰州立大学）；Intel Corporation（英特尔公司）
我们提出了一种新的算法，利用深连体神经网络作为一个通用的对象相似性函数结合贝叶斯优化（BO）框架编码的时空信息，有效的视频对象跟踪。特别是，我们把视频跟踪问题作为一个动态（即时间演变）优化问题。使用高斯过程先验，我们建模一个动态的目标函数，表示跟踪对象在每帧中的位置。通过利用时间相关性，所提出的方法以统计原则和有效的方式查询搜索空间，提供了优于当前技术视频跟踪方法的几个优点。
2018-11-18 cs.CV
TransCenter: Transformers with Dense Representations for Multiple-Object Tracking
Inria Grenoble Rhône-Alpes（法国国家信息与自动化研究所罗纳-阿尔卑斯大区格勒诺布尔中心）；Massachusetts Institute of Technology（麻省理工学院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
自推出以来，Transformers已被证明在各种任务中具有卓越的性能。近年来，它们在诸如图像分类和目标检测等任务中引起了视觉界的关注。尽管如此，一个准确和有效的多目标跟踪（MOT）方法的基础上Transformers器尚未被设计。我们认为，直接应用的Transformer架构与二次复杂性和不足的噪声初始化稀疏查询-是不是最佳的MOT。我们提出了transCenter，一个基于transformer的MOT架构与密集的表示，准确地跟踪所有的对象，同时保持合理的运行时间。在方法上，我们提出了使用图像相关的密集检测查询和高效的稀疏跟踪查询我们精心设计的查询学习网络（QLN）。一方面，密集的图像相关检测查询允许我们通过密集的热图输出来全局和鲁棒地推断目标的位置。另一方面，稀疏跟踪查询集有效地与我们的transCenter解码器中的图像特征进行交互，以通过时间关联对象位置。因此，TransCenter表现出显着的性能改进，并在两个标准的MOT基准测试中（两个跟踪设置（公共/私人））大幅优于当前最先进的方法。通过广泛的消融研究以及与更简单的替代方案和并行工作的比较，也证明了TransCenter的有效性和准确性。出于科学兴趣，该代码在https://github.com/yihongxu/transcenter上公开提供。
2022-09-30 cs.CV
Exploiting Spatial Invariance for Scalable Unsupervised Object Tracking
Mila（米拉研究所）；McGill University（麦吉尔大学）
在视觉世界中检测和跟踪对象的能力是任何智能代理的关键技能，因为它是任何对象级推理过程的必要前提。此外，重要的是，智能体学会在没有监督的情况下跟踪对象（即不访问带注释的训练视频），因为这将允许智能体在最少的人工帮助下开始在新环境中操作。近年来，学习发现和跟踪视频中的对象的任务（我们称之为\textit{unsupervised object tracking}）越来越突出;然而，解决这个问题的大多数架构仍然难以处理包含许多对象的大型场景。在目前的工作中，我们提出了一个架构，以及采用空间不变的计算（卷积和空间注意力）和表示（空间局部对象规范方案）的大场景，多对象设置的规模。在一系列实验中，我们展示了我们的架构的一些有吸引力的功能;最值得注意的是，它在跟踪具有许多对象的杂乱场景中的对象时优于竞争方法，并且它可以很好地推广到比训练期间遇到的视频更大和/或包含更多对象的视频。
2019-11-20 cs.CV cs.LG stat.ML
Visual Tracking Using Sparse Coding and Earth Mover's Distance
University of Connecticut（康涅狄格大学）
提出了一种有效的迭代地球移动器距离（iEMD）视觉跟踪算法。该方法利用地球移动器距离（EMD）作为相似性度量，在视频序列的特征空间中搜索最优模板候选。EMD的计算被公式化为线性规划的运输问题。EMD优化问题的效率限制了其在视觉跟踪中的应用。为了解决这一问题，我们将迁移单纯形法用于EMD优化，并提出了一种单调收敛的迭代优化算法。局部稀疏表示被用作iEMD跟踪器的外观模型。采用最大对齐池法构造稀疏编码直方图，降低了EMD优化的计算复杂度。提出了基于经验模态分解的模板更新算法。iEMD跟踪算法假设小的帧间移动以保证收敛。当摄像机安装在移动机器人上时，例如，在飞行的四轴飞行器中，相机可能经历导致大的帧间移动的突然且快速的运动。为了确保跟踪算法收敛，陀螺仪辅助扩展的iEMD跟踪器，其中同步陀螺仪信息被用来补偿相机的旋转。iEMD算法的性能使用八个公开可用的数据集进行评估。的iEMD算法的性能进行了比较与7个国家的最先进的跟踪算法的基础上相对百分比重叠。该算法对大帧间位移的鲁棒性也被说明。
2018-04-06 cs.CV cs.RO eess.IV
A Complementary Tracking Model with Multiple Features
Harbin Institute of Technology（哈尔滨工业大学）；Shenzhen Graduate School, Harbin Institute of Technology（哈尔滨工业大学深圳研究生院）
基于判别相关滤波器的跟踪算法利用传统的手工制作的功能，取得了令人印象深刻的结果，无论是在准确性和鲁棒性。模板手工制作的功能已经显示出出色的性能，但当目标的外观快速变化时，例如快速运动和快速变形时，它们的性能很差。相比之下，统计手工特征对快速状态变化不敏感，但它们在光照变化和背景杂波的情况下性能较差。在这项工作中，为了实现一个有效的跟踪性能，我们提出了一种新的视觉跟踪算法，命名为MFCMT，基于互补集成模型与多个功能，包括直方图的方向一致性（HOG），颜色名称（CN）和颜色直方图（CH）。此外，为了提高跟踪效果和防止目标漂移，我们引入了一种有效的融合方法，利用相对熵合并所有的基本响应地图，并得到一个最佳的响应。此外，我们提出了一个简单而有效的更新策略，以提高跟踪性能。在两个跟踪基准上进行了综合评估，实验结果表明，我们的方法与许多国家的最先进的跟踪器具有竞争力。我们的跟踪器在这些基准测试中以更快的速度实现了令人印象深刻的性能。
2018-07-19 cs.CV cs.GR
A Feasibility Study on Indoor Localization and Multi-person Tracking Using Sparsely Distributed Camera Network with Edge Computing
Emory University（埃默里大学）；Georgia Institute of Technology（佐治亚理工学院）
本文研究在大型室内空间中利用39套配备TPU的边缘计算摄像头系统实现隐私保护的多人定位与跟踪，实验取得1.41米平均定位误差和88.6%跟踪准确率，验证了该方案的可行性。
2023-11-29 cs.AI cs.CV
Exploiting Lightweight Hierarchical ViT and Dynamic Framework for Efficient Visual Tracking
Dalian University of Technology（大连理工大学）；Dalian Minzu University（大连民族大学）
提出高效跟踪模型家族HiT及其动态版本DyHiT，通过Bridge Module和动态路由在资源受限设备上实现精度与速度的最佳权衡，并引入免训练加速方法显著提升多种高性能跟踪器的执行速度。
2025-06-25 cs.CV cs.LG
Exploiting Offset-guided Network for Pose Estimation and Tracking
Beijing Laboratory of Advanced Information Networks（北京先进信息网络实验室）；Beijing University of Posts and Telecommunications（北京邮电大学）；Horizon Robotics（地平线机器人）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
由于深度学习的发展，人体姿态估计已经取得了重大进展。最近的人体姿态估计方法倾向于直接预测位置热图，这会导致量化误差，并且不可避免地在减少的网络输出内降低性能。为了解决这个问题，我们重新审视了热图偏移聚合方法，并提出了偏移引导网络（OGN），该网络具有直观但有效的融合策略，用于两阶段姿态估计和Mask R-CNN。对于两阶段姿态估计，还提出了一种贪婪盒生成策略，以保持更多的必要候选人，同时执行人检测。对于掩码R-CNN，采用比率一致性来提高网络的泛化能力。COCO和PoseTrack数据集上的最新结果验证了我们的偏移引导姿态估计和跟踪的有效性。
2019-06-04 cs.CV
Radar Tracker: Moving Instance Tracking in Sparse and Noisy Radar Point Clouds
CARIAD SE；Center for Robotics, University of Bonn（机器人中心，波恩大学）；Lamarr Institute for Machine Learning and Artificial Intelligence（拉马尔机器学习与人工智能研究所）
本文提出一种基于学习的雷达跟踪器，通过时间偏移预测、注意力机制及几何与外观特征融合，提升稀疏含噪雷达点云中移动实例的跟踪与分割性能，并在 RadarScenes 基准上优于现有方法。
2025-07-04 cs.CV
VoxelNeXt: Fully Sparse VoxelNet for 3D Object Detection and Tracking
The Chinese University of Hong Kong（香港中文大学）；The University of Hong Kong（香港大学）；MEGVII Technology（旷视科技）
3D对象检测器通常依赖于手工制作的代理，例如，锚点或中心，并将研究良好的2D框架转换为3D。因此，稀疏体素特征需要通过密集预测头进行加密和处理，这不可避免地需要额外的计算。在本文中，我们提出VoxelNext用于完全稀疏的3D目标检测。我们的核心见解是直接基于稀疏体素特征预测对象，而不依赖于手工制作的代理。我们强大的稀疏卷积网络VoxelNeXt完全通过体素特征检测和跟踪3D对象。它是一个优雅而高效的框架，不需要稀疏到密集的转换或NMS后处理。我们的方法比nuScenes数据集上的其他主机检测器实现了更好的速度-精度权衡。这是第一次，我们证明了一个完全稀疏的基于体素的表示工程体面的激光雷达三维目标检测和跟踪。在nuScenes，Waymo和Argoverse 2基准上进行的大量实验验证了我们方法的有效性。在没有花里胡哨的情况下，我们的模型在nuScenes跟踪测试基准上的性能优于所有现有的LIDAR方法。
2023-03-20 cs.CV
KLTNet: Learning Sparse Feature Tracking for Robust and Accurate Monocular Visual-Inertial Odometry
Shanghai Jiao Tong University（上海交通大学）
该研究提出轻量型学习型稀疏特征跟踪器KLTNet，替换传统KLT跟踪器，结合由粗到精架构与各向同性置信度权重，在多数据集实验中提升了VIO系统的跟踪与里程计精度，且保持实时性。
2026-08-26 cs.CV
Depth Map Completion by Jointly Exploiting Blurry Color Images and Sparse Depth Maps
Northwestern Polytechnical University（西北工业大学）；Australian National University（澳大利亚国立大学）；Data61, CSIRO（澳大利亚联邦科学与工业研究组织 Data61）
我们的目标是预测一个完整的和高分辨率的深度图从不完整的，稀疏的和嘈杂的深度测量。现有的方法要么直接利用深度图上的各种正则化，要么采用基于学习的方法来处理这个问题。当相应的彩色图像可用时，深度图和彩色图像之间的相关性被用来提高完成性能，假设彩色图像是干净和清晰的。然而，在现实世界的动态场景中，彩色图像往往是模糊的，由于相机的运动和移动的物体在场景中。在本文中，我们提出了解决深度图完成的问题，通过联合利用模糊的彩色图像序列和稀疏的深度图测量，并提出了一种基于能量最小化的配方，同时完成深度图，估计场景流和去模糊的彩色图像。我们对室外和室内场景的实验评估证明了我们的方法的最先进的性能。
2017-11-27 cs.CV
SMTT: Novel Structured Multi-task Tracking with Graph-Regularized Sparse Representation for Robust Thermal Infrared Target Tracking
College of Computer and Information Technology, China Three Gorges University（三峡大学计算机与信息学院）；Hubei Province Engineering Technology Research Center for Construction Quality Testing Equipment, China Three Gorges University（三峡大学湖北省建筑质量检测装备工程技术研究中心）；Hubei Key Laboratory of Intelligent Vision Based Monitoring for Hydroelectric Engineering, China Three Gorges University（三峡大学水电工程智能视觉监测湖北省重点实验室）
针对热红外目标跟踪中的噪声、遮挡和快速运动挑战，提出基于多任务学习、联合稀疏表示和图正则化的SMTT跟踪器，在多个基准上实现高精度、鲁棒性和实时性能。
2025-04-20 cs.CV
SRCN3D: Sparse R-CNN 3D for Compact Convolutional Multi-View 3D Object Detection and Tracking
Tsinghua University（清华大学）
本文提出SRCN3D，一种结合稀疏查询、稀疏注意力和稀疏预测的两阶段全稀疏3D目标检测器，通过级联结构和局部RoI特征采样实现高效且易于部署的多视图3D检测与跟踪。
2023-07-02 cs.CV
SENDD: Sparse Efficient Neural Depth and Deformation for Tissue Tracking
The University of British Columbia（不列颠哥伦比亚大学）；Intuitive Surgical（直觉外科公司）
本文提出SENDD模型，利用稀疏关键点匹配的图神经网络联合检测、估计逐点深度与3D光流，以不足50万参数实现立体内窥镜组织的实时3D跟踪。
2023-09-25 cs.CV
Sparse Optical Flow-Based Line Feature Tracking
Hunan University（湖南大学）；University of Alberta（阿尔伯塔大学）
本文提出了一种基于稀疏光流（SOF）的线特征跟踪方法来解决摄像机姿态估计问题。该方法受基于点的SOF算法的启发，基于时变图像序列中相邻两幅图像满足亮度不变性的观察而发展。在此基础上，我们重新定义了线特征跟踪的目标：基于灰度值匹配而不是描述符匹配跟踪线特征的两个端点而不是整条线。为了实现这一目标，提出了一种有效的两端点跟踪方法：首先，用两个端点描述给定的线特征;然后，基于SOF跟踪这两个端点，通过最小化像素级灰度残差函数得到两个新的被跟踪端点;最后，连接这两个被跟踪端点生成一个新的线特征。在给定的线特征和新的线特征之间建立对应关系。与现有的基于特征提取的方法相比，本文提出的TET方法不需要重复计算描述子和检测线特征。当然，它比计算有明显的优势。在几个公共基准数据集上的实验表明，该方法具有很高的准确性，在速度上具有明显的优势。
2022-04-15 cs.CV
Avatars Grow Legs: Generating Smooth Human Motion from Sparse Tracking Inputs with Diffusion Model
Meta AI
本文提出AGRoL条件扩散模型，基于MLP架构和新颖条件化方案，从HMD稀疏上半身追踪信号实时生成准确平滑的全身运动，并在AMASS数据集上超越现有方法。
2023-04-17 cs.CV
STARS: Sparse Learning Correlation Filter with Spatio-temporal Regularization and Super-resolution Reconstruction for Thermal Infrared Target Tracking
College of Computer and Information Technology, China Three Gorges University（中国三峡大学计算机与信息学院）；Hubei Province Engineering Technology Research Center for Construction Quality Testing Equipment, China Three Gorges University（中国三峡大学湖北省建筑质量检测装备工程技术研究中心）；Hubei Key Laboratory of Intelligent Vision Based Monitoring for Hydroelectric Engineering, China Three Gorges University（中国三峡大学水电工程智能视觉监测湖北省重点实验室）
提出STARS，一种结合时空正则化与超分辨率重建的稀疏学习相关滤波跟踪器，解决热红外图像低分辨率和干扰问题，在多个基准上鲁棒性优于现有方法。
2025-04-20 cs.CV
Direct and Sparse Deformable Tracking
Instituto de Investigación en Ingeniería de Aragón (I3A), Universidad de Zaragoza（萨拉戈萨大学阿拉贡工程研究所（I3A））
可变形单目SLAM算法在未知的可变形环境中恢复相机的定位。目前的方法使用基于模板的可变形跟踪来恢复相机姿态和地图的变形。这些基于模板的方法使用底层全局变形模型。在本文中，我们介绍了一种新的变形摄像机跟踪方法与每个点的局部变形模型。每个贴图点都定义为独立于其他贴图点移动的单个带纹理的面元。由于直接的光度误差成本函数，我们可以跟踪的位置和方向的surfel没有显式的全球变形模型。在我们的实验中，我们验证了所提出的系统，并观察到我们的局部变形模型在实验室控制的实验和经历非等距变形的体内场景中更准确和鲁棒地估计地图的目标变形，具有变化的拓扑结构或不连续性。
2021-09-15 cs.CV
Minkowski Tracker: A Sparse Spatio-Temporal R-CNN for Joint Object Detection and Tracking
Stanford University（斯坦福大学）
多任务学习的最新研究揭示了在单个神经网络中解决相关问题的好处。3D目标检测和多目标跟踪（MOT）是预测和关联对象实例在时间上的位置的两个严重交织的问题。然而，大多数以前的作品在3D MOT处理的检测器作为一个预先分离的管道，不相交的检测器的输出作为输入到跟踪器。在这项工作中，我们提出了Minkowski Tracker，这是一个稀疏的时空R-CNN，它联合解决了目标检测和跟踪。受基于区域的CNN（R-CNN）的启发，我们提出将跟踪作为对象检测器R-CNN的第二阶段来解决，该对象检测器预测跟踪的分配概率。首先，Minkowski Tracker将4D点云作为输入，通过4D稀疏卷积编码器网络生成时空鸟瞰图（BEV）特征图。然后，我们提出的TrackAlign聚合BEV特征中的跟踪感兴趣区域（ROI）特征。最后，Minkowski Tracker根据ROI特征预测的检测到跟踪匹配概率更新跟踪及其置信度得分。我们在大规模的实验中表明，我们的方法的整体性能增益是由于四个因素：1。4D编码器的时间推理提高了检测性能2.目标检测和MOT的多任务学习共同增强对方3.检测到跟踪匹配分数学习隐式运动模型以增强跟踪分配4。检测到跟踪匹配分数提高了跟踪置信度分数的质量。因此，Minkowski Tracker在Nuscenes数据集跟踪任务上实现了最先进的性能，而无需手动设计运动模型。
2022-08-26 cs.CV
Online Multi-Camera 3D Tracking via ID Prediction over Recurrent Sparse Queries
Playbox Inc.（Playbox 公司）
提出在线多相机3D跟踪架构，通过循环稀疏查询显式预测ID，结合Sparse4D检测与MOTIP解码，在AI City Challenge上HOTA从29.63提升至38.01，排名第三。
2026-09-17 cs.CV
Sparse-Dense Mixture of Experts Adapter for Multi-Modal Tracking
本文提出稀疏-密集专家混合适配器框架，通过稀疏MoE和密集共享MoE有效建模多模态特征，结合Gram基于语义对齐超图融合模块，提升多模态跟踪性能。
2026-03-14 cs.CV
Patchwise Joint Sparse Tracking with Occlusion Detection
Sharif University of Technology（谢里夫理工大学）
本文提出了一种鲁棒的跟踪方法来处理的挑战，如遮挡和外观变化。在这里，目标被划分为多个补丁。然后，使用由先前帧中的对应目标补丁组成的字典来对每个补丁的外观进行建模。在每一帧中，通过似然测度，在由粒子滤波器生成的一组候选者中找到目标，该似然测度被示出为与每个候选者的块重构误差的总和成比例。由于目标的外观往往在视频序列中变化缓慢，因此假设当前帧中的目标和少量先前帧的最佳候选者属于公共子空间。这是使用联合稀疏表示来强制目标和先前的最佳候选者具有共同的稀疏模式。此外，提出了一种遮挡检测方案，使用补丁重建误差和先验概率的遮挡，从自适应马尔可夫链中提取，计算每个补丁的遮挡概率。在每一帧中，当更新字典时，被遮挡的补丁被排除。在几个具有挑战性的序列上的大量实验结果表明，该方法优于最先进的跟踪器。
2014-02-05 cs.CV
Sparse Steerable Convolutions: An Efficient Learning of SE(3)-Equivariant Features for Estimation and Tracking of Object Poses in 3D Space
South China University of Technology（华南理工大学）；DexForce Co. Ltd.（DexForce有限公司）；Peng Cheng Laboratory（鹏城实验室）；SmartMore Technology Co. Ltd.（思谋科技有限公司）；Pazhou Laboratory（琶洲实验室）
作为SE（3）-等变深度特征学习的基本组成部分，可控卷积最近已经证明了其在3D语义分析中的优势。然而，这些优点是由密集的体积数据上的昂贵计算带来的，这阻止了其用于本质上稀疏的3D数据的有效处理的实际使用。在本文中，我们提出了一种新的设计稀疏可控卷积（SS-Conv），以解决这个缺点; SS-Conv大大加快了可控卷积与稀疏张量，同时严格保持SE（3）-等方差的属性。基于SS-Conv，我们提出了一种用于精确估计对象姿态的通用流水线，其中关键设计是一个充分利用SE（3）-等方差并能够进行有效姿态细化的转向模块。为了验证我们的设计，我们进行了彻底的实验上的三个任务的3D对象的语义分析，包括实例级的6D姿态估计，类别级的6D姿态和大小估计，和类别级的6D姿态跟踪。我们提出的基于SS-Conv的管道在三个任务评估的几乎所有指标上都优于现有方法。消融研究还显示了我们的SS-Conv在准确性和效率方面优于替代卷积。我们的代码在https://github.com/Gorilla-Lab-SCUT/SS-Conv上公开发布。
2021-11-14 cs.CV
Dynamic Subframe Splitting and Spatio-Temporal Motion Entangled Sparse Attention for RGB-E Tracking
School of Artificial Intelligence and Computer Science, Jiangnan University（江南大学人工智能与计算机学院）；Centre for Vision, Speech and Signal Processing, University of Surrey（萨里大学视觉、语音与信号处理中心）
本文提出动态事件子帧划分策略与基于事件的稀疏注意力机制，有效提取事件流的时空特征，在FE240和COESOT数据集上优于现有最先进的RGB-E跟踪方法。
2024-09-26 cs.CV
Motion-guided sparse correction enables expert-quality point tracking across diverse microscopy regimes
Department of Computer Science, Old Dominion University（奥德赛大学计算机科学系）；Department of Biology, Massachusetts Institute of Technology（麻省理工学院生物学系）；The Picower Institute for Learning and Memory, Massachusetts Institute of Technology（麻省理工学院学习与记忆研究所）；Department of Physics and Technology, UiT--The Arctic University of Norway（挪威北极大学物理与技术系）；Department of Physics, University of Oslo（奥斯陆大学物理系）；School of Data Science, Old Dominion University（奥德赛大学数据科学学院）；Department of Physics, Old Dominion University（奥德赛大学物理系）
提出RIPPLE方法，通过运动引导的稀疏校正，在多种显微镜视频中实现专家级点跟踪，将手动标注工作量减少3至25倍。
2026-05-28 cs.CV
Shadow-Background-Noise 3D Spatial Decomposition Using Sparse Low-Rank Gaussian Properties for Video-SAR Moving Target Shadow Enhancement
University of Electronic Science and Technology of China（电子科技大学）
视频合成孔径雷达（Video-SAR）图像中的运动目标阴影往往受到低散射背景和杂波噪声的干扰，导致检测跟踪精度不高。因此，提出了一种阴影-背景-噪声三维空间分解（SBN-3D-SD）模型来增强阴影，以获得更高的检测跟踪精度。它利用阴影的稀疏性、背景的低秩性和噪声的高斯性进行三维空间三分解。该算法利用交替方向乘子法（ADMM）将阴影从背景和噪声中分离出来。桑迪亚国家实验室（SNL）数据的结果验证了其有效性。从定性和定量评价两个方面提高了阴影的显著性。它提高了Faster R-CNN，RetinaNet和YOLOv 3的阴影检测准确性。它还提高了TransTrack、FairMOT和ByteTrack的阴影跟踪精度。
2022-12-07 cs.CV
SparseTrain: Exploiting Dataflow Sparsity for Efficient Convolutional Neural Networks Training
School of Microelectronics, BDBC, Beihang University（北京航空航天大学微电子学院，大数据科学与脑机智能高精尖创新中心）；School of Computer Science and Engineering, BDBC, Beihang University（北京航空航天大学计算机科学与工程学院，大数据科学与脑机智能高精尖创新中心）；Department of Electrical and Computer Engineering, Duke University（杜克大学电气与计算机工程系）
训练卷积神经网络（CNN）通常需要大量的计算资源。在本文中，\textit{SparseTrain}提出了加速CNN训练充分利用稀疏性。主要涉及三个层次的创新：激活梯度剪枝算法、稀疏训练算法和加速器架构。通过在每一层上应用随机修剪算法，可以在不降低训练精度和收敛速度的情况下显着增加反向传播梯度的稀疏性。此外，为了同时利用\textit{natural sparsity}（由ReLU或Pooling层产生）和\textit{artificial sparsity}（由剪枝算法产生），提出了一种稀疏感知的架构用于训练加速。该架构通过采用一维卷积来支持CNN的前向和反向传播。我们已经建立了一个简单的编译器来映射CNN拓扑到\textit{SparseTrain}，和一个周期精确的架构模拟器来评估性能和效率的基础上综合设计与$14nm$ FinFET技术。AlexNet/ResNet上的评测结果表明，与原始训练过程相比，\textit{SparseTrain}平均可以实现约$2.7 \times$的加速比和$2.2 \times$的能效提升。
2020-07-21 cs.AR cs.CV
