Region-filtering Correlation Tracking
Harbin Institute of Technology（哈尔滨工业大学）
近年来，相关滤波器在视觉跟踪中表现出了优异的性能。然而，基础训练样本区域大于对象区域，包括干扰区域（IR）。训练样本中来自基础训练样本的循环移位的IR严重降低跟踪模型的质量。在本文中，我们提出了新的区域滤波相关跟踪（RFCT）来解决这个问题。我们立即通过将空间映射引入标准CF公式来过滤训练样本。与现有的相关滤波跟踪器相比，本文提出的跟踪器具有以下优点：（1）相关滤波器可以在更大的搜索区域内学习，而不受空间映射的干扰。(2)由于通过空间映射来处理训练样本，因此控制训练样本中的背景信息和目标信息是更普遍的方法。空间地图的价值不受限制，然后可以探索更好的空间地图。(3)精确过滤器的权重比例增加，以减轻模型损坏。实验在两个基准数据集上进行：OTB-2013和OTB-2015。这些基准的定量评估表明，所提出的RFCT算法表现良好，对几个国家的最先进的方法。
2018-03-23 cs.CV
Large-Scale Multi-Hypotheses Cell Tracking Using Ultrametric Contours Maps
Chan Zuckerberg Biohub（陈·扎克伯格生物中心）
本研究提出一种基于分割选择的大规模3D细胞追踪方法，利用分割假设层级与相邻帧重叠最大化选分割，在细胞追踪挑战赛3D数据集上达SOTA，支持现成模型集成，可处理百万级实例的太字节级数据。
2024-04-11 cs.CV
Large Margin Object Tracking with Circulant Feature Maps
Zhejiang University（浙江大学）；Exacloud Limited（Exacloud有限公司）
基于结构输出支持向量机的跟踪算法近年来表现出良好的性能。然而，耗时的候选采样和复杂的优化限制了它们的实时应用。本文提出了一种新的大间隔目标跟踪方法，该方法吸收了结构化输出支持向量机的强鉴别能力，并通过相关滤波算法显着提高了速度。其次，提出了一种多模态目标检测技术，以提高目标定位精度，并防止由相似目标或背景噪声引入的模型漂移。第三，我们利用高置信度跟踪结果的反馈，以避免模型腐败问题。我们实现了两个版本的建议跟踪器与传统的手工制作和深度卷积神经网络（CNN）为基础的功能，以验证算法的强兼容性的表示。实验结果表明，所提出的跟踪器的性能优于几个国家的最先进的算法上具有挑战性的基准序列，同时运行速度超过每秒80帧。源代码和实验结果将公开提供。
2017-03-20 cs.CV
GSLAMOT: A Tracklet and Query Graph-based Simultaneous Locating, Mapping, and Multiple Object Tracking System
School of Information, Renmin University of China（中国人民大学信息学院）
针对陌生环境下同步定位建图与多目标3D位姿跟踪的需求，提出基于轨迹子图和查询图的GSLAMOT框架，结合多模态输入、多准则关联与图优化，在多数据集上实现优于现有方法的性能。
2024-08-17 cs.CV
Tracking Emerges by Looking Around Static Scenes, with Neural 3D Mapping
Carnegie Mellon University（卡内基梅隆大学）
我们假设，一个代理，可以环顾四周，在静态场景中可以学习丰富的视觉表示适用于复杂的动态场景中的3D对象跟踪。我们在这种追求中的动机是物理世界本身大多是静态的，并且在静态场景中收集多视图对应标签相对便宜，例如，通过三角测量我们建议在任意场景（静态或动态）中利用\textit{static points}的多视图数据来学习神经3D映射模块，该模块产生随时间变化的特征。神经3D映射器消耗RGB-D数据作为输入，并产生深度特征的3D体素网格作为输出。我们训练的体素功能，是对应的跨视点，使用对比度损失，和对应性跨时间自动出现。在测试时，给定具有近似相机姿势的RGB-D视频，并且给定要跟踪的对象的3D框，我们通过生成每个时间步的地图并在每个地图中定位对象的特征来跟踪目标对象。与表示2D或2.5D视频流的模型相反，我们模型的3D场景表示与投影伪影分离，在相机运动下稳定，并且对部分遮挡具有鲁棒性。我们在具有挑战性的模拟和真实数据中测试了所提出的架构，并表明我们的无监督3D对象跟踪器优于以前的无监督2D和2.5D跟踪器，并接近有监督跟踪器的准确性。这项工作表明，通过对静态数据的多视图自我监督，3D对象跟踪器可以在没有跟踪标签的情况下出现。
2020-08-04 cs.CV
DSNet: Deep and Shallow Feature Learning for Efficient Visual Tracking
Xiamen University（厦门大学）
近年来，基于判别相关滤波器（DCF）的跟踪方法在视觉跟踪中取得了巨大的成功。然而，从诸如图像分类的其他任务训练的多分辨率卷积特征图不能自然地用于常规DCF公式化。此外，这些高维特征图显著增加了跟踪复杂度，从而限制了跟踪速度。在本文中，我们提出了一个深，浅特征学习网络，即DSNet，学习多层次的同分辨率压缩（MSC）的功能，有效的在线跟踪，在一个端到端的离线方式。具体而言，所提出的DSNet将多级卷积特征压缩为统一的空间分辨率特征。学习的MSC功能有效地编码了相同分辨率特征映射中对象的外观和语义信息，从而使MSC功能与任何基于DCF的方法完美结合。此外，信道可靠性测量（CRM）的方法，提出了进一步完善学习的MSC功能。我们证明了MSC功能的有效性，从建议的DSNet上的两个DCF跟踪框架：基本的DCF框架和连续卷积算子框架。大量的实验表明，学习的MSC功能具有吸引人的优势，允许配备的基于DCF的跟踪方法，以执行良好的国家的最先进的方法，同时运行在高帧速率。
2018-11-06 cs.CV
SPSTracker: Sub-Peak Suppression of Response Map for Robust Object Tracking
Chinese Academy of Sciences（中国科学院）；Institute of Optics and Electronics, Chinese Academy of Sciences（中国科学院光电技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；TU Kaiserslautern（凯泽斯劳滕工业大学）；University of California, Davis（加州大学戴维斯分校）
现代视觉跟踪器通常在特征响应具有以目标为中心的峰值响应的高斯分布的假设下构建在线学习模型。然而，当存在来自其他目标和/或背景噪声的渐进干扰时，这种假设是不可信的，这在跟踪响应图上产生子峰并导致模型漂移。在本文中，我们提出了一个纠正在线学习方法的次峰值响应抑制和峰值响应的实施和目标在处理渐进干扰的系统方式。我们的方法，被称为SPSTracker，适用于简单而有效的峰值响应池（PRP）聚合和对齐的歧视性功能，以及利用边界响应截断（BRT），以减少特征响应的方差。通过融合多尺度特征，SPSTracker将多个子峰的响应分布聚合为单个最大峰，从而增强了特征的区分能力，以实现鲁棒的目标跟踪。在OTB、NFS和VOT 2018基准测试上的实验表明，SPSTrack的性能优于最先进的实时跟踪器，并具有显著的优势。
2020-05-03 cs.CV
Learning Consistency Pursued Correlation Filters for Real-Time UAV Tracking
Tongji University（同济大学）；Hong Kong Polytechnic University（香港理工大学）
基于相关滤波器（CF）的方法在无人机（UAV）应用中的视觉目标跟踪中表现出优异的性能，但受到不期望的边界效应的影响。为了解决这个问题，空间正则化相关滤波器（SRDCF）提出了空间正则化惩罚滤波器系数，从而显着提高跟踪性能。然而，隐藏在响应地图中的时间信息没有被考虑在SRDCF中，这限制了精确跟踪的区分能力和鲁棒性。本文提出了一种新的动态一致性相关滤波方法，即，CPCF追踪器具体地，通过相邻响应图之间的相关性操作，生成实际的一致性图以表示跨帧的一致性水平。通过最小化实际一致性图与预定理想一致性图之间的差异，约束一致性水平以保持时间平滑性，并在响应图中引入丰富的时间信息.此外，提出了动态约束策略，进一步提高了跟踪器在复杂情况下的适应性。在三个具有挑战性的无人机基准上进行了综合实验，UAV123@10FPS、UAVDT和DTB70。实验结果表明，该跟踪器在单CPU上的实时的【形】运行速度（$\sim$ 43 FPS）优于其他25种最先进的跟踪器。
2020-08-09 cs.CV
Depth-only Object Tracking
Tampere University（坦佩雷大学）；University of Birmingham（伯明翰大学）
深度（D）指示遮挡并且对照明变化不太敏感，这使得深度对于视觉对象跟踪（VOT）具有吸引力。深度用于RGBD对象跟踪，其中最好的跟踪器是深度RGB跟踪器，具有使用深度图的附加启发式。存在两个潜在的原因导致了该算法：1）缺乏大型RGBD跟踪数据集来训练深度RGBD跟踪器，以及2）VOT RGBD的长期评估协议受益于算法，例如基于深度的遮挡检测。在这项工作中，我们研究了如果使用大量深度数据进行训练，仅D跟踪可以走多远。为了弥补深度数据的不足，我们生成深度图进行跟踪。我们使用生成的数据从头开始训练“深度-DiMP”，并使用可用的小型RGBD跟踪数据集对其进行微调。仅深度DiMP在仅深度跟踪中实现了良好的准确性，并与原始RGB DiMP相结合，端到端训练的RGBD-DiMP优于最近的VOT 2020 RGBD获奖者。
2021-10-22 cs.CV
VITAMIN-E: VIsual Tracking And MappINg with Extremely Dense Feature Points
Robot Innovation Research Center（机器人创新研究中心）；National Institute of Advanced Industrial Science and Technology (AIST)（日本产业技术综合研究所（AIST））
在本文中，我们提出了一种新的间接单目SLAM算法称为“维生素E”，这是高度准确和强大的跟踪非常密集的特征点的结果。典型的间接方法在重建稠密几何体时有困难，因为它们为了精确匹配而仔细选择特征点。与传统方法不同，该方法通过跟踪由主导流估计告知的曲率的局部极值来处理大量的特征点。由于这可能会导致高的计算成本在光束法平差，我们提出了一种新的优化技术，“子空间高斯-牛顿法”，显着提高光束法平差的计算效率，通过部分更新的变量。我们同时从重建的点生成网格，并将它们合并为整个3D模型。在SLAM基准数据集EuRoC上的实验结果表明，该方法在轨迹估计的准确性和鲁棒性方面都优于最先进的SLAM方法，如DSO，ORB-SLAM和LSD-SLAM。所提出的方法同时产生显着详细的三维几何从密集的特征点在实时的，仅使用一个CPU。
2019-12-16 cs.CV
SPOT!: Map-Guided LLM Agent for Unsupervised Multi-CCTV Dynamic Object Tracking
Kwangwoon University（光云大学）
SPOT通过映射引导LLM代理在多CCTV环境中实现无先验训练的动态目标跟踪，有效解决盲区导致的轨迹丢失问题。
2026-01-14 cs.CV
Map3D: Registration Based Multi-Object Tracking on 3D Serial Whole Slide Images
Vanderbilt University（范德堡大学）；Vanderbilt University Medical Center（范德堡大学医学中心）；Temple University（天普大学）
长期以来，人们一直在追求对肾脏病理学进行精确和可重复的肾小球定量，以利用研究和实践。当使用全载玻片成像（WSI）对活检组织样本进行数字化时，可以将来自相同组织的一组连续切片采集为图像堆栈，类似于视频中的帧。在放射学中，图像的堆叠（例如，计算机断层摄影术）自然地用于提供器官、组织和肿瘤的3D背景。在病理学中，进行类似的3D评估是有吸引力的。然而，由于大的组织变形、缺失的组织和来自WSI的伪影，大规模肾小球在肾脏病理学上的3D识别和关联是具有挑战性的。在本文中，我们提出了一种新的多对象关联病理学在3D（Map 3D）方法自动识别和关联大规模的横截面的3D对象从常规的连续切片和WSI。Map 3D方法的创新之处在于：（1）形成了大规模肾小球关联作为一种新的多目标跟踪（MOT）视角;（2）提出了质量感知的全序列配准，不仅提供了亲和度估计，还为配准提供了自动肾脏质量保证（QA）;（3）针对跟踪过程中的大变形、组织丢失和伪影等问题，提出了一种双路径关联方法。据我们所知，Map 3D方法是第一种使用WSI在3D连续切片中实现自动和大规模肾小球关联的方法。我们提出的方法Map 3D实现了MOTA= 44.6，比非深度学习基准高出12.1%。
2021-03-25 cs.CV
Multi-modal Tracking for Object based SLAM
Institute of Robotics and Intelligent Machines（机器人与智能机器研究所）；Georgia Institute of Technology（佐治亚理工学院）
我们提出了一个在线的单目摄像机的三维视觉对象跟踪框架，将空间知识和语义映射的不确定性，以及从视觉里程计的高频测量。使用紧密集成的视觉和里程计的组合，我们可以提高基于对象的跟踪语义映射的整体性能。我们提出了一个框架，通过基于信息的融合/仲裁的两个数据源集成到一个连贯的框架。我们在OmniMapper[1]的上下文中演示了该框架，并与从运动捕捉系统获得的数据相比，在多个对象上的6个具有挑战性的序列上呈现了结果。我们能够实现每帧跟踪的平均误差为0.23米，显示9%的相对误差小于最先进的跟踪器。
2016-03-14 cs.CV
RLM-Tracking: Online Multi-Pedestrian Tracking Supported by Relative Location Mapping
The University of Zhengzhou（郑州大学）
多目标跟踪问题是计算机视觉的一个基本研究热点，广泛应用于公共安全、交通、自动驾驶汽车、机器人等涉及人工智能的领域。由于自然场景的复杂性，在基本的跟踪任务中，目标经常会被遮挡或半遮挡。这很容易导致ID切换、对象丢失、检测错误和限制框未对齐。这些条件对多目标跟踪的精度有很大的影响。针对上述问题，本文设计了一种新的多目标跟踪器，该跟踪器包含目标\textbf{Relative Location Mapping}（RLM）模型和\textbf{Target Region Density}（TRD）模型。新的跟踪器对对象之间位置关系的差异更敏感。该算法能够根据视频中目标区域的密度，实时地将低分检测帧引入到不同的区域。这提高了对象跟踪的准确性，而不消耗大量的算术资源。我们的研究表明，该模型已大大提高了HOTA和DF 1测量MOT 17和MOT 20数据集时，应用到先进的MOT方法。
2022-10-19 cs.AI cs.CV
Particle filter re-detection for visual tracking via correlation filters
Harbin Institute of Technology（哈尔滨工业大学）
大多数基于相关滤波器的跟踪算法都能获得良好的性能并保持快速的计算速度。然而，在一些复杂的跟踪场景中，存在一个致命的缺陷，导致目标定位不准确。为了解决这个问题，我们提出了一个基于粒子滤波器的重新检测跟踪方法准确的目标定位。在跟踪过程中，基于核相关滤波器（KCF）的跟踪器依靠响应图的最大响应值来定位目标，当响应图变得模糊时，KCF跟踪结果变得不可靠。我们的方法可以提供更多的候选粒子reserving来检测相应的对象。此外，我们给出了一个新的目标尺度评估机制，它只考虑在连续帧的最大响应值之间的差异。在OTB2013和OTB2015数据集上的大量实验表明，所提出的跟踪器与最先进的方法相比表现良好。
2021-01-11 cs.CV
Dual Deep Network for Visual Tracking
Dalian University of Technology（大连理工大学）；The Chinese University of Hong Kong（香港中文大学）；University of California at Merced（加州大学默塞德分校）
视觉跟踪解决了在给定由第一帧中的限界框指定的目标的情况下识别和定位视频中的未知目标的问题。在本文中，我们提出了一个双网络，以更好地利用层之间的功能视觉跟踪。据观察，在较高层的特征编码语义上下文，而其对应的低层是敏感的歧视性外观。因此，我们利用层次特征在不同层的深度模型和设计的双重结构，以获得更好的特征表示从各种流，这是很少在以前的工作中研究。为了突出目标的几何轮廓，我们将分层特征图与边缘检测器相结合，作为粗糙的先验图，以进一步嵌入目标周围的局部细节。为了利用我们的双网络的鲁棒性，我们用随机补丁来训练它，测量网络激活和目标外观之间的相似性，这作为一种正则化来强制双网络专注于目标对象。所提出的双网络更新的基础上，在连续的帧中跟踪的目标应该共享更多的相似的特征表示比周围的背景中的观察，以一种独特的方式在线。对于目标对象，先验映射可以通过将消息传递到对偶网络的输出映射中来帮助进一步提高性能。因此，独立分量分析与参考算法（ICA-R）被用来提取目标上下文使用先验地图作为指导。在线跟踪是通过最大化后验估计的最终地图随机和定期更新。在两个大规模基准数据集上的定量和定性评价表明，该算法对国家的艺术表现良好。
2016-12-19 cs.CV
MPM: Joint Representation of Motion and Position Map for Cell Tracking
Kyushu University（九州大学）
传统的小区跟踪方法在每个帧中检测多个小区（检测），然后将连续时间帧中的检测结果相关联（关联）。大多数细胞跟踪方法独立于检测任务执行关联任务。然而，不能保证保持这些任务之间的一致性，缺乏一致性可能会对跟踪性能产生不利影响。在本文中，我们提出了运动和位置图（MPM），共同代表检测和关联，不仅迁移，但也细胞分裂。它保证了一致性，使得如果检测到细胞，则总是可以获得相应的运动流。它是一种简单但功能强大的方法，用于密集环境中的多目标跟踪。我们在真实生物图像的各种条件下将所提出的方法与当前的跟踪方法进行了比较，发现它优于最先进的方法（与第二好的方法相比，提高了+5.2\%）。
2020-02-26 cs.CV eess.IV
Deep Attentive Tracking via Reciprocative Learning
BUPT（北京邮电大学）；Tencent AI Lab（腾讯人工智能实验室）；SJTU（上海交通大学）；UC Merced（加州大学默塞德分校）
视觉注意，来自认知神经科学，促进人类对感官数据的最相关子集的感知。最近，已经做出了重大努力来利用注意力方案来推进计算机视觉系统。对于视觉跟踪，跟踪经历大的外观变化的目标对象通常是具有挑战性的。注意力地图通过选择性地关注时间鲁棒特征来促进视觉跟踪。现有的检测跟踪方法主要使用额外的注意力模块来生成特征权重，因为分类器没有配备这样的机制。在本文中，我们提出了一个互惠的学习算法，利用视觉注意训练深度分类器。该算法包括前馈和后向操作，以产生注意力地图，这作为正则化条款加上原来的分类损失函数的训练。深度分类器学习关注对外观变化鲁棒的目标对象的区域。大规模基准数据集上的大量实验表明，所提出的注意跟踪方法对最先进的方法表现良好。
2018-10-15 cs.CV
Learning Spatio-Appearance Memory Network for High-Performance Visual Tracking
Southeast University（东南大学）；Nanjing University of Information Science and Technology（南京信息工程大学）；JD Finance America Corporation（京东金融美国公司）；Tianjin University of Technology（天津理工大学）；Harbin Institute of Technology（哈尔滨工业大学）；Peng Cheng Lab（鹏城实验室）
现有的视觉对象跟踪通常学习基于边界框的模板来跨帧匹配目标，无法准确学习像素级表示，从而在处理严重的外观变化方面受到限制。为了解决这些问题，已经在基于分割的跟踪上做出了很多努力，其学习逐像素对象感知模板，并且可以实现比基于边界框模板的跟踪更高的准确性。然而，现有的基于分割的跟踪器是无效的学习跨帧的时空对应关系，由于没有使用丰富的时间信息。为了克服这个问题，本文提出了一种新的基于分割的跟踪架构，它配备了一个空间外观记忆网络，以学习准确的时空对应关系。其中，外观记忆网络探索时空非局部相似性，以学习分割掩模和当前帧之间的密集对应关系。同时，空间记忆网络被建模为判别相关滤波器，以学习特征图和空间图之间的映射。外观记忆网络有助于过滤掉空间记忆网络中的噪声样本，而后者为前者提供更准确的目标几何中心。这种相互促进作用大大提高了跟踪性能。没有花里胡哨的东西，我们简单而有效的跟踪架构分别在VOT 2016，VOT 2018，VOT 2019，GOT-10 K，TrackingNet和VOT 2020基准上设置了新的最先进的技术。此外，我们的跟踪器在两个视频对象分割基准DAVIS 16和DAVIS 17上的性能大大优于领先的基于分割的跟踪器SiamMask和D3 S。源代码可以在https://github.com/phiphiphi31/DMB上找到。
2021-04-06 cs.CV
Multi-Object Portion Tracking in 4D Fluorescence Microscopy Imagery with Deep Feature Maps
University of Nevada, Las Vegas（内华达大学拉斯维加斯分校）
生物体的3D荧光显微镜已日益成为生物医学研究和诊断中必不可少的强大工具。已经收集了爆炸性数量的成像数据，而从这些数据中提取信息的高效和有效的计算工具仍然落后。这主要是由于分析生物数据的挑战。有趣的生物结构不仅很小，而且往往是形态不规则和高度动态的。虽然对活生物体中细胞的跟踪已经研究了多年，但是现有的细胞跟踪方法对于跟踪亚细胞结构（例如蛋白质复合物）是无效的，亚细胞结构的特征在于除了快速迁移和复杂运动之外，还包括连续的形态变化，包括分裂和合并。在本文中，我们首先定义了多目标部分跟踪的问题来模拟蛋白质目标跟踪过程。提出了一种基于三维分割结果的部分匹配多目标跟踪方法。该方法从深度网络中提取深度特征图，然后使用扩展搜索识别和匹配对象部分。实验结果表明，该方法在一致性跟踪精度上比现有方法提高了2.96%，在事件识别精度上比现有方法提高了35.48%。
2019-11-26 cs.CV eess.IV
Robust Visual Tracking via Convolutional Networks
Nanjing University of Information Science and Technology（南京信息工程大学）；University of California, Merced（加州大学默塞德分校）
深度网络已经成功地应用于视觉跟踪，通过从大量训练图像中离线学习通用表示。然而，离线训练是耗时的，并且所学习的通用表示对于跟踪特定对象可能不太具有区分性。在本文中，我们提出，即使没有大量辅助数据的离线训练，简单的两层卷积网络也可以强大到足以为视觉跟踪开发鲁棒的表示。在第一帧中，我们采用k-means算法从目标区域提取一组归一化的补丁作为固定的过滤器，它集成了一系列自适应上下文过滤器周围的目标，以定义一组特征图在后续帧。这些映射测量每个滤波器和目标上有用的局部强度模式之间的相似性，从而编码其局部结构信息。此外，所有的地图一起形成一个全局表示，这是建立在中级功能，从而保持接近图像级的信息，因此内部的几何布局的目标也得到了很好的保留。一个简单的软收缩方法与自适应阈值被用来消除噪声的全局表示，从而在一个强大的稀疏表示。通过简单有效的在线策略更新表示，使其能够鲁棒地适应目标外观变化。我们的卷积网络具有令人惊讶的轻量级结构，但在CVPR 2013跟踪基准数据集上的50个具有挑战性的视频中，与几种最先进的方法相比表现良好。
2015-08-24 cs.CV
Efficient Joint Detection and Multiple Object Tracking with Spatially Aware Transformer
Columbia University（哥伦比亚大学）；Sony Group Corporation（索尼集团公司）
我们提出了一个轻量级和高效的联合检测和跟踪流水线的任务，多目标跟踪使用全变压器架构。它是TransTrack的修改版本，克服了与其设计相关的计算瓶颈，同时实现了最先进的73.20%的MOTA评分。模型设计由基于Transformer的主干而不是CNN驱动，其具有高度的输入分辨率可扩展性。我们还提出了一种用于Transformer编码器层的前馈网络的插入式替换，通过使用蝴蝶变换操作来执行通道融合和深度卷积，以学习特征图内的空间上下文，否则在Transformer的注意力图内丢失。作为我们的修改的结果，我们减少了58.73%的整体模型大小的TransTrack和78.72%的复杂性。因此，我们希望我们的设计提供新的视角架构优化在未来的研究与多目标跟踪。
2022-11-09 cs.CV
Beyond Correlation Filters: Learning Continuous Convolution Operators for Visual Tracking
Linköping University（林雪平大学）
判别相关滤波器（DCF）在视觉目标跟踪中表现出了优异的性能。他们成功的关键是能够通过包括训练样本的所有转换版本来有效地利用可用的负面数据。然而，底层的DCF公式仅限于单分辨率特征图，大大限制了其潜力。在本文中，我们超越了传统的DCF框架，并介绍了一种新的配方训练连续卷积滤波器。我们采用了一个隐式插值模型，提出了在连续空间域的学习问题。我们提出的公式可以有效集成多分辨率深度特征图，从而在三个对象跟踪基准上获得优异的结果：OTB-2015（平均OP为+5.1%），Temple-Color（平均OP为+4.6%）和VOT 2015（故障率相对降低20%）。此外，我们的方法是能够亚像素定位，准确的特征点跟踪的任务至关重要。我们还证明了我们的学习配方在广泛的特征点跟踪实验的有效性。代码和补充材料可在http://www.cvl.isy.liu.se/research/objrec/visualtracking/conttrack/index.html上获得。
2016-08-29 cs.CV
Beyond Chamfer Distance: Granular Order-aware Evaluation Metric For Online Mapping
Zenseact AB（Zenseact公司）；Chalmers University of Technology（楚姆勒斯技术大学）
本文提出一种粒度化顺序感知评估度量，用于评估在线制图方法，通过引入序列最优子模式分配（SOSPA）和多实例评估框架中的多段线定位与检测（PLD），改进了传统基于形变距离的评估方法，揭示了当前方法中检测能力是主要瓶颈。
2026-05-21 cs.CV
Similarity Mapping with Enhanced Siamese Network for Multi-Object Tracking
Panasonic Silicon Valley Laboratory（松下硅谷实验室）；University of Modena and Reggio Emilia（摩德纳和雷焦艾米利亚大学）
多目标跟踪近年来已成为计算机视觉的一个重要领域，特别是对于高级驾驶员辅助系统（ADAS）。尽管越来越受到关注，但实现高性能跟踪仍然具有挑战性，最先进的系统导致具有大量超参数的高复杂性。在本文中，我们专注于降低整体系统的复杂性和数量的超参数，需要调整到一个特定的环境。我们介绍了一种新的跟踪系统的基础上相似性映射的增强型暹罗神经网络（ESNN），它占外观和几何信息，是可训练的端到端。与已知的最先进的方法相比，我们的系统在MOT16挑战的速度和准确性方面都具有竞争力。
2017-01-24 cs.CV cs.LG
End-to-End Multi-Object Tracking with Global Response Map
Xi’an Jiaotong University（西安交通大学）
大多数现有的多目标跟踪（MOT）方法遵循的检测跟踪范式和数据关联框架，对象首先检测，然后关联。虽然基于深度学习的方法可以显著提高目标检测性能，并且还为跨帧关联提供良好的外观特征，但是该框架不是完全端到端的，因此计算量巨大而性能有限。为了解决这个问题，我们提出了一个完全端到端的方法，将图像序列/视频作为输入，直接输出学习类型的定位和跟踪对象。具体来说，通过我们引入的多对象表示策略，可以在帧上准确地生成全局响应图，从中可以很容易地拾取每个跟踪对象的轨迹，就像检测器输入图像并输出每个检测到的对象的边界框一样。所提出的模型是快速和准确的。基于MOT 16和MOT 17基准测试的实验结果表明，我们提出的在线跟踪器在几个跟踪指标上达到了最先进的性能。
2020-07-13 cs.CV cs.LG
Globally Optimal Object Tracking with Fully Convolutional Networks
Kyushu University（九州大学）
跟踪是计算机视觉和模式识别中最重要但也是最困难的任务之一。跟踪领域的主要困难是外观变化和遮挡。传统的跟踪方法大多预先设定跟踪目标的参数或模板，并进行相应的修改。因此，我们提出了一种新的和强大的跟踪方法，使用全卷积网络（FCN），以获得一个对象的概率图和动态规划（DP），以寻求通过所有帧的视频的全局最优路径。我们提出的方法解决了对象外观变化的问题，使用FCN和处理遮挡DP。我们表明，我们的方法是有效的，通过视频帧跟踪各种单一的对象。
2016-12-25 cs.CV
TrackNetV4: Enhancing Fast Sports Object Tracking with Motion Attention Maps
Australian National University（澳大利亚国立大学）；Curtin University（科廷大学）
针对体育视频中高速小球跟踪易受遮挡影响的问题，提出TrackNetV4，通过运动感知融合机制将视觉特征与可学习的运动注意力图结合，有效提升了TrackNetV2和V3的跟踪性能。
2024-09-22 cs.AI cs.CV cs.LG
Adaptive Exploitation of Pre-trained Deep Convolutional Neural Networks for Robust Visual Tracking
Yazd University（亚兹德大学）；Sharif University of Technology（谢里夫理工大学）；University of Alberta（阿尔伯塔大学）
由于通过多层非线性变换的自动特征提取过程，基于深度学习的视觉跟踪器最近在用于视觉跟踪目的的挑战性场景中取得了巨大成功。尽管这些跟踪器中的许多利用来自预训练的卷积神经网络（CNN）的特征图，但选择不同模型和利用其特征图的各种组合的效果仍然没有完全比较。据我们所知，所有这些方法都使用固定数量的卷积特征图，而不考虑场景属性（例如，遮挡、变形和快速运动）。作为一个先决条件，本文提出了自适应判别相关滤波器（DCF）的基础上，可以利用不同的拓扑结构的CNN模型的方法。首先，本文对四种常用的CNN模型进行了全面分析，以确定每个模型的最佳特征图。其次，借助分析结果作为属性字典，提出了深度特征的自适应开发，以提高视觉跟踪器对视频特征的准确性和鲁棒性。第三，在各种跟踪数据集以及具有类似结构的CNN模型上验证了所提出方法的推广性。最后，大量的实验结果表明，所提出的自适应方法的有效性相比，国家的最先进的视觉跟踪方法。
2020-12-22 cs.AI cs.CV
Dynamic Object Tracking and Masking for Visual SLAM
Institut du Véhicule Innovant (IVI)（创新车辆研究所（IVI））
在动态环境中，视觉SLAM技术的性能可能受到从移动对象获取的视觉特征的损害。一种解决方案是识别这些对象，以便可以移除它们的视觉特征以进行定位和映射。本文提出了一种简单而快速的流水线，该流水线使用深度神经网络、扩展卡尔曼滤波器和视觉SLAM来改进动态环境中的定位和映射（在GTX 1080上约14 fps）。使用RTAB-Map作为视觉SLAM的TUM数据集的动态序列的结果表明，与其他最先进的方法相比，该方法实现了类似的定位性能，同时还提供了跟踪的动态对象的位置，没有这些动态对象的3D地图，更好的环路闭合检测，整个管道能够在以中等速度移动的机器人上运行。
2020-07-31 cs.CV eess.IV
Direct Visual-Inertial Odometry with Semi-Dense Mapping
University of Kansas（堪萨斯大学）
本文介绍了一种直接视觉-惯性测距系统。特别是，紧耦合的非线性优化的方法，提出了通过集成在直接密集跟踪和惯性测量单元（IMU）的预集成的最新进展，和因子图优化是适应于估计相机的位姿和重建半密集地图。两个滑动窗口保持在所提出的方法。第一种是基于直接稀疏测距法（DSO）的深度估计，用于映射和密集视觉跟踪。在第二个，测量从IMU预集成和密集的视觉跟踪融合概率使用紧耦合，基于优化的传感器融合框架。因此，IMU预积分提供了额外的约束以抑制由视觉里程计引起的标度漂移。在真实世界基准数据集上的评估表明，该方法在室内场景中取得了有竞争力的结果。
2019-10-04 cs.CV cs.RO
Effective Fusion of Deep Multitasking Representations for Robust Visual Tracking
Yazd University（亚兹德大学）；Sharif University of Technology（谢里夫理工大学）；University of Alberta（阿尔伯塔大学）；Aalborg University（奥尔堡大学）
由于现实世界场景中各种问题特定因素的持续挑战，视觉目标跟踪仍然是计算机视觉中一个活跃的研究领域。现有的许多基于鉴别相关滤波器（DCF）的跟踪方法在学习过程中采用特征提取网络（FENs）来对目标外观进行建模。然而，使用从基于不同残差神经网络（ResNets）的FEN提取的深度特征图先前尚未被研究。本文的目的是评估12个国家的最先进的ResNet为基础的FEN的性能在一个基于DCF的框架，以确定最好的视觉跟踪的目的。首先，它对它们的最佳特征图进行排名，并探索将最佳的基于ResNet的FEN推广到另一种基于DCF的方法中。然后，该方法从完全卷积的FEN中提取深层语义信息，并将其与最佳的基于ResNet的特征图融合，以加强连续卷积滤波器学习过程中的目标表示。最后，它介绍了一种新的和有效的语义加权方法（使用每个视频帧上的语义分割特征图），以减少漂移问题。在著名的OTB-2013、OTB-2015、TC-128和VOT-2018视觉跟踪数据集上的大量实验结果表明，该方法在视觉跟踪的精度和鲁棒性方面有效地优于现有方法。
2021-09-20 cs.CV cs.LG eess.IV
SiamTHN: Siamese Target Highlight Network for Visual Tracking
Aerospace Information Research Institute, Chinese Academy of Sciences（中国科学院空天信息创新研究院）；University of Chinese Academy of Sciences（中国科学院大学）；School of Electronic, Electrical and Communication Engineering, University of Chinese Academy of Sciences（中国科学院大学电子电气与通信工程学院）；Jigang Defence Technology Company, Ltd.（济钢防务技术有限公司）
近年来，基于暹罗网络的跟踪器在视觉目标跟踪领域发展迅速。现在使用的大多数基于暹罗网络的跟踪器平等地对待骨干网络生成的特征图中的每个通道，使得相似性响应图对背景影响敏感，因此难以集中在目标区域上。此外，在这些跟踪器中，分类和回归分支之间没有结构性联系，这两个分支在训练期间分别进行优化。因此，在分类和回归分支之间存在不对准，这导致不太准确的跟踪结果。在本文中，提出了一个目标突出显示模块，以帮助生成的相似性响应图更集中的目标区域。为了减少失准，并产生更精确的跟踪结果，我们提出了一个纠正损失的训练模型。该模型的两个分支通过使用校正损失进行联合调整，以产生更可靠的预测结果。在5个具有挑战性的基准数据集上的实验表明，该方法在性能方面优于现有模型，并且运行速度为38 fps，证明了其有效性和效率。
2023-03-22 cs.AI cs.CV
High Performance Visual Tracking with Circular and Structural Operators
Harbin Institute of Technology（哈尔滨工业大学）
本文提出了一种新的循环结构算子跟踪器（CSOT），它不仅具有SOSVM的强大鉴别能力，而且有效地继承了DCF的优越计算效率。基于所提出的循环和结构算子，通过循环相关特征图及其相应的结构相关滤波器，可以获得一组原始置信度图。此外，一个隐式插值被应用到多分辨率的特征映射到连续域，并使所有的原始置信度得分地图具有相同的空间分辨率。然后，我们利用一个有效的集成后处理器的基础上相对熵，它可以合并原始的置信度得分图，并创建一个更准确的定位的最佳置信度得分图。目标定位在最佳置信度得分图的峰值上。此外，我们引入了一种协同优化策略，通过迭代训练结构相关滤波器来更新循环和结构算子，从而显著降低了计算复杂性，提高了鲁棒性。实验结果表明，我们的方法在OTB-2013和OTB-2015基准测试中的平均AUC得分分别为71.5%和69.4%，并在VOT-2017基准测试中获得了29.8%的第三好预期平均重叠（EAO）得分。
2018-10-13 cs.AI cs.CV cs.MM
Shallow Cue Guided Deep Visual Tracking via Mixed Models
National University of Singapore（新加坡国立大学）；Interactive Digital Media Institute（互动数字媒体研究所）
提出了一种基于混合模型的卷积神经网络（SDT）的鲁棒视觉跟踪方法。为了处理突然或快速运动，在执行深度跟踪器之前生成先验图以促进感兴趣区域（ROI）的定位。一个自上而下的显着性模型与十九个浅线索构建先验图与在线学习的组合权重。此外，除了一个整体的深度学习器外，还训练了四个局部网络来学习目标的不同组成部分。生成的四个局部热图将有助于通过消除干扰物来校正整体图以避免漂移。此外，为了保证高质量的在线更新实例，通过将问题转化为标签噪声问题来实现优先更新策略。选择概率的设计，同时考虑置信度值和生物启发记忆的时间信息集成。实验进行定性和定量的一组具有挑战性的图像序列。比较研究表明，该算法优于其他国家的最先进的方法。
2018-12-19 cs.AI cs.CV cs.LG
Autonomous Subsea Cable Search and Tracking with Graph-Optimised Priors and Visual Tracking
Sonardyne International Ltd.（Sonardyne国际有限公司）；Institute of Industrial Science, The University of Tokyo（东京大学生产技术研究所）
提出一种结合图优化先验和视觉跟踪的自主水下机器人电缆搜索与跟踪方法，利用物理约束缩小搜索空间，通过半监督分类器实时检测电缆，并在跟踪丢失后高效恢复，现场试验验证了有效性。
2026-06-23 cs.CV cs.RO cs.SY
TSDF++: A Multi-Object Formulation for Dynamic Object Tracking and Reconstruction
ETH Zurich（苏黎世联邦理工学院）；Technical University of Munich（慕尼黑工业大学）；Google（谷歌）
同时跟踪和重建场景中移动的多个对象的能力对于机器人任务（如自主导航和交互）至关重要。实际上，所有以前的尝试映射多个动态对象已经发展到存储在单独的重建体积中的各个对象，并跟踪它们之间的相对姿态。虽然简单和直观，这样的公式不能很好地缩放相对于场景中的对象的数量，并介绍了一个明确的遮挡处理策略的需要。相比之下，我们提出了一个地图表示，允许保持一个单一的体积为整个场景和其中的所有对象。为此，我们引入了一种新的多对象TSDF配方，可以编码多个对象表面在任何给定的位置在地图上。在多个动态对象跟踪和重建的情况下，我们的表示允许保持准确的表面重建，即使它们暂时被附近移动的其他对象遮挡。我们评估了建议的TSDF++制定一个公共的合成数据集，并证明了它的能力，以保持闭塞表面的重建相比，标准的TSDF地图表示。
2021-05-16 cs.CV cs.RO
Machine Learning Models for Improved Tracking from Range-Doppler Map Images
Systems & Technology Research (STR)（系统与技术研究公司（STR））
本文针对GMTI雷达的距离-多普勒图图像提出机器学习目标检测与不确定性估计模型，显著提升了复杂空对地多目标场景下多假设跟踪器的性能。
2024-07-03 cs.CV
Aerial Vehicle Tracking by Adaptive Fusion of Hyperspectral Likelihood Maps
Rochester Institute of Technology（罗切斯特理工学院）
高光谱相机可以提供独特的光谱特征，用于一致地区分可用于解决监视任务的材料。在本文中，我们提出了一种新的实时高光谱似然图辅助跟踪方法（HLT）的启发自适应高光谱传感器。运动目标跟踪系统一般由配准、目标检测和跟踪模块组成。我们专注于目标检测部分，并消除了构建任何离线分类器和调整大量超参数的必要性，而是以在线方式学习从可见光到红外波长的高光谱通道的生成目标模型。其核心思想是，我们的自适应融合方法可以结合可能性地图从多个波段的高光谱图像到一个单一的更独特的表示增加之间的差距的平均值的前景和背景像素的融合地图。实验结果表明，HLT不仅优于所有已建立的融合方法，但与当前国家的最先进的高光谱目标跟踪框架。
2017-07-12 cs.CV
Efficient Hand Articulations Tracking using Adaptive Hand Model and Depth map
University of California - San Diego（加州大学圣地亚哥分校）
实时手部关节跟踪对于诸如与虚拟/增强现实设备或平板电脑交互的许多应用是重要的。然而，现有的大多数算法高度依赖于昂贵且高功耗的GPU来实现实时处理。因此，这些系统不适合移动和可穿戴设备。在本文中，我们提出了一种不需要高性能GPU的高效手部跟踪系统。在我们的系统中，我们通过最小化来自传感器的深度图和计算机生成的手部模型之间的差异来跟踪手部关节。我们还使用手指检测和分类在每帧初始化手部姿势。我们的贡献是：（a）提出自适应手模型以考虑用户的不同手形状而不生成个性化手模型;（b）改进高效的帧初始化以用于鲁棒跟踪和自动初始化;（c）提出来自每个深度图的像素的分层随机采样以改进跟踪精度，同时限制所需的计算。据我们所知，这是第一个在不使用GPU的情况下实现自动手部模型调整和实时跟踪的系统。
2015-10-18 cs.CV
HM-Net: A Regression Network for Object Center Detection and Tracking on Wide Area Motion Imagery
Ozyegin University（奥兹耶金大学）；Istanbul Medipol University（伊斯坦布尔梅迪波尔大学）
广域运动成像（WAMI）产生具有大量极小物体的高分辨率图像。目标对象在整个连续帧中具有大的空间位移。WAMI图像的这种性质使得目标跟踪和检测具有挑战性。在本文中，我们提出了基于深度神经网络的组合目标检测和跟踪模型，即热图网络（HM-Net）。HM-Net比最先进的帧差分和基于背景减除的方法快得多，而不会影响检测和跟踪性能。HM-Net遵循基于对象中心的联合检测和跟踪范式。简单的基于热图的预测支持无限数量的同时检测。所提出的方法使用两个连续的帧和从前一帧获得的目标检测热图作为输入，这有助于HM-Net监测帧之间的时空变化，并跟踪先前预测的对象。尽管先前目标检测热图的重用充当重要的基于反馈的存储器元件，但其可导致假阳性检测的意外激增。为了提高该方法对误报的鲁棒性并消除低置信度检测，HM-Net采用了新颖的反馈滤波器和先进的数据增强。HM-Net在WPAFB数据集上的表现优于最先进的WAMI移动目标检测和跟踪方法，其F1和mAP检测分数分别为96.2%和94.4%，同时在同一数据集上实现了61.8%的mAP跟踪分数。与最新技术水平相比，该性能对应于F1的2.1%、检测时mAP评分的6.1%和跟踪时mAP评分的9.5%的改善。
2021-12-27 cs.CV
HisTrackMap: Global Vectorized High-Definition Map Construction via History Map Tracking
Tongji University（同济大学）；Baidu Inc.（百度公司）
HisTrackMap通过历史地图追踪构建全局向量高精度地图，提升时间连续性和几何构造质量。
2026-01-13 cs.CV
Utilising Visual Attention Cues for Vehicle Detection and Tracking
Insight SFI Research Centre for Data Analytics（Insight SFI 数据分析研究中心）；Dublin City University（都柏林城市大学）
高级驾驶辅助系统（ADAS）一直受到许多研究人员的关注。基于视觉的传感器是模拟人类驾驶员在驾驶时视觉行为的最接近的方法。在本文中，我们探讨了可能的方式来使用视觉注意（显着性）的目标检测和跟踪。我们调查：1）诸如\emph{subjectness}注意力或显著性图和\emph{objectness}注意力图的视觉注意力图如何能够促进2阶段对象检测器中的区域提议生成; 2）视觉注意力图如何能够用于跟踪多个对象。我们提出了一个神经网络，可以同时检测对象，并生成对象和主体的地图，以节省计算能力。我们进一步利用视觉注意力图跟踪过程中使用顺序蒙特卡罗概率假设密度（PHD）过滤器。实验在KITTI和DETRAC数据集上进行。视觉注意和层次特征的使用在目标检测中显示出$\approx$ 8%的相当大的改进，从而有效地将跟踪性能提高了$\approx$ 4%。
2020-07-31 cs.CV
Learning a time-dependent master saliency map from eye-tracking data in videos
University College London（伦敦大学学院）；CNRS（法国国家科学研究中心）；University of Grenoble-Alpes（格勒诺布尔-阿尔卑斯大学）
为了预测复杂自然场景中最显著的区域，显著性模型通常计算几个特征图（对比度，方向，运动......）。并将它们线性组合成主显著性图。由于特征图具有不同的空间分布和幅度动态范围，因此确定它们对整体显着性的贡献仍然是一个悬而未决的问题。大多数最先进的模型不考虑时间，并在刺激持续时间内给予特征图恒定的权重。然而，视觉探索是一个高度动态的过程，由许多时间相关的因素塑造。例如，一些系统的观察模式，如中心偏差，已知在整个探索的时间过程中会发生显着变化。在本文中，我们使用最大似然和收缩的方法来动态和联合学习的特征图和系统的观看模式的权重直接从眼动追踪数据记录在视频上。我们发现，这些权重系统地变化作为时间的函数，并在很大程度上取决于正在处理的视频的语义视觉类别。我们的融合方法允许考虑这些变化，并优于其他国家的最先进的融合方案，随着时间的推移使用恒定的权重。我们用于本研究的代码、视频和眼动追踪数据可在线获得：http://antoinecoutrot.magix.net/public/research.html
2017-02-02 cs.CV
Near-Shore Mapping for Detection and Tracking of Vessels
Norwegian University of Science and Technology (NTNU)（挪威科技大学（NTNU））
针对自主水面艇停靠时近岸船舶跟踪难题，提出利用LiDAR离线建图并结合图像数据滤除动态物体，经神经网络检测分割，在真实数据集上验证了改进效果。
2025-02-25 cs.CV
Beyond Counting: Comparisons of Density Maps for Crowd Analysis Tasks - Counting, Detection, and Tracking
对于拥挤的场景，当图像分辨率较低且物体有严重遮挡时，基于物体的计算机视觉方法的准确性会下降。以计数方法为例，几乎所有最新的计数方法都绕过显式检测，采用基于回归的方法直接对感兴趣的对象进行计数。在基于回归的方法中，密度图估计，其中一个子区域内的对象的数量是该子区域上的密度图的积分，是特别有前途的，因为它保留了空间信息，这使得它对计数和定位（检测和跟踪）都很有用。随着深度卷积神经网络（CNN）的强大功能，计数性能稳步提高。本文的目标是评估密度估计方法在各种人群分析任务中生成的密度图，包括计数，检测和跟踪。由于卷积/池化操作中的下采样步幅，大多数现有的CNN方法产生的密度图的分辨率小于原始图像。为了生成原始分辨率的密度图，我们还评估了一个经典的CNN，它使用滑动窗口回归器来预测图像中每个像素的密度。我们还考虑了全卷积（FCNN）自适应，从较低的卷积层跳过连接，以补偿上采样期间空间信息的损失。在我们的实验中，我们发现低分辨率的密度图有时具有更好的计数性能。相比之下，原始分辨率密度图改进了定位任务，例如检测和跟踪，与双线性上采样较低分辨率密度图相比。最后，我们还提出了几个度量密度图的质量，并将它们与计数和定位的实验结果。
2018-06-13 cs.CV
Tuna Nutriment Tracking using Trajectory Mapping in Application to Aquaculture Fish Tank
Graduate School of Life Science and Systems Engineering（生命科学与系统工程学院）；Kyushu Institute of Technology（九州工业大学）
鱼的饲养成本通常占总生产成本的40%左右。估计鱼缸中的鱼的状态并调节营养物的量对于管理鱼饲养系统的成本起着重要作用。我们的方法是基于跟踪从活跃的水产养殖场收集的视频营养。利用追踪的方法来了解营养物的运动，以了解更多的鱼类行为。最近，越来越多的研究人员专注于开发跟踪算法，以产生更准确和更快的目标确定。不幸的是，最近的研究表明，具有复杂关系的多个对象的有效和鲁棒的跟踪仍然没有解决。因此，在水产养殖中，由于被跟踪的对象具有大量的水生变异生物，因此专注于开发跟踪算法更具挑战性。通过遵循上述问题，我们开发了基于经典最小成本问题的金枪鱼营养物跟踪，该问题在真实环境数据集中始终表现良好。在评估中，所提出的方法实现了21.32像素和3.08像素的平均误差距离和标准差分别。基于人工标注数据的定量评价表明，该方法对水产养殖场具有一定的实用价值，可广泛应用于实际环境数据集。
2021-03-10 cs.CV
Multi-step Temporal Modeling for UAV Tracking
Beijing Institute of Technology（北京理工大学）；Space Engineering University（航天工程大学）；Chongqing Innovation Center, Beijing Institute of Technology（北京理工大学重庆创新中心）
针对无人机跟踪中分辨率不足、运动快、小目标等挑战，提出多步时序建模框架MT-Track，通过时序相关模块和互Transformer模块利用历史时序上下文，在降低计算量的同时提升跟踪精度，尤其适用于长时跟踪场景。
2024-03-07 cs.CV
Direct and Sparse Deformable Tracking
Instituto de Investigación en Ingeniería de Aragón (I3A), Universidad de Zaragoza（萨拉戈萨大学阿拉贡工程研究所（I3A））
可变形单目SLAM算法在未知的可变形环境中恢复相机的定位。目前的方法使用基于模板的可变形跟踪来恢复相机姿态和地图的变形。这些基于模板的方法使用底层全局变形模型。在本文中，我们介绍了一种新的变形摄像机跟踪方法与每个点的局部变形模型。每个贴图点都定义为独立于其他贴图点移动的单个带纹理的面元。由于直接的光度误差成本函数，我们可以跟踪的位置和方向的surfel没有显式的全球变形模型。在我们的实验中，我们验证了所提出的系统，并观察到我们的局部变形模型在实验室控制的实验和经历非等距变形的体内场景中更准确和鲁棒地估计地图的目标变形，具有变化的拓扑结构或不连续性。
2021-09-15 cs.CV
Difference Feature Map Distillation: Transferring Inter-Sample Relational Knowledge Towards Efficient Transformer-Based Tracking
Bowling Green State University（博林格林州立大学）；University of Alabama at Birmingham（阿拉巴马大学伯明翰分校）
提出差分特征图知识蒸馏（DFM-KD），通过样本间差异传递关系知识，提升基于Transformer的视觉跟踪在资源受限平台的效率与性能。
2026-10-06 cs.CV
Using Detection, Tracking and Prediction in Visual SLAM to Achieve Real-time Semantic Mapping of Dynamic Scenarios
Xi’an Jiaotong University（西安交通大学）；Chang’an University（长安大学）
本文提出了一种基于ORB-SLAM 2的轻量级系统RDS-SLAM，该系统仅使用一个常用的Intel Core i7 CPU，就能在动态场景中实时的准确地估计姿态并构建对象级别的语义地图。在RDS-SLAM中，提出了三个主要的改进以及主要的架构修改，以克服ORB-SLAM 2的局限性。首先，在关键帧中采用轻量级的目标检测神经网络。其次，一个有效的跟踪和预测机制被嵌入到系统中，以消除属于可移动物体的特征点在所有传入的帧。第三，语义八叉树地图的检测和跟踪结果的概率融合，这使得机器人保持在对象级别的语义描述的潜在的互动在动态场景。我们在TUM RGB-D数据集上对RDS-SLAM进行了评估，实验结果表明，RDS-SLAM在动态场景中仅使用Intel Core i7 CPU就可以以每帧30.3 ms的速度运行，并且与严重依赖Intel Core i7 CPU和强大GPU的最先进SLAM系统相比，达到了相当的精度。
2022-10-10 cs.CV
A SLAM Map Restoration Algorithm Based on Submaps and an Undirected Connected Graph
School of Geodesy and Geomatics, Wuhan University（武汉大学测绘学院）；Leibniz University Hannover（汉诺威莱布尼茨大学）
许多视觉同时定位与地图构建（SLAM）系统已被证明是准确和鲁棒的，并且在室内和地面数据集上都具有实时性能能力。然而，这些方法在处理由安装在无人机（UAV）上的相机捕获的空中帧时可能存在问题，因为UAV的飞行高度可能难以控制并且容易受环境影响。这涉及跟踪线程通过在跟踪丢失之前检查后续新帧与生成的地图之间的连接来继续在线工作。为了解决无人机跟踪丢失后地图丢失的问题，提出了一种基于单目视觉SLAM的无人机数据集全局地图重建方法，该方法通过相应的无向连通图依次合并子地图来重建完整的全局地图。具体而言，从初始化过程到跟踪丢失的地方，重复生成子图，并通过将这些子图视为节点并将两个子图内的公共图点视为边来构建相应的无向连通图。然后通过词袋（BoW）方法确定公共地图点，并且如果发现子地图与无向连通图中的在线地图连接，则合并子地图。为了证明该方法的性能，首先在无人机数据集上进行了实验，实验结果表明，在多次跟踪失败的情况下，映射的完整性明显优于当前主流的SLAM方法。
2020-07-29 cs.CV
Drone-based Joint Density Map Estimation, Localization and Tracking with Space-Time Multi-Scale Attention Network
JD Finance America Corporation（京东金融美国公司）；Tianjin University（天津大学）；University at Albany, State University of New York（纽约州立大学奥尔巴尼分校）
本文提出了一种时空多尺度注意力网络（STANet），用于解决无人机拍摄的具有任意人群密度、视角和飞行高度的密集人群视频片段中的密度图估计、定位和跟踪问题。我们的STANet方法在连续帧中聚合多尺度特征图以利用时间相干性，然后预测密度图，定位目标，并同时将它们关联到人群中。设计了一个由粗到细的过程，逐渐将注意力模块应用于聚合的多尺度特征图，以强制网络利用有区别的时空特征以获得更好的性能。整个网络以端到端的方式进行训练，多任务损失由三项组成，即，密度图损失、定位损失和关联损失。采用非最大抑制和最小代价流框架生成场景中目标的运动轨迹。由于现有的人群计数数据集仅关注静态摄像机中的人群计数，而不是密度图估计，无人机上的人群计数和跟踪，因此我们收集了一个新的基于无人机的大规模数据集DroneCrowd，由112个视频剪辑组成，具有33，600个高分辨率帧（即，1920 x1080）在70个不同的场景中捕获。经过大量的努力，我们的数据集提供了20，800人的轨迹，其中包括480万个头部注释和几个视频级属性。在两个具有挑战性的公共数据集上进行了广泛的实验，即，上海科技和UCF-QNRF，以及我们的DroneCrowd，以证明STANet在最先进的技术水平下取得了良好的性能。数据集和代码可以在https://github.com/VisDrone上找到。
2019-12-04 cs.CV
HiMAP: History-aware Map-occupancy Prediction with Fallback
Institute of Cartography and Geoinformatics, Leibniz University Hannover（莱比锡大学汉诺威分校制图与地理信息学研究所）；Institute of Information Processing, Leibniz University Hannover（莱比锡大学汉诺威分校信息处理研究所）；Faculty of Geo-Information Science and Earth Observation, University of Twente（埃因霍温大学地球信息科学与地球观测系）
HiMAP通过无需跟踪的轨迹预测框架，在MOT失败时提供可靠预测，实现无ID的高精度未来轨迹生成。
2026-02-19 cs.CV
