Dynamic Disentangled Fusion Network for RGBT Tracking
Anhui University（安徽大学）；School of Artificial Intelligence, Anhui University（安徽大学人工智能学院）；School of Computer Science and Technology, Anhui University（安徽大学计算机科学与技术学院）
针对RGBT跟踪中现有融合模型难以适配多样挑战的问题，提出动态解耦融合网络DDFNet，通过属性解耦的动态融合模型、自适应聚合与增强模块实现鲁棒跟踪，性能优于现有最优方法。
2024-12-11 cs.CV
CC-3DT: Panoramic 3D Object Tracking via Cross-Camera Fusion
ETH Zürich（苏黎世联邦理工学院）；National Tsing Hua University（台湾清华大学）
为了在任何给定时间跟踪其他交通参与者的3D位置和轨迹，现代自动驾驶汽车配备了多个摄像头，覆盖车辆的整个环境。然而，基于相机的3D对象跟踪方法优先优化单相机设置，并在多相机设置中采用事后融合。在本文中，我们提出了一种全景3D对象跟踪的方法，称为CC-3DT，关联和建模对象轨迹的时间和跨视图，并提高了整体跟踪的一致性。特别是，我们的方法在关联之前融合了来自多个相机的3D检测，显著减少了身份切换并改进了运动建模。我们在大规模驾驶数据集上的实验表明，在关联之前进行融合比事后融合有很大的改进余地。在竞争性NuScenes 3D跟踪基准测试中，所有基于相机的方法的平均多目标跟踪精度（AMOTA）提高了12.6%，比之前发布的方法在AMOTA中使用相同的3D检测器的性能高出6.5%。
2022-12-02 cs.CV
Robust video object tracking using particle filter with likelihood based feature fusion and adaptive template updating
Nanjing University（南京大学）
针对复杂视频场景中的目标跟踪问题，提出了一种鲁棒的算法解决方案。在这种解决方案中，引导粒子滤波器（PF）初始化的对象检测器，模型的视频信号的时间演变的背景下，自适应高斯混合。对象的运动由马尔可夫模型表示，该模型定义了状态转移先验。采用颜色和纹理特征表示目标，提出了一种基于边缘似然的特征融合方法。相应的目标模板模型更新程序的开发，以考虑在跟踪过程中的对象的可能的规模变化。实验结果表明，我们的算法击败了现有的几个替代方案，在解决具有挑战性的情况下，视频跟踪任务。
2015-09-28 cs.CV
Generative-based Fusion Mechanism for Multi-Modal Tracking
Jiangnan University（江南大学）；University of Surrey（萨里大学）
本文提出一种基于条件生成对抗网络和扩散模型的生成式融合机制，通过向多模态特征注入随机噪声构造更难样本以增强判别性，在多模态跟踪基准上取得最先进性能。
2023-11-30 cs.CV
Exploring Fusion Strategies for Accurate RGBT Visual Object Tracking
Jiangnan University（江南大学）；University of Surrey（萨里大学）
我们解决了视频中多模态对象跟踪的问题，并探索了融合可见光（RGB）和热红外（TIR）模式所传达的互补信息的各种选择，包括像素级，特征级和决策级融合。具体而言，不同于现有的方法，图像融合任务的范例是在像素级融合。通过注意力机制实现神经元级融合，通道可选择性地被激发。此外，在决策层，由于一种简单的平均配置显示出了优越性，提出了一种新的融合策略。所提出的决策级融合策略的有效性归功于一些创新的贡献，包括RGB和TIR贡献的动态加权和线性模板更新操作。它的一个变体在2020年视觉对象跟踪挑战赛（VOT-RGBT 2020）上产生了获胜的跟踪器。创新的像素级和特征级融合策略的并行探索突出了所提出的决策级融合方法的优势。在\textit{i.e.}、GTOT、VOT-RGBT 2019和VOT-RGBT 2020三个具有挑战性的数据集上进行的大量实验结果表明，与最先进的方法相比，所提出的方法具有有效性和鲁棒性。代码将在\textcolor{blue} { \emph{https://github.com/Zhangyong-Tang/DFAT}}上共享。
2022-01-21 cs.CV
Robust real time face recognition and tracking on gpu using fusion of rgb and depth image
Indian Institute of science（印度科学院）
提出了一种基于kinect传感器的实时人脸识别系统。该算法是在GPU上使用opencl和显着的速度提高。我们使用Kinect深度图像来增加鲁棒性，并减少传统的基于LBP的人脸识别的计算成本。本文的主要目标是进行鲁棒的，高速融合的人脸识别和跟踪。该算法主要由三个步骤组成。第一步是使用viola jones算法检测视频中的所有人脸。第二步是使用面部跟踪窗口在线生成数据库。在GPU上利用深度和灰度图像的融合信息计算改进的LBP特征向量。此特征向量用于训练支持向量机分类器。第三步是基于我们修改后的特征向量识别多个人脸。
2015-04-08 cs.CV
Aerial Vehicle Tracking by Adaptive Fusion of Hyperspectral Likelihood Maps
Rochester Institute of Technology（罗切斯特理工学院）
高光谱相机可以提供独特的光谱特征，用于一致地区分可用于解决监视任务的材料。在本文中，我们提出了一种新的实时高光谱似然图辅助跟踪方法（HLT）的启发自适应高光谱传感器。运动目标跟踪系统一般由配准、目标检测和跟踪模块组成。我们专注于目标检测部分，并消除了构建任何离线分类器和调整大量超参数的必要性，而是以在线方式学习从可见光到红外波长的高光谱通道的生成目标模型。其核心思想是，我们的自适应融合方法可以结合可能性地图从多个波段的高光谱图像到一个单一的更独特的表示增加之间的差距的平均值的前景和背景像素的融合地图。实验结果表明，HLT不仅优于所有已建立的融合方法，但与当前国家的最先进的高光谱目标跟踪框架。
2017-07-12 cs.CV
Siamese Infrared and Visible Light Fusion Network for RGB-T Tracking
East China University of Science and Technology（华东理工大学）
针对红外与可见光图像特性差异及配准偏差问题，提出SiamIVFN，通过部分耦合的CFFN特征融合与CAN自适应贡献聚合，实现鲁棒且速度达147.6FPS的最先进RGB-T跟踪。
2021-03-12 cs.CV
Joint Multi-Object Detection and Tracking with Camera-LiDAR Fusion for Autonomous Driving
Southern University of Science and Technology（南方科技大学）；Sifakis Research Institute of Trustworthy Autonomous Systems, Southern University of Science and Technology（南方科技大学西法基斯可信自主系统研究院）；Pazhou Lab（琶洲实验室）
基于相机-激光雷达融合的多目标跟踪要求实时的准确的目标检测、相似度计算和数据关联。本文提出了一种高效的多模态MOT框架，具有在线联合检测和跟踪方案以及用于自动驾驶应用的鲁棒数据关联。这项工作的新颖性包括：（1）开发端到端深度神经网络，用于使用2D和3D测量进行联合目标检测和相关;（2）开发鲁棒的亲和度计算模块，用于计算3D空间中的遮挡感知外观和运动亲和度;（3）开发综合数据关联模块，用于检测置信度、亲和度和起始-结束概率之间的联合优化。在KITTI跟踪基准上的实验结果表明，该方法在跟踪精度和处理速度方面都具有优越的性能。
2021-08-10 cs.CV
CFTrack: Center-based Radar and Camera Fusion for 3D Multi-Object Tracking
University of Tennessee（田纳西大学）
三维多目标跟踪是自动驾驶汽车感知系统的重要组成部分。跟踪车辆周围的所有动态物体对于避障和路径规划等任务至关重要。自动驾驶车辆通常配备不同的传感器模态，以提高准确性和可靠性。近年来，传感器融合技术在目标检测网络中得到了广泛的应用，但现有的多目标跟踪算法要么依赖于单一的输入方式，要么没有充分利用多传感器提供的信息。在这项工作中，我们提出了一个端到端的网络联合目标检测和跟踪雷达和摄像机传感器融合的基础上。我们提出的方法使用基于中心的雷达相机融合算法的目标检测，并利用贪心算法的对象关联。所提出的贪心算法使用检测到的对象的深度、速度和2D位移来将它们通过时间关联。这使得我们的跟踪算法对被遮挡和重叠的对象非常鲁棒，因为深度和速度信息可以帮助网络区分它们。我们在具有挑战性的nuScenes数据集上评估了我们的方法，它达到了20.0 AMOTA，并且优于基准测试中所有基于视觉的3D跟踪方法以及基于LiDAR的基线方法。我们的方法是在线的，每张图像的运行时间为35 ms，非常适合自动驾驶应用。
2021-07-11 cs.CV
Radar and Camera Fusion for Object Detection and Tracking: A Comprehensive Survey
School of Computer Science and Engineering, Nanyang Technological University（南洋理工大学计算机科学与工程学院）；State Key Laboratory of Industrial Control Technology, Zhejiang University（浙江大学工业控制技术国家重点实验室）；Hangzhou Dianzi University（杭州电子科技大学）；Pillar of Information Systems Technology and Design, Singapore University of Technology and Design（新加坡科技设计大学信息系统技术与设计 pillar）
本文系统综述面向目标检测与跟踪的雷达-相机深度融合，梳理基本原理、关键技术、任务分类及未来研究方向。
2024-10-24 cs.CV
Cross Fusion RGB-T Tracking with Bi-directional Adapter
Guangzhou Institute of Technology, Xidian University（西安电子科技大学广州研究院）
本文提出跨融合RGB-T跟踪架构CFBT，通过三个跨时空融合模块以极低参数量实现多模态与时间信息的有效平衡，在多个基准上达到最先进性能。
2024-08-30 cs.CV
Adaptive Feature Fusion Network for Gaze Tracking in Mobile Tablets
Beihang University（北京航空航天大学）；Peng Cheng Laboratory（鹏城实验室）
最近，已经提出了许多多流注视估计方法。他们从眼睛和面部外观估计凝视，并达到合理的准确性。然而，大多数方法只是简单地连接从眼睛和面部外观提取的特征。特征融合过程被忽略了。在本文中，我们提出了一种新的自适应特征融合网络（AFF-Net），它在移动平板电脑上执行视线跟踪任务。我们堆叠两只眼睛的特征图，并利用挤压和激励层自适应融合两只眼睛的功能，根据他们的外观相似性。同时，我们还提出了自适应组归一化方法，在面部特征的指导下重新校准眼睛特征。在GazeCapture和MPIIFaceGaze数据集上进行的大量实验表明，所提出的方法具有一贯的优越性能。
2021-03-20 cs.CV
Dynamic Fusion Network for RGBT Tracking
East China University of Science and Technology（华东理工大学）
由于可见光和红外图像各有优缺点，RGBT跟踪受到越来越多的关注。RGBT跟踪的关键在于可见光和红外图像的特征提取和特征融合。目前的RGBT跟踪方法大多关注个体特征（从单个摄像机的图像中提取的特征）和共同特征（从RGB摄像机和热成像摄像机中提取并融合的特征），而较少关注个体特征和共同特征对不同序列的注册图像对的不同和动态贡献。本文提出了一种新的RGBT跟踪方法，称为动态融合网络（DFNet），它采用了两个流结构，其中两个非共享的卷积核在每一层中提取个人的功能。此外，DFNet为每一层共享卷积核来提取共同特征。非共享卷积核和共享卷积核根据不同的图像对进行自适应加权和求和，使DFNet可以针对不同的序列处理不同的贡献。DFNet的速度很快，为28.658 FPS。实验结果表明，DFNet在Mult-Adds仅比基于非共享卷积核的融合方法增加0.02%的情况下，准确率（PR）和成功率（SR）分别达到88.1%和71.9%。
2021-09-16 cs.CV
Co-Fusion: Real-time Segmentation, Tracking and Fusion of Multiple Objects
University College London（伦敦大学学院）
在本文中，我们介绍了Co-Fusion，这是一个密集的SLAM系统，它以RGB-D图像的实时流作为输入，并将场景分割成不同的对象（使用运动或语义线索），同时实时的跟踪和重建它们的3D形状。我们使用多模型拟合方法，其中每个对象可以独立于背景移动，并且仍然可以有效地跟踪，并且仅使用来自与该对象标签相关联的像素的信息来随着时间的推移融合其形状。先前处理动态场景的尝试通常将移动区域视为离群值，因此不对它们的形状进行建模或跟踪它们随时间的运动。相比之下，我们使机器人能够维护每个分割对象的3D模型，并通过融合随着时间的推移改进它们。因此，我们的系统可以使机器人保持在对象级别的场景描述，有可能允许与其工作环境的交互，即使在动态场景的情况下。
2017-06-20 cs.CV
Marrying Tracking with ELM: A Metric Constraint Guided Multiple Feature Fusion Method
Liaoning Normal University（辽宁师范大学）
目标跟踪是计算机视觉和监控系统中的一个重要问题。现有的模型主要利用单视图特征（即颜色、纹理、形状）来解决这个问题，不能全面地描述对象。本文从多视点角度出发，利用多视点互补信息和潜在信息，解决了目标跟踪中的跟踪漂移问题，使目标跟踪对部分遮挡和背景杂波具有较强的鲁棒性，特别是当目标与目标相似时。然而，多视点融合策略不可避免地会导致跟踪效率低下。为此，我们提出了结婚ELM（极端学习机）多视图融合训练的全球隐藏的输出权重，有效地利用当地的信息，从每个视图。根据这一原则，我们提出了一种新的方法来获得最佳的样本作为目标对象，这避免了跟踪漂移所造成的噪声样本。我们的方法在12个挑战图像序列上进行了评估，这些图像序列具有不同的属性，包括照明，遮挡，变形等，其在有效性和鲁棒性方面表现出比几种现有技术方法更好的性能。
2018-10-06 cs.CV
FutrTrack: A Camera-LiDAR Fusion Transformer for 3D Multiple Object Tracking
University of Wuppertal（乌珀塔尔大学）；Institute of Computer Science, Osnabrück University（计算机科学研究所，奥斯纳布鲁克大学）
FutrTrack通过融合相机与激光雷达数据，利用基于变压器的跟踪框架，在多目标跟踪中实现了高效且鲁棒的跟踪性能。
2025-12-15 cs.CV
DeepFusionMOT: A 3D Multi-Object Tracking Framework Based on Camera-LiDAR Fusion with Deep Association
Chongqing University（重庆大学）
在最近的文献中，一方面，许多3D多目标跟踪（MOT）的工作都集中在跟踪精度和忽略了计算速度，通常通过设计相当复杂的成本函数和特征提取。另一方面，一些方法过于关注计算速度而牺牲了跟踪精度。针对这些问题，本文提出了一种稳健快速的基于相机-LiDAR融合的MOT方法，该方法在精度和速度之间取得了很好的平衡。根据摄像机和LiDAR传感器的特点，设计了一种有效的深度关联机制，并将其嵌入到所提出的MOT方法中。该关联机制实现了当目标距离较远且仅由相机检测到时在2D域中对目标的跟踪，以及当目标出现在LiDAR视场中时利用获得的3D信息更新2D轨迹，以实现2D和3D轨迹的平滑融合。基于典型数据集的大量实验表明，该方法在跟踪精度和处理速度方面均优于现有的MOT方法.为了社区的利益，我们的代码已公开发布。
2022-08-26 cs.CV
Target-aware Bidirectional Fusion Transformer for Aerial Object Tracking
Changchun Institute of Optics, Fine Mechanics and Physics, Chinese Academy of Science（中国科学院长春光学精密机械与物理研究所）
针对无人机跟踪中单阶段特征融合不足的问题，本文提出目标感知双向融合 Transformer（BFTrans），通过双流线性注意力融合和目标感知位置编码提升性能，并在多个基准上验证其先进精度与嵌入式部署可行性。
2025-03-13 cs.CV
Deformable Distributed Multiple Detector Fusion for Multi-Person Tracking
Johns Hopkins University（约翰斯·霍普金斯大学）；Hong Kong Baptist University（香港浸会大学）
本文讨论了在复杂环境中具有挑战性的遮挡和广泛的姿态变化的全自动多人跟踪。我们的解决方案将多个检测器组合用于一组不同的感兴趣区域（例如，全身和头部）用于多人跟踪。使用多个检测器导致更少的未检测，因为它能够利用各个检测器的互补强度。虽然假阳性的数量可能会随着从多个检测器检测到的边界框的数量增加而增加，但我们建议通过限界框位置和深度信息对检测输出进行分组。为了对显著的姿态变化具有鲁棒性，在我们的多人跟踪系统中学习了检测器之间的可变形空间关系。从现场重症监护室（ICU）的RGBD数据，我们表明，所提出的方法显着提高了多人跟踪性能的国家的最先进的方法。
2015-12-18 cs.CV
Fusion of Head and Full-Body Detectors for Multi-Object Tracking
Leibniz Universität Hannover（莱布尼茨汉诺威大学）；Technische Universität München（慕尼黑工业大学）
为了跟踪场景中的所有人，检测跟踪范式已被证明是一种非常有效的方法。然而，仅仅依靠单个探测器也是一个主要的限制，因为有用的图像信息可能会被忽略。因此，这项工作演示了如何将两个探测器融合到一个跟踪系统中。为了获得的轨迹，我们建议制定跟踪作为一个加权图标记的问题，从而在一个二进制二次规划。由于这些问题是NP难的，因此只能近似求解。基于Frank-Wolfe算法，我们提出了一个新的求解器，这是至关重要的处理这样的困难问题。行人跟踪的评估提供了多种情况下，显示优于单检测器跟踪和标准的QP求解器的结果。最后，我们的跟踪器在MOT 16基准测试中排名第二，在新的MOT 17基准测试中排名第一，超过90个跟踪器。
2018-04-24 cs.CV
Cross-Modal Object Tracking via Modality-Aware Fusion Network and A Large-Scale Dataset
Anhui University（安徽大学）
针对RGB与近红外跨模态跟踪中缺乏模态切换信号的问题，提出MAFNet自适应融合网络，并构建大规模数据集，实验验证其达到最先进性能。
2023-12-22 cs.CV
TAPFormer: Robust Arbitrary Point Tracking via Transient Asynchronous Fusion of Frames and Events
National University of Defense Technology（国防科技大学）；Hunan University（湖南大学）
TAPFormer通过帧和事件的瞬态异步融合实现鲁棒的任意点跟踪，提升跟踪精度和鲁棒性。
2026-03-08 cs.CV
Multi-Modal Fusion for End-to-End RGB-T Tracking
Computer Vision Center, Universitat Autonoma de Barcelona（巴塞罗那自治大学计算机视觉中心）；Computer Vision Laboratory, ETH Zürich（苏黎世联邦理工学院计算机视觉实验室）；Inception Institute of Artificial Intelligence（inception人工智能研究院）
我们提出了一个端到端的跟踪框架，用于融合RGB和TIR模式的RGB-T跟踪。我们的基线跟踪器是DiMP（判别模型预测），它采用精心设计的目标预测网络，使用判别损失进行端到端训练。我们分析了DiMP中每个主要组件（即特征提取器、目标估计网络和分类器）中模态融合的有效性。我们考虑了几个融合机制在不同层次的框架，包括像素级，功能级和响应级。我们的跟踪器以端到端的方式进行训练，使组件能够学习如何融合来自两种模式的信息。作为训练我们模型的数据，我们通过考虑带注释的RGB跟踪数据集（GOT-10 k）并使用图像到图像转换方法合成成对的TIR图像来生成大规模的RGB-T数据集。我们在VOT-RGBT 2019数据集和RGBT 210数据集上进行了广泛的实验，评估了每个模型组件上的每种模态融合。实验结果表明，所提出的融合机制提高了单模态的性能。当在IoU-Net和模型预测器上进行特征级融合时，我们获得了最佳结果，在VOT-RGBT 2019数据集上获得了0.391的EAO得分。通过这种融合机制，我们在RGBT 210数据集上实现了最先进的性能。
2019-08-30 cs.CV
Middle Fusion and Multi-Stage, Multi-Form Prompts for Robust RGB-T Tracking
Beijing Institute of Technology（北京理工大学）；North Lianchuang Communication Company（北联创通信公司）
针对 RGB-T 跟踪中性能效率权衡与数据稀缺问题，提出 M3PT，通过可调中层融合元框架及多模态、多阶段提示实现参数高效的鲁棒跟踪。
2024-05-10 cs.CV
Unified Graph based Multi-Cue Feature Fusion for Robust Visual Tracking
视觉跟踪是一个复杂的问题，由于不受约束的外观变化和动态环境。利用多特征从目标环境中提取互补信息，并对目标的外观变化进行自适应，是该研究的关键问题。为此，我们提出了一个强大的目标跟踪框架的基础上统一图融合（UGF）的多线索，以适应对象的外观。稀疏和密集特征的交叉扩散不仅抑制了单个特征的不足，而且还从多线索中提取了互补信息。这个迭代过程建立了鲁棒的统一特征，这些特征对对象变形、快速运动和遮挡是不变的。统一特征的鲁棒性还使得随机森林分类器能够精确地区分前景和背景，从而增加对背景杂波的恢复能力。此外，我们提出了一种新的基于内核的自适应策略，使用离群值检测和转导的可靠性度量。
2019-05-23 cs.CV
RGBT Tracking via All-layer Multimodal Interactions with Progressive Fusion Mamba
School of Computer Science and Technology, Anhui University（安徽大学计算机科学与技术学院）；School of Artificial Intelligence, Anhui University（安徽大学人工智能学院）
本文提出AINet，通过渐进融合Mamba实现全模态全层高效交互，并设计DFM和OFM模块，在四个RGBT跟踪数据集上取得领先性能。
2024-12-29 cs.CV
EarlyBird: Early-Fusion for Multi-View Tracking in the Bird's Eye View
Technical University of Munich（慕尼黑工业大学）
本文提出EarlyBird框架，通过将多视角投影到鸟瞰图进行早期融合检测，并学习重识别特征解决时间关联问题，在多目标多相机跟踪任务上显著提升了准确率并超越了现有最优方法。
2023-10-20 cs.CV
3D Object Tracking with Transformer
Northeastern University（东北大学）
特征融合和相似度计算是三维目标跟踪中的两个核心问题，特别是对于稀疏无序点云的目标跟踪。特征融合通过包含目标对象的信息，使相似度计算更加有效。然而，大多数现有的基于激光雷达的方法直接使用提取的点云特征来计算相似性，而忽略了跟踪过程中对象区域的注意力变化。本文提出了一种基于Transformer结构的特征融合网络。得益于自注意力机制，Transformer编码器捕捉点云不同区域之间的相互关系和内部关系。Transformer解码器利用交叉注意力融合特征，在当前点云特征中加入更多的目标线索，计算区域注意力，提高了相似度计算的效率。基于此特征融合网络，我们提出了一个端到端的点云目标跟踪框架，一个简单而有效的方法，用于3D目标跟踪使用点云。KITTI数据集上的综合实验结果表明，我们的方法达到了新的最先进的性能。代码可在：https://github.com/3bobo/lttr.
2021-10-28 cs.CV
Jointly Modeling Motion and Appearance Cues for Robust RGB-T Tracking
在这项研究中，我们提出了一种新的RGB-T跟踪框架，通过联合建模的外观和运动线索。首先，为了获得鲁棒的外观模型，我们开发了一种新的后期融合方法来推断RGB和热（T）模态的融合权重图。融合权值由离线训练的全局和局部多模态融合网络确定，并用于线性组合RGB和T模态的响应图。第二，当外观线索不可靠时，我们全面地采取动作线索，即，目标和摄像机运动，使跟踪器鲁棒。我们进一步提出一个追踪器切换器来灵活切换外观和运动追踪器。在最近的三个RGB-T跟踪数据集上的大量结果表明，该跟踪器的性能明显优于其他最先进的算法。
2020-07-04 cs.CV
3D Face Tracking and Texture Fusion in the Wild
Reutlingen University（罗伊特林根大学）
我们提出了一个全自动的方法，实时三维人脸重建从单眼在野外的视频。通过使用基于级联回归的人脸跟踪和3D Morphable Face Model形状拟合，我们得到了一个半稠密的3D人脸形状。我们进一步使用来自多个帧的纹理信息来从视频帧构建整体3D人脸表示。我们的系统能够捕捉面部表情，不需要任何针对个人的培训。我们在具有挑战性的300个野生视频（300-VW）数据集上展示了我们方法的鲁棒性。我们的实时拟合框架可以在http://4dface.org上作为开源库获得。
2016-05-22 cs.CV
Frame-Event Alignment and Fusion Network for High Frame Rate Tracking
Dalian University of Technology（大连理工大学）；Fuzhou University（福州大学）；HiSilicon(Shanghai) Technologies Co.,Ltd（海思（上海）科技有限公司）
本文提出一种端到端的帧-事件对齐与融合网络，利用传统帧的纹理信息和事件相机的高时间分辨率互补优势，在FE240hz数据集上实现高达240Hz的高帧率目标跟踪，并显著超越现有最先进跟踪器。
2023-05-25 cs.CV
Deformable Object Tracking with Gated Fusion
Fuzhou University（福州大学）；Tencent AI Lab（腾讯人工智能实验室）；Jiangnan University（江南大学）；South China University of Technology（华南理工大学）；City University of Hong Kong（香港城市大学）
通过与卷积神经网络（CNN）的集成，检测跟踪框架受到越来越多的关注。然而，现有的基于检测的跟踪方法无法跟踪具有严重外观变化的对象。这是因为传统的卷积运算是在固定网格上执行的，因此在对象改变姿势或在变化的环境条件下可能无法找到正确的响应。在本文中，我们提出了一个可变形的卷积层，以丰富目标的外观表示在跟踪检测框架。我们的目标是捕捉目标的外观变化，通过变形卷积，自适应地增强其原始特征。此外，我们还提出了一个门控融合方案，以控制如何变形卷积捕获的变化影响原始外观。通过可变形卷积的丰富特征表示有助于CNN分类器对目标对象和背景的区分。在标准基准上的大量实验表明，所提出的跟踪器对最先进的方法表现良好。
2019-04-11 cs.CV
Exploring Modality-Aware Fusion and Decoupled Temporal Propagation for Multi-Modal Object Tracking
MDTrack通过模态感知融合和解耦时间传播提升多模态目标跟踪性能，实现统一的模态处理和独立的时间信息捕捉。
2026-03-10 cs.CV
A Badminton Recognition and Tracking System Based on Context Multi-feature Fusion
Beijing Sport University（北京体育大学）
本文提出一种基于上下文多特征融合的羽毛球检测与跟踪系统，通过设计双轨迹片段跟踪器和粗到细的两轮检测，有效解决了小球识别难题，在无遮挡数据上取得高精确率与F1值。
2023-06-26 cs.CV
Modality-Guided Dynamic Graph Fusion and Temporal Diffusion for Self-Supervised RGB-T Tracking
School of Computer Sciences and Technology, China University of Mining and Technology（中国矿业大学计算机科学与技术学院）；Mine Digitization Engineering Research Center of the Ministry of Education, China（教育部 mine 数字化工程研究中心）
本文提出GDSTrack，通过模态引导动态图融合与时间扩散解决自监督RGB-T跟踪中的伪标签噪声和模态融合问题，在四个数据集上超越现有方法。
2025-05-06 cs.CV
Robust RGB-T Tracking via Learnable Visual Fourier Prompt Fine-tuning and Modality Fusion Prompt Generation
Key Laboratory of Education Blockchain and Intelligent Technology, Ministry of Education, Guangxi Normal University（教育区块链与智能技术重点实验室，教育部，广西师范大学）；Guangxi Key Lab of Multi-Source Information Mining and Security, Guangxi Normal University（多源信息挖掘与安全广西重点实验室，广西师范大学）
针对现有RGB-T跟踪中仅用空间域提示导致性能不佳的问题，提出VFPTrack方法，通过FFT生成频域提示并融合多模态特征生成交互提示，在三个基准上取得卓越性能。
2025-09-24 cs.CV
An Improved Tracking using IMU and Vision Fusion for Mobile Augmented Reality Applications
TCS Innovation Labs（TCS创新实验室）
移动增强现实（MAR）正在成为一个重要的信息物理系统的应用，由于无处不在的手机。随着在无准备的环境中操作的需要，准确和鲁棒的配准和跟踪已成为一个重要的研究问题，以解决。事实上，当MAR用于涉及大距离的远程交互应用时，例如从事故现场到保险办公室，在两端的跟踪是期望的，并且进一步地，适当地融合惯性和视觉传感器数据是必要的。在本文中，我们提出的结果，并讨论了一些见解，在无标记跟踪的原型开发过程中获得的一个示例用例有关的故障或损坏评估的车辆。本文的新颖之处在于将不同的组件和模块结合在一起，并对一个完整的工作系统进行适当的增强。
2014-11-10 cs.CV
CAMO-MOT: Combined Appearance-Motion Optimization for 3D Multi-Object Tracking with Camera-LiDAR Fusion
Tsinghua University（清华大学）；Mogo Auto Intelligence and Telemetics Information Technology Co. Ltd.（蘑菇车联智能网联科技有限公司）
3D多目标跟踪（MOT）确保了连续动态检测过程中的一致性，有利于自动驾驶中后续的运动规划和导航任务。然而，基于相机的方法在遮挡的情况下会受到影响，并且对于基于LiDAR的方法来说，准确地跟踪对象的不规则运动可能具有挑战性。一些融合方法工作得很好，但没有考虑遮挡下的外观特征不可信的问题。同时，误检测问题也显著影响跟踪。因此，我们提出了一种新的基于组合外观运动优化（CAMO-MOT）的相机-LiDAR融合3D MOT框架，该框架同时使用相机和LiDAR数据，并显着减少了由遮挡和错误检测引起的跟踪失败。对于遮挡问题，我们首次提出了一种遮挡头，可以有效地多次选择最佳对象外观特征，减少遮挡的影响。为了减少误检测对跟踪的影响，我们设计了一个基于置信度的运动代价矩阵，提高了在3D空间中的定位和目标预测精度。针对现有的多目标跟踪方法只考虑单一类别的问题，本文还提出了建立多类别损失来实现多类别场景下的多目标跟踪。在KITTI和nuScenes跟踪基准上进行了一系列验证实验。我们提出的方法在KITTI测试数据集上的所有多模态MOT方法中实现了最先进的性能和最低的身份开关（IDS）值（汽车23，行人137）。我们提出的方法在nuScenes测试数据集上的所有算法中达到了最先进的性能，具有75.3%的AMOTA。
2022-09-12 cs.CV
Staged Depthwise Correlation and Feature Fusion for Siamese Object Tracking
Kanazawa University（金泽大学）；Japan Advanced Institute of Science and Technology（日本北陆先端科学技术大学院大学）
本文提出DCFFNet，一种基于孪生网络的分阶段深度相关与特征融合跟踪器，通过相关-融合模块优化特征提取，在OTB100、VOT2018和LaSOT上达到领先精度并满足实时性要求。
2023-10-15 cs.CV
Boosting Online 3D Multi-Object Tracking through Camera-Radar Cross Check
National Yang Ming Chiao Tung University（国立阳明交通大学）；University of Washington（华盛顿大学）；Cisco（思科公司）
针对自动驾驶中多模态融合挑战，提出CRAFTBooster方法，在跟踪阶段融合相机与雷达数据，在K-Radaar数据集上实现IDF1指标5-6%的提升。
2024-07-18 cs.CV
Physics-Guided Fusion for Robust 3D Tracking of Fast Moving Small Objects
UL Lafayette（路易斯安那州立大学）；Louisiana Transportation Research Center（路易斯安那州交通研究中心）
本文提出一种结合深度学习检测与物理运动学跟踪的RGB-D三维跟踪系统，用于快速移动小物体，在壁球数据集上平均位移误差较卡尔曼滤波降低70%。
2025-10-23 cs.CV
End-to-end feature fusion siamese network for adaptive visual tracking
College of Computer Science and Technology, Zhejiang University of Technology（浙江工业大学计算机科学与技术学院）；Key Laboratory of Intelligent Perception and Systems for High-Dimensional Information of Ministry of Education, Nanjing University of Science and Technology（南京理工大学智能感知与高维信息处理教育部重点实验室）
根据观察，不同的视觉对象在不同的场景中具有不同的显著特征。即使是同一个目标，在长期跟踪任务中，其显著的形状和外观特征也会不时发生很大变化。在此基础上，本文提出了一种基于Siamese网络的端到端特征融合框架FF-Siam，该框架能够有效地融合不同特征，实现自适应视觉跟踪。该框架由四层组成。设计了一个特征提取层，用于提取目标区域和搜索区域的不同特征。然后将提取的特征放入权重生成层以获得通道权重，该通道权重指示不同特征通道的重要性。在模板生成层中利用特征和通道权重来生成判别模板。最后，将搜索区域特征与模板卷积生成的响应图进行融合，得到最终的响应图，用于目标定位。实验结果表明，该框架在流行的Temple-Color，OTB 50和UAV 123基准测试中达到了最先进的性能。
2019-02-04 cs.CV
PlugTrack: Multi-Perceptive Motion Analysis for Adaptive Fusion in Multi-Object Tracking
Seungjae Kim, SeungJoon Lee, MyeongAh Cho（作者）
针对多目标跟踪中卡尔曼滤波器难处理非线性运动、数据驱动预测器泛化差且开销高的问题，提出PlugTrack框架，通过多感知运动分析自适应融合两类预测器，在多个基准上取得更优性能。
2025-11-17 cs.CV
Robust video object tracking via Bayesian model averaging based feature fusion
School of Computer Science and Technology, Nanjing University of Posts and Telecommunications（南京邮电大学计算机科学与技术学院）
在这篇文章中，我们关注的是在视频流中跟踪感兴趣的对象。我们提出了一种算法，是强大的对闭塞，存在混乱的颜色，对象特征空间的突然变化和对象大小的变化。我们开发的贝叶斯建模框架内的算法。状态空间模型用于通过对跟踪系统的基本动态进行建模来捕获帧图像序列中的时间相关性。提出了贝叶斯模型平均（BMA）策略，用于融合观测数据中的多线索信息。在所提出的框架中允许涉及任何数量的对象特征。每个特征代表一个待融合的信息源，并与一个观测模型相关联。采用粒子滤波方法进行状态推断。与相关方法相比，基于BMA的跟踪器具有鲁棒性，表达性和可理解性。
2016-09-06 cs.CV
BNV-Fusion: Dense 3D Reconstruction using Bi-level Neural Volume Fusion
University of Oxford（牛津大学）；Tsinghua-Berkeley Shenzhen Institute, Tsinghua University（清华大学清华-伯克利深圳学院）
从深度图像流进行密集3D重建是许多混合现实和机器人应用的关键。尽管基于截断符号距离函数（TSDF）融合的方法多年来已经推进了该领域，但是TSDF体积表示面临着在对噪声测量的鲁棒性和保持细节水平之间取得平衡。我们提出了双层神经体积融合（BNV-Fusion），它利用神经隐式表示和神经渲染方面的最新进展进行密集3D重建。为了将新的深度图逐步集成到全局神经隐式表示中，我们提出了一种新的双层融合策略，该策略通过设计考虑了效率和重建质量。我们在多个数据集上对所提出的方法进行了定量和定性评估，证明了对现有方法的显着改进。
2022-04-03 cs.CV
Tracking Any Point with Frame-Event Fusion Network at High Frame Rate
College of Intelligence Science and Technology, National University of Defense Technology（国防科技大学智能科学学院）
针对帧率限制导致高速场景下点跟踪不稳定问题，提出图像-事件融合跟踪器FE-TAP，结合EvoFusion模块与Transformer细化策略，实现高帧率鲁棒跟踪，在EDS数据集上期望特征年龄提升24%。
2024-09-18 cs.CV
Exploring Point-BEV Fusion for 3D Point Cloud Object Tracking with Transformer
Nanyang Technological University（南洋理工大学）；Sensetime Research（商汤科技研究院）
随着LiDAR传感器在自动驾驶中的普及，3D目标跟踪越来越受到关注。在点云序列中，3D对象跟踪的目的是在给定对象模板的情况下预测对象在连续帧中的位置和方向。受Transformers成功的启发，我们提出了点跟踪变压器（PTTR），它有效地预测高质量的三维跟踪结果，在一个粗略到精细的方式与Transformer操作的帮助。PTTR由三种新颖的设计组成。1)代替随机采样，我们设计了一种基于感知的采样，以在子采样过程中保留与给定模板相关的点。2)我们提出了一个点关系Transformer有效的特征聚合和模板和搜索区域之间的特征匹配。3)基于粗跟踪结果，我们采用了一种新的预测细化模块，通过局部特征池获得最终的细化预测。此外，受点云的鸟瞰图（BEV）在捕捉物体运动方面的有利特性的启发，我们进一步设计了一个更先进的框架PTTR++，它结合了点视图和BEV表示，以利用它们的互补作用来生成高质量的跟踪结果。PTTR++以较低的计算开销大大提高了PTTR的跟踪性能。在多个数据集上的大量实验表明，我们提出的方法实现了卓越的3D跟踪精度和效率。
2022-08-10 cs.CV
POSEFusion: Pose-guided Selective Fusion for Single-view Human Volumetric Capture
Tsinghua University（清华大学）；Google（谷歌）
我们提出了姿势引导选择性融合（POSEFusion），一种单视图人体体积捕获方法，利用基于跟踪的方法和无跟踪推理来实现高保真和动态的3D重建。通过提出一种新的重构框架，该框架包含姿态引导的关键帧选择和鲁棒的隐式曲面融合，该方法充分利用了基于跟踪的方法和无需跟踪的推理方法的优点，最终实现了动态曲面细节的高保真重构，即使是在不可见区域。我们制定的关键帧选择作为一个动态规划问题，以保证重建序列的时间连续性。此外，新的鲁棒隐式曲面融合涉及一个自适应的混合权重，以保持高保真的表面细节和自动碰撞处理方法来处理潜在的自碰撞。总体而言，我们的方法可以从单个RGBD相机在可见和不可见区域中进行高保真和动态捕获，结果和实验表明，我们的方法优于最先进的方法。
2021-03-29 cs.CV
Volumetric Propagation Network: Stereo-LiDAR Fusion for Long-Range Depth Estimation
KAIST（韩国科学技术院）；UNIST（蔚山科学技术院）
立体激光雷达融合是一项很有前途的任务，因为我们可以利用两种不同类型的3D感知用于实际用途-密集的3D信息（立体相机）和高精度的稀疏点云（LiDAR）。然而，由于它们的模态和结构不同，传感器数据对齐的方法是成功的传感器融合的关键。为此，我们提出了一种几何感知的立体激光雷达融合网络的远程深度估计，称为体积传播网络。我们的网络的关键思想是利用稀疏和准确的点云作为线索，在统一的3D体积空间中引导立体图像的对应关系。与现有的融合策略不同，我们直接将点云嵌入到体积中，这使我们能够将有效信息传播到体积中的邻近体素中，并减少对应关系的不确定性。因此，它允许我们无缝地融合两种不同的输入方式，并回归一个长距离的深度图。我们的融合进一步增强了新提出的特征提取层的点云图像引导：FusionConv。FusionConv提取点云特征，考虑语义（2D图像域）和几何（3D域）关系，并帮助在体积上融合。在最近的立体激光雷达融合方法中，我们的网络在KITTI和Virtual-KITTI数据集上实现了最先进的性能。
2021-03-24 cs.CV
Transformer Tracking
Dalian University of Technology（大连理工大学）；Peng Cheng Laboratory（鹏城实验室）；Remark AI
相关性在跟踪领域中扮演着关键的角色，特别是在最近流行的基于暹罗的跟踪器中。相关操作是一种简单的融合方式，考虑模板和搜索区域之间的相似性。然而，相关运算本身是一个局部线性匹配过程，容易丢失语义信息，陷入局部最优，成为设计高精度跟踪算法的瓶颈。还有比相关性更好的特征融合方法吗？为了解决这个问题，受Transformer的启发，本文提出了一种新的基于注意力的特征融合网络，它有效地结合了模板和搜索区域的功能，只使用注意力。具体地说，该方法包括一个基于自我注意力的自我上下文增强模块和一个基于交叉注意力的交叉特征增强模块。最后，我们提出了一个Transformer跟踪方法（命名为transT）的基础上的暹罗状特征提取骨干，设计的基于注意力的融合机制，分类和回归头。实验表明，我们的TransT在六个具有挑战性的数据集上取得了非常有希望的结果，特别是在大规模的LaSOT，TrackingNet和GOT-10 k基准测试中。我们的跟踪器在GPU上的运行速度约为50 fps。代码和模型可在https://github.com/chenxin-dlut/TransT上获得。
2021-03-29 cs.CV
Three-dimensional Human Tracking of a Mobile Robot by Fusion of Tracking Results of Two Cameras
Chuo University（中央大学）
本文提出了一种过程，使用两个摄像机来获得三维（3D）信息的目标对象的人体跟踪。综合两台摄像机的人体检测和跟踪结果，获得三维信息。OpenPose用于人体检测。在一般处理立体相机的情况下，尽可能精确地获取整个场景的距离图像，然后处理距离图像。然而，存在诸如不正确的匹配和用于校准过程的计算成本的问题。提出了一种新的立体视觉框架来解决这些问题。通过目标跟踪实验验证了该框架和方法的有效性。
2020-07-03 cs.CV cs.RO
Camera-RFID Fusion for Robust Asset Tracking in Forested Environments
Department of Mechanical & Aerospace Engineering at the University of California, Los Angeles（加州大学洛杉矶分校机械与航空航天工程系）；Department of Electrical and Computer Engineering at the University of California, Los Angeles（加州大学洛杉矶分校电气与计算机工程系）
本文提出相机-射频识别融合框架，解决森林环境中资产跟踪的轨迹关联问题，实现米级到厘米级精度的融合定位。
2026-04-29 cs.CV
Vox-Fusion++: Voxel-based Neural Implicit Dense Tracking and Mapping with Multi-maps
Zhejiang University（浙江大学）；CARDC（中国空气动力研究与发展中心）；Hangzhou Dianzi University（杭州电子科技大学）
本文提出Vox-Fusion++，一种基于体素神经隐式表示和多地图策略的稠密跟踪与建图系统，通过八叉树划分、多进程框架及回环检测优化，在重建质量和精度上超越现有方法，并支持增强现实与协同建图。
2024-03-19 cs.CV
