EagerMOT: 3D Multi-Object Tracking via Sensor Fusion
Technical University of Munich（慕尼黑工业大学）
多目标跟踪（MOT）使移动机器人能够执行明智的运动规划和导航定位周围的物体在三维空间和时间。现有方法依赖于深度传感器（例如，激光雷达）来检测和跟踪3D空间中的目标，但由于信号的稀疏性，只能达到有限的传感范围。另一方面，摄像机提供了密集而丰富的视觉信号，有助于定位甚至遥远的物体，但仅限于图像域。在本文中，我们提出了一个简单的跟踪公式，急切地整合所有可用的对象观测从两个传感器模态，以获得一个明智的解释场景动态。使用图像，我们可以识别远处的传入物体，而深度估计允许物体在深度感应范围内进行精确的轨迹定位。借助QuiderMOT，我们在KITTI和NuScenes数据集上的多个MOT任务中实现了最先进的结果。我们的代码可在www.example.com上获得。
2021-04-29 cs.CV cs.RO
Real-time multiview data fusion for object tracking with RGBD sensors
Cranfield University（克兰菲尔德大学）
本文提出了一种新的方法来准确地跟踪移动车辆的多视角设置的红绿蓝深度（RGBD）相机。我们首先提出了一种校正方法，以消除位移，这发生在深度传感器，当他们变得磨损。该问题无法通过普通校准程序纠正。接下来，我们提出了一个传感器的过滤系统，以纠正未知的车辆运动。数据融合算法，然后使用最佳合并的传感器明智的估计轨迹。我们在图形处理器中实现了解决方案的大部分内容。因此，整个系统能够在五个摄像头的配置下以高达每秒25帧的速度运行。测试结果表明，我们实现的准确性和鲁棒性，我们的解决方案，以克服测量和建模中的不确定性。
2021-10-28 cs.CV cs.RO
Deep Learning-Based Robust Multi-Object Tracking via Fusion of mmWave Radar and Camera Sensors
The University of Arizona（亚利桑那大学）
针对自动驾驶中多目标跟踪的准确性与鲁棒性需求，提出融合毫米波雷达与相机数据的深度学习方法，结合双向LSTM、类FaceNet外观模型与三输出机制，在真实数据集尤其是低能见度场景下实现跟踪精度显著提升。
2024-07-10 cs.CV cs.SY eess.SP
Deep Learning Method for Cell-Wise Object Tracking, Velocity Estimation and Projection of Sensor Data over Time
Aptiv（安波福）；University of Wuppertal（伍珀塔尔大学）
提出一种利用Transformer机制的新型循环神经网络单元，通过键-查询对跟踪目标并估计速度，以解决卷积神经网络在时空关联上的架构限制，并投影记忆状态以修正时空错位。
2023-06-18 cs.CV cs.LG
Deep Tracking: Seeing Beyond Seeing Using Recurrent Neural Networks
University of Oxford（牛津大学）
本文介绍了尽我们所知的第一个端到端的对象跟踪方法，直接从原始传感器输入映射到传感器空间中的对象跟踪，而不需要任何功能工程或系统辨识的形式的植物或传感器模型。具体来说，我们的系统在一端接受原始传感器数据流，并实时在输出端产生整个环境状态的估计，甚至包括被遮挡的物体。我们通过将问题框定为深度学习任务来实现这一点，并以循环神经网络的形式利用序列模型来学习从传感器测量到对象轨迹的映射。特别是，我们提出了一种学习方法的基础上的一种形式的输入辍学，允许学习在一个无监督的方式，只基于原始的，闭塞的传感器数据，而不访问地面实况注释。我们使用一个合成数据集来演示我们的方法，该数据集旨在模拟在2D激光数据中跟踪对象的任务-这在机器人应用中很常见-并表明它可以学习跟踪许多动态对象，尽管存在遮挡和传感器噪声。
2016-03-08 cs.AI cs.CV cs.LG
Context-Aware Sensor Modeling for Asynchronous Multi-Sensor Tracking in Stone Soup
Norwegian Defence Research Establishment (FFI)（挪威国防研究机构（FFI））；University of Oslo, Department of Technology Systems（奥斯陆大学技术系统系）
本文提出DetectorContext框架，通过上下文感知建模提升异步多传感器跟踪的融合性能，恢复稳定融合并提升HOTA和GOSPA指标。
2026-03-16 cs.CV
Real-time Video Target Tracking Algorithm Utilizing Convolutional Neural Networks (CNN)
Northeastern University（东北大学）；University of California San Diego（加州大学圣地亚哥分校）；Georgia Institute of Technology（佐治亚理工学院）；Northern Arizona University（北亚利桑那大学）
针对传统视频目标跟踪算法在复杂场景下的局限性，本文提出并实现了一种基于卷积神经网络（CNN）的实时视频目标跟踪算法，通过整合检测与跟踪策略、在线学习更新目标模型，提升了复杂场景下跟踪的准确性、鲁棒性与实时性，为相关领域提供新方案。
2024-11-27 cs.CV
Tracking Motion and Proxemics using Thermal-sensor Array
Carnegie Mellon University（卡内基梅隆大学）
室内跟踪具有超越单纯监视的广泛应用，例如在教育、健康监测、市场营销、能源管理等方面。另一方面，热阵列传感器可以提供粗粒度的跟踪，同时保护受试者的隐私。该项目的目标是使用8 x 8红外传感器阵列促进运动检测和组化学建模。每一个8 x 8像素都是以华氏温度为单位的温度读数。我们将每个8x8矩阵称为场景。我们收集了大约902个场景，这些场景具有不同的人群配置和不同的行走方向。我们使用互相关分析来推断主体在一组场景中的运动方向为从左到右、从右到左、从上到下和从下到上。我们使用来自每个背景减除场景的连接分量分析的特征，并执行支持向量机分类来估计场景中的人类主体的实例的数量。
2015-11-25 cs.CV
Technical Report for Argoverse Challenges on Unified Sensor-based Detection, Tracking, and Forecasting
Lenovo Research（联想研究院）；Liaoning Petrochemical University（辽宁石油化工大学）；University of Science and Technology Beijing（北京科技大学）；University of Science and Technology of China（中国科学技术大学）；Tsinghua University（清华大学）
本文提出用于 Argoverse 挑战赛的 Le3DE2E 解决方案，通过结合时空融合的 BEV 编码器构建统一网络，同时完成检测、跟踪和预测任务，并在 CVPR 2023 WAD 的 E2E Forecasting 赛道取得第一名。
2023-11-27 cs.CV
SDVTracker: Real-Time Multi-Sensor Association and Tracking for Self-Driving Vehicles
Uber Advanced Technologies Group（优步先进技术集团）
弱势道路使用者（VRU）的精确运动状态估计是在城市环境中导航的自主车辆的关键要求。由于其计算效率，许多传统的自主系统使用卡尔曼滤波器来执行多目标跟踪，其经常依赖于手工设计的关联。然而，这样的方法无法推广到拥挤的场景和多传感器模式，往往导致状态估计不佳，从而导致预测不准确。我们提出了一个实用和轻量级的跟踪系统，SDVTracker，它使用了一个深入学习的模型的关联和状态估计与交互式多模型（IMM）过滤器。所提出的跟踪方法是快速的，鲁棒性和推广跨多个传感器模态和不同的VRU类。在本文中，我们详细介绍了一个模型，联合优化关联和状态估计与一个新的损失，算法确定地面实况监督，和训练过程。我们证明，该系统在现实世界的城市驾驶数据集上的性能明显优于手工设计的方法，同时在CPU上运行不到2.5 ms，用于100个演员的场景，使其适用于低延迟和高准确性至关重要的自动驾驶应用。
2020-03-09 cs.CV
Video Processing from Electro-optical Sensors for Object Detection and Tracking in Maritime Environment: A Survey
Rolls-Royce Pvt. Ltd.（劳斯莱斯私人有限公司）；Rolls Royce plc（劳斯莱斯股份有限公司）
我们提出了一个调查海上目标检测和跟踪方法，这是必不可少的自主船舶导航系统的发展。这里考虑的电光（EO）传感器是一种在可见光或红外光谱中工作的摄像机，它通常补充雷达和声纳，并在过去几年中证明了其在海上态势感知方面的有效性。本文提供了一个全面的概述了各种方法的视频处理的目标检测和跟踪在海洋环境中。我们遵循的方法为基础的分类法，其中每种方法的优点和局限性进行了比较。该目标检测系统主要由以下几个模块组成：地平线检测、静态背景减除和前景分割。这些都已在海上情况下进行了广泛的研究，并已被证明是具有挑战性的，由于背景运动的存在，特别是由于波浪和尾流。目标跟踪涉及的主要过程包括视频帧配准、动态背景减除和目标跟踪算法本身。由于摄像机运动、动态背景和跟踪对象的低对比度，可能由于环境恶化，鲁棒跟踪的挑战出现。该调查还讨论了多传感器方法和使用EO传感器的商业海事系统。该调查还强调了计算机视觉研究的方法，这些方法有望在海上EO数据处理中表现良好。几个海事和计算机视觉技术的性能进行了评估新提出的新加坡海事数据集。
2016-11-17 cs.CV
Star Tracking using an Event Camera
The University of Adelaide（阿德莱德大学）；University of Queensland（昆士兰大学）；Western Sydney University（西悉尼大学）
星跟踪器主要是光学设备，用于通过识别和跟踪恒星模式来估计航天器的姿态。目前，大多数恒星跟踪器使用传统的光学传感器。在这篇应用论文中，我们提出了使用事件传感器进行恒星跟踪。使用事件传感器进行恒星跟踪有两个潜在的好处：更低的功耗和更高的运行速度。我们的主要贡献是制定一个算法管道，从事件数据，包括新的配方旋转平均和光束调整的恒星跟踪。此外，我们还发布了一个数据集的恒星跟踪使用事件相机。通过这项工作，我们将使用事件相机的恒星跟踪问题引入计算机视觉社区，他们在SLAM和几何优化方面的专业知识可以用于这一商业上重要的应用。
2019-04-13 cs.CV
Real-time Tracking Based on Neuromrophic Vision
Tsinghua University（清华大学）
实时的【形】跟踪是计算机视觉中的一个重要问题，目前大多数方法都是基于传统的摄像机。神经形态视觉是将神经形态视觉传感器如硅视网膜结合到视觉处理系统中而定义的概念。近年来，随着硅技术的发展，基于事件的非同步硅视网膜被开发出来，模拟神经生物学结构。在这项工作中，我们结合计算机视觉的视觉跟踪算法与基于事件的传感器的信息编码机制，这是灵感来自神经速率编码机制。实现了对单个目标的实时的【形】跟踪，具有每秒100个时间点的速度快的优点。该方法表明，计算机视觉方法可以用于神经形态视觉处理，与传统的摄像机相比，神经形态视觉传感器可以实现快速的实时的【形】跟踪。
2015-10-18 cs.CV
ModTrack: Sensor-Agnostic Multi-View Tracking via Identity-Informed PHD Filtering with Covariance Propagation
Brown University（布朗大学）
ModTrack通过身份感知的PHD滤波与协方差传播实现多视角多目标跟踪，提供跨模态、传感器无关的泛化能力及可追溯的不确定性。系统将学习限制在检测和特征提取阶段，利用闭式分析方法进行融合、关联和跟踪，实现95.5 IDF1和91.4 MOTA的优异性能。
2026-08-25 cs.CV
Hybrid PS-V Technique: A Novel Sensor Fusion Approach for Fast Mobile Eye-Tracking with Sensor-Shift Aware Correction
Texas State University（德克萨斯州立大学）；Google（谷歌）
本文介绍和评估了一种混合技术，有效地融合了光电传感器眼电图（PSOG）和视频眼电图（VOG）的眼动追踪原则。这种新方法的主要概念是使用几个快速和功率经济的光电传感器作为执行高速眼动追踪的核心机制，而在并行，使用视频传感器在低采样率（快照模式）进行航位推算误差校正时，传感器移动发生。为了评估所提出的方法，我们模拟的技术的功能组件，并提出我们的结果，在实验方案涉及各种组合的水平和垂直的眼睛和传感器的运动。我们的评估表明，所开发的技术可用于提供鲁棒性的传感器移位，否则可能会引起大于5度的误差。我们的分析表明，该技术可以在低功率曲线下实现高速眼动追踪，使其适合用于新兴的头戴式设备，例如AR/VR耳机。
2017-07-19 cs.CV cs.HC
Real-time clustering and multi-target tracking using event-based sensors
University of Maryland, College Park（马里兰大学帕克分校）
聚类对于鲁棒跟踪、目标检测和分割等计算机视觉应用至关重要。这项工作提出了一种实时的【形】聚类技术，利用基于事件的视觉传感器的独特属性。由于基于事件的传感器仅在强度变化时触发事件，因此数据稀疏，冗余度低。因此，我们的方法重新定义了著名的均值漂移聚类方法使用异步事件，而不是传统的框架。在多目标跟踪应用中，使用卡尔曼滤波器来平滑轨迹，证明了我们的方法的潜力。我们在现有的具有不同形状和速度的模式的数据集以及我们收集的新数据集上评估了我们的方法。该传感器被连接到Baxter机器人上，在一个手眼通天的设置中，在一个动作操作任务中监视现实世界的物体。聚类精度达到了0.95的F-测量，减少了88%的计算成本相比，基于帧的方法。跟踪的平均误差为2.5个像素，聚类实现了一致数量的集群随着时间的推移。
2018-07-08 cs.CV cs.RO
Extended target tracking utilizing machine-learning software -- with applications to animal classification
Linköping University（林雪平大学）；Uppsala University（乌普萨拉大学）
本文提出一种结合前一帧类别信息的扩展滤波跟踪方法，利用目标检测算法输出作为测量并量化边界框不确定性，在瑞典四种大型食肉动物图像上验证了更鲁棒的分类。
2023-10-12 cs.CV eess.SP
Probabilistic 3D Multi-Object Cooperative Tracking for Autonomous Driving via Differentiable Multi-Sensor Kalman Filter
Robotics Institute of Carnegie Mellon University（卡内基梅隆大学机器人研究所）；NVIDIA Research（英伟达研究院）
本文提出基于可微分多传感器卡尔曼滤波的自动驾驶3D多目标协同跟踪算法，通过学习估计各检测的测量不确定性，在V2V4Real上以0.037倍通信开销将跟踪精度提升17%。
2024-02-26 cs.CV cs.RO
Rendering the Directional TSDF for Tracking and Multi-Sensor Registration with Point-To-Plane Scale ICP
从RGB-D图像进行密集的实时跟踪和映射是许多机器人应用的重要工具，例如导航和操作。最近提出的方向截断有符号距离函数（DTSDF）是常规TSDF的增强，其显示出更相干的地图和改进的跟踪性能的潜力。在这项工作中，我们提出了从DTSDF渲染深度和彩色图像的方法，使其成为一个真正的下拉式替代常规TSDF在既定的跟踪器。我们评估算法在完善的数据集，并观察到，我们的方法提高了跟踪性能，提高了映射场景的可重用性。此外，我们增加了颜色集成，显着提高相邻表面的颜色正确性。我们的新配方相结合的ICP帧到关键帧光度误差最小化进一步提高跟踪结果。最后，我们介绍了Sim 3点到平面ICP，用于在具有不同比例因子的多传感器场景中细化姿态先验。
2023-01-30 cs.CV cs.RO
Orientation-Discriminative Feature Representation for Decentralized Pedestrian Tracking
Cornell University（康奈尔大学）
本文重点研究了利用传感器网络进行分散式行人跟踪的问题。传统的行人跟踪工作通常使用集中式框架，由于通信带宽有限，这对于机器人应用来说变得不太实用。我们提出了一种通信效率高，方向判别特征表示来表征行人外观信息，可以在传感器之间共享。在此基础上，我们的工作开发了一个跨传感器的跟踪关联方法来实现分散跟踪。在公开的数据集上进行了广泛的评估，结果表明，我们提出的方法可以提高多传感器跟踪的性能。
2022-02-26 cs.CV cs.MA cs.RO
Real-Time Drone Detection and Tracking With Visible, Thermal and Acoustic Sensors
Swedish Armed Forces（瑞典武装部队）；RISE（瑞典研究与创新署）；Halmstad University（哈尔姆斯塔德大学）
本文探讨了一种多传感器无人机自动检测系统的设计过程。除了常见的视频和音频传感器外，该系统还包括一个热红外摄像机，这被证明是无人机探测任务的可行解决方案。即使分辨率略低，性能也与可见光范围内的相机一样好。作为传感器到目标的距离的函数的检测器的性能也进行了研究。此外，使用传感器融合，系统比单个传感器更强大，有助于减少错误检测。为了弥补公共数据集的不足，还提供了一个新的视频数据集，其中包含650个无人机，鸟类，飞机和直升机的注释红外和可见视频（https：//github.com/DroneDetectionThesis/Drone-detection-dataset）。该数据库还补充了无人机、直升机和背景噪音类的音频数据集。
2020-10-19 cs.CV eess.SP
Dynamic Object Detection and Tracking in Construction: A Fisheye Camera and LiDAR Sensor Fusion Model
Georgia Institute of Technology（佐治亚理工学院）
针对建筑等复杂环境中机器人动态目标检测与跟踪问题，提出融合鱼眼相机与激光雷达传感器的框架，通过在配准点云里识别移动物体、投影坐标分配语义标签并结合图像检测更新卡尔曼滤波器观测，具有高精度、简单且鲁棒的特点。
2026-07-09 cs.CV cs.RO
Understanding Sensor Vulnerabilities in Industrial XR Tracking
City University of New York（纽约城市大学）
本文研究了工业XR跟踪中传感器退化对VIO的影响，发现视觉退化导致厘米级误差，而惯性退化可能引发数百至数千米的轨迹偏移，强调了对惯性可靠性的重视。
2026-02-16 cs.CV cs.RO
Towards Energy Efficient Mobile Eye Tracking for AR Glasses through Optical Sensor Technology
Eberhard Karls Universität Tübingen（图宾根大学）；Robert Bosch GmbH（罗伯特·博世有限公司）；University of Tübingen（图宾根大学）
在推出智能手机和智能手表之后，AR眼镜被认为是可穿戴设备领域的下一个突破口。虽然从智能手机到智能手表的过渡主要基于现有的显示技术，但AR眼镜的显示技术提出了一个技术挑战。许多显示技术，例如视网膜投影仪，都是基于用户瞳孔位置对显示器的连续自适应控制。此外，头戴式系统需要调整和扩展已建立的交互概念，以向用户提供沉浸式体验。眼动追踪是帮助AR眼镜通过优化的显示技术和基于凝视的交互概念实现突破的关键技术。现有的眼动跟踪技术，如VOG，不符合AR眼镜的要求，特别是在功耗、鲁棒性和可集成性方面。为了进一步克服这些局限性，推动AR眼镜的移动眼动跟踪，本文研究了基于激光的新型眼动跟踪传感器技术。本论文为AR眼镜的节能移动眼动跟踪做出了重大的科学进步。
2022-12-06 cs.CV cs.HC eess.IV
End-to-end Learning of Multi-sensor 3D Tracking by Detection
Uber Advanced Technologies Group（优步先进技术集团）；University of Toronto（多伦多大学）
在本文中，我们提出了一种新的方法来跟踪检测，可以利用这两个相机以及激光雷达数据，以产生非常准确的三维轨迹。为了实现这一目标，我们将问题表述为可以精确求解的线性规划，并学习卷积网络以进行检测以及端到端的匹配。我们在具有挑战性的KITTI数据集中评估了我们的模型，并显示出非常有竞争力的结果。
2018-06-29 cs.CV cs.LG cs.RO
QuestSim: Human Motion Tracking from Sparse Sensors with Simulated Avatars
Reality Labs Research, Meta（Meta现实实验室研究部）；Meta AI Research（Meta人工智能研究院）
人体运动的实时跟踪对于AR/VR中的交互式和沉浸式体验至关重要。然而，关于身体的非常有限的传感器数据可从独立的可穿戴设备（诸如HMD（头戴式设备）或AR眼镜）获得。在这项工作中，我们提出了一个强化学习框架，它从HMD和两个控制器接收稀疏信号，并模拟看似合理和物理上有效的全身运动。在训练期间使用高质量的全身运动作为密集监督，简单的策略网络可以学习输出适当的扭矩，使角色保持平衡、行走和慢跑，同时密切关注输入信号。我们的结果表明，即使输入仅是HMD的6D变换，在没有对下半身进行任何观察的情况下，腿部运动也与地面实况惊人地相似。我们还表明，单一策略可以适用于不同的运动方式、不同的体型和新颖的环境。
2022-09-20 cs.CV cs.GR
Pedestrian Tracking with Gated Recurrent Units and Attention Mechanisms
Worcester Polytechnic Institute（伍斯特理工学院）
行人跟踪一直被认为是一个重要的问题，特别是在安全应用中。以前，已经提出了许多具有各种类型的传感器的方法。一种流行的方法是行人航位推算（PDR）[1]，它基于惯性测量单元（IMU）传感器。然而，PDR是一种基于积分和阈值的方法，其遭受累积误差和低精度。在本文中，我们提出了一种新的方法，其中传感器数据被馈送到一个深度学习模型来预测行人的位移和方向。我们还设计了一种新的装置来收集和构建包含同步IMU传感器数据和激光雷达测量的精确位置的数据库。初步结果是有希望的，我们计划通过收集更多的数据并将深度学习模型应用于所有一般的行人运动来推动这一进程。
2020-05-31 cs.CV cs.LG stat.ML
Tracking Human-like Natural Motion Using Deep Recurrent Neural Networks
Kinect骨骼跟踪器能够以方便和低成本的方式实现可观的人体跟踪性能。然而，跟踪器经常捕捉不自然的人体姿势，如不连续和振动的运动时，发生自遮挡。大多数方法通过在工作空间中使用多个Kinect传感器来解决这个问题。然后在卡尔曼滤波器框架中对来自不同传感器的测量进行组合，或者将优化问题公式化用于传感器融合。然而，这些方法通常需要测量从每个Kinect传感器观察到的测量的可靠性。本文提出了一种基于单Kinect传感器的Kinect骨架改进方法，该方法采用监督学习技术对非自然跟踪运动进行修正。具体而言，深度循环神经网络用于改善Kinect骨架的关节位置和速度，并提出了三种方法来整合细化的位置和速度以进一步增强。此外，我们提出了一种新的措施来评估自然的捕获运动。我们评估了所提出的方法，通过与使用商业光学标记为基础的运动捕捉系统获得的地面实况进行比较。
2016-04-15 cs.CV cs.LG cs.NE
Ultra Inertial Poser: Scalable Motion Capture and Tracking from Sparse Inertial Sensors and Ultra-Wideband Ranging
ETH Zürich（苏黎世联邦理工学院）
本文提出 Ultra Inertial Poser，利用超宽带测距获取传感器间距离，与惯性状态融合并通过图机器学习模型估计三维全身姿态，显著降低漂移和抖动，在 UIP-DB 数据集上取得最优性能。
2024-04-30 cs.AI cs.CV cs.GR
CurbScan: Curb Detection and Tracking Using Multi-Sensor Fusion
Carnegie Mellon University（卡内基梅隆大学）；The Bronx High School of Science（布朗克斯科学高中）
可靠的路边检测对于城市环境中的安全自动驾驶至关重要。路边检测和跟踪在车辆定位和路径规划中也是有用的。过去的工作利用3D LiDAR传感器来确定精确的距离信息和路缘石的几何属性。然而，这种方法需要密集的点云数据，并且还容易受到道路和越野区域上存在的障碍物的误报。在本文中，我们提出了一种方法来检测和跟踪路边通过融合来自多个传感器的数据：稀疏激光雷达数据，单摄像机和低成本的超声波传感器。该检测算法基于单个3D LiDAR和用于检测候选路缘特征的单摄像机传感器，并有效地消除了周围静态和移动障碍物引起的误报。该算法通过采用基于卡尔曼滤波器的预测和融合低成本超声波传感器的横向距离信息，提高了跟踪算法的检测精度。接下来，我们提出了一个线拟合算法，产生强大的结果遏制位置。最后，我们证明了我们的解决方案的实际可行性，在不同的道路环境中进行测试，并评估我们的实施在一个真正的车辆\footnote{Demo video clips demonstrating our algorithm have been uploaded to Youtube: https://www.youtube.com/watch?v=w5MwsdWhcy4, https://www.youtube.com/watch?v=Gd506RklfG8.}。该算法对KITTI数据集和我们的数据集分别在4.5-22米和0-14米范围内保…
2020-10-13 cs.AI cs.CV cs.RO
