Open3DTrack: Towards Open-Vocabulary 3D Multi-Object Tracking
Mohamed Bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Linköping University(林雪平大学);Australian National University(澳大利亚国立大学)
本文提出Open3DTrack,首个开放词汇三维多目标跟踪方法,通过将开放词汇能力集成到三维跟踪框架,实现对未见物体类别的泛化,并在户外驾驶场景中验证了鲁棒性与适应性。
2025-02-27 cs.CV cs.RO
Probabilistic 3D Multi-Object Tracking for Autonomous Driving
3D多目标跟踪是自动驾驶应用中的一个关键模块,它为规划模块提供了可靠的动态世界表示。在本文中,我们介绍了我们的在线跟踪方法,该方法在2019年NeurIPS的AI驾驶奥运会研讨会上举行的NuScenes跟踪挑战赛中获得第一名。我们的方法通过采用卡尔曼滤波器来估计对象的状态。我们初始化状态协方差以及过程和观测噪声协方差与统计数据的训练集。我们还通过测量预测对象状态和当前目标检测之间的马氏距离,在数据关联步骤中使用来自卡尔曼滤波器的随机信息。我们在NuScenes验证和测试集上的实验结果表明,我们的方法在平均多目标跟踪精度(AMOTA)度量方面优于AB3DMOT基线方法。
2020-01-16 cs.CV cs.RO
Efficient and accurate object detection with simultaneous classification and tracking
University of New South Wales(新南威尔士大学)
移动机器人与环境的交互,如目标检测和跟踪,是移动机器人的一项重要能力。除了高精度之外,还期望在处理工作量和能量消耗方面的效率。为了满足这两个要求,我们提出了一个检测框架的基础上同时分类和跟踪点流。在这个框架中,跟踪器在点云的序列中执行数据关联,引导检测器避免冗余处理(即对已知对象进行分类)。对于其分类不是足够确定的对象,融合模型被设计为融合在跟踪跨度上提供不同视角的所选关键观测。因此,可以提高性能(检测的精度和效率)。该方法特别适合于检测和跟踪移动对象,如果使用传统程序来解决该过程,则需要昂贵的计算。在基准数据集上进行的实验表明,该方法在效率和准确性上均优于传统的检测跟踪方法。
2020-07-04 cs.CV cs.RO
Probabilistic 3D Multi-Modal, Multi-Object Tracking for Autonomous Driving
Stanford University(斯坦福大学);Toyota Research Institute(丰田研究院)
多目标跟踪是自主车辆安全行驶的重要能力。当前的现有技术遵循通过检测来跟踪的范例,其中现有的轨迹通过某种距离度量与检测到的对象相关联。提高跟踪准确性的关键挑战在于数据关联和跟踪生存周期管理。我们提出了一个概率,多模态,多目标跟踪系统,由不同的可训练模块,以提供强大的和数据驱动的跟踪结果。首先,我们学习如何融合来自2D图像和3D LiDAR点云的特征,以捕获对象的外观和几何信息。其次,我们建议学习一个度量,结合了Mahalanobis和特征距离比较时的轨道和数据关联的新检测。第三,我们建议学习何时从不匹配的目标检测初始化跟踪。通过大量的定量和定性结果,我们表明,当使用相同的对象检测器时,我们的方法在NuScenes和KITTI数据集上的性能优于最先进的方法。
2021-10-11 cs.CV cs.RO
Environment Perception Framework Fusing Multi-Object Tracking, Dynamic Occupancy Grid Maps and Digital Maps
Ulm University(乌尔姆大学)
自动驾驶车辆需要对当地环境有完整而强大的感知。一个主要的挑战是感知任何其他道路使用者,其中通常使用多对象跟踪或占用网格地图。所提出的方法结合了这两种方法,以补偿误报,并获得互补的环境感知。因此,引入了一个环境感知框架,该框架定义了一个共同的表示,从动态占用网格地图中提取对象,并将它们与标记的多伯努利滤波器的轨道融合。最后,一个置信度值的开发,验证对象的估计使用不同的限制,物理的可能性,方法的具体特点和上下文信息从数字地图。真实世界数据的实验结果突出了所提出的融合方法的鲁棒性和重要性,利用农村和城市场景中的置信值。
2018-12-20 cs.RO
Rendering and Tracking the Directional TSDF: Modeling Surface Orientation for Coherent Maps
University of Bonn(波恩大学)
RGB-D图像的密集实时跟踪和映射是许多机器人应用(如导航或抓取)的重要工具。最近提出的方向截断符号距离函数(DTSDF)是常规TSDF的增强,并显示出更连贯的地图和改进的跟踪性能的潜力。在这项工作中,我们提出了从DTSDF渲染深度和颜色图的方法,使其成为一个真正的下拉式替代常规TSDF在既定的跟踪器。我们评估和显示,我们的方法增加了映射场景的可重用性。此外,我们增加了颜色集成,显着提高相邻表面的颜色正确性。
2021-08-18 cs.CV cs.RO
A Radio-Inertial Localization and Tracking System with BLE Beacons Prior Maps
University of Michigan(密歇根大学);University of Technology Sydney(悉尼科技大学);FX Palo Alto Laboratory Inc.(FX帕洛阿尔托实验室公司)
在本文中,我们开发了一个低成本的室内定位和跟踪问题,使用无线电信号强度指示器,惯性测量单元(IMU)和磁力计传感器的系统。我们开发了一种新的和简化的概率IMU运动模型的建议分布的顺序蒙特卡洛技术跟踪机器人轨迹。我们的算法可以全局定位和跟踪机器人与先验未知的位置,给出了一个信息丰富的蓝牙低功耗(BLE)信标的先验地图。此外,我们将问题公式化为优化问题,作为上述算法的后端(前端)。因此,通过同时求解机器人轨迹和BLE信标的地图,我们恢复了机器人的连续且平滑的轨迹、BLE信标的校正位置以及随时间变化的IMU偏差。使用硬件实现的评估表明,通过所提出的闭环系统的定位性能可以得到改善;此外,通过将优化的地图反馈到前端,系统对信标地图中的错误具有鲁棒性。
2018-07-26 cs.RO
Multi-object Detection, Tracking and Prediction in Rugged Dynamic Environments
Harbin Institute of Technology Shenzhen(哈尔滨工业大学(深圳))
针对崎岖动态环境需求,提出融合激光雷达-相机检测、自适应阈值3D跟踪、MANN与卡尔曼滤波轨迹预测及动态SLAM的实时系统,经仿真与实物实验验证可实现目标跟踪、轨迹预测与洁净静态地图构建。
2023-08-23 cs.RO
MOTLEE: Distributed Mobile Multi-Object Tracking with Localization Error Elimination
Massachusetts Institute of Technology(麻省理工学院)
本文提出分布式移动多目标跟踪算法 MOTLEE,基于 Kalman-Consensus 滤波器并融合坐标系对齐不确定性,以消除定位误差影响;三机器人跟踪四人的硬件实验验证了其准确性与韧性。
2023-09-28 cs.RO
Sparse-Dense Motion Modelling and Tracking for Manipulation without Prior Object Models
University of Edinburgh(爱丁堡大学)
这项工作提出了一种建模和跟踪以前看不见的物体的机器人抓取任务的方法。利用场景中物体的运动,我们的方法从场景中分割出刚性实体,并不断跟踪它们,以创建物体和环境的密集和稀疏模型。虽然密集跟踪能够与这些模型进行交互,但稀疏跟踪使其对快速移动具有鲁棒性,并允许重新检测已经建模的对象。对双臂抓取任务的评估表明,我们的方法1)使机器人能够在线检测新的物体,而无需先验模型,并仅使用简单的可参数化几何表示来抓取这些物体,2)与现有技术方法相比更加鲁棒。
2022-04-25 cs.RO
Multi-Object Tracking with Interacting Vehicles and Road Map Information
Ulm University(乌尔姆大学)
在许多应用中,跟踪多个对象对于感知当前环境至关重要。现有的多目标跟踪算法大多假设目标相对于其他动态目标以及静态环境独立运动。由于在许多交通情况下,物体相互作用,此外还有由于可行驶区域的限制,独立物体运动的假设不成立。本文提出了一种适应多目标跟踪系统的方法来模拟车辆之间的相互作用,和当前的道路几何形状。因此,扩展了标记多伯努利滤波器的预测步骤,以便于使用智能驱动程序模型对对象之间的交互进行建模。此外,为了考虑道路地图信息,使用高精度道路地图的近似。实验结果表明,在违反标准运动模型假设的情况下,采用该方法的跟踪系统具有更高的跟踪精度和鲁棒性。
2018-12-20 cs.RO
DL-SLOT: Dynamic LiDAR SLAM and object tracking based on collaborative graph optimization
Tongji University(同济大学)
本文提出DL-SLOT,通过滑动窗口协同图优化联合估计自车、静止与动态目标状态,并结合全局位姿图,在KITTI上提升动态场景下LiDAR SLAM和目标跟踪的精度与鲁棒性。
2022-12-05 cs.RO
EVIT: Event-based Visual-Inertial Tracking in Semi-Dense Maps Using Windowed Nonlinear Optimization
ShanghaiTech University(上海科技大学)
本文提出EVIT方法,在事件相机半稠密地图跟踪中引入惯性信号进行位姿初始化和窗口化多帧正则化,提升挑战性光照下的跟踪性能并降低中间事件表示配准频率。
2024-08-02 cs.CV cs.RO
MGS-SLAM: Monocular Sparse Tracking and Gaussian Mapping with Depth Smooth Regularization
Northeastern University(东北大学);JangHo School of Architecture, Northeastern University(东北大学姜浩建筑学院);AstrumU(AstrumU公司)
该研究提出MGS-SLAM,通过联合优化稀疏视觉里程计与3D Gaussian Splatting,并结合MVS深度监督、深度平滑损失和SDAR,提升单目VSLAM的位姿估计、新视角合成与几何重建精度。
2024-09-10 cs.CV cs.RO
HiFT: Hierarchical Feature Transformer for Aerial Tracking
Tongji University(同济大学);New York University(纽约大学)
大多数现有的基于Siamese的跟踪方法基于相似性图执行目标对象的分类和回归。然而,它们要么使用最后一个卷积层的单个地图,这会降低复杂场景中的定位精度,要么单独使用多个地图进行决策,为空中移动平台引入棘手的计算。因此,在这项工作中,我们提出了一个高效和有效的分层特征Transformer(HiFT)的空中跟踪。由多层卷积层生成的分层相似性图被馈送到特征Transformer中,以实现空间(浅层)和语义线索(深层)的交互式融合。因此,不仅可以提高全局上下文信息,促进目标搜索,而且我们的端到端架构与Transformer可以有效地学习多层次特征之间的相互依赖性,从而发现一个跟踪定制的特征空间具有强的区分度。通过对四个空中基准点的综合评估,证明了HiFT的有效性。在空中平台上进行的实际测试有力地验证了其实时速度的实用性。我们的代码可在https://github.com/vision4robotics/HiFT上获得。
2021-10-02 cs.CV cs.RO
TANDEM: Tracking and Dense Mapping in Real-time using Deep Multi-view Stereo
Technical University of Munich(慕尼黑工业大学);Artisense;Karlsruhe University of Applied Sciences(卡尔斯鲁厄应用科学大学)
在本文中,我们提出了TANDEM的实时的【形】单目跟踪和密集映射框架。对于姿态估计,TANDEM基于关键帧的滑动窗口执行光度光束法平差。为了提高鲁棒性,我们提出了一种新的跟踪前端,使用从密集深度预测增量构建的全局模型渲染的深度图执行密集的直接图像对齐。为了预测密集的深度图,我们提出了级联视图聚合MVSNet(CVA-MVSNet),它利用整个活动关键帧窗口,通过分层构建具有自适应视图聚合的3D成本卷来平衡关键帧之间的不同立体基线。最后,将预测的深度图融合成一致的全局图,该全局图表示为截断的带符号距离函数(TSDF)体素网格。我们的实验结果表明,TANDEM优于其他国家的最先进的传统和学习为基础的单目视觉里程计(VO)方法在相机跟踪。此外,TANDEM显示了最先进的实时的【形】3D重建性能。
2021-11-14 cs.CV cs.RO
Measurement-wise Occlusion in Multi-object Tracking
Department of Electrical and Computer Engineering University of Texas at Austin, USA(德克萨斯大学奥斯汀分校电气与计算机工程系,美国)
处理对象交互是实际多对象跟踪中的基本挑战,即使是简单的交互效果,例如一个对象暂时遮挡另一个对象。我们形式化的问题的遮挡跟踪与两个不同的抽象。在逐对象遮挡中,被其他对象遮挡的对象不生成测量。在测量方式的遮挡,以前未研究的方法,所有对象可以生成测量,但一些测量可能被其他人遮挡。虽然每个抽象的相对有效性取决于情况和传感器,测量明智的遮挡适合概率多目标跟踪算法,对对象交互的假设要宽松得多。它的价值表明,它自然地得到一个流行的激光雷达跟踪近似,并通过图像空间中的视觉跟踪的例子。
2018-05-21 cs.CV cs.RO
Improved Radar Localization on Lidar Maps Using Shared Embedding
Zhejiang University(浙江大学)
我们提出了一个异构定位框架,用于解决雷达全球定位和姿态跟踪预建激光雷达地图。为了弥合传感模式的差距,构建了深度神经网络,为雷达扫描和激光雷达地图创建共享的嵌入空间。在这里,学习的特征嵌入支持相似性度量,从而分别提高地图检索和数据匹配。在RobotCar和MulRan数据集中,我们通过与Scan Context和RaLL的比较证明了所提出的框架的有效性。此外,与原始RaLL相比,所提出的姿态跟踪流水线具有更少的神经网络。
2021-06-18 cs.CV cs.RO
TrackingNet: A Large-Scale Dataset and Benchmark for Object Tracking in the Wild
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
尽管在对象跟踪中有许多发展,但当前跟踪算法的进一步发展受到小且大多饱和的数据集的限制。事实上,由于缺乏专用的大规模跟踪数据集,基于深度学习的数据饥渴型跟踪器目前依赖于目标检测数据集。在这项工作中,我们提出了TrackingNet,这是第一个大规模的数据集和野外对象跟踪的基准。我们提供超过30K的视频,其中包含超过1400万个密集的限界框注释。我们的数据集涵盖了广泛而多样的背景下的各种对象类。通过发布如此大规模的数据集,我们希望深度跟踪器能够进一步改进和推广。此外,我们引入了一个由500个新视频组成的新基准,其分布与我们的训练数据集相似。通过隔离测试集的注释并提供在线评估服务器,我们为对象跟踪器的未来发展提供了一个公平的基准。深度跟踪器在我们的一小部分数据集上进行了微调,在OTB100上将其性能提高了1.6%,在TrackingNet测试中提高了1.7%。我们通过评估20多个跟踪器,为TrackingNet提供了广泛的基准。我们的研究结果表明,在野外的对象跟踪是远远没有得到解决。
2018-03-28 cs.CV cs.RO
Extending Multi-Object Tracking systems to better exploit appearance and 3D information
University of Moratuwa(莫拉图瓦大学)
实时的跟踪多个物体对于各种现实世界的应用至关重要,其中自动驾驶行业是最重要的。这项工作涉及利用随时间变化的外观和运动信息进行跟踪。Siamese网络最近在基于外观的单对象跟踪方面取得了非常成功,而递归神经网络已经开始主导基于运动和外观的跟踪。我们的工作重点是将Siamese网络和RNN结合起来,分别利用外观和运动信息来构建一个能够实时的多目标跟踪的联合系统。我们进一步探讨了基于几何学的约束跟踪在鸟瞰视图空间有效地利用3D信息作为一个约束优化问题的跟踪预测。
2019-12-25 cs.CV cs.RO
Event-based, 6-DOF Camera Tracking from Photometric Depth Maps
University of Zurich(苏黎世大学);ETH Zurich(苏黎世联邦理工学院)
事件摄像机是生物启发的视觉传感器,输出像素级亮度变化,而不是标准的强度帧。这些摄像机不会出现运动模糊,并且具有非常高的动态范围,这使得它们能够在高速运动期间或在以高动态范围为特征的场景中提供可靠的视觉信息。这些特性以及极低的功耗使事件摄像机成为VR/AR和视频游戏应用中标准摄像机的理想补充。考虑到这些应用,本文解决了从现有的光度深度图(即,强度加深度信息)。我们的方法在每个事件到达时跟踪事件相机的6-DOF姿态,从而几乎消除了延迟。我们成功地在室内和室外场景中评估了该方法,并表明-由于事件相机的技术优势-我们的管道在以高速运动为特征的场景中工作,这仍然是标准相机无法访问的。
2017-10-31 cs.CV cs.RO
DL-SLOT: Dynamic Lidar SLAM and Object Tracking Based On Graph Optimization
Tongji University(同济大学)
在自动驾驶系统中,自我姿态估计和动态目标跟踪是两个关键问题。通常对它们做两个假设,即同时定位与地图构建(SLAM)的静态世界假设和目标跟踪的精确自我姿态假设。然而,这些假设在高度动态的道路场景中难以保持,其中SLAM和对象跟踪变得相关且互利。本文提出了一种动态激光雷达SLAM和目标跟踪方法DL-SLOT。该方法将车辆自身以及环境中静态和动态目标的状态估计集成到一个统一的优化框架中,实现SLAM和目标跟踪(SLOT)的同时进行。首先,我们执行目标检测以移除属于潜在动态对象的所有点。然后,使用滤波后的点云进行LiDAR测距。同时,基于滑动窗口中的时间序列信息,将检测到的对象与历史对象轨迹相关联。将滑动窗口中的静态、动态对象和自车的状态统一到一个局部优化框架中。在该框架中,我们同时执行SLAM和对象跟踪,这显著提高了SLAM在高度动态道路场景中的鲁棒性和准确性以及对象状态估计的准确性。在公开数据集上的实验表明,该方法比A-LOAM方法具有更好的准确性。
2022-02-23 cs.AI cs.RO
Deep 6-DoF Tracking of Unknown Objects for Reactive Grasping
University of Stuttgart(斯图加特大学);Max-Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);TU Berlin(柏林工业大学)
机器人对未知物体的操作是一个重要的研究领域。实际应用发生在许多现实世界中,机器人需要与未知环境进行交互。我们提出了一种未知物体跟踪、抓取点采样和动态轨迹规划的方法来解决反应式抓取问题。我们的目标跟踪方法结合了Siamese网络和迭代最近点方法,用于点云配准到6-DoF未知目标跟踪的方法中。该方法不需要进一步的训练,并且对噪声和遮挡具有鲁棒性。我们提出了一个机器人操作系统,它能够抓住各种各样的以前看不见的对象,是强大的对象扰动和劣质抓点。
2021-03-25 cs.AI cs.RO
A comparison of extended object tracking with multi-modal sensors in indoor environment
Technical University of Berlin(柏林工业大学);Norwegian University of Science and Technology(挪威科技大学)
针对室内扩展目标跟踪,比较LiDAR与立体相机两种价格差异显著的3D点云传感源性能,提出基于环境和目标先验的快速启发式检测器与星凸超曲面模型的扩展目标跟踪框架,实验显示立体相机性能接近LiDAR且成本低十倍以上。
2024-11-27 cs.CV cs.RO
Point2Pose: Occlusion-Recovering 6D Pose Tracking and 3D Reconstruction for Multiple Unknown Objects Via 2D Point Trackers
Point2Pose利用2D点跟踪器实现多未知物体的6D姿态跟踪与3D重建,在完全遮挡后能快速恢复,无需CAD模型或类别先验。
2026-08-27 cs.CV cs.RO
DynamicPose: Real-time and Robust 6D Object Pose Tracking for Fast-Moving Cameras and Objects
School of Artificial Intelligence, Sun Yat-Sen University(中山大学人工智能学院);School of Mechanical Engineering, Xi’an Jiaotong University(西安交通大学机械工程学院);Department of Mechanical and Energy Engineering, Southern University of Science and Technology(南方科技大学机械与能源工程系)
DynamicPose通过VIO补偿、深度引导2D跟踪和VIO引导卡尔曼滤波的分层细化,在无需重新训练的情况下实现快速运动相机与物体场景下的实时鲁棒6D位姿跟踪。
2025-08-16 cs.CV cs.RO
PointTrackNet: An End-to-End Network For 3-D Object Detection and Tracking From Point Clouds
The Hong Kong University of Science and Technology(香港科技大学);Tongji University(同济大学)
最近基于机器学习的多目标跟踪(MOT)框架对于3D点云变得流行。大多数传统的跟踪方法使用滤波器(例如,卡尔曼滤波器或粒子滤波器)来预测时间序列中的对象位置,然而,它们易受极端运动条件的影响,例如突然制动和转弯。在这封信中,我们提出了PointTrackNet,一个端到端的3-D目标检测和跟踪网络,为每个检测到的对象生成前景蒙版,3-D边界框和逐点跟踪关联位移。该网络仅将两个相邻的点云帧作为输入。在KITTI跟踪数据集上的实验结果显示了与最先进技术相比具有竞争力的结果,特别是在不规则和快速变化的场景中。
2020-02-26 cs.CV cs.LG cs.RO
Efficient Path Planning and Tracking for Multi-Modal Legged-Aerial Locomotion Using Integrated Probabilistic Road Maps (PRM) and Reference Governors (RG)
California Institute of Technology(加州理工学院);Ecole Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);Northeastern University(东北大学)
已经有几个成功的生物启发的足式机器人的实现,可以小跑,步行,跳跃健壮,即使在存在重大的意外干扰。尽管取得了这些成就,但多模态腿式系统的实际控制和高级决策算法却被忽视了。在自然界中,鸟类等动物令人印象深刻地展示了多种移动模式,包括腿和空中运动。它们能够在巨大的墙壁、狭小的空间上进行稳健的运动,并且可以从不可预测的情况中恢复,例如突然的阵风或光滑的表面。受这些动物的多功能性和结合腿和空中机动性来适应环境的能力的启发,我们的主要目标是设计和控制足式机器人,在一个平台上集成两种完全不同的运动形式,地面和空中机动性。我们的机器人,赫斯基碳,正在开发集成空中和腿部运动,并转换之间的腿部和空中移动。本研究利用参考调速器(RG)来维持腿式移动的效率,并使用概率路径图(PRM)和3D A* 算法来产生基于腿式移动和空中移动的能量成本的最优路径
2022-05-12 cs.RO cs.SY eess.SY
Multi-Object Tracking based on Imaging Radar 3D Object Detection
TU Dortmund University(多特蒙德工业大学);ZF Group(采埃孚集团)
本文针对成像雷达点云稀疏性导致的多目标跟踪挑战,比较了多种跟踪方法在成像雷达数据上的表现与局限性,并提出采用概率关联算法增强现有方法,以提升下游任务的跟踪性能。
2024-06-03 cs.AI cs.CV cs.RO
Robust Vehicle Localization and Tracking in Rain using Street Maps
Singapore University of Technology and Design(新加坡科技设计大学)
本文提出Map-Fusion算法,融合间歇性GPS、漂移的IMU/VO估计与二维街道地图信息,在雨天和隧道等场景中显著降低车辆定位误差,并在真实机器人上实时验证。
2024-09-02 cs.AI cs.CV cs.RO
A Sequential Detection and Tracking of Very Low SNR Objects
提出一种序贯检测与跟踪(SDT)方法,用于极低信噪比目标的检测与跟踪,与两种粒子滤波TBD方法及常规CDT方法对比,仿真表明所提方法性能更优。
2023-12-25 cs.AI cs.HC cs.RO