4DLidarOpen: An Open 4D FMCW Lidar Dataset for Motion-Aware Autonomous Driving
Tsinghua University(清华大学);Hesai Technology Co., Ltd.(海思科技有限公司)
本文提出4DLidarOpen数据集,用于自动驾驶,该数据集基于4D频率调制连续波(FMCW)激光雷达传感,包含点径向速度测量、多种激光雷达、环绕摄像头和6自由度车辆姿态数据,通过混合标注策略实现大规模训练和人工精修,用于3D目标检测、鸟瞰图分割和流预测及运动预测基准测试。
2026-05-18 cs.RO
Argoverse: 3D Tracking and Forecasting with Rich Maps
Argo AI(Argo AI公司);Carnegie Mellon University(卡内基梅隆大学);Georgia Institute of Technology(佐治亚理工学院)
我们介绍了Argoverse -两个数据集,旨在支持自动驾驶汽车机器学习任务,如3D跟踪和运动预测。Argoverse由匹兹堡和迈阿密的自动驾驶车队收集。Argoverse 3D Tracking数据集包括来自7个相机的360度图像,具有重叠的视场,来自远程LiDAR的3D点云,6-DOF姿态和3D轨迹注释。值得注意的是,它是唯一一个提供前向立体图像的现代AV数据集。Argoverse运动预测数据集包括超过300,000个5秒跟踪场景,其中识别了特定车辆以进行轨迹预测。Argoverse是第一个包含“高清地图”的自动驾驶汽车数据集,其中包含290公里的地图车道以及几何和语义元数据。在我们的基线实验中,我们说明了详细的地图信息,如车道方向,可驾驶区域和地面高度,提高了3D对象跟踪和运动预测的准确性。我们的跟踪和预测实验只是对机器人感知中使用丰富地图的初步探索。我们希望Argoverse将使研究界能够更深入地探讨这些问题。
2019-11-06 cs.CV cs.RO
Valeo4Cast: A Modular Approach to End-to-End Forecasting
LIGM, Ecole des Ponts, Univ Gustave Eiffel, CNRS(法国国立路桥学校、古斯塔夫·埃菲尔大学、法国国家科学研究中心联合实验室LIGM);Sorbonne Université(索邦大学)
提出一种模块化端到端自动驾驶运动预测方法,通过独立训练检测、跟踪和预测模块并使用连续微调策略整合,在Argoverse 2端到端预测挑战赛中以63.82 mAPf取得第一。
2024-09-26 cs.CV cs.RO
MVFuseNet: Improving End-to-End Object Detection and Motion Forecasting through Multi-View Fusion of LiDAR Data
Aurora Innovation(奥罗拉创新)
在这项工作中,我们提出了\textit{MVFuseNet},一种新的端到端的方法,用于联合目标检测和运动预测的时间序列的激光雷达数据。大多数现有方法通过在范围视图(RV)或鸟瞰视图(BEV)中投影数据来在单个视图中操作。相比之下,我们提出了一种有效利用RV和BEV进行时空特征学习的方法,作为时间融合网络的一部分,以及骨干网络中的多尺度特征学习。此外,我们提出了一种新的顺序融合方法,有效地利用多个视图的时间融合网络。我们展示了我们的多视图方法在两个大规模自动驾驶数据集上的检测和运动预测任务中的优势,实现了最先进的结果。此外,我们表明,MVFusenet的规模以及大的操作范围,同时保持实时性能。
2021-04-21 cs.CV cs.RO
MC-DeTra: Motion-Consistent Joint Object Detection and Socially-Aware Trajectory Forecasting in Bird's-Eye-View Images
Moscow Institute of Physics and Technology(莫斯科物理技术学院);Artificial Intelligence Research Institute(人工智能研究院)
MC-DeTra通过运动一致性机制,在鸟瞰图上联合优化目标检测与轨迹预测,利用辅助监督信号提升动态智能体预测精度,并公开实现与代码。
2026-09-11 cs.CV cs.RO
Self-supervised Multi-future Occupancy Forecasting for Autonomous Driving
Stanford University(斯坦福大学);University of California, Riverside(加州大学河滨分校)
针对自动驾驶环境预测中确定性方法无法捕捉随机性的问题,提出LOPR框架,在生成架构潜在空间进行随机占用预测,并融合多模态条件,在nuScenes和Waymo Open数据集上优于先前方法。
2025-10-17 cs.CV cs.RO
VALO: A Versatile Anytime Framework for LiDAR-based Object Detection Deep Neural Networks
George Mason University(乔治梅森大学);University of Kansas(堪萨斯大学)
VALO是一种数据驱动的随时计算框架,通过截止时间感知调度和输入缩减,在不修改架构的情况下动态平衡激光雷达目标检测的精度与延迟,在CenterPoint和VoxelNext上实现更高精度。
2024-09-17 cs.CV cs.LG
WOMD-LiDAR: Raw Sensor Dataset Benchmark for Motion Forecasting
Waymo LLC(Waymo公司)
本文提出WOMD-LiDAR数据集,通过补充大规模高质量LiDAR点云数据,解决传统运动预测依赖高层抽象导致的信息丢失问题,并验证了LiDAR数据能提升模型性能。
2024-02-18 cs.CV
Li-ViP3D++: Query-Gated Deformable Camera-LiDAR Fusion for End-to-End Perception and Trajectory Prediction
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Slovak University of Technology(斯洛伐克技术大学);Halmstad University(哈马比大学)
Li-ViP3D++通过引入查询门控可变形融合技术,实现了端到端感知与轨迹预测,提升了自动驾驶系统的鲁棒性和效率。
2026-07-21 cs.AI cs.CV cs.RO
MoDAR: Using Motion Forecasting for 3D Object Detection in Point Cloud Sequences
Waymo LLC(Waymo有限责任公司)
本文提出MoDAR,将运动预测生成的虚拟点与LiDAR点云融合以增强3D检测,在Waymo数据集上利用18秒序列显著提升现有检测器并达到新SOTA。
2023-06-05 cs.CV
Dual LiDAR-Based Traffic Movement Count Estimation at a Signalized Intersection: Deployment, Data Collection, and Preliminary Analysis
University of California Riverside(加州大学河滨分校)
本文在加州里亚托市一交叉口部署双激光雷达系统,利用三维边界框检测按方向、运动和类别进行交通运动计数估计,并分析结果趋势及改进方向。
2025-07-17 cs.CV cs.SY eess.SY
PRECOG: PREdiction Conditioned On Goals in Visual Multi-Agent Settings
Carnegie Mellon University(卡内基梅隆大学);University of California, Berkeley(加利福尼亚大学伯克利分校)
为了让自动驾驶汽车(AV)在人类驾驶车辆的道路上表现良好,它们必须能够从丰富的感知信息中推理出其他驾驶员的不确定意图和决定。对于这些能力,我们提出了一个概率预测模型的变量数量的代理之间的未来互动。我们执行标准预测和条件预测的新任务,这是关于所有代理人可能如何响应受控代理人(这里是AV)的目标的原因。我们在真实和模拟数据上训练模型,以预测给定过去位置和激光雷达的车辆轨迹。我们的评估表明,我们的模型是更准确的多智能体驾驶场景相比,现有的国家的最先进的。除了其一般能力进行有条件的预测查询,我们表明,我们的模型的预测,所有代理改善时,条件知识的AV的目标,进一步说明其能力模型代理的相互作用。
2019-09-30 cs.AI cs.CV cs.LG
Towards foundational LiDAR world models with efficient latent flow matching
University of Toronto(多伦多大学)
该研究针对现有激光雷达世界模型领域迁移性弱、效率低的问题,提出基于潜条件流匹配的框架,实现跨场景高效迁移,以极少标注数据达到多项任务最优性能并大幅提升计算效率。
2025-10-21 cs.CV cs.RO
DeTra: A Unified Model for Object Detection and Trajectory Forecasting
Waabi(瓦比公司);University of Toronto(多伦多大学)
DeTra 将目标检测与轨迹预测统一为轨迹细化问题,利用细化 Transformer 从 LiDAR 和高精地图中直接推断目标存在、位姿与多模态未来行为,在 Argoverse 2 Sensor 和 Waymo Open Dataset 上大幅超越现有方法。
2024-06-13 cs.AI cs.CV cs.LG
Predict Before You Step: Auditable Occupancy Forecasting for Dynamic Obstacle Avoidance under Sparse Guidance
Nanyang Technological University(南洋理工大学)
针对稀疏引导下腿式机器人避障,提出LOOP策略,通过循环预测未来占用并引导速度选择,在仿真和真实实验中显著提升动态避障成功率。
2026-09-23 cs.RO
Determination of building flood risk maps from LiDAR mobile mapping data
Leibniz University Hannover(莱布尼茨汉诺威大学);bpi Hannover–Beratende Ingenieure(汉诺威咨询工程师有限公司);Federal Institute for Geosciences and Natural Resources(联邦地球科学与自然资源研究所);Shandong University of Science and Technology(山东科技大学);China University of Geosciences(中国地质大学)
随着城市化进程的加快,洪水是当今许多城市面临的主要挑战。根据预测的降水、地形和管网,洪水模拟可以为有洪水风险的地区和建筑物提供早期预警。地下室的窗户、门和地下车库入口是洪水可以流入建筑物的常见地方。一些建筑物在准备或设计时考虑到了洪水的威胁,但其他建筑物则没有。因此,了解这些立面开口的高度有助于确定更容易进水的地方。然而,在大多数城市还没有现成的这类数据。可以使用对期望目标的传统测量,但这是非常耗时且费力的过程。这项研究提出了一种从LiDAR移动地图数据中提取窗户和门的新过程。训练深度学习目标检测模型来识别这些对象。通常,这需要提供大量的手动注释。在本文中,我们利用基于规则的方法来缓解这个问题。在第一步骤中,使用基于规则的方法来生成伪标签。一个半监督学习策略,然后与三个不同的监督水平。结果表明,仅使用自动生成的伪标签,基于学习的模型在F1得分方面比基于规则的方法高出14.6%。经过五个小时的人工监督,模型有可能再提高6.2%。通过将检测到的立面开口的高度与洪水模拟模型的预测水位进行比较,可以生成分配每个建筑物洪水风险等级的地图。这些信息可以与洪水预报相结合,为城市的基础设施和居民建筑提供更有针对性的防灾指导。
2022-01-14 cs.CV
Future Does Matter: Boosting 3D Object Detection with Temporal Motion Estimation in Point Cloud Sequences
University of Sydney(悉尼大学);Tongji University(同济大学)
本文提出LiSTM框架,利用不可学习运动估计生成的过去与未来轨迹先验,通过MGFA、DCWM和级联交叉注意力解码器增强点云序列时空融合,在Waymo与nuScenes上提升3D检测性能。
2024-09-06 cs.CV
Argoverse 2: Next Generation Datasets for Self-Driving Perception and Forecasting
UBC(不列颠哥伦比亚大学);MIT(麻省理工学院);CMU(卡内基梅隆大学);Georgia Tech(佐治亚理工学院)
我们介绍了Argoverse 2(AV 2)-一个用于自动驾驶领域感知和预测研究的三个数据集的集合。带注释的传感器数据集包含1,000个多模态数据序列,包括来自七个环形相机和两个立体相机的高分辨率图像,以及激光雷达点云和6-DOF地图对齐姿势。序列包含26个对象类别的3D立方体注释,所有这些都是连续采样的,以支持3D感知模型的训练和评估。激光雷达数据集包含20,000个未标记的激光雷达点云和地图对齐姿态序列。该数据集是有史以来最大的激光雷达传感器数据集,支持自监督学习和点云预测的新兴任务。最后,运动预测数据集包含250,000个场景,用于自动驾驶汽车与每个局部场景中的其他参与者之间有趣且具有挑战性的交互。模型的任务是预测每个场景中“得分演员”的未来运动,并提供捕获对象位置、航向、速度和类别的跟踪历史。在所有三个数据集中,每个场景都包含自己的高清地图,其中包含3D车道和人行横道几何图形-来自六个不同城市的数据。我们相信,这些数据集将以现有数据集所不具备的方式支持新的和现有的机器学习研究问题。所有数据集均在CC BY-NC-SA 4.0许可证下发布。
2023-01-02 cs.AI cs.CV cs.LG
Point Cloud Forecasting as a Proxy for 4D Occupancy Forecasting
Carnegie Mellon University(卡内基梅隆大学)
针对传统自主运动规划依赖人工标注难扩展的问题,本研究将点云预测重构为4D占用预测以分离传感器内外参,通过渲染点云实现用未标注激光雷达数据训练评估,还支持跨平台算法对比。
2023-04-30 cs.CV eess.SP
Differentiable Raycasting for Self-supervised Occupancy Forecasting
Carnegie Mellon University(卡内基梅隆大学);Argo AI;Amazon(亚马逊)
安全自动驾驶的运动规划需要了解自动驾驶汽车周围的环境如何随时间变化。场景中可驾驶区域的自我中心感知不仅随着环境中的演员的运动而变化,而且还随着自我车辆本身的运动而变化。为大规模规划提出的自我监督表示,如以自我为中心的自由空间,混淆了这两种运动,使表示难以用于下游运动规划。在本文中,我们使用几何占用作为一个自然的替代视图相关的表示,如自由空间。占领地图自然地将环境的运动与自我交通工具的运动分开。然而,人们不能直接观察到场景的完整3D占用(由于遮挡),这使得它难以用作学习的信号。我们的关键见解是使用可微光线投射将未来的占用预测“渲染”为未来的LiDAR扫描预测,这可以与自监督学习的地面实况扫描进行比较。使用微分光线投射允许占用出现作为预测网络内的内部表示。在没有地面实况占用的情况下,我们定量评估了光线投射激光雷达扫描的预测,并显示了高达15个F1点的改进。对于下游运动规划器,紧急占用可以直接用于引导不可驾驶区域,与以自由空间为中心的运动规划器相比,这种表示相对减少了与物体碰撞的次数高达17%。
2022-10-18 cs.CV cs.RO
TransFuser: Imitation with Transformer-Based Sensor Fusion for Autonomous Driving
University of Tübingen(图宾根大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
我们应该如何整合来自互补传感器的表示以实现自动驾驶?基于几何的融合已经显示出感知(例如,目标检测、运动预测)的前景。然而,在端到端驾驶的情况下,我们发现,模仿学习基于现有的传感器融合方法在复杂的驾驶场景中表现不佳,具有高密度的动态代理。因此,我们提出了TransFuser,这是一种使用自我注意力整合图像和LiDAR表示的机制。我们的方法使用多分辨率的Transformer模块来融合透视图和鸟瞰图特征图。我们通过实验验证了其在具有长路线和密集交通的具有挑战性的新基准上的有效性,以及CARLA城市驾驶模拟器的官方排行榜。在提交时,TransFuser在驾驶分数方面远远超过了CARLA排行榜上的所有先前工作。与基于几何的融合相比,TransFuser将每公里的平均碰撞减少了48%。
2022-05-31 cs.AI cs.CV cs.LG
Multi-Modal Fusion Transformer for End-to-End Autonomous Driving
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Tübingen(图宾根大学)
如何将互补传感器的表示集成到自动驾驶中?基于几何特征的传感器融合在诸如目标检测和运动预测等感知任务中显示出巨大的前景。然而,对于实际驾驶任务,3D场景的全局上下文是关键,例如交通灯状态的变化可能会影响在几何上远离该交通灯的车辆的行为。因此,单独的几何形状可能不足以有效地融合端到端驾驶模型中的表示。在这项工作中,我们证明了模仿学习政策的基础上现有的传感器融合方法下执行的动态代理和复杂的情况下,需要全局上下文推理,如处理交通迎面而来的多个方向在不受控制的十字路口的存在下。因此,我们提出了transFuser,一种新的多模态融合Transformer,集成图像和激光雷达表示使用注意。我们的实验验证了我们的方法在城市环境中的有效性,涉及复杂的情况下,使用CARLA城市驾驶模拟器。我们的方法实现了最先进的驾驶性能,同时与基于几何的融合相比,减少了76%的碰撞。
2021-04-19 cs.AI cs.CV cs.LG
X-VORTEX: Spatio-Temporal Contrastive Learning for Wake Vortex Trajectory Forecasting
Department of Computer Science, TU Dresden, Dresden, Germany(计算机科学系,德累斯顿技术大学,德累斯顿,德国)
X-VORTEX通过时空对比学习方法,利用未标注数据高效预测尾涡轨迹,解决了传感器稀疏性和时间变化涡旋动力学问题。
2026-02-13 cs.AI cs.CV cs.LG
SLPC: a VRNN-based approach for stochastic lidar prediction and completion in autonomous driving
University of Stuttgart(斯图加特大学);Robert Bosch GmbH(罗伯特·博世有限公司)
预测未来的3D LiDAR点云是一项具有挑战性的任务,在自动驾驶的许多应用中非常有用,例如轨迹预测,姿态预测和决策制定。在这项工作中,我们提出了一个新的LiDAR预测框架,该框架基于生成模型,即变分递归神经网络(VRNNs),名为随机LiDAR预测和完成(SLPC)。我们的算法是能够解决以前的视频预测框架的局限性时,处理稀疏数据空间修复的深度图在即将到来的帧。因此,我们的贡献可以总结如下:我们介绍了从空间稀疏数据预测和完成深度图的新任务,我们提出了一个稀疏版本的VRNN和一个有效的自监督训练方法,不需要任何标签。实验结果表明,我们的框架相比,在视频预测的最先进的方法的有效性。
2021-02-19 cs.AI cs.CV
Label-Free Long-Horizon 3D UAV Trajectory Prediction via Motion-Aligned RGB and Event Cues
Jianghan University(江汉大学);Nanyang Technological University(南洋理工大学);Beihang University (BUAA)(北京航空航天大学)
本文提出一种无监督视觉方法,利用LiDAR点云提取轨迹并与图像对齐生成伪标签,结合运动学估计和视觉Mamba网络实现无人机长时域三维轨迹预测,在MMAUD数据集上将5秒三维误差降低约40%。
2025-07-04 cs.RO
UnO: Unsupervised Occupancy Fields for Perception and Forecasting
Waabi(瓦比公司);University of Toronto(多伦多大学)
本文提出 UnO,一种利用 LiDAR 自监督学习连续4D时空占据场的无监督世界模型,可迁移至点云、语义占据和几何占据预测并取得领先性能。
2024-06-12 cs.AI cs.CV cs.LG
FutureLift: Lifting Trajectory Proposals into Bidirectional Future Graphs for Motion Forecasting
FZI Research Center for Information Technology(FZI信息技术研究中心)
FutureLift是一种与主干无关的运动预测修正器,通过异构未来图实现双向修正,在Argoverse2、Waymo Open Motion Dataset上提升性能,在WOMD排行榜标准输入方法中minADE、minFDE居首。
2026-11-05 cs.CV cs.LG
StreamingFlow: Streaming Occupancy Forecasting with Asynchronous Multi-modal Data Streams via Neural Ordinary Differential Equation
School of Vehicle and Mobility, Tsinghua University(清华大学车辆与学院);KargoBot, Inc(卡戈机器人公司);DiDi Chuxing(滴滴出行)
StreamingFlow 提出将神经常微分方程融入循环神经网络,实现异步多模态数据流下的任意时刻流式 BEV 占用预测,并在 nuScenes 和 Lyft L5 上显著超越现有方法。
2024-06-11 cs.CV
Self-Supervised Sparse Sensor Fusion for Long Range Perception
Torc Robotics(Torc机器人公司);Princeton University(普林斯顿大学)
本文提出一种基于稀疏表示与自监督预训练的多模态传感器融合方法,将自动驾驶感知距离扩展至250米,显著提升检测与LiDAR预测性能。
2025-08-19 cs.CV