SimNet: Learning Reactive Self-driving Simulations from Real-world Observations
Lyft(来福车(Lyft))
在这项工作中,我们提出了一个简单的端到端的可训练机器学习系统,能够逼真地模拟驾驶体验。这可以用于自动驾驶系统性能的验证,而无需依赖昂贵且耗时的道路测试。特别是,我们将模拟问题框架为马尔可夫过程,利用深度神经网络对状态分布和转移函数进行建模。这些可以直接从现有的原始观测中训练,而不需要以植物或运动学模型的形式进行任何手工制作。所需要的只是历史交通事件的数据集。我们的公式允许系统构建从未见过的场景,这些场景可以真实地对自动驾驶汽车的行为做出反应。我们直接从1,000小时的驾驶日志中训练我们的系统,并测量模拟的真实性和反应性作为模拟的两个关键属性。同时,我们应用该方法来评估最近提出的最先进的ML规划系统的性能,该系统是从人类驾驶日志中训练出来的。我们发现,这个规划系统是以前未报告的因果混淆的问题,很难测试的非反应性模拟。据我们所知,这是第一项将高度逼真的数据驱动模拟与自动驾驶车辆的闭环评估直接融合的工作。我们公开数据、代码和预训练模型,以进一步刺激仿真开发。
2021-05-26 cs.CV cs.LG cs.RO
Data Scaling Laws for End-to-End Autonomous Driving
NVIDIA(英伟达);University of Toronto(多伦多大学);New York University(纽约大学);Stanford University(斯坦福大学)
本文研究端到端自动驾驶模型性能随训练数据规模变化的规律,在16至8192小时内部数据集上评估开环与闭环表现,为数据驱动决策提供依据。
2025-04-06 cs.CV cs.LG cs.RO
Urban Driving with Conditional Imitation Learning
Wayve(Wayve公司)
为现实世界的城市自动驾驶手工制定通用的决策规则是很困难的。另外,从易于收集的人类驾驶示范中学习行为也很有吸引力。先前的工作已经研究了用于自动驾驶的模仿学习(IL),具有许多限制。示例包括仅执行车道跟随而不是遵循用户定义的路线,仅使用单个相机视图或缺乏状态可观察性的严重裁剪的帧,仅横向(转向)控制而不是纵向(速度)控制以及缺乏与交通的交互。重要的是,大多数此类系统主要在模拟中进行评估-这是一个简单的领域,缺乏现实世界的复杂性。出于这些挑战,我们专注于学习的语义,几何和运动表示与计算机视觉IL从人类驾驶示范。作为我们的主要贡献,我们提出了一个端到端的条件模仿学习的方法,结合横向和纵向控制的一个真正的车辆以下的城市路线与简单的交通。我们通过数据平衡来解决固有的数据集偏差,在六个月内收集的大约30小时的演示中训练我们的最终策略。我们通过在欧洲城市街道上行驶35公里的新路线来评估我们在自动驾驶汽车上的方法。
2019-12-05 cs.AI cs.CV cs.LG
Urban Driver: Learning to Drive from Real-world Demonstrations Using Policy Gradients
Woven Planet(Woven Planet(织网星球));Level 5(Level 5(第五级))
在这项工作中,我们首次提出了一种离线策略梯度方法,用于从大量真实世界的演示中学习复杂城市驾驶的模仿政策。这是通过在感知输出和该地区的高保真高清地图之上构建可区分的数据驱动模拟器来实现的。它允许我们使用中级表示从现有演示中合成新的驾驶体验。然后,使用该模拟器,我们在闭环中采用策略梯度训练策略网络。我们训练我们提出的方法在100小时的专家演示城市道路上,并表明它学习复杂的驾驶政策,概括良好,可以执行各种驾驶机动。我们在模拟中证明了这一点,并将我们的模型部署到现实世界中的自动驾驶车辆上。我们的方法在城市驾驶场景中的表现优于之前展示的最先进技术-所有这些都不需要复杂的状态扰动或在训练期间收集额外的政策数据。我们公开代码和数据。
2021-09-27 cs.AI cs.CV cs.LG
Diverse Complexity Measures for Dataset Curation in Self-driving
Uber ATG(优步先进技术集团);University of Toronto(多伦多大学)
现代自动驾驶系统严重依赖于深度学习。因此,他们的表现受到训练数据的质量和丰富程度的显着影响。数据收集平台每天可以生成许多小时的原始数据,但是,对所有数据进行标记是不可行的。因此,至关重要的是要有一个机制来确定"贴什么标签"。主动学习方法识别要标记的示例,但它们的兴趣度与执行特定任务的固定模型相关联。这些假设在自动驾驶中是无效的,在自动驾驶中,我们必须解决一系列不同的任务(即,感知和运动预测),我们的模型随着时间的推移而频繁地演变。在本文中,我们介绍了一种新的方法,并提出了一种新的数据选择方法,利用了一套不同的标准,评价交通场景的兴趣。我们对各种任务和模型的实验表明,所提出的策展管道能够选择导致更好的泛化和更高性能的数据集。
2021-01-16 cs.LG cs.RO
SafetyNet: Safe planning for real-world self-driving vehicles using machine-learned policies
Toyota(丰田);Woven Planet(织女星);Level 5 self-driving division(Level 5自动驾驶部门)
在本文中,我们介绍了第一个用于完全控制自动驾驶车辆的安全系统,该系统通过人类演示进行训练,并部署在具有挑战性的真实城市环境中。当前的行业标准解决方案使用基于规则的系统进行规划。虽然它们在常见场景中表现相当不错,但工程复杂性使得这种方法与人类水平的性能不兼容。另一方面,机器学习(ML)规划解决方案的性能可以通过简单地添加更多的样本数据来提高。然而,ML方法不能提供安全保证,有时行为不可预测。为了解决这个问题,我们的方法使用了一个简单而有效的基于规则的回退层,对ML规划者的决策进行合理性检查(例如避免冲突,确保物理可行性)。这使我们能够利用机器学习来处理复杂的情况,同时仍然确保安全性,将机器学习计划器冲突减少了95%。我们使用模仿学习对机器学习规划人员进行了300小时的专家驾驶演示训练,并将其与旧金山市中心的后备层一起部署,在那里它可以完全控制真实车辆并导航各种具有挑战性的城市驾驶场景。
2021-09-28 cs.AI cs.CV cs.LG
AdvSim: Generating Safety-Critical Scenarios for Self-Driving Vehicles
University of Toronto(多伦多大学);Uber ATG(优步先进技术集团);University of Waterloo(滑铁卢大学)
本文提出对抗性框架AdvSim,通过物理合理地修改actor轨迹并更新LiDAR数据,为完整自动驾驶系统栈生成安全关键场景,实验证明其通用性并能提升系统鲁棒性与安全性。
2023-04-16 cs.AI cs.CV cs.LG
Interpretable Learning for Self-Driving Cars by Visualizing Causal Attention
University of California, Berkeley(加州大学伯克利分校)
深度神经感知和控制网络可能是自动驾驶汽车的关键组成部分。这些模型需要是可解释的--它们应该为自己的行为提供易于解释的理由--以便乘客、保险公司、执法部门、开发人员等,能理解是什么触发了特定的行为在这里,我们探索视觉解释的使用。这些解释采取图像的实时突出显示区域的形式,这些区域会影响网络的输出(转向控制)。我们的方法分两个阶段。在第一阶段,我们使用视觉注意力模型来训练从图像到转向角度的端到端卷积网络。注意力模型突出了可能影响网络输出的图像区域。其中有些是真正的影响,但有些是虚假的。然后,我们应用因果过滤步骤来确定哪些输入区域实际上影响输出。这会产生更简洁的视觉解释,并更准确地揭示网络的行为。我们证明了我们的模型在三个数据集上的有效性,总共16个小时的驾驶。我们首先证明,注意力训练不会降低端到端网络的性能。然后,我们展示了网络对人类在驾驶时使用的各种功能的因果线索。
2017-03-30 cs.CV cs.LG
GAD-Generative Learning for HD Map-Free Autonomous Driving
JIDU AUTO(极氪汽车)
提出一种基于深度学习的生成式方法GAD,将预测、决策与规划模块结合,仅用10小时驾驶数据训练,支持量产ADAS功能,并在无高精地图的极越测试车上验证了可行性与商业潜力。
2024-05-31 cs.CV cs.RO
Pedestrian Behavior Prediction for Automated Driving: Requirements, Metrics, and Relevant Features
Bosch Center for Artificial Intelligence(博世人工智能中心);Robert Bosch GmbH(罗伯特·博世有限公司)
该研究针对自动驾驶中行人行为预测的难点,通过系统级方法分析需求、提出新型系统视角预测指标,经大规模真实数据集验证及消融实验,证明了系统级方法的重要性。
2021-10-16 cs.LG cs.RO
Lost and Found: Detecting Small Road Hazards for Self-Driving Vehicles
Daimler R&D(戴姆勒研发中心);TU Dresden(德累斯顿工业大学)
检测前方道路上的小障碍物是驾驶任务的关键部分,必须由全自动驾驶汽车掌握。在本文中,我们提出了一种基于立体视觉的方法来可靠地检测这样的障碍物从移动车辆。该算法直接在视差空间中对立体图像数据进行统计假设检验,评估独立局部补丁上的自由空间和障碍假设。这种检测方法不依赖于全局道路模型,并处理静态和移动障碍物。为了进行评估,我们采用了一种新的丢失货物图像序列数据集,包括超过2000帧的障碍物和自由空间的像素注释,并提供了一个彻底的比较,以几个立体为基础的基线方法。该数据集将提供给社区,以促进对这一重要主题的进一步研究。该方法优于所有考虑的基线,在我们的评估像素和对象的水平和运行在帧速率高达20 Hz的2兆像素的立体图像。可以在20 m的距离内以低误报率成功地检测到低至5 cm高度的小障碍物。
2016-09-15 cs.CV cs.RO
DeepDriving: Learning Affordance for Direct Perception in Autonomous Driving
Princeton University(普林斯顿大学)
如今,基于视觉的自动驾驶系统有两种主要范式:中介感知方法,解析整个场景以做出驾驶决策,以及行为反射方法,通过回归器将输入图像直接映射到驾驶动作。在本文中,我们提出了第三种范式:直接感知的方法来估计的启示驾驶。我们建议将输入图像映射到少量的关键感知指标,这些指标直接与驾驶的道路/交通状态的示能表示相关。我们的表示提供了一组紧凑而完整的描述场景,使一个简单的控制器自动驾驶。介于中介知觉和行为反射这两个极端之间,我们认为我们的直接知觉表征提供了正确的抽象水平。为了证明这一点,我们训练了一个深度卷积神经网络,使用了12个小时的人类驾驶视频游戏的记录,并表明我们的模型可以很好地在一组非常多样化的虚拟环境中驾驶汽车。我们还在KITTI数据集上训练了一个汽车距离估计模型。结果表明,我们的直接感知方法可以很好地推广到真实的驾驶图像。源代码和数据可在我们的项目网站上获得。
2015-09-26 cs.CV
Towards learning-based planning:The nuPlan benchmark for real-world autonomous driving
Motional(莫逊公司)
针对自动驾驶规划任务中ML技术应用缓慢的问题,本文推出全球首个真实世界自动驾驶基准nuPlan,含1282小时多城数据集及闭环仿真评估框架,通过多基线分析揭示了ML与传统规划方法的差距。
2024-03-07 cs.CV cs.RO
DriveE2E: Closed-Loop Benchmark for End-to-End Autonomous Driving through Real-to-Simulation
The University of Hong Kong(香港大学);AIR, Tsinghua University(清华研究院);King’s College London(伦敦国王学院);The Hong Kong Polytechnic University(香港理工大学);Tuojing Intelligence(途镜智能)
本文提出 DriveE2E 闭环评估框架,借助基础设施数据将 800 个真实动态场景和 15 个路口数字孪生引入 CARLA,以更真实地评测端到端自动驾驶模型。
2025-09-28 cs.CV cs.RO
GenAD: Generalized Predictive Model for Autonomous Driving
Hong Kong University of Science and Technology(香港科技大学);University of Hong Kong(香港大学);University of Tübingen(蒂宾根大学);Tübingen AI Center(蒂宾根人工智能中心);OpenDriveLab(开放驾驶实验室);Shanghai AI Lab(上海人工智能实验室)
本文提出首个大规模自动驾驶视频预测模型GenAD,利用超2000小时网络驾驶视频和文本描述训练,结合潜在扩散模型与时间推理模块,实现零样本泛化并超越现有方法,还可适配为运动规划器。
2024-08-08 cs.CV
MAAD: A Model and Dataset for "Attended Awareness" in Driving
Northwestern University(西北大学);Toyota Research Institute(丰田研究院);Woven Planet
我们提出了一个计算模型来估计一个人的出席意识,他们的环境。我们将关注意识定义为一个潜在的动态场景的那些部分,一个人在最近的历史中关注过这些部分,并且他们仍然可能在身体上意识到这些部分。我们的模型以视频和嘈杂的凝视估计的形式作为输入场景信息,并输出视觉显着性,精细的凝视估计和人的出席意识的估计。为了测试我们的模型,我们捕获了一个新的数据集与高精度的凝视跟踪器,包括24.5小时的凝视序列,从23个主题参加驾驶场景的视频。该数据集还包含基于扫描路径观察的第三方对受试者注意意识的注释。我们的研究结果表明,我们的模型能够在受控环境中合理估计注意意识,并且在未来可能扩展到真实的以自我为中心的驾驶数据,以帮助在安全系统中实现更有效的提前警告,从而提高驾驶员的表现。我们还使用我们的数据集和现有的显着性数据集,证明了我们的模型在显着性,凝视校准和去噪任务上的有效性。我们在https://github.com/ToyotaResearchInstitute/att-aware/上提供我们的模型和数据集。
2021-10-16 cs.CV cs.HC cs.LG
PADriver: Towards Personalized Autonomous Driving
Beijing Institute of Technology(北京理工大学);Megvii Technology(商汤科技);Waseda University(早稻田大学)
本文提出基于多模态大语言模型的个性化自动驾驶闭环框架PADriver,结合流式视频与个性化提示进行场景理解、危险估计与动作决策,并构建PAD-Highway基准验证其优于现有方法。
2025-05-08 cs.CV
PAVE: An End-to-End Dataset for Production Autonomous Vehicle Evaluation
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
针对现有自动驾驶数据集无法评估AV真实行为安全的问题,提出首个完全由真实世界自动驾驶模式采集的PAVE端到端基准数据集,含100余小时量产车数据及丰富标注,支撑AV行为分析与安全评估研究。
2025-11-19 cs.CV
Human-Machine Collaborative Design for Accelerated Design of Compact Deep Neural Networks for Autonomous Driving
DarwinAI Corp.(达尔文人工智能公司);Audi Electronics Venture GmbH (AEV)(奥迪电子创业有限公司)
有效的深度学习开发流程对于广泛的工业应用至关重要,特别是在汽车行业。典型的工业深度学习开发周期涉及定制和重新设计现成的网络架构以满足目标应用程序的操作要求,从而导致机器学习从业者进行大量的试错工作。这种方法极大地阻碍了开发,因为它需要很长的周转时间,而且所创建的模型的质量不能令人满意。因此,非常需要一种开发平台,可以帮助工程师大大加快紧凑、优化的深度神经网络的设计和生产。在这一联合工业案例研究中,我们研究了GenSynth AI辅助AI设计平台在通过人机协同设计加速自动驾驶定制优化深度神经网络设计方面的有效性。我们通过评估GenSynth生产的10种不同的紧凑型深度神经网络进行定量检查,目的是通过基于NASNet的用户网络原型设计进行目标检测,目标是基于GPU的低成本加速嵌入式系统。此外,我们定量评估了GenSynth流程和其他三种基于典型工业开发流程的方法所使用的人才小时数和GPU处理小时数。此外,我们还量化了使用GenSynth生产的网络进行全面测试的年度云成本节约。最后,我们通过用户反馈评估GenSynth过程的可用性和优点。该案例研究的结果表明,GenSynth易于使用,可以有效地加速紧凑、定制的深度神经网络的设计和生产。
2019-09-12 cs.CV cs.NE
ThousandWorlds: A benchmark for climate emulation of potentially habitable exoplanets
University of Cambridge(剑桥大学);University of Oxford(牛津大学);University of Colorado Boulder(科罗拉多大学博尔德分校);University of Bristol(布里斯托大学);Purdue University(普渡大学);University of Exeter(埃克塞特大学)
为加速系外行星气候模拟,提出ThousandWorlds基准数据集,包含五个全球气候模型的约1800次模拟,用于评估机器学习模拟器在低数据、多模拟器参数到场回归任务中的性能。
2026-09-28 astro-ph.EP astro-ph.IM cs.LG
DriveDNA: A Large-Scale Multimodal Naturalistic Driving Dataset and Benchmark for Driving Style Identification
University of South Florida(南佛罗里达大学);University of Arizona(亚利桑那大学)
该研究引入DriveDNA数据集及基准测试用于驾驶风格识别,定义驾驶风格为车辆在相似条件下的特定行为模式,通过三个核心任务评估,对比多种基线方法得出学习表示更优,视频模型有路线泄漏问题,强调可靠评估需考虑多方面因素。
2026-07-28 cs.LG
CoVLA: Comprehensive Vision-Language-Action Dataset for Autonomous Driving
Turing Inc.(图灵公司)
针对自动驾驶缺乏大规模视觉-语言-动作数据的问题,提出CoVLA数据集,含80多小时真实驾驶视频及自动化标注流程,验证了VLA模型在端到端驾驶中的潜力。
2025-10-14 cs.CV
Towards Efficient and Effective Multi-Camera Encoding for End-to-End Driving
USC Physical Superintelligence (PSI) Lab(USC物理超智能实验室);Stanford University(斯坦福大学);NVIDIA Research(NVIDIA研究)
本文提出Flex,一种高效多摄像头编码方法,通过紧凑的场景令牌提升端到端驾驶性能,无需依赖3D先验。
2025-12-12 cs.CV
Enhanced Drift-Aware Computer Vision Architecture for Autonomous Driving
Chair of Embedded Systems University of Siegen(嵌入系统教授会 University of Siegen)
针对自动驾驶中数据漂移导致的目标检测性能下降问题,提出集成YOLO v8与五层CNN的混合计算机视觉架构,经合成图像训练后在漂移场景测试中检测精度提升超90%,增强道路安全。
2025-08-25 cs.CV math.LO
One Million Scenes for Autonomous Driving: ONCE Dataset
The Chinese University of Hong Kong(香港中文大学);Huawei IAS BU Vehicle Cloud Service(华为智能汽车解决方案事业部车云服务);Sun Yat-Sen University(中山大学);ETH Zurich(苏黎世联邦理工学院)
目前自动驾驶中的感知模型已经变得臭名昭著,因为它严重依赖大量注释数据来覆盖看不见的情况并解决长尾问题。另一方面,从未标记的大规模收集数据中学习和增量自训练的强大识别模型越来越受到关注,并可能成为自动驾驶下一代行业级强大和鲁棒感知模型的解决方案。然而,研究界普遍遭受的数据不足,这些必要的现实世界的场景数据,这阻碍了未来的探索完全/半/自监督方法的三维感知。在本文中,我们介绍了ONCE(百万N sCenEs)数据集的自动驾驶场景中的三维目标检测。ONCE数据集由100万个LiDAR场景和700万个相应的相机图像组成。这些数据是从144个驾驶小时中选出的,这是现有最大的3D自动驾驶数据集(例如nuScenes和Waymo)的20倍,并且是在一系列不同的地区,时期和天气条件下收集的。为了促进未来利用未标记数据进行3D检测的研究,我们还提供了一个基准,在该基准中,我们在ONCE数据集上再现和评估了各种自监督和半监督方法。我们对这些方法进行了广泛的分析,并对其与所用数据规模相关的性能进行了有价值的观察。有关数据、代码和更多信息,请访问https://once-for-auto-driving.github.io/index.html。
2021-10-25 cs.CV
Deep Steering: Learning End-to-End Driving Model from Spatial and Temporal Visual Cues
Institute of Computer Science & Technology, Peking University(北京大学计算机科学技术研究所)
近年来,使用低成本车载摄像头的自动驾驶算法吸引了学术界和工业界越来越多的努力。这些努力有多个方面,包括道路上的目标检测、3-D重建等,但在这项工作中,我们专注于基于视觉的模型,该模型使用深度网络将原始输入图像直接映射到转向角度。这代表了计算机视觉中一个新兴的研究课题。这项工作的技术贡献是三方面的。首先,在与其他车辆传感器时间同步的真实人类驾驶视频上学习和评估模型。这与许多先前从赛车游戏中的合成数据训练的模型不同。其次,最先进的模型,如PilotNet,大多独立地预测每个视频帧的车轮角度,这与驾驶作为一个有状态过程的普遍理解相矛盾。相反,我们提出的模型罢工的空间和时间的线索相结合,共同调查瞬时单目相机的观察和车辆的历史状态。实际上,这是通过插入精心设计的经常性单位来实现的(例如,LSTM和Conv-LSTM)。第三,为了促进学习模型的可解释性,我们利用视觉反向传播方案来发现和可视化对最终转向预测有关键影响的图像区域。我们的实验研究是基于Udacity提供的大约6小时的人类驾驶数据。全面的定量评估证明了我们的模型的有效性和鲁棒性,即使在剧烈的照明变化和突然转弯的情况下。与其他最先进的模型的比较清楚地表明,它在预测自动驾驶汽车的适当车轮角度方面具有优越的性能。
2017-08-12 cs.CV
The highD Dataset: A Drone Dataset of Naturalistic Vehicle Trajectories on German Highways for Validation of Highly Automated Driving Systems
RWTH Aachen University(亚琛工业大学);Institute for Automotive Engineering(汽车工程研究所)
基于场景的高度自动化车辆安全验证测试是一种很有前途的方法,正在研究和工业中进行研究。这种方法在很大程度上依赖于来自真实场景的数据,以获得测试所需的场景信息。应尽合理努力收集测量数据,其中应包含道路使用者的自然行为,并包括与描述已识别情景相关的所有数据。然而,目前的测量方法不能满足至少一个要求。因此,我们提出了一种新的方法来测量数据,从空中的角度为基础的验证,满足上述要求。此外,我们提供了一个大规模的自然车辆轨迹数据集,从德国的高速公路称为highD。我们从数量、种类和包含的场景方面评估数据。我们的数据集包括来自六个地点的16.5小时测量,110000辆车,总行驶距离为45000公里,记录了5600次完整的车道变换。highD数据集可在以下网址在线获取:http://www.highD-dataset.com
2018-10-11 cs.AI cs.CV cs.IR
How Far Can 5,500 Hours of Driving Take You? A Scaling Law Analysis of Video Diffusion Models
Sorbonne Université(索邦大学)
本研究针对自动驾驶视频生成,通过对100万至90亿参数的视频扩散模型开展缩放定律分析,明确训练时长、模型规模、数据量的影响,训练出的90亿参数模型在nuScenes上达到开源最优。
2026-09-24 cs.CV
TruckDrive: Long-Range Autonomous Highway Driving Dataset
Torc Robotics;Princeton University(普林斯顿大学)
本文提出TruckDrive数据集,用于解决重卡车高速公路自动驾驶中长距离感知的挑战,通过多模态传感器采集47.5万样本,支持20秒序列中2D检测1000米和3D检测400米的感知基准测试。
2026-03-31 cs.CV
Semi-supervised Learning: Fusion of Self-supervised, Supervised Learning, and Multimodal Cues for Tactical Driver Behavior Detection
Honda Research Institute, USA(美国本田研究院)
在本文中,我们提出了一个初步的研究,从未经修剪的自然驾驶记录的战术驾驶员行为检测。虽然基于监督学习的检测是一种常见的方法,但当标记数据稀缺时,它会受到影响。手动注释既耗时又昂贵。为了强调这个问题,我们在一个104小时的真实自然驾驶数据集上进行了实验,其中标注了一组预定义的驾驶行为。数据集中有三个挑战。首先,预定义的驾驶行为在自然驾驶环境中是稀疏的。第二,驾驶行为的分布是长尾的。第三,观察到巨大的类内变化。为了解决这些问题,最近的自我监督和监督学习和融合的多模态线索利用到我们的架构设计。初步的实验和讨论报告。
2018-07-02 cs.CV
MVP: Robust Multi-View Practice for Driving Action Localization
分心驾驶每年导致数千人死亡,如何应用深度学习方法来防止这些悲剧已经成为一个关键问题。在第六届AI城市挑战赛的第三场比赛中,研究人员提供了一个高质量的视频数据集,其中包含密集的动作注释。由于数据规模小,动作边界不明确,数据集提出了一个独特的挑战,精确定位所有不同的动作,并将其分类。在本文中,我们充分利用视频之间的多视图同步,并进行强大的多视图实践(MVP)驱动动作定位。为了避免过度拟合,我们使用Kinetics-700预训练作为特征提取器来微调SlowFast。然后将不同视图的特征传递到CNOMEFORMER以生成候选行动建议。为了精确定位所有的动作,我们设计了精心的后处理,包括模型投票,阈值过滤和重复删除。结果表明,我们的MVP是强大的驾驶动作定位,达到28.49%的F1-分数在Track 3测试集。
2022-07-05 cs.CV
Toward Driving Scene Understanding: A Dataset for Learning Driver Behavior and Causal Reasoning
Boston University(波士顿大学);Honda Research Institute USA(美国本田研究院)
驾驶场景理解是智能交通系统的关键组成部分。为了实现能够在复杂的物理和社会环境中运行的系统,他们需要了解和学习人类如何驾驶和与交通场景交互。我们介绍了本田研究所驾驶数据集(HDD),这是一个具有挑战性的数据集,可以在现实环境中研究驾驶员的学习行为。该数据集包括使用配备不同传感器的仪表车在旧金山湾区收集的104小时真实人类驾驶。我们提供了HDD的详细分析,并与其他驾驶数据集进行了比较。一种新的注释方法被引入到未修剪的数据序列的驾驶员行为理解的研究。作为第一步,驾驶员行为检测的基线算法进行了训练和测试,以证明所提出的任务的可行性。
2018-11-06 cs.CV
Learning Audio-Visual Speech Representation by Masked Multimodal Cluster Prediction
Toyota Technological Institute at Chicago(芝加哥丰田技术研究所);Meta AI
语音的视频记录包含相关的音频和视觉信息,为从说话者的嘴唇运动和产生的声音学习语音表示提供强信号。我们介绍了视听隐藏单元BERT(AV-HuBERT),一个自监督的表示学习框架的视听语音,掩盖多流视频输入和预测自动发现和迭代细化的多模态隐藏单元。AV-HuBERT学习强大的视听语音表示,同时受益于唇读和自动语音识别。在最大的公共唇读基准测试LRS 3(433小时)中,AV-HuBERT仅用30小时的标记数据就实现了32.5%的WER,优于之前用1000倍的转录视频数据(31 K小时)训练的最先进的方法(33.6%)。当使用来自LRS 3的所有433小时标记数据并结合自我训练时,唇读WER进一步降低到26.9%。使用我们的音频-视频表示在相同的基准上进行纯音频语音识别,导致相对于最先进的性能(1.3%vs 2.3%)的40%的相对WER降低。我们的代码和模型可在https://github.com/facebookresearch/av_hubert上获得
2022-03-13 cs.CV cs.SD eess.AS
Learning Accurate, Comfortable and Human-like Driving
Computer Vision Lab(计算机视觉实验室);ETH Zürich(苏黎世联邦理工学院)
如果自动驾驶汽车驾驶准确、舒适,而且与人类驾驶员的驾驶方式相似,那么它们更有可能被接受。当自动驾驶和人类驾驶的车辆需要共享同一条道路时,情况尤其如此。然而,到目前为止,主要的研究重点仍然是提高驾驶精度。本文以准确、舒适和人性化的驾驶为目标,对这三个问题进行了形式化的描述。在本文中作出了三个贡献。首先,HERE Technologies的数字地图数据用于更准确的驾驶;一组被认为与驾驶相关的地图功能被设计为更好地导航。其次,将学习过程从逐点预测改进为基于序列的预测,并将乘客舒适度指标嵌入到学习算法中。最后,我们利用对手学习的进步来学习类似人类的驾驶;具体来说,标准的L1或L2损失被对手损失所增强,对手损失是基于训练来区分人类驾驶和机器驾驶的机器人。我们的模型是在Drive 360数据集上训练和评估的,该数据集包含60小时和3000公里的真实驾驶数据。大量的实验表明,我们的驾驶模型是更准确,更舒适,更像一个人类司机比以前的方法。本工作的资源将在项目页面上发布。
2019-03-26 cs.CV
TSTTC: A Large-Scale Dataset for Time-to-Contact Estimation in Driving Scenarios
Tianjin University(天津大学);TuSimple(图森未来)
针对驾驶场景TTC估计缺乏大规模真实数据集的问题,本文提出面向对象的大规模TSTTC数据集,通过筛选真实数据与神经渲染补充小TTC样本,并提供基准模型验证其有效性。
2023-11-06 cs.CV
OpenLKA: An Open Dataset of Lane Keeping Assist from Recent Car Models under Real-world Driving Conditions
Department of Civil and Environmental Engineering, University of South Florida(土木与环境工程系,佛罗里达州立大学)
本文提出OpenLKA,首个用于评估和改进车道保持辅助(LKA)的大规模开放数据集,包含62款车型的400小时真实驾驶数据,融合多模态信息,为基准测试LKA真实性能和评估自动驾驶基础设施准备度提供综合平台。
2025-07-16 cs.CV cs.RO
SimGen: Simulator-conditioned Driving Scene Generation
University of California Los Angeles(加利福尼亚大学洛杉矶分校);Shanghai Jiao Tong University(上海交通大学)
针对现有扩散模型生成驾驶场景多样性不足、易过拟合的问题,本文提出SimGen框架,采用级联扩散流水线结合仿真与真实数据,构建大规模DIVA数据集,在保证可控性的同时提升生成质量与多样性,可用于BEV任务数据增强与安全关键数据生成。
2024-12-07 cs.CV
SODA10M: A Large-Scale 2D Self/Semi-Supervised Object Detection Dataset for Autonomous Driving
Sun Yat-Sen University(中山大学);The Chinese University of Hong Kong(香港中文大学);Hong Kong University of Science and Technology(香港科技大学)
为了促进真实世界,不断发展和可扩展的自动驾驶系统,我们提出了一个大规模的数据集,用于通过从原始数据中学习来标准化不同的自监督和半监督方法的评估,这是迄今为止第一个也是最大的数据集。现有的自动驾驶系统严重依赖于“完美”视觉感知模型(即,检测),以确保安全性。然而,精心标记所有场景和情况的实例是不现实的(即,夜间、极端天气、城市),部署强大的自动驾驶系统。受自监督学习和半监督学习的启发,通过协同利用大规模未标记数据和少量标记数据来学习鲁棒检测模型是一个很有前途的方向。现有的数据集要么只提供少量的数据,要么覆盖有限的领域,并提供完整的注释,这阻碍了对大规模预训练模型的探索。在这里,我们发布了一个用于自动驾驶的大规模2D自/半监督目标检测数据集,名为SODA 10 M,包含1000万张未标记图像和20 K张标记有6个代表性对象类别的图像。为了提高多样性,图像是在27833个驾驶小时内收集的,在32个不同城市的不同天气条件,时期和位置场景。我们提供了广泛的实验和深入分析现有流行的自我/半监督的方法,并给出了一些有趣的发现在自动驾驶范围。实验表明,SODA 10 M可以作为不同自监督学习方法的有前途的预训练数据集,当与不同的下游任务(即,检测、语义/实例分割)。更多信息可以参考https://soda-2d.github.io。
2021-11-08 cs.CV
STRIDE-QA: Visual Question Answering Dataset for Spatiotemporal Reasoning in Urban Driving Scenes
STRIDE-QA通过大规模视觉问答数据集提升自动驾驶中动态交通场景的时空推理能力,显著提升VLMs在空间定位和未来运动预测中的表现。
2026-01-19 cs.CV
Data-driven vehicle speed detection from synthetic driving simulator images
University of Alcalá(阿尔卡拉大学);European Commission, Joint Research Center(欧盟委员会联合研究中心)
尽管存在这些挑战和限制,但基于视觉的车辆速度检测由于其巨大的潜在优势(如降低成本和增强附加功能)而获得了研究兴趣。正如最近的一项调查[1]所述,使用基于学习的方法来解决这一问题仍处于起步阶段。主要困难之一是需要大量数据,这些数据必须包含输入序列,更重要的是,对应于车辆实际速度的输出值。在这种情况下的数据汇集需要复杂且昂贵的设置,以从与高精度速度传感器同步的摄像机捕获图像,从而生成地面真实速度值。在本文中,我们首次探索使用驾驶模拟器生成的合成图像(例如,CARLA)使用基于学习的方法来解决车辆速度检测问题。我们模拟了一个放置在一段道路上的虚拟摄像头,并生成了数千张图像,这些图像具有与多种速度、不同车辆类型和颜色以及照明和天气条件相对应的可变性。研究了将图像序列映射到输出速度(回归)的两种不同方法,包括CNN-GRU和3D-CNN。我们提出的初步结果,支持这种方法来解决车辆速度检测的高潜力。
2021-04-20 cs.AI cs.CV
CROWD: A global dataset of continuous urban dashcam driving
Eindhoven University of Technology(埃因霍温理工大学);National University of Kyiv-Mohyla Academy(基辅莫希拉学院)
CROWD数据集通过手动整理全球视频中的连续行车记录仪片段,支持跨领域鲁棒性和交互分析,包含51,753个片段,覆盖238个国家和地区,提供时间与车辆类型标注及YOLOv11和BoT-SORT的检测跟踪信息。
2026-11-10 cs.CV
WOD-E2E: Waymo Open Dataset for End-to-End Driving in Challenging Long-tail Scenarios
Waymo LLC(Waymo公司)
针对现有E2E驾驶基准缺乏长尾场景测试、评估指标不足的问题,提出含4021个长尾场景片段的WOD-E2E数据集及RFS评估指标,推动鲁棒端到端自动驾驶研究。
2025-11-13 cs.AI cs.CV
OneFixer: High-Quality and Consistent One-Step Autoregressive 3DGS Refinement for Driving Scenes
OneFixer提出单步自回归视频扩散修复器,通过部署匹配的共享滚动联合学习保真度和鲁棒性,在驾驶场景中实现低延迟、高一致性的3DGS细化,显著降低碰撞率。
2026-09-29 cs.AI cs.CV