World knowledge-enhanced Reasoning Using Instruction-guided Interactor in Autonomous Driving
Beijing Institute of Technology(北京理工大学);Shenzhen MSU-BIT University(深圳北理莫斯科大学);Chongqing Changan Automobile Co., Ltd.(重庆长安汽车股份有限公司)
本文针对自动驾驶中感知受限区域的推理难题,提出指令引导交互模块以融合多模态感知与世界知识,并构建大规模多模态数据集和目标级风险评估数据集,有效提升了自动驾驶在遮挡条件下的推理与安全性能。
2025-01-02 cs.CV
Detecting Drivable Area for Self-driving Cars: An Unsupervised Approach
Xi’an Jiaotong University(西安交通大学)
人们已经充分认识到,检测可驾驶区域是自动驾驶汽车的核心。现有的道路定位方法大多是利用车道线来定位路面,从而限制在具有清晰车道线的可行驶区域内。本文提出了一种利用单目摄像机图像数据和3D-LIDAR扫描仪点云数据检测可行驶区域的无监督方法。我们的方法定位初始驾驶区域的基础上获得的“方向射线图”的图像激光雷达数据融合。此外,融合的特征层也适用于更强大的性能。一旦初始的可行驶区域被描述为不同的功能,功能融合问题制定为马尔可夫网络和信念传播算法来执行模型推理。我们的方法是无监督的,避免了常见的假设,但在ROAD-KITTI基准测试中得到了最先进的结果。实验表明,我们的无监督方法是有效的和强大的自动驾驶汽车检测可行驶区域。
2017-05-01 cs.CV
Judge, Then Drive: A Critic-Centric Vision Language Action Framework for Autonomous Driving
Bosch Research(博世研究院)
本文提出CriticVLA框架,通过多模态评估和单步优化提升自动驾驶决策质量,实验显示其在复杂场景中性能显著优于现有方法。
2026-04-30 cs.CV
First qualitative observations on deep learning vision model YOLO and DETR for automated driving in Austria
TU Graz(格拉茨工业大学)
本文首次定性研究YOLO与RT-DETR在奥地利自动驾驶目标检测中的应用,分析其在城市、乡村及阿尔卑斯山区等多样化道路条件下的适用性与挑战。
2024-12-28 cs.CV
Can LVLMs Obtain a Driver's License? A Benchmark Towards Reliable AGI for Autonomous Driving
ShanghaiTech University(上海科技大学);The Chinese University of Hong Kong(香港中文大学)
本文提出包含超百万条多国驾驶数据的IDKB数据集,覆盖理论到路考知识,并基于其对15个LVLMs进行自动驾驶可靠性基准测试与微调验证。
2024-09-04 cs.CV
STELLAR: Scaling 3D Perception Large Models for Autonomous Driving
Waymo;UCSD(加州大学圣地亚哥分校)
本文研究了大规模训练在自动驾驶感知系统中的应用,通过扩展输入模态并训练大规模模型,实现了在Waymo数据集上的新状态-of-the-art性能。
2026-05-19 cs.AI cs.CV cs.LG
R-TOD: Real-Time Object Detector with Minimized End-to-End Delay for Autonomous Driving
Kookmin University(国民大学);Hanyang University(汉阳大学);University of California, Irvine(加州大学欧文分校)
为了实现安全的自动驾驶,需要对实时的【形】目标检测系统的端到端延迟进行深入分析并最小化。然而,尽管最近开发的神经网络的推理延迟最小化,令人惊讶的是,很少有人注意到他们的端到端的延迟,从一个对象的外观,直到它的检测报告。有了这个动机,本文的目的是提供更全面的了解端到端的延迟,通过它制定精确的最佳和最坏情况下的延迟预测,并实现了三种优化方法:(i)按需捕获,(ii)零松弛管道,和(iii)无竞争管道。我们的实验结果显示,Darknet YOLO(You Only Look Once)v3的端到端延迟减少了76%(从1070 ms减少到261 ms),从而证明了利用自动驾驶端到端延迟分析的巨大潜力。此外,由于我们只修改了系统架构,而不改变神经网络架构本身,我们的方法不会对检测精度产生影响。
2020-10-23 cs.CV
Real-time Dynamic Object Detection for Autonomous Driving using Prior 3D-Maps
AKKA Technologies(AKKA科技公司);INRIA Paris(法国国家信息与自动化研究所巴黎分部);Spleenlab(Spleenlab公司);Valeo Vision Systems(法雷奥视觉系统公司)
激光雷达已成为自动驾驶的重要传感器,因为它提供可靠的深度估计。激光雷达也是用于构建3D地图的主要传感器,即使在不使用激光雷达的低成本系统中也可以使用。激光雷达点云的计算是密集的,因为它需要每秒处理数百万个点。此外,还有许多后续的任务,如聚类,检测,跟踪和分类,这使得实时的【形】执行具有挑战性。在本文中,我们讨论实时的【形】动态目标检测算法,利用以前映射的激光雷达点云,以减少处理。先验的3D地图提供了一个静态的背景模型,我们制定了动态的目标检测作为一个背景减法问题。描述了映射和在线执行管道中的计算和建模挑战。我们提出了一个拒绝级联架构,分别减去道路区域和其他3D区域。我们实现了我们提出的算法的初始版本,并评估了CARLA模拟器的准确性。
2019-07-05 cs.CV
Reason2Drive: Towards Interpretable and Chain-based Reasoning for Autonomous Driving
School of Data Science, Fudan University(复旦大学数据科学学院)
提出Reason2Drive基准数据集(60万+视频-文本对),将自动驾驶过程分解为感知、预测、推理链,并引入聚合评估指标,以增强VLM的可解释推理能力。
2024-07-20 cs.CV
Surround-View Cameras based Holistic Visual Perception for Automated Driving
TECHNISCHE UNIVERSITÄT ILMENAU(伊尔梅瑙工业大学)
眼睛的形成导致了进化的大爆炸。这种动力学从原始生物等待食物接触到吃的食物被视觉传感器所寻找。人类的眼睛是进化过程中最复杂的发展之一,但它仍然有缺陷。人类已经进化出了一种生物感知算法,能够驾驶汽车,操作机器,驾驶飞机和导航船舶数百万年。自动化计算机的这些功能对于各种应用至关重要,包括自动驾驶汽车,增强现实和建筑测量。自动驾驶汽车背景下的近场视觉感知可以感知车辆周围$0-10$米范围内的环境,并实现360°覆盖。它是开发更安全的自动驾驶的关键决策组件。计算机视觉和深度学习的最新进展,结合相机和激光雷达等高质量传感器,推动了成熟的视觉感知解决方案。到目前为止,远场感知一直是主要焦点。另一个重要问题是可用于开发实时应用程序的有限处理能力。由于这个瓶颈,经常需要在性能和运行时效率之间进行权衡。我们集中在以下问题,以解决这些问题:1)开发高性能和低计算复杂性的近场感知算法的各种视觉感知任务,如几何和语义任务,使用卷积神经网络。2)使用多任务学习,通过在任务之间共享初始卷积层并开发平衡任务的优化策略来克服计算瓶颈。
2022-06-11 cs.CV
Fast Scene Understanding for Autonomous Driving
ESAT-PSI, KU Leuven(鲁汶大学 ESAT-PSI)
大多数实例感知语义标记方法传统上关注准确性。运行时间和内存占用等其他方面对于自动驾驶等实时应用也同样重要。出于这种观察和最近的作品,解决多个任务与一个单一的集成架构的启发,在本文中,我们提出了一个实时有效的实现的基础上ENet,解决了三个自动驾驶相关的任务:语义场景分割,实例分割和单眼深度估计。我们的方法建立在一个分支的ENet架构与共享的编码器,但不同的解码器分支的三个任务。与单独运行每个任务相比,所提出的方法可以在Cityscapes数据集上以1024x512的分辨率以21 fps运行,而不会牺牲准确性。
2017-08-08 cs.CV cs.RO
FedDrive: Generalizing Federated Learning to Semantic Segmentation in Autonomous Driving
Politecnico di Torino(都灵理工大学);Italian Institute of Technology(意大利技术研究院)
本文提出FedDrive基准,针对自动驾驶语义分割中的联邦学习,结合统计异质性与领域泛化挑战,通过深入分析现有算法并引入风格迁移方法,证明正确处理归一化统计量和风格迁移能有效提升模型泛化性能。
2023-09-23 cs.CV
AD-H: Language-guided Autonomous Driving with Hierarchical Agents
Dalian University of Technology(大连理工大学)
提出AD-H分层多智能体框架,上层MLLM规划器生成中层驾驶指令,下层轻量控制器执行连续动作,通过规则重建1.15M中层指令对,以3B+350M参数超越7B模型,实现长时域泛化与指令遵循。
2026-05-26 cs.CV
Visual Implicit Geometry Transformer for Autonomous Driving
Lomonosov Moscow State University(罗蒙诺索夫莫斯科国立大学)
ViGT是一种用于自动驾驶的几何模型,通过自监督训练估计连续3D占用场,实现跨不同传感器配置的泛化和可扩展性。
2026-02-05 cs.CV
RoadFormer : Local-Global Feature Fusion for Road Surface Classification in Autonomous Driving
Beijing Institute of Technology(北京理工大学)
本文提出RoadFormer,通过卷积与transformer堆叠融合局部-全局特征,并引入前景-背景模块提升细粒度路面分类性能,在百万级数据集上显著超越现有方法。
2025-06-03 cs.CV
Adaptable Deformable Convolutions for Semantic Segmentation of Fisheye Images in Autonomous Driving Systems
École Polytechnique de Montréal(蒙特利尔理工学院);CortAIx Thales(泰雷兹CortAIx研究院);Inria(法国国家信息与自动化研究院)
高级驾驶辅助系统严重依赖于感知任务,例如从大视场(FoV)相机捕获图像的语义分割。最先进的工作已经取得了相当大的进展,将卷积神经网络(CNN)应用于标准(直线)图像。然而,自动驾驶车辆中使用的大型FoV相机产生以强烈几何失真为特征的鱼眼图像。这项工作表明,在标准图像上训练的CNN可以很容易地适应鱼眼图像,这在必须避免耗时的实时数据转换的实际应用中至关重要。我们的适配协议主要依赖于通过在预先存在的层之上使用它们的可变形等价物来修改卷积的支持。我们证明了调整最佳支持只需要有限数量的标记鱼眼图像,因为少量的训练样本就足以显着提高现有模型在广角图像上的性能。此外,我们表明,微调网络的权重是没有必要实现高性能,一旦可变形组件的学习。最后,我们对可变形卷积的效果进行了深入的分析,对CNN模型的行为进行了讨论。
2021-02-19 cs.CV
DriverGaze360: OmniDirectional Driver Attention with Object-Level Guidance
German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心);Rhineland-Palatinate Technical University (RPTU)(莱茵兰-普法尔茨工业大学)
DriverGaze360通过全向视野和物体级引导方法,实现对驾驶员注意力的高精度预测,提升自动驾驶系统中的空间感知与交互能力。
2026-03-05 cs.CV
Evaluating Uncertainty Quantification in End-to-End Autonomous Driving Control
University of Oxford(牛津大学)
深度神经网络(DNN)的普及,归因于更强大的GPU和广泛可用的数据集,已经看到它们越来越多地用于安全关键领域。其中一个领域,自动驾驶,已经从显着的性能改进中受益,在没有人为干预的情况下驾驶了数百万英里。尽管如此,崩溃和错误行为仍然会发生,部分原因是验证DNN正确性的复杂性和缺乏安全保证。在本文中,我们演示了如何实时提取不确定性的定量度量,并在自动驾驶汽车的端到端控制器中评估其质量。为此,我们利用最近的方法从DNN收集近似的不确定性信息,而不改变网络的架构。我们提出了两个独立的架构,使用的不确定性预测崩溃提前5秒的不确定性评估技术。我们发现,互信息,在分类网络的不确定性的措施,是一个有前途的指标即将崩溃。
2018-11-16 cs.CV cs.LG stat.ML
When the Score Becomes the Target: Rethinking Metric Validity in Autonomous Driving
University of North Texas(北德克萨斯大学);Toyota InfoTech Labs(丰田信息技术实验室)
本研究探讨自动驾驶基准分数被优化后是否仍能可靠反映驾驶改进,通过分解评分过程并实验发现分数提升可能不持久,强调需同时关注测量内容与执行方式。
2026-09-29 cs.CV cs.RO
OmniHD-Scenes: A Next-Generation Multimodal Dataset for Autonomous Driving
School of Automotive Studies, Tongji University(同济大学汽车学院);College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);AI Foundation(2077AI基金会);Momoni AI;College of Information Science and Electronic Engineering, Zhejiang University(浙江大学信息科学与电子工程学院);School of Information and Electrical Engineering, Hangzhou City University(杭州城市学院信息与电气工程学院)
OmniHD-Scenes提出了一种大规模多模态数据集,结合多种传感器数据,用于提升自动驾驶的3D检测和语义预测性能。
2026-02-09 cs.CV
Efficient Mixture-of-Expert for Video-based Driver State and Physiological Multi-task Estimation in Conditional Autonomous Driving
the Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));University of Hong Kong(香港大学)
本文提出VDMoE模型,通过RGB视频和远程PPG数据监测驾驶员状态,优化多专家框架以提升多模态输入下的检测效率与准确性,通过新数据集验证其在条件自动驾驶中的有效性。
2026-03-29 cs.AI cs.CV
Refining the ONCE Benchmark with Hyperparameter Tuning
Artificial Intelligence Research Institute (AIRI)(人工智能研究所(AIRI));HSE University(高等经济大学);AI Center, NUST MISiS(NUST MISiS人工智能中心)
本研究评估点云数据的半监督学习方法,发现对监督模型进行简单的网格搜索超参数调优即可在ONCE数据集上达到最先进性能,未标记数据的贡献相对有限。
2023-11-10 cs.AI cs.CV
TwinLiteNet: An Efficient and Lightweight Model for Driveable Area and Lane Segmentation in Self-Driving Cars
University of Information Technology(信息技术大学);Vietnam National University, Ho Chi Minh City(胡志明市越南国家大学)
针对自动驾驶语义分割模型计算成本高、难适配嵌入式系统的问题,提出轻量模型TwinLiteNet,在BDD100K数据集上性能媲美现有方法,且参数少、帧率高,可在嵌入式设备实时运行。
2023-12-13 cs.CV cs.LG
Pit30M: A Benchmark for Global Localization in the Age of Self-Driving Cars
Uber Advanced Technologies Group(优步先进技术集团);University of Waterloo(滑铁卢大学);University of Toronto(多伦多大学)
本文提出Pit30M大规模多模态定位数据集,覆盖多样环境并提供亚米级真值,同时提出一种简单有效的LiDAR检索方法,首次建立城市尺度亚米级检索定位基准。
2024-05-01 cs.CV cs.RO
One Training for Multiple Deployments: Polar-based Adaptive BEV Perception for Autonomous Driving
ShanghaiTech University(上海科技大学);Hong Kong University of Science and Technology(香港科技大学);the Chinese University of Hong Kong(香港中文大学)
针对车载芯片算力不同导致模型需多次训练的问题,提出基于极坐标表示的自适应BEV感知方法,通过极坐标空间特征自适应采样与多尺度上下文交互,实现一次训练多处部署并取得优异性能。
2023-04-02 cs.CV cs.RO
ChauffeurNet: Learning to Drive by Imitating the Best and Synthesizing the Worst
Waymo Research(Waymo研究院);Google Brain(谷歌大脑)
我们的目标是通过模仿学习来训练自动驾驶的策略,这种策略足够强大,可以驾驶真实的车辆。我们发现,标准的行为克隆不足以处理复杂的驾驶场景,即使我们利用感知系统对输入进行预处理,并利用控制器在汽车上执行输出:3000万个示例仍然不够。我们建议将学习者暴露于专家驾驶的扰动形式的合成数据,这会产生有趣的情况,例如碰撞和/或偏离道路。我们不是纯粹模仿所有数据,而是通过额外的损失来增加模仿损失,这些损失会惩罚不良事件并鼓励进步--这些扰动为这些损失提供了重要的信号,并导致学习模型的鲁棒性。我们表明,ChauffeurNet模型可以处理模拟中的复杂情况,并提出消融实验,强调我们提出的每一个变化的重要性,并表明该模型是响应适当的因果因素。最后,我们演示了模型在现实世界中驾驶汽车。
2018-12-07 cs.CV cs.LG cs.RO
Bench2Drive: Towards Multi-Ability Benchmarking of Closed-Loop End-To-End Autonomous Driving
Shanghai Jiao Tong University(上海交通大学)
针对现有端到端自动驾驶评估存在的开环不全面、闭环固定路线及数据不统一问题,提出Bench2Drive基准,通过多场景多天气闭环测试,为E2E-AD系统提供公平全面的多能力评估并给出技术洞察。
2024-11-27 cs.CV cs.RO
Multimodal Trajectory Predictions for Autonomous Driving using Deep Convolutional Networks
Uber Advanced Technology Group(优步先进技术集团)
自动驾驶是机器人和人工智能社区目前面临的最大问题之一,无论是在难度还是潜在的社会影响方面。自动驾驶汽车(SDV)有望预防道路交通事故,挽救数百万人的生命,同时改善更多人的生计和生活质量。然而,尽管有很大的兴趣和许多行业参与者在自动驾驶领域工作,但为了开发一个能够在与最佳人类驾驶员相当的水平上运行的系统,还有更多的工作要做。其中一个原因是交通行为的高度不确定性和SDV可能在道路上遇到的大量情况,使得很难创建一个完全通用的系统。为了确保安全和有效的操作,自动驾驶车辆需要考虑这种不确定性,并预测其周围交通参与者的多种可能行为。我们解决这个关键问题,并提出了一种方法来预测多个可能的轨迹的演员,同时也估计他们的概率。该方法将每个演员的周围环境编码成光栅图像,用作深度卷积网络的输入,以自动导出任务的相关特征。经过广泛的离线评估和与最先进基线的比较,该方法在SDV上成功地进行了封闭测试。
2019-03-01 cs.CV cs.LG cs.RO
Solving Motion Planning Tasks with a Scalable Generative Model
Horizon Robotics Inc.(Horizon Robotics公司)
本文提出一种可扩展生成模型GUMP,通过学习驾驶场景动态,支持全自回归与部分自回归模式,在Waymo和nuPlan数据集上实现模拟真实感、场景生成和规划的最先进性能,可服务于数据生成、模拟、规划与在线训练等运动规划任务。
2024-07-03 cs.CV cs.RO
Self-Supervised Representation Learning with Joint Embedding Predictive Architecture for Automotive LiDAR Object Detection
本文提出AD-L-JEPA,一种基于联合嵌入预测架构的自监督预训练框架,用于车载LiDAR目标检测,通过预测鸟瞰图嵌入避免表示崩溃,在多个数据集上提升检测性能并显著降低计算资源消耗。
2025-10-07 cs.CV cs.RO
Sample Efficient Interactive End-to-End Deep Learning for Self-Driving Cars with Selective Multi-Class Safe Dataset Aggregation
Istanbul Technical University(伊斯坦布尔理工大学);AVL Turkey(AVL土耳其公司)
本文的目标是为自动驾驶汽车开发一种样本高效的端到端深度学习方法,我们试图通过对每次调用专家驾驶员策略的仔细分析,增加从样本中提取的信息的价值。端到端模仿学习是一种流行的计算自动驾驶汽车策略的方法。标准方法依赖于收集输入(相机图像)和输出(转向角等)对。并将深度神经网络拟合到该数据以学习驾驶策略。尽管这种方法在过去有一些成功的示范,但是学习一个好的策略可能需要来自专家驱动程序的大量样本,这可能是消耗资源的。在这项工作中,我们开发了一种新的框架的基础上的安全数据集聚合(安全Dagger)的方法,其中当前学习的政策自动分割成不同的轨迹类,该算法识别轨迹段或类的弱性能在每一步。一旦识别出性能较差的轨迹段,采样算法只针对这些轨迹段调用专家策略,提高了收敛速度。仿真结果表明,所提出的方法可以产生显着更好的性能相比,标准的安全Dagger算法,同时使用相同数量的样本从专家。
2020-07-29 cs.CV cs.LG cs.RO
DrivIng: A Large-Scale Multimodal Driving Dataset with Full Digital Twin Integration
Department of Computer Science and AImotion Bavaria, Technische Hochschule Ingolstadt(计算机科学系和AImotion巴伐利亚,因斯布鲁克大学);School of Computation, Information and Technology, Technical University of Munich(计算、信息与技术学院,慕尼黑技术大学)
DrivIng是一个具有完整数字孪生集成的大规模多模态驾驶数据集,提供高精度定位和多传感器数据,用于自动驾驶感知算法的评估和仿真到现实测试。
2026-01-29 cs.CV
TerraTransfer: Learning End-to-End Driving Policies Without Expert Demonstrations
Applied Intuition;UCLA(加州大学洛杉矶分校);UC Berkeley(加州大学伯克利分校)
提出一种无需专家示范的端到端驾驶方法,通过向量化模拟器中的自博弈预训练策略,再与预训练视觉骨干对齐,降低了数据成本并达到或超越现有方法。
2026-07-17 cs.AI cs.CV cs.RO
Occlusion-Aware 2D and 3D Centerline Detection for Urban Driving via Automatic Label Generation
Contextual Robotics Institute, University of California San Diego(加州大学圣迭戈分校情境机器人研究所)
针对城市驾驶场景的2D/3D道路拓扑检测需求,提出自动标签生成与遮挡处理策略,构建近百万帧数据集,通过消融实验验证方法性能与跨传感器适应性,相关资源已公开。
2023-11-03 cs.CV
SODA10M: A Large-Scale 2D Self/Semi-Supervised Object Detection Dataset for Autonomous Driving
Sun Yat-Sen University(中山大学);The Chinese University of Hong Kong(香港中文大学);Hong Kong University of Science and Technology(香港科技大学)
为了促进真实世界,不断发展和可扩展的自动驾驶系统,我们提出了一个大规模的数据集,用于通过从原始数据中学习来标准化不同的自监督和半监督方法的评估,这是迄今为止第一个也是最大的数据集。现有的自动驾驶系统严重依赖于“完美”视觉感知模型(即,检测),以确保安全性。然而,精心标记所有场景和情况的实例是不现实的(即,夜间、极端天气、城市),部署强大的自动驾驶系统。受自监督学习和半监督学习的启发,通过协同利用大规模未标记数据和少量标记数据来学习鲁棒检测模型是一个很有前途的方向。现有的数据集要么只提供少量的数据,要么覆盖有限的领域,并提供完整的注释,这阻碍了对大规模预训练模型的探索。在这里,我们发布了一个用于自动驾驶的大规模2D自/半监督目标检测数据集,名为SODA 10 M,包含1000万张未标记图像和20 K张标记有6个代表性对象类别的图像。为了提高多样性,图像是在27833个驾驶小时内收集的,在32个不同城市的不同天气条件,时期和位置场景。我们提供了广泛的实验和深入分析现有流行的自我/半监督的方法,并给出了一些有趣的发现在自动驾驶范围。实验表明,SODA 10 M可以作为不同自监督学习方法的有前途的预训练数据集,当与不同的下游任务(即,检测、语义/实例分割)。更多信息可以参考https://soda-2d.github.io。
2021-11-08 cs.CV
TS-VLM: Text-Guided SoftSort Pooling for Vision-Language Models in Multi-View Driving Reasoning
Department of Electrical and Computer Engineering, Western University(电气与计算机工程系,西方大学)
针对现有视觉语言模型在自动驾驶多视角推理中计算开销大、多视角数据整合效率低的问题,提出集成文本引导SoftSort池化模块的轻量级模型TS-VLM,在DriveLM基准上性能优于现有最优模型且大幅降低计算成本。
2025-05-19 cs.CV
FreeVS: Generative View Synthesis on Free Driving Trajectory
School of Future Technology, University of Chinese Academy of Sciences (UCAS)(中国科学院大学未来技术学院);Institute of Automation, Chinese Academy of Sciences (CASIA)(中国科学院自动化研究所);Center for Artificial Intelligence and Robotics, HKISI, CAS(中国科学院香港智能科学中心人工智能与机器人中心)
FreeVS提出一种全生成式驾驶场景视图合成方法,通过伪图像视图先验控制生成过程,摆脱对记录轨迹的依赖,可在自由新轨迹上合成3D一致的相机视图,并在Waymo数据集上验证了其有效性。
2024-10-23 cs.CV
GIM: A Million-scale Benchmark for Generative Image Manipulation Detection and Localization
Shanghai Jiao Tong University(上海交通大学);Tsinghua University(清华大学)
针对图像篡改检测与定位任务缺乏大规模数据的问题,本文构建数据生成流水线,推出百万级GIM数据集与基准,并提出GIMFormer框架,实验证明其性能超越现有最优方法。
2025-01-13 cs.CV
DRUformer: Enhancing the driving scene Important object detection with driving relationship self-understanding
Nagoya University(名古屋大学)
针对现有驾驶场景重要目标检测忽略参与者关联的问题,提出融合驾驶意图与参与者关系的多模态Transformer模型DRUformer,在DRAMA数据集上mIoU和ACC较SOTA分别提升16.2%、12.3%。
2023-12-14 cs.AI cs.CV
ContextVLM: Zero-Shot and Few-Shot Context Understanding for Autonomous Driving using Vision Language Models
Carnegie Mellon University(卡内基梅隆大学)
本文提出ContextVLM框架,利用视觉语言模型以零样本和少样本方式识别24种驾驶环境上下文,并构建了包含160万对样本的DrivingContexts数据集,在实时运行条件下实现超过95%的检测准确率。
2024-08-30 cs.CV
Fool Me Once: Robust Selective Segmentation via Out-of-Distribution Detection with Contrastive Learning
University of Oxford(牛津大学);Oxford Robotics Institute(牛津大学机器人研究所)
在这项工作中,我们训练一个网络,同时进行分割和像素的分布(OoD)检测,这样的场景的未知区域的分割可以被拒绝。这是通过利用OoD数据集与一个新的对比目标和数据增强计划。通过组合包括训练数据中的未知类别的数据,可以学习具有与那些未知类别不同地表示的已知类别的更鲁棒的特征表示。当存在未知类别或条件时,许多当前的分割方法经常在其不准确的分割中表现出高置信度,并且在许多操作环境中不能被信任。我们在真实世界的不寻常驾驶场景数据集上验证了我们的系统,并表明通过基于预测的OoD选择性地分割场景,我们可以通过相对于替代技术的0.2的IoU来提高分割精度。
2021-03-01 cs.CV cs.RO
DSEC: A Stereo Event Camera Dataset for Driving Scenarios
University of Zurich(苏黎世大学);ETH Zurich(苏黎世联邦理工学院)
自动驾驶曾经是一项学术事业,在过去十年中获得了无与伦比的企业资助。尽管如此,目前自动驾驶汽车的运行条件大多局限于理想场景。这意味着在夜间、日出和日落等具有挑战性的照明条件下驾驶仍然是一个悬而未决的问题。在这些情况下,标准相机在低光和高动态范围性能方面被推到了极限。为了解决这些挑战,我们提出,DSEC,一个新的数据集,包含这样苛刻的照明条件,并提供了丰富的感官数据集。DSEC提供来自两台彩色帧相机和两台高分辨率单色事件相机的宽基线立体设置的数据。此外,我们还收集激光雷达数据和RTK GPS测量数据,这两种硬件都与所有相机数据同步。该数据集的一个显著特征是包含高分辨率事件相机。事件摄像机因其高时间分辨率和高动态范围的性能而受到越来越多的关注。然而,由于其新颖性,驾驶场景中的事件相机数据集很少。这项工作提出了第一个高分辨率,大规模的立体数据集与事件相机。该数据集包含53个序列,通过在各种照明条件下驾驶收集,并为基于事件的立体算法的开发和评估提供地面真实视差。
2021-03-10 cs.CV cs.RO
LAION-Mobile: Evaluating Deepfake Detectors On One Million Smartphone Photos
Stralsund University(施特拉尔松德大学);IMLA, Offenburg University(奥芬堡大学IMLA)
本文提出LAION-Mobile数据集,含百万智能手机照片,评估十二种深度伪造检测器,发现现代AI内容上性能低下且真实照片误报率高,揭示现有检测器在计算摄影时代的局限性。
2026-09-11 cs.CV
PDB: Not All Drivers Are the Same -- A Personalized Dataset for Understanding Driving Behavior
University of California, Riverside(加利福尼亚大学河滨分校);Southwest Jiaotong University(西南交通大学);InfoTech Labs, Toyota Motor North America(丰田北美信息技术实验室)
本文提出个性化驾驶行为数据集PDB,通过多模态传感器采集12名驾驶员在一致路线和车辆条件下的自然驾驶数据,支持驾驶员识别、人因分析和个性化出行应用。
2026-10-20 cs.AI cs.CV
AuxNet: Auxiliary tasks enhanced Semantic Segmentation for Automated Driving
Valeo Troy(法雷奥特洛伊);Valeo Vision Systems(法雷奥视觉系统);University of Michigan-Dearborn(密歇根大学迪尔伯恩分校)
自动驾驶中的决策是高度特定于环境的,因此语义分割在识别汽车周围环境中的对象方面起着关键作用。像素级分类曾经被认为是一项具有挑战性的任务,现在已经成熟到可以在汽车中产品化。然而,语义标注是耗时且相当昂贵的。具有领域自适应技术的合成数据集已被用于缓解大型注释数据集的缺乏。在这项工作中,我们探索了一种替代方法,利用其他任务的注释,以提高语义分割。最近,多任务学习成为自动驾驶中的一种流行范式,这表明多个任务的联合学习可以提高每个任务的整体性能。受此启发,我们使用辅助任务,如深度估计,以提高性能的语义分割任务。我们提出了自适应任务损失加权技术,以解决规模问题的多任务损失函数,变得更加关键的辅助任务。我们在包括SYNTHIA和KITTI在内的汽车数据集上进行了实验,准确率分别提高了3%和5%。
2019-01-17 cs.CV cs.LG stat.ML
FastDriveVLA: Efficient End-to-End Driving via Plug-and-Play Reconstruction-based Token Pruning
针对VLA模型长视觉令牌计算成本高、现有剪枝方法在自动驾驶场景表现差的问题,提出即插即用重建式剪枝框架FastDriveVLA,在nuScenes开环规划基准不同剪枝率下均取得SOTA结果。
2025-11-14 cs.AI cs.CV
Cognitive Accident Prediction in Driving Scenes: A Multimodality Benchmark
National University of Singapore(新加坡国立大学)
针对现有驾驶事故预测方法适配长尾数据差、环境鲁棒性弱的问题,提出融合文本描述与驾驶员注意力的CAP方法,构建大规模CAP-DATA基准,实验验证其性能优于现有最优方法。
2023-06-16 cs.AI cs.CV
You Only Crash Once: Improved Object Detection for Real-Time, Sim-to-Real Hazardous Terrain Detection and Classification for Autonomous Planetary Landings
University at Buffalo, The State University of New York(纽约州立大学布法罗分校)
在航天器的行星着陆过程中,危险地形的探测对于保证航天器的安全和任务的成功起着至关重要的作用。探测危险地形的一个廉价而有效的方法是使用视觉摄像机,它确保从进入大气层到着陆的操作能力。受资源限制和计算能力有限的困扰,传统的视觉危险地形检测技术主要集中在模板匹配和注册到预先构建的危险地图。虽然在以前的任务中取得了成功,但这种方法受到模板的特殊性的限制,并受到基本危险图的保真度的限制,这两者都需要大量的飞行前费用和努力来获得和开发。在自动驾驶等应用中执行类似任务的陆地系统利用最先进的深度学习技术来成功定位和分类导航危险。旨在加速深度学习推理的航天器协处理器的进步使这些方法首次在太空中应用。在这项工作中,我们介绍了You Only Crash Once(YOCO),这是一种基于深度学习的视觉危险地形检测和分类技术,用于自主航天器行星着陆。通过使用无监督的领域自适应,我们通过模拟量身定制YOCO进行训练,消除了对真实世界注释数据和昂贵的任务测量阶段的需求。通过视觉相似性聚类,我们进一步提高了模拟和现实世界之间的代表性地形知识的转移。我们通过一系列地面和地外模拟到真实的实验证明了YOCO的实用性,并显示出对行星地形的检测和准确分类能力的实质性改进。
2023-03-08 cs.AI cs.CV cs.LG
VLM-CASE: Vision-Language Model Enabled Context-Adaptive Safety Envelopes for Anticipatory Safe Autonomous Driving
Department of Civil and Environmental Engineering, The Pennsylvania State University(宾夕法尼亚州立大学土木与环境工程系);Department of Civil Engineering, Stony Brook University(石溪大学土木工程系)
针对恶劣工况下自动驾驶感知与性能退化、仅能事后响应的问题,提出基于微调VLM的上下文自适应安全包络框架,实现前瞻安全控制,在多场景仿真中性能优于基线方法。
2026-07-07 cs.CV cs.RO cs.SY