Perception Imitation: Towards Synthesis-free Simulator for Autonomous Vehicles
The Chinese University of Hong Kong(香港中文大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Tongji University(同济大学);Centre for Perceptual and Interactive Intelligence Limited(感知与交互智能中心有限公司)
本文提出感知模仿方法,通过直接模拟感知模型结果,探索无需数据合成的自动驾驶模拟器新路线,并验证其有效性与下游任务适用性。
2023-04-19 cs.CV cs.RO
TruPercept: Trust Modelling for Autonomous Vehicle Cooperative Perception from Synthetic Data
University of Waterloo(滑铁卢大学);University of Toronto(多伦多大学)
自动驾驶车辆(AV)的车辆间通信在感知鲁棒性方面具有显著的优势。我们提出了一种新的方法,AV通信感知的观察,锻炼的同行提供报告的信任建模。基于如本地验证的所报告的目标检测的准确性,可以融合所传送的消息以增强视线之外以及距本车辆很远距离处的感知性能。还提出了一种新的合成数据集,可用于测试合作感知。TruPercept数据集包括不可靠和恶意的行为场景,以试验合作感知带来的一些挑战。TruPercept运行时和评估框架允许模块化组件更换,以促进消融研究以及创建我们能够展示的新信任场景。
2019-09-17 cs.CV cs.MA cs.RO
To New Beginnings: A Survey of Unified Perception in Autonomous Vehicle Software
Technical University of Munich(慕尼黑技术大学);School of Engineering & Design(工程与设计学院);Department of Mobility Systems Engineering(移动系统工程系);Institute of Automotive Technology(汽车技术研究所);Munich Institute of Robotics and Machine Intelligence (MIRMI)(慕尼黑机器人与智能机械研究所)
本文综述自动驾驶统一感知,提出按任务整合、跟踪建模与表示流划分的分类法及三种范式,梳理方法、架构、训练、数据集与开源现状,并指明研究方向。
2025-08-28 cs.CV cs.RO
Selective Communication for Cooperative Perception in End-to-End Autonomous Driving
Carnegie Mellon University(卡内基梅隆大学)
针对端到端自动驾驶中视野受限问题,本文提出一种选择性通信算法,利用轻量级感知网络选择对导航规划最关键的协同车辆,在安全关键场景仿真中以极低通信开销取得比随机选择更高的成功率。
2023-05-26 cs.CV cs.RO
UniDriveVLA: Unifying Understanding, Perception, and Action Planning for Autonomous Driving
Huazhong University of Science and Technology(华中科技大学);SKL-IOTSC, University of Macau(澳门大学智慧城市物联网国家重点实验室)
UniDriveVLA通过专家解耦和三阶段训练策略,解决自动驾驶中感知与推理的冲突,实现空间感知与语义推理的统一,取得nuScenes和Bench2Drive的优异性能。
2026-04-02 cs.CV cs.RO
Symbolic Perception Risk in Autonomous Driving
Lehigh University(理海大学)
我们开发了一个新的框架来评估存在外源性噪音的交通标志分类任务中的误解风险。我们在自动驾驶环境中考虑这个问题,由于分辨率的提高,视觉输入质量逐渐提高,并且由于到交通标志的距离减小,噪声减少。使用使用标准分类算法获得的估计感知统计数据,我们的目标是量化错误感知的风险,以减轻不完美的视觉观察的影响。通过探索感知输出,他们的预期高层次的行动,和潜在的成本,我们展示了封闭形式的代表性的条件风险价值(CVaR)的误解。几个案例研究支持我们提出的方法的有效性。
2023-03-16 cs.CV cs.RO
Panoptic Perception for Autonomous Driving: A Survey
Oakland University(奥克兰大学)
本综述系统回顾了自动驾驶领域的全景感知模型,比较了其输入、架构及在性能、响应速度和资源利用率上的表现,并探讨了当前挑战与未来研究方向,为相关研究提供了重要参考。
2024-08-27 cs.CV cs.LG cs.RO
Camera-Radar Perception for Autonomous Vehicles and ADAS: Concepts, Datasets and Metrics
Institute of Mathematical and Computer Sciences (ICMC)(数学与计算机科学学院(ICMC))
减少交通事故的主要途径之一是通过驾驶员辅助系统甚至完全自主的系统来提高车辆安全性。在这些类型的系统中,障碍物检测和分割等任务,特别是基于深度学习的任务,在场景理解中发挥着基础作用,以实现正确和安全的导航。除此之外,如今车辆中各种各样的传感器提供了丰富的替代方案,以提高在具有挑战性的情况下的感知鲁棒性,例如在照明和恶劣天气条件下的导航。尽管目前的重点给予这个问题,文献缺乏对基于雷达和雷达相机融合的感知研究。因此,这项工作的目的是对ADAS和自动驾驶汽车当前基于摄像头和雷达的感知场景进行研究。这两个传感器的概念和特点,以及他们的融合,提出。此外,我们还概述了基于深度学习的检测和分割任务,以及车辆感知中的主要数据集、指标、挑战和未决问题。
2023-03-08 cs.AI cs.CV cs.RO
From perception to control: an autonomous driving system for a formula student driverless car
Beijing Institute of Technology(北京理工大学)
本文介绍了在2018年中国方程式学生自主驾驶比赛(FSAC)中获胜的“智能鲨鱼II”的自主驾驶系统。在这项比赛中,一辆自主赛车需要在未知的赛道上自主完成两圈。本文介绍了该赛车的自动驾驶软件结构,保证了车辆的高速性和安全性。关键部件保证了赛车的稳定行驶,基于LiDAR和视觉的圆锥检测提供了冗余感知;基于EKF的定位提供了高精度和高频率的状态估计;感知结果通过占用网格地图在时间和空间上积累。在得到运动轨迹后,采用模型预测控制算法对赛车的纵向和横向控制进行优化。最后,基于真实世界的数据的实验的性能。
2019-08-31 cs.CV cs.RO
A holistic perception system of internal and external monitoring for ground autonomous vehicles: AutoTRUST paradigm
Industrial Systems Institute, ATHENA Research Center, Patras Science Park, Greece(工业系统研究所,ATHENA研究中心,帕特拉斯科学公园,希腊);AviSense.AI, Patras Science Park, Greece(AviSense.AI,帕特拉斯科学公园,希腊);Information Technologies Institute, CERTH, Greece(信息科技研究所,CERTH,希腊);KIOS Research and Innovation Center of Excellence, University of Cyprus, Cyprus(KIOS研究与创新中心,塞浦路斯大学,塞浦路斯)
本文提出一种用于地面自动驾驶车辆内外监测的整体感知系统AutoTRUST范式,集成多摄像头、大语言模型、智能传感器及LiDAR语义分割技术,实验验证其模块化模块性能与效率提升。
2025-08-25 cs.CV cs.RO
EPSM: A Novel Metric to Evaluate the Safety of Environmental Perception in Autonomous Driving
University of Tübingen, Faculty of Science, Department of Computer Science, Embedded Systems Group(图宾根大学,科学学院,计算机科学系,嵌入式系统组)
EPSM提出了一种新的安全指标,用于评估自动驾驶中环境感知系统的安全性能,通过整合物体和车道检测任务的相互依赖性,识别传统指标无法捕捉的安全关键错误。
2025-12-17 cs.CV cs.RO
Intelligent Perception System for Vehicle-Road Cooperation
随着自动驾驶的发展,单个车辆自动驾驶技术的提升已经到了瓶颈。车路协同自动驾驶技术的进步,可以扩大车辆的感知范围,补充感知盲区,提高感知精度,推动自动驾驶技术的发展,实现车路融合。本项目主要利用激光雷达开发数据融合方案,实现车辆和道路设备数据的共享和融合,实现对动态目标的检测和跟踪。同时,设计了车路协同感知系统的测试场景,对车路协同感知系统进行了测试,验证了车路协同自主驾驶相对于单车自主驾驶的优势。
2022-08-30 cs.AI cs.RO
V2V-LLM: Vehicle-to-Vehicle Cooperative Autonomous Driving with Multimodal Large Language Models
NVIDIA;Carnegie Mellon University(卡内基梅隆大学)
本文提出基于多模态大语言模型的V2V-LLM,通过车与车协同感知提升自动驾驶安全性和性能。
2026-02-16 cs.CV cs.RO
ZOPP: A Framework of Zero-shot Offboard Panoptic Perception for Autonomous Driving
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);The Chinese University of Hong Kong(香港中文大学)
提出ZOPP框架,融合视觉基础模型与点云3D表示,实现自动驾驶场景的零样本多模态离线全景感知与自动标注,在Waymo数据集上验证了其有效性和下游应用潜力。
2024-11-08 cs.CV cs.RO
Collaborative Perception Datasets in Autonomous Driving: A Survey
FZI Research Center for Information Technology(FZI信息技术研究中心);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
本综述系统比较了V2I、V2V和V2X场景下的自动驾驶协同感知数据集,分析了其多样性、传感器设置与可用性,指出了领域偏移等挑战,并强调了隐私安全与全球协作的重要性。
2024-04-22 cs.CV cs.RO
Testing the Safety of Self-driving Vehicles by Simulating Perception and Prediction
Uber Advanced Technologies Group(优步先进技术集团);University of Toronto(多伦多大学);Shanghai Jiao Tong University(上海交通大学)
我们提出了一种在模拟中测试自动驾驶车辆安全性的新方法。我们提出了一种替代传感器模拟,传感器模拟是昂贵的,有很大的领域差距。相反,我们直接模拟自动驾驶汽车的感知和预测系统的输出,从而实现逼真的运动规划测试。具体来说,我们使用以地面真实标签和真实感知和预测输出形式的成对数据来训练预测在线系统将产生什么的模型。重要的是,我们系统的输入包括高清晰度的地图、边界框和轨迹,测试工程师可以在几分钟内轻松绘制。这使得我们的方法成为一个更具可扩展性的解决方案。两个大规模数据集上的定量结果表明,我们可以现实地测试运动规划使用我们的模拟。
2020-08-13 cs.CV cs.LG cs.RO
Implementation of Road Safety Perception in Autonomous Vehicles in a Lane Change Scenario
Johannes Kepler University Linz(林茨约翰内斯·开普勒大学)
理解人类驾驶行为对于开发自动驾驶汽车算法至关重要。然而,大多数低级自动化,例如高级驾驶辅助系统(ADAS)中的自动化,都是基于客观的安全措施,这些措施并不总是与驾驶员认为安全的内容及其相应的驾驶行为保持一致。本文分析了在主观感知和客观安全措施之间寻找桥梁的问题,特别关注换道场景。结果表明,什么是被认为是安全的驾驶员和客观的指标,这取决于具体的机动和位置的司机之间的统计显着差异。
2022-11-02 cs.RO
Public Perceptions of Autonomous Vehicles: A Survey of Pedestrians and Cyclists in Pittsburgh
George Mason University(乔治·马歇尔大学)
本研究基于匹兹堡超1200名受访者的调查数据,探讨了行人和骑行者对自动驾驶车辆的感知,揭示了人口差异、基础设施差距及沟通教育在AV采用中的关键作用。
2025-06-20 cs.CY cs.RO
Deep Neural Network Perception Models and Robust Autonomous Driving Systems
Waterloo Artificial Intelligence Institute(滑铁卢人工智能研究所);Department of Systems Design Engineering, University of Waterloo(滑铁卢大学系统设计工程系);David Cheriton school of Computer science, University of Waterloo(滑铁卢大学戴维·谢里顿计算机学院);University of Waterloo(滑铁卢大学)
本文分析了自动驾驶应用中深度学习模型的鲁棒性,并讨论了解决该问题的实用解决方案。
2020-03-04 cs.CV cs.LG cs.RO
Situation-aware Autonomous Driving Decision Making with Cooperative Perception on Demand
National University of Singapore(新加坡国立大学)
本文提出按需协同感知策略CPoD,仅在态势感知需要扩展感知范围时激活协同感知,并将其建模为POMDP在线求解,以提升城市道路自动驾驶决策的安全性与效率。
2024-09-03 cs.RO
Extended Visibility of Autonomous Vehicles via Optimized Cooperative Perception under Imperfect Communication
School of Computing, Clemson University(克莱姆森大学计算机学院);Lincoln Laboratory, Massachusetts Institute of Technology(麻省理工学院林肯实验室)
针对自动驾驶车辆个体感知在复杂场景下的局限性,提出不完美通信下的优化协同感知框架,通过车辆选择与通信资源优化提升感知质量,实验显示检测准确率提升约10%,可增强自动驾驶安全性。
2025-03-23 cs.RO
A Review of Testing Object-Based Environment Perception for Safe Automated Driving
RWTH Aachen University(亚琛工业大学);Institute for Automotive Engineering(汽车工程研究所)
自动驾驶系统的安全保证必须考虑不确定的环境感知。本文回顾了文献解决如何感知测试实现安全保证的一部分。我们专注于在感知和规划之间的接口进行验证和确认目的的测试,并沿着三个轴构建我们的分析:1)测试标准和度量,2)测试场景,3)参考数据。此外,分析的文献包括相关的安全标准,安全无关的感知算法基准测试和传感器建模。我们发现,实现安全感知测试仍然是一个悬而未决的问题,因为有关的三个测试轴和它们的相互依赖性的挑战目前似乎没有得到充分解决。
2021-02-16 cs.CV cs.RO cs.SY
Cooperative Perception with Deep Reinforcement Learning for Connected Vehicles
Carnegie Mellon University(卡内基梅隆大学);InfoTech Labs, Toyota Motor North America R&D(丰田北美研发公司InfoTech实验室)
基于传感器的车辆感知对于提高道路安全性变得越来越普遍和重要。自动驾驶系统使用摄像头、激光雷达和雷达来检测周围的物体,而人类驾驶的车辆则使用它们来辅助驾驶员。然而,单个车辆的环境感知在覆盖范围和/或检测精度上具有限制。例如,车辆无法检测到被其他移动/静态障碍物遮挡的物体。在本文中,我们提出了一个合作的感知方案与深度强化学习,以提高周围物体的检测精度。通过使用深度强化学习来选择要传输的数据,我们的方案减轻了车载通信网络中的网络负载,提高了通信可靠性。为了设计,测试和验证的合作感知方案,我们开发了一个合作与智能车辆仿真(CIVS)平台,它集成了三个软件组件:交通模拟器,车辆模拟器和对象分类器。我们评估,我们的计划减少数据包丢失,从而提高检测精度高达12%,相比基线协议。
2020-04-23 cs.AI cs.LG cs.RO
Leveraging Large Language Models for Enhancing Autonomous Vehicle Perception
School of Science(理学院)
本文提出将大语言模型集成到自动驾驶车辆感知框架中,以增强上下文理解、传感器融合与决策支持,实验证明其可提升感知准确性与可靠性,并借助记忆模块和自适应学习实现持续改进。
2024-12-28 cs.AI cs.RO
Optimal Trajectory Generation for Autonomous Vehicles Under Centripetal Acceleration Constraints for In-lane Driving Scenarios
本文提出了一种新的方法,生成最佳轨迹的自动驾驶车辆在车道内行驶的情况下。该方法使用两阶段优化过程来计算轨迹。在第一阶段,优化过程产生一个封闭形式的驾驶指导线与可重构的曲率。在第二阶段,该程序以行驶引导线为输入,输出车辆沿引导线行驶的动态可行、加加速度和时间最优轨迹。该方法对于在弯曲道路上生成轨迹特别有用,其中车辆需要施加频繁的加速和减速以适应向心加速度限制。
2021-12-03 cs.RO
Towards Sensor Data Abstraction of Autonomous Vehicle Perception Systems
University of Kassel, Germany(卡塞尔大学)
本文提出通过传感器数据抽象提升自动驾驶感知系统在不同传感器设置下的迁移能力。
2025-11-24 cs.RO
Clustering of Driving Encounter Scenarios Using Connected Vehicle Trajectories
Carnegie Mellon University(卡内基梅隆大学);University of Michigan(密歇根大学)
多车辆交互行为分类和分析提供了深入的知识,为自动驾驶车辆做出有效的决策。本文的目的是聚类的驾驶遭遇的情况下,仅基于多车辆GPS轨迹的范围广泛。为此,我们提出了一个通用的无监督学习框架,包括两层:特征表示层和聚类层。在特征表示层中,我们将深度自动编码器与基于距离的度量相结合,将驾驶遭遇的顺序观察映射到一个计算上易于处理的空间中,该空间允许量化两辆车的时空交互特征。聚类算法,然后应用到所提取的表示收集同质的驾驶遇到成组。我们提出的通用框架,然后使用2,568自然驾驶遭遇进行评估。实验结果表明,我们提出的通用框架结合无监督学习可以聚类多轨迹数据到不同的群体。这些聚类结果可以为自主车辆的决策分析和设计提供参考。
2019-03-16 cs.RO
EcoFusion: Energy-Aware Adaptive Sensor Fusion for Efficient Autonomous Vehicle Perception
University of California, Irvine(加州大学欧文分校)
本文提出EcoFusion能量感知自适应传感器融合方法,利用上下文动态调整融合策略,在Nvidia Drive PX2平台上以约60%更少能耗和58%更低延迟实现最高9.5%的目标检测性能提升。
2022-02-23 cs.CV cs.RO cs.SY
Cautious Planning with Incremental Symbolic Perception: Designing Verified Reactive Driving Maneuvers
Lehigh University(利哈伊大学);Eindhoven University of Technology(埃因霍温理工大学)
这项工作提出了一个步骤,利用逐步提高机器人的周围环境的符号感知知识,可证明正确的反应控制合成应用于自动驾驶问题。结合运动控制和信息收集的抽象模型,我们表明,假设保证规范(线性时序逻辑的一个子类)可以用来定义和解决谨慎规划的交通规则。我们提出了一种新的表示称为符号细化树的感知,捕捉增量知识的环境,体现了各种符号感知输入之间的关系。利用增量知识来合成机器人的验证反应计划。案例研究表明,所提出的方法在合成控制输入的有效性,即使在部分闭塞的环境。
2022-09-20 cs.RO
An Anomaly Behavior Analysis Framework for Securing Autonomous Vehicle Perception
The University of Arizona(亚利桑那大学)
本文提出融合基于物理的车辆行为模型与机器学习的异常行为分析框架,通过时序特征识别感知传感器攻击,并在真实测试床实验中验证有效性且发布首个相关数据集。
2024-04-04 cs.RO cs.SY eess.SY
Graph and Recurrent Neural Network-based Vehicle Trajectory Prediction For Highway Driving
Nanyang Technological University(南洋理工大学);University of Oxford(牛津大学)
将轨迹预测集成到模块化自动驾驶系统的决策和规划模块中,有望提高自动驾驶车辆的安全性和效率。然而,车辆的未来轨迹预测是一个具有挑战性的任务,因为它是由相邻车辆的社会互动行为的影响,和相邻车辆的数量可以在不同的情况下变化。本文提出了一种基于GNN-RNN的编码器-解码器网络用于交互感知轨迹预测,其中使用RNN从车辆的历史轨迹中提取车辆的动态特征,车辆间的交互由有向图表示并使用GNN编码。GNN的并行性意味着所提出的方法有可能同时预测多个车辆的轨迹。从NGSIM US-101数据集提取的数据集上的评估表明,所提出的模型是能够预测目标车辆的轨迹的情况下,与周围的车辆数量可变。
2021-07-08 cs.RO
When Autonomous Vehicle Meets V2X Cooperative Perception: How Far Are We?
Guangzhou University(广州大学);Nanyang Technological University(南洋理工大学);Shenzhen Research Institute of Nanjing University(南京大学深圳研究院)
本文通过大规模实证研究识别 V2X 协同感知的六类错误模式,并评估传感器、通信与融合方案,揭示其性能差异、违规风险及通信干扰脆弱性。
2025-09-29 cs.AI cs.RO cs.SE
Deep Learning and Control Algorithms of Direct Perception for Autonomous Driving
基于自动驾驶的直接感知范式,我们研究并修改了CNN(卷积神经网络)AlexNet和GoogLeNet,它们将输入图像映射到几个感知指标(航向角,与前车的距离和与道路中心线的距离),以估计高速公路交通中的驾驶启示。我们还设计了一个控制器,这些指标和短距离传感器信息的TORCS(开放式赛车模拟器)驾驶模拟汽车,以避免碰撞。我们在各种驾驶场景中从TORCS相机收集了一组图像,使用数据集训练这些CNN,在看不见的交通中测试它们,发现它们在训练效率和驾驶稳定性方面比早期的算法和控制器表现得更好。源代码和数据可以在我们的网站上找到。
2019-11-12 cs.LG cs.RO
Estimating Risk Levels of Driving Scenarios through Analysis of Driving Styles for Autonomous Vehicles
University of Science and Technology of China(中国科学技术大学);Carnegie Mellon University(卡内基梅隆大学)
为了在道路上安全行驶,自动驾驶汽车不仅需要能够识别前方的物体,还需要能够自动估计前方物体的风险等级。很明显,不同的物体对自动驾驶汽车的危险程度不同。自动驾驶汽车需要一个评估系统来自动确定物体的危险程度。如果系统完全由人来定义,那就太主观,太不完整了。在此基础上,提出了一种基于非参数贝叶斯学习方法的框架--粘性层次狄利克雷过程隐马尔可夫模型(sticky HDP-HMM),并发现了驾驶场景与驾驶风格之间的关系。我们使用自动驾驶汽车的驾驶风格的分析,以反映驾驶场景的车辆的风险水平。在该框架中,首先使用粘性HDP-HMM从数据集中提取驾驶风格,得到不同的聚类,然后提出一个评价体系对聚类的紧急程度进行评价和排序。最后,我们将驾驶场景映射到排名结果,从而得到不同风险级别的驾驶场景聚类。更重要的是,我们发现驾驶场景和驾驶风格之间的关系。实验结果表明,该框架能够对不同紧急程度的驾驶风格进行聚类和排序,发现驾驶场景与驾驶风格之间的关系,得出的结论也符合人们的驾驶常识。此外,该框架可用于自动驾驶汽车,以估计驾驶场景的风险水平,并帮助他们做出准确和安全的决策。
2019-04-23 cs.HC cs.RO
Real-time Vehicle-to-Vehicle Communication Based Network Cooperative Control System through Distributed Database and Multimodal Perception: Demonstrated in Crossroads
Zhejiang University(浙江大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Michigan(密歇根大学)
本文提出基于V2V通信的网络协同控制系统VVCCS,结合分布式数据库和多模态感知,在Qcar平台上实现宏观交通规划与碰撞避免,并通过十字路口演示验证其在复杂城市环境中的潜力。
2024-10-23 cs.AI cs.RO cs.SY
An Autonomous Driving Model Integrated with BEV-V2X Perception, Fusion Prediction of Motion and Occupancy, and Driving Planning, in Complex Traffic Intersections
本文提出一种集成BEV-V2X感知、IMM-UKF融合预测与DRL决策规划的自动驾驶模型,在复杂路口仿真中实现了类人驾驶与多任务行为优化。
2024-04-22 cs.RO
Leveraging Temporal Contexts to Enhance Vehicle-Infrastructure Cooperative Perception
Shenzhen Automotive Research Institute, Beijing Institute of Technology(北京理工大学深圳汽车研究院);School of Mechanical Engineering, Beijing Institute of Technology(北京理工大学机械工程学院);Institute for AI Industry Research, Tsinghua University(清华大学人工智能产业研究院);School of Computer Science, The University of Hong Kong(香港大学计算机学院)
本文提出CTCE框架,通过时间上下文增强查询和运动感知重建模块,在有限带宽和通信中断下提升车路协同3D目标检测性能,在V2X-Seq和V2X-Sim数据集上超越基线QUEST。
2024-08-20 cs.RO
Towards Fully Intelligent Transportation through Infrastructure-Vehicle Cooperative Autonomous Driving: Challenges and Opportunities
PerceptIn(感知创新公司);South China University of Technology(华南理工大学);Northwestern University(西北大学)
基础设施-车辆协同自动驾驶方法依赖于智能道路和智能车辆之间的合作。与传统的车载自动驾驶方法相比,这种方法不仅更安全,而且更经济。在本文中,我们介绍了我们在协作自动驾驶领域的实际部署经验,并深入探讨了新挑战和机遇的细节。具体而言,根据我们在商业部署方面的进展,我们遵循了合作自动驾驶方法的三个阶段发展路线图:基础设施增强自动驾驶(IAAD),基础设施引导自动驾驶(IGAD)和基础设施规划自动驾驶(iPad)。
2021-03-03 cs.AR cs.NI cs.RO
A Brain-Inspired Perception-Decision Driving Model Based on Neural Pathway Anatomical Alignment
针对传统自动驾驶感知决策缺乏可解释性与鲁棒性的问题,提出基于神经通路解剖对齐的脑启发驾驶框架,结合脑启发感知与决策技术,显著提升多任务性能并成功实现端到端自动驾驶。
2025-02-22 cs.NE cs.RO
Project AutoVision: Localization and 3D Scene Perception for an Autonomous Vehicle with a Multi-Camera System
DSO National Laboratories(DSO国家实验室);ETH Zürich(苏黎世联邦理工学院);National University of Singapore(新加坡国立大学);MPI-IS and University of Tübingen(马克斯·普朗克智能系统研究所和图宾根大学);Microsoft, Switzerland(微软瑞士);Chalmers University of Technology, Sweden(瑞典查尔姆斯理工大学)
AutoVision项目旨在为自动驾驶汽车开发本地化和3D场景感知功能。这种能力将使城市和农村环境中的自主导航成为可能,无论白天还是黑夜,摄像头都是唯一的外部感受传感器。传感器套件采用了许多摄像头来实现360度覆盖和精确的多视图立体视觉;低成本摄像头的使用使该传感器套件的成本保持在最低水平。此外,该项目还寻求扩展操作包线,以包括无GNSS条件,这些条件通常适用于高层建筑,树叶和隧道的环境。重点是利用多视图几何和深度学习,使车辆能够在3D空间中定位和感知。本文介绍了该项目的概述,并介绍了传感器套件和当前的进展,在校准,定位和感知领域。
2019-03-05 cs.RO
Zhuyi: Perception Processing Rate Estimation for Safety in Autonomous Vehicles
Harvard University(哈佛大学);NVIDIA Corporation(英伟达公司)
自动驾驶汽车(AV)在复杂场景中对高精度感知的处理要求可能超过车载计算机提供的资源,从而降低安全性和舒适性。本文提出了一种传感器帧处理速率(FPR)估计模型,朱毅,量化的最低安全FPR连续驾驶场景。部署后,可以使用“朱易”进行在线安全检查,并确定工作的优先级。使用多摄像头最先进的工业AV系统进行的实验表明,Zhuyi估计的FPR是保守的,但与测试场景中默认的30-FPR系统相比,该系统可以通过处理36%或更少的帧来保持安全性。
2022-05-06 cs.AI cs.RO
A Driving Intention Prediction Method Based on Hidden Markov Model for Autonomous Driving
在自动驾驶车辆和人类驾驶车辆同时存在的混合交通场景中,及时预测附近人类驾驶车辆的驾驶意图对于自动驾驶车辆的安全和高效驾驶至关重要。提出了一种基于隐马尔可夫模型(HMM)的自动驾驶汽车驾驶意图预测方法。代表不同的驾驶意图的障碍训练和测试与现场收集的数据从立交桥。在训练模型时,应用车辆的移动性特征的离散或连续表征。实验结果表明,利用连续表征的移动性特征训练的Hacker用于驾驶意图预测时,具有较高的预测精度。此外,当考虑车辆周围交通时,所提出的预测方法的性能得到进一步改善。
2019-02-25 cs.LG cs.RO stat.ML
Self-Driving like a Human driver instead of a Robocar: Personalized comfortable driving experience for autonomous vehicles
Seamless Transportation Lab (STL)(无缝交通实验室);Yonsei University(延世大学)
为了给自动驾驶汽车用户提供个性化的舒适驾驶体验,提出了一种基于个人驾驶偏好的自动驾驶汽车集成控制系统。我们提出了一个乘客的偏好度量(OPM),这是定义一个首选的横向和纵向加速度区域的最大允许加加速度为用户。此外,我们提出了一个车辆控制器的控制参数的基础上,使集成的横向和纵向控制,通过自主车辆的偏好感知操纵。该系统不仅提供了乘员驾驶偏好的标准,还提供了个性化的自动驾驶风格,就像人类驾驶员而不是Robocar一样。仿真和实验结果表明,该系统可以像人类驾驶员一样操纵自动驾驶汽车,通过跟踪指定的标准,允许的加速度和加加速度。
2022-11-18 cs.RO cs.SY eess.SY
Attention-based Neural Network for Driving Environment Complexity Perception
Virginia Tech(弗吉尼亚理工大学)
环境感知对于自动驾驶汽车(AV)的安全至关重要。现有的AV感知算法大多没有研究周围环境的复杂性,也没有考虑环境复杂性参数。提出了一种新的基于注意力的神经网络模型来预测周围驾驶环境的复杂程度。该模型以自然驾驶视频和相应的车辆动力学参数作为输入。它由Yolo-v3目标检测算法、热图生成算法、基于CNN的特征提取器和基于注意力的特征提取器组成,用于视频和时间序列车辆动态数据输入以提取特征。所提出的算法的输出是周围环境的复杂性参数。Berkeley DeepDrive数据集(BDD数据集)和主观标记的周围环境复杂度水平用于模型训练和验证,以评估算法。所提出的基于注意力的网络实现了91.22%的平均分类准确率分类周围环境的复杂性。实验结果表明,该方法可以准确预测环境复杂度,并可用于未来无人机环境感知研究。
2021-06-21 cs.CV cs.LG cs.RO
Stealthy Perception-based Attacks on Unmanned Aerial Vehicles
Duke University(杜克大学)
在这项工作中,我们研究的脆弱性,无人机(UAV)的隐形攻击的感知为基础的控制。为了指导我们的分析,我们考虑两个具体的任务:($i$)地面车辆跟踪(GVT),和($ii$)垂直起飞和降落(VTOL)的四轴飞行器在移动的地面车辆。具体来说,我们引入了一种方法来随着时间的推移持续攻击传感器测量和相机图像,以导致控制性能下降(例如,通过任务失败)同时保持隐身(即,未被部署的异常检测器检测到)。与主要依赖于深度神经网络对小输入扰动(例如,通过在图像中添加小块和/或噪声),我们表明可以通过改变地面车辆着陆标记的图像以及适当地伪造传感数据来设计隐形但有效的攻击。我们说明了我们的攻击在凉亭3D机器人模拟器的有效性。
2023-03-03 cs.RO cs.SY eess.SY
Want a Ride? Attitudes Towards Autonomous Driving and Behavior in Autonomous Vehicles
Johannes Kepler University Linz(约翰内斯·开普勒大学林茨分校)
本文通过12人实地实验,发现对自动驾驶的态度并不影响驾驶干预和视线行为,指出缺乏实地测试的自动驾驶研究在评估行为、态度与接受度方面可能不可靠。
2024-09-04 cs.HC cs.RO
How Do We Fail? Stress Testing Perception in Autonomous Vehicles
Stanford University(斯坦福大学)
自动驾驶汽车(AV)依赖于环境感知和行为预测来推理周围的智能体。这些感知系统必须对雨、雾和雪等不利天气具有鲁棒性。然而,这些系统的验证是具有挑战性的,由于其复杂性和依赖于观察历史。本文提出了一种用于表征基于LiDAR的感知系统在恶劣天气条件下的故障的方法。我们开发了一种基于强化学习的方法来发现由于干扰序列而导致的对象跟踪和轨迹预测中可能的失败。我们采用基于物理的数据增强技术来模拟在恶劣天气条件下的激光雷达点云。在来自真实驾驶数据集的各种驾驶场景中进行的实验表明,与基线相比,我们提出的方法可以在较小的输入干扰下发现高可能性故障,同时保持计算上的易处理性。识别出的故障可以为未来开发用于AV的鲁棒感知系统提供信息。
2022-03-26 cs.AI cs.LG cs.RO
MVAdapt: Zero-Shot Multi-Vehicle Adaptation for End-to-End Autonomous Driving
Interdisciplinary Program in AI, Seoul National University(人工智能交叉学科项目,首尔国立大学)
MVAdapt通过结合冻结的TransFuser++场景编码器和轻量级物理编码器,提出了一种基于物理条件的多车辆端到端自动驾驶适应框架,实现了对不同车辆的零样本转移和少量样本校准。
2026-04-13 cs.AI cs.RO
Driving Through Uncertainty: Risk-Averse Control with LLM Commonsense for Autonomous Driving under Perception Deficits
University at Buffalo(布法罗大学);University of Notre Dame(诺特尔大学)
本文提出LLM-RCO框架,利用大语言模型整合人类驾驶常识,以提升自动驾驶在感知缺陷下的风险规避与适应性控制能力。
2025-12-12 cs.AI cs.LG cs.RO
Improving Multi-Vehicle Perception Fusion with Millimeter-Wave Radar Assistance
Huazhong University of Science and Technology(华中科技大学)
本文提出轻量级系统MMatch,利用毫米波雷达点云的细粒度空间关联快速识别共视车辆,实现多车协同感知的实时高精度视图对齐,在59毫秒内达到分米级精度。
2025-06-01 cs.MA cs.RO
Modeling Perception Errors towards Robust Decision Making in Autonomous Vehicles
Nanyang Technological University(南洋理工大学);Centre of Excellence for Testing & Research of AVs(自动驾驶测试与研究中心);School of Electrical and Electronic Engineering(电气与电子工程学院)
传感和感知(S&P)是自主系统(如机器人)的重要组成部分,特别是在高度动态的环境中部署时,需要对意外情况做出反应。在公共道路上行驶的自动驾驶汽车(AV)尤其如此。然而,感知算法的当前评估度量通常被设计为测量它们本身的准确性,并且不考虑它们对决策子系统的影响。这种限制无法帮助开发人员和第三方评估人员回答一个关键问题:感知子系统的性能是否足以让决策子系统做出稳健、安全的决策?在本文中,我们提出了一个基于模拟的方法来回答这个问题。同时,我们展示了如何分析不同类型的感知和感知错误对自治系统行为的影响。
2021-09-03 cs.AI cs.RO
INTERNEURON: A Middleware with Multi-Network Communication Reliability for Infrastructure Vehicle Cooperative Autonomous Driving
Institute of Computing Technology, CAS(中国科学院计算技术研究所);University of Delaware(特拉华大学);University of Chinese Academy of Sciences(中国科学院大学)
结构-车辆协同自动驾驶(IVCAD)是一种新的自动驾驶模式,它依赖于智能道路和自动驾驶车辆之间的协作。与仅车载自动驾驶模式相比,这种模式已被证明更安全,更高效。我们的实际部署数据表明,IVCAD的有效性受到商业通信网络的可靠性和性能的限制。本文正是针对这一问题,并提出了INTERNEURON,一个中间件,以实现智能道路和自动驾驶汽车之间的高通信可靠性,在IVCAD的背景下。具体而言,INTERNEURON根据不同的通信性能和质量需求,动态匹配IVCAD应用程序和底层通信技术。评估结果证实,INTERNEURON减少了超过95%的最后期限违规,显着提高了IVCAD系统的可靠性。
2022-10-28 cs.PL cs.RO
A Maneuver-based Urban Driving Dataset and Model for Cooperative Vehicle Applications
University of Central Florida(中佛罗里达大学)
自动驾驶的短期未来可以想象为一种混合场景,在这种场景中,自动驾驶和人类驾驶的车辆在同一环境中共存。为了解决这种道路配置的需求,许多技术解决方案,如车辆通信和预测控制的自动驾驶汽车已在文献中介绍。上述两种解决方案都依赖于人类驾驶员的驾驶数据。在这项工作中,我们调查了目前可用的驾驶数据集,并介绍了在我们的城市驾驶数据收集活动中收集的基于真实世界的驾驶数据集。我们还提供了一个模型,该模型将模式嵌入到特定的样本中。这种模型可以用于分类和预测目的。
2020-08-21 cs.RO eess.SP
Road Traffic Law Adaptive Decision-making for Self-Driving Vehicles
Tsinghua University(清华大学);Road Traffic Safety Research Center(道路交通安全研究中心);Beijing Institute of Technology(北京理工大学);Carnegie Mellon University(卡内基梅隆大学)
本文提出一种基于强化学习和线性时序逻辑的道路交通法规自适应决策方法,通过法规自适应后备策略、长期动作空间监测和轨迹重规划,使自动驾驶车辆在CARLA模拟场景中有效遵守新颁布或更新的交通法规。
2023-04-19 cs.RO cs.SY eess.SY