Planning with Occluded Traffic Agents using Bi-Level Variational Occlusion Models
NVIDIA Research（英伟达研究院）；NVIDIA（英伟达）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）；Five AI；Bosch（博世）；Department of Aeronautics and Astronautics, Stanford University（斯坦福大学航空航天系）
与闭塞的交通代理推理是一个重大的开放式挑战，规划自动驾驶汽车。最近的深度学习模型已经显示出令人印象深刻的结果，可以根据附近可见代理的行为来预测阻塞代理;然而，正如我们在实验中所示，这些模型很难集成到下游规划中。为此，我们提出了双层变分遮挡模型（BiVO），一个两步生成模型，首先预测可能的位置被遮挡的代理，然后生成可能的轨迹被遮挡的代理。与现有方法相比，BiVO输出的轨迹分布可以从标准的下游规划中采样并整合到其中。我们使用真实世界的nuScenes数据集在闭环重放模拟中评估该方法。我们的研究结果表明，BiVO可以成功地学习预测阻塞代理轨迹，这些预测导致更好的后续运动计划在关键场景。
2022-10-26 cs.LG cs.RO
Interpretable Goal-based Prediction and Planning for Autonomous Driving
Five AI Ltd.（Five AI有限公司）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）；University of Oxford（牛津大学）
我们提出了一个集成的预测和规划系统的自动驾驶，使用合理的逆向规划，以识别其他车辆的目标。目标识别通知蒙特卡罗树搜索（MCTS）算法来规划自我车辆的最佳机动。逆向规划和MCTS利用一组共享的定义机动和宏观行动来构建可通过合理性原则解释的计划。在城市驾驶场景模拟中的评估表明，该系统能够稳健地识别其他车辆的目标，使我们的车辆能够利用重要的机会来显着减少驾驶时间。在每种情况下，我们提取直观的解释，证明系统的决定的预测。
2021-03-15 cs.RO
Occlusion-Aware Contingency Safety-Critical Planning for Autonomous Driving
The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州））；School of Engineering（工程学院）；Cheng Kar-Shun Robotics Institute（陈家顺机器人研究所）
本文提出一种遮挡感知的应急安全关键规划方法，通过可达性分析和递推规划框架提升自动驾驶在动态遮挡环境中的安全性和效率。
2026-10-06 cs.RO
Bringing Diversity to Autonomous Vehicles: An Interpretable Multi-vehicle Decision-making and Planning Framework
Shanghai AI Laboratory（上海人工智能实验室）
随着自动驾驶的发展，自动驾驶车辆（AV）和人类驾驶车辆（HV）在同一道路上行驶变得越来越普遍。现有的单车规划算法很难处理现实世界中复杂的社交互动。通过这些方法做出的决定对人类来说很难理解，增加了撞车的风险，使它们不太可能在实践中应用。此外，开源交通模拟器产生的车辆流过于保守，缺乏行为多样性。我们提出了一个分层的多车辆决策和规划框架，有几个优点。该框架共同为流内的所有车辆做出决策，并通过高频规划模块对动态环境做出迅速反应。决策模块产生可解释的动作序列，这些动作序列可以明确地将自我意图传达给周围的HV。我们还提出了合作因子和轨迹权重集，在社会和个人层面上为交通中的自动驾驶车辆带来多样性。我们提出的框架的优越性进行了验证，通过多个场景的实验，并通过闭环仿真所产生的车辆轨迹中的各种行为。
2023-02-14 cs.MA cs.RO
Offline Reinforcement Learning using Human-Aligned Reward Labeling for Autonomous Emergency Braking in Occluded Pedestrian Crossing
CAV-Lab, School of Engineering（CAV实验室、工程学院）；School of Artificial Intelligence and Computer Science（人工智能与计算机科学学院）
本文提出了一种生成人类对齐奖励标签的方法，用于提升自动驾驶车辆在遮挡行人横穿场景中的安全性能。
2026-01-23 cs.LG cs.RO
GRIT: Fast, Interpretable, and Verifiable Goal Recognition with Learned Decision Trees for Autonomous Driving
University of Edinburgh（爱丁堡大学）；Five AI Ltd.（Five AI有限公司）
对于自动驾驶汽车来说，重要的是要有能力推断其他车辆的目标（目标识别），以便安全地与其他车辆进行交互并预测其未来的轨迹。这是一个困难的问题，特别是在城市环境中，许多车辆之间的相互作用。目标识别方法必须快速，以便实时的运行并做出准确的推断。由于自动驾驶是安全关键的，因此重要的是要有人类可解释的方法，并且可以正式验证安全性。现有的自动驾驶汽车目标识别方法无法满足快速、准确、可解释和可验证的所有四个目标。我们提出了目标识别与解释树（GRIT），目标识别系统，实现这些目标。GRIT利用车辆轨迹数据训练的决策树。我们在两个数据集上评估了GRIT，结果表明GRIT实现了快速的推理速度和与两个深度学习基线、基于规划的目标识别方法和GRIT消融相当的准确性。我们表明，学习树是人类可解释的，并演示如何GRIT的属性可以正式验证使用可满足性模理论（SMT）求解器。
2021-08-09 cs.MA cs.RO
Risk-Aware Path Planning for Ground Vehicles using Occluded Aerial Images
University of Maryland（马里兰大学）
我们考虑的情况下，地面车辆计划其路径使用由飞行器收集的数据。在航拍图像中，场景的可导航区域可能由于障碍物而被遮挡。使用航拍图像来天真地规划路径可能导致更长的路径，因为保守的规划者可能试图避开被遮挡的区域。我们提出了一个模块化的，基于深度学习的框架，允许机器人预测在闭塞区域的可导航区域的存在。具体来说，我们使用图像修补方法来填充可能被遮挡的部分区域，然后可以对这些区域进行语义分割以确定可导航性。我们使用监督神经网络的两个模块。然而，这些预测可能是不正确的。因此，我们提取这些预测中的不确定性，并使用风险感知方法，将这些不确定性考虑到路径规划中。我们比较模块在我们的方法与非学习为基础的方法，以显示所提出的框架的有效性，通过照片逼真的模拟。模块化管道允许在不同设置中进一步改进路径规划和部署。
2022-04-24 cs.RO
What's Hidden Matters: Identifying Planning-Critical Occluded Agents using Vision-Language Models
提出利用视觉语言模型（VLM）识别对自车轨迹影响最大的被遮挡智能体，通过规划KL散度（PKL）度量进行排序，并微调VLM以提升性能，实验表明该方法比随机采样提升约30%。
2026-07-02 cs.AI cs.CV cs.RO
Hope for the Best, Prepare for the Worst: Occlusion-Aware Contingency Planning for Autonomous Vehicles
KTH Royal Institute of Technology（瑞典皇家理工学院）；Traton AB（特拉顿集团）；Chalmers University of Technology（查尔姆斯理工大学）；Univeristy of Gothenburg（哥德堡大学）
针对城市环境中自动驾驶车辆面临的遮挡风险，提出正式的遮挡感知轨迹规划框架，基于可达性分析方法，集成树形运动规划器，减少保守性并保障安全，在模拟场景中验证有效性。
2026-07-07 cs.RO
Interpretable Safety Validation for Autonomous Vehicles
自动驾驶的一个开放性问题是如何在仿真中验证自动驾驶车辆的安全性。自动化测试程序可以发现自主系统的故障，但这些故障可能由于其高维性而难以解释，并且可能不太可能以至于不重要。这项工作描述了一种方法，用于找到自治系统的可解释的故障。故障由人可以理解的信号时序逻辑表达式描述，并且被优化以产生具有高可能性的故障。我们的方法证明了自动驾驶汽车的安全验证的背景下，无保护的左转和人行横道与行人。与基线重要性采样方法相比，我们的方法发现了更多的故障，具有更高的可能性，同时保持可解释性。
2020-06-26 cs.LG cs.RO stat.ML
Environment reconstruction on depth images using Generative Adversarial Networks
Institute of Mathematic and Computer Science, University of São Paulo（圣保罗大学数学与计算机科学学院）；Computer Science College, Federal University of Uberlândia（乌贝兰迪亚联邦大学计算机科学学院）
强大的感知系统对于自动驾驶汽车的安全性至关重要。为了在复杂的城市环境中导航，需要具有可靠数据的精确传感器。理解周围环境的任务本身就很难;对于智能车辆来说，由于车辆导航的高速，这一任务更加关键。为了在城市环境中成功导航，感知系统必须快速接收、处理和执行动作，以确保乘客和行人的安全。立体相机在许多级别收集环境信息，例如，深度，颜色，纹理，形状，这保证了对周围环境的充分了解。即便如此，与人类相比，计算方法缺乏处理缺失信息的能力，即，闭塞。对于许多感知任务，由于环境信息不完整，这种数据的缺乏可能是一个障碍。在本文中，我们解决这个问题，并讨论最近的方法来处理闭塞地区的推断。然后，我们引入了一个损失函数，重点是视差和环境深度数据重建，和生成对抗网络（GAN）架构能够处理闭塞信息推理。我们的研究结果提出了一个连贯的深度图重建，估计被不同的障碍物遮挡的区域。我们的最后贡献是一个损失函数集中在视差数据和GAN能够提取深度特征和估计深度数据的视差图像修复。
2019-12-09 cs.CV cs.RO
Interpretable and Flexible Target-Conditioned Neural Planners For Autonomous Vehicles
University of California San Diego（加州大学圣地亚哥分校）；Baidu Research（百度研究院）
针对自动驾驶中多可行规划问题，提出基于热图回归的可解释神经规划器，利用自适应高斯核、松弛沙漏损失和负高斯核监督实现多目标建模与避碰，在 Lyft 数据集上取得更安全灵活的驾驶表现。
2023-09-23 cs.LG cs.RO
Occlusion-Aware Risk Assessment for Autonomous Driving in Urban Environments
University of Michigan（密歇根大学）
在城市环境中安全导航仍然是自动驾驶汽车面临的一个挑战性问题。遮挡和有限的传感器范围可能对环境中的行人和其他车辆之间的安全导航构成重大挑战。使车辆能够量化未知区域带来的风险，使其能够预测未来的可能性，从而提高安全性和乘坐舒适性。本文提出了一种算法，利用已知的道路布局来预测，量化和聚合与闭塞和有限的传感器范围相关的风险。这使我们能够预测即使在严重闭塞的城市环境中，未观察到的车辆引起的风险。然后，可以通过低级规划算法来使用风险来生成更好的轨迹，或者通过高级规划算法来规划更好的路线。该算法在实际地图数据的交叉口布局上进行了评估，场景中最多有五辆其他车辆，并验证了与基线方法相比，碰撞率降低了4.8倍，同时提高了驾驶舒适性。
2019-07-17 cs.RO
Sequential Joint Shape and Pose Estimation of Vehicles with Application to Automatic Amodal Segmentation Labeling
the Ohio State University（俄亥俄州立大学）；Cornell University（康奈尔大学）
形状和姿态估计是自动驾驶汽车充分理解其周围环境的关键感知问题。解决该问题的一个基本挑战是不完整的传感器信号（例如，激光雷达扫描），特别是对于遥远或遮挡的物体。在本文中，我们提出了一种新的算法来解决这一挑战，该算法明确地利用了在连续时间内捕获的传感器信号：连续信号可以提供有关对象的更多信息，包括不同的视点及其运动。通过递归神经网络对连续信号进行编码，我们的算法不仅改善了形状和姿态估计，而且还产生了一个标记工具，可以使自动驾驶研究中的其他任务受益。具体来说，在我们的算法的基础上，我们提出了一种新的管道来自动注释高质量的标签，用于图像上的非模态分割，手动注释是困难和费力的。我们的代码和数据将公开提供。
2022-07-02 cs.RO
Don't double it: Efficient Agent Prediction in Occlusions
本文提出MatchInformer方法，通过整合Hungarian匹配和分离航向与运动，提升遮挡场景下的代理预测准确性和效率。
2026-01-29 cs.RO
Pedestrian Emergence Estimation and Occlusion-Aware Risk Assessment for Urban Autonomous Driving
The Ohio State University（俄亥俄州立大学）
避免看不见或部分被遮挡的弱势道路使用者（VRU）是城市场景中完全自动驾驶的主要挑战。然而，闭塞感知风险评估系统尚未得到广泛研究。在这里，我们提出了一个行人出现估计和遮挡感知风险评估系统的城市自动驾驶。首先，所提出的系统利用可用的上下文信息，如可见的汽车和行人，估计行人出现在闭塞区域的概率。这些概率，然后在风险评估框架中使用，并纳入纵向运动控制器。建议的控制器进行测试，对几个基线控制器，概括了一些常见的驾驶风格。模拟的测试场景包括随机放置的停放的汽车和行人，其中大多数人从自我车辆的视野中被遮挡，并随机出现。所提出的控制器在安全性和舒适性方面优于基线。
2021-07-06 cs.AI cs.RO
V2V-GoT: Vehicle-to-Vehicle Cooperative Autonomous Driving with Multimodal Large Language Models and Graph-of-Thoughts
NVIDIA；Carnegie Mellon University（卡内基梅隆大学）
本文提出V2V-GoT框架，结合多模态大语言模型和图-思维方法，提升车对车协同自动驾驶的感知、预测和规划能力。
2026-02-16 cs.RO
EVPeriscope: Extended Perception across Aerial and Ground Vehicles with Event-based Propeller Tracking
University of Pennsylvania（宾夕法尼亚大学）
EVPeriscope利用事件相机检测四旋翼螺旋桨高频信号，实现地面与空中机器人的可靠相对定位，在恶劣条件下支持闭环导航，扩展地面机器人感知能力。
2026-09-11 cs.RO
Design and Implementation of Smart Infrastructures and Connected Vehicles in A Mini-city Platform
School of Aerospace and Mechanical Engineering, University of Oklahoma（俄克拉荷马大学航空航天与机械工程学院）；University of Oklahoma（俄克拉荷马大学）
本文构建了一个1/10比例的迷你城市平台，用于评估自动驾驶与网联车辆，并重点开发了交叉路口V2I智能基础设施，验证了感知误差对安全性的影响，为智能交通系统研究与教育提供基础测试环境。
2024-08-08 cs.RO
Risk Assessment and Planning with Bidirectional Reachability for Autonomous Driving
Robotics Institute, University of Michigan（密歇根大学机器人研究所）；University of Michigan（密歇根大学）
了解和预测场景中的危险因素是自动驾驶过程中的两个关键组成部分，特别是在拥挤的城市环境中。为了在环境中安全航行，需要进行风险评估来量化和关联采取特定行动的风险。风险评估和规划通常是通过首先跟踪和预测其他主体（如车辆和行人）的轨迹，然后选择一个动作来避免将来发生碰撞。然而，很少有现有的风险评估算法有效地处理闭塞和其他感觉限制。本文通过前向和后向可达性探讨了在闭塞情况下进行有效风险评估的可能性。所提出的算法不仅可以识别风险诱发因素在哪里，而且还可以用于运动规划通过执行低级别的命令，如油门。所提出的方法进行评估，在各种四路高度闭塞的十字路口，多达五个其他车辆的场景。与其他风险评估算法相比，该方法具有更好的效率，即自我车辆以更高的速度到达目标。此外，它还将碰撞率中位数降低了7.5倍。
2019-09-17 cs.RO
Risk Map As Middleware: Towards Interpretable Cooperative End-to-end Autonomous Driving for Risk-Aware Planning
Key Laboratory of Road and Traffic Engineering of the Ministry of Education, Tongji University（教育部道路与交通工程重点实验室，同济大学）；UCLA Mobility Lab, University of California, Los Angeles（加州大学洛杉矶分校UCLA移动实验室）
本文提出RiskMM框架，通过风险地图中间件提升自动驾驶的可解释性和风险感知规划能力。
2025-11-20 cs.RO
Cooperative Perception with Deep Reinforcement Learning for Connected Vehicles
Carnegie Mellon University（卡内基梅隆大学）；InfoTech Labs, Toyota Motor North America R&D（丰田北美研发公司InfoTech实验室）
基于传感器的车辆感知对于提高道路安全性变得越来越普遍和重要。自动驾驶系统使用摄像头、激光雷达和雷达来检测周围的物体，而人类驾驶的车辆则使用它们来辅助驾驶员。然而，单个车辆的环境感知在覆盖范围和/或检测精度上具有限制。例如，车辆无法检测到被其他移动/静态障碍物遮挡的物体。在本文中，我们提出了一个合作的感知方案与深度强化学习，以提高周围物体的检测精度。通过使用深度强化学习来选择要传输的数据，我们的方案减轻了车载通信网络中的网络负载，提高了通信可靠性。为了设计，测试和验证的合作感知方案，我们开发了一个合作与智能车辆仿真（CIVS）平台，它集成了三个软件组件：交通模拟器，车辆模拟器和对象分类器。我们评估，我们的计划减少数据包丢失，从而提高检测精度高达12%，相比基线协议。
2020-04-23 cs.AI cs.LG cs.RO
To New Beginnings: A Survey of Unified Perception in Autonomous Vehicle Software
Technical University of Munich（慕尼黑技术大学）；School of Engineering & Design（工程与设计学院）；Department of Mobility Systems Engineering（移动系统工程系）；Institute of Automotive Technology（汽车技术研究所）；Munich Institute of Robotics and Machine Intelligence (MIRMI)（慕尼黑机器人与智能机械研究所）
本文综述自动驾驶统一感知，提出按任务整合、跟踪建模与表示流划分的分类法及三种范式，梳理方法、架构、训练、数据集与开源现状，并指明研究方向。
2025-08-28 cs.CV cs.RO
Off The Beaten Sidewalk: Pedestrian Prediction In Shared Spaces For Autonomous Vehicles
Robotics Institute, University of Michigan（密歇根大学机器人研究所）；University of Michigan（密歇根大学）
行人和司机在各种环境中密切互动。自动驾驶汽车（AV）相应地面临着预测行人在这些相同环境中的未来轨迹的需求。传统的基于模型的预测方法仅限于在具有信号交叉口、标记人行横道或路缘的高度结构化场景中进行预测。相反，深度学习方法利用数据集来学习跨场景泛化的预测特征，代价是模型的可解释性。本文旨在通过提出一种基于风险的注意力机制来学习行人何时屈服，以及一种车辆影响模型来学习屈服如何影响运动，从而实现广泛适用和可解释的预测。一种新颖的概率方法，即人行道外预测（OSP），使用这些方法在共享空间和传统场景中实现准确的预测。城市数据集上的实验表明，该方法的实时性达到了最先进的性能。
2020-06-01 cs.RO
Towards Generalizable and Interpretable Motion Prediction: A Deep Variational Bayes Approach
Purdue University（普渡大学）；UC Berkeley（加州大学伯克利分校）；LLNL（劳伦斯利弗莫尔国家实验室）
针对现有深度运动预测模型可解释性与泛化性弱的问题，提出可解释生成模型GNeVA，通过变分高斯混合估计目的地分布实现目标驱动预测，结合因果结构与变分后验提升泛化性，性能达前沿水平。
2024-03-10 cs.AI cs.RO
Federated Deep Learning Meets Autonomous Vehicle Perception: Design and Verification
Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；University of New South Wales（新南威尔士大学）；Weizmann Institute of Science（魏茨曼科学研究所）；Princeton University（普林斯顿大学）；Southern University of Science and Technology（南方科技大学）；Shenzhen Research Institute of Trustworthy Autonomous Systems（深圳市可信自主系统研究院）；University of Macau（澳门大学）
在开放式驾驶场景中，由于角落情况和视觉遮挡，实现类似人类的感知是一项挑战。为了收集罕见和闭塞实例的知识，已经提出了联邦学习辅助的连接自主车辆（FLCAV），其利用车辆网络从车辆和道路传感器捕获的分布式数据建立联合深度神经网络（DNN）。在不需要数据聚合的情况下，FLCAV保护了隐私，同时与传统的集中式学习相比降低了通信成本。然而，它是具有挑战性的，以确定网络资源和道路传感器的位置，多阶段的训练与多模态数据集在多变量场景。本文介绍了FLCAV感知的网络和培训框架。提出了多层图资源分配和车路对比传感器布置方法，分别解决网络管理和传感器部署问题。我们还开发了实现上述系统和方法的软件平台CarlaFLCAV。实验结果证实了所提出的技术与各种基准相比的优越性。
2022-12-05 cs.LG cs.RO
Interpretable Run-Time Prediction and Planning in Co-Robotic Environments
University of Virginia（弗吉尼亚大学）
传统上，移动机器人被开发为反应性的，并避免与周围的人类发生碰撞，通常以不自然的方式移动，而不遵循社会协议，迫使人们的行为与人与人之间的互动规则非常不同。另一方面，人类能够无缝地理解为什么他们可能会干扰周围的人，并根据他们的推理改变他们的行为，从而产生平滑，直观的回避行为。在本文中，我们提出了一种方法，移动机器人，以避免干扰周围的人类所需的路径。我们利用先前观察到的轨迹库来设计基于决策树的可解释监视器，该监视器：i）预测机器人是否干扰周围的人类，ii）解释导致预测的行为，iii）如果预测到干扰，则计划纠正行为。我们还提出了一个验证计划，以改善预测模型在运行时间。所提出的方法进行了验证与仿真和实验，涉及一个无人驾驶地面车辆（UGV）在人类的存在下执行去目标操作，展示非干扰行为和运行时间学习。
2021-09-08 cs.RO
Motion Planning for Connected Automated Vehicles at Occluded Intersections With Infrastructure Sensors
Ulm University（乌尔姆大学）
城市交叉口的运动规划是城市自动驾驶道路上的一个主要挑战，它需要考虑情境背景、处理遮挡并处理测量和预测的不确定性。在这项工作中，我们解决了这一挑战，基于采样的优化方法。为此，我们制定了一个最优控制问题，优化低风险和高乘客舒适度。使用风险模型基于感知信息和相应的不确定性来计算风险。风险模型结合了基于集合的方法和概率方法。因此，该方法在概率意义上提供了安全保证，而对于消失的风险，继承了基于集合的方法的形式安全保证。通过探索所有可用的行为选项，我们的方法解决了决策和纵向轨迹规划一步到位。可用的行为选项由情境上下文的正式表示提供，这也用于减少计算工作。使用安装在基础设施上的传感器的外部感知来解决阻塞。然而，不是将外部和自我感知与轨道到轨道的融合相结合，而是并行使用信息。运动规划方案通过真实世界的实验进行了验证。
2021-10-21 cs.RO
A New Multi-vehicle Trajectory Generator to Simulate Vehicle-to-Vehicle Encounters
Tsinghua University（清华大学）；Carnegie Mellon University (CMU)（卡内基梅隆大学）
从现有的有限数据中生成多车辆轨迹可以为自动驾驶车辆的开发和测试提供丰富的资源。本文介绍了一种多车辆轨迹生成器（MTG），它可以编码多车辆交互场景（称为驾驶遭遇）到一个可解释的表示，从新的驾驶遭遇场景产生的采样。MTG由一个双向编码器和一个多分支解码器组成。一个新的解纠缠度量，然后开发的模型分析和比较的模型鲁棒性和独立的潜在代码。与$β$ -VAE和InfoGAN的比较表明，MTG具有更强的能力，有目的地产生合理的车辆到车辆的遭遇，通过操作解开的潜在代码。因此，MTG可以为工程师和研究人员提供更多数据，以开发自动驾驶汽车的测试和评估方案。
2019-02-24 cs.CV cs.RO
Formal Safety Guarantees for Autonomous Vehicles using Barrier Certificates
本文提出一种结合屏障证书与时间到碰撞度量的形式验证安全框架，通过SMT求解器和自适应控制机制，提升自动驾驶车辆的安全性和可解释性。
2026-01-08 cs.AI cs.RO cs.SE
Uncovering Interpretable Internal States of Merging Tasks at Highway On-Ramps for Autonomous Driving Decision-Making
School of Mechanical Engineering, Beijing Institute of Technology（北京理工大学机械工程学院）；University of California at Berkeley（加州大学伯克利分校）
在复杂的交互场景中，人类根据自己的内部状态做出日常决策。提出了一种概率重构学习方法，用于识别高速公路入口匝道并道时多车序贯相互作用的内部状态。我们将合并任务的顺序决策视为一个动态的随机过程，然后将内部状态集成到HMM-GMR模型中，该模型是扩展高斯混合回归（GMR）和隐马尔可夫模型（HMM）的概率组合。我们还开发了一种变异的期望最大值（EM）算法来估计模型参数，并基于真实世界的数据集进行了验证。实验结果表明，三个可解释的内部状态可以语义描述在高速公路入口匝道的互动合并过程。这一发现提供了一个基础，开发一个有效的基于模型的决策算法的自主车辆（AV）在部分可观察的环境。
2021-05-14 cs.RO cs.SY eess.SY
Attentional-GCNN: Adaptive Pedestrian Trajectory Prediction towards Generic Autonomous Vehicle Use Cases
Australian Centre for Field Robotics, University of Sydney（悉尼大学澳大利亚野外机器人中心）；University Institute for Computer Research, Universidad de Alicante（阿利坎特大学计算机研究所）
共享行人环境中的自主车辆导航需要能够准确且以最小延迟预测未来人群运动。理解预测的不确定性也至关重要。然而，大多数现有的方法只能通过生成模型的重复采样来估计不确定性。此外，大多数当前的预测模型都是在数据集上训练的，这些数据集假设使用鸟瞰图可以完全观察到人群。从车辆的角度来看，这些通常不代表真实世界的使用情况，并且当车载传感器被遮挡时，可能导致低估不确定性界限。受时空图运动预测研究的启发，提出了一种基于图卷积神经网络（GCNN）的方法Attentional-GCNN，它通过在图的边缘分配注意力权重来聚合人群中行人之间隐式交互的信息。我们的模型可以被训练为输出概率分布或更快的确定性预测，证明了对自动驾驶汽车用例的适用性，其中需要速度或精度与不确定性界限。为了进一步改进预测模型的训练，我们提出了一个自动标记的行人数据集，该数据集是从代表现实世界使用的智能车辆平台收集的。通过在大量数据集上的实验，我们表明我们提出的方法比现有技术提高了10%的平均位移误差（ADE）和12%的最终位移误差（FDE），推理速度快。
2020-11-23 cs.CV cs.RO
Learning an Interpretable Model for Driver Behavior Prediction with Inductive Biases
University of Surrey（萨里大学）
为了规划安全的机动和有远见的行动，自动驾驶汽车必须能够准确预测不确定的未来。在自动驾驶的背景下，深度神经网络已成功应用于从数据中学习人类驾驶行为的预测模型。然而，预测遭受级联误差，导致在很长一段时间内的大的不准确性。此外，学习的模型是黑箱，因此通常不清楚它们是如何得出预测的。相比之下，由人类专家提供信息的基于规则的模型在其预测中保持长期一致性，并且是人类可解释的。然而，这样的模型往往缺乏足够的表现力需要捕捉复杂的现实世界的动态。在这项工作中，我们开始通过将智能驱动程序模型（一种流行的手工制作的驱动程序模型）嵌入到深度神经网络中来缩小这一差距。我们的模型的透明度可以提供相当大的优势，例如，在调试模型和更容易解释其预测。我们在模拟的合并场景中评估了我们的方法，表明它产生了一个强大的模型，该模型是端到端可训练的，并且在不影响模型预测准确性的情况下提供了更大的透明度。
2022-07-31 cs.RO
Verifiable Goal Recognition for Autonomous Driving with Occlusions
University of Edinburgh（爱丁堡大学）；Five AI Ltd.（Five AI有限公司）；Bosch（博世）
针对自动驾驶中因遮挡导致环境部分可观测的问题，提出了一种基于决策树的新型目标识别方法OGRIT，该方法能跨场景处理缺失数据，兼具快速、准确、可解释和可验证的优点，并发布了相关数据集。
2023-08-01 cs.LG cs.RO
Trajectory-to-Action Pipeline (TAP): Automated Scenario Description Extraction for Autonomous Vehicle Behavior Comparison
Department of Computer Science, University of Virginia（弗吉尼亚大学计算机科学系）
针对自动驾驶车辆场景描述提取问题，提出轨迹转动作流水线（TAP），通过基于规则的交叉熵优化从数据学习参数，在Waymo数据集上识别行为相似轨迹精度优于ADE和DTW，简化安全评估，为可扩展场景分析奠定基础。
2025-08-26 cs.RO
V2V-LLM: Vehicle-to-Vehicle Cooperative Autonomous Driving with Multimodal Large Language Models
NVIDIA；Carnegie Mellon University（卡内基梅隆大学）
本文提出基于多模态大语言模型的V2V-LLM，通过车与车协同感知提升自动驾驶安全性和性能。
2026-02-16 cs.CV cs.RO
Spatiotemporal Learning of Multivehicle Interaction Patterns in Lane-Change Scenarios
McGill University（麦吉尔大学）；Carnegie Mellon University（卡内基梅隆大学）；Beijing Institute of Technology（北京理工大学）
对常见但具有挑战性的交互场景的解释可以为自动驾驶汽车做出有根据的决策。以前的研究利用他们对特定场景的先验知识和预定义的模型实现了这一点，限制了他们的适应能力。本文描述了一种利用连续（即，高斯过程）和离散（即，狄利克雷过程）的随机过程，以揭示潜在的相互作用模式的自我车辆与其他附近的车辆。我们的模型放松依赖于周围车辆的数量，通过开发一个加速度敏感的速度场的基础上高斯过程。实验结果表明，该速度场能够较好地反映自车与周围环境的空间相互作用。然后，一个离散贝叶斯非参数模型，集成狄利克雷过程和隐马尔可夫模型，开发学习的时间空间上的相互作用模式，通过分割和聚类的顺序相互作用数据自动解释粒度模式。然后，我们评估我们的方法在高速公路换道的情况下，使用从现实世界的设置收集的highD数据集。结果表明，我们提出的贝叶斯非参数方法提供了一个深入了解复杂的车道变化的相互作用的自我车辆与多个周围的交通参与者的基础上，可解释的相互作用模式和它们的过渡性质的时间关系。我们提出的方法揭示了有效地分析其他类型的多智能体交互，如车辆-行人的相互作用。通过https://youtu.be/z_vf9UHtdAM查看演示。
2020-09-05 cs.LG cs.RO
Structural Attention-Based Recurrent Variational Autoencoder for Highway Vehicle Anomaly Detection
University of Illinois（伊利诺伊大学）
在自动驾驶中，异常驾驶行为的检测对于确保车辆控制器的安全至关重要。车辆异常检测中的先前工作已经表明，对代理之间的交互进行建模可以提高检测精度，但是结构化道路信息至关重要的某些异常行为识别不佳，例如错误的道路和越野驾驶。我们提出了一种新的无监督的高速公路异常检测框架命名为基于结构注意的递归VAE（SABeR-VAE），它明确地使用环境的结构，以帮助异常识别。具体来说，我们使用车辆自我注意力模块来学习道路上车辆之间的关系，并使用单独的车道车辆注意力模块来模拟允许车道的重要性，以帮助轨迹预测。以注意力模块的输出为条件，一个具有随机Koopman算子传播的潜在空间的递归编码器-解码器架构预测车辆的下一个状态。我们的模型是端到端训练的，以最大限度地减少对正常车辆行为的预测损失，并部署用于检测（ab）正常场景中的异常。通过结合异质车辆和车道信息，SABeR-VAE及其确定性变体，SABeR-AE，改善异常AUPR分别为18%和25%的模拟MAAD公路数据集上STGAE-KDE。此外，我们表明，学习Koopman算子在SABeR-VAE执行可解释的结构在变分的潜在空间。我们的方法的结果确实表明，建模环境因素是必不可少的检测部署中的各种异常。有关代码实现，请访问https://sites.google.com/illinois.edu/saber-vae。
2023-02-23 cs.RO
DriveGPT4: Interpretable End-to-end Autonomous Driving via Large Language Model
The University of Hong Kong（香港大学）；Zhejiang University（浙江大学）；University of Sydney（悉尼大学）
本研究提出基于大型语言模型的DriveGPT4，一种可解释端到端自动驾驶系统，能处理多帧视频与文本查询，解释动作、回答问题并预测控制信号，在BDD-X数据集上表现优越。
2024-11-09 cs.CV cs.RO
Exploring Transformer-Augmented LSTM for Temporal and Spatial Feature Learning in Trajectory Prediction
University of Tennessee（田纳西大学）
本文提出一种结合LSTM与Transformer编码器的混合模型，用于车辆轨迹预测的时空特征学习，虽未超越现有LSTM方法，但展示了构建可解释预测模型的潜力。
2024-12-18 cs.CV cs.LG cs.RO
CoPEM: Cooperative Perception Error Models for Autonomous Driving
Nanyang Technological University（南洋理工大学）；TU Delft（代尔夫特理工大学）
在本文中，我们引入了协作感知错误模型（coPEMs）的概念，以实现虚拟测试环境中V2X解决方案的有效集成。我们的重点是我们的分析上的遮挡问题（车载）感知的自动驾驶汽车（AV），这可能表现为误检测错误的被遮挡的对象。基于车对万物（V2X）通信的协作感知（CP）解决方案旨在通过协作利用AV周围世界的额外视角来避免此类问题。这种方法通常需要在环境中同时部署许多传感器，主要是摄像头和激光雷达，作为道路基础设施的一部分或其他交通车辆。然而，在虚拟仿真流水线中实现大量传感器模型通常在计算上昂贵得令人望而却步。因此，在本文中，我们依赖于扩展感知误差模型（PEM），以有效地实现这种合作的感知解决方案以及与之相关的错误和不确定性。我们证明了这种方法通过比较的安全性，实现了一个AV的挑战与交通情况下，闭塞是潜在的碰撞的主要原因。
2022-11-22 cs.AI cs.RO
SwarmDrive: Semantic V2V Coordination for Latency-Constrained Cooperative Autonomous Driving
Institute for Wireless Communication and Navigation（无线通信与导航研究所）；RPTU University Kaiserslautern-Landau（科布伦茨-兰道大学）
SwarmDrive通过语义车辆间协调框架，在高不确定性时共享紧凑意图分布，并通过事件触发共识融合，提升协同自动驾驶性能，减少延迟并提高成功率。
2026-04-22 cs.AI cs.RO
Learning Interpretable, High-Performing Policies for Autonomous Driving
Georgia Institute of Technology（佐治亚理工学院）
提出可解释连续控制树（ICCTs），通过基于梯度的强化学习在稀疏决策树表示中直接优化，在自动驾驶场景中实现高性能可解释策略，性能持平或提升33%，参数量减少300-600倍。
2023-07-31 cs.LG cs.RO
Reconstructing Vechicles from a Single Image: Shape Priors for Road Scene Understanding
International Institute of Information Technology, Hyderabad（海得拉巴国际信息技术研究所）
在自动驾驶的背景下，我们提出了一种从单个（RGB）图像重建车辆的方法。虽然这个问题似乎是不适定的，但我们证明了关于车辆的3D形状如何投影到图像的先验知识可以用来推理相反的过程，即，形状如何从2D投影到3D。我们将这些知识编码在\emph{shape priors}中，这些知识是在一个小的关键点注释数据集上学习的。然后，我们制定了一个形状感知的调整问题，使用学习的形状先验恢复的3D姿态和形状的查询对象从图像。对于形状表示和推理，我们利用卷积神经网络（CNN）的目标和关键点定位任务的最新成功，并训练一种新的级联全卷积架构，以定位图像中的车辆\emph{keypoints}。然后，形状感知调整鲁棒地恢复形状（检测到的关键点的3D位置），同时填充被遮挡的关键点。为了解决由于错误检测到的关键点而引起的估计误差，我们使用迭代重新加权最小二乘（IRLS）方案进行鲁棒优化，并作为每个预测关键点的副产品表征噪声模型。我们在自动驾驶基准上评估了我们的方法，并提出了优于现有单眼和立体方法的结果。
2016-09-29 cs.CV cs.RO
Attentional Bottleneck: Towards an Interpretable Deep Driving Network
Waymo Research（Waymo研究院）
深度神经网络是自动驾驶汽车行为预测和运动生成的关键组成部分。它们的主要缺点之一是缺乏透明度：它们应该为触发某些行为的原因提供易于解释的理由。我们提出了一个架构称为注意力瓶颈的目标是提高透明度。我们的关键思想是将视觉注意力（识别模型正在使用输入的哪些方面）与信息瓶颈（使模型能够只使用输入的重要方面）相结合。这不仅提供了稀疏和可解释的注意力地图（例如，只关注场景中的特定车辆），而且它在不影响模型准确性的情况下增加了这种透明度。事实上，我们发现在将注意力瓶颈应用于ChauffeurNet模型时，准确性略有提高，而我们发现传统视觉注意力模型的准确性有所下降。
2020-05-08 cs.CV cs.LG cs.RO
Set-Membership Estimation in Shared Situational Awareness for Automated Vehicles in Occluded Scenarios
Scania CV AB（斯堪尼亚CV AB公司）；KTH Royal Institute of Technology（瑞典皇家理工学院）
开发基于互联和自动化车辆的自动运输系统的主要挑战之一是理解和理解每辆车周围的环境。在许多情况下，理解仅限于安装在自我车辆上的传感器收集的信息，并且可能受到其他车辆或道路上固定障碍物引起的遮挡的严重影响。情境感知是感知和理解交通状况并预测自我车辆周围的车辆和道路使用者的意图的能力。本文的主要目标是提出一个框架，如何自动提高态势感知的自动巴士在一个现实的情况下，当一个行人后面的一辆停着的卡车可能会决定走过马路。根据自我车辆的能力，融合来自其他车辆或基础设施中的传感器的信息，共享的态势感知使用基于集合的估计技术，提供了强大的保证行人的位置。采用两级信息融合架构，传感器测量值在本地融合，然后在车辆和基础设施中的单元之间共享相应的估计。由于所提供的安全保证，可以适当地调节自车速度以保持适当的安全裕度。它还认为，该框架是适合于处理传感器故障和错误检测系统的方式。在整个研究过程中，考虑了三种信息复杂性不断增长的情况。仿真显示了增强的态势感知如何允许自我车辆保持合理的速度而不牺牲安全性。
2021-03-02 cs.RO cs.SY eess.SY
Interpretable Self-Aware Neural Networks for Robust Trajectory Prediction
Stanford University（斯坦福大学）
尽管神经网络作为预测模型在各个领域都取得了巨大的成功，但它们对分布外（OOD）数据的预测可能过于自信。为了适用于安全关键型应用，如自动驾驶汽车，神经网络必须准确地估计其认知或模型的不确定性，实现一定程度的系统自我意识。用于认知不确定性量化的技术通常需要在训练期间的OOD数据或在推理期间的多个神经网络正向传递。这些方法可能不适用于高维输入的实时性能。此外，现有的方法缺乏估计的不确定性的可解释性，这限制了它们对工程师进一步系统开发和自治堆栈中的下游模块的有用性。我们提出使用证据深度学习来估计轨迹预测设置中的低维可解释潜在空间上的认知不确定性。我们引入了一个可解释的轨迹预测模式，分布的语义概念之间的不确定性：过去的代理行为，道路结构和社会背景。我们在真实世界的自动驾驶数据上验证了我们的方法，展示了超越最先进基线的卓越性能。我们的代码可在https://github.com/sisl/InterpretableSelfAwarePrediction上获得。
2022-11-16 cs.CV cs.LG cs.RO
Interpretable Fuzzy Inference for UAV Target Tracking Using Bounding-Box Geometry
North Carolina A&T State University（北卡罗来纳农工州立大学）
该研究针对无人机视觉制导的偏航角估计难题，提出基于YOLO边界框特征的可解释模糊推理框架，经实验验证其精度高、数据效率高且计算轻量，适用于实时无人机制导。
2026-08-06 cs.AI cs.CV cs.RO
Domain Knowledge Driven Pseudo Labels for Interpretable Goal-Conditioned Interactive Trajectory Prediction
Georgia Institute of Technology（佐治亚理工学院）；Honda Research Institute（本田研究所）；University of California Berkeley（加州大学伯克利分校）
高度交互场景下的运动预测是自动驾驶中的一个具有挑战性的问题。在这种情况下，我们需要准确地预测交互代理的联合行为，以确保自动驾驶车辆的安全和高效导航。近年来，目标条件方法由于其在性能上的优势以及能够捕捉轨迹分布中的多峰性而受到越来越多的关注。在这项工作中，我们研究了目标条件框架下的联合轨迹预测问题。特别是，我们引入了一个条件变分自动编码器为基础的（CVAE）模型显式编码不同的相互作用模式到潜在的空间。然而，我们发现香草模型遭受后验崩溃，不能诱导出所需的信息潜在空间。为了解决这些问题，我们提出了一种新的方法，以避免KL消失，并诱导一个可解释的交互式潜在空间与伪标签。建议的伪标签使我们能够以灵活的方式将领域知识纳入交互。我们激励所提出的方法使用一个说明性的玩具的例子。此外，我们还通过定量和定性评估在Waymo Open Motion数据集上验证了我们的框架。
2022-08-12 cs.AI cs.RO
Interpretable End-to-End Driving Model for Implicit Scene Understanding
Tongji University（同济大学）
提出端到端可解释隐式驾驶场景理解（II-DSU）模型，在规划模块引导下提取隐式高维场景特征，并在CARLA基准上达到最优，提升下游规划性能。
2023-08-02 cs.CV cs.RO
The Reasonable Crowd: Towards evidence-based and interpretable models of driving behavior
Motional（莫雄公司）；Boston University（波士顿大学）；Iowa State University（爱荷华州立大学）
自动驾驶汽车必须平衡一系列复杂的目标。对于他们应该如何做到这一点，也没有达成共识，也没有一个指定理想驾驶行为的模型。我们创建了一个数据集，以帮助在有限的操作域中解决其中的一些问题。数据由92个交通场景组成，每个场景有多种遍历方式。多个注释者表达了他们对场景穿越的偏好。我们使用这些数据来比较一个独立于数据集精心手工制作的规则手册实例，以及几个可解释的机器学习模型，如贝叶斯网络，决策树和在数据集上训练的逻辑回归。为了比较驾驶行为，这些模型使用分数来指示不同场景穿越违反14条驾驶规则中的每一条的程度。这些规则可由主题专家解释和设计。首先，我们发现这些规则足以让这些模型在数据集上实现高分类精度。其次，我们发现，规则手册提供了高的可解释性，而不会过度牺牲性能。第三，数据表明规则手册和规则可能有所改进，并可能出现新的规则。第四，我们通过训练不可解释的模型（如随机森林）来探索可解释性与性能的权衡。最后，我们公开了数据集，以鼓励更广泛的社区对AV行为规范进行讨论。请访问github.com/bassam-motional/Reasonable-Crowd。
2021-07-28 cs.LG cs.RO
Online Inference and Detection of Curbs in Partially Occluded Scenes with Sparse LIDAR
Oxford Robotics Institute (ORI)（牛津机器人研究所）；University of Oxford（牛津大学）
道路边界或路缘为自动驾驶汽车提供了解释道路场景和生成行为计划的基本信息。虽然路缘石传达重要信息，但在复杂的城市环境中很难检测到（特别是与道路的其他元素（如交通标志和道路标记）相比）。这些困难来自于其他交通参与者的遮挡以及不断变化的照明和/或天气条件。此外，道路边界具有各种形状、颜色和结构，而运动规划算法需要实时的准确和精确的度量信息来生成它们的规划。在本文中，我们提出了一种实时的基于激光雷达的方法，用于精确检测车辆周围的路边（360度）。我们的方法处理交通和不断变化的环境条件的闭塞。为此，我们将3D LIDAR点云数据投影到2D鸟瞰图像中（类似于逆透视映射）。然后，这些图像由经过训练的深度网络处理，以推断可见和被遮挡的道路边界。最后，后处理步骤过滤检测到的路缘段并随时间跟踪它们。实验结果表明，该方法对真实驾驶数据的有效性。因此，我们相信，我们的基于激光雷达的方法提供了一种高效和有效的方法来检测车辆周围的可见和遮挡的限制在具有挑战性的驾驶场景。
2019-07-11 cs.CV cs.LG cs.RO
Categorical Traffic Transformer: Interpretable and Diverse Behavior Prediction with Tokenized Latent
NVIDIA Research（英伟达研究院）；University of California, San Diego（加利福尼亚大学圣迭戈分校）；Stanford University（斯坦福大学）
本文提出Categorical Traffic Transformer（CTT），通过可解释的令牌化隐空间直接监督隐变量以避免模式坍缩，在提升预测精度的同时生成语义多样化的行为，并支持与LLM集成实现常识推理和零样本泛化。
2023-11-30 cs.CV cs.LG cs.RO
Driving in Real Life with Inverse Reinforcement Learning
Motional（Motional（自动驾驶公司））
在本文中，我们介绍了第一个基于学习的规划器，使用逆强化学习（IRL）在密集的城市交通中驾驶汽车。我们的规划器DriveIRL生成一组不同的轨迹建议，使用轻量级和可解释的安全过滤器过滤这些轨迹，然后使用学习模型对每个剩余轨迹进行评分。最佳轨迹由我们自动驾驶车辆的低级控制器跟踪。我们训练我们的轨迹评分模型在拉斯维加斯的最大熵IRL框架内的专家驾驶示范的500多小时的真实世界的数据集。DriveIRL的优势包括：由于只学习轨迹评分功能，相对可解释的功能和强大的现实世界性能，因此设计简单。我们在拉斯维加斯大道上验证了DriveIRL，并在交通繁忙的情况下展示了完全自动驾驶，包括涉及切入，领头车辆突然刹车和酒店接送区的场景。我们的数据集将公开，以帮助在这一领域的进一步研究。
2022-06-07 cs.AI cs.LG cs.RO
