Implementation of Road Safety Perception in Autonomous Vehicles in a Lane Change Scenario
Johannes Kepler University Linz(林茨约翰内斯·开普勒大学)
理解人类驾驶行为对于开发自动驾驶汽车算法至关重要。然而,大多数低级自动化,例如高级驾驶辅助系统(ADAS)中的自动化,都是基于客观的安全措施,这些措施并不总是与驾驶员认为安全的内容及其相应的驾驶行为保持一致。本文分析了在主观感知和客观安全措施之间寻找桥梁的问题,特别关注换道场景。结果表明,什么是被认为是安全的驾驶员和客观的指标,这取决于具体的机动和位置的司机之间的统计显着差异。
2022-11-02 cs.RO
Refining Obstacle Perception Safety Zones via Maneuver-Based Decomposition
NVIDIA(英伟达)
本文提出利用自车机动信息对Hamilton Jacobi可达性感知安全区进行分解,并通过“时间卷积”生成特定机动安全区,在保持完备性前提下最高缩减76%。
2023-08-11 cs.RO
System-Level Safety Monitoring and Recovery for Perception Failures in Autonomous Vehicles
NVIDIA Research(英伟达研究院);University of Southern California(南加州大学)
针对自动驾驶感知故障的系统级安全推理难题,提出SPARQ Q网络评估规划安全性并给出修正方案,在NuPlan-Vegas数据集上实现90%准确率与召回率及42Hz实时性能,优于主流可达性基线。
2024-10-06 cs.RO
EPSM: A Novel Metric to Evaluate the Safety of Environmental Perception in Autonomous Driving
University of Tübingen, Faculty of Science, Department of Computer Science, Embedded Systems Group(图宾根大学,科学学院,计算机科学系,嵌入式系统组)
EPSM提出了一种新的安全指标,用于评估自动驾驶中环境感知系统的安全性能,通过整合物体和车道检测任务的相互依赖性,识别传统指标无法捕捉的安全关键错误。
2025-12-17 cs.CV cs.RO
Conflict-Aware Active Perception and Control in 3D Gaussian Splatting Fields via Control Barrier Functions
Department of Mechanical Engineering and Mechanics, Lehigh University(机械工程与力学系,莱恩大学)
本文提出了一种基于控制屏障函数的冲突感知与控制框架,用于在3D高斯点云场环境中安全导航并获取信息以减少地图不确定性,通过统一的安全关键和感知感知二次规划程序解决安全与感知目标的冲突。
2026-05-19 cs.RO
Demonstrations of Cooperative Perception: Safety and Robustness in Connected and Automated Vehicle Operations
The University of Sydney(悉尼大学);Cohda Wireless(科达无线)
协同感知(cooperative perception)或集体感知(collective perception,CP)是智能交通系统(intelligent transportation systems,ITS)中的一项新兴技术。它使ITS站(ITS-S)能够通过车辆对X(V2X)通信与其他站共享其本地感知信息,从而提高道路运输的效率和安全性。在本文中,我们介绍了我们最近的进展,在发展的连接和自动驾驶汽车(CAV)和智能路边单元(IRSU)。我们提出了三个不同的实验,以证明在智能基础设施中使用CP服务,以提高对弱势道路使用者(VRU)的认识,从而提高CAV在各种交通场景中的安全性。我们在实验中证明,联网车辆(CV)可以“看到”拐角处的行人。更重要的是,我们展示了CAV如何自主和安全地与步行和跑步的行人进行交互,仅依赖于IRSU通过车辆到基础设施(V2I)通信提供的CP信息。这是仅使用CP信息的城市车辆自动化的首批演示之一。我们还解决在文件中的集体感知信息(CPM)从IRSU接收的处理,并通过管道的CP信息坐标变换的不确定性,多个道路使用者跟踪,并最终在CAV的路径规划/决策。实验结果是通过手动驾驶CV、全自主CAV和一个装有视觉和激光传感器以及道路用户跟踪系统的IRSU获得的。
2021-01-14 cs.RO
Incorporating System-level Safety Requirements in Perception Models via Reinforcement Learning
Iowa State University(爱荷华州立大学)
针对自主系统感知组件训练未考虑系统级安全的局限,提出将规则手册形式化的系统级安全需求转化为安全分数、融入强化学习奖励函数的训练范式,提升了系统级安全性能。
2024-12-04 cs.LG cs.RO
A Comprehensive Safety Metric to Evaluate Perception in Autonomous Systems
University of Tübingen, Faculty of Science, Department of Computer Science, Embedded Systems Group(图宾根大学,科学学院,计算机科学系,嵌入式系统组)
本文提出了一种综合考虑物体速度、方向、距离等因素的新安全度指标,用于评估自动驾驶系统中物体感知的安全性。
2025-12-16 cs.CV cs.RO
CarlaNCAP: A Framework for Quantifying the Safety of Vulnerable Road Users in Infrastructure-Assisted Collective Perception Using EuroNCAP Scenarios
University of Tübingen, Faculty of Science, Department of Computer Science, Embedded Systems Group(图宾根大学科学学院计算机科学系嵌入式系统组)
提出CarlaNCAP框架,通过包含11000帧安全关键EuroNCAP场景的数据集,评估基础设施辅助集体感知对弱势道路使用者的安全改进,仿真显示事故避免率可达100%。
2026-05-22 cs.RO
Perception-Integrated Safety Critical Control via Analytic Collision Cone Barrier Functions on 3D Gaussian Splatting
Daniel Guggenheim School of Aerospace Engineering(达利尔·古根海姆航空航天工程学院)
本文提出一种感知驱动的安全滤波器,将3D高斯泼溅解析转换为碰撞锥控制障碍函数并嵌入二次规划,实现主动避障,在保持安全性的同时将规划时间缩短3倍并显著降低轨迹加加速度。
2025-09-17 cs.RO
Fault-Tolerant Perception for Automated Driving A Lightweight Monitoring Approach
Intel Labs(英特尔实验室)
虽然自动驾驶汽车的安全验证过程中最明显的部分涉及规划和控制系统,但往往忽视了后者的安全性关键取决于前面的环境感知的容错性。现代感知系统具有复杂且通常基于机器学习的组件,这些组件具有各种可能危及整体安全的故障模式。同时,由于资源限制,通过例如冗余执行的验证并不总是可行的。在本文中,我们解决了可行的和有效的感知监视器的需求,并提出了一种轻量级的方法,有助于保护感知系统的完整性,同时保持额外的计算开销最小。与现有的解决方案相比,该监控器通过传感器检查(这里使用LiDAR信息)和对象运动历史的可扩展性检查的良好平衡组合来实现。它被设计用于检测自动驾驶车辆环境中物体的距离和速度的相关误差。结合适当的规划系统,这样的监控器可以帮助实现安全的自动驾驶。
2021-11-24 cs.RO
Near-Field Perception for Safety Enhancement of Autonomous Mobile Robots in Manufacturing Environments
Department of Mechanical Engineering, University of Michigan, MI 48109, USA;Materials \& Manufacturing Systems Research, General Motors R \& D, Warren, MI 48092, USA
本文提出三级近场感知框架,通过光断续检测、光位移测量和计算机视觉分类,提升自主移动机器人在制造环境中的安全性能。
2025-12-15 cs.RO
Efficient Determination of Safety Requirements for Perception Systems
Stanford University(斯坦福大学)
本文提出平滑赌博机方法,结合高斯过程与阈值赌博机优势,在闭环系统黑盒模拟器下高效确定安全感知系统性能特性集合,并在飞机避撞任务中验证其准确性与效率优于基线。
2023-07-03 cs.AI cs.RO
Zhuyi: Perception Processing Rate Estimation for Safety in Autonomous Vehicles
Harvard University(哈佛大学);NVIDIA Corporation(英伟达公司)
自动驾驶汽车(AV)在复杂场景中对高精度感知的处理要求可能超过车载计算机提供的资源,从而降低安全性和舒适性。本文提出了一种传感器帧处理速率(FPR)估计模型,朱毅,量化的最低安全FPR连续驾驶场景。部署后,可以使用“朱易”进行在线安全检查,并确定工作的优先级。使用多摄像头最先进的工业AV系统进行的实验表明,Zhuyi估计的FPR是保守的,但与测试场景中默认的30-FPR系统相比,该系统可以通过处理36%或更少的帧来保持安全性。
2022-05-06 cs.AI cs.RO
Interaction-Dynamics-Aware Perception Zones for Obstacle Detection Safety Evaluation
NVIDIA(英伟达)
为了实现安全的自主车辆(AV)操作,至关重要的是AV的障碍物检测模块能够可靠地检测构成安全威胁的障碍物(即,安全性至关重要)。因此,期望感知系统的评估度量捕获对象的安全关键性。遗憾的是,现有的感知评估指标往往对对象进行强假设,忽略了代理之间的动态交互,因此无法准确捕获现实中的安全风险。为了解决这些缺点,我们引入了一个相互作用的动态感知障碍物检测评价指标,占自我车辆和场景中的障碍物之间的闭环动态相互作用。通过借用现有的理论从最优控制理论,即汉密尔顿-雅可比可达性,我们提出了一个计算上易于处理的方法来构建一个"安全区“:一个区域的状态空间,定义安全关键的障碍在于定义安全度量的目的。我们提出的安全区是数学上完整的,可以很容易地计算,以反映各种安全要求。使用nuScenes检测挑战排行榜中的现成检测算法,我们证明了我们的方法是计算量小的,并且可以比基线方法更好地捕获安全关键感知错误。
2022-06-24 cs.RO cs.SY eess.SY
Integrating Naturalistic Insights in Objective Multi-Vehicle Safety Framework
Johannes Kepler University Linz(约翰内斯·开普勒大学林茨分校)
本文提出一个整合客观安全指标与主观感知的多车辆安全评估框架,在高速跟车场景中利用自然驾驶数据验证,综合多指标及全周围车辆信息时性能卓越。
2025-03-27 cs.RO
Testing Rare Downstream Safety Violations via Upstream Adaptive Sampling of Perception Error Models
University of Edinburgh(爱丁堡大学)
在模拟中测试黑盒感知控制系统面临两个困难。首先,仿真中的感知输入缺乏真实世界传感器输入的保真度。其次,对于一个相当准确的感知系统,遇到罕见的故障轨迹可能需要运行不可行的许多模拟。本文结合感知误差模型-代理人的传感器为基础的检测系统-与状态相关的自适应重要性采样。这使我们能够有效地评估罕见的故障概率为现实世界中的感知控制系统的模拟。我们的实验与自主制动系统配备了RGB障碍物检测器表明,我们的方法可以计算准确的故障概率与廉价的模拟数量。此外,我们展示了如何选择的安全度量可以影响的过程中学习的建议分布能够可靠地抽样高概率故障。
2023-02-03 cs.LG cs.RO
The missing link: Developing a safety case for perception components in automated driving
University of Waterloo(滑铁卢大学);DENSO CORPORATION(电装公司)
安全保证是自动驾驶(AD)系统开发和社会接受的核心问题。感知是AD的一个关键方面,它在很大程度上依赖于机器学习(ML)。尽管已知的挑战与ML为基础的组件的安全保证,建议最近出现的单元级安全的情况下,解决这些组件。不幸的是,AD安全案例表达了系统级的安全要求,这些努力缺少将系统级的安全要求与单元级的组件性能要求相结合所需的关键链接参数。在本文中,我们提出了集成安全的情况下,感知(ISCaP),一个通用的模板,这样一个链接的安全参数专门为感知组件。该模板采用演绎和正式的方法来定义级别之间的强可追溯性。我们展示了ISCaP的适用性与详细的案例研究,并讨论了其作为一种工具,以支持增量开发的感知组件。
2022-09-06 cs.AI cs.LG cs.RO
Injecting Hallucinations in Autonomous Vehicles: A Component-Agnostic Safety Evaluation Framework
Department of Communication, University of Miami, Coral Gables, FL 33124 USA(迈阿密大学通信系);Department of Communication, Stanford University, Stanford, CA 94305-2050 USA(斯坦福大学通信系)
本研究提出一种与组件无关的自动驾驶汽车幻觉注入框架,经18350余次仿真验证,可量化各类幻觉对碰撞的影响,能加速自动驾驶汽车安全验证并缩短其上市时间。
2026-10-12 cs.RO
Graphormer-Guided Task Planning: Beyond Static Rules with LLM Safety Perception
本文提出Graphormer增强的风险感知任务规划框架,通过构建动态时空语义安全图并结合LLM决策,实现超越静态规则的在线危险检测与自适应任务细化,在AI2-THOR实验中验证了其在风险检测准确性和任务适应性上的提升。
2025-03-10 cs.AI cs.RO
A Review of Testing Object-Based Environment Perception for Safe Automated Driving
RWTH Aachen University(亚琛工业大学);Institute for Automotive Engineering(汽车工程研究所)
自动驾驶系统的安全保证必须考虑不确定的环境感知。本文回顾了文献解决如何感知测试实现安全保证的一部分。我们专注于在感知和规划之间的接口进行验证和确认目的的测试,并沿着三个轴构建我们的分析:1)测试标准和度量,2)测试场景,3)参考数据。此外,分析的文献包括相关的安全标准,安全无关的感知算法基准测试和传感器建模。我们发现,实现安全感知测试仍然是一个悬而未决的问题,因为有关的三个测试轴和它们的相互依赖性的挑战目前似乎没有得到充分解决。
2021-02-16 cs.CV cs.RO cs.SY
Towards Declarative Safety Rules for Perception Specification Architectures
University of Southern Denmark(南丹麦大学)
与其他蓝领领域相比,农业的死亡人数很高,此外,农村地区人口减少导致劳动力减少。这些问题导致人们更加重视提高农业效率和实行农业自主。田间机器人是一个越来越有前途的机器人分支,目标是实现农业全自动化。然而,安全性方面依赖于安全标准,这限制了现实世界的适用性。在本文中,我们提出了一个视觉管道与功能安全标准的分析,以提出解决方案,如何确定系统按要求运行。基于分析,我们展示了一种简单的机制,用于验证视觉管道是否正常工作,从而提高整个系统的安全性。
2016-01-12 cs.CY cs.RO
SafeGuard ASF: SR Agentic Humanoid Robot System for Autonomous Industrial Safety
本文提出SafeGuard ASF系统,利用人形机器人结合多模态感知与ReAct代理推理框架,实现工业环境中的火灾烟雾、管道异常温度及禁区入侵检测,通过训练多种运动策略实现自主巡逻与避障。
2026-03-26 cs.RO
Task-Aware Risk Estimation of Perception Failures for Autonomous Vehicles
Massachusetts Institute of Technology(麻省理工学院);NVIDIA Research(英伟达研究院);University of Washington(华盛顿大学);Stanford University(斯坦福大学)
本文提出一种自动驾驶感知故障任务感知风险评估器,基于copula统计工具计算风险的PAC估计,以判定是否触发安全机动,在NuPlan数据集上F1分数达最优基准两倍,兼顾了安全性与性能。
2023-05-03 cs.RO
Correcting Learning-based Perception for Safety
UIUC(伊利诺伊大学厄巴纳-香槟分校)
提出两步策略修正基于学习的感知不确定性,利用感知契约原像和风险启发式选择状态,在ACC场景中73%保持安全且仅增加2.8%完成时间。
2026-09-22 cs.CV cs.LG cs.RO
Run-Time Monitoring of Machine Learning for Robotic Perception: A Survey of Emerging Trends
The ARC Centre of Excellence for Robotic Vision(澳大利亚研究理事会机器人视觉卓越中心);The Centre for Robotics, Queensland University of Technology(昆士兰科技大学机器人中心)
随着深度学习继续主导所有最先进的计算机视觉任务,它越来越成为机器人感知的重要组成部分。这就提出了关于基于学习的感知系统的安全性和可靠性的重要问题。有一个既定的领域,研究复杂软件系统在设计时的安全认证和收敛保证。然而,未知的未来部署环境的自治系统和基于学习的感知的复杂性,使设计时验证的推广到运行时间的问题。面对这一挑战,越来越多的注意力开始集中在运行时间监测的性能和可靠性的感知系统与文献中出现的几个趋势。本文试图找出这些趋势,并总结了各种方法的主题。
2021-07-12 cs.RO
Towards a DSL for Perception-Based Safety Systems
Aarhus University(奥胡斯大学);University of Southern Denmark(南丹麦大学)
本文是对早期提出的程序设计语言领域专用语言的扩展。本文扩展了新的传感器和行为,以解决现实生活中的情况下提出的概念。在实验室实验中的功能进行了测试,并提出了一个扩展到早期的概念。
2016-03-07 cs.PL cs.RO
Perceive With Confidence: Statistical Safety Assurances for Navigation with Learning-Based Perception
Princeton University(普林斯顿大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Johns Hopkins University Applied Physics Laboratory(约翰斯·霍普金斯大学应用物理实验室)
针对预训练感知模型在未知环境中可靠性不足的问题,提出基于保形预测校准的PwC方法,量化不确定性并与安全规划器结合,在仿真和硬件实验中显著降低漏检率,实现100%避障安全并提升导航成功率。
2025-04-17 cs.RO cs.SY eess.SY
Perceived Safety in Physical Human Robot Interaction -- A Survey
Nazarbayev University(纳扎尔巴耶夫大学);S. Baishev University(巴伊舍夫大学)
这篇综述论文重点讨论了一些自主物理系统的感知安全的不同方面。这是机器人研究的一个主要方面,因为越来越多的应用允许人类和自主系统共享空间,这对安全和感知都有重要影响。用于表达相关概念的替代术语(例如,心理安全、信任、舒适、压力、恐惧和焦虑)被列出并解释。然后,评估感知安全性的可用方法(即,问卷调查、生理测量、行为评估和直接输入设备)。六类自主系统被认为是(工业机械手,移动机器人,移动机械手,人形机器人,无人机和自动驾驶汽车),提供了一个概述的主要主题相关的感知安全在特定的领域,所选作品的描述,并分析如何运动和系统的特性影响安全的感知。调查还讨论了实验持续时间和审查文件的位置,以及随着时间的推移确定的趋势。
2021-05-30 cs.RO
A Path Planning Framework for a Flying Robot in Close Proximity of Humans
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
我们提出了一个路径规划框架,考虑到人类的安全感知存在的飞行机器人。该框架解决了两个目标:(i)估计的不确定参数的建议的安全感知模型的基础上收集的测试数据,使用虚拟现实(VR)试验台,和(ii)离线最优控制计算使用估计的安全感知模型。由于人体测试数据中的未知因素,不适合使用最小化均方误差(MSE)的标准回归技术。我们建议使用隐马尔可夫模型(HMM)的方法,其中人类的注意力被认为是一个隐藏的状态,以推断数据样本是否是相关的学习安全感知模型。HMM方法改进了标准最小二乘解的对数似然。对于路径规划,我们使用Bernstein多项式进行离散化,因为所得到的路径保持在控制点的凸包内,从而以低计算成本保证与障碍物的去冲突。最佳轨迹生成使用学习的人体模型的一个例子。使用所提出的模型生成的最优轨迹导致与人的合理安全距离。相比之下,使用标准回归模型生成的路径由于过拟合而具有不期望的形状。算例表明,与标准MSE模型相比,HMM方法对未知因素具有鲁棒性。
2019-03-12 cs.RO
Refining Perception Contracts: Case Studies in Vision-based Safe Auto-landing
Coordinated Science Laboratory University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校协调科学实验室);Massachusetts Institute of Technology(麻省理工学院)
本文提出DaRePC算法,用于细化感知契约,以评估基于视觉的飞行控制系统的安全性,并在6维和12维的自动着陆和无人机导航案例中验证了其有效性。
2023-11-15 cs.CV cs.RO
Safety-Aligned 3D Object Detection: Single-Vehicle, Cooperative, and End-to-End Perspectives
DENSO AUTOMOTIVE Deutschland GmbH(电装汽车德国有限公司);Carl von Ossietzky University of Oldenburg(奥尔登堡大学);Technical University of Munich(慕尼黑工业大学)
本文探讨了安全对齐的3D目标检测评估与优化,通过单车辆、协同和端到端视角,提出EC-IoU损失函数,改进安全关键检测性能,并在SparseDrive中验证安全感知强化对碰撞率降低和系统安全性的提升。
2026-04-02 cs.AI cs.CV cs.RO
Progressive Bird's Eye View Perception for Safety-Critical Autonomous Driving: A Comprehensive Survey
State Key Laboratory of Robotics and System(机器人系统国家重点实验室);Harbin Institute of Technology(哈尔滨工业大学);State Key Laboratory of Intelligent Green Vehicle and Mobility(智能绿色车辆与移动性国家重点实验室);Tsinghua University(清华大学);the School of Mechanical and Aerospace Engineering(机械与航空航天工程学院);Nanyang Technological University(南洋理工大学);Beijing Key Laboratory of Traffic Data Mining and Embodied Intelligence(北京交通数据挖掘与具身智能重点实验室);Beijing Jiaotong University(北京交通大学);the Institute for Infocomm Research(信息通信研究所);A*STAR;the Engineering Cluster(工程集群);the Singapore Institute of Technology(新加坡理工学院)
本综述首次从安全关键角度全面回顾了自动驾驶中的BEV感知,系统分析了单模态车端、多模态车端及多智能体协作三个渐进阶段的框架,评估了相关数据集,并指出了开放世界挑战与未来研究方向。
2025-08-11 cs.CV cs.RO
Ensuring Safe Autonomy: Navigating the Future of Autonomous Vehicles
Fraunhofer IESE(弗劳恩霍夫 IESE)
本文针对自动驾驶安全性证明难题,提出一种集成动态风险管理的模块化自适应自主框架,以克服传统保守安全假设和感知不可靠等缺陷。
2024-03-27 cs.RO
Testing the Safety of Self-driving Vehicles by Simulating Perception and Prediction
Uber Advanced Technologies Group(优步先进技术集团);University of Toronto(多伦多大学);Shanghai Jiao Tong University(上海交通大学)
我们提出了一种在模拟中测试自动驾驶车辆安全性的新方法。我们提出了一种替代传感器模拟,传感器模拟是昂贵的,有很大的领域差距。相反,我们直接模拟自动驾驶汽车的感知和预测系统的输出,从而实现逼真的运动规划测试。具体来说,我们使用以地面真实标签和真实感知和预测输出形式的成对数据来训练预测在线系统将产生什么的模型。重要的是,我们系统的输入包括高清晰度的地图、边界框和轨迹,测试工程师可以在几分钟内轻松绘制。这使得我们的方法成为一个更具可扩展性的解决方案。两个大规模数据集上的定量结果表明,我们可以现实地测试运动规划使用我们的模拟。
2020-08-13 cs.CV cs.LG cs.RO
Runtime Safety Monitoring of Deep Neural Networks for Perception: A Survey
Institute for Applied Informatics and Formal Description Methods(应用信息学与形式描述方法研究所);Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院)
本文综述了深度神经网络感知系统的运行时安全监控方法,将其分为监控输入、内部表示和输出三类,分析各自优劣并指出未来研究方向。
2025-11-08 cs.AI cs.CV cs.LG
Splat-CBF: Safe Next-Best-View Control in 3D Gaussian-Splat Maps
Lehigh University(理海大学)
针对未知环境导航中探索与安全的矛盾,提出Splat-CBF,利用风险感知控制屏障函数和Fisher信息增益,在二次规划中实现硬安全约束与软感知目标,使机器人更快、更安全地收集信息。
2026-09-22 cs.RO
Safety Assessment for Autonomous Systems' Perception Capabilities
University of York(约克大学)
自治系统(AS)越来越多地被提出或用于安全关键(SC)应用。许多这样的系统利用复杂的传感器套件和处理来提供场景理解,从而通知AS的决策。传感器处理通常利用机器学习(ML),并且必须在具有挑战性的环境中工作,此外,ML算法具有已知的限制,例如,对象分类中的假阴性或假阳性的可能性。为传统SC系统开发的成熟的安全分析方法与AS、ML或AS使用的传感系统不匹配。本文提出了一种适应完善的安全分析方法,以解决AS感知系统的具体问题,包括解决环境影响和ML的潜在故障模式,并为选择特定的引导词或提示集进行安全分析提供了依据。它继续展示了如何分析的结果可以用来通知AS的设计和验证,并说明了新的方法,提出了部分分析的道路车辆。本文中的插图主要基于光学传感,但本文讨论了该方法对其他传感方式的适用性及其在更广泛的安全过程中的作用,以解决AS的整体能力。
2022-08-18 cs.RO cs.SY eess.SY
Risk-Driven Design of Perception Systems
Stanford University(斯坦福大学);University of Edinburgh(爱丁堡大学)
现代自主系统依赖于感知模块将复杂的传感器测量处理为状态估计。然后,这些估计被传递到控制器,控制器使用它们来做出安全关键决策。因此,我们设计感知系统以尽量减少降低系统整体安全性的错误是很重要的。我们开发了一种风险驱动的方法来设计感知系统,考虑感知错误对完全集成的闭环系统性能的影响。我们制定了一个风险函数来量化一个给定的感知错误对整体安全性的影响,并展示了我们如何使用它来设计更安全的感知系统,包括一个风险依赖项的损失函数和风险敏感区域生成训练数据。我们评估了我们的技术在一个现实的基于视觉的飞机检测和避免应用程序,并表明风险驱动的设计减少了37%的碰撞风险超过基线系统。
2022-10-12 cs.AI cs.RO
FastBridge: Closing the Model-Based Realization Gap in Safety Filters on 3D Gaussian Splatting for Fast Quadrotor Flight
针对快速四旋翼飞行中安全滤波器的模型实现差距,提出一种基于全四旋翼动力学的非线性、执行器感知安全滤波器,利用碰撞锥指数障碍函数和备份CBF,在保持QP可行性的同时降低轨迹加加速度47%并提速2.25倍。
2026-07-02 cs.RO
Closing the Loop on Runtime Monitors with Fallback-Safe MPC
Stanford University(斯坦福大学)
本文提出结合鲁棒MPC与共形预测校准运行时监视器的框架,在感知退化时维持回退计划可行性,以极少样本实现新环境中感知使能系统的端到端安全认证。
2023-09-18 cs.RO cs.SY eess.SY
Connected Dependability Cage: Run-Time Function and Anomaly Monitoring for the Development and Operation of Safe Automated Vehicles
Institute for Software and System Engineering(软件与系统工程研究所)
本文提出连接的可靠性笼架构,通过功能监控和异常监控机制,提升自动驾驶系统在故障和未知环境下的安全性与可靠性。
2026-04-30 cs.RO
Safety-Oriented Trajectory Ranking from BEV Perception Outputs
University of the Bundeswehr Munich(德国联邦国防军慕尼黑大学);Ludwig-Maximilians-Universität München(慕尼黑大学);Research Institute CODE, University of the Bundeswehr Munich(德国联邦国防军慕尼黑大学CODE研究院)
本文提出一种基于BEVFusion的模块化轨迹排序流水线,以安全优先准则对候选轨迹排序,在7个场景的21人调查中与人类偏好的一致性达84.9%,可近似人类偏好且透明度高。
2026-10-14 cs.CV cs.RO
ThermoAct:Thermal-Aware Vision-Language-Action Models for Robotic Perception and Decision-Making
Dongguk University(东国大学)
本文提出一种融合热信息的视觉-语言-动作框架,通过高阶规划器解析自然语言指令并分解为子任务,提升机器人复杂操作的执行效率与安全性。
2026-10-23 cs.RO
Perception with Guarantees: Certified Pose Estimation via Reachability Analysis
Technical University of Munich, Germany(慕尼黑技术大学);University of California, Irvine, USA(加州大学 Irvine 分校)
本文提出通过可达性分析实现认证姿态估计,利用相机图像和已知目标几何体,确保在最坏情况下姿态估计的准确性与安全性。
2026-05-13 cs.CV cs.RO
Learning How to Trade-Off Safety with Agility Using Deep Covariance Estimation for Perception Driven UAV Motion Planning
Istanbul Technical University(伊斯坦布尔理工大学);Turkish-German University(土耳其-德国大学)
针对敏捷无人机导航任务,研究了如何利用预测模型选择基于感知不确定性估计的运动规划策略。虽然有各种各样的运动规划和感知算法,这样的任务,感知的不确定性的影响是没有明确地处理在许多当前的运动算法,这导致在现实生活中的情况下,测量往往是嘈杂的,由于外部干扰的性能损失。我们开发了一个新的框架嵌入感知不确定性的高层次运动规划管理,以选择最好的可用运动规划方法,目前估计的感知不确定性。我们使用深度神经网络(CovNet)来估计视觉输入的不确定性,该深度神经网络明确预测当前测量的协方差。接下来,我们训练一个高级机器学习模型,用于在给定协方差的当前估计以及UAV状态的情况下预测最低成本的运动规划算法。我们证明了现实生活中的数据和无人机竞赛模拟,我们的方法,命名为不确定性驱动的运动规划切换器(UDS)产生的最安全和最快的轨迹之间比较的替代品。此外,我们表明,开发的方法学习如何权衡安全与敏捷性切换到运动规划,导致更敏捷的轨迹时,估计的协方差是高的,反之亦然。
2020-12-11 cs.RO cs.SY eess.SY
Risk-perception-aware control design under dynamic spatial risks
University of California at San Diego(加州大学圣地亚哥分校)
这项工作提出了一种新的风险感知感知(RPA)控制设计使用不确定的动态空间成本相关的风险的非理性感知。我们使用累积前景理论(CPT)的决策者(DM)的风险感知模型,并使用它来构建感知风险函数,将不确定的动态空间成本的DM确定性感知风险。然后,这些风险被用来建立安全集,可以代表风险厌恶风险不敏感的感知。我们定义了一个概念的“包容性”和“多功能性”的基础上的安全集,并使用它来比较与其他模型,如条件风险价值(CVaR)和预期风险(ER)。我们从理论上证明,CPT是最“包容性”和“通用”的模型的很多风险感知控制的背景下。我们进一步使用感知风险函数以及来自控制障碍函数(CBF)的思想来构建一类感知风险CBF。对于一类截断高斯成本,我们找到了这类CBF有效性的充分几何条件,从而保证了安全性。然后,我们生成感知安全关键控制使用二次规划(QP),以指导代理安全地根据给定的感知风险模型。我们提出了在2D环境中的模拟来说明所提出的控制器的性能。
2021-09-09 cs.RO cs.SY eess.SY
A Safety Assurable Human-Inspired Perception Architecture
University of Waterloo(滑铁卢大学)
尽管使用深度神经网络(DNN)的基于人工智能的感知(AIP)已经实现了接近人类水平的性能,但其众所周知的局限性是自主应用所需的安全保证的障碍。这些包括易受敌对输入的影响,无法处理新的输入和不可解释性。虽然在解决这些限制的研究是积极的,在本文中,我们认为,需要一个根本不同的方法来解决这些问题。受人类认知的双过程模型的启发,其中类型1思维是快速和无意识的,而类型2思维是缓慢的,基于有意识的推理,我们提出了一个安全的AIP的双过程架构。我们回顾了人类如何解决最简单的非平凡的感知问题,图像分类的研究,并勾勒出相应的AIP架构这项任务。我们认为,这种架构可以提供一种系统的方法来解决使用DNN的AIP的局限性,并提供一种方法来保证人类水平的性能。最后,我们讨论了哪些组件的架构可能已经解决了现有的工作和什么仍然是未来的工作。
2022-06-18 cs.AI cs.LG cs.RO
PAC-MAN: Perception-Aware CBF-RL for Whole-Body Safety in Humanoid Dodgeball
California Institute of Technology(加州理工学院)
本研究提出PAC-MAN感知感知CBF-RL框架,结合控制屏障安全与机载传感,在人形机器人躲避球任务中,基于Unitree G1实现95%投掷成功率,验证了感知可观测性对屏障结构性能的影响。
2026-09-30 cs.AI cs.RO
INTACT: Inducing Noise Tolerance through Adversarial Curriculum Training for LiDAR-based Safety-Critical Perception and Autonomy
University of Illinois at Chicago (UIC)(伊利诺伊大学芝加哥分校)
本文提出INTACT框架,通过元学习生成鲁棒显著性图并结合对抗性课程训练,逐步增强深度网络对LiDAR噪声的容忍能力,在KITTI等基准上将检测、跟踪和分类鲁棒性提升最高20%。
2025-02-04 cs.CV cs.RO
Verifying Controllers with Convolutional Neural Network-based Perception: A Case for Intelligible, Safe, and Precise Abstractions
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Coordinated Science Laboratory(协调科学实验室)
针对CNN感知模型安全性分析困难的问题,提出一种从系统级安全需求和下游模块推断可理解且安全抽象的技术,并在高保真仿真中验证了其能有效权衡安全、规模与精度并指导极端情况搜索。
2021-11-10 cs.RO cs.SE
SEAMLiS: Visibility-Aware Safety for Perception-Limited Multi-Robot Exploration
针对感知受限的多机器人探索,提出SEAMLiS安全框架,保留上游探索堆栈,通过感知感知姿态和位置过滤器加强安全,经多种实验验证,可实现无碰撞探索并保留可见性偏航控制效率。
2026-11-03 cs.RO cs.SY eess.SY
Visibility-Aware RRT* for Safety-Critical Navigation of Perception-Limited Robots in Unknown Environments
University of Michigan(密歇根大学)
针对感知受限机器人在未知环境中的碰撞风险,提出融合避障 CBF 与新型可见性 CBF 的 Visibility-Aware RRT*,并经两类安全控制器实验验证其安全与效率优势。
2025-03-17 cs.RO cs.SY eess.SY
Advancing Autonomous Driving Perception: Analysis of Sensor Fusion and Computer Vision Techniques
Drexel University(德雷塞尔大学)
本报告通过分析基于视觉的系统与感知指标的最新进展,探讨了利用基于深度的感知和计算机视觉技术增强轮式自动驾驶机器人未知2D地图导航能力的方法,旨在提升自动驾驶感知系统的安全性与性能。
2024-11-15 cs.CV cs.RO