Document Retrieval Augmented Fine-Tuning (DRAFT) for safety-critical software assessments
Digital Transit Limited, 3M Buckley Innovation Centre, UK, HD1 3BD（数字交通有限公司，3M Buckley创新中心，英国，HD1 3BD）；Department of Computer Science, University of Huddersfield, UK, HD1 3DH（计算机科学系，赫德瑟菲尔德大学，英国，HD1 3DH）
本文提出DRAFT方法，通过引入双检索架构和半自动化数据集生成，提升大型语言模型在安全关键合规评估中的准确性与证据处理能力。
2025-05-02 cs.AI cs.SE
Verification of Component Fault Trees Using Error Effect Simulations
安全相关系统的日益复杂性导致安全保证的努力日益增加。因此，在保证安全运行的同时，降低开发成本和缩短上市时间是一项重大挑战。为了使有效的安全评估复杂的架构，我们提出了一种方法，它结合了演绎安全分析，在组件故障树（CFTs）的形式，与错误效应模拟（EES）的健全检查。这种组合减少了两种分析的缺点，例如在CFTs中主观的故障传播假设或EES相关故障场景的确定。CFT和EES均提供模块化、可重复使用和组合安全分析，并适用于整个设计过程。它们支持持续的模型改进和重复使用已进行的安全分析和仿真模型。因此，可以在早期设计阶段识别违反安全目标的行为，并且重新使用进行的安全分析可以减少安全评估的开销。
2021-06-07 cs.SE
A Functional Safety Assessment Method for Cooperative Automotive Architecture
汽车功能的范围已经从单个车辆作为一个实体发展到多个车辆作为一个实体一起工作，称为协同驾驶。目前的汽车安全标准ISO 26262是为单车设计的。随着道路上具有协同驾驶能力的车辆数量的增加，现在必须系统地评估这些车辆的架构的功能安全性。许多方法被提出来评估架构在软件架构域中的不同质量属性，但据我们所知，汽车架构的功能安全评估没有在文献中探讨。我们提出了一种方法，利用现有的研究在软件架构和安全工程领域，检查是否满足功能安全要求的合作驾驶场景中的技术架构的车辆。我们将我们的方法应用于现实生活中的学术原型的合作驾驶场景，排队，并讨论我们的见解。
2021-05-02 cs.SE cs.SY eess.SY
Characterizing the Identity of Model-based Safety Assessment: A Systematic Analysis
基于模型的安全评估已经成为系统安全工程界二十多年来的主要研究方向之一。然而，对于什么是MBSA仍然缺乏共识。MBSA身份的模糊性阻碍了MBSA作为一个活跃的研究领域的发展。因此，本文旨在探讨MBSA的身份，以帮助在整个社会达成共识。为此，我们首先考虑MBSA方法必须执行的核心活动。其次，我们描述了核心模式，其中核心活动必须进行的方法被认为是MBSA。最后，最近发表的MBSA文件进行审查，以测试我们的表征MBSA的有效性。
2022-12-11 cs.SE cs.SY eess.SY
Assessing a Safety Case: Bottom-up Guidance for Claims and Evidence Evaluation
本文针对自动驾驶系统安全论证的可信度评估需求，提出自底向上的评估方法，从主张支撑、证据状态两维度制定评分指南，为论证可信度评估提供起点，助力ADS安全保障与负责任落地。
2025-06-11 cs.CY cs.SE
The Impact of Operational-Data Fidelity when Assessing Safety-Critical Autonomous-Vehicle Software
Centre for Software Reliability, City St. George’s, University of London（伦敦大学城市圣乔治学院软件可靠性中心）
本文扩展保守贝叶斯推理技术，提出检查运营数据不足时可靠性断言稳健性的统计方法，阐明保守使用低保真数据的幼稚性，给出数据保真度对自动驾驶汽车安全评估影响的首批保守估计。
2026-10-08 cs.RO cs.SE
Systems-theoretic Safety Assessment of Robotic Telesurgical Systems
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Applied Dexterity（Applied Dexterity公司）；Rush University Medical Center（拉什大学医学中心）；Massachusetts Institute of Technology（麻省理工学院）
机器人手术系统是市场上最复杂的医疗网络物理系统之一，在过去十年中已用于超过175万例手术。尽管近年来机器人手术系统的设计有了显著改进，但在手术过程中仍不断发生对患者产生负面影响的安全事件。本文提出了一种基于软件故障注入的机器人手术系统的系统理论安全评估方法。我们使用系统理论危害分析技术（STPA）来识别RAVEN II机器人（一种开源机器人手术平台）中的潜在安全危害场景及其成因。我们将机器人控制软件与软件实现的故障注入引擎集成在一起，该引擎通过自动将故障插入机器人控制软件的不同部分来测量系统对已识别的安全危险场景的弹性。使用报告给美国食品药品监督管理局（FDA）MAUDE数据库的真实机器人手术事件的代表性危害场景来证明机器人手术系统基于安全设计的拟议方法的可行性。
2015-07-08 cs.CR cs.RO cs.SE
QuantUM: Quantitative Safety Analysis of UML Models
在开发安全关键系统时，必须对不同的设计方案进行评估。特别是，系统的架构设计的早期安全评估是可取的。尽管有过多的正式的定量分析方法，但软件和系统架构师仍然很难将这些技术集成到他们的日常工作中。这主要是由于缺乏可以直接应用于架构级模型的方法，例如UML图。此外，所使用的描述方法不需要对形式方法有深刻的了解。我们的方法弥补了这一差距，并提高了定量安全分析方法到开发过程中的集成。分析的所有输入都是在UML模型的层次上指定的。然后，该模型被自动地转换成分析模型，并且分析的结果因此在UML模型的级别上被表示。因此，在分析过程中使用的分析模型和形式化方法对用户是隐藏的。我们说明了我们的方法使用工业实力的案例研究的有用性。
2011-07-06 cs.SE
Model-Based Safety and Security Engineering
通过利用日益增加的系统表面攻击，网络攻击可能导致灾难性事件，例如远程禁用安全机制。这意味着，为了避免危险，安全和安保需要结合起来，交流信息，如主要危险/威胁、风险评估、使用的机制。本白皮书描述了通过使用模型实现此集成的一些步骤。首先，我们要明确一些关键的技术挑战。然后，我们演示了模型，如目标结构化表示法（GSN）的安全性和攻击防御树（ADT）的安全性，可以解决这些挑战。特别是，（1）我们演示了如何通过将GSN模型转换为ADT，以自动化的方式从安全评估中提取安全相关信息;（2）我们展示了安全结果如何影响安全评估的置信度;（3）我们提出了一个协作开发过程，其中通过逐步考虑安全和安全分析来构建安全和安全评估;（4）我们描述了如何以自动化的方式进行权衡分析，例如识别安全性和安全性参数何时相互矛盾以及如何解决这些矛盾。最后，我们指出，这些是迈向广泛的技术，以支持安全和安全工程的第一步。作为一份白皮书，我们避免过于技术性，更喜欢通过使用示例来说明功能，从而更容易理解。
2019-01-02 cs.LO cs.SE
Behavioral Safety Assessment towards Large-scale Deployment of Autonomous Vehicles
University of Michigan（密歇根大学）；University of Michigan Transportation Research Institute（密歇根大学交通研究所）
提出面向自动驾驶汽车的行为安全评估范式及第三方框架，包含Driver Licensing Test和Driving Intelligence Test，验证表明Autoware.Universe碰撞率远高于人类驾驶员，凸显了部署前行为安全评估的必要性。
2025-05-30 cs.RO cs.SE
Concrete Safety for ML Problems: System Safety for ML Development and Assessment
Naval Postgraduate School（海军研究生院）
许多利益相关者都在努力依赖ML驱动的系统，因为这些系统可能会造成危害。对可信度的担忧，意想不到的社会危害以及不可接受的社会和道德违规行为破坏了ML进步的承诺。此外，在复杂的ML驱动的系统中，这种风险提出了一个特殊的挑战，因为它们往往难以预见，在一段时间内，在人群中，并在规模上出现。这些风险通常不是直接来自于糟糕的ML开发决策或低性能，而是通过ML开发选择、模型使用背景、环境因素以及模型对其目标的影响之间的相互作用而出现的。系统安全工程是一门成熟的学科，即使在高度复杂的社会技术系统中也具有识别和管理风险的良好记录。在这项工作中，我们将最先进的系统安全方法应用于具有显著社会和道德风险的ML的具体应用，以展示满足社会技术系统中安全和值得信赖的ML所需的保证要求的系统方法。
2023-02-06 cs.CY cs.LG cs.SE
Reliability Assessment and Safety Arguments for Machine Learning Components in System Assurance
University of Liverpool（利物浦大学）；Heriot-Watt University（赫瑞-瓦特大学）；Defence Science and Technology Laboratory（国防科学技术实验室）；Imperial College London（帝国理工学院）
越来越多地使用嵌入在自主系统中的机器学习（ML）组件-所谓的学习支持系统（LES）-导致迫切需要确保其功能安全性。至于传统的功能安全，工业界和学术界正在形成的共识是为此目的使用保证案例。通常，保证案例支持可靠性声明以支持安全性，并且可以被视为组织从安全分析和可靠性建模活动中生成的论点和证据的结构化方式。虽然这种保证活动传统上是由基于共识的标准指导的，这些标准是从丰富的工程经验中开发的，但由于ML模型的特性和设计，LES在安全关键应用中提出了新的挑战。在这篇文章中，我们首先提出了一个LES的整体保证框架，重点是定量方面，例如，将系统级安全目标分解为组件级要求，并支持可靠性度量中所述的声明。然后，我们介绍了一种新的模型无关的可靠性评估模型（RAM）的ML分类器，利用操作配置文件和鲁棒性验证证据。我们讨论了模型假设和评估我们的RAM所揭示的ML可靠性的固有挑战，并提出了实际使用的解决方案。基于RAM还开发了较低ML组件级别的概率安全参数模板。最后，为了评估和演示我们的方法，我们不仅在合成/基准数据集上进行实验，而且还将我们的方法与模拟自主水下航行器和物理无人地面车辆的案例研究相结合。
2022-10-14 cs.AI cs.LG cs.RO
AI Safety Assurance in Electric Vehicles: A Case Study on AI-Driven SOC Estimation
RISE Research Institutes of Sweden（瑞典RISE研究机构）
本文针对电动汽车AI功能安全评估难题，结合ISO 26262与ISO/PAS 8800标准提出AI组件独立评估方法，并以AI驱动的SOC估算为例，通过故障注入实验验证其鲁棒性。
2025-09-03 cs.RO cs.SE
Towards Precise Observations of Neural Model Robustness in Classification
Singapore University of Technology and Design（新加坡科技设计大学）
针对现有模型鲁棒性评估方法成本高或结果不精确的问题，提出基于假设检验的概率鲁棒性指标并集成至TorchAttacks库，提升了安全关键应用中的评估精度。
2024-04-25 cs.AI cs.SE
Is Vibe Coding the Future? An Empirical Assessment of LLM Generated Codes for Construction Safety
Department of Construction Management, Colorado State University（科罗拉多州立大学建设管理系）
研究评估了450个由三个前沿模型生成的Python脚本在建设安全中的可靠性、软件架构和领域特定安全精度，发现用户角色与数据幻觉存在显著关系，且存在高达45%的静默故障率。
2026-04-26 cs.AI cs.HC cs.SE
VSRQ: Quantitative Assessment Method for Safety Risk of Vehicle Intelligent Connected System
Jinan University（暨南大学）；Guangdong Institution of Smart Education, Jinan University（暨南大学广东智慧教育研究院）；Pazhou Laboratory（琶洲实验室）；Guangzhou XPeng Motors Technology Co., Ltd（广州小鹏汽车科技有限公司）
VSRQ通过结合I-FAHP与FCA聚类，提出车辆智能互联系统安全风险评估模型，实验显示其在准确率和召回率上优于其他方法。
2023-05-03 cs.AI cs.RO cs.SE
Online Safety Analysis for LLMs: a Benchmark, an Assessment, and a Path Forward
University of Alberta（阿尔伯塔大学）；The University of Tokyo（东京大学）
本研究针对LLMs生成阶段在线安全分析的空白，构建首个公开基准，全面评估现有方法在开源与闭源LLMs上的性能，探索混合方法的潜力，为LLMs质量保障与可靠部署提供方向。
2024-04-12 cs.AI cs.CL cs.CR
Virtual Testing of Automated Driving Systems through Credible Simulations
Joint Research Centre for the European Commission（欧盟委员会联合研究中心）
本文针对自动驾驶系统虚拟测试中仿真可信度评估的局限，借鉴NASA STD-7009框架提出基于风险的仿真工具链可信度评估框架，可应用于相关道路安全与仿真研究。
2026-09-04 cs.RO cs.SE
Using Machine Learning Safely in Automotive Software: An Assessment and Adaption of Software Process Requirements in ISO 26262
University of Waterloo（滑铁卢大学）
机器学习（ML）的使用在软件开发的许多领域都在增加，汽车软件开发也不例外。特别是，高级驾驶辅助系统（ADAS）和自动驾驶系统（ADS）是ML发挥重要作用的两个领域。在汽车开发中，安全是一个至关重要的目标，ISO 26262等标准的出现有助于集中行业实践，以系统和一致的方式解决安全问题。不幸的是，这些标准并不是为了适应ML等技术或ADS提供的功能类型而设计的，这在创新需求和提高安全性需求之间产生了冲突。在本报告中，我们采取措施通过对ISO 26262进行详细的评估和调整来解决这一冲突，特别是在监督学习的背景下。首先，我们分析了作为冲突根源的关键因素。然后，我们评估每个软件开发过程要求（ISO 26262第6部分）对ML的适用性。在存在差距的地方，我们提出了新的要求来弥补差距。最后，我们将讨论第6部分的这个经过修改和扩展的变体在ML开发场景中的应用。
2018-08-05 cs.LG cs.SE stat.ML
Assessing the Safety and Reliability of Autonomous Vehicles from Road Testing
Heriot-Watt University（赫瑞-瓦特大学）；City, University of London（伦敦大学城市学院）
社会迫切需要评估自动驾驶汽车（AV）是否足够安全。从已发表的自动驾驶汽车的定量安全性和可靠性评估中，我们知道，考虑到预测极低事故率的目标，仅道路测试就需要不可行的行驶里程数。然而，以前的分析没有考虑任何知识之前，道路测试-知识，可以带来实质性的优势，如果AV设计允许强烈的期望，道路测试之前的安全。我们提出了保守贝叶斯推理（CBI），它使用先验知识，同时避免乐观的偏见的一个新的变种的优点。然后，我们通过将软件可靠性增长模型（SRGMs）应用于Waymo 51个月的公共道路测试数据，研究了脱离（人类驾驶员接管）的趋势，并考虑到测试期间软件更新的实践。我们的方法是不相信任何特定的SRGM，而是评估预测的准确性，然后改进预测。我们表明，再加上准确性评估和重新校准技术，SRGMs可能是一个有价值的测试规划援助。
2019-08-19 cs.AI cs.CY cs.SE
