Reliability Assessment and Safety Arguments for Machine Learning Components in System Assurance
University of Liverpool（利物浦大学）；Heriot-Watt University（赫瑞-瓦特大学）；Defence Science and Technology Laboratory（国防科学技术实验室）；Imperial College London（帝国理工学院）
越来越多地使用嵌入在自主系统中的机器学习（ML）组件-所谓的学习支持系统（LES）-导致迫切需要确保其功能安全性。至于传统的功能安全，工业界和学术界正在形成的共识是为此目的使用保证案例。通常，保证案例支持可靠性声明以支持安全性，并且可以被视为组织从安全分析和可靠性建模活动中生成的论点和证据的结构化方式。虽然这种保证活动传统上是由基于共识的标准指导的，这些标准是从丰富的工程经验中开发的，但由于ML模型的特性和设计，LES在安全关键应用中提出了新的挑战。在这篇文章中，我们首先提出了一个LES的整体保证框架，重点是定量方面，例如，将系统级安全目标分解为组件级要求，并支持可靠性度量中所述的声明。然后，我们介绍了一种新的模型无关的可靠性评估模型（RAM）的ML分类器，利用操作配置文件和鲁棒性验证证据。我们讨论了模型假设和评估我们的RAM所揭示的ML可靠性的固有挑战，并提出了实际使用的解决方案。基于RAM还开发了较低ML组件级别的概率安全参数模板。最后，为了评估和演示我们的方法，我们不仅在合成/基准数据集上进行实验，而且还将我们的方法与模拟自主水下航行器和物理无人地面车辆的案例研究相结合。
2022-10-14 cs.AI cs.LG cs.RO
Autonomy and Safety Assurance in the Early Development of Robotics and Autonomous Systems
The University of Manchester（曼彻斯特大学）；Amentum（安曼顿公司）
本报告概述了CRADLE举办的机器人自主性与安全保证研讨会，通过多领域监管机构与产学代表的研讨，明确了自主巡检机器人安全保证的挑战、证据需求及保证案例差异，并倡导采用“为保证而设计”流程以满足监管期望。
2025-01-30 cs.AI cs.RO
Landscape of AI safety concerns -- A methodology to support safety assurance for AI-based autonomous systems
Technical University of Munich（慕尼黑工业大学）；Siemens AG（西门子公司）；Fraunhofer IKS（弗劳恩霍夫应用信息处理研究所）
本文提出了一种名为AI安全关注点全景的新颖方法论，通过系统证明不存在AI安全关注点来支持基于AI的自主系统的安全保证案例创建，并通过无人区域列车案例验证了其实用性和有效性。
2024-12-18 cs.AI cs.LG
Trusta: Reasoning about Assurance Cases with Formal Methods and Large Language Models
East China Normal University（华东师范大学）；Shanghai Normal University（上海师范大学）
本文提出Trusta工具，首次将形式化方法与ChatGPT等大语言模型结合，用于自动构建、验证和推理保证案例，并通过工业案例证明其能发现人工检查易遗漏的细微问题。
2023-09-22 cs.AI cs.SE
Incorporating Failure of Machine Learning in Dynamic Probabilistic Safety Assurance
School of Computer Science, University of Hull（计算机科学学院，赫尔大学）
针对安全关键系统中ML因分布偏移导致的推理失效，本文提出融合SafeML与贝叶斯网络的概率安全保障框架，实现不确定性下的动态安全评估与系统适配。
2025-06-07 cs.AI
CoDefeater: Using LLMs To Find Defeaters in Assurance Cases
Iowa State University（爱荷华州立大学）
针对安全保障案例中反驳项挖掘依赖专家经验、需迭代开展的问题，本文提出自动化流程CoDefeater，利用LLMs查找反驳项，实验证明其可高效发现已知及未预见的合理反驳项，助力提升保障案例的完备性与可信度。
2024-08-16 cs.AI cs.SE
Guidance on the Assurance of Machine Learning in Autonomous Systems (AMLAS)
University of York（约克大学）
机器学习（ML）现在被用于一系列系统中，据报道，在某些条件下，其结果超过了人类的表现。在医疗保健、汽车和制造等领域，许多系统都具有高度的自主性，并且对安全至关重要。建立对ML的合理信任是这些系统安全案例的核心部分。在本文中，我们介绍了一种用于自治系统（AMLAS）的机器学习保证方法。AMLAS包括一组安全案例模式和一个过程，用于（1）系统地将安全保证集成到ML组件的开发中，以及（2）生成证据库，以明确证明这些组件在集成到自主系统应用程序中时的可接受安全性。
2021-02-02 cs.AI cs.LG
Dataset Safety in Autonomous Driving: Requirements, Risks, and Assurance
Qualcomm Inc（高通公司）
本文提出了一种结构化框架，用于开发符合ISO/PAS 8800指南的安全生产数据集，通过AI感知系统案例，介绍AI数据飞轮和数据集生命周期，涵盖数据收集、标注、整理与维护，并定义安全要求和验证策略以确保符合安全标准。
2026-04-13 cs.AI
Position: Behavioural Assurance Cannot Verify the Safety Claims Governance Now Demands
Lexsi Labs（Lexsi实验室）
本文指出行为保证无法验证安全主张，现有治理框架要求验证隐含目标、抗失控前兆和有限灾难能力，但现有方法仅能验证可观测输出，无法验证隐含表示和长期行为。
2026-05-14 cs.AI cs.LG
Towards Developing Safety Assurance Cases for Learning-Enabled Medical Cyber-Physical Systems
University of Virginia（弗吉尼亚大学）
本文为学习型医疗信息物理系统中的机器学习控制器开发安全保障案例，以人工胰腺系统为例，通过深度神经网络和形式化验证确保预测可靠性，并指出开放研究问题。
2022-12-19 cs.AI cs.LG cs.SY
Online Safety Assurance for Deep Reinforcement Learning
Hebrew University of Jerusalem（耶路撒冷希伯来大学）；Technion（以色列理工学院）
最近，深度学习已成功应用于各种网络问题。一个根本的挑战是，当学习增强系统的操作环境与其训练环境不同时，这种系统往往会做出错误的决策，导致性能不佳。我们认为，安全地部署学习驱动的系统需要能够实时的确定系统行为是否一致，以便在不一致时默认合理的启发式。我们称之为在线安全保证问题（OSAP）。我们提出了三种方法来量化决策的不确定性，不同的信号来推断不确定性。我们说明了在线安全保证的有用性的背景下提出的深度强化学习（RL）的方法来视频流。虽然当操作和训练环境相匹配时，视频流的深度RL优于其他方法，但当两者不同时，它主要是简单的算法。我们的初步研究结果表明，当检测到决策不确定性时，过渡到默认策略是享受利用ML提供的性能优势而不影响安全性的关键。
2020-10-07 cs.AI cs.LG cs.NI
Towards a safe MLOps Process for the Continuous Development and Safety Assurance of ML-based Systems in the Railway Domain
Siemens AG（西门子股份公司）；Siemens Mobility GmbH（西门子交通集团有限公司）
本文提出一种面向铁路领域的安全 MLOps 流程，将系统工程、安全保证与 ML 生命周期整合，以支持基于机器学习系统的持续开发和安全保障，并分析了各阶段自动化面临的关键挑战。
2023-07-06 cs.AI cs.LG cs.SE
A New Perspective On AI Safety Through Control Theory Methodologies
本文提出一种基于控制理论的AI安全新视角，通过跨学科解释数据生成过程与系统抽象，建立可细化的安全分析通用基础，以促进AI工程利用现有安全保证方法。
2025-06-30 cs.AI
Towards Continuous Assurance with Formal Verification and Assurance Cases
Department of Computer Science, The University of Manchester（曼彻斯特大学计算机科学系）；Regulatory Support Directorate, Amentum（Amentum监管支持部门）
针对传统自主系统保障方法碎片化、无法适应变化的问题，提出集成设计时、运行时和演化时保障的统一持续保障框架，实例化设计时阶段并通过模型驱动管道确保可追溯性，在核检测机器人场景验证且符合监管原则。
2025-11-17 cs.AI cs.SE
SOTER on ROS: A Run-Time Assurance Framework on the Robot Operating System
University of California, Berkeley（加州大学伯克利分校）；Amazon（亚马逊）
我们提出了一个实现SOTER，运行时间的保证框架，用于构建安全的分布式移动机器人（DMR）系统，机器人操作系统（ROS）的顶部。DMR系统的安全性在设计时并不总能得到保证，尤其是当使用复杂的现成组件时，这些组件无法轻易验证。SOTER通过为DMR系统的运行时间保证提供基于语言的方法来解决这个问题。SOTER使用P语言实现了反应式机器人软件，P语言是一种专用于实现异步事件驱动系统的领域语言，同时还提供了一个集成的运行时间保证系统，允许程序员使用未加固的组件，但仍然提供安全保证。我们描述了一个实施SOTER ROS和证明其有效性使用多机器人监控案例研究，多个运行时间保证模块。通过严格的模拟，我们表明，SOTER启用系统确保安全，即使使用未知和不可信的组件。
2020-08-21 cs.AI cs.PL cs.RO
The Role of Explainability in Assuring Safety of Machine Learning in Healthcare
University of York（约克大学）；Bradford Royal Infirmary（布拉德福德皇家医院）；Bradford Institute for Health Research（布拉德福德健康研究所）
确保安全关键系统和软件的既定方法很难应用于采用ML的系统，因为没有明确的预定义规范来评估有效性。ML的“不透明”性质加剧了这个问题，其中学习的模型不适合人类审查。可解释人工智能（XAI）方法已经被提出来解决这个问题，通过产生ML模型的人类可解释的表示来帮助用户获得信心并建立对ML系统的信任。然而，很少有工作明确地调查可解释性在ML开发背景下对安全保证的作用。本文确定了XAI方法可以有助于ML为基础的系统的安全保证的方式。然后，它使用了一个具体的ML为基础的临床决策支持系统，关于病人从机械通气脱机，以证明如何XAI方法可以用来产生证据，以支持安全保证。结果还表示在一个安全的论点，以显示在哪里，以何种方式，XAI方法可以有助于安全的情况。总的来说，我们得出结论，XAI方法在医疗保健中基于ML的系统的安全保证方面具有重要作用，但它们本身不足以确保安全性。
2022-05-05 cs.AI cs.LG
Using Quantifier Elimination to Enhance the Safety Assurance of Deep Neural Networks
Honeywell Aerospace（霍尼韦尔航空航天）
机器学习和深度神经网络（DNN）领域的进步使得复杂和自主系统的快速发展成为可能。然而，严格确保此类系统安全运行的固有复杂性阻碍了其在航空航天和医疗设备等安全关键领域的实际应用。因此，人们对探索使用高级数学技术（如形式方法）来解决这一挑战的兴趣激增。事实上，这些努力的初步结果是有希望的。沿着这些路线，我们建议使用量词消去（QE）-一种形式化的方法技术，作为一种补充技术的国家的最先进的静态分析和验证程序。使用机载防撞DNN作为案例，我们说明了使用QE制定通过网络的精确距离前向传播，以及分析其鲁棒性。我们讨论了这项正在进行的工作的初步结果，并探讨了未来扩展这种方法和/或将其与其他方法集成以执行DNN高级安全保证的可能性。
2019-09-18 cs.AI cs.LG cs.LO
Runtime Safety Assurance Using Reinforcement Learning
Stanford University（斯坦福大学）；GE Research（通用电气研究）
非血统自动驾驶仪的适航性和安全性必须得到验证，但正式这样做的成本可能令人望而却步。我们可以通过将安全性保证（RTSA）作为确保安全性的机制来绕过非血统组件的形式化验证。RTSA由一个元控制器组成，它观察非血统组件的输入和输出，并在系统运行时验证正式指定的行为。当系统被触发时，部署经验证的恢复控制器。恢复控制器的设计是安全的，但很可能破坏系统的操作目标，因此RTSA系统必须平衡安全和效率。本文的目的是设计一个元控制器，能够识别不安全的情况下，具有较高的准确性。高维和非线性动态，其中现代控制器部署随着黑盒子性质的名义控制器，使这是一个困难的问题。目前的方法在很大程度上依赖于领域专业知识和人类工程。我们用马尔可夫决策过程（MDP）框架设计RTSA，并使用强化学习（RL）来解决它。我们学习的元控制器在我们的实验中始终表现出优于我们的基线，人类工程方法。
2020-10-20 cs.AI cs.LG cs.SY
AERoS: Assurance of Emergent Behaviour in Autonomous Robotic Swarms
University of Bristol（布里斯托大学）；University of York（约克大学）
本文提出AERoS流程，遵循AMLAS指南，用于保证自主机器人群体中涌现行为的安全性，并通过公共衣帽间机器人案例进行验证。
2023-02-20 cs.AI cs.RO
ECS -- an Interactive Tool for Data Quality Assurance
Siemens Mobility GmbH（西门子交通集团有限公司）
针对机器学习在安全关键系统中的数据质量问题，本文提出基于数学基础并结合多示例说明的新方法，用于识别具有潜在有害属性的数据点。
2023-07-17 cs.AI cs.LG cs.SY
Searching for Optimal Runtime Assurance via Reachability and Reinforcement Learning
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Rational CyPhy Inc.（理性赛博物理公司）；Air Force Research Laboratory（美国空军研究实验室）
针对现有运行时保证系统（RTA）设计保守或存安全隐患的问题，提出基于奖励塑形与强化学习的最优RTA设计方法，可在保障安全的同时提升实验性控制器利用率。
2023-10-06 cs.AI cs.FL cs.SY
Where AI Assurance Might Go Wrong: Initial lessons from engineering of critical systems
City St George’s, University of London（伦敦城市圣乔治大学）；SRI International（SRI国际公司）
本文从传统关键系统安全工程经验出发，分析AI安全框架的不足，提出基于Assurance 2.0的保障案例方法，以支持对系统与决策关键性的评估。
2025-01-07 cs.AI cs.CY cs.SE
Argus: Resilience-Oriented Safety Assurance Framework for End-to-End ADSs
College of Computer Science and Artificial Intelligence（计算机科学与人工智能学院）；Fudan University（复旦大学）
针对端到端自动驾驶系统（ADSs）在复杂场景中面临的驾驶危险问题，提出面向运行时弹性的框架Argus，通过持续监测危险并自适应响应，集成到TCP等系统后可显著提升驾驶分数并减少违规，增强系统安全性与稳健性。
2025-11-12 cs.AI cs.RO cs.SE
Dependable AI-Assisted Engineering: A Formal Framework for AI Participation and Assurance in Safety-Critical Workflows
本文提出一个形式化框架，在安全关键工作流单元层面分配AI参与与保障，区分多种保证类型，并通过17单元翼梁分析案例验证了选择性AI参与和证据处理。
2026-10-06 cs.AI cs.CV
A Local Agentic AI Framework to Generate Edge Case Scenarios for Safety Assurance
University of York（约克大学）
本研究提出一种基于笔记本电脑本地语言模型的智能体AI框架，采用多LM协作与循环机制，可自动化生成多样化边缘案例场景，为自主系统安全保障提供可追溯证据。
2026-10-12 cs.AI cs.RO
A Verification Framework for Certifying Learning-Based Safety-Critical Aviation Systems
George Washington University（乔治华盛顿大学）
我们提出了一个安全验证框架的设计时和运行时的保证，在航空系统中的学习为基础的组件。我们提出的框架集成了两种新的方法。从设计时保证的角度来看，我们提出了离线混合保真度验证工具，将知识从不同层次的粒度在模拟环境中。从运行时保证的角度来看，我们提出了基于可达性和自动化的在线监测和安全警卫的学习为基础的决策模型，以补充离线验证方法。该框架的设计是模块之间的松散耦合，允许使用独立的方法和技术，在不同的情况下和不同的工具访问开发各个模块。建议的架构提供可行的解决方案，以满足系统开发和部署周期不同阶段的系统安全要求，使系统产品能够持续学习和评估。
2022-05-14 cs.AI cs.LG cs.SY
AI Safety: Not Optional, Not Later
CSIRO（联邦科学与工业研究组织）；LawZero；Université de Montréal（蒙特利尔大学）；Mila（米拉）
针对多层面AI安全失效问题，提出结合模型级监督与系统级控制的安全设计保障架构，并辅以治理机制，以强化问责与证据互操作。
2026-09-14 cs.AI cs.SE
Assuring the Safety of Reinforcement Learning Components: AMLAS-RL
Department of Computer Science, University of York（约克大学计算机科学系）
本文提出AMLAS-RL框架，通过迭代过程为强化学习系统生成安全保障论证，弥补Safe-RL在生命周期系统性保障上的不足，并用轮式车辆无碰撞导航示例进行演示。
2025-07-08 cs.AI cs.LG cs.RO
Generating Formal Safety Assurances for High-Dimensional Reachability
University of Southern California（南加州大学）
针对高维系统下HJ可达性分析维度灾难与DeepReach神经求解器无安全保证的问题，提出误差界计算与场景优化方法，实现高维场景下概率安全的可达管近似。
2023-06-10 cs.AI cs.LG cs.RO
Quantifying Assurance in Learning-enabled Systems
KBR, Inc.（KBR公司）
嵌入机器学习（ML）组件的系统（即所谓的学习支持系统（LES））的可靠性保证是其在安全关键应用中使用的关键步骤。在新兴的标准化和指导工作中，人们越来越多地认同为此目的使用保证案例的价值。本文开发了一个定量的概念，保证一个LES是可靠的，作为其保证案例的核心组成部分，也扩展了我们以前的工作，适用于ML组件。具体而言，我们的特点LES保证的形式保证措施：一个概率量化的信心，LES拥有系统级的属性与功能能力和可靠性属性。我们通过应用于现实世界的自主航空系统来说明保证措施的实用性，还描述了它们在i）指导高级别运行时风险缓解决策和ii）作为相关动态保证案例的核心组件方面的作用。
2020-06-18 cs.AI cs.LG cs.SE
Secure Deep Learning Engineering: A Software Quality Assurance Perspective
Harbin Institute of Technology（哈尔滨工业大学）；Nanyang Technological University（南洋理工大学）；Carnegie Mellon University（卡内基梅隆大学）；Optus Macquarie University Cyber Security Hub（Optus麦考瑞大学网络安全中心）；Kyushu University（九州大学）；University of Illinois at Urbana–Champaign（伊利诺伊大学厄巴纳-香槟分校）；NVIDIA AI Tech Centre（英伟达人工智能技术中心）
在过去的几十年里，深度学习（DL）系统取得了巨大的成功，并在各种应用中获得了极大的普及，例如智能机器、图像处理、语音处理和医疗诊断。深度神经网络是其最近成功背后的关键驱动力，但似乎仍然是一个缺乏可解释性和理解的神奇黑匣子。这带来了许多开放的安全和安全问题，对严格的方法和工程实践提出了巨大而迫切的要求，以提高质量。大量研究表明，最先进的DL系统存在缺陷和漏洞，可能导致严重的损失和悲剧，特别是在应用于现实世界的安全关键型应用时。在本文中，我们进行了一项大规模的研究，并构建了一个包含223篇与深度学习的质量保证、安全性和解释相关的论文库。从软件质量保证的角度来看，我们明确了通用安全深度学习工程的挑战和未来机遇。我们希望这项工作和所附的文件库可以铺平道路的软件工程社区解决紧迫的工业需求的安全智能应用程序。
2018-10-10 cs.AI cs.CR cs.LG
The missing link: Developing a safety case for perception components in automated driving
University of Waterloo（滑铁卢大学）；DENSO CORPORATION（电装公司）
安全保证是自动驾驶（AD）系统开发和社会接受的核心问题。感知是AD的一个关键方面，它在很大程度上依赖于机器学习（ML）。尽管已知的挑战与ML为基础的组件的安全保证，建议最近出现的单元级安全的情况下，解决这些组件。不幸的是，AD安全案例表达了系统级的安全要求，这些努力缺少将系统级的安全要求与单元级的组件性能要求相结合所需的关键链接参数。在本文中，我们提出了集成安全的情况下，感知（ISCaP），一个通用的模板，这样一个链接的安全参数专门为感知组件。该模板采用演绎和正式的方法来定义级别之间的强可追溯性。我们展示了ISCaP的适用性与详细的案例研究，并讨论了其作为一种工具，以支持增量开发的感知组件。
2022-09-06 cs.AI cs.LG cs.RO
On a Formal Model of Safe and Scalable Self-driving Cars
Mobileye（Mobileye公司）
近年来，汽车制造商和科技公司一直在竞相开发自动驾驶汽车。似乎这场比赛的主要参数是谁将第一辆车上路。本文的目的是在等式中增加两个额外的关键参数。首先是安全保障的标准化--每辆自动驾驶汽车必须满足的最低要求是什么，我们如何验证这些要求。第二个参数是可扩展性--导致释放成本的工程解决方案不会扩展到数百万辆汽车，这将把对该领域的兴趣推向一个利基学术角落，并将整个领域带入“自动驾驶的冬天”。在本文的第一部分，我们提出了一个白盒，可解释的，安全保证的数学模型，我们称之为责任敏感的安全（RSS）。在第二部分中，我们描述了一个系统的设计，该系统符合我们的安全保证要求，并可扩展到数百万辆汽车。
2018-10-27 cs.AI cs.RO stat.ML
Embedding Explainable AI in NHS Clinical Safety: The Explainability-Enabled Clinical Safety Framework (ECSF)
针对NHS现有临床安全标准难以适配AI概率性特性的问题，提出可解释性赋能临床安全框架ECSF，将可解释性融入现有合规全流程，为AI临床应用提供结构化安全证据支撑。
2025-11-18 cs.AI cs.CY cs.HC
Operationalizing Assurance Cases for Data Scientists: A Showcase of Concepts and Tooling in the Context of Test Data Quality for Machine Learning
Fraunhofer Institute for Experimental Software Engineering IESE（弗劳恩霍夫实验软件工程研究所）；NovelSense（诺韦尔森斯）；TRUMPF Se + Co. KG（通快股份公司）；University of York（约克大学）
本文提出基于 Python 与 Jupyter Notebook 的框架，帮助数据科学家为机器学习组件构建保障案例，并通过测试数据质量示例展示其证据生成与工具集成能力。
2023-12-08 cs.AI cs.LG cs.SE
Architecting Safer Autonomous Aviation Systems
BAE Systems（BAE系统公司）；University of York（约克大学）；KBR / NASA Ames Research Center（KBR公司 / 美国国家航空航天局艾姆斯研究中心）
航空文献给从业者的指导相对较少，关于安全系统架构的细节，特别是架构对分配安全要求的影响，或系统或子系统级架构选择导致的系统保证的相对容易性。作为一个例子，本文考虑了传统航空系统中使用的常见架构模式，并探讨了在集成人工智能（AI）和基于机器学习（ML）的功能的背景下应用时，其安全性和安全保证的影响。考虑到安全性作为一个建筑属性，我们讨论了安全需求的分配和设计生命周期早期涉及的建筑权衡。这种方法可以扩展到其他有保证的属性，类似于安全性，例如安全性。最后，我们讨论了在最近的文献中提出的候选架构模式的背景下出现的安全考虑因素，这些模式通过集成AI和ML来实现自治功能。提出了一个建议的属性驱动的架构模式目录的生成。
2023-01-09 cs.AI cs.SE cs.SY
SOTER: A Runtime Assurance Framework for Programming Safe Robotics Systems
University of California at Berkeley, CA, USA（加州大学伯克利分校）；SRI International（SRI国际）；Microsoft（微软）
本文提出SOTER框架，通过一种编程语言和集成的运行时保证系统，为安全机器人系统提供保障，确保在使用未经认证组件时仍能满足安全要求。
2019-04-19 cs.AI cs.PL cs.RO
Clear, Compelling Arguments: Rethinking the Foundations of Frontier AI Safety Cases
UKRI Centre for Doctoral Training in Safe AI Systems (SAINTS)（英国研究与创新机构安全人工智能系统博士培训中心）；Institute for Safe Autonomy（安全自主研究所）；The York Law School（约克法律学院）
本文重新思考前沿人工智能安全案例的基础，通过借鉴安全保证领域的方法，提出更稳健的安全案例框架以确保人工智能系统的安全性。
2026-03-08 cs.AI cs.CR cs.CY
A Subjective Logic-based method for runtime confidence updates in safety arguments
Fraunhofer Institute for Cognitive Systems (IKS)（弗劳恩霍夫认知系统研究所）
本文提出了一种基于主观逻辑的方法，用于在安全论证中实现动态定量保证，通过整合设计时证据和时间窗口内的运行时安全性能指标（SPIs），在开发生命周期中量化和传播置信度。在运行时，SPI证据被持续评估，针对的声明通过规则更新，当没有违反时增加置信度，当发生违反时施加即时惩罚。该设计优先考虑安全相关响应性，而非精确的经典贝叶斯后验更新。
2026-05-21 cs.AI
A Blueprint for AI-Driven Software Quality: Integrating LLMs with Established Standards
Juniper Networks Inc.（Juniper网络公司）
本文探讨了利用大语言模型提升软件质量保证的过程，结合现有标准，分析AI在需求验证、缺陷检测等任务中的应用，并提出未来发展方向。
2026-04-28 cs.AI cs.CL cs.SE
QI2 -- an Interactive Tool for Data Quality Assurance
Siemens Mobility GmbH（西门子移动有限公司）
本文提出交互式工具QI2，用于支持多维度数据质量保证并验证定量质量要求，通过示例数据和MNIST数据集验证其概念与效果。
2023-07-10 cs.AI cs.CY cs.DS
Saffron-1: Safety Inference Scaling
University of Illinois Urbana–Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对LLM安全保证中推理扩展未探索的问题，提出SAFFRON范式，引入多叉奖励模型解决探索-效率困境，显著提升安全防护性能，并开源模型与数据集。
2025-07-09 cs.AI cs.CR cs.LG
Generator-Independent Runtime Assurance under Partial Observation
State Key Laboratory of Robotics and Intelligent Systems, Shenyang Institute of Automation, Chinese Academy of Sciences（机器人学与智能系统国家重点实验室，中国科学院沈阳自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出同时集合健全性作为生成器无关的运行时保障的充要条件，并给出部分观测下的信息论下界，通过顺序风险账本实现可实施的契约安全保证。
2026-09-09 cs.AI
Output Type Before Quality: A Standards-Derived XAI Admissibility Rubric for Autonomous-Driving Safety
NVIDIA Corporation（英伟达公司）；NVIDIA GmbH（英伟达德国分公司）
针对基于ML的自动驾驶安全标准与XAI方法输出类型不匹配的证据类型缺口，从多个安全标准推导出19项可测试证据标准，评估六类XAI方法，发现因果XAI在三个生命周期阶段结构上必需，并提出了结构可接受性概念。
2026-06-15 cs.AI
A Safety Assurable Human-Inspired Perception Architecture
University of Waterloo（滑铁卢大学）
尽管使用深度神经网络（DNN）的基于人工智能的感知（AIP）已经实现了接近人类水平的性能，但其众所周知的局限性是自主应用所需的安全保证的障碍。这些包括易受敌对输入的影响，无法处理新的输入和不可解释性。虽然在解决这些限制的研究是积极的，在本文中，我们认为，需要一个根本不同的方法来解决这些问题。受人类认知的双过程模型的启发，其中类型1思维是快速和无意识的，而类型2思维是缓慢的，基于有意识的推理，我们提出了一个安全的AIP的双过程架构。我们回顾了人类如何解决最简单的非平凡的感知问题，图像分类的研究，并勾勒出相应的AIP架构这项任务。我们认为，这种架构可以提供一种系统的方法来解决使用DNN的AIP的局限性，并提供一种方法来保证人类水平的性能。最后，我们讨论了哪些组件的架构可能已经解决了现有的工作和什么仍然是未来的工作。
2022-06-18 cs.AI cs.LG cs.RO
Generative Responsible AI Data Evaluation Schema (GRAIDES) for AI Assurance in Local Government
AI Innovation Lab, Westminster City Council（威斯敏斯特市议会人工智能创新实验室）
提出轻量级开源数据模型GRAIDES，用于集中管理生成式AI的可观测性，通过代码、架构和统计评估蓝图，在组织层面实现系统保障，并在威斯敏斯特市议会案例中验证了人机对齐测量。
2026-06-23 cs.AI cs.CY cs.DB
A Principles-based Ethics Assurance Argument Pattern for AI and Autonomous Systems
本文提出基于伦理原则的 PRAISE 保证论证模式，为 AI/AS 在社会技术情境中的伦理可接受性提供可复用论证模板，并以城市机器人出租车场景示例应用。
2023-06-06 cs.AI cs.CY
DURA-CPS: A Multi-Role Orchestrator for Dependability Assurance in LLM-Enabled Cyber-Physical Systems
Cyrion Labs（Cyrion实验室）；Carnegie Mellon University（卡内基梅隆大学）；Cornell University（康奈尔大学）；University of California San Diego（加州大学圣地亚哥分校）；University of Montana（蒙大拿大学）；Oakland University（奥克兰大学）；University of Pennsylvania（宾夕法尼亚大学）
针对传统验证与确认方法难以应对AI赋能信息物理系统动态不确定性的问题，本文提出DURA-CPS多角色编排框架，通过模拟环境中多智能体分工实现迭代可信性保障，经自动驾驶案例验证可有效检测漏洞、支持自适应恢复。
2025-06-13 cs.AI cs.ET cs.HC
Online Safety Analysis for LLMs: a Benchmark, an Assessment, and a Path Forward
University of Alberta（阿尔伯塔大学）；The University of Tokyo（东京大学）
本研究针对LLMs生成阶段在线安全分析的空白，构建首个公开基准，全面评估现有方法在开源与闭源LLMs上的性能，探索混合方法的潜力，为LLMs质量保障与可靠部署提供方向。
2024-04-12 cs.AI cs.CL cs.CR
Large Language Models for Agentic NetOps and AIOps: Architectures, Evaluation, and Safety
School of Computing and Communications（计算与通信学院）；University of Cambridge（剑桥大学）；School of Software（软件学院）；Nanjing University of Information Science and Technology（南京信息科技大學）；TU Wien（维也纳技术大学）；ICREA
本文探讨了大型语言模型在网络运维和AI运维中的应用，分析了代理架构、评估方法及安全挑战，强调系统可靠性依赖于模型周边机制，而非模型本身。
2026-10-06 cs.AI cs.CR cs.NI
Conformal Recovery-Deadline Certificates for Runtime Assurance of Adapting Controllers
Myers-Lawson School of Construction, Virginia Tech（迈尔斯-劳森建设学院，弗吉尼亚理工学院）
针对在线自适应控制器在恢复瞬态期间被安全防护误触发的问题，提出共形恢复截止证书，基于分裂共形预测提供恢复时间的分布无关有限样本上界，实现延迟切换并保证覆盖，分离自主性与安全性。
2026-06-25 cs.AI cs.SY eess.SY
