Increase of Software Safety
Arkadiy Khandjian
为软件安全提供了新的模型。研究了错误在程序生存周期各阶段的分布。在帮助仿真程序的基础上，研究了提高软件可靠性的途径.
New model of software safety is offered. Distribution of mistakes in program on stages of life cycle is researched. Study of ways of increase of reliability of software at help simulation program is leaded.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
继续探索
On the efficacy of safety-related software standards
安全相关的软件标准，以帮助生产安全系统的软件的困难进行了讨论。建议开展一些研究活动和其他行动，重点关注并尽可能解决长期存在的相关问题。
Psychological Safety in Agile Software Development Teams: Work Design Antecedents and Performance Consequences
心理安全被认为是敏捷软件开发团队成功的关键因素，但缺乏实证研究调查心理安全在这种情况下的作用。本研究探讨了软件开发团队的工作设计特征（自主性，任务相互依赖性和角色清晰度）如何影响心理安全，以及心理安全如何直接或间接地通过团队反身性影响团队绩效。我们测试我们的模型使用的调查数据，从236名团队成员在43个软件开发团队在挪威。我们的研究结果表明，自主性提高了软件团队的心理安全，心理安全再次对团队的反思性和团队绩效的直接影响有积极的影响。
Model-Based Safety-Cases for Software-Intensive Systems
安全案例对于软件认证越来越重要。模型在构建和组合安全案例信息方面发挥着至关重要的作用。本立场文件概述了一个理想的基于模型的安全案例，其中包含缺陷假设和故障特征。由此衍生出开放性研究课题。
Towards a Cross-Domain Software Safety Assurance Process for Embedded Systems
在这项工作中，我们概述了嵌入式系统中的安全相关的软件的跨域保证过程。该过程旨在应用于各种不同的应用领域，并与任何开发方法相结合。通过这种方法，我们计划通过在不同领域的产品开发中重用安全分析技术和工具，来减少嵌入式系统中日益增长的安全评估工作。
How Do Practitioners Perceive Assurance Cases in Safety-Critical Software Systems?
安全关键型软件系统是指其故障或失灵可能导致人员伤亡和/或严重财务损失的系统。在这样的系统中，安全保证案例（SAC）是一种新兴的方法，采用积极主动的策略来产生结构化的安全理由和论据。虽然在许多软件密集型安全关键域中建议使用SAC，但缺乏关于从业人员使用SAC的观点的知识阻碍了这种方法的有效采用。为了获得这些知识，我们采访了九位专注于安全关键软件系统的从业者和安全专家。总的来说，我们的参与者发现SAC方法有利于在多学科环境中沟通安全论点和管理安全问题。他们在使用SAC时面临的挑战主要与以下方面有关：（1）缺乏工具支持，（2）流程集成不足，以及（3）缺乏有经验的人员。为了克服这些挑战，我们的参与者提出了专注于创造直接安全论点的策略。还需要对流程和组织进行调整，以简化SAC的分析和创建。最后，我们的参与者强调了在软件密集型安全关键领域共享有关SAC的知识的重要性。
Model-Based Testing of Safety Critical Real-Time Control Logic Software
本文介绍了作者在安全关键的实时的【形】控制逻辑软件的基于模型的测试方面的经验。它描述了相应的工业设置的细节，并讨论了在这些设置中使用基于UniTESK模型的测试技术的技术细节。最后，我们讨论了安全关键软件开发过程的未来可能的方向和基于模型的测试技术在其中的地位。
Safety Factories - a Manifesto
针对软件快速演进与安全工程脱节的问题，本文倡导安全工厂，将安全工具和方法集成到开发流水线，通过前期形式化投入实现自动化检查与文档生成。
Psychological Safety and Norm Clarity in Software Engineering Teams
在当今的软件工程行业中，公司主要以团队的形式开展工作。为了提高组织的生产力，了解影响团队效率的因素至关重要。最近，两个与团队相关的概念变得突出起来：心理安全和团队规范。然而，很少有研究存在，探讨这些在软件工程的背景下。因此，为了扩展这些概念的知识，我们研究了心理安全和团队规范清晰度是否与软件开发人员的自我评估团队绩效和工作满意度（有效性的两个重要因素）呈正相关。我们收集了来自五个不同组织的38个开发团队的从业者（N = 217）的行业调查数据。多元线性回归分析的结果表明，心理安全感和团队规范清晰度对团队成员的自评绩效和工作满意度均有预测作用。研究结果还表明，规范的清晰度比心理安全性更强（分别强30%和71%）。这项研究强调了需要更详细地研究社会规范和软件开发之间的关系。这项研究的结果可以作为今后工作的经验基线。
Towards Certified Analysis of Software Product Line Safety Cases
安全关键软件系统在许多情况下被设计和实现为产品系列，通常被称为软件产品线（SPL）。SPL中的产品在其包含的功能方面彼此不同。将现有的分析技术应用于SPL及其安全案例通常具有挑战性，因为产品的数量与支持的功能数量可能呈指数级增长。在本文中，我们提出了一种方法和基础设施认证的\emph{lifting}现有的单一产品的安全分析，产品线。为了确保我们的基础设施认证的安全性，我们实现了它在一个交互式定理证明，包括形式定义，引理，正确性准则定理和证明。我们应用这个基础设施，正式化和升降机的变化影响评估（CIA）算法。我们提出了一个正式的定义，解除算法，概述其正确性证明（与完整的机器检查证明在线），并讨论其实现模型管理框架内。
AI Safety Subproblems for Software Engineering Researchers
本文从软件工程视角探讨长期AI安全，通过量化文献综述指出SE场所缺乏AI安全讨论，并分类提出传统SE领域的子问题以改善AI与SE未来。
A New Hierarchical Software Architecture Towards Safety-Critical Aspects of a Drone System
为了提高无人机系统的安全性和可靠性，从源代码的角度提出了一种新的分层软件体系结构。所提出的架构使用形式化验证方法来确保每个模块的实现满足其预期的设计规范，从而防止无人机由于意外的软件故障而坠毁。本研究建立在正式验证的操作系统内核、认证套件操作系统（CertiKOS）之上。由于设备驱动程序被认为是影响无人机系统安全的最重要部分，我们主要集中在验证总线驱动程序，如串行外设接口和内部集成电路驱动程序在无人机系统中使用严格的形式化验证方法。已经进行了实验，以证明在设备异常的情况下的可靠性的改善。
Understanding Bounding Functions in Safety-Critical UAV Software
无人机（UAV）是一种新兴的计算平台，以其安全关键需求而闻名。在本文中，我们进行了一项实证研究，广泛使用的开源无人机软件框架，狗仔队，从自下而上的开发人员在该领域的角度来理解无人机软件的安全关键问题的目标。我们将重点放在边界函数（Bounding Functions，BF）的使用上，这是狗仔队开发人员在变量范围内注入的运行时检查。通过对Paparazzi自动驾驶仪软件中的BF进行深入分析，我们发现其中大量（109个实例）用于绑定对无人机的网络物理性质至关重要的安全关键变量，例如其推力，速度和传感器值。这项研究的新贡献有两个方面。首先，我们采取一种静态的方法来分类所有BF实例，提出了一种新的基于数据类型的5类分类法，具有细粒度的洞察力的BF在确保无人机系统的安全性的作用。其次，我们动态评估的影响BF使用通过差分方法，建立与无BF的无人机行为差异。静态和动态双管齐下的方法共同阐明了安全关键型无人机软件系统的很少研究的设计空间。
Leveraging Traceability to Integrate Safety Analysis Artifacts into the Software Development Process
针对安全保证案例与开发过程脱节、难以随系统演进而维护的问题，提出基于软件可追溯性连接系统制品与安全分析模型、可视化变更并提取设计理据的集成方法。
Model-Based Software Engineering and Ada: Synergy for the Development of Safety-Critical Systems
在本文中，我们概述了一个软件开发过程的安全关键系统，旨在结合一些特定的优势，基于模型的开发与程序设计语言的开发使用的安全关键的Ada子集。基于模型的软件开发和基于模型的测试用例生成技术与代码生成技术和工具相结合，为系统本身及其测试用例提供从模型到代码的转换。这允许开发人员将面向领域的基于模型的技术与基于源代码的验证技术相结合，以符合安全关键软件开发标准，如航空电子标准RTCA/DO-178 B。我们介绍了AutoFocus和Validator建模和验证工具集，并概述了其用于建模，测试用例生成和代码生成的组合方法，这是进一步说明了一个简化的前沿航空航天模型内置的容错。
Automatically Generating Test Cases for Safety-Critical Software via Symbolic Execution
基于符号执行的自动测试生成有利于系统地测试安全关键软件，方便测试工程师追求认证标准规定的严格测试要求，同时控制测试过程的成本。同时，安全关键软件的开发通常受到禁止被认为降低程序安全性的语言特征的程序设计语言或编码约定的限制，例如，它们不允许动态内存分配和可变长度数组，限制了循环的使用方式，禁止递归，并限制了控制条件的复杂性。事实上，这些语言特征也是最先进的基于符号执行的测试生成方法的主要效率障碍。本文为一类重要的工业安全关键系统提供了新的证据，证明了符号执行生成测试用例的有效性。我们特别关注的SCADE，主要采用基于模型的开发语言的安全关键的嵌入式软件，我们报告的案例研究中，我们利用符号执行自动生成测试用例的一组安全关键的程序在SCADE开发。为此，我们介绍了一种新的测试生成器，我们在最近的工业项目中开发的测试安全关键的铁路软件写在SCADE，我们报告我们的经验，使用此测试生成器测试一组SCADE程序，属于发展的车载信号单元的高速铁路。结果提供经验证据表明，符号执行确实是一种可行的方法，为我们的案例研究中考虑的安全关键程序生成高质量的测试套件。
ArChes -- Automatic generation of component fault trees from continuous function charts
嵌入式系统中软件的规模和复杂性的不断增长对嵌入式控制系统的安全评估提出了新的挑战。在工业实践中，在对系统进行安全性分析时，控制软件大多被当作黑箱来处理。为了提高安全分析的准确性，软件故障传播的适当表示是一个迫切的需要。然而，它也大大增加了创建和维护安全分析模型（如故障树）的工作量。在这项工作中，我们提出了一种方法来自动生成组件故障树从连续功能图。该方法旨在生成详细软件规格说明的故障传播模型。因此，可以将控制软件纳入安全性分析中，而无需额外的手动工作来构建软件的安全性分析模型。此外，在早期系统规范阶段创建的安全分析可以通过将其与详细规范阶段自动生成的安全分析进行比较来验证。
Psychological Safety in Software Engineering Teams: A Systematic Mapping Study of Team Processes and Performance
本研究通过系统映射分析112项研究，揭示心理安全作为多维、情境依赖的团队构念，与软件工程团队绩效和流程紧密相关，并指出干预措施需纵向、情境化研究。
Clean Code In Practice: Challenges and Opportunities
本文分析软件可靠性、安全与保障的相互作用，提出融合二者的威胁评估框架及实践指南，以提升可靠性预测和系统稳健性。
Towards Continuous Safety Assessment in Context of DevOps
传统上，在互联网公司的推动下，持续交付越来越吸引那些开发具有安全关键功能的系统的行业。由于安全关键系统必须满足法规要求，并且除了正常的开发步骤之外还需要特定的安全评估过程，因此在安全关键系统中实现软件的持续交付需要交付管道中安全评估过程的自动化。在本文中，我们概述了一个连续的交付管道，实现连续的安全评估，在软件密集型安全关键系统的基础上，基于模型的安全评估方法。
Practitioners' Perspectives on Change Impact Analysis for Safety-Critical Software - A Preliminary Analysis
安全标准规定了安全关键软件系统演化过程中的变更影响分析（CIA）。虽然CIA是一项基本活动，但缺乏关于它在实践中如何执行的实证研究。我们提出了一个案例研究CIA在不断发展的自动化系统的背景下，在瑞典和印度的14个采访的基础上。我们的分析表明，工程师平均每年花费50-100小时在CIA上，但随着项目的阶段，工作量有很大的不同。此外，受访者提出了不同的内涵CIA和CIA的重要性不同的看法。我们报告了CIA面临的最紧迫的挑战，以及如何支持未来CIA的几个想法。然而，我们表明，测量这种改进解决方案的效果是不平凡的，因为CIA是交织在一起的其他发展活动。虽然本文只报告了初步的结果，我们的工作实际CIA的经验见解。
Formalism of Requirements for Safety-Critical Software: Where Does the Benefit Come From?
安全和保证标准通常依赖于这样的原则，即通过更正式地表达需求，可以最大限度地减少需求错误。尽管大量的案例研究表明，将以前非正式的需求形式化的行为会发现需求错误，但这一原则实际上只是一个假设。在形式化和更好的要求之间的一种工业上有说服力的因果关系还有待建立。我们描述了多个相互竞争的解释这一假设，在精度水平，重新制定，专业知识，努力和自动化，通常与正式的要求。然后，我们提出了一个实验来区分这些解释，但不一定排除它们都不正确的可能性。
What happens to psychological safety when going remote?
心理安全是软件团队学习和成功的先决条件。本文讨论的储蓄银行等公司已经制定了促进心理安全的良好做法，其中大部分依赖于面对面的互动。然而，远程工作时的心理安全会发生什么？在本文中，我们探讨了挪威软件开发人员如何经历大流行和大流行后的远程工作，并描述了与心理安全相关的简单行为和态度。我们特别关注混合工作模式，即团队成员轮流在办公室工作和在家工作。我们的关键结论是，办公室中的自发互动有助于心理安全，而远程工作则增加了自发互动和心理安全的门槛。我们建议软件团队同步他们的办公室存在，以增加在办公室中自发互动的机会，同时在家中受益于专注的工作。
A comprehensive safety engineering approach for software-intensive systems based on STPA
本文提出基于STPA的综合安全工程方法，结合软件测试和模型检查，用于开发安全软件，通过安全分析确定软件安全需求，以确保潜在危险原因不发生。
Key Safety Design Overview in AI-driven Autonomous Vehicles
本文针对搭载AI的SAE 3级、4级自动驾驶汽车的安全需求，探讨软硬件安全架构与系统化方法，提出缓解策略等技术保障软件安全可靠，明确AI在数据全生命周期中的作用。
Development of a Meta-language and its Qualifiable Implementation for the Use in Safety-critical Software
在工业环境中，使用特定领域的建模来开发复杂的（网络物理）系统正在获得越来越多的认可。领域特定的建模允许对复杂的系统和数据进行抽象，以实现更高效的系统设计、开发、验证和配置。然而，没有现有的（Meta）建模框架可以使用合理的努力，在认证的软件，到目前为止，无论是系统的开发，也不为系统功能的执行。对于在安全关键过程或系统中使用来自特定领域建模的（开发）工件，需要通过后续（手动）验证或使用（预）合格软件来确保其正确性。现有的元语言通常包含很难或不可能以可限定的方式实现的建模元素，导致大量的手动，随后的认证工作。因此，我们的目标是开发一个（Meta）建模框架，可用于认证的软件。这可以显著减少安全关键系统的开发工作，并充分发挥特定领域建模的优势。在这篇博士论文中考虑的框架组件包括：（1）一个基本的元语言，（2）一个可限定的运行时环境，（3）一个合适的持久性。基本的\mbox{(meta-)}建模语言主要基于UML标准，但通过多层建模概念（如深度实例化）进行了增强。支持可能的资格，元语言是使用高度限制，但正式可证明的程序设计语言Ada SPARK实现的。
ct-fuzz: Fuzzing for Timing Leaks
基于测试的方法，如模糊能够分析复杂的软件，这是不服从传统的形式化方法，如验证，模型检验，抽象解释。尽管在许多流行的软件项目中暴露了无数的安全漏洞，但基于测试的方法的应用主要针对检查传统的安全属性，如内存安全。虽然这类属性无疑很重要，但它并不能精确地表征其他重要的安全方面，如信息泄漏，例如，通过侧通道。在这项工作中，我们扩展了基于测试的软件分析方法的两个安全属性，这使得复杂的软件中的信息泄漏的精确发现。特别是，我们提出了ct-fuzzz工具，它使覆盖率指导灰盒模糊检测两个安全属性违规的能力。我们的方法是能够暴露违反任何两个安全属性表示为两个程序的痕迹之间的平等。从经验上讲，我们证明了ct-fuzz迅速揭示流行的加密实现中的时间泄漏。
A Systematic Mapping Study on Software Architecture for AI-based Mobility Systems
本文通过系统映射研究，分析了38篇相关文献，概述了AI安全关键系统中软件架构的现状、安全贡献与成熟度，并识别了应用领域的空白以指导未来研究。
Psychological safety in software workplaces: A systematic literature review
该综述系统梳理软件工程中心理安全感的研究，识别其前因（如团队自主性、敏捷方法、领导行为）与后果，指出研究空白，强调PS对创新、学习和团队绩效的促进作用。
A controlled experiment for the empirical evaluation of safety analysis techniques for safety-critical software
本文通过对比三种安全分析技术在有效性、适用性、可理解性、易用性和效率方面的差异，发现STPA在识别软件安全需求方面更有效，但需更多时间，尤其对缺乏经验的分析人员而言。
Safety-Critical Systems and Agile Development: A Mapping Study
在过去的几十年里，敏捷方法对软件开发的方式产生了巨大的影响。在许多情况下，这带来了显著的好处，例如向客户交付软件的质量和速度。然而，安全关键型系统已经被广泛地从敏捷方法中受益。因此，包括安全关键方面的产品面临着这样一种情况，即安全关键部件的开发可以通过敏捷方法显著限制整个产品的潜在加速，但也包括非安全关键部件。对于此类产品，以敏捷方式开发安全关键软件的能力将产生竞争优势。为了使未来的研究在这一重要领域，我们在本文中提出了一个映射的实践现状的基础上{混合方法的方法}。从与来自瑞典六家大型产品开发公司的专家的研讨会开始，我们开发了一种用于分析的镜头。然后，我们提出了一个系统的映射研究安全关键系统和敏捷开发通过这个镜头，以映射潜在的好处，挑战和解决方案候选人，以指导未来的研究。
Supporting the monitoring of the verification process of critical systems'software
关键软件系统由于其操作环境的原因，在安全性、可靠性和可靠性方面面临着严格的要求。由于硬件与软件密集型部署的集成，安全性和安全性多年来逐渐变得重要，这引入了额外的错误源。因此，有必要遵循高质量的详尽的软件开发过程，除了必要的开发活动，以提高安全性和安全性，还集成技术，以提高软件开发过程本身的可靠性。然而，在实践中，使用自动化技术核查核查进程的情况并不十分普遍。这主要是由于所需技术成本高，而且在适应不同的规范和条例时很复杂。这项工作提出了一种全面管理验证过程的方法;该方法允许工程师监测和控制有关适用标准的项目状态。这种方法已通过在工具中的实现及其在实际项目中的应用得到验证。
Generating Automotive Code: Large Language Models for Software Development and Verification in Safety-Critical Systems
本文提出将生成式AI与大语言模型集成到汽车软件开发生命周期的新框架，通过静态验证、测试驱动开发和迭代细化实现安全关键代码自动生成，并以自适应巡航控制系统验证其合规性与可靠性。
How to Secure Existing C and C++ Software without Memory Safety
本文提出利用现有低开销编译器和运行时机制，组合使用以消除内存损坏软件的大多数执行交错，从而在不修改代码或建立内存安全的前提下，显著提升C/C++软件抵御远程代码执行攻击的安全性。
Beyond Tradition: Evaluating Agile feasibility in DO-178C for Aerospace Software Development
本文分析 DO-178C 对安全关键航空航天软件采用敏捷开发的可行性，指出该标准并不强制瀑布方法，而是支持通过适当证据满足安全与认证目标。
The Impact of Operational-Data Fidelity when Assessing Safety-Critical Autonomous-Vehicle Software
本文扩展保守贝叶斯推理技术，提出检查运营数据不足时可靠性断言稳健性的统计方法，阐明保守使用低保真数据的幼稚性，给出数据保真度对自动驾驶汽车安全评估影响的首批保守估计。
Using Bayesian Modelling to Predict Software Incidents
传统上，故障树或事件树分析或FMEA已用于估计安全关键设备产生危险状况的概率。然而，这些分析技术对于主要依赖于软件的系统不太有效，并且可能在预期功能安全（SOTIF）环境中最不有效，其中即使所有组件都按设计运行，也会发生故障或危险情况。本文介绍了我们在BlackBerry QNX中考虑的一种方法：使用贝叶斯置信网络来预测嵌入式软件中的缺陷，并报告了我们研究的早期结果。
A Systematic and Semi-Automatic Safety-Based Test Case Generation Approach Based on Systems-Theoretic Process Analysis
本文提出一种基于STPA的安全测试方法，通过生成测试用例来识别和降低软件风险，并提供开源工具STPA TCGenerator支持该方法。
Automatic Platform Configuration and Software Integration for Software-Defined Vehicles
针对软件定义汽车平台配置与软件集成依赖人工、周期长且灵活性不足的问题，提出结合 MBSE、代码生成、虚拟化和容器编排的运行时集成管理器，并通过模拟平台完成概念验证。
Combination of component fault trees and Markov chains to analyze complex, software-controlled systems
故障树分析是一种广泛使用的故障分析方法，用于在许多工业应用领域中评估系统的安全性或可靠性。然而，与故障树方法，有没有可能表达的事件或状态相关的行为的软件控制系统的时间序列。与此相反，马尔可夫链是一种基于随机模型的基于状态的分析技术。但由于马尔可夫链模型的规模呈指数爆炸式增长，使其在复杂安全关键系统失效分析中的应用受到限制。在本文中，我们提出了一个概念，将马尔可夫链的组件故障树模型。基于马尔可夫链的组件概念，它使马尔可夫链与系统开发元素（如组件）相关联，可以分析复杂或软件控制的系统。以模块化和组合的方式实现安全性或可靠性。我们说明了这种方法使用的案例研究，从汽车领域。
Psychological Safety Framework in Pull-based Open Source Projects
本文提出基于心理安全理论的框架，通过分析拉取请求互动中的10种可观察行为，构建心理安全指数，并验证其对贡献者短期和长期持续参与的影响。
The Double-Edged Sword of Diversity: How Diversity, Conflict, and Psychological Safety Impact Software Teams
本研究基于分类-阐述模型，分析161个软件团队的多样性对效能与冲突的影响，发现年龄多样性提升效能、性别多样性增加冲突，心理安全有直接积极作用但无调节效应，指出多样性影响具有复杂性。
Future of Code with Generative AI: Transparency and Safety in the Era of AI Generated Software
本研究审视AI生成代码的现状与风险，提出增强透明度与功能分析的解决方案，并探讨其对通用人工智能发展的长期影响，强调负责任的开发与部署。
Meta-Metrics for Simulations in Software Engineering on the Example of Integral Safety Systems
车辆、乘客和其他交通参与者越来越多地受到整体安全系统的保护。它们持续感知车辆环境，以防止紧急制动系统等危险情况。此外，越来越智能的车辆功能仍然是研究和开发的主要兴趣，以减少事故风险。然而，这些功能的开发和测试不应该仅仅依赖于验证的理由和长期的测试运行在真实的交通;相反，他们应该扩展虚拟测试方法来模拟潜在的危险情况或重新运行特定的交通情况很容易。本文概述了元度量作为当今这些信息物理系统的软件工程的挑战之一，以在系统开发期间提供指导：例如，在飞行器功能修订历史上的模拟测试运行的不稳定结果被详细阐述为指示度量，在真实或进一步的虚拟测试运行中关注;此外，对于相同的虚拟交通状况，不同的动作时间点表明解释特定状况的可靠性存在问题。在本文中，讨论了几个这样的元度量，并将其分配给系列开发期间的不同阶段和虚拟测试方法的不同详细程度。
Keeping Continuous Deliveries Safe
持续交付允许快速的发布周期，在应用软件开发中已经变得流行，并开始应用于汽车行业等安全关键领域。这些领域需要对安全约束进行全面分析，这可以通过形式化验证和执行产品安全分析产生的安全测试来实现。在持续交付的情况下，需要对每个构建执行此类测试，以确保最新的软件仍然满足所有安全要求。更重要的是，安全分析必须随着每次更改而更新，以确保安全测试套件仍然是最新的。因此，我们建议，安全性分析应该与其他可交付成果（如源代码和依赖关系）没有区别，制定关于如何实现这一目标的指导方针，并指出未来需要研究的领域。
Testing and verification of neural-network-based safety-critical control software: A systematic literature review
背景：神经网络（NN）算法已经成功地应用于许多安全关键的网络物理系统（SCCPS）。基于神经网络的控制软件的测试与验证（T&V）是软件工程和安全工程研究者和实践者关注的热点。目的：随着对基于神经网络的控制软件在安全关键领域的T&V研究的增加，重要的是系统地回顾最先进的T&V方法，对发明的方法和工具进行分类，并确定未来研究的挑战和差距。方法：检索950篇关于神经网络安全关键控制软件（SCCS）测试与验证的文献。为了达到我们的结果，我们过滤了2001年至2018年期间发表的83篇主要论文，应用主题分析方法分析了从选定论文中提取的数据，介绍了方法的分类，并确定了挑战。结论：这些方法分为五个高阶主题：确保神经网络的鲁棒性，确保基于神经网络的控制软件的安全性，提高神经网络的故障恢复能力，测量和确保测试的完整性，提高神经网络的可解释性。从行业的角度来看，提高NN的可解释性是安全关键型应用的关键需求。我们还调查了四个主要安全生命周期阶段中的九个安全完整性属性，以调查IEC 61508-3中T&V目标的实现水平。结果表明，正确性、完整性、无内在错误和容错是研究界最关注的问题。然而，很少的努力已经投入到实现可重复性，没有审查的研究集中在精确定义的测试配置或对常见原因故障的防御。
Shedding Light onto Safety Integrity Level and Basic Software Constraints in a Real-World Automotive Application: Case Study with Driverator Framework
研究汽车电子控制单元系统，分析因果链非功能属性，探讨安全完整性等级、基础软件及内存需求影响，介绍Driverator配置框架用于系统分析。
Formal methods and software engineering for DL. Security, safety and productivity for DL systems development
深度学习（DL）技术现在已经广泛应用，并被集成到许多重要的系统中。它们的分类和识别能力确保了它们与多个应用领域的相关性。作为依赖于训练而不是算法编程的机器学习，它们提供了高度的生产力。但它们可能容易受到攻击，并且验证其正确性只是作为一种科学和工程可能性才刚刚出现。本文是对以前发表的调查的重大更新，试图涵盖这一领域的所有最新出版物。它还涵盖了一个更近的趋势，即设计用于生成和训练神经网络的特定领域语言。
Document Retrieval Augmented Fine-Tuning (DRAFT) for safety-critical software assessments
本文提出DRAFT方法，通过引入双检索架构和半自动化数据集生成，提升大型语言模型在安全关键合规评估中的准确性与证据处理能力。
Nothing is Certain but Doubt and Tests
有效的软件安全标准将有助于增强对使用软件的系统的安全性的信心或保证。要证明标准与事故之间的相关性是不可行的，但有一种替代观点认为标准是“可检验的”。软件项目容易受到不确定性的影响;好的标准比差的标准更能减少不确定性。同样，标准中的保证或完整性水平应定义不确定性梯度。本文提出了一种基于论证的不确定性推理方法，可作为进行实验（测试）以评估标准的基础。
Software Reliability Growth Models Predict Autonomous Vehicle Disengagement Events
自动驾驶汽车的接受程度取决于对其安全性的严格评估。此外，AV程序的商业可行性取决于估计实现所需安全水平所需的时间和资源的能力。估计正在开发的自动驾驶汽车的可靠性和安全性水平的简单方法将需要对静态车辆配置进行不可行的测试。为了允许目前的安全性估计，并对未来系统的可靠性进行预测，我建议使用一个标准的工具，不断发展的软件系统，软件可靠性增长模型（SRGMs）的可靠性建模。来自加利福尼亚州两个自动驾驶汽车系统的公共道路测试的公开数据使用两个最知名的SRGM进行建模。模型的能力，以准确地估计当前的可靠性，以及当前的测试数据，以预测在未来的可靠性后，额外的测试，进行评估。其中一个模型，Musa-Okumoto模型，似乎是一个很好的估计和合理的预测。
JTA: Joint Testability Architecture for Scenario-Based Validation of Safety-Critical Software
该研究提出JTA架构，将场景、测试系统与被测系统整合分析，通过多维度表征验证能力并引入相关方法，经ArduPilot失效保护验证示例分析，为安全关键软件场景化验证提供架构基础。
Applying Model Checking to Highly-Configurable Safety Critical Software: The SPS-PPS PLC Program
许多粒子加速器的一个重要方面是不断发展和频繁的配置变化，需要执行它们设计的实验。这通常会导致可配置软件的设计，可以吸收这些变化，并执行所需的控制和保护行动。这种设计策略最大限度地降低了工程和维护成本，但它使软件验证活动更具挑战性，因为必须保证任何可能的配置的安全属性。软件模型检验是一种广泛应用的自动化验证技术。这种验证方法探索系统模型的所有可能组合，以保证其符合某些属性或规范。这对于高度可配置的软件来说是一种非常合适的技术，因为通常有大量的组合需要检查。本文介绍了如何PLCverif，欧洲核子研究中心的模型检验平台，已被应用到一个高度可配置的可编程逻辑控制器（PLC）程序，SPS人员保护系统（PPS）。这种验证方法的好处和挑战也进行了讨论。
An Empirical Study on LLM-based Classification of Requirements-related Provisions in Food-safety Regulations
本研究通过扎根理论分析食品安全法规，并评估BERT和GPT系列LLM在分类需求相关条款上的效果，发现GPT-4o微调性能最佳，且模型具有跨管辖区泛化能力。
Assurance Cases as Foundation Stone for Auditing AI-enabled and Autonomous Systems: Workshop Results and Political Recommendations for Action from the ExamAI Project
欧洲机械指令和相关协调标准确实考虑到软件用于生成机械的安全相关行为，但没有考虑所有类型的软件。特别是，不考虑基于机器学习（ML）的软件实现安全相关行为。这限制了自主移动机器人和其他自主机械的合适的安全概念的引入，这些机器通常依赖于基于ML的功能。我们调查了这个问题，以及安全标准定义针对软件故障实施的安全措施的方式。功能安全标准使用安全完整性等级（SIL）来定义应实施的安全措施。它们提供了确定SIL的规则和根据SIL选择安全措施的规则。在本文中，我们认为这种方法很难用于ML和其他类型的人工智能（AI）。而不是简单的规则来确定SIL和应用相关的故障措施，我们建议使用的保证情况下，认为单独选择和应用的措施是足够的，在给定的情况下。为了对我们的提案的可行性和实用性进行初步评估，我们在一个研讨会上与来自行业专家、德国法定事故保险公司、工作安全和标准化委员会以及来自各个国家、欧洲和国际安全和人工智能工作组的代表进行了讨论。在本文中，我们总结了建议和研讨会的讨论。此外，我们检查我们的提案在多大程度上符合欧洲人工智能法案提案以及当前针对人工智能和自主系统的安全标准化倡议
Safety and Performance, Why not Both? Bi-Objective Optimized Model Compression toward AI Software Deployment
人工智能（AI）软件中的深度学习模型的大小正在迅速增加，这阻碍了在资源受限设备上的大规模部署（例如，智能手机）。为了缓解这个问题，人工智能软件压缩起着至关重要的作用，其目的是在保持高性能的同时压缩模型大小。然而，大模型中的固有缺陷可能被压缩模型继承。这样的缺陷可能很容易被攻击者利用，因为压缩模型通常部署在大量设备中，而没有足够的保护。在本文中，我们试图解决安全模型压缩问题，从安全性能协同优化的角度。具体来说，受测试驱动的开发（TDD）范式在软件工程，我们提出了一个测试驱动的稀疏训练框架称为SafeCompress。通过模拟攻击机制作为安全测试，SafeCompress可以按照动态稀疏训练范式自动将大模型压缩为小模型。此外，考虑到代表性的攻击，即，成员推断攻击（MIA），提出了一种具体的安全模型压缩机制MIA-SafeCompress。进行了广泛的实验，以评估MIA-SafeCompress在五个数据集上的计算机视觉和自然语言处理任务。结果验证了该方法的有效性和推广性。我们还讨论了如何适应SafeCompress的其他攻击，除了MIA，展示了SafeCompress的灵活性。
Combined Intuition and Rationality Increases Software Feature Novelty for Female Software Designers
克服社会的复杂问题需要新的解决方案。在设计针对这些问题的软件时，应用不同的认知风格可以促进新颖性。通过对80名软件设计从业者的实验，我们发现，偏好一种以上认知风格（直觉和理性）的女性从业者产生了所有参与者中最新颖的软件功能。
Systems-theoretic Safety Assessment of Robotic Telesurgical Systems
机器人手术系统是市场上最复杂的医疗网络物理系统之一，在过去十年中已用于超过175万例手术。尽管近年来机器人手术系统的设计有了显著改进，但在手术过程中仍不断发生对患者产生负面影响的安全事件。本文提出了一种基于软件故障注入的机器人手术系统的系统理论安全评估方法。我们使用系统理论危害分析技术（STPA）来识别RAVEN II机器人（一种开源机器人手术平台）中的潜在安全危害场景及其成因。我们将机器人控制软件与软件实现的故障注入引擎集成在一起，该引擎通过自动将故障插入机器人控制软件的不同部分来测量系统对已识别的安全危险场景的弹性。使用报告给美国食品药品监督管理局（FDA）MAUDE数据库的真实机器人手术事件的代表性危害场景来证明机器人手术系统基于安全设计的拟议方法的可行性。
From Law to Gherkin: A Human-Centred Quasi-Experiment on the Quality of LLM-Generated Behavioural Specifications from Food-Safety Regulations
本文通过准实验评估LLMs从法律文本生成Gherkin规范的能力，发现其在相关性和清晰性方面表现良好，但需人类监督以纠正遗漏和幻觉。
A Taxonomy of Real-World Defeaters in Safety Assurance Cases
本文针对安全保证案例中缺乏结构化击败者分析的问题，通过对过去20年文献的系统研究，使用开放编码推导出包含七个类别的现实世界击败者分类法，为安全攸关系统的击败者分析与管理标准化奠定基础并提供开源工件。
Building Confidence in Scientific Computing Software Via Assurance Cases
保证案例为正确性提供了一个有组织的、明确的论证。它们可以显著提高科学计算软件（SCS）的认证。保证案例已经被有效地用于实时的系统的安全案例。SCS的优势包括吸引领域专家，仅生成必要的文档，并提供可以验证/复制的证据。本文通过3dfim+（一种用于分析大脑活动的现有医学成像应用程序（MIA））的正确性案例说明了SCS的保证案例。选择这个例子的部分原因是最近对功能性磁共振成像（fMRI）研究有效性的担忧。该示例证明了SCS保证案例的价值，因为现有文档显示存在模糊性和遗漏，例如定义不完整的排名功能和缺少坐标系的详细信息。确定了3dfim+的一个严重问题：运行该软件不会产生任何警告，说明必须使用与相关性计算所用参数统计模型相匹配的数据。一般而言，提高SCS的标准，特别是MIA，既可行又必要-当软件影响安全性时，应采用保证案例方法（或同等严格的置信度建立方法）。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈
发表机构由 AI 从论文文本抽取，如发现错误，欢迎反馈修正建议。