Extending Decision Maps for Sustainable Safety and Security in Self-Adaptive Systems
Johannes Kepler University Linz(林茨约翰内斯·开普勒大学);LIT Secure and Correct Systems Lab / Institute of Business Informatics – Software Engineering(LIT安全与正确系统实验室/商业信息学研究所-软件工程);North Carolina State University(北卡罗来纳州立大学);Department of Computer Science(计算机科学系);University of Innsbruck(因斯布鲁克大学);ENGEL Austria GmbH(ENGEL奥地利有限公司)
研究针对决策地图在自适应系统安全建模上的不足,通过引入新维度和采用分治方法扩展建模符号,经实际用例验证,该扩展能更准确捕捉安全场景,为自适应生命周期提供全面支持。
2026-07-14 cs.SE
Towards Interdependent Safety Security Assessments using Bowties
我们提出了一种方法来结合使用领结图的安全和安全评估。Bowties模型的原因导致了一个中心的故障事件和后果,从该事件产生的,以及阻碍事件的障碍。蝴蝶结以前被单独用于安全和安全评估,但我们建议在一个单一的模型中进行统一的处理,可以优雅地捕捉几种安全的相互依赖性。我们以2021年10月Facebook DNS关闭为例展示了我们的方法,检查了事件链以及导致中断的安全和安全屏障之间的相互作用。
2022-08-06 cs.CR cs.SE
Clean Code In Practice: Challenges and Opportunities
本文分析软件可靠性、安全与保障的相互作用,提出融合二者的威胁评估框架及实践指南,以提升可靠性预测和系统稳健性。
2025-07-26 cs.SE
AI Safety Subproblems for Software Engineering Researchers
本文从软件工程视角探讨长期AI安全,通过量化文献综述指出SE场所缺乏AI安全讨论,并分类提出传统SE领域的子问题以改善AI与SE未来。
2023-08-31 cs.SE
How to Integrate Security Compliance Requirements with Agile Software Engineering at Scale?
将安全性集成到敏捷软件开发中是一个开放的研究和实践问题。特别是在监管严格的行业中,复杂性不仅在扩展敏捷实践时增加,而且在旨在遵守安全标准时也会增加。为了在大规模敏捷环境中实现安全合规性,我们开发了S2 C-SAFe:Scaled Agile Framework的扩展,符合安全标准IEC~62443-4-1,用于安全产品开发。在本文中,我们介绍了西门子大型项目生态系统中的敏捷和安全专家的框架及其评估。我们讨论的好处和局限性,以及从从业者的角度来看的挑战。我们的研究结果表明,\ssafe有助于在受监管的环境中成功地将安全合规性与精益和敏捷开发相结合。我们还希望提高对在持续软件工程范围内集成安全性的重要性和挑战的认识。
2021-05-27 cs.SE
Psychological Safety and Norm Clarity in Software Engineering Teams
在当今的软件工程行业中,公司主要以团队的形式开展工作。为了提高组织的生产力,了解影响团队效率的因素至关重要。最近,两个与团队相关的概念变得突出起来:心理安全和团队规范。然而,很少有研究存在,探讨这些在软件工程的背景下。因此,为了扩展这些概念的知识,我们研究了心理安全和团队规范清晰度是否与软件开发人员的自我评估团队绩效和工作满意度(有效性的两个重要因素)呈正相关。我们收集了来自五个不同组织的38个开发团队的从业者(N = 217)的行业调查数据。多元线性回归分析的结果表明,心理安全感和团队规范清晰度对团队成员的自评绩效和工作满意度均有预测作用。研究结果还表明,规范的清晰度比心理安全性更强(分别强30%和71%)。这项研究强调了需要更详细地研究社会规范和软件开发之间的关系。这项研究的结果可以作为今后工作的经验基线。
2018-02-05 cs.SE
Independent Co-Assurance using the Safety-Security Assurance Framework (SSAF): A Bayesian Belief Network Implementation for IEC 61508 and Common Criteria
安全保障框架适用于两个标准IEC 61508和通用标准- ISO 15408
2020-10-13 cs.CR cs.SE
Model-Based Safety and Security Engineering
通过利用日益增加的系统表面攻击,网络攻击可能导致灾难性事件,例如远程禁用安全机制。这意味着,为了避免危险,安全和安保需要结合起来,交流信息,如主要危险/威胁、风险评估、使用的机制。本白皮书描述了通过使用模型实现此集成的一些步骤。首先,我们要明确一些关键的技术挑战。然后,我们演示了模型,如目标结构化表示法(GSN)的安全性和攻击防御树(ADT)的安全性,可以解决这些挑战。特别是,(1)我们演示了如何通过将GSN模型转换为ADT,以自动化的方式从安全评估中提取安全相关信息;(2)我们展示了安全结果如何影响安全评估的置信度;(3)我们提出了一个协作开发过程,其中通过逐步考虑安全和安全分析来构建安全和安全评估;(4)我们描述了如何以自动化的方式进行权衡分析,例如识别安全性和安全性参数何时相互矛盾以及如何解决这些矛盾。最后,我们指出,这些是迈向广泛的技术,以支持安全和安全工程的第一步。作为一份白皮书,我们避免过于技术性,更喜欢通过使用示例来说明功能,从而更容易理解。
2019-01-02 cs.LO cs.SE
STORE: Security Threat Oriented Requirements Engineering Methodology
由于我们不断依赖资讯科技的应用,采用电子渠道和软件应用程序进行业务、网上交易和通讯,软件保安正日益成为一项必需和更高级的关注。功能性需求和非功能性需求都很重要,它们在软件开发过程的早期阶段提供了必要的需求,特别是在需求阶段。本研究的目的是在软件开发过程中早期识别安全威胁,以帮助需求工程师在整个需求工程过程中以更系统的方式引出适当的安全需求,以确保安全和高质量的软件开发。本文提出了基于安全威胁分析的安全需求获取的STORE方法,该方法包括识别PoA、PoB、PoD和PoD四个点,以进行有效的安全攻击分析。此外,建议的存储方法也验证了一个ERP系统的案例研究。我们还比较了我们的存储方法与现有的两种技术,即SQUARE和MOSRE。我们已经表明,更有效和更高效的安全需求,可以引出的存储方法,它可以帮助安全需求工程师引出安全需求,在一个更有组织的方式。
2019-01-06 cs.SE
Guidelines for Systematic Mapping Studies in Security Engineering
软件生命周期中的安全工程旨在保护信息和系统,以保证机密性,完整性和可用性。随着安全工程的成熟和研究论文数量的增长,越来越需要总结结果并提供该领域概述的论文。系统的映射研究通过对论文进行分类来确定哪些主题得到了很好的研究,哪些需要进一步研究,从而“映射”研究领域。因此,系统的映射研究在安全工程中变得越来越重要。本章提供了安全工程的基础上发表的安全工程论文的例子系统映射研究的方法论支持。由于安全工程与软件工程相似,因为它连接了研究和实践,研究人员可以使用相同的基本系统映射过程,如下:(1)研究计划,(2)搜索研究,(3)研究选择,(4)研究质量评估,(5)数据提取,(6)数据分类,(7)数据分析,(8)结果报告。我们使用已发表的映射研究来描述这个过程的安全工程的剪裁。除了指导如何在安全工程中进行系统的映射研究之外,本章还应提高安全工程社区对额外映射研究必要性的认识。
2018-01-21 cs.CR cs.SE
Secure Software Engineering in the Financial Services: A Practitioners' Perspective
安全软件工程是现代软件开发中的一项基本活动。然而,虽然安全研究领域已经取得了相当快的进展,但在实践中,安全专家和软件开发团队之间仍然存在巨大的知识差距。毕竟,我们不能指望开发人员和其他软件从业人员成为安全专家。了解软件开发团队如何将安全性纳入他们的流程以及他们面临的挑战是缩小这一差距的一步。在本文中,我们研究了金融服务公司如何确保其软件系统的安全性。为此,我们进行了一项定性研究的基础上,半结构化的采访,16个软件从业人员从11个不同的金融公司在三大洲。我们的研究结果揭示了从业人员在软件开发过程的不同阶段所采取的安全考虑因素,软件团队使用不同的安全实践来确保其软件系统的安全性,从业人员认为在现有的实践安全工具中重要的改进,不同的知识共享和学习实践,开发人员用来了解更多关于软件安全,以及软件从业人员目前面临的挑战,当谈到保护他们的系统。
2021-04-08 cs.SE
Saltzer & Schroeder for 2030: Security engineering principles in a world of AI
本文探讨Saltzer & Schroeder安全设计原则在AI代码生成时代的演进与适应,以保障开发者使用ChatGPT等工具编写安全代码时实现安全设计。
2024-07-08 cs.SE
Software and Security Engineering in Digital Transformation
数字化转型是当前全球环境中的一个热门话题,因为许多组织一直在努力采用数字化解决方案。软件工程也已经成为一个更重要的角色,因为大量的系统,无论是传统的还是智能的,都依赖于收集、存储和处理数据的软件。软件工程师在数字化转型中的作用也变得至关重要。在这方面,本文旨在研究软件工程的趋势和软件工程师在数字化转型中的作用。此外,本文还探讨了安全软件开发在数字化转型中的重要性。可以得出结论,软件工程是数字化转型的一个组成部分,因为所有数字系统都使用软件来有效地执行其功能。软件作为数字系统和人类之间的桥梁,以交互和有效地使用系统。
2021-12-16 cs.SE
Psychological Safety in Software Engineering Teams: A Systematic Mapping Study of Team Processes and Performance
LUT University(拉彭兰塔-拉赫蒂理工大学);University of Derby(德比大学);University of Limerick(利默里克大学)
本研究通过系统映射分析112项研究,揭示心理安全作为多维、情境依赖的团队构念,与软件工程团队绩效和流程紧密相关,并指出干预措施需纵向、情境化研究。
2026-10-08 cs.SE
From Lemons to Peaches: Improving Security ROI through Security Chaos Engineering
本文指出传统信息安全因攻击不可避免而回报率低下,提出采用安全混沌工程范式,通过降低攻击影响并生成改进证据来提升安全投资回报率。
2023-07-07 cs.CR cs.SE
Model-Based Software Engineering and Ada: Synergy for the Development of Safety-Critical Systems
在本文中,我们概述了一个软件开发过程的安全关键系统,旨在结合一些特定的优势,基于模型的开发与程序设计语言的开发使用的安全关键的Ada子集。基于模型的软件开发和基于模型的测试用例生成技术与代码生成技术和工具相结合,为系统本身及其测试用例提供从模型到代码的转换。这允许开发人员将面向领域的基于模型的技术与基于源代码的验证技术相结合,以符合安全关键软件开发标准,如航空电子标准RTCA/DO-178 B。我们介绍了AutoFocus和Validator建模和验证工具集,并概述了其用于建模,测试用例生成和代码生成的组合方法,这是进一步说明了一个简化的前沿航空航天模型内置的容错。
2002-01-26 cs.SE
A Systematic Mapping Study on Security in Agile Requirements Engineering
[背景]许多公司所处的快速变化的商业环境正在挑战传统的需求工程(RE)方法。这导致了可再生能源的敏捷方法。与此同时,安全性是一个基本的非功能性需求,在敏捷开发环境中仍然很难解决。由于RE中“敏捷”概念的模糊性以及安全需求处理的困难性,人们对如何在敏捷RE中处理安全需求的总体理解仍然是模糊的。[目的]我们的目标是描述敏捷软件项目中处理安全需求的方法的发布环境。[方法]我们进行了一个系统的映射,以概述相关的工作和当代差距,为未来的研究。[结果]我们总共确定了2005年至2017年期间符合纳入标准的21项研究。我们发现,这些方法通常涉及修改敏捷方法,引入新的工件(例如,将用户故事的概念扩展到滥用者故事),或引入处理安全问题的指导方针。我们还确定了使用这些方法与环境、人员、努力和资源有关的局限性。[结论]我们的分析表明,需要投入更多的努力来实证评估现有的方法,并有一个未来的研究方向,以减轻所确定的局限性。
2018-06-04 cs.SE
ACCESS: Assurance Case Centric Engineering of Safety-critical Systems
University of Cambridge(剑桥大学);University of Lancaster(兰卡斯特大学);University of York(约克大学);Dalian University of Technology(大连理工大学);D-RisQ Ltd.(D-RisQ有限公司)
本文提出ACCESS方法,通过模型驱动的保证案例支持安全关键系统的发展,实现开发和运行时的自动评估,并通过自主水下车辆案例验证。
2024-04-16 cs.SE
Foundational Analysis of Safety Engineering Requirements (SAFER)
Tel-Aviv University(特拉维夫大学)
SAFER通过生成式人工智能和模型驱动方法,提升复杂安全关键系统的需求生成与分析,解决需求冲突和不一致问题,提高安全工程效率和可靠性。
2026-01-09 cs.AI cs.SE
Simulation-based Safety Assessment of High-level Reliability Models
系统工程方法使用高级模型来捕获系统的架构和行为。然而,当安全工程师进行安全和可靠性分析,他们必须创建正式的模型,如故障树,根据高层次的工程模型和环境/故障假设所描述的行为。我们的方法不是建立低层次的分析模型,而是建立在安全分析的工程模型上,利用最近的概率编程和模拟进步的模拟能力。因此,它可以根据标准和最佳实践应用于分析关键汽车系统,作为工业合作的一部分,同时利用工程师创建的高级框图和状态图模型。我们证明了我们的方法的适用性,在一个案例研究中改编自汽车系统的合作。
2020-04-28 cs.SE
EnvGuard: Guaranteeing Environment-Centric Safety and Security Properties in Web of Things
针对WoT环境中现有违规识别方法忽略环境复杂交互、缺乏用户意愿研究的问题,提出以环境为中心的EnvGuard方法,经实验验证其性能优于前沿方法,还构建了相关数据集。
2023-12-16 cs.SE
Regret Dominates Surprise: Design-Time Requirements Engineering for Agentic-AI Safety
School of Computer Science University of Birmingham Birmingham, United Kingdom
提出基于GORE的MS-RGR机制,利用惊喜和遗憾信号解决智能体安全三难问题,模拟验证可将静默故障降至近零且风险检测快17.5倍,但仅增强而非替代模型级安全训练。
2026-09-09 cs.SE
Challenges in the Safety-Security Co-Assurance of Collaborative Industrial Robots
University of York(约克大学);University of Sheffield(谢菲尔德大学)
本研究围绕协作工业机器人的安全与安保协同保障难题,梳理了相关保障方法,分析了制造业人机协作的技术现状与挑战,并指出了待解决的流程与技术问题。
2020-07-17 cs.CR cs.RO cs.SE
Rely-guarantee Reasoning about Concurrent Memory Management: Correctness, Safety and Security
本文首次对 Zephyr RTOS 并发内存管理进行形式化规范与机械化证明,扩展 PiCore 框架以验证完整性,并在功能验证中发现 C 实现中的三个缺陷。
2023-09-17 cs.SE
An Analysis of Early-Stage Functional Safety Analysis Methods and Their Integration into Model-Based Systems Engineering
Virginia Tech(弗吉尼亚理工大学)
本文对比了FMEA、FHA和FFIP三种早期功能安全分析方法,发现FFIP更适合现代互联系统,并综述了它们集成到MBSE的现状,指出缺乏统一标准,呼吁支持数字工程转型的协同安全集成框架。
2025-11-04 cs.SE
Managing Security Evidence in Safety-Critical Organizations
本文通过六家公司的定性访谈研究,发现安全关键型组织在安全证据管理的成熟度上不足以满足认证要求,主要原因是教育差距和流程缺失,同时探讨了AI对证据管理的影响。
2024-04-26 cs.CR cs.SE
A Survey of Analysis Methods for Security and Safety verification in IoT Systems
物联网(IoT)在过去几年中在所有生活学科中迅速发展。物联网为不同领域的用户提供自动化和智能控制,如家庭自动化、医疗保健系统、汽车等。鉴于连接的物联网设备数量巨大,这种增长导致其环境中相当大的物联网应用程序之间的大量自动交互,使物联网应用程序更智能,用户更愉快。但是,物联网应用程序的一些不可预见的交互和任何潜在的恶意行为都可能对其用户造成严重的不安全和不安全后果,主要是非专家,他们缺乏关于物联网自动化过程潜在影响的必要知识。在本文中,我们研究了物联网系统的安全性和安全验证问题。我们调查了利用程序分析来验证物联网应用程序的安全性和安全属性的技术。该研究提出了一套分类和分类属性,以提高我们对这一领域的研究景观的理解。此外,我们还讨论了调查工作中考虑的主要挑战以及可以采用的潜在解决方案,以确保物联网系统的安全性。
2022-03-03 cs.CR cs.SE
A Formal Development Cycle for Security Engineering in Isabelle
在本文中,我们展示了一个安全工程过程的基础上,完善的正式概念完全正式的证明助手伊莎贝尔。这个改进-风险循环侧重于由交互式定理证明支持的攻击分析和安全改进。由于我们使用了一个完全形式化的模型与演员和政策的基础设施,我们可以支持一种新的方式正式的安全细化系统规范。这个正式的过程实际上是建立作为一个扩展的Isabelle基础设施框架的攻击树。我们定义了基础设施模型细化的正式概念。由于Kripke结构和Isabelle基础架构中的分支时间时序逻辑的形式化基础,这些逐步转换可以与攻击树分析交织,从而提供完全形式化的安全工程框架。该过程在介绍GDPR要求和区块链的物联网医疗保健案例研究中进行了说明。
2020-01-04 cs.CR cs.SE
Don't Make Models Guess Security and Safety: Symbolic Guardrails for Domain-Specific AI Agents
Carnegie Mellon University(卡内基梅隆大学)
本文研究了符号护栏在提高AI智能体安全性和安全性方面的有效性,通过系统回顾80个最新基准测试,发现74%的政策要求可通过符号护栏实现,从而在不牺牲效用的情况下提升安全性和安全性。
2026-07-07 cs.AI cs.CR cs.SE
LLM-Empowered Functional Safety and Security by Design in Automotive Systems
European Chips Joint Undertaking(欧洲芯片联合计划);Federal Ministry of Research, Technology and Space of Germany(德国联邦科研、技术和空间 ministry)
本文提出利用大语言模型提升汽车系统功能安全与安全设计的方法,通过事件链模型和MDE方法实现安全拓扑设计和代码分析。
2026-01-05 cs.AI cs.SE
A Model Based Framework for Testing Safety and Security in Operational Technology Environments
提出基于模型的测试框架,分四部分分析运营技术环境的安全与防护行为,以保护组件并提升系统质量与效率。
2023-06-22 cs.SE cs.SY eess.SY
Understanding, Implementing, and Supporting Security Assurance Cases in Safety-Critical Domains
针对安全关键领域安全保障案例(SAC)创建与管理的不足,提出CASCADE方法,结合ISO/SAE-21434和质量保证,通过资产驱动和机器学习分类,提升适用性与泛化性。
2025-01-08 cs.CR cs.SE
A comprehensive safety engineering approach for software-intensive systems based on STPA
Institute of Software Technology, University of Stuttgart(斯图加特大学软件技术研究所);Massachusetts Institute of Technology(麻省理工学院)
本文提出基于STPA的综合安全工程方法,结合软件测试和模型检查,用于开发安全软件,通过安全分析确定软件安全需求,以确保潜在危险原因不发生。
2016-12-09 cs.SE cs.SY eess.SY
Formal methods and software engineering for DL. Security, safety and productivity for DL systems development
深度学习(DL)技术现在已经广泛应用,并被集成到许多重要的系统中。它们的分类和识别能力确保了它们与多个应用领域的相关性。作为依赖于训练而不是算法编程的机器学习,它们提供了高度的生产力。但它们可能容易受到攻击,并且验证其正确性只是作为一种科学和工程可能性才刚刚出现。本文是对以前发表的调查的重大更新,试图涵盖这一领域的所有最新出版物。它还涵盖了一个更近的趋势,即设计用于生成和训练神经网络的特定领域语言。
2019-01-31 cs.DC cs.SE
An Exploratory Study on the Engineering of Security Features
本文通过对26名工业界从业者开展探索性研究,考察安全特性的选择、工程实现、代码特征与维护挑战,并基于实证数据验证四项常见假设。
2025-02-12 cs.CR cs.SE
On AI Safety and Security Technical Debt in Engineering AI-Enabled Systems
University of Birmingham(伯明翰大学);HBKU(哈马德·本·哈利法大学);Bournemouth University(伯恩茅斯大学);Brunel University London(伦敦布鲁内尔大学);University of Hawaii(夏威夷大学);College of Science and Engineering, HBKU(哈马德·本·哈利法大学科学与工程学院)
研究人工智能系统工程中的安全与保障技术债务,通过系统综述识别31种AITD并分类,分析其与信任问题的关联,合成34条指南,引入AITD - MAP框架,助工程师应对AITDs。
2026-07-28 cs.AI cs.CR cs.SE
Large Language Models at the Intersection of Software Engineering and Software Security:An Evidence-Centered Structured Survey and Research Agenda
Nanjing Liancheng Intelligent Technology Group(南京连城智能科技集团)
本研究调查了LLMs在软件工程与软件安全交叉领域的进展,提出保证框架,识别有效性威胁与最低报告协议,制定研究议程,主张以任务适配证据而非单一基准评判模型能力。
2026-08-24 cs.AI cs.SE
Security Engineering in IIIf, Part II -- Shadowing the IIIf
Middlesex University(密德萨斯大学);TU Berlin(柏林工业大学)
本文扩展了IIIf的安全工程过程,引入信息流安全(IFC),通过受Morgan启发的'影子'概念来形式化信息流到低级的不存在,解决了规范细化中的'细化悖论'问题。
2026-06-29 cs.LO cs.SE
Bridging Safety and Security in Complex Systems: A Model-Based Approach with SAFT-GT Toolchain
Universität Liechtenstein(列支敦士登大学);Chalmers University of Technology and University of Gothenburg(查尔姆斯理工大学和哥德堡大学);Ulm University(乌尔姆大学);University of Innsbruck(因斯布鲁克大学);German Aerospace Center (DLR)(德国航空航天中心);University of Cologne(科隆大学)
本文提出基于模型的SAFT-GT工具链,用于解决复杂系统中安全与安全性的挑战,通过攻击-故障树生成和模型组合方法,提升系统安全性和可靠性,通过用户研究验证其有效性。
2026-04-06 cs.CR cs.SE
An Ontological Metamodel for Cyber-Physical System Safety, Security, and Resilience Coengineering
系统复杂性在设计、评估和实现实用的信息物理系统中无处不在。这种日益增加的复杂性正在影响设计网络物理系统所需模型的管理,这些系统能够考虑到一些“能力”,使它们安全可靠,并最终能够抵御服务中断。我们提出了一个本体论元模型的系统设计,增强了现有的行业元模型,以捕捉各种模型元素和安全性,安全性和弹性的考虑因素之间的关系。使用这个元模型会导致更紧密和结构化的建模工作,并在可伸缩性、可用性和现有模型的统一性方面得到全面提高。反过来,这导致在设计安全防御和弹性机制以打击不良行为时采用面向任务的视角。我们在一个开源的GraphQL实现中说明了这个元模型,它可以与许多建模语言接口。我们支持我们提出的元模型,使用石油和天然气管道模型的详细演示。
2020-06-09 cs.SE cs.SY eess.SY
The Competence Shadow: Theory and Bounds of AI Assistance in Safety Engineering
Independent Research(独立研究)
本文探讨AI在安全工程中的辅助作用,提出能力阴影理论,揭示AI辅助可能带来的系统性盲区,并强调协作设计的重要性。
2026-03-27 cs.AI cs.ET cs.HC
Towards the Model-Driven Engineering of Secure yet Safe Embedded Systems
我们介绍SysML-Sec,一个基于SysML的模型驱动的工程环境,旨在促进系统设计人员和安全专家之间的合作,在嵌入式系统开发的所有方法阶段。嵌入式系统设计中的一个核心问题是系统架构的硬件/软件划分的定义,这应该尽早进行。SysML-Sec旨在通过整合安全需求和威胁来扩展此分析的相关性。特别是,我们提出了一个敏捷的方法,其目的是评估早期的安全需求和安全机制的影响,旨在满足他们的安全系统。通过现有的SysML图,以组件为中心的方式捕获安全问题,仅进行最小的扩展。在将捕获的需求派生到安全和加密机制中之后,可以在此设计上正式验证安全属性。为了执行后者,在SysML-Sec工具链中实现了模型转换技术,以便从SysML模型中导出ProVerif规范。汽车固件刷新过程作为整个演示文稿的指导性示例。
2014-04-08 cs.CR cs.SE
SafetyOps
安全保证是大规模部署各种自主系统(例如,自动驾驶汽车)。然而,安全工程实践和过程的执行受到现代安全关键系统日益复杂的挑战。这一属性对于涉及人工智能(AI)和数据驱动技术以及物理世界和数字计算平台的复杂交互的自治系统变得更加重要。在这份立场文件中,我们强调了将当前安全流程应用于现代自主系统的一些挑战。然后,我们介绍了SafetyOps的概念-一组实践,它结合了DevOps,TestOps,DataOps和MLOps,以提供高效,连续和可追溯的系统安全生命周期。我们相信SafetyOps可以在安全工程的可扩展集成和适应依赖人工智能和数据的各个行业方面发挥重要作用。
2020-08-11 cs.FL cs.SE
Applying Security Testing Techniques to Automotive Engineering
本文系统分类了现有安全回归测试方法,分析其抽象级别、安全问题、测试技术、工具支持与评估情况,并指出未来研究方向。
2023-09-18 cs.CR cs.SE
SSP-Bench: A Hybrid Data Generation Framework for Safety, Security, and Privacy Evaluation
Qatar Computing Research Institute (QCRI)(卡塔尔计算研究所(QCRI));HBKU(哈马德·本·哈利法大学)
针对静态基准的缺陷,提出动态框架SSP-Bench,通过多目标优化生成评估实例,在24个模型上揭示静态评估的系统性失败,推动部署相关评估。
2026-09-29 cs.CR cs.LG cs.SE
Towards Model Co-evolution Across Self-Adaptation Steps for Combined Safety and Security Analysis
Ulm University(乌尔姆大学);University of Innsbruck(因斯布鲁克大学)
本文针对自适应系统在适应过程中暴露漏洞的问题,提出一种多模型建模方法,将系统、适应过程、安全危害与安全攻击统一组合为攻击-故障树,并通过模型转换实现协同演化,以支持组合安全与安全分析。
2023-09-18 cs.CR cs.FL cs.RO
A Survey on the Safety and Security Threats of Computer-Using Agents: JARVIS or Ultron?
Carnegie Mellon University(卡内基梅隆大学);The Chinese University of Hong Kong(香港中文大学);KAUST(卡塔尔科技大学);Johns Hopkins University(约翰霍普金斯大学);Nanyang Technological University(南洋理工大学);Renmin University of China(中国人民大学);The Hong Kong University of Science and Technology(香港科学大学)
本文综述了计算机使用代理的安全威胁,定义了安全分析适用的代理类型,分类了当前的安全威胁,提出了防御策略的分类,并总结了评估代理安全性和性能的基准、数据集和评估指标。
2026-04-29 cs.AI cs.CL cs.CR
Inference-Time Safety For Code LLMs Via Retrieval-Augmented Revision
Carnegie Mellon University(卡内基梅隆大学)
通过检索增强的修订机制提升代码LLM的推理时安全性,提高生成代码的安全性并减少漏洞。
2026-03-02 cs.AI cs.CR cs.LG
From Hazard Identification to Controller Design: Proactive and LLM-Supported Safety Engineering for ML-Powered Systems
Carnegie Mellon University(卡内基梅隆大学)
本文提倡将危险分析整合到ML驱动软件产品开发中,提出利用大语言模型在人类监督下部分自动化修改后的STPA过程,以解决传统方法对专家依赖强、耗时费力难以集成到实际工作流的问题。
2025-02-11 cs.AI cs.LG cs.SE
Engineering a Digital Twin for the Monitoring and Control of Beer Fermentation Sampling
针对啤酒发酵取样监测与控制,本文报告构建安全关键型数字孪生的经验,通过三阶段方法实现交互式2型孪生,减少91%手动取样时间,提供安全协议、软硬件集成等细节及可操作指导。
2025-08-25 cs.SE cs.SY eess.SY