Managing Security Evidence in Safety-Critical Organizations
本文通过六家公司的定性访谈研究,发现安全关键型组织在安全证据管理的成熟度上不足以满足认证要求,主要原因是教育差距和流程缺失,同时探讨了AI对证据管理的影响。
2024-04-26 cs.CR cs.SE
SaSeVAL: A Safety/Security-Aware Approach for Validation of Safety-Critical Systems
公路车辆通信和自动驾驶能力的提高导致了攻击者施加的威胁。特别是,必须查明导致违反安全规定的袭击,以便采取适当措施加以解决。攻击的影响取决于所利用的威胁、潜在的对策和流量状况。为了识别这种攻击并将其用于测试,我们提出了一种系统化的方法SaSeVAL,用于推导自动驾驶汽车的攻击。SaSeVAL基于威胁识别和安全性分析。考虑了汽车用例对攻击的影响。威胁识别考虑车辆的攻击界面,并根据威胁类型对威胁场景进行分类,然后将威胁场景映射到攻击类型。安全性分析根据被测系统的体系结构确定必须测试的必要要求。它确定了安全违规可能产生的安全影响,以及在哪些交通状况下预计会产生最大的影响。最后,威胁识别和安全性分析的结果被用来描述攻击。SaSeVAL的目标是实现车辆w.r.t.的安全验证。安全问题。它明确地将安全目标追溯到威胁和攻击。因此,安全测试的安全问题的覆盖范围得到了保证。车辆通信和自动驾驶的两个用例进行了调查,以证明该方法的适用性。
2021-06-25 cs.CR
A Survey of Analysis Methods for Security and Safety verification in IoT Systems
物联网(IoT)在过去几年中在所有生活学科中迅速发展。物联网为不同领域的用户提供自动化和智能控制,如家庭自动化、医疗保健系统、汽车等。鉴于连接的物联网设备数量巨大,这种增长导致其环境中相当大的物联网应用程序之间的大量自动交互,使物联网应用程序更智能,用户更愉快。但是,物联网应用程序的一些不可预见的交互和任何潜在的恶意行为都可能对其用户造成严重的不安全和不安全后果,主要是非专家,他们缺乏关于物联网自动化过程潜在影响的必要知识。在本文中,我们研究了物联网系统的安全性和安全验证问题。我们调查了利用程序分析来验证物联网应用程序的安全性和安全属性的技术。该研究提出了一套分类和分类属性,以提高我们对这一领域的研究景观的理解。此外,我们还讨论了调查工作中考虑的主要挑战以及可以采用的潜在解决方案,以确保物联网系统的安全性。
2022-03-03 cs.CR cs.SE
Don't Make Models Guess Security and Safety: Symbolic Guardrails for Domain-Specific AI Agents
Carnegie Mellon University(卡内基梅隆大学)
本文研究了符号护栏在提高AI智能体安全性和安全性方面的有效性,通过系统回顾80个最新基准测试,发现74%的政策要求可通过符号护栏实现,从而在不牺牲效用的情况下提升安全性和安全性。
2026-07-07 cs.AI cs.CR cs.SE
Model-based Joint Analysis of Safety and Security: Survey and Identification of Gaps
本文综述了14种安全性与保密性联合分析的模型形式化方法,通过统一案例建模与多维度比较,指出了当前在交互理解、建模构造、权衡指标及大型案例研究方面的研究差距。
2023-10-23 cs.CR
Robot hazards: from safety to security
Alias Robotics S.L.(Alias Robotics 有限公司)
机器人领域正在经历巨大的变化。机器人正在扩散,很快就会无处不在。传统的工业系统正在被协作机器人所取代,而越来越多的专业和消费机器人被引入人们的日常活动中。机器人越来越多地与IT的其他方面交织在一起,并设想获得更多的自主权,与人类进行物理交互。我们声称,继个人电脑(PC)和智能手机之后,机器人是下一次技术革命,但机器人安全性却被制造商忽视。本文件的目的是提醒需要处理不仅与安全,但与机器人安全从一开始即将到来的技术时代。我们在此提供了一份文件,回顾了机器人的危险,并分析了不面对这些问题的后果。我们强烈主张现在必须采取安全第一的做法。
2021-11-12 cs.CR cs.CY cs.RO
On the Security of IO-Link Wireless Communication in the Safety Domain
安全性是工业控制系统(ICS)环境及其底层通信基础设施的基本要求。特别是监控和数据采集(SCADA)系统中的最低通信级别-现场级别-通常缺乏安全措施。由于现场级别的新兴无线技术将最低的通信基础设施暴露给潜在的攻击者,因此必须考虑在空气间隙通信的流行概念之上采取额外的安全措施。因此,这项工作分析了安全方面的无线通信协议IO-LinkWireless(IOLW),这是常用的传感器和执行器现场级通信。IOLW安全层的可能架构最近已经提出[1]。在本文中,IOLW在其典型的环境中的整体攻击面进行了分析和攻击的前提条件进行了调查,以评估不同的安全措施的有效性。此外,增强的安全措施进行了评估的通信系统和结果进行了总结。此外,通信中的安全措施和功能安全原则的干扰进行了调查,这并不一定相互补充,但也可能有矛盾的要求。这项工作的目的是讨论和建议IOLW标准的增强与额外的安全考虑在未来的实现。
2022-09-05 cs.CR
Conflict Analysis and Resolution of Safety and Security Boundary Conditions for Industrial Control Systems
针对工业控制系统中安全与安保协同引发的冲突,提出STPA-SafeSec-CDCL方法,结合安全分析及SAT求解消解冲突,并在田纳西伊士曼模型上验证,提升系统可靠性与韧性。
2023-05-10 cs.CR
Security and Safety Aspects of AI in Industry Applications
Institute of Embedded Systems(嵌入式系统研究所);ZHAW School of Engineering(苏黎世应用科技大学工程学院)
在这篇相对非正式的讨论论文中,我们总结了机器学习中安全和安全领域的问题,这些问题将在未来五到十年内影响工业部门。近年来,使用神经网络分类的各种产品,最常用于视觉相关应用,但也用于预测性维护,已被研究并应用于实际应用中。然而,关于安全和安全相关领域的潜在问题的报告,例如对抗攻击,已经使早期采用者感到不安,并有可能阻碍该技术的更大规模采用。现实世界适用性的问题在于能够评估应用这些技术的风险。在这篇讨论论文中,我们描述了到达一个机器学习的神经网络分类器的过程,指出该工作流程中的安全和安全漏洞,并在适当的情况下引用相关研究。
2022-07-16 cs.AI cs.CR
Modeling the Interdependent Coupling of Safety and Security for Connected and Automated Vehicles: A Copula-Based Integrated Risk Analysis Approach
本文提出基于Copula的综合风险分析方法,用于建模连接与自动化车辆中安全与安全的相互依赖耦合,通过动态故障模型量化两者耦合效应,并提供理论框架指导协同设计。
2025-12-13 cs.CR
Understanding, Implementing, and Supporting Security Assurance Cases in Safety-Critical Domains
针对安全关键领域安全保障案例(SAC)创建与管理的不足,提出CASCADE方法,结合ISO/SAE-21434和质量保证,通过资产驱动和机器学习分类,提升适用性与泛化性。
2025-01-08 cs.CR cs.SE
CyberLLMInstruct: A Pseudo-malicious Dataset Revealing Safety-performance Trade-offs in Cyber Security LLM Fine-tuning
University of Kent(肯特大学)
本文提出包含54,928对伪恶意指令-响应的CyberLLMInstruct数据集,涵盖多种网络安全任务,通过对七个开源LLMs的评估揭示了微调提升任务性能但严重削弱安全弹性的权衡问题。
2025-09-17 cs.AI cs.CR
Quantitative analysis of attack-fault trees via Markov decision processes
针对现有攻击-故障树定量分析缺乏帕累托分析、计算成本高的问题,提出基于马尔可夫决策过程求解可靠性与攻击成本帕累托前沿的方法,更轻量高效,并经输油管道网攻案例验证。
2024-08-13 cs.CR
Security Landscape for Robotics
The University of Strathclyde(思克莱德大学)
在本文中,在机器人技术的安全性的当前状态被描述为需要审查。当我们考虑在互联网连接的机器人中实现的安全机制时,安全需求成为一个至关重要的安全需求。回顾机器人领域的安全现状,有四个关键要求需要解决:校准供应链、命令的完整性和真实性(即远程操作)、物理平面安全以及安全、受控的日志记录和审计。
2019-04-05 cs.CR cs.RO
HarmChip: Evaluating Hardware Security Centric LLM Safety via Jailbreak Benchmarking
NYU Tandon School of Engineering, USA(纽约大学坦登工程学院);NYU Abu Dhabi, UAE(纽约大学阿布扎比分校);Kansas State University, USA(堪萨斯州立大学)
本文提出HarmChip基准测试,评估LLM在硬件安全领域的禁用脆弱性,涵盖16个领域、120种威胁和360个提示,揭示了先进LLM在安全查询与伪装攻击间的矛盾表现。
2026-04-18 cs.CR
SoK: Towards Security and Safety of Edge AI
TU Hamburg(汉堡工业大学);University of Hamburg(汉堡大学)
本文针对Edge AI(边缘人工智能)因去中心化特性带来的安全与安保挑战,梳理相关威胁与现有应对措施,提出二者融合对边缘AI至关重要,并列出待研究挑战以呼吁更多相关研究。
2024-10-07 cs.AI cs.CR
On AI Safety and Security Technical Debt in Engineering AI-Enabled Systems
University of Birmingham(伯明翰大学);HBKU(哈马德·本·哈利法大学);Bournemouth University(伯恩茅斯大学);Brunel University London(伦敦布鲁内尔大学);University of Hawaii(夏威夷大学);College of Science and Engineering, HBKU(哈马德·本·哈利法大学科学与工程学院)
研究人工智能系统工程中的安全与保障技术债务,通过系统综述识别31种AITD并分类,分析其与信任问题的关联,合成34条指南,引入AITD - MAP框架,助工程师应对AITDs。
2026-07-28 cs.AI cs.CR cs.SE
A Safety and Security Framework for Real-World Agentic Systems
NVIDIA;Lakera AI
本文提出了一种动态框架,通过用户安全视角识别新型代理风险,并通过红队行动和案例研究验证其在企业级代理系统中的安全性和安全性。
2025-11-27 cs.AI cs.CR cs.LG
Achieving the Safety and Security of the End-to-End AV Pipeline
University of Michigan(密歇根大学);Clemson University(克莱姆森大学)
本文综述自动驾驶汽车安全与安保研究,梳理感知攻击、防御、车辆控制等割裂问题,并按关键主题提出未来研究方向。
2024-09-05 cs.CR cs.RO
Converging Safety and Security: IO-Link Wireless and OPC UA over 5G under prEN 50742
Helmut-Schmidt-University(赫尔穆特·施密特大学);Jungheinrich AG(永恒力股份公司)
研究工业自动化中无线通信技术集成带来安全威胁下,基于prEN 50742标准,对从IO-Link无线安全设备到PLC的控制链进行安全融合实证评估,测量不同网络的延迟等,揭示相关问题并表明专用5G能保持功能安全看门狗余量。
2026-07-20 cs.CR cs.SY eess.SY
AI Safety vs. AI Security: Demystifying the Distinction and Boundaries
The Ohio State University(俄亥俄州立大学)
本文旨在厘清AI安全与AI安保的概念区别与研究边界,通过严格定义、类比分析及相互依存性探讨,为研究、合作、政策及可信AI部署提供指导。
2025-06-21 cs.AI cs.CR cs.CY
A Comprehensive and Cross-Platform Test Suite for Memory Safety -- Towards an Open Framework for Testing Processor Hardware Supported Security Extensions
内存安全在现实中仍然是一个关键的和广泛侵犯的财产。许多防御技术已经被提出和开发,但由于其巨大的运行成本,其中大多数在生产就绪环境中默认不被应用或启用。这种情况可能在不久的将来发生变化,因为硬件支持的防御这些攻击终于开始被商业处理器,操作系统和编译器采用。然后,我们面临一个问题,因为目前没有合适的测试套件来衡量不同处理器上支持的内存安全扩展。事实上,这个问题不仅仅局限于内存安全,而是处理器安全的各个方面。现有的与处理器安全相关的测试套件都缺乏一些关键属性,如全面性、可扩展性和可移植性。作为第一步,我们提出了一个可扩展的测试框架,用于测量处理器的安全性和开源的内存安全测试套件,利用这个框架。该框架被故意设计为灵活的,因此它可以逐步扩展到处理器中所有类型的硬件支持的安全扩展。内存安全的初始测试套件目前包含160个测试用例,涵盖内存的空间和时间安全、内存访问控制、指针完整性和控制流完整性。每种类型的漏洞及其相关的防御都已通过一个或多个测试用例进行了单独评估。该测试套件已移植到三个不同的指令集架构(ISA),并在六个不同的平台上进行了实验。我们还利用测试套件来探索在最新的GNU GCC和LLVM编译器上应用不同的编译器标志集的安全性好处。
2021-11-28 cs.AR cs.CR
Safety Layers in Aligned Large Language Models: The Key to LLM Security
University of Science and Technology of China(中国科学技术大学);Institute of Artificial Intelligence, Hefei Comprehensive National Science Center(合肥综合性国家科学中心人工智能研究院)
本文在参数层面揭示了对齐大语言模型的安全机制,识别出关键的安全层,并提出安全部分参数微调方法SPPFT,在微调时固定安全层梯度,以在保持性能的同时显著保留安全性并降低计算资源消耗。
2025-04-07 cs.AI cs.CR
SPQR: A Multi-Dimensional Benchmark for Safety Alignment under Benign Model Adaptation
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);University of Waterloo(滑铁卢大学);Michigan State University(密歇根州立大学)
研究文本到图像扩散模型安全对齐在良性微调下的稳定性,引入SPQR基准测试,通过单评分指标提供统一框架,经多方面分析确定安全对齐失败情况,为T2I安全对齐技术提供简洁全面的基准。
2026-07-14 cs.AI cs.CR cs.CV
Self-Adaptation and Secure Information Flow in Multiparty Structured Communications: A Unified Perspective
我们提出了一个全面的结构化通信模型,其中自适应和安全问题共同解决的初步结果。更具体地说,我们提出了一个模型的自适应,多方通信的安全信息流的保证。在此模型中,当进程试图在定向交换中读取或写入不适当的安全级别的消息时,就会发生安全违规。这样的违反触发适配机制,该适配机制防止违反发生和/或在编排中传播它们的影响。我们的模型配备了本地和全局机制,用于对安全违规行为做出反应;类型可靠性结果确保全局协议仍然正确执行,同时系统自适应以保持安全性。
2014-08-26 cs.CR cs.LO cs.PL
Blockchain for Large Language Model Security and Safety: A Holistic Survey
Lehigh University(利哈伊大学);University of Idaho(爱达荷大学);Boise State University(博伊西州立大学)
本综述全面评估了如何利用区块链技术增强大型语言模型的安全与保障,提出了BC4LLMs分类法系统梳理相关工作,并明确了该交叉领域的潜在研究方向与挑战。
2024-11-17 cs.AI cs.CR cs.DC
Detecting Safety and Security Faults in PLC Systems with Data Provenance
可编程逻辑控制器是用于管理许多不同工业过程(例如,智能建筑管理、发电、水和废水管理以及交通控制系统),以及制造和控制行业(例如,石油和天然气、化工、制药、纸浆和造纸、食品和饮料、汽车和航空航天)。尽管在许多关键基础设施中被广泛使用,但是PLC使用的协议使得这些控制系统容易受到许多常见攻击,包括中间人攻击、拒绝服务攻击和存储器损坏攻击(例如,数组、堆栈和堆溢出、整数溢出和指针损坏)。在本文中,我们提出了PLC-PROV,跟踪控制系统的输入和输出,以检测违反系统的安全和安全政策的系统。我们认为一个智能建筑作为一个基于PLC的系统的例子,并显示如何PLC-PROV可以应用,以确保输入和输出是符合预期的安全和安保政策。
2019-11-14 cs.CR
Impact of Vehicular Communications Security on Transportation Safety
交通安全是车辆通信(VC)系统发展的主要驱动力之一,依赖于高速率的安全消息(信标)。与此同时,当局、工业界和学术界对保护风险投资系统的必要性达成了共识。在文献中的具体建议,一个关键的问题,必须回答:安全VC系统是切实可行的,并满足安全应用程序的要求,尽管显着的通信和处理开销和其他限制的安全和隐私增强机制强加?为了回答这个问题,我们在本文中调查了以下三个方面的安全和隐私增强VC计划:通信的可靠性,在每个节点的处理开销,以及对安全应用程序的影响。结果表明,适当的系统设计,包括足够高的处理能力,安全VC启用的应用程序可以在实践中有效的不安全VC启用。
2008-08-19 cs.CR cs.NI
Safety, Security, and Privacy Threats Posed by Accelerating Trends in the Internet of Things
物联网(IoT)已经在改变工业、城市和家庭。所有行业的这种转变的经济价值估计为数万亿美元,对能源效率,健康和生产力的社会影响是巨大的。除了互联智能设备的潜在好处外,在将传感和智能嵌入到每个设备中时,滥用的风险和可能性也会增加。物联网设备数量不断增加的核心问题之一是安全操作它们所需的复杂性增加。这种日益增加的复杂性带来了新的安全性、保密性、隐私性和可用性挑战,远远超出了个人仅保护单个设备所面临的困难挑战。我们强调了智能设备和设备集合导致的一些负面趋势,我们认为与安全性,物理安全性,隐私和可用性相关的问题是紧密相连的,需要同时解决所有四个问题的解决方案。需要在现有技术的基础上为单个设备制定严格的安全和安保标准。同样,确定个人自信地管理设备集合的最佳方式的研究必须指导此类系统的未来部署。
2020-07-31 cs.CR cs.CY
Bridging Safety and Security in Complex Systems: A Model-Based Approach with SAFT-GT Toolchain
Universität Liechtenstein(列支敦士登大学);Chalmers University of Technology and University of Gothenburg(查尔姆斯理工大学和哥德堡大学);Ulm University(乌尔姆大学);University of Innsbruck(因斯布鲁克大学);German Aerospace Center (DLR)(德国航空航天中心);University of Cologne(科隆大学)
本文提出基于模型的SAFT-GT工具链,用于解决复杂系统中安全与安全性的挑战,通过攻击-故障树生成和模型组合方法,提升系统安全性和可靠性,通过用户研究验证其有效性。
2026-04-06 cs.CR cs.SE
Restart-Based Security Mechanisms for Safety-Critical Embedded Systems
许多由嵌入式系统控制的物理工厂都有安全要求,需要始终遵守-任何与预期行为的偏差都可能导致系统(通常是物理工厂),环境损坏,甚至危及人类生命。近年来,针对此类系统的恶意攻击有所增加,其中许多攻击的目的是造成物理损害。在本文中,我们的目标是解耦的安全性的植物从嵌入式系统的安全性,利用这种系统的固有惯性。在本文中,我们提出了一个系统范围内的重启为基础的框架,结合硬件和软件组件(a)保持系统的安全区域内,(b)阻止潜在的攻击者不稳定的系统。我们证明了我们的方法的可行性,使用两个现实的系统-一个实际的3自由度(3-DoF)的直升机和模拟仓库温度控制单元。我们的概念验证的实施进行了测试,对这些系统的控制单元上的多个模拟攻击。
2017-05-03 cs.CR
aiXamine: Simplified LLM Safety and Security
Qatar Computing Research Institute(卡塔尔计算研究所);Hamad Bin Khalifa University(哈马德·本·哈利法大学)
aiXamine是一个黑盒评估平台,整合40多项测试和八项服务,全面评估LLM安全与安保,发现领先模型存在对抗攻击、偏见和隐私漏洞,并揭示开源模型在特定维度可匹敌专有模型。
2025-04-23 cs.AI cs.CR
Safety and Security Analysis of Large Language Models: Benchmarking Risk Profile and Harm Potential
Tennessee Tech University(田纳西科技大学);University of Nebraska at Omaha(奥马哈内布拉斯加大学)
本研究对九种主流大型语言模型在24个安全类别上进行对抗性提示测试,提出风险严重性指数(RSI)量化风险,发现安全过滤器普遍存在漏洞,亟需加强对齐与治理。
2025-09-26 cs.CR cs.CY
Safety and Security Risk Mitigation in Satellite Missions via Attack-Fault-Defense Trees
本文针对卫星项目地面段,应用Attack-Fault-Defense Tree (AFDT)框架将攻击树、故障树与防御机制集成于统一模型,通过定性分析识别系统弱点,提升复杂网络物理环境的安全与安保弹性。
2025-04-01 cs.CR cs.GT
SSP-Bench: A Hybrid Data Generation Framework for Safety, Security, and Privacy Evaluation
Qatar Computing Research Institute (QCRI)(卡塔尔计算研究所(QCRI));HBKU(哈马德·本·哈利法大学)
针对静态基准的缺陷,提出动态框架SSP-Bench,通过多目标优化生成评估实例,在24个模型上揭示静态评估的系统性失败,推动部署相关评估。
2026-09-29 cs.CR cs.LG cs.SE
Towards a Uniform Framework for Dynamic Analysis of Access Control Models
越来越多地通过强制性访问控制系统来执行安全关键系统要求。这些系统由安全策略控制,高度敏感的系统组件,强调了正式验证的安全属性对策略正确性的至关重要性。对于安全属性类,解决潜在的动态权限增殖,已经存在许多已知的和经过测试的形式化分析方法和工具。不幸的是,这些方法需要针对来自广泛的不同应用程序域的每个特定策略从头开始重新设计。在本文中,我们试图减轻这个问题,提出了一个统一的形式化框架,量身定制的安全分析算法,为特定的应用领域。我们提出了一个实用的工作流程,基于模型的知识,这是能够产生一个有意义的正式的安全定义,以及一个算法来分析,安全。我们的方法是基于SELinux操作系统的安全策略。关键词:安全工程,安全策略,访问控制系统,访问控制模型,安全,启发式分析,SELinux。
2017-06-12 cs.CR
Adaptive Safety for Internet of Things in e-Health
无线普适计算设备正在迅速渗透到我们的环境中,其中电子健康是最关键的。在电子保健环境中,不仅要解决安全和隐私问题(这通常是重点),而且要满足适当治疗的安全需求。随着缺乏计算能力的普适(智能灰尘)设备的比例增加,在这样的环境中提供安全性、隐私性和安全性是一项苛刻的任务,更不用说关于其自适应提供的附加要求。然而,大约二十年前,在计算领域出现了一个有趣的研究分支,称为信任管理。该分支被认为是支持传统硬安全和隐私方法的非常方便的替代方案。因此,它通常被称为软安全(隐私)提供机制。由于信任具有内在的自适应性,并且安全性和安全性密切相关,本文提出了一种新方法,其中在电子健康环境中部署信任管理,以实现自适应安全配置。本文还介绍了一个可信度计算框架,扩展了信任管理方法与物联网(IoT)中的计算信任的比较分析。
2022-03-10 cs.CR cs.DC
Enforcing MAVLink Safety & Security Properties Via Refined Multiparty Session Types
本文提出用精化多方会话类型描述并强制合法的消息交互序列,以防范 MAVLink 无人机协议中表面合法却可导致系统进入不安全状态的隐蔽攻击。
2025-03-14 cs.CR cs.PL
From nuclear safety to LLM security: Applying non-probabilistic risk management strategies to build safe and secure LLM-powered systems
Amazon Web Services(亚马逊云服务);Loyola University of Chicago(芝加哥洛约拉大学);University of Wisconsin at Madison(威斯康星大学麦迪逊分校)
该研究将核工程等领域的非概率风险管理策略(100多种)应用于LLM驱动系统,以应对自适应对手等新兴风险,提出五类策略映射和LLM辅助工作流程,增强AI安全与可靠性。
2025-05-20 cs.AI cs.CR
AI Risk Management Should Incorporate Both Safety and Security
Princeton University(普林斯顿大学);Virginia Tech(弗吉尼亚理工大学);ETH Zurich(苏黎世联邦理工学院);ELLIS Institute Tübingen(图宾根ELLIS研究所);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所);Stanford University(斯坦福大学);JPMorgan AI Research(摩根大通AI研究院);Sony AI(索尼AI研究院);University of Washington(华盛顿大学);IBM Research(IBM研究院);George Washington University(乔治·华盛顿大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Pennsylvania(宾夕法尼亚大学);University of Wisconsin, Madison(威斯康星大学麦迪逊分校);NVIDIA(英伟达公司);University of Chicago(芝加哥大学);UC Berkeley(加州大学伯克利分校)
本文提出AI风险管理应结合安全性与安全性,并引入统一参考框架阐明二者差异与相互作用,以促进跨社区的理解与合作。
2024-05-29 cs.AI cs.CR
SafeML: Safety Monitoring of Machine Learning Classifiers through Statistical Difference Measure
University of Hull(赫尔大学);Fraunhofer Institute for Experimental Software Engineering, IESE(弗劳恩霍夫实验软件工程研究所(IESE));Fraunhofer-Gesellschaft(弗劳恩霍夫协会);APD Communications(APD通信公司);Nuremberg Tech(纽伦堡应用技术大学)
确保机器学习(ML)的安全性和可解释性是一个越来越相关的主题,因为数据驱动的应用程序冒险进入安全关键的应用领域,传统上致力于高安全标准,不满足于其他不可访问的黑盒系统的独家测试方法。特别是安全与安保之间的相互作用是一个核心挑战,因为违反安全规定可能导致安全受到损害。本文对在ML系统运行期间适用的单一保护概念中解决安全性和安全性的贡献是基于经验累积分布函数(ECDF)的距离测量对数据驱动系统的行为和操作上下文进行主动监控。我们研究了抽象数据集(XOR,Spiral,Circle)和当前用于模拟网络流量的入侵检测的特定安全数据集(CICIDS 2017),使用分布式移位检测措施,包括Kolmogorov-Smirnov,Kuiper,Anderson-Darling,Wasserstein和混合Wasserstein-Anderson-Darling措施。我们的初步研究结果表明,该方法可以提供一个基础,检测是否ML组件的应用程序上下文是有效的安全性。我们的初步代码和结果可以在https://github.com/ISorokos/SafeML上找到。
2020-05-27 cs.CR cs.LG stat.ML
The adaptation of Shamir's protocol for increasing the security of a mobile environment
本文的目的是提供一个解决方案,增加了个人和企业中的工人的移动环境的安全性。所提出的解决方案适应沙米尔的方法,用于共享加密密钥管理的秘密。密钥的一部分存储在蓝牙(或NFC)腕带或企业服务器上,而移动终端用于存储所有其余部分。该方法可以应用于保护文档和语音数据。该解决方案是由一个数学形式的支持,这是在目前已知的建议在加密民俗。
2016-09-22 cs.CR
A Survey on the Safety and Security Threats of Computer-Using Agents: JARVIS or Ultron?
Carnegie Mellon University(卡内基梅隆大学);The Chinese University of Hong Kong(香港中文大学);KAUST(卡塔尔科技大学);Johns Hopkins University(约翰霍普金斯大学);Nanyang Technological University(南洋理工大学);Renmin University of China(中国人民大学);The Hong Kong University of Science and Technology(香港科学大学)
本文综述了计算机使用代理的安全威胁,定义了安全分析适用的代理类型,分类了当前的安全威胁,提出了防御策略的分类,并总结了评估代理安全性和性能的基准、数据集和评估指标。
2026-04-29 cs.AI cs.CL cs.CR
Towards Safety and Security Testing of Cyberphysical Power Systems by Shape Validation
本文提出基于语义网本体、SPARQL 规则和 SHACL 形状约束的声明式方法,以建模网络物理电力系统并自动验证其安全与安保控制。
2025-06-14 cs.CR
Analysing Safety Risks in LLMs Fine-Tuned with Pseudo-Malicious Cyber Security Data
University of Kent(肯特大学)
本文分析了使用伪恶意网络安全数据微调 LLMs 带来的安全风险,通过 garak 红队框架验证了微调会降低模型安全韧性,并提出一种包含安全预防措施和伦理考量的指令-响应对改写方法,在保持技术效用的同时维持或提升模型安全性。
2025-09-17 cs.AI cs.CR
HelpBench: Assessing the Ability of LLMs to Provide Privacy, Safety, and Security Advice
University College London(伦敦大学学院);Google(谷歌)
提出HelpBench基准,通过450个真实用户问题评估18个LLM的隐私、安全建议准确性,发现平均得分82%但10%回答低于65%存在有害建议。
2026-06-24 cs.CR
Period Adaptation for Continuous Security Monitoring in Multicore Real-Time Systems
我们提出了一个设计时框架(名为HYDRA-C)的安全任务集成到分区的实时的【形】系统(RTS)运行在多核平台上。我们的目标是以“持续”的方式适时地执行安全监控机制--即,尽可能频繁地跨核运行,以确保安全任务在尽可能少的中断情况下运行。我们的框架将允许设计人员集成安全机制,而不扰乱现有的实时的【形】(RT)任务属性或执行顺序。我们展示了框架使用的概念验证实现与入侵检测机制作为安全任务。我们开发和使用两个,(a)一个自定义的入侵检测系统(IDS),以及(b)Tripwire -一个开放的源数据完整性检查工具。这些都是在一个现实的漫游者平台上实现的,该平台使用ARM多核芯片设计。我们将HYDRA-C的性能与基于多核RTS的最先进的RT安全集成方法进行了比较,发现我们的方法平均可以在不影响RT任务性能的情况下更快地检测到19.05%的入侵。
2020-03-14 cs.CR cs.OS
Security-First AI: Foundations for Robust and Trustworthy Systems
EECS University of California at Berkeley(加州大学伯克利分校电子工程与计算机科学系)
本文提出AI安全应作为基础层优先考虑,区分安全与保障,并主张通过指标驱动的方法构建稳健可信的AI系统。
2025-04-17 cs.AI cs.CR
healthAIChain: Improving security and safety using Blockchain Technology applications in AI-based healthcare systems
Emporia State University(恩波利亚州立大学);Lindenwood University(林登伍德大学);SASTRA Deemed University(SASTRA 德emed大学)
针对基于 AI 的医疗系统中患者数据面临的安全威胁,本文分析区块链与 AI 融合的关键问题,并提出 healthAIChain 模型以提升数据保护、性能效率与系统安全。
2023-11-01 cs.AI cs.CR
Inference-Time Safety For Code LLMs Via Retrieval-Augmented Revision
Carnegie Mellon University(卡内基梅隆大学)
通过检索增强的修订机制提升代码LLM的推理时安全性,提高生成代码的安全性并减少漏洞。
2026-03-02 cs.AI cs.CR cs.LG
Safety vs. Security: Attacking Avionic Systems with Humans in the Loop
飞机上的许多无线通信系统缺乏标准的安全机制,使它们从根本上容易受到攻击。随着经济实惠的软件定义无线电的出现,一种新的威胁已经出现,允许广泛的攻击者轻松干扰无线航空电子系统。虽然这些漏洞是已知的,但利用它们的具体攻击仍然是新颖的,尚未得到很好的理解。这一点在它们对被攻击飞机的操纵及其安全性的动力学影响方面尤其如此。为了调查这一点,我们邀请了30名空客A320型号的飞行员来飞行模拟器场景,在这些场景中,他们的航空电子设备受到攻击。我们实现和分析三个安全相关的系统:交通防撞系统(TCAS),地面接近警告系统(GPWS)和仪表着陆系统(ILS)的新型无线攻击。我们发现,所有三个分析的攻击场景产生了显着的控制影响和中断的成本,通过周转,回避机动,和改道。它们进一步增加了工作量,对受影响系统的不信任,并且在38%的情况下导致受攻击的安全系统完全关闭。所有的飞行员都认为这些场景是有用的,93.3%的人认为无线攻击的模拟器培训可能是有价值的。
2019-05-20 cs.CR
From AI-Generated Content to Agentic Action: Security and Safety Threats in Generative AI
Queen’s University(女王大学);University of Waterloo(滑铁卢大学)
研究探讨生成式AI从内容生成转向执行操作带来的安全与安全威胁,分析攻击者需求、系统自主性及潜在危害的变化,并评估检测、水印、对齐等技术对策,指出当前治理机制无法提供必要的协调。
2026-05-15 cs.CR
Ablating Safety: Mechanisms for Removing Alignment in Language Models for Security Applications
University College London(伦敦大学学院)
该研究探讨了通过受控转换评估协议去除语言模型对齐机制的方法,评估了安全任务中的拒绝率、尝试率、安全成功率、一般能力保留、不稳定性及超出范围的不安全合规性,证明了去除对齐作为效用-风险前沿的重要性,而非单纯的去审查配方。
2026-05-17 cs.AI cs.CR
Towards an IT Security Risk Assessment Framework for Railway Automation
最近的一些事件表明,铁路自动化中IT系统的脆弱性可能被低估了。幸运的是,到目前为止,几乎只有拒绝服务攻击成功,但由于一些趋势,如使用商业信息技术和通信系统或私有化,威胁潜力可能在不久的将来增加。然而,到目前为止,没有统一的IT安全风险评估框架的铁路自动化存在。本文定义了一个IT安全风险评估框架,旨在尽可能将IT安全和安全要求以及认证过程分开。它建立在IEC 62425的众所周知的安全和批准流程的基础上,并集成了基于ISA 99/IEC 62443标准系列的IT安全要求。虽然详细结果与铁路自动化有关,但一般概念也适用于其他安全关键应用领域。
2017-04-04 cs.CR