Assured Learning-enabled Autonomy: A Metacognitive Reinforcement Learning Framework
Michigan State University(密歇根州立大学);Ford Research and Innovation Center, Ford Motor Company(福特汽车公司研究与创新中心)
具有预先指定的奖励函数的强化学习(RL)代理不能在不确定系统可能遇到的各种情况下提供有保证的安全性。为了保证性能,同时确保满足各种情况下的安全约束,本文提出了一个有保证的自主控制框架,通过授权RL算法与元认知学习能力。更具体地说,自适应的RL代理的奖励函数参数进行元认知决策层,以确保RL代理的可行性。也就是说,确保RL代理学习的策略满足信号时序逻辑指定的安全约束,同时实现尽可能多的性能。元认知层监控RL代理的行为下任何可能的未来安全违规,并采用高层贝叶斯RL算法主动适应较低层RL代理的奖励函数。为了最小化高层贝叶斯RL干预,元认知层利用适应度函数作为度量来评估低层RL代理在满足安全性和活性规范方面的成功,并且仅当存在低层RL失败的风险时,高层贝叶斯RL才进行干预。最后通过仿真实例验证了该方法的有效性。
2021-04-17 cs.AI cs.LG cs.SY
From Prompts to Protection: Large Language Model-Enabled In-Context Learning for Smart Public Safety UAV
Real-Time and Embedded Computing Systems Research Centre (CISTER)(实时嵌入式计算系统研究中心);Carnegie Mellon University(卡内基梅隆大学);Pontificia Universidad Católica de Chile(天主教大学);School of Computer Science, McGill University(麦吉尔大学计算机科学学院);Instituto de Telecomunicações, Faculdade de Engenharia, Universidade do Porto(电信研究所,工程学院,葡萄牙里斯本大学);University of Houston(休斯顿大学)
本文提出利用大语言模型的上下文学习提升公共安全无人机的自主决策能力,通过自然语言提示和示例指导实现路径规划和速度控制,减少数据丢失并缓解安全漏洞。
2026-02-17 cs.AI
ToolAlignBench: Investigating Alignment Conflicts in Tool-Calling Enabled LLMs
School of Computing \& AI, Arizona State University, Tempe, AZ, USA
研究受监管行业中工具调用大语言模型智能体的安全对齐冲突,构建含128个场景的基准测试,发现安全对齐开源模型有时会违背部署指令,擦除可降低举报率,揭示多元对齐矛盾,发布基准测试框架。
2026-07-17 cs.AI cs.SE
Certifying Safety in Reinforcement Learning under Adversarial Perturbation Attacks
Washington University in Saint Louis(圣路易斯华盛顿大学)
函数逼近使得强化学习(RL)技术在具有高维输入(如图像)的环境中以端到端的方式应用取得了显着进展,将这些输入直接映射到低级控制。尽管如此,这些已经被证明容易受到小的对抗性输入扰动的影响。因此,出现了许多用于提高或证明端到端RL对对抗性扰动的鲁棒性的方法,重点是累积奖励。然而,在对抗性场景中,最关键的往往是违反基本属性,如安全性,而不是将安全性与效率相结合的整体回报。此外,诸如安全性之类的属性只能相对于真实状态来定义,而不是端到端策略的高维原始输入。为了解开名义效率和对抗安全性,我们在确定性部分可观察马尔可夫决策过程(POMDPs)中使用RL,目标是在安全约束下最大化累积奖励。然后,我们提出了一个部分监督的强化学习(PSRL)框架,该框架利用了一个额外的假设,即POMDP的真实状态在训练时已知。我们提出了在对抗性输入扰动下验证PSRL策略安全性的第一种方法,以及直接使用PSRL的两种对抗性训练方法。我们的实验证明了所提出的方法在对抗环境中认证安全性的有效性,以及PSRL框架与对抗训练相结合在提高认证安全性同时保持高名义奖励和高质量真实状态预测方面的价值。
2022-12-28 cs.AI cs.LG
Visual Compliance via Executable Safety Rule Entailment
Sungkyunkwan University(成均馆大学)
提出GuardEn可执行防护框架,通过安全规则编译和场景接地执行实现复杂视觉安全规则的可解释推理,在SafetyVisionBench上平均提升9.8个F1点。
2026-09-17 cs.AI
RUBAS: Rubric-Based Reinforcement Learning for Agent Safety
The Conversational AI (CoAI) group, DCST, Tsinghua University(清华大学对话人工智能(CoAI)组,DCST,清华大学);Huawei Noah’s Ark Lab(华为诺亚实验室)
提出RUBAS框架,通过将智能体行为分解为四个维度的评分标准提供细粒度奖励,利用强化学习在保证任务完成的同时提升工具使用安全性。
2026-06-02 cs.AI cs.CR cs.LG
Reinforcement Learning-Enabled Decision-Making Strategies for a Vehicle-Cyber-Physical-System in Connected Environment
University of Waterloo(滑铁卢大学);Chongqing University(重庆大学)
互联自动车作为一种典型的车辆信息物理系统(V-CPS),近年来受到越来越多的关注。本文重点讨论了互联环境下自主车辆的决策策略。首先,制定了公路DM问题,其中车辆可以通过无线网络交换信息。然后,两个经典的强化学习(RL)算法,Q-学习和Dyna,被用来推导DM策略在一个预定义的驾驶场景。最后,分析了所提出的DM策略在安全性和效率方面的控制性能。此外,RL算法的内在差异体现在DM策略和讨论。
2020-07-16 cs.AI cs.LG cs.RO
Empowering Autonomous Driving with Large Language Models: A Safety Perspective
Northwestern University(西北大学);University of Southampton(南安普顿大学);Yale University(耶鲁大学)
本文针对自动驾驶在长尾场景中的安全与泛化难题,提出将LLMs作为行为规划智能决策器并结合安全验证器护盾,通过自适应MPC和交互式行为规划方案,显著提升了驾驶性能与安全性。
2024-03-22 cs.AI cs.LG cs.SY
Many-Objective Reinforcement Learning for Online Testing of DNN-Enabled Systems
University of Luxembourg(卢森堡大学);University of Sheffield(谢菲尔德大学);University of Ottawa(渥太华大学)
深度神经网络(DNN)已被广泛用于在诸如自动驾驶系统(ADS)的网络物理系统中执行现实世界的任务。确保这种DNN启用系统(DES)的正确行为是一个至关重要的话题。在线测试是一种很有前途的模式,用于在考虑到系统与其环境之间的连续交互的闭环中测试具有其应用环境(模拟或真实)的此类系统。然而,环境变量(例如,照明条件)在系统在真实世界中的操作期间可能改变,导致DES违反要求(安全性、功能性),由于两个主要挑战,在在线测试场景的执行期间经常保持恒定:(1)如果它们改变,则要探索的所有可能场景的空间将变得甚至更大,以及(2)通常存在要同时测试的许多要求。在本文中,我们提出了MORLOT(多目标强化学习在线测试),一种新的在线测试方法,以解决这些挑战相结合的强化学习(RL)和多目标搜索。MORLOT利用RL来逐步生成环境变化的序列,同时依靠多目标搜索来确定变化,以便它们更有可能实现任何未覆盖的目标。我们使用CARLA对MORLOT进行了经验评估,CARLA是一种广泛用于自动驾驶研究的高保真模拟器,与Transfuser集成,Transfuser是一种支持DNN的端到端驾驶ADS。评价结果表明,MORLOT是显着更有效和效率比替代品具有较大的效果大小。换句话说,MORLOT是一个很好的选择,可以在动态变化的环境中测试DES,同时考虑多种安全要求。
2022-12-22 cs.LG cs.SE
LLM-Enabled UAV Dispatch: A System-Level Survey and Taxonomy
Zhejiang University of Technology(浙江工业大学)
本综述系统梳理LLM赋能的无人机调度,提出跨层语义编排视角,归纳四种调度范式,分析LLM角色与挑战,为安全关键系统集成提供分类法与设计指南。
2026-10-08 cs.AI cs.SY eess.SY
BeSafe-Bench: Unveiling Behavioral Safety Risks of Situated Agents in Functional Environments
Southern University of Science and Technology(南方科技大学);Huawei RAMS Lab(华为RAMS实验室)
本文提出BeSafe-Bench,通过构建功能环境和引入九类安全关键风险,评估代理在Web、Mobile、Embodied VLM和Embodied VLA等领域的行为安全风险,发现最佳性能代理在安全约束下完成任务的比例不足40%。
2026-01-30 cs.AI
Statistically Assuring Safety of Control Systems using Ensembles of Safety Filters and Conformal Prediction
Washington University in St. Louis(华盛顿大学圣路易斯分校)
本文提出利用安全过滤器和符合预测框架,通过集合方法提高控制系统的安全性,以解决学习到的值函数和策略的不确定性问题。
2025-11-20 cs.AI cs.LG cs.RO
AGrail: A Lifelong Agent Guardrail with Effective and Adaptive Safety Detection
The Ohio State University(俄亥俄州立大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校);University of California, Davis(加州大学戴维斯分校)
针对LLM自主智能体面临的任务特定风险与系统风险,提出具备自适应安全检查生成、优化及工具兼容性的终身智能体护栏AGrail,实验证明其能有效应对两类风险且跨任务可迁移。
2025-02-18 cs.AI
RL-STPA: Adapting System-Theoretic Hazard Analysis for Safety-Critical Reinforcement Learning
Michigan Technological University(密歇根技术大学);ARiA;DEVCOM
本文提出RL-STPA框架,通过分层子任务分解、覆盖引导扰动测试和迭代检查点,系统分析强化学习中的安全风险,提升安全关键应用的安全性和鲁棒性。
2026-04-16 cs.LG
Testing learning-enabled cyber-physical systems with Large-Language Models: A Formal Approach
Macquarie University(麦考瑞大学);University of Texas at Austin(德克萨斯大学奥斯汀分校);Yale University(耶鲁大学);University of Wisconsin Madison(威斯康星大学麦迪逊分校);University of Southern California(南加州大学);University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校);University of Pennsylvania(宾夕法尼亚大学)
针对学习赋能信息物理系统现有验证确认技术不足的问题,研究梳理了当前前沿测试方法,提出从概率性测试向可提供形式化安全保障的严谨方法过渡的路线图。
2024-05-16 cs.AI cs.DC cs.RO
Assuring the Safety of Reinforcement Learning Components: AMLAS-RL
Department of Computer Science, University of York(约克大学计算机科学系)
本文提出AMLAS-RL框架,通过迭代过程为强化学习系统生成安全保障论证,弥补Safe-RL在生命周期系统性保障上的不足,并用轮式车辆无碰撞导航示例进行演示。
2025-07-08 cs.AI cs.LG cs.RO
DURA-CPS: A Multi-Role Orchestrator for Dependability Assurance in LLM-Enabled Cyber-Physical Systems
Cyrion Labs(Cyrion实验室);Carnegie Mellon University(卡内基梅隆大学);Cornell University(康奈尔大学);University of California San Diego(加州大学圣地亚哥分校);University of Montana(蒙大拿大学);Oakland University(奥克兰大学);University of Pennsylvania(宾夕法尼亚大学)
针对传统验证与确认方法难以应对AI赋能信息物理系统动态不确定性的问题,本文提出DURA-CPS多角色编排框架,通过模拟环境中多智能体分工实现迭代可信性保障,经自动驾驶案例验证可有效检测漏洞、支持自适应恢复。
2025-06-13 cs.AI cs.ET cs.HC
Enhancing Vaccine Safety Surveillance: Extracting Vaccine Mentions from Emergency Department Triage Notes Using Fine-Tuned Large Language Models
Murdoch Children's Research Institute(默多克儿童研究所);Department of Health, State Government of Victoria(维多利亚州政府卫生部);The University of Melbourne(墨尔本大学)
本研究评估了微调 Llama 3.2 模型从急诊科分诊记录中提取疫苗信息以支持近实时疫苗安全监测,发现微调的 Llama 3 十亿参数模型在提取准确度上表现最优,且模型量化实现了资源受限环境下的高效部署。
2025-07-10 cs.AI cs.CL
Learning to be Safe: Deep RL with a Safety Critic
Stanford University(斯坦福大学);Carnegie Mellon University(卡内基梅隆大学);Georgia Tech(佐治亚理工学院);Robotics at Google(谷歌机器人学(注:此处按机构含义直译,“Robotics at Google”通常译为“谷歌机器人学”,但严格按要求仅翻译机构名称本身,不加入额外信息))
安全性是在现实世界场景中部署强化学习(RL)算法的重要组成部分,在学习过程中至关重要。实现安全强化学习的第一种自然方法是手动指定策略行为的约束。然而,正如学习使人工智能系统的大规模开发取得了进展一样,学习安全规范也可能是必要的,以确保在混乱的开放世界环境中的安全,在这种环境中,手动安全规范无法扩展。类似于人类如何在儿童安全的环境中开始渐进式学习,我们建议学习如何在一组任务和环境中保持安全,然后在学习新的修改后的任务时使用这种学习到的直觉来约束未来的行为。我们实证研究这种形式的安全约束迁移学习在三个具有挑战性的领域:模拟导航,四足动物运动,灵巧的手操作。与标准的深度强化学习技术和以前的安全强化学习方法相比,我们发现我们的方法能够在新的环境中学习新的任务,同时减少安全事件,例如跌倒或掉落物体,并且学习速度更快,更稳定。这不仅为更安全的RL系统提供了一条前进的道路,也为更有效的RL系统提供了一条前进的道路。
2020-10-27 cs.LG cs.RO
Towards Developing Safety Assurance Cases for Learning-Enabled Medical Cyber-Physical Systems
University of Virginia(弗吉尼亚大学)
本文为学习型医疗信息物理系统中的机器学习控制器开发安全保障案例,以人工胰腺系统为例,通过深度神经网络和形式化验证确保预测可靠性,并指出开放研究问题。
2022-12-19 cs.AI cs.LG cs.SY
LLM-enabled Applications Require System-Level Threat Monitoring
Department of Computer Science, National University of Singapore, Singapore(新加坡国立大学计算机科学系);School of Computing and Information Systems, Singapore Management University, Singapore(新加坡管理学院计算机与信息系统学院)
本文主张对依赖大语言模型的应用进行系统级威胁监控,以应对由此带来的安全挑战和确保可靠操作。
2026-02-23 cs.AI cs.CR cs.SE
Speech-Audio Compositional Attacks on Multimodal LLMs and Their Mitigation with SALMONN-Guard
Tsinghua University(清华大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);University of Cambridge(剑桥大学)
针对多模态LLMs的安全性,提出SACRED-Bench评估语音音频组合攻击,并通过SALMONN-Guard将攻击成功率降低至20%。
2026-02-10 cs.AI cs.SD
From Safety Documentation to Safety Knowledge Support: An Evidence-Grounded LLM Framework for Medical Devices
Fraunhofer IESE(弗劳恩霍夫IESE研究所);RPTU Kaiserslautern-Landau(凯撒斯劳滕-兰道莱茵-普法尔茨理工大学)
针对现有LLM在医疗器械安全工程中源链接等支持不足的问题,本文提出基于证据的LLM框架,用于安全知识支持,不做安全判定,还给出对应评估策略。
2026-08-13 cs.AI cs.SE
GPT-4 and Safety Case Generation: An Exploratory Analysis
York University(约克大学)
本文通过四项实验并结合X射线系统与车辆轮胎噪声识别ML组件的真实安全案例,探索GPT-4对GSN的理解及其生成安全案例的能力,发现其可生成较合理且语义接近参考案例的安全论证。
2023-12-09 cs.AI cs.SE
Scalable Synthesis of Verified Controllers in Deep Reinforcement Learning
Purdue University(普渡大学)
最近有显着的兴趣,设计验证技术的学习使能控制器(LEC),管理安全关键系统。考虑到管理此类控制器行为的神经策略的不透明性和缺乏可解释性,许多现有方法通过屏蔽来实施安全属性,屏蔽是一种动态监控和修复机制,可确保LEC不会发出违反所需安全条件的动作。然而,这些方法,已被证明有显着的可扩展性的限制,因为验证成本增长的问题维度和目标的复杂性增加。在本文中,我们提出了一种新的自动化验证管道,即使问题域涉及数百个维度,或者当所需的目标涉及随机扰动,活性考虑和其他复杂的非功能属性时,也能够合成高质量的安全控制器。我们的关键见解涉及将安全验证与神经控制器训练分离,并使用预先计算的验证安全防护来约束训练过程。一系列高维基准的实验结果表明,我们的方法在一系列随机线性时不变和时变系统的有效性。
2022-10-10 cs.LG cs.SY eess.SY
What, Indeed, is an Achievable Provable Guarantee for Learning-Enabled Safety Critical Systems
University Grenoble Alpes(格勒诺布尔大学);Technical University of Munich(慕尼黑工业大学);University of Liverpool(利物浦大学);University of Warwick(华威大学)
针对安全关键系统中机器学习组件的安全保证难题,本文指出现有方法无法提供可证明保证,并提出两步验证方法以实现可证明的统计保证。
2023-07-20 cs.AI cs.LG cs.SE
Simulation-based Safety Assurance for an AVP System incorporating Learning-Enabled Components
DENSO AUTOMOTIVE Deutschland GmbH(电装汽车德国有限公司)
针对含学习赋能组件的AD/ADAS安全保障难题,本文依托FOCETA项目的AVP用例,提出一种基于仿真的开发平台,可在持续工程循环中完成安全关键型学习赋能系统的验证与确认。
2023-09-28 cs.AI cs.SE
AI2-Active Safety: AI-enabled Interaction-aware Active Safety Analysis with Vehicle Dynamics
AI2
本文提出一种基于AI的交互感知主动安全分析框架,结合自行车模型与超图AI模型预测轨迹,通过随机常微分方程求解车辆间距并生成高保真TTC分布,为复杂交通环境提供系统性主动安全分析方法。
2025-05-01 cs.AI cs.RO
Assumption Generation for the Verification of Learning-Enabled Autonomous Systems
KBR(KBR公司);NASA Ames(美国国家航空航天局艾姆斯研究中心);Carnegie Mellon University(卡内基梅隆大学);Boeing Research and Technology(波音研究与技术公司)
针对学习型自主系统安全验证难题,提出假设-保证式组合方法,自动合成最弱 DNN 行为假设,用于运行时监控和训练测试规范挖掘,并在自主飞机感知案例中验证。
2023-05-27 cs.AI cs.LG
Nemotron 3.5 Content Safety Moderator: A Compact Multimodal, Multilingual, and Reasoning Enabled Content Safety Moderator
NVIDIA(英伟达)
本研究提出紧凑多模态多语言的Nemotron 3.5 CS安全审核器,兼具低计算成本与推理能力,可覆盖多场景安全审核,还发布配套安全数据集,验证其在多维度评估中表现优异。
2026-08-31 cs.AI
Embedding Explainable AI in NHS Clinical Safety: The Explainability-Enabled Clinical Safety Framework (ECSF)
针对NHS现有临床安全标准难以适配AI概率性特性的问题,提出可解释性赋能临床安全框架ECSF,将可解释性融入现有合规全流程,为AI临床应用提供结构化安全证据支撑。
2025-11-18 cs.AI cs.CY cs.HC
Reasoning about Safety of Learning-Enabled Components in Autonomous Cyber-physical Systems
Toyota Research Institute of North America(丰田北美研究院);University of Southern California(南加州大学)
本文提出基于模拟的方法生成屏障证书函数,用于验证包含神经网络控制器的机电系统安全性。通过线性规划求解器从随机初始状态获得的模拟轨迹中找到候选生成函数,并利用SMT求解器验证其安全性。
2018-04-11 cs.AI cs.SY eess.SY
Simplex-enabled Safe Continual Learning Machine
Technical University of Munich(慕尼黑工业大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对安全关键自主系统的持续学习安全保障问题,提出由HP-Student、HA-Teacher和协调器构成的SeC-Learning Machine,基于Simplex逻辑与Phy-DRL实现终身安全、解决Sim2Real差距并耐受未知因素,实验验证其性能优于现有方法。
2024-10-06 cs.AI cs.LG cs.RO
Demonstrating ViSafe: Vision-enabled Safety for High-speed Detect and Avoid
Carnegie Mellon University(卡内基梅隆大学)
本文提出 ViSafe,一种在 SWaP-C 约束下融合边缘 AI 与多相机硬件的纯视觉高速碰撞规避系统,利用感知输入控制屏障函数提供可证明安全保证,并在接近速度达 144 km/h 的真实飞行测试中验证了其自间隔能力。
2025-05-08 cs.AI cs.RO
Understanding Policy and Technical Aspects of AI-Enabled Smart Video Surveillance to Address Public Safety
University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校)
人工智能(AI)的最新进展已经在许多实际应用中看到了智能视频监控(SVS)的出现,特别是在我们的城市环境中建立更安全,更安全的社区。认知任务,如识别对象,识别动作和检测异常行为,可以通过统计和分析工具产生能够为社区提供有价值见解的数据。然而,人工智能监控系统的设计需要特别考虑伦理挑战和问题。个人身份信息(PII)的使用和存储通常会增加个人隐私的风险。为了解决这些问题,本文确定了在设计支持AI的智能视频监控时需要解决的隐私问题和要求。此外,我们提出了第一个端到端的AI支持的隐私保护智能视频监控系统,该系统全面结合了计算机视觉分析,统计数据分析,云原生服务和最终用户应用程序。最后,我们提出了定量和定性的指标来评估智能视频监控系统。该系统在极端视频场景中显示了17.8帧每秒(FPS)处理。然而,在设计这样的系统时考虑隐私导致基于姿势的算法优于基于像素的算法。这种选择导致了动作和异常检测任务的准确性下降。异常检测的结果从97.48下降到73.72,动作检测任务的结果从96下降到83.07。端到端系统的平均延迟为36.1秒。
2023-02-08 cs.AI cs.CV cs.CY
Evaluating a Multi-Agent Voice-Enabled Smart Speaker for Care Homes: A Safety-Focused Framework
University of Hull, UK(赫尔大学);University of Southampton, UK(南安普顿大学);Connexin, Hull, UK(Connexin公司);Leeds Teaching Hospital NHS Trust, UK(利兹教学医院国家健康服务信托)
本文评估了语音赋能的养老机构智能音箱,通过结合语音识别与检索增强生成技术,验证其在居民识别、提醒提取和任务调度中的准确性,为安全导向的护理系统提供支持。
2026-03-24 cs.AI cs.CL
S5-SHB Agent: Society 5.0 enabled Multi-model Agentic Blockchain Framework for Smart Home
KD University(KD大学);University of Aizu(东亚大学)
本文提出S5-SHB代理框架,通过多代理协调和居民控制治理,解决智能家居中适应性共识、智能多代理协调和居民可控治理的问题。
2026-03-23 cs.AI
On AI Safety and Security Technical Debt in Engineering AI-Enabled Systems
University of Birmingham(伯明翰大学);HBKU(哈马德·本·哈利法大学);Bournemouth University(伯恩茅斯大学);Brunel University London(伦敦布鲁内尔大学);University of Hawaii(夏威夷大学);College of Science and Engineering, HBKU(哈马德·本·哈利法大学科学与工程学院)
研究人工智能系统工程中的安全与保障技术债务,通过系统综述识别31种AITD并分类,分析其与信任问题的关联,合成34条指南,引入AITD - MAP框架,助工程师应对AITDs。
2026-07-28 cs.AI cs.CR cs.SE
MORTAR: A Model-based Runtime Action Repair Framework for AI-enabled Cyber-Physical Systems
University of Alberta(阿尔伯塔大学);Singapore Management University(新加坡管理大学);The University of Tokyo(东京大学)
针对黑盒AI控制器难以在运行时保障安全的问题,提出MORTAR框架,通过预测模型评估动作安全性并优化修复不安全动作,以低开销提升任务完成率。
2024-08-07 cs.AI cs.SE
Unpacking Human-AI Interaction in Safety-Critical Industries: A Systematic Literature Review
DNV;Bar Ilan University(巴伊兰大学)
本文系统综述安全关键行业的HAII文献,梳理术语、AI角色、影响因素与测量方式,发现术语不一、研究碎片化,并提出统一术语、全生命周期纳入用户及场景化设计建议。
2024-08-05 cs.AI cs.HC
Smart and Secure CAV Networks Empowered by AI-Enabled Blockchain: The Next Frontier for Intelligent Safe Driving Assessment
University of Glasgow(格拉斯哥大学);AIDrivers Ltd.(AIDrivers有限公司);Brunel University London(伦敦布鲁内尔大学)
针对CAV安全驾驶监管中的数据隐私、可信性与算力限制问题,本文提出BEST框架,结合LSTM安全评估和基于拜占庭容错的DPoS区块链共识,提升了数据可信度与预测准确率。
2022-02-11 cs.AI cs.CR cs.NI
Towards Safer Large Reasoning Models by Promoting Safety Decision-Making before Chain-of-Thought Generation
Southeast University, China(东南大学,中国);The University of Queensland, Australia(昆士兰大学,澳大利亚);Nanyang Technological University, Singapore(南洋理工大学,新加坡)
本文提出在链式思考生成前促进安全决策的方法,提升大推理模型的安全性同时保持推理性能。
2026-03-18 cs.AI
Predictive safety filter enhanced curriculum learning control for efficient vehicle dynamics controller
Shanghai Jiaotong University(上海交通大学);Bosch Corporate Research(博世公司研究部)
该研究针对车辆动力学控制痛点,开发了预测安全滤波器增强的课程学习控制器,经Python-CarSim验证,其在多操纵工况下性能提升与可扩展性更优。
2026-11-17 cs.AI cs.RO
Deep Learning Based Intelligent Inter-Vehicle Distance Control for 6G Enabled Cooperative Autonomous Driving
University of Electronic Science and Technology of China(电子科技大学);University of Essex(埃塞克斯大学)
第六代蜂窝网络(6G)的研究正在获得巨大的动力,以实现无处不在的无线连接。互联自动驾驶(CAV)是6G的一个重要垂直领域,在提高道路安全、道路和能源效率方面具有巨大潜力。然而,CAV应用对可靠性、延迟和高速通信的严格服务要求将对6G网络提出巨大挑战。支持6G的CAV需要新的联网车辆信道接入算法和智能控制方案。本文研究了6G支持的协同驾驶,这是一种通过信息共享和驾驶协调的先进驾驶模式。首先,我们量化的延迟上界的6G车辆到车辆(V2V)通信的混合通信和信道接入技术。开发并训练深度学习神经网络,以快速计算实时的操作中的延迟界限。在此基础上,设计了一种智能策略来控制协作自主驾驶中的车间距。此外,我们提出了一个基于马尔可夫链的算法来预测系统状态的参数,也是一个安全的距离映射方法,使平稳的车速变化。所提出的算法在AirSim自动驾驶平台上实现。仿真结果表明,所提算法具有较好的鲁棒性和有效性,能够实现安全稳定的协同自主驾驶,极大地提高了道路的安全性、通行能力和效率。
2020-12-26 cs.AI eess.SP
SEAL: Towards Safe Autonomous Driving via Skill-Enabled Adversary Learning for Closed-Loop Scenario Generation
School of Computer Science, Carnegie Mellon University(卡内基梅隆大学计算机科学系)
针对现有自动驾驶场景生成方法对抗行为不真实的问题,提出SEAL,利用学习目标函数和类人对抗技能进行场景扰动,有效提升了场景真实性与自车任务成功率。
2025-07-14 cs.AI cs.LG cs.RO
System Safety Monitoring of Learned Components Using Temporal Metric Forecasting
University of Ottawa(渥太华大学);Technical University of Munich(慕尼黑工业大学);fortiss GmbH(fortiss有限公司);University of Limerick(利默里克大学)
提出基于概率时间序列预测的安全监控方法,利用深度学习模型预测安全度量违规,在自主航空和驾驶案例中证实Temporal Fusion Transformer能以可接受的延迟和资源消耗最准确地预测安全违规。
2024-12-20 cs.AI cs.LG cs.RO
TanksWorld: A Multi-Agent Environment for AI Safety Research
Intelligent Systems Center(智能系统中心);Johns Hopkins Applied Physics Lab(约翰斯·霍普金斯应用物理实验室)
创建能够执行复杂任务的人工智能(AI)的能力正在迅速超过我们确保AI系统安全可靠运行的能力。幸运的是,针对这种不对称性,人工智能安全研究正在兴起,但还有很长的路要走。特别是,最近为说明人工智能安全风险而创建的模拟环境相对简单,或者只关注特定问题。因此,我们迫切需要人工智能安全研究环境,以抽象复杂现实世界应用的基本方面。在这项工作中,我们介绍了人工智能安全坦克世界作为人工智能安全研究的环境,有三个基本方面:竞争性能目标,人机合作和多智能体竞争。AI安全坦克世界旨在通过提供一个软件框架来支持具有系统性能和安全目标的比赛,从而加速安全多智能体决策算法的进步。作为一项正在进行的工作,本文介绍了我们的研究目标和学习环境与参考代码和基线性能指标,以遵循在未来的工作。
2020-02-25 cs.AI cs.MA
Out-of-Distribution Detection for Safety Assurance of AI and Autonomous Systems
Department of Computer Science University of York(计算机科学系约克大学)
本综述在自主系统安全保证背景下全面分析OOD检测技术,定义概念、探究成因,识别生命周期内可用技术并讨论集成注意事项,最后指出未来挑战。
2025-10-24 cs.AI
An Explainable Agentic AI Framework for Uncertainty-Aware and Abstention-Enabled Acute Ischemic Stroke Imaging Decisions
Department of Computer Science and Engineering(计算机科学与工程系);Daffodil International University(达福尔国际大学)
本文提出了一种可解释的代理AI框架,用于在急性缺血性中风影像学中实现不确定性意识和选择性退避,以提高临床决策的安全性和透明性。
2026-01-03 cs.AI cs.CV eess.IV
Dynamic Simplex: Balancing Safety and Performance in Autonomous Cyber Physical Systems
Vanderbilt University(范德堡大学);Technical University of Munich(慕尼黑工业大学)
学习使能组件(LEC)极大地帮助了信息物理系统实现更高水平的自主性。然而,LEC对动态和不确定的操作条件的敏感性是这些系统的安全性的关键挑战。冗余控制器架构已被广泛采用,以确保在这种情况下的安全。这些架构增强了LEC“高性能”控制器,这些控制器很难与“安全”控制器以及在它们之间切换的决策逻辑进行验证。虽然这些架构确保了安全性,但我们指出了两个限制。首先,它们被离线训练以学习总是选择保持系统安全的控制器的保守策略,这限制了系统对动态和非平稳环境的适应性。第二,它们不支持从安全控制器到性能控制器的反向切换,即使当对安全的威胁不再存在时也是如此。为了解决这些限制,我们提出了一个动态的单工策略,允许双向切换的在线控制器切换逻辑。我们认为切换作为一个顺序的决策问题和模型,它作为一个半马尔可夫决策过程。我们利用使用代理模型的短视选择器(用于正向切换)和非短视规划器(用于反向切换)的组合来平衡安全性和性能。我们评估这种方法使用自动驾驶汽车的案例研究在CARLA模拟器使用不同的驾驶条件,位置和组件故障。我们表明,所提出的方法的结果在更少的冲突和更高的性能比国家的最先进的替代品。
2023-02-20 cs.AI cs.RO
MORPH-U: Multi-Objective Resilient Motion Planning for V2X-Enabled Autonomous Driving in High-Uncertainty Environments via Simulation
CARLA-based vehicle-side pipeline(基于CARLA的车辆侧流水线)
本文提出MORPH-U,通过融合V2X与传感器数据构建局部动态地图,采用多目标优化方法在跟踪误差、安全余量、响应性和平滑度之间进行权衡,通过Pareto前沿分析选择操作点,并利用拜占庭启发的接受门防止故障触发下的不安全重规划。
2026-05-08 cs.AI cs.MA cs.RO
Large Model Enabled Embodied Intelligence for 6G Integrated Perception, Communication, and Computation Network
School of Information and Electronics(信息与电子学院);School of Interdisciplinary Science(交叉科学学院);State Key Laboratory of CNS/ATM(CNS/ATM国家重点实验室);Beijing Institute of Technology(北京理工大学);Advanced Technology Research Institute(先进技术研究院);Yangtze Delta Region Academy(长江三角洲地区学院);School of School of Information Science and Engineering(信息科学与工程学院);Institute of Intelligent Communication Technologies(智能通信技术研究院);Shandong Key Laboratory of Intelligent Communication and Sensing-Computing Integration(智能通信与传感-计算集成山东省重点实验室);Zhejiang Provincial Key Laboratory of Information Processing, Communication and Networking(信息处理、通信与网络浙江省重点实验室);Department of Electronic Engineering(电子工程系);State Key Laboratory of Space Network and Communications(空间网络与通信国家重点实验室);National Mobile Communications Research Laboratory(移动通信研究中心);Purple Mountain Laboratories(紫金山实验室)
本文提出利用大模型赋能基站实现感知、通信和计算一体化,为6G系统提供安全关键的智能解决方案。
2025-12-22 cs.AI cs.IT eess.SP
DiffGuard: Text-Based Safety Checker for Diffusion Models
Université Paris-Saclay(巴黎萨克雷大学);CentraleSupélec(中央高等电力学院);Thales SIX GTS France(泰雷兹法国第六全球技术服务公司)
针对开源扩散模型伦理过滤器的不足,本文提出基于文本的安全过滤器 DiffGuard,以防范 AI 生成图像滥用,性能较现有最佳过滤器提升超过 14%。
2025-02-19 cs.AI cs.CV