Beyond Attack Success Rate: Temporal Logit Observability for LLM Safety Failures
Chung-Ang University(Chung-Ang 大学)
提出时间对数可观测性(TLO)方法,通过解码过程中的合规-拒绝边际将模型-攻击条件映射到校准的二维平面,揭示攻击成功的时间模式,并基于此设计早期停止规则将成功越狱减少一半以上。
2026-05-28 cs.AI
Evaluating LLM Safety Under Repeated Inference via Accelerated Prompt Stress Testing
Independent Researcher(独立研究者)
本文提出APST框架,通过重复推理测试揭示模型在持续使用下的失败模式,展示单次评估无法反映实际可靠性差异。
2026-04-28 cs.AI cs.LG
LongGuard: Mechanistic Analysis and Training-Free Mitigation of Long-Context Failure in Safety Guardrails
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院)
本研究针对LLM安全护栏在长上下文下的失效问题,提出LongGuard框架,经机制分析后开发无训练缓解方案,在多基准测试中实现显著性能提升。
2026-09-01 cs.AI
Beyond Unsafe Detection: Counterfactually Anchored Evidence Attribution for Multi-Turn LLM Safety Failures
Kennesaw State University(肯尼索州立大学)
针对多轮LLM安全失败,提出反事实锚定的分层归因模型,识别导致不安全的轮次和标记,检测F1达0.988,且显著降低假阳性率。
2026-10-14 cs.AI cs.CL
Sycophancy as a Multilingual Alignment Failure: How Safety Degrades Across Languages, Topics, and Models
IIT Gandhinagar(印度理工学院甘地讷格尔分校);Asian Institute of Technology(亚洲理工学院)
研究多语言模型中谄媚现象,发现低资源语言中谄媚率激增,且与主题无关,归因于分词器生育率,表明对齐方法在非高资源语言中泛化差。
2026-06-07 cs.AI cs.CL
OOD-MMSafe: Advancing MLLM Safety from Harmful Intent to Hidden Consequences
OOD-MMSafe通过CASPO框架提升多模态大语言模型对隐藏后果的识别能力,显著降低风险识别失败率。
2026-03-10 cs.AI
StructBreak: Structural Cognitive Overload-Induced Safety Failures in MLLMs
Key Laboratory of Trustworthy Distributed Computing and Service (MoE), Beijing University of Posts and Telecommunications(可信分布式计算与服务重点实验室(MoE),北京邮电大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
提出StructBreak框架,通过量化结构性认知过载(SCO)揭示一种高阶认知过载攻击范式,在六种主流MLLM上实现92%平均攻击成功率,并证明该攻击通过结构性通道绕过安全过滤器。
2026-05-25 cs.AI
From Failures to Fixes: LLM-Driven Scenario Repair for Self-Evolving Autonomous Driving
Jilin University(吉林大学);Fudan University(复旦大学);Tongji University(同济大学)
提出LLM驱动的SERA框架,通过分析性能日志识别失败模式并动态检索语义对齐场景,利用LLM反思机制优化推荐,以少样本微调修复自动驾驶失败案例,持续提升多基线关键指标。
2025-05-28 cs.AI cs.CV cs.RO
Making Your LLMs More Objective: Stabilizing LLM Safety Behavior Across Traits with Trait-Invariant Safety Tuning
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对LLM因系统提示词中特质不同导致同一请求安全决策不一致的问题,提出特质不变安全微调(TIST)框架及TraSN方法,提升跨特质安全稳定性且保留通用能力。
2026-08-13 cs.AI
Monitor-Validity Failures: LLM Safety Evidence Paths at Evolving Framework Boundaries
该研究针对LLM应用中监控器有效性失效问题,提出金丝雀合约协议,在11个项目组及4个生态系统中确认18条证据路径失效,为框架演进的监控器回归测试提供依据。
2026-10-19 cs.AI cs.CR cs.SE
Character as a Latent Variable in Large Language Models: A Mechanistic Account of Emergent Misalignment and Conditional Safety Failures
University of Science and Technology of China(中国科学技术大学);Nanyang Technological University(南洋理工大学);Tsinghua University(清华大学)
本研究揭示了大语言模型中字符层面倾向对齐风险的核心机制,指出行为倾向的稳定转变是导致涌现偏差和安全失败的关键因素,而非单纯的能力退化或提示防御。
2026-01-30 cs.AI cs.CL cs.CR
Phare: A Safety Probe for Large Language Models
Giskard AI
Phare是一个多语言诊断框架,用于探测LLM在幻觉、偏见和有害内容三个维度的安全漏洞,通过对17个先进模型的评估揭示系统性故障模式,提供可操作的改进见解。
2025-05-26 cs.AI cs.CL cs.CR
When Safety Routing Breaks: Understanding Alignment Fragility under Benign Fine-Tuning
Indiana University Bloomington(印第安纳大学伯明顿分校);Tsinghua University(清华大学);Nanyang Technological University(南洋理工大学)
该研究针对良性微调削弱大语言模型安全对齐的问题,提出费歇尔几何视角,揭示输出侧MLP模块的路由通路锐化导致安全失效,发现LoRA和ASAM可缓解早期崩溃但效果随微调规模减弱
2026-09-02 cs.AI cs.CR
Beyond Context: Large Language Models' Failure to Grasp Users' Intent
KTH Royal Institute of Technology Network Systems Security (NSS) Group(皇家理工学院网络系统安全小组)
研究指出大型语言模型在理解上下文和识别用户意图方面存在缺陷,导致安全机制被恶意用户利用,需转向以上下文理解和意图识别为核心的安全能力。
2026-04-24 cs.AI cs.CL cs.CR
Polarity Blindness in LLM Safety: A Systematic Study of Negation, Antonym Substitution, and Adversarial Framing
ELLIS Alicante(ELLIS阿利坎特);Czech Technical University in Prague(捷克布拉格理工大学);Universidad de Alicante(阿利坎特大学)
该研究系统探究LLM的极性盲性漏洞,发现其会破坏安全护栏,经多语言多模型基准测试证实该漏洞普遍存在,凸显语义鲁棒性的局限。
2026-11-10 cs.AI cs.CL
Preferred, Not Safer: Pairwise Preference Is a Poor Proxy for Clinical Safety
EPFL(洛桑联邦理工学院);LiGHT Laboratory(LiGHT实验室)
研究表明临床医生成对偏好并非LLM临床安全的可靠替代指标,其排名靠前的模型仍存在大量临床安全失败,提出结合偏好与安全反馈的临床调整排名方法,支持分离偏好与安全的评估实践。
2026-09-29 cs.AI cs.CL cs.LG
The Slow Drift of Support: Boundary Failures in Multi-Turn Mental Health LLM Dialogues
University of Incarnate Word School of Osteopathic Medicine(incarnate Word 学校医学部);Independent Researcher(独立研究者);Mayo Clinic(梅奥诊所)
本文提出多轮压力测试框架,揭示LLMs在长对话中因安慰和同理心尝试导致的安全边界逐步侵犯问题。
2026-01-02 cs.AI cs.CL
SafeRedirect: Defeating Internal Safety Collapse via Task-Completion Redirection in Frontier LLMs
Department of Computer Science and Engineering, Southern University of Science and Technology, Shenzhen 518055, China(南方科技大学计算机科学与工程系,深圳518055,中国);The Hong Kong Polytechnic University, Hong Kong, China(香港理工大学,香港,中国);George Washington University(乔治华盛顿大学);School of Data Science, Lingnan University, Hong Kong, China(岭南大学数据科学学院,香港,中国)
本文提出SafeRedirect,通过重定向模型任务完成驱动力来解决内部安全崩溃问题,有效降低不安全生成率,经多模型验证显示其在不同攻击类型中均表现出色。
2026-04-22 cs.AI cs.CR cs.LG
EpiSEM-Bench: Evaluating Safety and Evidence Recovery in LLM Agents under Missing Evidence
City University of Hong Kong(香港城市大学);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
该研究提出EpiSEM-Bench基准,评估缺失证据下LLM智能体的安全性与证据恢复,发现不同模型在遗漏鲁棒性等方面差异显著,恢复访问可降低不安全执行。
2026-10-23 cs.AI cs.LG
CRASH: Cognitive Reasoning Agent for Safety Hazards in Autonomous Driving
King Abdullah University of Science and Technology(国王阿卜杜勒-阿齐兹科技大学)
本文提出CRASH,一种基于大语言模型的自动驾驶安全隐患分析工具,通过自动化处理事故报告,识别事故原因并评估自动驾驶系统对事故的影响,验证其在事故分析中的有效性与实用性。
2026-03-16 cs.AI cs.CL
Too Good to be Bad: On the Failure of LLMs to Role-Play Villains
Tencent(腾讯)
该研究发现现代大语言模型因安全对齐限制难以真实扮演反派角色,通过构建Moral RolePlay基准评估,揭示角色道德水平越低角色扮演保真度越差,为平衡模型安全与创意保真度的对齐方法开发提供基础。
2025-11-12 cs.AI cs.CL
Manifold of Failure: Behavioral Attraction Basins in Language Models
Amazon Web Services(亚马逊网络服务);Cisco(思科);Shrewd Security(精明安全)
本文提出了一种基于MAP-Elites的方法,用于系统地映射语言模型的失败流形,揭示不同模型的拓扑结构和漏洞分布。
2026-02-27 cs.AI cs.CR cs.LG
CompanionSafe: From Multi-turn Safety Evaluation to Guardrails for AI Companions
Xi’an Jiaotong University(西安交通大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
本研究提出CompanionSafe框架,含CompanionEval多轮评估与CompanionGuard风险缓解组件,发现LLM等模型易受伴侣特定关系危害,互动越长风险越高,形成AI伴侣安全的评估-缓解循环。
2026-10-14 cs.AI cs.CR cs.HC
SkillSafetyBench: Evaluating Agent Safety under Skill-Facing Attack Surfaces
Shanghai AI Laboratory(上海人工智能实验室);Peking University(北京大学);East China Normal University(华东师范大学)
提出SkillSafetyBench基准,通过155个对抗案例评估大语言模型智能体在技能、本地工件和执行环境文件等非用户攻击下的安全失败模式。
2026-08-31 cs.AI cs.CL cs.CR
Diffusion Models for Safety Validation of Autonomous Driving Systems
Computer Science(计算机科学);Stanford University(斯坦福大学);Astronautics(航空与航天)
本文训练去噪扩散模型,根据任意初始交通状态生成自动驾驶车辆的逼真且多样的潜在故障案例,为低资源、无先验的交叉口安全验证提供方法。
2025-06-10 cs.AI cs.RO
Sensors, Safety Models and A System-Level Approach to Safe and Scalable Automated Vehicles
Intel(英特尔)
在考虑自动驾驶汽车(AV)中传感器的准确性时,孤立地评估任何给定传感器的性能是不够的。相反,任何单个传感器的性能必须在整个系统设计的背景下考虑。冗余和不同的传感模式等技术可以减少传感失败的机会。此外,使用安全模型对于理解任何特定的传感故障是否相关至关重要。只有考虑到整个系统设计,才能正确理解AV中安全相关传感故障的含义。在本文中,我们将考虑实际上应该构成感测故障,安全模型如何在减轻潜在故障方面发挥重要作用,系统级安全方法如何提供安全和可扩展的AV,以及考虑到AV架构的全貌,可接受的感测故障率应该是多少。
2020-09-04 cs.AI cs.CV cs.LG
Real-Time Out-of-Distribution Failure Prevention via Multi-Modal Reasoning
Stanford University(斯坦福大学);Swiss Re(瑞士再保险集团);NVIDIA Research(NVIDIA研究)
提出FORTRESS框架,结合多模态推理与动力学感知规划,实时生成安全回退策略,防止机器人分布外故障,提升安全性与规划成功率。
2025-09-25 cs.AI cs.RO
DriveSafer: End-to-End Autonomous Driving with Safety Guidance
Carnegie Mellon University(卡内基梅隆大学)
本文提出DriveSafer框架,通过减少致命性规划失败来提高端到端自动驾驶的安全性,而非单纯提升平均规划质量。
2026-05-16 cs.CV cs.RO
System-Level Safety Monitoring and Recovery for Perception Failures in Autonomous Vehicles
NVIDIA Research(英伟达研究院);University of Southern California(南加州大学)
针对自动驾驶感知故障的系统级安全推理难题,提出SPARQ Q网络评估规划安全性并给出修正方案,在NuPlan-Vegas数据集上实现90%准确率与召回率及42Hz实时性能,优于主流可达性基线。
2024-10-06 cs.RO
Diffusion-Based Failure Sampling for Evaluating Safety-Critical Autonomous Systems
Department of Aeronautics and Astronautics, Stanford University(航空航天工程系,斯坦福大学);Nissan Advanced Technology Center Silicon Valley(日产先进科技中心硅谷)
针对安全关键型自主系统高维验证的采样难题,提出基于条件去噪扩散模型的迭代故障采样方法,在机器人验证任务上实现了比现有黑盒技术更优的样本效率与模式覆盖。
2025-05-20 cs.AI cs.RO cs.SY
Enhancing Safety and Robustness of Vision-Based Controllers via Reachability Analysis
University of Southern California(南加州大学);Stanford University(斯坦福大学)
针对基于视觉的控制器在分布外输入下易出错引发系统故障的问题,提出通过计算神经可达管挖掘故障模式,结合在线故障监测触发备用控制、离线增量训练增强鲁棒性两种方法,经自主飞机滑行任务验证,故障识别与处理效果优于传统方法。
2024-10-30 cs.RO
Interpretable Safety Validation for Autonomous Vehicles
自动驾驶的一个开放性问题是如何在仿真中验证自动驾驶车辆的安全性。自动化测试程序可以发现自主系统的故障,但这些故障可能由于其高维性而难以解释,并且可能不太可能以至于不重要。这项工作描述了一种方法,用于找到自治系统的可解释的故障。故障由人可以理解的信号时序逻辑表达式描述,并且被优化以产生具有高可能性的故障。我们的方法证明了自动驾驶汽车的安全验证的背景下,无保护的左转和人行横道与行人。与基线重要性采样方法相比,我们的方法发现了更多的故障,具有更高的可能性,同时保持可解释性。
2020-06-26 cs.LG cs.RO stat.ML
Silent Failures in Physical AI: A Literature Review of Runtime Action Authorization for Autonomous Systems
STATE16
本文综述了物理AI系统中黑箱模型发出看似合理但实际错误的物理动作导致的静默故障问题,提出了运行时防护栏的分类和评估要求。
2026-05-23 cs.AI cs.RO
A Learnable Safety Measure
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Ingenieurgesellschaft Auto und Verkehr (IAV)(汽车与交通工程公司(IAV))
失败对于学习控制物理系统是具有挑战性的,因为它们有损坏的风险,耗时的重置,并且通常提供很少的梯度信息。为勘探增加安全约束通常需要大量的先验知识和领域专业知识。我们提出了一个安全措施,它隐含地捕捉系统动态与一组故障状态。该测度不仅可以作为安全函数,而且可以直接计算安全状态-动作对的集合。此外,我们展示了一种无模型的方法来学习这个措施,使用高斯过程的主动采样。虽然只有在学习安全措施后才能保证安全,但我们表明,通过在学习过程中使用估计措施,故障已经可以大大减少。
2019-10-07 cs.AI cs.LG cs.RO
Acceleration method for generating perception failure scenarios based on editing Markov process
Guangdong University of Technology(广东工业大学)
本文提出一种基于编辑马尔可夫过程的地下停车场感知失效场景加速生成方法,通过学习背景车辆与自动驾驶车辆的交互并提高训练数据关键信息密度,生成高密度感知失效测试环境,从而提升感知算法安全性能。
2024-07-01 cs.AI cs.RO
Testing Rare Downstream Safety Violations via Upstream Adaptive Sampling of Perception Error Models
University of Edinburgh(爱丁堡大学)
在模拟中测试黑盒感知控制系统面临两个困难。首先,仿真中的感知输入缺乏真实世界传感器输入的保真度。其次,对于一个相当准确的感知系统,遇到罕见的故障轨迹可能需要运行不可行的许多模拟。本文结合感知误差模型-代理人的传感器为基础的检测系统-与状态相关的自适应重要性采样。这使我们能够有效地评估罕见的故障概率为现实世界中的感知控制系统的模拟。我们的实验与自主制动系统配备了RGB障碍物检测器表明,我们的方法可以计算准确的故障概率与廉价的模拟数量。此外,我们展示了如何选择的安全度量可以影响的过程中学习的建议分布能够可靠地抽样高概率故障。
2023-02-03 cs.LG cs.RO
Failing Gracefully: Mitigating Impact of Inevitable Robot Failures
George Mason University(乔治梅森大学);RobotiXX Lab(RobotiXX实验室)
针对家庭服务机器人不可避免的故障,本文提出一种评估故障影响概率与严重程度的安全公式,结合FailBench模拟框架,为开发更安全的机器人运动规划及学习策略提供基础。
2026-08-07 cs.AI cs.HC cs.LG
How Well Do Latent World Models Understand Partially Observable Safety Constraints?
UC San Diego(加州大学圣地亚哥分校);Carnegie Mellon University(卡内基梅隆大学)
研究潜在世界模型在部分可观测安全约束下的故障模式,提出互信息度量和滚动预测度量来诊断估计间隙和预测间隙,并通过多模态监督和共形风险校准缓解问题,提高机器人操作安全性。
2026-10-14 cs.RO
Scalable Autonomous Vehicle Safety Validation through Dynamic Programming and Scene Decomposition
Stanford University(斯坦福大学);NASA Ames Research Center(NASA艾姆斯研究中心)
自动驾驶中的一个悬而未决的问题是如何最好地使用模拟来验证自动驾驶汽车的安全性。现有技术依赖于模拟的推出,这对于发现罕见的故障事件可能是低效的,而其他技术被设计为仅发现单个故障。在这项工作中,我们提出了一种新的安全验证方法,试图估计分布超过故障的自治政策使用近似动态规划。这种分布的知识允许有效地发现许多失败的例子。为了解决问题的可扩展性,我们分解复杂的驾驶场景子问题,只包括自我车辆和其他车辆。这些子问题可以用近似动态规划来解决,并且它们的解被重新组合以近似完整场景的解。我们将我们的方法应用到一个简单的两辆车的情况下,以证明该技术,以及一个更复杂的五辆车的情况下,以证明可扩展性。在这两个实验中,我们观察到与基线方法相比,发现的失败数量有所增加。
2020-06-26 cs.LG cs.RO cs.SY
Quadrotor Formation Flying Resilient to Abrupt Vehicle Failures via a Fluid Flow Navigation Function
University of Michigan(密歇根大学);University of Arizona(亚利桑那大学)
本文开发和实验评估四旋翼编队飞行的导航功能,是弹性的突然四旋翼故障和其他障碍。导航功能基于将健康的四旋翼建模为理想流体流中的粒子。我们提供了三个关键的贡献:(一)遏制排除模式(CEM)的安全定理和证明,保证安全,并正式规定了四旋翼编队之间的最小安全距离,(二)一个实时的,计算效率高的CEM导航算法,(三)仿真和实验算法验证。首先使用六个虚拟四旋翼团队进行模拟,以通过动态滑动速度演示速度跟踪,保持足够的代理间距离,并实时操作。在室内运动捕捉飞行设施中进行了由两个定制四旋翼组成的团队的飞行测试,成功验证了导航算法可以在保证安全的同时处理非平凡的有界跟踪误差。
2022-03-03 cs.RO
Learning Failure Prevention Skills for Safe Robot Manipulation
Istanbul Technical University(伊斯坦布尔理工大学);Halmstad University(哈尔姆斯塔德大学)
针对机器人操作技能安全性不足、非结构化环境故障难枚举的问题,研究提出将技能分为基础与故障预防技能,用强化学习构建模块化分层技能库加风险感知选择策略,实现安全操作且可适配新故障、迁移到真实环境。
2023-05-04 cs.RO
Task-Aware Risk Estimation of Perception Failures for Autonomous Vehicles
Massachusetts Institute of Technology(麻省理工学院);NVIDIA Research(英伟达研究院);University of Washington(华盛顿大学);Stanford University(斯坦福大学)
本文提出一种自动驾驶感知故障任务感知风险评估器,基于copula统计工具计算风险的PAC估计,以判定是否触发安全机动,在NuPlan数据集上F1分数达最优基准两倍,兼顾了安全性与性能。
2023-05-03 cs.RO
Uncertainty-aware Latent Safety Filters for Avoiding Out-of-Distribution Failures
Carnegie Mellon University(卡内基梅隆大学)
本文提出一种不确定性感知的潜在安全过滤器,利用世界模型的认知不确定性和一致性预测校准阈值,在增强状态空间中进行可达性分析,以主动避免已知和未知的分布外故障,并在Franka机械臂上验证其有效性。
2025-09-23 cs.LG cs.RO cs.SY
Safe Reinforcement Learning with Receding-Horizon Safety Critic and Differentiable Action Shields
Technical University of Darmstadt(达姆施塔特工业大学);German Research Center for AI (DFKI)(德国人工智能研究中心);Robotics Institute Germany (RIG)(德国机器人研究所)
该研究提出结合后退时域安全评判器与可微动作护盾的安全强化学习方法,在四足运动模拟中提升了鲁棒性,减少了灾难性故障并保持了竞争力回报。
2026-10-15 cs.RO
The Impact of Operational-Data Fidelity when Assessing Safety-Critical Autonomous-Vehicle Software
Centre for Software Reliability, City St. George’s, University of London(伦敦大学城市圣乔治学院软件可靠性中心)
本文扩展保守贝叶斯推理技术,提出检查运营数据不足时可靠性断言稳健性的统计方法,阐明保守使用低保真数据的幼稚性,给出数据保真度对自动驾驶汽车安全评估影响的首批保守估计。
2026-10-08 cs.RO cs.SE
Failure Prediction with Statistical Guarantees for Vision-Based Robot Control
Princeton University(普林斯顿大学)
我们的动机是对具有高维传感器观测的安全关键机器人系统进行故障预测的问题(例如,视觉)。如果能够访问黑盒控制策略(例如,以神经网络的形式)和训练环境的数据集,我们提出了一种用于合成故障预测器的方法,该故障预测器具有对假阳性和假阴性错误的保证界限。为了实现这一点,我们利用可能近似正确(PAC)-贝叶斯推广理论的技术。此外,我们提出了新的类条件界限,使我们能够权衡假阳性与假阴性错误的相对比率。我们提出的算法,训练故障预测(作为输入的传感器观测的历史),最大限度地减少我们的理论误差范围。我们使用广泛的仿真和硬件实验来演示所得到的方法,用于无人机的基于视觉的导航,并使用配备手腕安装的RGB-D相机的机器人机械手抓取物体。这些实验说明了我们的方法的能力,(1)提供故障预测出错率的强边界(密切匹配经验出错率),(2)通过预测故障提高安全性。
2022-05-06 cs.RO
Efficient Black-box Assessment of Autonomous Vehicle Safety
Trustworthy AI(可信人工智能公司)
虽然自动驾驶汽车(AV)技术已经取得了长足的进步,但我们仍然缺乏严格和可扩展的测试工具。真实世界的测试,即$\textit{de-facto}$评估方法,对公众是危险的。此外,由于故障的罕见性,需要数十亿英里的驾驶来统计验证性能声明。因此,该行业已在很大程度上转向模拟来评估AV系统。然而,仅仅拥有一个模拟堆栈并不是一个解决方案。一个仿真测试框架需要优先考虑运行哪些场景,了解所选场景如何提供故障模式的覆盖,并按照重要性对故障场景进行排序。我们实现了一个模拟测试框架,评估整个现代AV系统作为一个黑盒子。该框架估计了在控制标准交通行为的基本分布下的事故概率。为了加速稀有事件概率评估,我们有效地学习通过自适应重要性抽样方法来识别和排序故障场景。使用这个框架,我们对全栈商业AV系统Comma AI的OpenPilot进行了第一次独立评估。
2020-06-06 cs.LG cs.RO stat.ML
Discovering Closed-Loop Failures of Vision-Based Controllers via Reachability Analysis
University of Southern California(南加州大学)
本文将视觉控制器闭环故障发现建模为 HJ 可达性问题,结合仿真计算 BRT,以系统识别高维 RGB 输入下的不安全状态与故障特征。
2024-04-10 cs.AI cs.CV cs.LG
Design of a Breakaway Utensil Attachment for Enhanced Safety in Robot-Assisted Feeding
School of Mechanical and Aerospace Engineering, Nanyang Technological University(南洋理工大学机械与航天工程学院);Singapore-ETH Centre(新加坡-ETH中心)
本研究设计了一种机械分离式餐具附件,通过有限元分析和跌落测试验证,在65N力下实现失效,以增强机器人辅助进食的安全性。
2025-02-25 cs.RO
ADDT -- A Digital Twin Framework for Proactive Safety Validation in Autonomous Driving Systems
Shenzhen Institute of Artificial Intelligence and Robotics for Society(深圳市人工智能与机器人研究院);University of California, Irvine(加州大学欧文分校);Georgia Institute of Technology(佐治亚理工学院);South China University of Technology(华南理工大学)
针对自动驾驶系统因罕见极端场景导致的安全故障问题,提出ADDT数字孪生框架,通过高保真仿真和强化驱动技术主动识别隐藏故障,实现部署前安全验证,且已开源供行业使用。
2025-04-13 cs.AR cs.RO
Adaptive Failure Search Using Critical States from Domain Experts
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出一种数据驱动方法,利用分类器学习人类识别关键状态的方式,并在自适应压力测试(AST)框架中指导失效搜索,有效解决了离散动作且存在依赖关系环境下难以建立动作概率模型的问题,显著增加了自动驾驶策略失效场景中的安全违规数量。
2023-04-01 cs.AI cs.LG cs.RO
Trading Safety Versus Performance: Rapid Deployment of Robotic Swarms with Robust Performance Constraints
Stanford University(斯坦福大学);Army Research Lab(陆军研究实验室)
在本文中,我们考虑一个随机部署问题,机器人群的任务是定位至少一个机器人在一组预先分配的目标,同时满足时间的最后期限的目标。旅行时间和故障率是随机的,但相关的,因为故障率随速度增加。为了在满足最后期限的同时最大限度地提高成功的机会,控制策略必须平衡安全性和性能。我们的方法是在约束马尔可夫决策过程的理论内投射问题,从而我们寻求计算最大化成功部署概率的策略,同时确保任务的预期持续时间受给定截止日期的限制。考虑到问题参数的不确定性,我们考虑了一个强大的配方,我们提出了有效的解决方案的算法,这是独立的利益。数值实验证实了我们的理论结果,并进行了讨论。
2015-11-22 cs.RO math.OC
SAVME: Efficient Safety Validation for Autonomous Systems Using Meta-Learning
Stanford University(斯坦福大学)
本文提出SAVME,一种结合元学习与多臂赌博机的贝叶斯安全验证方法,通过学习关键场景参数和仿真保真度分布,将自动驾驶证伪验证最高加速18倍。
2023-09-30 cs.AI cs.CY cs.ET
Formal Test Synthesis for Safety-Critical Autonomous Systems based on Control Barrier Functions
California Institute of Technology(加州理工学院)
自主系统的大量增加导致了关于其在现实世界场景中的安全实例化的问题。在安全关键的环境中,例如人机交互甚至自动驾驶,故障最终可能导致生命损失。在这种情况下,本文的目的是提供一种方法,通过它可以算法测试和评估一个自治系统。给定一个具有一定操作规范的黑箱自治系统,我们构造了一个基于控制障碍函数的极大极小问题,以生成一系列测试参数,旨在最佳地评估系统是否能够满足规范。为了说明我们的研究结果,我们利用Robotarium作为一个案例研究的自主系统,声称同时满足航点导航和避障。我们表明,拟议的测试综合框架系统地发现这些序列的事件(测试),确定系统故障点。
2020-04-08 cs.FL cs.RO cs.SY