COSMO-RL: Towards Trustworthy LMRMs via Joint Safety and Stability
Fudan University(复旦大学);Shanghai AI Laboratory(上海人工智能实验室);The University of Hong Kong(香港大学);Shenzhen University(深圳大学);ShanghaiTech University(上海交通大学)
本文提出COSMO-RL混合强化学习框架,通过多模态多任务多目标训练,使LMRMs的安全性与能力共同提升,增强抗越狱鲁棒性并减少过度拒绝。
2025-10-05 cs.AI cs.LG
Approve What, Exactly? Effect Binding and Trusted Rendering for Agent Step-Up Authorization
SportsVision AI
该研究针对智能体升级授权的批准路径,定义12种攻击并测试现有方案,提出ASU网关防御方案,经实验验证其能有效降低多种攻击成功率,提升自动批准器的攻击捕获率。
2026-10-16 cs.AI cs.CR
What Can Be Enforced? A Theory of Certified Runtime Safety for Tool-Using Agents
研究使用工具的智能体认证运行时安全,区分三个问题:确定性门与安全策略、外部法则下的边界及证书、闭环边界识别;介绍了相关方法,通过多种实验针对差异进行研究。
2026-07-28 cs.AI cs.CR cs.LG
PIPES: Securing Agent Perception with Provenance and Priors
NVIDIA(英伟达)
该研究针对工具使用智能体感知易受状态篡改攻击的问题,提出PIPES防护方案,通过语义先验与来源筛选,大幅降低攻击成功率且保留良性效用。
2026-08-14 cs.AI cs.CR
Enhancing Guardrails for Safe and Secure Healthcare AI
Ethriva Inc.(Ethriva公司)
本文针对医疗AI中幻觉和错误信息等安全挑战,提出增强Nvidia NeMo Guardrails等现有护栏框架,以确保AI在医疗领域的安全、可靠和准确使用,从而提高患者安全性。
2024-09-25 cs.AI cs.CR
Provably Secure Agent Guardrail
University of Science and Technology of China(中国科学技术大学)
针对现有语义护栏无法提供确定性安全下界的问题,提出基于逻辑推理基本限制的新安全范式,并引入可执行证明约束动作框架,通过神经符号隔离架构实现零攻击成功率和零误报率。
2026-05-28 cs.AI cs.CR
Tell Me Something That Will Help Me Trust You: A Survey of Trust Calibration in Human-Agent Interaction
University of Maryland, Baltimore County(马里兰大学巴尔的摩郡分校);Johns Hopkins University Applied Physics Laboratory(约翰斯·霍普金斯大学应用物理实验室)
当一个人从智能代理接收到预测或建议的行动过程时,除了预测或建议本身之外,人类还需要从代理那里获得什么额外的信息来决定是信任还是拒绝预测或建议?在本文中,我们调查文献在一个单一的人类主管和一个单一的代理下属之间的信任,以确定这种额外的信息的性质和程度,并将其特征化为一个分类,可以利用未来的研究人员和智能代理从业者。通过从以人为本、以信息为中心的角度来审视这个问题,我们可以开始比较和对比不同的实现,并为未来的工作提供见解和方向。
2022-05-06 cs.AI cs.CY cs.HC
A Framework of User Experience Principles for Human-AI Agent Interaction in the Workplace
SAP SE(SAP公司);Hochschule Fresenius(弗赖辛大学);University of Missouri(密苏里大学)
研究工作场所人类与人工智能代理交互的用户体验原则,采用多方法识别并验证八项核心原则框架及标准,为设计师和工程师提供指导方针,为相关实证研究奠定结构化基础。
2026-07-23 cs.AI cs.HC
SGuard-v1: Safety Guardrail for Large Language Models
Samsung SDS Technology Research(三星SDS技术研究院)
本文提出轻量级大语言模型安全护栏SGuard-v1,由ContentFilter和JailbreakFilter两个组件构成,经指令微调后在安全基准上取得SOTA性能,兼具轻量、可解释性优势,已开源。
2025-11-16 cs.AI cs.CL cs.CR
Explainable Artificial Intelligence (XAI) for Increasing User Trust in Deep Reinforcement Learning Driven Autonomous Systems
Charles River Analytics(查尔斯河分析公司)
我们考虑的问题,提供用户的深度强化学习(RL)为基础的系统,更好地了解他们的输出时,可以信任。我们提供了一个可解释的人工智能(XAI)框架,它提供了三重解释:在当前游戏状态下系统泛化和性能的图形描述,代理在语义相似的环境中的表现如何,以及图形信息意味着什么的叙述性解释。我们为XAI框架创建了一个用户界面,并通过人类用户实验评估了其有效性。结果表明,与没有解释的AI系统相比,用户对解释的AI系统的信任和接受度在统计上显著增加。
2021-06-07 cs.AI cs.LG
Toward Pre-Deployment Assurance for Enterprise AI Agents: Ontology-Grounded Simulation and Trust Certification
Golden Gate University(金门大学);Data, Digital & IT, Novartis Healthcare Pvt. Ltd.(数据、数字与IT,诺华健康护理私人有限公司)
提出一种基于本体的验证框架,通过本体驱动的场景生成和信任证书,实现企业AI代理在部署前的自动化监管合规与安全认证。
2026-06-04 cs.AI cs.LG cs.SE
Toward Secure AI-Powered Penetration Testing Agents: Security Threats, Guardrails, and Architectural Perspectives
National Institute of Technology Calicut(印度国家技术学院卡利卡特分校)
该研究系统分析AI渗透测试代理的安全威胁,提出涵盖LLM生命周期、架构及行为的威胁分类法,并指出现有防护不足,倡导开发上下文与架构感知的专门防护机制。
2026-09-16 cs.CR
The Boy Who Cried Wolf: Adversarial Misclassification of Safe Inputs as Unsafe in Multimodal Guardrails
Zhejiang University(浙江大学);OPPO Research Institute(OPPO研究院)
该研究针对多模态安全护栏提出不安全诱导攻击,通过不安全语义蒸馏实现84%攻击成功率,揭示了当前多模态安全架构存在安全输入被误判为不安全的可用性漏洞。
2026-08-04 cs.CR
No Attack Required: Semantic Fuzzing for Specification Violations in Agent Skills
University of California, San Diego(加州大学圣迭戈分校)
本文提出Sefz框架,通过语义模糊测试发现代理技能中的规范违规问题,揭示了安全规则漏洞对用户信任的影响。
2026-05-13 cs.AI cs.CR
Influence Is Not Authority: When Causal Guardrail Signals Make Legitimate Tool Use Look Like an Attack in Tool-Using LLM Agents
University of Texas at El Paso(德克萨斯大学埃尔帕索分校);New Mexico Tech(新墨西哥理工学院);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
该研究指出基于影响的大语言模型智能体护栏无法可靠区分合法与恶意工具操作,经多组实验验证了该局限,并测试了语义监控器、影子护栏等方案的表现,为安全决策提供了参考。
2026-09-01 cs.AI cs.CR
Deploying Privacy Guardrails for LLMs: A Comparative Analysis of Real-World Applications
IBM Research(IBM研究院)
本文通过分析两个真实部署,展示了OneShield Privacy Guard框架在企业和开源环境中有效检测隐私风险,分别达到0.95和0.86的F1分数,并显著减少人工工作量,为上下文感知隐私保护提供了实践见解。
2025-01-21 cs.AI cs.CR cs.LG
Alignment Is Local: A Paired Diagnostic for GUI Agents under User-Side Persuasion
Xi’an Jiaotong University(西安交通大学);Xidian University(西安电子科技大学);Shanghai Jiao Tong University(上海交通大学);Artificial Intelligence Research Institute, China Academy of Information and Communications Technology(中国信息通信研究院人工智能研究所)
本文通过配对诊断发现GUI智能体的提示级对齐是局部现象,一行防护栏可大幅降低单次ASR,但四轮升级链会使其防护效果下降,静态单轮ASR高估了实际部署的鲁棒性。
2026-08-03 cs.CR
From Agent Traces to Trust: A Survey of Evidence Tracing and Execution Provenance in LLM Agents
Griffith University(格里菲斯大学);Jiangsu University(江苏大学);University of Southern Queensland(南方昆士兰大学);Peking University(北京大学);Great Bay University(大湾大学);Nanjing University(南京大学);Macquarie University(麦觉瑞大学);Southern University of Science and Technology(南方科学与技术大学)
本文系统综述了LLM智能体中的证据追踪与执行溯源方法,通过统一溯源视角连接检索、工具使用、记忆等环节,提出分类体系并讨论开放挑战。
2026-09-11 cs.AI cs.CR
How (un)ethical are instruction-centric responses of LLMs? Unveiling the vulnerabilities of safety guardrails to harmful queries
Indian Institute of Technology Kharagpur(印度理工学院卡拉格普尔分校);Singapore University of Technology and Design(新加坡科技设计大学)
本研究探讨了大型语言模型在生成指令为中心响应(如伪代码)时易产生不道德内容的安全漏洞,引入TechHazardQA数据集评估多个模型,发现该方式显著增加不道德响应生成率,且ROME模型编辑技术会进一步加剧此风险。
2024-11-16 cs.CL cs.CR
"What I Sign Is Not What I See": Towards Explainable and Trustworthy Cryptocurrency Wallet Signatures
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Shenzhen MSU-BIT University(深圳北理莫斯科大学)
本研究通过设计签名语义解码器,探索用户在加密货币钱包签名过程中的认知偏差,并提出更透明和可信的界面设计方法。
2026-01-23 cs.CR cs.HC
What You Approve Is What Executes: Consent Integrity for Black-Box LLM Agents
Faculty of Science and Technology, Bournemouth University(伯恩茅斯大学科学技术学院)
针对黑盒LLM代理的批准对话框存在摘要伪造漏洞,本文引入同意完整性概念,通过可信中介确保人类看到的动作与真实执行的动作一致,并分析了该机制的局限性与权衡。
2026-06-01 cs.CR cs.HC
What You Trust Is Insecure: Demystifying How Developers (Mis)Use Trusted Execution Environments in Practice
Singapore Management University(新加坡管理大学)
本文通过分析241个开源项目,揭示开发者在实际使用TEEs时存在的安全问题及SDK的局限性,强调了改进安全实践和SDK可用性的必要性。
2026-01-20 cs.CR cs.SE
GAROTA: Generalized Active Root-Of-Trust Architecture
在本文中,我们开始系统地设计一个最小的有源RoT的微型低端MCU。我们从以下问题开始:(1)在存在恶意软件的情况下,需要哪些功能和硬件支持来保证操作?,(2)如何有效地实施这一点?以及(3)这种主动RoT架构带来了哪些安全益处?然后,我们设计,实施,正式验证和评估GAROTA:广义主动根的信任架构。我们认为,GAROTA是第一个为低端MCU设计的主动式RoT的干净石板设计。我们展示了GAROTA如何保证即使是完全软件妥协的低端MCU也能执行所需的操作。我们通过在三种类型的应用程序中实现GAROTA来证明其实用性,其中触发动作的应用程序包括:传感硬件、网络事件和计时器。我们还正式指定和验证GAROTA的功能和属性。
2021-03-01 cs.CR
Trust but Verify? Uncovering the Security Debt of Autonomous Coding Agents
University of Texas at San Antonio(圣安东尼奥得克萨斯大学);Danovo Energy Solutions(Danovo能源解决方案)
本文利用AIDev数据集,通过大语言模型评判框架和人工分析,研究自主编码代理生成拉取请求中的安全代码异味。发现38.9%的请求含安全异味,供应链问题和硬编码凭证占比高,揭示了安全风险及开发者警惕性降低问题,强调需实施上下文感知安全护栏。
2026-07-21 cs.CR
You Can't Always Check What You Wanted: Selective Checking and Trusted Execution to Prevent False Actuations in Cyber-Physical Systems
针对资源受限 CPS 难以检查全部执行命令的问题,提出基于博弈论的选择性检查与延迟感知 TEE 框架 SCATE,在四类真实系统上以更低开销满足时序并提升安全。
2023-04-27 cs.CR
Hearsay: Can an Auditor Trust the Record a Deployed Agent Harness Writes?
Nanyang Technological University(南洋理工大学);National University of Singapore(新加坡国立大学);Case Western Reserve University(凯斯西储大学)
研究智能体框架自写记录的可信度,提出外部追加日志作为第二作者以增强证据效力,实验表明该方法能完整报告遗漏与捏造。
2026-09-29 cs.AI cs.CE cs.CR
Can You Trust What You See? Alpha Channel No-Box Attacks on Video Object Detection
Mission San Jose High School(Mission San Jose 高中);Missouri University of Science and Technology(密苏里科学与技术大学);Michigan State University(密歇根州立大学)
该研究提出首个基于RGBA视频alpha通道的无盒对抗攻击α-Cloak,无需访问目标模型即可隐蔽欺骗检测模型,在多类模型上实现100%攻击成功率,揭示了视频感知系统的新漏洞。
2025-10-22 cs.CR cs.CV
"You do understand that people don't trust technology?": Explaining Trusted Execution Environments to Non-Experts
Colorado State University(科罗拉多州立大学);Carnegie Mellon University(卡内基梅隆大学);IST University of Lisbon, INESC-ID(里斯本理工大学,INESC-ID)
研究通过文本解释向非专家介绍可信执行环境(TEE),发现非技术性解释(突出TEE可防范的具体威胁)最能提升理解,但对使用意愿影响甚微。
2026-05-25 cs.CR cs.HC