大模型对齐与安全

MPIB: A Benchmark for Medical Prompt Injection Attacks and Clinical Safety in LLMs

MPIB：用于医疗提示注入攻击和大语言模型临床安全性的基准

Junhyeok Lee, Han Jang, Kyu Sung Choi

机构 * Seoul National University College of Medicine（首尔国立大学医学院） ； Seoul National University（首尔国立大学） ； Seoul National University College of Medicine, Seoul National University Hospital（首尔国立大学医学院、首尔国立大学医院） 纠错

专题命中 提示注入 ：safety(title,abstract)；prompt injection(title,abstract)；分类 cs.CL、cs.LG

AI总结 MPIB是一个用于评估医疗提示注入攻击和大语言模型临床安全性的基准，通过测量临床危害事件率和攻击成功率来评估模型的安全性。

Comments 19 pages, 7 figures, 18 tables. Accepted to Findings of EMNLP 2026

Semantic Overlays: Mitigating Prompt Injection with Annotations Beyond Tokens and Steering Vectors

语义覆盖层：通过超越 token 和引导向量的注释缓解提示注入攻击

Joshua Penman

专题命中 提示注入 ：prompt injection(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本研究提出 Semantic Overlays 技术，通过在冻结语言模型残差流上应用小型学习适配器构建带外注释通道，有效缓解提示注入攻击，在多个基准测试中大幅降低攻击成功率且保持模型效用。

Comments 21 pages, 4 figures, 13 tables. Interactive demo: this https URL (https://semantic-overlays.vercel.app). Code and released adapters: this https URL (https://github.com/JoshuaSP/semantic-overlays)

What Guides the Agent? Adjudicating Unauthorized Behavior via Localizing Behavior-Guiding Instructions

智能体的决策依据是什么？通过定位行为引导指令来裁决未授权行为

Yichao Gao, Yumo Zhang, Yunhao Yao, Haohua Du, Puhan Luo, Ruiqi Li, Zhiqiang Wang

专题命中 提示注入 ：prompt injection(abstract)；分类 cs.AI

AI总结 针对LLM智能体易受动态注入攻击的问题，提出Attnlocate框架，通过目标检测定位行为引导指令以裁决未授权行为，在多场景下表现优异且可跨模型迁移。

WebMCP-Phalanx: Enforcing and Characterizing Trust Boundaries for Browser-Integrated LLM Agents

WebMCP-Phalanx：为浏览器集成的大语言模型智能体实施并刻画信任边界

Lin-Fa Lee, YI-YU Chang, Kuo-Hui Yeh

专题命中 提示注入 ：prompt injection(abstract)；分类 cs.AI

AI总结 针对浏览器集成 LLM 智能体的安全风险，提出 WebMCP-Phalanx 双层架构，验证其可降低攻击成功率、阻断多数提示注入，仅少量工具返回攻击成功，任务效用未受明显影响。

Comments 8 pages, 1 figure, AAAI2027

TrustShiftProbe: Characterizing, Benchmarking, and Defending Staged Trust Attacks on MCP Servers

TrustShiftProbe：对MCP服务器上的阶段性信任攻击进行表征、基准测试与防御

Mehrdad Rostamzadeh, Sidhant Narula, Mohammad Ghasemigol, Daniel Takabi

专题命中 提示注入 ：prompt injection(abstract)；分类 cs.AI

AI总结 本研究针对MCP服务器的阶段性信任攻击提出TrustShiftProbe框架，建立威胁模型、攻击引擎与防御机制SHIELD，使攻击成功率从69.5%降至42.7%

Beyond OAuth: Task-Scoped Authorization for AI Agents via Natural Language Slices

PAuth - 精确任务范围授权 for 代理

Reshabh K Sharma, Linxi Jiang, Shuo Chen, Zhiqiang Lin

机构 * University of Washington（华盛顿大学） ； The Ohio State University（俄亥俄州立大学） ； Microsoft Research（微软研究院） 纠错

专题命中 提示注入 ：prompt injection(abstract)；分类 cs.AI

AI总结 PAuth通过隐式授权模型精确控制代理执行任务所需的操作权限，通过NL切片和信封结构确保操作合法性，实验表明其在安全和性能上均表现优异。