大模型对齐与安全

Think Twice Before You Act: Protecting LLM Agents Against Tool Description Poisoning via Isolated Planning

三思而后行：通过隔离规划保护LLM代理免受工具描述投毒攻击

Shanghao Shi, Xiao Wang, Chaoyu Zhang, Hao Li, Wenjing Lou, Thomas Hou, Yevgeniy Vorobeychik, Chongjie Zhang, Ning Zhang

专题命中 提示注入 ：prompt injection(abstract)

AI总结 提出Tool-Guard系统级防御，通过隔离规划机制将可疑工具调用隔离到受感染列表，阻断投毒描述持续影响，在AgentDojo和ASB基准上显著降低攻击成功率并保持任务效用。

Comments Accepted to ICML 2026

Understanding and Mitigating Prompt Leaking Attacks in Real-World LLM-Based Applications

理解并缓解真实世界基于LLM的应用中的提示泄露攻击

Yong Yang, Chong Fu, Tong Zhang, Rui Zeng, Qingming Li, Tianyu Du, Zonghui Wang, Shouling Ji, Wenzhi Chen

专题命中 提示注入 ：alignment(abstract)

AI总结 本研究系统测量了1200个真实世界基于LLM的应用，发现超过80%会泄露系统提示，并提出了基于注意力漂移分析的AREA防御方法，在保持可用性的同时有效防止泄露。

Comments Accepted at ACM CCS 2026

The Gate Is Only as Honest as Its Contracts: ContractGuard for the Contract Layer of Risk-Aware Causal Gating

门仅与其合约一样诚实：面向风险感知因果门控合约层的ContractGuard

Laxmipriya Ganesh Iyer, Rahul Suresh Babu

专题命中 提示注入 ：prompt injection(abstract)

AI总结 针对工具增强型LLM代理的间接提示注入，提出ContractGuard，通过验证合约完整性（而非风险标签）来防御攻击，在基准测试中实现零注入成功率。

Review the Code, Not the Story: A Vision and Protocol for Code-First Peer Review

审查代码，而非故事：代码优先同行评审的愿景与协议

Jienan Chen

专题命中 提示注入 ：prompt injection(abstract)

AI总结 提出代码优先同行评审协议，由AI系统构建环境、执行实验并生成标准化审查包，将评审焦点从叙述转向可执行证据。

Comments 17 pages, vision and protocol paper

Confused ChatGPT: Cross-App Context Poisoning via First-Party APIs

困惑的ChatGPT：通过第一方API的跨应用上下文投毒

Chao Wang, Somesh Jha, Zhiqiang Lin

专题命中 提示注入 ：prompt injection(abstract)

AI总结 本文发现ChatGPT Apps中由于共享聊天上下文缺乏隔离，恶意应用可通过第一方API注入持久性内容，导致跨应用上下文投毒攻击，并展示了两种攻击载荷。

From General Vision to Reliable Traversability Estimation: Adapting Vision Foundation Models for Unstructured Outdoor Environments

从通用视觉到可靠的可通行性估计：适应视觉基础模型用于非结构化户外环境

Ji-Hoon Hwang, Jisung Bae, Dong-Wook Kim, Yeonkyu Lee, Seung-Woo Seo

专题命中 提示注入 ：safety(abstract)

AI总结 提出ViTA框架，通过可学习提示、视角多样化训练和几何知识蒸馏，将视觉基础模型适应于非结构化户外环境的可靠可通行性估计，显著降低误报并提升跨域泛化。

Comments 8 pages, 5figures

Can It Reach the Generator? Investigating the Survival of Prompt-Injection Attacks in Realistic RAG Settings

它能到达生成器吗？探究真实RAG设置中提示注入攻击的存活情况

Yu Yin, Shuai Wang, Bevan Koopman, Guido Zuccon

专题命中 提示注入 ：prompt injection(abstract)

AI总结 本文在真实的三阶段RAG流水线（检索器→LLM重排序器→LLM生成器）中重新评估了七种生成式引擎优化（GEO）攻击，发现基于梯度和指令覆盖的攻击在到达生成器前大多失效，仅LLM驱动的提示注入保持端到端有效，且所有攻击易被轻量级防护检测。

Comments 18 pages, 6 figures

How Agentic AI Coding Assistants Become the Attacker's Shell

自主AI编码助手如何成为攻击者的Shell

Yue Liu, Yanjie Zhao, Yunbo Lyu, Ting Zhang, Haoyu Wang, David Lo

专题命中 提示注入 ：prompt injection(abstract)

AI总结 本文研究了自主AI编码助手因依赖未审查外部工件而面临提示注入攻击的风险，分析了攻击机制、流行程度、现有防御的局限，并提出了未来研究方向。

Constraining Host-Level Abuse in Self-Hosted Computer-Use Agents via TEE-Backed Isolation

通过TEE后置隔离约束自托管计算机使用代理的主机级滥用

Di Lu, Bo Zhang, Xiyuan Li, Yongzhi Liao, Xuewen Dong, Yulong Shen, Zhiquan Liu, Jianfeng Ma

专题命中 提示注入 ：prompt injection(abstract)

AI总结 本文提出基于操作的风险约束模型，通过TEE后置可信操作平面保护关键安全功能，实现对自托管计算机使用代理操作的安全限制。

AgentDyn: Are Your Agent Security Defenses Deployable in Real-World Dynamic Environments?

AgentDyn: 您的代理安全防御能在现实世界动态环境中部署吗？

Hao Li, Ruoyao Wen, Shanghao Shi, Ning Zhang, Yevgeniy Vorobeychik, Chaowei Xiao

专题命中 提示注入 ：prompt injection(abstract)

AI总结 本文揭示现有代理安全基准的三大缺陷，提出AgentDyn基准，包含60个挑战性开放任务和560个注入测试用例，评估十种先进防御，发现现有防御不足或过度防御，亟需更适应动态环境的基准。

Comments 26 Pages, 17 Tables

Trace: Unmasking AI Attack Agents Through Terminal Behavior Fingerprinting

Trace：通过终端行为指纹揭示AI攻击代理

Murali Ediga, Sudipta Chattopadhyay

专题命中 提示注入 ：prompt injection(abstract)

AI总结 本文提出Trace框架，通过终端命令序列识别AI攻击代理模型家族，利用防御性提示注入策略提取系统提示，提升攻击意图分析能力。

Parasites in the Toolchain: A Large-Scale Analysis of Attacks on the MCP Ecosystem

工具链中的寄生体：对MCP生态系统的大型分析

Shuli Zhao, Qinsheng Hou, Zihan Zhan, Yanhao Wang, Yuchong Xie, Yu Guo, Libo Chen, Shenghong Li, Zhi Xue

专题命中 提示注入 ：prompt injection(abstract)

AI总结 研究发现MCP生态中存在寄生工具链攻击，攻击者通过恶意指令渗透工具链，窃取隐私数据，揭示MCP缺乏安全隔离机制，需加强防御。

Comments Accepted by IEEE Symposium on Security and Privacy, 2026

Ghost in the Agent: Redefining Information Flow Tracking for LLM Agents

代理中的幽灵：重新定义LLM代理的信息流跟踪

Yuandao Cai, Wensheng Tang, Cheng Wen, Shengchao Qin

专题命中 提示注入 ：prompt injection(abstract)

AI总结 本文提出NeuroTaint框架，通过语义证据、因果推理和持久上下文跟踪，解决LLM代理中信息流跟踪问题，优于现有基准方法。

LLM-Enabled Open-Source Systems in the Wild: An Empirical Study of Vulnerabilities in GitHub Security Advisories

基于大语言模型的开源系统在现实中的应用：对GitHub安全通告中漏洞的实证研究

Fariha Tanjim Shifat, Hariswar Baburaj, Ce Zhou, Jaydeb Sarker, Mia Mohammad Imran

专题命中 提示注入 ：prompt injection(abstract)

AI总结 本研究分析了295份GitHub安全通告，发现大多数漏洞映射到已知CWE，但模型中介暴露不足，建议结合CWE和OWASP视角更全面地评估LLM集成系统的漏洞。

Comments The 2nd International Workshop on Large Language Model Supply Chain Analysis (LLMSC 2026)

KAIJU: An Executive Kernel for Intent-Gated Execution of LLM Agents

KAIJU：一种意图门控的LLM代理执行内核

Cormac Guerin, Frank Guerin

专题命中 提示注入 ：prompt injection(abstract)

AI总结 KAIJU通过解耦LLM推理层与代理执行流程，引入意图门控执行和执行内核，提升LLM代理在复杂任务中的执行效率与安全性。

An Empirical Study on the Effects of System Prompts in Instruction-Tuned Models for Code Generation

对指令微调模型在代码生成中系统提示效果的实证研究

Zaiyu Cheng, Antonio Mastropaolo

专题命中 提示注入 ：alignment(abstract)

AI总结 本研究探讨了系统提示对代码生成模型性能的影响，发现提示具体性与模型规模、编程语言等因素相关，且不同语言对提示敏感性存在差异。

Comments 34 pages, 12 tables, 3 figures

When Skills Lie: Hidden-Comment Injection in LLM Agents

当技能欺骗：LLM代理中的隐藏评论注入

Qianli Wang, Boyang Ma, Minghui Xu, Yue Zhang

专题命中 提示注入 ：prompt injection(abstract)

AI总结 研究发现LLM代理在处理隐藏评论时存在安全风险，通过防御性提示可阻止恶意指令并揭示潜在威胁。

Comments 4 pages

Securing LLM-as-a-Service for Small Businesses: An Industry Case Study of a Distributed Chatbot Deployment Platform

为中小企业保障LLM即服务的安全性：一个分布式聊天机器人部署平台的行业案例研究

Jiazhu Xie, Bowen Li, Heyu Fu, Chong Gao, Ziqi Xu, Fengling Han

专题命中 提示注入 ：prompt injection(abstract)

AI总结 本文提出一个开源多租户平台，帮助中小企业低成本安全部署定制LLM聊天机器人，通过分布式集群和加密网络实现资源池化与隔离，同时集成防提示注入攻击机制。

Comments Accepted by AISC 2026

Journal ref Australasian Information Security Conference 2026

Large Language Models for Cyber Security

Raunak Somani, Aswani Kumar Cherukuri

专题命中 提示注入 ：prompt injection(abstract)

PhantomLint: Principled Detection of Hidden LLM Prompts in Structured Documents

Toby Murray

专题命中 提示注入 ：prompt injection(abstract)

AgentSight: System-Level Observability for AI Agents Using eBPF

Yusheng Zheng, Yanpeng Hu, Tong Yu, Andi Quinn

专题命中 提示注入 ：prompt injection(abstract)

Journal ref PACMI'2025

Invitation Is All You Need! Promptware Attacks Against LLM-Powered Assistants in Production Are Practical and Dangerous

Ben Nassi, Stav Cohen, Or Yair

专题命中 提示注入 ：prompt injection(abstract)

Comments https://sites.google.com/view/invitation-is-all-you-need/home

A Systematization of Security Vulnerabilities in Computer Use Agents

Daniel Jones, Giorgio Severi, Martin Pouliot, Gary Lopez, Joris de Gruyter, Santiago Zanella-Beguelin, Justin Song, Blake Bullwinkel, Pamela Cortez, Amanda Minnich

专题命中 提示注入 ：prompt injection(abstract)

Pixel-SAIL: Single Transformer For Pixel-Grounded Understanding

Tao Zhang, Xiangtai Li, Zilong Huang, Yanwei Li, Weixian Lei, Xueqing Deng, Shihao Chen, Shunping Ji, Jiashi Feng

专题命中 提示注入 ：prompt injection(abstract)

TestART: Improving LLM-based Unit Testing via Co-evolution of Automated Generation and Repair Iteration

Siqi Gu, Quanjun Zhang, Kecheng Li, Chunrong Fang, Fangyuan Tian, Liuchuan Zhu, Jianyi Zhou, Zhenyu Chen

专题命中 提示注入 ：prompt injection(abstract)

Demystifying RCE Vulnerabilities in LLM-Integrated Apps

Tong Liu, Zizhuang Deng, Guozhu Meng, Yuekang Li, Kai Chen

专题命中 提示注入 ：prompt injection(abstract)

Journal ref Proceedings of the 2024 on ACM SIGSAC Conference on Computer and Communications Security (CCS '24)

Here Comes The AI Worm: Unleashing Zero-click Worms that Target GenAI-Powered Applications

Stav Cohen, Ron Bitton, Ben Nassi

专题命中 提示注入 ：prompt injection(abstract)

Comments Website: https://sites.google.com/view/compromptmized