AI 大模型

大模型对齐与安全

大模型对齐、安全、越狱、红队、提示注入和可信评测。

2026-01-09 至 2026-01-09 共收录 2 篇信号源：cs.CL, cs.AI, cs.CY, cs.LG

1. 越狱攻击 2 篇

2503.01839 2026-01-09 cs.CR cs.AI cs.CL cs.CV 73%

Jailbreaking Safeguarded Text-to-Image Models via Large Language Models

通过大型语言模型对受保护的文本到图像模型进行劫持

Zhengyuan Jiang, Yuepeng Hu, Yuchen Yang, Yinzhi Cao, Neil Zhenqiang Gong

专题命中越狱攻击：safety(abstract)；jailbreak(abstract)；分类 cs.CL、cs.AI

AI总结本文提出了一种利用微调大型语言模型来劫持受安全防护的文本到图像模型的方法，有效绕过安全防护并优于现有攻击技术。

Comments Accepted by EACL 2026 Findings

2508.10991 2026-01-09 cs.CR cs.AI 70%

MCP-Guard: A Multi-Stage Defense-in-Depth Framework for Securing Model Context Protocol in Agentic AI

MCP-Guard: 一种多阶段纵深防御框架，用于保障代理AI中的模型上下文协议安全

Wenpeng Xing, Zhonghao Qi, Yupeng Qin, Yilin Li, Caini Chang, Jiahui Yu, Changting Lin, Zhenzhen Xie, Meng Han

机构 * Zhejiang University（浙江大学）； Binjiang Institute of Zhejiang University（浙江大学滨江研究院）； The Chinese University of Hong Kong（香港中文大学）； Shandong University（山东大学）

专题命中越狱攻击：jailbreak(abstract)；prompt injection(abstract)；分类 cs.AI

AI总结 MCP-Guard通过多阶段防御框架提升LLM与工具交互的安全性，利用E5模型和仲裁器实现高准确率的对抗性提示检测，并通过MCP-ATTACKBENCH验证其有效性。