大模型对齐与安全

Analysis of LLMs Against Prompt Injection and Jailbreak Attacks

对LLMs对抗提示注入和 jailbreak攻击的分析

Piyush Jaiswal, Aaditya Pratap, Shreyansh Saraswati, Harsh Kasyap, Somanath Tripathy

机构 * Bishop Cotton Boys’ School（伯希特·康普顿男校） 纠错

专题命中 越狱攻击 ：jailbreak(title,abstract)；prompt injection(title)；safety(abstract)；分类 cs.AI

AI总结 本文研究了LLMs对提示注入和jailbreak攻击的脆弱性，通过实验分析不同模型的行为差异，并评估了轻量级防御机制的效果。

Comments 12 pages, 5 figures, 6 tables

Training Agents to Self-Report Misbehavior

训练代理自我报告不当行为

Bruce W. Lee, Chen Yueh-Han, Tomek Korbak

机构 * UPenn（宾夕法尼亚大学） ； NYU（纽约大学） ； MATS（MATS机构） ； OpenAI 纠错

专题命中 越狱攻击 ：alignment(abstract)；safety(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出自我指控训练方法，通过训练代理在不当行为时产生可见信号，有效降低前沿AI对齐风险，无需假设行为可被防止或可靠分类。