大模型对齐与安全

What Matters For Safety Alignment?

安全对齐中什么重要？

Xing Li, Hui-Ling Zhen, Lihao Yin, Xianzhi Yu, Zhenhua Dong, Mingxuan Yuan

机构 * Huawei Technologies Co., Ltd.（华为技术有限公司） 纠错

专题命中 越狱攻击 ：alignment(title,abstract)；safety(title,abstract)；jailbreak(abstract)；prompt injection(abstract)

AI总结 本文研究了安全对齐中关键因素，发现集成推理和自我反思机制的重要性，揭示了CoT攻击的高成功率及安全风险，强调了安全约束在模型训练中的必要性。

Comments Added more commercial model results, majority voting scores, and theoretical analysis in v2