竞赛报告：在对齐大语言模型中寻找通用越狱后门
Competition Report: Finding Universal Jailbreak Backdoors in Aligned LLMs
AI总结：
本文报告了 IEEE SaTML 2024 竞赛的结果，该竞赛旨在对齐大语言模型中寻找可充当通用 sudo 命令的越狱后门，并总结了主要发现与未来研究方向。
摘要：
大语言模型经过对齐以确保安全，防止用户生成有害内容，如错误信息或非法活动指令。然而，先前的研究表明，对齐过程容易受到投毒攻击。攻击者可以操纵安全训练数据，注入后门，这些后门如同通用的 sudo 命令：将后门字符串添加到任何提示中，就能使原本行为安全的模型产生有害响应。我们的竞赛与 IEEE SaTML 2024 同期举办，要求参赛者在多个大语言模型中寻找通用后门。本报告总结了主要发现以及未来研究的有前景的思路。
英文摘要：
Large language models are aligned to be safe, preventing users from generating harmful content like misinformation or instructions for illegal activities. However, previous work has shown that the alignment process is vulnerable to poisoning attacks. Adversaries can manipulate the safety training data to inject backdoors that act like a universal sudo command: adding the backdoor string to any prompt enables harmful responses from models that, otherwise, behave safely. Our competition, co-located at IEEE SaTML 2024, challenged participants to find universal backdoors in several large language models. This report summarizes the key findings and promising ideas for future research.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
