冰山一角：揭示针对LLM的一类隐藏的Task-in-Prompt对抗攻击
The TIP of the Iceberg: Revealing a Hidden Class of Task-in-Prompt Adversarial Attacks on LLMs
AI总结：
提出Task-in-Prompt（TIP）对抗攻击，通过在提示中嵌入序列到序列任务间接生成违规输入，并引入PHRYGE基准，成功绕过GPT-4o等六个先进LLM的安全防护，揭示了对齐弱点与防御需求。
摘要：
我们提出了一类针对LLM的新型越狱对抗攻击，称为Task-in-Prompt（TIP）攻击。我们的方法将序列到序列任务（如密码解码、谜语、代码执行）嵌入到模型的提示中，以间接生成被禁止的输入。为了系统地评估这些攻击的有效性，我们引入了PHRYGE基准。我们证明，我们的技术成功绕过了六个最先进的语言模型（包括GPT-4o和LLaMA 3.2）的安全防护。我们的发现突显了当前LLM安全对齐中的关键弱点，并强调了对更复杂防御策略的迫切需求。警告：本文包含仅用于研究目的的不道德查询示例。
英文摘要：
We present a novel class of jailbreak adversarial attacks on LLMs, termed Task-in-Prompt (TIP) attacks. Our approach embeds sequence-to-sequence tasks (e.g., cipher decoding, riddles, code execution) into the model's prompt to indirectly generate prohibited inputs. To systematically assess the effectiveness of these attacks, we introduce the PHRYGE benchmark. We demonstrate that our techniques successfully circumvent safeguards in six state-of-the-art language models, including GPT-4o and LLaMA 3.2. Our findings highlight critical weaknesses in current LLM safety alignments and underscore the urgent need for more sophisticated defence strategies. Warning: this paper contains examples of unethical inquiries used solely for research purposes.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
