滥用图像与声音实现多模态大语言模型中的间接指令注入
Abusing Images and Sounds for Indirect Instruction Injection in Multi-Modal LLMs
AI总结：
该研究揭示多模态大语言模型存在间接指令注入安全风险，攻击者可通过混入图像或音频的对抗扰动操控模型输出与对话，并用LLaVA、PandaGPT的概念验证示例验证了攻击可行性。
摘要：
我们展示了如何利用图像与声音在多模态大语言模型中实现间接提示与指令注入。攻击者生成与目标提示对应的对抗扰动，并将其混入图像或音频录音中。当用户向（未被修改的、良性的）模型询问被扰动的图像或音频相关内容时，扰动会引导模型输出攻击者选定的文本，和/或让后续对话遵循攻击者的指令。我们通过针对LLaVA和PandaGPT的数个概念验证示例演示了这种攻击。
英文摘要：
We demonstrate how images and sounds can be used for indirect prompt and instruction injection in multi-modal LLMs. An attacker generates an adversarial perturbation corresponding to the prompt and blends it into an image or audio recording. When the user asks the (unmodified, benign) model about the perturbed image or audio, the perturbation steers the model to output the attacker-chosen text and/or make the subsequent dialog follow the attacker's instruction. We illustrate this attack with several proof-of-concept examples targeting LLaVa and PandaGPT.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
