混合专家模型中的缓冲区溢出
Buffer Overflow in Mixture of Experts
Google DeepMind（谷歌DeepMind）
AI总结：
本研究揭示混合专家模型中的专家路由策略因跨批次依赖而存在安全漏洞，恶意查询可影响同批次其他良性查询的输出，并通过概念验证攻击予以证实。
摘要：
混合专家（MoE）已成为扩展大型基础模型同时保持推理成本稳定的关键组成部分。我们表明，具有跨批次依赖性的专家路由策略容易受到攻击。恶意查询可以被发送到模型，并且如果它们被分组在同一批次中，它们可以影响模型对其他良性查询的输出。我们通过一个玩具实验环境中的概念验证攻击来证明这一点。
英文摘要：
Mixture of Experts (MoE) has become a key ingredient for scaling large foundation models while keeping inference costs steady. We show that expert routing strategies that have cross-batch dependencies are vulnerable to attacks. Malicious queries can be sent to a model and can affect a model's output on other benign queries if they are grouped in the same batch. We demonstrate this via a proof-of-concept attack in a toy experimental setting.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
