LLMs 在翻译中迷失：M-ALERT 揭示跨语言安全不一致性
LLMs Lost in Translation: M-ALERT uncovers Cross-Linguistic Safety Inconsistencies
AI总结：
本研究提出多语言安全基准 M-ALERT，评估 39 个 LLM 在五种语言中的安全性，发现跨语言和类别存在显著安全不一致性，强调多语言安全实践的必要性。
摘要：
构建跨多种语言的安全大型语言模型（LLMs）对于确保安全访问和语言多样性至关重要。为此，我们对当前 LLM 格局进行了大规模、全面的安全评估。基于此，我们引入了 M-ALERT，一个多语言基准，用于评估 LLM 在五种语言（英语、法语、德语、意大利语和西班牙语）中的安全性。M-ALERT 每种语言包含 15k 个高质量提示，总计 75k 个，并带有按类别划分的注释。我们对 39 个最先进的 LLM 进行了广泛实验，结果凸显了语言特定安全分析的重要性，揭示了模型在跨语言和类别中经常表现出显著的安全不一致性。例如，Llama3.2 在意大利语的 crime_tax 类别中表现出高度不安全，但在其他语言中保持安全。类似的不一致性在所有模型中均可观察到。相反，某些类别，如 substance_cannabis 和 crime_propaganda，在跨模型和语言中持续触发不安全响应。这些发现强调了在 LLM 中实施稳健的多语言安全实践的必要性，以确保在不同社区中的负责任使用。
英文摘要：
Building safe Large Language Models (LLMs) across multiple languages is essential in ensuring both safe access and linguistic diversity. To this end, we conduct a large-scale, comprehensive safety evaluation of the current LLM landscape. For this purpose, we introduce M-ALERT, a multilingual benchmark that evaluates the safety of LLMs in five languages: English, French, German, Italian, and Spanish. M-ALERT includes 15k high-quality prompts per language, totaling 75k, with category-wise annotations. Our extensive experiments on 39 state-of-the-art LLMs highlight the importance of language-specific safety analysis, revealing that models often exhibit significant inconsistencies in safety across languages and categories. For instance, Llama3.2 shows high unsafety in category crime_tax for Italian but remains safe in other languages. Similar inconsistencies can be observed across all models. In contrast, certain categories, such as substance_cannabis and crime_propaganda, consistently trigger unsafe responses across models and languages. These findings underscore the need for robust multilingual safety practices in LLMs to ensure responsible usage across diverse communities.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
