ShieldGemma：基于Gemma的生成式AI内容审核
ShieldGemma: Generative AI Content Moderation Based on Gemma
AI总结：
本文提出基于Gemma2的ShieldGemma安全内容审核模型套件，在四类伤害类型上超越Llama Guard和WildCard，并引入基于LLM的数据策管流程，主要用合成数据训练即实现强泛化，为LLM安全与内容审核提供开源资源。
摘要：
我们提出ShieldGemma，这是一套基于Gemma2构建的、全面的基于大语言模型（LLM）的安全内容审核模型。这些模型能够在用户输入和LLM生成输出中，对关键伤害类型（色情内容、危险内容、骚扰、仇恨言论）提供稳健的、最先进的安全风险预测。通过在公开和内部基准上的评估，我们展示了相较于现有模型（如Llama Guard，在公开基准上AU-PRC提升10.8%，以及WildCard提升4.3%）的优越性能。此外，我们提出了一种新颖的基于LLM的数据策管流程，可适配于各种安全相关任务及其他领域。我们展示了主要在合成数据上训练的模型具有强大的泛化性能。通过发布ShieldGemma，我们为研究社区提供了宝贵资源，推进LLM安全，并为开发者创建更有效的内容审核解决方案提供了可能。
英文摘要：
We present ShieldGemma, a comprehensive suite of LLM-based safety content moderation models built upon Gemma2. These models provide robust, state-of-the-art predictions of safety risks across key harm types (sexually explicit, dangerous content, harassment, hate speech) in both user input and LLM-generated output. By evaluating on both public and internal benchmarks, we demonstrate superior performance compared to existing models, such as Llama Guard (+10.8\% AU-PRC on public benchmarks) and WildCard (+4.3\%). Additionally, we present a novel LLM-based data curation pipeline, adaptable to a variety of safety-related tasks and beyond. We have shown strong generalization performance for model trained mainly on synthetic data. By releasing ShieldGemma, we provide a valuable resource to the research community, advancing LLM safety and enabling the creation of more effective content moderation solutions for developers.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
