ArGuard 共享任务:阿拉伯语梗图与 LLM 提示词中的有害内容检测
ArGuard Shared Task: Harmful Content Detection in Arabic Memes and LLM Prompts
- Qatar Computing Research Institute(卡塔尔计算研究所)
- Hamad Bin Khalifa University(哈马德·本·哈利法大学)
- Northwestern University in Qatar(西北大学卡塔尔分校)
机构由 AI 辅助整理,请以论文原文为准。
AI总结:
ArGuard 共享任务旨在检测阿拉伯语梗图和 LLM 提示词中的有害内容,包含多模态仇恨检测和提示词安全两个赛道,最佳系统在四个子任务上取得不同宏 F1 分数,其中细粒度梗图分类最具挑战性。
AI中文摘要:
ArGuard 是一项关于阿拉伯语梗图和 LLM 提示词中有害内容检测的共享任务。该任务包含两个赛道:赛道 A 专注于阿拉伯语梗图中的多模态仇恨检测,而赛道 B 则针对阿拉伯语 LLM 安全评估中的有害提示词检测。共有 58 支团队注册,35 支团队参与了最终评估,27 支团队提交了系统描述论文。参赛团队探索了诸如 AraBERT、Jais 和 Qwen3-VL 等模型。最佳系统在 A1 上取得了 0.823 的宏 F1 分数,在 A2 上取得了 0.419,在 B1 上取得了 0.984,在 B2 上取得了 0.790。A2 中的细粒度梗图分类是最具挑战性的设置,部分原因是标签稀疏和训练-测试分布偏移。
英文摘要:
ArGuard is a shared task on harmful content detection in Arabic memes and LLM prompts. It includes two tracks: Track A focuses on multimodal hate detection in Arabic memes, while Track B addresses harmful prompt detection for Arabic LLM safety evaluation. In total, 58 teams registered, 35 participated in the final evaluation, and 27 submitted system-description papers. Participating teams explored models such as AraBERT, Jais, and Qwen3-VL. The best systems achieved macro-F1 scores of 0.823 on A1, 0.419 on A2, 0.984 on B1, and 0.790 on B2. Fine-grained meme classification in A2 was the most challenging setting, partly due to sparse labels and train-test distribution shifts.