Lingo_Research_Group 在 SemEval-2026 任务 9：评估用于极化检测的提示变体
Lingo_Research_Group at SemEval-2026 Task 9: Evaluating Prompt Variants for Polarization Detection
AI总结：
本文针对 SemEval-2026 任务 9 的多语言极化检测，通过设计 12 种不同提示变体，使用 aya-101 和 Gemma3-27B 模型，在三个子任务上评估提示方法的效果，发现提示方法在粗粒度极化检测上有效，但在细粒度多标签分类上困难增加。
摘要：
本文提交的成果针对 SemEval-2026 任务 9：多语言文本分类挑战——极化检测，涵盖了所有三个子任务：(1) 二元极化检测，(2) 极化类型分类，以及 (3) 极化表现识别。我们采用系统性的短设计提示研究方法，考虑了 12 种在术语清晰度、定义详细程度、推理指导以及上下文示例使用上不同的设计提示。实验使用 aya-101 和 Gemma3-27B 进行，后者因性能考虑在开发阶段结束时被选用于提交。我们的系统在官方测试集上（22 种语言的平均值）在子任务 1 上的平均宏 F1 得分为 0.762，子任务 2 为 0.587，子任务 3 为 0.444，平均准确率分别为 0.819、0.678 和 0.498。通过跨任务和跨语言分析，我们证明基于提示的方法可以有效检测粗粒度极化，但在细粒度多标签社会语言学分类方面遇到越来越多的困难。
英文摘要：
Our submission presented in this paper is for SemEval-2026 Task 9: Multilingual Text Classification Challenge - Polarization Detection and it covers all three subtasks: (1) binary polarization detection, (2) polarization type classification and (3) polarization manifestation identification. We adopt a systematic approach of research on short designed prompts by considering twelve designed prompts that are different in terminology clarity, detail of the definition, guidance of reasoning and in-context examples use. The experiments are conducted using aya-101 and Gemma3-27B, with the latter chosen for the submission at the end of the development through performance considerations. Our system has an average macro level F1-score of 0.762 on Subtask 1, 0.587 on Subtask 2 and 0.444 on Subtask 3 with the average accuracy of 0.819, 0.678 and 0.498, respectively, on the official test set averaged among 22 languages, respectively. With cross-task and cross-lingual analysis, we demonstrate that prompt-based approaches can be used effectively to detect coarse grained polarization but encounter more and more difficulties as far as fine-grained and multi-label sociolinguistic classification is concerned.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
