MSA at SemEval-2025 Task 3：面向多语言幻觉检测的高质量弱标注与LLM集成验证
MSA at SemEval-2025 Task 3: High Quality Weak Labeling and LLM Ensemble Verification for Multilingual Hallucination Detection
AI总结：
本文提出结合提示工程与LLM集成验证机制的多语言幻觉检测系统，通过主模型提取片段并辅以三模型概率投票和模糊匹配，在SemEval-2025 Task 3多语言任务中取得优异成绩。
摘要：
本文描述了我们为SemEval-2025 Task 3：Mu-SHROOM（多语言幻觉及相关可观察过度生成错误共享任务）提交的系统。该任务涉及检测指令微调大型语言模型（LLMs）跨多种语言生成文本中的幻觉片段。我们的方法结合了任务特定的提示工程与LLM集成验证机制，其中主模型提取幻觉片段，三个独立LLM通过基于概率的投票对其有效性进行裁决。该框架模拟了共享任务验证与测试数据中使用的人工标注流程。此外，模糊匹配优化了片段对齐。我们的系统在阿拉伯语和巴斯克语中排名第1，在德语、瑞典语和芬兰语中排名第2，在捷克语、波斯语和法语中排名第3。
英文摘要：
This paper describes our submission for SemEval-2025 Task 3: Mu-SHROOM, the Multilingual Shared-task on Hallucinations and Related Observable Overgeneration Mistakes. The task involves detecting hallucinated spans in text generated by instruction-tuned Large Language Models (LLMs) across multiple languages. Our approach combines task-specific prompt engineering with an LLM ensemble verification mechanism, where a primary model extracts hallucination spans and three independent LLMs adjudicate their validity through probability-based voting. This framework simulates the human annotation workflow used in the shared task validation and test data. Additionally, fuzzy matching refines span alignment. Our system ranked 1st in Arabic and Basque, 2nd in German, Swedish, and Finnish, and 3rd in Czech, Farsi, and French.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
