CCNU 在 SemEval-2025 任务 3 中的表现：利用大语言模型的内部与外部知识进行多语言幻觉标注
CCNU at SemEval-2025 Task 3: Leveraging Internal and External Knowledge of Large Language Models for Multilingual Hallucination Annotation
AI总结：
本文提出面向 Mu-SHROOM 多语言幻觉标注任务的系统，通过并行调用专长不同的 LLM 并融合内外部知识模拟众包标注，DeepSeek-V3 在印地语排名第一、七种语言进入前五。
摘要：
我们介绍了由华中师范大学（CCNU）团队为 Mu-SHROOM 共享任务开发的系统，该任务聚焦于识别问答系统中跨越14种不同语言的幻觉。我们的方法利用多个具有不同专业领域的大语言模型（LLM），并行使用它们来标注幻觉，从而有效模拟众包标注过程。此外，每位基于 LLM 的标注者在标注过程中都会整合与输入相关的内部和外部知识。通过使用开源 LLM DeepSeek-V3，我们的系统在印地语数据上取得第一名（#1），并在其他七种语言中跻身前五名。在本文中，我们还讨论了开发过程中探索过的不成功方法，并分享了参与此次共享任务所获得的关键见解。
英文摘要：
We present the system developed by the Central China Normal University (CCNU) team for the Mu-SHROOM shared task, which focuses on identifying hallucinations in question-answering systems across 14 different languages. Our approach leverages multiple Large Language Models (LLMs) with distinct areas of expertise, employing them in parallel to annotate hallucinations, effectively simulating a crowdsourcing annotation process. Furthermore, each LLM-based annotator integrates both internal and external knowledge related to the input during the annotation process. Using the open-source LLM DeepSeek-V3, our system achieves the top ranking (\#1) for Hindi data and secures a Top-5 position in seven other languages. In this paper, we also discuss unsuccessful approaches explored during our development process and share key insights gained from participating in this shared task.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
