arXivDaily arXiv每日学术速递 周一至周五更新
arXiv 2508.05179cs.CL

ATLANTIS 在 SemEval-2025 任务 3:检测问答中的幻觉文本片段

ATLANTIS at SemEval-2025 Task 3: Detecting Hallucinated Text Spans in Question Answering

Airbus AI Research(空客人工智能研究)

Catherine Kobus, François Lancelot, Marion-Cécile Martin, Nawal Ould Amer

AI总结:

本文介绍 ATLANTIS 团队在 SemEval-2025 任务 3 中检测问答系统幻觉文本片段的方法,通过少样本提示、词元分类及微调模型,在西班牙语中获最高排名,凸显上下文整合与微调的重要性。

摘要:

本文介绍了 ATLANTIS 团队在 SemEval-2025 任务 3 中的贡献,该任务聚焦于检测问答系统中的幻觉文本片段。大型语言模型(LLMs)显著推进了自然语言生成(NLG),但仍易产生幻觉,生成不正确或误导性的内容。为解决此问题,我们探索了有外部上下文和无外部上下文的方法,利用带有 LLM 的少样本提示、词元级分类或在合成数据上微调的 LLM。值得注意的是,我们的方法在西班牙语中取得了最高排名,在英语和德语中获得了有竞争力的名次。这项工作强调了整合相关上下文以减轻幻觉的重要性,并展示了微调模型和提示工程的潜力。

英文摘要:

This paper presents the contributions of the ATLANTIS team to SemEval-2025 Task 3, focusing on detecting hallucinated text spans in question answering systems. Large Language Models (LLMs) have significantly advanced Natural Language Generation (NLG) but remain susceptible to hallucinations, generating incorrect or misleading content. To address this, we explored methods both with and without external context, utilizing few-shot prompting with a LLM, token-level classification or LLM fine-tuned on synthetic data. Notably, our approaches achieved top rankings in Spanish and competitive placements in English and German. This work highlights the importance of integrating relevant context to mitigate hallucinations and demonstrate the potential of fine-tuned models and prompt engineering.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑