UCSC 在 SemEval-2025 任务 3：面向 LLM 输出自动幻觉检测的上下文、模型与提示优化
UCSC at SemEval-2025 Task 3: Context, Models and Prompt Optimization for Automated Hallucination Detection in LLM Output
AI总结：
本文提出 UCSC 系统，通过上下文检索、虚假内容识别、片段映射和自动提示优化，在 SemEval-2025 Mu-SHROOM 多语言幻觉检测任务中取得所有语言平均排名第 1 的最佳性能。
摘要：
幻觉在大型语言模型回答知识密集型查询时构成重大挑战。随着 LLM 被更广泛地采用，不仅需要检测幻觉是否发生，还必须精确定位它们出现在 LLM 输出中的具体位置。SemEval 2025 任务 3，即 Mu-SHROOM：多语言幻觉及相关可观察过度生成错误共享任务，是这一方向上的近期努力。本文描述了 UCSC 系统对 Mu-SHROOM 共享任务的提交。我们引入了一个框架，该框架首先检索相关上下文，接着从答案中识别虚假内容，最后将它们映射回 LLM 输出中的文本片段。该过程通过自动优化提示得到进一步增强。我们的系统取得了最高的整体性能，在所有语言的平均排名中位列第 1。我们发布了代码和实验结果。
英文摘要：
Hallucinations pose a significant challenge for large language models when answering knowledge-intensive queries. As LLMs become more widely adopted, it is crucial not only to detect if hallucinations occur but also to pinpoint exactly where in the LLM output they occur. SemEval 2025 Task 3, Mu-SHROOM: Multilingual Shared-task on Hallucinations and Related Observable Overgeneration Mistakes, is a recent effort in this direction. This paper describes the UCSC system submission to the shared Mu-SHROOM task. We introduce a framework that first retrieves relevant context, next identifies false content from the answer, and finally maps them back to spans in the LLM output. The process is further enhanced by automatically optimizing prompts. Our system achieves the highest overall performance, ranking #1 in average position across all languages. We release our code and experiment results.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
