OPDAI在SemEval-2024任务6：小型大语言模型可利用弱监督数据加速幻觉检测
OPDAI at SemEval-2024 Task 6: Small LLMs can Accelerate Hallucination Detection with Weakly Supervised Data
AI总结：
本文提出利用提示工程与少样本学习筛选优质大语言模型生成弱监督数据，并通过微调证明小型大语言模型在幻觉检测上可媲美大型模型及GPT-4提示方法。
摘要：
本文主要描述了一个用于大语言模型幻觉检测的统一系统，该系统在SemEval-2024任务6的模型无关赛道中获得第二名，并在模型相关赛道中也取得了可观的成绩。该任务旨在在没有标注训练数据的情况下，针对三种不同的文本生成任务，利用大语言模型检测幻觉。我们利用提示工程和少样本学习来验证不同大语言模型在验证数据上的性能。然后，我们选择性能较好的大语言模型来生成高质量的弱监督训练数据，这些数据既满足不同大语言模型之间的一致性，也满足最优大语言模型在不同采样参数下的一致性。此外，我们利用构建的训练数据对不同的大语言模型进行微调，发现与大型大语言模型以及使用GPT-4的基于提示的方法相比，一个相对较小的大语言模型可以在幻觉检测方面达到具有竞争力的性能水平。
英文摘要：
This paper mainly describes a unified system for hallucination detection of LLMs, which wins the second prize in the model-agnostic track of the SemEval-2024 Task 6, and also achieves considerable results in the model-aware track. This task aims to detect hallucination with LLMs for three different text-generation tasks without labeled training data. We utilize prompt engineering and few-shot learning to verify the performance of different LLMs on the validation data. Then we select the LLMs with better performance to generate high-quality weakly supervised training data, which not only satisfies the consistency of different LLMs, but also satisfies the consistency of the optimal LLM with different sampling parameters. Furthermore, we finetune different LLMs by using the constructed training data, and finding that a relatively small LLM can achieve a competitive level of performance in hallucination detection, when compared to the large LLMs and the prompt-based approaches using GPT-4.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
