arXivDaily arXiv每日学术速递 周一至周五更新
arXiv 2411.12759cs.CLcs.AI

一种消除大语言模型辅助因果发现中幻觉的新方法

A Novel Approach to Eliminating Hallucinations in Large Language Model-Assisted Causal Discovery

Stony Brook University(石溪大学)

Grace Sng, Yanming Zhang, Klaus Mueller

AI总结:

本文首次调查了大语言模型在因果发现中的幻觉问题,提出用RAG以及多模型辩论加仲裁器的新方法来减少幻觉,并验证了两种方法效果相当。

摘要:

大语言模型(LLMs)在因果发现中越来越多地被用作人类领域专家的替代品,这凸显了选择最优模型的必要性。本文首次对用于因果发现的主流大语言模型进行了幻觉调查。我们表明,在因果发现中使用大语言模型时确实存在幻觉,因此选择哪个大语言模型非常重要。我们提出在高质量数据可用时,使用检索增强生成(RAG)来减少幻觉。此外,我们引入了一种新方法,在辩论中采用多个大语言模型并设置一个仲裁器来审计因果图中的边,实现了与RAG相当的幻觉减少效果。

英文摘要:

The increasing use of large language models (LLMs) in causal discovery as a substitute for human domain experts highlights the need for optimal model selection. This paper presents the first hallucination survey of popular LLMs for causal discovery. We show that hallucinations exist when using LLMs in causal discovery so the choice of LLM is important. We propose using Retrieval Augmented Generation (RAG) to reduce hallucinations when quality data is available. Additionally, we introduce a novel method employing multiple LLMs with an arbiter in a debate to audit edges in causal graphs, achieving a comparable reduction in hallucinations to RAG.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑