arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~
arXiv 2409.14038cs.AIcs.CLcs.IR
收藏

OAEI-LLM:用于理解本体匹配中大语言模型幻觉的基准数据集

OAEI-LLM: A Benchmark Dataset for Understanding Large Language Model Hallucinations in Ontology Matching

Australian National University, School of Computing(澳大利亚国立大学,计算机学院);Monash University, Faculty of Information Technology(墨尔本大学,信息技术学院)

Zhangcheng Qiang, Kerry Taylor, Weiqing Wang, Jing Jiang

AI总结:

OAEI-LLM数据集旨在通过评估本体匹配任务中大语言模型的幻觉现象,为理解LLM幻觉提供基准支持。

摘要:

大语言模型(LLMs)的幻觉现象在领域特定的下游任务中普遍存在,本体匹配(OM)也不例外。由于在OM任务中使用LLMs的普及性,亟需基准数据集来更好地理解LLMs的幻觉现象。OAEI-LLM数据集是Ontology Alignment Evaluation Initiative(OAEI)数据集的扩展版本,用于评估OM任务中LLM特定的幻觉现象。我们概述了数据集构建和模式扩展的方法,并提供了潜在使用案例的例子。

英文摘要:

Hallucinations of large language models (LLMs) commonly occur in domain-specific downstream tasks, with no exception in ontology matching (OM). The prevalence of using LLMs for OM raises the need for benchmarks to better understand LLM hallucinations. The OAEI-LLM dataset is an extended version of the Ontology Alignment Evaluation Initiative (OAEI) datasets that evaluate LLM-specific hallucinations in OM tasks. We outline the methodology used in dataset construction and schema extension, and provide examples of potential use cases.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑