使用大型语言模型在知识图谱上进行多跳问答
Multi-hop Question Answering over Knowledge Graphs using Large Language Models
AI总结：
本文评估了大型语言模型在多跳知识图谱问答中的能力，针对不同规模和性质的知识图谱提出相应的信息提取与输入策略，并在六个知识图谱上验证了信息检索和语义解析方法均可与LLM结合取得有竞争力的效果。
摘要：
知识图谱（KGs）是具有特定结构的大型数据集，用于表示大型知识库（KB），其中每个节点代表一个关键实体，节点之间的关系为带类型的边。为从知识库中提取信息而形成的自然语言查询，需要从特定节点出发，并在相应知识图谱的多条边上进行推理，以得到正确的答案节点集合。知识图谱问答的传统方法基于（a）语义解析（SP），即利用节点和边的嵌入生成逻辑形式（例如 S 表达式、SPARQL 查询等），然后对这些表示进行推理或微调语言模型以直接生成最终答案；或（b）基于信息检索的方法，通过顺序提取实体和关系来工作。在这项工作中，我们评估了大型语言模型（LLMs）回答涉及多跳的知识图谱问题的能力。我们表明，根据知识图谱的规模和性质，需要采用不同的方法来提取相关信息并馈送给 LLM，因为每个 LLM 都具有固定的上下文窗口。我们在六个知识图谱上评估了我们的方法，分别在提供和不提供示例特定子图的情况下进行，并表明基于 IR 和 SP 的方法都可以被 LLM 采用，从而获得极具竞争力的性能。
英文摘要：
Knowledge graphs (KGs) are large datasets with specific structures representing large knowledge bases (KB) where each node represents a key entity and relations amongst them are typed edges. Natural language queries formed to extract information from a KB entail starting from specific nodes and reasoning over multiple edges of the corresponding KG to arrive at the correct set of answer nodes. Traditional approaches of question answering on KG are based on (a) semantic parsing (SP), where a logical form (e.g., S-expression, SPARQL query, etc.) is generated using node and edge embeddings and then reasoning over these representations or tuning language models to generate the final answer directly, or (b) information-retrieval based that works by extracting entities and relations sequentially. In this work, we evaluate the capability of (LLMs) to answer questions over KG that involve multiple hops. We show that depending upon the size and nature of the KG we need different approaches to extract and feed the relevant information to an LLM since every LLM comes with a fixed context window. We evaluate our approach on six KGs with and without the availability of example-specific sub-graphs and show that both the IR and SP-based methods can be adopted by LLMs resulting in an extremely competitive performance.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
