DebateQA：评估可争议知识上的问答能力
DebateQA: Evaluating Question Answering on Debatable Knowledge
AI总结：
本文提出 DebateQA 数据集及视角多样性与争议意识两个指标，用于评估大语言模型在可争议知识问答中的表现，发现模型识别争议能力较强但提供多视角全面答案的能力参差不齐。
摘要：
大语言模型（LLMs）的兴起使我们能够在 LLM 聊天机器人上寻求本质上可争议问题的答案，这需要一种可靠的方法来评估其能力。然而，传统问答基准假设固定答案，不足以实现这一目的。为解决这一问题，我们引入了 DebateQA，一个包含 2,941 个可争议问题的数据集，每个问题都配有多个由人工标注的部分答案，以捕捉多种视角。我们开发了两个指标：视角多样性（Perspective Diversity），用于评估视角的全面性；争议意识（Dispute Awareness），用于评估 LLM 是否承认问题的可争议性质。实验表明，这两个指标均与人类偏好一致，并且在不同底层模型上保持稳定。利用 DebateQA 和这两个指标，我们评估了 12 个流行的 LLM 和检索增强生成方法。我们的发现揭示，虽然 LLM 通常在识别可争议问题上表现出色，但它们提供涵盖多样视角的全面答案的能力差异很大。
英文摘要：
The rise of large language models (LLMs) has enabled us to seek answers to inherently debatable questions on LLM chatbots, necessitating a reliable way to evaluate their ability. However, traditional QA benchmarks assume fixed answers are inadequate for this purpose. To address this, we introduce DebateQA, a dataset of 2,941 debatable questions, each accompanied by multiple human-annotated partial answers that capture a variety of perspectives. We develop two metrics: Perspective Diversity, which evaluates the comprehensiveness of perspectives, and Dispute Awareness, which assesses if the LLM acknowledges the question's debatable nature. Experiments demonstrate that both metrics align with human preferences and are stable across different underlying models. Using DebateQA with two metrics, we assess 12 popular LLMs and retrieval-augmented generation methods. Our findings reveal that while LLMs generally excel at recognizing debatable issues, their ability to provide comprehensive answers encompassing diverse perspectives varies considerably.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
