DetectiveQA：评估侦探小说上的长上下文推理
DetectiveQA: Evaluating Long-Context Reasoning on Detective Novels
AI总结：
本文提出 DetectiveQA 数据集与逐步推理指标，利用超10万 token 的侦探小说和1200道中英双语标注题评估主流 LLM，揭示其长上下文推理与证据检索仍面临挑战。
摘要：
近来，大量努力被投入于提升大型语言模型（LLM）的长上下文能力，尤其是长上下文推理。为促进该研究，我们提出 DetectiveQA，这是一个专为长上下文中的叙事推理设计的数据集。我们利用平均超过10万 token 的侦探小说，构建了一个包含1200道人工标注问题的数据集，问题以中文和英文呈现，每道题均配有相应的参考推理步骤。此外，我们提出一种逐步推理指标，以增强对 LLM 推理过程的评估。我们验证了该方法，并评估了包括 GPT-4、Claude 和 LLaMA 在内的主流 LLM，结果揭示了持续存在的长上下文推理挑战，并证明它们在证据检索方面存在困难。我们的发现为长上下文推理研究提供了有价值的洞见，并为更严格的评估奠定基础。
英文摘要：
Recently, significant efforts have been devoted to enhancing the long-context capabilities of Large Language Models (LLMs), particularly in long-context reasoning. To facilitate this research, we propose \textbf{DetectiveQA}, a dataset specifically designed for narrative reasoning within long contexts. We leverage detective novels, averaging over 100k tokens, to create a dataset containing 1200 human-annotated questions in both Chinese and English, each paired with corresponding reference reasoning steps. Furthermore, we introduce a step-wise reasoning metric, which enhances the evaluation of LLMs' reasoning processes. We validate our approach and evaluate the mainstream LLMs, including GPT-4, Claude, and LLaMA, revealing persistent long-context reasoning challenges and demonstrating their evidence-retrieval challenges. Our findings offer valuable insights into the study of long-context reasoning and lay the base for more rigorous evaluations.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
