Finding Flawed Fictions: Evaluating Complex Reasoning in Language Models via Plot Hole Detection
寻找有缺陷的虚构作品:通过情节漏洞检测评估语言模型的复杂推理
机构 * Paul G. Allen Center for Computer Science & Engineering(保罗·G·艾伦计算机科学与工程中心) ; University of Washington(华盛顿大学)
专题命中 复杂问题求解 :reasoning(title,abstract);分类 cs.CL
AI总结 本研究提出通过情节漏洞检测评估语言模型的复杂推理能力,发现先进模型在检测漏洞时表现不佳,且生成故事易引入漏洞。
Comments CoLM 2025 Camera Ready