Lost in Historical Time? A Polish History Matura Benchmark for Large Language Models
大语言模型通过了历史考试却遗漏了《历史》:波兰高中毕业考试Matura基准测试
机构 * Adam Mickiewicz University(亚当·密茨凯维奇大学) ; IDEAS Research Institute(IDEAS研究院) ; AMU Center for Artificial Intelligence(亚当·密茨凯维奇大学人工智能中心) ; Poznań University of Medical Sciences(波兹南医科大学) ; Maria Curie-Skłodowska University(玛丽·居里-斯克洛多夫斯卡大学) ; WSB Merito University(WSB梅里托大学)
专题命中 推理评测 :reasoning(abstract);分类 cs.CL
AI总结 该研究针对波兰Matura历史考试评估8款LLM,发现其总分远超人类考生,但存在波兰历史得分惩罚、源内容混淆等缺陷,推出了首个基于波兰国家课程的LLM历史基准。