JBE-QA: Japanese Bar Exam QA Dataset for Assessing Legal Domain Knowledge
JBE-QA:日本司法考试问答数据集用于评估法律领域知识
机构 * Institute of Science Tokyo, Japan(东京科学研究所,日本) ; ROIS-DS, Center for Juris-informatics, Japan(司法信息中心,日本) ; National Institute of Informatics, Japan(日本信息机构) ; University of Tokyo, Japan(东京大学,日本)
专题命中 领域大模型 :large language model(abstract);language model(abstract);分类 cs.CL
AI总结 本文提出JBE-QA数据集,用于评估大语言模型的法律知识,涵盖民法、刑法和宪法,通过分解问题为独立判断并添加上下文字段,共包含3464个平衡标注问题,评估26种LLM表现,显示具备推理能力的专有模型表现最佳。
Comments Three tables and one figure
Journal ref In Proc. of the 15th Language Resources and Evaluation Conference (LREC 2026) (pp. 5317-5327)