Same Formulas, Different Semantics: Do Language Models Follow Modal Logic Specifications?
相同公式,不同语义:语言模型是否遵循模态逻辑规范?
机构 * Univ. Lille(里尔大学) ; Inria(法国国家信息与自动化研究所) ; CNRS(法国国家科学研究中心) ; Centrale Lille(里尔中央理工学院) ; UMR 9189 - CRIStAL(UMR 9189 - CRIStAL(法国国家科研中心联合研究机构))
专题命中 推理与问题求解 :language model(title,abstract);prompting(abstract);分类 cs.CL
AI总结 该研究探究语言模型是否遵循模态逻辑规范,构建成对模态问题测试五款模型,发现遵循规定模态语义依赖推理模式与模型身份,发布相关产物。
Comments 9 pages. Code: https://github.com/sileod/modal-semantics-reasoning. Data and artifacts: https://huggingface.co/datasets/sileod/modal-semantics-reasoning