arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~
arXiv 2606.09157cs.CLcs.AI
收藏

SEF-CLGC在SemEval-2026任务11中的应用:逻辑符号对语言模型性能的影响

SEF-CLGC at SemEval-2026 Task 11: Logical Notation Impact on Language Model Performance

Université Côte d’Azur, Inria, CNRS, I3S, Sophia Antipolis, France(蔚蓝海岸大学, 法国国家信息与自动化研究所, 法国国家科学研究中心, 信息与系统科学实验室, 索菲亚安蒂波利斯, 法国);Data ScienceTech Institute, Paris, France(数据科学技术学院, 巴黎, 法国)

Hanna Abi Akl, Fabien Gandon, Catherine Faron, Pierre Monnin

AI总结:

本文提出SEF-CLGC管道,结合形式逻辑符号与小语言模型,在SemEval-2026任务11中评估推理性能,最佳模型在降低内容偏差的同时达到27.80%的内容分数。

摘要:

本文重新审视了我们称为三段论评估框架-通用逻辑语法构建(SEF-CLGC)的管道。我们将形式逻辑符号与小语言模型(SLMs)相结合,以评估在SemEval-2026任务11子任务1:大型语言模型中内容与形式推理的分离中的推理性能。我们的实验表明,仅依靠在自然语言和符号语言组合上训练的SLMs,我们的最佳模型在该任务上达到了27.80%的内容分数,同时显著降低了推理中的内容偏差。

英文摘要:

This paper revisits our pipeline called Syllogistic Evaluation Framework-Common Logic Grammar Construction (SEF-CLGC). We combine formal logical notations with Small Language Models (SLMs) to evaluate reasoning performance on the SemEval-2026 Task 11 Subtask 1: Disentangling Content and Formal Reasoning in Large Language Models. Our experiments show that by relying solely on SLMs, trained on a combination of natural and symbolic languages, our best model achieves a content score of 27.80% on the task while significantly lowering the content bias in reasoning.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑