探索大型语言模型在组合关系推理中的局限性
Exploring the Limitations of Large Language Models in Compositional Relation Reasoning
AI总结：
本文提出了多语言组合关系（MCR）基准，包含1,500个测试用例及五种语言，全面评估大型语言模型在组合关系推理中的鲁棒性与多语言适应性。
摘要：
我们通过一个包含1,500个英语测试用例的基准，对大型语言模型（LLMs）推理组合关系的能力进行了全面评估，该基准旨在涵盖六种不同类型的组合关系：位置关系、比较关系、人称关系、数学关系、同一性关系及其他关系。认识到多语言能力的重要性，我们将评估扩展到这些用例的中文、日语、法语和韩语翻译。我们的多语言组合关系（MCR）基准旨在研究LLMs在处理跨不同语言环境的组合关系推理时的鲁棒性和适应性。
英文摘要：
We present a comprehensive evaluation of large language models(LLMs)' ability to reason about composition relations through a benchmark encompassing 1,500 test cases in English, designed to cover six distinct types of composition relations: Positional, Comparative, Personal, Mathematical, Identity, and Other. Acknowledging the significance of multilingual capabilities, we expanded our assessment to include translations of these cases into Chinese, Japanese, French, and Korean. Our Multilingual Composition Relation (MCR) benchmark aims at investigating the robustness and adaptability of LLMs in handling composition relation reasoning across diverse linguistic contexts.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
