人类与LLM中的隐含因果偏差：作为基准测试LLM话语能力的一种工具
Implicit Causality-biases in humans and LLMs as a tool for benchmarking LLM discourse capabilities
AI总结：
本文通过对比人类与不同规模LLM在隐含因果动词上的话语偏差表现，提出将话语偏差作为评估LLM话语理解能力的基准，发现仅大型单语模型在共指上接近人类，而连贯与指称表达方面存在差异。
摘要：
本文中，我们将使用单语和多语LLM（涵盖多种模型规模）生成的数据，与人类参与者在实验环境中提供的数据进行比较，该实验环境旨在研究公认的话语偏差。除了比较本身，我们还旨在开发一个基准，以话语偏差作为更普遍话语理解能力的稳健代理指标，来评估LLM的能力。更具体地说，我们研究了隐含因果动词，心理语言学研究已发现参与者在这类动词上表现出三种现象相关的偏差：（i）共指关系的建立（实验1），（ii）连贯关系的建立（实验2），以及（iii）特定指称表达的使用（实验3和4）。关于共指偏差，我们发现只有最大的单语LLM（德语Bloom 6.4B）表现出更接近人类的偏差。对于连贯关系，没有LLM表现出通常人类所表现出的解释偏差。对于指称表达，所有LLM都表现出倾向于使用更简单的形式来指称主语论元，而非宾语论元。然而，与近期研究人类偏差的研究相反，我们没有发现指称表达上的偏差效应。
英文摘要：
In this paper, we compare data generated with mono- and multilingual LLMs spanning a range of model sizes with data provided by human participants in an experimental setting investigating well-established discourse biases. Beyond the comparison as such, we aim to develop a benchmark to assess the capabilities of LLMs with discourse biases as a robust proxy for more general discourse understanding capabilities. More specifically, we investigated Implicit Causality verbs, for which psycholinguistic research has found participants to display biases with regard to three phenomena:\ the establishment of (i) coreference relations (Experiment 1), (ii) coherence relations (Experiment 2), and (iii) the use of particular referring expressions (Experiments 3 and 4). With regard to coreference biases we found only the largest monolingual LLM (German Bloom 6.4B) to display more human-like biases. For coherence relation, no LLM displayed the explanation bias usually found for humans. For referring expressions, all LLMs displayed a preference for referring to subject arguments with simpler forms than to objects. However, no bias effect on referring expression was found, as opposed to recent studies investigating human biases.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
