EMNLP

Do LLMs suffer from Multi-Party Hangover? A Diagnostic Approach to Addressee Recognition and Response Selection in Conversations

大型语言模型是否受多方对话的困扰？一种诊断方法用于对话中的收件人识别和回应选择

Nicolò Penzo, Maryam Sajedinia, Bruno Lepri, Sara Tonelli, Marco Guerini

机构 * Fondazione Bruno Kessler, Italy（意大利布鲁诺·凯斯勒基金会） ； University of Trento, Italy（意大利特伦托大学） ； University of Turin, Italy（意大利都灵大学） 纠错

AI总结 本文提出了一种方法论流程，用于研究对话特定结构属性下的模型性能，通过诊断子数据集分析回应选择和收件人识别任务，揭示模型弱点。

Comments Accepted to EMNLP 2024 main conference

Evaluating Neural Language Models as Cognitive Models of Language Acquisition

评估神经语言模型作为语言习得的认知模型

Héctor Javier Vázquez Martínez, Annika Lea Heuser, Charles Yang, Jordan Kodner

机构 * University of Pennsylvania（宾夕法尼亚大学） ； Stony Brook University（石溪大学） 纠错

AI总结 本文指出现有神经语言模型语法能力评估基准不够严谨，建议使用经过严格评估的语料库以更准确研究语言习得机制。

Comments To appear in the GenBench 2023 workshop proceedings, the first workshop on (benchmarking) generalisation in NLP. GenBench 2023 will be held at EMNLP 2023 on December 6, 2023