多模态对话结构理解
Multimodal Conversation Structure Understanding
AI总结：
本文提出多模态对话结构理解任务及TV-MMPC数据集，揭示对话角色匿名化对模型性能的影响，并分析对话中性别角色的参与差异。
摘要：
尽管多模态大语言模型（LLMs）在对话方面表现出色，但它们是否能够充分解析对话的结构——即对话角色和话题延续性——仍鲜有研究。在本工作中，我们提出了一系列任务，并发布了一个新的标注数据集TV-MMPC，用于多模态对话结构理解。我们的评估发现，尽管所有多模态LLMs均优于我们的启发式基线，但即使在考虑的最高效模型中，当对话角色身份被匿名化时，其性能会显著下降。除了评估外，我们还对TVQA中的350,842条话语进行了社会语言学分析。我们发现，尽管女性角色发起对话的比例与其发言时间成正比，但她们比男性更可能被设定为受述者或旁观者，而旁观者的存在会将对话的语气从个人转向社交。
英文摘要：
While multimodal large language models (LLMs) excel at dialogue, whether they can adequately parse the structure of conversation -- conversational roles and threading -- remains underexplored. In this work, we introduce a suite of tasks and release TV-MMPC, a new annotated dataset, for multimodal conversation structure understanding. Our evaluation reveals that while all multimodal LLMs outperform our heuristic baseline, even the best-performing model we consider experiences a substantial drop in performance when character identities of the conversation are anonymized. Beyond evaluation, we carry out a sociolinguistic analysis of 350,842 utterances in TVQA. We find that while female characters initiate conversations at rates in proportion to their speaking time, they are 1.2 times more likely than men to be cast as an addressee or side-participant, and the presence of side-participants shifts the conversational register from personal to social.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
