A Cocktail-Party Benchmark: Multi-Modal dataset and Comparative Evaluation Results
Karlsruhe Institute of Technology, Germany(卡尔斯鲁厄理工学院);Carnegie Mellon University, USA(卡内基梅隆大学);Interactive-AI LLC(Interactive-AI公司);Meta AI, UK(Meta AI)
本文提出多模态上下文感知识别任务,通过结合音频和视觉线索提升重叠对话识别性能,展示多模态在解决宴会派对问题中的关键作用。
2026-02-12 cs.CL
EmotionLines: An Emotion Corpus of Multi-Party Conversations
Academia Sinica(中央研究院);Carnegie Mellon University(卡内基梅隆大学)
感受情感是区分人与机器的关键特征。在所有用于情感检测的多模态资源中,文本数据集是除了语义之外包含最少附加信息的数据集,因此被广泛用于测试所开发的系统。然而,大多数文本情感数据集仅由单个单词,句子或文档的情感标签组成,这使得讨论情感的上下文流具有挑战性。在本文中,我们介绍了第一个仅基于文本内容对每个对话中的所有话语进行情感标签的数据集-对话在QuestionLines是从朋友电视脚本和私人Facebook信使对话收集。然后,由5个亚马逊MTurker在每个话语上标记七种情绪中的一种,六种Ekman的基本情绪加上中性情绪。来自2,000个对话的总共29,245个话语被标记在提示行中。在本文中,我们还为情感检测模型提供了几个强大的基线。
2018-05-30 cs.CL
DraDDP: A Multimodal Multi-Party Dialogue Discourse Parsing Dataset
School of Computer Science and Technology, Soochow University(苏州大学计算机科学与技术学院)
针对现有研究局限于文本或双方对话的问题,构建了基于美剧的首个公开英文多模态多方对话话语解析数据集DraDDP,并验证了多模态信息在捕捉对话结构和关系类型中的价值。
2026-04-13 cs.AI cs.CL
DeliData: A dataset for deliberation in multi-party problem solving
University of Cambridge(剑桥大学);University of Sheffield(谢菲尔德大学)
本文提出了首个公开的多方问题解决协商讨论数据集DeliData,包含500组对话和14k条标注话语,并基于该数据集开发与评估了两种协商话语生成方法。
2023-04-16 cs.AI cs.CL cs.CY
Unsupervised Conversation Disentanglement through Co-Training
Ingenuity Labs Research Institute(Ingenuity Labs 研究院);Queen’s University(女王大学)
会话分离的目的是将混杂的消息分离成分离的会话,这是理解多方会话的基本任务。现有的对话解纠缠工作在很大程度上依赖于人类注释的数据集,这在实践中是昂贵的。在这项工作中,我们探索训练会话解纠缠模型,而不参考任何人的注释。我们的方法是建立在一个深度的协同训练算法,它由两个神经网络:一个消息对分类器和一个会话分类器。前者负责检索两个消息之间的本地关系,而后者通过捕获上下文感知信息将消息分类到会话。这两个网络分别初始化从一个未注释的语料库构建的伪数据。在深度协同训练过程中,我们使用会话分类器作为强化学习组件,通过最大化消息对分类器给出的局部奖励来学习会话分配策略。对于消息对分类器,我们丰富了它的训练数据检索消息对高的信心,从解开的会话预测的会话分类器。在大型电影对话数据集上的实验结果表明,与以前的监督方法相比,我们提出的方法具有竞争力的性能。进一步的实验表明,预测的无纠缠会话可以提高下游多方响应选择任务的性能。
2021-09-07 cs.CL
Enabling Chatbots with Eyes and Ears: An Immersive Multimodal Conversation System for Dynamic Interactions
Graduate School of Artificial Intelligence, POSTECH(POSTECH人工智能研究生院);Department of Computer Science and Engineering, POSTECH(POSTECH计算机科学与工程系);Artificial Intelligence Graduate School, UNIST(UNIST人工智能研究生院);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对现有聊天机器人多模态交互静态且缺乏听觉模态的问题,本文提出新型多模态对话数据集$M^3C$及具备多模态记忆检索的对话模型,实现视觉与听觉融合的动态多方长期交互。
2025-05-31 cs.AI cs.CL cs.CV
TIDES: A Longitudinal Bilingual Dataset for Modeling Multi-Party Social Dynamics
KAIST(韩国科学技术院);SkillBench
研究针对现有群体对话数据集无法捕捉团队长期社会动态的问题,推出TIDES纵向双语数据集,基于其微调模型提升下一个说话人预测性能,同时发现预测效果与话语自然度存在潜在不匹配。
2026-08-04 cs.AI cs.CL cs.HC
The USTC-Ximalaya system for the ICASSP 2022 multi-channel multi-party meeting transcription (M2MeT) challenge
USTC(中国科学技术大学);Ximalaya(喜马拉雅)
我们对目标说话人语音活动检测(TS-VAD)提出了两项改进,TS-VAD是我们提出的扬声器日志系统中的核心组件,已提交给2022年多通道多方会议转录(M2MeT)挑战。这些技术旨在处理现实世界会议场景中具有高说话人重叠率和严重混响和噪声条件下的多说话人对话。首先,对于训练TS-VAD模型中的数据准备和增强,使用包含真实会议和模拟室内对话的语音数据。其次,在改进基于TS-VAD的解码后获得的结果中,我们执行一系列后处理步骤以改进降低日志化错误率(DER)所需的VAD结果。测试ALIMEETING语料库,最新发布的普通话会议数据集在M2MeT中使用,我们证明,我们提出的系统可以降低DER高达66.55/60.59%,相对于经典的基于聚类的日志的Eval/Test集。
2022-02-10 cs.CL cs.SD eess.AS
Response Selection for Multi-Party Conversations with Dynamic Topic Tracking
Salesforce Research Asia(Salesforce亚洲研究院);Nanyang Technological University(南洋理工大学)
当多方多话轮会话中的参与者同时参与多个会话主题时,现有的响应选择方法主要针对两方单会话场景开发。因此,现有的方法忽略了会话话题的延伸和转换。在这项工作中,我们框架响应选择作为一个动态的主题跟踪任务,以匹配响应和相关的会话上下文之间的主题。有了这个新的公式,我们提出了一个新的多任务学习框架,通过一次只有两个话语的大型预训练模型来支持有效的编码,以执行动态主题解纠缠和响应选择。我们还提出了主题-BERT的一个必要的预训练步骤嵌入主题信息到BERT与自监督学习。在DSTC-8 Ubuntu IRC数据集上的实验结果显示,响应选择和主题分解任务的最新结果远远优于现有方法。
2020-10-15 cs.AI cs.CL
MultiPartyTurnBench: Benchmarking Floor Control in Multi-Party Spoken Dialogue
University of Maryland College Park(马里兰大学帕克分校)
该研究推出多场景话语权控制基准MultiPartyTurnBench,评估话轮结束检测与中断检测任务,发现现有系统在中断检测上表现接近随机,选择性话语权控制仍是多场景语音交互的未解决挑战。
2026-10-15 cs.AI cs.CL cs.SD
Incorporating Interlocutor-Aware Context into Response Generation on Multi-Party Chatbots
University of Chinese Academy of Sciences(中国科学院大学);Alibaba AI Labs(阿里巴巴人工智能实验室)
传统的聊天机器人专注于双方响应生成,这简化了真实的对话场景。在本文中,我们致力于在多方聊天机器人(RGMPC)上生成响应的新任务,其中生成的响应在很大程度上依赖于对话者的角色(例如,说话人和受话人)及其话语。不幸的是,对话者角色之间的复杂互动使得准确捕捉会话上下文和对话者信息变得具有挑战性。面对这一挑战,我们提出了一个响应生成模型,将对话者感知的上下文到递归编码器-解码器框架(ICRED)的RGMPC。具体来说,我们采用交互式表示捕捉不同的对话者的对话上下文。此外,我们利用受话人的记忆来增强目标受话人的语境对话者信息。最后,我们基于现有的开放获取数据集构建了RGMPC的语料库。自动和人工评估表明,ICRED的表现明显优于强基线。
2019-10-29 cs.CL
Efficient Intent-Based Filtering for Multi-Party Conversations Using Knowledge Distillation from LLMs
Microsoft AI(微软人工智能)
针对大语言模型处理多方对话资源消耗高的问题,提出利用LLM知识蒸馏构建意图过滤器,用标注数据集微调MobileBERT实现多标签意图分类,仅传相关片段给LLM,在算力受限环境下显著降低运营成本。
2025-03-21 cs.AI cs.CL
MuPPET: A Benchmark for Contextual Privacy of LLM Assistants in Multi-Party Conversations
Parameter Lab(参数实验室);University of Rome Tor Vergata(罗马第二大学);University of Oxford(牛津大学);NAVER AI Lab(NAVER AI实验室);KAIST AI(韩国科学技术院人工智能研究所)
提出MuPPET基准,评估多用户对话中LLM代理的隐私泄露风险,发现模型在多用户场景下泄露更严重,现有防御措施效果有限。
2026-06-23 cs.AI cs.CL
Dramatic Conversation Disentanglement
University of California, Berkeley(加州大学伯克利分校)
本文构建了基于电影和电视剧的对话解缠数据集,借鉴社会语言学理论定义会话线程并标注了831部电影的万余对话轮次,通过模型对比与大规模应用揭示了戏剧对话中线程长度和性别与话题发起的关系。
2023-05-26 cs.CL
Empathic Conversations: A Multi-level Dataset of Contextualized Conversations
University of Pennsylvania(宾夕法尼亚大学);University of Maryland:ARLIS(马里兰大学:ARLIS);National Institute on Drug Abuse(国家药物滥用研究所);Friedrich-Schiller-Universität Jena(耶拿弗里德里希·席勒大学);Stanford University(斯坦福大学);New York University(纽约大学)
共情是对观察到的他人的情况的认知和情感反应。共情最近引起了人们的兴趣,因为它在心理学和人工智能中有许多应用,但目前还不清楚不同形式的共情(例如,自我报告与对方其他报告,关注与痛苦)与其他情感现象或人口统计学(如性别和年龄)相互作用。为了更好地理解这一点,我们创建了{ \it Empathic Conversations}数据集,其中包含带注释的负面、引发移情的对话,参与者在对话中谈论新闻文章。人们对他人的同理心有不同的看法。这些差异与某些特征有关,如个性和人口统计学。因此,我们收集了参与者特质的详细描述,他们对新闻文章的自我报告移情反应,他们的对话伙伴其他报告,以及对自我披露,情感和移情表达水平的逐轮第三方评估。这个数据集是第一个以多种形式呈现同理心以及个人痛苦,情感,个性特征和个人层面的人口统计信息的数据集。我们提出了基线模型,用于从对话中预测其中的一些功能。
2022-05-25 cs.CL
DiPCo -- Dinner Party Corpus
Amazon(亚马逊);Johns Hopkins University(约翰斯·霍普金斯大学);Fondazione Bruno Kessler(布鲁诺·凯塞勒基金会)
我们提出了一个语音数据语料库,模拟一个“晚宴”的情况下发生在日常的家庭环境。该语料库是通过记录多组由四名亚马逊员工志愿者组成的小组在餐桌上用英语进行自然对话而创建的。参与者通过单通道近距离通话麦克风和位于录音室不同位置的五个远场7麦克风阵列设备进行录音。该数据集包含总共10个会话的音频记录和人类标记的转录,持续时间在15到45分钟之间。该语料库的创建是为了在噪声鲁棒性和远程语音处理领域取得进展,旨在作为公共研究和基准数据集。
2019-09-30 cs.CL cs.SD eess.AS
PanoSent: A Panoptic Sextuple Extraction Benchmark for Multimodal Conversational Aspect-based Sentiment Analysis
National University of Singapore(新加坡国立大学);Wuhan University(武汉大学);The University of Auckland(奥克兰大学);Singapore University of Technology and Design(新加坡科技设计大学);Nanyang Technological University(南洋理工大学)
本文提出多模态对话式 ABSI 任务与 PanoSent 基准,通过 Chain-of-Sentiment、Sentica 和复述验证实现全景情感六元组抽取及情感翻转分析。
2024-09-09 cs.AI cs.CL
Generic Dependency Modeling for Multi-Party Conversation
Sun Yat-sen University(中山大学)
为了对多方会话中的话语间依赖关系进行建模,我们提出了一个基于话语的依存句法分析结果的简单通用框架。特别地,我们提出了一种以相对依赖编码(ReDE)的形式对依赖进行编码的方法,并通过修改自注意的计算来说明如何在Transformers中实现它。在4个多方会话基准测试上的实验结果表明,该框架成功地提高了两种基于transformer的语言模型的总体性能,与现有方法相比,性能相当甚至更优。这些代码可在https://github.com/shenwzh3/ReDE上获得。
2023-02-21 cs.CL
MT2-CSD: A New Dataset and Multi-Semantic Knowledge Fusion Method for Conversational Stance Detection
College of Big Data and Internet, Shenzhen Technology University(大数据与互联网学院,深圳技术大学);University of Washington(华盛顿大学);University of Science and Technology of China(中国科学技术大学)
本文提出最大规模多目标多轮对话立场检测数据集MT2-CSD,并设计大语言模型增强的对话关系注意力网络LLM-CRAN,实验证明其显著优于强基线模型。
2025-07-04 cs.CL
A Hybrid Architecture for Multi-Party Conversational Systems
IBM Research(IBM研究院);UPMC Univ Paris 06(皮埃尔和玛丽·居里大学);CNRS(法国国家科学研究中心);Laboratoire d’Informatique de Paris 6 (LIP6)(巴黎第六大学计算机科学实验室)
多方会话系统是一个或多个人或系统之间通过自然语言进行交互的系统。从一个话语被发送到一个群组的那一刻起,到一个成员在群组中回复它的那一刻起,系统必须完成几项活动:话语理解、信息搜索、推理等等。在本文中,我们提出了设计和构建多方对话系统的挑战,最先进的,我们提出的混合架构,使用规则和机器学习和一些见解后,实施和评估一个金融领域。
2017-05-04 cs.CL
PLACES: Prompting Language Models for Social Conversation Synthesis
Columbia University(哥伦比亚大学);Amazon Alexa AI(亚马逊Alexa人工智能部门)
收集高质量的会话数据对于大多数应用程序来说可能非常昂贵,并且由于隐私,道德或类似问题而对其他应用程序来说是不可行的。解决这个问题的一个有希望的方向是通过提示大语言模型来生成合成对话。在这项工作中,我们使用一小部分专家撰写的对话作为上下文示例,使用提示合成社交对话数据集。我们对我们的合成对话与人类收集的对话进行了几次彻底的评估。这包括直接对合成对话进行人工评估的对话质量的各个维度,以及对合成生成的数据集进行微调的聊天机器人的交互式人工评估。我们还证明,这种提示方法是可推广到多方对话,为多方任务创建新的合成数据提供了可能。与从人类收集的多方数据集采样的对话摘录相比,我们的合成多方对话在所有测量维度上都得到了更有利的评价。
2023-02-17 cs.AI cs.CL cs.IR
TEIDAN: A Multilingual Multiparty Dialogue Corpus
Graduate School of Informatics, Kyoto University(京都大学信息学研究科)
本文提出TEIDAN多语言多模态三方对话语料库,涵盖日英双语,计划扩展至更多语言,可支持多方对话建模等相关研究。
2026-09-02 cs.CL cs.HC
A Challenge Dataset and Effective Models for Conversational Stance Detection
Shenzhen University(深圳大学);Shenzhen Technology University(深圳技术大学);Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳))
本文提出多轮对话立场检测数据集MT-CSD及全局-局部注意力网络GLAN,解决多方讨论建模难题,最先进方法准确率仅50.47%,凸显挑战并促进跨领域研究。
2024-03-21 cs.CL
HeterMPC: A Heterogeneous Graph Neural Network for Response Generation in Multi-Party Conversations
Microsoft(微软)
近年来,各种针对两方会话的响应生成模型已经取得了令人瞩目的进步,但对于更实用、更复杂的多方会话(MPC)响应生成模型的研究较少。与对话上下文是一系列话语的双方对话相比,构建MPC的响应生成模型更具挑战性,因为存在复杂的上下文结构并且生成的响应严重依赖于两个对话者(即,说话人和受话人)和历史话语。为了解决这些挑战,我们提出了HeterMPC,异构图形为基础的神经网络的响应生成MPC模型的语义的话语和对话者同时与两种类型的节点在一个图中。此外,我们还设计了六种类型的Meta关系与节点边类型相关的参数来表征图中的异构交互。通过多跳更新,HeterMPC可以充分利用会话的结构知识来生成响应。在Ubuntu Internet Relay Chat(IRC)信道基准测试上的实验结果表明,HeterMPC优于MPC中响应生成的各种基线模型。
2022-03-16 cs.CL
When2Speak: A Dataset for Temporal Participation and Turn-Taking in Multi-Party Conversations for Large Language Models
Pratt School of Engineering(普拉特工程学院);Duke University(杜克大学)
本文提出When2Speak数据集,通过四阶段生成流程学习群体互动中的发言时机,通过强化学习优化模型,提升多党对话中的发言准确性与自然度。
2026-05-07 cs.AI cs.CL
Harmonizing Code-mixed Conversations: Personality-assisted Code-mixed Response Generation in Dialogues
IIIT Delhi(德里印度理工学院);IIT Delhi(德里印度理工学院)
针对印地语—英语代码混合对话,提出利用无监督 Big Five 人格特质并通过 PA3 两步注意力融合机制增强回复生成,实验表明其 ROUGE 与 BLUE 表现优于传统模型。
2024-01-18 cs.CL
Addressee and Response Selection in Multi-Party Conversations with Speaker Interaction RNNs
Yale University(耶鲁大学);University of Michigan(密歇根大学);IBM T. J. Watson Research Center(IBM托马斯·J·沃森研究中心)
本文研究了多方会话中的收信人和应答选择问题。理解多方对话是具有挑战性的,因为复杂的扬声器交互:多个扬声器相互交换信息,扮演不同的角色(发送者,收件人,观察者),这些角色在不同的回合中有所不同。为了应对这一挑战,我们提出了说话人交互递归神经网络(SI-RNN)。虽然以前的最先进的系统只为发送者更新扬声器嵌入,但SI-RNN使用一种新颖的对话编码器以角色敏感的方式更新扬声器嵌入。此外,与之前分别选择收件人和响应的工作不同,SI-RNN通过将任务视为序列预测问题来联合选择它们。实验结果表明,SI-RNN显著提高了收件人和响应选择的准确性,特别是在与许多说话人的复杂对话和对过去多次出现的遥远消息的响应中。
2017-11-28 cs.CL
Detecting Agreement in Multi-party Conversational AI
Heriot-Watt University(赫瑞-瓦特大学)
针对多方对话系统面临的说话人/受话人识别、话轮转换等难题,研究构建了支持双人知识问答游戏的多方对话系统,可检测用户对答案的一致性并回应,相关语料与代码已开源。
2023-11-06 cs.CL
Discovering Emotion and Reasoning its Flip in Multi-Party Conversations using Masked Memory Network and Transformer
IIIT-Delhi(印度德里信息技术学院)
在多方会话中有效地发现说话人的情感状态对于设计类人会话Agent具有重要意义。在谈话过程中,说话者的认知状态往往会因过去的某些话语而改变,这可能会导致他们情绪状态的翻转。因此,发现说话人在谈话中情感翻转背后的原因(触发器)对于解释个体话语的情感标签至关重要。在本文中,随着解决的会话中的情感识别(ERC)的任务,我们介绍了一种新的任务--翻转推理(EFR),其目的是识别过去的话语,触发了一个人的情绪状态,在一定的时间翻转。我们提出了一个掩蔽的内存网络来解决前者和基于transformer的网络,后者的任务。为此,我们考虑MELD,一个用于ERC任务的多方对话中的基准情感识别数据集,并使用EFR的新地面真实标签对其进行增强。与五个国家的最先进的模型进行了广泛的比较,表明我们的模型在这两项任务中的性能得到了改善。我们进一步提出了轶事证据和定性和定量的误差分析,以支持我们的模型相比,基线的优越性。
2021-12-31 cs.CL
Multi-Party Conversational Agents: A Survey
University of Central Florida(中央佛罗里达大学);Stony Brook University(石溪大学)
本综述围绕心理状态建模、语义理解和行动建模三个关键问题,系统梳理多方对话智能体的最新进展,强调心智理论与多模态理解的重要性。
2025-05-24 cs.CL
LLMberjack: Guided Trimming of Debate Trees for Multi-Party Conversation Creation
University of Trento(特伦托大学);Fondazione Bruno Kessler(布鲁诺·凯塞勒基金会)
LLMberjack通过引导修剪辩论树,利用LLM辅助实现多方对话的高效创建,提升输出质量并减少人工工作量。
2026-11-03 cs.CL cs.HC
$\texttt{DIAMONDs}$: A Dataset for $\mathbb{D}$ynamic $\mathbb{I}$nformation $\mathbb{A}$nd $\mathbb{M}$ental modeling $\mathbb{O}$f $\mathbb{N}$umeric $\mathbb{D}$iscussions
Department of Computer Science, Stony Brook University(计算机科学系,石英布鲁克大学)
本研究构建了用于评估多方对话中心理理论能力的对话式问答数据集$\texttt{DIAMONDs}$,并发现前沿语言模型在错误信念推理、抗干扰及信息不足场景识别上存在明显局限。
2025-05-19 cs.AI
Multi-Party Chat: Conversational Agents in Group Settings with Humans and Models
Cornell University(康奈尔大学);Meta AI;DeepMind(深度思维)
针对现有对话研究多聚焦两方对话、缺乏多方群体场景研究的问题,该研究基于LIGHT环境构建MultiLIGHT多方角色扮演对话数据集,验证了该数据集可显著提升模型在群体对话中的发言决策与连贯表达能力。
2023-06-08 cs.CL cs.LG
Don't Stop the Multi-Party! On Generating Synthetic Written Multi-Party Conversations with Constraints
本文探讨利用指令微调的大语言模型生成合成书面多方对话,通过确定性约束如对话结构和参与者立场,发现逐轮生成比一次性生成更符合约束且语言多样性更高。
2026-03-27 cs.CL
From Speech to Interaction: Analyzing Multimodal Systems in Cocktail-Party Scenarios
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Carnegie Mellon University(卡内基梅隆大学)
本研究分析了CHiME-9 MCoRec任务中不同多模态系统解决鸡尾酒会场景的策略,发现最优系统实现57%相对错误减少,且高语音重叠并非性能差异的主要原因。
2026-08-11 cs.CL
Towards Neural Speaker Modeling in Multi-Party Conversation: The Task, Dataset, and Models
Peking University(北京大学);ETH Zurich(苏黎世联邦理工学院);AdeptMind Research(AdeptMind研究院)
基于神经网络的对话系统正引起学术界和工业界越来越多的关注。近年来,研究人员开始意识到说话人建模在神经对话系统中的重要性,但缺乏既定的任务和数据集。在本文中,我们提出了说话人分类作为一般的说话人建模的代理任务,并收集了大量的数据,以促进在这个方向上的研究。我们进一步研究了基于时间和基于内容的说话人模型,并提出了几个混合。实验表明,说话人分类是可行的,混合模型优于单个模型。
2018-09-28 cs.CL
Dialogue Act Classification in Group Chats with DAG-LSTMs
Bloomberg L.P.(彭博有限合伙企业)
对话行为(DA)分类已经研究了二十年,并有几个关键的应用,如工作流自动化和会话分析。为了解决这个问题,研究人员使用了各种传统的机器学习模型,以及最近的深度神经网络模型,如分层卷积神经网络(CNN)和长短期记忆(LSTM)网络。在本文中,我们介绍了一种新的模型架构,用于DA分类的有向无环图LSTM(DAG-LSTM)。DAG-LSTM利用多方对话中自然存在的话轮转换结构,并在其模型结构中编码这种关系。使用STAC语料库,我们表明,所提出的方法进行约0.8%的准确性和1.2%的宏观F1得分相比,现有的方法。所提出的方法是通用的,不限于会话应用。
2019-08-02 cs.CL cs.LG stat.ML
Cross-Attention End-to-End ASR for Two-Party Conversations
Carnegie Mellon University(卡内基梅隆大学)
我们提出了一个端到端的语音识别模型,学习两个说话人之间的互动的基础上的话轮变化信息。与传统的语音识别模型不同,我们的模型利用了两个扬声器的历史会话上下文信息,跨越多个回合内的一个端到端的框架。具体来说,我们提出了一个特定于说话人的交叉注意机制,可以看看其他说话人的输出以及当前说话人的输出,以更好地识别长对话。我们评估的Switchboard会话语音语料库的模型,并表明我们的模型优于标准的端到端的语音识别模型。
2019-07-24 cs.CL cs.LG cs.SD
Do LLMs suffer from Multi-Party Hangover? A Diagnostic Approach to Addressee Recognition and Response Selection in Conversations
Fondazione Bruno Kessler, Italy(意大利布鲁诺·凯斯勒基金会);University of Trento, Italy(意大利特伦托大学);University of Turin, Italy(意大利都灵大学)
本文提出了一种方法论流程,用于研究对话特定结构属性下的模型性能,通过诊断子数据集分析回应选择和收件人识别任务,揭示模型弱点。
2024-09-27 cs.CL
Multi-Party Supervised Fine-tuning of Language Models for Multi-Party Dialogue Generation
Beijing Institute of Technology, Beijing, China(北京理工大学);Beihang University, Beijing, China(北航);Geely AI Lab, Beijing, China(Geely人工智能实验室)
针对大语言模型难以适配多方对话的问题,本研究提出多方微调框架MuPaS及两种训练策略,实验证明其在多方回复、说话人预测等方面效果最优,可支撑更多复杂多方应用。
2025-06-11 cs.AI cs.CL
Adaptive Turn-Taking for Real-time Multi-Party Voice Agents
Amazon AGI(亚马逊人工智能研究院);IIT Kharagpur, India(印度克里ш格布尔理工学院)
提出ModeratorLM,一种基于角色条件的语音大模型,通过分块流式处理和链式推理,在多方对话中实现自适应轮流发言,显著提升轮流精度和召回率。
2026-06-29 cs.AI cs.CL eess.AS
MPC-BERT: A Pre-Trained Language Model for Multi-Party Conversation Understanding
University of Science and Technology of China(中国科学技术大学);Microsoft(微软)
近年来,用于多方会话(MPC)的各种神经模型在诸如收信人识别、说话人辨识和响应预测等任务上取得了令人印象深刻的改进。然而,这些现有的MPC的方法通常表示单独的对话者和话语,忽略了MPC中固有的复杂结构,可以提供关键的对话者和话语语义,并将加强会话理解过程。为此,我们提出了MPC-BERT,这是一种用于MPC理解的预训练模型,它考虑在具有多个精心设计的自监督任务的统一模型中学习谁对谁说了什么。具体地,这些任务通常可以被分类为(1)对话者结构建模,包括回复话语识别、相同说话者搜索和指针一致性区分,以及(2)话语语义建模,包括掩蔽共享话语恢复和共享节点检测。我们评估MPC BERT的三个下游任务,包括收件人识别,说话人辨识和响应选择。实验结果表明,MPC-BERT优于以前的方法的大幅度,并实现了新的国家的最先进的性能在所有三个下游任务在两个基准测试。
2021-06-03 cs.CL
Leveraging Turn-taking Dynamics for Intent Recognition in Multi-party Conversations
Université Paris-Saclay(巴黎-萨克雷大学);CEA(法国原子能和替代能源委员会);List(List(此处为CEA下属研究机构,保留英文原名))
该研究提出结合话轮转换熵辅助任务的多任务学习方法,在多方对话意图识别任务中提升了预训练模型的性能,优于忽略多方交互动态的现有方法。
2026-09-01 cs.CL cs.LG
With a Little Help from my (Linguistic) Friends: Topic Segmentation of Multi-party Casual Conversations
Université de Lorraine(洛林大学);Inria(法国国家信息与自动化研究所);University of Gothenburg(哥德堡大学)
本文采用形式化方法对多方随意对话进行主题分割,识别有意义特征以理解对话主题结构,达到与机器学习模型相当的准确率。
2024-02-05 cs.CL
Intent Recognition and Out-of-Scope Detection using LLMs in Multi-party Conversations
Université Paris-Saclay, CEA, List, Palaiseau, France(巴黎-萨克雷大学,CEA,List,Palaiseau,法国)
针对传统任务导向对话系统需大量标注数据的问题,提出结合BERT与大语言模型的混合方法,在零/少样本下实现多方对话的意图识别与域外检测,通过信息共享提升了系统性能。
2025-07-29 cs.CL cs.LG
SS-MPC: A Sequence-Structured Multi-Party Conversation System
SungKyunKwan University(成均馆大学)
本文提出SS-MPC,一种无需显式图结构、将对话结构编码为序列输入的多方对话回复生成模型,在BLEU-1和ROUGE-L上超越现有最先进模型,并生成更流畅准确的回复。
2025-02-24 cs.CL
MADNet: Maximizing Addressee Deduction Expectation for Multi-Party Conversation Generation
University of Science and Technology of China(中国科学技术大学);iFLYTEK Research(讯飞研究院);Peking University(北京大学)
针对多方对话中听话人标签稀缺问题,提出MADNet模型,通过设计潜在边完成全连接图并采用期望最大化方法迭代生成银标准标签,有效提升了多方对话生成的性能。
2023-10-18 cs.CL
M-MELD: A Multilingual Multi-Party Dataset for Emotion Recognition in Conversations
University of Maryland, College Park(马里兰大学帕克分校);Nvidia(英伟达);IIIT Delhi(德里印度理工学院信息技术学院);IIT Delhi(德里印度理工学院);UMass Amherst(马萨诸塞大学阿默斯特分校)
本文提出多语言多方对话情感识别数据集M-MELD,并设计了结合序列与对话话语上下文的新架构DiscLSTM,在计算高效且支持跨语言迁移的同时,性能优于多数单模态文本方法。
2023-03-31 cs.CL
Multi-Party Backchannel Prediction: a Diagnosis, a Benchmark, and a Ceiling
Enchanted Tools;IMT Nord Europe
本研究基于AMI语料库构建多方回馈预测基准,发现双人模型零样本失效但特征可重训提升,且回馈预测对未见听者泛化差,揭示身份与线索纠缠,并发布基准与工具。
2026-10-02 cs.AI cs.SD
Speak or Stay Silent: Context-Aware Turn-Taking in Multi-Party Dialogue
School of Electrical and Computer Engineering, Purdue University, United States(帕克大学电气与计算机工程学院);Ishiki Labs Inc.(Ishiki实验室)
本文提出了一种基于上下文的情境感知发言轮换方法,通过监督微调和推理痕迹提升模型在多方对话中的发言准确性,发现现有大语言模型在零样本条件下无法有效实现该能力。
2026-03-12 cs.AI cs.CL
Triadic Multi-party Voice Activity Projection for Turn-taking in Spoken Dialogue Systems
Graduate School of Informatics(信息科学研究生学校)
本研究针对传统话轮转换研究多聚焦二元场景的问题,首次将语音活动预测(VAP)拓展至三方对话场景,在日语三方数据集上训练的模型优于基线,证实VAP可用于三方对话话轮转换,为后续集成到口语对话系统奠定基础。
2025-10-03 cs.CL
Multi-party Response Generation with Relation Disentanglement
针对多方对话中复杂上下文及关系预先给定的局限,提出无人工标签下通过深度图随机过程自动推断话语关系图,并结合变分自编码器与GAN进行结构感知回复生成,在多方基准上优于基线。
2024-03-23 cs.CL
Is ChatGPT a Good Multi-Party Conversation Solver?
National Engineering Research Center of Speech and Language Information Processing(国家语音与语言信息处理工程技术研究中心);University of Science and Technology of China(中国科学技术大学)
本文实证评估了ChatGPT和GPT-4在多方对话任务中的零样本能力,发现GPT-4表现优于ChatGPT,并通过引入说话者与受话者架构提升性能,为构建更鲁棒的MPC智能体提供了参考。
2023-10-25 cs.CL
We've had this conversation before: A Novel Approach to Measuring Dialog Similarity
IBM Research(IBM研究院)
对话是人类自然语言交互的核心构件。它包含多方话语,用于以动态和不断变化的方式从一方向另一方传达信息。比较对话框的能力在许多现实世界的用例中是有益的,例如联系中心呼叫的对话分析和虚拟代理设计。我们提出了一种新的适应的编辑距离度量对话相似性的情况。我们的方法考虑到各种会话方面,如话语语义,会话流,和参与者。我们评估这种新方法,并将其与两个公开数据集上现有的文档相似性度量进行比较。结果表明,我们的方法优于其他方法在捕捉对话流,更好地符合人类的感知会话相似性。
2021-10-12 cs.CL