Detecting Agreement in Multi-party Conversational AI
Heriot-Watt University(赫瑞-瓦特大学)
针对多方对话系统面临的说话人/受话人识别、话轮转换等难题,研究构建了支持双人知识问答游戏的多方对话系统,可检测用户对答案的一致性并回应,相关语料与代码已开源。
2023-11-06 cs.CL
Discovering Emotion and Reasoning its Flip in Multi-Party Conversations using Masked Memory Network and Transformer
IIIT-Delhi(印度德里信息技术学院)
在多方会话中有效地发现说话人的情感状态对于设计类人会话Agent具有重要意义。在谈话过程中,说话者的认知状态往往会因过去的某些话语而改变,这可能会导致他们情绪状态的翻转。因此,发现说话人在谈话中情感翻转背后的原因(触发器)对于解释个体话语的情感标签至关重要。在本文中,随着解决的会话中的情感识别(ERC)的任务,我们介绍了一种新的任务--翻转推理(EFR),其目的是识别过去的话语,触发了一个人的情绪状态,在一定的时间翻转。我们提出了一个掩蔽的内存网络来解决前者和基于transformer的网络,后者的任务。为此,我们考虑MELD,一个用于ERC任务的多方对话中的基准情感识别数据集,并使用EFR的新地面真实标签对其进行增强。与五个国家的最先进的模型进行了广泛的比较,表明我们的模型在这两项任务中的性能得到了改善。我们进一步提出了轶事证据和定性和定量的误差分析,以支持我们的模型相比,基线的优越性。
2021-12-31 cs.CL
Multi-Party Conversational Agents: A Survey
University of Central Florida(中央佛罗里达大学);Stony Brook University(石溪大学)
本综述围绕心理状态建模、语义理解和行动建模三个关键问题,系统梳理多方对话智能体的最新进展,强调心智理论与多模态理解的重要性。
2025-05-24 cs.CL
Don't Stop the Multi-Party! On Generating Synthetic Written Multi-Party Conversations with Constraints
本文探讨利用指令微调的大语言模型生成合成书面多方对话,通过确定性约束如对话结构和参与者立场,发现逐轮生成比一次性生成更符合约束且语言多样性更高。
2026-03-27 cs.CL
From Speech to Interaction: Analyzing Multimodal Systems in Cocktail-Party Scenarios
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Carnegie Mellon University(卡内基梅隆大学)
本研究分析了CHiME-9 MCoRec任务中不同多模态系统解决鸡尾酒会场景的策略,发现最优系统实现57%相对错误减少,且高语音重叠并非性能差异的主要原因。
2026-08-11 cs.CL
Towards Neural Speaker Modeling in Multi-Party Conversation: The Task, Dataset, and Models
Peking University(北京大学);ETH Zurich(苏黎世联邦理工学院);AdeptMind Research(AdeptMind研究院)
基于神经网络的对话系统正引起学术界和工业界越来越多的关注。近年来,研究人员开始意识到说话人建模在神经对话系统中的重要性,但缺乏既定的任务和数据集。在本文中,我们提出了说话人分类作为一般的说话人建模的代理任务,并收集了大量的数据,以促进在这个方向上的研究。我们进一步研究了基于时间和基于内容的说话人模型,并提出了几个混合。实验表明,说话人分类是可行的,混合模型优于单个模型。
2018-09-28 cs.CL
Do LLMs suffer from Multi-Party Hangover? A Diagnostic Approach to Addressee Recognition and Response Selection in Conversations
Fondazione Bruno Kessler, Italy(意大利布鲁诺·凯斯勒基金会);University of Trento, Italy(意大利特伦托大学);University of Turin, Italy(意大利都灵大学)
本文提出了一种方法论流程,用于研究对话特定结构属性下的模型性能,通过诊断子数据集分析回应选择和收件人识别任务,揭示模型弱点。
2024-09-27 cs.CL
MPC-BERT: A Pre-Trained Language Model for Multi-Party Conversation Understanding
University of Science and Technology of China(中国科学技术大学);Microsoft(微软)
近年来,用于多方会话(MPC)的各种神经模型在诸如收信人识别、说话人辨识和响应预测等任务上取得了令人印象深刻的改进。然而,这些现有的MPC的方法通常表示单独的对话者和话语,忽略了MPC中固有的复杂结构,可以提供关键的对话者和话语语义,并将加强会话理解过程。为此,我们提出了MPC-BERT,这是一种用于MPC理解的预训练模型,它考虑在具有多个精心设计的自监督任务的统一模型中学习谁对谁说了什么。具体地,这些任务通常可以被分类为(1)对话者结构建模,包括回复话语识别、相同说话者搜索和指针一致性区分,以及(2)话语语义建模,包括掩蔽共享话语恢复和共享节点检测。我们评估MPC BERT的三个下游任务,包括收件人识别,说话人辨识和响应选择。实验结果表明,MPC-BERT优于以前的方法的大幅度,并实现了新的国家的最先进的性能在所有三个下游任务在两个基准测试。
2021-06-03 cs.CL
Friends-MMC: A Dataset for Multi-modal Multi-party Conversation Understanding
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Beijing Institute for General Artificial Intelligence(北京通用人工智能研究院);National Key Laboratory of General Artificial Intelligence(通用人工智能全国重点实验室)
本文提出多模态多方对话数据集Friends-MMC,含24,000+话语及说话者、面孔标注,研究说话者识别与响应预测任务,并提出利用双模态语境的优化基线方法。
2024-12-23 cs.CL
With a Little Help from my (Linguistic) Friends: Topic Segmentation of Multi-party Casual Conversations
Université de Lorraine(洛林大学);Inria(法国国家信息与自动化研究所);University of Gothenburg(哥德堡大学)
本文采用形式化方法对多方随意对话进行主题分割,识别有意义特征以理解对话主题结构,达到与机器学习模型相当的准确率。
2024-02-05 cs.CL
SS-MPC: A Sequence-Structured Multi-Party Conversation System
SungKyunKwan University(成均馆大学)
本文提出SS-MPC,一种无需显式图结构、将对话结构编码为序列输入的多方对话回复生成模型,在BLEU-1和ROUGE-L上超越现有最先进模型,并生成更流畅准确的回复。
2025-02-24 cs.CL
MADNet: Maximizing Addressee Deduction Expectation for Multi-Party Conversation Generation
University of Science and Technology of China(中国科学技术大学);iFLYTEK Research(讯飞研究院);Peking University(北京大学)
针对多方对话中听话人标签稀缺问题,提出MADNet模型,通过设计潜在边完成全连接图并采用期望最大化方法迭代生成银标准标签,有效提升了多方对话生成的性能。
2023-10-18 cs.CL
A Cocktail-Party Benchmark: Multi-Modal dataset and Comparative Evaluation Results
Karlsruhe Institute of Technology, Germany(卡尔斯鲁厄理工学院);Carnegie Mellon University, USA(卡内基梅隆大学);Interactive-AI LLC(Interactive-AI公司);Meta AI, UK(Meta AI)
本文提出多模态上下文感知识别任务,通过结合音频和视觉线索提升重叠对话识别性能,展示多模态在解决宴会派对问题中的关键作用。
2026-02-12 cs.CL
Response Selection for Multi-Party Conversations with Dynamic Topic Tracking
Salesforce Research Asia(Salesforce亚洲研究院);Nanyang Technological University(南洋理工大学)
当多方多话轮会话中的参与者同时参与多个会话主题时,现有的响应选择方法主要针对两方单会话场景开发。因此,现有的方法忽略了会话话题的延伸和转换。在这项工作中,我们框架响应选择作为一个动态的主题跟踪任务,以匹配响应和相关的会话上下文之间的主题。有了这个新的公式,我们提出了一个新的多任务学习框架,通过一次只有两个话语的大型预训练模型来支持有效的编码,以执行动态主题解纠缠和响应选择。我们还提出了主题-BERT的一个必要的预训练步骤嵌入主题信息到BERT与自监督学习。在DSTC-8 Ubuntu IRC数据集上的实验结果显示,响应选择和主题分解任务的最新结果远远优于现有方法。
2020-10-15 cs.AI cs.CL
MPCEval: A Benchmark for Multi-Party Conversation Generation
Duke University(杜克大学);Tanka AI(塔纳人工智能)
MPCEval提出一个多任务意识的评估和基准测试套件,用于评估多方对话生成的质量,揭示模型在参与平衡、内容进展和一致性方面的系统性特征。
2026-03-05 cs.AI cs.CL
EmotionLines: An Emotion Corpus of Multi-Party Conversations
Academia Sinica(中央研究院);Carnegie Mellon University(卡内基梅隆大学)
感受情感是区分人与机器的关键特征。在所有用于情感检测的多模态资源中,文本数据集是除了语义之外包含最少附加信息的数据集,因此被广泛用于测试所开发的系统。然而,大多数文本情感数据集仅由单个单词,句子或文档的情感标签组成,这使得讨论情感的上下文流具有挑战性。在本文中,我们介绍了第一个仅基于文本内容对每个对话中的所有话语进行情感标签的数据集-对话在QuestionLines是从朋友电视脚本和私人Facebook信使对话收集。然后,由5个亚马逊MTurker在每个话语上标记七种情绪中的一种,六种Ekman的基本情绪加上中性情绪。来自2,000个对话的总共29,245个话语被标记在提示行中。在本文中,我们还为情感检测模型提供了几个强大的基线。
2018-05-30 cs.CL
LLMberjack: Guided Trimming of Debate Trees for Multi-Party Conversation Creation
University of Trento(特伦托大学);Fondazione Bruno Kessler(布鲁诺·凯塞勒基金会)
LLMberjack通过引导修剪辩论树,利用LLM辅助实现多方对话的高效创建,提升输出质量并减少人工工作量。
2026-11-03 cs.CL cs.HC
Triadic Multi-party Voice Activity Projection for Turn-taking in Spoken Dialogue Systems
Graduate School of Informatics(信息科学研究生学校)
本研究针对传统话轮转换研究多聚焦二元场景的问题,首次将语音活动预测(VAP)拓展至三方对话场景,在日语三方数据集上训练的模型优于基线,证实VAP可用于三方对话话轮转换,为后续集成到口语对话系统奠定基础。
2025-10-03 cs.CL
Multi-party Response Generation with Relation Disentanglement
针对多方对话中复杂上下文及关系预先给定的局限,提出无人工标签下通过深度图随机过程自动推断话语关系图,并结合变分自编码器与GAN进行结构感知回复生成,在多方基准上优于基线。
2024-03-23 cs.CL
Is ChatGPT a Good Multi-Party Conversation Solver?
National Engineering Research Center of Speech and Language Information Processing(国家语音与语言信息处理工程技术研究中心);University of Science and Technology of China(中国科学技术大学)
本文实证评估了ChatGPT和GPT-4在多方对话任务中的零样本能力,发现GPT-4表现优于ChatGPT,并通过引入说话者与受话者架构提升性能,为构建更鲁棒的MPC智能体提供了参考。
2023-10-25 cs.CL
We've had this conversation before: A Novel Approach to Measuring Dialog Similarity
IBM Research(IBM研究院)
对话是人类自然语言交互的核心构件。它包含多方话语,用于以动态和不断变化的方式从一方向另一方传达信息。比较对话框的能力在许多现实世界的用例中是有益的,例如联系中心呼叫的对话分析和虚拟代理设计。我们提出了一种新的适应的编辑距离度量对话相似性的情况。我们的方法考虑到各种会话方面,如话语语义,会话流,和参与者。我们评估这种新方法,并将其与两个公开数据集上现有的文档相似性度量进行比较。结果表明,我们的方法优于其他方法在捕捉对话流,更好地符合人类的感知会话相似性。
2021-10-12 cs.CL
Multi-Party Chat: Conversational Agents in Group Settings with Humans and Models
Cornell University(康奈尔大学);Meta AI;DeepMind(深度思维)
针对现有对话研究多聚焦两方对话、缺乏多方群体场景研究的问题,该研究基于LIGHT环境构建MultiLIGHT多方角色扮演对话数据集,验证了该数据集可显著提升模型在群体对话中的发言决策与连贯表达能力。
2023-06-08 cs.CL cs.LG
Efficient Intent-Based Filtering for Multi-Party Conversations Using Knowledge Distillation from LLMs
Microsoft AI(微软人工智能)
针对大语言模型处理多方对话资源消耗高的问题,提出利用LLM知识蒸馏构建意图过滤器,用标注数据集微调MobileBERT实现多标签意图分类,仅传相关片段给LLM,在算力受限环境下显著降低运营成本。
2025-03-21 cs.AI cs.CL
Temporal Evidence Forests for Long-Horizon Multi-Party Conversational Memory
School of Computer Science and Engineering, Beihang University(北京航空航天大学计算机科学与工程学院);Alibaba Group(阿里巴巴集团)
针对现有时序记忆框架未利用时序结构恢复证据与重构事件进程的局限,提出基于时序结构的记忆框架T-Mem,经实验验证其在多类基准上优于竞争性框架。
2026-10-12 cs.CL
GIFT: Graph-Induced Fine-Tuning for Multi-Party Conversation Understanding
University of Science and Technology of China(中国科学技术大学);iFLYTEK Research(讯飞研究院)
针对现有多方对话理解方法对图结构利用不足的问题,提出即插即用的轻量图诱导微调方法GIFT,通过四类边将图信号融入注意力优化预训练语言模型,仅增少量参数就在多个任务上取得SOTA性能。
2023-07-18 cs.CL
MuPPET: A Benchmark for Contextual Privacy of LLM Assistants in Multi-Party Conversations
Parameter Lab(参数实验室);University of Rome Tor Vergata(罗马第二大学);University of Oxford(牛津大学);NAVER AI Lab(NAVER AI实验室);KAIST AI(韩国科学技术院人工智能研究所)
提出MuPPET基准,评估多用户对话中LLM代理的隐私泄露风险,发现模型在多用户场景下泄露更严重,现有防御措施效果有限。
2026-06-23 cs.AI cs.CL
GroupMemBench: Benchmarking LLM Agent Memory in Multi-Party Conversations
UC Santa Barbara(加州大学圣芭芭拉分校);Microsoft(微软)
本文提出GroupMemBench,用于评估多方对话中LLM代理的记忆能力,揭示现有记忆系统在群体动态、信念跟踪和语言适应方面的不足。
2026-05-16 cs.CL
Leveraging Turn-taking Dynamics for Intent Recognition in Multi-party Conversations
Université Paris-Saclay(巴黎-萨克雷大学);CEA(法国原子能和替代能源委员会);List(List(此处为CEA下属研究机构,保留英文原名))
该研究提出结合话轮转换熵辅助任务的多任务学习方法,在多方对话意图识别任务中提升了预训练模型的性能,优于忽略多方交互动态的现有方法。
2026-09-01 cs.CL cs.LG
DialSim: A Dialogue Simulator for Evaluating Long-Term Multi-Party Dialogue Understanding of Conversational Agents
KAIST(韩国科学技术院);SNU(釜山大学)
针对现有对话智能体评估忽视多方对话与长期依赖的问题,提出DialSim模拟评估框架及LongDialQA数据集,发现大上下文或RAG模型仍难以保持长期多方理解,凸显更真实基准的必要性。
2025-09-26 cs.AI cs.CL
Intent Recognition and Out-of-Scope Detection using LLMs in Multi-party Conversations
Université Paris-Saclay, CEA, List, Palaiseau, France(巴黎-萨克雷大学,CEA,List,Palaiseau,法国)
针对传统任务导向对话系统需大量标注数据的问题,提出结合BERT与大语言模型的混合方法,在零/少样本下实现多方对话的意图识别与域外检测,通过信息共享提升了系统性能。
2025-07-29 cs.CL cs.LG
Detecting agreement in multi-party dialogue: evaluating speaker diarisation versus a procedural baseline to enhance user engagement
Heriot-Watt University(赫瑞-瓦特大学)
本研究针对多方对话中说话人身份影响对话状态跟踪的问题,对比说话人分群模型与基于频率邻近度的程序方法在一致性检测上的效果,发现后者准确率更高且更能提升用户参与度。
2023-11-06 cs.CL
Enhancing Emotion Recognition in Conversation through Emotional Cross-Modal Fusion and Inter-class Contrastive Learning
Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司);University of Science and Technology of China(中国科学技术大学)
针对对话情感识别中跨模态融合不足与信息冗余问题,提出基于向量连接的跨模态融合网络及类间对比学习,在IEMOCAP和MELD数据集上表现优异。
2024-05-28 cs.CL
Causal Emotion Recognition in Conversation: Context Saturation and Discourse-Marker Evidence
University of California, Irvine(加州大学尔湾分校)
通过系统消融实验发现对话上下文对情绪识别性能起主导作用但快速饱和,并揭示悲伤情绪与左边缘话语标记使用减少及更高上下文依赖性的关联。
2026-06-11 cs.AI cs.CL
Advancing Multi-Party Dialogue Framework with Speaker-ware Contrastive Learning
School of Computer Science and Engineering, Northwestern Polytechnical University(计算机科学与工程学院,西北工业大学);School of Computer Science and Technology, Xidian University(计算机科学与技术学院,西安电子科技大学);School of Artificial Intelligence and Big Data, Henan University of Technology(人工智能与大数据学院,河南理工大学)
针对现有多方对话方法依赖图结构标注、忽略个体说话风格的问题,提出基于两阶段自监督对比学习的CMR框架,是首个将对比学习用于多方对话生成的方法,性能优于SOTA且可提升大模型的多方对话处理能力。
2025-05-19 cs.CL
Cross-Attention End-to-End ASR for Two-Party Conversations
Carnegie Mellon University(卡内基梅隆大学)
我们提出了一个端到端的语音识别模型,学习两个说话人之间的互动的基础上的话轮变化信息。与传统的语音识别模型不同,我们的模型利用了两个扬声器的历史会话上下文信息,跨越多个回合内的一个端到端的框架。具体来说,我们提出了一个特定于说话人的交叉注意机制,可以看看其他说话人的输出以及当前说话人的输出,以更好地识别长对话。我们评估的Switchboard会话语音语料库的模型,并表明我们的模型优于标准的端到端的语音识别模型。
2019-07-24 cs.CL cs.LG cs.SD
PLACES: Prompting Language Models for Social Conversation Synthesis
Columbia University(哥伦比亚大学);Amazon Alexa AI(亚马逊Alexa人工智能部门)
收集高质量的会话数据对于大多数应用程序来说可能非常昂贵,并且由于隐私,道德或类似问题而对其他应用程序来说是不可行的。解决这个问题的一个有希望的方向是通过提示大语言模型来生成合成对话。在这项工作中,我们使用一小部分专家撰写的对话作为上下文示例,使用提示合成社交对话数据集。我们对我们的合成对话与人类收集的对话进行了几次彻底的评估。这包括直接对合成对话进行人工评估的对话质量的各个维度,以及对合成生成的数据集进行微调的聊天机器人的交互式人工评估。我们还证明,这种提示方法是可推广到多方对话,为多方任务创建新的合成数据提供了可能。与从人类收集的多方数据集采样的对话摘录相比,我们的合成多方对话在所有测量维度上都得到了更有利的评价。
2023-02-17 cs.AI cs.CL cs.IR
LSTM based Conversation Models
University of Washington(华盛顿大学);Georgia Institute of Technology(佐治亚理工学院)
在本文中,我们提出了一个会话模型,结合双方对话的背景和参与者的角色。不同的架构被探索用于将参与者角色和上下文信息集成到长短期记忆(LSTM)语言模型中。会话模型可以用作语言模型或语言生成模型。在Ubuntu Dialog语料库上的实验表明,该模型能够捕捉到参与者之间的多话轮交互。所提出的方法优于传统的LSTM模型,如通过语言模型困惑度和响应排名所测量的。生成的响应显示两个参与者角色之间的特征差异。
2016-03-31 cs.CL
deep learning of segment-level feature representation for speech emotion recognition in conversations
Queen Mary University of London(伦敦玛丽女王大学);Amazon(亚马逊)
由于会话中情感和动态的复杂性,准确地检测会话中的情感是一项必要而具有挑战性的任务。说话者的情绪状态会受到许多不同因素的影响,如对话者刺激、对话场景和话题。在这项工作中,我们提出了一个会话语音情感识别方法来处理捕获注意上下文依赖和说话人敏感的互动。首先,我们使用预训练的VGGish模型来提取单个话语中基于片段的音频表示。其次,一个专注的双向门控递归单元(GRU)模型上下文敏感信息,并探讨内和说话人之间的依赖关系,以动态的方式。在标准会话数据集MELD上进行的实验表明,与最先进的方法相比,所提出的方法是有效的。
2023-02-05 cs.CL cs.SD eess.AS
When2Speak: A Dataset for Temporal Participation and Turn-Taking in Multi-Party Conversations for Large Language Models
Pratt School of Engineering(普拉特工程学院);Duke University(杜克大学)
本文提出When2Speak数据集,通过四阶段生成流程学习群体互动中的发言时机,通过强化学习优化模型,提升多党对话中的发言准确性与自然度。
2026-05-07 cs.AI cs.CL
MultiTalk: Scaling Full-Duplex Speech Models to Long, Multi-Party, Bilingual Conversation
CUHK MMLab(香港中文大学多媒体实验室);CPII under InnoHK(香港物流及供应链管理应用技术研发中心)
提出MultiTalk,通过57.6k小时合成数据训练双语全双工模型,并构建MultiTalkBench基准,显著提升长时多方对话性能。
2026-09-30 cs.AI cs.CL cs.SD
OmniVox: Zero-Shot Emotion Recognition with Omni-LLMs
Stony Brook University(石溪大学);Institute for Advanced Computational Science(高级计算科学研究院)
本文提出OmniVox,首次系统评估四种全模态大语言模型在零样本情绪识别任务上的表现,并引入声学提示策略,在IEMOCAP和MELD基准上验证其优于或媲美微调音频模型。
2025-03-28 cs.CL
Investigating the Relationship between Multi-Party Linguistic Entrainment, Team Characteristics, and the Perception of Team Social Outcomes
University of Pittsburgh(匹兹堡大学);University of Maryland(马里兰大学)
多方语言夹带是指说话人在会话过程中说话方式趋于相似的现象。首先,我们开发了新的措施,描述语言风格的功能,多方夹带,然后检查夹带和团队特征的性别组成,团队规模和多样性之间的关系。接下来,我们预测的感知团队的社会成果,使用多方语言夹带和团队特征与层次回归模型。我们发现,性别多样性更大的团队比性别多样性更少的团队具有更高的最小收敛性。无论是单独还是控制团队特征,夹带都对预测感知的团队社会成果有显着贡献。
2019-09-02 cs.CL
DialogueRNN: An Attentive RNN for Emotion Detection in Conversations
National University of Singapore(新加坡国立大学);University of Michigan(密歇根大学);Instituto Politécnico Nacional(国立理工学院);Nanyang Technological University(南洋理工大学)
会话中的情感检测是许多应用程序的必要步骤,包括通过聊天历史进行意见挖掘,社交媒体线程,辩论,论证挖掘,了解实时对话中的消费者反馈等。在本文中,我们描述了一种基于递归神经网络的新方法,该方法可以跟踪整个对话中的各个当事人状态,并使用这些信息进行情感分类。我们的模型在两个不同的数据集上的表现明显优于现有技术。
2019-05-25 cs.CL
MMGCN: Multimodal Fusion via Deep Graph Convolution Network for Emotion Recognition in Conversation
Renmin University of China(中国人民大学)
会话中的情感识别是情感对话系统的重要组成部分,它帮助系统理解用户的情感并产生移情反应。然而,大多数作品主要集中在建模扬声器和上下文信息的文本模态或简单地利用多模态信息,通过功能连接。为了探索一种更有效地利用多模态和长距离上下文信息的方法,本文提出了一种基于多模态融合图卷积网络的上下文信息融合模型MMGCN。MMGCN不仅可以有效地利用多模态依赖关系,而且可以利用说话人信息来建模说话人间和说话人内依赖关系。我们在两个公共基准数据集IEMOCAP和MELD上对我们提出的模型进行了评估,结果证明了MMGCN的有效性,在多模态会话设置下,MMGCN的性能明显优于其他SOTA方法。
2021-07-14 cs.CL cs.SD eess.AS
DialogXL: All-in-One XLNet for Multi-Party Conversation Emotion Recognition
Sun Yat-sen University(中山大学)
本文介绍了我们的开拓性努力,情感识别会话(ERC)与预先训练的语言模型。与常规文档不同,会话语句交替出现于不同的当事人,并且在以前的工作中通常被组织为层次结构。这样的结构不利于应用预先训练的语言模型,如XLNet。为了解决这个问题,我们提出了一个所有功能于一身的XLNet模型,即对话XL,具有增强的内存来存储更长的历史上下文和对话感知的自我注意力来处理多方结构。具体来说,我们首先修改XLNet的复发机制,从段级到话语级,以便更好地模拟会话数据。其次,我们引入了对话感知的自我注意力,以取代XLNet中的香草自我注意力,以捕获有用的说话者内部和说话者之间的依赖关系。广泛的实验进行了四个ERC基准与主流模型进行比较。实验结果表明,该模型在所有数据集上的性能都优于基线。实验结果验证了DialogXL关键模块的作用。
2020-12-16 cs.AI cs.CL cs.IR
Predicting Turn-Taking Outcomes in Multi-Party Conversation: Interpretable Modelling of Speech and Gaze Dynamics with Interpersonal Closeness
Research & Exploration, GN Store Nord(GN Store Nord 研究与探索部门);Aalborg University(奥尔堡大学);Technical University of Denmark(丹麦技术大学)
本研究结合GaMMA语料库,用含注视、语音及人际亲密度特征的逻辑回归模型预测四人对话话轮转换结果,发现注视特征与响度结合可提升抗噪预测性能。
2026-08-31 cs.CL cs.SD
Addressing Antisocial Behavior in Multi-Party Dialogs Through Multimodal Representation Learning
Universit\'e C \ te d'Azur, CNRS, Inria, I3S Sophia Antipolis France;Universit\'e C \ te d'Azur, CNRS, Inria, I3S
针对多方对话中反社会行为识别数据与研究不足的问题,本文基于法语 CyberAgressionAdo-Large 数据集,融合文本与图表征学习方法,证明 mBERT + WD-SGCN 后融合模型整体性能最优。
2025-10-20 cs.CL
ProMediConv: Benchmarking Proactive Conversational Agents in Legal Dispute Mediation
University of Science and Technology of China(中国科学技术大学);Singapore Management University(新加坡管理大学);Institute of Artificial Intelligence, Hefei Comprehensive National Science Center(合肥综合性国家科学中心人工智能研究院)
提出ProMediConv基准框架,将法律纠纷调解建模为主动多阶段对话过程,整合11种调解策略和四种当事人行为状态,构建高保真数据集并引入MAD细粒度指标,系统评估现有模型能力,为AI辅助冲突解决提供量化标准。
2026-09-11 cs.CL
How to Retrieve Examples in In-context Learning to Improve Conversational Emotion Recognition using Large Language Models?
Wang Feng Narayanan University of Southern California(王峰纳拉亚南美国南加州大学)
本研究探讨如何通过上下文学习中的示例检索提升大型语言模型的对话情感识别能力,提出基于随机和增强的检索策略,实验证明增强示例检索在三个数据集上均表现最优。
2025-06-28 cs.AI cs.CL
Adaptive Turn-Taking for Real-time Multi-Party Voice Agents
Amazon AGI(亚马逊人工智能研究院);IIT Kharagpur, India(印度克里ш格布尔理工学院)
提出ModeratorLM,一种基于角色条件的语音大模型,通过分块流式处理和链式推理,在多方对话中实现自适应轮流发言,显著提升轮流精度和召回率。
2026-06-29 cs.AI cs.CL eess.AS
EM Pre-training for Multi-party Dialogue Response Generation
Shanghai Jiao Tong University(上海交通大学)
针对多方对话数据集缺乏听话者标签难以预训练响应生成模型的问题,提出迭代生成标签并优化模型的EM预训练方法,实验证明其可行有效。
2023-05-21 cs.CL
EmoEUS: Uncertainty Supervision for Multimodal Emotion Recognition in Conversation
Dept. of Electrical and Electronic Engineering, The Hong Kong Polytechnic University(香港理工大学电子与电气工程系);Speech, Language, and Cognition Laboratory, The University of Hong Kong(香港大学语音、语言与认知实验室)
研究对话中多模态情感识别,提出EmoEUS框架,通过动态加权模态执行不确定性感知多模态融合,并引入显式监督损失,实验证明该框架优于现有方法。
2026-07-22 cs.CL cs.LG cs.MM
Multi-Party Supervised Fine-tuning of Language Models for Multi-Party Dialogue Generation
Beijing Institute of Technology, Beijing, China(北京理工大学);Beihang University, Beijing, China(北航);Geely AI Lab, Beijing, China(Geely人工智能实验室)
针对大语言模型难以适配多方对话的问题,本研究提出多方微调框架MuPaS及两种训练策略,实验证明其在多方回复、说话人预测等方面效果最优,可支撑更多复杂多方应用。
2025-06-11 cs.AI cs.CL
EII-SCL: Harnessing Emotional Inertia for Multimodal Emotion Recognition in Conversation
Electronic Engineering,\ Hong Kong Polytechnic University, Hong Kong SAR, China
研究对话中的多模态情感识别问题,提出情感惯性引导监督对比学习模块EII-SCL,通过构建受惯性影响样本为对比目标提供信息,利用情感惯性先验,无需额外数据,与现有模型无缝集成,实验证明该方法优于现有方法。
2026-07-21 cs.CL cs.HC cs.MM