Contrastive Speaker-Aware Learning for Multi-party Dialogue Generation with LLMs
Shangqiu University(商丘大学)
本文提出SA-LLM,通过说话人感知对比学习无需关系标注即可建模多方对话中的说话人角色与上下文连贯性,在流畅性、连贯性和多样性上超越现有基线。
2025-03-11 cs.CL
A Hybrid Architecture for Multi-Party Conversational Systems
IBM Research(IBM研究院);UPMC Univ Paris 06(皮埃尔和玛丽·居里大学);CNRS(法国国家科学研究中心);Laboratoire d’Informatique de Paris 6 (LIP6)(巴黎第六大学计算机科学实验室)
多方会话系统是一个或多个人或系统之间通过自然语言进行交互的系统。从一个话语被发送到一个群组的那一刻起,到一个成员在群组中回复它的那一刻起,系统必须完成几项活动:话语理解、信息搜索、推理等等。在本文中,我们提出了设计和构建多方对话系统的挑战,最先进的,我们提出的混合架构,使用规则和机器学习和一些见解后,实施和评估一个金融领域。
2017-05-04 cs.CL
DialogXL: All-in-One XLNet for Multi-Party Conversation Emotion Recognition
Sun Yat-sen University(中山大学)
本文介绍了我们的开拓性努力,情感识别会话(ERC)与预先训练的语言模型。与常规文档不同,会话语句交替出现于不同的当事人,并且在以前的工作中通常被组织为层次结构。这样的结构不利于应用预先训练的语言模型,如XLNet。为了解决这个问题,我们提出了一个所有功能于一身的XLNet模型,即对话XL,具有增强的内存来存储更长的历史上下文和对话感知的自我注意力来处理多方结构。具体来说,我们首先修改XLNet的复发机制,从段级到话语级,以便更好地模拟会话数据。其次,我们引入了对话感知的自我注意力,以取代XLNet中的香草自我注意力,以捕获有用的说话者内部和说话者之间的依赖关系。广泛的实验进行了四个ERC基准与主流模型进行比较。实验结果表明,该模型在所有数据集上的性能都优于基线。实验结果验证了DialogXL关键模块的作用。
2020-12-16 cs.AI cs.CL cs.IR
PLATO-XL: Exploring the Large-scale Pre-training of Dialogue Generation
Baidu Inc.(百度公司)
为了探索对话生成预训练的极限,我们提出了PLATO-XL模型,其中包含多达110亿个参数,并在中文和英文社交媒体对话上进行了训练。为了训练这样的大型模型,我们采用了统一的Transformer结构,具有较高的计算效率和参数效率。此外,我们进行多方感知的预训练,以更好地区分社交媒体会话中的特征信息。通过这些设计,PLATO-XL在中文和英文聊天中成功地实现了优于其他方法的性能。我们进一步探讨了PLATO-XL在其他会话任务上的能力,如基于知识的对话和面向任务的会话。实验结果表明,PLATO-XL在多个会话任务中获得了最先进的结果,验证了其作为会话AI基础模型的潜力。
2022-10-19 cs.CL
Detecting Agreement in Multi-party Conversational AI
Heriot-Watt University(赫瑞-瓦特大学)
针对多方对话系统面临的说话人/受话人识别、话轮转换等难题,研究构建了支持双人知识问答游戏的多方对话系统,可检测用户对答案的一致性并回应,相关语料与代码已开源。
2023-11-06 cs.CL
Conversation Forests: The Key to Fine Tuning Large Language Models for Multi-Turn Medical Conversations is Branching
University of Pennsylvania(宾夕法尼亚大学)
针对DPO和GRPO等方法在多轮医疗对话中表现不足的问题,提出强化学习框架SCF,利用分支对话架构生成多轮延续以微调LLMs,实验证明其诊断准确性优于线性架构。
2025-07-15 cs.AI cs.CL
Adaptive Turn-Taking for Real-time Multi-Party Voice Agents
Amazon AGI(亚马逊人工智能研究院);IIT Kharagpur, India(印度克里ш格布尔理工学院)
提出ModeratorLM,一种基于角色条件的语音大模型,通过分块流式处理和链式推理,在多方对话中实现自适应轮流发言,显著提升轮流精度和召回率。
2026-06-29 cs.AI cs.CL eess.AS
Multi-Party Conversational Agents: A Survey
University of Central Florida(中央佛罗里达大学);Stony Brook University(石溪大学)
本综述围绕心理状态建模、语义理解和行动建模三个关键问题,系统梳理多方对话智能体的最新进展,强调心智理论与多模态理解的重要性。
2025-05-24 cs.CL
Llama meets EU: Investigating the European Political Spectrum through the Lens of LLMs
University of Copenhagen(哥本哈根大学)
本文审查了 Llama Chat 在欧盟政治背景下的政治知识与推理能力,通过在欧洲议会演讲上微调构建特定政党模型,发现其能显著重新对齐至相应政治立场,为政治科学研究提供了对话引擎支持。
2024-03-22 cs.CL
Leveraging Large Language Models to Identify Conversation Threads in Collaborative Learning
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);MIT Media Lab(麻省理工学院媒体实验室);Instituto Politécnico de Bragança(布拉甘扎理工大学);MIT STEP(麻省理工学院教育技术计划)
本研究探讨利用大型语言模型自动识别协作学习中的对话线程,证明显式线程信息能提升关系动作编码性能,并提出人机混合策略以优化成本效益。
2025-10-26 cs.CL
PLACES: Prompting Language Models for Social Conversation Synthesis
Columbia University(哥伦比亚大学);Amazon Alexa AI(亚马逊Alexa人工智能部门)
收集高质量的会话数据对于大多数应用程序来说可能非常昂贵,并且由于隐私,道德或类似问题而对其他应用程序来说是不可行的。解决这个问题的一个有希望的方向是通过提示大语言模型来生成合成对话。在这项工作中,我们使用一小部分专家撰写的对话作为上下文示例,使用提示合成社交对话数据集。我们对我们的合成对话与人类收集的对话进行了几次彻底的评估。这包括直接对合成对话进行人工评估的对话质量的各个维度,以及对合成生成的数据集进行微调的聊天机器人的交互式人工评估。我们还证明,这种提示方法是可推广到多方对话,为多方任务创建新的合成数据提供了可能。与从人类收集的多方数据集采样的对话摘录相比,我们的合成多方对话在所有测量维度上都得到了更有利的评价。
2023-02-17 cs.AI cs.CL cs.IR
Multimodal Multi-turn Conversation Stance Detection: A Challenge Dataset and Effective Model
Shenzhen Technology University(深圳技术大学);Peking University(北京大学)
针对现有多模态立场检测忽略多方对话语境的问题,本文提出多模态多轮对话立场检测数据集MmMtCSD及多模态大语言模型框架MLLM-SD,通过联合学习文本与视觉表示实现最先进的立场检测性能。
2024-09-01 cs.CL cs.MM
Evaluating Long-Horizon Memory for Multi-Party Collaborative Dialogues
本文提出EverMemBench,首个评估多方协作对话长周期记忆的基准,揭示当前系统在多跳推理、时间推理和记忆意识方面的局限性。
2026-03-11 cs.AI cs.CL
LoSoNA: A Benchmark for Local Social Norm Adaptation in Group Conversations
Humalike Research
提出LoSoNA基准,通过群聊场景测试LLM从对话历史推断并适应未明示的局部社交规范的能力,评估多种模型在不同提示条件下的表现。
2026-06-15 cs.CL
DialSim: A Dialogue Simulator for Evaluating Long-Term Multi-Party Dialogue Understanding of Conversational Agents
KAIST(韩国科学技术院);SNU(釜山大学)
针对现有对话智能体评估忽视多方对话与长期依赖的问题,提出DialSim模拟评估框架及LongDialQA数据集,发现大上下文或RAG模型仍难以保持长期多方理解,凸显更真实基准的必要性。
2025-09-26 cs.AI cs.CL
Detecting agreement in multi-party dialogue: evaluating speaker diarisation versus a procedural baseline to enhance user engagement
Heriot-Watt University(赫瑞-瓦特大学)
本研究针对多方对话中说话人身份影响对话状态跟踪的问题,对比说话人分群模型与基于频率邻近度的程序方法在一致性检测上的效果,发现后者准确率更高且更能提升用户参与度。
2023-11-06 cs.CL
MIntRec2.0: A Large-scale Benchmark Dataset for Multimodal Intent Recognition and Out-of-scope Detection in Conversations
Tsinghua University(清华大学);Hebei University of Science Technology(河北科技大学);Samton (Jiangxi) Technology Development Co Ltd(江西森通科技发展有限公司)
本文提出MIntRec2.0大规模多模态多方对话意图识别基准数据集,包含30类意图及分布外样本,构建通用评估框架,并揭示现有方法在上下文利用和分布外检测上仍面临重大挑战。
2024-06-28 cs.CL cs.MM
Multi-Party Chat: Conversational Agents in Group Settings with Humans and Models
Cornell University(康奈尔大学);Meta AI;DeepMind(深度思维)
针对现有对话研究多聚焦两方对话、缺乏多方群体场景研究的问题,该研究基于LIGHT环境构建MultiLIGHT多方角色扮演对话数据集,验证了该数据集可显著提升模型在群体对话中的发言决策与连贯表达能力。
2023-06-08 cs.CL cs.LG
Perceived Political Bias in LLMs Reduces Persuasive Abilities
Leiden University(莱顿大学)
研究发现,感知到的LLM政治偏见会降低其在对话中的说服效果,表明说服力受政治中立性感知的影响。
2026-02-20 cs.AI cs.CL cs.CY
Who Speaks Next? Multi-party AI Discussion Leveraging the Systematics of Turn-taking in Murder Mystery Games
School of Engineering, Utsunomiya University(宇都宫大学工学院)
本研究针对多智能体对话控制难题,提出融合会话相邻对选择与内部状态自选机制的Murder Mystery Agents框架,经剧本杀场景验证可减少对话中断、提升推理与信息共享能力,为多智能体对话系统设计提供参考。
2025-02-21 cs.AI cs.CL
Online vs Offline: A Comparative Study of First-Party and Third-Party Evaluations of Social Chatbots
School of Computer and Communication Sciences(计算机与通信科学学院);EPFL(洛桑联邦理工学院)
该研究对比对话式聊天机器人的在线第一方交互评估与离线第三方评估,发现离线人工评估难捕捉交互细节,基于GPT-4的自动化第三方评估效果更优,提出应整合直接交互反馈以提升对话AI评估质量。
2024-09-12 cs.CL cs.HC
Generative LLM Powered Conversational AI Application for Personalized Risk Assessment: A Case Study in COVID-19
Wayne State University(韦恩州立大学);Penn State College of Medicine(宾夕法尼亚州立大学医学院)
本研究提出基于生成式LLM的流式对话风险评估方法,通过微调Llama2-7b和Flan-t5-xl构建移动应用,实现无代码COVID-19严重程度评估,在低数据场景下表现优于传统分类器并提供可解释性。
2024-09-23 cs.AI cs.CL
EMSDialog: Synthetic Multi-person Emergency Medical Service Dialogue Generation from Electronic Patient Care Reports via Multi-LLM Agents
School of Engineering and Applied Sciences, University of Virginia(弗吉尼亚大学工程与应用科学学院);School of Medicine, University of Virginia(弗吉尼亚大学医学院)
本文提出基于ePCR的多代理生成流程,生成4414个合成多说话者EMS对话数据集,提升EMS对话诊断预测的准确性、及时性和稳定性。
2026-04-20 cs.AI cs.CL
Time-To-Inconsistency: A Survival Analysis of Large Language Model Robustness to Adversarial Attacks
Carnegie Mellon University(卡内基梅隆大学)
本研究通过生存分析方法评估大型语言模型在多轮对话中的鲁棒性,发现语义漂移对不一致风险的影响,并提出轻量级模型用于提前检测失败对话。
2026-02-04 cs.AI cs.CL cs.LG
An Agentic Approach for Active Data Collection, Travel Behavior Modeling, and Weather-Sensitive Demand Prediction
McGill University(麦吉尔大学)
本研究提出三智能体工作流,结合对话式调查、传统建模与多模态LLM预测,基于学生通勤数据实现天气敏感出行需求预测,视觉配置模型准确率达71.5%
2026-08-21 cs.AI cs.CL
SpeakerMem-R1: Speaker-Centered Dual-Track Memory for Multi-Party Dialogue
Zhejiang University(浙江大学)
针对多方对话中消息归因与状态重建瓶颈,提出双轨记忆框架 SpeakerMem-R1,结合逐字与结构化记忆及人物/群体视图,在多个基准上取得最优结果。
2026-09-24 cs.AI cs.CL cs.IR
ProMediConv: Benchmarking Proactive Conversational Agents in Legal Dispute Mediation
University of Science and Technology of China(中国科学技术大学);Singapore Management University(新加坡管理大学);Institute of Artificial Intelligence, Hefei Comprehensive National Science Center(合肥综合性国家科学中心人工智能研究院)
提出ProMediConv基准框架,将法律纠纷调解建模为主动多阶段对话过程,整合11种调解策略和四种当事人行为状态,构建高保真数据集并引入MAD细粒度指标,系统评估现有模型能力,为AI辅助冲突解决提供量化标准。
2026-09-11 cs.CL
Multi-party Response Generation with Relation Disentanglement
针对多方对话中复杂上下文及关系预先给定的局限,提出无人工标签下通过深度图随机过程自动推断话语关系图,并结合变分自编码器与GAN进行结构感知回复生成,在多方基准上优于基线。
2024-03-23 cs.CL
Efficient Intent-Based Filtering for Multi-Party Conversations Using Knowledge Distillation from LLMs
Microsoft AI(微软人工智能)
针对大语言模型处理多方对话资源消耗高的问题,提出利用LLM知识蒸馏构建意图过滤器,用标注数据集微调MobileBERT实现多标签意图分类,仅传相关片段给LLM,在算力受限环境下显著降低运营成本。
2025-03-21 cs.AI cs.CL
Thread Detection and Response Generation using Transformers with Prompt Optimisation
Vellore Institute of Technology, Chennai(韦洛尔理工学院(金奈));Samsung R&D Institute India, Bangalore(三星研发院印度班加罗尔分院)
针对多方对话中线程识别与回复排序的管理难题,提出基于Llama2 7b的端到端对话系统,经微调与提示优化后速度最高提升10倍,生成结果更连贯,且可适配任意开源LLM。
2024-03-09 cs.CL cs.LG
Cross-Attention End-to-End ASR for Two-Party Conversations
Carnegie Mellon University(卡内基梅隆大学)
我们提出了一个端到端的语音识别模型,学习两个说话人之间的互动的基础上的话轮变化信息。与传统的语音识别模型不同,我们的模型利用了两个扬声器的历史会话上下文信息,跨越多个回合内的一个端到端的框架。具体来说,我们提出了一个特定于说话人的交叉注意机制,可以看看其他说话人的输出以及当前说话人的输出,以更好地识别长对话。我们评估的Switchboard会话语音语料库的模型,并表明我们的模型优于标准的端到端的语音识别模型。
2019-07-24 cs.CL cs.LG cs.SD
What should I wear to a party in a Greek taverna? Evaluation for Conversational Agents in the Fashion Domain
Zalando SE(扎兰多公司)
针对时尚领域对话智能体的服务调用能力评估缺乏高质量数据集的问题,研究构建了含4000组多语言对话的电商时尚评估数据集,验证了其适配业务需求、助力工具迭代的价值。
2024-08-13 cs.AI cs.CL cs.HC
MELD: A Multimodal Multi-Party Dataset for Emotion Recognition in Conversations
National University of Singapore(新加坡国立大学);Instituto Politécnico Nacional(墨西哥国立理工学院);Nanyang Technological University(南洋理工大学);University of Michigan(密歇根大学)
会话中的情感识别是一项具有挑战性的任务,最近由于其潜在的应用而受到欢迎。然而,到目前为止,一个大规模的多模式多方情感对话数据库,每个对话包含两个以上的发言人是失踪的。因此,我们提出了多模态的平行线数据集(MELD),平行线的扩展和增强。MELD包含了电视剧《老友记》中1,433段对话中的13,000句话语。每个话语都用情感和情感标签进行注释,并包含音频,视觉和文本模态。我们提出了几个强大的多模态基线,并显示上下文和多模态信息的重要性,在对话中的情感识别。完整的数据集可以在http://affective-meld.github.io上使用。
2019-06-04 cs.CL
M-MELD: A Multilingual Multi-Party Dataset for Emotion Recognition in Conversations
University of Maryland, College Park(马里兰大学帕克分校);Nvidia(英伟达);IIIT Delhi(德里印度理工学院信息技术学院);IIT Delhi(德里印度理工学院);UMass Amherst(马萨诸塞大学阿默斯特分校)
本文提出多语言多方对话情感识别数据集M-MELD,并设计了结合序列与对话话语上下文的新架构DiscLSTM,在计算高效且支持跨语言迁移的同时,性能优于多数单模态文本方法。
2023-03-31 cs.CL
Incorporating Interlocutor-Aware Context into Response Generation on Multi-Party Chatbots
University of Chinese Academy of Sciences(中国科学院大学);Alibaba AI Labs(阿里巴巴人工智能实验室)
传统的聊天机器人专注于双方响应生成,这简化了真实的对话场景。在本文中,我们致力于在多方聊天机器人(RGMPC)上生成响应的新任务,其中生成的响应在很大程度上依赖于对话者的角色(例如,说话人和受话人)及其话语。不幸的是,对话者角色之间的复杂互动使得准确捕捉会话上下文和对话者信息变得具有挑战性。面对这一挑战,我们提出了一个响应生成模型,将对话者感知的上下文到递归编码器-解码器框架(ICRED)的RGMPC。具体来说,我们采用交互式表示捕捉不同的对话者的对话上下文。此外,我们利用受话人的记忆来增强目标受话人的语境对话者信息。最后,我们基于现有的开放获取数据集构建了RGMPC的语料库。自动和人工评估表明,ICRED的表现明显优于强基线。
2019-10-29 cs.CL
MPCEval: A Benchmark for Multi-Party Conversation Generation
Duke University(杜克大学);Tanka AI(塔纳人工智能)
MPCEval提出一个多任务意识的评估和基准测试套件,用于评估多方对话生成的质量,揭示模型在参与平衡、内容进展和一致性方面的系统性特征。
2026-03-05 cs.AI cs.CL
Pre-training Multi-party Dialogue Models with Latent Discourse Inference
Shanghai Jiao Tong University(上海交通大学);Tencent AI Lab(腾讯人工智能实验室)
本文提出将多方对话的话语结构作为潜在变量,通过无监督潜在变量推断联合推断回复关系并预训练话语感知模型,在多个下游任务上取得SOTA结果。
2023-05-24 cs.CL
Humanlike Multi-user Agent (HUMA): Designing a Deceptively Human AI Facilitator for Group Chats
Soofte Research(Soofte研究机构)
HUMA是一种基于LLM的多用户对话促进者,通过事件驱动架构模拟人类交互,实现在自然群聊中与人类相当的质量并难以识别。
2025-11-21 cs.CL
MT2-CSD: A New Dataset and Multi-Semantic Knowledge Fusion Method for Conversational Stance Detection
College of Big Data and Internet, Shenzhen Technology University(大数据与互联网学院,深圳技术大学);University of Washington(华盛顿大学);University of Science and Technology of China(中国科学技术大学)
本文提出最大规模多目标多轮对话立场检测数据集MT2-CSD,并设计大语言模型增强的对话关系注意力网络LLM-CRAN,实验证明其显著优于强基线模型。
2025-07-04 cs.CL
A Cocktail-Party Benchmark: Multi-Modal dataset and Comparative Evaluation Results
Karlsruhe Institute of Technology, Germany(卡尔斯鲁厄理工学院);Carnegie Mellon University, USA(卡内基梅隆大学);Interactive-AI LLC(Interactive-AI公司);Meta AI, UK(Meta AI)
本文提出多模态上下文感知识别任务,通过结合音频和视觉线索提升重叠对话识别性能,展示多模态在解决宴会派对问题中的关键作用。
2026-02-12 cs.CL
Enjoy Your Talk: A Human-Centered Benchmark for Multi-Turn Dialogue with Decoupled User Simulation, Target Modeling, and Judging
SenseTime Research(商汤科技研究院);University of Science and Technology of China(中国科学技术大学);Tsinghua University(清华大学)
该研究提出EYT-Bench基准,通过三方解耦设计评估大语言模型多轮对话能力,引入新指标,发现先进模型在主观维度相近但客观意图跟踪差异大,推理可提升客观跟踪,角色格式影响轨迹分布,且热身效应稳健。
2026-07-27 cs.CL
Discovering Emotion and Reasoning its Flip in Multi-Party Conversations using Masked Memory Network and Transformer
IIIT-Delhi(印度德里信息技术学院)
在多方会话中有效地发现说话人的情感状态对于设计类人会话Agent具有重要意义。在谈话过程中,说话者的认知状态往往会因过去的某些话语而改变,这可能会导致他们情绪状态的翻转。因此,发现说话人在谈话中情感翻转背后的原因(触发器)对于解释个体话语的情感标签至关重要。在本文中,随着解决的会话中的情感识别(ERC)的任务,我们介绍了一种新的任务--翻转推理(EFR),其目的是识别过去的话语,触发了一个人的情绪状态,在一定的时间翻转。我们提出了一个掩蔽的内存网络来解决前者和基于transformer的网络,后者的任务。为此,我们考虑MELD,一个用于ERC任务的多方对话中的基准情感识别数据集,并使用EFR的新地面真实标签对其进行增强。与五个国家的最先进的模型进行了广泛的比较,表明我们的模型在这两项任务中的性能得到了改善。我们进一步提出了轶事证据和定性和定量的误差分析,以支持我们的模型相比,基线的优越性。
2021-12-31 cs.CL
A Challenge Dataset and Effective Models for Conversational Stance Detection
Shenzhen University(深圳大学);Shenzhen Technology University(深圳技术大学);Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳))
本文提出多轮对话立场检测数据集MT-CSD及全局-局部注意力网络GLAN,解决多方讨论建模难题,最先进方法准确率仅50.47%,凸显挑战并促进跨领域研究。
2024-03-21 cs.CL
Addressing Antisocial Behavior in Multi-Party Dialogs Through Multimodal Representation Learning
Universit\'e C \ te d'Azur, CNRS, Inria, I3S Sophia Antipolis France;Universit\'e C \ te d'Azur, CNRS, Inria, I3S
针对多方对话中反社会行为识别数据与研究不足的问题,本文基于法语 CyberAgressionAdo-Large 数据集,融合文本与图表征学习方法,证明 mBERT + WD-SGCN 后融合模型整体性能最优。
2025-10-20 cs.CL
BiERU: Bidirectional Emotional Recurrent Unit for Conversational Sentiment Analysis
Nanyang Technological University(南洋理工大学);City University of Hong Kong(香港城市大学);Aalto University(阿尔托大学)
近年来,会话中的情感分析由于其可以服务于越来越多的应用而获得了越来越多的关注,例如,情感分析、推荐系统和人机交互。会话情感分析和单句情感分析之间的主要区别在于存在可能影响对话中话语的情感的上下文信息。然而,如何在对话中有效地编码上下文信息仍然是一个挑战。现有方法采用复杂的深度学习结构来区分对话中的不同方,然后对上下文信息进行建模。在本文中,我们提出了一个快速,紧凑和参数有效的一方无知的框架命名为双向情感递归单元会话情感分析。在我们的系统中,一个广义的神经张量块,其次是一个双通道分类器被设计为执行上下文组合和情感分类,分别。在三个标准数据集上进行的大量实验表明,我们的模型在大多数情况下都优于现有技术。
2021-07-04 cs.CL cs.LG
Designing Style Matching Conversational Agents
University of Washington(华盛顿大学);University of Southern California(南加州大学);Microsoft Research(微软研究院)
机器智能的进步使会话界面成为可能,这些界面有可能从根本上改变人类与机器交互的方式。然而,即使这些代理人的能力取得了进展,在自然互动的能力方面仍然存在严重差距。一个限制是,代理人的行为往往是单调的,不适应他们的合作伙伴。我们建立了两个端到端的会话代理:一个基于语音的代理,可以进行自然主义的,多回合的对话,并与对话者的会话风格保持一致,以及第二个,表达性,体现会话代理(ECA),可以在开放式对话中识别人类行为,并自动将其响应与另一方的视觉和会话风格保持一致。具体化的会话代理利用多模态输入来产生丰富且感知上有效的声音和面部响应(例如,假唱和表情)。基于一组用户研究的实证结果,我们强调了在建立这样的系统中的几个重大挑战,并为未来的研究提供了使用风格适应的多轮对话交互的设计准则。
2019-10-16 cs.CL cs.HC cs.LG
KABURI-TTS: Phoneme-Keyed Activity-conditioned Bi-channel Utterance Rendering for Interaction
Nagoya University(名古屋大学);National Institute of Informatics(信息学研究所);Keio University(庆应义塾大学);Waseda University(早稻田大学)
针对全双工对话中重叠等同时现象,提出KABURI-TTS,以每说话人音素栅格为输入,在语音活动条件下双声道渲染语音,实现可控双人对话生成,提升自然度并产生更多重叠与轮换。
2026-09-09 cs.CL cs.SD
Coreference-aware Double-channel Attention Network for Multi-party Dialogue Reading Comprehension
Soochow University(苏州大学);Institute for Infocomm Research, A*STAR(新加坡科技研究局资讯通信研究院)
针对多方对话阅读理解中代词多跳推理和异构特征混淆的瓶颈,提出核心感知注意力建模方法与双通道编码网络,在Molweni和FriendsQA基准上取得显著性能提升。
2023-05-22 cs.CL
Findings on Conversation Disentanglement
School of Computing and Information System(计算与信息系统学院);The University of Melbourne(墨尔本大学)
会话解纠缠(Conversation disentanglement)是识别会话中的独立线程的任务,是会话问答和会话摘要等多方会话NLP应用中的重要预处理步骤。将其框架为话语到话语分类问题-即给定感兴趣的话语(UOI),找到它回复的过去话语-我们探索了许多基于变换的模型,并发现BERT与手工制作的特征相结合仍然是一个强大的基线。然后,我们建立了一个多任务学习模型,共同学习话语到话语和话语到线程分类。当我们的模型出错时,观察到地面真实标签(过去的话语)是最佳候选者,我们尝试使用二分图作为后处理步骤,以学习如何将一组UOI与过去的话语进行最佳匹配。在Ubuntu IRC数据集上的实验表明,该方法有可能优于传统的贪婪方法,即简单地为每个UOI独立选择最高概率的候选人,这表明了一个有前途的未来研究方向。
2021-12-10 cs.CL
Challenges of Multi-Speaker Extraction for Real Conversational Speech Enhancement
University of Sheffield(谢菲尔德大学);South Westphalia University of Applied Sciences(南威斯特法伦应用科学大学)
针对真实对话中多说话人提取面临的沉默过多和注册语音不匹配挑战,提出新损失函数提升STOI和分段SNR,并分析不匹配影响。
2026-09-23 cs.CL cs.SD
MP-Bench: Evaluating Voice Agents as a Multiparty Conversation Participant
The University of Texas at Austin(德克萨斯大学奥斯汀分校);National Taiwan University(国立台湾大学);Massachusetts Institute of Technology(麻省理工学院);Carnegie Mellon University(卡内基梅隆大学);Meta AI
针对现有基准忽视多方对话场景的问题,提出首个多方对话基准MP-Bench,从轮次转换和反应恰当性评估语音智能体,发现实时智能体表现接近随机,揭示重大挑战。
2026-09-14 cs.AI cs.CL eess.AS
When did you become so smart, oh wise one?! Sarcasm Explanation in Multi-modal Multi-party Dialogues
Indraprastha Institute of Information Technology Delhi(德里英德拉普拉斯塔信息技术学院)
在人类交际中,诸如讽刺等间接言语实现了一系列的话语目标。虽然比喻语言的间接性保证了说话者实现某些语用目标,但人工智能智能体理解人类交流的这种特质是具有挑战性的。虽然讽刺识别一直是对话分析中的一个很好的探索主题,会话系统要真正把握会话的内在含义并产生适当的反应,简单地检测讽刺是不够的;解释其潜在的讽刺内涵以捕捉其真正的本质是至关重要的。在这项工作中,我们研究了讽刺会话的话语结构,并提出了一个新的任务--对话中的讽刺解释(SED)。该任务设置在多模态和代码混合的环境中,旨在生成讽刺对话的自然语言解释。为此,我们策划了WITS,一个新的数据集来支持我们的任务。我们提出MAF(模态感知融合),多模态上下文感知的注意力和全球信息融合模块来捕获多模态,并使用它来基准测试WITS。所提出的注意力模块超越了传统的多模态融合基线,并报告了几乎所有指标的最佳性能。最后,我们进行了详细的定量和定性分析。
2022-03-12 cs.AI cs.CL
Predicting Turn-Taking Outcomes in Multi-Party Conversation: Interpretable Modelling of Speech and Gaze Dynamics with Interpersonal Closeness
Research & Exploration, GN Store Nord(GN Store Nord 研究与探索部门);Aalborg University(奥尔堡大学);Technical University of Denmark(丹麦技术大学)
本研究结合GaMMA语料库,用含注视、语音及人际亲密度特征的逻辑回归模型预测四人对话话轮转换结果,发现注视特征与响度结合可提升抗噪预测性能。
2026-08-31 cs.CL cs.SD
PanoSent: A Panoptic Sextuple Extraction Benchmark for Multimodal Conversational Aspect-based Sentiment Analysis
National University of Singapore(新加坡国立大学);Wuhan University(武汉大学);The University of Auckland(奥克兰大学);Singapore University of Technology and Design(新加坡科技设计大学);Nanyang Technological University(南洋理工大学)
本文提出多模态对话式 ABSI 任务与 PanoSent 基准,通过 Chain-of-Sentiment、Sentica 和复述验证实现全景情感六元组抽取及情感翻转分析。
2024-09-09 cs.AI cs.CL