SPECTRUM: Speaker-Enhanced Pre-Training for Long Dialogue Summarization
Tencent AI Lab, Seattle（腾讯人工智能实验室（西雅图））；UNC Chapel Hill（北卡罗来纳大学教堂山分校）
针对传统语言模型忽略多轮对话特征的问题，提出SPECTRUM说话人增强预训练方法，结合自建多样化数据集与双预训练任务，在长对话摘要下游基准上取得SOTA性能。
2024-01-31 cs.CL
Advancing Multi-Party Dialogue Framework with Speaker-ware Contrastive Learning
School of Computer Science and Engineering, Northwestern Polytechnical University（计算机科学与工程学院，西北工业大学）；School of Computer Science and Technology, Xidian University（计算机科学与技术学院，西安电子科技大学）；School of Artificial Intelligence and Big Data, Henan University of Technology（人工智能与大数据学院，河南理工大学）
针对现有多方对话方法依赖图结构标注、忽略个体说话风格的问题，提出基于两阶段自监督对比学习的CMR框架，是首个将对比学习用于多方对话生成的方法，性能优于SOTA且可提升大模型的多方对话处理能力。
2025-05-19 cs.CL
Enhancing Dialogue Annotation with Speaker Characteristics Leveraging a Frozen LLM
Electrical and Computer Engineering Department, Johns Hopkins University, Baltimore, MD, USA（约翰霍普金斯大学电气与计算机工程系）；Human Language Technology Center of Excellence, Johns Hopkins University, Baltimore, MD, USA（约翰霍普金斯大学人机语言技术卓越中心）
本研究提出利用冻结的音频基础模型与LLAMA语言模型，通过轻量级连接器推断对话中的说话人特征（年龄、性别、情感），无需微调，并在说话人画像任务上取得有竞争力性能，且LLAMA可直接比较x-vectors，等错误率达8.8%。
2025-09-08 cs.AI cs.CL cs.SD
Channel-aware Decoupling Network for Multi-turn Dialogue Comprehension
Shanghai Jiao Tong University（上海交通大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
训练机器理解自然语言并与人类交互是人工智能的主要目标之一。近年来，已经见证了从匹配网络到预训练语言模型（PrLM）的演变。相对于纯文本建模的重点PrLM，对话文本涉及多个扬声器，并反映特殊的特性，如主题转换和结构之间的依赖关系遥远的话语。然而，相关的PrLM模型通常表示对话顺序处理成对的对话历史作为一个整体。因此，无论是话语的相互关系或扬声器的角色耦合在这样的表示的层次信息没有得到很好的解决。在这项工作中，我们提出了组合学习的整体互动的话语超越顺序的语境化从PrLM，为了捕捉话语意识和说话者意识的表示所涉及的对话历史。我们通过基于Transformer的PrLM中的掩蔽机制来解耦上下文化的单词表示，使得每个单词仅关注当前话语中的单词、其他话语和两个说话者角色（即，发送者的话语和接收者的话语）。此外，我们采用领域自适应训练策略，以帮助模型适应对话域。实验结果表明，我们的方法大大提高了四个公共基准数据集的强PrLM基线，实现了新的最先进的性能比以前的方法。
2023-01-11 cs.AI cs.CL cs.HC
Score Before You Speak: Improving Persona Consistency in Dialogue Generation using Response Quality Scores
School of Computer Science, University of Leeds（计算机科学学院，利兹大学）；Leeds Institute of Medical Education, School of Medicine, University of Leeds（利兹医学教育研究所，医学院，利兹大学）
针对大型语言模型对话中人设一致性难的问题，提出SBS框架，在训练阶段统一回复与质量分数的学习，并在推理时利用该知识，实验证明其有效提升了百万至十亿参数模型的人设一致性。
2025-08-09 cs.CL
Instruct Once, Chat Consistently in Multiple Rounds: An Efficient Tuning Framework for Dialogue
The Hong Kong Polytechnic University（香港理工大学）；Sichuan University（四川大学）
针对传统微调忽略对话多轮交互与角色差异导致一致性不佳的问题，提出基于双适配器和轮次级记忆缓存机制的Midi-Tuning框架，分别建模智能体与用户角色，显著提升了多轮对话一致性。
2024-05-30 cs.AI cs.CL
DIAL-SUMMER: A Structured Evaluation Framework of Hierarchical Errors in Dialogue Summaries
University of Southern California（美国南加州大学）；Capital One
DIAL-SUMMER提出一种结构化框架，用于评估对话摘要中分层错误，通过细粒度错误分类和实证分析揭示摘要生成的挑战。
2026-02-08 cs.AI cs.CL
SumRec: A Framework for Recommendation using Open-Domain Dialogue
The University of Electro-Communications（电气通信大学）
SumRec框架利用大型语言模型从开放域对话中提取说话者和物品特征，生成推荐分数，在ChatRec数据集上优于基线方法。
2024-02-07 cs.CL cs.LG
SpeakerMem-R1: Speaker-Centered Dual-Track Memory for Multi-Party Dialogue
Zhejiang University（浙江大学）
针对多方对话中消息归因与状态重建瓶颈，提出双轨记忆框架 SpeakerMem-R1，结合逐字与结构化记忆及人物/群体视图，在多个基准上取得最优结果。
2026-09-24 cs.AI cs.CL cs.IR
EMSDialog: Synthetic Multi-person Emergency Medical Service Dialogue Generation from Electronic Patient Care Reports via Multi-LLM Agents
School of Engineering and Applied Sciences, University of Virginia（弗吉尼亚大学工程与应用科学学院）；School of Medicine, University of Virginia（弗吉尼亚大学医学院）
本文提出基于ePCR的多代理生成流程，生成4414个合成多说话者EMS对话数据集，提升EMS对话诊断预测的准确性、及时性和稳定性。
2026-04-20 cs.AI cs.CL
Data Augmentation Integrating Dialogue Flow and Style to Adapt Spoken Dialogue Systems to Low-Resource User Groups
The University of Electro-Communications（电气通信大学）
本研究提出一种融合对话流程与风格的数据增强框架，利用LLM提取说话风格和PLM模拟对话行为历史，以提升口语对话系统在低资源用户群体（如未成年人）上的性能，实验验证了其有效性。
2024-08-20 cs.AI cs.CL
Talk With Human-like Agents: Empathetic Dialogue Through Perceptible Acoustic Reception and Reaction
School of Computer Science and Technology, University of Science and Technology of China（中国科学技术大学计算机科学与技术学院）；State Key Laboratory of Cognitive Intelligence（认知智能国家重点实验室）；School of Data Science, University of Science and Technology of China（中国科学技术大学数据科学学院）；Tencent Youtu Lab（腾讯优图实验室）
针对现有多模态对话系统忽略语音声学信息易导致意图误解的问题，本文提出以LLM为核心、整合语音感知的共情对话系统PerceptiveAgent，可准确识别说话者真实意图，生成更细腻的对话，代码已开源。
2024-06-18 cs.AI cs.CL cs.SD
Letting Tutor Personas Speak Up for LLMs: Learning Steering Vectors from Dialogue via Preference Optimization
University of Massachusetts Amherst（马萨诸塞大学阿姆赫斯特分校）；Eedi
本文提出使用偏好优化训练引导向量，从人类导师-学生对话中提取导师角色信息，以控制大语言模型的行为，实现多样化的教学风格。
2026-06-01 cs.CL
Structural Pre-training for Dialogue Comprehension
Shanghai Jiao Tong University（上海交通大学）
预训练的语言模型（PrLM）表现出优越的性能，因为它们具有从自我监督的预训练中学习通用语言表示的强大能力。然而，即使在强大的PrLM的帮助下，它仍然是具有挑战性的有效地捕捉任务相关的知识，从对话文本，丰富的说话人意识的话语之间的相关性。在这项工作中，我们提出了SPIDER，结构预训练的对话阅读器，捕捉对话的独特功能。为了模拟类似对话的特征，除了原始的LM目标之外，我们还提出了两个训练目标：1）话语顺序恢复，预测对话上下文中置换话语的顺序; 2）句子主干正则化，正则化模型以提高总结的主谓宾三元组的事实正确性。在广泛使用的对话基准上的实验结果验证了新引入的自监督任务的有效性。
2021-05-23 cs.AI cs.CL
Speaking Beyond Language: A Large-Scale Multimodal Dataset for Learning Nonverbal Cues from Video-Grounded Dialogues
Yonsei University（延世大学）；NC Research, NCSOFT Corporation（NC研究，NCSOFT公司）
本文提出多模态语言模型MARS及大规模视频对话数据集VENUS，通过将文本与向量量化的非语言表示统一训练，使模型能够同时理解并生成语言与非语言线索。
2025-06-01 cs.AI cs.CL cs.CV
You Don't Know My Favorite Color: Preventing Dialogue Representations from Revealing Speakers' Private Personas
Hong Kong University of Science and Technology（香港科技大学）；WeBank（微众银行）
社交聊天机器人，也被称为聊天聊天机器人，随着大型预训练语言模型的快速发展。尽管取得了巨大的进步，但最近出现了隐私问题：大语言模型的训练数据可以通过模型反演攻击提取。另一方面，用于训练聊天机器人的数据集包含两个人之间的许多私人对话。在这项工作中，我们进一步研究了通过语言建模训练的聊天机器人的隐藏状态的隐私泄漏，这还没有得到很好的研究。我们表明，说话人的人物角色可以推断，通过一个简单的神经网络与高精度。为此，我们提出了有效的防御目标，以保护隐藏状态的人物泄漏。我们进行了大量的实验，证明我们提出的防御目标可以大大降低攻击的准确性从37.6%到0.5%。同时，所提出的目标保留了语言模型强大的生成能力。
2022-04-26 cs.CL cs.CR cs.LG
Chronological Thinking in Full-Duplex Spoken Dialogue Language Models
Nanyang Technological University（南洋理工大学）；StepFun；Mila
提出Chronological Thinking机制，让全双工对话模型在听用户说话时增量推理，不增加延迟，提升响应质量。
2026-06-15 cs.AI cs.CL
AtmosERC: Modeling Dialogue-Level Affective Atmosphere for Emotion Recognition in Conversation
本文提出AtmosERC框架，通过建模对话级情感氛围提升对话情感识别性能，其可作为插件线索增强基于大语言模型的ERC，且在局部情感偏差下预测更稳定。
2026-10-14 cs.CL
IRAF: Interference-Resilient Adaptive Fusion for Noise-Robust End-to-End Full-Duplex Spoken Dialogue Systems
The Chinese University of Hong Kong（香港中文大学）；AudioLab Hong Kong, Huawei Leibniz Research Center（香港AudioLab，华为Leibniz研究中心）；Nanyang Technological University（南洋理工大学）
提出IRAF模块，通过逐帧预测可靠性门控来调节用户音频对LLM的贡献，提升全双工对话系统在干扰说话人环境下的响应质量和交互稳定性。
2026-06-04 cs.AI cs.SD eess.AS
Speaker-Aware BERT for Multi-Turn Response Selection in Retrieval-Based Chatbots
National Engineering Laboratory for Speech and Language Information Processing, University of Science and Technology of China（中国科学技术大学语音及语言信息处理国家工程实验室）；State Key Laboratory of Cognitive Intelligence, iFLYTEK Research（科大讯飞研究院认知智能国家重点实验室）
在本文中，我们研究了在基于检索的聊天机器人中使用预训练的语言模型进行多轮响应选择的问题。提出了一种新的说话人感知BERT（SA-BERT）模型，该模型能够感知说话人变化信息，这是多话轮对话的一个重要的内在属性。此外，一个说话人感知的解纠缠策略，提出了解决纠缠的对话。该策略根据说话人的信息选择少量最重要的话语作为过滤后的语境。最后，执行领域自适应以将领域内知识结合到预先训练的语言模型中。在5个公共数据集上的实验表明，该模型在所有指标上都优于现有模型，并在多回合响应选择方面取得了新的最新性能。
2020-07-30 cs.CL
Think Thrice Before You Speak: Dual knowledge-enhanced Theory-of-Mind Reasoning for Persuasive Agents
Northwestern Polytechnical University（西北工业大学）；Peking University（北京大学）；Harbin Engineering University（哈尔滨工程大学）
本文提出了一种基于双重知识增强的理论思维推理方法，用于提升说服代理的对话能力，通过构建大规模标注数据集和提出TTBYS框架，提高了LLM在推理欲望、信念和说服策略方面的性能。
2026-05-21 cs.AI
Words Speak Louder Than Code: Investigating Cognitive Heuristics in LLM-Based Code Vulnerability Detection
BRAC University（布拉德大学）；Purdue University（普渡大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文首次系统探究认知启发式对LLM代码漏洞检测的影响，提出控制框架，发现所有评估模型均易受光环、框架和锚定效应影响，且语义推理型漏洞更易受影响。
2026-10-16 cs.AI cs.CR
Large Language Models Know What To Say But Not When To Speak
Tufts University（塔夫茨大学）
针对大语言模型在非脚本对话中难以预测话轮内部说话时机的问题，本文构建了参与者标注的TRPs数据集并评估现有LLMs，揭示其建模口语互动的局限，为更自然的对话系统提供改进方向。
2024-10-21 cs.CL
Large Language Model based Situational Dialogues for Second Language Learning
Alibaba Group（阿里巴巴集团）
本文提出基于大语言模型微调的情境对话模型，用于第二语言口语练习，能在训练主题之外泛化，并设计了一种基于微调LLM的自动评估方法以替代昂贵的人工评估。
2024-03-29 cs.CL
Personalized Automatic Speech Recognition for a Dysarthric and Tracheostomic Speaker using Artificial Conversations
针对一位捷克语气管造口及严重构音障碍说话人，本文提出基于Whisper Base的多阶段微调ASR系统，利用人工对话协议收集的33小时数据，实现字符错误率相对降低50%，证明严重受损语音也可获得有效识别。
2026-10-05 cs.AI cs.CL cs.HC
When Harry Meets Superman: The Role of The Interlocutor in Persona-Based Dialogue Generation
Fondazione Bruno Kessler（布鲁诺·科塞勒基金会）；University of Trento（特伦托大学）；University of Groningen（格罗宁根大学）
本研究探讨了对话者人设信息对基于人设的对话生成的影响，通过作者识别任务评估模型在双人设对齐、熟悉度鲁棒性及微调上的表现，发现获取对话者人设能提升识别效果，但模型在处理不熟悉对话者时仍有困难。
2025-05-30 cs.CL
ReSpAct: Harmonizing Reasoning, Speaking, and Acting Towards Building Large Language Model-Based Conversational AI Agents
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
ReSpAct是一种基于LLM的智能体，通过融合推理、对话与行动，在无显式对话模式下与用户动态协作，显著提升任务解决成功率。
2025-04-19 cs.AI cs.CL cs.HC
Investigating the Effects of Large-Scale Pseudo-Stereo Data and Different Speech Foundation Model on Dialogue Generative Spoken Language Model
NVIDIA（英伟达）；National Taiwan University（台湾大学）
本文提出将单声道对话转换为伪立体声数据的流程，把训练数据扩展至17,600小时，并比较不同语音基础模型的离散单元，以提升口语对话生成模型性能。
2024-07-02 cs.CL cs.HC cs.SD
Noise Adaptive Streaming Audio-Visual Speech Token Enhancement for Robust Full-Duplex Spoken Dialogue Models
KAIST（韩国科学技术院）
提出模块化流式音视频前端AV-STE，在语音LLM前从噪声音频和唇部视频恢复语义令牌，冻结下游模型，提升全双工对话鲁棒性，响应连贯性显著提高。
2026-09-09 cs.AI cs.HC cs.SD
DialogGraph-LLM: Graph-Informed LLMs for End-to-End Audio Dialogue Intent Recognition
South China Normal University, Guangzhou, China（华南师范大学）；Xiamen Rekey Medical Technology Co., LTD, Xiamen, China（厦门瑞康医疗科技有限公司）
针对多说话者长音频对话意图识别中话语依赖复杂、标注数据稀缺的问题，提出端到端框架DialogGraph-LLM，结合多关系对话注意力网络与多模态基础模型，采用自适应半监督策略，在专有及公开数据集上优于基线，具实用价值。
2025-11-17 cs.AI cs.SD
Dialogue-oriented Pre-training
Shanghai Jiao Tong University（上海交通大学）
预训练的语言模型（PrLM）在增强广泛的下游任务（包括各种对话相关任务）方面表现出强大的功能。然而，PrLM通常是在具有公共语言模型（LM）训练目标的一般纯文本上训练的，由于这种训练设置的限制，其不能充分捕获对话排他性特征，使得迫切需要填补特定对话任务和LM任务之间的空白。由于面向对话的预训练不太可能收集大量对话数据，因此本文提出了三种策略来模拟普通文本上的对话特征。我们提出的方法不同于现有的后训练方法，它可以产生一个通用的PrLM，并没有个性化的任何详细的任务，同时保持学习对话相关的功能，包括扬声器意识，连续性和一致性的能力。由此产生的Dialog-PrLM在三个公共的多轮对话数据集上进行了微调，并有助于实现对普通PrLM的显着和一致的改进。
2021-07-31 cs.CL
Spoken DialogSum: An Emotion-Rich Conversational Dataset for Spoken Dialogue Summarization
Center for Language and Speech Processing（语言与语音处理中心）
Spoken DialogSum是一个用于语音对话摘要的富有情感的对话数据集，通过结合语音、摘要和非语言线索，提升情感摘要的生成效果。
2025-12-17 cs.AI cs.CL cs.LG
Improving End-of-turn Detection in Spoken Dialogues by Detecting Speaker Intentions as a Secondary Task
University of Michigan at Ann Arbor（密歇根大学安娜堡分校）；Microsoft（微软）；IBM T. J. Watson Research Center（IBM T. J. 沃森研究中心）
本文主要研究了在二元口语对话中使用声学线索来模拟话轮转换。以前的研究表明，说话者的意图（例如，问一个问题，说出一个反向通道，等等）可以影响话轮转换行为，是口语对话中话轮转换的良好预测因子。然而，自动化系统在运行时并不容易使用说话者的意图;因此很难使用此信息来预测转向转换。为此，我们提出了一种多任务神经方法，用于同时预测话轮转换和说话人意图。我们的研究结果表明，添加说话人意图预测的辅助任务提高了口语对话中的话轮转换预测的性能，而不依赖于运行时的额外输入功能。
2018-05-09 cs.AI cs.CL
Advancing Large Language Models to Capture Varied Speaking Styles and Respond Properly in Spoken Conversations
National Taiwan University（台湾大学）
本文提出Spoken-LLM框架，通过构建语音到语音数据集StyleTalk并采用两阶段训练流程，使大语言模型能够理解说话风格并做出恰当响应，实验证明其优于纯文本基线和现有语音LLM方法。
2024-05-30 cs.CL eess.AS
A Speaker-aware Parallel Hierarchical Attentive Encoder-Decoder Model for Multi-turn Dialogue Generation
Tongji University（同济大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出了一种新的开放域对话生成模型，强调多话轮会话中说话人的区分。不同于先前的工作，仅仅依赖于会话历史的内容来生成响应，我们认为，捕捉话语之间的相对社会关系（即，由相同的说话者或不同的人生成）有利于机器从对话历史中捕获细粒度的上下文信息，以提高所生成的响应中的上下文一致性。鉴于此，我们提出了一个说话者感知的并行分层注意编码器-解码器（PHAED）模型，其目的是为每个话语建模与其扬声器的意识和上下文关联与同一扬声器的以前的消息。具体地说，在涉及两个说话人的对话中，我们把其中一个说话人的话语看作是回答，另一个说话人的话语看作是询问。在通过我们的编码器使用内部查询和查询间编码理解查询之后，我们的解码器重用先前生成的响应的隐藏状态，而不是由编码器重建这些状态，以生成新的响应。我们的实证结果表明，PHAED优于国家的最先进的自动和人工评估。此外，我们的消融研究表明，与扬声器令牌的对话模型，一般可以减少关于会话上下文产生不连贯的反应的可能性。
2021-10-14 cs.AI cs.CL
Enhanced Speaker-aware Multi-party Multi-turn Dialogue Comprehension
Shanghai Jiao Tong University（上海交通大学）
多方多话轮对话理解在处理多个说话人的复杂场景和说话人意识话语之间的交叉话语关系方面带来了前所未有的挑战。大多数现有的方法处理的对话上下文作为纯文本和重视不够的关键说话人意识的线索。在这项工作中，我们提出了一个具有掩蔽注意力和异构图网络的增强的说话者感知模型，以全面捕获来自说话者属性和说话者感知关系双方的话语线索。通过这种全面的说话者感知建模，实验结果表明，我们的说话者感知模型有助于在基准数据集Molweni上实现最先进的性能。实例分析表明，该模型增强了话语与说话人之间的联系，捕捉到了说话人感知的话语关系，这对对话建模至关重要。
2021-09-09 cs.CL
Self- and Pseudo-self-supervised Prediction of Speaker and Key-utterance for Multi-party Dialogue Reading Comprehension
Shanghai Jiao Tong University（上海交通大学）
多方对话机器阅读理解（MRC）带来了巨大的挑战，因为它涉及多个说话人在一个对话，导致复杂的说话人信息流和嘈杂的对话环境。为了缓解这些困难，以前的模型专注于如何使用复杂的基于图形的模块和额外的手动标记数据来整合这些信息，这在实际场景中通常很少见。在本文中，我们设计了两个劳动自由的自我和伪自我监督的预测任务的发言人和关键话语隐式建模的发言人的信息流，并捕捉显着的线索，在一个漫长的对话。在两个基准数据集上的实验结果证明了我们的方法在竞争基线和当前最先进模型上的有效性。
2021-09-16 cs.CL
Speaker Role Contextual Modeling for Language Understanding and Dialogue Policy Learning
National Taiwan University（国立台湾大学）
语言理解和对话策略学习是会话系统的两个重要组成部分。人与人之间的对话并没有得到很好的控制，而且由于他们自己的目标和说话习惯，往往是随机和不可预测的。本文提出了一个基于角色的语境模型，根据多话轮对话中说话人的不同说话模式，独立考虑不同的说话人角色。在基准数据集上的实验表明，所提出的基于角色的模型成功地学习了特定于角色的行为模式，从而显著提高了语言理解和对话策略学习任务。
2017-09-30 cs.CL
DuplexChat: Constructing Speaker-Separated Full-Duplex Dialogue Speech at Scale for Spoken Dialogue Language Modeling
The University of Tokyo, Japan（东京大学，日本）；National Institute of Advanced Industrial Science and Technology, Japan（日本国家先进工业科学与技术研究院）
针对现有大规模公共语音语料库不适用于全双工口语对话模型训练的问题，提出DuplexChat及DuplexChat-Pipe，通过特定流程构建分离说话者全双工对话语音，产出多语言语料库。
2026-07-07 cs.CL cs.SD eess.AS
Speaker Turn Modeling for Dialogue Act Classification
University of Southern California（南加州大学）
对话行为分类是根据话语在对话中的功能对话语进行分类的任务。现有的DA分类模型的话语没有纳入整个对话中说话者之间的话轮变化，因此对待它没有什么不同的非交互式的书面文本。在本文中，我们建议在建模DA时，将说话人之间的会话中的话轮变化整合起来。具体来说，我们学习会话不变的说话人话轮嵌入来表示会话中的说话人话轮;然后将学习到的说话人话轮嵌入与DA分类的下游任务的话语嵌入合并。有了这个简单而有效的机制，我们的模型是能够捕捉到的语义从对话内容，同时占不同的扬声器轮流在对话中。在三个基准公共数据集上的验证证明了我们模型的优越性能。
2021-09-10 cs.CL cs.SD eess.AS
Dependency Dialogue Acts -- Annotation Scheme and Case Study
University of Colorado Boulder（科罗拉多大学博尔德分校）；University of California Santa Cruz（加州大学圣克鲁兹分校）
在本文中，我们介绍了依赖性对话行为（DDA），一个新的框架捕捉结构的说话人的意图在多方对话。DDA结合并改编了现有对话注释框架的特点，强调对话的多关系应答结构，强调对话行为和修辞关系。它表示多方多线程会话中的功能、话语和响应结构。DDA与现有的对话注释框架（如SWBD-DAMSL和ISO 24617-2标准）有几个关键特性区别。首先，DDA优先考虑对话单位和对话语境的关系结构，将对话行为和修辞关系都注释为对特定话语的反应关系。其次，DDA支持对话中的重载，鼓励注释者为每个对话单元指定多个响应关系和对话行为。最后，DDA强调充分捕捉说话者如何使用完整的对话上下文来计划和组织他们的演讲。有了这些功能，DDA是高度表达和回忆为导向的多个扬声器之间的对话动态。在下文中，我们将介绍DDA注释框架和在多方多线程会话中注释DDA结构的案例研究。
2023-02-25 cs.AI cs.CL
From Script to Drama: An Agentic Framework for Controllable Multi-Speaker Dialogue TTS
Northwestern Polytechnical University（西北工业大学）
该论文提出一个基于批评驱动迭代细化的智能体框架，用于可控多说话人对话语音合成，通过语句级和场景级批评路由至编辑或重合成，在双语基准上优于直接模型和仅重生成方案。
2026-09-29 cs.CL cs.SD eess.AS
Towards Speech Dialogue Translation Mediating Speakers of Different Languages
Kyoto University（京都大学）；National Institute of Information and Communications Technology（国立信息与通信技术研究所）；National Institute of Informatics（国立信息学研究所）
本文提出面向不同语言说话者的语音对话翻译任务，构建了SpeechBSD数据集，提出单语和双语上下文利用方式，并通过Whisper和mBART级联实验证明双语上下文效果更优。
2023-05-22 cs.CL
Who speaks like a style of Vitamin: Towards Syntax-Aware DialogueSummarization using Multi-task Learning
Korea University（高丽大学）；VAIV Corp（VAIV公司）；New York University（纽约大学）
针对对话信息分散且语体非正式的问题，本文提出融合 POS tagging 的句法感知多任务学习模型，用于区分说话者风格并提升生成式对话摘要性能。
2021-11-04 cs.CL
Learning to Speak and Act in a Fantasy Text Adventure Game
Facebook AI Research（脸书人工智能研究院）；LORIA, Nancy（洛里亚研究所（南锡））；University College London（伦敦大学学院）
我们介绍了一个大规模的众包文本冒险游戏作为研究平台，研究接地对话。在其中，代理人可以感知，表达和行动，同时与其他代理人进行对话。模型和人类都可以在游戏中扮演角色。我们描述了在这种情况下训练最先进的生成和检索模型的结果。我们表明，除了使用过去的对话，这些模型能够有效地使用底层世界的状态来调节他们的预测。特别是，我们表明，接地的本地环境的细节，包括位置描述，和对象（及其启示）和字符（及其以前的行动），它允许更好地预测代理的行为和对话。我们分析了在这种情况下成功接地所需的成分，以及这些因素中的每一个如何与能够成功说话和行动的代理人相关。
2019-03-07 cs.AI cs.CL
SpeakerSleuth: Can Large Audio-Language Models Judge Speaker Consistency across Multi-turn Dialogues?
Graduate School of Data Science, Seoul National University（首尔国立大学数据科学研究生院）
本文提出SpeakerSleuth基准测试，评估大型音频-语言模型在多轮对话中判断说话者一致性的能力，发现模型在识别声音不一致性和处理文本上下文时存在显著偏差。
2026-04-20 cs.CL
InferEM: Inferring the Speaker's Intention for Empathetic Dialogue Generation
Huazhong University of Science and Technology（华中科技大学）
提出InferEM模型，通过单独编码最后一条话语并利用多头注意力意图融合模块与整个对话融合来捕捉说话者意图，同时设计多任务学习策略预测最后话语，有效提升了共情对话生成质量。
2023-11-26 cs.CL cs.HC
Are cascade dialogue state tracking models speaking out of turn in spoken dialogues?
Orange Innovation, France（法国Orange创新公司）
本文分析了TOD系统中级联模型在复杂对话状态跟踪任务中的交互错误，发现非分类槽值错误是口语与文本对话系统差距的关键，并探索了改进转录及纠正错误的潜在方案。
2023-11-03 cs.AI cs.CL eess.AS
Speaker Profiling in Multiparty Conversations
Indraprastha Institute of Information Technology Delhi（德里英德拉普拉斯塔信息技术学院）；Indian Institute of Technology Delhi（印度理工学院德里分校）
本文提出对话中的说话人画像（SPC）任务，将其分解为人格发现、类型识别与值抽取三个子任务，构建SPICE数据集，并提出神经模型SPOT进行基准评测与模块局限分析。
2023-04-19 cs.AI cs.CL
Improving Empathetic Dialogue Generation by Dynamically Infusing Commonsense Knowledge
UniDT Technology（UniDT科技）；Fudan University（复旦大学）
针对共情回复中常识关系混杂导致情绪、回复与上下文不一致的问题，本文提出带自适应常识知识选择模块的生成方法，提升回复连贯性、共情性与可解释性。
2023-05-24 cs.AI cs.CL
Detecting Mental Manipulation in Speech via Synthetic Multi-Speaker Dialogue
Columbia University（哥伦比亚大学）；Red Hat（红帽公司）
本文提出首个通过合成多说话对话检测心理操控的研究，揭示语音与文本在检测准确性上的差异，强调多模态对话系统中模态意识的重要性。
2026-01-13 cs.CL
GlobalWoZ: Globalizing MultiWoZ to Develop Multilingual Task-Oriented Dialogue Systems
DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；Nanyang Technological University（南洋理工大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
最近在面向任务的对话（ToD）系统中的许多进展都是由跨多个领域的可用注释数据驱动的。在过去的几年里，已经有一个走向数据整理的多语言ToD系统，适用于服务于讲不同语言的人。然而，现有的多语种ToD数据集要么由于数据整理的高成本而对语言的覆盖有限，要么忽视了在讲这些语言的国家几乎不存在对话实体的事实。为了解决这些限制，我们引入了一种新的数据整理方法，该方法生成GlobalWoZ -一个大规模的多语言ToD数据集，该数据集是从英语ToD数据集全球化的，用于三个未探索的用例。我们的方法是基于翻译对话模板，并填写目标语言国家的当地实体。我们发布了我们的数据集以及一组强大的基线，以鼓励针对真实用例学习多语言ToD系统的研究。
2022-04-01 cs.AI cs.CL
Towards Making the Most of Dialogue Characteristics for Neural Chat Translation
Beijing Jiaotong University（北京交通大学）；Xiamen University（厦门大学）；Tencent Inc（腾讯公司）
神经聊天翻译（NCT）旨在翻译不同语言的说话者之间的对话文本。尽管会话级和上下文感知的神经机器翻译模型具有良好的性能，但由于忽略了对话的内在特征，如对话连贯性和说话人个性，当前的NCT模型仍然存在局限性。在本文中，我们提出了促进聊天翻译的NCT模型中引入的对话特征建模。为此，我们设计了四个辅助任务，包括单语反应生成，跨语言反应生成，下一个话语辨别，和说话人辨识。与主要的聊天翻译任务一起，我们通过所有这些任务的训练目标来优化NCT模型。通过这种方式，NCT模型可以通过捕获固有的对话特征来增强，从而生成更连贯和与说话者相关的翻译。在四个语言方向（英德和英汉）上的综合实验验证了该方法的有效性和优越性。
2021-09-02 cs.CL
Speaker Fuzzy Fingerprints: Benchmarking Text-Based Identification in Multiparty Dialogues
INESC-ID；Universidade de Lisboa（里斯本大学）
本研究利用大型预训练模型的模糊指纹，结合说话人特定标记和上下文建模，提升基于文本的多方对话说话人识别，在Friends和Big Bang Theory数据集上分别达到70.6%和67.7%的准确率，并分析了模糊话语的检测机制。
2025-04-21 cs.AI cs.CE cs.CL
