Multi-Task Learning for Speaker-Role Adaptation in Neural Conversation Models
University of Washington（华盛顿大学）；Microsoft Research（微软研究院）
由于缺乏大量用于模型训练的特定于说话者的会话数据，构建基于人物的会话代理具有挑战性。本文通过提出一种多任务学习方法来训练神经会话模型来解决这个问题，该方法利用说话者之间的会话数据以及与要建模的说话者和说话者角色有关的其他类型的数据。实验表明，我们的方法导致基线模型质量的显着改善，生成的响应，更准确地捕捉说话者的特质和说话风格。该模型提供了算法简单且易于实现的优点，并且不依赖于代表特定个体扬声器的大量数据。
2017-10-20 cs.CL
Affective Decoding for Empathetic Response Generation
University of Sheffield（谢菲尔德大学）；Utrecht University（乌得勒支大学）；Zhejiang Wanli University（浙江万里大学信息与智能工程学院）
理解说话人的情感并做出恰当的情感回应是移情对话系统的关键交际技巧。在本文中，我们提出了一个简单的技术，称为情感解码移情反应的产生。我们的方法可以有效地将情感信号在每个解码步骤，并可以额外增加一个辅助的双情感编码器，它学习单独的嵌入扬声器和听众给定的情感基础的对话。广泛的实证研究表明，我们的模型被认为是更同情的人的评价，在几个强大的主流方法相比，同情的反应。
2021-10-14 cs.CL
Modeling Content-Emotion Duality via Disentanglement for Empathetic Conversation
The Hong Kong Polytechnic University（香港理工大学）；LMU Munich（慕尼黑大学）
移情反应生成的任务是理解说话者对自己的经历表达了什么样的情感，然后恰当地回答说话者。为了解决这个问题，必须对对话的内容-情感二元性进行建模，对话由内容视图（即，描述了什么样的个人经历）和情感视图（即，作者对这些经历的感受）。为此，我们设计了一个框架来模拟内容情感二重性（CEDual）通过解开移情反应的产生。使用解纠缠，我们从内容和情感的角度对对话历史进行编码，然后基于解纠缠的表征生成移情响应，从而对话历史的内容和情感信息都可以嵌入到生成的响应中。在基准数据集EMPATHETICDIALOGUES上的实验表明，CEDual模型在自动和人工指标上都达到了最先进的性能，并且比以前的方法产生了更多的移情响应。
2022-09-26 cs.CL
Reducing Sensitivity on Speaker Names for Text Generation from Dialogues
Shanghai Jiao Tong University（上海交通大学）；China Merchants Bank Credit Card Center（招商银行信用卡中心）
针对对话文本生成中模型对说话人姓名敏感的问题，本文提出定量敏感性度量，评估多种缓解方法并给出新方法，在多数据集上构建基准且验证其可在保持生成质量的同时降低敏感性。
2023-08-20 cs.CL
Optimizing Speech-Input Length for Speaker-Independent Depression Classification
Ellipsis Health, Inc.（埃利皮西斯健康公司）；Linguistic Data Consortium（语言数据联盟）
本文基于超1400小时语音语料，研究语音输入长度对说话人无关抑郁症分类的影响，发现性能受自然长度、经过长度和回答顺序影响，并据此提出优化提问与输入长度的应用设计建议。
2024-12-31 cs.CL eess.AS
A Persona-Based Neural Conversation Model
Stanford University（斯坦福大学）；Microsoft Research（微软研究院）；University College London（伦敦大学学院）
我们提出了基于人物的模型来处理神经反应生成中的说话人一致性问题。说话人模型将人物角色编码到分布式嵌入中，这些嵌入捕获了个人特征，如背景信息和说话风格。一个二元的说话人-受话人模型捕捉两个对话者之间的互动属性。我们的模型在困惑和BLEU分数方面都比基线序列到序列模型产生了定性的性能改进，并且在说话者一致性方面具有类似的增益，如由人类判断所测量的。
2016-06-08 cs.CL
InferEM: Inferring the Speaker's Intention for Empathetic Dialogue Generation
Huazhong University of Science and Technology（华中科技大学）
提出InferEM模型，通过单独编码最后一条话语并利用多头注意力意图融合模块与整个对话融合来捕捉说话者意图，同时设计多任务学习策略预测最后话语，有效提升了共情对话生成质量。
2023-11-26 cs.CL cs.HC
Closing the Affective Loop: Multimodal Speaker-Listener Emotion-Dynamics-Aware Empathetic Social Robots
Graduate School of Informatics, Kyoto University（京都大学情报学研究科）；Computer Science Department, Boise State University（博伊西州立大学计算机科学系）
本研究提出AffectLoop系统，在Misty II机器人上实现多模态情感动态感知的说话人-听话人共情交互，经试点研究验证可提升共情响应与用户满意度。
2026-08-18 cs.CL cs.HC cs.RO
Contrastive Speaker-Aware Learning for Multi-party Dialogue Generation with LLMs
Shangqiu University（商丘大学）
本文提出SA-LLM，通过说话人感知对比学习无需关系标注即可建模多方对话中的说话人角色与上下文连贯性，在流畅性、连贯性和多样性上超越现有基线。
2025-03-11 cs.CL
LMSOC: An Approach for Socially Sensitive Pretraining
Twitter Cortex
虽然大规模预训练的语言模型已被证明可以为许多NLP任务学习有效的语言表示，但仍然存在许多当前方法无法捕获的语言的真实语境方面。例如，考虑一个完形填空测试“我喜欢这个周末的_游戏”：正确答案在很大程度上取决于说话者来自哪里，话语发生的时间，以及说话者更广泛的社会环境和偏好。虽然语言在很大程度上依赖于说话者的地理、时间和其他社会背景，但这些元素尚未被纳入现代基于transformer的语言模型。我们提出了一个简单而有效的方法，将说话人的社会背景到大规模语言模型的学习表示。我们的方法首先使用图表示学习算法来学习社交上下文的密集表示，然后使用这些社交上下文表示来准备语言模型预训练。我们评估了我们的方法对地理敏感的语言建模任务，并显示出实质性的改善（超过100%的相对升降机MRR）相比，基线。
2021-10-20 cs.CL cs.CY cs.IR
Towards Making the Most of Dialogue Characteristics for Neural Chat Translation
Beijing Jiaotong University（北京交通大学）；Xiamen University（厦门大学）；Tencent Inc（腾讯公司）
神经聊天翻译（NCT）旨在翻译不同语言的说话者之间的对话文本。尽管会话级和上下文感知的神经机器翻译模型具有良好的性能，但由于忽略了对话的内在特征，如对话连贯性和说话人个性，当前的NCT模型仍然存在局限性。在本文中，我们提出了促进聊天翻译的NCT模型中引入的对话特征建模。为此，我们设计了四个辅助任务，包括单语反应生成，跨语言反应生成，下一个话语辨别，和说话人辨识。与主要的聊天翻译任务一起，我们通过所有这些任务的训练目标来优化NCT模型。通过这种方式，NCT模型可以通过捕获固有的对话特征来增强，从而生成更连贯和与说话者相关的翻译。在四个语言方向（英德和英汉）上的综合实验验证了该方法的有效性和优越性。
2021-09-02 cs.CL
Improving Empathetic Dialogue Generation by Dynamically Infusing Commonsense Knowledge
UniDT Technology（UniDT科技）；Fudan University（复旦大学）
针对共情回复中常识关系混杂导致情绪、回复与上下文不一致的问题，本文提出带自适应常识知识选择模块的生成方法，提升回复连贯性、共情性与可解释性。
2023-05-24 cs.AI cs.CL
Speaker-Conditioned Hierarchical Modeling for Automated Speech Scoring
IIIT-Delhi（德里印度理工学院）；Adobe（Adobe公司）；SUNY-Buffalo（纽约州立大学布法罗分校）
自动语音评分（Automatic Speech Scoring，ASS）是一种计算机辅助的语言口语能力评估。ASS系统面临着许多挑战，如开放语法，可变发音和非结构化或半结构化内容。最近的深度学习方法在这一领域显示出了一些希望。然而，大多数这些方法都集中在从单个音频中提取特征，这使得它们缺乏建模这种复杂任务所需的特定于说话者的上下文。我们提出了一种用于非原生ASS的新型深度学习技术，称为说话者条件分层建模。在我们的技术中，我们利用了口语水平测试对候选人的多个响应进行评级的事实。我们从这些响应中提取上下文向量，并将它们作为额外的特定于说话者的上下文提供给我们的网络，以获得特定的响应。我们将我们的技术与强基线进行比较，发现这种建模将模型的平均性能提高了6.92%（最大值= 12.86%，最小值= 4.51%）。我们进一步展示了定量和定性的见解，这一额外的背景下，在解决问题的ASS的重要性。
2021-08-30 cs.CL cs.LG cs.SD
PersoBench: Benchmarking Personalized Response Generation in Large Language Models
School of Computing, Macquarie University（计算机学院，麦考瑞大学）；School of Electrical and Computer Engineering, Shiraz University（电气与计算机工程学院，谢里兹大学）
PersoBench通过结构化流程评估LLMs在零样本设置中生成个性化响应的能力，揭示其在流畅性、个性化和连贯性方面的不足。
2026-02-04 cs.CL
Learning to Generate Context-Sensitive Backchannel Smiles for Embodied AI Agents with Applications in Mental Health Dialogues
University of Pittsburgh（匹兹堡大学）；Northeastern University（东北大学）
本文研究具身智能体在心理健康对话中生成上下文敏感的反馈微笑，通过标注视频数据并利用语音、语言及人口统计学特征训练基于注意力的生成模型，显著提升了生成质量与智能体的人性化感知。
2024-02-13 cs.CL
FINEST: Improving LLM Responses to Sensitive Topics Through Fine-Grained Evaluation
KAIST（韩国科学技术院）；Samsung（三星）
FINEST通过细粒度评估分类法，改进LLM对敏感话题的响应，显著减少错误率并提升帮助性与安全性。
2026-03-04 cs.CL
Still no evidence for an effect of the proportion of non-native speakers on language complexity -- A response to Kauhanen, Einhaus & Walkden (2023)
Leibniz-Institute for the German Language (IDS)（莱布尼茨德语研究所（IDS））
本文回应 KEW 对 Koplenig（2019）的质疑，指出其关于 vehicularity 指标和 L2 比例零值处理的批评原文已讨论，并论证 KEW 的两种替代分析不成立。
2023-05-30 cs.CL stat.AP
Detecting Speaker Personas from Conversational Texts
Microsoft Research Asia（微软亚洲研究院）；State Key Laboratory of Cognitive Intelligence, iFLYTEK Research（科大讯飞研究院认知智能国家重点实验室）
人物角色对对话响应预测很有用。然而，目前的研究中使用的人物角色是预先定义的，很难在对话之前获得。为了解决这个问题，我们研究了一个新的任务，命名为扬声器人物角色检测（SPD），其目的是检测扬声器人物角色的基础上，普通的会话文本。在这个任务中，一个最匹配的人物角色是从给定的会话文本的候选人。这是一个多对多的语义匹配任务，因为SPD中的上下文和人物角色都由多个句子组成。这些句子之间的长期依存和动态冗余增加了这项任务的难度。我们为SPD构建了一个数据集，称为Persona Match on Persona Chat（PMPC）。此外，我们评估了几个基线模型，并提出了话语轮廓（U2 P）匹配网络这项任务。U2 P模型以细粒度操作，将上下文和人物角色视为多个序列的集合。然后，对每个序列对进行评分，并通过聚合获得上下文-人物角色对的可解释的总得分。评估结果表明，U2 P模型的性能明显优于基准模型。
2021-09-03 cs.CL
Automated Speaking Assessment of Conversation Tests with Novel Graph-based Modeling on Spoken Response Coherence
National Taiwan Normal University（国立台湾师范大学）
针对对话测试自动口语评估中连贯性建模不足的问题，提出分层图模型整合回答间交互与语义信息，在NICT-JLE数据集上显著提升评分准确率，为ASAC研究提供新方向。
2024-11-29 cs.CL
MPC-BERT: A Pre-Trained Language Model for Multi-Party Conversation Understanding
University of Science and Technology of China（中国科学技术大学）；Microsoft（微软）
近年来，用于多方会话（MPC）的各种神经模型在诸如收信人识别、说话人辨识和响应预测等任务上取得了令人印象深刻的改进。然而，这些现有的MPC的方法通常表示单独的对话者和话语，忽略了MPC中固有的复杂结构，可以提供关键的对话者和话语语义，并将加强会话理解过程。为此，我们提出了MPC-BERT，这是一种用于MPC理解的预训练模型，它考虑在具有多个精心设计的自监督任务的统一模型中学习谁对谁说了什么。具体地，这些任务通常可以被分类为（1）对话者结构建模，包括回复话语识别、相同说话者搜索和指针一致性区分，以及（2）话语语义建模，包括掩蔽共享话语恢复和共享节点检测。我们评估MPC BERT的三个下游任务，包括收件人识别，说话人辨识和响应选择。实验结果表明，MPC-BERT优于以前的方法的大幅度，并实现了新的国家的最先进的性能在所有三个下游任务在两个基准测试。
2021-06-03 cs.CL
DaKultur: Evaluating the Cultural Awareness of Language Models for Danish with Native Speakers
IT University of Copenhagen（哥本哈根信息技术大学）；Aalborg University（奥尔堡大学）；Pioneer Center for Artificial Intelligence（先锋人工智能中心）
本文通过63名丹麦母语者对1,038次互动的评估，首次研究了LLM在丹麦语上的文化意识，发现自动翻译数据不足以衡量文化适应，而基于母语者数据训练可使回复接受率提升一倍以上，并发布了首个母语丹麦语文化意识数据集DaKultur。
2025-04-03 cs.CL cs.CY cs.HC
Enhancing Personality Recognition in Dialogue by Data Augmentation and Heterogeneous Conversational Graph Networks
Graduate School of Informatics, Kyoto University（京都大学情报学研究科）；NICT（信息通信研究机构）；rinna Co., Ltd.（rinna公司）
针对对话人格识别中语料说话者少、对话依赖关系建模难的问题，提出人格特质插值数据增强法与异质对话图网络，在RealPersonaChat语料上效果显著优于现有基线。
2024-03-08 cs.CL
deep learning of segment-level feature representation for speech emotion recognition in conversations
Queen Mary University of London（伦敦玛丽女王大学）；Amazon（亚马逊）
由于会话中情感和动态的复杂性，准确地检测会话中的情感是一项必要而具有挑战性的任务。说话者的情绪状态会受到许多不同因素的影响，如对话者刺激、对话场景和话题。在这项工作中，我们提出了一个会话语音情感识别方法来处理捕获注意上下文依赖和说话人敏感的互动。首先，我们使用预训练的VGGish模型来提取单个话语中基于片段的音频表示。其次，一个专注的双向门控递归单元（GRU）模型上下文敏感信息，并探讨内和说话人之间的依赖关系，以动态的方式。在标准会话数据集MELD上进行的实验表明，与最先进的方法相比，所提出的方法是有效的。
2023-02-05 cs.CL cs.SD eess.AS
SQuARe: A Large-Scale Dataset of Sensitive Questions and Acceptable Responses Created Through Human-Machine Collaboration
NAVER AI Lab（NAVER人工智能实验室）；NAVER Cloud（NAVER云）；Seoul National University（首尔国立大学）；University of Richmond（里士满大学）；KAIST（韩国科学技术院）；IBS（基础科学研究院）；University of Washington（华盛顿大学）
本文提出大规模韩语敏感问题与可接受回应数据集SQuARe，基于真实新闻标题并通过人机协作构建，实验证明其能显著提升语言模型生成可接受回应的能力。
2023-05-28 cs.CL
Advancing Multi-Party Dialogue Framework with Speaker-ware Contrastive Learning
School of Computer Science and Engineering, Northwestern Polytechnical University（计算机科学与工程学院，西北工业大学）；School of Computer Science and Technology, Xidian University（计算机科学与技术学院，西安电子科技大学）；School of Artificial Intelligence and Big Data, Henan University of Technology（人工智能与大数据学院，河南理工大学）
针对现有多方对话方法依赖图结构标注、忽略个体说话风格的问题，提出基于两阶段自监督对比学习的CMR框架，是首个将对比学习用于多方对话生成的方法，性能优于SOTA且可提升大模型的多方对话处理能力。
2025-05-19 cs.CL
Friends-MMC: A Dataset for Multi-modal Multi-party Conversation Understanding
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Beijing Institute for General Artificial Intelligence（北京通用人工智能研究院）；National Key Laboratory of General Artificial Intelligence（通用人工智能全国重点实验室）
本文提出多模态多方对话数据集Friends-MMC，含24,000+话语及说话者、面孔标注，研究说话者识别与响应预测任务，并提出利用双模态语境的优化基线方法。
2024-12-23 cs.CL
EmoStance: Response-Side Affective-Orientation Control for Empathetic Response Generation via Emoji Weak Supervision
ShanghaiTech University（上海科技大学）
该研究针对共情回应生成的回应端情感倾向控制问题，提出基于表情符号弱监督的EmoStance模型，在盲法评估中取得62.2%的决定性胜率，提升了回应的上下文特异性与感知回应性。
2026-10-14 cs.AI cs.CL
Dependency Dialogue Acts -- Annotation Scheme and Case Study
University of Colorado Boulder（科罗拉多大学博尔德分校）；University of California Santa Cruz（加州大学圣克鲁兹分校）
在本文中，我们介绍了依赖性对话行为（DDA），一个新的框架捕捉结构的说话人的意图在多方对话。DDA结合并改编了现有对话注释框架的特点，强调对话的多关系应答结构，强调对话行为和修辞关系。它表示多方多线程会话中的功能、话语和响应结构。DDA与现有的对话注释框架（如SWBD-DAMSL和ISO 24617-2标准）有几个关键特性区别。首先，DDA优先考虑对话单位和对话语境的关系结构，将对话行为和修辞关系都注释为对特定话语的反应关系。其次，DDA支持对话中的重载，鼓励注释者为每个对话单元指定多个响应关系和对话行为。最后，DDA强调充分捕捉说话者如何使用完整的对话上下文来计划和组织他们的演讲。有了这些功能，DDA是高度表达和回忆为导向的多个扬声器之间的对话动态。在下文中，我们将介绍DDA注释框架和在多方多线程会话中注释DDA结构的案例研究。
2023-02-25 cs.AI cs.CL
CloneBot: Personalized Dialogue-Response Predictions
Stanford University（斯坦福大学）
我们的项目任务是创建一个模型，给定说话者ID，聊天历史和话语查询，可以预测对话中的响应话语。该模型是个性化的每个扬声器。这个任务可以成为构建语音机器人的有用工具，这些机器人可以在实时对话中以类似人类的方式说话。此外，我们成功地使用密集向量编码聚类来检索相关的历史对话上下文，这是一种有用的策略，可以克服基于神经模型的输入限制，当预测需要从对话历史中获得长期参考时。在本文中，我们已经实现了一个国家的最先进的模型，使用预训练和微调技术建立在Transformer架构和多头注意力块的开关板语料库。我们还展示了如何有效的向量聚类算法可以用于实时话语预测，不需要训练，因此工作在离线和加密的消息历史。
2021-03-31 cs.AI cs.CL cs.LG
Commonsense-augmented Memory Construction and Management in Long-term Conversations via Context-aware Persona Refinement
Yonsei University（延世大学）
本文提出一种利用基于常识的画像扩展框架，通过设计的策略结合上下文背景将矛盾画像转化为包含丰富信息的句子，从而提升长期对话中的响应生成质量。
2024-02-12 cs.AI cs.CL
Filling the Gap of Utterance-aware and Speaker-aware Representation for Multi-turn Dialogue
Shanghai Jiao Tong University（上海交通大学）；CloudWalk Technology（云从科技）
多轮对话由来自两个或多个不同说话者角色的多个话语组成。因此，话语和说话者意识的线索应该很好地捕捉模型。然而，在现有的基于检索的多话轮对话建模中，作为编码器的预训练语言模型（PrLM）通过将成对对话历史和候选响应作为一个整体来粗略地表示对话，没有很好地解决这种表示中耦合的话语相关性或说话人角色的层次信息。在这项工作中，我们提出了一个新的模型，以填补这样的空白，通过建模的有效话语感知和说话者感知的表示所涉及的对话历史。详细地，我们通过基于transformer的PrLM中的掩蔽机制来解耦上下文化的词表示，使得每个词仅关注当前话语中的词、其他话语、两个说话者角色（即，发送者的话语和接收者的话语）。实验结果表明，我们的方法大大提高了强大的ELECTRA基线在四个公共基准数据集，并实现了各种新的最先进的性能比以前的方法。进行了一系列的消融研究，以证明我们的方法的有效性。
2020-12-12 cs.AI cs.CL cs.IR
Towards zero-shot Text-based voice editing using acoustic context conditioning, utterance embeddings, and reference encoders
University of Edinburgh（爱丁堡大学）；Meta AI
基于文本的语音编辑（TBVE）使用文本到语音（TTS）系统的合成输出来替换原始录音中的单词。最近的工作使用神经模型来产生编辑后的语音，这些语音在清晰度、说话者身份和韵律方面与原始语音相似。然而，先前工作的一个限制是使用微调来优化性能：这需要对来自目标说话者的数据进行进一步的模型训练，这是一个昂贵的过程，可能会将潜在的敏感数据合并到服务器端模型中。相比之下，这项工作的重点是zero-shot的方法，它避免了微调，而是使用预先训练的说话人验证嵌入与联合训练的参考编码器一起编码话语级信息，帮助捕获方面，如说话人的身份和韵律。主观听音测试发现，在zero-shot设置下，话语嵌入和参考编码器都提高了编辑后的合成语音和未编辑的原始录音之间的说话人身份和韵律的连续性。
2022-10-28 cs.CL cs.SD eess.AS
AV-Dialog: Spoken Dialogue Models with Audio-Visual Input
Paul G. Allen School of Computer Science & Engineering, University of Washington（华盛顿大学保罗·G·阿伦计算机科学与工程学院）；Meta AI Research（Meta AI研究院）
针对对话模型在嘈杂多说话者环境中的缺陷，提出首个多模态对话框架AV-Dialog，结合视听线索跟踪说话者、预测话轮转换并生成回复，通过多任务多阶段训练提升性能，为真实环境口语对话代理奠基。
2025-11-14 cs.AI cs.CL cs.CV
MMGCN: Multimodal Fusion via Deep Graph Convolution Network for Emotion Recognition in Conversation
Renmin University of China（中国人民大学）
会话中的情感识别是情感对话系统的重要组成部分，它帮助系统理解用户的情感并产生移情反应。然而，大多数作品主要集中在建模扬声器和上下文信息的文本模态或简单地利用多模态信息，通过功能连接。为了探索一种更有效地利用多模态和长距离上下文信息的方法，本文提出了一种基于多模态融合图卷积网络的上下文信息融合模型MMGCN。MMGCN不仅可以有效地利用多模态依赖关系，而且可以利用说话人信息来建模说话人间和说话人内依赖关系。我们在两个公共基准数据集IEMOCAP和MELD上对我们提出的模型进行了评估，结果证明了MMGCN的有效性，在多模态会话设置下，MMGCN的性能明显优于其他SOTA方法。
2021-07-14 cs.CL cs.SD eess.AS
Neither Silence nor Overlap Is Failure: Intent-Conditioned Evaluation of Turn-Taking in Full-Duplex Spoken Dialogue Models
People Make Things
针对全双工口语对话模型，提出意图条件评估基准TACT，用连续概率分数替代二元规则，在十一个系统中最佳模型达0.47，与人类判断高度一致。
2026-09-24 cs.AI cs.CL cs.HC
Speaker Profiling in Multiparty Conversations
Indraprastha Institute of Information Technology Delhi（德里英德拉普拉斯塔信息技术学院）；Indian Institute of Technology Delhi（印度理工学院德里分校）
本文提出对话中的说话人画像（SPC）任务，将其分解为人格发现、类型识别与值抽取三个子任务，构建SPICE数据集，并提出神经模型SPOT进行基准评测与模块局限分析。
2023-04-19 cs.AI cs.CL
Continue, Adapt, or Yield: In-Turn Adaptation to Overlapping Speech in Full-Duplex Agents
Besimple AI
针对全双工智能体评估忽视轮内适应的问题，提出Duplex Cue方法，区分听者意图与说话者行为，实验显示真人适应率68.2%远超PersonaPlex的34.8%，强调需同时衡量回应方式与是否继续说话。
2026-09-14 cs.CL cs.SD
Generating Data with Text-to-Speech and Large-Language Models for Conversational Speech Recognition
Carnegie Mellon University（卡内基梅隆大学）；University of Rochester（罗切斯特大学）
针对多说话人对话语音识别领域数据获取难的问题，提出结合LLM内容生成与多说话人对话式TTS的合成数据流水线，经Whisper模型微调验证，性能优于经典多说话人生成方法。
2024-08-17 cs.CL cs.SD eess.AS
AAD-LLM: Neural Attention-Driven Auditory Scene Understanding
Department of Electrical Engineering（电气工程系）；Department of Neurological Surgery（神经外科系）；Mortimer B. Zuckerman Mind Brain Behavior Institute（莫提默·B·祖克曼心智-脑-行为研究所）；Hofstra Northwell School of Medicine（霍夫曼斯特拉北well医学院）；The Feinstein Institutes for Medical Research（费森特医学研究所）；Neurology Department（神经病学系）
针对现有听觉模型缺乏感知选择性、与听者意图对齐度不足的问题，提出整合iEEG脑信号推断注意力的AAD-LLM，在多说话者场景多任务上实现更优的听者意图对齐，开辟感知驱动的机器听觉新范式。
2025-06-11 cs.AI cs.CL cs.HC
A Neural Network Approach to Context-Sensitive Generation of Conversational Responses
Université de Montréal（蒙特利尔大学）；Microsoft Research（微软研究院）；Facebook AI Research（Facebook人工智能研究院）；Georgia Institute of Technology（佐治亚理工学院）
我们提出了一种新的响应生成系统，可以训练端到端的大量非结构化的Twitter对话。一个神经网络架构被用来解决稀疏性问题时出现的背景信息集成到经典的统计模型，允许系统考虑到以前的对话话语。我们的动态上下文生成模型在上下文敏感和非上下文敏感的机器翻译和信息检索基线上显示出一致的增益。
2015-06-22 cs.AI cs.CL cs.LG
