DuplexMamba: Enhancing Real-time Speech Conversations with Duplex and Streaming Capabilities
Faculty of Computing, Harbin Institute of Technology(哈尔滨工业大学计算学部);Tsinghua University(清华大学)
本文提出DuplexMamba,一种基于Mamba的端到端多模态双工模型,通过同时处理输入和生成输出的双工解码策略实现实时流式语音对话,在ASR和语音助手基准上性能媲美Transformer模型。
2025-04-03 cs.CL
Dialogues of Dissent: Thematic and Rhetorical Dimensions of Hate and Counter-Hate Speech in Social Media Conversations
The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
提出一种联合标注社交媒体仇恨与反仇恨言论的多标签方案,从主题和修辞维度分析92个对话、720条推文,揭示二者互动模式及反制策略。
2025-07-28 cs.CL
The Microsoft 2017 Conversational Speech Recognition System
Microsoft(微软)
我们描述了2017年版本的微软会话语音识别系统,其中我们更新了2016年系统,其中包括基于神经网络的声学和语言建模的最新发展,以进一步推进Switchboard语音识别任务的最新技术水平。该系统将CNN-BLSTM声学模型添加到我们之前组合的模型架构集合中,并在重新评分中包括基于字符和对话会话感知的LSTM语言模型。对于系统组合,我们采用了两个阶段的方法,其中声学模型的子集首先在句音/帧级别组合,然后通过混淆网络进行单词级别的投票。在系统合并后,我们还增加了一个混淆网络重评分步骤。结果系统在2000 Switchboard评估集上产生5.1\%的字出错率。
2017-08-24 cs.CL
ASCEND: A Spontaneous Chinese-English Dataset for Code-switching in Multi-turn Conversation
The Hong Kong University of Science and Technology(香港科技大学)
语码转换是说话人在会话过程中转换语言时出现的一种言语现象。尽管语码转换在会话口语中具有自发性,但现有的研究大多从朗读中收集语码转换数据,而不是从自发性话语中收集。ASCEND(A Spontaneous Chinese-English Dataset)是一个高质量的汉语-英语语码转换语料库,建立在香港地区的多轮会话语料基础上。我们报告ASCEND的设计和程序收集的语音数据,包括注释。ASCEND由10.62小时的干净的讲话,收集了23个双语者的中文和英文。此外,我们使用预训练的wav 2 vec 2.0模型进行基线实验,实现了22.69%的字符出错率和27.05%的混合出错率的最佳性能。
2022-05-03 cs.CL
DrVoice: Parallel Speech-Text Voice Conversation Model via Dual-Resolution Speech Representations
Alibaba Group(阿里巴巴集团)
DrVoice通过双分辨率语音表示实现语音与文本的平行生成,有效降低计算成本并提升语音基础模型性能。
2025-12-23 cs.CL
Leveraging Twitter for Low-Resource Conversational Speech Language Modeling
University of Washington(华盛顿大学)
在涉及会话语音的应用中,数据稀疏性是构建更好的语言模型的限制因素。我们提出了一种简单的,独立于语言的方法,可以快速从Twitter中收集大量数据,以补充与该领域更紧密匹配的较小训练集。这些技术导致四种低资源语言的困惑显着减少,即使这些语言在Twitter上的存在相对较小。我们还发现,Twitter的文本是更有用的学习词类比域中的文本,使用这些词类导致进一步减少困惑。此外,我们介绍了一种方法,使用社会和文本信息,优先级的下载队列在Twitter的爬行。这最大化了可以收集的有用数据的数量,影响了困惑度和词汇覆盖率。
2015-04-09 cs.CL
Entity-level Sentiment Analysis in Contact Center Telephone Conversations
Dialpad Canada Inc.(Dialpad加拿大公司)
语义级情感分析预测给定文本中提到的实体的情感。在业务环境中,了解用户对某些实体(如产品或公司)的情感非常有用。在本文中,我们演示了我们如何开发一个实体级的情感分析系统,分析英语电话交谈的成绩单在联络中心提供业务洞察力。我们提出了两种方法,一种完全基于基于transformer的DistilBERT模型,另一种使用卷积神经网络补充一些启发式规则。
2022-10-26 cs.CL
From Speech to Interaction: Analyzing Multimodal Systems in Cocktail-Party Scenarios
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Carnegie Mellon University(卡内基梅隆大学)
本研究分析了CHiME-9 MCoRec任务中不同多模态系统解决鸡尾酒会场景的策略,发现最优系统实现57%相对错误减少,且高语音重叠并非性能差异的主要原因。
2026-08-11 cs.CL
"How Robust r u?": Evaluating Task-Oriented Dialogue Systems on Spoken Conversations
Amazon Alexa AI(亚马逊Alexa人工智能部门)
由于现有的数据集,对话建模的大多数工作都是在书面对话上进行的。然而,书面对话不足以完全捕获口头对话的性质以及实际口头对话系统中的潜在语音识别错误。本文提出了一种新的面向任务的口语会话基准,旨在研究多领域对话状态跟踪和基于知识的对话建模。我们报告说,现有的最先进的书面对话训练模型在我们的口语数据上表现不佳,正如预期的那样。此外,我们观察到改进的任务性能时,利用n-最好的语音识别假设,如通过结合预测的基础上个别假设。我们的数据集可以对面向任务的对话系统进行基于语音的基准测试。
2021-09-28 cs.CL
JELLY: Joint Emotion Recognition and Context Reasoning with LLMs for Conversational Speech Synthesis
Korea University(高丽大学)
提出 JELLY 框架,通过多个部分 LoRA 微调 LLM,并结合情感感知 Q-former 编码器实现情感识别与上下文推理,以生成自然且情感恰当的对话语音。
2025-01-09 cs.CL cs.SD eess.AS
F-Actor: Controllable Conversational Behaviour in Full-Duplex Models
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);University of Edinburgh(爱丁堡大学);NatWest(国立西敏银行)
本文提出首个可训练的全双工对话语音模型,通过冻结音频编码器仅微调语言模型,在有限资源下实现高效训练,支持通过指令控制说话声音、话题和对话行为。
2026-04-15 cs.CL
Conversational Speech Recognition By Learning Conversation-level Characteristics
Northwestern Polytechnical University(西北工业大学);Tencent(腾讯)
会话自动语音识别(ASR)是识别包括多个说话者的会话语音的任务。与会话层面的自动会话识别不同,会话自动会话识别可以自然地利用会话的特定特征,例如角色偏好和主题连贯性。本文提出了一种会话ASR模型,该模型在流行的端到端神经框架下显式学习会话级特征。拟议模式的亮点有两个。首先,一个潜在的变分模块(LVM)附加到一个符合者为基础的编码器-解码器ASR骨干学习角色偏好和主题一致性。第二,专门采用主题模型,使解码器的输出偏向于预测主题中的单词。在两个普通话会话ASR任务上的实验表明,该模型实现了最大12%的相对字符出错率(CER)减少。
2022-02-17 cs.CL cs.SD eess.AS
Towards Better Understanding of Spontaneous Conversations: Overcoming Automatic Speech Recognition Errors With Intent Recognition
Avaya(亚美亚公司);Poznań University of Technology(波兹南理工大学)
在本文中,我们提出了一种方法,用于纠正自动语音识别(ASR)的错误,使用有限状态转换器(FST)的意图识别框架。意图识别是一种功能强大的技术,用于面向回合的人机对话中的对话流管理。这种技术在人与人之间的对话中也非常有用,尽管它的目的是从对话中提取关键洞察力。我们认为,目前可用的意图识别技术不适用于人与人的对话,由于复杂的结构的话轮和各种不流利的自发对话中遇到的,加剧了语音识别错误和缺乏特定领域的标记数据。如果没有有效的关键洞察力提取技术,原始的人与人之间的对话记录仍然没有得到充分利用。我们的贡献包括一个新的FST的意图索引和算法的模糊意图搜索格-一个紧凑的图编码的ASR的假设。我们还开发了一个修剪策略来约束FST索引搜索的模糊性。提取的意图表示语言领域知识,并帮助我们改进(重新评分)原始成绩单。我们将我们的方法与仅使用最可能的转录假设(最佳路径)的基线进行比较,发现识别意图的总数增加了25%。
2019-08-21 cs.CL
Learning Natural Conversational Behavior in Tandem Speech-to-Speech Models with Randomized Guidance
Sakana AI
针对串联语音到语音模型训练中引导数据缺失问题,提出随机中间引导方法,直接从语料库采样引导,提升响应质量与自然对话行为,优于基线模型。
2026-09-28 cs.CL eess.AS
Hateful Messages: A Conversational Data Set of Hate Speech produced by Adolescents on Discord
Freie Universität Berlin(柏林自由大学);Fraunhofer-Institut für Offene Kommunikationssysteme FOKUS(弗劳恩霍夫开放通信系统研究所FOKUS)
本研究构建了包含88,395条Discord青少年聊天消息的匿名仇恨言论数据集,以解决青少年语言偏见,约6.42%被标注为仇恨言论,作者平均年龄低于20岁。
2023-09-04 cs.CL
Detecting Speech Act Types in Developer Question/Answer Conversations During Bug Repair
University of Notre Dame(圣母大学);Clemson University(克莱姆森大学);Google(谷歌)
本文主要研究了语音修复会话中的言语行为检测问题。我们与30名专业程序员进行了一项“绿野仙踪”实验,程序员在两个小时内修复错误,并使用模拟的虚拟助手进行帮助。然后,我们使用一个开放的编码人工标注过程来识别会话中的言语行为类型。最后,我们训练并评估一个监督学习演算法来自动侦测对话中的言语行为类型。在30个两小时的对话中,我们做了2459个注释,发现了26种言语行为类型。我们的自动检测达到了69%的准确率和50%的召回率。这项工作的关键应用是推进虚拟助理在软件工程的艺术状态。虚拟助手技术发展迅速,但在软件工程中的应用却落后于其他领域,这主要是由于缺乏相关数据和实验。本文针对这个问题,在该地区的开发人员Q/A对话的错误修复。
2018-07-03 cs.CL cs.SE
Can Prosody Aid the Automatic Classification of Dialog Acts in Conversational Speech?
识别话语是否是陈述、问题、问候等对于自然对话的有效自动理解是不可或缺的。然而,很少有人知道,这样的对话行为(DA)可以自动分类在真正自然的对话。本研究探讨目前主要使用字词资讯的方法,是否可以借由加入韵律资讯来加以改善。该研究基于Switchboard语料库中的1000多个对话。DA手工注释,韵律特征(持续时间,停顿,F0,能量和语速)被自动提取为每个DA。在训练中,决策树基于这些功能推断,然后树被应用到看不见的测试数据,以评估性能。单独的韵律模型的性能进行了评估,并结合韵律模型与字的信息-无论是从真正的话,或从自动语音识别器的输出。对于一个整体分类任务,以及三个子任务,韵律作出了重大贡献的分类。特定于特征的分析进一步表明,尽管典型特征(如问题的F0)很重要,但如果去除典型特征,不太明显的特征可以弥补。最后,在每个任务中,将韵律模型与DA特定的统计语言模型相结合,比单独的语言模型提高了性能,特别是对于识别单词的情况。结果表明,DA是冗余标记在自然对话,和各种自动提取的韵律特征可以帮助语音应用程序中的对话处理。
2000-06-11 cs.CL
Challenges of Multi-Speaker Extraction for Real Conversational Speech Enhancement
University of Sheffield(谢菲尔德大学);South Westphalia University of Applied Sciences(南威斯特法伦应用科学大学)
针对真实对话中多说话人提取面临的沉默过多和注册语音不匹配挑战,提出新损失函数提升STOI和分段SNR,并分析不匹配影响。
2026-09-23 cs.CL cs.SD
Towards Human-like Multimodal Conversational Agent by Generating Engaging Speech
Artificial Intelligence Graduate School(人工智能研究生院)
本文提出一种类人多模态对话智能体,通过构建MultiSensory Conversation语音数据集并基于多模态大语言模型生成文本回复与语音描述,结合视觉和音频模态生成自然且引人入胜的语音回复。
2025-09-18 cs.AI cs.CL cs.HC
Generating Data with Text-to-Speech and Large-Language Models for Conversational Speech Recognition
Carnegie Mellon University(卡内基梅隆大学);University of Rochester(罗切斯特大学)
针对多说话人对话语音识别领域数据获取难的问题,提出结合LLM内容生成与多说话人对话式TTS的合成数据流水线,经Whisper模型微调验证,性能优于经典多说话人生成方法。
2024-08-17 cs.CL cs.SD eess.AS
Advancing Speech Translation: A Corpus of Mandarin-English Conversational Telephone Speech
Raytheon BBN(雷神BBN技术公司)
本文构建了123小时汉英电话会话语音翻译语料库,通过微调通用翻译模型,目标域BLEU提升超8点,验证了匹配训练数据的关键作用。
2024-03-25 cs.CL cs.SD eess.AS
Joint prediction of truecasing and punctuation for conversational speech in low-resource scenarios
Johns Hopkins University(约翰斯·霍普金斯大学);VoiceLab(VoiceLab(波兰语音实验室))
大写和标点符号是理解书面文本和会话记录的重要线索。然而,许多ASR系统不产生标点和大小写格式的语音转录。我们建议使用一个多任务系统,可以利用套管和标点符号之间的关系,以提高其预测性能。而文本数据预测标点符号和truecasing似乎是丰富的,我们认为,书面文本资源是不够的会话模型的训练数据。我们通过比较标点符号和词的情况下的联合分布,并通过测试我们的模型跨域量化书面和会话文本域之间的不匹配。此外,我们表明,通过在书面文本域中训练模型,然后将迁移学习转移到对话中,我们可以用更少的数据实现合理的性能。
2021-09-13 cs.CL cs.LG
Hate Cannot Drive out Hate: Forecasting Conversation Incivility following Replies to Hate Speech
University of Arizona(亚利桑那大学);University of North Texas(北得克萨斯大学)
本文提出预测仇恨言论回复后对话不文明程度的新任务,构建更贴合人类判断的指标,分析回复语言差异并评估模型预测挑战。
2023-12-08 cs.CL cs.CY
Speech Dialogue with Facial Displays: Multimodal Human-Computer Conversation
人与人之间的面对面对话是人机对话的理想模型。面对面交流的主要特点之一是其多种形式的沟通渠道。为了实现自然的多模态对话,有必要研究人类如何感知信息,并确定人类敏感的信息。面部是一种独立的沟通渠道,它传递情感和会话信号,编码为面部表情。我们已经开发了一个实验系统,集成语音对话和面部动画,探讨在人机对话中引入交际面部表情作为一种新的模态的效果。我们的实验表明,面部表情是有帮助的,特别是在第一次接触系统时。我们还发现,在早期阶段展示面部表情可以改善随后的互动。
1994-06-01 cmp-lg cs.CL
Mitigating Bias in Conversations: A Hate Speech Classifier and Debiaser with Prompts
Vector Institute of Artificial Intelligence(向量人工智能研究所);Toronto Metropolitan University(多伦多都会大学)
针对对话中仇恨言论的偏见问题,提出含分类检测与提示式去偏的两步方法,经基准数据集验证可降低负面性,助力构建更包容公平的网络交流环境。
2023-07-14 cs.AI cs.CL
Using Kaldi for Automatic Speech Recognition of Conversational Austrian German
Graz University of Technology(格拉茨工业大学)
随着对话系统的交互性和社会化程度的提高,对对话语音进行准确的自动语音识别(ASR)也变得越来越重要。这将焦点从简短的、自发的、以任务为导向的对话转移到了更复杂的、随意的面对面对话上。然而,这种对话的收集和注释是一个耗时的过程,并且对于这种特定的说话风格来说,数据是稀疏的。本文介绍了ASR实验与阅读和会话的奥地利德语为目标。为了处理只有有限的资源可用于德语会话,并在同一时间,与扬声器之间的发音特征有很大的变化,我们改进了基于Kaldi的ASR系统,通过将(大)基于知识的发音词典,同时探索不同的基于数据的方法来限制每个词条的发音变体的数量。我们实现了最好的WER的0.4%,奥地利德语阅读语音和最好的平均WER的48.5%,会话语音。我们发现,通过使用我们最好的发音词典,可以实现类似的高性能比通过增加用于语言模型的数据的大小约。360%到760%。我们的研究结果表明,对于低资源的情况下,尽管语音技术的一般趋势是只使用基于数据的方法,基于知识的方法是一个成功的,有效的方法。
2023-01-16 cs.CL cs.SD eess.AS
Speech recognition for medical conversations
Google(谷歌)
在这项工作中,我们探讨了建立自动语音识别模型转录医生病人的谈话。我们收集了一个大规模的临床会话数据集($14,000$ hr),设计了代表真实世界场景的任务,并探索了几种对齐方法,以迭代地提高数据质量。我们探讨了CTC和LAS系统建立语音识别模型。LAS对噪声数据更具弹性,CTC需要更多的数据清理。提供了详细的分析,以了解临床任务的性能。我们的分析表明,语音识别模型在重要的医疗话语上表现良好,而在因果对话中出现错误。总的来说,我们相信由此产生的模型可以在实践中提供合理的质量。
2018-06-20 cs.CL cs.SD eess.AS
Speech Detection For Child-Clinician Conversations In Danish For Low-Resource In-The-Wild Conditions: A Case Study
Technical University of Denmark(丹麦技术大学);Copenhagen University Hospital(哥本哈根大学医院);Copenhagen University(哥本哈根大学)
使用语音模型进行自动语音处理任务可以提高医学和精神病学中的筛选、分析、诊断和治疗的效率。然而,预处理语音任务(如分割和日志化)的性能可能会在野外临床数据上大幅下降,特别是当目标数据集包含非典型语音时。在本文中,我们研究了一个预先训练的语音模型的性能,包括在丹麦的儿童临床医生的对话的数据集相对于分类阈值。由于我们没有获得足够的标记数据,我们提出了几个实例的阈值自适应,其中我们采用的第一分钟的语音对话,以获得最佳的分类阈值。通过我们在本文中的工作,我们了解到,具有默认分类阈值的模型对患者组的儿童表现较差。此外,该模型的出错率与患者诊断的严重程度直接相关。最后,我们对少实例适应的研究表明,三分钟的医生-儿童对话足以获得最佳分类阈值。
2022-04-25 cs.CL cs.SD eess.AS
Directed Speech Separation for Automatic Speech Recognition of Long Form Conversational Speech
Amazon AWS AI(亚马逊AWS人工智能)
语音分离的许多最新进展主要针对具有高度重叠的短音频话语的合成混合。这些方法中的大多数需要额外的拼接步骤来拼接分离的语音块以获得长格式音频。由于大多数方法涉及排列不变训练(PIT),因此分离的语音块的顺序是不确定的,并且导致难以准确地拼接同质说话者块用于下游任务,如自动语音识别(ASR)。此外,大多数这些模型都是用合成混合物训练的,不能推广到真实的会话数据。在本文中,我们提出了一个扬声器条件分离器训练的扬声器嵌入直接从混合信号中提取使用过聚类为基础的方法。该模型自然地调节分离的块的顺序,而不需要额外的拼接步骤。我们还介绍了一个数据采样策略,真正的和合成的混合物,以及推广到真正的对话语音。有了这个模型和数据采样技术,我们在Hub 5数据上显示了说话者归因的单词错误率(SA-WER)的显着改善。
2022-09-06 cs.CL cs.LG cs.SD
M2-CTTS: End-to-End Multi-scale Multi-modal Conversational Text-to-Speech Synthesis
Beijing University of Posts and Telecommunications(北京邮电大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Unisound AI Technology Co., Ltd(云知声智能科技股份有限公司)
针对现有对话TTS系统忽略局部细粒度韵律特征、仅依赖文本特征的不足,提出多尺度多模态对话TTS系统M2-CTTS,通过粗细粒度结合的文本与声学上下文模块建模对话,在CMOS测试中实现更优韵律表现与自然度。
2023-05-03 cs.CL cs.SD eess.AS
A Unified Speech LLM for Diarization and Speech Recognition in Multilingual Conversations
Institute of Science Tokyo(东京科学研究所)
本文提出一种统一语音大语言模型,以端到端方式联合执行多语言对话中的说话人分离与语音识别,通过重构训练数据格式和推理流程,在 MLC-SLM Challenge 任务 II 上较基线实现 54.87% 的相对改进。
2025-06-26 cs.AI cs.CL cs.SD
Pheme: Efficient and Conversational Speech Generation
PolyAI Limited(PolyAI有限公司)
本文提出Pheme模型系列,通过紧凑模型、并行生成和高效训练,在削减10倍数据需求下实现高质量自然对话式语音生成。
2024-01-05 cs.AI cs.CL eess.AS
deep learning of segment-level feature representation for speech emotion recognition in conversations
Queen Mary University of London(伦敦玛丽女王大学);Amazon(亚马逊)
由于会话中情感和动态的复杂性,准确地检测会话中的情感是一项必要而具有挑战性的任务。说话者的情绪状态会受到许多不同因素的影响,如对话者刺激、对话场景和话题。在这项工作中,我们提出了一个会话语音情感识别方法来处理捕获注意上下文依赖和说话人敏感的互动。首先,我们使用预训练的VGGish模型来提取单个话语中基于片段的音频表示。其次,一个专注的双向门控递归单元(GRU)模型上下文敏感信息,并探讨内和说话人之间的依赖关系,以动态的方式。在标准会话数据集MELD上进行的实验表明,与最先进的方法相比,所提出的方法是有效的。
2023-02-05 cs.CL cs.SD eess.AS
Towards Spontaneous Style Modeling with Semi-supervised Pre-training for Conversational Text-to-Speech Synthesis
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);XVerse Inc.(元象科技);The Chinese University of Hong Kong(香港中文大学)
针对自发性语音数据稀缺和标注成本高的问题,提出半监督预训练方法,结合文本与语音信息检测自发性行为,并利用语言感知编码器建模会话关系,实现表现性语音合成。
2023-08-31 cs.CL cs.LG cs.SD
Finetuning End-to-End Models for Estonian Conversational Spoken Language Translation
Tallinn University of Technology(塔林理工大学)
本文针对爱沙尼亚语会话语音翻译数据稀缺问题,通过合成数据微调 Whisper、OWSM 3.1 和 SeamlessM4T 三种端到端模型,其中 SeamlessM4T 性能达到或超过级联系统。
2024-07-04 cs.CL eess.AS
Adaptation of Hierarchical Structured Models for Speech Act Recognition in Asynchronous Conversation
Nanyang Technological University(南洋理工大学);Salesforce Research Asia(Salesforce亚洲研究院)
我们解决了异步对话(论坛,电子邮件)中的言语行为识别(SAR)问题。与同步对话(例如,会议、电话),异步域缺乏大的标记数据集来训练有效的SAR模型。在本文中,我们提出的方法,有效地利用丰富的未标记的会话数据和可用的标记数据从同步域。我们的研究分三个主要步骤进行。首先,我们介绍了一个神经架构的基础上分层LSTM和条件随机场(CRF)的SAR,并表明,我们的方法优于现有的方法时,只在域内数据训练。其次,我们通过半监督学习改进了我们的初始SAR模型,这种半监督学习的形式是从大型未标记的会话语料库中学习的预训练词嵌入。最后,我们采用对抗性训练,通过利用来自同步域的标记数据和显式建模两个域中的分布变化来进一步改进结果。
2019-04-01 cs.CL cs.LG stat.ML
VAIS ASR: Building a conversational speech recognition system using language model combination
Vietnam Artificial Intelligence System(越南人工智能系统);Hanoi University of Science and Technology(河内理工大学);Thai Nguyen University(太原大学);Hanoi University of Mining and Geology(河内矿业与地质大学)
自动语音识别(ASR)系统发展迅速,在某些情况下达到了与人类同等的水平。这些系统通常在阅读风格和干净的语音方面表现得很好,然而,大多数可用的系统都受到说话风格是对话和嘈杂环境的情况的影响。由于语音和文本的数据汇集存在困难,解决此类问题并不简单。在本文中,我们试图减轻使用语言模型组合技术,使我们能够利用大量的写作风格的文本和少量的会话文本数据的问题。对VLSP 2019 ASR挑战的评估显示,我们的系统在VLSP 2018和VLSP 2019数据集上分别实现了4.85%和15.09%的WER。
2019-10-12 cs.CL cs.SD eess.AS
Advancing an Interdisciplinary Science of Conversation: Insights from a Large Multimodal Corpus of Human Speech
BetterUp Inc.(BetterUp公司);University of Pennsylvania(宾夕法尼亚大学);DrivenData Inc.(DrivenData公司)
人们一生中有很大一部分时间都在进行对话,但我们对对话的科学理解仍处于起步阶段。在这份报告中,我们提出了一个跨学科的科学对话,从一个大型的,新颖的,多模态语料库的1,656个记录的英语口语对话的结果。这个超过700万字,850小时的语料库总计超过1 TB的音频,视频和成绩单,以及对语音,面部和语义表达的即时测量,以及对说话者对话后反思的广泛调查。我们利用语料库的相当大的范围来(1)扩展文献中的关键发现,例如人类话轮转换的合作性;(2)定义用于将语音分割为会话话轮的新颖算法程序;(3)将机器学习见解应用于各种文本,听觉和视觉特征,以分析是什么使会话成功或失败;(4)探索对话与整个生命周期的幸福感之间的关系。我们还报告(5)一份综合的混合方法报告,基于对每个记录的定量分析和定性审查,展示了来自不同背景的个人如何改变他们的沟通模式,并找到联系的方法。最后,我们讨论了这个大规模的公共数据集如何为未来的研究提供新的方向,特别是跨学科的界限,因为来自各个领域的学者对对话的研究越来越感兴趣。
2022-03-01 cs.CL cs.CY
Acoustic and Facial Markers of Perceived Conversational Success in Spontaneous Speech
Department of Electrical and Computer Engineering, University of Maryland College Park, MD, USA(电气与计算机工程系,马里兰大学学院市分校);Department of Psychology, University of Maryland College Park, MD, USA(心理学系,马里兰大学学院市分校)
研究通过分析自发Zoom对话,探讨对话动态与感知互动质量的关系,发现同步现象能可靠检测并预测更高的对话成功感知。
2026-03-03 cs.CL cs.HC cs.LG
Handling and extracting key entities from customer conversations using Speech recognition and Named Entity recognition
Pune Institute of Computer Technology(浦那计算机技术学院)
本文提出一个两阶段网络,先用最优语音识别将客户对话转为文本,再用NER BERT transformer模型提取订单号、具体问题等关键实体,以减少人工复查对话的工作量并提升客户体验。
2022-11-28 cs.CL cs.LG
Cross-Attention End-to-End ASR for Two-Party Conversations
Carnegie Mellon University(卡内基梅隆大学)
我们提出了一个端到端的语音识别模型,学习两个说话人之间的互动的基础上的话轮变化信息。与传统的语音识别模型不同,我们的模型利用了两个扬声器的历史会话上下文信息,跨越多个回合内的一个端到端的框架。具体来说,我们提出了一个特定于说话人的交叉注意机制,可以看看其他说话人的输出以及当前说话人的输出,以更好地识别长对话。我们评估的Switchboard会话语音语料库的模型,并表明我们的模型优于标准的端到端的语音识别模型。
2019-07-24 cs.CL cs.LG cs.SD
VideoFDB: Evaluating Full-Duplex Vision-Speech Capabilities in Conversational Agents
NVIDIA;David AI
提出首个全双工视听到视听(AV2AV)对话基准VideoFDB,通过237个真实视频片段、感知与生成行为分类以及基于评分规则的LM评判框架,系统评估代理在非语言对话动态中的表现,发现现有系统存在字幕崩溃和视觉流忽视等缺陷。
2026-07-30 cs.CL cs.CV cs.HC
ConversationalVoice: Full-Duplex Speech Data from Real Conversations through Source-Faithful Reconstruction and Conversation-Grounded Expansion
AveraLabs(艾维拉实验室)
提出ConversationalVoice流水线,通过分离、重建和扩展将真实对话转化为全双工训练数据,保持高说话人相似度与语音质量,为后续模型训练提供基础。
2026-09-09 cs.CL cs.SD eess.AS
Leveraging Transformers for Hate Speech Detection in Conversational Code-Mixed Tweets
Indraprastha Institute of Information Technology Delhi(德里英德拉普拉斯塔信息技术学院)
在当今的互联网时代,每个人都可以轻松访问社交媒体平台,人们往往不得不应对威胁,身份攻击,仇恨和欺凌,因为他们与演员,信仰,性别,宗教,甚至接受或拒绝一个概念。现有的仇恨言论检测工作主要集中在个人评论分类作为一个序列标签的任务,往往没有考虑到会话的上下文。在确定作者的意图和推文背后的情绪时,对话的上下文通常起着重要的作用。本文描述了MIDAS-IIITD团队为HASOC 2021子任务2提出的系统,该子任务是第一批共享任务之一,专注于从Twitter上的印地语-英语代码混合对话中检测仇恨言论。我们使用神经网络来解决这个问题,利用Transformer的跨语言嵌入,并进一步对它们进行微调,以用于在音译印地语文本中进行低资源仇恨语音分类。我们表现最好的系统是由Indic-BERT、XLM-RoBERTa和多语言BERT组成的硬投票组合,取得了0.7253的宏观F1分数,使我们在整体排行榜上排名第一。
2021-12-18 cs.AI cs.CL cs.LG
Large Language Models based ASR Error Correction for Child Conversations
University of Southern California(美国南加州大学);Korea University(韩国大学);University of California, San Francisco(旧金山大学);University of California, Los Angeles(洛杉矶大学);Viterbi School of Engineering(工程学院);School of Psychology(心理学系);Weill Institute for Neurosciences(神经科学研究所);Semel Institute of Neuroscience and Human Behavior(神经科学与人类行为研究所)
本研究探索利用大语言模型纠正儿童对话语音识别错误,实验显示其对零样本和CTC输出有效,但对上下文或自回归输出提升有限。
2025-05-24 cs.CL eess.AS
Real-time Speech Summarization for Medical Conversations
University of Toronto(多伦多大学);University Health Network(大学健康网络);College of William and Mary(威廉玛丽学院);University of Cincinnati(辛辛那提大学);Indiana State University(印第安纳州立大学);FPT Software AI Center(FPT软件人工智能中心)
本研究提出了首个可部署的实时医疗对话语音摘要系统,并发布了首个医疗对话语音摘要数据集VietMed-Sum,同时利用LLM与人工协同创建摘要并提供了基线结果。
2025-04-04 cs.AI cs.CL cs.LG
Personalized Automatic Speech Recognition for a Dysarthric and Tracheostomic Speaker using Artificial Conversations
针对一位捷克语气管造口及严重构音障碍说话人,本文提出基于Whisper Base的多阶段微调ASR系统,利用人工对话协议收集的33小时数据,实现字符错误率相对降低50%,证明严重受损语音也可获得有效识别。
2026-10-05 cs.AI cs.CL cs.HC
UltraVoice: Scaling Fine-Grained Style-Controlled Speech Conversations for Spoken Dialogue Models
X-LANCE Lab, Shanghai Jiao Tong University(上海交通大学X-LANCE实验室);State Key Laboratory of General Artificial Intelligence, BIGAI(通用人工智能国家重点实验室,BIGAI);Shanghai Innovation Institute(上海创新研究院)
UltraVoice是首个多细粒度语音风格控制的大规模语音对话数据集,经其微调的SLAM-Omni等模型,在风格可控性、核心对话能力及TTS模型训练上均获显著提升
2026-09-01 cs.CL eess.AS
Multiscale Contextual Learning for Speech Emotion Recognition in Emergency Call Center Conversations
LISN-CNRS(法国国家科学研究中心跨学科数字科学实验室);Paris-Saclay University(巴黎萨克雷大学);Sorbonne-University(索邦大学)
本文提出多尺度上下文学习方法,利用CEMO紧急呼叫对话数据,通过文本与声学特征预测患者情感,发现先前令牌和同说话者上一轮语音更有助于提升识别性能。
2023-08-28 cs.CL cs.SD eess.AS
Language Model Bootstrapping Using Neural Machine Translation For Conversational Speech Recognition
Alexa Machine Learning, Amazon(亚马逊Alexa机器学习部门)
构建用于新语言的会话语音识别系统受到捕获用户-设备交互的话语的可用性的限制。数据汇集既昂贵又受人工转录速度的限制。为了解决这个问题,我们提倡使用神经机器翻译作为一种数据增强技术来引导语言模型。机器翻译(MT)提供了一种系统化的方法来整合来自成熟的、资源丰富的会话系统的集合,这些集合可能适用于不同的语言。然而,从一个通用的MT系统的原始翻译可能不是有效的,由于命名实体的存在,内部的代码转换和域之间的不匹配的会话数据被翻译和用于MT训练的平行文本。为了规避这一点,我们探索了以下领域自适应技术:(a)基于句子嵌入的MT训练数据选择,(b)模型微调,以及(c)重新评分和过滤翻译的假设。使用印地语作为实验测试平台,我们翻译美国英语的话语,以补充转录的集合。我们观察到一个相对字的错误率降低7.8- 15.6%,这取决于自举阶段。细粒度的分析表明,翻译特别是艾滋病的相互作用的情况下,在转录数据中代表性不足。
2019-12-02 cs.CL cs.LG
CoSyn: Detecting Implicit Hate Speech in Online Conversations Using a Context Synergized Hyperbolic Network
IIIT-Delhi(德里印度理工学院);University of Maryland College Park(马里兰大学帕克分校)
本文提出CoSyn,一种上下文协同双曲神经网络,通过结合用户与对话上下文并利用双曲空间建模,有效检测在线对话中的隐式仇恨言论,在6个数据集上性能显著优于基线。
2023-10-24 cs.AI cs.CL cs.LG
Speaker-Aware Simulation Improves Conversational Speech Recognition
SpeechTex Ltd.(SpeechTex公司);ELTE Research Centre for Linguistics(ELTE语言学研究中心)
本文提出面向说话人的模拟对话方法,通过生成合成对话数据提升匈牙利语对话语音识别性能。
2026-02-04 cs.CL cs.SD eess.AS
Ontology Memory-Augmented ASR Correction for Long Text-Speech Interleaved Conversations
Institute of Computing and Intelligence, Harbin Institute of Technology (Shenzhen), China(哈尔滨工业大学(深圳)计算与智能研究所);Shenzhen Loop Area Institute (SLAI), China(深圳环域研究所)
提出本体记忆增强的ASR校正框架,通过动态更新本体记忆存储实体、术语、变体、混淆和语义关系,解决长文本-语音交错对话中的上下文校正问题,在RAMC-Corr数据集上优于直接校正。
2026-06-15 cs.AI cs.CL
SALMONN-omni: A Standalone Speech LLM without Codec Injection for Full-duplex Conversation
Tsinghua University(清华大学);ByteDance(字节跳动);University of Cambridge(剑桥大学)
SALMONN-omni是首个无需音频码本注入的独立全双工语音大语言模型,通过动态思考机制实现说话与聆听状态切换,在口语问答和开放域对话基准上相对现有开源全双工模型提升至少30%,并有效处理插话和回声消除等复杂场景。
2025-05-17 cs.AI cs.CL