HMM-based data augmentation for E2E systems for building conversational speech synthesis systems
本文提出了一种方法来建立一个高质量的文本到语音(TTS)系统的技术领域使用数据增强。端到端(E2E)系统在基于隐马尔可夫模型(HMM)的合成语音上进行训练,并进一步用录音室记录的TTS数据进行微调以改善合成语音的音色。这项工作背后的动机是,由于HMM系统能够准确地模拟音素的持续时间分布,因此通常不存在单词跳过和重复的问题。依赖于上下文的五音建模,以及基于树的聚类和状态绑定,可以处理看不见的上下文和词汇表外的单词。语言模型也被用来进一步减少合成错误。主观评价表明,语音使用所提出的系统是优于基线E2E合成方法的可懂度相结合时,从HMM和E2E框架的补充属性。进一步的分析强调了拟议方法在低资源情景中的功效。
2022-12-22 eess.AS
JELLY: Joint Emotion Recognition and Context Reasoning with LLMs for Conversational Speech Synthesis
Korea University(高丽大学)
提出 JELLY 框架,通过多个部分 LoRA 微调 LLM,并结合情感感知 Q-former 编码器实现情感识别与上下文推理,以生成自然且情感恰当的对话语音。
2025-01-09 cs.CL cs.SD eess.AS
Generating Data with Text-to-Speech and Large-Language Models for Conversational Speech Recognition
Carnegie Mellon University(卡内基梅隆大学);University of Rochester(罗切斯特大学)
针对多说话人对话语音识别领域数据获取难的问题,提出结合LLM内容生成与多说话人对话式TTS的合成数据流水线,经Whisper模型微调验证,性能优于经典多说话人生成方法。
2024-08-17 cs.CL cs.SD eess.AS
Summary on The Multilingual Conversational Speech Language Model Challenge: Datasets, Tasks, Baselines, and Methods
School of Intelligence Science and Technology, Nanjing University(智能科学与技术学院,南京大学);College of Computing and Data Science, Nanyang Technological University(计算与数据科学学院,南洋理工大学);Huawei Technologies, China(华为技术有限公司);Nexdata Technology Inc., USA(Nexdata技术公司)
本文总结了Interspeech2025多语言对话语音语言模型挑战赛,介绍了任务设置、约1604小时的真实多语言数据集、基线系统及参赛成果,并提炼了构建多语言对话SLLMs的宝贵见解。
2025-09-17 cs.SD eess.AS
HLT-NUS SUBMISSION FOR 2020 NIST Conversational Telephone Speech SRE
本文简要介绍了新加坡国立大学(NUS)人类语言技术(HLT)实验室提交的2020年NIST会话电话语音(CTS)说话人识别评估(SRE)系统。挑战的重点是在包含多语言语音的CTS数据下进行评估。HLT-NUS开发的系统考虑了时延神经网络(TDNN)x向量和ECAPA-TDNN系统。我们还执行概率线性判别分析(PLDA)模型和自适应s-范数对我们的系统的域自适应。对TDNN x向量和ECAPA-TDNN系统进行了评分级融合,提高了我们提交给2020 NIST CTS SRE的最终系统性能。
2021-11-12 eess.AS eess.SP
Transformer-based language modeling and decoding for conversational speech recognition
Columbia University in the City of New York(纽约哥伦比亚大学)
我们提出了一种在会话语音识别中使用基于转换器的语言模型的方法。具体来说,我们专注于解码有效地加权有限状态换能器框架。我们展示了一种方法,格重新评分,允许更长的范围内的历史记录捕获的一个基于多变量的语言模型,并利用一个Transformer的能力,以避免计算顺序。
2020-01-04 cs.CL cs.LG eess.AS
Advancing Speech Translation: A Corpus of Mandarin-English Conversational Telephone Speech
Raytheon BBN(雷神BBN技术公司)
本文构建了123小时汉英电话会话语音翻译语料库,通过微调通用翻译模型,目标域BLEU提升超8点,验证了匹配训练数据的关键作用。
2024-03-25 cs.CL cs.SD eess.AS
Conversational Speech Recognition By Learning Conversation-level Characteristics
Northwestern Polytechnical University(西北工业大学);Tencent(腾讯)
会话自动语音识别(ASR)是识别包括多个说话者的会话语音的任务。与会话层面的自动会话识别不同,会话自动会话识别可以自然地利用会话的特定特征,例如角色偏好和主题连贯性。本文提出了一种会话ASR模型,该模型在流行的端到端神经框架下显式学习会话级特征。拟议模式的亮点有两个。首先,一个潜在的变分模块(LVM)附加到一个符合者为基础的编码器-解码器ASR骨干学习角色偏好和主题一致性。第二,专门采用主题模型,使解码器的输出偏向于预测主题中的单词。在两个普通话会话ASR任务上的实验表明,该模型实现了最大12%的相对字符出错率(CER)减少。
2022-02-17 cs.CL cs.SD eess.AS
Acoustic-to-Word Models with Conversational Context Information
Carnegie Mellon University(卡内基梅隆大学)
会话上下文信息,跨越句子的更高层次的知识,可以帮助识别长对话。然而,现有的语音识别模型通常是在句子级别构建的,因此它可能无法捕获重要的会话上下文信息。端到端语音识别的最新进展使得能够将上下文与其他可用信息(例如,声学、语言资源)和直接从语音识别单词。在这项工作中,我们提出了一个直接的声学到词,端到端的语音识别模型,能够利用会话上下文,以更好地处理长对话。我们评估我们提出的方法上的交换机会话语音语料库,并表明我们的系统优于一个标准的端到端的语音识别系统。
2019-05-21 cs.CL cs.LG eess.AS
Low-data? No problem: low-resource, language-agnostic conversational text-to-speech via F0-conditioned data augmentation
Amazon Alexa(亚马逊Alexa)
跨语言的表达风格的数据的可用性是有限的,并且记录会话是昂贵和耗时的。为了克服这些问题,我们演示了如何构建低资源,神经文本转语音(TTS)的声音,只有1小时的会话语音,当没有其他会话数据可用相同的语言。假设在该语言的非表达语音数据的可用性,我们提出了一个3步的技术:1)我们训练一个F0条件的语音转换(VC)模型作为数据增强技术; 2)我们训练一个F0预测控制语音转换的合成数据的会话风味; 3)我们训练一个TTS系统,消费增强数据。我们证明了我们的技术能够实现F0的可控性,可以跨说话者和语言进行扩展,并且在自然度方面具有竞争力,超过了最先进的基线模型,这是另一种不使用F0信息的增强方法。
2022-07-29 cs.SD eess.AS
Prominence-aware automatic speech recognition for conversational speech
Signal Processing and Speech Communication Laboratory(信号处理与语音通信实验室);Speech Communication Laboratory(语音通信实验室)
本文提出一种结合突显检测的突显感知自动语音识别方法,通过微调wav2vec2模型标注语料并训练新型ASR系统,在不影响识别性能的前提下实现了85.53%的突显检测准确率。
2025-09-12 cs.CL eess.AS
The CHiME-7 UDASE task: Unsupervised domain adaptation for conversational speech enhancement
Google(谷歌)
本文介绍了第7届CHiME挑战赛的UDASE任务,旨在利用CHiME-5数据集的真实含噪录音对语音增强模型进行无监督领域自适应,以去除加性背景噪声并估计纯净混响语音。
2023-10-02 cs.SD eess.AS
Open Source MagicData-RAMC: A Rich Annotated Mandarin Conversational(RAMC) Speech Dataset
Institute of Acoustics, Chinese Academy of Sciences(中国科学院声学研究所);University of Chinese Academy of Sciences(中国科学院大学);Magic Data Technology Co., Ltd.(魔数智音科技有限公司);Shanghai Jiao Tong University(上海交通大学);Northwestern Polytechnical University(西北工业大学)
本文介绍了一个高质量的丰富注释的普通话会话(RAMC)语音数据集称为MagicData-RAMC。MagicData-RAMC语料库包含180小时的会话语音数据,这些数据是以16 kHz的采样率通过移动电话从汉语普通话为母语的人记录的。MagicData-RAMC中的对话被分为15个不同的领域,并标有主题标签,从科学技术到日常生活。准确的转录和精确的扬声器语音活动时间戳手动标记每个样本。还提供了演讲者的详细信息。MagicData-RAMC是一个针对对话场景设计的具有高质量和丰富注释的普通话语音数据集,丰富了普通话语音社区的数据多样性,并允许对一系列语音相关任务进行广泛研究,包括自动语音识别,说话人日志,主题检测,关键字搜索,文本到语音,我们还进行了几个相关的任务,并提供实验结果,以帮助评估数据集。
2022-03-31 cs.CL eess.AS
Agentic-DuplexGen: Decoupling Content, Timing, and Acoustics for Synthetic Dialogue Speech
Institute of Science Tokyo(科学东京大学);Hokkaido University(北海道大学)
DuplexGen框架通过解耦对话的内容、时序与声学,生成更贴近真实对话的合成语音,构建了带多类标注的医患对话语料库,性能优于传统拼接式合成方法。
2026-08-25 cs.CL eess.AS
Controllable Context-aware Conversational Speech Synthesis
Tencent AI Lab(腾讯人工智能实验室)
在口语会话中,经常会出现充满停顿和停顿的自发行为。会话伙伴倾向于使他们的言语特征与他们的对话者一致,这被称为夹带。为了产生类似人类的对话,我们提出了一个统一的可控自发会话语音合成框架来模拟上述两种现象。具体来说,我们使用显式标签来表示两个典型的自发行为充满了声学模型中的暂停和延长,并开发了一个基于神经网络的预测器来预测这两个行为的发生从文本。我们随后开发了一种基于预测器的算法来控制行为的出现频率,使合成的语音从不流利到更不流利。为了在声学水平上对语音夹带进行建模,我们利用上下文声学编码器从当前语音合成的先前语音条件中提取全局风格嵌入。此外,由于当前和先前的话语属于对话中的不同说话者,我们添加了一个域对抗训练模块,以消除声学编码器中的说话者相关信息,同时保持风格相关信息。实验结果表明,该方法可以合成真实的会话,并自然地控制自发行为的发生。
2021-06-21 cs.SD eess.AS
Bi-directional Context-Enhanced Speech Large Language Models for Multilingual Conversational ASR
Alibaba-NTU Global e-Sustainability CorpLab(阿里巴巴-国立科技大学全球可持续发展公司实验室);Nanyang Technological University(国立科技大学);College of Computing and Data Science(计算与数据科学学院)
本文提出将双向上下文融入语音大语言模型,通过字符级上下文掩码训练和两阶段上下文感知解码,在1500小时多语言对话语料上取得18%的相对改进,优于6000小时数据训练的模型。
2025-07-04 cs.CL eess.AS
DailyTalk: Spoken Dialogue Dataset for Conversational Text-to-Speech
KAIST(韩国科学技术院)
当前的大多数文本转语音(TTS)数据集是个体话语的集合,包含很少的会话方面。在本文中,我们介绍了DailyTalk,一个高质量的会话语音数据集设计的会话TTS。我们从开放域对话数据集DailyDialog中采样、修改并记录了2,541个对话,这些对话继承了其注释属性。在我们的数据集之上,我们扩展了以前的工作作为我们的基线,其中非自回归TTS以对话中的历史信息为条件。从基线实验与一般和我们的新指标,我们表明,DailyTalk可以作为一个通用的TTS数据集,更重要的是,我们的基线可以代表上下文信息从DailyTalk。DailyTalk数据集和基线代码可免费供CC-BY-SA 4.0许可证的学术使用。
2023-03-13 cs.AI cs.CL eess.AS
Chain-Talker: Chain Understanding and Rendering for Empathetic Conversational Speech Synthesis
Inner Mongolia University(内蒙古大学);ByteDance(字节跳动);SRIBD, School of Data Science, The Chinese University of Hong Kong, Shenzhen(SRIBD,数据科学学院,香港中文大学(深圳))
针对现有对话语音合成模型情感感知不足、编码冗余的问题,提出三阶段框架Chain-Talker及LLM驱动的情感标注流水线CSS-EmCap,实验证明其能生成更具表现力和共情性的语音。
2025-05-19 cs.SD eess.AS
Conversational Speech Reveals Structural Robustness Failures in SpeechLLM Backbones
Texas A&M University(德克萨斯大学);KTH Royal Institute of Technology(皇家理工学院)
会话语音揭示SpeechLLM骨干结构鲁棒性失效,模型在处理不流畅内容时存在结构修复与语义抽象的偏见问题。
2026-03-05 cs.AI cs.CL eess.AS
DiffCSS: Diverse and Expressive Conversational Speech Synthesis with Diffusion Models
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);The Chinese University of Hong Kong(香港中文大学);Tencent Youtu Lab(腾讯优图实验室);StepFun(阶跃星辰)
本文提出DiffCSS框架,结合扩散模型与基于LM的TTS主干,通过上下文感知韵律预测器采样多样韵律,生成多样、连贯且富有表现力的对话语音,优于现有系统。
2025-02-27 cs.AI cs.SD eess.AS
RyanSpeech: A Corpus for Conversational Text-to-Speech Synthesis
University of Denver(丹佛大学);DreamFace Technologies, LLC(DreamFace科技有限公司)
本文介绍了RyanSpeech,一个新的语音语料库的研究自动文本到语音(TTS)系统。公开可用的TTS语料库通常是嘈杂的,记录多个扬声器,或缺乏高质量的男性语音数据。为了满足语音识别领域对高质量、公开可用的男性语音语料库的需求,我们设计并创建了RyanSpeech,其中包含来自真实世界会话设置的文本材料。这些材料包含超过10个小时的专业男声演员的讲话记录在44.1千赫。该语料库的设计和流水线使RyanSpeech成为在现实世界应用中开发TTS系统的理想选择。为了为未来的研究、协议和基准测试提供基线,我们在RyanSpeech上训练了4个最先进的语音模型和一个声码器。结果显示,在我们最好的模型中,平均意见得分(MOS)为3.36。我们已经制作了语料库和训练模型供公众使用。
2021-06-15 cs.CL cs.SD eess.AS
Conversational Speech Recognition by Learning Audio-textual Cross-modal Contextual Representation
School of Computer Science, Northwestern Polytechnical University(西北工业大学计算机学院);School of Computer Science and Engineering, Northeastern University(东北大学计算机科学与工程学院);Mashang Consumer Finance Co., Ltd.(马上消费金融股份有限公司)
本文提出一种基于跨模态对话表示的对话ASR系统,通过结合预训练语音文本模型与条件潜变量模块提取历史上下文与对话级属性,在HKUST和MagicData-RAMC数据集上相对标准Conformer分别提升8.8%和23%准确率。
2024-04-28 cs.CL cs.SD eess.AS
Pheme: Efficient and Conversational Speech Generation
PolyAI Limited(PolyAI有限公司)
本文提出Pheme模型系列,通过紧凑模型、并行生成和高效训练,在削减10倍数据需求下实现高质量自然对话式语音生成。
2024-01-05 cs.AI cs.CL eess.AS
Let Me Look at You: Advanced Facial Expression Modeling for Conversational Speech Synthesis
Inner Mongolia University(内蒙古大学)
研究针对对话语音合成中面部表情线索常被忽视及缺乏多模态数据集的问题,提出基于大语言模型的FacialTalker框架,含AUTokenizer和DualDPO策略,构建VSDD-1K数据集,实验表明该框架在表情感知和语音合成质量上表现出色。
2026-07-28 cs.CL cs.HC eess.AS
Transplantation of Conversational Speaking Style with Interjections in Sequence-to-Sequence Speech Synthesis
IBM Research AI(IBM研究院人工智能部门)
已知从语音序列直接生成低级声学特征的序列到序列文本到语音体系结构在被提供有足够量的训练数据时产生自然和有表现力的语音。这样的系统可以学习并将期望的说话风格从一个看到的说话者转移到另一个说话者(在多风格多说话者设置中),这对于创建可扩展和可定制的人机交互系统是非常期望的。在这项工作中,我们探索一对多的风格转移从一个专用的单扬声器会话语料库风格的细微差别和感叹词。我们详细阐述了语料库的设计,并探讨了这种风格的转移时,与语音转换为基础的数据增强的可行性。在一组主观听音实验中,这种方法导致高保真风格的转移,没有质量下降。然而,观察到一定的语音角色转变,需要进一步改进语音转换。
2022-07-25 cs.SD eess.AS
Benchmarking Speech Systems for Frontline Health Conversations: The DISPLACE-M Challenge
Indian Institute of Science(印度科学学院);National Institute of Technology Karnataka(卡纳塔克国立技术学院);Josh Talks;TANUH AI Center of Excellence(TANUH 人工智能卓越中心);UPES(乌塔拉克罕大学与能源研究教育大学);Indian Institute of Technology Bombay(孟买印度理工学院)
DISPLACE-M挑战通过多说话人医疗对话数据集评估语音系统,涵盖说话人分割、语音识别、主题识别和对话总结四个任务,采用DER、tcpWER和ROUGE-L进行性能评估。
2026-03-05 eess.AS
Using Kaldi for Automatic Speech Recognition of Conversational Austrian German
Graz University of Technology(格拉茨工业大学)
随着对话系统的交互性和社会化程度的提高,对对话语音进行准确的自动语音识别(ASR)也变得越来越重要。这将焦点从简短的、自发的、以任务为导向的对话转移到了更复杂的、随意的面对面对话上。然而,这种对话的收集和注释是一个耗时的过程,并且对于这种特定的说话风格来说,数据是稀疏的。本文介绍了ASR实验与阅读和会话的奥地利德语为目标。为了处理只有有限的资源可用于德语会话,并在同一时间,与扬声器之间的发音特征有很大的变化,我们改进了基于Kaldi的ASR系统,通过将(大)基于知识的发音词典,同时探索不同的基于数据的方法来限制每个词条的发音变体的数量。我们实现了最好的WER的0.4%,奥地利德语阅读语音和最好的平均WER的48.5%,会话语音。我们发现,通过使用我们最好的发音词典,可以实现类似的高性能比通过增加用于语言模型的数据的大小约。360%到760%。我们的研究结果表明,对于低资源的情况下,尽管语音技术的一般趋势是只使用基于数据的方法,基于知识的方法是一个成功的,有效的方法。
2023-01-16 cs.CL cs.SD eess.AS
Automatic Evaluation of Turn-taking Cues in Conversational Speech Synthesis
KTH, Royal Institute of Technology(KTH皇家理工学院)
本文提出基于语音活动投影模型自动评估TTS系统生成话轮转换线索的能力,发现商用系统信号常模糊、开源系统让出话轮线索弱,为对话语音合成提供了功能性评价新视角。
2023-05-29 cs.SD eess.AS
Finetuning End-to-End Models for Estonian Conversational Spoken Language Translation
Tallinn University of Technology(塔林理工大学)
本文针对爱沙尼亚语会话语音翻译数据稀缺问题,通过合成数据微调 Whisper、OWSM 3.1 和 SeamlessM4T 三种端到端模型,其中 SeamlessM4T 性能达到或超过级联系统。
2024-07-04 cs.CL eess.AS
Turn-Taking Prediction for Natural Conversational Speech
Google Inc.(谷歌公司)
虽然流式语音助理系统已被用于许多应用中,但该系统通常专注于不自然的一次性交互,假设来自单个语音查询的输入没有犹豫或不流利。然而,一个共同的会话话语往往涉及多个问题与话轮转换,除了不流利。这些不流利包括停下来思考,犹豫,单词拉长,充满停顿和重复的短语。这使得对会话语音(包括具有多个查询的会话语音)进行语音识别成为一项具有挑战性的任务。为了更好地对会话交互进行建模,区分不流利和查询结束是至关重要的,以便允许用户保持不流利的发言权,同时在用户完成发言时使系统尽可能快地响应。在本文中,我们提出了一个建立在端到端(E2E)语音识别器之上的话轮转换预测器。我们最好的系统是通过联合优化ASR任务和检测用户何时暂停思考或完成说话来获得的。该方法在测试集上测试了4种插入会话中的不流利语,在100 ms的潜伏期内预测真实话轮转换的召回率和准确率分别超过97%和85%。
2022-08-29 cs.CL cs.SD eess.AS
Multimodal Conversational Context for LLM-Based ASR: Data Construction, Training, and Benchmark
Alibaba Token Foundry(阿里通义实验室)
针对基于LLM的ASR,提出多模态对话上下文框架,整合数据流水线、训练与基准,提升实体召回率,并验证历史语音在口音、方言及目标说话人场景中的价值。
2026-09-18 eess.AS
Emphasis Rendering for Conversational Text-to-Speech with Multi-modal Multi-scale Context Modeling
Inner Mongolia University(内蒙古大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));University of Bremen(不来梅大学)
针对对话式语音合成中重音表达数据的稀缺与上下文理解难题,提出ER-CTTS方案,通过融合多模态多尺度上下文特征指导重音渲染,显著提升了对话语音重音表达效果。
2024-10-12 cs.CL cs.SD eess.AS
DisfluencySpeech -- Single-Speaker Conversational Speech Dataset with Paralanguage
Singapore University of Technology and Design(新加坡科技设计大学)
本文提出DisfluencySpeech数据集,由单说话人录制近10小时含笑、叹气、口吃等副语言的英语会话语音,并提供三种信息移除级别的转录文本及基准TTS模型,以支持从纯文本预测性合成副语言的会话语音研究。
2024-06-13 cs.CL eess.AS
FCTalker: Fine and Coarse Grained Context Modeling for Expressive Conversational Speech Synthesis
Inner Mongolia University(内蒙古大学)
会话文语转换(TTS)的目的是在会话语境中合成具有正确的语言和情感韵律的话语。利用当前话语和对话历史在话语级的相关性来提高合成语音的表达能力。然而,在词汇层面上的对话历史中的细粒度信息也对话语的韵律表达有重要影响,这在先前的工作中没有得到很好的研究。因此,我们提出了一种新的表达会话TTS模型,称为FCTalker,学习细粒度和粗粒度的上下文依赖在语音生成的同时。具体而言,FCTalker包括细粒度和粗粒度编码器,以利用单词和话语级上下文依赖性。为了对话语及其对话历史之间的单词级依赖关系进行建模,细粒度对话编码器构建在对话BERT模型之上。实验结果表明,所提出的方法优于所有基线,并产生更多的表达语音,是上下文适当的。我们在https://github.com/walker-hyf/FCTalker上发布源代码。
2022-10-27 cs.CL cs.SD eess.AS
The Microsoft 2016 Conversational Speech Recognition System
Microsoft(微软)
我们描述了微软的会话语音识别系统,在该系统中,我们结合了最近的发展,基于神经网络的声学和语言建模,以推进最先进的开关识别任务。受机器学习集成技术的启发,该系统使用了一系列卷积和递归神经网络。I矢量建模和无网格MMI训练为所有声学模型架构提供了显著的增益。语言模型重新评分与多个向前和向后运行的RNNLM,和基于词后验的系统组合提供了20%的提升。最好的单个系统使用带有RNNLM重新评分的ResNet架构声学模型,并在NIST 2000 Switchboard任务中实现了6.9%的字出错率。该组合系统的出错率为6.2%,比以前报告的基准任务的结果有所改善。
2017-01-25 cs.CL eess.AS
Enhancing Speaking Styles in Conversational Text-to-Speech Synthesis with Graph-based Multi-modal Context Modeling
Tsinghua-CUHK Joint Research Center for Media Sciences, Technologies and Systems(清华-中大媒体科学、技术与系统联合研究中心);Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);The Chinese University of Hong Kong(香港中文大学);AI Lab, Tencent(腾讯人工智能实验室)
与传统的文语转换系统相比,会话式文语转换系统要求合成出符合会话语境的具有适当说话风格的语音。然而,会话TTS中的最新上下文建模方法仅使用递归神经网络(RNN)对上下文中的文本信息进行建模。这些方法对会话中说话人间的影响建模能力有限,而且忽略了说话人的说话风格和说话人内部的惰性。受DialogueGCN及其在建模这种会话影响方面优于基于RNN的方法的启发,我们提出了一种基于图的多模态上下文建模方法,并将其应用于会话TTS,以增强合成语音的说话风格。DialogueGCN提取和处理上下文中的文本和说话风格信息,以建模会话中的说话者间和说话者内的影响。DialogueGCN的输出通过注意力机制进行汇总,并转换为当前话语的增强说话风格。本文收集并标注了一个英语会话语料库,并将其对外发布。该语料库上的实验结果表明,我们提出的方法的有效性,它优于国家的最先进的上下文建模方法在会话TTS的MOS和ABX的偏好率。
2022-03-31 cs.CL cs.SD eess.AS
End-to-End Single-Channel Speaker-Turn Aware Conversational Speech Translation
Idiap Research Institute(伊迪亚普研究所);EPFL(洛桑联邦理工学院);AWS AI Labs(亚马逊云科技人工智能实验室)
本文提出端到端多任务的说话人轮次感知对话语音翻译模型,融合 ASR、ST 与轮次检测,并在适配后的 Fisher-CALLHOME 单通道多说话人语料上验证其优势。
2023-11-01 cs.CL eess.AS
Learning Natural Conversational Behavior in Tandem Speech-to-Speech Models with Randomized Guidance
Sakana AI
针对串联语音到语音模型训练中引导数据缺失问题,提出随机中间引导方法,直接从语料库采样引导,提升响应质量与自然对话行为,优于基线模型。
2026-09-28 cs.CL eess.AS
Achieving Human Parity in Conversational Speech Recognition
Microsoft Research(微软研究院)
自20世纪90年代Switchboard语料库发布以来,会话语音识别一直是语音识别的旗舰任务。在本文中,我们测量了广泛使用的NIST 2000测试集上的人类出错率,发现我们最新的自动化系统已经达到了人类平价。专业转录员的出错率在数据的交换台部分为5.9%,其中新认识的人讨论指定的话题,而在CallHome部分为11.3%,其中朋友和家人进行开放式对话。在这两种情况下,我们的自动化系统建立了一个新的艺术状态,并超越了人类的基准,分别实现了5.8%和11.0%的出错率。我们系统性能的关键是使用各种卷积和LSTM声学模型架构,结合新颖的空间平滑方法和无网格MMI声学训练,多种递归神经网络语言建模方法,以及系统地使用系统组合。
2017-02-17 cs.CL eess.AS
Enriching Speech Emotion Representations with Conversational Context
Université Paris-Saclay, CEA, List(巴黎萨克雷大学,法国原子能委员会,List);LISN, CNRS, Université Paris-Saclay(LISN,法国国家科学研究中心,巴黎萨克雷大学)
本文提出ACERT模块,通过整合灵活长度的对话上下文窗口来捕捉语音交互中的情感演变,在IEMOCAP、SAFE和MELD数据集上超越现有方法,验证了情感与对话连续性的关键作用。
2026-09-23 cs.CL eess.AS
Bridging the Gap: Converting Read Text to Conversational Dialogue
Samsung Research and Development Institute, Bangalore, India(三星研发研究所,班加罗尔,印度)
本文提出了一种名为PACC的新方法,通过利用深度神经网络分析和修改语调、重音和节奏等语调特征,将阅读语音转换为更自然的对话语音,从而在虚拟助手、客户服务和语言学习工具中提高语音转换的自然度和准确性。
2026-10-16 cs.AI cs.CL cs.LG
Directed Speech Separation for Automatic Speech Recognition of Long Form Conversational Speech
Amazon AWS AI(亚马逊AWS人工智能)
语音分离的许多最新进展主要针对具有高度重叠的短音频话语的合成混合。这些方法中的大多数需要额外的拼接步骤来拼接分离的语音块以获得长格式音频。由于大多数方法涉及排列不变训练(PIT),因此分离的语音块的顺序是不确定的,并且导致难以准确地拼接同质说话者块用于下游任务,如自动语音识别(ASR)。此外,大多数这些模型都是用合成混合物训练的,不能推广到真实的会话数据。在本文中,我们提出了一个扬声器条件分离器训练的扬声器嵌入直接从混合信号中提取使用过聚类为基础的方法。该模型自然地调节分离的块的顺序,而不需要额外的拼接步骤。我们还介绍了一个数据采样策略,真正的和合成的混合物,以及推广到真正的对话语音。有了这个模型和数据采样技术,我们在Hub 5数据上显示了说话者归因的单词错误率(SA-WER)的显着改善。
2022-09-06 cs.CL cs.LG cs.SD
Direction-Aware Joint Adaptation of Neural Speech Enhancement and Recognition in Real Multiparty Conversational Environments
Kyoto University(京都大学);RIKEN(理化学研究所);National Institute of Advanced Industrial Science and Technology (AIST)(产业技术综合研究所(AIST));Institut Polytechnique de Paris(巴黎理工学院)
本文介绍了嘈杂的语音识别的增强现实耳机,帮助真正的多方对话环境中的口头交流。在模拟环境中积极研究的主要方法是基于以监督方式训练的深度神经网络(DNN)顺序执行语音增强和自动语音识别(ASR)。然而,在我们的任务中,由于训练和测试条件以及用户的头部运动之间的不匹配,这种预先训练的系统无法工作。为了只增强目标说话者的话语,我们使用基于DNN的语音掩码估计器的波束形成,该估计器可以自适应地提取与头部相对特定方向相对应的语音分量。我们提出了一种半监督自适应方法,在运行时使用干净的语音信号与地面实况transmittance和嘈杂的语音信号与高置信度估计transmittance联合更新的掩模估计器和ASR模型。使用最先进的远程语音识别系统进行的比较实验表明,所提出的方法显着提高了ASR性能。
2022-07-15 cs.LG cs.SD eess.AS
KAME: Tandem Architecture for Enhancing Knowledge in Real-Time Speech-to-Speech Conversational AI
提出一种混合架构,通过实时注入后端LLM的文本响应来增强S2S模型的知识,在保持低延迟的同时提升响应正确性。
2026-05-25 cs.AI cs.CL eess.AS
Toward Conversational Hungarian Speech Recognition: Introducing the BEA-Large and BEA-Dialogue Datasets
ELTE Research Centre for Linguistics(ELTE语言研究研究中心);Speechtex Ltd.(Speechtex公司)
本文介绍了BEA-Large和BEA-Dialogue两个匈牙利语语音数据集,用于提升对话式语音识别技术,并展示了基于这些数据集的ASR模型性能及说话人识别结果。
2026-01-14 cs.AI cs.CL cs.SD
Candor-LR: A Dyadic Conversational Dataset for Audio-Visual Speech Recognition
Trinity College Dublin(都柏林圣三一学院)
针对现有AVSR基准缺乏自然对话复杂性的问题,提出基于CANDOR语料库的双人对话基准Candor-LR,包含1,656个视频会议,并验证了视觉信息在对话场景中的补偿作用及跨域鲁棒性提升。
2026-09-10 cs.CV cs.MM eess.AS
The TEA-ASLP System for Multilingual Conversational Speech Recognition and Speech Diarization in MLC-SLM 2025 Challenge
Tencent Ethereal Audio Lab(腾讯灵云音频实验室);Tencent Corporation(腾讯公司)
本文提出 TEA-ASLP 系统,通过语言识别、MOE LoRA 与 CTC 提示增强 Ideal-LLM,并优化英文说话人分轨,在 MLC-SLM 2025 两项任务中分获冠亚军。
2025-07-24 cs.SD eess.AS
Context-aware RNNLM Rescoring for Conversational Speech Recognition
Northwestern Polytechnical University(西北工业大学);Zhuiyi Technology(追觅科技)
会话语音识别由于其自由式说话和长期的上下文依赖性而被认为是一项具有挑战性的任务。先前的工作已经探索了通过RNNLM重新评分的长距离上下文的建模,提高了性能。为了进一步利用会话期间的持续性,例如话题或说话者转向,我们将重新评分过程扩展到一个新的上下文感知方式。对于RNNLM训练,我们通过将相邻句子与各种标签词(如说话者或意图信息)连接起来来捕获上下文依赖关系。对于格重评分,相邻句子的格也通过标记词与第一遍解码结果连接。此外,我们还采用了一种基于tf-idf的选择性拼接策略,充分利用上下文相似性来提高转录性能。在四个不同的会话测试集上的结果表明,与第一遍解码和普通格重评分相比,我们的方法分别产生高达13.1%和6%的相对误查率(CER)降低。
2020-11-18 cs.SD eess.AS
M2-CTTS: End-to-End Multi-scale Multi-modal Conversational Text-to-Speech Synthesis
Beijing University of Posts and Telecommunications(北京邮电大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Unisound AI Technology Co., Ltd(云知声智能科技股份有限公司)
针对现有对话TTS系统忽略局部细粒度韵律特征、仅依赖文本特征的不足,提出多尺度多模态对话TTS系统M2-CTTS,通过粗细粒度结合的文本与声学上下文模块建模对话,在CMOS测试中实现更优韵律表现与自然度。
2023-05-03 cs.CL cs.SD eess.AS
Advances in integration of end-to-end neural and clustering-based diarization for real conversational speech
NTT Corporation(日本电报电话公司)
最近,我们提出了一种新的说话人日志化方法,称为端到端神经日志化向量聚类(EEND-vector clustering),它将基于聚类和端到端神经网络的日志化方法集成到一个框架中。所提出的方法结合了两个框架的优点,即高的日记化性能和处理重叠的语音的基础上的EEND,和鲁棒的处理长录音与任意数量的扬声器基于聚类的方法。然而,到目前为止,该方法仅在模拟的2扬声器会议类数据上进行了评估。本文将(1)报告我们对该框架所做的最新进展,包括新引入的鲁棒约束聚类算法,以及(2)实验表明,该方法现在可以显着优于竞争性的日志化方法,如编码器-解码器吸引子(EDA)-EEND,在CALLHOME数据上,该数据包括真实的会话语音数据,包括重叠语音和任意数量的扬声器。通过对实验结果的进一步分析,本文还讨论了该方法的优缺点,并揭示了进一步改进的潜力。在https://github.com/nttcslab-sp/EEND-vector-clustering上可以找到一组重现结果的代码。
2021-08-31 cs.SD eess.AS
Effective Cross-Utterance Language Modeling for Conversational Speech Recognition
National Taiwan Normal University(国立台湾师范大学);Chunghwa Telecom Laboratories(中华电信研究所)
会话言语通常在话语层面上体现为松散的句法结构,但同时在连续的话语之间表现出主题连贯关系。先前的工作已经表明,用循环神经网络或长短期记忆语言模型(LM)捕获较长的上下文信息可能在排除长范围上下文的同时遭受最近偏差。为了捕捉词与词之间以及话语之间的长期语义交互,提出了会话语音自动语音识别(ASR)中不同会话历史融合的语言建模方法。此外,一种新的音频融合机制,管理融合和利用当前话语的声学嵌入和其相应的会话历史的语义内容,在合作的方式。为了充实我们的想法,我们将ASR N-best假设重新评分任务框架为预测问题,利用BERT(一种标志性的预训练LM)作为成分工具,以便于从给定的N-best假设列表中选择Oracle假设。在AMI基准数据集上进行的实证实验似乎证明了我们的方法相对于当前一些顶级方法的可行性和有效性。所提出的方法不仅实现了显着的推理时间减少,但也提高了会话语音的ASR性能。
2022-06-01 cs.CL cs.SD eess.AS
Enhancing End-to-End Conversational Speech Translation Through Target Language Context Utilization
Johns Hopkins University(约翰斯·霍普金斯大学);Carnegie Mellon University(卡内基梅隆大学);George Mason University(乔治梅森大学)
针对端到端语音翻译上下文利用不足的问题,本文引入目标语言上下文、上下文丢弃和说话人信息,提升了会话翻译的连贯性与鲁棒性。
2023-09-27 cs.CL cs.SD eess.AS
Intra- and Inter-modal Context Interaction Modeling for Conversational Speech Synthesis
Inner Mongolia University(内蒙古大学)
针对对话语音合成中多模态历史与目标语句交互建模不足的问题,本文提出III-CSS系统,通过四种模态组合和对比学习模块显式建模模态内与模态间交互,在DailyTalk上取得了更优的韵律表现力。
2024-12-25 cs.CL cs.SD eess.AS
Towards Operational Conversational Intelligence: A Speech Intelligence Framework
Indian Institute of Technology Kanpur(印度理工学院坎普尔分校);EXL(EXL公司)
针对佩戴式摄像机音频处理难题,提出双路径对话智能框架,含说话者分离与转录分支,经融合输出实现单词级说话者归因。在特定数据集上评估,结果显示其能改善相关任务,为未来系统提供可扩展基础。
2026-07-29 cs.SD eess.AS