SmoothConv and DuplexConv: Complementary Mandarin Multi-Party Conversational Speech Corpora for Speech Interaction
本研究发布了总计2100小时的两个互补中文多方对话语音语料库SmoothConv与DuplexConv,含同步语音轨道与细粒度标注,经SmoothConv基准在多项任务上验证了其用于多方语音交互建模的实用性。
2026-10-09 eess.AS
Pheme: Efficient and Conversational Speech Generation
PolyAI Limited(PolyAI有限公司)
本文提出Pheme模型系列,通过紧凑模型、并行生成和高效训练,在削减10倍数据需求下实现高质量自然对话式语音生成。
2024-01-05 cs.AI cs.CL eess.AS
Towards Data Distillation for End-to-end Spoken Conversational Question Answering
Yale University(耶鲁大学);Peking University(北京大学)
在口语问答中,QA系统被设计为回答来自相关语音转录内的连续文本跨度的问题。然而,人类寻求或测试知识的最自然的方式是通过人类对话。因此,我们提出了一个新的口语会话问答任务(SCQA),旨在使问答系统模型的复杂的对话流给定的语音话语和文本语料库。在这项任务中,我们的主要目标是建立一个问答系统来处理口语和文本形式的会话问题,并探索在口语文档中提供更多线索与信息收集系统的可行性。为此,而不是采用自动生成的语音转录与高噪声数据,我们提出了一种新的统一的数据蒸馏方法,DDNet,直接融合音频文本功能,以减少自动语音识别假设和参考转录之间的错位。此外,为了评估问答系统在对话式交互中的能力,我们组装了一个口语会话问答(口语CoQA)数据集,其中包含超过12万个问答对。实验表明,我们提出的方法取得了优越的性能在口语会话问答。
2020-10-18 cs.AI cs.CL eess.AS
JELLY: Joint Emotion Recognition and Context Reasoning with LLMs for Conversational Speech Synthesis
Korea University(高丽大学)
提出 JELLY 框架,通过多个部分 LoRA 微调 LLM,并结合情感感知 Q-former 编码器实现情感识别与上下文推理,以生成自然且情感恰当的对话语音。
2025-01-09 cs.CL cs.SD eess.AS
Generating Data with Text-to-Speech and Large-Language Models for Conversational Speech Recognition
Carnegie Mellon University(卡内基梅隆大学);University of Rochester(罗切斯特大学)
针对多说话人对话语音识别领域数据获取难的问题,提出结合LLM内容生成与多说话人对话式TTS的合成数据流水线,经Whisper模型微调验证,性能优于经典多说话人生成方法。
2024-08-17 cs.CL cs.SD eess.AS
Transformer-based language modeling and decoding for conversational speech recognition
Columbia University in the City of New York(纽约哥伦比亚大学)
我们提出了一种在会话语音识别中使用基于转换器的语言模型的方法。具体来说,我们专注于解码有效地加权有限状态换能器框架。我们展示了一种方法,格重新评分,允许更长的范围内的历史记录捕获的一个基于多变量的语言模型,并利用一个Transformer的能力,以避免计算顺序。
2020-01-04 cs.CL cs.LG eess.AS
Advancing Speech Translation: A Corpus of Mandarin-English Conversational Telephone Speech
Raytheon BBN(雷神BBN技术公司)
本文构建了123小时汉英电话会话语音翻译语料库,通过微调通用翻译模型,目标域BLEU提升超8点,验证了匹配训练数据的关键作用。
2024-03-25 cs.CL cs.SD eess.AS
Conversational Speech Recognition By Learning Conversation-level Characteristics
Northwestern Polytechnical University(西北工业大学);Tencent(腾讯)
会话自动语音识别(ASR)是识别包括多个说话者的会话语音的任务。与会话层面的自动会话识别不同,会话自动会话识别可以自然地利用会话的特定特征,例如角色偏好和主题连贯性。本文提出了一种会话ASR模型,该模型在流行的端到端神经框架下显式学习会话级特征。拟议模式的亮点有两个。首先,一个潜在的变分模块(LVM)附加到一个符合者为基础的编码器-解码器ASR骨干学习角色偏好和主题一致性。第二,专门采用主题模型,使解码器的输出偏向于预测主题中的单词。在两个普通话会话ASR任务上的实验表明,该模型实现了最大12%的相对字符出错率(CER)减少。
2022-02-17 cs.CL cs.SD eess.AS
Acoustic-to-Word Models with Conversational Context Information
Carnegie Mellon University(卡内基梅隆大学)
会话上下文信息,跨越句子的更高层次的知识,可以帮助识别长对话。然而,现有的语音识别模型通常是在句子级别构建的,因此它可能无法捕获重要的会话上下文信息。端到端语音识别的最新进展使得能够将上下文与其他可用信息(例如,声学、语言资源)和直接从语音识别单词。在这项工作中,我们提出了一个直接的声学到词,端到端的语音识别模型,能够利用会话上下文,以更好地处理长对话。我们评估我们提出的方法上的交换机会话语音语料库,并表明我们的系统优于一个标准的端到端的语音识别系统。
2019-05-21 cs.CL cs.LG eess.AS
KAME: Tandem Architecture for Enhancing Knowledge in Real-Time Speech-to-Speech Conversational AI
提出一种混合架构,通过实时注入后端LLM的文本响应来增强S2S模型的知识,在保持低延迟的同时提升响应正确性。
2026-05-25 cs.AI cs.CL eess.AS
Conversational Speech Naturalness Predictor
University of Southern California(南加州大学);Meta Platforms, Inc(Meta平台公司)
本文提出了一种双通道自然度预测器,用于多轮对话中的语音自然度评估,通过预训练编码器和数据增强提升预测性能。
2026-03-02 eess.AS
Bridging the Gap: Converting Read Text to Conversational Dialogue
Samsung Research and Development Institute, Bangalore, India(三星研发研究所,班加罗尔,印度)
本文提出了一种名为PACC的新方法,通过利用深度神经网络分析和修改语调、重音和节奏等语调特征,将阅读语音转换为更自然的对话语音,从而在虚拟助手、客户服务和语言学习工具中提高语音转换的自然度和准确性。
2026-10-16 cs.AI cs.CL cs.LG
Directed Speech Separation for Automatic Speech Recognition of Long Form Conversational Speech
Amazon AWS AI(亚马逊AWS人工智能)
语音分离的许多最新进展主要针对具有高度重叠的短音频话语的合成混合。这些方法中的大多数需要额外的拼接步骤来拼接分离的语音块以获得长格式音频。由于大多数方法涉及排列不变训练(PIT),因此分离的语音块的顺序是不确定的,并且导致难以准确地拼接同质说话者块用于下游任务,如自动语音识别(ASR)。此外,大多数这些模型都是用合成混合物训练的,不能推广到真实的会话数据。在本文中,我们提出了一个扬声器条件分离器训练的扬声器嵌入直接从混合信号中提取使用过聚类为基础的方法。该模型自然地调节分离的块的顺序,而不需要额外的拼接步骤。我们还介绍了一个数据采样策略,真正的和合成的混合物,以及推广到真正的对话语音。有了这个模型和数据采样技术,我们在Hub 5数据上显示了说话者归因的单词错误率(SA-WER)的显着改善。
2022-09-06 cs.CL cs.LG cs.SD
Toward Conversational Hungarian Speech Recognition: Introducing the BEA-Large and BEA-Dialogue Datasets
ELTE Research Centre for Linguistics(ELTE语言研究研究中心);Speechtex Ltd.(Speechtex公司)
本文介绍了BEA-Large和BEA-Dialogue两个匈牙利语语音数据集,用于提升对话式语音识别技术,并展示了基于这些数据集的ASR模型性能及说话人识别结果。
2026-01-14 cs.AI cs.CL cs.SD
Summary on The Multilingual Conversational Speech Language Model Challenge: Datasets, Tasks, Baselines, and Methods
School of Intelligence Science and Technology, Nanjing University(智能科学与技术学院,南京大学);College of Computing and Data Science, Nanyang Technological University(计算与数据科学学院,南洋理工大学);Huawei Technologies, China(华为技术有限公司);Nexdata Technology Inc., USA(Nexdata技术公司)
本文总结了Interspeech2025多语言对话语音语言模型挑战赛,介绍了任务设置、约1604小时的真实多语言数据集、基线系统及参赛成果,并提炼了构建多语言对话SLLMs的宝贵见解。
2025-09-17 cs.SD eess.AS
Dialogs: a studio-quality expressive conversational Russian speech corpus for dialog assistants
Langswap(朗格互换)
介绍用于对话助手的俄语对话语料库Dialogs,含20.6小时专业录制对话及风格情感标签。经人群MOS测试验证质量,虽每个说话者数据有限,但支持训练富有表现力、类似对话的TTS,还以VITS2模型作概念验证。
2026-07-17 eess.AS
Low-data? No problem: low-resource, language-agnostic conversational text-to-speech via F0-conditioned data augmentation
Amazon Alexa(亚马逊Alexa)
跨语言的表达风格的数据的可用性是有限的,并且记录会话是昂贵和耗时的。为了克服这些问题,我们演示了如何构建低资源,神经文本转语音(TTS)的声音,只有1小时的会话语音,当没有其他会话数据可用相同的语言。假设在该语言的非表达语音数据的可用性,我们提出了一个3步的技术:1)我们训练一个F0条件的语音转换(VC)模型作为数据增强技术; 2)我们训练一个F0预测控制语音转换的合成数据的会话风味; 3)我们训练一个TTS系统,消费增强数据。我们证明了我们的技术能够实现F0的可控性,可以跨说话者和语言进行扩展,并且在自然度方面具有竞争力,超过了最先进的基线模型,这是另一种不使用F0信息的增强方法。
2022-07-29 cs.SD eess.AS
Prominence-aware automatic speech recognition for conversational speech
Signal Processing and Speech Communication Laboratory(信号处理与语音通信实验室);Speech Communication Laboratory(语音通信实验室)
本文提出一种结合突显检测的突显感知自动语音识别方法,通过微调wav2vec2模型标注语料并训练新型ASR系统,在不影响识别性能的前提下实现了85.53%的突显检测准确率。
2025-09-12 cs.CL eess.AS
The CHiME-7 UDASE task: Unsupervised domain adaptation for conversational speech enhancement
Google(谷歌)
本文介绍了第7届CHiME挑战赛的UDASE任务,旨在利用CHiME-5数据集的真实含噪录音对语音增强模型进行无监督领域自适应,以去除加性背景噪声并估计纯净混响语音。
2023-10-02 cs.SD eess.AS
Open Source MagicData-RAMC: A Rich Annotated Mandarin Conversational(RAMC) Speech Dataset
Institute of Acoustics, Chinese Academy of Sciences(中国科学院声学研究所);University of Chinese Academy of Sciences(中国科学院大学);Magic Data Technology Co., Ltd.(魔数智音科技有限公司);Shanghai Jiao Tong University(上海交通大学);Northwestern Polytechnical University(西北工业大学)
本文介绍了一个高质量的丰富注释的普通话会话(RAMC)语音数据集称为MagicData-RAMC。MagicData-RAMC语料库包含180小时的会话语音数据,这些数据是以16 kHz的采样率通过移动电话从汉语普通话为母语的人记录的。MagicData-RAMC中的对话被分为15个不同的领域,并标有主题标签,从科学技术到日常生活。准确的转录和精确的扬声器语音活动时间戳手动标记每个样本。还提供了演讲者的详细信息。MagicData-RAMC是一个针对对话场景设计的具有高质量和丰富注释的普通话语音数据集,丰富了普通话语音社区的数据多样性,并允许对一系列语音相关任务进行广泛研究,包括自动语音识别,说话人日志,主题检测,关键字搜索,文本到语音,我们还进行了几个相关的任务,并提供实验结果,以帮助评估数据集。
2022-03-31 cs.CL eess.AS
RyanSpeech: A Corpus for Conversational Text-to-Speech Synthesis
University of Denver(丹佛大学);DreamFace Technologies, LLC(DreamFace科技有限公司)
本文介绍了RyanSpeech,一个新的语音语料库的研究自动文本到语音(TTS)系统。公开可用的TTS语料库通常是嘈杂的,记录多个扬声器,或缺乏高质量的男性语音数据。为了满足语音识别领域对高质量、公开可用的男性语音语料库的需求,我们设计并创建了RyanSpeech,其中包含来自真实世界会话设置的文本材料。这些材料包含超过10个小时的专业男声演员的讲话记录在44.1千赫。该语料库的设计和流水线使RyanSpeech成为在现实世界应用中开发TTS系统的理想选择。为了为未来的研究、协议和基准测试提供基线,我们在RyanSpeech上训练了4个最先进的语音模型和一个声码器。结果显示,在我们最好的模型中,平均意见得分(MOS)为3.36。我们已经制作了语料库和训练模型供公众使用。
2021-06-15 cs.CL cs.SD eess.AS
Agentic-DuplexGen: Decoupling Content, Timing, and Acoustics for Synthetic Dialogue Speech
Institute of Science Tokyo(科学东京大学);Hokkaido University(北海道大学)
DuplexGen框架通过解耦对话的内容、时序与声学,生成更贴近真实对话的合成语音,构建了带多类标注的医患对话语料库,性能优于传统拼接式合成方法。
2026-08-25 cs.CL eess.AS
Conversational Speech Recognition by Learning Audio-textual Cross-modal Contextual Representation
School of Computer Science, Northwestern Polytechnical University(西北工业大学计算机学院);School of Computer Science and Engineering, Northeastern University(东北大学计算机科学与工程学院);Mashang Consumer Finance Co., Ltd.(马上消费金融股份有限公司)
本文提出一种基于跨模态对话表示的对话ASR系统,通过结合预训练语音文本模型与条件潜变量模块提取历史上下文与对话级属性,在HKUST和MagicData-RAMC数据集上相对标准Conformer分别提升8.8%和23%准确率。
2024-04-28 cs.CL cs.SD eess.AS
Controllable Context-aware Conversational Speech Synthesis
Tencent AI Lab(腾讯人工智能实验室)
在口语会话中,经常会出现充满停顿和停顿的自发行为。会话伙伴倾向于使他们的言语特征与他们的对话者一致,这被称为夹带。为了产生类似人类的对话,我们提出了一个统一的可控自发会话语音合成框架来模拟上述两种现象。具体来说,我们使用显式标签来表示两个典型的自发行为充满了声学模型中的暂停和延长,并开发了一个基于神经网络的预测器来预测这两个行为的发生从文本。我们随后开发了一种基于预测器的算法来控制行为的出现频率,使合成的语音从不流利到更不流利。为了在声学水平上对语音夹带进行建模,我们利用上下文声学编码器从当前语音合成的先前语音条件中提取全局风格嵌入。此外,由于当前和先前的话语属于对话中的不同说话者,我们添加了一个域对抗训练模块,以消除声学编码器中的说话者相关信息,同时保持风格相关信息。实验结果表明,该方法可以合成真实的会话,并自然地控制自发行为的发生。
2021-06-21 cs.SD eess.AS
Bi-directional Context-Enhanced Speech Large Language Models for Multilingual Conversational ASR
Alibaba-NTU Global e-Sustainability CorpLab(阿里巴巴-国立科技大学全球可持续发展公司实验室);Nanyang Technological University(国立科技大学);College of Computing and Data Science(计算与数据科学学院)
本文提出将双向上下文融入语音大语言模型,通过字符级上下文掩码训练和两阶段上下文感知解码,在1500小时多语言对话语料上取得18%的相对改进,优于6000小时数据训练的模型。
2025-07-04 cs.CL eess.AS
Let Me Look at You: Advanced Facial Expression Modeling for Conversational Speech Synthesis
Inner Mongolia University(内蒙古大学)
研究针对对话语音合成中面部表情线索常被忽视及缺乏多模态数据集的问题,提出基于大语言模型的FacialTalker框架,含AUTokenizer和DualDPO策略,构建VSDD-1K数据集,实验表明该框架在表情感知和语音合成质量上表现出色。
2026-07-28 cs.CL cs.HC eess.AS
Using Kaldi for Automatic Speech Recognition of Conversational Austrian German
Graz University of Technology(格拉茨工业大学)
随着对话系统的交互性和社会化程度的提高,对对话语音进行准确的自动语音识别(ASR)也变得越来越重要。这将焦点从简短的、自发的、以任务为导向的对话转移到了更复杂的、随意的面对面对话上。然而,这种对话的收集和注释是一个耗时的过程,并且对于这种特定的说话风格来说,数据是稀疏的。本文介绍了ASR实验与阅读和会话的奥地利德语为目标。为了处理只有有限的资源可用于德语会话,并在同一时间,与扬声器之间的发音特征有很大的变化,我们改进了基于Kaldi的ASR系统,通过将(大)基于知识的发音词典,同时探索不同的基于数据的方法来限制每个词条的发音变体的数量。我们实现了最好的WER的0.4%,奥地利德语阅读语音和最好的平均WER的48.5%,会话语音。我们发现,通过使用我们最好的发音词典,可以实现类似的高性能比通过增加用于语言模型的数据的大小约。360%到760%。我们的研究结果表明,对于低资源的情况下,尽管语音技术的一般趋势是只使用基于数据的方法,基于知识的方法是一个成功的,有效的方法。
2023-01-16 cs.CL cs.SD eess.AS
Digital Einstein Experience: Fast Text-to-Speech for Conversational AI
Aflorithmic Labs Ltd.(Aflorithmic 实验室有限公司)
我们描述了我们为对话式AI用例创建和提供自定义语音的方法。更具体地说,我们为Digital Einstein角色提供语音,以实现数字对话体验中的人机交互。为了创建符合上下文的语音,我们首先设计一个语音字符,然后生成与所需语音属性相对应的录音。然后我们模拟声音。我们的解决方案利用Fastspeech 2从音素和并行WaveGAN生成波形进行对数缩放梅尔频谱图预测。该系统支持字符输入,并在输出端给出语音波形。我们使用自定义词典来选择单词,以确保其正确的发音。我们提出的云架构可以实现快速语音传输,从而可以实时与数字版本的阿尔伯特·爱因斯坦交谈。
2021-07-21 cs.AI cs.CL cs.LG
Turn-Taking Prediction for Natural Conversational Speech
Google Inc.(谷歌公司)
虽然流式语音助理系统已被用于许多应用中,但该系统通常专注于不自然的一次性交互,假设来自单个语音查询的输入没有犹豫或不流利。然而,一个共同的会话话语往往涉及多个问题与话轮转换,除了不流利。这些不流利包括停下来思考,犹豫,单词拉长,充满停顿和重复的短语。这使得对会话语音(包括具有多个查询的会话语音)进行语音识别成为一项具有挑战性的任务。为了更好地对会话交互进行建模,区分不流利和查询结束是至关重要的,以便允许用户保持不流利的发言权,同时在用户完成发言时使系统尽可能快地响应。在本文中,我们提出了一个建立在端到端(E2E)语音识别器之上的话轮转换预测器。我们最好的系统是通过联合优化ASR任务和检测用户何时暂停思考或完成说话来获得的。该方法在测试集上测试了4种插入会话中的不流利语,在100 ms的潜伏期内预测真实话轮转换的召回率和准确率分别超过97%和85%。
2022-08-29 cs.CL cs.SD eess.AS
Emphasis Rendering for Conversational Text-to-Speech with Multi-modal Multi-scale Context Modeling
Inner Mongolia University(内蒙古大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));University of Bremen(不来梅大学)
针对对话式语音合成中重音表达数据的稀缺与上下文理解难题,提出ER-CTTS方案,通过融合多模态多尺度上下文特征指导重音渲染,显著提升了对话语音重音表达效果。
2024-10-12 cs.CL cs.SD eess.AS
FCTalker: Fine and Coarse Grained Context Modeling for Expressive Conversational Speech Synthesis
Inner Mongolia University(内蒙古大学)
会话文语转换(TTS)的目的是在会话语境中合成具有正确的语言和情感韵律的话语。利用当前话语和对话历史在话语级的相关性来提高合成语音的表达能力。然而,在词汇层面上的对话历史中的细粒度信息也对话语的韵律表达有重要影响,这在先前的工作中没有得到很好的研究。因此,我们提出了一种新的表达会话TTS模型,称为FCTalker,学习细粒度和粗粒度的上下文依赖在语音生成的同时。具体而言,FCTalker包括细粒度和粗粒度编码器,以利用单词和话语级上下文依赖性。为了对话语及其对话历史之间的单词级依赖关系进行建模,细粒度对话编码器构建在对话BERT模型之上。实验结果表明,所提出的方法优于所有基线,并产生更多的表达语音,是上下文适当的。我们在https://github.com/walker-hyf/FCTalker上发布源代码。
2022-10-27 cs.CL cs.SD eess.AS
Chain-Talker: Chain Understanding and Rendering for Empathetic Conversational Speech Synthesis
Inner Mongolia University(内蒙古大学);ByteDance(字节跳动);SRIBD, School of Data Science, The Chinese University of Hong Kong, Shenzhen(SRIBD,数据科学学院,香港中文大学(深圳))
针对现有对话语音合成模型情感感知不足、编码冗余的问题,提出三阶段框架Chain-Talker及LLM驱动的情感标注流水线CSS-EmCap,实验证明其能生成更具表现力和共情性的语音。
2025-05-19 cs.SD eess.AS
Enhancing Speaking Styles in Conversational Text-to-Speech Synthesis with Graph-based Multi-modal Context Modeling
Tsinghua-CUHK Joint Research Center for Media Sciences, Technologies and Systems(清华-中大媒体科学、技术与系统联合研究中心);Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);The Chinese University of Hong Kong(香港中文大学);AI Lab, Tencent(腾讯人工智能实验室)
与传统的文语转换系统相比,会话式文语转换系统要求合成出符合会话语境的具有适当说话风格的语音。然而,会话TTS中的最新上下文建模方法仅使用递归神经网络(RNN)对上下文中的文本信息进行建模。这些方法对会话中说话人间的影响建模能力有限,而且忽略了说话人的说话风格和说话人内部的惰性。受DialogueGCN及其在建模这种会话影响方面优于基于RNN的方法的启发,我们提出了一种基于图的多模态上下文建模方法,并将其应用于会话TTS,以增强合成语音的说话风格。DialogueGCN提取和处理上下文中的文本和说话风格信息,以建模会话中的说话者间和说话者内的影响。DialogueGCN的输出通过注意力机制进行汇总,并转换为当前话语的增强说话风格。本文收集并标注了一个英语会话语料库,并将其对外发布。该语料库上的实验结果表明,我们提出的方法的有效性,它优于国家的最先进的上下文建模方法在会话TTS的MOS和ABX的偏好率。
2022-03-31 cs.CL cs.SD eess.AS
Improving Code-Switching Speech Recognition with TTS Data Augmentation
Institute for Infocomm Research (I 2 R), A*STAR, Singapore(信息通信研究所(I 2 R),A*STAR,新加坡);College of Computing and Data Science, Nanyang Technological University, Singapore(计算与数据科学学院,南洋理工大学,新加坡)
利用多语言TTS模型生成合成语音数据,有效提升代码切换语音识别的准确率和鲁棒性。
2026-01-02 cs.AI eess.AS
Direction-Aware Joint Adaptation of Neural Speech Enhancement and Recognition in Real Multiparty Conversational Environments
Kyoto University(京都大学);RIKEN(理化学研究所);National Institute of Advanced Industrial Science and Technology (AIST)(产业技术综合研究所(AIST));Institut Polytechnique de Paris(巴黎理工学院)
本文介绍了嘈杂的语音识别的增强现实耳机,帮助真正的多方对话环境中的口头交流。在模拟环境中积极研究的主要方法是基于以监督方式训练的深度神经网络(DNN)顺序执行语音增强和自动语音识别(ASR)。然而,在我们的任务中,由于训练和测试条件以及用户的头部运动之间的不匹配,这种预先训练的系统无法工作。为了只增强目标说话者的话语,我们使用基于DNN的语音掩码估计器的波束形成,该估计器可以自适应地提取与头部相对特定方向相对应的语音分量。我们提出了一种半监督自适应方法,在运行时使用干净的语音信号与地面实况transmittance和嘈杂的语音信号与高置信度估计transmittance联合更新的掩模估计器和ASR模型。使用最先进的远程语音识别系统进行的比较实验表明,所提出的方法显着提高了ASR性能。
2022-07-15 cs.LG cs.SD eess.AS
PoCoNet: Better Speech Enhancement with Frequency-Positional Embeddings, Semi-Supervised Conversational Data, and Biased Loss
Amazon Web Services(亚马逊云科技)
神经网络应用通常受益于更大尺寸的模型,但对于当前的语音增强模型,更大规模的网络通常会遭受对各种真实世界用例的鲁棒性降低,超出训练数据中遇到的情况。我们介绍了几个创新,导致更好的大型神经网络的语音增强。新型PoCoNet架构是一种卷积神经网络,通过使用频率位置嵌入,能够更有效地在早期层中构建频率相关特征。半监督方法通过预增强噪声数据集来帮助增加会话训练数据量,从而提高真实录音的性能。一个新的损失函数偏向于保持语音质量,帮助优化更好地匹配人类对语音质量的感知意见。烧蚀实验和客观的和人的意见指标显示所提出的改进的好处。
2020-08-11 cs.LG cs.NE cs.SD
Candor-LR: A Dyadic Conversational Dataset for Audio-Visual Speech Recognition
Trinity College Dublin(都柏林圣三一学院)
针对现有AVSR基准缺乏自然对话复杂性的问题,提出基于CANDOR语料库的双人对话基准Candor-LR,包含1,656个视频会议,并验证了视觉信息在对话场景中的补偿作用及跨域鲁棒性提升。
2026-09-10 cs.CV cs.MM eess.AS
Transplantation of Conversational Speaking Style with Interjections in Sequence-to-Sequence Speech Synthesis
IBM Research AI(IBM研究院人工智能部门)
已知从语音序列直接生成低级声学特征的序列到序列文本到语音体系结构在被提供有足够量的训练数据时产生自然和有表现力的语音。这样的系统可以学习并将期望的说话风格从一个看到的说话者转移到另一个说话者(在多风格多说话者设置中),这对于创建可扩展和可定制的人机交互系统是非常期望的。在这项工作中,我们探索一对多的风格转移从一个专用的单扬声器会话语料库风格的细微差别和感叹词。我们详细阐述了语料库的设计,并探讨了这种风格的转移时,与语音转换为基础的数据增强的可行性。在一组主观听音实验中,这种方法导致高保真风格的转移,没有质量下降。然而,观察到一定的语音角色转变,需要进一步改进语音转换。
2022-07-25 cs.SD eess.AS
Automatic Evaluation of Turn-taking Cues in Conversational Speech Synthesis
KTH, Royal Institute of Technology(KTH皇家理工学院)
本文提出基于语音活动投影模型自动评估TTS系统生成话轮转换线索的能力,发现商用系统信号常模糊、开源系统让出话轮线索弱,为对话语音合成提供了功能性评价新视角。
2023-05-29 cs.SD eess.AS
Finetuning End-to-End Models for Estonian Conversational Spoken Language Translation
Tallinn University of Technology(塔林理工大学)
本文针对爱沙尼亚语会话语音翻译数据稀缺问题,通过合成数据微调 Whisper、OWSM 3.1 和 SeamlessM4T 三种端到端模型,其中 SeamlessM4T 性能达到或超过级联系统。
2024-07-04 cs.CL eess.AS
Conversational Speech Separation: an Evaluation Study for Streaming Applications
连续语音分离(CSS)是最近提出的一种框架,其目的是以流的方式从输入的混合信号中分离出每个说话人。此后,我们进行了评估研究的CSS系统的实际设计考虑,解决了在最近的作品中被忽视的重要方面。特别是,我们专注于分离性能,计算要求和输出延迟之间的权衡,显示如何离线分离算法可以用来执行CSS与所需的延迟。我们进行了广泛的分析上的CSS处理窗口大小和跳数的选择稀疏重叠的数据。我们发现,计算负担和性能之间的最佳权衡是获得5秒的窗口。
2022-05-31 eess.AS
UniTalker: Conversational Speech-Visual Synthesis
针对现有对话语音合成仅感知文本语音且仅输出语音的局限,提出UniTalker统一模型,利用多模态上下文生成共情语音与自然说话人脸动画,实现连贯视听回应。
2025-08-07 eess.AS
M2-CTTS: End-to-End Multi-scale Multi-modal Conversational Text-to-Speech Synthesis
Beijing University of Posts and Telecommunications(北京邮电大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Unisound AI Technology Co., Ltd(云知声智能科技股份有限公司)
针对现有对话TTS系统忽略局部细粒度韵律特征、仅依赖文本特征的不足,提出多尺度多模态对话TTS系统M2-CTTS,通过粗细粒度结合的文本与声学上下文模块建模对话,在CMOS测试中实现更优韵律表现与自然度。
2023-05-03 cs.CL cs.SD eess.AS
Effective Cross-Utterance Language Modeling for Conversational Speech Recognition
National Taiwan Normal University(国立台湾师范大学);Chunghwa Telecom Laboratories(中华电信研究所)
会话言语通常在话语层面上体现为松散的句法结构,但同时在连续的话语之间表现出主题连贯关系。先前的工作已经表明,用循环神经网络或长短期记忆语言模型(LM)捕获较长的上下文信息可能在排除长范围上下文的同时遭受最近偏差。为了捕捉词与词之间以及话语之间的长期语义交互,提出了会话语音自动语音识别(ASR)中不同会话历史融合的语言建模方法。此外,一种新的音频融合机制,管理融合和利用当前话语的声学嵌入和其相应的会话历史的语义内容,在合作的方式。为了充实我们的想法,我们将ASR N-best假设重新评分任务框架为预测问题,利用BERT(一种标志性的预训练LM)作为成分工具,以便于从给定的N-best假设列表中选择Oracle假设。在AMI基准数据集上进行的实证实验似乎证明了我们的方法相对于当前一些顶级方法的可行性和有效性。所提出的方法不仅实现了显着的推理时间减少,但也提高了会话语音的ASR性能。
2022-06-01 cs.CL cs.SD eess.AS
Enhancing End-to-End Conversational Speech Translation Through Target Language Context Utilization
Johns Hopkins University(约翰斯·霍普金斯大学);Carnegie Mellon University(卡内基梅隆大学);George Mason University(乔治梅森大学)
针对端到端语音翻译上下文利用不足的问题,本文引入目标语言上下文、上下文丢弃和说话人信息,提升了会话翻译的连贯性与鲁棒性。
2023-09-27 cs.CL cs.SD eess.AS
Intra- and Inter-modal Context Interaction Modeling for Conversational Speech Synthesis
Inner Mongolia University(内蒙古大学)
针对对话语音合成中多模态历史与目标语句交互建模不足的问题,本文提出III-CSS系统,通过四种模态组合和对比学习模块显式建模模态内与模态间交互,在DailyTalk上取得了更优的韵律表现力。
2024-12-25 cs.CL cs.SD eess.AS
DisfluencySpeech -- Single-Speaker Conversational Speech Dataset with Paralanguage
Singapore University of Technology and Design(新加坡科技设计大学)
本文提出DisfluencySpeech数据集,由单说话人录制近10小时含笑、叹气、口吃等副语言的英语会话语音,并提供三种信息移除级别的转录文本及基准TTS模型,以支持从纯文本预测性合成副语言的会话语音研究。
2024-06-13 cs.CL eess.AS
The Microsoft 2016 Conversational Speech Recognition System
Microsoft(微软)
我们描述了微软的会话语音识别系统,在该系统中,我们结合了最近的发展,基于神经网络的声学和语言建模,以推进最先进的开关识别任务。受机器学习集成技术的启发,该系统使用了一系列卷积和递归神经网络。I矢量建模和无网格MMI训练为所有声学模型架构提供了显著的增益。语言模型重新评分与多个向前和向后运行的RNNLM,和基于词后验的系统组合提供了20%的提升。最好的单个系统使用带有RNNLM重新评分的ResNet架构声学模型,并在NIST 2000 Switchboard任务中实现了6.9%的字出错率。该组合系统的出错率为6.2%,比以前报告的基准任务的结果有所改善。
2017-01-25 cs.CL eess.AS
End-to-End Single-Channel Speaker-Turn Aware Conversational Speech Translation
Idiap Research Institute(伊迪亚普研究所);EPFL(洛桑联邦理工学院);AWS AI Labs(亚马逊云科技人工智能实验室)
本文提出端到端多任务的说话人轮次感知对话语音翻译模型,融合 ASR、ST 与轮次检测,并在适配后的 Fisher-CALLHOME 单通道多说话人语料上验证其优势。
2023-11-01 cs.CL eess.AS
HMM-based data augmentation for E2E systems for building conversational speech synthesis systems
本文提出了一种方法来建立一个高质量的文本到语音(TTS)系统的技术领域使用数据增强。端到端(E2E)系统在基于隐马尔可夫模型(HMM)的合成语音上进行训练,并进一步用录音室记录的TTS数据进行微调以改善合成语音的音色。这项工作背后的动机是,由于HMM系统能够准确地模拟音素的持续时间分布,因此通常不存在单词跳过和重复的问题。依赖于上下文的五音建模,以及基于树的聚类和状态绑定,可以处理看不见的上下文和词汇表外的单词。语言模型也被用来进一步减少合成错误。主观评价表明,语音使用所提出的系统是优于基线E2E合成方法的可懂度相结合时,从HMM和E2E框架的补充属性。进一步的分析强调了拟议方法在低资源情景中的功效。
2022-12-22 eess.AS
Learning Natural Conversational Behavior in Tandem Speech-to-Speech Models with Randomized Guidance
Sakana AI
针对串联语音到语音模型训练中引导数据缺失问题,提出随机中间引导方法,直接从语料库采样引导,提升响应质量与自然对话行为,优于基线模型。
2026-09-28 cs.CL eess.AS
The fifth 'CHiME' Speech Separation and Recognition Challenge: Dataset, task and baselines
University of Sheffield(谢菲尔德大学);Johns Hopkins University(约翰斯·霍普金斯大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所)
CHiME挑战赛系列旨在通过促进语音和语言处理、信号处理和机器学习的接口研究,推进鲁棒的自动语音识别(ASR)技术。本文介绍了第五届CHiME挑战赛,该挑战赛考虑了在真实家庭环境中远程多麦克风会话ASR的任务。使用晚宴场景引出语音材料,努力捕获代表自然对话语音的数据,并由6个Kinect麦克风阵列和4个双耳麦克风对记录。该挑战赛的特点是单阵列轨道和多阵列轨道,对于每个轨道,将为专注于远距离麦克风捕获的鲁棒性的系统与试图解决任务的所有方面(包括会话语言建模)的系统产生不同的排名。我们讨论了挑战的理由,并提供了一个详细的描述的数据汇集程序,任务,和基线系统的阵列同步,语音增强,传统的和端到端的ASR。
2018-03-28 cs.AI cs.SD eess.AS
Speaker-Aware Simulation Improves Conversational Speech Recognition
SpeechTex Ltd.(SpeechTex公司);ELTE Research Centre for Linguistics(ELTE语言学研究中心)
本文提出面向说话人的模拟对话方法,通过生成合成对话数据提升匈牙利语对话语音识别性能。
2026-02-04 cs.CL cs.SD eess.AS
Beyond Speech Captions: Speech-Rewarded Style Planning for Conversational Text-to-Speech
Institute of Science Tokyo(东京科学大学)
该研究针对对话式TTS提出SRSP方法,以冻结TTS模型为基础,用GRPO优化风格规划器,在ISCSLP 2026 CoT-TTS语料库子集上,其语音风格、情感相似度及语境表现均优于基线。
2026-10-09 cs.CL cs.SD eess.AS