What shall we do with an hour of data? Speech recognition for the un- and under-served languages of Common Voice
Indiana University(印第安纳大学)
这份技术报告描述了为期三周的冲刺的方法和结果,为Common Voice项目的31种服务不足的语言制作可部署的语音识别模型。我们概述了预处理步骤,超参数选择,以及官方测试集的准确性。除此之外,我们还评估了多个任务的模型:封闭词汇语音识别,预转录,强制对齐和关键词定位。下面的实验使用Coqui STT,这是一个用于训练和部署神经语音到文本模型的工具包。
2021-05-10 cs.CL cs.LG cs.SD
GLM-4-Voice: Towards Intelligent and Human-Like End-to-End Spoken Chatbot
Tsinghua University(清华大学)
本文提出端到端双语语音聊天机器人 GLM-4-Voice,通过低比特率语音分词器、语音-文本交错预训练与会话微调,实现实时、富有情感且高质量的类人语音对话。
2024-12-03 cs.CL cs.SD eess.AS
Some voices are too common: Building fair speech recognition systems using the Common Voice dataset
Laboratoire Informatique d’Avignon(阿维尼翁计算机实验室);Thales SIX(泰雷兹SIX)
本文基于法语 Common Voice 数据集评估 wav2vec 2.0 对不同人口群体的偏见,并通过固定规模训练集微调揭示说话人多样性的重要性及数据集缺陷。
2023-06-01 cs.CL cs.LG cs.SD
STUDIES: Corpus of Japanese Empathetic Dialogue Speech Towards Friendly Voice Agent
The University of Tokyo(东京大学);LINE Corp.(LINE公司)
我们提出的研究,一个新的语音语料库开发的语音代理,可以说在一个友好的方式。人类自然地控制他们的言语韵律来相互同情。通过将这种“移情对话”行为整合到口语对话系统中,我们可以开发出一种能够更自然地响应用户的语音代理。我们设计的研究语料库,包括一个发言者谁说话的同情对话者的情绪明确。我们描述了我们的方法来构建一个移情对话语音语料库和报告的研究语料库的分析结果。我们进行了一个文本到语音的实验,初步探讨如何我们可以开发更自然的语音代理,可以调整其说话风格对应于对话者的情绪。结果表明,使用对话者的情感标签和会话上下文嵌入可以产生与使用智能体的情感标签合成的语音相同程度的自然度。我们的研究语料库的项目页面是http://sython.org/Corpus/STUDIES。
2022-06-16 cs.AI cs.CL cs.HC
TransVIP: Speech to Speech Translation System with Voice and Isochrony Preservation
Shanghai Jiao Tong University(上海交通大学);Microsoft(微软公司)
针对端到端语音到语音翻译性能弱于级联模型、数据稀缺的问题,提出TransVIP框架,以级联用数据集+联合概率实现端到端推理,搭配双编码器保留音色与等时性,法英翻译效果超越现有SOTA模型。
2024-10-31 cs.AI cs.CL cs.SD
Analysis and Tuning of a Voice Assistant System for Dysfluent Speech
Apple(苹果公司)
语音发音的不流畅和变化会严重降低语音识别性能,并且对于许多患有中度至重度语音障碍的个体,语音操作系统不起作用。当前的语音识别系统主要用来自流利说话者的数据来训练,因此不能很好地推广到具有不流利的语音,诸如声音或单词重复、声音重复或可听块。这项工作的重点是定量分析的消费者语音识别系统的个人谁口吃和生产导向的方法,以提高性能的共同语音助理任务(即,“天气怎么样?").在基线时,该系统引入了大量的插入和替换错误,导致预期语音单词错误率(isWER)对于具有流畅性障碍的个体而言更差(绝对)13.64%。我们表明,通过简单地调整现有的混合语音识别系统中的解码参数,可以提高24%(相对)的个人流畅性障碍的isWER。相对于默认设置,调整这些参数可以使18名研究参与者在所有口吃严重程度上的域识别提高3.6%,意图识别提高1.7%。
2021-06-18 cs.AI cs.CL cs.CV
Anonymizing Speech with Generative Adversarial Networks to Preserve Speaker Privacy
University of Stuttgart(斯图加特大学)
为了保护语音数据的隐私,说话人匿名化的目的是通过改变语音记录中的声音来隐藏说话人的身份。这通常伴随着个人保护和下游应用程序数据可用性之间的隐私实用性权衡。这方面的挑战之一是创造出听起来尽可能自然的不存在的声音。在这项工作中,我们建议通过使用Wasserstein距离作为成本函数的生成对抗网络生成说话人嵌入来解决这个问题。通过将这些人工嵌入到语音到文本到语音的管道中,我们在隐私和实用性方面优于以前的方法。根据标准的客观指标和人工评估,我们的方法生成了原始录音的可理解和内容保护但隐私保护的版本。
2022-10-20 cs.CL cs.SD eess.AS
Deep Voice 2: Multi-Speaker Neural Text-to-Speech
Baidu Silicon Valley Artificial Intelligence Lab(百度硅谷人工智能实验室)
我们介绍了一种增强神经文本到语音(TTS)与低维可训练的扬声器嵌入从一个单一的模型生成不同的声音的技术。作为一个起点,我们展示了两种最先进的单扬声器神经TTS方法的改进:Deep Voice 1和Tacotron。我们介绍了Deep Voice 2,它基于与Deep Voice 1类似的管道,但使用更高性能的构建块构建,并展示了比Deep Voice 1显着的音频质量改进。我们通过引入后处理神经声码器来改进Tacotron,并展示了显着的音频质量改善。然后,我们展示了我们的技术,多扬声器语音合成为两个多扬声器TTS数据集上的Deep Voice 2和Tacotron。我们发现,一个单一的神经TTS系统可以从每个扬声器不到半小时的数据中学习数百个独特的声音,同时实现高音频质量的合成,并几乎完美地保留扬声器的身份。
2017-09-20 cs.CL
PACT: A Pragmatic Prompting Framework for Expressive and Voice-Preserving Speech-to-Speech Translation
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Shenzhen Loop Area Institute(深圳河套学院)
针对现有语音到语音翻译系统难以保留情感等语用特征的问题,提出PACT框架,经双向西英TOPI评估,其在多维度指标上取得最优整体性能。
2026-10-14 cs.CL
PersonaPlex: Voice and Role Control for Full Duplex Conversational Speech Models
PersonaPlex通过融合角色条件和语音克隆技术,实现全双工对话语音模型的语音与角色控制,提升角色一致性、说话人相似性和对话自然度。
2026-01-14 cs.CL
Limited Data Emotional Voice Conversion Leveraging Text-to-Speech: Two-stage Sequence-to-Sequence Training
National University of Singapore (NUS)(新加坡国立大学);Singapore University of Technology and Design (SUTD)(新加坡科技设计大学)
情感语音转换(EVC)旨在改变话语的情感状态,同时保留语言内容和说话人身份。在本文中,我们提出了一种新的2阶段训练策略,用于在有限的情感语音数据下进行序列到序列的情感语音转换。我们注意到,所提出的EVC框架利用文本到语音(TTS),因为它们有一个共同的目标,即生成高质量的表达语音。在第一阶段,我们使用多说话人TTS语料库进行风格初始化,以理清说话风格和语言内容。在第二阶段,我们用有限的情感语音数据进行情感训练,学习如何从语音中分离情感风格和语言信息。所提出的框架可以执行频谱和韵律转换,并实现了显着的改善,在国家的最先进的基线在客观和主观评价。
2021-06-09 cs.CL
Quechua Speech Datasets in Common Voice: The Case of Puno Quechua
University of Innsbruck, Austria(因斯布鲁克大学,奥地利);National University of Altiplano Puno, Peru(阿雷基佩大学,秘鲁)
本文探讨克丘亚语在 Common Voice 中的整合,以普诺克丘亚语为案例,展示其语音数据集(191.1小时,86%已验证)的创建,并提出研究议程与伦理考量,推动资源匮乏语言的语音技术发展。
2025-10-13 cs.CL
DrVoice: Parallel Speech-Text Voice Conversation Model via Dual-Resolution Speech Representations
Alibaba Group(阿里巴巴集团)
DrVoice通过双分辨率语音表示实现语音与文本的平行生成,有效降低计算成本并提升语音基础模型性能。
2025-12-23 cs.CL
VoiceCraft-X: Unifying Multilingual, Voice-Cloning Speech Synthesis and Speech Editing
University of Texas at Austin(德克萨斯大学奥斯汀分校);Amazon(亚马逊)
本文提出自回归神经编解码语言模型VoiceCraft-X,基于Qwen3和token重排机制统一11种语言的零样本TTS与语音编辑任务,在低资源语言场景下仍能生成高质量自然语音。
2025-11-15 cs.CL cs.SD eess.AS
One Voice, Many Tongues: Cross-Lingual Voice Cloning for Scientific Speech
Shaggar Institute of Technology(谢加尔技术学院);Trinity College Dublin(都柏林三一学院)
本文针对跨语言科学演讲语音生成中的声音身份保持问题,提出基于OmniVoice基础模型的语音克隆系统,通过多模型集成蒸馏提升生成语音的可懂度和说话人相似性。
2026-06-26 cs.CL eess.AS
Voice Filter: Few-shot text-to-speech speaker adaptation using voice conversion as a post-processing module
Alexa AI(亚马逊语音助手人工智能);National Taiwan University (NTU)(台湾大学)
最先进的文本转语音(TTS)系统需要几个小时的记录语音数据来生成高质量的合成语音。当使用减少量的训练数据时,标准TTS模型遭受语音质量和可懂度降级,使得训练低资源TTS系统成为问题。在本文中,我们提出了一种新的极低资源的TTS方法,称为语音过滤器,使用少至一分钟的语音从目标扬声器。它使用语音转换(VC)作为附加到一个预先存在的高质量的TTS系统的后处理模块,标志着在现有的TTS范式的概念转变,框架的Few-Shot TTS问题作为VC任务。此外,我们建议使用一个持续时间可控的TTS系统来创建一个并行的语音语料库,以促进VC任务。结果表明,语音过滤器优于国家的最先进的Few-Shot语音合成技术的客观和主观指标方面的一分钟的语音对一组不同的声音,而竞争对手的TTS模型建立在30倍以上的数据。
2022-02-16 cs.CL cs.LG eess.AS
VoTSpeech: Decoupling Voice Design from Speech Generation in Instruction-Following TTS
Beijing University of Posts and Telecommunications(北京邮电大学);Hello Group(Hello集团)
提出VoTSpeech模型,通过显式中间语音潜在变量分离语音设计与语音生成,在InstructTTSEval-ZH上表现出色,可实现可控语音合成。
2026-10-14 cs.CL cs.SD
VisualTTS: TTS with Accurate Lip-Speech Synchronization for Automatic Voice Over
National University of Singapore(新加坡国立大学);Singapore University of Technology and Design(新加坡科技设计大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
在本文中,我们制定了一个新的任务,合成语音同步与无声的预先录制的视频,表示为自动配音(AVO)。与传统的语音合成不同,AVO不仅要生成听起来像人的语音,而且要实现完美的唇语同步。AVO的一个自然解决方案是将语音渲染的条件设定在视频中嘴唇序列的时间进展上。我们提出了一种新的文本到语音的模型,条件是视觉输入,命名为VisualTTS,准确的唇语同步。该算法采用了两种新颖的机制:1)文本-视觉注意机制和2)声学解码过程中的视觉融合策略,这两种机制都有助于在输入文本内容和输入嘴唇序列中的嘴唇运动之间形成准确的对齐。实验结果表明,VisualTTS实现了准确的唇语同步,并优于所有基线系统。
2022-03-02 cs.CL eess.AS
Translatotron 2: High-quality direct speech-to-speech translation with voice preservation
Google Research(谷歌研究院)
我们提出了Translatotron 2,这是一种可以端到端训练的神经直接语音到语音翻译模型。Translatotron 2由一个语音编码器,一个语言解码器,一个声学合成器和一个将它们连接在一起的注意力模块组成。在三个数据集上的实验结果一致表明,Translatotron 2在翻译质量(高达+15.5 BLEU)和语音生成质量上都大大优于原始Translatotron,并且接近级联系统。此外,我们提出了一个简单的方法,用于保存扬声器的声音从源语音到翻译语音在不同的语言。与现有的方法不同,该方法能够保留每个扬声器的声音,而不需要扬声器分割。此外,与现有方法相比,它更好地保护了说话者的隐私,并减轻了潜在的滥用语音克隆创建欺骗音频伪影。
2022-05-17 cs.CL cs.LG cs.SD
Creating New Language and Voice Components for the Updated MaryTTS Text-to-Speech Synthesis Platform
Saarland University(萨尔兰大学);DFKI GmbH(德国人工智能研究中心有限公司)
我们提出了一个新的工作流程,为MaryTTS文本到语音合成平台创建组件,该平台受到研究人员和开发人员的欢迎,并将其扩展到支持新的语言和自定义合成语音。此工作流使用高效、灵活的流程取代了以前的工具包,该流程利用了现代化的构建自动化和云托管基础设施。此外,它与更新的MaryTTS架构兼容,支持新功能和最先进的范例,例如基于深度神经网络(DNN)的合成。与MaryTTS本身一样,新工具是免费的开源软件(FOSS),并促进了开放数据的使用。
2018-05-11 cs.CL cs.HC
Voice Conversion for Stuttered Speech, Instruments, Unseen Languages and Textually Described Voices
Stellenbosch University(斯泰伦博斯大学)
本研究探索kNN-VC语音转换模型在口吃、跨语言、乐器和文本描述声音等非标准任务上的表现,发现其在口吃和跨语言任务中保持高性能,但乐器转换效果不一,整体展示广泛适用性及分布外样本的局限。
2023-10-12 cs.CL cs.SD eess.AS
VoiceBank-2023: A Multi-Speaker Mandarin Speech Corpus for Constructing Personalized TTS Systems for the Speech Impaired
National Taipei University(台北大学);National Yang Ming Chiao Tung University(阳明交通大学);AcoustInTek Co., Ltd.(声智科技股份有限公司)
本文介绍了面向语障碍者的VoiceBank-2023多说话人普通话语料库,含111人共29.78小时标注语音,可申请非商用,助力构建个性化TTS系统。
2023-08-27 cs.CL cs.SD eess.AS
Latent linguistic embedding for cross-lingual text-to-speech and voice conversion
National Institute of Informatics(国立信息学研究所);SOKENDAI (The Graduate University for Advanced Studies)(综合研究大学院大学(高等研究生院大学))
由于最近提出的语音克隆系统,NAUTILUS,是能够克隆看不见的声音使用未转录的语音,我们调查的可行性,使用它来开发一个统一的跨语言的TTS/VC系统。跨语言语音生成是指用目标说话人的声音生成一种非母语的语音。这种类型的系统不是简单地克隆目标说话者的声音,而是在特定的框架下创建一个可以被认为比原始声音更好的新声音。通过使用经过良好训练的英语潜在语言嵌入来为2020年语音转换挑战赛中的几个德语,芬兰语和普通话使用者创建跨语言TTS和VC系统,我们表明我们的方法不仅可以创建具有高说话者相似性的跨语言VC,而且可以无缝地用于跨语言TTS,而无需执行任何额外的步骤。然而,主观评价的感知自然度似乎不同的目标扬声器,这是未来的改进之一。
2020-10-08 cs.CL cs.SD eess.AS
Can we reconstruct a dysarthric voice with the large speech model Parler TTS?
Centre for Speech Technology Research, University of Edinburgh(爱丁堡大学语音技术研究中心)
本研究探索使用大型语音模型 Parler TTS 重建构音障碍患者患病前的声音,通过微调模型生成语音,发现模型能生成但难以控制可理解性和保持说话人身份,并提出了改进方向。
2025-06-04 cs.CL cs.SD eess.AS
Preset-Voice Matching for Privacy Regulated Speech-to-Speech Translation Systems
Vosyn(沃辛公司);Vector Institute(向量研究所)
提出预设语音匹配(PVM)框架,通过匹配同意说话者语音替代克隆,提升多说话者S2ST系统运行效率与语音自然度,并确保合规性。
2024-07-18 cs.CL cs.CR cs.LG
Enhancing Multilingual Voice Toxicity Detection with Speech-Text Alignment
Roblox
提出一种跨模态学习框架,在训练阶段将文本语义嵌入融入多标签语音毒性分类器,推理时仅需音频,在五种语言及不同毒性类别的大规模真实数据集上验证了有效性并取得改进。
2024-06-14 cs.CL cs.LG eess.AS
Pathological voice adaptation with autoencoder-based voice conversion
Delft University of Technology(代尔夫特理工大学);Universitat Politecnica de Catalunya(加泰罗尼亚理工大学);University of Amsterdam(阿姆斯特丹大学);Netherlands Cancer Institute(荷兰癌症研究所);Johns Hopkins University(约翰斯·霍普金斯大学)
在本文中,我们提出了一种新的方法,病理语音合成。而不是使用健康的语音作为源,我们定制一个现有的病理语音样本,以一个新的扬声器的声音特征。这种方法简化了将典型语音转换为病理语音时通常存在的评估问题,因为在我们的方法中,语音转换(VC)模型不需要针对语音退化进行优化,而只需要针对扬声器变化进行优化。优化中的这种变化确保了在自然度中发现的任何退化是由于转换过程而不是由于模型夸大了语音病理学的特征。为了证明这种方法的概念,我们使用UASpeech数据库和基于自动编码器的VC技术转换构音障碍的语音。主观评价结果表明,合理的自然度高清晰度构音障碍的扬声器,虽然较低的清晰度似乎引入了边际退化的自然度分数为中等和低清晰度扬声器相比,地面真理。对于低清晰度和高清晰度的说话人,说话人特性转换是成功的,但对于中清晰度的说话人,转换不成功。不同可懂度水平的结果差异是由于可懂度水平还是由于说话者需要进一步研究。
2021-06-15 cs.CL cs.SD eess.AS
Voice Transformer Network: Sequence-to-Sequence Voice Conversion Using Transformer with Text-to-Speech Pretraining
Nagoya University(名古屋大学);NTT Communication Science Laboratories(NTT通信科学实验室)
我们介绍了一种新的序列到序列(seq2seq)语音转换(VC)模型的基础上Transformer架构与文本转语音(TTS)预训练。Seq2seq VC模型由于其转换韵律的能力而具有吸引力。虽然基于递归神经网络(RNN)和卷积神经网络(CNN)的seq2seq模型已成功应用于VC,但尚未研究Transformer网络的使用,该网络已在各种语音处理任务中显示出有希望的结果。尽管如此,它们的数据饥渴属性和转换后语音的错误发音使得seq2seq模型远不实用。为此,我们提出了一种简单而有效的预训练技术,从学习的TTS模型中转移知识,这些模型受益于大规模,易于访问的TTS语料库。用这种预训练的模型参数初始化的VC模型能够为高保真、高度可理解的转换语音生成有效的隐藏表示。实验结果表明,这样的预训练方案可以促进数据有效的训练,并在可理解性,自然度和相似性方面优于基于RNN的seq2seq VC模型。
2019-12-14 cs.CL cs.LG cs.SD
AdaSpeech: Adaptive Text to Speech for Custom Voice
Microsoft Research Asia, Microsoft Azure Speech(微软亚洲研究院,微软 Azure 语音)
自定义语音是商业语音平台上的一种特定的文本转语音(TTS)服务,其目的是利用少量的语音数据来调整源TTS模型以合成目标说话人的个人语音。定制语音对TTS适配提出了两个独特的挑战:1)为了支持不同的客户,适配模型需要处理可能与源语音数据非常不同的不同声学条件,以及2)为了支持大量客户,适配参数需要对于每个目标说话者足够小,以减少存储器使用,同时保持高语音质量。在这项工作中,我们提出了AdaSpeech,一个自适应的TTS系统,用于高质量和高效率的定制新的声音。我们在AdaSpeech中设计了几种技术来解决自定义语音中的两个挑战:1)为了处理不同的声学条件,我们使用两个声学编码器在训练过程中从目标语音中提取话语级矢量和音素级矢量序列;在推理过程中,我们从参考语音中提取话语级矢量,并使用声学预测器来预测音素级矢量。2)为了更好地权衡自适应参数和语音质量,我们在AdaSpeech的mel-频谱图解码器中引入了条件层归一化,并对这一部分进行了微调,以及说话人嵌入进行自适应。我们在LibriTTS数据集上预训练源TTS模型,并在VCTK和LJSpeech数据集上对其进行微调(具有与LibriTTS不同的声学条件),其中只有很少的适应数据,例如,20句话,1分钟左右的演讲。实验结果表明,AdaSpeech的自适应效果明显优于传统的自适应方法,每个说话人仅需5 K左右的特定参数,证明了AdaSpe…
2021-03-01 cs.AI cs.CL cs.SD
Building African Voices
Carnegie Mellon University(卡内基梅隆大学);Inspired Cognition(Inspired Cognition公司)
现代语音合成技术可以在给定足够的高质量数据和计算资源的情况下产生听起来自然的语音。然而,许多语文的这类数据并不容易获得。本文主要研究非洲低资源语言的语音合成,从语料库的创建到文本到语音(TTS)系统的共享和部署。我们首先创建了一套通用的指令建设语音合成系统与最低限度的技术资源和主题的专业知识。接下来,我们通过参与式方法创建新的数据集并从“发现”数据(现有记录)中管理数据集,同时考虑可访问性,质量和广度。我们证明,我们可以开发合成器,生成清晰的语音与25分钟的创建语音,即使在次优环境中记录。最后,我们发布了12种非洲语言的语音数据、代码和训练语音,以支持研究人员和开发人员。
2022-07-01 cs.CL cs.SD eess.AS
Improve Cross-lingual Voice Cloning Using Low-quality Code-switched Data
NetEase Games AI Lab(网易游戏人工智能实验室)
最近,序列到序列(seq-to-seq)模型已经成功地应用于文本到语音(TTS)合成语音的单语言文本。为了合成多种语言的语音,通常需要来自目标说话人的多语言语音。然而,它是既费力又昂贵的收集高质量的目标说话人的多语种TTS数据。本文提出了利用非目标说话人的低质量语码转换数据来实现目标说话人的跨语言语音克隆。实验表明,我们提出的方法可以产生高质量的代码转换语音的目标声音在自然度和说话人一致性。更重要的是,我们发现,我们的方法可以实现一个比较的结果,最先进的(SOTA)的跨语言语音克隆的性能。
2022-11-17 cs.CL cs.SD eess.AS
Deep Voice 3: Scaling Text-to-Speech with Convolutional Sequence Learning
Baidu Research(百度研究院);OpenAI(开放人工智能研究中心);University of California, Berkeley(加州大学伯克利分校)
我们介绍了Deep Voice 3,一个完全卷积的基于注意力的神经文本到语音(TTS)系统。Deep Voice 3在自然度方面与最先进的神经语音合成系统相匹配,同时训练速度快十倍。我们将Deep Voice 3扩展到TTS前所未有的数据集大小,对来自2000多个扬声器的800多个小时的音频进行训练。此外,我们确定了常见的错误模式的注意力为基础的语音合成网络,演示了如何减轻他们,并比较几种不同的波形合成方法。我们还描述了如何在一台GPU服务器上将推理扩展到每天1000万次查询。
2018-02-22 cs.AI cs.CL cs.LG
GTR-Voice: Articulatory Phonetics Informed Controllable Expressive Speech Synthesis
University of Rochester(罗切斯特大学)
本研究针对当前表现力语音合成对发音特征关注不足的问题,提出GTR三维发音框架,录制GTR-Voice数据集,验证了框架有效性及TTS模型的精准可控性,并开源相关资源。
2024-06-15 cs.AI cs.CL cs.LG
Real-time Detection of AI-Generated Speech for DeepFake Voice Conversion
Nottingham Trent University(诺丁汉特伦特大学);Nottingham(诺丁汉(注:此处仅为城市名,非完整机构,按要求提取完整机构,故仅保留前一个机构))
针对DeepFake语音转换带来的伦理与隐私风险,本研究构建DEEP-VOICE数据集,通过时域特征统计分析与机器学习模型超参数优化,实现了99.3%准确率的实时AI生成语音检测,并公开了相关数据。
2023-08-24 cs.CL cs.HC cs.LG
SpeechIQ: Speech-Agentic Intelligence Quotient Across Cognitive Levels in Voice Understanding by Large Language Models
Kyoto University(京都大学);NVIDIA;Carnegie Mellon University(卡内基梅隆大学);Institute of Science Tokyo(东京科学研究院)
SpeechIQ是一种基于语音的智能评估框架,通过三个认知层级评估大型语言模型在语音理解中的能力,提供统一的比较和识别标注错误与幻觉。
2025-12-01 cs.AI cs.CL cs.SC
Voice Biomarker Analysis and Automated Severity Classification of Dysarthric Speech in a Multilingual Context
Seoul National University(首尔国立大学);Graduate School of Linguistics(语言学研究生院)
针对构音障碍评估的单语言局限,提出一种分析英语、韩语和泰米尔语的多语言严重程度分类方法,以支持临床决策。
2024-12-01 cs.CL cs.SD eess.AS
Bootstrapping non-parallel voice conversion from speaker-adaptive text-to-speech
SOKENDAI (The Graduate University for Advanced Studies)(综合研究大学院大学(高等研究型大学));National Institute of Informatics(国立信息学研究所);The University of Edinburgh(爱丁堡大学)
语音转换(VC)和文本转语音(TTS)是共享类似目标的两个任务,即生成具有目标语音的语音。然而,它们通常是在截然不同的框架下独立开发的。在本文中,我们提出了一种方法来引导VC系统从一个预先训练的说话人自适应TTS模型和统一的技术,以及这两个任务的解释。此外,通过将大量的数据需求卸载到TTS模型的训练阶段,我们的VC系统可以使用少量的目标说话人语音数据来构建。它还开辟了使用一种看不见的外国语言来构建系统的可能性。我们的主观评价表明,所提出的框架不仅能够在标准的语言内的情况下实现有竞争力的性能,但也适应和转换使用语音话语在一个看不见的语言。
2019-09-14 cs.CL cs.LG cs.SD
Emotional Voice Conversion using Multitask Learning with Text-to-speech
KI for Artificial Intelligence, KAIST(韩国科学技术院人工智能研究所);Information and Electronics Research Institute, KAIST(韩国科学技术院信息与电子研究所)
语音转换(VC)是指在保留语言内容的前提下,将人的语音转换为不同的风格。以往VC的研究都是基于序列到序列(seq 2seq)模型,这可能会误导语言信息。有人试图通过使用文本监督来克服它,它需要显式对齐,这失去了使用seq 2seq模型的好处。提出了一种基于多任务学习的文本转语音语音转换器。基于seq 2seq的文语转换的嵌入空间具有丰富的文本信息。TTS解码器的作用是将嵌入空间转换为语音,这与VC相同。在所提出的模型中,整个网络的训练,以尽量减少损失的VC和TTS。VC有望通过多任务学习捕获更多的语言信息并保持训练稳定性。在男性韩语情感文本-语音数据集上进行了VC的实验,结果表明多任务学习有助于保持VC中的语言内容。
2019-11-27 cs.CL cs.SD eess.AS
Learning to Speak Fluently in a Foreign Language: Multilingual Speech Synthesis and Cross-Language Voice Cloning
Google(谷歌)
我们提出了一个多说话人,多语言的文本到语音(TTS)合成模型的基础上,Tacotron,能够产生高质量的语音在多种语言。此外,该模型能够跨语言传输语音,例如使用英语说话者的语音合成流利的西班牙语语音,而无需对任何双语或并行示例进行训练。这种迁移可以跨远亲语言工作,例如英语和普通话。实现这一目标的关键是:1。使用音素输入表示来鼓励跨语言共享模型容量,以及2.结合对抗损失项以鼓励模型将其说话者身份的表示(其与训练数据中的语言完全相关)从语音内容中分离出来。通过对每种语言的多个说话者进行训练,并结合自动编码输入以帮助在训练期间稳定注意力,进一步扩大模型,从而产生一种模型,该模型可用于一致地合成可理解的语音,用于训练在训练期间看到的所有语言的训练说话者,以及母语或外国口音。
2019-07-24 cs.CL cs.SD eess.AS
Do AI Voices Learn Social Nuances? A Case of Politeness and Speech Rate
The Open University of Israel(以色列开放大学);Haifa University(海法大学);University of Maryland(马里兰大学)
本研究测试AI Studio和OpenAI的22种合成语音,发现TTS系统可隐性习得礼貌场景下放慢语速的人类沟通韵律特征,验证了AI对社交细微差异的学习能力。
2025-11-12 cs.AI cs.CL cs.HC
Seen and Unseen emotional style transfer for voice conversion with a new emotional speech dataset
National University of Singapore(新加坡国立大学);Singapore University of Technology and Design(新加坡科技设计大学)
情感语音转换的目的是在保留语言内容和说话人身份的同时,转换语音中的情感韵律。先前的研究表明,使用离散表示的编码器-解码器网络(例如独热情感标签)可以解开情感韵律。这样的网络学会记住一套固定的情感风格。在本文中,我们提出了一种新的框架的基础上变分自动编码Wasserstein生成对抗网络(VAW-GAN),它利用一个预先训练的语音情感识别(SER)模型,在训练和运行时的推理转移情感风格。通过这种方式,网络能够将可见和不可见的情感风格转移到新的话语中。我们表明,建议的框架实现了显着的性能始终优于基线框架。本文还标志着用于语音转换的情感语音数据集(ESD)的发布,该数据集具有多个扬声器和语言。
2021-02-11 cs.CL cs.SD eess.AS
Improve few-shot voice cloning using multi-modal learning
NetEase Games AI Lab(网易游戏AI实验室)
近年来,Few-Shot语音克隆技术取得了显著的进步。然而,大多数用于Few-Shot语音克隆的模型是单模态的,并且多模态的Few-Shot语音克隆尚未得到充分研究。在本文中,我们提出使用多模态学习来提高Few-Shot语音克隆的性能。受最近无监督语音表示工作的启发,建议的多模态系统是通过扩展Tacotron 2与无监督语音表示模块来构建的。我们评估我们提出的系统在两个Few-Shot语音克隆的情况下,即Few-Shot文本到语音(TTS)和语音转换(VC)。实验结果表明,所提出的多模态学习可以显着提高Few-Shot的语音克隆性能比他们的对应单模态系统。
2022-03-18 cs.CL cs.SD eess.AS
Learning Singing From Speech
Tencent AI Lab(腾讯人工智能实验室)
我们提出了一种算法,能够合成高质量的目标说话人的歌声只给他们的正常语音样本。该算法首先将语音和歌唱合成集成到一个统一的框架中,并学习语音和歌唱合成任务之间可共享的通用说话人嵌入。具体地,经由语音合成目标从正常语音学习的说话者嵌入与经由统一训练框架中的歌唱合成目标从歌唱样本学习的说话者嵌入共享。这使得学习的说话者嵌入一个可转移的表示,用于说话和唱歌。我们评估所提出的算法上唱歌的声音转换任务,其中原始的歌唱内容是覆盖的音色,另一个扬声器的声音纯粹从他们的正常语音样本。我们的实验表明,该算法产生高品质的歌声,听起来非常相似的目标说话人的声音,只有他或她的正常语音样本。我们相信,该算法将为更广泛的用户和应用开辟新的机会,歌唱合成和转换。
2019-12-20 cs.CL cs.SD eess.AS
UnifySpeech: A Unified Framework for Zero-shot Text-to-Speech and Voice Conversion
Chinese Academy of Science(中国科学院);Tsinghua University(清华大学);University of Chinese Academy of Sciences(中国科学院大学)
文语转换(TTS)和语音转换(VC)是两个不同的任务,都是为了根据不同的输入方式生成高质量的说话语音。由于它们的相似性,本文提出了UnifySpeech,首次将TTS和VC纳入统一的框架中。该模型是基于这样的假设,即语音可以被解耦为三个独立的成分:内容信息,说话人信息,韵律信息。TTS和VC都可以看作是从输入中挖掘这三部分信息,完成语音的重构。对于TTS,语音内容信息来自文本,而在VC中,它来自源语音,因此两个任务中除了语音内容提取模块之外,其余所有单元都是共享的。我们采用矢量量化和域约束来弥合TTS和VC的内容域之间的差距。客观和主观评价结果表明,通过将两个任务结合起来,TTS获得了更好的说话人建模能力,而VC获得了令人印象深刻的语音内容解耦能力。
2023-01-10 cs.CL cs.LG cs.SD
PromptTTS 2: Describing and Generating Voices with Text Prompt
Microsoft Research(微软研究院)
PromptTTS 2通过变化网络和基于大语言模型的提示生成流程,解决文本提示TTS的一对多问题和数据稀缺问题,在44K小时数据集上生成更符合提示且多样化的语音。
2023-10-12 cs.CL cs.LG cs.SD
Robust Disentangled Variational Speech Representation Learning for Zero-shot Voice Conversion
Tencent AI Lab(腾讯人工智能实验室)
传统的语音转换研究主要是在并行训练数据和已知说话人的情况下进行的。通过探索更好的对齐模块或富有表现力的映射函数来获得良好的语音转换质量。在这项研究中,我们调查zero-shot VC从一个新的角度自我监督的解开语音表征学习。具体来说,我们实现了解开全球扬声器表示和时变内容表示之间的信息流的顺序变分自动编码器(VAE)的平衡。通过将任意的说话者嵌入和内容嵌入馈送到VAE解码器来执行zero-shot语音转换。此外,一个在飞行数据增强训练策略,使学习表示噪声不变。在TIMIT和VCTK数据集上,我们在两个客观评估方面都达到了最先进的性能,即,关于说话人嵌入和内容嵌入的说话人验证(SV),以及主观评价,即,语音自然度和相似性,并且即使在有噪声的源/目标话语的情况下也保持鲁棒性。
2022-03-30 cs.AI cs.CL eess.AS
Digital Einstein Experience: Fast Text-to-Speech for Conversational AI
Aflorithmic Labs Ltd.(Aflorithmic 实验室有限公司)
我们描述了我们为对话式AI用例创建和提供自定义语音的方法。更具体地说,我们为Digital Einstein角色提供语音,以实现数字对话体验中的人机交互。为了创建符合上下文的语音,我们首先设计一个语音字符,然后生成与所需语音属性相对应的录音。然后我们模拟声音。我们的解决方案利用Fastspeech 2从音素和并行WaveGAN生成波形进行对数缩放梅尔频谱图预测。该系统支持字符输入,并在输出端给出语音波形。我们使用自定义词典来选择单词,以确保其正确的发音。我们提出的云架构可以实现快速语音传输,从而可以实时与数字版本的阿尔伯特·爱因斯坦交谈。
2021-07-21 cs.AI cs.CL cs.LG