Spectral feature mapping with mimic loss for robust speech recognition
The Ohio State University(俄亥俄州立大学)
对于语音增强任务,局部学习目标与有助于语音识别的语音结构无关。我们建议添加一个全局标准,以确保去噪语音对ASR等下游任务有用。我们首先训练干净的语音谱分类器预测senone标签。然后,频谱分类器加入我们的语音增强器作为一个嘈杂的语音识别器。该模型被教导在干净的语音上单独模仿频谱分类器的输出。该\textit{mimic loss}与传统的局部准则相结合,训练语音增强器产生去噪语音。将去噪后的语音馈送到CHiME-2语料库的现成Kaldi训练配方中显示了WER的显着改进。
2018-03-26 cs.CL cs.SD eess.AS
End-to-End Integration of Speech Recognition, Speech Enhancement, and Self-Supervised Learning Representation
Carnegie Mellon University(卡内基梅隆大学);Yahoo Japan Corporation(雅虎日本公司)
本文提出了一种端到端(E2 E)的自动语音识别(ASR)模型,该模型以鲁棒的语音识别为目标,称为增强语音输入的集成语音识别自监督学习表示(IRIS)。与传统的E2 E ASR模型相比,该模型集成了语音增强(SE)和自监督学习表示(SSLR)两个重要模块。SE模块增强带噪语音。然后,SSLR模块从增强的语音中提取用于语音识别(ASR)的特征。为了对模型进行训练,我们建立了一个有效的学习方案。单声道CHiME-4任务的评估结果表明,IRIS模型在单声道CHiME-4基准测试中实现了文献报道的最佳性能(实际开发为2.0%,实际测试为3.9%),这要归功于强大的预训练SSLR模块和微调的SE模块。
2022-04-01 cs.CL cs.SD eess.AS
IMS-Speech: A Speech to Text Tool
Institute for Natural Language Processing (IMS), University of Stuttgart(斯图加特大学自然语言处理研究所)
我们提出的IMS语音,德语和英语语音转录的一个基于网络的工具,旨在促进在各个学科的研究,需要访问口语材料中的词汇信息。该工具基于现代开放源码软件栈、先进的语音识别方法和公共数据资源,学术研究人员可以免费获得。所使用的模型被构建为通用的,以提供在不同的任务和条件下的竞争力的准确性的transanimation。
2019-08-13 cs.CL cs.SD eess.AS
Virtuoso: Massive Multilingual Speech-Text Joint Semi-Supervised Learning for Text-To-Speech
Google(谷歌)
本文提出了Virtuoso,一个大规模的多语种语音-文本联合半监督学习框架的文本到语音合成(TTS)模型。现有的多语言TTS通常支持数十种语言,这是世界上数千种语言中的一小部分。将多语言TTS扩展到数百种语言的一个困难是在低资源语言中收集高质量的语音文本配对数据。本研究将Maestro,一个用于自动语音识别(ASR)的语音-文本联合预训练框架,扩展到语音生成任务。为了从各种类型的语音和文本数据训练TTS模型,设计了不同的训练方案来处理监督(成对的TTS和ASR数据)和非监督(未转录的语音和未说出的文本)数据集。实验评估表明,1)在Virtuoso上训练的多语言TTS模型可以实现比已知语言中的基线模型更好的自然度和可理解性,2)它们可以为没有高质量配对TTS数据的未知语言合成合理可理解和自然发音的语音。
2023-03-15 cs.CL cs.SD eess.AS
Improving Accented Speech Recognition using Data Augmentation based on Unsupervised Text-to-Speech Synthesis
Toshiba Research Europe(东芝欧洲研究院);Tohoku University(东北大学);University of Sheffield(谢菲尔德大学)
本文提出利用无监督TTS从少量带口音语音生成合成数据以增强ASR训练,在Wav2vec2.0自监督框架下使词错误率相对降低最高达6.1%。
2024-07-04 cs.CL cs.SD eess.AS
Beyond Speech Captions: Speech-Rewarded Style Planning for Conversational Text-to-Speech
Institute of Science Tokyo(东京科学大学)
该研究针对对话式TTS提出SRSP方法,以冻结TTS模型为基础,用GRPO优化风格规划器,在ISCSLP 2026 CoT-TTS语料库子集上,其语音风格、情感相似度及语境表现均优于基线。
2026-10-09 cs.CL cs.SD eess.AS
FASA: a Flexible and Automatic Speech Aligner for Extracting High-quality Aligned Children Speech Data
SUNY Buffalo(纽约州立大学布法罗分校)
针对儿童语音ASR缺乏高质量对齐数据的问题,提出灵活自动语音对齐工具FASA,从含噪数据中提取高质量对齐儿童语音,在CHILDES数据集上数据质量比人工标注提升13.6倍。
2024-06-25 cs.CL cs.SD eess.AS
ESSumm: Extractive Speech Summarization from Untranscribed Meeting
University of Maryland, College Park(马里兰大学帕克分校)
在本文中,我们提出了一种新的架构,直接提取语音到语音摘要,ESSumm,这是一个无监督的模型,不依赖于中间转录文本。与以往的文本呈现方法不同,我们的目标是直接从语音生成摘要,而无需转录。首先,根据语音信号的声学特征提取一组较小的语音段。对于每个候选语音段,设计了基于距离的摘要置信度作为潜在语音表征度量。具体来说,我们利用现成的自监督卷积神经网络从原始音频中提取深度语音特征。我们的方法自动预测的最佳序列的语音片段,捕获的关键信息与目标摘要长度。两个著名的会议数据集(AMI和ICSI语料库)的广泛结果表明,我们的直接语音为基础的方法,以提高摘要质量与未转录的数据的有效性。我们还观察到,我们的无监督的语音为基础的方法,甚至执行与最近的成绩单为基础的摘要方法,其中需要额外的语音识别。
2022-09-14 cs.CL cs.SD eess.AS
Enhancing Indonesian Automatic Speech Recognition: Evaluating Multilingual Models with Diverse Speech Variabilities
Institut Teknologi Bandung(万隆理工学院);University of Indonesia(印度尼西亚大学);Japan Advanced Institute of Science and Technology(日本先进科学技术学院);Nara Institute of Science and Technology(奈良科学技术大学)
本研究评估了MMS和Whisper等多语言模型在多样语音变异性下的印尼语ASR能力,发现微调的Whisper模型表现最佳,且说话风格变异性对模型性能影响最大。
2024-10-14 cs.CL cs.SD eess.AS
CVSS Corpus and Massively Multilingual Speech-to-Speech Translation
Google Research(谷歌研究院)
我们介绍了CVSS,一个大规模的多语言到英语的语音到语音翻译(S2 ST)语料库,涵盖了从21种语言到英语的并行S2 ST对。CVSS源自Common Voice语音语料库和CoVoST 2语音到文本翻译(ST)语料库,通过使用最先进的TTS系统将CoVoST 2的翻译文本合成为语音。提供了两种版本的翻译语音:1)CVSS-C:所有翻译语音都是单个高质量的规范语音; 2)CVSS-T:翻译语音是从相应的源语音转移的语音。此外,CVSS还提供了与翻译语音中的发音相匹配的规范化翻译文本。在每个版本的CVSS上,我们分别建立了多语种直接S2 ST模型和级联S2 ST模型,验证了语料库的有效性。为了构建强大的级联S2 ST基线,我们在CoVoST 2上训练了一个ST模型,它比之前在没有额外数据的语料库上训练的最先进模型性能高出5.8 BLEU。尽管如此,直接S2 ST模型的性能在从头开始训练时接近强级联基线,并且在从匹配ST模型初始化时,ASR转录翻译只有0.1或0.7 BLEU差异。
2022-06-26 cs.CL cs.SD eess.AS
SpeechGPT-Gen: Scaling Chain-of-Information Speech Generation
Fudan University(复旦大学)
针对SLLM信息建模冗余问题,提出解耦语义与感知信息的CoIG,并构建80亿参数SpeechGPT-Gen,在零样本TTS、语音转换和语音对话中表现优异。
2024-01-25 cs.CL cs.SD eess.AS
"Notic My Speech" -- Blending Speech Patterns With Multimedia
NUS(新加坡国立大学);IIIT-D(德里英迪拉·甘地信息技术学院);Adobe(奥多比)
语音作为一种自然信号由三部分组成--视位(视觉词性)、音素(口语词性)和语言(强加的结构)。然而,视频作为一种媒介,用于交付的语音和多媒体结构大多忽略了语音交付的认知方面。例如,像转码和压缩这样的视频应用程序到目前为止都忽略了语音是如何传递和听到的这一事实。为了缩小语音理解和多媒体视频应用之间的差距,在本文中,我们通过模拟视觉语音的感知并展示其在视频压缩上的用例来展示初步实验。另一方面,在视觉语音识别领域,现有的研究大多将其建模为分类问题,而忽略了视图,音素,视位和语音感知之间的相关性。这导致解决方案进一步远离人类感知的工作方式。为了弥补这一差距,我们提出了一个视图-时间注意力机制模型的视图依赖性和视觉的重要性在语音识别和理解。我们在三个公开的视觉语音识别数据集上进行了实验。实验结果表明,我们提出的方法优于现有的工作4.99%的视位出错率。此外,我们表明,我们的模型的多视图语音的理解和人类的感知之间有很强的相关性。该特性有益于下游应用,例如视频压缩和流传输,其中可以压缩或消除大量不太重要的帧,同时能够最大限度地保持人类语音理解,具有良好的用户体验。
2020-06-12 cs.CL cs.SD eess.AS
Enhanced Direct Speech-to-Speech Translation Using Self-supervised Pre-training and Data Augmentation
Meta AI
直接语音到语音翻译(S2 ST)模型遭受数据稀缺问题,因为与包括自动语音识别(ASR)、机器翻译(MT)和文本到语音(TTS)合成的常规级联系统可用的数据量相比,几乎不存在并行S2 ST数据。在这项工作中,我们探索了使用未标记语音数据和数据增强的自监督预训练来解决这个问题。我们利用最近提出的语音到单元翻译(S2 UT)框架,该框架将目标语音编码为离散表示,并通过研究语音编码器和离散单元解码器的预训练,将适用于语音到文本翻译(S2 T)的预训练和有效的部分微调技术转移到S2 UT域。我们对西班牙语-英语翻译的实验表明,与平均6.6-12.1 BLEU增益的多任务学习相比,自监督预训练始终提高了模型性能,并且可以进一步与数据增强技术相结合,该技术应用MT来创建弱监督训练数据。音频样本可在https://facebookresearch.github.io/speech_translation/enhanced_direct_s2st_units/index.html上获得。
2022-09-13 cs.CL cs.SD eess.AS
Deep Speech Based End-to-End Automated Speech Recognition (ASR) for Indian-English Accents
Indian Institute of Science Education and Research (IISER) Berhampur(贝兰布尔印度科学教育与研究院(IISER))
自动语音识别是计算机科学和语言学的交叉学科应用,它使我们能够从发出的语音波形中获得转录。它在军事上有几个应用,如高性能战斗机,直升机,空中交通管制员。除了军事领域,语音识别还用于医疗保健、残疾人等领域。ASR一直是一个活跃的研究领域。语音到文本(STT)的几个模型和算法已经提出。最近的一个是Mozilla Deep Speech,它基于百度的Deep Speech研究论文。Deep Speech是使用端到端深度学习开发的最先进的语音识别系统,它使用利用多个图形处理单元(GPU)的优化的递归神经网络(RNN)训练系统进行训练。这种训练主要是使用美国英语口音数据集完成的,这导致对其他英语口音的概括性很差。印度是一个多元化的国家。这甚至可以在演讲中看到,有几种英语口音因州而异。在这项工作中,我们使用了迁移学习方法,使用最新的深度语音模型,即,deepspeech-0.9.3,用于开发针对印度英语口音的端到端语音识别系统。这项工作利用微调和数据论证来进一步优化和改进深度语音ASR系统。印度英语口音的印度语TTS数据用于迁移学习和微调预训练的深度语音模型。一个一般的比较之间的未经训练的模型,我们的训练模型和其他可用的语音识别服务的印度英语口音。
2022-04-03 cs.CL cs.SD eess.AS
Sentiment-Aware Automatic Speech Recognition pre-training for enhanced Speech Emotion Recognition
Amazon(亚马逊公司)
提出了一种新的语音情感识别多任务预训练方法。我们在自动语音识别(ASR)和情感分类任务上同时预训练SER模型,以使声学ASR模型更具"情感意识“。我们使用在公开数据上训练的文本到情感模型来生成情感分类的目标。最后,我们对情感注释语音数据的声学ASR进行微调。我们在MSP播客数据集上评估了所提出的方法,在那里我们实现了最好的一致性相关系数(CCC)为0.41的效价预测。
2022-01-27 cs.CL cs.SD eess.AS
A$^3$T: Alignment-Aware Acoustic and Text Pretraining for Speech Synthesis and Editing
University of Waterloo(滑铁卢大学);Baidu Research USA(百度美国研究院);Baidu Research(百度研究院);Oregon State University(俄勒冈州立大学)
最近,语音表示学习已经改善了许多与语音相关的任务,例如语音识别、语音分类和语音到文本的翻译。然而,所有上述任务都是在语音理解的方向上,但对于相反的方向,语音合成,由于生成高质量语音的挑战性,表征学习的潜力尚未实现。为了解决这个问题,我们提出了我们的框架,Alignment-Aware Acoustic-Text Pretraining(A $^3$ T),它在训练过程中使用文本输入和声学文本对齐来重建掩蔽的声学信号。通过这种方式,预训练的模型可以生成高质量的重建谱图,其可以直接应用于语音编辑和不可见说话人TTS。实验结果表明,$^3$ T在语音编辑方面优于SOTA模型,并且在没有外部说话人确认模型的情况下改善了多说话人语音合成。
2022-06-18 cs.CL cs.SD eess.AS
Speechless: Speech Instruction Training Without Speech for Low Resource Languages
Menlo Research;Nanyang Technological University(南洋理工大学)
针对低资源语言缺乏语音指令数据及可用TTS模型的问题,该研究提出一种无需TTS的方法,通过语义表示对齐微调LLM,为低资源语言语音助手构建提供了新路径。
2025-05-23 cs.CL cs.SD eess.AS
Inappropriate Pause Detection In Dysarthric Speech Using Large-Scale Speech Recognition
Sogang University(西江大学);Seoul Hospital(首尔医院);Ewha Womans University College of Medicine(梨花女子大学医学院)
本文提出将带不当停顿预测层的大规模ASR模型扩展用于构音障碍语音的端到端不当停顿检测,并设计标注方案与独立评估指标,实验取得14.47%的不当停顿错误率且优于基线。
2024-02-29 cs.CL cs.SD eess.AS
ERNIE-SAT: Speech and Text Joint Pretraining for Cross-Lingual Multi-Speaker Text-to-Speech
Baidu Inc.(百度公司);University of Chinese Academy of Sciences(中国科学院大学);University of Waterloo(滑铁卢大学);Oregon State University(俄勒冈州立大学)
语音表征学习提高了语音理解和语音合成任务的单一语言。然而,它在跨语言场景中的能力还没有被探索。在本文中,我们扩展了跨语言多说话人语音合成任务的预训练方法,包括跨语言多说话人语音克隆和跨语言多说话人语音编辑。我们提出了一个语音-文本联合预训练框架,在这个框架中,我们随机屏蔽了给定语音示例及其转录的声谱图和音素。通过学习重构不同语言输入的掩蔽部分,我们的模型比基于说话人嵌入的多说话人TTS方法有了很大的改进。此外,我们的框架对于训练和推理都是端到端的,无需任何微调。在跨语言多说话人语音克隆和跨语言多说话人语音编辑任务中,我们的实验表明,我们的模型优于基于说话人嵌入的多说话人TTS方法。
2022-12-04 cs.CL cs.SD eess.AS
Improving Speech-to-Speech Translation Through Unlabeled Text
Meta AI
直接语音到语音翻译(S2 ST)是翻译范式中最具挑战性的问题之一,由于S2 ST数据的显着稀缺。虽然已经通过级联预训练语音识别(ASR)、机器翻译(MT)和文本到语音(TTS)模型来努力增加来自未标记语音的数据大小;但是未标记文本仍然相对未被充分利用来改进S2 ST。我们提出了一种有效的方法来利用大量现有的未标记的文本从不同的语言来创建大量的S2 ST数据,通过应用各种声学效果,以提高S2 ST的性能所产生的合成数据。从经验上讲,我们的方法优于西班牙语-英语翻译的最高2 BLEU。所提出的方法的显着收益证明在极低的资源设置为西班牙语-英语和俄语-英语翻译。
2022-10-26 cs.CL cs.SD eess.AS
ESPnet-SpeechLM: An Open Speech Language Model Toolkit
Carnegie Mellon University(卡内基梅隆大学);Mitsubishi Electric Research Laboratories(三菱电机研究所);LY Corporation(LY公司);Renmin University of China(中国人民大学);Brno University of Technology(布尔诺理工大学);NVIDIA Research(英伟达研究院)
ESPnet-SpeechLM是一个开放工具包,将语音处理任务标准化为序列建模问题,提供数据预处理、预训练、推理和评估的连贯工作流,支持灵活配置,并展示了包括1.7B参数模型在内的多个用例,确保透明可复现。
2025-02-24 cs.CL cs.SD eess.AS
Cross-lingual Self-Supervised Speech Representations for Improved Dysarthric Speech Recognition
Universidad de Antioquia UdeA(安蒂奥基亚大学)
最先进的自动语音识别(ASR)系统在健康语音上表现良好。然而,对受损言语的表现仍然是一个问题。目前的研究探讨了使用Wav 2 Vec自我监督语音表示作为训练构音障碍语音的ASR系统的功能的有用性。构音障碍语音识别特别困难,因为语音的几个方面,如发音、韵律和发声可能受损。具体来说,我们训练一个声学模型,从Wav 2 Vec,Hubert和跨语言XLSR模型中提取的特征。结果表明,在大的未标记的数据上预训练的语音表示可以提高字出错率(WER)的性能。特别是,多语言模型的功能导致WER低于过滤器组(Fbank)或在单一语言上训练的模型。在患有脑瘫引起的构音障碍的英语使用者(UASpeech语料库)、患有帕金森氏症构音障碍的西班牙语使用者(PC-GITA语料库)和患有基于麻痹的构音障碍的意大利语使用者(EasyCall语料库)中观察到改善。与使用Fbank特征相比,基于XLSR的特征分别使UASpeech、PC-GITA和EasyCall语料库的WER减少了6.8%、22.0%和7.0%。
2022-04-04 cs.CL cs.SD eess.AS
SpeechAlign: Aligning Speech Generation to Human Preferences
Fudan University(复旦大学)
本文提出 SpeechAlign,通过构建黄金与合成编解码器令牌的偏好数据集并迭代进行偏好优化,使语音语言模型对齐人类偏好、弥合训练推理分布差距。
2024-04-08 cs.CL cs.SD eess.AS
FiLM-Based Speaker Conditioning of a SpeechLLM for Pathological Speech Recognition
Telefónica Innovación DigitalSpain(西班牙电信创新数字研究院);Universidad Autónoma de MadridSpain(马德里自治大学);Brno University of TechnologyCzech Republic(捷克布拉格技术大学)
本研究提出通过特征线性调制(FiLM)将x-vector说话人信息注入冻结的ASR编码器各Transformer层,实现对病理语音的说话人自适应,在不修改基础模型权重的情况下提升识别性能,并保持对非条件化语音的问答能力。
2026-06-04 cs.CL cs.SD eess.AS
SeamlessExpressiveLM: Speech Language Model for Expressive Speech-to-Speech Translation with Chain-of-Thought
Meta AI
提出单一语音语言模型SeamlessExpressiveLM,利用思维链提示将语音到语音翻译分解为语义翻译与风格迁移两步,在语义质量和风格迁移上优于级联模型且参数效率更高。
2024-05-30 cs.AI cs.CL cs.SD
Training Neural Speech Recognition Systems with Synthetic Speech Augmentation
NVIDIA(英伟达)
构建准确的自动语音识别(ASR)系统需要一个大型数据集,该数据集包含由不同说话者集合产生的多个小时的标记语音样本。缺乏这种开放的免费数据集是阻碍ASR研究进步的主要问题之一。为了解决这个问题,我们建议用合成语音来增强自然语音数据集。我们训练非常大的端到端神经语音识别模型使用LibriSpeech数据集与合成语音增强。这些新的模型实现了最先进的字出错率(WER)的字符级为基础的模型,而无需外部语言模型。
2018-11-02 cs.CL cs.LG cs.SD
Vec-Tok Speech: speech vectorization and tokenization for neural speech generation
Northwestern Polytechnical University(西北工业大学);Ximalaya Inc.(喜马拉雅公司)
Vec-Tok Speech提出基于语音向量和语义标记的编解码器,结合语言模型与BPE,统一多种语音生成任务,实现高保真和零样本能力,性能优于现有模型。
2023-10-12 cs.SD eess.AS
SpeechUT: Bridging Speech and Text with Hidden-Unit for Encoder-Decoder Based Speech-Text Pre-training
University of Science and Technology of China(中国科学技术大学);Microsoft(微软);Microsoft Research Asia(微软亚洲研究院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
单通道预训练的快速发展促使研究者更加关注跨通道预训练方法。在本文中,我们提出了一个统一的模态语音单元文本预训练模型,SpeechUT,连接语音编码器和文本解码器的表示与共享的单元编码器。利用隐藏单元作为对齐语音和文本的接口,我们可以将语音到文本模型分解为语音到单元模型和单元到文本模型,它们可以分别使用未配对的语音和文本数据进行联合预训练。我们提出的SpeechUT是微调和自动语音识别(ASR)和语音翻译(ST)的任务进行评估。实验结果表明,SpeechUT在强基线上得到了实质性的改进,并在LibriSpeech ASR和MuST-C ST任务上实现了最先进的性能。为了更好地理解建议的演讲稿,进行了详细的分析。代码和预训练模型可在https://aka.ms/SpeechUT上获得。
2022-10-07 cs.CL eess.AS
DisfluencyFixer: A tool to enhance Language Learning through Speech To Speech Disfluency Correction
IIT Bombay(印度理工学院孟买分校)
DisfluencyFixer通过ASR、不流利修正和TTS流水线实现英语和印地语的语音到语音不流利修正,并提供转写、不流利类型及计数,为语言学习者提供一站式流利度提升工具。
2023-05-26 cs.CL cs.LG cs.SD
FT Speech: Danish Parliament Speech Corpus
IT University of Copenhagen(哥本哈根信息技术大学);Interactions LLC(Interactions有限责任公司)
本文介绍了FT演讲,一个新的语音语料库创建的记录会议的丹麦议会,也被称为Folketing(FT)。该语料库包含超过1,800小时的转录语音,共有434名发言者。它是显着更大的持续时间,词汇量和自发的讲话量比现有的公共语音语料库丹麦,这在很大程度上是有限的朗读和听写数据。我们概述了设计考虑,包括预处理方法和对齐过程。为了评估语料库的质量,我们训练自动语音识别系统上的新资源,并将它们与丹麦部分Språkbanken,丹麦最大的公共ASR语料库培训的系统进行比较。我们的基线结果表明,我们在新语料库上实现了14.01 WER。FT Speech与域内语言数据的组合提供了与专门在Sprakbanken上训练的模型相当的结果,表明FT Speech可以很好地转移到这个数据集。有趣的是,我们的研究结果表明,情况并非相反。这表明FT Speech为促进更多自发语音的丹麦语ASR研究提供了宝贵的资源。
2020-10-28 cs.CL cs.LG cs.SD
FLEURS: Few-shot Learning Evaluation of Universal Representations of Speech
Meta AI Research(Meta人工智能研究院);Google Research(谷歌研究院);Carnegie Mellon University(卡内基梅隆大学)
我们介绍了FLEURS,通用语音表示基准的少样本学习评估。FLEURS是一个基于机器翻译FLoRes-101基准测试的102种语言的n路并行语音数据集,每种语言大约有12小时的语音监控。FLEURS可用于各种语音任务,包括自动语音识别(ASR)、语音语言识别(Speech LangID)、翻译和检索。在本文中,我们为基于mSLAM等多语言预训练模型的任务提供了基线。FLEURS的目标是使语音技术在更多的语言和催化低资源语音理解的研究。
2022-05-25 cs.CL cs.LG cs.SD
SimClass: A Classroom Speech Dataset Generated via Game Engine Simulation For Automatic Speech Recognition Research
College of Education(教育学院)
针对课堂语音与噪声数据稀缺问题,本文提出基于游戏引擎合成课堂噪声的可扩展方法,并构建 SimClass 数据集,实验表明其可有效近似真实课堂语音。
2025-06-10 cs.AI cs.CL cs.SD
SpeechT5: Unified-Modal Encoder-Decoder Pre-Training for Spoken Language Processing
Southern University of Science and Technology(南方科技大学);The Hong Kong Polytechnic University(香港理工大学);Tongji University(同济大学);Microsoft(微软);Peng Cheng Laboratory(鹏城实验室)
受T5(Text-To-Text Transfer Transformer)在预训练自然语言处理模型中的成功启发,我们提出了一个统一模态SpeechT5框架,该框架探索了用于自监督语音/文本表示学习的编码器-解码器预训练。SpeechT5框架由一个共享的编码器-解码器网络和六个特定于模态(语音/文本)的前/后网络组成。在通过前网络对输入语音/文本进行预处理之后,共享的编码器-解码器网络对序列到序列的变换进行建模,然后后网络基于解码器的输出以语音/文本模态生成输出。利用大规模未标记的语音和文本数据,我们对SpeechT5进行了预训练,以学习统一的模态表示,希望提高语音和文本的建模能力。为了将文本和语音信息对齐到这个统一的语义空间中,我们提出了一种跨模态矢量量化方法,该方法将语音/文本状态与潜在单元随机混合,作为编码器和解码器之间的接口。广泛的评估表明,所提出的SpeechT5框架在各种各样的口头语言处理任务,包括自动语音识别,语音合成,语音翻译,语音转换,语音增强和说话人识别的优越性。我们在www.example.com上发布我们的代码和模型。
2022-05-24 cs.CL cs.LG cs.SD
Mandarin-English Code-switching Speech Recognition with Self-supervised Speech Representation Models
National Taiwan University(台湾大学)
语码转换在日常会话中很常见,在一个句子中使用多种语言。CS语音识别的难点在于语言的交替和缺乏转录数据。因此,本文使用最近成功的自监督学习(SSL)方法,利用许多未标记的语音数据没有CS。我们发现,隐藏表示的SSL模型提供帧级的语言身份,即使该模型只训练英语语音。用自监督语音表示联合训练CTC和语言识别模块提高了CS语音识别性能。此外,使用多语种的语音数据进行预训练,获得了最佳的CS语音识别。
2021-10-07 cs.CL eess.AS
StreamSpeech: Simultaneous Speech-to-Speech Translation with Multi-task Learning
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Key Laboratory of AI Safety, Chinese Academy of Sciences(中国科学院人工智能安全重点实验室);School of Future Science and Engineering, Soochow University(苏州大学未来科学与工程学院)
提出StreamSpeech模型,通过多任务学习统一框架联合学习翻译与同声策略,实现离线与同声语音识别、翻译及合成的无缝处理,在CVSS基准上达到SOTA,并提供高质量中间结果。
2024-06-05 cs.AI cs.CL cs.SD
Unpaired Speech Enhancement by Acoustic and Adversarial Supervision for Speech Recognition
KAIST(韩国科学技术院);Mokwon University(木原大学);KAIST Institute for Artificial Intelligence(韩国科学技术院人工智能研究所)
许多语音增强方法试图学习噪声和干净语音之间的关系,使用声学室模拟器获得。我们指出了几个局限性的增强方法依赖于干净的语音目标,这项工作的目标是提出一种替代学习算法,称为声学和对抗监督(AAS)。AAS使得增强的输出既最大化了预训练的声学模型上的转录的可能性,又具有干净语音的一般特征,这提高了对看不见的噪声语音的泛化。我们采用连接主义的时间分类和不成对的条件边界平衡生成对抗网络作为AAS的损失函数。AAS在两个数据集上进行了测试,包括加性噪声没有混响和混响,Librispeech + DEMAND和CHiME-4。通过可视化不同损失组合的增强语音,我们展示了每个监督的作用。AAS实现了较低的字出错率比其他国家的最先进的方法使用干净的语音目标在两个数据集。
2018-11-06 cs.CL cs.LG cs.SD
UTDUSS: UTokyo-SaruLab System for Interspeech2024 Speech Processing Using Discrete Speech Unit Challenge
The University of Tokyo(东京大学)
我们提出UTDUSS,UTokyo-SaruLab系统提交给Interspeech 2024使用离散语音单元挑战的语音处理。挑战的重点是使用从大型语音语料库中学习的离散语音单元来完成某些任务。我们将UTDUSS系统提交给两个文本到语音的轨道:声码器和声学+声码器。我们的系统采用了神经音频编解码器(NAC)只在语音语料库上进行预训练,这使得学习的编解码器代表了高保真语音重建所需的丰富声学特征。对于声学+声码器音轨,我们训练了一个基于Transformer编码器-解码器的声学模型,该编码器-解码器从文本输入预测预训练的NAC标记。我们描述了构建这些模型的策略,例如数据选择,下采样和超参数调整。我们的系统分别在声码器和声学+声码器音轨中排名第二和第一。
2024-03-20 cs.SD eess.AS
SSR-Speech: Towards Stable, Safe and Robust Zero-shot Text-based Speech Editing and Synthesis
Johns Hopkins University(约翰斯·霍普金斯大学);Tencent AI Lab(腾讯AI实验室);Nanyang Technological University(南洋理工大学)
SSR-Speech提出基于Transformer解码器与无分类器引导的神经编解码器自回归模型,结合水印Encodec和原始未编辑片段重建,在零样本语音编辑与合成中实现稳定、安全、鲁棒的最先进性能。
2025-01-02 cs.SD eess.AS
Improving robustness of spontaneous speech synthesis with linguistic speech regularization and pseudo-filled-pause insertion
The University of Tokyo(东京大学)
本文提出一种结合语言语音正则化与伪填充停顿插入的训练方法,通过稳定非填充停顿语音合成并利用预测模型采样伪填充停顿,显著提升了自发语音合成在面对多样化填充停顿插入时的鲁棒性和自然度。
2023-09-19 cs.SD eess.AS
PolyVoice: Language Models for Speech to Speech Translation
ByteDance(字节跳动)
本研究提出基于语言模型的S2ST框架PolyVoice,采用无监督离散语音单元适配无文字语言,结合VALL-E X构建单元音频模型保留原语音特征,在中英、英西翻译任务中实现高翻译与音频质量。
2023-06-13 cs.CL eess.AS
Emotion-Coherent Speech Data Augmentation and Self-Supervised Contrastive Style Training for Enhancing Kids's Story Speech Synthesis
Supply Chain MultiTech R\&D Centre, Pok Fu Lam, Hong Kong \
本文提出通过情感一致的语音数据增强和自监督对比训练,提升儿童故事语音合成的表达性和自然度。
2026-02-10 cs.SD eess.AS
ToneUnit: A Speech Discretization Approach for Tonal Language Speech Synthesis
The Chinese University of Hong Kong(香港中文大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
本文提出ToneUnit框架,利用声调标注数据作为CTC监督学习声调感知的离散语音单元,以解决中文语音合成中的“声调偏移”问题,并在中英文合成中验证了其有效性。
2024-09-03 cs.SD eess.AS
Composition of Deep and Spiking Neural Networks for Very Low Bit Rate Speech Coding
Idiap Research Institute(伊迪亚普研究所)
大多数当前的甚低比特率(VLBR)语音编码系统使用基于隐马尔可夫模型(HMM)的语音识别/合成技术。这允许逐段地传输信息(例如音素),从而降低比特率。然而,基于音素语音识别的编码器可能产生分段错误的突发。分段错误进一步传播到可选的超分段(如音节)信息编码。基于HMM的语音编码与基音参数化中的浊音检测错误一起,产生语音不连续性和不自然的语音声音伪像。在本文中,我们提出了一种新的VLBR语音编码框架的基础上,神经网络(NN)的端到端的语音分析和合成没有HPLF。语音编码框架依赖于语音的语音(亚语音)表示,并且它被设计为深度和尖峰NN的组成:发射机处的一组语音分析器和接收机处的语音合成器,两者都实现为深度NN,以及尖峰NN作为音节边界的增量和鲁棒编码器,用于连续基频(F0)的编码。语音特征的组合定义了比基于HMM的语音编码器定义的语音特征多得多的声音模式,并且更精细的分析/合成代码有助于更平滑的编码语音。由于编码语音的不连续性和语音伪影较少,听众明显更喜欢基于NN的方法。在语音编码和解码期间需要单个前向通路。所提出的VLBR语音编码以大约360比特/秒的比特率工作。
2016-08-29 cs.CL cs.SD
WESPER: Zero-shot and Realtime Whisper to Normal Voice Conversion for Whisper-based Speech Interactions
The University of Tokyo(东京大学);Sony Computer Science Laboratories(索尼计算机科学实验室)
识别耳语语音并将其转换为正常语音为语音交互创造了许多可能性。由于耳语语音的声压明显低于正常语音,因此可以在公共场所作为一种半无声的语音交互,而不会被他人听到。将耳语转换为正常语音还可以提高有语音或听力障碍的人的语音质量。然而,传统的语音转换技术不提供足够的转换质量或需要由成对的低声和正常语音发声组成的说话者相关的数据集。为了解决这些问题,我们提出了WESPER,一个zero-shot,实时耳语到正常的语音转换机制的基础上自监督学习。WESPER由一个语音到单元(STU)编码器和一个单元到语音(UTS)解码器组成,STU编码器生成耳语和正常语音共同的隐藏语音单元,UTS解码器从编码的语音单元重建语音。与现有的方法不同,这种转换是用户独立的,并且不需要用于低声和正常语音的配对数据集。UTS解码器可以从语音单元中重建任何目标说话人的语音,并且它只需要未标记的目标说话人的语音数据。我们证实,从耳语转换的语音质量得到了改善,同时保留了其自然的韵律。此外,我们还证实了所提出的方法对语言或听力残疾人进行语音重建的有效性。(项目页面:http://lab.rekimoto.org/projects/wesper)
2023-03-03 cs.HC cs.SD eess.AS
SpeechPainter: Text-conditioned Speech Inpainting
Google(谷歌)
我们提出了SpeechPainter,一个模型,用于利用辅助文本输入来填充语音样本中长达一秒的空白。我们证明,该模型执行语音修补与适当的内容,同时保持扬声器的身份,韵律和记录环境条件,并概括为看不见的扬声器。我们的方法显著优于使用自适应TTS构建的基线,由人类评分员在并排偏好和MOS测试中判断。
2022-03-30 cs.LG cs.SD eess.AS
SpeechLM: Enhanced Speech Pre-Training with Unpaired Textual Data
University of Science and Technology of China(中国科学技术大学);Harbin Institute of Technology(哈尔滨工业大学);Microsoft(微软)
针对语音与文本模态差异大、难用文本提升语音预训练的问题,提出SpeechLM模型,通过两种离散分词器和统一Transformer对齐两类数据的离散语义空间,在多项口语处理任务上实现显著性能提升。
2023-06-15 cs.AI cs.CL eess.AS
SpeeChain: A Speech Toolkit for Large-Scale Machine Speech Chain
本文介绍了SpeeChain,这是一个基于Pytorch的开源工具包,旨在开发大规模使用的机器语音链。第一个版本的重点是TTS到ASR链,这是机器语音链的核心组件,指的是通过未说出的文本为ASR进行TTS数据增强。为了为大规模TTS-to-ASR链构建高效的流水线,我们实现了易于使用的多GPU批处理级模型推理、多数据加载器批处理生成和动态数据选择技术。在本文中,我们首先解释了TTS-to-ASR链的整体过程和每个步骤的难点。然后,我们提出了一个详细的消融研究不同类型的未标记的数据,数据过滤阈值,批次组成,和真正的合成数据的比例。我们在LibriSpeech的train_clean_460上的实验结果表明,我们的TTS-to-ASR链可以显着提高半监督设置中的WER。
2023-01-08 cs.CL cs.LG eess.AS
Towards Improving NAM-to-Speech Synthesis Intelligibility using Self-Supervised Speech Models
IIIT Hyderabad(印度信息技术与通信技术研究院海得拉巴分校);TCS Research(塔塔咨询服务研究中心)
本文提出一种利用自监督和Seq2Seq学习模拟真实语音的新方法,显著提升了NAM到语音转换的可懂度,在MCD指标上超越SOTA 29.08%,并以42.57%的WER为扩充后的语料库设定了基准。
2024-07-26 cs.AI cs.SD eess.AS
A Bengali HMM Based Speech Synthesis System
Center for Educational Technology, Indian Institute of Technology Kharagpur(印度理工学院克勒格普尔分校教育技术中心)
本文介绍了基于HMM的TTS系统产生孟加拉语语音的能力。在这种合成方法中,语音参数的轨迹是从训练的隐马尔可夫模型生成的。从这些语音参数合成最终语音波形。在我们的实验中,频谱特性由梅尔倒谱系数表示。本文使用带注释的孟加拉语语音数据库研究了训练和合成问题。实验评估表明,开发的文本到语音系统是能够产生足够自然的语音孟加拉语的可懂度和语调。
2014-06-16 cs.CL cs.MM cs.SD
Intelligible Lip-to-Speech Synthesis with Speech Units
KAIST(韩国科学技术院)
本文提出一种唇语到语音合成框架,通过引入量化自监督语音单元作为额外预测目标,在无需文本标注的情况下增强内容监督,并结合多输入声码器提升波形生成质量,实现了从无声唇动视频合成可懂语音。
2023-05-31 cs.CV cs.SD eess.AS
Learning to Maximize Speech Quality Directly Using MOS Prediction for Neural Text-to-Speech
KAIST(韩国科学技术院);Konan Technology Inc.(科南技术公司)
虽然最近的神经文本转语音(TTS)系统已经实现了高质量的语音合成,但是存在TTS系统生成低质量语音的情况,这主要是由有限的训练数据或知识提取期间的信息丢失引起的。因此,我们提出了一种新的方法来提高语音质量,通过训练的TTS模型的监督下的感知损失,衡量最大可能的语音质量分数和预测之间的距离。我们首先预训练平均意见得分(MOS)预测模型,然后训练TTS模型,以最大化合成语音的MOS使用预训练MOS预测模型。所提出的方法可以独立地应用,无论TTS模型的结构或语音质量下降的原因,并有效地不增加推理时间或模型的复杂度。MOS和电话错误率的评估结果表明,我们提出的方法改善了以前的模型在自然度和可懂度。
2022-05-25 cs.LG cs.SD eess.AS
Face-StyleSpeech: Enhancing Zero-shot Speech Synthesis from Face Images with Improved Face-to-Speech Mapping
KAIST(韩国科学技术院);AITRICS
本文提出Face-StyleSpeech零样本TTS模型,通过分离人脸编码器与韵律编码器,仅从人脸图像生成自然语音,实验证明其效果优于基线方法且适用于未见过的面孔。
2024-12-28 cs.AI cs.CL cs.CV
EmoAttack: Utilizing Emotional Voice Conversion for Speech Backdoor Attacks on Deep Speech Classification Models
School of Cyberspace Science Xiangtan University Xiangtan, China;School of Cyberspace Science Xiangtan University Beijing, China;School of Software \& Microelectronics Peking University Beijing, China
本文提出 EmoAttack,将情感语音转换作为后门触发器攻击关键词检出与说话人验证模型,实验证明其攻击成功率高且强烈情感更适合作目标。
2024-09-06 cs.AI cs.SD eess.AS
Simultaneous Speech-to-Speech Translation System with Neural Incremental ASR, MT, and TTS
Nara Institute of Science and Technology(奈良先端科学技术大学院大学)
本文介绍了一个新开发的,同时神经语音到语音翻译系统及其评价。该系统由三个全增量神经处理模块组成,分别用于自动语音识别(ASR)、机器翻译(MT)和文本到语音合成(TTS)。我们研究了其在系统的耳语音跨度和说话延迟以及模块级性能的整体延迟。
2020-11-11 cs.CL