Investigating salient representations and label Variance in Dimensional Speech Emotion Analysis
Apple(苹果公司)
本研究在维度语音情感分析中,发现预训练表征空间内存在低维子空间,可降低模型复杂度且不损性能,并通过对评分者意见方差建模提升泛化与鲁棒性。
2023-12-17 cs.AI cs.CL cs.LG
Time-Variance Aware Real-Time Speech Enhancement
Microsoft Research Asia(微软亚洲研究院);Communication University of China(中国传媒大学)
现实世界的全双工通信应用中经常出现时变因素。这些问题有的是由于环境噪声的非平稳性、声径的变化等复杂环境引起的,有的则是由于通信系统本身的原因引起的,如近端信号和远端信号之间的动态时延。当前基于端到端深度神经网络(DNN)的方法通常隐式地对时变分量进行建模,并且难以处理实时语音增强中不可预测的时变。为了显式地捕获时变组件,我们提出了一个动态内核生成(DKG)模块,该模块可以作为一个可学习的插件引入到基于DNN的端到端管道中。具体地,DKG模块生成关于每个输入音频帧的卷积核,使得DNN模型能够在推理期间根据输入信号动态地调整其权重。实验结果表明,DKG模块在联合声学回声消除(AEC)和深度噪声抑制(DNS)任务中,提高了模型在时变场景下的性能。
2023-02-25 cs.LG cs.SD eess.AS
Modeling speech emotion with label variance and analyzing performance across speakers and unseen acoustic conditions
Apple(苹果公司)
本研究提出使用情感评分的概率密度函数作为目标以解决标签不确定性,并结合基于显著性的基础模型表示选择训练语音情感模型,同时强调跨说话人、性别及多测试集评估的重要性。
2025-03-24 cs.AI cs.LG cs.SD
Using Rater and System Metadata to Explain Variance in the VoiceMOS Challenge 2022 Dataset
Google(谷歌);University College Dublin(都柏林大学学院)
非参考语音质量模型对于越来越多的应用是重要的。VoiceMOS 2022挑战赛提供了一个合成语音转换和带有主观标签的文本到语音样本的数据集。这项研究着眼于可以解释的语音质量的主观评级从元数据和数据集的分布不平衡的方差量。语音质量模型使用wav2vec 2.0构建,具有额外的元数据特征,包括评分员组和系统标识符,并获得了竞争性指标,包括斯皮尔曼等级相关系数(SRCC)为0.934和MSE为0.088,在系统级,在话语级为0.877和0.198。使用测试限制或盲化的数据和元数据进一步改进了度量。元数据分析表明,系统级指标并不代表模型的系统级预测,因为验证和测试数据集上每个系统使用的话语数量变化很大。我们的结论是,在一般情况下,条件应该有足够的话语在测试集约束样本的平均误差,并在系统之间的话语计数相对平衡,否则话语水平的度量可能更可靠和可解释的。
2022-09-14 cs.LG cs.SD eess.AS
SpeechStew: Simply Mix All Available Speech Recognition Data to Train One Large Neural Network
Google Research(谷歌研究院)
我们提出了SpeechStew,一个语音识别模型,该模型是在各种公开的语音识别数据集的组合上训练的:AMI,广播新闻,共同的声音,LibriSpeech,Switchboard/Fisher,Tedews和华尔街日报。SpeechStew只是将所有这些数据集混合在一起,而没有对数据集进行任何特殊的重新加权或重新平衡。SpeechStew在各种任务中实现SoTA或接近SoTA的结果,而无需使用外部语言模型。我们的结果包括AMI-IHM上的9.0\% WER,Switchboard上的4.7\% WER,CallHome上的8.3\% WER,以及WSJ上的1.3\%,这显著优于具有强外部语言模型的先前工作。我们还证明了SpeechStew学习强大的迁移学习表示。我们在嘈杂的低资源语音数据集CHiME-6上微调SpeechStew。在没有语言模型的情况下,我们实现了38.9\%的WER,相比之下,在有语言模型的情况下,强HMM基线的WER为38.6\%。
2021-04-27 cs.CL cs.LG
LPCNet: Improving Neural Speech Synthesis Through Linear Prediction
Mozilla;Google LLC(谷歌有限责任公司)
神经语音合成模型最近已经证明了为文本到语音和压缩应用合成高质量语音的能力。这些新模型通常需要强大的GPU来实现实时操作,因此能够降低其复杂性将为许多新应用开辟道路。我们提出了LPCNet,这是一种WaveRNN变体,将线性预测与递归神经网络相结合,可显着提高语音合成的效率。我们证明,LPCNet可以实现显着更高的质量比WaveRNN相同的网络规模和高质量的LPCNet语音合成是可实现的复杂度低于3 GFLOPS。这使得在低功耗设备(如嵌入式系统和手机)上部署神经合成应用程序变得更加容易。
2019-02-19 cs.LG cs.SD eess.AS
A network of deep neural networks for distant speech recognition
Montreal Institute for Learning Algorithms (MILA)(蒙特利尔学习算法研究所(MILA))
尽管最近在远程语音识别中取得了显著的进步,但是现有技术仍然缺乏鲁棒性,特别是当满足以非平稳噪声和混响为特征的不利声学条件时。当前系统的一个突出限制在于在远程语音识别过程中涉及的各种技术之间缺乏匹配和通信。例如,语音增强和语音识别模块通常是独立训练的。此外,语音增强通常帮助语音识别器,但后者的输出通常不用于改善语音增强。为了解决这两个问题,我们提出了一种基于深度神经网络网络的新架构,其中所有组件都经过联合训练,并且由于它们之间的完整通信方案而更好地相互合作。使用不同的数据集,任务和声学条件进行的实验表明,所提出的框架可以超越其他竞争解决方案,包括最近的联合训练方法。
2017-03-23 cs.CL cs.LG
Training Neural Speech Recognition Systems with Synthetic Speech Augmentation
NVIDIA(英伟达)
构建准确的自动语音识别(ASR)系统需要一个大型数据集,该数据集包含由不同说话者集合产生的多个小时的标记语音样本。缺乏这种开放的免费数据集是阻碍ASR研究进步的主要问题之一。为了解决这个问题,我们建议用合成语音来增强自然语音数据集。我们训练非常大的端到端神经语音识别模型使用LibriSpeech数据集与合成语音增强。这些新的模型实现了最先进的字出错率(WER)的字符级为基础的模型,而无需外部语言模型。
2018-11-02 cs.CL cs.LG cs.SD
A review of on-device fully neural end-to-end automatic speech recognition algorithms
Samsung Electronics(三星电子);Samsung Research(三星研究院)
在本文中,我们回顾了各种端到端的自动语音识别算法及其优化技术的设备上的应用。传统的语音识别系统包括大量的离散组件,例如声学模型、语言模型、发音模型、文本规范器、逆文本规范器、基于加权有限状态变换器(WFST)的解码器等。通常需要非常大的大语言模型(高达100 GB)。因此,相应的WFST大小变得巨大,这禁止了它们在设备上的实现。最近,已经提出了全神经网络端到端语音识别算法。示例包括基于连接时间分类(CTC)的语音识别系统、循环神经网络转换器(RNN-T)、基于注意力的编码器-解码器模型(AED)、单调组块注意力(MoChA)、基于转换器的语音识别系统等。与传统算法相比,这些完全基于神经网络的系统需要小得多的存储器占用。因此它们的设备上实现已经变得可行。在本文中,我们回顾这样的端到端的语音识别模型。我们广泛地讨论了它们的结构,性能和优势相比,传统的算法。
2021-08-27 cs.CL cs.LG
Comparative Study between Adversarial Networks and Classical Techniques for Speech Enhancement
Universidade Federal do ABC(ABC联邦大学)
语音增强是许多应用的关键任务。其中探索最多的技术是Wiener滤波器和LogMMSE,但探索适合此任务的深度学习的方法,如SEGAN,已经提出了相关的结果。这项研究比较了上述技术在85种噪声条件下的质量,可懂度和失真的性能;并得出结论,经典技术在大多数情况下继续表现出优越的结果,但在严重的噪声情况下,SEGAN表现更好,方差更低。
2019-10-21 cs.LG eess.AS
SVLDL: Improved Speaker Age Estimation Using Selective Variance Label Distribution Learning
Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司)
从一个单一的讲话估计年龄是一个经典的和具有挑战性的话题。虽然标签分布学习(LDL)可以很好地表示相邻的不可区分的年龄,但是每个话语的年龄估计的不确定性因人而异,即,年龄分布的方差不同。为了解决这个问题,我们提出了选择性方差标签分布学习(SVLDL)方法,以适应不同年龄分布的方差。此外,该模型使用WavLM作为语音特征提取器,并增加了性别识别的辅助任务,以进一步提高性能。在损失函数上应用了两种技巧来增强年龄估计的鲁棒性和改善拟合的年龄分布的质量。大量的实验表明,该模型在NIST SRE 08 -10和真实世界数据集的各个方面都达到了最先进的性能。
2022-11-16 cs.LG cs.SD eess.AS
Transduce and Speak: Neural Transducer for Text-to-Speech with Semantic Token Prediction
Seoul National University(首尔大学)
该研究提出基于神经换能器的TTS框架,利用wav2vec2.0的离散语义令牌实现单调对齐,通过解耦的对齐建模与非自回归声学建模降低训练复杂度,在零样本自适应TTS的语音质量、说话人相似度上优于基线,兼具推理速度与韵律可控性优势。
2023-11-08 cs.LG eess.AS
Speaker independence of neural vocoders and their effect on parametric resynthesis speech enhancement
The Graduate Center, CUNY(纽约市立大学研究生院);Brooklyn College(布鲁克林学院)
传统的语音增强系统产生具有折衷质量的语音。在这里,我们建议使用高质量的语音生成能力的神经声码器更好的质量语音增强。我们称之为参数再合成(PR)。在以前的工作中,我们证明了PR系统使用两个神经声码器WaveNet和WaveGlow为单个扬声器生成高质量的语音。这两种声码器传统上都依赖于扬声器。在这里,我们首先表明,当训练足够多的说话者的数据时,这些声码器可以从看不见的说话者(男性和女性)生成语音,其质量与训练中看到的说话者相似。接下来,使用这两个声码器和一个新的声码器LPCNet,我们评估了PR对看不见的扬声器的降噪质量,并表明客观信号和整体质量高于最先进的语音增强系统Wave-U-Net,Wavenet-denoise和SEGAN。此外,在主观质量,多扬声器PR优于甲骨文维纳面具。
2019-11-14 cs.LG cs.SD eess.AS
NESC: Robust Neural End-2-End Speech Coding with GANs
Fraunhofer IIS(弗劳恩霍夫集成电路研究所)
神经网络已被证明是一个强大的工具,以解决在非常低的比特率的语音编码的问题。然而,设计一个可以在现实世界条件下鲁棒运行的神经编码器仍然是一个重大挑战。因此,我们提出了神经端2端语音编解码器(NESC)一个强大的,可扩展的端到端的神经语音编解码器的高质量的宽带语音编码在3 kbps。编码器使用一种新的架构配置,它依赖于我们提出的Dual-PathConvRNN(DPCRNN)层,而解码器架构基于我们以前的工作Streamwise-StyleMelGAN。我们对干净和嘈杂语音的主观听力测试表明,NESC对看不见的条件和信号扰动特别鲁棒。
2022-07-07 cs.LG cs.SD eess.AS
Byakto Speech: Real-time long speech synthesis with convolutional neural network: Transfer learning from English to Bangla
Brainekt AI Lab(Brainekt AI实验室);Khulna University of Engineering and Technology(库尔纳工程技术大学)
语音合成是通过深度学习自动化的具有挑战性的任务之一,也是一种低资源语言,很少有人尝试孟加拉语语音合成。大多数现有的作品只能处理简单的孟加拉语字符脚本,非常短的句子等。这项工作试图通过将Byakta(有史以来第一个基于开源深度学习的双语(孟加拉语和英语)文本)引入语音合成系统来解决这些问题。提出了一种基于语音识别模型的TTS模型自动评分方法。我们还介绍了孟加拉语语音合成模型的测试基准数据集,用于评估语音质量。TTS可在https://github.com/zabir-nabil/bangla-tts上获得
2021-05-31 cs.LG cs.SD eess.AS
Learning to Maximize Speech Quality Directly Using MOS Prediction for Neural Text-to-Speech
KAIST(韩国科学技术院);Konan Technology Inc.(科南技术公司)
虽然最近的神经文本转语音(TTS)系统已经实现了高质量的语音合成,但是存在TTS系统生成低质量语音的情况,这主要是由有限的训练数据或知识提取期间的信息丢失引起的。因此,我们提出了一种新的方法来提高语音质量,通过训练的TTS模型的监督下的感知损失,衡量最大可能的语音质量分数和预测之间的距离。我们首先预训练平均意见得分(MOS)预测模型,然后训练TTS模型,以最大化合成语音的MOS使用预训练MOS预测模型。所提出的方法可以独立地应用,无论TTS模型的结构或语音质量下降的原因,并有效地不增加推理时间或模型的复杂度。MOS和电话错误率的评估结果表明,我们提出的方法改善了以前的模型在自然度和可懂度。
2022-05-25 cs.LG cs.SD eess.AS
A Neural Text-to-Speech Model Utilizing Broadcast Data Mixed with Background Music
NCSOFT Corp.(NCSoft公司)
最近,从诸如互联网或YouTube的各种媒体获得语音数据变得更加容易,但是直接利用它们来训练神经文本转语音(TTS)模型是困难的。干净语音的比例不足,其余部分包括背景音乐。即使使用全局样式标记(GST)。因此,我们提出以下方法来成功地训练具有有限广播数据的端到端TTS模型。首先,通过引入音乐过滤器从语音中去除背景音乐。其次,用过滤后的语音和少量干净的语音训练具有辅助质量分类器的GST-TTS模型。特别地,质量分类器使得GST层的嵌入向量集中于表示输入语音的语音质量(滤波的或干净的)。实验结果表明,该方法合成的语音质量比传统方法高得多。
2021-03-04 cs.LG cs.SD eess.AS
Neural Speech Synthesis on a Shoestring: Improving the Efficiency of LPCNet
Amazon Web Services(亚马逊云科技)
神经语音合成模型可以合成高质量的语音,但是通常需要高计算复杂度来这样做。在以前的工作中,我们介绍了LPCNet,它使用线性预测来显着降低神经合成的复杂性。在这项工作中,我们进一步提高了LPCNet的效率-针对算法和计算改进-使其可用于各种设备。我们证明了合成质量的提高,同时操作速度提高了2.5倍。由此产生的开源LPCNet算法可以在大多数现有手机上执行实时神经合成,甚至可以在某些嵌入式设备中使用。
2022-02-22 cs.LG cs.SD eess.AS
Neural Speech Recognizer: Acoustic-to-Word LSTM Model for Large Vocabulary Speech Recognition
Google, Inc.(谷歌公司)
我们目前的结果表明,它是有可能建立一个有竞争力的,大大简化,大词汇量的连续语音识别系统与整个字作为声学单位。我们直接使用具有CTC损失的深度双向LSTM RNN对大约10万个单词的输出词汇进行建模。该模型是在125,000小时的半监督声学训练数据上训练的,这使我们能够减轻单词模型的数据稀疏问题。我们表明,CTC字模型工作得很好,作为一个端到端的全神经语音识别模型,而不使用传统的上下文相关的子字音素单位,需要一个发音词典,没有任何语言模型删除需要解码。我们证明了CTC单词模型的表现优于一个强大的,更复杂的,最先进的基线与子单词单元。
2016-10-31 cs.CL cs.LG cs.NE
DeepA: A Deep Neural Analyzer For Speech And Singing Vocoding
National University of Singapore(新加坡国立大学);Singapore University of Technology and Design(新加坡科技设计大学);The Chinese University of Hong Kong (Shenzhen)(香港中文大学(深圳))
传统的声码器通常用作分析工具,为诸如语音合成和语音转换之类的下游任务提供可解释的特征。它们是在关于遵循信号处理原理的信号的某些假设下建立的,因此,不容易推广到不同的音频,例如,从语音到唱歌。在本文中,我们提出了一种深度神经分析器,表示为DeepA -一种神经声码器,从输入语音中提取F0和音色/非周期性编码,模拟传统声码器中定义的那些。因此,所得到的参数比其他潜在神经表征更可解释。与此同时,由于深度神经分析器是可学习的,因此预计它将更准确地进行信号重建和操作,并可从语音推广到唱歌。建议的神经分析器是建立在一个变分自动编码器(VAE)架构的基础上。我们表明,DeepA比传统的声码器(WORLD)提高了F0估计。据我们所知,这是第一项致力于开发神经框架以提取可学习的声码器类参数的研究。
2021-10-13 cs.LG cs.SD eess.AS
Single Channel Speech Enhancement Using Temporal Convolutional Recurrent Neural Networks
College of Computer Science, Inner Mongolian University(内蒙古大学计算机学院);Kingsoft AI Laboratory(金山人工智能实验室)
近几十年来,基于神经网络的语音增强方法显著提高了语音增强的性能。大多数方法都是直接或间接地估计出目标语音的时频(T-F)表示,然后利用估计出的T-F表示重新合成波形。在这项工作中,我们提出了时间卷积递归网络(TCRN),这是一种端到端模型,可以直接将噪声波形映射到干净波形。结合卷积和递归神经网络的TCRN能够有效地利用短期和长期信息。Futuremore,我们提出了在前向传播过程中重复下采样和上采样语音的架构。我们表明,与现有的卷积递归网络相比,我们的模型能够提高模型的性能。未来,我们提出了几个关键技术,以稳定的训练过程。实验结果表明,我们的模型始终优于现有的语音增强方法,在语音清晰度和质量。
2020-02-02 cs.LG cs.SD eess.AS
Deep neural network techniques for monaural speech enhancement: state of the art analysis
University of Cambridge(剑桥大学)
本文综述了深度神经网络在单声道语音增强中的主流技术,涵盖特征提取、全局与局部特征建模、监督与无监督训练及预训练模型应用,旨在总结该领域的主要趋势。
2023-06-20 cs.LG cs.SD eess.AS
Speaker-adaptive neural vocoders for parametric speech synthesis systems
NAVER Corp.(NAVER 公司);Yonsei University(延世大学)
本文提出了一种用于参数化文语转换(TTS)系统的说话人自适应神经声码器。最近提出的基于WaveNet的神经语音编码系统成功地产生了一个时间序列的语音信号与自回归框架。然而,当目标说话人的训练数据量不足时,合成高质量的语音仍然是一个挑战。为了在有限训练数据的约束下生成更自然的语音信号,我们提出了一种说话人自适应任务,该任务具有有效的神经声码模型变体。在该方法中,一个说话人无关的训练方法被应用到捕捉通用属性嵌入在多个说话人,然后训练的模型进行优化,以代表目标说话人的具体特征。实验结果验证了所提出的TTS系统与说话人自适应神经声码器优于传统的基于源滤波器模型的声码器和WaveNet声码器,训练无论是说话人相关或说话人无关。特别是,我们的TTS系统实现了3.80和3.77 MOS的韩国男性和韩国女性发言人,分别,即使我们只使用十分钟的语音语料库训练模型。
2020-08-01 cs.LG cs.SD eess.AS
Towards Robust Neural Vocoding for Speech Generation: A Survey
College of Electrical Engineering and Computer Science, National Taiwan University(台湾大学电机资讯学院);Graduate Institute of Communication Engineering, National Taiwan University(台湾大学电信工程学研究所)
近年来,神经声码器已广泛应用于语音合成任务,包括文本到语音和语音转换。然而,当遇到训练和推理之间的数据分布不匹配时,在真实数据上训练的神经声码器通常会在不可见的场景中降低语音质量。本文在五个不同的数据集上交替训练了WaveNet、WaveRNN、FFTNet、Parallel WaveGAN四种常用的神经元声码器。为了研究神经声码器的鲁棒性,我们使用来自可见/不可见扬声器,可见/不可见语言,文本到语音模型和语音转换模型的声学特征来评估模型。我们发现,对于实现通用声码器来说,说话者的多样性比语言更重要。通过我们的实验,我们表明WaveNet和WaveRNN更适合于文本到语音模型,而并行WaveGAN更适合于语音转换应用。大量的主观MOS结果的自然度的所有声码器,为未来的研究。
2020-08-20 cs.LG cs.SD eess.AS
Prosody Transfer in Neural Text to Speech Using Global Pitch and Loudness Features
Electronic Arts(美国艺电)
本文提出了一种简单而有效的方法来实现从参考语音信号到合成语音的韵律转换。主要思想是将韵律的众所周知的声学相关性(例如参考语音的音高和响度轮廓)并入现代神经文本到语音(TTS)合成器(例如Tacotron 2(TC2))中。更具体地,从参考音频中提取一小组声学特征,然后用于调节TC2合成器。训练后的模型使用主观听力测试进行评估,并提出了一种新的韵律迁移的客观评估。听力测试表明,合成的语音被评为高度自然的,韵律是成功地从参考语音信号的合成信号。
2020-05-15 cs.CL cs.LG cs.SD
Disentangled Feature Learning for Real-Time Neural Speech Coding
Microsoft Research Asia(微软亚洲研究院)
最近,端到端神经音频/语音编码已经显示出其优于传统的基于信号分析的音频编解码器的巨大潜力。这主要是通过遵循VQ-VAE范式来实现的,其中盲特征被学习、矢量量化和编码。在本文中,而不是盲目的端到端的学习,我们提出学习解纠缠的功能,实时的【形】神经语音编码。具体而言,更全球化的扬声器身份和本地内容特征与解纠缠表示语音学习。这种紧凑的特征分解不仅通过利用不同特征之间的比特分配来实现更好的编码效率,而且还提供了在嵌入空间中进行音频编辑的灵活性,例如实时的【形】通信中的语音转换。主观和客观的结果都证明了它的编码效率,我们发现学习的解纠缠特征在任何到任何语音转换上表现出与现代自监督语音表示学习模型相当的性能,具有更少的参数和低延迟,显示了我们的神经编码框架的潜力。
2023-02-25 cs.LG cs.SD eess.AS
SpeechX: Neural Codec Language Model as a Versatile Speech Transformer
Microsoft Corporation(微软公司);Microsoft Research Asia(微软亚洲研究院)
本文提出多功能语音生成模型SpeechX,通过结合神经编解码器语言建模与多任务学习及任务相关提示,统一实现零样本TTS及多种语音转换任务,并在多项任务上取得优于专用模型的性能。
2024-06-25 cs.CL cs.LG cs.SD
ExcitNet vocoder: A neural excitation model for parametric speech synthesis systems
NAVER Corp.(NAVER公司);Yonsei University(延世大学)
提出了一种基于WaveNet的神经元激励模型(ExcitNet),用于统计参数化语音合成系统。传统的基于WaveNet的神经语音编码系统通过自回归框架统计地生成语音波形的时间序列来显著地提高合成语音的感知质量。然而,他们往往遭受噪声输出,因为在捕捉语音信号的复杂的时变性质的困难。为了提高建模效率,所提出的ExcitNet声码器采用自适应逆滤波器来将频谱分量从语音信号中解耦。然后在WaveNet框架内训练和生成残差分量,即激励信号。通过这种方式,可以进一步提高合成语音信号的质量,因为频谱分量由深度学习框架很好地表示,此外,残差分量由WaveNet框架有效地生成。实验结果表明,建议的ExcitNet声码器,训练的说话人相关和说话人无关,优于传统的线性预测声码器和类似配置的传统WaveNet声码器。
2019-08-21 cs.LG cs.SD eess.AS
Joint Blind Room Acoustic Characterization From Speech And Music Signals Using Convolutional Recurrent Neural Networks
Logitech Europe S.A.(罗技欧洲股份公司)
声学环境表征为声音再现创新、智能E Qing、语音增强、助听器和取证打开了大门。混响时间、清晰度和直达混响比是已经被定义为描述混响环境的声学参数。它们与语音清晰度和声音质量密切相关。如ISO 3382标准中所解释的,它们可以从称为房间脉冲响应(RIR)的房间测量中得出。然而,测量RIR需要特定的设备和播放侵入性声音。最近的音频与机器学习的结合表明,人们可以使用语音或音乐信号来盲估计这些参数。我们遵循这些进展,并提出了一个强大的端到端的方法来实现盲联合声学参数估计使用语音和/或音乐信号。我们的研究结果表明,卷积循环神经网络在这项任务中表现最好,并且在训练中包含音乐也有助于改善语音推理。
2020-10-21 cs.LG cs.SD eess.AS
A Fully Time-domain Neural Model for Subband-based Speech Synthesizer
Korea Advanced Institute of Science and Technology(韩国科学技术院);KAIST Institute for Artificial Intelligence(KAIST人工智能研究院)
介绍了一种用于子带语音合成器的深度神经网络模型。该模型利用子带信号的短带宽,降低了时域语音发生器的复杂度。我们采用多层次小波分析/合成分解/重构信号到子带的时域。受WaveNet的启发,提出了一种卷积神经网络(CNN)模型,在时域内对子带语音信号进行完全预测。由于子带的带宽较短,简单的网络架构足以精确地训练子带的简单模式。在教师强迫的地面实况实验中,子带合成器在主观和客观测量方面都显着优于全带模型。此外,通过使用发音字典的音素序列上的条件的模型,我们已经实现了基于子带的文本到语音(TTS)合成器,这是近端到端的全时域神经模型。生成的语音的子带TTS表现出相当的质量作为全带一个与一个更轻的网络结构为每个子带。
2019-07-02 cs.LG cs.SD eess.AS
Controllable neural text-to-speech synthesis using intuitive prosodic features
Apple(苹果公司)
现代神经文本转语音(TTS)合成可以生成与自然语音难以区分的语音。然而,生成的话语的韵律往往代表的平均韵律风格的数据库,而不是有广泛的韵律变化。此外,生成的韵律仅由输入文本定义,这不允许同一句子具有不同的风格。在这项工作中,我们训练一个序列到序列的神经网络的声学语音功能的条件下,学习一个潜在的韵律空间直观和有意义的尺寸。实验表明,一个模型的条件下,在韵律方面的音高,音高范围,电话持续时间,能量和频谱倾斜可以有效地控制每个韵律维度,并产生各种各样的说话风格,同时保持类似的平均意见得分(4.23),我们的Tacotron基线(4.26)。
2020-09-14 cs.CL cs.LG cs.SD
Multi-Modal Hybrid Deep Neural Network for Speech Enhancement
Institute of High Performance Computing(高性能计算研究所);Institute for Infocomm Research(资讯通信研究院)
深度神经网络(DNN)已经成功地增强了噪声语音信号。通过学习从受损语音信号的特征到参考干净语音信号的特征的非线性映射函数来实现增强。预测特征的质量可以通过提供对噪声鲁棒的附加侧信道信息(诸如视觉提示)来提高。在本文中,我们提出了一种新的深度学习模型的灵感来自人类的视听感知的见解。在所提出的统一混合架构中,来自处理视觉线索的卷积神经网络(CNN)的特征和来自处理音频信号的完全连接的DNN的特征使用双向长短期记忆(BiLSTM)网络来集成。使用反向传播联合学习混合模型的参数。我们比较了混合模型与传统DNN和BiLSTM模型的增强语音质量。
2016-06-15 cs.LG cs.NE cs.SD
Learning linearly separable features for speech recognition using convolutional neural networks
Idiap Research Institute(Idiap研究所);Ecole Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
自动语音识别系统通常依赖于基于频谱的特征,例如PLP的MFCC。这些特征基于诸如语音感知或/和语音产生的先验知识来提取。最近,卷积神经网络已经被证明能够以完全数据驱动的方式来估计音素条件概率,即,直接使用时间原始语音信号作为输入。该系统在音素识别任务和大规模连续语音识别任务中,使用较少的参数,产生与基于HMM/ANN的系统相似或更好的性能。受这些研究的启发,我们研究了在基于CNN的框架中使用简单的线性分类器。因此,网络从原始语音中学习线性可分离的特征。我们表明,这样的系统产生类似或更好的性能比基于MLP的系统使用基于倒谱的功能作为输入。
2015-04-16 cs.CL cs.LG cs.NE
VINP: Variational Bayesian Inference with Neural Speech Prior for Joint ASR-Effective Speech Dereverberation and Blind RIR Identification
Zhejiang University(浙江大学);Westlake University(西湖大学);School of Engineering(工程学院);Westlake Institute for Advanced Study(西湖研究学院)
提出VINP框架,将神经语音先验融入变分贝叶斯推断,联合实现语音去混响与盲RIR识别,在MOS、WER及RT60估计上达到SOTA性能。
2025-09-09 cs.AI cs.LG eess.AS
Multi-Task Adversarial Training Algorithm for Multi-Speaker Neural Text-to-Speech
The University of Tokyo(东京大学)
提出了一种新的基于多任务对抗训练的多说话人神经文语转换(TTS)模型的训练算法。传统的基于生成对抗网络(GAN)的训练算法通过减少自然语音和合成语音之间的统计差异来显著提高合成语音的质量。然而,该算法不能保证训练的TTS模型在合成未被包括在训练数据中的不可见说话者的语音时的泛化性能。我们的算法交替训练两个深度神经网络:多任务训练和多说话者神经TTS模型(即,GANs的生成器)。训练语音识别器不仅区分自然语音和合成语音,而且验证输入语音的说话者是存在还是不存在(即,通过内插所见说话者的嵌入向量而新生成)。同时,生成器被训练为最小化语音重建损失和对抗损失的加权和,以欺骗目标说话人,即使目标说话人看不见,也能实现高质量的多说话人TTS。实验结果表明,该算法比传统的GANSpeech算法更好地提高了合成语音的质量。
2022-09-26 cs.AI cs.LG cs.SD
Early Attentive Sparsification Accelerates Neural Speech Transcription
本研究利用自注意力可解释性,在Whisper编码器早期阶段对隐藏状态进行40-60%稀疏化,实现英语语音转录高达1.6倍加速,精度损失低于1%。
2025-06-18 cs.CL cs.LG cs.SD
MiSTR: Multi-Modal iEEG-to-Speech Synthesis with Transformer-Based Prosody Prediction and Neural Phase Reconstruction
Budapest University of Technology and Economics(布达佩斯技术与经济大学);University of Ss. Cyril and Methodius(圣西里尔和美多德大学)
MiSTR利用小波特征提取、Transformer解码器和神经相位声码器,从iEEG信号合成语音,实现最先进的清晰度(Pearson相关0.91)。
2025-08-05 cs.LG cs.SD eess.AS
A Survey on Neural Speech Synthesis
Microsoft Research Asia(微软亚洲研究院)
文本转语音(TTS)或语音合成,其目的是在给定文本的情况下合成可理解且自然的语音,是语音、语言和机器学习社区中的热门研究课题,并且在工业中具有广泛的应用。近年来,随着深度学习和人工智能的发展,基于神经网络的文语转换技术大大提高了合成语音的质量。在本文中,我们进行了全面的调查,神经TTS,旨在提供一个很好的理解,目前的研究和未来的趋势。我们重点介绍了神经TTS中的关键组件,包括文本分析,声学模型和声码器,以及几个高级主题,包括快速TTS,低资源TTS,鲁棒TTS,表达TTS和自适应TTS等。我们进一步总结了与TTS相关的资源(例如,数据集,开源实现),并讨论未来的研究方向。这项调查可以为学术研究人员和从事TTS工作的行业从业人员提供服务。
2021-07-23 cs.CL cs.LG cs.MM
Full-Reference Speech Quality Estimation with Attentional Siamese Neural Networks
Technische Universität Berlin(柏林工业大学);Deutsches Forschungszentrum für Künstliche Intelligenz (DFKI)(德国人工智能研究中心)
在本文中,我们提出了一个具有深度学习方法的全参考语音质量预测模型。该模型通过共享两个信号的权重作为输入的连体递归卷积网络来确定参考信号和退化信号的特征表示。然后使用所得到的特征将信号与注意力机制对齐,并最终组合以估计整体语音质量。所提出的网络架构代表了一个简单的解决方案的时间对齐问题,发生的语音信号通过语音IP网传输,并显示了干净的参考信号可以被纳入语音质量模型,是基于端到端的训练神经网络。
2021-05-03 cs.AI cs.LG cs.SD
Efficient Trainable Front-Ends for Neural Speech Enhancement
Amazon Web Services(亚马逊云科技)
许多神经语音增强和源分离系统在时间-频率域中操作。这些模型通常受益于使其短时傅里叶变换(STFT)前端可训练。在当前的文献中,这些被实现为大的离散傅里叶变换矩阵;这对于低计算系统是非常低效的。我们提出了一个有效的,可训练的前端的基础上的蝴蝶机制来计算快速傅里叶变换,并显示其准确性和效率的好处,低计算神经语音增强模型。我们还探索了使STFT窗口可训练的效果。
2020-02-20 cs.LG cs.NE cs.SD
Non-Autoregressive Neural Text-to-Speech
Baidu Research(百度研究院)
在这项工作中,我们提出了ParaNet,一个非自回归seq2seq模型,将文本转换为频谱图。它是完全卷积的,在合成时比轻量级的Deep Voice 3加速46.7倍,同时获得相当好的语音质量。ParaNet还通过逐层迭代地提高注意力,在具有挑战性的测试句子上产生文本和语音之间的稳定对齐。此外,我们建立了并行的文本到语音系统,并测试了各种并行神经声码器,它可以合成语音从文本通过一个单一的前馈通过。我们还探索了一种新的基于VAE的方法,从零开始训练基于逆自回归流(IAF)的并行声码器,这避免了需要从一个单独训练的WaveNet蒸馏作为以前的工作。
2020-06-29 cs.CL cs.LG cs.SD
LA-VocE: Low-SNR Audio-visual Speech Enhancement using Neural Vocoders
Imperial College London(帝国理工学院);Meta Reality Labs Research(Meta现实实验室);Meta
视听语音增强的目的是从噪声环境中提取干净的语音,不仅利用音频本身,而且还利用目标说话人的嘴唇运动。这种方法已被证明是产生改进的音频语音增强,特别是对于干扰语音的去除。尽管最近在语音合成方面取得了进展,但大多数视听方法继续使用频谱映射/掩蔽来再现干净的音频,通常导致视觉骨干被添加到现有的语音增强架构中。在这项工作中,我们提出了LA-VocE,一种新的两阶段方法,通过基于变换器的架构从嘈杂的视听语音中预测梅尔频谱图,然后使用神经声码器(HiFi-GAN)将其转换为波形音频。我们对数千名说话者和11种以上不同的语言进行了训练和评估,并研究了我们的模型适应不同水平背景噪声和语音干扰的能力。我们的实验表明,LA-VocE优于现有的方法,根据多个指标,特别是在非常嘈杂的情况下。
2023-03-13 cs.CV cs.LG cs.SD
Speech Paralinguistic Approach for Detecting Dementia Using Gated Convolutional Neural Network
Tokyo Institute of Technology(东京工业大学);Keio University School of Medicine(庆应义塾大学医学部)
我们提出了一种非侵入性和成本效益的方法来自动检测痴呆症,仅利用语音音频数据。我们提取一个简短的语音片段的语言特征,并使用门控卷积神经网络(GCNN)将其分类为痴呆或健康。我们评估我们的方法上皮特语料库和我们自己的数据集,PROMPT数据库。我们的方法产生的准确性为73.1%的皮特语料库使用平均114秒的语音数据。在PROMPT数据库中,我们的方法使用4秒的语音数据产生74.7%的准确率,当我们使用所有患者的语音数据时,它提高到80.8%。此外,我们评估我们的方法上的三个类别的分类问题,其中我们包括轻度认知障碍(MCI)类,并实现了60.6%的准确率与40秒的语音数据。
2020-10-06 cs.LG cs.SD eess.AS
Prediction-Adaptation-Correction Recurrent Neural Networks for Low-Resource Language Speech Recognition
Microsoft Research(微软研究院)
在本文中,我们研究了使用预测-自适应-校正循环神经网络(PAC-RNN)的低资源语音识别。PAC-RNN由一对神经网络组成,其中{ \it校正}网络使用由{ \it预测}网络给出的辅助信息来帮助估计状态概率。来自校正网络的信息也由预测网络在循环回路中使用。我们的模型在IARPA-Babel任务上优于其他最先进的神经网络(DNN,LSTM)。此外,从与目标语言相似的语言进行迁移学习可以帮助进一步提高成绩。
2015-10-30 cs.CL cs.LG cs.NE
Long Short-Term Memory Based Recurrent Neural Network Architectures for Large Vocabulary Speech Recognition
Google(谷歌)
长短期记忆(LSTM)是一种循环神经网络(RNN)架构,旨在解决传统RNN的消失和爆炸梯度问题。与前馈神经网络不同,RNN具有循环连接,这使得它们在序列建模方面非常强大。它们已成功地用于序列标记和序列预测任务,如手写识别,语言建模,声学帧的语音标记。然而,与深度神经网络相比,RNN在语音识别中的使用仅限于小规模任务中的电话识别。在本文中,我们提出了新的基于LSTM的RNN架构,它可以更有效地利用模型参数来训练用于大词汇量语音识别的声学模型。我们训练和比较LSTM,RNN和DNN模型在不同数量的参数和配置。我们表明,LSTM模型收敛速度很快,并为相对较小的模型提供了最先进的语音识别性能。
2014-02-05 cs.CL cs.LG cs.NE
Characterizing Types of Convolution in Deep Convolutional Recurrent Neural Networks for Robust Speech Emotion Recognition
University of Southern California(南加州大学)
由于深度卷积神经网络能够减少变化因素,因此在包括语音识别、音频事件检测和计算语言学在内的广泛的语音和音频处理应用中正在积极研究深度卷积神经网络,以从语音中学习。然而,研究已经建议在构建用于语音应用的深度卷积神经网络时偏向于某种类型的卷积运算,尽管使用不同类型的卷积运算已经有了有希望的结果。在这项工作中,我们研究了四种类型的卷积运算在不同的输入功能语音情感识别在嘈杂和干净的条件下,以获得全面的理解。由于情感行为信息已被证明反映了精神状态的时间变化,并且卷积运算在时间上被局部应用,因此所有深度神经网络共享深度递归子网络架构以用于进一步的时间建模。我们提出了详细的定量模块性能分析,以深入了解所提出的架构内的信息流。特别是,我们展示了情感信息和其他无关信息的相互作用,从一个模块到另一个的进展。最后,我们证明了我们所有的深度神经网络在eNTERFACE'05语料库上提供了最先进的性能。
2018-01-13 cs.CL cs.LG cs.MM
WaveCycleGAN2: Time-domain Neural Post-filter for Speech Waveform Generation
NTT Communication Science Laboratories, NTT Corporation(NTT公司NTT通信科学实验室)
WaveCycleGAN最近被提出来弥合统计参数语音合成中的自然语音波形和合成语音波形之间的差距,并提供使用移动平均模型而不是自回归模型的快速推理和使用对抗训练的高质量语音合成。然而,人耳仍然可以将处理后的语音波形与自然语音波形区分开。这种可重复性的一个可能原因是经由下/上采样模块在经处理的语音波形中观察到的混叠。为了解决混叠问题并提供更高质量的语音合成,我们提出了WaveCycleGAN 2,它1)使用没有下/上采样模块的发生器,2)结合了波形域和声学参数域的鉴别器。实验结果表明,该方法能很好地消除混叠现象,对分析合成和统计参数语音合成都有较好的效果,以及3)在NVIDIA Tesla P100上以超过150 kHz的速率处理语音样本时,获得了与自然语音以及由WaveNet(开放式WaveNet)和WaveGlow合成的语音相当的平均意见得分。
2019-04-09 cs.LG cs.SD eess.AS
Deep Neural Networks for Automatic Speech Processing: A Survey from Large Corpora to Limited Data
IRIT(图卢兹计算机科学研究所);Université de Toulouse(图卢兹大学);CNRS(法国国家科学研究中心)
大多数最先进的语音系统都使用深度神经网络(DNN)。这些系统需要学习大量的数据。因此,在资源不足的语音语言/问题上学习最先进的框架是一项艰巨的任务。问题可能是语音受损的数据量有限。此外,获取更多的数据和/或专业知识既耗时又昂贵。在本文中,我们定位自己的以下语音处理任务:自动语音识别,说话人识别和情感识别。为了评估有限数据的问题,我们首先研究了最先进的自动语音识别系统,因为它代表了最困难的任务(由于每种语言的差异很大)。接下来,我们将概述需要较少数据的技术和任务。在最后一节中,我们研究了Few-Shot技术,因为我们将资源不足的语音解释为Few-Shot问题。在这个意义上,我们提出了一个概述的Few-Shot技术和观点,使用这种技术的重点语音问题在这次调查。它发生的审查技术不适合大型数据集。然而,一些有前途的结果,从文献鼓励使用这种技术的语音处理。
2020-03-09 cs.LG cs.SD eess.AS
Domain Adversarial Neural Networks for Dysarthric Speech Recognition
Imperial College London(帝国理工学院);University of Southampton(南安普顿大学)
语音识别系统在过去的几年中已经有了显著的改进,然而,对于口音或受损语音的情况,它们的性能显著下降。这项工作探讨域对抗神经网络(DANN)的说话人无关的语音识别的UAS数据集的构音障碍的语音。使用端到端CNN将原始音频作为输入来执行对10个口语数字的分类任务。将结果与说话者自适应(SA)模型以及说话者相关(SD)和多任务学习模型(MTL)进行比较。实验结果表明,DANN的绝对识别率为74.91%,比基线识别率提高了12.18%。此外,DANN模型实现了与SA模型77.65%的识别率相当的结果。我们还观察到,当标记的构音障碍的语音数据是可用的DANN和MTL执行类似,但当它们不是DANN执行优于MTL。
2020-10-07 cs.CL cs.LG cs.SD
Focal Loss based Residual Convolutional Neural Network for Speech Emotion Recognition
Samsung R&D Institute India – Bangalore(三星印度研发研究院(班加罗尔));University of Southern California(南加州大学)
针对语音情感识别问题,本文提出基于语谱图、MFCCs等语音特征,结合焦点损失训练的残差卷积神经网络,通过聚焦难例优化训练,提升情感识别效果。
2019-06-11 cs.AI cs.LG cs.SD
A study on speech enhancement using exponent-only floating point quantized neural network (EOFP-QNN)
Research Center for Information Technology Innovation, Academia Sinica(中央研究院资讯科技创新研究中心);National Taiwan University(台湾大学)
许多研究已经调查了神经网络量化对模式分类任务的有效性。本研究,第一次,研究了性能的语音增强(语音处理中的回归任务)使用一种新的指数只有浮点量化神经网络(EOFP-QNN)。EOFP-QNN由两个阶段组成:尾数量化和指数量化。在尾数量化阶段,EOFP-QNN学习如何在使用最小尾数精度保持回归精度的同时对模型参数的尾数位进行量化。在指数量化阶段,参数的指数部分被进一步量化,而不会导致任何额外的性能下降。我们评估了两种类型的神经网络,即双向长短期记忆(BLSTM)和全卷积神经网络(FCN),在语音增强任务的建议EOFP量化技术。实验结果表明,在保持语音增强效果的同时,量化后的BLSTM和FCN模型的模型大小分别仅为原始模型的18.75%和21.89%,大大减小了模型大小。
2018-10-30 cs.AI cs.LG cs.SD
Convolutional Neural Networks for Speech Controlled Prosthetic Hands
语音识别是人工智能的关键主题之一,因为它是人类最常见的交流形式之一。在过去的几十年里,研究人员已经开发了许多语音控制假手,利用传统的语音识别系统,使用神经网络和隐马尔可夫模型的组合。通用图形处理单元(GPGPU)的最新进展使智能设备能够实时运行深度神经网络。因此,现有技术的语音识别系统已经从复合子系统优化的范例迅速转变为端到端优化的范例。然而,低功耗的嵌入式GPGPU不能实时运行这些语音识别系统。在本文中,我们展示了深度卷积神经网络(CNN)的开发,用于在NVIDIA Jetson TX2开发工具包上实时运行的假手语音控制。首先,该设备捕获语音并将其转换为2D特征(如频谱图)。CNN接收2D特征并对手势进行分类。最后,将手势类发送到假手运动控制系统。整个系统是用Python和Keras编写的,Keras是一个深度学习库,有一个TensorFlow后端。我们在CNN上的实验表明,从语音命令中输出手势(文本输出)的准确率为91%,运行时间为2ms,可用于实时控制假手。
2019-10-03 cs.HC cs.LG cs.RO
Survey on Deep Neural Networks in Speech and Vision Systems
Old Dominion University(奥多明尼昂大学);Tennessee State University(田纳西州立大学)
本综述综述了视觉和语音应用中最先进的深度神经网络架构、算法和系统。深度人工神经网络算法和架构的最新进展刺激了智能视觉和语音系统的快速创新和发展。随着大量传感器数据的可用性和用于处理和训练深度神经网络的云计算,以及移动和嵌入式技术的日益复杂性,下一代智能系统有望彻底改变个人和商业计算。本调查首先提供了一些迄今为止最成功的智能视觉和语音系统深度学习模型的背景和演变。概述了大规模的工业研究和开发工作,以强调智能视觉和语音系统的未来趋势和前景。强大而高效的智能系统需要在资源受限的硬件平台(如移动设备、机器人和汽车)中实现低延迟和高保真度。因此,本调查还总结了在硬件受限的平台上运行深度神经网络的关键挑战和最近的成功,即在有限的内存,电池寿命和处理能力内。最后,视觉和语音跨学科的新兴应用,如情感计算,智能交通和精准医疗进行了讨论。据我们所知,本文提供了一个最全面的调查在智能视觉和语音应用的最新发展,从软件和硬件系统的角度。许多使用深度神经网络的新兴技术显示出巨大的前景,将彻底改变未来视觉和语音系统的研究和开发。
2019-12-01 cs.CV cs.LG cs.NE