A comparison of recent waveform generation and acoustic modeling methods for neural-network-based speech synthesis
National Institute of Informatics(国立信息学研究所);Aalto University(阿尔托大学)
语音合成的最新进展表明,可以通过使用先进的机器学习方法来克服诸如具有最小相位近似的幅度谱的有损性质和声学建模中的过平滑效应之类的限制。在本文中,我们建立了一个框架,我们可以公平地比较新的声码和声学建模技术与传统的方法,通过大规模的众包评估。声学模型的结果表明,生成对抗网络和自回归(AR)模型的性能优于正常的递归网络,AR模型的性能最好。使用相同的AR声学模型对声码器进行评估表明,Wavenet声码器的性能优于经典的基于源滤波器的声码器。特别地,从AR声学模型和Wavenet声码器的组合生成的语音波形实现了类似的语音质量分数的声码语音。
2018-04-07 cs.CL cs.SD eess.AS
Crowdsourced Multilingual Speech Intelligibility Testing
Cisco Systems, Inc.(思科系统公司)
针对现有语音清晰度测试的局限,本文提出众包式评估方法,公开多语种语音数据并开展早期实验,为相关研究提供支持。
2026-08-05 cs.AI cs.SD eess.AS
Prominence-aware automatic speech recognition for conversational speech
Signal Processing and Speech Communication Laboratory(信号处理与语音通信实验室);Speech Communication Laboratory(语音通信实验室)
本文提出一种结合突显检测的突显感知自动语音识别方法,通过微调wav2vec2模型标注语料并训练新型ASR系统,在不影响识别性能的前提下实现了85.53%的突显检测准确率。
2025-09-12 cs.CL eess.AS
ASVspoof 5: Crowdsourced Speech Data, Deepfakes, and Adversarial Attacks at Scale
ASVspoof 5语音欺骗检测挑战赛基于众包大规模语音与攻击数据,首次纳入对抗攻击,新增抗欺骗说话人验证等评估指标,结果显示攻击显著削弱基线,参赛方案带来大幅性能提升。
2024-08-16 cs.AI cs.SD eess.AS
SOMOS: The Samsung Open MOS Dataset for the Evaluation of Neural Text-to-Speech Synthesis
Innoetics, Samsung Electronics(三星电子Innoetics公司);Mobile Communications Business, Samsung Electronics(三星电子移动通信事业部)
在这项工作中,我们提出了SOMOS数据集,第一个大规模的平均意见分数(MOS)数据集,仅由神经文本到语音(TTS)样本。它可以用来训练自动MOS预测系统,重点是评估现代合成器,并可以刺激声学模型评估的进步。它由LJ Speech语音的20K合成话语组成,LJ Speech语音是一个公共领域的语音数据集,是构建神经声学模型和声码器的常见基准。语音生成从200 TTS系统,包括香草神经声学模型,以及允许韵律变化的模型。LPCNet声码器用于所有系统,因此样本的变化仅取决于声学模型。合成的话语提供了平衡和足够的域和长度覆盖。我们收集了3个英语Amazon Mechanical Turk语言环境的MOS自然度评估,并分享了一些实践,从而为这项任务提供了可靠的众包注释。我们提供了SOMOS数据集上最先进的MOS预测模型的基线结果,并显示了这些模型在评估TTS话语时所面临的局限性。
2022-08-24 cs.CL cs.LG cs.SD
Curriculum Learning for Speech Emotion Recognition from Crowdsourced Labels
The University of Texas at Dallas(德克萨斯大学达拉斯分校);Erik Jonsson School of Electrical & Computer Engineering(埃里克·琼森电气与计算机工程学院)
本研究介绍了一种设计机器学习课程的方法,以最大限度地提高深度神经网络(DNN)在语音情感识别训练过程中的效率。以前在其他机器学习问题中的研究已经表明,按照课程训练分类器的好处,其中样本以逐渐增加的难度呈现。对于语音情感识别,挑战在于在训练集中建立自然的难度顺序以创建课程。我们解决这个问题,假设人类的模糊样本也是模糊的计算机。语音样本通常由多个评估者进行注释,以说明个体之间情感感知的差异。虽然一些具有明确情感内容的句子被一致地注释,但具有更模糊情感内容的句子在个体评价之间存在重要分歧。我们建议使用评估者之间的分歧作为衡量分类任务的难度。我们提出的指标,量化的评价间的协议,以定义回归问题和二进制和多类分类问题的课程。实验结果一致表明,依赖于基于人类判断之间的一致性的课程,与没有课程训练的基线相比,在统计上有显著的改善。
2018-05-25 cs.SD eess.AS
A Crowdsourced Open-Source Kazakh Speech Corpus and Initial Speech Recognition Baseline
Institute of Smart Systems and Artificial Intelligence (ISSAI)(智能系统与人工智能研究所(ISSAI));Nazarbayev University(纳扎尔巴耶夫大学)
我们提出了一个哈萨克语的开源语音语料库。哈萨克语语音语料库(KSC)包含约332小时的转录音频,其中包括来自不同地区和年龄组以及性别的参与者所说的153,000多句话。它由哈萨克族母语人士仔细检查,以确保高质量。KSC是最大的公开数据库,旨在推进各种哈萨克语语音和语言处理应用程序。在本文中,我们首先描述了数据收集和预处理程序,然后描述了数据库规格。我们也分享我们的经验和面临的挑战,在数据库建设,这可能会有益于其他研究人员计划建立一个低资源的语言语音语料库。为了证明数据库的可靠性,我们进行了初步的语音识别实验。实验结果表明,音频和成绩单的质量是有希望的(2.8%的字符错误率和8.7%的单词错误率的测试集)。为了实现实验的可重复性并简化语料库的使用,我们还为我们的语音识别模型发布了ESPnet配方。
2021-01-13 cs.CL cs.SD eess.AS
Investigating Content-Aware Neural Text-To-Speech MOS Prediction Using Prosodic and Linguistic Features
Innoetics(伊诺提克斯公司);Samsung Electronics(三星电子);Mobile eXperience Business, Samsung Electronics(三星电子移动体验业务部门)
本研究提出在MOS预测系统中引入韵律和语言特征作为额外输入,并在SOMOS数据集上验证其有效性,结果表明该方法能提升预测分数与真实值的相关性。
2023-05-07 cs.CL cs.LG cs.SD
DNN-based Speaker Embedding Using Subjective Inter-speaker Similarity for Multi-speaker Modeling in Speech Synthesis
The University of Tokyo(东京大学)
本文提出了一种基于深度神经网络(DNN)的主观说话人间相似性的说话人嵌入新算法。尽管诸如$d$向量的常规的基于DNN的说话者嵌入可以应用于语音合成中的多说话者建模,但是它与主观说话者间相似性不相关,并且对于其语音话语不包括在训练数据中的开放式说话者来说不一定是适当的说话者表示。我们使用通过大规模主观评分获得的说话人间相似性矩阵,提出了两种基于DNN的说话人嵌入模型的训练算法。一种是基于相似向量嵌入,训练模型预测相似矩阵的向量作为说话人表示。另一种是基于相似矩阵嵌入,训练模型使相似矩阵与$d$ -向量的Gram矩阵之间的Frobenius范数平方最小,即,从$d$向量导出的说话者间相似性。我们众包了153名日本女性说话人的说话人间相似性得分,实验结果表明,我们的算法学习的说话人嵌入与主观相似性高度相关。我们还将所提出的说话人嵌入应用于基于DNN的语音合成中的多说话人建模,并揭示了所提出的相似性向量嵌入提高了开放式说话人的合成语音质量,其语音话语在训练过程中是不可见的。
2019-07-19 cs.LG cs.SD eess.AS
Location, Location: Enhancing the Evaluation of Text-to-Speech Synthesis Using the Rapid Prosody Transcription Paradigm
University of Edinburgh(爱丁堡大学)
文本转语音合成系统通常使用平均意见得分(MOS)测试来评估,其中听众在李克特量表上对合成语音的样本进行评分。MOS测试的一个主要缺点是它们只提供总体质量的一般测量,即,话语的自然性--因此不能告诉我们合成错误发生的确切位置。这可能会使评估的适当性韵律变化的话语不确定。为了解决这个问题,我们提出了一种新的评估方法的基础上快速韵律转录范例。这允许听众实时标记话语中的错误位置,提供合成信号中发生的感知错误的概率表示。我们进行的实验证实,细粒度的评价可以映射到标准MOS测试的系统排名,但错误标记给出了一个更全面的综合韵律评估。特别是,对于标准有声读物测试集样本,我们看到错误标记始终聚集在标点符号指示的主要韵律边界处的单词周围。然而,对于基于问答的刺激,我们控制信息结构,我们看到的差异出现在神经TTS系统产生上下文适当的韵律突出的能力。
2021-07-06 cs.CL cs.SD eess.AS
Segmentation-Variant Codebooks for Preservation of Paralinguistic and Prosodic Information
University of Edinburgh(爱丁堡大学);The Centre for Speech Technology Research(语音技术研究中心)
针对自监督语音模型量化易丢失韵律及副语言信息的问题,提出分段可变码本方法,在多语言单元层级量化分解语音,实验证明其在信息保留、风格还原及音质上均有提升。
2025-05-21 cs.CL cs.SD eess.AS
A Preliminary Analysis of Automatic Word and Syllable Prominence Detection in Non-Native Speech With Text-to-Speech Prosody Embeddings
Language Technologies Research Center, IIIT Hyderabad(语言技术研究中心,印度海得拉巴国际信息技术学院)
本研究探索TTS韵律嵌入在非母语语音重音检测中的效用,基于FastSpeech2提取时长、能量、音高嵌入,在两个语料库上实验验证其准确率显著优于启发式特征和Wav2Vec-2.0表示。
2024-12-11 cs.CL eess.AS
A Pyramid Recurrent Network for Predicting Crowdsourced Speech-Quality Ratings of Real-World Signals
Indiana University(印第安纳大学)
客观语音质量测量的真实世界能力是有限的,因为当前的测量(1)是从模拟数据开发的,不能充分模拟真实环境;或者它们(2)预测的客观分数并不总是与主观评级强烈相关。此外,目前还不存在具有收听者质量评级的真实世界信号的大型数据集,这将有助于促进真实世界的评估。在本文中,我们收集和预测由人类听众评估的真实世界语音信号的感知质量。我们首先通过对两个真实语料库进行众包听力研究来收集大型质量评级数据集。我们进一步开发了一种新的方法,预测人类的质量评级使用金字塔双向长短期记忆(pBLSTM)网络与注意力机制。结果表明,该模型实现了统计上较低的估计误差比以前的评估方法,其中预测的分数与人类的判断强烈相关。
2020-07-31 cs.CL cs.LG cs.MM
NISQA: A Deep CNN-Self-Attention Model for Multidimensional Speech Quality Prediction with Crowdsourced Datasets
Usability Lab, Technische Universit\"at Berlin, Berlin, Germany 2 Deutsches Forschungszentrum f\"ur K\"unstliche Intelligenz (DFKI), Berlin, Germany
在本文中,我们提出了一个更新的NISQA语音质量预测模型,重点是在通信网络中发生的失真。与之前的版本相比,该模型是端到端训练的,时间依赖性建模和时间池是通过自注意机制实现的。除了整体语音质量外,该模型还预测了四个语音质量维度:噪声、着色、不连续性和响度,从而更深入地了解质量下降的原因。此外,还创建了包含13,000多个语音文件的新数据集,用于模型的训练和验证。该模型最终在一个新的现场通话测试数据集上进行了测试,该数据集包含真实电话录音。总体而言,NISQA在来自不同来源的81个数据集上进行了训练和评估,并显示出对未知语音样本也提供了可靠的预测。代码、模型权重和数据集都是开源的。
2021-04-19 cs.AI cs.LG cs.SD
Deep Learning For Prominence Detection In Children's Read Speech
Indian Institute of Technology Bombay(印度理工学院孟买分校)
从基于语言学知识的声学特征设计到从音高和强度轮廓等超音段属性的自动特征学习,语音中感知显著性的检测吸引了各种方法。相反,我们在这里提出了一个系统,直接操作分段的语音波形学习相关的功能,突出的字检测儿童的口语流利性评估。所选择的CRNN(卷积递归神经网络)框架,结合了词级特征和序列信息,被发现受益于感知激励的SincNet滤波器作为第一个卷积层。我们进一步探讨了在不同的多任务结构下,短语边界和突显的韵律事件之间的语言关联的好处。匹配先前报告的性能在同一数据集上的随机森林合奏预测训练精心挑选的手工制作的声学特征,我们进一步评估可能的互补信息,从手工制作的声学和预先训练的词汇功能。
2021-10-27 cs.CL cs.SD eess.AS
Iterative Self-Learning for Expressive Text-to-Speech Synthesis
University of Edinburgh(爱丁堡大学);Huawei(华为);Wallenberg AI, Autonomous Systems and Software Program(瓦伦堡人工智能、自主系统与软件计划)
针对低资源下高表现力TTS的标签稀缺问题,提出迭代自学习框架,基于Invert-Classify方法迭代优化伪标签,在词级突出性和情感任务上验证,提升了标签贴合度与合成质量,性能接近全监督模型。
2026-08-18 cs.CL cs.SD eess.AS
PeriodGrad: Towards Pitch-Controllable Neural Vocoder Based on a Diffusion Probabilistic Model
Nagoya Institute of Technology(名古屋工业大学)
本文提出PeriodGrad神经声码器,通过在去噪扩散概率模型中引入显式周期信号作为条件,提升语音波形周期结构建模能力,实验证明其音质和音高控制均优于传统DDPM声码器。
2024-02-22 cs.LG cs.SD eess.AS
Long-Prompt Zero-Shot TTS: Benchmarking Prosody Reproduction Beyond Voice Cloning
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Amphion Technology Co., Ltd.(Amphion科技有限公司)
该研究提出长提示零样本TTS任务,构建LP-TTS-Bench基准,开发LPTTS参考系统,实现无需目标说话人微调的长提示韵律再现,在多韵律维度优于短提示基线。
2026-10-15 cs.SD
Can we use Common Voice to train a Multi-Speaker TTS system?
Université de Lorraine(洛林大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);LORIA(洛林计算机科学及其应用实验室)
本文提出利用非侵入式 MOS 估计器 WV-MOS 自动筛选 Common Voice 中的高质量样本,训练多说话人 GlowTTS 模型,显著提升生成语音质量,为自动构建 TTS 数据集铺路。
2022-10-12 cs.SD eess.AS
Classifying Autism from Crowdsourced Semi-Structured Speech Recordings: A Machine Learning Approach
Stanford University(斯坦福大学)
自闭症谱系障碍(ASD)是一种神经发育障碍,导致行为,社会发展和交流模式的改变。在过去的几年里,自闭症的患病率增加了两倍,现在每54名儿童中就有1名受到影响。鉴于传统的诊断是一个漫长的劳动密集型过程,开发自动筛查自闭症的系统受到了极大的关注。韵律异常是自闭症最明显的迹象之一,受影响的儿童表现出言语特质,包括回声言语症,单调的语调,非典型的音高和不规则的语言重音模式。在这项工作中,我们提出了一套机器学习方法来检测自闭症的自我记录的语音音频捕获自闭症和神经型(NT)儿童在家庭环境中。我们考虑了三种方法来检测儿童语音中的自闭症:第一,在提取的音频特征(包括梅尔频率倒谱系数)上训练的随机森林;第二,在频谱图上训练的卷积神经网络(CNN);第三,微调的wav 2 vec 2.0-最先进的基于transformer的ASR模型。我们训练我们的分类器对我们的新数据集的手机记录的儿童语音音频策划从斯坦福大学的猜猜是什么?手机游戏,一个应用程序,旨在众包视频自闭症和神经正常的儿童在一个自然的家庭环境。在将儿童音频分类为ASD或NT时,随机森林分类器的准确率达到70%,微调的wav 2 vec 2.0模型达到77%的准确率,而CNN达到79%的准确率。我们的模型能够预测自闭症状态,当训练不同选择的家庭音频片段时,录音质量不一致,这可能更适用于现实世界的条件。这些结果表明,机器学习方法有望在没有专门设备…
2022-01-04 cs.LG cs.SD eess.AS
ASVspoof 5: Design, Collection and Validation of Resources for Spoofing, Deepfake, and Adversarial Attack Detection Using Crowdsourced Speech
ASVspoof 5 挑战赛推出众包语音数据库,涵盖约2000名说话人、32种攻击算法及首次引入的对抗攻击,并验证了基线检测器性能,资源现已公开。
2025-04-24 eess.AS
Screening Matters: A Comparative Study of Conventional and Crowdsourced Listening Tests
通过统计分析比较传统P.800 DCR测试与众包P.808测试,提出结合锚定排序、评分跨度、陷阱和黄金标准问题的筛选方法,以提升众包评估质量。
2026-06-29 eess.AS
CrowdSpeech and VoxDIY: Benchmark Datasets for Crowdsourced Audio Transcription
Yandex;Carnegie Mellon University(卡内基梅隆大学)
特定领域的数据是机器学习系统从基准测试成功转移到现实生活的关键。在诸如图像分类这样的简单问题中,众包已成为廉价和省时的数据汇集的标准工具之一:这在很大程度上要归功于聚合方法研究的进展。然而,众包对更复杂任务的适用性(例如,语音识别)由于缺乏用于这些模态的原则性聚集方法而仍然是有限的。为更高级的应用程序设计聚合方法的主要障碍是缺乏训练数据,在这项工作中,我们专注于弥合语音识别中的这一差距。为此,我们收集并发布了CrowdSpeech --第一个公开的大规模众包音频传输数据集。现有的和新的聚合方法对我们的数据进行评估显示出改进的空间,这表明我们的工作可能需要设计更好的算法。在更高的层面上,我们还为更普遍的挑战做出贡献,即通过众包开发可靠的数据汇集方法。在这方面,我们设计了一个原则性的管道,用于在任何新的领域构建众包音频传输数据集。我们通过构建VoxDIY -对应于俄语的CrowdSpeech来展示其在资源不足的语言上的适用性。我们还发布了代码,允许完全复制我们的数据汇集管道,并通过众包分享有关数据汇集最佳实践的各种见解。
2021-10-20 cs.HC cs.LG cs.SD
Investigating the Utility of Surprisal from Large Language Models for Speech Synthesis Prosody
University of Helsinki(赫尔辛基大学)
本研究探究LLM提取的词惊奇值与语音韵律中词凸显度的关联,发现二者中等相关,语境更长、LLM更大反而会低估凸显词,将惊奇值用于语音合成韵律提升效果有限。
2023-06-16 cs.CL eess.AS
Prosody leaks into the memories of words
University of Florida(佛罗里达大学);Yale University(耶鲁大学)
一个词在上下文中的平均可预测性(又名信息性)已经被证明是词持续时间的条件(Seyfarth,2014)。在其他条件相同的情况下,倾向于出现在更可预测的环境中的单词比倾向于出现在更不可预测的环境中的单词更短。信息量对持续时间的影响的一个解释是,概率还原的声学细节被存储为单词心理表征的一部分。其他研究认为,可预测性效应与韵律结构有着不可分割的联系。为了评估潜在的韵律基础上的信息性影响的语音生产,本研究扩展了过去的工作在两个方向;它调查了信息性影响,在另一个大的语言,普通话,并扩大了研究超出字的持续时间额外的声学尺寸,音高和强度,已知的索引韵律突出。内容词的声学信息是从一个大型的电话交谈语音语料库中提取的,该语料库具有超过40万个标记和由1,655个个体说出的6,000个词类型,并使用从4.31亿字的字幕语料库中估计的频率统计来分析信息性的效果。结果表明,低信息量的单词持续时间较短,复制在英语中发现的效果。此外,信息度对与韵律突显相关的最大音高和强度两个语音维度有显著影响。扩展这种解释,这些结果表明,可预测性是密切相关的韵律突出,和词汇表示的一个词,包括语音细节与其平均韵律突出的话语。换句话说,词汇吸收了韵律对言语产生的影响。
2020-12-29 cs.CL cs.SD eess.AS
BERT, can HE predict contrastive focus? Predicting and controlling prominence in neural TTS using a language model
Université Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔国立理工学院);GIPSA-lab(GIPSA实验室);LIG(格勒诺布尔信息学实验室);UGA(格勒诺布尔阿尔卑斯大学);G-INP(格勒诺布尔国立理工学院);INRIA(法国国家信息与自动化研究所);NAVER LABS Europe(NAVER欧洲实验室)
最近的几项研究已经测试了使用Transformer语言模型表示来推断文本到语音合成(TTS)的韵律特征。虽然这些研究已经探讨了韵律一般,在这项工作中,我们特别是在预测对比焦点的人称代词。这是一项特别具有挑战性的任务,因为它通常需要语义、推理和/或实用知识来正确预测。我们收集语料库的话语包含对比焦点,我们评估的准确性的BERT模型,微调预测量化的声学突出功能,对这些样本。我们还研究了过去的话语如何为这种预测提供相关信息。此外,我们评估的可控性代词突出的TTS模型条件下的声学突出功能。
2022-07-04 cs.CL eess.AS
Bengali Common Voice Speech Dataset for Automatic Speech Recognition
Michigan State University(密歇根州立大学);RPI(伦斯勒理工学院);Vanderbilt University(范德堡大学);Rice University(莱斯大学)
孟加拉语是世界上使用最多的语言之一,全球有超过3亿人使用。尽管孟加拉语语音识别系统很受欢迎,但由于缺乏多样化的开源数据集,对孟加拉语语音识别系统开发的研究受到了阻碍。作为前进的方向,我们已经众包了孟加拉语通用语音语音数据集,这是一个高级自动语音识别语料库。该数据集在Mozilla Common Voice平台上收集,是正在进行的活动的一部分,该活动在两个月内收集了超过400小时的数据,并且正在迅速增长。我们的分析表明,与现有最大的开源孟加拉语语音数据集OpenSLR孟加拉语ASR数据集相比,该数据集具有更多的扬声器,音素和环境多样性。我们提出了从数据集中获得的见解,并讨论了需要在未来版本中解决的关键语言挑战。此外,我们报告了一些自动语音识别(ASR)算法的当前性能,并为未来的研究设定了基准。
2022-06-29 cs.CL cs.SD eess.AS
Human Transcription Quality Improvement
Amazon(亚马逊)
针对众包语音转录质量低的问题,提出置信度再处理与自动纠错两阶段方法,构建并发布 LibriCrowd,显著降低转录及 ASR 词错误率。
2023-09-24 cs.AI cs.CL cs.LG
ITALIC: An Italian Intent Classification Dataset
Politecnico di Torino(都灵理工大学);Kore University of Enna(恩纳科雷大学);Bocconi University(博科尼大学)
针对现有口语理解数据集多聚焦英语、缺乏意大利语相关资源的问题,研究发布首个意大利语大规模意图分类语音数据集ITALIC,通过实验验证了模型规模、语言适配等对性能的影响,为意大利语SLU研究提供支撑。
2023-06-14 cs.CL cs.SD eess.AS
Physics-Informed Neural Network for Volumetric Sound field Reconstruction of Speech Signals
本文提出一种基于物理信息神经网络(PINN)的体积声场重建方法,通过将波动方程作为时域正则化融入网络,使其学习声传播物理规律,在有限观测下实现声场完整表征,实验证明其在语音信号重建中优于现有频域和时域方法。
2024-04-23 eess.AS
Federated Learning for Keyword Spotting
Snips(Snips公司)
我们提出了一种基于联邦学习的实用方法,以解决连续运行的嵌入式基于语音的模型(如唤醒词检测器)的域外问题。我们进行了广泛的实证研究的联邦平均算法的“嘿Snips”唤醒词的基础上众包的数据集,模仿联邦唤醒词用户。我们的经验表明,使用自适应平均策略的灵感来自亚当的标准加权模型平均大大减少了通信轮数,以达到我们的目标性能。每个用户的相关上行通信成本估计为8 MB,这在智能家居语音助理的背景下是合理的。此外,用于这些实验的数据集正在开源,旨在促进联邦学习应用于语音数据的进一步透明研究。
2019-02-18 cs.CL cs.LG cs.SD
SpeechColab Leaderboard: An Open-Source Platform for Automatic Speech Recognition Evaluation
SpeechColab;Department of Electrical Engineering, Tsinghua University(电子工程系,清华大学);Seasalt AI Inc.(Seasalt AI公司)
本文提出SpeechColab Leaderboard开源平台用于ASR评估,提供全面基准测试,量化评分流程中细微差异的影响,并提出改进的mTER评估指标以实现更好的归一化和对称性。
2024-03-13 cs.CL eess.AS