Investigating Target Set Reduction for End-to-End Speech Recognition of Hindi-English Code-Switching Data
Indian Institute of Technology Guwahati(印度理工学院古瓦哈提分校)
在自动语音识别领域,端到端(E2 E)系统正在快速取代传统系统。由于目标标签是直接从语音数据中学习的,因此E2 E系统需要更大的语料库来进行有效的训练。在语码转换任务的背景下,E2 E系统面临两个挑战:(i)由于涉及多种语言,目标集的扩展,以及(ii)缺乏足够大的特定领域语料库的可用性。为了应对这些挑战,我们提出了一种方法,用于减少目标标签的数量,以在有限的数据上对E2 E系统进行可靠的训练。所提出的方法的有效性已被证明在两个突出的架构,即基于CTC和基于注意力的E2 E网络。实验验证是在最近创建的印地语-英语语码转换语料库上进行的。为了对比的目的,还报告了基于全目标集的E2 E系统和混合DNN-HMM系统的结果。
2019-07-15 cs.CL cs.SD eess.AS
End-to-End Speech to Intent Prediction to improve E-commerce Customer Support Voicebot in Hindi and English
Flipkart(Flipkart(弗利普卡特))
本文提出一种基于预训练ASR模型微调的端到端语音到意图模型,用于印地语和英语双语电商客服语音机器人,在F1分数上比传统流水线相对提升约27%。
2022-10-26 cs.CL cs.HC cs.LG
Neural Speaker Diarization via Multilingual Training: Evaluation on Low-Resource Nepali-Hindi Speech
Department of Electronics and Computer Engineering, Pulchowk Campus, Institute of Engineering(电子与计算机工程系,普尔乔克校区,工程学院)
本文采用多语言训练方法,比较EEND-EDA和DiaPer两种架构在低资源尼泊尔-印地语语音上的说话人日志性能,DiaPer在多人场景下表现更优。
2026-06-26 cs.CL cs.LG cs.SD
Hindi as a Second Language: Improving Visually Grounded Speech with Semantically Similar Samples
Korea Advanced Institute of Science and Technology(韩国科学技术院)
本文的目的是从多语言的角度探讨视觉接地语音模型(VGS)的学习。双语VGS模型通常使用来自两种语言的相同数量的口语字幕进行训练。然而,在现实中,可用的口头字幕的语言之间可能存在不平衡。我们在这项工作中的主要贡献是利用双语视觉接地语音模型中的高资源语言的力量来提高低资源语言的性能。我们介绍了两种方法来提取高资源语言的知识到低资源语言:(1)结合一个强大的预训练的高资源语言编码器和(2)使用语义相似的口头字幕。我们的实验表明,结合这两种方法有效地使低资源的语言,以超过单语和双语对应的跨模态检索任务的性能。
2023-03-30 cs.CL cs.CV cs.SD
Staged Depth-Pruning Distillation of a Flow-Matching Text-to-Speech Teacher: A Compact Hindi Speech Synthesizer
研究在数据量严重不足时构建紧凑印地语TTS模型的方法,通过分层深度剪枝蒸馏大型流匹配教师模型热启动学生模型,经多步剪枝与微调,得到不同参数的模型,在特定参数下效果良好,还解决了一些模型问题并进行了基准测试。
2026-07-22 cs.CL cs.SD eess.AS
Automatic Speech Recognition for Hindi
Vellore Institute of Technology(韦洛尔理工学院);Indian Institute of Science(印度科学理工学院)
该研究开发了基于JavaScript和Node.js的印地语ASR Web应用及语音识别界面,并测试了利用节点共激活先验统计的反向传播方法,实现语音信号与HMM状态的精确对齐。
2024-06-26 cs.CL cs.SD eess.AS
Synthesized Speech Detection Using Convolutional Transformer-Based Spectrogram Analysis
Purdue University(普渡大学)
由于虚拟助理、用于生成和修改语音信号的易于使用的工具以及远程工作实践的流行,合成语音在今天是常见的。合成语音也可以用于邪恶的目的,包括创建一个声称的语音信号,并将其归因于没有说出信号内容的人。我们需要检测语音信号是否是合成的方法。在本文中,我们分析语音信号的频谱图的形式与一个紧凑的卷积Transformer(CCT)的合成语音检测。CCT利用卷积层将感应偏置和共享权重引入网络,从而允许Transformer架构在用于训练的数据样本较少的情况下表现良好。CCT使用注意力机制来合并来自被分析信号的所有部分的信息。在真实的人类语音信号和合成的人类语音信号上训练,我们证明了我们的CCT方法成功地区分了真实的和合成的语音信号。
2022-05-03 cs.CV cs.LG cs.SD
Synth2Aug: Cross-domain speaker recognition with TTS synthesized speech
Google LLC(谷歌有限责任公司);DeepMind(深度思维)
近年来,文语转换(TTS)已被用作语音识别的数据增强技术,以帮助补充训练数据中的不足。相应地,我们研究了使用多说话人TTS系统来合成支持说话人识别的语音。在这项研究中,我们专注于任务的分析,其中一个相对较少的扬声器可用于培训。我们在我们的数据集上观察到,TTS合成语音提高了跨域说话人识别性能,并且可以有效地与多风格训练相结合。此外,我们探讨了不同类型的文本转录用于TTS合成的有效性。结果表明,匹配目标域的文本内容是一个很好的做法,如果这是不可行的,一个足够大的词汇量的成绩单建议。
2020-11-24 cs.LG cs.SD eess.AS
Training Wake Word Detection with Synthesized Speech Data on Confusion Words
Duke Kunshan University(昆山杜克大学);Duke University(杜克大学);Lenovo Research(联想研究院)
混淆词在现实生活中的关键词发现应用中经常遇到,这会导致由于复杂的口语术语和各种听起来与预定义的关键词相似的词而导致性能严重下降。为了增强唤醒词检测系统在这种情况下的鲁棒性,我们研究了两种用于训练端到端KWS系统的数据增强设置。一种是利用多说话人语音合成系统的合成数据,另一种是通过向声学特征中添加随机噪声来增强。实验结果表明,增强有助于提高系统的鲁棒性。此外,通过用多说话人文本到语音系统生成的合成数据来增强训练集,我们在混淆词的情况下实现了显著的改善。
2020-11-03 cs.LG cs.SD eess.AS
Speech Recognition with Augmented Synthesized Speech
Google(谷歌公司)
最近Tacotron语音合成结构及其变体在产生自然发声的多说话者合成语音方面的成功已经提高了替代用于训练语音识别器的昂贵的、手动转录的、特定领域的人类语音的令人兴奋的可能性。多说话者语音合成架构可以学习从输入声学表示导出的韵律、说话者和风格变化的潜在嵌入空间,从而允许对合成语音的操纵。在本文中,我们评估的可行性,提高语音识别性能使用语音合成使用两个语料库从不同的领域。我们探索算法,以提供必要的声学和词汇的多样性需要强大的语音识别。最后,我们证明了这种方法的可行性,作为一个数据增强策略域转移。我们发现,语音识别性能的改善是可以实现的,通过增加合成材料的训练数据。然而,在人类语音训练的识别器与合成语音训练的识别器之间的性能仍然存在很大的差距。
2019-09-25 cs.CL cs.SD eess.AS
Neural MOS Prediction for Synthesized Speech Using Multi-Task Learning With Spoofing Detection and Spoofing Type Classification
KAIST(韩国科学技术院)
一些研究提出了基于深度学习的模型来预测合成语音的平均意见得分(MOS),显示了取代人类评分员的可能性。然而,评分者间和评分者内的变异性使得很难确保模型的高性能。在本文中,我们提出了一种多任务学习(MTL)方法,使用以下两个辅助任务来提高MOS预测模型的性能:欺骗检测(SD)和欺骗类型分类(STC)。此外,我们使用焦点损失来最大化SD和STC之间的协同作用,用于MOS预测。使用2018年语音转换挑战赛的MOS评估结果进行的实验表明,提出的具有两个辅助任务的MTL提高了MOS预测。我们提出的模型实现了高达11.6%的相对改善性能的基线模型。
2020-12-02 cs.LG cs.SD eess.AS
Training Keyword Spotters with Limited and Synthesized Speech Data
Google Research(谷歌研究院)
随着低功耗语音设备的兴起,快速生成用于识别任意关键字集的模型的需求不断增长。与许多机器学习任务一样,模型创建过程中最具挑战性的部分之一是获得足够数量的训练数据。在本文中,我们探讨了合成语音数据在训练约400k参数的小型口语术语检测模型中的有效性。我们不是直接在音频或低级别特征(如MFCC)上训练这些模型,而是使用经过训练的预训练语音嵌入模型来提取关键字识别模型的有用特征。使用这种语音嵌入,我们表明,一个模型,检测10个关键字时,只训练合成语音相当于一个模型训练超过500个真实的例子。我们还表明,没有我们的语音嵌入的模型需要在超过4000个真实示例上进行训练才能达到相同的准确度。
2020-01-31 cs.LG cs.SD eess.AS
From Speaker Verification to Multispeaker Speech Synthesis, Deep Transfer with Feedback Constraint
Duke University(杜克大学);Duke Kunshan University(昆山杜克大学)
近年来,端到端的文语转换模型可以合成高保真语音。然而,在文本到语音系统中访问和控制语音属性,如说话人身份,韵律和情感仍然是一个挑战。本文提出了一种带反馈约束的多说话人语音合成系统。我们设法加强从说话人确认的语音合成通过从事说话人确认网络的知识转移。该约束通过与说话人身份相关的附加损失来获取,该附加损失被集中以提高合成语音与其自然参考音频之间的说话人相似性。该模型在公开的数据集上进行训练和评估。实验结果,包括可视化的说话人嵌入空间,显着改善方面的说话人身份克隆的声谱图水平。合成样本可在线收听。(https://caizexin.github.io/mlspk-syn-samples/index.html)
2020-08-04 cs.LG cs.SD eess.AS
Audio-visual video-to-speech synthesis with synthesized input audio
Imperial College London(帝国理工学院);University of Athens(雅典大学)
本文研究视频转语音中训练与推理均利用音频输入的效果,提出用预训练模型合成语音并与无声视频共同训练视听合成模型,在波形和梅尔频谱图目标上均有效。
2023-07-31 cs.CV cs.LG cs.SD
Hindi audio-video-Deepfake (HAV-DF): A Hindi language-based Audio-video Deepfake Dataset
BML Munjal University(BML蒙贾尔大学);School of Engineering & Technology, BML Munjal University(BML蒙贾尔大学工程与技术学院);Center for Advanced Data and Computational Science, BML Munjal University(BML蒙贾尔大学高级数据与计算科学中心)
针对印度面临的印地语深度伪造虚假信息风险,本文创建首个印地语音视频深度伪造数据集HAV-DF,采用多方法生成,可用于训练音视频联合检测器,且对现有检测方法构成更大挑战,填补了印地语特定数据集空白。
2024-11-23 cs.AI cs.CR cs.GR
Layer-wise Analysis for Quality of Multilingual Synthesized Speech
National Institute of Information and Communications Technology(国家信息与通信技术研究所);Nagoya University(名古屋大学)
针对有监督合成语音质量预测器泛化性差、无监督方法质量编码机制不明的问题,对多语言预训练语音模型开展逐层分析,明确了SSL早期层、ASR后期层的质量相关特性及参考数据匹配的重要性。
2025-09-05 cs.SD eess.AS
Prosody Transfer in Neural Text to Speech Using Global Pitch and Loudness Features
Electronic Arts(美国艺电)
本文提出了一种简单而有效的方法来实现从参考语音信号到合成语音的韵律转换。主要思想是将韵律的众所周知的声学相关性(例如参考语音的音高和响度轮廓)并入现代神经文本到语音(TTS)合成器(例如Tacotron 2(TC2))中。更具体地,从参考音频中提取一小组声学特征,然后用于调节TC2合成器。训练后的模型使用主观听力测试进行评估,并提出了一种新的韵律迁移的客观评估。听力测试表明,合成的语音被评为高度自然的,韵律是成功地从参考语音信号的合成信号。
2020-05-15 cs.CL cs.LG cs.SD
Using Deep Learning Techniques and Inferential Speech Statistics for AI Synthesised Speech Recognition
技术的最新发展为我们带来了令人惊叹的音频合成模型,如TACOTRON和WAVENETS。另一方面,它构成了更大的威胁,如语音克隆和深度伪造,这些可能无法被发现。为了解决这些令人担忧的情况,迫切需要提出能够帮助区分合成语音与实际人类语音的模型,并且还识别这种合成的来源。在这里,我们提出了一个基于卷积神经网络(CNN)和双向递归神经网络(BiRNN)的模型,有助于实现上述两个目标。使用双向RNN和CNN利用AI合成语音中存在的时间依赖性。该模型通过以1.9%的出错率对来自真实人类语音的AI合成音频进行分类,并以97%的准确率检测底层架构,从而优于最先进的方法。
2021-07-23 cs.LG cs.MM cs.SD
How Similar or Different Is Rakugo Speech Synthesizer to Professional Performers?
RevComm Inc.(RevComm公司)
我们一直致力于为rakugo(一种类似单人单口喜剧的日本传统语言娱乐形式)进行语音合成,以实现真正娱乐观众的语音合成。在本文中,我们提出了一种新的评估方法,使用合成的落语语音和真正的落语语音由三个不同等级的专业表演者。合成语音的自然度与人类语音相当,但合成语音比任何级别的表演者都更难取悦听众。然而,我们获得了一些有趣的见解,以解决挑战,以实现一个真正有趣的落语合成器。例如,自然度不是最重要的因素,即使在传统的语音合成领域中它通常被强调为要评估的最重要的点。更重要的因素是内容的可理解性和落语故事中人物的可理解性,与专业表演者相比,合成落语语音在这两方面都相对较差。我们还发现基频模型还需要进一步改进,以更好地娱乐观众。这些结果显示了达到真正娱乐性语音合成的重要步骤。
2020-10-22 cs.SD eess.AS
Balanced End-to-End Monolingual pre-training for Low-Resourced Indic Languages Code-Switching Speech Recognition
Kanari AI(卡纳里人工智能公司);Johns Hopkins University(约翰斯·霍普金斯大学);Qatar Computing Research Institute, HBKU(哈马德·本·哈利法大学卡塔尔计算研究所)
语码转换ASR的成功设计往往取决于转换后语码资源的可用性。这种依赖性损害了ASR在孟加拉语和印地语等低资源语言中的发展。在本文中,我们利用迁移学习的方法来设计端到端(E2 E)CS ASR系统的两个低资源的语言对使用不同的单语语音数据和一小部分嘈杂的CS数据。我们训练CS-ASR,遵循两个步骤:(i)使用基于卷积增强的Transformer(Conformer)的声学模型和n-gram语言模型构建一个健壮的双语ASR系统,以及(ii)用有限的噪声CS数据微调整个E2 E ASR。我们在MUCS 2021挑战赛上测试了我们的方法,并在CS赛道上获得了第三名。然后,我们使用在低资源印度语言的多语言和代码转换ASR挑战(MUCS 2021)中为印度语-英语和孟加拉语-英语对发布的嘈杂CS数据测试了所提出的方法,并在CS轨道中获得了第三名。与从抓取YouTube和学习音译对中受益的领先的两个系统不同,我们提出的迁移学习方法专注于只使用有限的CS数据,而不进行数据清理或数据重新分割。我们的方法在印地语-英语和孟加拉语-英语中分别实现了14.1%和27.1%的单词出错率(WER)相对增益。我们提供了详细的指导方针的步骤,以微调自我注意力为基础的模型有限的数据ASR。此外,我们发布了本文中使用的代码和配方。
2022-02-15 cs.CL cs.SD eess.AS
Deep MOS Predictor for Synthetic Speech Using Cluster-Based Modeling
KAIST(韩国科学技术院)
虽然深度学习在语音合成和语音转换方面取得了令人印象深刻的进展,但对合成语音的评估仍然由人类参与者进行。最近的几篇论文提出了基于深度学习的评估模型,并显示了自动化语音质量评估的潜力。为了改进先前提出的评估模型,MOSNet,我们提出了三个模型,使用基于集群的建模方法:使用全局质量令牌(GQT)层,使用编码层,并使用它们两者。我们使用2018年语音转换挑战赛的评估结果进行实验,以预测合成语音的平均意见得分以及合成语音与参考语音之间的相似度得分。结果表明,GQT层有助于通过自动学习任务的有用质量标记来更好地预测人类评估,编码层有助于更精确地利用帧级分数。
2020-08-09 cs.LG cs.SD eess.AS
Controllable Neural Prosody Synthesis
Adobe Research(Adobe 研究院)
语音合成在神经声码器和神经韵律发生器的出现的推动下,最近在保真度方面有了显著的改进。然而,这些系统缺乏对韵律的直观用户控制,使得它们不能纠正韵律错误(例如,错位的重点和上下文不适当的情绪)或生成具有不同的说话者兴奋水平和情绪的韵律。我们解决这些限制与用户可控,上下文感知神经韵律发生器。给定一个真实的或合成的语音记录,我们的模型允许用户输入韵律约束的某些时间帧,并生成剩余的时间帧从输入文本和上下文韵律。我们还提出了一个音高移位神经声码器来修改输入语音,以匹配合成的韵律。通过客观和主观的评价,我们表明,我们可以成功地将用户控制到我们的韵律生成模型,而不牺牲合成语音的整体自然。
2020-08-11 cs.LG cs.SD eess.AS
RUSLAN: Russian Spoken Language Corpus for Speech Synthesis
Institute of Computational Mathematics and Information Technologies(计算数学与信息技术研究所);Kazan Federal University(喀山联邦大学)
我们提出了RUSLAN -一个新的开放式俄语口语语料库的文本到语音的任务。RUSLAN包含22200个带有文本注释的音频样本-一个人超过31小时的高质量语音-就单个说话者的语音持续时间而言,是最大的注释俄语语料库。我们在我们的语料库上训练了一个端到端的神经网络来完成文本到语音的任务,并使用平均意见得分测试来评估合成语音的质量。合成语音达到4.05分的自然度和3.78分的可懂度的5点MOS量表。
2019-06-26 cs.LG cs.SD eess.AS
Cross-Technology Generalization in Synthesized Speech Detection: Evaluating AST Models with Modern Voice Generators
ITMO University(ITMO大学);ANTEI Limited(安泰有限公司);Hong Kong University of Science and Technology(香港科技大学)
本文评估AST模型在合成语音检测中的跨技术泛化能力,通过差异化增强策略在多个现代语音生成器上实现低错误率,并证明仅用少量样本即可适应新兴合成技术。
2025-03-28 cs.CR cs.SD eess.AS
MBNet: MOS Prediction for Synthesized Speech with Mean-Bias Network
University of Science and Technology of China(中国科学技术大学);Microsoft Research Asia(微软亚洲研究院);Microsoft Azure Speech(微软Azure语音)
平均意见评分(MOS)是一种流行的主观度量来评估合成语音的质量,通常需要多个人的法官来评估每个语音话语。为了减少MOS测试中的人力成本,已经提出了多种方法来自动预测MOS分数。据我们所知,对于一个语音话语,以往的工作只是使用来自不同的法官的多个分数的平均值作为训练目标,而丢弃了每个法官的个人分数,这没有很好地利用宝贵的MOS训练数据。在本文中,我们提出了MBNet,MOS预测器与平均子网和偏见子网,以更好地利用MOS数据集中的每个法官得分,其中平均子网用于预测与以前的作品类似的每个话语的平均得分,和偏见子网预测偏见得分(平均得分和每个法官得分之间的差异),并捕捉个人偏好的法官。实验表明,与仅利用平均得分进行训练的MOSNet基线相比,MBNet在VCC 2018数据集上将系统级斯皮尔曼等级相关系数(SRCC)提高了2.9%,在VCC 2016数据集上提高了6.7%。
2021-02-27 cs.SD eess.AS
Speaker consistency loss and step-wise optimization for semi-supervised joint training of TTS and ASR using unpaired text data
NTT Corporation(日本电报电话公司)
在本文中,我们研究了文本到语音(TTS)和自动语音识别(ASR)的半监督联合训练,其中有少量的成对数据和大量的非成对文本数据。传统的研究形成了一个称为TTS-ASR管道的循环,其中多说话者TTS模型从具有参考语音的文本合成语音,ASR模型从合成语音中重建文本,之后两个模型都经过训练,具有循环一致性损失。然而,合成语音并不反映参考语音的说话人特征,并且合成语音在训练后变得过于容易用于ASR模型识别。这不仅降低了TTS模型的质量,而且限制了ASR模型的改进。为了解决这个问题,我们提出了改进基于循环一致性的训练与扬声器一致性损失和逐步优化。说话人一致性损失使得合成语音的说话人特征更接近参考语音的说话人特征。在逐步优化中,我们首先在训练两个模型之前冻结TTS模型的参数,以避免TTS模型对ASR模型的过度适应。实验结果证明了该方法的有效性。
2022-07-11 cs.SD eess.AS
ExcitNet vocoder: A neural excitation model for parametric speech synthesis systems
NAVER Corp.(NAVER公司);Yonsei University(延世大学)
提出了一种基于WaveNet的神经元激励模型(ExcitNet),用于统计参数化语音合成系统。传统的基于WaveNet的神经语音编码系统通过自回归框架统计地生成语音波形的时间序列来显著地提高合成语音的感知质量。然而,他们往往遭受噪声输出,因为在捕捉语音信号的复杂的时变性质的困难。为了提高建模效率,所提出的ExcitNet声码器采用自适应逆滤波器来将频谱分量从语音信号中解耦。然后在WaveNet框架内训练和生成残差分量,即激励信号。通过这种方式,可以进一步提高合成语音信号的质量,因为频谱分量由深度学习框架很好地表示,此外,残差分量由WaveNet框架有效地生成。实验结果表明,建议的ExcitNet声码器,训练的说话人相关和说话人无关,优于传统的线性预测声码器和类似配置的传统WaveNet声码器。
2019-08-21 cs.LG cs.SD eess.AS
Transformer-Based Speech Synthesizer Attribution in an Open Set Scenario
Purdue University(普渡大学)
语音合成方法可以创建听起来逼真的语音,这可能用于欺诈、欺骗和错误信息活动。检测合成语音的取证方法对于防止此类攻击非常重要。取证归属方法提供了关于合成语音信号的性质的甚至更多的信息,因为它们识别特定的语音合成方法(即,语音合成器)用于创建语音信号。由于越来越多的逼真的语音合成器,我们提出了一种语音属性的方法,概括到新的合成器在训练过程中看不到。要做到这一点,我们调查语音合成器归因于一个封闭的场景和一个开放的场景。换句话说,我们认为一些语音合成器是“已知的”合成器(即,封闭集合的一部分)而其它的是“未知”合成器(即,开放的一部分)。我们表示语音信号的频谱图和训练我们提出的方法,被称为紧凑的属性Transformer(CAT),对多类分类的封闭集。然后,我们将我们的分析扩展到开集属性合成语音信号已知和未知的合成器。我们利用t分布随机邻居嵌入(tSNE)的训练CAT的潜在空间,以区分每个未知的合成器。此外,我们探索多1损失公式,以改善归因结果。我们所提出的方法成功地属性合成语音信号,以各自的语音合成器在封闭和开放集的情况下。
2022-10-14 cs.CV cs.SD eess.AS
High-quality Speech Synthesis Using Super-resolution Mel-Spectrogram
UBTECH Robotics Corporate(优必选机器人公司);Novosibirsk State University(新西伯利亚国立大学)
在语音合成和语音增强系统中,梅尔声谱图在声学表示中需要是精确的。然而,生成的频谱图过于平滑,不能产生高质量的合成语音。受图像到图像转换的启发,我们通过使用基于学习的后置滤波器结合Pix 2 PixHD和ResUnet来解决这个问题,以重建梅尔光谱图以及超分辨率。从由此产生的超分辨率频谱图网络,我们可以生成增强的频谱图,以产生高质量的合成语音。我们提出的模型实现了改进的平均意见分数(MOS)的3.71和4.01比基线结果的3.29和3.84,而使用声码器Griffin-Lim和WaveNet,分别。
2019-12-03 cs.SD eess.AS
Dynamic Prosody Prediction in LLM-based TTS for Improving Speaker Similarity
University of Science and Technology of China(中国科学技术大学);iFLYTEK
针对LLM-based TTS忽略风格特定韵律模式导致说话人相似度不足的问题,提出基于先前预测语音的动态音节韵律预测方法,显著提升韵律学习能力和说话人相似度。
2026-06-16 cs.SD eess.AS
Robust AI-Synthesized Speech Detection Using Feature Decomposition Learning and Synthesizer Feature Augmentation
School of Computer Science and Technology, Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳)计算机科学与技术学院);College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics(南京航空航天大学计算机科学与技术学院);Alibaba Group(阿里巴巴集团);College of Computer Science, Chongqing University(重庆大学计算机学院)
提出基于双流特征分解与合成器特征增强的鲁棒deepfake speech检测方法,通过学习独立于合成器的内容特征并增加特征多样性,提升对未见合成器的泛化能力。
2024-11-14 cs.CR cs.SD eess.AS
WaveCycleGAN2: Time-domain Neural Post-filter for Speech Waveform Generation
NTT Communication Science Laboratories, NTT Corporation(NTT公司NTT通信科学实验室)
WaveCycleGAN最近被提出来弥合统计参数语音合成中的自然语音波形和合成语音波形之间的差距,并提供使用移动平均模型而不是自回归模型的快速推理和使用对抗训练的高质量语音合成。然而,人耳仍然可以将处理后的语音波形与自然语音波形区分开。这种可重复性的一个可能原因是经由下/上采样模块在经处理的语音波形中观察到的混叠。为了解决混叠问题并提供更高质量的语音合成,我们提出了WaveCycleGAN 2,它1)使用没有下/上采样模块的发生器,2)结合了波形域和声学参数域的鉴别器。实验结果表明,该方法能很好地消除混叠现象,对分析合成和统计参数语音合成都有较好的效果,以及3)在NVIDIA Tesla P100上以超过150 kHz的速率处理语音样本时,获得了与自然语音以及由WaveNet(开放式WaveNet)和WaveGlow合成的语音相当的平均意见得分。
2019-04-09 cs.LG cs.SD eess.AS
Hidden-Markov-Model Based Speech Enhancement
Ostbayerische Technische Hochschule Regensburg(东巴伐利亚雷根斯堡应用技术大学)
本文的目标是使用一个参数化的语音合成系统来减少背景噪声和来自记录的语音信号的其它干扰。在第一步骤中,训练合成系统的隐马尔可夫模型。两个足够的训练语料库组成的文本和相应的语音文件已经建立和清除各种故障,包括听不见的话语或音频和文本数据之间的不正确的分配。这些都是测试和相互比较,例如合成语音中的缺陷,它的自然度和可理解性。因此,不同的声音被合成,其质量取决于所使用的训练样本的数量较少,但更多的是对清洁度和信噪比。一般的语音模型已被用于合成和结果之间的两个语音语料库有很大的差异。关于适应不同说话者的测试表明,在所有录音中都可以听到与原始说话者的相似之处,但合成的声音听起来机器人,在较小的部分不自然。然而,口语文本通常是可理解的,这表明模型运行良好。在一种新的方法中,语音合成使用的边信息的原始音频信号,特别是音调频率。结果表明,语音质量和可懂度的增加相比,语音合成完全从文本,到几乎无法区分从原来的点。
2017-07-04 cs.CL cs.SD
Bridging the Age Gap: Towards Detecting Neural Audio Codec Synthesized Elderly Speech Deepfake
BIIC Lab, NTHU, Taiwan(国立台湾大学BIIC实验室);UPES, India(印度UPES大学);VBSPU, India(印度VBSPU大学)
提出老年语音编解码伪造检测(ECFD)任务,发布中英文ECF数据集,发现现有检测器泛化差,利用多模态基础模型融合(BONSAI框架)实现1.66%平均等错误率,建立新基准。
2026-06-23 cs.SD eess.AS
CALM: Contrastive Cross-modal Speaking Style Modeling for Expressive Text-to-Speech Synthesis
Tencent(腾讯)
针对TTS参考语音选择受语义无关信息干扰的问题,提出对比声学-语言模块(CALM),通过对比学习提取风格相关文本特征以选择参考语音,实验证明其优于基线方法。
2023-08-30 cs.SD eess.AS
On the Relevance of Phoneme Duration Variability of Synthesized Training Data for Automatic Speech Recognition
RWTH Aachen University(亚琛工业大学);AppTek GmbH(AppTek有限公司)
本研究通过oracle实验和随机游走算法调整非自回归TTS合成数据的音素时长分布,使其更接近真实时长,从而提升半监督ASR系统的性能。
2023-10-12 cs.CL cs.SD eess.AS
High-Quality Vocoding Design with Signal Processing for Speech Synthesis and Voice Conversion
Budapest University of Technology and Economics(布达佩斯技术与经济大学)
这个博士本论文的重点是开发一个高质量的语音合成和语音转换系统。基于声码器的语音分析、处理和合成在各种统计参数语音研究中起着至关重要的作用。虽然存在产生接近自然合成语音的声码方法,但是它们通常在计算上是昂贵的,并且因此不适合于实时实现,特别是在嵌入式环境中。因此,需要简单且计算上可行的数字信号处理算法来生成高质量且听起来自然的合成语音。在本论文中,我提出了一种提取最佳声学特征的解决方案和一种新的波形发生器,通过应用深度学习的进步来实现更高的音质和转换精度。该方法在计算上仍然有效。这一挑战产生了五个论文组,简要概述如下。
2021-01-25 cs.SD eess.AS
An Empirical Study of Speech Language Models for Prompt-Conditioned Speech Synthesis
Carnegie Mellon University(卡内基梅隆大学);Meta AI;The Chinese University of Hong Kong(香港中文大学)
本研究实证分析了自回归与非自回归语音语言模型在提示条件语音合成中的表现,发现异质非平稳提示会损害音频质量,且说话者风格受内容影响,语义单元携带声学信息可能泄露。
2024-03-19 cs.CL cs.SD eess.AS
The Role of Vocal Persona in Natural and Synthesized Speech
Stanford University(斯坦福大学);Center for Computer Research in Music and Acoustics(计算机音乐与声学研究中心)
在合成语音中包含语音角色在广泛的人机交互(HCI)应用中具有重要意义,包括增强和辅助通信(AAC),艺术表演和虚拟代理设计。我们提出了一个框架,注入令人信服的和上下文相关的表达在合成的声音,通过引入合成系统中的声音角色。在这个框架中,所得到的“语音音调”被定义为存在于语音用户可遍历的连续的、上下文相关的概率空间内的点。我们还提出了10个采访声乐研究和表演专家的主题分析的初步结果,以进一步了解在自然的通信生态中的声乐角色的作用。所确定的主题随后被用于为上述框架的设计提供信息。
2022-10-31 cs.HC cs.SD cs.SY
MooseNet: A Trainable Metric for Synthesized Speech with a PLDA Module
Charles University(查理大学)
MooseNet通过在SSL嵌入上引入PLDA生成模型预测语音MOS,在极低资源下优于微调,并结合优化器选择、对比学习和多任务目标,在VoiceMOS Challenge上超越SSL基线。
2023-06-29 cs.CL cs.SD eess.AS
Deep Spectro-temporal Artifacts for Detecting Synthesized Speech
Tianjin University(天津大学);National Institute of Informatics(国立情报学研究所);Taiyuan University of Technology(太原理工大学);Japan Advanced Institute of Science and Technology(北陆先端科学技术大学院大学)
音频深度合成检测(ADD)挑战赛旨在检测生成的类人语音。通过我们提交的系统,本文提供了轨道1(低质量假音频检测)和轨道2(部分假音频检测)的总体评估。本文利用原始时域信号、频谱特征和深度嵌入特征检测谱时伪影。为了解决轨道1,低质量的数据增强,领域自适应通过微调,和各种互补的特征信息融合聚合在我们的系统。此外,我们分析了不同特征的子系统的聚类特性,通过可视化的方法,解释了我们提出的贪婪融合策略的有效性。对于音轨2,使用自监督学习结构来检测帧转换和平滑,以在时域中捕获PF攻击的操纵。我们分别在第一和第二轨道中排名第四和第五。
2022-10-11 cs.AI cs.SD eess.AS
A Self-Refining Framework for Enhancing ASR Using TTS-Synthesized Data
MediaTek Research(联发科研究实验室);National Taiwan University(国立台湾大学);Nvidia(英伟达)
本研究提出一种仅用无标注数据的ASR自优化框架,通过ASR生成伪标签训练TTS、再用合成语音反哺ASR的闭环机制,适配出的Twister模型相比Whisper错误率最高降50%,为低资源场景ASR优化提供新路径。
2025-06-16 cs.AI cs.CL cs.SD
Towards Parametric Speech Synthesis Using Gaussian-Markov Model of Spectral Envelope and Wavelet-Based Decomposition of F0
Budapest University of Technology and Economics(布达佩斯技术与经济大学)
基于神经网络的文语转换(Text-to-Speech)技术显著提高了合成语音的质量。突出的方法(例如,Tacotron 2、FastSpeech、FastPitch)通常从文本生成Mel频谱图,然后使用声码器(例如,WaveNet、WaveGlow、HiFiGAN)。与传统的参数方法(例如,STRAIGHT和WORLD),基于神经声码器的端到端模型存在推理速度慢的问题,并且合成的语音通常不鲁棒且缺乏可控性。在这项工作中,我们提出了一种新的更新声码器,这是一个简单的信号模型,训练和容易产生的波形。我们使用高斯马尔可夫模型对强大的学习谱包络和基于小波的统计信号处理的特点和分解F0功能。它能保持语音的精细谱包络,实现自然语音的高度可控性。实验结果表明,我们提出的声码器实现了更好的自然度重建语音比传统的直声码器,略优于WaveNet,并略差于WaveRNN。
2022-08-15 cs.SD eess.AS
Expressive Speech Synthesis via Modeling Expressions with Variational Autoencoder
Graduate School of Engineering, The University of Tokyo(东京大学工学研究生院)
神经元自回归模型的最新进展提高了语音合成(SS)的性能。然而,由于它们缺乏对语音的全局特征(如说话者个性或说话风格)进行建模的能力,特别是当这些特征尚未被标记时,使神经自回归SS系统更具表达力仍然是一个悬而未决的问题。在本文中,我们提出了结合VoiceLoop,自回归SS模型,与变分自编码器(VAE)。与传统的自回归SS系统不同,这种方法使用VAE来明确地对全局特征进行建模,从而能够以无监督的方式控制合成语音的表达能力。使用VCTK和Blizzard2012数据集的实验表明,VAE有助于VoiceLoop生成更高质量的语音,并通过将全局特征融入语音生成过程来控制合成语音中的表达。
2019-02-11 cs.CL cs.SD eess.AS
Analytic Study of Text-Free Speech Synthesis for Raw Audio using a Self-Supervised Learning Model
The University of Tokyo(东京大学)
本文研究利用SSL模型从无配对原始音频中提取离散符号表征进行无文本语音合成,并与文本表征对比,发现前者更擅长保留韵律、语调等声学内容。
2024-12-04 cs.CL cs.SD eess.AS
RNN-based speech synthesis using a continuous sinusoidal model
Budapest University of Technology and Economics(布达佩斯技术与经济大学)
最近在统计参数语音合成中,我们提出了一种连续正弦模型(CSM),该模型使用连续F0(contF 0)结合最大浊音频率(MVF),成功地在合成语音中提供了最先进的声码器性能(例如,类似于STRAIGHT)。在本文中,我们讨论了使用递归神经网络(RNN)的序列到序列建模。研究了双向长短期记忆(Bi-LSTM),并使用我们的CSM对contF 0、MVF和Mel-广义倒谱(MGC)进行建模,以获得更自然的合成语音。为了改进contF 0估计的输出,应用基于时间扭曲方法的后处理来减少清音语音声音的不需要的浊音分量,从而产生增强的contF 0轨道。客观评价和主观听音测试的结果表明,该框架在自然度和可懂度方面均能达到令人满意的效果,与基于世界模型的高质量RNN具有可比性。
2019-04-12 cs.SD eess.AS
Accent conversion using discrete units with parallel data synthesized from controllable accented TTS
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
本研究提出一种基于离散单元的多口音转换模型,以母语语音自监督聚类得到的离散单元为中间目标,结合多说话人TTS还原母语口音,还提出高效数据增强法降低非母语数据需求,可在保留说话人身份的同时将多种非母语音色转为母语口音、提升流利度。
2024-09-30 cs.CL cs.SD eess.AS
Multimodal Zero-Shot Framework for Deepfake Hate Speech Detection in Low-Resource Languages
Indian Institute of Technology JodhpurIndia(印度理工学院贾姆普尔分校);Columbia UniversityUSA(哥伦比亚大学)
提出对比学习对齐音视频与文本表示的多模态框架,并构建六语言深度伪造仇恨言论基准,在零样本低资源场景中取得优于基线的跨语言检测性能。
2025-06-10 cs.SD eess.AS
A Novel Automatic Framework for Speaker Drift Detection in Synthesized Speech
University of Amsterdam(阿姆斯特丹大学);Georgia Institute of Technology(佐治亚理工学院);Halmstad University(哈尔姆斯塔德大学)
本文提出一种自动框架,通过将说话人漂移检测转化为语音层面的二元分类任务,利用余弦相似度和大语言模型进行检测,建立了说话人漂移作为独立研究问题的理论基础。
2026-04-07 cs.AI cs.SD
What does a network layer hear? Analyzing hidden representations of end-to-end ASR through speech synthesis
College of Electrical Engineering and Computer Science, National Taiwan University(台湾大学电机资讯学院)
与传统系统相比,端到端语音识别系统已经取得了有竞争力的结果。然而,在给定高度可变的声学信号的情况下,层之间涉及的复杂变换很难分析。在本文中,我们提出了我们的ASR探测模型,该模型从端到端ASR的隐藏表示中合成语音,以检查每层计算后的信息维护。听合成的语音,我们观察到随着层的深入,说话者的变化和噪声逐渐被去除,这与之前关于深度网络在语音识别中的作用的研究一致。本文是第一个研究分析端到端的语音识别模型,通过演示每一层听到什么。合成语音的说话人确认和语音增强测试也进一步证实了我们的观察。
2019-11-04 cs.CL cs.NE cs.SD
Bridging the SEA Gap: An Initial Benchmark for Neural Audio Codec-Synthesized Speech Deepfakes in South-East Asian Languages
IIIT-Delhi, India(印度德里国家理工学院);UPES, India(印度UPES大学);VBSPU, India(印度VBSPU大学)
针对南亚语言神经音频编码合成语音深度伪造检测缺乏基准的问题,构建首个大规模基准SEA-CF,并提出轻量级小模型GARUDA,在低资源场景下实现高效检测。
2026-06-16 cs.SD eess.AS
NaturalL2S: End-to-End High-quality Multispeaker Lip-to-Speech Synthesis with Differential Digital Signal Processing
针对现有唇语转语音合成方法依赖梅尔频谱图导致域差距的问题,提出端到端框架NaturalL2S,集成F0预测器与可微分数字信号处理合成器,无需参考说话人嵌入,有效提升合成语音质量。
2025-02-17 cs.CV cs.SD eess.AS
SynTTS-Commands: A Public Dataset for On-Device KWS via TTS-Synthesized Multilingual Speech
Independent Researchers(独立研究者)
SynTTS-Commands通过TTS合成多语言语音数据集,解决了设备端KWS训练数据稀缺问题,实现高准确率的语音识别
2025-11-24 cs.SD
A unified sequence-to-sequence front-end model for Mandarin text-to-speech synthesis
Bytedance(字节跳动)
在普通话文语转换(TTS)系统中,前端文本处理模块对合成语音的可懂度和自然度有重要影响。构建一个典型的基于流水线的前端,它由多个单独的组件组成,需要大量的工作。在本文中,我们提出了一个统一的序列到序列的前端模型,将原始文本直接转换为语言特征。与基于流水线的前端相比,我们的统一前端在多音字消歧和韵律词预测方面可以达到相当的性能,并且在F1得分中将语调短语预测提高了0.0738。我们还使用Tacotron和WaveRNN实现了统一前端,以构建普通话TTS系统。由此合成的语音得到了与基于流水线的前端(4.37)相当的MOS(4.38),并且接近于人类录音(4.49)。
2019-11-11 cs.CL cs.SD eess.AS