Zero-shot text-to-speech synthesis conditioned using self-supervised speech representation model
NTT Corporation(日本电信电话公司)
针对零样本 TTS 中未见说话人特征复现不足的问题,提出直接利用 SSL 语音表示并分离声学特征与时长条件,提升说话人相似度并实现语音节奏迁移。
2023-04-24 cs.LG cs.SD eess.AS
Learning Speaker Embedding from Text-to-Speech
Johns Hopkins University(约翰斯·霍普金斯大学)
Zero-shot多说话人文本转语音(TTS)在给定输入文本和对应的说话人嵌入的情况下生成目标说话人语音。在这项工作中,我们调查的有效性的TTS重建目标,以提高表示学习的说话人验证。我们以自我监督的方式联合训练端到端Tacotron 2 TTS和说话人嵌入网络。我们假设嵌入将包含最小的语音信息,因为TTS解码器将从文本输入中获得该信息。TTS重建还可以与说话者分类相结合,以进一步增强这些嵌入。一旦训练完成,说话人编码器计算说话人验证任务的表示,而其余的TTS块被丢弃。我们调查培训TTS从手动或ASR生成的成绩单。后者允许我们在数据集上训练嵌入,而无需手动转录。我们比较了ASR成绩单和Kaldi电话对齐TTS输入,显示后者表现更好,由于其更精细的分辨率。对于LibriTTS数据集的i向量,无监督TTS嵌入将EER绝对提高了2.06\%。在LibriTTS和Voxceleb1中,与只使用说话人分类损失的模型相比,使用说话人分类损失的TTS分别使EER提高了0.2 8%和0.73%。
2020-10-21 cs.LG cs.SD eess.AS
RevRIR: Joint Reverberant Speech and Room Impulse Response Embedding using Contrastive Learning with Application to Room Shape Classification
OrCam Technologies LTD(奥坎科技有限公司);Bar Ilan University(巴伊兰大学)
本文提出 RevRIR 双编码器架构,利用对比学习将混响语音与房间脉冲响应联合嵌入,直接从语音估计房间参数,并在模拟环境中有效完成了房间形状分类任务。
2024-06-05 cs.LG cs.SD eess.AS
Unsupervised Speech Enhancement with speech recognition embedding and disentanglement losses
The Graduate Center, CUNY(纽约市立大学研究生中心);Microsoft Research(微软研究院)
语音增强最近通过各种深度学习方法取得了巨大成功。然而,大多数传统的语音增强系统是用监督方法训练的,这带来了两个重大挑战。首先,用于语音增强系统的大多数训练数据集是合成的。当混合干净的语音和嘈杂的语料库来创建合成数据集时,在嘈杂的语音或音频的合成和真实世界的记录之间发生域不匹配。其次,在提高语音增强性能和降低语音识别(ASR)性能之间存在权衡。因此,我们提出了一个无监督的损失函数来解决这两个问题。我们的函数是通过扩展MixIT损失函数与语音识别嵌入和解纠缠损失来开发的。我们的研究结果表明,该函数有效地提高了语音增强的性能相比,在嘈杂的VoxCeleb数据集上的监督方式训练的基线。虽然完全无监督训练无法超过相应的基线,但通过联合超级和无监督训练,系统能够实现与最佳监督基线相似的语音质量和更好的ASR性能。
2022-02-19 cs.SD eess.AS
SAMU-XLSR: Semantically-Aligned Multimodal Utterance-level Cross-Lingual Speech Representation
MIT Computer Science and Artificial Intelligence Laboratory(麻省理工学院计算机科学与人工智能实验室);Le Mans University(勒芒大学)
我们提出了SAMU-XLSR:语义对齐的多模态话语级跨语言语音表示学习框架。与以前的语音表示学习工作不同,它以声学帧(10- 20 ms)的分辨率学习多语言上下文语音嵌入,这项工作专注于学习多模态(语音-文本)多语言语音嵌入,以句子(5- 10 s)的分辨率,使得嵌入向量空间在不同语言之间语义对齐。我们结合国家的最先进的多语言声学帧级语音表示学习模型XLS-R与语言无关的BERT句子嵌入(LaBSE)模型,创建一个话语级多模态语音编码器SAMU-XLSR。虽然我们训练SAMU-XLSR只有多语言转录的语音数据,跨语言的语音文本和语音语音协会出现在其学习的表示空间。为了证实我们的主张,我们使用SAMU-XLSR语音编码器结合预训练的LaBSE文本句子编码器进行跨语言语音到文本翻译检索,并单独使用SAMU-XLSR进行跨语言语音到语音翻译检索。我们通过在多个数据集上执行多个跨语言文本和语音翻译检索任务来突出这些应用程序。
2022-05-17 cs.CL cs.LG cs.SD
Gated Embeddings in End-to-End Speech Recognition for Conversational-Context Fusion
Carnegie Mellon University(卡内基梅隆大学)
我们提出了一种新的会话上下文感知端到端的语音识别器的基础上的门控神经网络,结合会话上下文/词/语音嵌入。与传统的语音识别模型不同,我们的模型学习跨越句子的较长对话上下文信息,因此更好地识别长对话。具体地,我们提出使用基于文本的外部词和/或句子嵌入(即,fastText,BERT),从而显著改善了单词出错率,并具有更好的会话上下文表示。我们评估的Switchboard会话语音语料库的模型,并表明我们的模型优于标准的端到端的语音识别模型。
2019-06-27 cs.CL cs.SD eess.AS
Pretrained Semantic Speech Embeddings for End-to-End Spoken Language Understanding via Cross-Modal Teacher-Student Learning
University of Stuttgart(斯图加特大学)
口语理解通常基于包括语音识别和自然语言理解步骤的流水线架构。这些组件被独立地优化以允许使用可用数据,但是整个系统遭受错误传播。在本文中,我们提出了一种新的训练方法,使预训练的上下文嵌入处理声学特征。特别是,我们扩展它与编码器的预训练语音识别系统,以构建端到端的口语理解系统。我们所提出的方法是基于教师-学生的框架,跨越语音和文本形式,对齐的声学和语义的潜在空间。在三个基准测试中的实验结果表明,我们的系统达到了与流水线架构相当的性能,而不使用任何训练数据,并在三个基准测试中的两个上进行了每类十个示例的微调后,性能优于流水线架构。
2020-08-11 cs.CL cs.LG cs.SD
Transfer Learning from Audio-Visual Grounding to Speech Recognition
Massachusetts Institute of Technology(麻省理工学院)
迁移学习旨在通过重复使用从学习其他相关任务中获得的知识来减少在新任务中出色所需的数据量。本文提出了一种新的迁移学习方案,该方案从基础模型中提取鲁棒的语音特征,这些基础模型经过训练以判断一对图像和语音是否在语义上相关,而不使用任何文本记录。由于语音的语义在很大程度上取决于其词汇内容,接地模型学习保留语音信息,而忽略不相关的因素,如扬声器和通道。为了研究从不同层提取的特征的性质,我们分别使用它们作为输入来训练多个语音识别模型。实验结果表明,越靠近输入的层保留更多的语音信息,而下面的层表现出更大的不变性域转移。此外,虽然大多数以前的研究包括用于特征提取器训练的语音识别的训练数据,但我们的接地模型没有在任何这些数据上进行训练,这表明对新领域具有更普遍的适用性。
2019-07-09 cs.CL cs.LG cs.SD
Learned In Speech Recognition: Contextual Acoustic Word Embeddings
Carnegie Mellon University(卡内基梅隆大学)
端到端的声学到词语音识别模型最近得到了普及,因为它们易于训练,可以很好地扩展到大量的训练数据,并且不需要词典。此外,单词模型也可以更容易地与下游任务(例如口语语言理解)集成,因为推理(搜索)与音素、字符或任何其他种类的子单词单元相比简化得多。在本文中,我们描述的方法来构建上下文声学词嵌入直接从监督序列到序列的声学到词的语音识别模型使用学习的注意力分布。在一组16个标准句子评估任务中,我们的嵌入显示出与在语音传输上训练的word2vec模型相比具有竞争力的性能。此外,我们评估这些嵌入在语言理解任务,并观察到,我们的嵌入匹配的性能,基于文本的嵌入在管道中的第一次执行语音识别,然后从transmittance构建词嵌入。
2019-02-18 cs.CL cs.SD eess.AS
Vision as an Interlingua: Learning Multilingual Semantic Embeddings of Untranscribed Speech
Massachusetts Institute of Technology(麻省理工学院)
在本文中,我们探讨了学习的神经网络嵌入自然图像和语音波形描述这些图像的内容。这些嵌入是直接从波形中学习的,而不使用语言transmitting或传统的语音识别技术。虽然以前的工作已经调查了这种设置在单语的情况下使用英语语音数据,这项工作是第一次努力将这些技术应用到英语以外的语言。使用英语和印地语收集的口头字幕,我们表明,相同的模型架构可以成功地应用于这两种语言。此外,我们还证明了在两种语言上同时训练多语言模型可以提高单语模型的性能。最后,我们表明,这些模型能够执行语义跨语言语音到语音检索。
2018-04-09 cs.CL cs.SD eess.AS
Emotion-Disentangled Embedding Alignment for Noise-Robust and Cross-Corpus Speech Emotion Recognition
TCS Research(TCS研究)
本文提出EDRL-MEA两步方法,通过情感解耦表征学习提取判别特征并利用多块嵌入对齐投影到联合子空间,显著提升了语音情感识别在噪声和跨语料库场景下的鲁棒性与泛化能力。
2025-10-10 cs.AI cs.HC cs.LG
SEAL: Speech Embedding Alignment Learning for Speech Large Language Model with Retrieval-Augmented Generation
SenseTime Research(商汤科技研究院)
SEAL通过统一的语音和文本嵌入框架,提升语音大语言模型的检索效率与准确性,减少延迟并增强多模态检索能力。
2025-12-10 cs.CL cs.SD eess.AS
Unspeech: Unsupervised Speech Context Embeddings
我们介绍了“非语音”嵌入,这是基于无监督学习的上下文特征表示的口语。通过使用基于负采样的上下文和非上下文歧视的直接学习目标,在长达9500小时的抓取英语语音数据上对嵌入进行了训练,而没有transmittance或扬声器信息。我们使用Siamese卷积神经网络架构来训练Unspeech嵌入,并在说话人比较,话语聚类以及在TED-LIUM上训练的TDNN-HMM声学模型中作为上下文特征对其进行评估,将其与i向量基线进行比较。特别是从最近发布的普通语音语料库中解码域外语音数据显示出一致的WER降低。我们在许可的开源许可下发布我们的源代码和预训练的Unspeech模型。
2018-08-23 cs.CL cs.SD eess.AS
Unsupervised Cross-Modal Alignment of Speech and Text Embedding Spaces
Computer Science and Artificial Intelligence Laboratory(计算机科学与人工智能实验室);Massachusetts Institute of Technology(麻省理工学院)
最近的研究表明,从不同语言的文本语料库中学习的词嵌入空间可以在没有任何并行数据监督的情况下对齐。受无监督跨语言词嵌入成功的启发,在本文中,我们的目标是学习语音和文本的嵌入空间之间的跨模态对齐,这些嵌入空间是以无监督的方式从各自模态的语料库中学习的。所提出的框架学习单独的语音和文本嵌入空间,并尝试通过对抗训练来对齐这两个空间,然后进行细化过程。我们展示了我们的框架如何用于执行口语词分类和翻译,这两项任务的结果表明,我们的无监督对齐方法的性能与有监督对齐方法相当。我们的框架对于开发低资源或零资源语言的自动语音识别(ASR)和语音到文本翻译系统特别有用,这些语言几乎没有并行音频文本数据来训练现代监督ASR和语音到文本翻译模型,但占世界上大多数语言。
2018-09-20 cs.CL cs.SD eess.AS
Sequence-to-sequence Automatic Speech Recognition with Word Embedding Regularization and Fused Decoding
National Taiwan University(台湾大学);University of California, San Diego(加州大学圣地亚哥分校)
在本文中,我们调查的好处,现成的词嵌入可以带来的序列到序列(seq-to-seq)自动语音识别(ASR)。我们首先通过最大化变换的解码器特征和目标词嵌入之间的余弦相似性来引入词嵌入正则化。在正则化译码器的基础上,进一步提出了融合译码机制。这允许解码器在解码期间通过吸收由经变换的解码器特征携带的信息来考虑语义一致性,所述经变换的解码器特征被学习为接近目标词嵌入。LibriSpeech上的初步结果表明,预训练的词嵌入可以显著降低ASR识别错误,成本可以忽略不计,并且在Skip-gram,CBOW和BERT中选择词嵌入算法很重要。
2020-02-05 cs.CL cs.SD eess.AS
Almost-unsupervised Speech Recognition with Close-to-zero Resource Based on Phonetic Structures Learned from Very Small Unpaired Speech and Text Data
National Taiwan University(国立台湾大学)
对于世界上95%以上的低资源语言来说,为训练ASR系统生成大量带注释的语音数据仍然很困难。然而,我们注意到,人类婴儿开始学习语言的声音,少量的范例词没有听到大量的数据。我们在本文中开始在这个方向上的一些初步工作。音频Word2Vec用于获得携带从信号中提取的语音信息的口语单词的嵌入。一个自动编码器被用来生成嵌入的文本单词的发音特征的基础上的音素序列。这两套嵌入口语和文本的话描述了相似的语音结构之间的话在各自的潜在空间。从音频嵌入到文本嵌入的映射关系实际上给出了单词级ASR。这可以通过在嵌入空间中对齐少量的口语单词和相应的文本单词来学习。在最初的实验中,只有200个注释的口语单词和一个小时的语音数据没有注释,给出了27.5%的单词准确率,这是一个很低的起点。
2018-10-30 cs.CL cs.SD eess.AS
Residual Speech Embeddings for Tone Classification: Removing Linguistic Content to Enhance Paralinguistic Analysis
Khalifa University(哈利法大学);ADIA(阿布扎比投资局)
本文提出通过语音嵌入对文本嵌入回归取残差,去除语言内容以增强音调分类,实验证明残差嵌入显著提升分类性能并增强线性可分性。
2025-02-26 cs.CL cs.LG
Multilingual and crosslingual speech recognition using phonological-vector based phone embeddings
Tsinghua University(清华大学);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心)
语音特征(PF)的使用潜在地允许特定语言的音素在训练中保持链接,这对于用于低资源语言的多语言和跨语言语音识别方法的信息共享是非常期望的。以前的方法在使用语音特征时的缺点是,以自底向上的方式提取声学到PF本身是困难的。在本文中,我们建议将音位驱动的音素嵌入(自上而下)和基于深度神经网络(DNN)的声学特征提取(自下而上)结合起来,以计算音素概率。这种新方法被称为JoinAP(Joining of Acoustics and Phonology)。值得注意的是,语音识别不需要从声学特征到音位特征的反演。对于IPA(International Phonetic Alphabet)表中的每个音素,我们将其音素特征编码为一个音素向量,然后对该音素向量进行线性或非线性变换,得到音素嵌入。在CommonVoice数据集(德语、法语、西班牙语和意大利语)和AISHLL-1数据集(普通话)上进行了一系列多语种和跨语种(包括zero-shot和Few-Shot)语音识别实验,证明了非线性音素嵌入的JoinAP方法优于线性音素嵌入的JoinAP方法和传统的平面音素嵌入方法。
2021-10-30 cs.CL cs.SD eess.AS
DistilXLSR: A Light Weight Cross-Lingual Speech Representation Model
Tsinghua University(清华大学);TAL Education(好未来教育)
本文提出轻量级蒸馏模型 DistilXLSR,通过音素随机打乱和跳层初始化,仅用英语数据压缩跨语言语音表示模型,在15种低资源语言上实现50%参数削减并保持表示能力。
2023-06-02 cs.CL cs.SD eess.AS
Word-level Embeddings for Cross-Task Transfer Learning in Speech Processing
Swiss Federal Institute of Technology Lausanne(洛桑联邦理工学院);Imperial College London(伦敦帝国学院);Logitech Europe S.A.(罗技欧洲公司)
深度学习的最新突破通常依赖于表示学习和知识转移。近年来,用于学习语音表示的无监督和自监督技术被开发以促进自动语音识别。到目前为止,这些方法中的大多数是特定于任务的,并且被设计用于不同数据集或特定任务的设置之间的任务内迁移学习。反过来,学习任务独立的语音表示和迁移学习的跨任务应用仍然不太常见。在这里,我们介绍了一个编码器捕捉词级表示的语音跨任务迁移学习。我们展示了预训练编码器在四个不同的语音和音频处理任务中的应用:(i)语音增强,(ii)语言识别,(iii)语音,噪声和音乐分类,以及(iv)说话人辨识。在每个任务中,我们将跨任务迁移学习方法的性能与特定任务的基线进行比较。我们的研究结果表明,编码器通过预训练捕获的语音表示在不同的语音处理任务和数据集之间是可转移的。值得注意的是,即使是我们预先训练的编码器的简单应用程序也优于特定于任务的方法,或者是相当的,这取决于任务。
2021-12-14 cs.CL cs.SD eess.AS
TRILLsson: Distilled Universal Paralinguistic Speech Representations
Verily Life Sciences(Verily生命科学公司);Google Research(谷歌研究院)
自我监督的最新进展显着提高了语音表示的质量。然而,在设备上部署最先进的嵌入模型由于其有限的公共可用性和巨大的资源占用而受到限制。我们的工作通过公开发布一系列小型且接近最先进性能的非语言学语音模型来解决这些问题。我们的方法基于知识蒸馏,我们的模型仅基于公共数据。我们探索不同的架构,并在非语义语音(NOSS)基准上彻底评估我们的模型。我们最大的蒸馏模型的大小不到原始模型的15%(314MB vs 2.2GB),在7个任务中的6个任务上达到了96%以上的准确率,并在6.5%的数据上进行了训练。最小的模型大小为1%(22MB),在7个任务中的6个任务上达到了90%以上的准确率。我们的模型在7个任务中的6个任务上优于开源Wav2Vec 2.0模型,我们最小的模型在两个情感识别任务上都优于开源Wav2Vec 2.0,尽管大小只有开源Wav2Vec 2.0的7%。
2022-03-20 cs.CL cs.LG cs.SD
Improving generalizability of distilled self-supervised speech processing models under distorted settings
National University of Singapore(新加坡国立大学)
自监督学习(SSL)语音预训练模型在各种语音处理任务中表现良好。SSL模型的精简版本已经开发出来,以满足设备上语音应用程序的需求。尽管与原始SSL模型具有相似的性能,但在扭曲的环境中,提取的对应模型的性能下降甚至比其原始版本更严重。本文提出在知识蒸馏过程中将交叉失真映射和领域对抗训练应用于SSL模型,以缓解领域不匹配问题造成的性能差距。结果表明,在域内和域外扭曲设置下,不同下游任务的性能得到了一致的改善,同时保持了有效的模型大小。
2022-10-20 cs.CL cs.SD eess.AS
Conformer-based End-to-end Speech Recognition With Rotary Position Embedding
Northwestern Polytechnical University(西北工业大学)
近年来,基于transformer的端到端语音识别模型由于其高训练速度和对长距离全局上下文建模的能力而受到相当大的关注。Transformer架构中的位置嵌入是必不可少的,因为它为输入序列中不同位置的元素之间的依赖性建模提供了监督。为了利用输入序列的时间顺序,许多作品将元素的相对或绝对位置信息注入到输入序列中。在这项工作中,我们研究了各种位置嵌入方法的卷积增强的Transformer(conformer),并采用了一种新的实现称为旋转位置嵌入(RoPE)。RoPE通过旋转矩阵将绝对位置信息编码到输入序列中,然后自然地将显式相对位置信息并入自注意模块中。为了评估RoPE方法的有效性,我们在AISHELL-1和LibriSpeech语料库上进行了实验。实验结果表明,在语音识别任务中,用RoPE增强的构象子取得了较好的性能.具体来说,我们的模型实现了一个相对字的出错率减少8.70%和7.27%,分别在测试清洁和测试其他集的LibriSpeech语料库的一致。
2021-07-13 cs.CL cs.SD eess.AS
Length-Aware Rotary Position Embedding for Text-Speech Alignment
Supertone, Inc.(Supertone公司)
本文提出长度感知旋转位置编码(LARoPE),通过长度归一化索引计算相对距离以改进文本-语音对齐,在收敛速度、对齐准确度、长语音稳定性和零样本 TTS 基准上均优于 RoPE。
2025-09-14 cs.AI cs.CL cs.SD
Knowledge Distilled Ensemble Model for sEMG-based Silent Speech Interface
Imperial College London(帝国理工学院)
本文提出轻量级知识蒸馏集成模型KDE-SSI,用于sEMG无声语音接口,可对26个NATO音标字母进行分类,测试准确率达85.9%,为便携式端到端系统提供支持。
2023-08-07 cs.LG cs.SD eess.AS
StyleTTS-ZS: Efficient High-Quality Zero-Shot Text-to-Speech Synthesis with Distilled Time-Varying Style Diffusion
针对现有大规模零样本TTS模型推理慢、依赖复杂预训练编解码器、自然度与相似度不足的问题,提出StyleTTS-ZS模型,通过时变离散风格码与蒸馏扩散实现高效高质量合成,性能超SOTA且速度提升10-20倍。
2024-09-16 cs.SD eess.AS
DMOSpeech: Direct Metric Optimization via Distilled Diffusion Model in Zero-Shot Speech Synthesis
Columbia University(哥伦比亚大学);Adobe Research(奥多比研究院)
本文提出DMOSpeech,一种蒸馏扩散TTS模型,通过贯通所有组件的梯度直接优化CTC与SV等可微指标,在零样本语音合成中显著提升自然度、可懂度和说话人相似度,并大幅加快推理。
2025-02-20 cs.AI cs.SD eess.AS
Low-Latency Incremental Text-to-Speech Synthesis with Distilled Context Prediction Network
The University of Tokyo(东京大学)
增量式文语转换(TTS)合成以小的语言单元生成话语,以满足实时和低延迟的应用。我们之前提出了一种增量TTS方法,该方法利用大型预训练语言模型来考虑未观察到的未来上下文,而无需等待后续片段。虽然该方法实现了与等待未来上下文的方法相当的语音质量,但是它需要在每个时间步从语言模型采样的大量处理。在本文中,我们提出了一种增量TTS方法,直接预测未观察到的未来的上下文与一个轻量级的模型,而不是从大规模的语言模型采样的话。我们执行知识蒸馏从基于GPT 2的上下文预测网络到一个简单的循环模型,通过最小化这些模型的上下文嵌入向量之间定义的师生损失。实验结果表明,该方法所需的推理时间比我们以前的方法少10倍,并且可以以比英语说话人平均说话速度快得多的速度进行增量合成,证明了该方法在实时应用中的可用性。
2021-09-22 cs.CL cs.SD eess.AS
Self-Distilled Pronunciation and Accent Control for Neural Text-to-Speech
KOWRO Inc.(KOWRO公司)
提出自蒸馏方法,用冻结主干自身输出作为教师,训练带口音生僻词阅读,无需词典或外部编辑,在多个TTS模型上显著提升口音准确率且不损害自然度。
2026-09-25 cs.SD eess.AS
VocalNet-MDM: Accelerating Streaming Speech LLM via Self-Distilled Masked Diffusion Modeling
Shanghai Jiao Tong University(上海交通大学);Ant Group(蚂蚁集团)
VocalNet-MDM通过自蒸馏掩码扩散建模实现流式语音LLM的高效解码与低延迟
2026-02-09 cs.CL cs.SD
Towards Lightweight and Stable Zero-shot TTS with Self-distilled Representation Disentanglement
Zhejiang University(浙江大学);AMAP(中国农业科学院农业资源与农业区划研究所)
针对现有零样本TTS依赖大模型与大数据、部署成本高且有数据安全风险的问题,提出带自蒸馏表征解耦的轻量稳定系统,兼具优异性能、高稳定性与计算效率。
2025-01-15 cs.AI cs.SD eess.AS
Disentangling speech from surroundings with neural embeddings
Google Research(谷歌研究院)
本文提出在神经音频编解码器嵌入空间中通过分区与混合重建训练,将语音与环境噪声、混响解耦,并支持音频特性定向调整。
2023-06-04 cs.LG cs.SD eess.AS
Breaking Resource Barriers in Speech Emotion Recognition via Data Distillation
Imperial College London(伦敦帝国学院);University of Bremen(不莱梅大学);Beijing Institute of Technology(北京理工大学);Griffith University(格里菲斯大学);Technical University of Munich (TUM)(慕尼黑技术大学);GLAM – the Group on Language, Audio, & Music Cognitive Systems Lab(语言、音频与音乐认知系统实验室);School of Medical Technology(医学技术学院);Klinikum rechts der Isar(莱茵河右岸医院)
针对物联网边缘设备资源受限及情感语音数据隐私泄露问题,提出一种数据蒸馏框架,利用合成的更小蒸馏数据集高效训练SER模型,其性能与使用原始完整数据集相当。
2025-05-30 cs.AI cs.SD eess.AS
Correlating Subword Articulation with Lip Shapes for Embedding Aware Audio-Visual Speech Enhancement
University of Science and Technology of China(中国科学技术大学);iFlytek Research, iFlytek Co., Ltd.(科大讯飞研究院,科大讯飞股份有限公司);Georgia Institute of Technology(佐治亚理工学院)
在本文中,我们提出了一个视觉嵌入的方法,以提高嵌入感知语音增强(EASE)的同步视觉唇帧在手机和地方的清晰度水平。我们首先提取视觉嵌入唇帧使用预先训练的电话或发音的地方识别器的视觉只EASE(VEASE)。接下来,我们提取视听嵌入噪声语音和唇视频中的信息交叉的方式,利用音频和视觉功能的互补性多模态EASE(MEASE)。在模拟加性噪声污染的TCD-TIMIT语料库上的实验表明,我们提出的基于子词的VEASE方法比传统的词级嵌入方法更有效。此外,在发音位置水平上的视觉嵌入,利用发音位置和嘴唇形状之间的高度相关性,显示出比在电话水平上更好的性能。最后,建议的MEASE框架,结合音频和视频嵌入,产生显着更好的语音质量和清晰度比最好的视觉和音频的EASE系统。
2020-09-21 cs.LG cs.SD eess.AS
Single-Channel Speech Separation with Auxiliary Speaker Embeddings
University of Augsburg(奥格斯堡大学);Imperial College London(帝国理工学院)
本文提出了一种新的声源分离模型,将单声道语音信号分解为两个不同说话人的语音段。所提出的模型是一个基于残差块的神经网络,并使用学习的扬声器嵌入创建从额外的干净的上下文记录的两个扬声器作为输入,以帮助归因于不同的时间频率箱的两个扬声器。在实验中,我们表明,该模型在声源分离任务中产生良好的性能,并优于最先进的基线。具体来说,从具有挑战性的VoxCeleb数据集分离语音,所提出的模型产生4.79dB的信号失真比,8.44dB的信号伪影比和7.11dB的信号干扰比。
2019-06-24 cs.LG cs.SD eess.AS
End-to-End Multi-Speaker Speech Recognition using Speaker Embeddings and Transfer Learning
Institute for Natural Language Processing (IMS), University of Stuttgart(斯图加特大学自然语言处理研究所(IMS))
本文介绍了我们在重叠语音的端到端自动语音识别(ASR)方面的最新研究。我们建议以说话者嵌入为条件来训练端到端系统,并通过从干净语音中进行迁移学习来进一步改进。该框架不需要任何平行的非重叠语音材料,并且与说话人的数量无关。我们在重叠语音数据集上的实验结果表明,对说话人嵌入和迁移学习的联合调节显着提高了ASR性能。
2019-08-13 cs.CL cs.LG cs.SD
Speech Rhythm-Based Speaker Embeddings Extraction from Phonemes and Phoneme Duration for Multi-Speaker Speech Synthesis
NTT Human Informatics Laboratories(NTT人类信息学研究所);NTT Corporation(NTT公司)
本文提出一种基于语音节奏的说话人嵌入提取方法,通过音素及其时长建模目标说话人特征,实验表明其在仅用少量数据时即可提升多说话人语音合成中节奏还原的准确性。
2024-02-11 cs.CL cs.LG cs.SD
Can large-scale vocoded spoofed data improve speech spoofing countermeasure with a self-supervised front end?
National Institute of Informatics(国立情报学研究所)
本研究利用多个神经声码器生成超9000小时声码数据,持续训练自监督前端并蒸馏融合,显著提升语音伪造检测在多个未见测试集上的性能。
2023-12-28 cs.SD eess.AS
Improving Prosody Modelling with Cross-Utterance BERT Embeddings for End-to-end Speech Synthesis
JD AI Research(京东人工智能研究院)
尽管韵律与语篇结构的语言信息相关,但大多数文本到语音(TTS)系统仅考虑每个句子内的韵律,这使得将一段文本转换为自然和表达性语音具有挑战性。在本文中,我们建议使用相邻句子的文本嵌入,以提高韵律生成为一个段落中的每一个话语在一个端到端的方式,而不使用任何显式的韵律特征。更具体地,交叉话语(CU)上下文向量被用于增强Tacotron 2解码器的输入,所述交叉话语(CU)上下文向量由附加CU编码器基于由预训练的BERT模型提取的句子嵌入来产生。研究了两种类型的BERT嵌入,这导致使用不同的CU编码器结构。在普通话有声读物数据集和LJ-Speech英语有声读物数据集上的实验结果表明,CU信息的使用可以提高合成语音的自然度和表现力。主观听力测试显示,大多数参与者更喜欢使用CU编码器生成的语音,而不是使用标准Tacotron 2生成的语音。研究还发现,韵律可以通过改变相邻句子来间接控制。
2020-11-06 cs.LG cs.SD eess.AS
RoVo: Robust Voice Protection Against Unauthorized Speech Synthesis with Embedding-Level Perturbations
Soongsil University(顺斯大学)
针对现有音频级扰动防御易被语音增强抵消的问题,提出嵌入级扰动防御方法RoVo,在多个合成模型和商用API上实现高防御成功率,且抗语音增强能力强,同时保留语音自然度与可用性。
2025-05-19 cs.LG cs.SD eess.AS
Distilled HuBERT for Mobile Speech Emotion Recognition: A Cross-Corpus Validation Study
Department of Communications and Information Engineering(通信与信息工程系);University of Science and Technology, Zewail City(科学技术大学,泽维尔城)
本文提出基于DistilHuBERT的移动高效语音情感识别系统,通过跨语料库训练提升泛化能力,实现92%参数减少和61.4%准确率,同时保持对愤怒情绪的高召回率。
2025-12-31 cs.AI cs.SD
Emotion Recognition from Speech Using Wav2vec 2.0 Embeddings
CONICET-UBA(阿根廷国家科学技术研究委员会-布宜诺斯艾利斯大学);Universidad de Buenos Aires(布宜诺斯艾利斯大学)
情感识别数据集相对较小,使得使用更复杂的深度学习方法具有挑战性。在这项工作中,我们提出了一个迁移学习方法的语音情感识别,从预先训练的wav2vec 2.0模型中提取的功能使用简单的神经网络建模。我们建议使用与下游模型联合学习的可训练权重来组合预训练模型的几个层的输出。此外,我们使用两种不同的wav2vec 2.0模型,与没有微调语音识别的性能进行比较。我们评估我们提出的方法在两个标准的情感数据库IEMOCAP和RAVDESS,表现出优越的性能相比,在文献中的结果。
2021-04-08 cs.LG cs.SD eess.AS
Evaluating the reliability of acoustic speech embeddings
ENS-PSL(巴黎高等师范学院-巴黎文理研究大学);EHESS(法国高等社会科学研究院);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所)
语音嵌入是可变长度语音序列的固定大小的声学表示。它们越来越多地用于各种任务,从信息检索到无监督术语发现和语音分割。然而,目前还没有明确的方法来以任务中立的方式比较或优化这些嵌入的质量。在这里,我们系统地比较了两个流行的指标,ABX歧视和平均精度(MAP),在5种语言的17种嵌入方法,从监督到完全无监督,并使用不同的损失函数(自动编码器,对应自动编码器,连体)。然后,我们使用ABX和MAP来预测一个新的下游任务的性能:在给定的语料库中的语音段的频率的无监督估计。我们发现,总体而言,ABX和MAP相互关联,并与频率估计。然而,在语言和/或嵌入方法之间的细粒度区分中出现了实质性的差异。这使得目前提出一种独立于任务的银弹方法来计算语音嵌入的内在质量是不现实的。有必要对目前用于评估这种嵌入的指标进行更详细的分析。
2020-11-06 cs.CL cs.LG cs.SD
Efficient Speech Quality Assessment using Self-supervised Framewise Embeddings
Logitech(罗技)
自动语音质量评估对于音频研究人员、开发人员、语音和语言病理学家以及系统质量工程师来说至关重要。目前最先进的系统是基于帧的语音功能(手工设计或学习)结合时间依赖性建模。本文提出了一种高效的系统,其结果可与ConferencingSpeech 2022挑战中的最佳性能模型相媲美。我们提出的系统的特点是参数数量较少(40- 60倍),FLOPS更少(100倍),内存消耗更低(10- 15倍),延迟更低(30倍)。因此,语音质量从业者可以更快地部署系统,在资源有限的硬件上部署系统,总体而言,所提出的系统有助于可持续的机器学习。本文还得出结论,逐帧嵌入优于话语级嵌入,并且具有声学条件建模的多任务训练不会降低语音质量预测,同时提供更好的解释。
2022-11-12 cs.AI cs.LG cs.SD
DENSE: Dynamic Embedding Causal Target Speech Extraction
针对静态嵌入难以捕捉已提取语音上下文的问题,提出DENSE动态嵌入因果TSE模型,通过自回归生成上下文相关嵌入,实现实时帧级提取并提升STOI与SDR。
2024-12-10 cs.SD eess.AS
Scaling Speech Enhancement in Unseen Environments with Noise Embeddings
University of Augsburg(奥格斯堡大学);Imperial College London(帝国理工学院)
我们解决的问题,语音增强推广到看不见的环境,通过执行两个操作。首先,我们单独从环境中嵌入一个额外的记录,并使用此嵌入来改变主增强子网络中的激活。其次,我们将训练时存在的噪声环境的数量扩展到16,784个不同的环境。实验结果表明,这两种操作减少了字错误率的预训练语音识别系统和提高增强质量,根据一些性能指标。具体来说,我们的最佳模型将字错误率从噪声语音的34.04%降低到增强语音的15.46%。增强的音频示例可以在https://speechenhancement.page.link/samples中找到。
2018-10-26 cs.LG cs.SD eess.AS
CTA-RNN: Channel and Temporal-wise Attention RNN Leveraging Pre-trained ASR Embeddings for Speech Emotion Recognition
Institute of Acoustics, Chinese Academy of Sciences(中国科学院声学研究所);University of Chinese Academy of Sciences(中国科学院大学)
先前的研究已经探讨了通过利用语音的声学和语言线索来提高语音情感识别(SER)的方法。然而,国家的最先进的ASR模型和SER任务之间的潜在关联还有待调查。在本文中,我们提出了一种新的通道和时间上的注意力RNN(CTA-RNN)架构的基础上,预训练的ASR模型的中间表示。具体来说,大规模预训练的端到端ASR编码器的嵌入包含声学和语言信息,以及概括到不同说话者的能力,使它们非常适合下游SER任务。为了进一步利用ASR编码器不同层的嵌入,我们提出了一种新的CTA-RNN架构来捕获信道和时间方向上嵌入的情感突出部分。我们评估我们的方法在两个流行的基准数据集,IEMOCAP和MSP-IMPROV,使用内语料库和跨语料库设置。实验结果表明,我们提出的方法可以实现良好的性能,在准确性和鲁棒性。
2022-03-31 cs.LG cs.SD eess.AS
Problem-Agnostic Speech Embeddings for Multi-Speaker Text-to-Speech with SampleRNN
Amazon Research(亚马逊研究院)
文语转换(TTS)声学模型将语言特征映射到生成可听波形的声学表示中。最新和最自然的TTS系统在语言和波形域之间建立了直接映射,如SampleRNN。这样,由于中间声学表示被丢弃,避免了可能的信号自然度损失。除了自然性之外,研究的另一个重要方面是它们对从训练期间看不见的新说话者发出声音的适应性。在本文中,我们首先提出了使用问题不可知的语音嵌入在一个多扬声器声学模型的TTS基于SampleRNN。通过这种方式,我们为声学模型提供了扬声器声学相关的表示,这些表示比与这些因素无关的离散嵌入更丰富了波形生成。我们的第一个结果表明,所提出的嵌入导致更好的质量的声音比那些获得离散嵌入。此外,由于我们可以在推理过程中使用任何语音片段作为编码表示,因此该模型能够推广到新的说话人身份,而无需重新训练网络。我们最后表明,随着嵌入提取器中语音持续时间的小幅增加,我们大大降低了频谱失真,以缩小目标身份的差距。
2019-09-22 cs.SD eess.AS
DNN-based Speaker Embedding Using Subjective Inter-speaker Similarity for Multi-speaker Modeling in Speech Synthesis
The University of Tokyo(东京大学)
本文提出了一种基于深度神经网络(DNN)的主观说话人间相似性的说话人嵌入新算法。尽管诸如$d$向量的常规的基于DNN的说话者嵌入可以应用于语音合成中的多说话者建模,但是它与主观说话者间相似性不相关,并且对于其语音话语不包括在训练数据中的开放式说话者来说不一定是适当的说话者表示。我们使用通过大规模主观评分获得的说话人间相似性矩阵,提出了两种基于DNN的说话人嵌入模型的训练算法。一种是基于相似向量嵌入,训练模型预测相似矩阵的向量作为说话人表示。另一种是基于相似矩阵嵌入,训练模型使相似矩阵与$d$ -向量的Gram矩阵之间的Frobenius范数平方最小,即,从$d$向量导出的说话者间相似性。我们众包了153名日本女性说话人的说话人间相似性得分,实验结果表明,我们的算法学习的说话人嵌入与主观相似性高度相关。我们还将所提出的说话人嵌入应用于基于DNN的语音合成中的多说话人建模,并揭示了所提出的相似性向量嵌入提高了开放式说话人的合成语音质量,其语音话语在训练过程中是不可见的。
2019-07-19 cs.LG cs.SD eess.AS
End-to-end Triplet Loss based Emotion Embedding System for Speech Emotion Recognition
Indian Institute of Technology Roorkee(印度理工学院鲁尔基分校);Osaka Prefecture University(大阪府立大学)
本文提出了一种基于三元组丢失和残差学习的端到端神经元嵌入系统,用于语音情感识别。所提出的系统学习的嵌入从语音话语的情感信息。学习的嵌入用于识别由给定的各种长度的语音样本所描绘的情感。所提出的系统实现残差神经网络架构。它使用softmax预训练和三重损失函数进行训练。使用训练好的网络的全连接层和嵌入层之间的权重来计算嵌入值。将各种情感的嵌入表示映射到一个超平面上,并使用余弦相似度计算它们之间的角度。这些角度被用来分类一个新的语音样本到其适当的情感类。在RAVDESS和IEMOCAP数据集上,该系统的情感识别准确率分别为91.67%和64.44%。
2020-10-13 cs.SD eess.AS
Robust and fine-grained prosody control of end-to-end speech synthesis
Neosapience, Inc.(Neosapience公司)
我们提出了韵律嵌入情感和表达语音合成网络。所提出的方法在嵌入网络中引入时间结构,从而能够细粒度控制合成语音的说话风格。可以在语音侧或文本侧设计时间结构,从而在时间上导致不同的控制分辨率。韵律嵌入网络被插入到端到端的语音合成网络中,并且除了用于合成的目标语音之外,在没有任何其他监督的情况下进行训练。实验结果表明,韵律嵌入网络能够学习提取韵律特征。通过调整学习到的韵律特征,我们可以在帧级和音素级上改变合成语音的音高和幅度。我们还介绍了时间归一化的韵律嵌入,这表明对说话人的扰动在韵律传输任务具有更好的鲁棒性。
2019-02-18 cs.CL cs.LG cs.SD
FRILL: A Non-Semantic Speech Embedding for Mobile Devices
University of Washington(华盛顿大学);Google(谷歌)
学习的语音表示可以大大提高有限标记数据的任务性能。然而,由于它们的大小和复杂性,学习表示在移动环境中的实用性有限,其中运行时性能可能是一个重要的瓶颈。在这项工作中,我们提出了一类轻量级的非语义语音嵌入模型,有效地运行在移动设备上最近提出的TRILL语音嵌入的基础上。我们结合新的架构修改与现有的加速技术,以创建嵌入模型,是足够快的实时运行在一个移动终端上,并表现出最小的性能下降的基准上的非语义语音任务。其中一个模型(FRILL)在Pixel 1智能手机上的速度快32倍,尺寸是TRILL的40%,准确度平均仅降低2%。据我们所知,FRILL是专为移动设备设计的最高质量的非语义嵌入。此外,我们证明,这些表示是有用的移动健康任务,如非语音人类声音检测和蒙面语音检测。我们的模型和代码是公开的。
2021-06-10 cs.SD eess.AS
Content-Dependent Fine-Grained Speaker Embedding for Zero-Shot Speaker Adaptation in Text-to-Speech Synthesis
Tencent(腾讯)
Zero-shot说话人自适应的目的是克隆一个看不见的说话人的声音,没有任何适应时间和参数。以前的研究通常使用说话人编码器从参考语音中提取全局固定说话人嵌入,并且有几次尝试尝试了可变长度的说话人嵌入。然而,他们忽略了转移个人的发音特征相关的音素内容,导致穷人的说话人的相似性方面的详细发言风格和发音习惯。为了提高说话人编码器对个人发音特征建模的能力,我们提出了基于内容的细粒度说话人嵌入的zero-shot说话人自适应算法。分别从参考语音中提取相应的本地内容嵌入和说话人嵌入。而不是建模的时间关系,一个参考注意模块被引入到参考语音和输入文本之间的内容相关性建模,并生成细粒度的扬声器嵌入每个音素编码器的输出。实验结果表明,该方法可以提高合成语音的说话人相似度,特别是对未知说话人。
2022-11-11 cs.SD eess.AS
Room Impulse Response Embeddings for Speech Enhancement in Noisy and Reverberant Environments
Paderborn University(帕德博恩大学)
提出自监督方法学习房间冲激响应嵌入,用于在混响和噪声环境中提升语音增强性能,并在所有指标上取得一致改进。
2026-09-28 cs.SD eess.AS