Distilling the Knowledge of BERT for CTC-based ASR
Graduate School of Informatics, Kyoto University(京都大学信息学研究生院)
在自动语音识别(ASR)中,基于连接主义时态分类(CTC)的模型因其快速推理而备受关注。语言模型(LM)集成方法,如浅层融合和重评分,可以提高识别准确率的CTC为基础的ASR利用文本语料库中的知识。然而,它们显著减慢了CTC的推断。在这项研究中,我们建议提取BERT的知识,基于CTC的ASR,扩展我们以前的研究,基于注意力的ASR。基于CTC的ASR在训练过程中学习BERT的知识,在测试过程中不使用BERT,保持了CTC的快速推理能力。与基于注意力的模型不同,基于CTC的模型进行帧级预测,因此它们需要与BERT的标记级预测对齐以进行蒸馏。我们建议通过计算最合理的CTC路径来获得对齐。在自然日语语料库(CSJ)和TED-LIUM 2上的实验结果表明,该方法在不影响推理速度的前提下,提高了基于CTC的自动识别的性能。
2022-09-05 cs.CL cs.SD eess.AS
HMM vs. CTC for Automatic Speech Recognition: Comparison Based on Full-Sum Training from Scratch
RWTH Aachen University(亚琛工业大学);AppTek GmbH(AppTek有限公司)
在这项工作中,我们比较从头开始的序列级交叉熵(全和)训练的隐马尔可夫模型(HMM)和连接主义时间分类(CTC)的拓扑结构的自动语音识别(ASR)。除了准确性,我们进一步分析了它们在语音信号和转录之间生成高质量时间对准的能力,这对许多后续应用至关重要。此外,我们提出了几种方法,通过解决对齐建模问题来提高从头开始的全和训练的收敛性。系统的比较进行Switchboard和LibriSpeech语料库跨CTC,后验HMM和W/O的转移概率,和标准的混合HMM。我们还提供了一个详细的分析维特比强制对齐和鲍姆-韦尔奇全和占用概率。
2022-10-18 cs.SD eess.AS
Relaxing the Conditional Independence Assumption of CTC-based ASR by Conditioning on Intermediate Predictions
LINE Corporation(LINE公司);Kyoto University(京都大学)
提出了一种放松基于连接主义时态分类(CTC)的自动语音识别(ASR)模型条件独立性假设的方法。我们训练一个基于CTC的ASR模型,除了最后一层的原始CTC损失外,中间层中还具有辅助CTC损失。在训练和推理期间,中间层中生成的每个预测都被求和到下一层的输入,以使最后一层的预测取决于这些中间预测。该方法易于实现,并保留了基于CTC的ASR的优点:模型结构简单,解码速度快。我们在三个不同的ASR语料库上进行实验。我们提出的方法显著改进了标准CTC模型(例如,在WSJ语料库上超过20%的相对单词错误率降低)而具有一点计算开销。此外,对于TEDLIUM 2语料库和AISHELL-1语料库,它实现了与具有波束搜索的强自回归模型相当的性能,但解码速度至少快30倍。
2021-10-08 cs.CL cs.SD eess.AS
Reducing Spelling Inconsistencies in Code-Switching ASR using Contextualized CTC Loss
语码转换(CS)是自动语音识别(ASR)的一个难题,尤其是基于字符的模型。由于组合选择了多种语言中的字符,基于字符的模型的结果会受到音素重复的影响,从而导致语言不一致的拼写。我们提出了上下文连接时间分类(CCTC)的损失,以鼓励拼写错误的字符为基础的非自回归ASR,允许更快的推理。CCTC损失条件的主要预测的预测上下文,以确保语言的拼写一致性。与现有的基于CTC的方法相比,CCTC损失不需要帧级对齐,因为上下文地面真值是从模型的估计路径中获得的。与使用常规CTC损失训练的相同模型相比,我们的方法一致地提高了CS和单语语料库上的ASR性能。
2021-06-22 cs.CL cs.SD eess.AS
CJST: CTC Compressor based Joint Speech and Text Training for Decoder-Only ASR
Meta AI
本文提出CJST框架,通过CTC压缩器实现语音与文本双向联合训练,无需时长处理即可在解码器专用ASR中有效注入文本,并在Librispeech和TED-LIUM2上取得域内与跨域最佳性能。
2024-12-31 cs.LG cs.SD eess.AS
CTC-GMM: CTC guided modality matching for fast and accurate streaming speech translation
Microsoft(微软公司)
针对流式语音翻译标注数据成本高的问题,提出CTC-GMM方法,利用CTC压缩语音序列匹配文本序列,借助MT文本数据优化模型,在FLEURS、CoVoST2上提升准确率并加快GPU解码速度。
2024-10-07 cs.AI cs.CL eess.AS
Blockwise Streaming Transformer for Spoken Language Understanding and Simultaneous Speech Translation
University of Chinese Academy of Sciences(中国科学院大学);Carnegie Mellon University(卡内基梅隆大学)
虽然Transformers在口语语言理解(SLU)和语音翻译(ST)等语音处理任务中取得了成功,但在保持竞争力的同时实现在线处理对于现实世界的交互仍然至关重要。在本文中,我们采取的第一步流SLU和同步ST使用块流式Transformer,这是基于上下文块处理和块同步束搜索。此外,我们还针对流媒体SLU任务设计了一种基于自动语音识别(ASR)的中间损失正则化方法,以进一步提高分类性能。对于同时ST任务,我们提出了一种跨语言的编码方法,它采用了一个CTC分支优化目标语言翻译。此外,还利用CTC翻译输出,以CTC前缀分数细化搜索空间,首次实现联合CTC/注意力同传。SLU的实验是在FSC和SLURP语料库上进行的,而ST任务是在Fisher-CallHome Spanish和Must-C En-De语料库上进行的。实验结果表明,与离线模型相比,块流式传输Transformer实现了有竞争力的结果,特别是我们提出的方法,在SLU任务上进一步产生2.4%的准确性增益,在ST任务上获得4.3 BLEU增益。
2022-04-19 cs.CL cs.SD eess.AS
Cascaded CNN-resBiLSTM-CTC: An End-to-End Acoustic Model For Speech Recognition
CloudWalk(云从科技)
自动语音识别(ASR)任务通过端到端深度学习模型来解决,这使我们减少了原始数据的准备工作,并且更容易在语言之间进行转换。我们提出了一种新的端到端深度学习模型架构,即级联CNN-resBiLSTM-CTC。在该模型中,我们在BiLSTM层中加入残差块,以同时提取复杂的音素和语义信息,并采用级联结构来更加关注硬负样本的挖掘信息。通过应用简单的快速傅里叶变换(FFT)技术和n-gram语言模型(LM)重评分方法,我们在LibriSpeech测试干净语料库上实现了3.41%的单词错误率(WER)。此外,我们提出了一种新的批量变化的方法,以加快训练过程中的长度变化的任务,这导致减少25%的训练时间。
2018-10-30 cs.CL cs.SD eess.AS
Phonemic and Graphemic Multilingual CTC Based Speech Recognition
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Carnegie Mellon University(卡内基梅隆大学)
训练自动语音识别(ASR)系统需要目标语言的大量数据以实现良好的性能。虽然大型培训语料库是现成的语言,如英语,有一个长尾的语言,确实遭受缺乏资源。处理数据稀疏性的一种方法是使用来自其他源语言的数据并构建多语言系统。最近,基于连接主义时间分类(CTC)训练的递归神经网络(RNN)的ASR系统获得了大量的研究兴趣。在这项工作中,我们扩展了我们以前的方法对培训CTC为基础的系统多语言。我们的系统具有一个全球音素集,基于每种源语言的联合音素集。我们评估了不同语言组合的使用以及语言特征向量(LFV)的添加。作为对比实验,我们也建立了基于字素的系统。已知具有多语言音素集的系统与其单语言对应物相比在性能上受到影响。通过我们提出的方法,我们可以减少这些单语言和多语言设置之间的差距,使用字素或音素。
2017-11-13 cs.AI cs.CL eess.AS
Boosting CTC-Based ASR Using LLM-Based Intermediate Loss Regularization
Independent Researcher(独立研究者)
针对CTC模型难以建模语言依赖的问题,提出辅助损失框架LAIL,利用LLM的语言知识增强CTC-based ASR,在保持计算效率的同时显著降低WER并实现SOTA。
2025-06-28 cs.CL cs.SD eess.AS
Multi-Speaker ASR Combining Non-Autoregressive Conformer CTC and Conditional Speaker Chain
Northwestern Polytechnical University(西北工业大学);Carnegie Mellon University(卡内基梅隆大学)
非自回归(NAR)模型已经实现了大量的推理计算减少和自回归(AR)模型在各种序列到序列任务的可比结果。然而,针对序列到多序列问题(如多说话人自动语音识别(ASR))的NAR方法的研究有限。在这项研究中,我们将我们提出的条件链模型扩展到NAR多说话人ASR。具体而言,每个扬声器的输出是一个接一个地使用输入混合语音和先前估计的条件扬声器特征来推断的。在每一步中,NAR连接时间分类(CTC)编码器用于执行并行计算。通过这种设计,总的推理步骤将被限制在混合扬声器的数量上。此外,我们还采用了Conformer,并加入了一个中间的CTC损失,以提高性能。在WSJ 0-Mix和LibriMix语料库上的实验表明,我们的模型在延迟仅略有增加的情况下优于其他NAR模型,分别实现了22.3%和24.9%的WER。此外,通过包含可变数量的说话人的数据,我们的模型甚至可以比PIT-Conformer AR模型更好,只有1/7的延迟,在WSJ 0 - 2 mix和WSJ 0 - 3 mix集上获得19.9%和34.3%的WER。我们所有的代码都可以在https://github.com/pengchengguo/espnet/tree/conditional-multispk上公开获取。
2021-06-16 cs.SD eess.AS
Fast-MD: Fast Multi-Decoder End-to-End Speech Translation with Non-Autoregressive Hidden Intermediates
Kyoto University(京都大学);Carnegie Mellon University(卡内基梅隆大学)
多解码器(MD)端到端语音翻译模型通过搜索更好的中间自动语音识别(ASR)解码器状态作为隐藏中间体(HI)来展示高翻译质量。它是一个两遍解码模型,将整个任务分解为ASR和机器翻译子任务。然而,解码速度对于现实世界的应用来说不够快,因为它在推理期间对两个子任务进行波束搜索。我们提出了快速MD,一个快速MD模型,产生HI的非自回归(NAR)解码的基础上连接主义时间分类(CTC)的输出,然后由ASR解码器。我们研究了两种类型的NAR HI:(1)使用自回归Transformer ASR解码器的并行HI和(2)使用Mask-CTC的掩码HI,该Mask-CTC结合了CTC和条件掩码语言模型。为了减少ASR解码器在训练期间的教师强迫和测试期间对CTC输出的调节之间的不匹配,我们还建议在训练期间对CTC输出进行采样。在三个语料库上的实验结果表明,Fast-MD在GPU和CPU上的解码速度分别比原始MD模型快2倍和4倍,翻译质量相当。采用Conformer编码器和中间CTC损失,在不牺牲解码速度的情况下进一步提高其质量。
2021-09-27 cs.CL cs.SD eess.AS
Faster, Simpler and More Accurate Hybrid ASR Systems Using Wordpieces
Facebook AI(Facebook人工智能)
在这项工作中,我们首先表明,在广泛使用的LibriSpeech基准,我们的基于变换的上下文相关的连接主义时间分类(CTC)系统产生的最先进的结果。然后,我们表明,使用词片作为建模单元结合CTC训练,与传统的基于帧的交叉熵训练相比,我们可以通过排除所有的GMM自举,决策树构建和力对齐步骤来大大简化工程管道,同时仍然实现非常有竞争力的单词错误率。此外,使用字段作为建模单元可以显着提高运行时效率,因为我们可以使用更大的步幅而不会失去准确性。我们在两个内部VideoASR数据集上进一步证实了这些发现:德语,类似于英语作为融合语言,土耳其语,这是一种粘着语言。
2020-08-16 cs.CL eess.AS
Text-to-Speech Pipeline for Swiss German -- A comparison
University of Applied Sciences and Arts Northwestern Switzerland(西北瑞士应用科学与艺术大学);Zurich University of Applied Sciences(苏黎世应用科学大学)
本文比较多种TTS模型在三个瑞士德语语料库上的表现,发现VITS效果最好,并提出利用训练好的声码器GAN判别器识别人声与合成语音的新评估方法。
2023-05-31 cs.CL cs.SD eess.AS
A Training Criterion with Token-Level Tolerance to Transcription Ambiguity for Automatic Speech Recognition
Indian Institute of Science (IISc)(印度科学研究院)
针对转录歧义,提出词元级通配符弧的CTC变体OTC,结合词元与词级逃逸路径及熵索引调度,在19语言25任务上优于CTC,平均相对WER降低9.45%。
2026-09-25 cs.CL eess.AS
Multi-Stream End-to-End Speech Recognition
Johns Hopkins University(约翰斯·霍普金斯大学);Amazon(亚马逊);Mitsubishi Electric Research Laboratories(三菱电机研究实验室)
基于注意力的方法和连接主义时间分类(CTC)网络是端到端(E2 E)自动语音识别(ASR)的重要研究方向。联合CTC/Attention模型在多任务训练和联合解码过程中利用了两种架构,取得了很大的成功。在这项工作中,我们提出了一个多流框架的基础上联合CTC/注意力E2 E ASR的并行流表示的单独的编码器,旨在捕捉不同的信息。在常规注意力网络之上,引入了分层注意力网络(HAN),以将解码器转向信息量最大的编码器。一个单独的CTC网络被分配给每个流,以强制单调对齐。提出并讨论了两种具有代表性的框架,分别是多编码器多分辨率(MEM-Res)框架和多编码器多阵列(MEM-Array)框架。在MEM-Res框架中,具有不同架构、时间分辨率和独立CTC网络的两个异构编码器并行工作,以从相同声学中提取互补信息。实验在华尔街日报(WSJ)和CHiME-4上进行,导致相对字错误率(WER)降低18.0-32.1%,并且在WSJ eval 92测试集中最好的WER为3.6%。MEM-Array框架旨在使用由单独编码器激活的多个麦克风阵列来提高远场ASR鲁棒性。与最好的单阵列结果相比,所提出的框架在AMI和DIRHA多阵列语料库中分别实现了3.7%和9.7%的相对WER降低,这也优于传统的融合策略。
2019-10-18 cs.CL cs.SD eess.AS
Multilingual Stutter Event Detection for English, German, and Mandarin Speech
Rosenheim Technical University of Applied Sciences, Germany(德国罗森海姆应用技术大学)
本文提出一个基于多语种数据的多标签口吃检测系统,通过利用三种语言和四个语料库的标注数据,实现跨语言的鲁棒检测,实验表明多语言训练在某些情况下优于传统方法。
2026-03-27 cs.CL cs.SD eess.AS
JTubeSpeech: corpus of Japanese speech collected from YouTube for speech recognition and speaker verification
The University of Tokyo(东京大学);Technical University of Munich(慕尼黑工业大学);Tokyo Metropolitan University(东京都立大学);Carnegie Mellon University(卡内基梅隆大学)
本文构建了一个新的日语语音语料库“JTubeSpeech”。“虽然最近的端到端学习需要大型语音语料库,但尚未建立英语以外语言的开源语料库。在本文中,我们描述了一个语料库的建设从YouTube视频和字幕的语音识别和说话人验证。我们的方法可以自动过滤视频和字幕,几乎没有语言依赖的过程。我们一贯采用基于连接主义时间分类(CTC)的自动语音识别(ASR)和自动说话人验证(ASV)的基于说话人变异的方法的技术。我们建立了1)一个大规模的日本ASR基准,拥有超过1,300小时的数据,2)日本ASV的900小时数据。
2021-12-17 cs.SD eess.AS
Stream attention-based multi-array end-to-end speech recognition
The Johns Hopkins University(约翰斯·霍普金斯大学);Amazon(亚马逊);Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室(MERL))
采用多麦克风阵列的自动语音识别在远场鲁棒性方面取得了很大的成功。在此任务中,利用每个阵列共享和提供的所有信息至关重要。基于端到端(E2 E)自动语音识别系统中联合的连接主义时间分类(CTC)/注意力机制的研究进展,提出了一种基于流注意力的多数组框架.麦克风阵列,作为信息流,由单独的编码器激活,并在CTC和注意力网络的指令下解码。在注意力方面,采用了层次结构。在常规注意力网络之上,引入流注意力来引导解码器朝向信息量最大的编码器。实验已经进行了AMI和DIRHA多阵列语料库使用的编码器-解码器架构。与最好的单数组结果相比,该框架在两个数据集上分别实现了3.7%和9.7%的相对字出错率(WERs)降低,这也优于传统策略。
2019-02-18 cs.CL cs.SD eess.AS
Bypass Temporal Classification: Weakly Supervised Automatic Speech Recognition with Imperfect Transcripts
Johns Hopkins University(约翰斯·霍普金斯大学);NVIDIA(英伟达);Xiaomi Corp.(小米公司)
针对人工标注语音语料中转写错误损害 ASR 性能的问题,本文提出扩展 CTC 的 BTC 准则,通过 WFST 组合增强训练图以显式建模转写不确定性,从而提升弱监督 ASR 的鲁棒性与准确率。
2023-06-01 cs.CL cs.LG cs.SD
Towards Multimodal Emotion Recognition in German Speech Events in Cars using Transfer Learning
Mercedes-Benz Research & Development, Daimler AG(梅赛德斯-奔驰研发中心,戴姆勒股份公司);University of Stuttgart(斯图加特大学)
人类对情感的识别是一个复杂的过程,需要考虑多种相互作用的信号,如面部表情和话语的韵律和语义内容。通常,对情绪的自动识别的研究,除了少数例外,仅限于一种模态。我们描述了一个车内实验的情感识别语音交互的三种方式:语音交互的音频信号,驾驶员的脸的视觉信号,和手动转录的内容的话语的驱动程序。我们使用现成的工具,在音频和面部的情感检测和比较,神经迁移学习的方法,从文本中的情感识别,利用现有的资源从其他领域。我们看到,迁移学习使基于域外语料库的模型表现良好。这种方法在F1中贡献了高达10个百分点,在情绪快乐,烦恼和不安全感中有高达76个微平均F1。我们的研究结果还表明,现成的工具分析面部和音频还没有准备好在车内语音交互的情感检测,没有进一步的调整。
2019-09-09 cs.CL cs.HC eess.AS
JoeyS2T: Minimalistic Speech-to-Text Modeling with JoeyNMT
Heidelberg University(海德堡大学);Google Research(谷歌研究院)
JoeyS2T是一个JoeyNMT扩展,用于语音到文本任务,如自动语音识别和端到端语音翻译。它继承了JoeyNMT的核心理念,JoeyNMT是一个基于PyTorch构建的极简NMT工具包,追求简单性和可访问性。JoeyS2T的工作流程是自包含的,从数据预处理开始,经过模型训练和预测到评估,并无缝集成到JoeyNMT紧凑而简单的代码库中。在JoeyNMT最先进的基于Transformer的编解码器架构之上,JoeyS2T提供了面向语音的组件,如卷积层、SpecAugment、CTC损失和WER评估。尽管与以前的实现相比,JoeyS2T很简单,但它在英语语音识别和英语到德语语音翻译基准测试中的表现却很有竞争力。该实现附带了一个演练教程,可在https://github.com/may-/joeys2t上获得。
2022-10-05 cs.CL cs.SD eess.AS
LLMs and Speech: Integration vs. Combination
RWTH Aachen University(亚琛工业大学);AppTek GmbH(AppTek有限公司)
本文研究如何有效利用预训练大语言模型进行自动语音识别,比较了将语音模型与大语言模型紧密整合与传统浅层融合方法的优劣,探讨了多种优化策略及联合识别技术。
2026-09-21 eess.AS
An Experimental Study on Private Aggregation of Teacher Ensemble Learning for End-to-End Speech Recognition
Georgia Tech(佐治亚理工学院);Amazon(亚马逊)
差分隐私(DP)是一种通过对隐私数据施加噪声失真来保护用于训练深度模型的用户信息的数据保护途径。这样的噪声扰动通常导致自动语音识别(ASR)中的严重性能降级,以便满足隐私预算$\varepsilon$。教师集成的私有聚合(PATE)利用集成概率来在处理由小的$\varepsilon$值控制的噪声效应时提高ASR精度。我们将PATE学习扩展到动态模式,即语音话语,并进行了第一次实验演示,它可以防止ASR训练中的声学数据泄漏。我们在开源LibriSpeech和TIMIT语料库上评估了三个端到端的深度模型,包括LAS、混合CTC/attention和RNN transducer。PATE学习增强的ASR模型优于基准DP-SGD机制,特别是在严格的DP预算下,对于使用LibriSpeech评估的RNN转换器模型,相对字出错率降低了26.2%至27.5%。我们还介绍了一个DP-preserving ASR解决方案,用于在公共语音语料库上进行预训练。
2022-10-13 cs.LG cs.NE cs.SD
Whale: Large-Scale multilingual ASR model with w2v-BERT and E-Branchformer with large speech data
Sony Group Corporation(索尼集团公司)
Whale通过融合w2v-BERT、E-Branchformer编码器-解码器及联合CTC-注意力解码,并利用大规模多语种语音数据训练,在Librispeech和CSJ等基准上取得优于Whisper large-v3与OWSM v3.1的识别性能。
2025-06-02 cs.CL eess.AS
Dynamic Encoder Size Based on Data-Driven Layer-wise Pruning for Speech Recognition
RWTH Aachen University(亚琛工业大学);AppTek GmbH(AppTek有限公司)
提出动态编码器尺寸方法,通过超网络联合训练和逐层剪枝自动选择最佳子网,在多语料实验中达到与单独训练模型相当的性能并提升全尺寸超网络表现。
2024-07-10 cs.CL cs.LG eess.AS
A Comparison of Hybrid and End-to-End Models for Syllable Recognition
Technische Hochschule Nürnberg Georg Simon Ohm(纽伦堡乔治·西蒙·欧姆应用技术大学)
本文比较了传统的混合语音识别系统(kaldi使用WFST和TDNN与无格MMI)和无词典的端到端(TensorFlow实现的多层LSTM与CTC训练)模型,用于Verbmobil语料库上的德语音节识别。结果表明,显式建模的先验知识仍然是有价值的,在建立识别系统。通过基于音节的强大语言模型(LM),结构化方法的性能明显优于端到端模型。最好的字出错率(WER)的音节,实现了使用kaldi与4-gram LM,建模的所有音节中观察到的训练集。其WER w.r.t.为10.0%。音节,相比之下,端到端的方法,其中最好的WER为27.53%。这里提出的工作有意义的未来的识别系统,独立于一个大的词汇,通常用于任务,如识别音节或粘着语言,词汇外的技术,关键字搜索索引和医疗语音处理。
2019-09-19 cs.CL cs.LG cs.SD
End-to-End Speech-Translation with Knowledge Distillation: FBK@IWSLT2020
Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会);University of Trento(特伦托大学)
本文介绍了FBK参与IWITH 2020离线语音翻译(ST)任务的情况。该任务评估系统将英语TED演讲音频翻译成德语文本的能力。测试会谈有两个版本:一个包含已经用自动工具分割的数据,另一个是没有任何分割的原始数据。参与者可以决定是否进行自定义细分。我们使用提供的分割。我们的系统是一个端到端的模型的基础上适应的Transformer的语音数据。它的训练过程是本文的主要重点,它基于:i)迁移学习(ASR预训练和知识蒸馏),ii)数据增强(SpecAugment,时间拉伸和合成数据),iii)将合成和真实数据标记为不同的域,iv)使用CTC损失的多任务学习。最后,在单词级知识蒸馏的训练完成后,我们的ST模型使用标签平滑交叉熵进行微调。我们最好的模型在Must-C En-De测试集上获得了29 BLEU,与最近的论文相比,这是一个很好的结果,并且在使用VAD分割的相同数据上获得了23.7 BLEU,这表明需要研究解决这种特定数据条件的解决方案。
2020-06-04 cs.CL cs.SD eess.AS
BERTphone: Phonetically-Aware Encoder Representations for Utterance-Level Speaker and Language Recognition
Amazon AWS AI(亚马逊 AWS 人工智能)
我们介绍BERTphone,一个Transformer编码器训练的大型语音语料库,输出语音感知的上下文表示向量,可用于扬声器和语言识别。这是通过对两个目标的训练来实现的:第一个目标,受BERT适应连续域的启发,涉及掩蔽输入帧的跨度并重建整个序列用于声学表示学习;第二个目标,受ASR瓶颈特征的成功启发,是应用于音素标签的序列级CTC损失,用于语音表示学习。我们预训练了两个BERTphone模型(一个在Fisher上,一个在TED-LIUM上),并将它们作为特征提取器用于这两个任务的x向量风格DNN。在具有挑战性的LRE 07 3秒闭集语言识别任务中,我们获得了最先进的$C_{\text{avg}}$ 6.16。在Fisher和VoxCeleb说话人识别任务中,我们看到在BERTphone向量而不是MFCC上训练时,说话人EER相对降低了18%。一般来说,BERTphone在相同数据上的表现优于以前的语音预训练方法。我们在https://github.com/awslabs/speech-representations上发布我们的代码和模型。
2021-12-29 cs.CL cs.LG cs.SD
Leveraging Acoustic Contextual Representation by Audio-textual Cross-modal Learning for Conversational ASR
Northwestern Polytechnical University(西北工业大学);Tencent(腾讯)
利用上下文信息是提高会话式自动语音识别(ASR)性能的直观想法。以往的著作通常采用历史话语的公认假设作为前语境,由于历史认知错误的不可避免,这可能会使当前公认的假设产生偏差。为了避免这个问题,我们提出了一个音频文本跨模态表示提取器,直接从前面的语音学习上下文表示。具体来说,它由两个模态相关编码器和一个跨模态编码器组成,前者从语音和相应的文本中提取高级潜在特征,后者旨在学习语音和文本之间的相关性。我们随机屏蔽一些输入令牌和每个模态的输入序列。然后在交叉模态编码器上执行具有模态级CTC损失的令牌缺失或模态缺失预测。因此,该模型不仅捕获特定模态中的双向上下文依赖性,而且捕获不同模态之间的关系。然后,在会话式ASR系统的训练期间,提取器将被冻结以提取先前语音的文本表示,而这样的表示被用作通过注意机制馈送到ASR解码器的上下文。在几个普通话会话语料库上验证了该方法的有效性,并在MagicData数据集上实现了高达16%的字符错误率(CER)降低。
2022-07-03 cs.CL cs.SD eess.AS
Self-Supervised Contrastive Learning for Unsupervised Phoneme Segmentation
Bar-Ilan University(巴伊兰大学);Facebook AI Research(脸书人工智能研究院)
我们提出了一个自监督表示学习模型的任务,无监督音素边界检测。该模型是一个卷积神经网络,直接对原始波形进行操作。它被优化为使用噪声对比估计原理来识别信号中的频谱变化。在测试时,峰值检测算法应用于模型输出以产生最终边界。因此,所提出的模型以完全无监督的方式进行训练,没有目标边界形式的手动注释,也没有语音音译。我们比较所提出的方法,几个无监督的基线使用TIMIT和七叶树语料库。结果表明,我们的方法超越了基线模型,并在两个数据集上达到了最先进的性能。此外,我们还尝试使用Librispeech语料库中的其他示例来扩展训练集。我们评估了在训练阶段没有看到的分布和语言(英语,希伯来语和德语)的结果模型,并表明利用额外的未转录数据有利于模型性能。
2020-08-06 cs.LG cs.SD eess.AS