Automatic Speech Recognition with BERT and CTC Transformers: A Review
USTHB University（阿尔及利亚科学与技术大学）；University of MEDEA（迈代阿大学）；College of Engineering and Information Technology, University of Dubai（迪拜大学工程与信息技术学院）
本综述全面分析了BERT和CTC transformers在自动语音识别中的最新进展，阐述了其架构、应用、相关研究及局限性，为研究人员和从业者提供了有价值的见解。
2024-10-12 cs.CL eess.AS
Assessing ASR Model Quality on Disordered Speech using BERTScore
Google Research（谷歌研究院）；University of Washington（华盛顿大学）；Leonard Florence Center for Living（伦纳德·弗洛伦斯生活中心）；MND Association（运动神经元病协会）
字错误率（WER）是用于评估自动语音识别（ASR）模型质量的主要度量。研究表明，ASR模型对有言语障碍的说话者的WER往往比典型的英语说话者高得多。很难确定模型在如此高的错误率下是否有用。本研究调查使用BERTScore，文本生成的评价指标，提供了一个更翔实的衡量ASR模型的质量和有用性。BERTScore和WER都与语音语言病理学家手动注释的预测错误进行了比较，以确定错误类型和评估。BERTScore被发现与人类对错误类型和评估的评估更相关。BERTScore特别对保留意义的正字法变化（收缩和归一化错误）更鲁棒。此外，BERTScore比WER更适合错误评估，使用有序逻辑回归和赤池信息标准（AIC）进行测量。总的来说，我们的研究结果表明，BERTScore可以从实际的角度评估ASR模型性能时，补充WER，特别是对于无障碍应用程序，其中模型是有用的，即使在较低的准确性比典型的语音。
2022-09-21 cs.CL cs.LG eess.AS
W2v-BERT: Combining Contrastive Learning and Masked Language Modeling for Self-Supervised Speech Pre-Training
Google Brain（谷歌大脑）
受MLM在预训练自然语言处理模型中的成功启发，我们提出了w2 v-BERT，它探索了用于自监督语音表示学习的MLM。w2 v-BERT是一个结合了对比学习和MLM的框架，其中前者训练模型将输入的连续语音信号离散化为有限的一组有区别的语音标记，后者训练模型通过求解消耗离散化标记的掩蔽预测任务来学习上下文化的语音表示。与现有的基于MLM的语音预训练框架相比，例如HuBERT，它依赖于迭代的重新聚类和重新训练过程，或vq-wav 2 vec，它连接了两个单独训练的模块，w2 v-BERT可以通过同时解决两个自监督任务（对比任务和MLM）来以端到端的方式进行优化。我们的实验表明，当使用Libri-Light~ 60 k语料库作为无监督数据时，与LibriSpeech基准测试中当前最先进的预训练模型相比，w2 v-BERT取得了有竞争力的结果。特别是，当与已发布的模型（如基于一致性的wav 2 vec ~2.0和HuBERT）相比时，我们的模型在测试干净和测试其他子集上显示出~5\%至~10\%的相对WER降低。当应用于Google的语音搜索流量数据集时，w2 v-BERT相对于我们内部基于一致性的wav 2 vec ~2.0的性能要好30%以上。
2021-09-13 cs.LG cs.SD eess.AS
BERT Meets CTC: New Formulation of End-to-End Speech Recognition with Pre-trained Masked Language Model
Waseda University（早稻田大学）
提出 BERT-CTC，将 BERT 融入 CTC 端到端语音识别，通过自注意力建模音频与 token 的上下文依赖，并结合 mask-predict 迭代解码，在多风格、多语言识别及下游口语理解上取得提升。
2023-04-20 cs.CL eess.AS
RescoreBERT: Discriminative Speech Recognition Rescoring with BERT
Amazon Alexa（亚马逊Alexa）
第二遍重评分是自动语音识别（ASR）系统中的重要组成部分，其用于通过实现格重评分或$n$ -最佳重排序来改善来自第一遍解码器的输出。虽然使用掩蔽语言模型（MLM）目标进行预训练在各种自然语言理解（NLU）任务中取得了巨大成功，但它并没有作为ASR的重新评分模型获得关注。具体而言，尚未探索在诸如最小WER（MWER）的判别性目标上训练双向模型（如BERT）。在这里，我们展示了如何训练具有MWER损失的基于BERT的重新评分模型，以将区分损失的改进纳入ASR的深度双向预训练模型的微调中。具体来说，我们提出了一种融合策略，将MLM融入到判别训练过程中，以有效地从预训练模型中提取知识。我们进一步提出了一种替代的歧视性损失。这种方法，我们称之为RescoreBERT，相对于LibriSpeech干净/其他测试集，在没有歧视性目标的BERT基线上，将WER降低了6.6%/3.4%。我们还在来自会话代理的内部数据集上评估了我们的方法，发现它在LSTM重新评分模型上减少了延迟和WER（相对减少了3%到8%）。
2022-02-18 cs.CL cs.LG cs.SD
Non-autoregressive Transformer-based End-to-end ASR using BERT
National Taiwan University of Science and Technology（台湾科技大学）
基于transformer的模型在经典和实际的学科中带来了重大的创新，如语音处理，自然语言处理和计算机视觉。在Transformer之上，基于注意力的端到端自动语音识别（ASR）模型最近变得流行起来。具体而言，非自回归建模，它拥有快速的推理和性能相媲美的传统自回归方法，是一个新兴的研究课题。在自然语言处理的背景下，来自Transformers（BERT）模型的双向编码器表示受到了广泛关注，部分原因是它能够推断上下文化的单词表示，并为下游任务提供卓越的性能，同时只需简单的微调。受成功的启发，我们打算将语音识别视为BERT的下游任务，因此期望通过执行微调来推导ASR系统。因此，为了不仅继承非自回归ASR模型的优点，而且还享受预先训练的语言模型（例如，BERT），我们提出了一种基于BERT的基于非自回归变换器的端到端ASR模型。我们在AISHELL-1数据集上进行了一系列实验，与最先进的ASR系统相比，这些实验证明了该模型的竞争力或优越性。
2022-05-18 cs.CL cs.SD eess.AS
FAT-HuBERT: Front-end Adaptive Training of Hidden-unit BERT for Distortion-Invariant Robust Speech Recognition
Shanghai Jiao Tong University（上海交通大学）
本文提出FAT-HuBERT，通过失真不变自监督学习和逐层融合模块，结合随机选择语音增强前端训练，在模拟和真实带噪语音上显著降低了ASR的词错误率。
2023-11-29 cs.SD eess.AS
Whale: Large-Scale multilingual ASR model with w2v-BERT and E-Branchformer with large speech data
Sony Group Corporation（索尼集团公司）
Whale通过融合w2v-BERT、E-Branchformer编码器-解码器及联合CTC-注意力解码，并利用大规模多语种语音数据训练，在Librispeech和CSJ等基准上取得优于Whisper large-v3与OWSM v3.1的识别性能。
2025-06-02 cs.CL eess.AS
Clinical BERTScore: An Improved Measure of Automatic Speech Recognition Performance in Clinical Settings
Verily Life Sciences（维里生命科学公司）；MIT（麻省理工学院）；Google Research（谷歌研究院）
针对临床ASR转录错误，提出CBERTScore度量，更重罚医学相关错误，并构建首个公开的临床医生转录偏好基准CTP，验证其与临床偏好高度一致。
2023-04-28 cs.CL cs.LG cs.SD
Audio ALBERT: A Lite BERT for Self-supervised Learning of Audio Representation
Amazon（亚马逊）
对于自监督语音处理，使用预训练模型作为语音表示提取器至关重要。在最近的工作中，增加模型的大小已被用于声学模型训练，以实现更好的性能。在本文中，我们提出了音频ALBERT，一个精简版的自监督语音表示模型。我们使用的表示与两个下游的任务，说话人识别和音素分类。我们表明，音频ALBERT是能够实现具有竞争力的性能与这些巨大的模型在下游的任务，同时利用91%的参数少。此外，我们使用一些简单的探测模型来衡量有多少说话人和音素的信息被编码在潜在的表征。在探测实验中，我们发现潜在表征比最后一层包含了更丰富的音素和说话人信息。
2021-05-03 cs.CL cs.SD eess.AS
Attention-based Multi-hypothesis Fusion for Speech Summarization
NTT Corporation（日本电报电话公司）；Carnegie Mellon University（卡内基梅隆大学）
将自动语音识别（ASR）和文本摘要（TS）相结合可以实现从语音生成文本摘要的语音摘要。通过这种级联方法，我们可以为两个子任务利用最先进的模型和大型训练数据集，即，用于ASR的Transformer和用于TS的来自Transformers（BERT）的双向编码器表示。然而，在级联方法中，ASR错误直接影响输出摘要的质量。我们提出了一个级联的语音摘要模型，是强大的ASR错误，并利用多个假设产生的ASR衰减的影响ASR错误的摘要。我们研究了几种方案，结合ASR假设。首先，我们建议使用由ASR系统提供的后验值加权的子词嵌入向量的总和作为基于BERT的TS系统的输入。然后，我们介绍了一个更一般的方案，使用基于注意力的融合模块添加到一个预先训练的BERT模块对齐和组合几个ASR假设。最后，我们在How2数据集和一个新组装的基于TED的数据集上进行了语音摘要实验，我们将在本文中发布。这些实验表明，再训练的BERT为基础的TS系统与这些计划，可以提高摘要的性能和注意力为基础的融合模块是特别有效的。
2021-11-16 cs.CL eess.AS
Self-supervised Learning with Random-projection Quantizer for Speech Recognition
Google Research（谷歌研究院）
提出了一种简单有效的自监督学习方法用于语音识别。该方法学习一个模型来预测掩蔽的语音信号，以随机投影量化器生成的离散标签的形式。特别地，量化器用随机初始化的矩阵投影语音输入，并且在随机初始化的码本中进行最近邻查找。在自监督学习期间，矩阵和码本都不更新。由于随机投影量化器没有经过训练，并且与语音识别模型分离，该设计使得该方法灵活，并且与通用语音识别架构兼容。在LibriSpeech上，我们的方法实现了与以前使用非流模型的自监督学习的工作相似的单词错误率，并且提供了比wav 2 vec 2.0和w2 v-BERT更低的单词错误率和延迟。在多语言任务上，该方法也比wav 2 vec 2.0和w2 v-BERT提供了显着的改进。
2022-06-29 cs.CL cs.SD eess.AS
Integrated Semantic and Phonetic Post-correction for Chinese Speech Recognition
E.SUN Financial Holding Co., Ltd.（玉山金融控股股份有限公司）；National Kaohsiung Normal University（国立高雄师范大学）
由于自然语言处理的最新进展，一些工作已经将BERT的预训练的掩蔽语言模型（MLM）应用于语音识别的后校正。然而，现有的预训练模型只考虑语义校正，而忽略了单词的语音特征。由于同音异义词错误在汉语自动语音识别中相当普遍，因此仅基于语义的后纠正会降低识别性能。在本文中，我们提出了一种新的方法，共同利用上下文表示和语音信息之间的错误和它的替代候选人，以减轻出错率的中文ASR。我们在真实世界语音识别数据集上的实验结果表明，我们提出的方法具有明显低于基线模型，其中使用预训练的BERT MLM作为校正器。
2021-11-16 cs.CL cs.SD eess.AS
Knowledge Distillation from BERT Transformer to Speech Transformer for Intent Classification
National University of Singapore（新加坡国立大学）
使用语音的端到端意图分类与使用自动语音识别（ASR）、随后是自然语言处理模块的常规流水线方法相比具有许多优点。它试图在不使用中间ASR模块的情况下从语音中预测意图。然而，这样的端到端框架遭受在口语语言理解中具有较高声学变化的大语音资源的不可用。在这项工作中，我们利用范围的Transformer蒸馏方法，专门设计用于知识蒸馏从Transformer为基础的语言模型的Transformer为基础的语音模型。在这方面，我们利用可靠的和广泛使用的双向编码器表示从Transformers（BERT）模型作为语言模型和转移的知识，以建立一个声学模型使用语音的意图分类。特别是，一个多级Transformer为基础的教师-学生模型的设计，和知识蒸馏进行跨注意和隐藏的子层的不同Transformer层的学生和教师模型。我们实现了一个意图分类准确率为99.10%和88.79%的流利的语音语料库和ATIS数据库，分别。此外，所提出的方法表现出更好的性能和鲁棒性在声学退化的条件下相比，基线方法。
2021-08-05 cs.CL cs.HC
LightHuBERT: Lightweight and Configurable Speech Representation Learning with Once-for-All Hidden-Unit BERT
Tongji University（同济大学）；Southern University of Science and Technology（南方科技大学）；The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））；Microsoft（微软）；Peng Cheng Laboratory（鹏城实验室）；ByteDance AI Lab（字节跳动人工智能实验室）
自监督语音表征学习在各种语音处理任务中显示出了良好的效果。然而，预先训练的模型，例如，HuBERT是存储密集型Transformers，限制了它们在低资源环境下的应用范围。为此，我们提出了LightHuBERT，一个一次性的所有Transformer压缩框架，通过修剪结构化参数自动找到所需的架构。更准确地说，我们创建了一个基于Transformer的超网，其中嵌套了数千个权重共享的超网，并设计了一个两阶段的蒸馏策略来利用HuBERT的上下文化潜在表示。在自动语音识别（ASR）和SUPERB测试中的实验表明，LightHuBERT算法在嵌入维数、注意维数、头数、前馈网络比和网络深度等方面优于$10^9$结构. LightHuBERT在ASR和五个具有HuBERT大小的SUPERB任务上优于原始HuBERT，在大多数任务中实现了与教师模型相当的性能，减少了29%的参数，并在三个SUPERB任务中获得了$3.5\times$压缩比，例如，自动说话人验证、关键字定位和意图分类，具有轻微的准确性损失。代码和预训练模型可在https://github.com/mechanicalsea/lighthubert上获得。
2022-06-18 cs.CL cs.LG cs.SD
Cross-utterance Reranking Models with BERT and Graph Convolutional Networks for Conversational Speech Recognition
National Taiwan Normal University（台湾师范大学）
如何有效地将跨话语信息引入神经语言模型（LM）已成为自动语音识别（ASR）的一个有趣的问题。现有的研究工作，提高语境化的LM通常把以前的话语作为一个序列的额外的输入，并可能无法捕捉这些话语之间的复杂的全球结构的依赖关系。有鉴于此，我们在本文中试图表示的历史语境信息的话语图结构的数据，以提取跨话语，全球词的相互作用关系。为此，我们将图卷积网络（GCN）应用于所得到的图，以获得相应的历史单词的GCN嵌入。GCN最近在社会网络分析、文本摘要等方面发现了它的多用途应用，这主要是由于它能够有效地捕获元素之间丰富的关系信息。然而，GCN在ASR的背景下，特别是在处理会话语音方面，仍然存在很大的不足。此外，我们框架ASR N-最好的重新排序作为一个预测问题，利用双向编码器表示从Transformers（BERT）作为车辆，不仅抓住本地固有的词规律性模式固有的候选假设，但也纳入跨话语，历史词的互动线索蒸馏GCN为促进性能。在AMI基准数据集上进行的大量实验似乎证实了我们的方法的实用性，与当前一些顶级方法有关。
2021-10-01 cs.CL eess.AS
Personalization for BERT-based Discriminative Speech Recognition Rescoring
Amazon Alexa（亚马逊Alexa）
针对端到端语音识别中的个性化内容识别难题，本文比较地名词典、提示和交叉注意力编码器-解码器三种神经重打分方法，证明均显著降低个性化命名实体测试集 WER。
2023-07-13 cs.CL eess.AS
Fast End-to-End Speech Recognition via Non-Autoregressive Models and Cross-Modal Knowledge Transferring from BERT
University of Chinese Academy of Sciences（中国科学院大学）；NLPR, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所模式识别国家重点实验室）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
基于注意力的编码解码器（AED）模型在语音识别中取得了很好的性能。然而，由于解码器以自回归方式预测文本标记（例如字符或单词），因此AED模型难以并行预测所有标记。这使得推理速度相对较慢。我们相信，由于编码器已经捕获了整个语音话语，其中隐含的令牌级关系，我们可以预测一个令牌没有显式自回归语言建模。当一个token的预测不依赖于其他token时，序列中所有token的并行预测是可实现的。基于这一思想，我们提出了一种非自回归的语音识别模型LASO（Listen Attentively，and Spell Once）。该模型由一个编码器，一个解码器，和一个位置相关的摘要（PDS）。这三个模块基于基本的注意力模块。编码器从语音中提取高级表示。PDS使用对应于标记的位置编码来将声学表示转换成标记级表示。解码器还捕获与自注意力机制的令牌级关系。最后，计算每个词位的词汇概率分布。因此，语音识别被重新表述为位置分类问题。此外，我们提出了一种跨模态迁移学习方法，从大规模的预训练语言模型BERT中提炼语义，以提高性能。
2021-08-29 cs.AI cs.CL eess.AS
Adaptability of ASR Models on Low-Resource Language: A Comparative Study of Whisper and Wav2Vec-BERT on Bangla
Department of Computer Science and Engineering（计算机科学与工程系）；Ahsanullah University of Science and Technology（阿沙努拉大学科学与技术学院）
本文比较了Whisper和Wav2Vec-BERT两种ASR模型在孟加拉语上的表现，发现Wav2Vec-BERT在WER、CER和计算效率上全面优于Whisper，为低资源语言语音识别提供了参考。
2025-07-02 cs.AI cs.CL cs.SD
SpeechBERT: An Audio-and-text Jointly Learned Language Model for End-to-end Spoken Question Answering
National Taiwan University（台湾大学）
虽然各种端到端的口语语言理解任务的模型已经探索最近，本文可能是第一个已知的尝试，挑战非常困难的任务，端到端的口语问答（SQA）。借鉴BERT模型在各种文本处理任务中的成功应用，本文提出了一种语音-文本联合学习的SpeechBERT模型。该模型优于在答案跨度中包括ASR错误的数据集上级联ASR与以下文本问答（TQA）模型的传统方法，因为端到端模型被示出能够在ASR产生错误之前从音频数据中提取信息。当将所提出的端到端模型与级联架构集成时，实现了更好的性能。除了端到端SQA的潜力之外，Speech BERT还可以被考虑用于许多其他语言理解任务，就像BERT用于许多文本处理任务一样。
2020-08-11 cs.CL cs.SD eess.AS
Neural Zero-Inflated Quality Estimation Model For Automatic Speech Recognition System
Alibaba Group Inc.（阿里巴巴集团）
自动语音识别（ASR）系统的性能通常是通过提供人工转录数据时的度量词出错率（WER）来评估的，然而，在实际应用中，这种度量词的价格昂贵。此外，大多数ASR系统的WER的经验分布通常倾向于将显著质量置于零附近，使得难以用单个连续分布进行模拟。为了解决ASR质量估计（QE）的两个问题，我们提出了一种新的神经零膨胀模型来预测没有转录本的ASR结果的WER。我们在基于语音特征的双向Transformer语言模型（speech-BERT）上设计了一个神经元零膨胀beta回归。我们还采用了用于语音BERT的令牌级掩码语言建模的预训练策略，并对离散和连续输出的混合使用我们的零膨胀层进行进一步微调。实验结果表明，与现有的ASR或机器翻译质量估计算法相比，该方法在Pearson和MAE指标下具有更好的WER预测性能。
2020-08-28 cs.CL cs.SD eess.AS
Enhancing and Exploring Mild Cognitive Impairment Detection with W2V-BERT-2.0
IGSA Inc.（IGSA公司）；The University of Tokyo（东京大学）；Toyohashi University of Technology（丰桥技术科学大学）
本研究使用 W2V-BERT-2.0 模型直接从语音提取特征以检测轻度认知障碍，提出可视化方法和特定推理逻辑，有效提升了基线性能，并分析了说话人偏差与数据划分对准确率的影响。
2025-01-27 cs.CL cs.SD eess.AS
BERTphone: Phonetically-Aware Encoder Representations for Utterance-Level Speaker and Language Recognition
Amazon AWS AI（亚马逊 AWS 人工智能）
我们介绍BERTphone，一个Transformer编码器训练的大型语音语料库，输出语音感知的上下文表示向量，可用于扬声器和语言识别。这是通过对两个目标的训练来实现的：第一个目标，受BERT适应连续域的启发，涉及掩蔽输入帧的跨度并重建整个序列用于声学表示学习;第二个目标，受ASR瓶颈特征的成功启发，是应用于音素标签的序列级CTC损失，用于语音表示学习。我们预训练了两个BERTphone模型（一个在Fisher上，一个在TED-LIUM上），并将它们作为特征提取器用于这两个任务的x向量风格DNN。在具有挑战性的LRE 07 3秒闭集语言识别任务中，我们获得了最先进的$C_{\text{avg}}$ 6.16。在Fisher和VoxCeleb说话人识别任务中，我们看到在BERTphone向量而不是MFCC上训练时，说话人EER相对降低了18%。一般来说，BERTphone在相同数据上的表现优于以前的语音预训练方法。我们在https://github.com/awslabs/speech-representations上发布我们的代码和模型。
2021-12-29 cs.CL cs.LG cs.SD
BERT Attends the Conversation: Improving Low-Resource Conversational ASR
Telenor Research（Telenor 研究院）；Norwegian University of Science and Technology（挪威科技大学）
我们为BERT模型提出了新的、数据高效的训练任务，这些任务可以提高自动语音识别（ASR）系统在会话语音上的性能。我们包括过去的会话上下文和微调BERT的成绩单消歧没有外部数据重新评分ASR候选人。我们的实验结果表明，字的出错率恢复率高达37.2%。我们测试我们的方法在低资源的数据域，无论是在语言（挪威语），语气（自发的，会话），和主题（议会议事录和客户服务电话）。这些技术适用于任何ASR系统，并且不需要任何额外的数据，提供了预先训练的BERT模型。我们还展示了如何我们的上下文增强rescoring方法的性能强烈依赖于程度的自发性和性质的对话。
2022-01-25 cs.CL cs.LG eess.AS
SpeechStew: Simply Mix All Available Speech Recognition Data to Train One Large Neural Network
Google Research（谷歌研究院）
我们提出了SpeechStew，一个语音识别模型，该模型是在各种公开的语音识别数据集的组合上训练的：AMI，广播新闻，共同的声音，LibriSpeech，Switchboard/Fisher，Tedews和华尔街日报。SpeechStew只是将所有这些数据集混合在一起，而没有对数据集进行任何特殊的重新加权或重新平衡。SpeechStew在各种任务中实现SoTA或接近SoTA的结果，而无需使用外部语言模型。我们的结果包括AMI-IHM上的9.0\% WER，Switchboard上的4.7\% WER，CallHome上的8.3\% WER，以及WSJ上的1.3\%，这显著优于具有强外部语言模型的先前工作。我们还证明了SpeechStew学习强大的迁移学习表示。我们在嘈杂的低资源语音数据集CHiME-6上微调SpeechStew。在没有语言模型的情况下，我们实现了38.9\%的WER，相比之下，在有语言模型的情况下，强HMM基线的WER为38.6\%。
2021-04-27 cs.CL cs.LG
H_eval: A new hybrid evaluation metric for automatic speech recognition tasks
Indian Institute of Science（印度科学学院）
本文提出混合评估指标H_eval，结合语义正确性与错误率，弥补WER和SD的不足，计算时间比BERTScore减少49倍，并与下游NLP任务强相关。
2023-12-01 cs.CL cs.SD eess.AS
Gated Embeddings in End-to-End Speech Recognition for Conversational-Context Fusion
Carnegie Mellon University（卡内基梅隆大学）
我们提出了一种新的会话上下文感知端到端的语音识别器的基础上的门控神经网络，结合会话上下文/词/语音嵌入。与传统的语音识别模型不同，我们的模型学习跨越句子的较长对话上下文信息，因此更好地识别长对话。具体地，我们提出使用基于文本的外部词和/或句子嵌入（即，fastText，BERT），从而显著改善了单词出错率，并具有更好的会话上下文表示。我们评估的Switchboard会话语音语料库的模型，并表明我们的模型优于标准的端到端的语音识别模型。
2019-06-27 cs.CL cs.SD eess.AS
An Effective Contextual Language Modeling Framework for Speech Summarization with Augmented Features
National Taiwan Normal University（国立台湾师范大学）
大量与语音信息相关的多媒体信息迫切需要开发高效的自动摘要方法。为此，我们已经看到在将基于监督的深度神经网络的方法应用于提取语音摘要方面取得了快速进展。最近，双向编码器表示从Transformers（BERT）模型被提出，并取得了破纪录的成功，在许多自然语言处理（NLP）任务，如问答和语言理解。鉴于此，我们在本文中的语境和增强的国家的最先进的基于BERT的模型的语音摘要，而其贡献至少是三倍。首先，我们探讨了将置信度分数纳入句子表示，看看这样的尝试是否有助于减轻不完美的自动语音识别（ASR）所造成的负面影响。其次，我们还增加了额外的结构和语言特征，如句子位置和逆文档频率（IDF）的统计信息，从BERT得到的句子嵌入。最后，我们在一个基准数据集上验证了我们提出的方法的有效性，与几个经典和著名的语音摘要方法相比。
2020-06-01 cs.CL
Improving CTC-based speech recognition via knowledge transferring from pre-trained language models
Tencent Cloud Xiaowei（腾讯云小微）；Institute of Acoustics, CAS（中国科学院声学研究所）；University of Chinese Academy of Sciences（中国科学院大学）
最近，端到端的自动语音识别模型的基础上连接时间分类（CTC）取得了令人印象深刻的结果，特别是当微调从wav2vec2.0模型。由于条件独立性假设，基于CTC的模型总是弱于基于注意力的编码器-解码器模型，并且需要外部语言模型（LM）的帮助。为了解决这个问题，我们提出了两种知识转移方法，利用预先训练的LM，如BERT和GPT 2，以改善基于CTC的模型。第一种方法是基于表示学习，其中基于CTC的模型使用由BERT产生的表示作为辅助学习目标。第二种方法是基于联合分类学习，它结合了GPT 2的文本建模与混合CTC/注意力架构。在AISHELL-1语料库上的实验表明，该方法的字符出错率为4.2%。当与从wav2vec2.0模型微调的基于vanilla CTC的模型相比时，我们的知识转移方法在没有外部LM的情况下相对减少了16.1%的CER。
2022-02-22 cs.CL cs.SD eess.AS
Pre-trained Model Representations and their Robustness against Noise for Speech Emotion Analysis
Apple（苹果公司）
预训练的模型表示在语音识别、自然语言处理和其他应用中表现出最先进的性能。诸如来自Transformers（BERT）和隐藏单元BERT（HuBERT）的双向编码器表示之类的语音模型已经使得能够生成词汇和声学表示以有益于语音识别应用。我们研究了使用预训练的模型表示来估计维度情绪，例如激活，效价和优势，从语音中。我们观察到，虽然效价可能在很大程度上依赖于词汇表征，激活和优势主要依赖于声学信息。在这项工作中，我们使用来自预训练模型的多模态融合表示来生成最先进的语音情感估计，与标准声学和词汇基线相比，我们在一致性相关系数（CCC）上显示出100%和30%的相对改善。最后，我们研究了预训练模型表示对噪声和混响退化的鲁棒性，并注意到词汇和声学表示受到不同的影响。我们发现，词汇表示是更强大的失真相比，声学表示，并证明了知识蒸馏从多模态模型有助于提高噪声鲁棒性的声学模型。
2023-03-03 cs.CL cs.LG cs.SD
Effectiveness of self-supervised pre-training for speech recognition
Facebook AI Research（Facebook AI研究院）
我们比较了自我监督的表示学习算法，无论是显式地隐藏音频数据或学习表示没有量化。我们发现前者更准确，因为它通过vq-wav 2 vec [1]构建了一个良好的数据词汇表，以便在后续的BERT训练中学习有效的表示。与以前的工作不同，我们使用连接主义时间分类（CTC）损失直接微调转录语音的预训练BERT模型，而不是将表示输入特定于任务的模型。我们还提出了一种直接从连续音频数据中学习的BERT风格模型，并将原始音频的预训练与频谱特征进行了比较。使用vq-wav 2 vec词汇表对10小时的标记Librisepeech数据微调BERT模型几乎与在testclean上训练100小时标记数据的最知名报告系统一样好，同时在test-other上实现了25%的WER减少。当仅使用10分钟的标记数据时，其他测试的WER为25.2，清洁测试的WER为16.3。这表明，自我监督可以使语音识别系统在几乎为零的转录数据量上进行训练。
2020-05-18 cs.CL cs.LG
SeMaScore : a new evaluation metric for automatic speech recognition tasks
本研究提出SeMaScore，一种基于分段映射和评分算法的自动语音识别评估指标，结合错误率与相似度得分，在计算速度上比BERTScore快41倍，且与人工评估高度吻合，更适用于非典型语音场景。
2024-11-14 cs.LG cs.SD eess.AS
BERTraffic: BERT-based Joint Speaker Role and Speaker Change Detection for Air Traffic Control Communications
Idiap Research Institute（伊迪亚普研究所）；Ecole Polytechnique Federale de Lausanne (EPFL)（洛桑联邦理工学院）；Brno University of Technology（布尔诺理工大学）；German Aerospace Center (DLR)（德国航空航天中心）
自动语音识别（ASR）允许转录空中交通管制员（ATCO）和飞行员之间的通信。transname稍后用于提取ATC命名实体，例如，飞机呼号一个常见的挑战是语音活动检测（SAD）和说话人日志化（SD）。在故障条件下，两个或更多段保留在同一记录中，从而危及整体性能。我们提出了一个结合SAD和BERT模型的系统，通过分块ASR成绩单来执行说话人变化检测和说话人角色检测（SRD），即，SD与SRD一起定义扬声器数量。该模型在现实生活中的公共ATC数据库进行评估。我们的BERT SD模型基线在公共和私人ATC数据库中达到高达10%和20%的基于令牌的Jaccard错误率（JER）。与VBx（一种众所周知的SD系统）相比，我们还分别在JER和SD错误率（DER）方面实现了32%和7.7%的相对改善。
2022-10-14 cs.CL cs.LG eess.AS
Keep Decoding Parallel with Effective Knowledge Distillation from Language Models to End-to-end Speech Recognisers
LINE WORKS Corporation（LINE WORKS公司）；Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；LINE Corporation（LINE公司）
提出利用 BERT 中间层和最终层 token 概率向 ASR 模型蒸馏语言模型知识的方法，在 LibriSpeech 上提升 CTC 贪心解码准确率并保持并行解码速度。
2024-01-22 cs.CL cs.SD eess.AS
L2RS: A Learning-to-Rescore Mechanism for Automatic Speech Recognition
The Hong Kong University of Science and Technology（香港科技大学）；WeBank Co., Ltd（微众银行）；Tsinghua University（清华大学）
现代自动语音识别（ASR）系统主要依赖于来自声学模型（AM）和语言模型（LM）的分数来对N个最佳列表进行重新评分。随着最近自然语言处理进展的丰富，当前ASR用于评估N-best假设的语言和语义合法性的信息相当有限。在本文中，我们提出了一种新的学习重新评分（L2 RS）机制，该机制专门用于利用来自最先进的NLP模型的广泛的文本信息，并自动决定其权重，以重新评分ASR系统的N-最佳列表。具体来说，我们将包括BERT句子嵌入，主题向量，和困惑分数产生的n-gram LM，主题建模LM，BERT LM和RNNLM训练一个重新评分模型。我们基于一个公开数据集进行了大量的实验，实验结果表明，L2 RS不仅优于传统的重评分方法，而且在NDCG@10方面大幅提高了20.67%，也优于其深度神经网络。L2 RS为开发更有效的ASR再评分模型铺平了道路。
2019-10-25 cs.CL cs.SD eess.AS
Distilling the Knowledge of BERT for CTC-based ASR
Graduate School of Informatics, Kyoto University（京都大学信息学研究生院）
在自动语音识别（ASR）中，基于连接主义时态分类（CTC）的模型因其快速推理而备受关注。语言模型（LM）集成方法，如浅层融合和重评分，可以提高识别准确率的CTC为基础的ASR利用文本语料库中的知识。然而，它们显著减慢了CTC的推断。在这项研究中，我们建议提取BERT的知识，基于CTC的ASR，扩展我们以前的研究，基于注意力的ASR。基于CTC的ASR在训练过程中学习BERT的知识，在测试过程中不使用BERT，保持了CTC的快速推理能力。与基于注意力的模型不同，基于CTC的模型进行帧级预测，因此它们需要与BERT的标记级预测对齐以进行蒸馏。我们建议通过计算最合理的CTC路径来获得对齐。在自然日语语料库（CSJ）和TED-LIUM 2上的实验结果表明，该方法在不影响推理速度的前提下，提高了基于CTC的自动识别的性能。
2022-09-05 cs.CL cs.SD eess.AS
BECTRA: Transducer-based End-to-End ASR with BERT-Enhanced Encoder
Waseda University（早稻田大学）；Carnegie Mellon University（卡内基梅隆大学）
我们提出了BERT-CTC-Transducer（BECTRA），一种新的端到端自动语音识别（E2 E-ASR）模型制定的换能器与BERT增强编码器。将大规模预训练语言模型（LM）集成到E2 E-ASR中已经得到了积极的研究，旨在利用通用的语言知识来生成准确的文本。使这种集成具有挑战性的一个关键因素在于词汇不匹配;为预训练的LM构建的词汇通常对于E2 E-ASR训练来说太大，并且可能与目标ASR域不匹配。为了克服这个问题，我们提出了BECTRA，我们以前的BERT-CTC的扩展版本，实现基于BERT的E2 E-ASR使用感兴趣的词汇。BECTRA是一个基于转换器的模型，它采用BERT-CTC作为编码器，并使用适合目标任务的词汇表训练ASR特定的解码器。结合传感器和BERT-CTC，我们还提出了一种新的推理算法，利用自回归和非自回归解码。在不同数据量、说话风格和语言的多个ASR任务上的实验结果表明，BECTRA在利用BERT知识的同时有效地处理词汇不匹配问题，优于BERT-CTC。
2023-03-17 cs.CL cs.SD eess.AS
Understanding Semantics from Speech Through Pre-training
Alibaba AI Labs（阿里巴巴人工智能实验室）
端到端的口语理解（SLU）提出了直接从音频特征推断语义的意义，没有中间的文本表示。虽然端到端SLU系统的声学模型组件可以用自动语音识别（ASR）目标进行预训练，但是SLU组件只能从有限的特定于任务的训练数据中学习语义特征。在本文中，我们首次提出对端到端SLU系统的SLU组件进行大规模无监督预训练，以便SLU组件可以从大量未标记的音频数据中保留语义特征。由于声学模型组件的输出，即音素后验序列，具有与文本序列有很大不同的特性，我们提出了一种新的预训练模型称为BERT-PLM，它代表通过排列语言建模从Transformers的双向编码器表示。BERT-PLM通过与部分置换语言建模目标等效的回归目标在未标记数据上训练SLU组件，同时利用BERT网络的完整双向上下文信息。实验结果表明，我们的方法优于最先进的端到端系统，错误减少超过12.5%。
2019-09-24 cs.CL cs.LG eess.AS
SLAM: A Unified Encoder for Speech and Language Modeling via Speech-Text Joint Pre-Training
MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）；Google Research（谷歌研究院）；New York University（纽约大学）
无监督预训练现在是文本和语音理解的主要方法。在大量未注释数据上预先训练的自我注意模型在对来自各种领域和语言的下游任务进行微调时取得了巨大的成功。本文通过在单个模型中统一语音和文本预训练，进一步提高了无监督语言预训练的通用性。我们建立了一个单一的编码器与BERT目标上的未标记的文本与w2 v-BERT目标上的未标记的语音。为了进一步调整我们的模型表示跨模态，我们利用对齐损失，特别是翻译语言建模（TLM）和语音文本匹配（STM），它们利用了有监督的语音文本识别数据。我们证明，在预训练期间合并语音和文本数据可以显着提高CoVoST~2语音翻译的下游质量，与单模态预训练模型相比，提高了约1 BLEU，同时在LibriSpeech和SpeechStew ASR任务上保持接近SotA的性能。在四个GLUE任务和文本规范化，我们观察到两种模式之间的容量限制和干扰的证据，导致性能下降相比，一个等效的纯文本模型，同时仍然具有竞争力的BERT。通过大量的实证分析，我们还证明了选择目标函数的语音预训练的重要性，以及添加额外的监督信号对学习表示的质量的有益影响。
2021-10-20 cs.CL cs.LG
ST-BERT: Cross-modal Language Model Pre-training For End-to-end Spoken Language Understanding
NAVER CLOVA；NAVER AI LAB（NAVER人工智能实验室）
语言模型预训练在各种下游任务中显示出有希望的结果。在这种情况下，我们引入了一个跨模态的预训练语言模型，称为语音-文本BERT（ST-BERT），以解决端到端口语语言理解（E2 E SLU）任务。以音素后验和子词级文本为输入，ST-BERT通过我们提出的两个预训练任务：跨模态掩蔽语言建模（CM-MLM）和跨模态条件语言建模（CM-CLM）来学习上下文化的跨模态对齐。三个基准测试的实验结果表明，我们的方法是有效的各种SLU数据集，并显示出令人惊讶的边际性能下降，即使当1%的训练数据可用。此外，我们的方法通过使用特定领域的语音-文本对数据进行领域自适应预训练，进一步提高了SLU性能。
2021-04-11 cs.CL cs.LG
Context-Aware Transformer Transducer for Speech Recognition
Amazon Alexa（亚马逊 Alexa）
端到端（E2 E）自动语音识别（ASR）系统通常难以识别在训练数据中不频繁出现的不常用词。一个有前途的方法，以提高识别精度的罕见的话，是锁存到个性化/上下文信息的推理。在这项工作中，我们提出了一种新的上下文感知的Transformer换能器（CATT）网络，提高了国家的最先进的变压器为基础的ASR系统，利用这样的上下文信号。具体来说，我们提出了一个基于多头注意力的上下文偏置网络，该网络与其余的ASR子网络联合训练。我们探索不同的技术来编码上下文数据，并创建最终的注意力上下文向量。我们还利用BLSTM和预训练的基于BERT的模型来编码上下文数据并指导网络训练。使用内部远场数据集，我们表明，CATT，使用基于BERT的上下文编码器，提高了基线Transformer传感器的单词出错率，并优于现有的深度上下文模型分别为24.2%和19.4%。
2021-11-05 cs.CL cs.LG cs.SD
DONDO: Open w2v-BERT Speech-Recognition Base Models for African Languages
Khaya AI（Khaya人工智能公司）
该研究提出DONDO一族非洲语言语音识别基础模型，基于w2v-BERT 2.0构建，含单语和多语模型。介绍了两步微调及语言调节机制，多语模型平均字错误率10 - 13%，缩小与单语差距，模型开源可自由微调，覆盖众多非洲语言使用者。
2026-07-28 cs.CL
What BERT Based Language Models Learn in Spoken Transcripts: An Empirical Study
语言模型（LM）已经普遍地用于包括口语语言理解（SLU）的各种任务中。口语需要仔细理解说话人的交互，对话状态和语音诱导的多模态行为，以生成有意义的会话表示。在这项工作中，我们建议解剖SLU分为三个代表性的属性：会话（不流利，停顿，overtalk），通道（扬声器类型，轮任务）和ASR（插入，删除，替换）。我们探测基于BERT的语言模型（BERT，RoBERTa）训练的口语成绩单，以调查其能力，理解多种属性，在没有任何语音提示。实验结果表明，LM是令人惊讶的好捕捉会话属性，如暂停预测和overtalk检测词汇标记。在缺点方面，LM在回合任务和ASR错误预测方面得分较低。此外，对LM进行口头成绩单的预训练抑制了其语言理解。最后，我们在两个基准数据集上建立了上述属性的有效性和可移植性：Switchboard Dialog Act和Disfluency数据集。
2021-09-21 cs.AI cs.CL cs.LG
Low-rank Adaptation of Large Language Model Rescoring for Parameter-Efficient Speech Recognition
Amazon Alexa（亚马逊Alexa）
针对预训练语言模型用于语音识别重打分时计算成本高的问题，提出基于低秩适配的LoRB架构，仅用0.08%预训练参数实现领域适配，训练时间缩短3.6至5.4倍，实现参数高效的语音识别重打分。
2023-10-10 cs.AI cs.CL cs.LG
BanglaRobustNet: A Hybrid Denoising-Attention Architecture for Robust Bangla Speech Recognition
Department of Computer Science and Engineering（计算机科学与工程系）；Ahsanullah University of Science and Technology（阿沙努拉大学科学与技术学院）
BanglaRobustNet通过融合去噪与注意力机制，提升孟加拉语在嘈杂和说话人多样环境下的语音识别鲁棒性。
2026-01-25 cs.CL cs.CV cs.LG
Improving non-autoregressive end-to-end speech recognition with pre-trained acoustic and language models
虽然Transformers在端到端（E2 E）自动语音识别（ASR）中取得了令人鼓舞的结果，但是它们的自回归（AR）结构成为加速解码过程的瓶颈。对于实际部署，期望ASR系统在实现快速推理的同时具有高度准确性。非自回归（NAR）模型由于其快速的推理速度而成为一种流行的替代方案，但它们在识别精度方面仍然落后于AR系统。为了满足这两个需求，在本文中，我们提出了一个NAR CTC/注意力模型，利用预先训练的声学和语言模型：wav2vec2.0和BERT。为了弥合从预训练模型获得的语音和文本表示之间的模态差距，我们设计了一种新的模态转换机制，它更适合于语标语言。在推理过程中，我们使用CTC分支来生成目标长度，这使得BERT能够并行预测令牌。我们还设计了一个基于缓存的CTC/注意力联合解码方法，以提高识别精度，同时保持解码速度快。实验结果表明，所提出的NAR模型大大优于我们强大的wav2vec2.0 CTC基线（AISHELL-1上的相对CER减少15.1%）。建议的NAR模型显着超过以前的NAR系统的AISHELL-1基准测试，并显示了英语任务的潜力。
2022-01-26 cs.SD eess.AS
Distilling the Knowledge of BERT for Sequence-to-Sequence ASR
Graduate School of Informatics, Kyoto University（京都大学信息学研究生院）
基于注意力的序列到序列（seq 2seq）模型在自动语音识别（ASR）中取得了令人鼓舞的结果。然而，由于这些模型以从左到右的方式解码，因此它们无法访问右侧的上下文。我们利用左和右上下文，通过知识蒸馏将BERT作为外部语言模型应用于seq 2seq ASR。在我们提出的方法中，BERT生成软标签来指导seq 2seq ASR的训练。此外，我们利用当前话语之外的上下文作为BERT的输入。实验结果表明，我们的方法显着提高了ASR性能从seq 2seq基线上的语料库的自发日语（CSJ）。从BERT的知识蒸馏优于从仅查看左上下文的Transformer LM的知识提取。我们还显示了利用上下文超出当前话语的有效性。我们的方法优于其他LM应用程序的方法，如n-best rescoring和浅融合，而它不需要额外的推理成本。
2020-08-09 cs.CL eess.AS
StutterZero and StutterFormer: End-to-End Speech Conversion for Stuttering Transcription and Correction
Millburn High School（米尔伯恩高中）
本文提出 StutterZero 和 StutterFormer 两种端到端波形到波形模型，直接将口吃语音转换为流利语音并联合预测转写，在 WER 和 BERTScore 上显著优于 Whisper-Medium。
2025-11-05 cs.AI cs.CL eess.AS
vq-wav2vec: Self-Supervised Learning of Discrete Speech Representations
Facebook AI Research（脸书人工智能研究院）；University of Tübingen（图宾根大学）
我们提出了vq-wav 2 vec，通过wav 2 vec风格的自监督上下文预测任务来学习音频片段的离散表示。该算法使用gumbel softmax或在线k-means聚类来消除密集表示。离散化使得来自NLP社区的算法能够直接应用，这些算法需要离散输入。实验表明，BERT预训练在TIMIT音素分类和WSJ语音识别上达到了新的水平。
2020-02-16 cs.CL cs.LG
Phoneme-Level BERT for Enhanced Prosody of Text-to-Speech with Grapheme Predictions
Columbia University（哥伦比亚大学）
大规模预训练的语言模型已被证明有助于提高文本到语音（TTS）模型的自然度，使它们能够产生更自然的韵律模式。然而，这些模型通常是单词级或超音素级的，并且与音素联合训练，使得它们对于仅需要音素的下游TTS任务效率低下。在这项工作中，我们提出了一个音素级的BERT（PL-BERT）的借口任务，预测相应的字随着定期掩蔽音素预测。主观评价表明，我们的音素级BERT编码器已显着提高了平均意见分数（MOS）的额定自然度的合成语音相比，国家的最先进的（SOTA）的StyleTTS基线外的分布（OOD）的文本。
2023-01-20 cs.CL cs.SD eess.AS
Benchmarking Commercial ASR Systems on Code-Switching Speech: Arabic, Persian, and German
Perle AI
针对四种语言对的代码切换语音，通过两阶段管道选择样本并评估五个商业ASR系统，发现WER夸大质量差距而BERTScore更准确，ElevenLabs Scribe v2表现最佳。
2026-05-22 cs.AI cs.CL
Translate Reverberated Speech to Anechoic Ones: Speech Dereverberation with BERT
University of Maryland, College Park（马里兰大学帕克分校）
单通道语音去混响被认为是在这项工作中。受Transformers双向编码器表示（BERT）模型在自然语言处理（NLP）领域的成功启发，研究了它作为骨干序列模型对混响语音信号增强的适用性。我们提出了一个基本的BERT模型的变化：一个前序列网络，它提取本地的频谱时间信息和/或提供顺序信息，在骨干序列模型。此外，我们使用预训练的神经声码器进行隐式相位重建。为了评估我们的方法，我们使用了第三次CHiME挑战的数据，并将我们的结果与其他方法进行了比较。实验表明，该方法优于传统的方法WPE，并达到与最先进的BLSTM序列模型的性能相当。
2020-07-16 cs.CL cs.LG cs.SD
Jointly Encoding Word Confusion Network and Dialogue Context with BERT for Spoken Language Understanding
Shanghai Jiao Tong University（上海交通大学）
口语语言理解（SLU）是将自动语音识别器（ASR）中的假设转换为结构化的语义表示。ASR识别错误会严重降低后续SLU模块的性能。为了解决这个问题，单词混淆网络（WCN）已被用来编码的输入SLU，它包含比1-最好或n-最好的假设列表更丰富的信息。为了进一步消除歧义，对话上下文的最后一个系统动作也被用作附加输入。本文提出了一种基于BERT的SLU模型（WCN-BERT SLU），用于对WCN和对话上下文进行联合编码。它可以在BERT架构中集成WCN的结构信息和ASR后验概率。在DSTC 2上的实验结果表明，该方法是有效的，可以显着优于以前的最先进的模型。
2020-09-08 cs.CL cs.LG
Tone-Conditioned Curriculum Learning for Low-Resource Bantu Speech Recognition
Technological University Dublin, Ireland（都柏林理工大学）；Data Science for Social Impact, University of Pretoria, South Africa（比勒陀利亚大学社会影响数据科学）；Lelapa AI
针对6种南部班图语言，提出音调条件课程框架，结合混合难度评分、门控适配器和阶段课程训练，在社区语料库上训练并测试迁移到NCHLT，发现W2V-BERT在恩古尼语上优于Whisper，而Whisper在索托-茨瓦纳语上更好，W2V-BERT音调条件平均WER为28.41%。
2026-07-01 cs.CL
