ESPnet: End-to-End Speech Processing Toolkit
Johns Hopkins University（约翰斯·霍普金斯大学）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）；NTT Communication Science Laboratories（NTT通信科学实验室）；Nagoya University（名古屋大学）；Retrieva, Inc.（Retrieva公司）；Preferred Networks, Inc.（Preferred Networks公司）；Waseda University（早稻田大学）；Paderborn University（帕德博恩大学）；Doshisha University（同志社大学）
本文介绍了一个新的开放源码的端到端语音处理平台ESPnet。ESPnet主要专注于端到端自动语音识别（ASR），并采用广泛使用的动态神经网络工具包Chainer和PyTorch作为主要的深度学习引擎。ESPnet还遵循Kaldi ASR工具包的数据处理、特征提取/格式和配方风格，为语音识别和其他语音处理实验提供完整的设置。本文介绍了这个软件平台的主要架构，几个重要的功能，区分ESPnet从其他开源ASR工具包，和实验结果与主要的ASR基准。
2018-03-30 cs.CL
Improved Robust ASR for Social Robots in Public Spaces
Cloudminds Technology Inc.（达闼科技公司）
由于各种因素，包括20至5 dB的噪声SNR，部署在公共场所的社交机器人对ASR来说是一项具有挑战性的任务。现有的ASR模型在该范围内对于较高的SNR表现良好，但随着噪声的增加而大大降低。这项工作探讨了在这种情况下提供改进的ASR性能的方法。我们使用AiShell-1中文语音语料库和Kaldi ASR工具包进行评估。我们能够在SNR低于20 dB的情况下超越最先进的ASR性能，证明了使用开源工具包和数百小时的训练数据实现相对高性能ASR的可行性。
2020-01-14 cs.CL cs.SD eess.AS
speechocean762: An Open-Source Non-native English Speech Corpus For Pronunciation Assessment
Xiaomi Corporation（小米公司）；SpeechOcean Ltd.（海天瑞声科技股份有限公司）
本文介绍了一个名为“speechocean 762”的新开源语音语料库，旨在用于发音评估，由来自250名非母语人士的5000句英语话语组成，其中一半的说话者是儿童。五位专家分别从词、词和音素三个层面对每一段话语进行了注释。一个基线系统是在开放源代码中发布的，以说明在这个语料库上的音素级发音评估工作流程。本语料库允许自由用于商业和非商业目的。它可以从OpenSLR免费下载，相应的基线系统发布在Kaldi语音识别工具包中。
2021-06-02 cs.CL cs.SD eess.AS
Corpus Phonetics Tutorial
语料库语音学已成为语言分析中一种日益流行的研究方法。随着语音技术和计算能力的进步，语音数据的大规模处理已经成为一种可行的技术。本教程向语音科学家和工程师介绍各种自动语音处理工具。这些包括使用Kaldi自动语音识别工具包（Povey等人，2011）、使用FAVE-align的强制对齐（Rosenfelder等人，2014），蒙特利尔强制对齐（McAuliffe等人，2017），和宾夕法尼亚语音实验室强制对齐器（Yuan & Liberman，2008），以及使用AutoVOT的塞音突发对齐（Keshet et al.，2014年）。本教程提供了每个程序的一般概述，运行程序的分步说明，以及一些提示和技巧。
2018-11-13 cs.CL
Improving LSTM-CTC based ASR performance in domains with limited training data
本文讨论了在有限数据域上，基于使用连接主义时间分类（CTC）损失函数训练的长短期记忆（LSTM）神经网络的自动语音识别（ASR）系统与基于使用交叉熵（CE）损失函数训练的混合深度神经网络（DNN）的系统之间观察到的性能差距。我们逐步通过一些实验，显示了基于LSTM-CTC ASR系统的基线EESEN工具包在Librispeech 100 hr（train-clean-100）语料库上训练的增量改进。我们的结果表明，通过数据增强和规则化的有效结合，基于LSTM-CTC的系统可以超过在相同数据上训练的基于Kaldi的强基线的性能。
2018-05-23 cs.CL
Quantization of Acoustic Model Parameters in Automatic Speech Recognition Framework
Idiap Research Institute（伊迪亚普研究所）
最先进的混合自动语音识别（ASR）系统利用基于深度神经网络（DNN）的声学模型（AM），所述声学模型（AM）利用无格最大互信息（LF-MMI）准则和n-gram语言模型进行训练。AM通常具有数百万个参数，并且需要显著的参数减少以在嵌入式设备上操作。本文研究了参数量化对整体词识别性能的影响。提出了以下方法：（i）在Kaldi框架中使用传统的因子化TDNN（TDNN-F）架构训练AM，（ii）使用C++包装器将Kaldi中构建的TDNN AM加载到PyTorch工具包中进行训练后量化，（iii）在PyTorch中为Kaldi TDNN模型进行量化感知训练，（iv）在Kaldi中进行量化感知训练。在标准Librispeech设置上获得的结果提供了一个有趣的识别精度w.r.t.应用量化方案。
2020-11-20 cs.SD eess.AS
Chain-based Discriminative Autoencoders for Speech Recognition
Institute of Information Science, Academia Sinica（中央研究院信息科学研究所）
在我们以前的工作中，我们提出了一个判别式自动编码器（DcAE）的语音识别。DcAE将两个培训计划合二为一。首先，由于DcAE旨在学习编码器-解码器映射，因此重构语音与输入语音之间的平方误差被最小化。其次，在代码层，基于帧的语音嵌入通过最小化地面真值标签和预测的三音素状态分数之间的分类交叉熵来获得。DcAE是基于Kaldi工具包开发的，将各种TDNN模型视为编码器。在本文中，我们进一步提出了三个新版本的DcAE。首先，一个新的目标函数，认为分类交叉熵和互信息之间的地面真相和预测的三音子状态序列。由此产生的DcAE被称为基于链的DcAE（c-DcAE）。对于鲁棒语音识别的应用，我们进一步扩展c-DcAE的层次和并行结构，导致hc-DcAE和pc-DcAE。在这两个模型中，重建的含噪语音与输入的含噪语音之间的误差和增强的语音与参考干净语音之间的误差都被考虑到目标函数中。在WSJ和Aurora-4语料库上的实验结果表明，我们的DcAE模型优于基线系统。
2022-06-15 cs.AI cs.CL cs.LG
Syllable based DNN-HMM Cantonese Speech to Text System
The Hong Kong Polytechnic University（香港理工大学）
本文构建了基于音节声学模型的粤语语音转文本系统，采用 DNN-HMM 混合模型与 I-vector 说话人自适应技术，实验表明基于 ONC 的声学建模取得了 9.66% 词错率的最佳性能。
2024-02-13 cs.CL cs.SD eess.AS
GigaSpeech: An Evolving, Multi-domain ASR Corpus with 10,000 Hours of Transcribed Audio
1 SpeechColab 2 Seasalt AI Inc 3 Dept EE, Tsinghua University 4 Tencent AI Lab 5 Xiaomi Corporation 6 CLSP \& HLTCOE, The Johns Hopkins University 7 Carnegie Mellon University 8 KE Holdings Inc
本文提出GigaSpeech语料库，包含10,000小时高质量标注音频和40,000小时总音频，通过新的强制对齐与分段流程构建多领域英语ASR训练数据，并提供多规模子集及多个工具包的基线系统。
2021-06-13 cs.CL cs.SD eess.AS
WenetSpeech: A 10000+ Hours Multi-domain Mandarin Corpus for Speech Recognition
Northwestern Polytechnical University（西北工业大学）；Mobvoi Inc.（出门问问公司）；Beijing Shell Shell Technology Co., Ltd.（北京贝壳科技有限公司）
在本文中，我们提出了WenetSpeech，一个多领域的普通话语料库，包括10000+小时的高质量标记的语音，2400+小时的弱标记的语音，约10000小时的未标记的语音，总22400+小时。我们从YouTube和播客中收集数据，其中涵盖了各种说话风格，场景，领域，主题和嘈杂条件。介绍了一种基于光学字符识别（OCR）的方法，用于在YouTube数据的相应视频字幕上生成音频/文本分割候选项，而高质量的ASR转录系统用于生成Podcast数据的音频/文本对候选项。然后，我们提出了一种新的端到端的标签错误检测方法，以进一步验证和过滤的候选人。我们还提供了三个手动标记的高质量测试集以及WenetSpeech用于评估- Dev用于训练中的交叉验证目的，Test_Net，从互联网上收集用于匹配测试，Test\_Meeting，从真实会议中记录，用于更具挑战性的不匹配测试。为三个流行的语音识别工具包，即Kaldi，ESPnet和WeNet提供了用WenetSpeech训练的基线系统，并且还提供了三个测试集上的识别结果作为基准。据我们所知，WenetSpeech是目前最大的开源汉语语音语料库，它有利于生产级语音识别的研究。
2022-02-23 cs.CL cs.SD
CAT: A CTC-CRF based ASR Toolkit Bridging the Hybrid and the End-to-end Approaches towards Data Efficiency and Low Latency
Tsinghua University（清华大学）
在本文中，我们提出了一个新的开放源码的语音识别工具包，命名为CAT（CTC-CRF为基础的ASR工具包）。CAT继承了混合方法的数据效率和E2 E方法的简单性，提供了CTC-CRF的全面实施以及针对多个英文和中文基准的完整培训和测试脚本。实验表明，CAT获得了最先进的结果，这是在Kaldi的微调混合模型，但更简单的训练管道。与现有的非模块化E2 E模型相比，CAT在有限规模的数据集上表现更好，证明了其数据效率。此外，我们提出了一种新的方法，称为上下文软遗忘，它使CAT做流ASR没有准确性下降。我们希望计算机辅助翻译，特别是以CTC-CRF为基础的框架和软件，能引起社会的广泛兴趣，并能得到进一步的研究和改进。
2020-08-05 cs.LG cs.SD eess.AS
Improving Speech Recognition Accuracy Using Custom Language Models with the Vosk Toolkit
Southern Arkansas University（南阿肯色大学）
本研究利用Vosk工具包和定制语言模型，构建Python转录流水线，支持多种音频格式，降低词错误率，提供经济高效的离线高准确率语音识别方案。
2025-03-26 cs.LG cs.SD eess.AS
Keywords Extraction and Sentiment Analysis using Automatic Speech Recognition
Punjab Engineering College（旁遮普工程学院）
自动语音识别（ASR）是计算语言学的一个跨学科分支，它开发了能够通过计算机识别口语并将其翻译成文本的方法和技术。它融合了语言学，计算机科学和电气工程领域的知识和研究。情感分析是文本的上下文挖掘，它识别和提取源材料中的主观信息，并帮助企业了解其品牌，产品或服务的社会情感，同时监控在线对话。根据语音结构，语音识别中使用三种模型进行匹配：声学模型、语音词典和语言模型。任何语音识别程序都是用两个因素来评估的：准确性（将口语转换为数字数据的错误百分比）和速度（程序能跟上人类说话者的程度）。为了将语音转换为文本（STT），我们将研究以下开源工具包：CMU Sphinx和Kaldi。该工具包使用Mel频率倒谱系数（MFCC）和I向量进行特征提取。CMU Sphinx已与预训练的隐马尔可夫模型（HMM）和高斯混合模型（GMM）一起使用，而Kaldi与预训练的神经网络（NNET）一起使用作为声学模型。n-gram语言模型包含音素或pdf-id，用于以网格的形式生成最可能的假设（转录）。语音数据集以.raw或.wav文件的形式存储，并转录为.txt文件。然后，系统尝试识别文本中的观点，并提取以下属性：极性（如果说话者表达了积极或消极的观点）和关键词（正在谈论的事情）。
2020-04-07 cs.SD eess.AS eess.SP
Enhancement of Spatial Clustering-Based Time-Frequency Masks using LSTM Neural Networks
The Graduate Center, City University of New York（纽约城市大学研究生中心）；Brooklyn College, City University of New York（纽约城市大学布鲁克林学院）
最近的工作表明，使用LSTM架构的深度递归神经网络可以通过估计时频掩码来实现强大的单通道语音增强。然而，这些模型不能自然地推广到来自不同麦克风配置的多声道输入。相比之下，空间聚类技术可以实现这样的推广，但缺乏一个强大的信号模型。我们的工作建议将这两种方法结合起来。通过使用LSTM来增强基于时频掩模的空间聚类，我们实现了多个单通道LSTM-DNN语音增强器的信号建模性能和多通道空间聚类的信号分离性能和通用性。我们将我们提出的系统与CHiME-3数据集上的几个基线进行了比较。我们使用BSS\_eval工具包和PESQ中的SDR评估每个系统的音频质量。我们使用Kaldi自动语音识别器的单词出错率来评估每个系统输出的可懂度。
2020-12-02 cs.LG cs.SD eess.AS
ESPnet-EZ: Python-only ESPnet for Easy Fine-tuning and Integration
Carnegie Mellon University（卡内基梅隆大学）；Hugging Face
本研究推出纯Python版语音工具包ESPnet-EZ，作为ESPnet的扩展，它通过无Bash设计简化模型微调、推理与主流深度学习框架集成，大幅降低开发成本，代码已开源。
2024-09-14 cs.AI cs.SD eess.AS
Building state-of-the-art distant speech recognition using the CHiME-4 challenge with a setup of speech enhancement baseline
Johns Hopkins University（约翰斯·霍普金斯大学）
本文描述了CHiME-4挑战赛中用于自动语音识别（ASR）的新基线系统，通过提供1）具有与挑战赛中复杂的顶级系统相当的简化单个系统的最先进系统，2）通过Kaldi语音识别工具包中的主存储库公开可用且可再现的配方，来促进语音处理社区中的噪声ASR的发展。该系统采用广义特征值波束形成和双向长短期记忆（LSTM）掩模估计。我们还建议使用一个时间延迟神经网络（TDNN）的基础上的无格版本的最大互信息（LF-MMI）训练增强所有六个麦克风加上增强后的数据波束成形。最后，我们使用LSTM语言模型进行格和n-best重新评分。最终系统在6通道轨道中的真实测试集上获得了2.74\%的WER，相当于挑战赛的第二名。此外，所提出的基线配方包括四种不同的语音增强措施，短时客观可懂度测量（STOI），扩展的STOI（eSTOI），语音质量的感知评估（PESQ）和语音失真比（SDR）的模拟测试集。因此，配方也提供了一个实验平台，语音增强研究与这些性能指标。
2018-03-27 cs.LG cs.SD eess.AS
Can Layer-wise SSL Features Improve Zero-Shot ASR Performance for Children's Speech?
Department of ECE, NIT Sikkim（电子工程系，西喜姆理工学院）；Signal Analysis and Interpretation Lab (SAIL), University of Southern California（信号分析与解释实验室（SAIL），南加州大学）
本文研究零样本儿童语音 ASR，系统比较 Wav2Vec2 等 SSL 模型的逐层特征，发现 Wav2Vec2 第22层可将 WER 降至5.15%。
2025-08-28 cs.AI cs.LG cs.SD
