Large-Scale Mixed-Bandwidth Deep Neural Network Acoustic Modeling for Automatic Speech Recognition
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；IBM Research AI（IBM研究院人工智能部门）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）
在自动语音识别（ASR）中，具有不同采样率的宽带（WB）和窄带（NB）语音信号通常使用单独的声学模型。因此，混合带宽（MB）声学建模对ASR系统部署具有重要的实用价值。在本文中，我们使用1，150小时的WB数据和2，300小时的NB数据广泛研究了ASR的大规模MB深度神经网络声学建模。我们研究了各种MB策略，包括下采样，上采样和带宽扩展MB声学建模和评估其性能的8个不同的WB和NB测试集从不同的应用领域。为了处理大量的训练数据，使用同步数据并行在多个GPU上进行分布式训练。
2019-07-10 cs.CL cs.SD eess.AS
Learned In Speech Recognition: Contextual Acoustic Word Embeddings
Carnegie Mellon University（卡内基梅隆大学）
端到端的声学到词语音识别模型最近得到了普及，因为它们易于训练，可以很好地扩展到大量的训练数据，并且不需要词典。此外，单词模型也可以更容易地与下游任务（例如口语语言理解）集成，因为推理（搜索）与音素、字符或任何其他种类的子单词单元相比简化得多。在本文中，我们描述的方法来构建上下文声学词嵌入直接从监督序列到序列的声学到词的语音识别模型使用学习的注意力分布。在一组16个标准句子评估任务中，我们的嵌入显示出与在语音传输上训练的word2vec模型相比具有竞争力的性能。此外，我们评估这些嵌入在语言理解任务，并观察到，我们的嵌入匹配的性能，基于文本的嵌入在管道中的第一次执行语音识别，然后从transmittance构建词嵌入。
2019-02-18 cs.CL cs.SD eess.AS
Collaborative Training of Acoustic Encoders for Speech Recognition
Facebook
设备上语音识别需要不同大小的训练模型，以部署在具有各种计算预算的设备上。在构建这些不同的模型时，我们可以通过联合训练它们来利用它们之间共享的知识。联合训练也是有效的，因为它减少了训练程序的数据处理操作中的冗余。我们提出了一种方法，用于协同训练不同大小的声学编码器的语音识别。我们使用一个序列传感器设置，其中不同的声学编码器共享一个共同的预测器和连接器模块。声学编码器还通过用于帧级chenone预测的辅助任务以及换能器损耗使用共蒸馏来训练。我们使用LibriSpeech语料库进行实验，并证明协同训练的声学编码器可以提供高达11%的相对改善的字出错率的测试分区。
2021-07-13 cs.CL cs.SD eess.AS
FOOCTTS: Generating Arabic Speech with Acoustic Environment for Football Commentator
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Qatar Computing Research Institute（卡塔尔计算研究所）
本文提出FOOCTTS足球解说语音生成流水线，整合语音识别标注、CTC分割、文本元音化与TTS微调，仅用15分钟录音即可生成带背景噪声的阿拉伯语解说语音，且可跨领域跨语言迁移。
2023-06-07 cs.CL cs.SD eess.AS
Exploring Machine Speech Chain for Domain Adaptation and Few-Shot Speaker Adaptation
Southern University of Science and Technology（南方科技大学）；Microsoft China（微软中国）
机器语音链将端到端（E2 E）自动语音识别（ASR）和文本到语音（TTS）集成到一个循环中进行联合训练，已被证明可以有效地利用大量未配对数据进行数据增强。在本文中，我们探索语音链中的TTS->ASR管道，对神经TTS和E2 E ASR模型进行领域自适应，仅使用来自目标域的文本数据。我们进行了实验，通过适应从有声读物域（LibriSpeech）到呈现域（TED-LIUM），有一个相对的词出错率（WER）减少10%的E2 E ASR模型上的TED-LIUM测试集，和一个相对的WER减少51.5%的神经TTS生成的合成语音在呈现域。此外，我们通过以无监督的方式使用目标说话者的一些话语，对E2 E ASR应用Few-Shot说话者自适应，从而获得额外的收益。
2021-04-08 cs.CL cs.SD eess.AS
Adaptation Algorithms for Neural Network-Based Speech Recognition: An Overview
University of Edinburgh（爱丁堡大学）；JPMorgan Chase（摩根大通）；Microsoft Corporation（微软公司）；University of New South Wales（新南威尔士大学）；Apple（苹果公司）
我们提出了一个结构化的基于神经网络的语音识别的自适应算法的概述，考虑混合隐马尔可夫模型/神经网络系统和端到端的神经网络系统，重点是说话人自适应，域自适应，和口音自适应。概述的特点自适应算法的基础上嵌入，模型参数自适应，或数据增强。我们提出了一个荟萃分析的性能语音识别自适应算法，根据文献中报道的相对错误率降低。
2021-02-28 cs.CL cs.SD eess.AS
Unpaired Speech Enhancement by Acoustic and Adversarial Supervision for Speech Recognition
KAIST（韩国科学技术院）；Mokwon University（木原大学）；KAIST Institute for Artificial Intelligence（韩国科学技术院人工智能研究所）
许多语音增强方法试图学习噪声和干净语音之间的关系，使用声学室模拟器获得。我们指出了几个局限性的增强方法依赖于干净的语音目标，这项工作的目标是提出一种替代学习算法，称为声学和对抗监督（AAS）。AAS使得增强的输出既最大化了预训练的声学模型上的转录的可能性，又具有干净语音的一般特征，这提高了对看不见的噪声语音的泛化。我们采用连接主义的时间分类和不成对的条件边界平衡生成对抗网络作为AAS的损失函数。AAS在两个数据集上进行了测试，包括加性噪声没有混响和混响，Librispeech + DEMAND和CHiME-4。通过可视化不同损失组合的增强语音，我们展示了每个监督的作用。AAS实现了较低的字出错率比其他国家的最先进的方法使用干净的语音目标在两个数据集。
2018-11-06 cs.CL cs.LG cs.SD
Residual Adapters for Parameter-Efficient ASR Adaptation to Atypical and Accented Speech
Google（谷歌）
自动语音识别（ASR）系统通常被优化以最好地为具有规范语音模式的说话者工作。不幸的是，这些系统在测试非典型语音和重口音语音时表现不佳。以前已经表明，通过模型微调的个性化大大提高了性能。然而，为每个扬声器维护如此大的模型是昂贵的并且难以扩展。我们表明，通过所谓的残差适配器向编码器层添加相对少量的额外参数，与模型微调相比，我们可以实现类似的自适应增益，同时只更新一小部分（小于0.5%）模型参数。我们证明了这两个语音适应任务（非典型和重音语音）和两个国家的最先进的ASR架构。
2021-09-14 cs.CL cs.SD eess.AS
Empirical Evaluation of Speaker Adaptation on DNN based Acoustic Model
Northwestern Polytechnical University（西北工业大学）；Xiaomi（小米）
说话人自适应的目的是从一个与说话人无关的声学模型中估计出一个特定于说话人的声学模型，以最大限度地减少由于说话人变异而引起的训练条件和测试条件之间的不匹配。自从深度学习模型成为主流以来，人们提出了多种神经网络自适应方法。但是，仍然缺乏不同的方法之间的实验比较，特别是当基于DNN的声学模型已经取得了很大进展。在本文中，我们的目标是通过提供三个典型的说话人自适应方法：LIN，LHUC和KLD的实证评估，以缩小这一差距。在强TDNN-LSTM声学模型上进行了不同大小自适应数据的自适应实验。更具挑战性的是，本文所研究的源和目标是标准普通话说话人模型和带口音普通话说话人模型。我们比较了不同方法及其组合的性能。说话人的口音程度也是衡量说话人自适应性能的重要指标。
2018-10-25 cs.CL cs.SD eess.AS
EMPHASIS: An Emotional Phoneme-based Acoustic Model for Speech Synthesis System
Baidu Inc.（百度公司）
提出了一种基于情感音素的语音合成声学模型EMPHASIS。EMPHASIS包括音素持续时间预测模型和声学参数预测模型。它使用基于CBHG的回归网络来建模语言特征和声学特征之间的依赖关系。我们修改了网络的输入和输出层结构，以提高性能。对于语言特征，我们采用特征分组策略来增强情感和韵律特征。声学参数被设计为适合于回归任务和波形重建。EMPHASIS可以实时合成语音，生成具有高音质的表达性的疑问和感叹语音。EMPHASIS是一个多语言模型，目前可以合成普通话和英语语音。在情感语音合成的实验中，取得了比其他实时语音合成系统更好的主观效果。
2018-06-26 cs.SD eess.AS
Contaminated speech training methods for robust DNN-HMM distant speech recognition
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
尽管在过去几年中取得了显著的进步，但最先进的语音识别技术仅在近距离通话条件下提供令人满意的性能。另一方面，在恶劣的声学条件下的远距离语音识别的鲁棒性仍然是未来人机交互应用的关键问题。为此，在语音增强、声学场景分析以及声学建模方面的若干进展最近有助于提高该领域的最新技术水平。获得鲁棒声学建模的最有效方法之一是基于使用污染语音，这被证明有助于减少训练和测试条件之间的声学失配。在本文中，我们在现代DNN-HMM系统的背景下修改了这种经典方法，并提出了三种方法，即非对称上下文窗口，基于近距离对话的监督和基于近距离对话的预训练。使用真实和模拟数据获得的实验结果显示，使用这三种方法具有显着的优势，与基线系统相比，总体上降低了15%的错误率。使用小尺寸的高质量训练集和大尺寸的高质量训练集也证实了相同的性能趋势。
2017-10-10 cs.CL cs.SD eess.AS
Controlling Whisper: Universal Acoustic Adversarial Attacks to Control Speech Foundation Models
University of Cambridge（剑桥大学）
本文提出一种通用声学对抗攻击方法，通过在输入语音前添加简短的对抗性声学片段，无需访问模型提示即可覆盖 ASR 基础模型的设置，成功控制 Whisper 模型将语音转录强制转变为语音翻译，揭示了多任务语音基础模型的新型安全风险。
2024-10-11 cs.CL cs.SD eess.AS
Unsupervised Speech Domain Adaptation Based on Disentangled Representation Learning for Robust Speech Recognition
Sogang University（西江大学）；Naver Corp.（NAVER公司）；Clova AI Research（Clova人工智能研究院）
通常，由于训练环境和测试环境之间的不匹配，自动语音识别（ASR）系统的性能显著降低。最近，提出了一种基于深度学习的图像到图像翻译技术，将图像从源域翻译到所需域，并应用循环一致性对抗网络（CycleGAN）来学习从说话人到目标说话人的语音到语音转换的映射。然而，该方法可能不足以去除用于鲁棒ASR的破坏性噪声分量，因为它被设计为转换语音本身。在本文中，我们提出了一种基于生成对抗网络（GANs）的域自适应方法，具有解纠缠表示学习，以实现ASR系统的鲁棒性。特别是，两个独立的编码器，上下文和域编码器，引入学习不同的潜在变量。潜变量允许我们根据其上下文和域表示来转换语音的域。我们通过应用噪声到清洁环境自适应以实现鲁棒ASR，将CHiME 4挑战语料库的单词准确率提高了6.55~ 15.70%。此外，与基于CycleGAN的方法类似，该方法可用于性别不匹配识别中的性别自适应。
2019-04-12 cs.CL cs.SD eess.AS
Alzheimer's Dementia Recognition Using Acoustic, Lexical, Disfluency and Speech Pause Features Robust to Noisy Inputs
Queen Mary University of London（伦敦玛丽女王大学）；Jožef Stefan Institute（约热夫·斯特凡研究所）
我们提出了两个基于多模态融合的深度学习模型，这些模型同时使用ASR转录的语音和声学数据来分类结构化诊断任务中的说话者是否患有阿尔茨海默病以及在多大程度上患有阿尔茨海默病，评估ADReSSo挑战2021数据。我们的最佳模型是一个BiLSTM，它具有使用单词、单词概率、不流利特征、停顿信息和各种声学特征的高速公路层，在MMSE认知评分上实现了84%的准确率和4.26的RSME错误预测。虽然预测认知能力下降更具挑战性，但我们的模型显示出使用多模态方法和单词概率，不流利和停顿信息的改进。我们使用多模态融合和门控，可以有效地处理来自声学特征和ASR假设的噪声输入，从而显示出相当大的收益。
2021-06-29 cs.CL cs.SD eess.AS
AdaST: Dynamically Adapting Encoder States in the Decoder for End-to-End Speech-to-Text Translation
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）
针对端到端语音翻译中编码器声学表示静态固定的问题，本文提出AdaST模型，在解码器中依据隐藏状态动态调整声学状态，并以语音-文本混合注意替代传统交叉注意，在两个常用数据集上显著超越现有神经语音翻译模型。
2025-03-18 cs.CL cs.SD eess.AS
Wav-BERT: Cooperative Acoustic and Linguistic Representation Learning for Low-Resource Speech Recognition
Sun Yat-sen University（中山大学）；Dark Matter AI Research（暗物质人工智能研究院）；Sea AI Lab（冬海人工智能实验室）
统一声学和语言表示学习对于将在丰富的高资源语言数据上学到的知识转移到低资源语音识别变得越来越重要。现有的方法简单地级联预训练的声学和语言模型来学习从语音到文本的转换。然而，如何解决语音和文本的表征差异还没有被探索，这阻碍了声学和语言信息的利用。此外，以前的工作简单地用声学特征替换预训练语言模型的嵌入层，这可能会导致灾难性遗忘问题。在这项工作中，我们介绍了Wav-BERT，一个合作的声学和语言表示学习方法融合和利用语音和文本的上下文信息。具体来说，我们将预先训练的声学模型（wav 2 vec 2.0）和语言模型（BERT）统一到端到端的可训练框架中。设计了一个表示聚合模块来聚合声学和语言表示，并引入了一个嵌入注意模块来将声学信息融入到BERT中，这可以有效地促进两个预训练模型的合作，从而促进表示学习。大量的实验表明，我们的Wav-BERT显着优于现有的方法，并达到国家的最先进的低资源语音识别的性能。
2021-10-09 cs.CL eess.AS
Acoustic absement in detail: Quantifying acoustic differences across time-series representations of speech data
University of Washington（华盛顿大学）
本文提出用 absement 量化语音时间序列间的声学差异，并通过基于动态时间规整的孤立词模板识别实验验证其有效性，取得 57.9% 的识别准确率，探讨了纯声学词识别模型的启示。
2023-04-14 cs.SD eess.AS
Hybridized Feature Extraction and Acoustic Modelling Approach for Dysarthric Speech Recognition
Marwadi Education Foundation’s Group of Institution（马尔瓦迪教育基金会集团机构）
构音障碍是由人类神经系统模糊引起的运动言语功能障碍。其特点是说话含糊不清，加上身体受损，限制了他们的沟通，造成缺乏信心，影响了生活方式。本文试图提高自动语音识别（ASR）系统对未受损语音信号的识别效率。介绍了通过整合构音障碍者的言语产生知识来改善构音障碍者的ASR的研究现状。为了提高整个系统的效率，提出了特征提取和声学建模技术与进化算法的混合方法。这里的特征向量的数量是不同的，并测试了系统的性能。实验结果表明，采用遗传算法可以提高系统的性能。系统采用遗传算法对16个声学特征进行优化，在训练时间为5：30：17时，识别率最高达到98.28%。
2015-06-06 cs.CL cs.SD
Optimizing Speech Language Models for Acoustic Consistency
本研究提出融合自监督初始化、轻量对齐损失及稀疏化辅助目标的语音语言模型训练方法，发现纯语音模型声学一致性更优，交错训练可提升语义对齐，证明模型侧设计可调控声学稳定性与语义接地的平衡。
2025-09-30 cs.CL cs.SD
A Study of Enhancement, Augmentation, and Autoencoder Methods for Domain Adaptation in Distant Speech Recognition
Massachusetts Institute of Technology（麻省理工学院）
在近距离说话语音上训练的语音识别器不能推广到远距离语音，并且单词出错率降级可以高达40%绝对值。大多数研究集中在解决遥远的语音识别作为一个单独的问题，留下很少的努力，以适应近距离说话的语音识别器，以遥远的语音。在这项工作中，我们回顾了几种方法从领域自适应的角度来看。这些方法，包括语音增强，多条件训练，数据增强，和自动编码器，都涉及域之间的数据转换。我们在AMI数据集上进行实验，这些方法可以在相同的受控设置下实现。这些方法在各自的假设下导致不同程度的改善。本文的目的是量化和表征这两个领域之间的性能差距，为研究语音识别器从近距离语音到远距离语音的适应性奠定基础。我们的研究结果也对提高远距离语音识别有一定的意义。
2018-06-13 cs.CL cs.LG cs.SD
Acoustic Landmarks Contain More Information About the Phone String than Other Frames for Automatic Speech Recognition with Deep Neural Network Acoustic Model
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Novumind；Beckman Institute, University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校贝克曼研究所）
大多数主流的自动语音识别（ASR）系统认为所有特征帧同等重要。然而，声学地标理论是基于一个矛盾的想法，即一些帧比其他帧更重要。声学地标理论利用发音声学和声学感知关系中的量子非线性来定义语音频谱突然改变或达到极值的地标时间;已证明与地标重叠的帧足以用于语音感知。在这项工作中，我们进行实验的TIMIT语料库，与GMM和DNN为基础的ASR系统，并发现，包含地标的帧比其他人的ASR信息。我们发现，通过重新加权声学可能性来改变对地标的强调程度往往会降低电话错误率（PER）。此外，通过利用地标作为启发式算法，我们的一种混合DNN丢帧策略在对不到一半（精确地说是45.8%）的帧进行评分时，将PER保持在最佳的0.44%以内。这种混合策略优于其他非启发式的方法，并展示了潜在的地标，以减少计算。
2018-03-21 cs.SD eess.AS
A Conformer Based Acoustic Model for Robust Automatic Speech Recognition
The Ohio State University（俄亥俄州立大学）
本研究提出一种基于一致性的声学模型来解决鲁棒的自动语音识别（ASR）。该模型建立在宽残差双向长短期记忆网络（WRBN）的基础上，具有逐段丢弃和迭代说话人自适应功能，但采用了Conformer编码器代替递归网络。Conformer编码器使用卷积增强的注意力机制进行声学建模。该系统的CHiME-4语料库的单耳ASR任务进行评估。结合发音规范化和说话人自适应，我们的模型实现了$6.25\%$的词出错率，它比WRBN的$8.4\%$相对。此外，所提出的基于一致性的模型是$18.3\%$更小的模型大小和减少总的训练时间由$79.6\%$。
2022-10-20 cs.AI cs.CL cs.SD
Combination of Time-domain, Frequency-domain, and Cepstral-domain Acoustic Features for Speech Commands Classification
University of Yamanashi（山梨大学）；Integrated Graduate School of Medicine, Engineering, and Agricultural Sciences（医学、工学与农学综合研究生院）
在语音相关的分类任务中，经常使用诸如对数Mel滤波器组系数（FBANK）的频域声学特征和诸如Mel频率倒谱系数（MFCC）的倒谱域声学特征。然而，时域特征在一些包含非声乐或弱语音相关声音的声音分类任务中表现得更有效。我们之前提出了一种称为位序列表示（BSR）的特征，这是一种基于原始波形的时域二进制声学特征。与MFCC相比，BSR在环境声音检测方面表现更好，并且在有限词汇量的语音识别任务中表现出相当的准确性。在本文中，我们提出了一种新的改进BSR功能称为BSR-float 16更精确地表示浮点值。我们使用Google提出的Speech Commands数据集，通过实验证明了时域，频域和倒谱域特征之间的互补性。因此，我们使用了一个简单的后端分数融合方法，以提高最终的分类精度。融合结果也表现出较好的噪声鲁棒性。
2022-06-17 cs.SD eess.AS
An Investigation on Applying Acoustic Feature Conversion to ASR of Adult and Child Speech
The Chinese University of Hong Kong（香港中文大学）
由于训练数据量有限，儿童语音识别的性能通常不如成人语音令人满意。当将在成人语音上训练的自动语音识别（ASR）系统直接应用于儿童语音时，由于域失配，预期性能显著下降。本研究的重点是成人到儿童的声学特征转换，以减轻这种不匹配。不同的声学特征转换方法，包括基于深度神经网络和基于信号处理，在公平的实验设置下进行了研究和比较，其中从相同数量的标记成人语音转换的声学特征用于从头开始训练ASR模型。实验结果表明，并不是所有的转换方法导致ASR性能增益。具体地说，作为经典的无监督域自适应方法，统计匹配没有表现出有效性。基于解纠缠的自动编码器（DAE）转换框架被发现是有用的，并且F0归一化的方法实现了最佳性能。值得注意的是，转换特征的F0分布是反映转换质量的重要属性，而利用成人-儿童深度分类模型进行判断是不合适的。
2022-05-25 cs.SD eess.AS
Acoustic models of Brazilian Portuguese Speech based on Neural Transformers
Universidade de São Paulo（圣保罗大学）
本研究基于Transformer构建巴西葡萄牙语语音声学模型，经800余小时语音预训练后，在呼吸功能不全检测等任务上微调，性能较无预训练模型显著提升，部分任务达最优水平。
2023-12-14 cs.CL cs.LG cs.SD
Unsupervised Domain Adaptation by Adversarial Learning for Robust Speech Recognition
Institute for Natural Language Processing, University of Stuttgart（斯图加特大学自然语言处理研究所）
在本文中，我们研究了使用对抗学习来无监督地适应看不见的记录条件，更具体地说，是单麦克风远场语音。我们适应基于神经网络的声学模型训练与近距离交谈干净的语音新的录音条件下使用未转录的适应数据。我们在意大利SPEECON数据集上的实验结果表明，我们提出的方法实现了19.8%的相对字错误率（WER）减少相比，未适应的模型。此外，这种自适应方法是有益的，即使当从另一种语言（即法语）的数据上进行，给出12.6%的相对WER减少。
2018-07-30 cs.AI cs.CL cs.SD
Pre-trained Model Representations and their Robustness against Noise for Speech Emotion Analysis
Apple（苹果公司）
预训练的模型表示在语音识别、自然语言处理和其他应用中表现出最先进的性能。诸如来自Transformers（BERT）和隐藏单元BERT（HuBERT）的双向编码器表示之类的语音模型已经使得能够生成词汇和声学表示以有益于语音识别应用。我们研究了使用预训练的模型表示来估计维度情绪，例如激活，效价和优势，从语音中。我们观察到，虽然效价可能在很大程度上依赖于词汇表征，激活和优势主要依赖于声学信息。在这项工作中，我们使用来自预训练模型的多模态融合表示来生成最先进的语音情感估计，与标准声学和词汇基线相比，我们在一致性相关系数（CCC）上显示出100%和30%的相对改善。最后，我们研究了预训练模型表示对噪声和混响退化的鲁棒性，并注意到词汇和声学表示受到不同的影响。我们发现，词汇表示是更强大的失真相比，声学表示，并证明了知识蒸馏从多模态模型有助于提高噪声鲁棒性的声学模型。
2023-03-03 cs.CL cs.LG cs.SD
Private Language Model Adaptation for Speech Recognition
Meta AI
语音模型自适应对于处理服务器端代理训练数据与用户本地设备上接收的实际数据之间的差异至关重要。通过使用联邦学习（FL），我们引入了一种在私人设备上连续适应神经网络语言模型（NNLM）的有效方法，并应用于自动语音识别（ASR）。为了解决设备上训练语料库中潜在的语音转录错误，我们进行了实证研究，比较了利用标记级置信度分数来提高FL设置中NNLM质量的各种策略。实验结果表明，与无模型自适应相比，该方法在两个语音评测数据集上分别实现了2.6%和10.8%的相对字错误率（WER）降低。我们还提供了分析，在评估我们提出的程序的隐私保证。
2022-06-15 cs.CL cs.LG cs.SD
Investigating the Impact of Cross-lingual Acoustic-Phonetic Similarities on Multilingual Speech Recognition
Liveperson Research Centre（Liveperson研究中心）
多语言自动语音识别（ASR）系统主要受益于低资源语言，但相对于其单语言对应物，在若干语言之间遭受性能降级。有限的研究集中在理解多语言语音识别设置中的语言行为。本文提出了一种新的数据驱动的方法来研究跨语言的声学语音相似性。该技术测量来自各种单语声学模型的后验分布与目标语音信号之间的相似性。深度神经网络被训练为映射网络，以将来自不同声学模型的分布转换为直接可比较的形式。分析发现，重叠音素集的数量不能真实地估计语言的接近程度。熵分析的建议映射网络显示，一种语言与较少的重叠，可以更适合跨语言迁移，因此更有益的多语种设置。最后，利用所提出的后验变换方法融合目标语言的单语模型。与单语对应相比，实现了~8%的相对改进。
2022-07-07 cs.CL eess.AS
End-to-end Silent Speech Recognition with Acoustic Sensing
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）
无声语音接口（SSI）是最近人们感兴趣的一个令人兴奋的领域。在本文中，我们提出了一种非侵入性的无声语音接口，使用听不见的声学信号来捕捉人们说话时的嘴唇运动。我们利用智能手机的扬声器和麦克风分别发出信号和听取它们的反射。这些反射的提取相位特征被输入深度学习网络以识别语音。我们还提出了一个端到端的识别框架，它结合了CNN和基于注意力的编码器-解码器网络。有限词汇（54句）的评估结果在说话者独立和环境独立的设置中产生的单词错误率为8.4%，在看不见的句子测试中为8.1%。
2020-11-23 cs.SD eess.AS
Speaker-Independent Speech-Driven Visual Speech Synthesis using Domain-Adapted Acoustic Models
Apple Inc.（苹果公司）
语音驱动的视觉语音合成涉及将从声学语音中提取的特征映射到用于面部模型的对应嘴唇动画控件。这种映射可以采取多种形式，但一种强大的方法是使用深度神经网络（DNN）。然而，一个限制是缺乏可靠地训练DNN所需的同步音频、视频和深度数据，特别是对于与说话者无关的模型。在本文中，我们探讨适应自动语音识别（ASR）的声学模型（AM）的视觉语音合成的问题。我们训练了10000小时的音频数据。然后使用90小时的同步视听语音使AM适应于视觉语音合成域。使用主观评估测试，我们比较了AM初始化DNN与随机初始化DNN的性能。结果表明，观众显着更喜欢从AM初始化DNN生成的动画比使用随机初始化模型生成的动画。我们的结论是，视觉语音合成可以显着受益于语音的ASR声学模型的强大代表性。
2019-05-15 cs.LG cs.SD eess.AS
Learning Speech Representation From Contrastive Token-Acoustic Pretraining
Tianjin University（天津大学）；Kuaishou Technology Co., Ltd（快手科技有限公司）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
针对细粒度语音任务中中间表示冗余且现有对比学习不适用的问题，提出 CTAP，在帧级对齐音素与语音，并基于 21 万对数据实现最小监督 TTS、VC 和 ASR。
2023-12-18 cs.AI cs.CL cs.SD
Impact of Dataset on Acoustic Models for Automatic Speech Recognition
Manipal University Jaipur（马尼帕尔大学斋浦尔分校）
在自动语音识别中，GMM-HMM被广泛用于声学建模。随着当前深度学习的发展，声学模型中的高斯混合模型（GMM）已经被深度神经网络所取代，即DNN-HMM声学模型。GMM模型被广泛用于创建混合深度神经网络模型的训练数据的比对，从而使得创建精确比对成为一项重要任务。许多因素，例如训练数据集大小、训练数据增强、模型超参数等，影响模型学习。传统上，在机器学习中，较大的数据集往往具有更好的性能，而较小的数据集往往会触发过拟合。语音数据的收集及其准确的翻译是一项重大挑战，因语言而异，在大多数情况下，它可能仅限于大型组织。此外，在可用的大型数据集的情况下，使用此类数据训练模型需要额外的时间和计算资源，而这些时间和资源可能不可用。虽然关于最先进的ASR模型在开源数据集上的准确性的数据已经公布，但是关于数据集大小对声学模型的影响的研究还没有现成的。这项工作的目的是研究数据集大小的变化对各种GMM-HMM声学模型的性能及其各自的计算成本的影响。
2022-03-25 cs.CL cs.LG cs.SD
Frequency Domain Multi-channel Acoustic Modeling for Distant Speech Recognition
Amazon Inc.（亚马逊公司）
传统的远场自动语音识别（ASR）系统通常采用麦克风阵列技术来进行语音增强，以便提高对噪声或混响的鲁棒性。然而，这样的语音增强技术并不总是产生ASR准确度的改进，因为用于语音增强的优化标准并不直接与ASR目标相关。在这项工作中，我们开发了新的声学建模技术，可以直接基于ASR标准从多通道（MC）输入中优化空间滤波和长短期记忆（LSTM）层。与传统的方法相比，我们将阵列处理知识的声学模型。此外，我们初始化网络的波束形成器的系数。我们通过ASR实验研究这种MC神经网络对真实世界远场数据的影响，其中用户在不受控制的声学环境中与ASR系统进行交互。我们表明，我们的MC声学模型可以减少字错误率（WER）的~ 16.5%相比，一个单通道ASR系统与传统的对数梅尔滤波器组能量（LFBE）功能平均。我们的研究结果还表明，与使用七个麦克风的传统波束形成相比，我们的网络在双通道输入上具有空间滤波层，实现了约9.5%的相对WER降低。
2019-04-28 cs.SD eess.AS
Acoustics-guided evaluation (AGE): a new measure for estimating performance of speech enhancement algorithms for robust ASR
University of Science and Technology of China（中国科学技术大学）；Georgia Institute of Technology（佐治亚理工学院）
鲁棒自动语音识别（ASR）的一个挑战性问题是如何在不计算误词率（WER）的情况下衡量语音增强算法（SEA）的优劣，因为人工翻译、语言建模和解码过程的成本很高。传统的评价语音质量和可懂度的指标如PESQ和STOI与WER的相关性较低。在这项研究中，提出了一种新的声学引导评估（AGE）措施估计性能的稳健ASR的SEAs。AGE由三个连续的步骤组成，即通过特征提取的低级别表示，通过声学模型（AM）的非线性映射的高级别表示，以及干净语音和退化语音的表示之间的最终AGE计算。具体地说，状态后验概率从神经网络的AM采用的高级表示和交叉熵准则用于计算AGE。实验表明，AGE可以产生一致的最高相关性与WER，并给出最准确的估计ASR性能相比，PESQ，STOI，声学置信度测量熵。潜在地，AGE可以用于指导基于深度学习的SEA的参数优化，以进一步提高识别性能。
2018-11-28 cs.SD eess.AS
Transformer in action: a comparative study of transformer-based acoustic models for large scale speech recognition applications
Facebook AI（Facebook人工智能研究院）
本文综述了Transformer及其可流化的变体--基于Emformer的声学模型在大规模语音识别中的应用。我们将基于Transformer的声学模型与工业规模任务的LSTM模型进行了比较。具体来说，我们将Emformer与延迟控制的BLSTM（LCBLSTM）在中等延迟任务上进行比较，并将LSTM在低延迟任务上进行比较。在低延迟语音助理任务中，Emformer获得24%至26%的相对单词出错率降低（WERR）。对于中等延迟场景，与模型大小和延迟相似的LCBLSTM相比，Emformer在视频描述数据集上获得了跨4种语言的显著WERR，推理实时因素减少了2-3倍。
2020-10-29 cs.CL cs.SD
Speaker conditioning of acoustic models using affine transformation for multi-speaker speech recognition
University of Texas at Dallas（德克萨斯大学达拉斯分校）；Erik Jonsson School of Engineering（埃里克·琼森工程学院）；Center for Robust Speech Systems (CRSS)（鲁棒语音系统中心（CRSS））
本文研究了在重叠语音场景下目标说话人的单通道自动语音识别问题。该方法利用说话人辅助信息对声学模型中的隐藏表示进行调制，从而只识别期望的说话人。仿射变换层被插入到声学模型网络中，以将说话人信息与声学特征相结合。扬声器调节过程允许声学模型在目标扬声器辅助信息的上下文中执行计算。所提出的扬声器调节方法是一种通用的方法，可以应用于任何声学模型架构。在这里，我们在ResNet声学模型上使用扬声器调节。在WSJ语料库上的实验表明，该方法是一种有效的融合说话人辅助信息和声学特征的多说话人语音识别方法，与原始ResNet声学模型基线相比，在干净和重叠语音场景下分别实现了+9%和+20%的相对WER降低。
2021-10-30 cs.AI cs.LG cs.SD
Improving Reverberant Speech Training Using Diffuse Acoustic Simulation
University of Maryland（马里兰大学）；Tencent AI Lab（腾讯AI实验室）
我们提出了一种有效的和现实的几何声学模拟方法，用于生成和增强语音相关的机器学习任务中的训练数据。我们的基于物理的声学模拟方法能够在复杂的声学环境中模拟声音的遮挡，镜面反射和漫反射，而经典的图像方法只能在简单的房间设置中模拟镜面反射。我们表明，通过使用我们的合成训练数据，相同的神经网络在远场语音识别中的真实测试集上获得了1.58%的显着性能提高，关键字识别提高了21%，而无需使用真实脉冲响应进行微调。
2020-04-02 cs.LG cs.SD eess.AS
Federated Acoustic Modeling For Automatic Speech Recognition
IBM Research AI（IBM研究院人工智能部门）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）
数据隐私和保护是任何自动语音识别（ASR）服务提供商在与客户打交道时的关键问题。在本文中，我们研究联邦声学建模使用来自多个客户端的数据。客户端的数据存储在本地数据服务器上，并且客户端仅与中央服务器通信模型参数，而不是其数据。通信不频繁地发生，以减少通信成本。为了缓解非iid问题，提出了客户端自适应联邦训练（CAFT）来规范跨客户端的数据。实验在来自多个领域的1,150小时语音数据上进行。通过联邦学习训练混合LSTM声学模型，并将其性能与传统的集中式声学模型训练进行比较。实验结果验证了所提出的联邦声学建模策略的有效性。我们还表明，CAFT可以进一步提高联邦声学模型的性能。
2021-02-08 cs.DC cs.SD eess.AS
Adversarial Learning of Raw Speech Features for Domain Invariant Speech Recognition
Indraprastha Institute of Information Technology（英德拉普拉斯塔信息技术学院）；Synaptitude Brain Health（Synaptitude大脑健康公司）；Verisk Analytics（Verisk分析公司）
基于神经网络的声学建模的最新进展已经显示出自动语音识别（ASR）性能的显著改进。为了使声学模型能够处理大的声学变化，大量的标记数据是必要的，这通常是昂贵的获得。本文探讨了对抗性训练的应用，以从原始语音中学习对声学变化不变性的特征。这种声学变化在本文中被称为域移位。本文提出的实验研究利用了域对抗神经网络（DANN）的架构[1]，该架构使用来自两个不同域的数据。DANN是一个Y形网络，由一个多层CNN特征提取器模块组成，该模块对标签（senone）分类器和所谓的域分类器是通用的。在多个数据集上评估DANN的效用，这些数据集具有由于性别和说话者口音差异而引起的域偏移。有前途的实证结果表明，对抗训练的强度在ASR中的无监督域适应，从而强调了DANN从原始语音学习域不变特征的能力。
2018-05-21 cs.SD eess.AS
Brouhaha: multi-task training for voice activity detection, speech-to-noise ratio, and C50 room acoustics estimation
PSL University（巴黎文理研究大学）；CNRS（法国国家科学研究中心）；EHESS（法国高等社会科学研究院）；ENS（巴黎高等师范学院）；Meta AI Research（Meta人工智能研究院）；Duke University（杜克大学）；Université de Toulouse（图卢兹大学）
本文提出多任务神经网络Brouhaha，联合估计语音活动、信噪比和C50房间声学参数，用于分析含噪/混响语音并评估分离与识别模型的可靠性。
2023-05-25 cs.SD eess.AS
Acoustic-to-Word Models with Conversational Context Information
Carnegie Mellon University（卡内基梅隆大学）
会话上下文信息，跨越句子的更高层次的知识，可以帮助识别长对话。然而，现有的语音识别模型通常是在句子级别构建的，因此它可能无法捕获重要的会话上下文信息。端到端语音识别的最新进展使得能够将上下文与其他可用信息（例如，声学、语言资源）和直接从语音识别单词。在这项工作中，我们提出了一个直接的声学到词，端到端的语音识别模型，能够利用会话上下文，以更好地处理长对话。我们评估我们提出的方法上的交换机会话语音语料库，并表明我们的系统优于一个标准的端到端的语音识别系统。
2019-05-21 cs.CL cs.LG eess.AS
3-D Feature and Acoustic Modeling for Far-Field Speech Recognition
Samsung Research India（三星印度研究院）
多通道混响条件下的自动语音识别是一项具有挑战性的任务。抑制混响伪影的常规方式涉及多声道语音信号的基于波束成形的增强，其用于提取用于神经网络声学模型的基于频谱图的特征。在本文中，我们提出了直接从多通道语音信号中提取特征，使用多变量自回归（MAR）建模方法，其中所有三个维度的时间，频率和通道之间的相关性被利用。MAR特征被馈送到卷积神经网络（CNN）架构，该架构对三个维度执行联合声学建模。3-D CNN架构允许多通道特征的组合，与专注于增强任务的传统波束形成模型相比，这些特征优化了语音识别成本。在CHiME-3和REVERB Challenge数据集上使用多通道混响语音进行实验。在这些实验中，所提出的3-D特征和声学建模方法提供了比用波束成形音频训练的ASR系统显著的改进（CHiME-3和REVERB挑战数据集的单词错误率分别平均相对改进10%和9%。
2020-01-27 cs.LG cs.SD eess.AS
Unsupervised Domain Adaptation in Speech Recognition using Phonetic Features
IIT Madras（印度理工学院马德拉斯分校）
自动语音识别是模式识别中的一个难题，因为语音输入中存在多种可变性来源，例如通道变化，输入可能是干净的或有噪声的，说话者可能具有不同的口音和性别变化等。因此，域自适应在语音识别中很重要，其中我们训练特定源域的模型，并在不同的目标域上对其进行测试。在本文中，我们提出了一种技术来执行无监督的基于性别的领域适应语音识别使用语音特征。在TIMIT数据集上进行了实验，使用该方法可以大大降低音素错误率。
2021-08-04 cs.LG cs.SD eess.AS
Developing Acoustic Models for Automatic Speech Recognition in Swedish
Kungliga Tekniska Högskolan (KTH)（皇家理工学院（KTH））
本文旨在为瑞典语构建基于隐马尔可夫模型和SpeechDat数据库的声学模型，通过测试多种音素模型与二元语言模型并评估不同说话人子集性能，在数字与自然数识别任务上取得了显著改进。
2024-04-25 cs.AI cs.SD eess.AS
Robust Estimation of Hypernasality in Dysarthria with Acoustic Model Likelihood Features
Visvesvaraya National Institute of Technology（维斯瓦瓦拉亚国立技术学院）；Arizona State University（亚利桑那州立大学）
鼻音过重是许多运动语言障碍的共同特征症状。对于有声声音，鼻音过重在较低频率中引入了额外的共振，对于无声声音，由于空气通过鼻腔逸出而降低了发音精度。然而，这些症状的声学表现是高度可变的，使得鼻音估计对于人类专家和自动化系统都非常具有挑战性。这一领域以前的工作依赖于基于统计信号处理的工程特征或基于临床评级训练的机器学习模型。工程特征通常无法捕获与鼻音过强相关的复杂声学模式，而基于机器学习的度量容易过拟合到它们所训练的小型疾病特定语音数据集。在这里，我们提出了一套新的声学特征，捕捉这些互补的尺寸。这些功能是基于两个声学模型训练的健康语音的大型语料库。第一声学模型旨在测量来自有声声音的鼻共振，而第二声学模型旨在测量来自无声声音的发音不精确。为了证明这些声学模型的特点是特定的鼻音语音，我们评估他们在不同的构音障碍语料库。我们的研究结果表明，即使在训练来自一种疾病的鼻音过强的语音并评估来自另一种疾病的鼻音过强的语音时（例如，训练帕金森氏病，评估亨廷顿氏病），以及在训练神经疾病的语音但评估腭裂语音时，这些特征也会泛化。
2020-08-06 cs.SD eess.AS eess.SP
Acoustic and Textual Data Augmentation for Improved ASR of Code-Switching Speech
Radboud University（拉德堡德大学）；National University of Singapore（新加坡国立大学）
在本文中，我们描述了几种技术，以改善声学和语言模型的自动语音识别（ASR）系统上的代码切换（CS）的语音。我们的重点是确认弗里斯兰语-荷兰语无线电广播，其中一种混合语言，即弗里斯兰语，是一种资源不足的语言。在以前的工作中，我们已经提出了几个自动转录策略CS语音，以增加可用的训练语音数据量。在这项工作中，我们将探讨如何声学建模（AM）可以受益于单语语音数据属于高资源的混合语言。为了这个目的，我们训练国家的最先进的AM，这是无效的，由于缺乏训练数据，对显着增加量的CS语音和单语荷兰语语音。此外，我们改进的语言模型（LM），通过创建代码转换文本，这是在实践中几乎不存在的，通过（1）生成文本使用经常性的LM训练的训练CS语音数据的转录，（2）添加自动转录的CS语音数据的转录和（3）翻译荷兰语文本提取的大型荷兰语语音语料库的转录。我们报告称，由于声学和文本训练数据的增加，CS ASR性能显着提高。
2018-07-28 cs.CL
Revisiting joint decoding based multi-talker speech recognition with DNN acoustic model
Brno University of Technology（布尔诺理工大学）；NTT Corporation（日本电信电话株式会社）
在典型的多说话者语音识别系统中，基于神经网络的声学模型预测每个说话者的senone状态后验。这些稍后由单独应用于每个说话者特定输出流的单说话者解码器使用。在这项工作中，我们认为，这样的计划是次优的，并提出了一个原则性的解决方案，解码所有扬声器联合。我们修改声学模型来预测所有扬声器的联合状态后验，使网络能够表达语音信号的部分扬声器的属性的不确定性。我们采用了一个联合解码器，可以利用这种不确定性与更高层次的语言信息。为此，我们重温解码算法中使用的阶乘生成模型在早期的多说话者语音识别系统。与这些早期的工作相比，我们用DNN代替了GMM声学模型，DNN提供了更大的建模能力并简化了部分推理。我们展示了联合解码的优势，在混合TIDIGITS数据集上的概念验证实验。
2022-04-15 cs.LG cs.SD eess.AS
Acoustic Model Optimization Based On Evolutionary Stochastic Gradient Descent with Anchors for Automatic Speech Recognition
IBM Research AI（IBM研究院人工智能部门）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）
进化随机梯度下降（ESGD）是一种基于种群的优化方法，它结合了梯度感知和无梯度优化算法的优点，具有较好的全局优化性能。在本文中，我们研究了一个变种的ESGD优化的声学模型自动语音识别（ASR）。在这个变体中，我们假设存在一个经过良好训练的声学模型，并将其用作亲本种群中的锚，其良好的“基因”将在进化中传播给后代。我们提出了一个ESGD算法，利用锚模型，使它保证人口的最佳适应度永远不会从锚模型退化。在50小时广播新闻（BN 50）和300小时交换台（SWB 300）上的实验表明，与现有的训练良好的声学模型相比，带锚的ESGD可以进一步改善损失和ASR性能。
2019-07-10 cs.CL cs.LG eess.AS
Lattice-Free MMI Adaptation Of Self-Supervised Pretrained Acoustic Models
Idiap Research Institute（伊迪亚普研究所）
在这项工作中，我们提出了无格MMI（LFMMI）用于自监督预训练声学模型的监督自适应。我们在数千小时的未转录Librispeech数据上预训练了一个Transformer模型，然后在三个不同的数据集上使用LFMMI进行监督适应。我们的研究结果表明，使用LFMMI进行微调，与仅使用监督数据训练的基线相比，我们在Librispeech（100小时）的清洁和其他测试集上始终获得10%和35.3%的相对WER改进，在Switchboard（300小时）上获得10.8%的相对WER改进，在Swahili（38小时）上获得4.3%的相对WER改进，在Taglets（84小时）上获得4.4%的相对WER改进。
2021-04-06 cs.LG cs.SD eess.AS
Acoustically Grounded Word Embeddings for Improved Acoustics-to-Word Speech Recognition
TTI-Chicago（芝加哥丰田技术研究院）；IBM Research AI（IBM研究院人工智能部门）
用于端到端自动语音识别的直接声学到字（A2 W）系统比子字系统更易于训练，并且解码更有效。然而，A2 W系统在数据有限的训练时间和在识别训练词汇表之外的单词的解码时间可能存在困难。为了解决这些缺点，我们调查使用最近提出的声学和声学接地词嵌入技术在A2 W系统。该思想基于将AWE识别器的最终pre-softmax权重矩阵视为词嵌入向量矩阵，并使用外部训练的词嵌入集来提高该矩阵的质量。特别是，我们介绍了两个想法：（1）在训练时间之间的外部嵌入和识别器的权重，以及（2）在测试时间使用的词嵌入预测词汇表外的话。我们的词嵌入模型是基于声学的，也就是说，它是与声学嵌入联合学习的，以便对词的声学语音内容进行编码;并且它是参数化的，因此它可以嵌入任何任意（可能超出词汇表）字符序列。我们发现，这两种技术都提高了A2 W识别器的性能对话电话语音。
2019-03-29 cs.CL
MAM: Masked Acoustic Modeling for End-to-End Speech-to-Text Translation
Baidu Research（百度研究院）；Oregon State University（俄勒冈州立大学）
端到端语音到文本翻译（E2 E-ST）直接将源语言语音翻译成目标语言文本，在实践中有着广泛的应用，但传统的级联方法（ASR+MT）在流水线中容易产生错误传播。另一方面，现有的端到端解决方案严重依赖于用于预训练或具有自动语音识别（ASR）的多任务训练的源语言translation。相反，我们提出了一种简单的技术来学习一个强大的语音编码器在一个自我监督的方式只在语音侧，它可以利用语音数据没有转录。该技术被称为掩蔽声学建模（MAM），它不仅提供了一种改进E2 E-ST的替代方案，而且可以对任何声学信号（包括非语音信号）进行预训练而无需标注。我们在8个不同的平移方向上进行实验。在不使用任何transmittance的情况下，我们的技术实现了+1.1 BLEU的平均改进，以及使用MAM预训练的+2.3 BLEU。使用任意声学信号对MAM进行预训练，这些语言的平均BLEU也有+1.6的改善。与ASR多任务学习解决方案（在训练期间回复转录）相比，我们的预训练MAM模型（不使用转录）实现了类似的准确性。
2021-02-08 cs.CL
Neural Speech Recognizer: Acoustic-to-Word LSTM Model for Large Vocabulary Speech Recognition
Google, Inc.（谷歌公司）
我们目前的结果表明，它是有可能建立一个有竞争力的，大大简化，大词汇量的连续语音识别系统与整个字作为声学单位。我们直接使用具有CTC损失的深度双向LSTM RNN对大约10万个单词的输出词汇进行建模。该模型是在125，000小时的半监督声学训练数据上训练的，这使我们能够减轻单词模型的数据稀疏问题。我们表明，CTC字模型工作得很好，作为一个端到端的全神经语音识别模型，而不使用传统的上下文相关的子字音素单位，需要一个发音词典，没有任何语言模型删除需要解码。我们证明了CTC单词模型的表现优于一个强大的，更复杂的，最先进的基线与子单词单元。
2016-10-31 cs.CL cs.LG cs.NE
Senone-aware Adversarial Multi-task Training for Unsupervised Child to Adult Speech Adaptation
Institute for Infocomm Research, A*STAR（资讯通信研究院，新加坡科技研究局）
儿童语音的声学建模是具有挑战性的，因为声道中的生理差异引起的高声学可变性。公开数据集的缺乏使这项任务更具挑战性。在这项工作中，我们提出了一种特征自适应方法，通过利用对抗性多任务训练来最大限度地减少成人和儿童语音之间senone（绑定三音素状态）水平的声学不匹配，并利用大量转录的成人语音。我们验证所提出的方法上的三个任务：儿童语音识别，儿童发音评估，和儿童流畅度分数预测。实证结果表明，我们提出的方法始终优于竞争基线，实现了7.7%的相对误差减少语音识别和高达25.2%的相对收益的评估任务。
2021-02-23 cs.AI cs.SD eess.AS
