MAM: Masked Acoustic Modeling for End-to-End Speech-to-Text Translation
Baidu Research（百度研究院）；Oregon State University（俄勒冈州立大学）
端到端语音到文本翻译（E2 E-ST）直接将源语言语音翻译成目标语言文本，在实践中有着广泛的应用，但传统的级联方法（ASR+MT）在流水线中容易产生错误传播。另一方面，现有的端到端解决方案严重依赖于用于预训练或具有自动语音识别（ASR）的多任务训练的源语言translation。相反，我们提出了一种简单的技术来学习一个强大的语音编码器在一个自我监督的方式只在语音侧，它可以利用语音数据没有转录。该技术被称为掩蔽声学建模（MAM），它不仅提供了一种改进E2 E-ST的替代方案，而且可以对任何声学信号（包括非语音信号）进行预训练而无需标注。我们在8个不同的平移方向上进行实验。在不使用任何transmittance的情况下，我们的技术实现了+1.1 BLEU的平均改进，以及使用MAM预训练的+2.3 BLEU。使用任意声学信号对MAM进行预训练，这些语言的平均BLEU也有+1.6的改善。与ASR多任务学习解决方案（在训练期间回复转录）相比，我们的预训练MAM模型（不使用转录）实现了类似的准确性。
2021-02-08 cs.CL
Self-supervised speech unit discovery from articulatory and acoustic features using VQ-VAE
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）；GIPSA-lab（格勒诺布尔图像、语音、信号与自动化实验室）
通常假设人类感知系统在处理听觉语音输入时会招募运动知识。使用发音建模和深度学习，这项研究探讨了如何在自我监督的环境中使用这种发音信息来发现语音单元。我们使用矢量量化的变分自编码器（VQ-VAE）从发音和声学语音数据中学习离散表示。与零资源范式，ABX测试，然后被用来调查如何提取的表征编码语音相关的属性。实验在三个不同的英语和法语语料库上进行。我们发现，发音的信息，而组织的潜在表示的发音的地方，而语音声学主要结构的潜在空间的发音方式。我们发现，这两种方式的最佳融合可以导致这些语音维度的联合表示比单独考虑每个模态更准确。由于发音信息通常是不可用的，在实际情况下，我们最后调查的好处，它提供了一个自我监督的方式从语音声学推断时。
2022-06-17 cs.CL
Combined Acoustic and Pronunciation Modelling for Non-Native Speech Recognition
LORIA-CNRS & INRIA（LORIA-CNRS与INRIA）
在本文中，我们提出了几种适应方法的非母语语音识别。我们已经测试了发音建模，MLLR和MAP非母语发音适应和HMM模型再培训的HIWIRE外国口音的英语语音数据库。我们开发的"语音混淆“方案包括将每个语音音素与几个混淆音素序列相关联。在我们的实验中，我们使用了不同的组合的声学模型代表的规范和外国的发音：口语和本地模型，模型适应非本地口音与MAP和MLLR。发音建模和声学适应的联合使用导致识别准确性的进一步提高。上述技术的最佳组合导致相对字错误减少46%至71%。
2007-11-06 cs.CL
Hearing voices at the National Library -- a speech corpus and acoustic model for the Swedish language
National Library of Sweden（瑞典国家图书馆）
本文介绍了我们在KBLab（瑞典国家图书馆（KB）数据驱动研究的基础设施）开发新的自动语音识别（ASR）声学模型的工作。我们评估不同的方法，一个可行的语音到文本的管道视听资源在瑞典，使用wav 2 vec 2.0架构结合从KB的集合创建的语音语料库。这些方法包括从头开始预训练瑞典语的声学模型，以及微调现有的单语和多语言模型。我们使用的基于集合的语料库是从数百万小时的演讲中取样的，有意识地尝试平衡地区方言，以产生更具代表性，因此更民主的模型。这使得声学模型，“VoxRex”，优于瑞典ASR的现有模型。我们还评估了将此模型与各种预训练的语言模型相结合，这进一步提高了性能。最后，我们强调了这种技术对文化遗产机构的潜力，这些机构拥有大量以前未标记的视听数据。我们的模型在这里发布以供进一步探索和研究：https://huggingface.co/KBLab。
2022-05-19 cs.CL
Deep Feed-forward Sequential Memory Networks for Speech Synthesis
Alibaba Inc.（阿里巴巴公司）
基于双向LSTM（BLSTM）RNN的语音合成系统在生成语音的自然度方面，特别是韵律的自然度方面，是参数化文本到语音（TTS）系统中最好的。然而，BLSTM的模型复杂性和推理成本阻止了它在许多运行时应用程序中的使用。同时，深度前馈顺序记忆网络（DFSMN）在语音识别任务中的字出错率（WER）和运行时计算成本方面表现出了与BLSTM一致的性能。由于与语音识别相比，语音合成还需要对长期依赖关系进行建模，因此在本文中，我们研究了语音合成中的深度FSMN（DFSMN）。客观和主观实验结果表明，与BLSTM TTS方法相比，DFSMN系统能够生成具有相当语音质量的合成语音，同时大大降低了模型复杂度和语音生成时间。
2018-02-26 cs.CL
JSUT corpus: free large-scale Japanese speech corpus for end-to-end speech synthesis
Graduate School of Information Science and Technology, The University of Tokyo（东京大学信息科学与技术研究生院）
得益于包括深度学习在内的机器学习技术的改进，一个可以在学术机构和商业公司之间共享的免费大规模语音语料库具有重要作用。然而，不存在这样的用于日语语音合成的语料库。在本文中，我们设计了一个新的日语语音语料库，命名为“JSUT语料库”，旨在实现端到端的语音合成。该语料库包括10个小时的阅读式语音数据及其转录，涵盖了日常使用的日语字符的所有主要发音。在本文中，我们描述了我们如何设计和分析语料库。语料库可在网上免费获取。
2017-10-28 cs.CL
Unsupervised Domain Discovery using Latent Dirichlet Allocation for Acoustic Modelling in Speech Recognition
University of Sheffield（谢菲尔德大学）
语音识别系统通常是高度依赖于域的，这是文献中广泛报道的事实。然而，域的概念是复杂的，不受明确标准的约束。因此，通常不清楚数据是否应被视为域外数据。虽然声学模型和语言模型都可以是特定于领域的，但本文的工作集中在声学建模上。我们提出了一种新的方法来执行无监督发现域使用潜在狄利克雷分配（LDA）建模。这里，假设数据中存在一组隐藏域，由此每个音频片段可以被认为是域属性的加权混合。将音频段分类到域中允许创建用于自动语音识别的域特定声学模型。实验是在一个包含广播电视、电话交谈、会议、讲座和朗读等多种语音数据的数据集上进行的，联合训练集为60小时，测试集为6小时。最大后验概率（MAP）适应LDA为基础的领域，以产生相对字出错率（WER）的改善高达16%的相对，相比，汇集的培训，和高达10%，与人类标记的领域知识适应的模型。
2015-09-08 cs.CL
ESCUCHA: A Spanish Speech Benchmark for Heterogeneous Acoustic Conditions
针对现实声学条件下西班牙语语音理解受关注少的问题，引入ESCUCHA基准测试，含1000个人工挑选与音频配对的问题，强调推理与语言多样性，涵盖多类问题，测试发现先进模型与人类存在性能差距。
2026-07-21 cs.CL
Acoustic Data-Driven Subword Modeling for End-to-End Speech Recognition
RWTH Aachen University（亚琛工业大学）；AppTek GmbH（AppTek有限公司）
针对端到端语音识别中缺乏完全面向声学的子词建模方法的问题，提出声学数据驱动的子词建模（ADSM）方法，生成声学结构化子词单元，在LibriSpeech上优于BPE和PASM，适用于时间与标签同步模型。
2021-08-27 cs.CL
Ensemble of Jointly Trained Deep Neural Network-Based Acoustic Models for Reverberant Speech Recognition
Hanyang University（汉阳大学）
远距离语音识别是一个挑战，特别是由于扬声器和麦克风之间的大距离引起的混响对语音信号的破坏。为了应对现实世界中的各种混响，我们提出了新的声学建模方法，包括一个集成的深度神经网络（DNN）和一个集成的联合训练的DNN。首先，在设置步骤中建立多个DNN，每个DNN对应于不同的混响时间60（RT 60）。此外，进一步联合训练DNN声学模型的集合中的每个模型，包括特征映射和声学建模，其中特征映射被设计用于作为前端的去混响。在测试阶段，使用最大后验概率（MAP）从DNN集合中选择两个最可能的DNN，通过使用基于最大似然（ML）的盲RT60估计以在线方式计算，然后使用基于ML的权重作为简单平均来组合来自两个DNN的后验概率输出。大量的实验表明，所提出的方法导致在不同的混响条件下，在语音识别的准确性大大提高传统的DNN基线系统。
2016-08-17 cs.CL
Wav-BERT: Cooperative Acoustic and Linguistic Representation Learning for Low-Resource Speech Recognition
Sun Yat-sen University（中山大学）；Dark Matter AI Research（暗物质人工智能研究院）；Sea AI Lab（冬海人工智能实验室）
统一声学和语言表示学习对于将在丰富的高资源语言数据上学到的知识转移到低资源语音识别变得越来越重要。现有的方法简单地级联预训练的声学和语言模型来学习从语音到文本的转换。然而，如何解决语音和文本的表征差异还没有被探索，这阻碍了声学和语言信息的利用。此外，以前的工作简单地用声学特征替换预训练语言模型的嵌入层，这可能会导致灾难性遗忘问题。在这项工作中，我们介绍了Wav-BERT，一个合作的声学和语言表示学习方法融合和利用语音和文本的上下文信息。具体来说，我们将预先训练的声学模型（wav 2 vec 2.0）和语言模型（BERT）统一到端到端的可训练框架中。设计了一个表示聚合模块来聚合声学和语言表示，并引入了一个嵌入注意模块来将声学信息融入到BERT中，这可以有效地促进两个预训练模型的合作，从而促进表示学习。大量的实验表明，我们的Wav-BERT显着优于现有的方法，并达到国家的最先进的低资源语音识别的性能。
2021-10-09 cs.CL eess.AS
MAD Speech: Measures of Acoustic Diversity of Speech
Inria Paris（法国国家信息与自动化研究所巴黎分部）；Google DeepMind（谷歌DeepMind）；Kyutai
本文提出 MAD Speech 轻量级声学多样性度量，通过逐方面嵌入与聚合函数衡量嗓音、性别、情感、口音和背景噪声五类多样性，并在多个数据集和真实场景中验证其优于基线。
2025-03-11 cs.CL eess.AS
A$^3$T: Alignment-Aware Acoustic and Text Pretraining for Speech Synthesis and Editing
University of Waterloo（滑铁卢大学）；Baidu Research USA（百度美国研究院）；Baidu Research（百度研究院）；Oregon State University（俄勒冈州立大学）
最近，语音表示学习已经改善了许多与语音相关的任务，例如语音识别、语音分类和语音到文本的翻译。然而，所有上述任务都是在语音理解的方向上，但对于相反的方向，语音合成，由于生成高质量语音的挑战性，表征学习的潜力尚未实现。为了解决这个问题，我们提出了我们的框架，Alignment-Aware Acoustic-Text Pretraining（A $^3$ T），它在训练过程中使用文本输入和声学文本对齐来重建掩蔽的声学信号。通过这种方式，预训练的模型可以生成高质量的重建谱图，其可以直接应用于语音编辑和不可见说话人TTS。实验结果表明，$^3$ T在语音编辑方面优于SOTA模型，并且在没有外部说话人确认模型的情况下改善了多说话人语音合成。
2022-06-18 cs.CL cs.SD eess.AS
Hybridized Feature Extraction and Acoustic Modelling Approach for Dysarthric Speech Recognition
Marwadi Education Foundation’s Group of Institution（马尔瓦迪教育基金会集团机构）
构音障碍是由人类神经系统模糊引起的运动言语功能障碍。其特点是说话含糊不清，加上身体受损，限制了他们的沟通，造成缺乏信心，影响了生活方式。本文试图提高自动语音识别（ASR）系统对未受损语音信号的识别效率。介绍了通过整合构音障碍者的言语产生知识来改善构音障碍者的ASR的研究现状。为了提高整个系统的效率，提出了特征提取和声学建模技术与进化算法的混合方法。这里的特征向量的数量是不同的，并测试了系统的性能。实验结果表明，采用遗传算法可以提高系统的性能。系统采用遗传算法对16个声学特征进行优化，在训练时间为5：30：17时，识别率最高达到98.28%。
2015-06-06 cs.CL cs.SD
Optimizing Speech Language Models for Acoustic Consistency
本研究提出融合自监督初始化、轻量对齐损失及稀疏化辅助目标的语音语言模型训练方法，发现纯语音模型声学一致性更优，交错训练可提升语义对齐，证明模型侧设计可调控声学稳定性与语义接地的平衡。
2025-09-30 cs.CL cs.SD
Bridging the Gap Between Monaural Speech Enhancement and Recognition with Distortion-Independent Acoustic Modeling
The Ohio State University（俄亥俄州立大学）
自几年前引入深度学习以来，单耳语音增强已经取得了巨大的进步。虽然增强语音已被证明具有更好的可理解性和质量的人类听众，它直接馈送到自动语音识别（ASR）系统训练与嘈杂的语音没有产生预期的改善ASR性能。在识别上缺乏增强益处，或者单耳语音增强和识别之间的差距，通常归因于在增强过程中引入的语音失真。在这项研究中，我们分析了失真的问题，比较不同的声学模型，并探讨了失真无关的单耳语音识别的训练计划。实验结果表明，与失真无关的声学建模能够克服失真问题。这样的声学模型还可以与不同于在训练期间使用的语音增强模型一起工作。此外，在CHiME-2语料库上，本文研究的模型优于以前最好的系统。
2019-03-13 cs.CL cs.SD eess.AS
TAPLoss: A Temporal Acoustic Parameter Loss for Speech Enhancement
Carnegie Mellon University（卡内基梅隆大学）；Meta Reality Labs Research（Meta现实实验室）
语音增强模型近年来取得了很大的进展，但其语音输出的感知质量仍然受到限制。我们提出了一个基于时间声学参数的感知质量的目标。这些是基本的语音特征，在各种应用中起着至关重要的作用，包括说话人识别和语言分析。我们提供了一个可微估计四类低级别的声学描述符，涉及：频率相关的参数，能量或振幅相关的参数，频谱平衡参数，和时间特征。与先前的工作，着眼于聚合的声学参数或几个类别的声学参数，我们的时间声学参数（TAP）的损失，使辅助优化和改进的许多细粒度的语音特征增强工作流程。我们表明，添加TAPLoss作为语音增强的辅助目标，产生语音与改善的感知质量和可懂度。我们使用来自深度噪声抑制2020挑战赛的数据来证明时域领域模型和时频领域模型都可以从我们的方法中受益。
2023-02-16 cs.CL cs.SD eess.AS
Algorithm of Segment-Syllabic Synthesis in Speech Recognition Problem
本文讨论了基于音节段的语音识别。本文研究了分段音节参数轨迹合成语音识别问题的状态空间搜索方法。识别作为比较的参数轨迹在选定的语音单元上的分段语音的部分实现。给出了一些实验结果并进行了讨论。
2007-03-10 cs.CL cs.SD
Two-Staged Acoustic Modeling Adaption for Robust Speech Recognition by the Example of German Oral History Interviews
在自动语音识别中，通常很少的训练数据可用于特定的具有挑战性的任务，但是最先进的自动语音识别系统的训练需要大量的注释语音。为了解决这个问题，我们提出了一种两阶段的声学建模方法，该方法将噪声和混响数据增强与迁移学习相结合，以鲁棒地解决困难的声学记录条件，自发语音和老年人语音等挑战。我们评估我们的方法使用的例子，德国口述历史访谈，其中一个相对平均减少字的错误率达到19.3%。
2019-08-19 cs.CL cs.SD eess.AS
Neural Speech Recognizer: Acoustic-to-Word LSTM Model for Large Vocabulary Speech Recognition
Google, Inc.（谷歌公司）
我们目前的结果表明，它是有可能建立一个有竞争力的，大大简化，大词汇量的连续语音识别系统与整个字作为声学单位。我们直接使用具有CTC损失的深度双向LSTM RNN对大约10万个单词的输出词汇进行建模。该模型是在125，000小时的半监督声学训练数据上训练的，这使我们能够减轻单词模型的数据稀疏问题。我们表明，CTC字模型工作得很好，作为一个端到端的全神经语音识别模型，而不使用传统的上下文相关的子字音素单位，需要一个发音词典，没有任何语言模型删除需要解码。我们证明了CTC单词模型的表现优于一个强大的，更复杂的，最先进的基线与子单词单元。
2016-10-31 cs.CL cs.LG cs.NE
Unpaired Speech Enhancement by Acoustic and Adversarial Supervision for Speech Recognition
KAIST（韩国科学技术院）；Mokwon University（木原大学）；KAIST Institute for Artificial Intelligence（韩国科学技术院人工智能研究所）
许多语音增强方法试图学习噪声和干净语音之间的关系，使用声学室模拟器获得。我们指出了几个局限性的增强方法依赖于干净的语音目标，这项工作的目标是提出一种替代学习算法，称为声学和对抗监督（AAS）。AAS使得增强的输出既最大化了预训练的声学模型上的转录的可能性，又具有干净语音的一般特征，这提高了对看不见的噪声语音的泛化。我们采用连接主义的时间分类和不成对的条件边界平衡生成对抗网络作为AAS的损失函数。AAS在两个数据集上进行了测试，包括加性噪声没有混响和混响，Librispeech + DEMAND和CHiME-4。通过可视化不同损失组合的增强语音，我们展示了每个监督的作用。AAS实现了较低的字出错率比其他国家的最先进的方法使用干净的语音目标在两个数据集。
2018-11-06 cs.CL cs.LG cs.SD
Analysis and Synthesis of Hypo and Hyperarticulated Speech
University of Mons (UMons)（蒙斯大学）
本文在基于隐马尔可夫模型的语音合成框架下研究了低清晰度和高清晰度语音的分析与合成。首先，创建了一个符合我们需求的新法语数据库，其中包含三个相同的集合，具有三种不同程度的发音：中性，hypo和hyperarticulated语音。在此基础上，进行了声学和语音分析。结果表明，发音的程度显着影响，一方面，声道和声门特性，另一方面，语速，电话持续时间，电话的变化和声门塞音的存在。最后，使用基于HMM的语音合成合成中性、低清晰度和高清晰度语音，并进行客观和主观测试，旨在评估所生成的语音质量。这些测试表明，合成hypocarticulated语音似乎是不自然的中性和hyperarticulated语音呈现。
2020-06-07 cs.CL eess.AS
PAAPLoss: A Phonetic-Aligned Acoustic Parameter Loss for Speech Enhancement
Carnegie Mellon University（卡内基梅隆大学）；Meta Reality Labs Research（Meta现实实验室）
尽管近年来发展迅速，但当前的语音增强模型通常产生与真正的干净语音在感知质量上不同的语音。我们提出了一个学习目标，正式的感知质量的差异，通过使用领域知识的声学语音。我们确定时间声学参数-如频谱倾斜，频谱通量，微光等-是不可微的，我们开发了一个神经网络估计，可以准确地预测其时间序列值在整个话语。我们还为每个特征建模音素特定的权重，因为已知声学参数在不同的音素中显示不同的行为。我们可以将此标准作为辅助损失添加到任何产生语音的模型中，以优化语音输出，从而在这些特征中匹配干净语音的值。实验上，我们表明，它提高了语音增强工作流程在时域和时频域，标准的评估指标。我们还提供了一个音素依赖的声学参数的改进分析，证明了我们的方法提供的额外的可解释性。这种分析可以表明哪些功能目前是改进的瓶颈。
2023-02-16 cs.CL cs.SD eess.AS
AURA: Uncertainty-Routed Activation Editing for Acoustic Grounding in Speech Foundation Models
University of California Los Angeles（加州大学洛杉矶分校）
AURA通过基于交叉注意力不确定性路由的稀疏激活编辑，冻结模型参数，在非语音音频上将幻觉率从89.18%降至1.94%，并以约500倍更少的可训练参数接近LoRA的词错误率，实现AED语音模型的声学接地。
2026-09-22 cs.CL eess.AS
Investigating the Impact of Cross-lingual Acoustic-Phonetic Similarities on Multilingual Speech Recognition
Liveperson Research Centre（Liveperson研究中心）
多语言自动语音识别（ASR）系统主要受益于低资源语言，但相对于其单语言对应物，在若干语言之间遭受性能降级。有限的研究集中在理解多语言语音识别设置中的语言行为。本文提出了一种新的数据驱动的方法来研究跨语言的声学语音相似性。该技术测量来自各种单语声学模型的后验分布与目标语音信号之间的相似性。深度神经网络被训练为映射网络，以将来自不同声学模型的分布转换为直接可比较的形式。分析发现，重叠音素集的数量不能真实地估计语言的接近程度。熵分析的建议映射网络显示，一种语言与较少的重叠，可以更适合跨语言迁移，因此更有益的多语种设置。最后，利用所提出的后验变换方法融合目标语言的单语模型。与单语对应相比，实现了~8%的相对改进。
2022-07-07 cs.CL eess.AS
Dynamic Layer Normalization for Adaptive Neural Acoustic Modeling in Speech Recognition
MILA（米拉研究所）；Université de Montréal（蒙特利尔大学）；Samsung Advanced Institute of Technology（三星先进技术研究院）
层归一化是最近引入的一种技术，用于对深度神经网络中的神经元活动进行归一化，以提高训练速度和稳定性。在本文中，我们介绍了一种新的层归一化技术称为动态层归一化（DLN）的自适应神经声学建模在语音识别。通过在层归一化中动态生成缩放和移位参数，DLN使神经声学模型适应于由诸如扬声器、信道噪声和环境等各种因素引起的声学变化。与其他自适应声学模型不同，我们提出的方法不需要额外的自适应数据或扬声器信息，如i向量。此外，模型大小是固定的，因为它动态地生成自适应参数。我们将我们提出的DLN应用于深度双向LSTM声学模型，并在大词汇量ASR实验的两个基准数据集上进行评估：WSJ和TED-LIUM版本2。实验结果表明，我们的DLN提高了神经声学模型的转录准确性，通过动态适应各种扬声器和环境。
2017-07-19 cs.CL cs.LG
A comparison of recent waveform generation and acoustic modeling methods for neural-network-based speech synthesis
National Institute of Informatics（国立信息学研究所）；Aalto University（阿尔托大学）
语音合成的最新进展表明，可以通过使用先进的机器学习方法来克服诸如具有最小相位近似的幅度谱的有损性质和声学建模中的过平滑效应之类的限制。在本文中，我们建立了一个框架，我们可以公平地比较新的声码和声学建模技术与传统的方法，通过大规模的众包评估。声学模型的结果表明，生成对抗网络和自回归（AR）模型的性能优于正常的递归网络，AR模型的性能最好。使用相同的AR声学模型对声码器进行评估表明，Wavenet声码器的性能优于经典的基于源滤波器的声码器。特别地，从AR声学模型和Wavenet声码器的组合生成的语音波形实现了类似的语音质量分数的声码语音。
2018-04-07 cs.CL cs.SD eess.AS
A Fast-Converged Acoustic Modeling for Korean Speech Recognition: A Preliminary Study on Time Delay Neural Network
Sogang University（西江大学）
提出了一种基于时延神经网络（TDNN）的声学模型，实现了韩语语音识别的快速收敛声学建模。TDNN在训练数据量有限的情况下具有快速收敛的优势，这是由于排除重复权重的子采样。的TDNN表现出2.12%的字符出错率相比，前馈神经网络（FFNN）为基础的韩国语音语料库建模的绝对改善。该模型的收敛速度比基于FFNN的模型快1.67倍。
2018-07-11 cs.CL cs.SD eess.AS
EchoX: Towards Mitigating Acoustic-Semantic Gap via Echo Training for Speech-to-Speech LLMs
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
EchoX通过利用语义表示并动态生成语音训练目标，整合声学与语义学习，以弥合声学-语义差距，从而在约六千小时训练数据下保持语音大语言模型的推理能力，并在多个知识问答基准上取得先进性能。
2025-09-11 cs.AI cs.CL cs.SD
Transformer in action: a comparative study of transformer-based acoustic models for large scale speech recognition applications
Facebook AI（Facebook人工智能研究院）
本文综述了Transformer及其可流化的变体--基于Emformer的声学模型在大规模语音识别中的应用。我们将基于Transformer的声学模型与工业规模任务的LSTM模型进行了比较。具体来说，我们将Emformer与延迟控制的BLSTM（LCBLSTM）在中等延迟任务上进行比较，并将LSTM在低延迟任务上进行比较。在低延迟语音助理任务中，Emformer获得24%至26%的相对单词出错率降低（WERR）。对于中等延迟场景，与模型大小和延迟相似的LCBLSTM相比，Emformer在视频描述数据集上获得了跨4种语言的显著WERR，推理实时因素减少了2-3倍。
2020-10-29 cs.CL cs.SD
Aggression in Hindi and English Speech: Acoustic Correlates and Automatic Identification
Dr. Bhimrao Ambedkar University（宾希姆拉奥·安贝德卡尔博士大学）；Jawaharlal Nehru University（贾瓦哈拉尔·尼赫鲁大学）；Indian Institute of Technology（印度理工学院）；Tezpur University（特兹普尔大学）
在本论文中，我们将提出的结果，声学分析的政治话语在印地语和讨论一些常规的声学特征的侵略性讲话经常采用的印地语和英语的发言者。该研究基于10个多小时的政治话语语料库，包括新闻频道和政治演讲的辩论。利用这项研究，我们开发了两个自动分类系统，用于识别侵略英语和印地语语音，完全基于声学模型。使用50小时的注释语音训练的印地语分类器和使用40小时的注释语音训练的英语分类器分别达到了超过73%和66%的准确率。在本文中，我们讨论了这个带注释的数据集的发展，实验开发的分类器，并讨论了错误，它使。
2022-04-06 cs.CL cs.SD eess.AS
Cross-lingual Transfer for Speech Processing using Acoustic Language Similarity
Carnegie Mellon University（卡内基梅隆大学）
语音处理系统目前不支持绝大多数语言，部分原因是缺乏低资源语言的数据。跨语言传输通过将高资源数据纳入低资源系统，为帮助弥合这一数字鸿沟提供了一种引人注目的方式。目前的跨语言算法已经在基于文本的任务和语音相关的任务中取得了成功，超过了一些低资源语言。然而，扩展语音系统以支持数百种低资源语言仍然没有解决。为了帮助弥合这一差距，我们提出了一种语言相似性的方法，可以有效地识别声学跨语言迁移对数百种语言。我们证明了我们的方法在语系分类，语音识别，和语音合成任务的有效性。
2021-11-02 cs.CL cs.SD eess.AS
Large-Scale Mixed-Bandwidth Deep Neural Network Acoustic Modeling for Automatic Speech Recognition
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；IBM Research AI（IBM研究院人工智能部门）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）
在自动语音识别（ASR）中，具有不同采样率的宽带（WB）和窄带（NB）语音信号通常使用单独的声学模型。因此，混合带宽（MB）声学建模对ASR系统部署具有重要的实用价值。在本文中，我们使用1，150小时的WB数据和2，300小时的NB数据广泛研究了ASR的大规模MB深度神经网络声学建模。我们研究了各种MB策略，包括下采样，上采样和带宽扩展MB声学建模和评估其性能的8个不同的WB和NB测试集从不同的应用领域。为了处理大量的训练数据，使用同步数据并行在多个GPU上进行分布式训练。
2019-07-10 cs.CL cs.SD eess.AS
A comparison of self-supervised speech representations as input features for unsupervised acoustic word embeddings
Stellenbosch University（斯泰伦博斯大学）
许多语音处理任务涉及测量语音段之间的声学相似性。声学词嵌入（AWE）允许通过将任意持续时间的语音段映射到固定维向量来进行有效的比较。对于零资源语音处理，其中未标记的语音是唯一可用的资源，一些最好的AWE方法依赖于自动发现的单词片段形式的弱自上而下的约束。零资源研究的另一个方向是在短时间框架水平上的表示学习，而不是在片段水平上学习嵌入。最近的方法包括自监督预测编码和对应自动编码器（CAE）模型。在本文中，我们考虑这些帧级特征在用作无监督AWE模型的训练输入时是否有益。我们比较帧级功能，从对比预测编码（CPC），自回归预测编码和CAE到传统的MFCC。这些被用作输入到一个经常性的CAE为基础的AWE模型。在英语和Xitsonga数据的单词辨别任务中，所有三种表示学习方法都优于MFCC，CPC始终显示出最大的改善。在跨语言的实验中，我们发现，CPC功能的英语培训也可以转移到Xitsonga。
2020-12-14 cs.CL eess.AS
In-Context Learning in Speech Language Models: Analyzing the Role of Acoustic Features, Linguistic Structure, and Induction Heads
ILLC, University of Amsterdam（阿姆斯特丹大学逻辑、语言与计算研究所）；CSAI, Tilburg University（蒂尔堡大学认知科学与人工智能系）
研究探讨了语音模型中上下文学习中语音特征、语言结构和归纳头的影响，发现语速显著影响学习效果，而音高和强度影响较小，归纳头在语音上下文学习中起因果作用。
2026-04-07 cs.AI cs.CL
Learned In Speech Recognition: Contextual Acoustic Word Embeddings
Carnegie Mellon University（卡内基梅隆大学）
端到端的声学到词语音识别模型最近得到了普及，因为它们易于训练，可以很好地扩展到大量的训练数据，并且不需要词典。此外，单词模型也可以更容易地与下游任务（例如口语语言理解）集成，因为推理（搜索）与音素、字符或任何其他种类的子单词单元相比简化得多。在本文中，我们描述的方法来构建上下文声学词嵌入直接从监督序列到序列的声学到词的语音识别模型使用学习的注意力分布。在一组16个标准句子评估任务中，我们的嵌入显示出与在语音传输上训练的word2vec模型相比具有竞争力的性能。此外，我们评估这些嵌入在语言理解任务，并观察到，我们的嵌入匹配的性能，基于文本的嵌入在管道中的第一次执行语音识别，然后从transmittance构建词嵌入。
2019-02-18 cs.CL cs.SD eess.AS
FluentEditor2: Text-based Speech Editing by Modeling Multi-Scale Acoustic and Prosody Consistency
Inner Mongolia University（内蒙古大学）；Zhejiang University（浙江大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；University of Bremen（不来梅大学）
针对现有基于文本的语音编辑方法中编辑区域与未编辑区域声学、韵律一致性不足的问题，提出FluentEditor2模型，通过分层局部声学平滑约束和对比全局韵律一致性约束实现多尺度一致性建模，在VCTK、LibriTTS数据集上主观客观表现均优于现有方法。
2024-12-08 cs.CL cs.SD eess.AS
Collaborative Training of Acoustic Encoders for Speech Recognition
Facebook
设备上语音识别需要不同大小的训练模型，以部署在具有各种计算预算的设备上。在构建这些不同的模型时，我们可以通过联合训练它们来利用它们之间共享的知识。联合训练也是有效的，因为它减少了训练程序的数据处理操作中的冗余。我们提出了一种方法，用于协同训练不同大小的声学编码器的语音识别。我们使用一个序列传感器设置，其中不同的声学编码器共享一个共同的预测器和连接器模块。声学编码器还通过用于帧级chenone预测的辅助任务以及换能器损耗使用共蒸馏来训练。我们使用LibriSpeech语料库进行实验，并证明协同训练的声学编码器可以提供高达11%的相对改善的字出错率的测试分区。
2021-07-13 cs.CL cs.SD eess.AS
FOOCTTS: Generating Arabic Speech with Acoustic Environment for Football Commentator
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Qatar Computing Research Institute（卡塔尔计算研究所）
本文提出FOOCTTS足球解说语音生成流水线，整合语音识别标注、CTC分割、文本元音化与TTS微调，仅用15分钟录音即可生成带背景噪声的阿拉伯语解说语音，且可跨领域跨语言迁移。
2023-06-07 cs.CL cs.SD eess.AS
Simple and Effective Unsupervised Speech Synthesis
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Meta AI
我们介绍了第一个无监督的语音合成系统的基础上，一个简单的，但有效的配方。该框架利用了最近在无监督语音识别以及现有的基于神经的语音合成的工作。仅使用未标记的语音音频和未标记的文本以及词典，我们的方法使语音合成，而不需要人类标记的语料库。实验表明，无监督的系统可以合成类似的语音监督同行的自然度和可懂度衡量的人的评价。
2022-04-20 cs.CL cs.SD eess.AS
Auto Spell Suggestion for High Quality Speech Synthesis in Hindi
Banasthali Vidyapeeth（巴纳斯塔利大学）
在特定语言中，文本到语音（TTS）合成的目标是将任意输入文本转换为可理解且听起来自然的语音。然而，对于一个特定的语言，如印地语，这是一个高度混乱的语言（由于非常接近的拼写），这不是一件容易的任务，以确定输入文本中的错误/错误，不正确的文本降低输出语音的质量，因此本文是一个贡献的高品质的语音合成的发展与拼写检查的参与，自动生成拼写错误的单词的拼写建议。拼写检查器的参与将通过为不正确的输入文本提供拼写建议来提高语音合成的效率。此外，我们还提供了对比研究，以评估在输入文本上添加拼写检查器对语音文本的效果。
2014-02-15 cs.CL cs.SD
Acoustic-to-Word Models with Conversational Context Information
Carnegie Mellon University（卡内基梅隆大学）
会话上下文信息，跨越句子的更高层次的知识，可以帮助识别长对话。然而，现有的语音识别模型通常是在句子级别构建的，因此它可能无法捕获重要的会话上下文信息。端到端语音识别的最新进展使得能够将上下文与其他可用信息（例如，声学、语言资源）和直接从语音识别单词。在这项工作中，我们提出了一个直接的声学到词，端到端的语音识别模型，能够利用会话上下文，以更好地处理长对话。我们评估我们提出的方法上的交换机会话语音语料库，并表明我们的系统优于一个标准的端到端的语音识别系统。
2019-05-21 cs.CL cs.LG eess.AS
Exploring Acoustic Similarity in Emotional Speech and Music via Self-Supervised Representations
University of Edinburgh, UK（爱丁堡大学）
本研究通过分析SSL模型在语音和音乐情感识别中的逐层行为及跨领域微调，揭示了情感语音与音乐间的声学相似性及模型情感偏差，并证明参数高效微调能提升跨域识别性能。
2025-04-30 cs.AI cs.CL cs.MM
Direct Text to Speech Translation System using Acoustic Units
University of Zaragoza（萨拉戈萨大学）；Aragón Institute for Engineering Research (I3A)（阿拉贡工程研究所）；Le Mans University（勒芒大学）；Avignon University（阿维尼翁大学）
本文提出一种基于离散声学单元的直接文本到语音翻译系统，通过语音编码器与聚类算法提取声学单元并结合编码器-解码器架构与声码器生成目标语音，在CVSS语料库上取得有竞争力的性能。
2023-09-14 cs.CL cs.LG cs.SD
A Bengali HMM Based Speech Synthesis System
Center for Educational Technology, Indian Institute of Technology Kharagpur（印度理工学院克勒格普尔分校教育技术中心）
本文介绍了基于HMM的TTS系统产生孟加拉语语音的能力。在这种合成方法中，语音参数的轨迹是从训练的隐马尔可夫模型生成的。从这些语音参数合成最终语音波形。在我们的实验中，频谱特性由梅尔倒谱系数表示。本文使用带注释的孟加拉语语音数据库研究了训练和合成问题。实验评估表明，开发的文本到语音系统是能够产生足够自然的语音孟加拉语的可懂度和语调。
2014-06-16 cs.CL cs.MM cs.SD
Embedding a Differentiable Mel-cepstral Synthesis Filter to a Neural Speech Synthesis System
Nagoya Institute of Technology（名古屋工业大学）；Techno-Speech, Inc.（Techno-Speech公司）
本文将经典的梅尔倒谱合成滤波器集成到现代神经语音合成系统中，实现端到端可控的语音合成。由于梅尔倒谱合成滤波器显式地嵌入在所提出的系统中的神经波形模型中，语音特性和合成语音的音高分别通过频率弯曲参数和基频进行高度控制。我们实现了梅尔倒谱合成滤波器作为一个微分和GPU友好的模块，使所提出的系统中的声学和波形模型，以端到端的方式同时优化。实验表明，该系统提高了语音质量从基线系统保持可控性。实验中使用的核心PyTorch模块将在GitHub上公开。
2022-11-21 cs.CL cs.SD eess.AS
On the Compression of Recurrent Neural Networks with an Application to LVCSR acoustic modeling for Embedded Speech Recognition
Google Inc.（谷歌公司）
我们研究压缩循环神经网络（RNN）的问题。特别是，我们专注于RNN声学模型的压缩，这是出于建立紧凑和准确的语音识别系统，可以有效地运行在移动设备上的目标。在这项工作中，我们提出了一种技术，一般经常性的模型压缩，共同压缩经常性和非经常性层间权重矩阵。我们发现，所提出的技术允许我们将长短期记忆（LSTM）声学模型的大小减少到其原始大小的三分之一，而准确性的损失可以忽略不计。
2016-05-02 cs.CL cs.LG cs.NE
Speech Synthesis as Augmentation for Low-Resource ASR
Raytheon BBN（雷神BBN公司）
语音合成可能是低资源语音识别的关键。数据增强技术已成为现代语音识别训练的重要组成部分。然而，它们是简单的，天真的，很少反映现实世界的条件。与此同时，语音合成技术已经快速地接近实现类人语音的目标。在本文中，我们研究了使用合成语音作为数据增强的一种形式，以降低构建语音识别器所需的资源的可能性。我们使用三种不同的合成器进行实验：统计参数合成器、神经合成器和对抗合成器。我们的发现很有趣，并为未来指明了新的研究方向。
2020-12-23 cs.CL cs.SD eess.AS
Fast and Accurate Recurrent Neural Network Acoustic Models for Speech Recognition
Google（谷歌）
我们最近已经证明，作为语音识别的声学模型，深度长短期记忆（LSTM）递归神经网络（RNN）的性能优于前馈深度神经网络（DNN）。最近，我们已经证明，使用这种LSTM RNN的序列训练上下文相关（CD）隐马尔可夫模型（HMM）声学模型的性能可以与使用连接主义时间分类（CTC）初始化的序列训练电话模型相等。在本文中，我们提出了进一步提高大词汇量语音识别的LSTM RNN声学模型性能的技术。我们表明，帧堆叠和降低帧速率导致更准确的模型和更快的解码。CD电话模型导致进一步的改进。我们还展示了LSTM RNN模型直接输出单词的初步结果。
2015-07-24 cs.CL cs.LG cs.NE
Parsing Speech: A Neural Approach to Integrating Lexical and Acoustic-Prosodic Information
University of Washington（华盛顿大学）；Toyota Technological Institute at Chicago（芝加哥丰田理工学院）；UNC Chapel Hill（北卡罗来纳大学教堂山分校）
在会话语音中，声学信号提供线索，帮助听众消除歧义困难的分析。为了自动解析口语，我们引入了一个模型，该模型使用卷积神经网络在能量和音高轨迹上集成了转录文本和声学韵律特征，并结合了基于注意力的递归神经网络，该网络接受文本和韵律特征。我们发现，不同类型的声学韵律功能是单独的帮助，并在统计上显着改善解析和不流利检测F1分数在一个强大的纯文本的基线。对于这项研究与已知的句子边界，错误分析表明，声学韵律功能的主要好处是在句子不流利，附件的决定是最改善，和转录错误掩盖收益韵律。
2018-04-15 cs.CL cs.LG cs.SD
Textless Acoustic Model with Self-Supervised Distillation for Noise-Robust Expressive Speech-to-Speech Translation
Meta AI
本文提出一种结合 DINO 自监督蒸馏的无文本 U2S 生成器，通过捕获噪声无关的表现力表征，在保持干净环境性能的同时显著提升噪声环境下表现力语音到语音翻译的鲁棒性。
2024-06-04 cs.CL cs.SD eess.AS
Computational modeling of early language learning from acoustic speech and audiovisual input without linguistic priors
本文提出了一种从语音和视听输入中无语言先验进行早期语言学习的计算建模方法，展示了自监督和视觉基础模型在学习语音特征方面的有效性，并探讨了这些模型与婴儿语言发展实证发现的联系。
2026-03-11 cs.AI cs.CL eess.AS
Empirical Study Incorporating Linguistic Knowledge on Filled Pauses for Personalized Spontaneous Speech Synthesis
The University of Tokyo（东京大学）
本文通过实证研究探讨个性化自发语音合成中的填充停顿问题，提出结合非个性化外部填充停顿预测器的合成方法，揭示填充停顿位置与词语分别影响自然度和个体性的关键规律。
2023-09-19 cs.CL cs.SD eess.AS
Wasserstein GAN and Waveform Loss-based Acoustic Model Training for Multi-speaker Text-to-Speech Synthesis Systems Using a WaveNet Vocoder
The University of Tokyo（东京大学）；National Institute of Informatics（国立信息学研究所）；University of Edinburgh（爱丁堡大学）
最近的神经网络，如直接从语音波形样本学习的WaveNet和sampleRNN，即使在多扬声器文本转语音合成系统中，也在自然度和扬声器相似性方面实现了非常高质量的合成语音。这种神经网络被用作声码器的替代方案，因此它们通常被称为神经声码器。神经声码器使用声学特征作为局部条件参数，这些参数需要由另一个声学模型准确预测。然而，还不清楚如何训练该声学模型，这是有问题的，因为合成语音的最终质量受声学模型的性能的显著影响。发生显著的退化，特别是当预测的声学特征与自然特征相比具有不匹配的特征时。为了减少自然和生成的声学特征之间的不匹配特性，我们提出了将条件生成对抗网络（GAN）或其变体Wasserstein GAN与梯度惩罚（WGAN-GP）结合到使用WaveNet声码器的多扬声器语音合成中的框架。我们还扩展了GAN框架，并使用经过良好训练的WaveNet的离散化混合逻辑损失以及均方误差和对抗损失作为目标函数的一部分。实验结果表明，使用WGAN-GP框架训练的声学模型，使用反向传播离散混合物流（DML）损失在质量和扬声器相似性方面达到最高的主观评价分数。
2018-07-31 cs.CL cs.SD eess.AS
