Modelling word learning and recognition using visually grounded speech
Radboud University（拉德堡德大学）；Delft University of Technology（代尔夫特理工大学）
背景：语音识别的计算模型通常假设目标词的集合已经给定。这意味着这些模型在没有先验知识和明确监督的情况下无法从头开始学习识别语音。基于视觉的语音模型通过利用语音和视觉输入之间的统计依赖关系，在没有先验知识的情况下学习识别语音。虽然以前已经表明，视觉接地语音模型学习识别输入中的单词的存在，我们明确调查这样的模型作为人类语音识别的模型。研究方法：我们调查的时间过程中的单词识别模拟的模型，使用门控范式，以测试其识别是否受到众所周知的词竞争效应在人类语音处理。我们进一步调查是否矢量量化，离散表示学习的技术，艾滋病的发现和识别的话的模型。结果/结论：我们的实验表明，该模型能够孤立地识别名词，甚至能够正确区分复数名词和单数名词。我们还发现，识别的影响字竞争的字初始队列和邻居密度，反映了字竞争效应在人类的语音理解。最后，我们没有发现任何证据表明矢量量化有助于发现和识别单词。我们的门控实验甚至表明，矢量量化模型需要更多的输入序列的正确识别。
2022-03-14 cs.CL
Integrating Self-supervised Speech Model with Pseudo Word-level Targets from Visually-grounded Speech Model
National Taiwan University（国立台湾大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
提出PW-HuBERT框架，利用视觉基础语音模型生成伪词级目标，无需语音-文本配对数据，在四个SLU基准上提升语义理解性能。
2024-02-08 cs.CL cs.LG eess.AS
Who Needs Words? Lexicon-Free Speech Recognition
Facebook AI Research（Facebook人工智能研究院）；New York, USA（纽约（此处按要求不提取城市信息，但根据原文结构，该条可能仅为地址补充，主要机构为Facebook AI Research））；Menlo Park, USA（门洛帕克（此处按要求不提取城市信息，但根据原文结构，该条可能仅为地址补充，主要机构为Facebook AI Research））
无词汇语音识别自然地处理词汇表外（OOV）单词的问题。在本文中，我们表明，基于字符的语言模型（LM）可以执行，以及基于单词的LM的语音识别，在字出错率（WER），即使没有限制的解码的词典。我们研究了基于字符的LM，并表明卷积LM可以有效地利用大（字符）上下文，这是下游良好语音识别性能的关键。我们特别表明，词汇的无解码性能（WER）的话语与OOV字使用基于字符的LM是优于基于词汇的解码，无论是与字符或字为基础的LM。
2019-09-13 cs.CL
Optimizing Speech Recognition For The Edge
Google, Inc.（谷歌公司）
虽然目前大多数部署的语音识别系统仍然在服务器上运行，但我们正处于向边缘设备部署的过渡之中。从传统的语音识别管道到端到端（E2 E）神经架构的发展，以及更高效的神经网络拓扑和优化技术的并行开发，为这种向边缘的飞跃提供了动力。因此，我们现在能够创建高度准确的语音识别器，这些识别器既小又快，足以在典型的移动设备上执行。在本文中，我们从一个由长短期记忆（LSTM）层组成的基本RNN-传感器架构开始。然后，我们使用各种计算效率更高的层类型进行实验，并应用神经连接修剪和参数量化等优化技术来构建一个小型，高质量的设备上语音识别器，该识别器比没有任何优化的基线系统小一个数量级。
2020-02-07 cs.CL cs.LG eess.AS
Word-level Speech Recognition with a Letter to Word Encoder
Facebook AI Research（Facebook人工智能研究院）
我们提出了一个直接到单词的序列模型，它使用一个词网络来学习词嵌入的字母。词网络可以与任意序列模型无缝集成，包括连接主义时间分类和注意力编码器-解码器模型。我们表明，我们的直接到字模型可以实现字出错率增益超过子字级模型的语音识别。我们还表明，我们的直接到词的方法保留了预测的能力，没有看到在训练时，没有任何再培训的话。最后，我们证明了词级模型可以使用比子词级模型更大的步幅，同时保持准确性。这使得模型在训练和推理方面都更有效。
2020-07-14 cs.CL cs.SD eess.AS
Instant One-Shot Word-Learning for Context-Specific Neural Sequence-to-Sequence Speech Recognition
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Carnegie Mellon University（卡内基梅隆大学）
神经序列到序列系统为自动语音识别（ASR）提供最先进的性能。当使用适当的建模单位时，例如，字节对编码的字符，这些系统原则上是开放的词汇系统。然而，在实践中，他们经常无法识别在训练期间没有看到的单词，例如，命名实体、数字或技术术语。为了缓解这个问题，我们补充了一个端到端的ASR系统与单词/短语的内存和访问该内存的机制，以正确地识别单词和短语。在ASR系统的训练之后，并且当它已经被部署时，可以立即添加或减去相关单词，而不需要进一步的训练。在本文中，我们证明了通过这种机制，我们的系统能够识别超过85%的新添加的单词，它以前没有识别相比，一个强大的基线。
2021-07-05 cs.CL cs.LG
Acoustic-to-Word Models with Conversational Context Information
Carnegie Mellon University（卡内基梅隆大学）
会话上下文信息，跨越句子的更高层次的知识，可以帮助识别长对话。然而，现有的语音识别模型通常是在句子级别构建的，因此它可能无法捕获重要的会话上下文信息。端到端语音识别的最新进展使得能够将上下文与其他可用信息（例如，声学、语言资源）和直接从语音识别单词。在这项工作中，我们提出了一个直接的声学到词，端到端的语音识别模型，能够利用会话上下文，以更好地处理长对话。我们评估我们提出的方法上的交换机会话语音语料库，并表明我们的系统优于一个标准的端到端的语音识别系统。
2019-05-21 cs.CL cs.LG eess.AS
Learned In Speech Recognition: Contextual Acoustic Word Embeddings
Carnegie Mellon University（卡内基梅隆大学）
端到端的声学到词语音识别模型最近得到了普及，因为它们易于训练，可以很好地扩展到大量的训练数据，并且不需要词典。此外，单词模型也可以更容易地与下游任务（例如口语语言理解）集成，因为推理（搜索）与音素、字符或任何其他种类的子单词单元相比简化得多。在本文中，我们描述的方法来构建上下文声学词嵌入直接从监督序列到序列的声学到词的语音识别模型使用学习的注意力分布。在一组16个标准句子评估任务中，我们的嵌入显示出与在语音传输上训练的word2vec模型相比具有竞争力的性能。此外，我们评估这些嵌入在语言理解任务，并观察到，我们的嵌入匹配的性能，基于文本的嵌入在管道中的第一次执行语音识别，然后从transmittance构建词嵌入。
2019-02-18 cs.CL cs.SD eess.AS
Multi-task Language Modeling for Improving Speech Recognition of Rare Words
Amazon Alexa（亚马逊 Alexa）
端到端自动语音识别（ASR）系统由于其相对的架构简单性和有竞争力的性能而越来越受欢迎。然而，即使这些系统的平均准确度可能很高，但对稀有内容词的性能通常落后于混合ASR系统。为了解决这个问题，通常利用语言建模来应用第二遍重新评分。在本文中，我们提出了一个多任务学习的二次通过系统，利用语义目标（如意图和槽预测），以提高语音识别性能。我们发现，我们的重新评分模型训练这些额外的任务优于基线重新评分模型，训练只有语言建模任务，由1.4%的一般测试和2.6%的稀有词测试集的词错误率相对（WERR）。我们最好的多任务LM ASR系统与RNN Transducer仅ASR基线相比，在稀有词识别方面显示出4.6%的WERR减少。
2021-09-11 cs.AI cs.CL cs.LG
Almost-unsupervised Speech Recognition with Close-to-zero Resource Based on Phonetic Structures Learned from Very Small Unpaired Speech and Text Data
National Taiwan University（国立台湾大学）
对于世界上95%以上的低资源语言来说，为训练ASR系统生成大量带注释的语音数据仍然很困难。然而，我们注意到，人类婴儿开始学习语言的声音，少量的范例词没有听到大量的数据。我们在本文中开始在这个方向上的一些初步工作。音频Word2Vec用于获得携带从信号中提取的语音信息的口语单词的嵌入。一个自动编码器被用来生成嵌入的文本单词的发音特征的基础上的音素序列。这两套嵌入口语和文本的话描述了相似的语音结构之间的话在各自的潜在空间。从音频嵌入到文本嵌入的映射关系实际上给出了单词级ASR。这可以通过在嵌入空间中对齐少量的口语单词和相应的文本单词来学习。在最初的实验中，只有200个注释的口语单词和一个小时的语音数据没有注释，给出了27.5%的单词准确率，这是一个很低的起点。
2018-10-30 cs.CL cs.SD eess.AS
Continuously Learning New Words in Automatic Speech Recognition
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Carnegie Mellon University（卡内基梅隆大学）
针对ASR系统在识别首字母缩写词、命名实体等缺乏标注数据的特殊词汇时易出错的问题，提出一种自监督持续学习方法，利用幻灯片引导记忆增强模型解码新词并构建适配数据集进行迭代训练，使新词召回率超80%且保持整体性能。
2025-01-29 cs.CL cs.LG
Interactive decoding of words from visual speech recognition models
DeepMind（深度思维）
这项工作描述了一种交互式解码方法，以提高视觉语音识别系统的性能，使用用户输入，以补偿固有的模糊性的任务。与大多数音素到单词的解码管道不同，它产生音素并通过有限状态转换器馈送这些音素，我们的方法以锁步方式扩展单词，便于在每个单词位置插入交互点。交互点使我们能够在解码过程中征求输入，允许用户交互式地指导解码过程。我们模拟的用户输入的行为，使用一个甲骨文给出一个自动化的评价，并显示使用这种方法的文本输入的承诺。
2021-07-01 cs.CL
Techniques for Vocabulary Expansion in Hybrid Speech Recognition Systems
STC-innovations Ltd（STC创新有限公司）；Higher School of Economics（高等经济学院）；ITMO University（ITMO大学）；University of London（伦敦大学）
词汇表外单词（OOV）的问题对于任何语音识别系统都是典型的，混合系统通常被构造成识别固定的单词集合，并且很少能够包括在系统开发期间将遇到的所有单词。覆盖OOV的流行方法之一是使用子字单元而不是单词。这种系统可以潜在地识别任何先前看不见的词，如果该词可以从当前子词单元构建的话，但是也可以识别不存在的词。另一种流行的方法是修改系统的HMM部分，以便它可以轻松有效地扩展我们想要添加到系统中的自定义单词集。在本文中，我们探讨了不同的现有方法，这种解决方案的图的建设和搜索方法的水平。我们还提出了一种新的词汇扩展技术，解决了一些常见的内部子程序识别图形处理的问题。
2020-03-19 cs.CL cs.LG
Acoustically Grounded Word Embeddings for Improved Acoustics-to-Word Speech Recognition
TTI-Chicago（芝加哥丰田技术研究院）；IBM Research AI（IBM研究院人工智能部门）
用于端到端自动语音识别的直接声学到字（A2 W）系统比子字系统更易于训练，并且解码更有效。然而，A2 W系统在数据有限的训练时间和在识别训练词汇表之外的单词的解码时间可能存在困难。为了解决这些缺点，我们调查使用最近提出的声学和声学接地词嵌入技术在A2 W系统。该思想基于将AWE识别器的最终pre-softmax权重矩阵视为词嵌入向量矩阵，并使用外部训练的词嵌入集来提高该矩阵的质量。特别是，我们介绍了两个想法：（1）在训练时间之间的外部嵌入和识别器的权重，以及（2）在测试时间使用的词嵌入预测词汇表外的话。我们的词嵌入模型是基于声学的，也就是说，它是与声学嵌入联合学习的，以便对词的声学语音内容进行编码;并且它是参数化的，因此它可以嵌入任何任意（可能超出词汇表）字符序列。我们发现，这两种技术都提高了A2 W识别器的性能对话电话语音。
2019-03-29 cs.CL
Recognition of Isolated Words using Zernike and MFCC features for Audio Visual Speech Recognition
Dr. Babasaheb Ambedkar Marathwada University（巴巴萨海布·安贝德卡尔马拉特瓦达大学）
机器自动语音识别（ASR）是信号处理领域的一个热门研究课题，吸引了众多学者的研究。近年来，在自动语音阅读系统中已经有了许多进展，包括音频和视觉语音特征，以在噪声条件下识别单词。视听语音识别系统的目标是提高识别率。在本文中，我们计算视觉特征使用Zernike矩和音频特征使用梅尔频率倒谱系数（MFCC）的vVISWa（独立标准词汇的视觉词汇）数据集，其中包含10个扬声器的城市名称的孤立集合。在主成分分析（PCA）空间上对视觉特征进行归一化和降维，对孤立词语音进行识别，基于视觉和听觉特征的孤立词识别率分别为63.88和100。
2014-07-04 cs.CL cs.CV
Towards Understanding Spontaneous Speech: Word Accuracy vs. Concept Accuracy
在本文中，我们描述了一种方法来自动评估的语音识别和理解能力的口语对话系统的训练时间表信息。我们使用单词准确度进行识别，使用概念准确度进行理解性能判断。这两个指标都是通过将这些模块的输出与正确的参考答案进行比较来计算的。我们报告的评价结果约10000话语的自发语音语料库。我们观察到单词准确性和概念准确性之间几乎呈线性关系。
1996-05-15 cmp-lg cs.CL
Syllable Subword Tokens for Open Vocabulary Speech Recognition in Malayalam
在混合自动语音识别（ASR）系统中，发音词典（PL）和语言模型（LM）对于正确地检索口语单词序列是必不可少的。作为一种形态复杂的语言，马拉雅拉姆语的词汇量非常庞大，不可能建立一个涵盖所有不同单词形式的PL和LM。使用子字标记来构建PL和LM，并在解码后将它们组合成单词，使得能够恢复许多词汇表外的单词。在这项工作中，我们调查的影响，而不是在马拉雅拉姆语ASR的话，使用音节作为子字令牌，并评估相对改善的词典大小，模型内存的要求和字出错率。
2023-01-17 cs.CL
Whole-Word Segmental Speech Recognition with Acoustic Word Embeddings
TTI-Chicago（芝加哥信息技术研究所）
分段模型是序列预测模型，其中假设的分数基于帧的整个可变长度段。我们认为分段模型的全字（“声学到字”）语音识别，使用向量嵌入段定义的特征向量。这样的模型在计算上是具有挑战性的，因为路径的数量与词汇量大小成比例，这可能比使用子字单元（如音素）时大几个数量级。我们描述了一种有效的方法，端到端的全词分段模型，与前向-后向和Viterbi解码上的GPU和一个简单的段评分功能，降低了空间的复杂性。此外，我们还研究了通过联合训练的声学词嵌入（AWE）和声学接地词嵌入（AGWE）的书面词标签进行预训练的使用。我们发现，字错误率可以通过使用AWE预训练声学段表示来大幅降低，并且可以通过使用AGWE预训练字预测层来获得额外的（较小的）增益。我们的最终模型比之前的A2 W模型有所改进。
2020-11-24 cs.CL cs.SD eess.AS
Data augmentation using prosody and false starts to recognize non-native children's speech
Aalto University（阿尔托大学）
本文介绍了AaltoASR的语音识别系统，用于INTERSPEECH 2020共享任务，即针对非母语儿童语音的自动语音识别（ASR）。该任务是从不同年龄组的儿童中识别出有限数量的非母语语音。此外，语音是自发的，有错误的开始转录为部分单词，这在测试转录导致看不见的部分单词。为了应对这两个挑战，我们研究了一种基于数据增强的方法。首先，我们应用基于韵律的数据增强来补充音频数据。其次，我们通过在语言建模语料库中引入部分词噪声来模拟错误启动。在基于韵律的增强数据上训练的声学模型优于使用基线配方或基于SpecAugment的增强的模型。部分词噪声也有助于改进基线语言模型。我们的ASR系统，这些方案的组合，是在评估期内排名第三，并实现了18.71%的字错误率。评估后，我们观察到，增加基于韵律的增强数据的量会导致更好的性能。此外，从假设中去除低置信度分数的单词可以带来进一步的收益。这两项改进将ASR错误率降低到17.99%。
2020-08-29 cs.CL eess.AS
Word Order Does Not Matter For Speech Recognition
Facebook AI Research（脸书人工智能研究院）
在本文中，我们研究的自动语音识别系统在弱监督设置的音频训练数据的转录标签中的单词的顺序是未知的训练。我们训练一个单词级声学模型，该模型使用LogSumExp操作聚合所有输出帧的分布，并使用交叉熵损失来与地面实况单词分布匹配。在训练集上使用从该模型生成的伪标签，然后使用连接主义时间分类损失训练基于字母的声学模型。我们的系统在LibriSpeech的测试-清洁/测试-其他子集上实现了2.3%/4.6%，这与监督基线的性能非常匹配。
2021-10-18 cs.CL cs.SD eess.AS
Sequence-to-sequence Automatic Speech Recognition with Word Embedding Regularization and Fused Decoding
National Taiwan University（台湾大学）；University of California, San Diego（加州大学圣地亚哥分校）
在本文中，我们调查的好处，现成的词嵌入可以带来的序列到序列（seq-to-seq）自动语音识别（ASR）。我们首先通过最大化变换的解码器特征和目标词嵌入之间的余弦相似性来引入词嵌入正则化。在正则化译码器的基础上，进一步提出了融合译码机制。这允许解码器在解码期间通过吸收由经变换的解码器特征携带的信息来考虑语义一致性，所述经变换的解码器特征被学习为接近目标词嵌入。LibriSpeech上的初步结果表明，预训练的词嵌入可以显著降低ASR识别错误，成本可以忽略不计，并且在Skip-gram，CBOW和BERT中选择词嵌入算法很重要。
2020-02-05 cs.CL cs.SD eess.AS
Optimizing Speech Language Models for Acoustic Consistency
本研究提出融合自监督初始化、轻量对齐损失及稀疏化辅助目标的语音语言模型训练方法，发现纯语音模型声学一致性更优，交错训练可提升语义对齐，证明模型侧设计可调控声学稳定性与语义接地的平衡。
2025-09-30 cs.CL cs.SD
ASR and Emotional Speech: A Word-Level Investigation of the Mutual Impact of Speech and Emotion Recognition
University of Edinburgh（爱丁堡大学）
本文通过四个ASR系统和三个情感语料库，从词级层面研究ASR与SER的相互影响，揭示情感语音对ASR性能的作用及ASR转录错误对SER的影响，以推动ASR适应情感语音和SER的实际应用。
2023-05-28 cs.CL cs.SD eess.AS
Evaluating ASR robustness to spontaneous speech errors: A study of WhisperX using a Speech Error Database
Khoury College of Computer Sciences（科里学院计算机科学学院）
本文利用SFUSED语音错误数据库的多维标注，评估WhisperX在5300个自发语音错误上的转写准确率，证明该数据库可作为ASR系统性能诊断的有效工具。
2025-08-18 cs.CL
Lexical Access Model for Italian -- Modeling human speech processing: identification of words in running speech toward lexical access based on the detection of landmarks and other acoustic cues to features
Massachusetts Institute of Technology (MIT)（麻省理工学院）；Sapienza University of Rome（罗马大学）；Radcliffe Institute for Advanced Study, Harvard University（哈佛大学拉德克利夫高级研究所）
为了模拟听者在推导出说话者想要表达的词语时所激发的过程，需要对词汇项如何存储在记忆中设定一个假设。这项工作的目的是开发一个系统，模仿人类识别运行语音中的单词，并以这种方式，提供一个框架，以更好地理解人类的语音处理。我们建立了一个语音识别器为意大利语的基础上史蒂文斯的词汇访问模型的原则，其中单词存储为层次安排的区别性特征（史蒂文斯，K。n.（2002年）的报告。"Toward a model for lexical access based on acoustic landmarks and distinct features，" J. Acoust. Soc. Am.，111（4）：1872 - 1891）。在过去的几十年里，麻省理工学院（MIT）的语音通信组基于这种方法开发了一个英语语音识别系统。意大利语将是英语之外的第一种语言;扩展到另一种语言提供了一个机会来测试假设，即单词在记忆中表示为一组分层排列的独特特征，并揭示哪些潜在机制可能具有语言独立性。本文还介绍了一个新的词汇访问语料库，LaMIT数据库，创建和标记专门为这项工作，将免费提供给语音研究社区。未来的发展将测试这一假设，即特定的声学不连续性-称为地标-作为特征的线索，是语言独立的，而其他线索可能是语言依赖的，这对理解人类大脑如何识别语音具有重要意义。
2021-06-24 cs.CL cs.SD eess.AS
Finding consensus in speech recognition: word error minimization and other applications of confusion networks
我们描述了一个新的框架，从词格提取信息，以提高语音识别的准确性，并获得一组替代假设的更清晰的表示。在标准MAP解码方法中，识别器输出对应于给定声学和语言模型的具有最高后验概率的路径的单词串。然而，即使给定最佳模型，MAP解码器也不一定最小化常用的性能度量，字出错率（WER）。我们描述了一种方法，明确减少WER提取词的假设，最高的后验概率字格。我们改变了标准的问题制定取代全球搜索在一个大的句子假设与本地搜索在一个小的候选字集。除了提高识别器的准确性，我们的方法产生了一个新的表示的候选假设集，指定在一个紧凑的点阵格式的字级混淆的序列。我们研究了混淆网络的属性，并研究了它们在其他任务中的应用，如晶格压缩，单词定位，置信度注释，以及使用更高级别的知识源重新评估识别假设。
2000-10-07 cs.CL
Fast Entropy-Based Methods of Word-Level Confidence Estimation for End-To-End Automatic Speech Recognition
NVIDIA（英伟达）；ITMO University（圣彼得堡国立信息技术机械与光学大学）
本文提出了一类新的用于自动语音识别的快速不可训练的基于熵的置信度估计方法。我们展示了如何对每帧熵值进行归一化和聚合，以获得连接主义时间分类（CTC）和递归神经网络转换器（RNN-T）模型的每单位和每个单词的置信度。提出的方法具有类似的计算复杂度的传统方法的基础上的最大每帧概率，但他们更可调，有一个更广泛的有效阈值范围，并更好地推开正确和不正确的单词的置信度分布。我们在LibriSpeech测试集上评估了所提出的置信度度量，并表明它们分别比基于Conformer-CTC和Conformer-RNN-T模型检测不正确单词的最大每帧概率的置信度估计高出2倍和4倍。
2022-12-16 cs.CL cs.IT cs.LG
From Semi-supervised to Almost-unsupervised Speech Recognition with Very-low Resource by Jointly Learning Phonetic Structures from Audio and Text Embeddings
National Taiwan University（台湾大学）
对于世界上95%以上的低资源语言来说，为训练ASR系统生成大量带注释的语音数据仍然很困难。然而，我们注意到人类婴儿开始通过少量范例词的声音（或语音结构）学习语言，并在没有听到大量数据的情况下将这些知识“概括”到其他单词。我们在这方面开展了一些初步工作。Audio Word2Vec用于从口语单词（信号段）中学习语音结构，而另一个自动编码器用于从文本单词中学习语音结构。两者之间的关系可以共同学习，也可以在训练好后单独学习。这种关系可以用在资源非常少的语音识别中。在TIMIT数据集上的初始实验中，仅2.1小时的语音数据（其中2500个口语单词被注释，其余未标记）给出了44.6%的单词出错率，并且如果给出4.1小时的语音数据（其中20000个口语单词被注释），则该数字可以降低到34.2%。这些结果并不令人满意，但却是一个很好的起点。
2019-04-10 cs.CL cs.SD eess.AS
Automatic Speech Recognition with Very Large Conversational Finnish and Estonian Vocabularies
Aalto University（阿尔托大学）
如今，大词汇量语音识别中的语言模型的词汇量通常是几十万个单词。虽然这在某些应用程序中已经足够了，但词汇表外的单词仍然限制了其他应用程序的可用性。在黏着语中，除了复合词和词形变化之外，用于会话的词汇应该包括数百万个单词形式，以覆盖由于口语发音而引起的拼写变化。例如，当识别罕见的专有名称很重要时，也需要非常大的词汇表。
2017-09-29 cs.CL cs.SD
On the Difficulty of Segmenting Words with Attention
The University of Edinburgh（爱丁堡大学）
分词，即在语音中找到词边界的问题，是一系列任务的兴趣所在。以前的论文已经提出，对于在语音翻译或语音识别等任务上训练的序列到序列模型，可以使用注意力来定位和分割单词。然而，我们发现，即使在单语数据，这种方法是脆弱的。在我们使用不同输入类型、数据大小和分割算法的实验中，只有经过训练的模型才能成功完成任务。训练模型来预测来自电话或语音的单词（即，相反的方向需要推广到新的数据），产生更差的结果，这表明基于注意力的分割仅在有限的场景中有用。
2021-09-21 cs.CL cs.SD eess.AS
Speech Repairs, Intonational Boundaries and Discourse Markers: Modeling Speakers' Utterances in Spoken Dialog
在这篇论文中，我们提出了一个统计语言模型来解决语音修复，语调边界和话语标记语。而不是找到一个声学信号的最佳词的解释，我们重新定义的语音识别问题，使它也确定的POS标签，话语标记，语音修复和语调短语结尾（在确定话语单位的主要线索）。将这些额外的元素添加到语音识别问题中实际上可以更好地预测所涉及的单词，因为我们能够利用边界音调，话语标记和语音修复的预测来更好地解释接下来会出现什么单词。此外，我们可以利用声学信息，如沉默信息，它往往与语音修复和语调短语结尾共现，目前的语言模型只能视为噪声的声学信号。这个语言模型的输出是一个更全面的帐户发言者的回合，与部分的语音分配给每个单词，语调短语结尾和话语标记识别，语音修复检测和纠正。事实上，语调短语结尾、话语标记和语音修复的解决方案的识别允许语音识别器对说话者的话语进行建模，而不是简单地对所涉及的单词进行建模，并且因此它可以返回对说话者的回合的更有意义的分析以供稍后处理。
1997-12-23 cmp-lg cs.CL
Word-level Embeddings for Cross-Task Transfer Learning in Speech Processing
Swiss Federal Institute of Technology Lausanne（洛桑联邦理工学院）；Imperial College London（伦敦帝国学院）；Logitech Europe S.A.（罗技欧洲公司）
深度学习的最新突破通常依赖于表示学习和知识转移。近年来，用于学习语音表示的无监督和自监督技术被开发以促进自动语音识别。到目前为止，这些方法中的大多数是特定于任务的，并且被设计用于不同数据集或特定任务的设置之间的任务内迁移学习。反过来，学习任务独立的语音表示和迁移学习的跨任务应用仍然不太常见。在这里，我们介绍了一个编码器捕捉词级表示的语音跨任务迁移学习。我们展示了预训练编码器在四个不同的语音和音频处理任务中的应用：（i）语音增强，（ii）语言识别，（iii）语音，噪声和音乐分类，以及（iv）说话人辨识。在每个任务中，我们将跨任务迁移学习方法的性能与特定任务的基线进行比较。我们的研究结果表明，编码器通过预训练捕获的语音表示在不同的语音处理任务和数据集之间是可转移的。值得注意的是，即使是我们预先训练的编码器的简单应用程序也优于特定于任务的方法，或者是相当的，这取决于任务。
2021-12-14 cs.CL cs.SD eess.AS
More than words: Advancements and challenges in speech recognition for singing
Munich University of Applied Sciences（慕尼黑应用科学大学）
本文综述歌唱语音识别的独特挑战（音高变化、声乐风格、背景音乐干扰）及关键任务（音素识别、语言识别、关键词检出、歌词转录），结合个人经验并展望深度学习与大数据集驱动的未来方向。
2024-03-14 cs.CL cs.IR cs.LG
Pronunciation Modeling of Foreign Words for Mandarin ASR by Considering the Effect of Language Transfer
Institute for Infocomm Research（资讯通信研究院）
自动语音识别面临的挑战之一是外来词识别。语言迁移效应是指说话人对一个外语词的发音受到母语知识的影响。本文主要研究自动语音识别中语言迁移的语音效应。提出了一套词汇规则来将英语单词转换为汉语语音表示。通过这种方式，可以通过包括英语单词来扩充普通话词典。因此，普通话ASR系统变得能够识别英语单词，而无需重新训练或重新估计声学模型参数。使用该规则生成的词汇，在不影响纯汉语语音识别准确性的前提下，提高了汉英混合语音的ASR性能。建议的词汇规则是广义的，他们可以直接应用到看不见的英语单词。
2022-10-07 cs.CL eess.AS
The Lipreading Gap: Do VSR Models Perceive Visual Speech Like Human Lipreaders?
Sigmedia Group（Sigmedia集团）；School of Engineering（工程学院）；Trinity College Dublin（都柏林大学）
通过对比VSR系统与人类在MaFI数据集上的表现，发现模型虽整体准确率更高，但错误模式与人类不同，主要依赖训练数据中的语言线索而非视觉感知。
2026-06-08 cs.CL cs.CV
Emphasizing Unseen Words: New Vocabulary Acquisition for End-to-End Speech Recognition
University of Hamburg（汉堡大学）；Zhejiang Lab（之江实验室）
由于人类语言的动态特性，自动语音识别（ASR）系统需要不断地获取新的词汇。词汇表外（OOV）单词，如趋势单词和新命名实体，给现代ASR系统带来了问题，这些系统需要长时间的训练来适应其大量的参数。不同于以往大多数研究集中在语言模型后处理，我们解决了这个问题的早期处理水平，并消除了偏见的声学建模，声学识别OOV字。我们建议使用文本到语音系统生成OOV单词，并重新调整损失，以鼓励神经网络更加关注OOV单词。具体来说，我们扩大了用于训练包含OOV单词的话语的神经网络参数的分类损失（话语级），或者当对合成音频微调先前训练的模型时，重新调整用于OOV单词的反向传播的梯度（单词级）。为了克服灾难性遗忘，我们还探索了损失重标度和模型正则化的结合，即L2正则化和弹性权重合并（EWC）。在LibriSpeech基准测试上的实验结果表明，与以往只使用EWC对合成音频进行微调的方法相比，本文提出的损失重缩放方法在单词出错率略有下降的情况下，能够显著提高召回率。此外，词级重缩放比话语级重缩放更稳定，并导致更高的召回率和准确率的OOV词识别。此外，我们提出的组合损失重新缩放和权重合并方法可以支持ASR系统的持续学习。
2023-02-21 cs.CL cs.SD eess.AS
Gated Embeddings in End-to-End Speech Recognition for Conversational-Context Fusion
Carnegie Mellon University（卡内基梅隆大学）
我们提出了一种新的会话上下文感知端到端的语音识别器的基础上的门控神经网络，结合会话上下文/词/语音嵌入。与传统的语音识别模型不同，我们的模型学习跨越句子的较长对话上下文信息，因此更好地识别长对话。具体地，我们提出使用基于文本的外部词和/或句子嵌入（即，fastText，BERT），从而显著改善了单词出错率，并具有更好的会话上下文表示。我们评估的Switchboard会话语音语料库的模型，并表明我们的模型优于标准的端到端的语音识别模型。
2019-06-27 cs.CL cs.SD eess.AS
Syntactic and Semantic Features For Code-Switching Factored Language Models
本文介绍了我们的最新研究的不同功能的因素化语言模型的码切换语音和它们的影响，自动语音识别（ASR）的性能。我们专注于语法和语义特征，可以从代码转换文本数据中提取，并将它们集成到因子化的语言模型。不同的可能因素，如词，词性标记，布朗词集群，开放类词和集群的开放类词嵌入进行了探讨。实验结果表明，Brown词簇、词性标记和开放类词在降低汉英语码转换语料库SEAME上的因子化语言模型的困惑度方面效果最好。在ASR实验中，包含Brown词聚类和词性标记的模型以及还包括开放类词嵌入聚类的模型产生最佳的混合出错率结果。总之，最好的语言模型可以显著降低SEAME评估集的困惑度，相对减少高达10.8%，混合出错率相对减少高达3.4%。
2017-10-04 cs.CL
Sentence-Select: Large-Scale Language Model Data Selection for Rare-Word Speech Recognition
Google Research（谷歌研究院）
语言模型融合可以帮助智能助手识别在声学数据中很少见但在纯文本语料库（键入的搜索日志）中很丰富的单词。然而，这样的语料库具有阻碍下游性能的属性，包括（1）太大，（2）被域不匹配的内容困扰，以及（3）重头而不是重尾（过多的重复搜索查询，如“天气”）。我们发现，选择语言建模数据的三个简单策略可以显着提高稀有词识别，而不会损害整体性能。首先，为了解决沉重的头脑，我们根据软日志函数对数据进行下采样，这可调节地减少高频（头部）句子。其次，为了鼓励罕见词的曝光，我们明确地过滤声学数据中罕见的词。最后，我们通过基于困惑的对比选择，过滤匹配到目标域的例子来解决域不匹配问题。我们通过53倍的因子向下选择一个大型的网络搜索查询语料库，并实现比没有向下选择更好的LM困惑。当与最先进的生产语音引擎进行浅融合时，与在原始语料库上训练的基线LM相比，我们的LM在稀有词句子上实现了高达24%的WER降低（而不改变整体WER）。这些收益通过对实时语音搜索流量的有利并排评估得到进一步验证。
2022-06-15 cs.CL cs.LG cs.SD
Explaining Speech Classification Models via Word-Level Audio Segments and Paralinguistic Features
Politecnico di Torino（都灵理工大学）；Bocconi University（博科尼大学）
提出一种通过词级音频片段和副语言特征输入扰动解释语音分类模型的方法，验证其忠实性与合理性，为语音模型可解释性研究提供新途径。
2023-09-14 cs.CL cs.SD eess.AS
End-to-end Speech Recognition with Word-based RNN Language Models
Mitsubishi Electric Research Laboratories（三菱电机研究实验室）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文研究了基于词的RNN语言模型（RNN-LM）对端到端自动语音识别（ASR）性能的影响。在我们之前的工作中，我们提出了一种多级LM，其中基于字符和基于单词的RNN-LM结合在混合CTC/基于注意力的ASR中。虽然这种多级方法在华尔街日报（WSJ）任务中实现了显着的错误减少，但需要训练两个不同的LM并用于解码，这增加了计算成本和内存使用。在本文中，我们进一步提出了一种新的基于单词的RNN-LM，它允许我们只使用基于单词的LM进行解码，其中它提供了预测下一个字符的前瞻单词概率，而不是基于字符的LM，与多级LM相比，计算量更少，具有竞争力的准确性。除了我们在之前的工作中使用的WSJ之外，我们还使用了更大的语料库LibriSpeech来证明基于单词的RNN-LM的有效性。此外，我们表明，该模型实现了5.1%的WER为WSJ Eval'92测试集时，词汇量的增加，这是最好的WER报告的端到端ASR系统在这个基准。
2018-08-08 cs.AI cs.CL
Encoding Word Confusion Networks with Recurrent Neural Networks for Dialog State Tracking
本文提出了一种新的方法来编码词混淆网络，它可以代表一个丰富的假设空间的自动语音识别系统，通过循环神经网络。我们证明了我们的方法的实用程序的任务，依赖于自动语音识别输出的口语对话系统中的对话状态跟踪。对混淆网络进行编码优于对神经系统中的自动语音识别的最佳假设进行编码，以用于在公知的第二对话状态跟踪挑战数据集上进行对话状态跟踪。
2017-08-09 cs.CL
GLR-Parsing of Word Lattices Using a Beam Search Method
本文提出了一种方法，可以有效地集成语音识别和语言理解使用富田的广义LR解析算法。为此，GLRP算法进行了修改，以便议程机制可以用来控制计算的解析过程中的流量。这种新的方法是用来集成语音识别和语音理解逐步与波束搜索方法。这些考虑已经在十个词格上实现和测试。
1995-06-22 cmp-lg cs.CL
Learning to retrieve out-of-vocabulary words in speech recognition
Université de Lorraine（洛林大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；University of Avignon（阿维尼翁大学）
对于用于处理历时音频数据的语音识别系统，许多专有名称（PN）是词汇表外（OOV）词。为了帮助恢复系统错过的PN，可以通过利用说出的内容的语义上下文从许多OOV中检索相关的OOV PN。在本文中，我们提出了两个旨在检索与音频文档相关的OOV PN的神经网络模型：（a）文档级连续词袋（D-CBOW），（b）文档级连续加权词袋（D-CBOW 2）。这两个模型都将文档单词作为输入，并以最大化共现OOV PN的检索为目标进行学习。对于D-CBOW 2模型，我们提出了一种新的方法，其中输入嵌入层增加了上下文锚层。该层学习为输入单词分配重要性，并能够在词袋神经网络模型中捕获（特定于任务的）关键词。通过对法国广播新闻视频的实验，我们证明了这两种模型的性能优于基于LDA，Skip-gram和Paragraph Vectors的原始嵌入的基线方法。结合D-CBOW和D-CBOW 2模型可以在训练过程中实现更快的收敛。
2016-03-01 cs.CL
Tree-constrained Pointer Generator for End-to-end Contextual Speech Recognition
Cambridge University（剑桥大学）
背景知识对于真实世界的自动语音识别（ASR）应用是重要的。在本文中，提出了一种新的树约束指针生成器（TCPGen）组件，将这样的知识作为一个列表的偏置单词到基于注意力的编码器-解码器和换能器端到端ASR模型中的神经符号的方式。TCPGen将偏置词构造成有效的前缀树作为其符号输入，并在树和最终ASR输出分布之间创建神经捷径，以便于在解码期间识别偏置词。在Librispeech语料库上对系统进行了训练和评估，其中在话语，章节或书籍的尺度上提取了偏见词，以模拟不同的应用场景。实验结果表明，TCPGen一贯改善字出错率（WER）相比，基线，特别是，取得了显着的WER减少偏见的话。TCPGen非常高效：它可以处理5，000个偏置词和干扰项，并且只会增加少量的内存使用和计算开销。
2021-09-17 cs.CL cs.SD
Improving Rare Words Recognition through Homophone Extension and Unified Writing for Low-resource Cantonese Speech Recognition
CPII
同音字在以声调音节为基础的语言中很常见，如普通话和粤语。数据密集型的端到端自动语音识别（ASR）系统在低资源环境下更容易误识别同音字和生僻字。针对低资源粤语语音识别的问题，提出了一种新的同音词扩展方法，将人类对同音词词典的知识融入到束搜索解码过程中，并对语言模型进行重新评分。此外，我们提出了一种自动统一的书写方法来合并粤语字符的变体和标准化的语音注释准则，这使得更有效地利用标记的话语，通过提供更多的样本合并的字符。我们的经验表明，同音字扩展和统一的写作提高识别性能显着域内和域外的测试集，与绝对字符出错率（CER）下降约5%和18%。
2023-02-02 cs.CL cs.SD eess.AS
Towards Unsupervised Speech Recognition Without Pronunciation Models
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Massachusetts Institute of Technology (MIT)（麻省理工学院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
本文提出词级无监督 ASR 方向，通过联合语音与文本掩码 token 填充去除发音词典依赖，迭代优化分词并取得 20%–23% WER。
2025-01-08 cs.CL cs.SD eess.AS
Deep convolutional acoustic word embeddings using word-pair side information
University of Edinburgh（爱丁堡大学）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
最近的研究已经重新审视了整个单词作为语音识别和查询应用程序中的基本建模单元，而不是语音单元。这种全词分段系统依赖于将可变长度的语音片段映射到固定维度空间中的向量的函数;所得到的声学词嵌入需要允许直接在嵌入空间中准确区分不同的词类型。我们比较了几个老的和新的方法在一个词的歧视任务。我们最好的方法是使用已知单词对形式的辅助信息来训练一个连体卷积神经网络（CNN）：一对绑定的网络，将两个语音片段作为输入并产生它们的嵌入，训练时使用铰链损失，将相同的单词对和不同的单词对分开一定的距离。单词分类器CNN的表现类似，但需要更强的监督。这两种类型的CNN都比之前发表的关于单词识别任务的最佳结果有了很大的改进。
2016-01-08 cs.CL
A Method for Open-Vocabulary Speech-Driven Text Retrieval
虽然最近的检索技术不限制索引词的数量，但词汇表外（OOV）词在语音识别中至关重要。针对语音查询的信息检索，我们填补了语音识别和文本检索在词汇量方面的空白。给定一个口头查询，我们生成一个转录和检测OOV的话，通过语音识别。然后，我们将检测到的OOV单词对应到目标集合中索引的术语以完成转录，并在集合中搜索与完成的转录相关的文档。我们通过实验证明了我们的方法的有效性。
2002-06-09 cs.CL
Word Level Timestamp Generation for Automatic Speech Recognition and Translation
NVIDIAUSA（NVIDIA公司）
本研究提出数据驱动方法，通过引入<|timestamp|> token并以NFA为教师模型训练Canary模型，实现无需外部对齐模块的词级时间戳预测，在多语言识别和翻译任务中均取得低误差且对WER影响极小。
2025-05-21 cs.CL cs.SD eess.AS
Automatic Speech Recognition (ASR) for the Diagnosis of pronunciation of Speech Sound Disorders in Korean children
Korea University（高丽大学）；MediaZen；The Catholic University of Korea（韩国天主教大学）；Dankook University（檀国大学）
本研究微调wav2vec 2.0 XLS-R模型识别儿童实际发音，用于诊断韩语语音障碍，准确率约90%，可简化临床发音错误诊断流程。
2024-03-13 cs.CL cs.SD eess.AS
SW-ASR: A Context-Aware Hybrid ASR Pipeline for Robust Single Word Speech Recognition
Tetranetics Private Limited（特兰尼克斯私人有限公司）
SW-ASR通过结合上下文感知和轻量验证机制，提升单字语音识别在噪声和压缩信道中的鲁棒性，适用于实时通信场景。
2026-01-28 cs.CL cs.SD eess.AS
Tree-constrained Pointer Generator with Graph Neural Network Encodings for Contextual Speech Recognition
Cambridge University（剑桥大学）
对作为上下文知识获得的偏置词进行分类对于许多自动语音识别（ASR）应用是至关重要的。本文提出了使用图神经网络（GNN）编码的树约束指针生成器（TCPGen）组件的端到端上下文ASR。通过使用基于树的GNN对前缀树中的偏置词进行编码，通过合并关于以其为根的树枝上的所有词段的信息，在每个树节点处实现端到端ASR解码中的未来词段的前瞻，这允许更准确地预测偏置词的生成概率。系统进行了评估Librispeech语料库使用模拟偏置任务，并提出了一种新的视觉接地上下文ASR管道，提取偏置的话幻灯片旁边的每个会议的AMI语料库。结果表明，与原始TCPGen相比，具有GNN编码的TCPGen在偏置字上实现了约15%的相对WER降低，而解码的计算成本的增加可以忽略不计。
2022-07-02 cs.CL cs.SD eess.AS
Prominence-aware automatic speech recognition for conversational speech
Signal Processing and Speech Communication Laboratory（信号处理与语音通信实验室）；Speech Communication Laboratory（语音通信实验室）
本文提出一种结合突显检测的突显感知自动语音识别方法，通过微调wav2vec2模型标注语料并训练新型ASR系统，在不影响识别性能的前提下实现了85.53%的突显检测准确率。
2025-09-12 cs.CL eess.AS
