Context-based out-of-vocabulary word recovery for ASR systems in Indian languages
Zapr Media Labs(扎普尔媒体实验室)
词汇表外词汇的检测和恢复一直是自动语音识别系统的难点。许多现有的方法侧重于通过修改声学和语言模型以及巧妙地将上下文词集成到模型中来对OOV词进行建模。为了训练这种复杂的模型,我们需要大量的数据和上下文词,额外的训练时间,并增加模型的大小。然而,在获得ASR转录恢复基于上下文的OOV词,后处理方法还没有探索太多。在这项工作中,我们提出了一个后处理技术,以提高基于上下文的OOV恢复的性能。我们创建了一个声学增强的语言模型,其中在电话级别使用OOV单词列表制作了一个子图。我们提出了两种方法来确定一个合适的代价函数,以检索基于上下文的OOV词。代价函数是基于语音学和声学知识定义的,用于在解码中匹配和恢复正确的上下文单词。建议的代价函数的有效性进行评估,在两个字的水平和水平。测试结果表明,该方法可以在多个类别中平均恢复50%的基于上下文的OOV词。
2022-06-09 cs.CL cs.SD eess.AS
Deep Spiking Neural Networks for Large Vocabulary Automatic Speech Recognition
National University of Singapore(新加坡国立大学);City University of Hong Kong(香港城市大学)
人工神经网络(ANN)已成为大词汇量自动语音识别(ASR)声学建模的主流技术。传统的人工神经网络具有多层架构,需要大量的计算。脑启发的脉冲神经网络(SNN)紧密模仿生物神经网络,可以在低功耗的神经形态硬件上进行基于脉冲的计算。由于SNN具有前所未有的能量效率和快速的信息处理能力,我们探索了SNN在语音识别中的应用。在这项工作中,我们使用SNN的声学建模,并评估其性能的几个大词汇识别的情况下。实验结果表明,竞争力的ASR精度,他们的人工神经网络同行,同时需要显着降低计算成本和推理时间。因此,将深度SNN的算法能力与节能的神经形态硬件相集成,为在移动和嵌入式设备上本地运行的ASR应用提供了一个有吸引力的解决方案。
2019-11-19 cs.CL cs.NE
Improving OOV Detection and Resolution with External Language Models in Acoustic-to-Word ASR
Graduate School of Informatics, Kyoto University(京都大学信息学研究生院)
声学到字(A2 W)端到端自动语音识别(ASR)系统由于极其简化的架构和快速解码而引起关注。为了缓解数据稀疏的问题,由于不频繁的话,与声学字符(A2 C)模型的组合进行了研究。此外,A2 C模型可以用于恢复A2 W模型未覆盖的词汇表外(OOV)单词,但这需要准确检测OOV单词。A2 W模型通过声学和转录来学习上下文;因此它们倾向于错误地将OOV单词识别为词汇表中的单词。在本文中,我们通过使用外部语言模型(LM)来解决这个问题,该模型仅使用transmittance进行训练,并且具有更好的语言信息来检测OOV单词。A2 C模型用于解决这些OOV词。实验结果表明,外部LM不仅能减少错误率,还能增加OOV词的检测数量,该方法在英语会话和日语演讲语料库中的检测效果显著,尤其是在域外场景下。我们还研究了A2 W模型的词汇量和训练LM的数据量的影响。此外,我们的方法可以减少词汇量的大小几倍,边际性能下降。
2019-09-22 cs.CL
End-to-End Open Vocabulary Keyword Search With Multilingual Neural Representations
Boğaziçi University(博阿齐奇大学);Brno University of Technology(布尔诺理工大学)
本文提出端到端无ASR开放词汇关键词搜索模型,采用双RNN编码器与点积匹配,并通过多语言预训练提升性能,在长查询和未见查询上优于传统ASR系统。
2023-08-15 cs.CL cs.SD eess.AS
RASR2: The RWTH ASR Toolkit for Generic Sequence-to-sequence Speech Recognition
RWTH Aachen University(亚琛工业大学);AppTek GmbH(AppTek有限公司)
本文提出用C++实现的研究导向型通用S2S解码器RASR2,支持多种模型与架构,基于广义搜索框架为开放和封闭词汇场景提供高效解码,并在switchboard和Librispeech语料库上进行了广泛评估。
2023-05-28 cs.CL cs.SD eess.AS
Tokenizer Transplantation: Mitigating Autoregressive Collapse in Edge-Efficient Bengali ASR
Useful Sensors(有用传感器公司)
研究针对轻量级孟加拉语语音识别模型失败问题,提出用BanglaBERT WordPiece词汇替换解码器词汇并调整矩阵大小的方法,经实验改进后模型在数据集上有竞争力,提供了紧凑ASR模型跨脚本适配的可扩展蓝图。
2026-08-03 cs.CL
Factorized Delayed Streams Modeling for LLM-based Streaming ASR
SB Intuitions;Toyohashi University of Technology(丰桥技术科学大学)
提出F-DSM,通过分解等待概率与词汇分布,移除ASR特定标记并跳过softmax,在提升流式ASR识别性能的同时降低内存和推理成本。
2026-10-06 cs.CL cs.SD eess.AS
Romanization Encoding For Multilingual ASR
NVIDIA Corporation(英伟达公司)
提出罗马化编码结合平衡拼接分词器与Roman2Char模块,在FastConformer-RNNT框架中显著降低词汇量并提升中英及多语言ASR性能。
2024-12-17 cs.CL cs.SD eess.AS
ASR Context-Sensitive Error Correction Based on Microsoft N-Gram Dataset
目前,计算机被用来解决复杂的任务和问题,从简单的计算到密集的数字图像处理和复杂的算法优化问题到需要计算的天气预报问题。ASR是自动语音识别的缩写,它是另一种类型的计算问题,其目的是识别人类所说的语音,并将其转换为可以由计算机处理的文本。尽管ASR具有许多通用且普遍的现实世界应用,但它仍然是相对错误的并且没有完美地解决,因为它易于在识别的文本中产生拼写错误,特别是如果ASR系统在噪声环境中操作,其词汇量有限,并且其输入语音质量差或低。提出了一种基于MicrosoftN-Gram数据集的ASR编辑后纠错方法,用于检测和纠正ASR系统产生的拼写错误。所提出的方法包括用于检测单词错误的错误检测算法;用于为检测到的单词错误生成校正建议的候选校正生成算法;以及用于选择用于校正的最佳候选的上下文敏感的错误校正算法。使用Microsoft N-Gram数据集的优点是它包含从网络中提取的真实数据和单词序列,可以模仿具有大型和包罗万象的词汇的全面词典。对不同演讲者的大量演讲进行的实验表明,ASR错误显着减少。未来的研究可以改进所提出的算法,以便它可以并行化,以利用多处理器和分布式系统。
2012-03-23 cs.CL
High-precision medical speech recognition through synthetic data and semantic correction: UNITED-MEDASR
DataLabs, United We Care(United We Care数据实验室)
针对临床领域ASR系统识别专业医疗词汇和满足精度要求的挑战,提出整合合成数据生成、微调及语义增强技术的United-MedASR架构,构建专用医疗词汇表并优化模型,在多数据集上建立新性能基准且具备跨领域适应性。
2024-11-24 cs.CL cs.SD eess.AS
Dual-mode ASR: Unify and Improve Streaming ASR with Full-context Modeling
Google Brain(谷歌大脑);Google LLC(谷歌有限责任公司)
流媒体自动语音识别(ASR)的目标是尽可能快速、准确地发出每个假设的单词,而全上下文ASR则在发出完整的假设之前等待完整语音话语的完成。在这项工作中,我们提出了一个统一的框架,双模式ASR,训练一个单一的端到端的ASR模型与流和全上下文语音识别共享的权重。我们发现,流ASR的延迟和准确性显着受益于权重共享和联合训练的全上下文ASR,特别是在训练过程中的就地知识蒸馏。双模式ASR框架可以应用于最近最先进的基于卷积和基于变换器的ASR网络。我们使用两个最先进的ASR网络ContextNet和Conformer在两个数据集上进行了广泛的实验,一个是广泛使用的公共数据集LibriSpeech,另一个是大规模数据集MultiDomain。实验和消融研究表明,双模式ASR不仅简化了训练和部署流式和全上下文ASR模型的工作流程,而且还显著改善了流式ASR的发射延迟和识别准确性。通过双模式ASR,我们在LibriSpeech和MultiDomain上实现了在准确性和延迟方面最先进的流媒体ASR结果。
2021-01-27 cs.AI cs.CL cs.LG
SCRIBE: Diagnostic Evaluation and Rich Transcription Models for Indic ASR
Adalat AI, India(印度Adalat人工智能公司)
SCRIBE通过沙地容忍对齐和领域词汇注入,提供词错误率的分类分解,解决了传统词错误率在处理聚合语言时的不足,同时释放了用于印地语、马拉雅尔语和卡纳达语的丰富转录模型。
2026-06-29 cs.AI cs.CL
Topic Identification for Speech without ASR
The Johns Hopkins University(约翰斯·霍普金斯大学)
用于语音的现代主题识别(主题ID)系统使用自动语音识别(ASR)来产生语音转录,并且对这样的ASR输出执行监督分类。然而,在资源有限的条件下,开发标准ASR系统所需的手动转录语音可能严重受限或不可用。在本文中,我们研究了替代的无监督解决方案,以获得语音标记的词汇自动发现的单词或音素类单位,而不依赖于ASR系统的监督训练。此外,使用自动音素标记,我们证明了一个基于卷积神经网络的框架学习口语文档表示提供了竞争力的性能相比,一个标准的词袋表示,证明了全面的主题ID评估单标签和多标签分类任务。
2017-07-11 cs.CL
Contextualized Automatic Speech Recognition with Dynamic Vocabulary Prediction and Activation
Northwestern Polytechnical University(西北工业大学);Chongqing Changan Automobile Co., Ltd.(重庆长安汽车有限公司)
针对ASR中子词独立增强损害短语完整性的问题,提出基于动态词表预测与激活的短语级语境化ASR方法,引入偏置损失和置信度激活解码,在Librispeech和Wenetspeech上显著降低WER。
2025-05-29 cs.CL cs.SD eess.AS
Emphasizing Unseen Words: New Vocabulary Acquisition for End-to-End Speech Recognition
University of Hamburg(汉堡大学);Zhejiang Lab(之江实验室)
由于人类语言的动态特性,自动语音识别(ASR)系统需要不断地获取新的词汇。词汇表外(OOV)单词,如趋势单词和新命名实体,给现代ASR系统带来了问题,这些系统需要长时间的训练来适应其大量的参数。不同于以往大多数研究集中在语言模型后处理,我们解决了这个问题的早期处理水平,并消除了偏见的声学建模,声学识别OOV字。我们建议使用文本到语音系统生成OOV单词,并重新调整损失,以鼓励神经网络更加关注OOV单词。具体来说,我们扩大了用于训练包含OOV单词的话语的神经网络参数的分类损失(话语级),或者当对合成音频微调先前训练的模型时,重新调整用于OOV单词的反向传播的梯度(单词级)。为了克服灾难性遗忘,我们还探索了损失重标度和模型正则化的结合,即L2正则化和弹性权重合并(EWC)。在LibriSpeech基准测试上的实验结果表明,与以往只使用EWC对合成音频进行微调的方法相比,本文提出的损失重缩放方法在单词出错率略有下降的情况下,能够显著提高召回率。此外,词级重缩放比话语级重缩放更稳定,并导致更高的召回率和准确率的OOV词识别。此外,我们提出的组合损失重新缩放和权重合并方法可以支持ASR系统的持续学习。
2023-02-21 cs.CL cs.SD eess.AS
Deep Transformer based Data Augmentation with Subword Units for Morphologically Rich Online ASR
Budapest University of Technology and Economics(布达佩斯技术与经济大学);SpeechTex Ltd.(SpeechTex有限公司);THINKTech Research Center(THINKTech研究中心)
最近,Deep Transformer模型已经被证明在ASR的语言建模任务中特别强大。然而,它们的高度复杂性使得它们很难在在线系统的第一(单)遍中应用。最近的研究表明,神经网络语言模型(LM)的相当一部分知识可以通过使用基于神经文本生成的数据增强转移到传统的n-gram。在我们的论文中,我们在一般文本语料库上预训练GPT-2 Transformer LM,并在匈牙利会话呼叫中心ASR任务上对其进行微调。我们表明,虽然使用Transformer生成的文本进行数据增强对于隔离语言效果很好,但它会导致形态丰富的语言中的词汇爆炸。因此,我们提出了一种新的方法,称为基于子词的神经文本增强,我们将生成的文本重新标记为统计派生的子词。我们比较了Morfessor和BPE统计子词标记器,并表明这两种方法可以显着提高WER,同时大大减少词汇量和内存需求。最后,我们还证明了基于子词的神经文本增强优于基于词的方法,不仅在整体WER方面,而且在识别OOV词方面。
2020-11-04 cs.CL eess.AS
Contextualized Automatic Speech Recognition with Dynamic Vocabulary
Honda Research Institute Japan Co., Ltd.(本田日本研究所);Carnegie Mellon University(卡内基梅隆大学)
本文提出一种动态词汇方法,将每个偏置短语作为单一词元加入推理过程,仅需扩展嵌入层和输出层,在英日数据集上将偏置短语WER降低3.1至4.9个百分点。
2024-08-30 cs.CL cs.SD eess.AS
Transfer learning of language-independent end-to-end ASR with language model fusion
Johns Hopkins University(约翰斯·霍普金斯大学)
本文在迁移学习的框架下,利用外部语言模型(LM),探索了更好地适应低资源语言的方法。我们首先建立一个独立于语言的ASR系统在一个统一的序列到序列(S2S)的架构与所有语言之间的共享词汇。在自适应过程中,我们执行LM融合传输,其中外部LM被集成到基于注意力的S2S模型的解码器网络中,在整个自适应阶段,以有效地纳入目标语言的语言背景。我们还研究了迁移学习的各种种子模型。使用IARPA BABEL数据集的实验评估表明,LM融合传输提高了所有目标五种语言的性能相比,简单的迁移学习时,外部文本数据。我们的最终系统大大减少了混合动力系统的性能差距。
2019-05-07 cs.CL
Wiki-En-ASR-Adapt: Large-scale synthetic dataset for English ASR Customization
Moscow Institute of Physics and Technology(莫斯科物理技术学院)
本文构建 Wiki-En-ASR-Adapt 大规模合成数据集,模拟受损 ASR 假设与偏置列表并注入两类难负样本,实验证明其可降低定制模型的 WER 与误报。
2023-09-29 cs.CL cs.SD eess.AS
AISHELL-2: Transforming Mandarin ASR Research Into Industrial Scale
AISHELL foundation(AISHELL基金会);Beijing Shell Shell Technology Co. Ltd.(北京贝壳科技有限公司)
AISHELL-1是迄今为止可用于普通话语音识别研究的最大的开源语音语料库。它是与一个基线系统一起发布的,该系统包含针对Mandarin ASR的坚实的训练和测试管道。在AISHELL-2中,发布了来自iOS的1000小时干净的朗读数据,可免费用于学术用途。在AISHELL-2语料库的基础上,开发并发布了一个改进的配方,包含了工业应用的关键组件,如中文分词,灵活的词汇扩展和音素集转换等。流水线支持各种最先进的技术,如时延神经网络和Lattic-Free MMI目标函数。此外,我们还从其他渠道(Android和Mic)发布开发和测试数据。对于研究社区,我们希望AISHELL-2语料库可以成为迁移学习和鲁棒ASR等主题的坚实资源。对于工业,我们希望AISHELL-2配方可以为构建有意义的工业系统和产品提供有益的参考。
2018-09-13 cs.CL
Reducing Streaming ASR Model Delay with Self Alignment
Google Inc.(谷歌公司)
减少预测延迟流端到端ASR模型与最小的性能回归是一个具有挑战性的问题。约束对齐是一种公知的现有方法,其使用外部低延迟声学模型来惩罚预测的单词边界。相反,最近提出的FastEmit是一个序列级延迟正则化方案,鼓励在没有任何参考对齐的情况下在空白上使用词汇标记。虽然所有这些计划是成功地减少延迟,ASR字错误率(WER)往往严重恶化后,应用这些延迟约束计划。在本文中,我们提出了一种新的延迟约束方法,称为自对准。自对准不需要外部对准模型。相反,它利用来自训练模型的Viterbi强制对齐来找到较低延迟的对齐方向。从LibriSpeech评估,自对齐优于现有方案:在相似的单词错误率下,与FastEmit和约束对齐相比,延迟减少了25%和56%。对于语音搜索评估,与FastEmit和约束对齐相比,实现了12%和25%的延迟减少,WER改善超过2%。
2021-05-06 cs.AI cs.CL cs.SD
Dual-Form ASR: Semantics-Aware Inverse Text Normalization for Chinese Speech Recognition
本文提出DF-ASR框架,通过LLM驱动的双形式监督及ITN-MWER目标,实现语义感知的中文ASR-ITN,在SpeechIO中文子集上性能优于开源系统,可保留转录形式的提示级控制。
2026-09-04 cs.CL cs.SD
What Counts as an Error? Dual-Reference Benchmarking for Atypical ASR
MBZUAI(穆罕默德·本·扎耶德人工智能大学);SPRING Lab, IIT Madras(印度理工学院马德拉斯分校SPRING实验室)
针对非典型语音ASR评估中混淆的两种有效转录参考(逐字和意图),本文使用11个ASR模型在口吃语音上基准测试,揭示性能差异并强调根据用例选择合适参考的重要性。
2026-07-01 cs.CL cs.HC
Audio-to-Intent Using Acoustic-Textual Subword Representations from End-to-End ASR
Apple(苹果公司)
准确预测用户与设备上(例如,电话上)的语音助理(VA)交互的意图对于实现与VA的自然的、有吸引力的和以隐私为中心的交互至关重要。为此,我们提出了一种新的方法来预测用户的意图(用户说话的设备或不)直接从声学和文本信息编码的子字令牌,这是通过一个端到端的ASR模型。与音素和/或完整词的建模相比,直接对子词标记建模具有至少两个优点:(i)与音素级表示相比,它提供了唯一的词汇表表示,其中每个标记具有语义意义,(ii)每个子词标记具有可重用的“子”词声学模式(其可用于构造多个完整单词),从而导致比完整单词大大减少的词汇空间。为了学习音频到意图分类的子词表示,我们提取:(i)来自E2 E-ASR模型的声学信息,该模型为子词令牌提供帧级CTC后验概率,以及(ii)来自预先训练的连续词袋模型的文本信息,该模型捕获子词令牌的语义含义。我们的方法的关键是,它结合了声学子词级后验与文本信息的位置编码的概念,以同时考虑多个ASR假设的方式。我们表明,我们的方法为音频到意图的分类提供了更强大和更丰富的表示,并且具有高度的准确性,能够以99%的真阳性率正确地减轻93.3%的非预期用户音频调用智能助手。
2022-10-21 cs.CL cs.HC cs.SD
Fast and Accurate OOV Decoder on High-Level Features
STC-Innovations Ltd(STC创新有限公司);LIUM, University of Le Mans(勒芒大学LIUM实验室);ITMO University(圣彼得堡国立信息技术机械与光学大学)
本文提出了一种新的词汇表外关键词搜索方法。所提出的方法是基于使用高层次的功能,从自动语音识别(ASR)系统,所谓的音素后验(PPB)的功能,解码。这些功能是通过计算时间依赖的音素后验概率从词格,然后通过平滑。针对PPB的特点,我们开发了一种特殊的新颖的非常快速,简单和有效的OOV解码器。实验结果来自IARPA Babel计划的格鲁吉亚语言,该语言是OpenKWS 2016评估活动的测试语言。结果表明,在最大术语加权值(MTWV)度量和计算速度方面,对于单个ASR系统,所提出的方法显着优于基于使用索引数据库中的OOV关键字的词汇表内代理的最先进的方法。两种OOV KWS方法对九种不同ASR系统的融合结果的比较表明,所提出的OOV解码器在MTWV度量方面优于基于代理的方法,给出了相当的处理速度。OOV解码器的其他重要优点包括极低的存储器消耗以及其实现和参数优化的简单性。
2017-07-19 cs.CL
On the Effectiveness of Pinyin-Character Dual-Decoding for End-to-End Mandarin Chinese ASR
Xi’an Jiaotong University(西安交通大学);Alibaba Group(阿里巴巴集团);Nanyang Technological University(南洋理工大学)
端到端自动语音识别(ASR)已经取得了可喜的成果。然而,大多数现有的端到端ASR方法忽略了特定语言特征的使用。在汉语普通话ASR任务中,汉语拼音与汉字之间存在相互促进的关系,汉字可以通过汉语拼音来罗马化。基于上述认识,本文首先研究了单输入双输出(SIDO)多任务框架下的端到端编解码器模型,然后根据拼音与汉字一一对应的特点,提出了一种基于模糊拼音采样的异步解码方法。此外,我们提出了一个两阶段的训练策略,使训练更稳定,收敛速度更快。在AISHELL-1数据集上的测试结果表明,与强基线模型相比,所提出的增强型无语言模型双解码器模型有很大的改进。
2022-03-30 cs.CL cs.SD eess.AS
Can Visual Context Improve Automatic Speech Recognition for an Embodied Agent?
TCS Research(塔塔咨询服务研究院)
自动语音识别(ASR)系统的使用正变得无所不在,从个人助理到聊天机器人、家庭和工业自动化系统等。现代机器人还配备有用于与人类交互的ASR能力,因为语音是最自然的交互方式。然而,与个人助理相比,机器人中的ASR面临着额外的挑战。作为一个具体的代理,机器人必须认识到它周围的物理实体,因此可靠地识别语音包含这些实体的描述。然而,由于ASR训练的限制,例如通用数据集和开放词汇建模,当前的ASR系统通常无法做到这一点。此外,在推理过程中的不利条件,如噪音,口音和远场语音,使转录不准确。在这项工作中,我们提出了一种方法,将机器人的视觉信息到一个ASR系统,并提高识别的口语包含一个可见的实体。具体来说,我们提出了一种新的解码器偏置技术,将视觉上下文,同时确保ASR输出不会降低不正确的上下文。我们实现了59%的相对减少WER从未经修改的ASR系统。
2022-10-21 cs.AI cs.CL cs.CV
Language Modeling for Code-Switching: Evaluation, Integration of Monolingual Data, and Discriminative Training
Bar-Ilan University(巴伊兰大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
本文主要研究自动语音识别(ASR)背景下的语码转换语言建模问题。代码转换语言的语言建模具有挑战性,原因(至少)有三个:(1)缺乏可用于训练的大规模代码转换数据;(2)缺乏ASR指导的可复制评估设置,但将语言建模性能与ASR系统的其他复杂性隔离开来;以及(3)依赖生成建模。我们解决这三个问题:我们提出了一个ASR动机的评估设置,这是解耦的ASR系统和词汇的选择,并提供了一个评估数据集的英语-西班牙语码切换。这种设置适合于一种判别式训练方法,我们证明这种方法比生成语言建模更好。最后,我们探索了各种训练协议,并验证了使用大量单语数据进行训练,然后使用少量代码转换数据进行微调的有效性,无论是对于生成性还是区分性情况。
2019-11-10 cs.CL
SpellMapper: A non-autoregressive neural spellchecker for ASR customization with candidate retrieval based on n-gram mappings
NVIDIA(英伟达)
本文提出 SpellMapper,用基于 n-gram 映射的候选检索和融合十候选的 BERT 非自回归纠错模型,提升面向用户词汇表的 ASR 定制效果。
2023-06-04 cs.AI cs.CL cs.SD
Causal Structure Discovery for Error Diagnostics of Children's ASR
University of Eastern Finland(东芬兰大学);TCG CREST;School of Computing(计算学院);Institute for Advancing Intelligence(先进智能研究所)
本文引入因果结构发现与量化方法,揭示生理、认知及外在因素对儿童ASR错误的相互依赖影响,并验证了该发现在Whisper和Wav2Vec2.0等不同系统间的泛化性。
2025-05-31 cs.CL cs.SD eess.AS
PCOV-KWS: Multi-task Learning for Personalized Customizable Open Vocabulary Keyword Spotting
Zhejiang University(浙江大学)
本文提出PCOV-KWS框架,通过轻量网络同时实现关键词检测和说话人验证,采用非softmax损失和多任务损失加权策略,提升个性化关键词检测性能,减少参数和计算资源消耗。
2026-03-05 cs.AI cs.CL cs.SD
Augmenting Images for ASR and TTS through Single-loop and Dual-loop Multimodal Chain Framework
Nara Institute of Science and Technology(奈良科学技术研究所);RIKEN(理化学研究所)
先前的研究已经提出了一种机器语音链,以使自动语音识别(ASR)和文本到语音合成(TTS),以协助对方的半监督学习,并避免需要大量的成对的语音和文本数据。然而,该框架仍然需要大量的未配对(语音或文本)数据。然后探索了一个原型多模态机器链,以进一步减少对大量未配对数据的需求,即使在没有更多语音或文本数据可用的情况下,也可以改善ASR或TTS。不幸的是,这个框架依赖于图像检索(IR)模型,因此它仅限于处理那些在训练过程中已经知道的图像。此外,该框架的性能只与单说话人的人工语音数据进行了研究。在这项研究中,我们修改了多模态机器链框架与图像生成(IG)和调查的可能性,增加图像数据的ASR和TTS使用单循环和双循环架构的多扬声器自然语音数据。实验结果表明,单循环和双循环多模态链框架使ASR和TTS使用仅图像数据集提高其性能。
2020-11-04 cs.CL cs.SD eess.AS
DuDe: Dual-Decoder Multilingual ASR for Indian Languages using Common Label Set
Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
在像印度这样的多语言国家,多语言自动语音识别(ASR)系统有很大的应用范围。多语言ASR系统表现出许多优点,如可扩展性,可维护性,并提高了单语言ASR系统的性能。然而,为印度语言构建多语言系统是具有挑战性的,因为不同的语言使用不同的脚本进行写作。另一方面,印度语言有很多共同的声音。公共标签集(CLS)利用了这一思想,并将具有相似声音的各种语言的字素映射到公共标签。由于印度语言大多是语音的,因此构建一个解析器来将本地脚本转换为CLS是很容易的。在本文中,我们探索了各种方法来构建多语言ASR模型。我们还提出了一种新的架构,称为编码器-解码器-解码器,用于构建使用CLS和本地脚本标签的多语言系统。我们还分析了基于CLS的多语言系统与机器音译相结合的有效性。
2022-10-30 cs.CL cs.LG cs.SD
SW-ASR: A Context-Aware Hybrid ASR Pipeline for Robust Single Word Speech Recognition
Tetranetics Private Limited(特兰尼克斯私人有限公司)
SW-ASR通过结合上下文感知和轻量验证机制,提升单字语音识别在噪声和压缩信道中的鲁棒性,适用于实时通信场景。
2026-01-28 cs.CL cs.SD eess.AS
End-to-end Speech Recognition with Word-based RNN Language Models
Mitsubishi Electric Research Laboratories(三菱电机研究实验室);Johns Hopkins University(约翰斯·霍普金斯大学)
本文研究了基于词的RNN语言模型(RNN-LM)对端到端自动语音识别(ASR)性能的影响。在我们之前的工作中,我们提出了一种多级LM,其中基于字符和基于单词的RNN-LM结合在混合CTC/基于注意力的ASR中。虽然这种多级方法在华尔街日报(WSJ)任务中实现了显着的错误减少,但需要训练两个不同的LM并用于解码,这增加了计算成本和内存使用。在本文中,我们进一步提出了一种新的基于单词的RNN-LM,它允许我们只使用基于单词的LM进行解码,其中它提供了预测下一个字符的前瞻单词概率,而不是基于字符的LM,与多级LM相比,计算量更少,具有竞争力的准确性。除了我们在之前的工作中使用的WSJ之外,我们还使用了更大的语料库LibriSpeech来证明基于单词的RNN-LM的有效性。此外,我们表明,该模型实现了5.1%的WER为WSJ Eval'92测试集时,词汇量的增加,这是最好的WER报告的端到端ASR系统在这个基准。
2018-08-08 cs.AI cs.CL
Integrating Pretrained ASR and LM to Perform Sequence Generation for Spoken Language Understanding
Carnegie Mellon University(卡内基梅隆大学);Sony Group Corporation(索尼集团公司)
针对预训练ASR与LM整合入SLU时的词汇不匹配、LM无法直接复用问题,提出三遍端到端SLU系统,结合ASR、LM与审议子网络完成序列生成,在两个基准数据集上性能优于现有模型。
2023-07-20 cs.CL cs.SD eess.AS
X2-Turn: Frame-Synchronous Dual-Head Modeling for Joint Streaming ASR and Turn State Prediction
本研究提出X2-Turn方法,基于预训练Voxtral Realtime模型构建帧同步双头结构,联合预测ASR token与细粒度轮次状态,在中英双语Easy-Turn测试集上验证了其轮次转换检测的准确性与低延迟优势。
2026-09-09 cs.CL eess.AS
Do We Still Need Automatic Speech Recognition for Spoken Language Understanding?
University of Copenhagen(哥本哈根大学);Technical University of Denmark(丹麦技术大学);Corti(Corti公司)
口语理解(SLU)任务通常通过首先用自动语音识别(ASR)转录话语,然后将输出馈送到基于文本的模型来解决。语音数据的自监督表示学习的最新进展集中在改进ASR组件上。我们调查是否表示学习语音已经成熟到足以取代ASR SLU。我们比较了从wav2vec 2.0,最先进的ASR成绩单和地面真实文本中学习到的语音特征,作为一种新的基于语音的命名实体识别任务,一种真实世界紧急呼叫的心脏骤停检测任务和两种现有SLU基准的输入。我们发现,学习语音功能优于ASR成绩单上的三个分类任务。对于机器翻译,ASR成绩单仍然是更好的选择。我们强调了wav2vec 2.0表示的内在鲁棒性,以词汇表外的单词作为提高性能的关键。
2021-11-29 cs.CL cs.LG eess.AS
Svarah: Evaluating English ASR Systems on Indian Accents
Indian Institute of Technology Madras(印度理工学院马德拉斯分校);AI4Bharat;Microsoft(微软)
本文提出Svarah基准,包含117位印度说话者、65个地区的9.6小时转写英语音频,用于评估ASR系统在印度口音上的表现,并通过对6个开源模型和2个商业系统的评估揭示了印度口音识别仍有明显改进空间。
2023-05-25 cs.CL cs.SD eess.AS
Evaluating Automatic Speech Recognition Systems for Korean Meteorological Experts
KAIST AI(韩国国立信息科学院人工智能研究所)
本文探讨了将ASR集成到自然语言查询系统中以提升韩国气象学家预报效率,构建了领域专用口语查询数据集,评估了多语言ASR模型,并提出基于TTS的数据增强方法,有效提升了专业术语识别且保持通用性能。
2025-09-14 cs.CL cs.SD eess.AS
StreamAlign: Streaming Text-Aligned Speech Tokenization
Seoul National University(首尔大学);University of California, Berkeley(加州大学伯克利分校);KRAFTON;Georgia Institute of Technology(佐治亚理工学院)
StreamAlign提出流式文本对齐语音分词框架,结合字符级RNN-T与词级ASR指导,降低延迟并缓解词汇不匹配,在LibriSpeech上取得最优WER和UTMOS,其SLM模型在语音续接与一致性上表现最佳。
2026-09-10 cs.CL cs.SD eess.AS
A Speech Test Set of Practice Business Presentations with Additional Relevant Texts
Charles University(查理大学);Faculty of Mathematics and Physics(数学与物理学院);Institute of Formal and Applied Linguistics(形式与应用语言学研究所)
我们提出了一个测试语料库的录音和transanterior介绍学生的企业连同他们的幻灯片和网页。该语料库的目的是评估自动语音识别(ASR)系统,特别是在条件下,在域词汇和命名实体的事先可用性是有益的。该语料库由39个英语演讲组成,每个演讲长达90秒。演讲者是来自欧洲国家的高中生,英语是他们的第二语言。我们基准的语料库上的三个基线ASR系统,并显示其不完善。
2019-08-02 cs.CL
Hard to Be Heard: Phoneme-Level ASR Analysis of Phonologically Complex, Low-Resource Endangered Languages
University of Tübingen(图宾根大学);University of Jena(耶拿大学)
研究通过音素级分析,探讨发音复杂且低资源的濒危语言在ASR中的表现,发现数据稀缺性比发音复杂性更影响识别性能。
2026-04-20 cs.CL
Hierarchical Conditional End-to-End ASR with CTC and Multi-Granular Subword Units
Waseda University(早稻田大学)
在端到端的自动语音识别(ASR)中,期望模型隐式地学习适于识别单词级序列的表示。然而,输入声学信号和输出语言标记之间的巨大抽象差距使得模型学习表示具有挑战性。在这项工作中,以促进端到端ASR的词级表征学习,我们提出了一个分层的条件模型,是基于连接主义的时间分类(CTC)。我们的模型是通过应用于中间层的辅助CTC损失来训练的,其中每个目标子词序列的词汇量随着层变得接近单词级输出而逐渐增加。在这里,我们使每个级别的序列预测显式地以在较低级别预测的先前序列为条件。与所提出的方法,我们希望所提出的模型,学习词级表示有效地利用层次结构的语言。在LibriSpeech-{100 h,960 h}和TEDLIUM 2上的实验结果表明,该模型优于标准CTC模型和其他竞争模型。我们进一步分析了结果,以确认我们的模型预期的表征学习的有效性。
2022-02-08 cs.CL eess.AS
Learning from Past Mistakes: Improving Automatic Speech Recognition Output via Noisy-Clean Phrase Context Modeling
University of Southern California(南加州大学);Information Sciences Institute(信息科学研究所)
自动语音识别(ASR)系统经常由于子系统修剪(声学、语言和发音模型)而产生不可恢复的错误;例如,在基于语言学用长期上下文重新评分之前,由于使用短期上下文的声学而修剪单词。在这项工作中,我们建模ASR作为一个基于短语的嘈杂的变换通道,并提出了一个纠错系统,可以从所有独立的模块组成的ASR的聚合错误,并试图反转这些。所提出的系统可以使用神经网络语言模型来利用长期上下文,并且可以更好地在现有ASR输出可能性之间进行选择,以及重新引入先前修剪的或看不见的(词汇表外的)短语。它在性能不佳的ASR条件下提供校正,而不会降低任何准确的transmittance;这种校正在域外和不匹配的数据ASR上更大。我们的系统始终如一地提供了对基线ASR的改进,即使基线通过递归神经网络语言模型重新评分进一步优化。这表明,任何ASR改进都可以独立利用,并且我们提出的系统仍然可以为高度优化的ASR提供好处。最后,我们提出了一个广泛的分析,我们的系统纠正的错误类型。
2019-03-28 cs.CL cs.SD eess.AS
Learning a Dual-Mode Speech Recognition Model via Self-Pruning
Meta AI
人们越来越有兴趣将流媒体和全上下文自动语音识别(ASR)网络统一到单个端到端ASR模型中,以简化两种用例的模型训练和部署。而在现实世界的ASR应用中,流式ASR模型通常在更多的存储和计算约束下操作,例如,在嵌入式设备上-比任何服务器端全上下文模型。受全稀疏超网训练的最新进展的启发,其中多个子网络在一个模型中联合优化,这项工作的目的是在一个超网中联合学习一个紧凑的稀疏设备上流媒体ASR模型和一个大型密集服务器非流媒体模型。接下来,我们提出,在wav 2 vec 2.0自监督学习和监督ASR微调上执行超网训练不仅可以大幅改善先前工作中所示的大型非流模型,而且还能够改善紧凑的稀疏流模型。
2022-10-06 cs.CL cs.SD eess.AS
A Mixture of Expert Based Deep Neural Network for Improved ASR
Reverie Language Technologies(Reverie语言技术公司)
本文提出了一种用于自动语音识别(ASR)背景下声学模型的新型深度学习架构,称为MixNet。除了传统的层,如DNN-HMM中的全连接层和LSTM-HMM中的存储单元,该模型使用了两个额外的层的混合专家(MoE)。在输入处操作的第一MoE层基于预定义的广义语音类别,并且在倒数第二层处操作的第二层基于自动学习的声学类别。在自然语音中,不同声学类别之间的分布重叠是不可避免的,这会导致类间误分类。如果修改声学模型的传统架构以使其更适合于考虑这种重叠,则预期ASR准确性会提高。MixNet的开发正是考虑到了这一点。通过散点图进行的分析验证了MoE确实改善了类别之间的分离,从而转化为更好的ASR准确性。在大词汇量ASR任务上进行的实验表明,与使用sMBR标准训练的传统模型(即DNN和LSTM)相比,所提出的架构分别提供了13.6%和10.0%的字错误率相对降低。与现有的语音分类方法(Eigen等人)相比,我们提出的方法产生了显着的改进。
2021-12-02 cs.CL cs.SD eess.AS
Approaches to Improving Recognition of Underrepresented Named Entities in Hybrid ASR Systems
Xinjiang University(新疆大学);Nanyang Technological University(南洋理工大学);Nazarbayev University(纳扎尔巴耶夫大学);ISSAI
在本文中,我们提出了一系列的补充方法,以提高识别的代表性不足的命名实体(NE)在混合ASR系统,而不影响整体的字错误率性能。代表性不足的单词对应于训练数据中的罕见或词汇表外(OOV)单词,因此无法可靠地建模。我们从字形词典开始,它允许在混合ASR中放弃语音模型的必要性。我们研究它在不同的设置,并证明其有效性,在处理代表性不足的NE。接下来,我们研究了神经语言模型(LM)的影响,其中基于字母的特征用于处理不常见的单词。在此之后,我们试图通过借用丰富代表词的嵌入表示来丰富预训练神经LM中代表性不足的NE的表示。这让我们在代表性不足的NE识别方面获得了显着的性能改进。最后,我们提高了由神经LM重新评分的词格中包含NE的话语的似然分数,并获得进一步的性能改善。上述方法的组合相对提高了高达42%的NE识别。
2020-05-18 cs.CL cs.SD eess.AS
Learning Word-Level Confidence For Subword End-to-End ASR
Google(谷歌)
研究了自动语音识别(ASR)中基于子词的端到端(E2E)模型中词级置信度估计问题。尽管先前的工作已经提出了用于ASR系统的训练辅助置信度模型,但是它们不能自然地扩展到在词块(WP)上操作作为其词汇的系统。特别是,训练置信度模型需要地面真值WP正确性标签,但是从单词到WP的非唯一标记化导致生成不准确的标签。本文提出并研究了两种复杂度递增的置信度模型来解决这一问题。最终模型使用自我注意力直接学习单词级置信度,而不需要子词标记化,并利用多个假设的完整上下文特征来提高置信度准确性。对语音搜索和长尾测试集的实验显示了标准度量(例如,NCE、AUC、RMSE)显著改善。所提出的置信度模块还使得模型选择方法能够将设备上的E2E模型与服务器上的混合模型相结合,以解决E2E模型的稀有词识别问题。
2021-03-11 cs.CL cs.LG eess.AS
A Light-weight contextual spelling correction model for customizing transducer-based speech recognition systems
Microsoft(微软)
在基于传感器的自动语音识别(ASR)系统中,背景信息是动态的,在模型训练过程中是不可用的。在这项工作中,我们引入了一个轻量级的上下文拼写校正模型,以纠正上下文相关的识别错误,在基于传感器的ASR系统。我们将上下文信息与共享的上下文编码器的拼写校正模型,并使用过滤算法来处理大尺寸的上下文列表。实验表明,该模型提高了基线ASR模型的性能,相对词出错率降低了约50%,也明显优于上下文LM偏置等基线方法。该模型还显示出在训练过程中看不到的词汇表外术语的出色性能。
2021-08-17 cs.CL cs.LG cs.SD
Factorized Neural Transducer for Efficient Language Model Adaptation
Microsoft Speech and Language Group(微软语音与语言组)
近年来,基于端到端(E2 E)的自动语音识别(ASR)系统由于其简单性和有前途的性能而获得了巨大的成功。基于神经传感器的模型在基于流E2 E的ASR系统中越来越受欢迎,并且据报道在某些场景中优于传统的混合系统。然而,神经换能器中声学模型、词典和语言模型的联合优化也给利用纯文本进行语言模型自适应带来了挑战。这一缺点可能会阻碍它们在实践中的潜在应用。为了解决这一问题,本文提出了一种新的模型--因子化神经传感器,通过对空白和词汇预测进行因子化,并采用独立的语言模型进行词汇预测。预计这种分解可以将独立语言模型的改进转移到用于语音识别的换能器,这允许应用各种语言模型自适应技术。我们表明,建议的因子分解神经换能器产生15%至20%的WER改进时,域外的文本数据用于语言模型适应,在WER的一般测试集上的一个小的退化的成本。
2021-10-18 cs.CL eess.AS
Learning New Words from Unlabeled Test Data in Automatic Speech Recognition
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Korea Advanced Institute of Science and Technology(韩国科学技术院)
本文提出一种在测试时从未标记数据学习新词上下文表示与拼写的ASR方法,利用CTC声学模型、语言模型及适应模块,通过KLD优化,在LibriSpeech和构音障碍数据上分别降低OOV字符错误率14.97%和6.67%。
2026-09-25 cs.CL eess.AS
CLiFT-ASR: A Cross-Lingual Fine-Tuning Framework for Low-Resource Taiwanese Hokkien Speech Recognition
National Taiwan Normal University(国立台湾师范大学);EZAI
针对低资源台语语音识别中汉字与罗马字标注难以兼顾的问题,提出基于普通话 HuBERT 的两阶段跨语言微调框架 CLiFT-ASR,在 TAT-MOE 上实现 CER 相对降低 24.88%。
2025-11-10 cs.CL cs.SD
Dual-Pipeline with Low-Rank Adaptation for New Language Integration in Multilingual ASR
ByteDance(字节跳动)
针对多语言 ASR 集成新语言时数据受限问题,提出 LoRA 双流水线与解码器选择机制,在扩展 Whisper 至 FLEURS 19 种新语言的同时保护原有语言性能。
2024-06-12 cs.CL eess.AS