A cost minimization approach to fix the vocabulary size in a tokenizer for an End-to-End ASR system
TCS Research(TCS研究中心)
本文针对端到端ASR系统中分词器词表大小缺乏明确依据的问题,提出将分词过程视为黑盒并构建代价函数以最小化代价,从而选择最优token数量,实验证明该方法在LibriSpeech 100小时数据集上有效提升了系统性能。
2024-04-29 cs.CL cs.SD eess.AS
Joint Encoder-Decoder Self-Supervised Pre-training for ASR
Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
自监督学习(SSL)在各种语音相关的下游任务中取得了巨大的成功,包括自动语音识别(ASR)。SSL模型的输出嵌入被视为语音信号的强有力的短时表示。然而,在ASR任务中,主要目标是获得声学单元、字符或字节对编码(BPE)的正确序列。通常,编码器-解码器架构对于像ASR这样的序列到序列任务工作得非常好。因此,在本文中,我们提出了一种新的范式,利用解码器的权力在自监督学习。我们使用隐藏单元BERT(HuBERT)SSL框架来计算编码器的传统掩码预测损失。此外,我们还介绍了SSL框架中的解码器,并提出了解码器的目标准备策略。最后,我们使用多任务SSL设置,其中我们共同优化编码器和解码器的损失。我们假设SSL模型中解码器的存在有助于它学习基于声学单元的语言模型,这可能会提高ASR下游任务的性能。我们将我们提出的SSL模型与HuBERT进行了比较,并通过对各种LibriSpeech子集进行微调,显示出ASR性能的相对改善高达25%。
2022-06-09 cs.CL
Practical Conformer: Optimizing size, speed and flops of Conformer for on-Device and cloud ASR
Google LLC(谷歌公司)
本文设计了一种优化的 Conformer,通过纯卷积块替换、架构缩减和 RNNAttention-Performer 等技术,在 TPU 上实现快速推理,延迟降低 6.8 倍,并通过级联编码器设置完全恢复识别准确率,适用于端上和云端 ASR。
2023-03-31 cs.CL cs.SD eess.AS
Maestro-U: Leveraging joint speech-text representation learning for zero supervised speech ASR
Google, Inc.(谷歌公司)
训练最先进的自动语音识别(ASR)模型通常需要大量的转录语音。在这项工作中,我们证明了一个模态匹配的联合语音和文本模型,可以利用训练一个大规模的多语言ASR模型,没有任何监督(手动转录)的语音为某些语言。本文探讨了使用联合学习的语音和文本表示在一个大规模的多语言,零监督语音,现实世界的设置,以扩大一套语言覆盖的ASR与目标语言中只有未标记的语音和文本。使用FLEURS数据集,我们定义了覆盖$102$语言的任务,其中转录的语音在这些语言的$52$中可用,并且可以用于提高其余$50$上的端到端ASR质量。首先,我们表明,通过将语音表示与字节级文本表示相结合,并使用语言嵌入,我们可以显着降低字符出错率(CER)的语言没有监督语音从64.8%到30.8%,相对减少53%。其次,使用南亚语言的一个子集,我们表明,Maestro-U可以促进知识转移的语言与监督语音,即使有限制,没有字形重叠。总体而言,Maestro-U相对于Oracle的性能差距缩小了68.5%,并将19种语言的CER降低到15%以下。
2022-10-21 cs.CL cs.SD eess.AS
AutoMode-ASR: Learning to Select ASR Systems for Better Quality and Cost
aiXplain Inc.(aiXplain公司)
提出AutoMode-ASR框架,通过训练决策模型为每个音频片段选择最优ASR系统,集成二元分类器与质量估计,实现WER降低16.2%、成本节省65%、速度提升75%,且兼容黑盒系统。
2024-09-19 cs.CL cs.SD eess.AS
A systematic comparison of grapheme-based vs. phoneme-based label units for encoder-decoder-attention models
RWTH Aachen University(亚琛工业大学);AppTek GmbH(AppTek公司)
遵循端到端建模的基本原理,用于自动语音识别(ASR)的CTC、RNN-T或编码器-解码器-注意力模型使用基于例如字节对编码(BPE)的字素或基于字素的子字单元。从发音到拼写的映射完全是从数据中学习的。与此相反,ASR的经典方法采用音素列表形式的二级知识源来定义语音输出标签和发音词典。在这项工作中,我们做了一个系统的比较字素和音素为基础的输出标签的编码器-解码器-注意力ASR模型。我们调查使用单个音素以及基于BPE的音素组作为我们的模型的输出标签。为了保持一个简化和有效的解码器设计,我们还扩展了音素集的辅助单元,能够区分同音字。在Switchboard 300 h和LibriSpeech基准测试上进行的实验表明,基于音素的建模与基于图素的编码器-解码器-注意力建模相比具有竞争力。
2021-04-15 cs.CL cs.LG cs.NE
Instant One-Shot Word-Learning for Context-Specific Neural Sequence-to-Sequence Speech Recognition
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Carnegie Mellon University(卡内基梅隆大学)
神经序列到序列系统为自动语音识别(ASR)提供最先进的性能。当使用适当的建模单位时,例如,字节对编码的字符,这些系统原则上是开放的词汇系统。然而,在实践中,他们经常无法识别在训练期间没有看到的单词,例如,命名实体、数字或技术术语。为了缓解这个问题,我们补充了一个端到端的ASR系统与单词/短语的内存和访问该内存的机制,以正确地识别单词和短语。在ASR系统的训练之后,并且当它已经被部署时,可以立即添加或减去相关单词,而不需要进一步的训练。在本文中,我们证明了通过这种机制,我们的系统能够识别超过85%的新添加的单词,它以前没有识别相比,一个强大的基线。
2021-07-05 cs.CL cs.LG
Omni-sparsity DNN: Fast Sparsity Optimization for On-Device Streaming E2E ASR via Supernet
Meta AI
从可穿戴设备到功能强大的智能设备,现代自动语音识别(ASR)模型可在各种计算预算不同的边缘设备上运行。为了在模型精度与模型大小的帕累托前沿进行导航,研究人员陷入了一个困境,即通过为每个边缘设备训练和微调模型来优化模型精度,同时保持训练GPU时间易于处理。在本文中,我们提出了全稀疏DNN,其中单个神经网络可以被修剪以生成针对大范围模型大小的优化模型。我们为全稀疏DNN开发了训练策略,使其能够沿着单词错误率(WER)与模型大小的帕累托前沿找到模型,同时保持训练GPU时间不超过训练一个奇异模型的时间。我们使用流式E2 E ASR模型演示了全稀疏DNN。我们的研究结果显示,与单独修剪的稀疏模型相比,LibriSpeech的训练时间和资源大大节省,准确率相似或更高:测试其他模型的WER提高了2%-6.6%。
2022-07-20 cs.CL cs.SD eess.AS
Unveiling the Potential of LLM-Based ASR on Chinese Open-Source Datasets
Northwestern Polytechnical University(西北工业大学)
本研究在中文开源数据集上系统评估语音编码器、LLM和投影模块配置,提出三阶段训练方法,在AISHELL-1等测试集上达到SOTA性能,并公开全部代码与模型以促进可复现研究。
2024-11-05 cs.CL cs.SD eess.AS
A Calculus-Based Framework for Determining Vocabulary Size in End-to-End ASR
TCS Research(TCS研究)
本文提出基于微积分的词汇量确定方法,通过曲线拟合和导数测试优化端到端ASR的词汇量参数,提升识别性能。
2026-05-14 cs.CL cs.SD
Rethinking Entropy Allocation in LLM-based ASR: Understanding the Dynamics between Speech Encoders and LLMs
本文从熵分配角度重新审视基于大语言模型的ASR,提出三个指标刻画训练范式如何在语音编码器和LLM之间分配熵减少,通过多阶段训练策略优化参数效率和抗幻觉能力,实验显示在2.3B参数下达到与最新模型相当的性能并有效缓解幻觉。
2026-10-12 cs.CL cs.SD eess.AS
Automatic Speech Recognition Benchmark for Air-Traffic Communications
Idiap Research Institute(Idiap 研究所);Ecole Polytechnique Federale de Lausanne (EPFL)(洛桑联邦理工学院(EPFL));Beijing Institute of Technology(北京理工大学);Brno University of Technology(布尔诺理工大学)
在过去十年中,自动语音识别(ASR)的进步开辟了基于语音的自动化的新领域,例如在空中交通管制(ATC)环境中。目前,语音通信和数据链路通信是飞行员与空中交通管制员(ATCo)之间的唯一联系方式,其中前者使用最广泛,而后者是海洋信息强制性的非口语方法,并且在一些国内问题上受到限制。由于来自非英语说话者的口音、驾驶舱噪声、依赖于说话者的偏差以及用于训练的小的域内ATC数据库,ATCo环境上的ASR系统继承了增加的复杂性。在此,我们介绍CleanSky EC-H2020 ATCO 2,该项目旨在开发一个基于ASR的平台,以收集,组织和自动预处理来自空中的ATCo语音数据。本文介绍了几种最先进的ASR模型的探索性基准,这些模型在超过170小时的ATCo语音数据上进行了训练。我们证明,由于扬声器的口音的交叉口音的缺陷是最小化由于数据量,使系统可行的ATC环境。开发的ASR系统实现了平均字出错率(WER)的7.75%,在四个数据库。当用字节对编码训练TDNF系统时,在一个测试集上实现了WER的额外35%的相对改善。
2020-08-13 cs.CL cs.CV cs.LG
Acoustic Data-Driven Subword Modeling for End-to-End Speech Recognition
RWTH Aachen University(亚琛工业大学);AppTek GmbH(AppTek有限公司)
针对端到端语音识别中缺乏完全面向声学的子词建模方法的问题,提出声学数据驱动的子词建模(ADSM)方法,生成声学结构化子词单元,在LibriSpeech上优于BPE和PASM,适用于时间与标签同步模型。
2021-08-27 cs.CL
An Investigation of End-to-End Multichannel Speech Recognition for Reverberant and Mismatch Conditions
Johns Hopkins University(约翰斯·霍普金斯大学);Yahoo Japan Corporation(雅虎日本公司)
序列到序列(Sequence-to-Sequence,S2S)建模正成为自动语音识别(Automatic Speech Recognition,ASR)的流行范例,因为其能够以端到端(End-to-End,E2E)方式联合优化所有常规ASR组件。本报告通过涵盖S2S模型中的整个多通道语音增强和ASR组件,研究了E2E ASR从标准近距离通话到远场应用的能力。之前已经有关于联合优化神经波束成形和E2E ASR去噪的研究。从最近的挑战结果和成功的产品中可以清楚地看出,如果不同时解决去噪和去混响,远场系统将是不完整的。本报告使用了最近开发的远场ASR架构,将去混响和波束成形模块的神经扩展与S2S ASR模块组成一个可区分的神经网络,并明确定义了每个子网络的作用。该架构的原始实现成功地应用于嘈杂的语音识别任务(CHiME-4),而我们将此实现应用于嘈杂的混响任务(DIRHA和REVERB)。我们的调查表明,该方法实现了更好的性能比传统的管道方法的DIRHA英语数据集和REVERB数据集的性能相当。它还具有既不迭代也不需要并行的噪声和干净的语音数据的额外优点。
2019-04-28 cs.CL cs.SD eess.AS
Exploiting Beam Search Confidence for Energy-Efficient Speech Recognition
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学)
随着计算机在我们的日常生活中变得越来越强大和集成,焦点越来越转向更人性化的界面,使自动语音识别(ASR)成为与机器交互的理想手段。因此,对语音技术的兴趣在过去几年中已经增长,提出了更多的系统并且实现了更高的准确度水平,甚至超过了\textit{Human Accuracy}。随着ASR系统的功能日益强大,其计算复杂性也在增加,硬件支持也必须跟上。在本文中,我们提出了一种提高ASR系统能效和性能的技术,重点关注边缘设备的低功耗硬件。我们专注于优化基于DNN的声学模型评估,因为我们已经观察到它是最先进的ASR系统中的主要瓶颈,通过利用来自束搜索的运行时信息。通过这样做,我们将声学模型评估的能量和执行时间分别减少了25.6%和25.9%,而精度损失可以忽略不计。
2021-01-22 cs.CL cs.SD eess.AS
Improving Uyghur ASR systems with decoders using morpheme-based language models
College of Information Engineering, Tarim University(塔里木大学信息工程学院)
维吾尔语是一种少数民族语言,用于自动语音识别(ASR)研究的资源一直不足。THUYG-20是目前唯一的维吾尔语语音开源数据集。自第一次发布以来,其干净和无噪声的语音测试任务的最新结果一直没有更新,这表明主流语言和维吾尔语之间的ASR发展存在很大差距。在本文中,我们试图通过最终优化ASR系统,并通过开发一个基于语素的解码器,MLDG解码器(语素格动态生成解码器维吾尔DNN-HMM系统),这是长期以来一直缺少的差距。我们已经开源了解码器。MLDG解码器采用一种称为“与FEBABOS的动态合成”的算法,以允许退避状态和转换在动态合成中扮演中继站的角色。当使用基于4-Gram词素的语言模型(LM)时,该算法使动态生成的图能够像静态的完全组合图一样有效地约束格中的词素序列。我们训练了更深更广的神经网络声学模型,并对三种解码方案进行了实验。实验结果表明,基于静态完全合成图的解码方法在THUYG-20的干净无噪语音测试任务中,将最先进的字出错率(WER)降低到14.24%。MLDG解码器在保持合理的内存消耗的同时,将WER降低到14.54%。基于开源的MLDG-Decoder,读者可以很容易地重现本文的实验结果。
2020-03-04 cs.CL cs.SD eess.AS
Design of the IBM Granite 5.0 TurboCTC ASR Model
IBM Research(IBM研究院)
本文介绍 IBM Granite 5.0 TurboCTC,一个4.7亿参数的编码器模型,通过金字塔子采样、块对角注意力和推理优化,在英文短语音识别上达到速度-准确率帕累托最优,速度是竞品两倍。
2026-09-18 cs.CL
Correction of Automatic Speech Recognition with Transformer Sequence-to-sequence Model
NVIDIA(英伟达)
在这项工作中,我们介绍了一个简单而有效的自动语音识别(ASR)后处理模型。我们的模型具有基于transformer的编码器-解码器架构,该架构将ASR模型输出“翻译”成语法和语义正确的文本。我们研究了正则化和优化模型的不同策略,并表明需要广泛的数据增强和预训练权重的初始化来实现良好的性能。在LibriSpeech基准测试中,我们的方法在单词出错率方面比使用贪心解码的基线声学模型有了显着的改善,特别是在评估数据集的噪声更大的dev-other和test-other部分。我们的模型也优于基线与6-gram语言模型重新评分和接近的性能与transformer-XL神经语言模型重新评分。
2019-10-23 cs.CL cs.SD eess.AS
Self-Attention Channel Combinator Frontend for End-to-End Multichannel Far-field Speech Recognition
Nuance Communications GmbH(Nuance通讯有限公司);Nuance Communications Inc.(Nuance通讯公司);Nuance Communications S.A.(Nuance通讯股份公司)
当提供足够大的远场训练数据时,联合优化多通道前端和端到端(E2E)自动语音识别(ASR)后端显示出有希望的结果。最近的文献表明,传统的波束形成器设计,如MVDR(最小方差无失真响应)或固定波束形成器可以成功地集成为前端到E2E ASR系统与可学习的参数。在这项工作中,我们提出了自注意通道组合器(SACC)ASR前端,它利用自注意力机制在幅度谱域中组合多通道音频信号。对多通道回放测试数据进行的实验表明,与最先进的基于固定波束形成器的前端相比,SACC实现了9.3%的WERR,两者都与基于ContextNet的ASR后端进行了联合优化。我们还展示了SACC和传统波束形成器之间的连接,并分析了SACC的中间输出。
2021-09-10 cs.AI cs.CL cs.LG
Efficient Adapter Transfer of Self-Supervised Speech Models for Automatic Speech Recognition
Huawei R&D UK(华为英国研发中心)
自监督学习(SSL)是一个强大的工具,它允许从未标记的数据中学习底层表示。基于Transformer的模型,如wav2vec 2.0和HuBERT,在语音领域处于领先地位。一般来说,这些模型在少量标记数据上进行微调,用于下游任务,例如自动语音识别(ASR)。这涉及到为每个任务重新训练模型的大部分。适配器是小型轻量级模块,通常用于自然语言处理(NLP)中,以使预训练模型适应新任务。在本文中,我们建议将适配器应用于wav2vec 2.0,以减少下游ASR任务所需的参数数量,并增加模型对多个任务或语言的可扩展性。使用适配器,我们可以执行ASR,同时每个任务训练不到10%的参数,而完全微调几乎没有性能下降。烧蚀表明,将适配器应用到预训练网络的顶部几层中可以提供与完全传输相似的性能,支持较高的预训练层编码更多的音素信息的理论,并进一步优化效率。
2022-02-07 cs.CL cs.SD eess.AS
Echo State Speech Recognition
Google(谷歌)
我们提出了自动语音识别(ASR)模型的回声状态网络(ESN)的启发,其中模型中的递归神经网络(RNN)层的子集是随机初始化和未经训练的。我们的研究集中在RNN-T和Conformer模型上,我们证明了即使解码器完全随机化,模型质量也不会下降。此外,这样的模型可以更有效地训练,因为解码器不需要更新。相比之下,随机化编码器会损害模型质量,这表明优化编码器和学习声学输入的正确表示对于语音识别更重要。总的来说,我们挑战了为所有组件训练ASR模型的常见做法,并证明了基于ESN的模型可以同样出色地执行,但比完全可训练的模型能够实现更有效的训练和存储。
2021-02-18 cs.CL
Flexi-Transducer: Optimizing Latency, Accuracy and Compute forMulti-Domain On-Device Scenarios
Facebook AI
通常,嵌入式设备的存储和计算限制要求单个设备上的ASR模型服务于多个用例/域。在本文中,我们提出了一种用于设备上自动语音识别的可扩展转换器(AZMT),以灵活地处理具有不同精度和延迟要求的多个用例/域。具体而言,使用单个紧凑模型,CRTOT提供了对语音命令的快速响应,以及准确的转录,但听写的延迟更大。为了实现灵活且更好的准确性和延迟权衡,使用以下技术。首先,我们提出使用特定领域的段大小的Emformer编码器,使BMPT实现灵活的解码。其次,我们使用对齐限制的RNNT损失来实现对不同域的令牌发射延迟的灵活细粒度控制。最后,我们添加了一个域指示向量,作为对WARMET模型的额外输入。使用技术的组合,我们表明,一个单一的模型可以用来提高WER和听写场景的实时的因素,同时保持语音命令用例的最佳延迟
2021-04-06 cs.CL cs.SD eess.AS
LatPhon: Lightweight Multilingual G2P for Romance Languages and English
Department of Electronic Systems Engineering(电子系统工程系);Escola Politécnica, Universidade de São Paulo(圣保罗大学工学院)
本研究提出轻量级多语种G2P模型LatPhon,基于7.5M参数的Transformer在六种拉丁字母语言上联合训练,在ipa-dict语料库上PER达3.5%,性能接近单语言专用模型且内存占用仅30MB,可作为拉丁语言语音流水线的通用前端。
2025-09-03 cs.CL
Streaming Sequence Transduction through Dynamic Compression
Johns Hopkins University(约翰霍普金斯大学);Microsoft(微软);Stanford University(斯坦福大学)
本研究提出基于Transformer的流式序列转导模型STAR,通过动态切分输入流生成压缩锚点表示,在ASR任务中实现12倍近无损压缩且性能优于现有方法,同时在同步语音转文本任务中优化了延迟、内存与质量的权衡。
2025-05-21 cs.CL cs.SD eess.AS
Deferred NAM: Low-latency Top-K Context Injection via Deferred Context Encoding for Non-Streaming ASR
Google LLC(谷歌公司)
本文提出将轻量级短语选择步骤移至上下文编码之前,实现高达16.1倍加速,支持2万短语且延迟低于33ms,结合交叉熵损失使相对WER降低37.5%。
2024-04-23 cs.AI cs.CL cs.LG
Acoustic Model Optimization over Multiple Data Sources: Merging and Valuation
The Hong Kong University of Science and Technology(香港科技大学);WeBank Co., Ltd(微众银行)
针对ASR中多数据源无法共享的问题,本文提出两阶段范式:先基于各数据子集训练多个声学模型,再用遗传合并算法GMA和基于SGD的优化合并算法SOMA合并出高质量声学模型,并引入Shapley值评估各数据源贡献。
2024-10-21 cs.CL cs.SD eess.AS
SpeechLLM: Unified Speech and Language Model for Enhanced Multi-Task Understanding in Low Resource Settings
JPMorganChaseUSA(摩根大通公司);Columbia UniversityUSA(哥伦比亚大学)
针对语音编码器与LLM整合的数据资源受限问题,提出带参数高效适配器的SpeechLLM,结合LLM合成标注等技术,在低资源下多类语音理解任务性能显著提升。
2025-08-29 cs.AI cs.CL
Tight Integrated End-to-End Training for Cascaded Speech Translation
RWTH Aachen University(亚琛工业大学);AppTek GmbH(AppTek有限公司)
级联语音翻译模型依赖于离散和不可微的转录,它提供了一个来自源端的监督信号,并帮助源语音和目标文本之间的转换。这种建模遭受ASR和MT模型之间的误差传播。直接语音翻译是一种避免错误传播的替代方法,但其性能往往落后于级联系统。为了使用中间表示并保持端到端的可训练性,以前的研究提出了使用两阶段模型,通过将识别器的隐藏向量传递到MT模型的解码器并忽略MT编码器。这项工作探索了通过联合优化ASR和MT模型的所有参数而不忽略任何学习参数,将整个级联组件折叠成单个端到端可训练模型的可行性。它是一种紧密集成的方法,将重新归一化的源词后验分布作为软决策而不是独热向量,并启用反向传播。因此,它提供了transmittance和translations,并实现了它们之间的强一致性。我们在四个不同数据场景的任务上的实验表明,该模型在BLEU和TER中的性能优于级联模型高达1.8%和2.0%,并且优于直接模型。
2020-11-24 cs.CL cs.LG
Transforming NLU with Babylon: A Case Study in Development of Real-time, Edge-Efficient, Multi-Intent Translation System for Automated Drive-Thru Ordering
IBM watsonx
针对自动得来速点餐场景,提出将自然语言理解建模为意图翻译任务的Transformer架构Babylon,并引入LSTM音素池化以降低输入长度、提升边缘实时性与ASR鲁棒性,实验表明其在准确率、延迟和内存上优于Flan-T5与BART。
2024-11-22 cs.AI cs.CL cs.LG
Optimizing Bilingual Neural Transducer with Synthetic Code-switching Text Generation
Apple(苹果公司)
语码转换是指在同一个句子中使用一种以上语言的行为。在这项研究中,我们研究如何优化基于神经传感器的双语自动语音识别(ASR)模型的代码切换的语音。针对在没有监督语码转换数据的情况下训练ASR模型的情况,我们发现半监督训练和合成语码转换数据可以改善双语语码转换语音的ASR系统。我们分析了每个神经传感器的编码器如何通过测量编码器特定的召回值来促进代码切换性能,并在ASCEND数据集上评估我们的英语/普通话系统。我们的最终系统实现了25%的混合出错率(MER)的ASCEND英语/普通话代码转换测试集-减少了2.1%的绝对MER相比,以前的文献-同时保持良好的准确性单语测试集。
2022-10-21 cs.CL cs.SD eess.AS
Pushing the Limits of Zero-shot End-to-End Speech Translation
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学);FAIR Meta(Meta FAIR实验室)
本文提出ZeroSwot方法,通过CTC压缩与最优传输仅用ASR数据训练语音编码器并与多语言MT模型对齐,在无任何ST数据条件下实现零样本端到端语音翻译,并在MuST-C和CoVoST上取得超越有监督模型的最优性能。
2024-06-05 cs.CL
Optimizing Two-Pass Cross-Lingual Transfer Learning: Phoneme Recognition and Phoneme to Grapheme Translation
POSTECH(浦项科技大学);aiXplain Inc.(aiXplain公司)
针对低资源语言两遍跨语言 ASR,本文通过发音特征合并音素并引入全局音素噪声生成器,优化音素识别与音素到字素翻译,在 CommonVoice 12.0 上显著降低 WER。
2023-12-06 cs.CL cs.SD eess.AS
XLS-R Deep Learning Model for Multilingual ASR on Low- Resource Languages: Indonesian, Javanese, and Sundanese
Bina Nusantara University(建国大学)
本文利用XLS-R 300m模型并结合5-gram KenLM语言模型,针对印度尼西亚语、爪哇语和巽他语等低资源语言提升多语种ASR性能,显著降低了词错误率。
2024-01-12 cs.CL cs.LG cs.SD
Optimizing Alignment of Speech and Language Latent Spaces for End-to-End Speech Recognition and Understanding
Microsoft(微软)
基于注意力的编码器-解码器(AED)网络的发展为端到端(E2 E)自动语音识别(ASR)带来了巨大的进步。进一步提高基于AED的E2 E ASR性能的一种方法是引入额外的文本编码器,以利用大量的文本数据,从而捕获更多的上下文感知语言信息。然而,由于用于建模的不同单元,这种方法带来了语音编码器和文本编码器之间的失配问题。在本文中,我们提出了一种嵌入对齐器和模态切换训练,以更好地对齐语音和文本潜在空间。嵌入对齐器是文本编码器和语音编码器之间的共享线性投影,分别由掩蔽语言建模(MLM)损失和连接主义时间分类(CTC)训练。模态切换训练基于强制对齐结果随机交换语音和文本嵌入,以学习联合表示空间。实验结果表明,我们提出的方法实现了相对14%至19%的字出错率(WER)减少Librispeech ASR任务。我们进一步验证了它对口语语言理解(SLU)的有效性,即,SNIPS插槽填充任务的F1分数绝对提高了2.5%至2.8%。
2021-10-23 cs.SD eess.AS
Unsupervised Active Learning: Optimizing Labeling Cost-Effectiveness for Automatic Speech Recognition
Shanghai Jiao Tong University(上海交通大学);Shanghai AI Laboratory(上海人工智能实验室)
该研究结合自监督学习与主动学习,通过无监督提取不同粒度语音单元并采用对比数据选择框架,有效提升ASR的标注成本效益,实现同标注量下WER降超11%或同WER下标注成本减半。
2023-08-28 cs.SD eess.AS
Personal VAD 2.0: Optimizing Personal Voice Activity Detection for On-Device Speech Recognition
Google LLC(谷歌有限责任公司)
设备上语音识别(ASR)的个性化近年来出现了爆炸性增长,这主要是由于移动设备和智能家居扬声器上的个人助理功能越来越受欢迎。在这项工作中,我们提出了个人VAD 2.0,个性化的语音活动检测器,检测目标扬声器的语音活动,作为流媒体设备上的ASR系统的一部分。尽管之前的概念验证研究已经验证了Personal VAD的有效性,但在将此模型用于生产之前,仍有几个关键挑战需要解决:首先,在注册和无注册场景中,质量必须令人满意;其次,它应该以流媒体方式运行;最后,模型大小应该足够小,以适应有限的延迟和CPU/内存预算。为了满足多方面的需求,我们提出了一系列新颖的设计:1)先进的扬声器嵌入调制方法; 2)一种新的训练范式,以推广到无注册条件; 3)针对延迟和资源限制的架构和运行时优化。在一个真实的语音识别系统上进行的大量实验证明了我们所提出的方法的最先进的性能。
2022-06-25 cs.LG cs.SD eess.AS
Robust Data2vec: Noise-robust Speech Representation Learning for ASR by Combining Regression and Improved Contrastive Learning
University of Science and Technology of China(中国科学技术大学);Microsoft Research Asia(微软亚洲研究院);Nanyang Technological University(南洋理工大学)
基于对比学习或回归任务的自监督预训练方法可以利用更多的未标记数据来提高自动语音识别(ASR)的性能。然而,结合两个预训练任务和构建不同的负样本进行对比学习的鲁棒性影响仍然不清楚。在本文中,我们提出了一种用于自监督语音表示学习的噪声鲁棒data 2 vec,通过在预训练阶段联合优化对比学习和回归任务。此外,我们提出了两种改进的方法,以促进对比学习。更具体地说,我们首先提出构建基于块的非语义负样本来提高预训练模型的噪声鲁棒性,这是通过将特征划分为不同大小的块来实现的(即,所谓的负样本)。其次,通过分析正样本和负样本的分布,我们提出了去除容易区分的负样本,以提高预训练模型的区分能力。在CHiME-4数据集上的实验结果表明,我们的方法能够提高噪声场景中预训练模型的性能。我们发现,对比学习和回归任务的联合训练可以在一定程度上避免模型崩溃相比,只训练回归任务。
2022-10-27 cs.SD eess.AS
Jointly optimal denoising, dereverberation, and source separation
NTT Corporation(日本电信电话株式会社);Paderborn Univ.(帕德博恩大学)
本文提出了可以优化卷积波束形成器(CBF)的方法,以计算高效的方式联合执行去噪、去混响和源分离(DN+DR+SS)。传统的远场语音识别前端采用加权预测误差最小化(Weighted Prediction Error Minimization,WPE)去混响滤波器和最小方差无失真响应(Minimum Variance Distortionless Response Beamformer)的级联结构,但这种方法的整体最优性并不能得到保证。在盲信号处理领域,提出了一种联合优化去混响和源分离的方法(DR+SS),但该方法计算量大,尚未推广应用于DN+DR+SS。为了克服上述局限性,本文开发了新的方法,联合优化DN+DR+SS在计算上更有效的方式。为此,我们首先提出了一个目标函数,以优化CBF,用于基于最大似然估计执行DN+DR+SS,假设目标信号的导向矢量是给定的或可以估计的,例如,使用神经网络。本文将此目标函数优化的CBF称为加权最小功率无失真响应(wMPDR)CBF。然后,我们推导出两种算法,用于优化的wMPDR CBF的基础上分解成WPE滤波器和波束形成器的CBF的两种不同的方式。实验结果表明,与传统的级联结构相比,本文提出的优化方法在信号失真度和ASR性能方面都大大提高了语音增强的性能。与传统的联合优化方法相比,本文提出的方法可以大大降低计算量,提高估计精度。
2020-08-02 cs.SD eess.AS