Transsion TSUP's speech recognition system for ASRU 2023 MADASR Challenge
Transsion TSUP(传音TSUP)
本研究针对低资源印度语言ASR适配问题,为ASRU 2023 MADASR挑战赛开发了覆盖四赛道的识别系统,通过不同架构模型搭配优化解码策略,在孟加拉语、博杰普尔语上取得了较低的词错误率。
2023-07-20 cs.CL cs.SD eess.AS
Combining X-Vectors and Bayesian Batch Active Learning: Two-Stage Active Learning Pipeline for Speech Recognition
本文提出一种结合X向量和贝叶斯批量主动学习的两阶段流程,用于优化语音识别中的主动学习效率与数据利用。
2025-04-25 cs.AI cs.CL cs.LG
Integrating Pre-Trained Speech and Language Models for End-to-End Speech Recognition
rinna Co., Ltd.(rinna公司)
本文提出将预训练语音表示模型与大语言模型通过桥接网络集成,实现端到端语音识别全流程优化,并支持参数高效领域自适应和推理优化,实验表明其性能可与现代 E2E ASR 模型相媲美。
2024-06-06 cs.AI cs.CL cs.LG
PROFASR-BENCH: A Benchmark for Context-Conditioned ASR in High-Stakes Professional Speech
Seattle, USA(美国西雅图)
ProfASR-Bench 是一个针对高风险专业演讲的ASR基准测试,通过上下文条件识别评估,揭示了当前系统在利用上下文信息方面的不足。
2025-12-29 cs.CL cs.SD
StreamAlign: Streaming Text-Aligned Speech Tokenization
Seoul National University(首尔大学);University of California, Berkeley(加州大学伯克利分校);KRAFTON;Georgia Institute of Technology(佐治亚理工学院)
StreamAlign提出流式文本对齐语音分词框架,结合字符级RNN-T与词级ASR指导,降低延迟并缓解词汇不匹配,在LibriSpeech上取得最优WER和UTMOS,其SLM模型在语音续接与一致性上表现最佳。
2026-09-10 cs.CL cs.SD eess.AS
Enhancing ASR Performance in the Medical Domain for Dravidian Languages
Vallurupalli Nageswara Rao Vignana Jyothi Institute of Engineering and Technology(瓦卢鲁普利·纳加斯瓦拉·拉奥维迦纳·乔蒂学院工程与技术学院)
本文提出一种结合静态感知和声学相似度及动态模型熵的混合置信度训练框架,通过整合真实和合成语音数据提升达罗毗荼语言医学领域ASR性能,实验显示在Telugu和Kannada医疗数据集上显著降低识别错误率。
2026-04-10 cs.AI cs.CL eess.AS
Deploying self-supervised learning in the wild for hybrid automatic speech recognition
Microsoft Corporation(微软公司)
自监督学习(SSL)方法已被证明是非常成功的自动语音识别(ASR)。这些巨大的改进主要基于高度精心策划的数据集,例如用于非流媒体端到端ASR模型的LibriSpeech。然而,SSL的关键特性是用于任何未转录的音频数据。在本文中,我们提供了一个完整的探索如何利用未经策划的音频数据在SSL从数据预处理部署一个流混合ASR模型。更具体地说,我们提出了(1)音频事件检测(AED)模型在数据预处理管道中的作用(2)分析选择优化器和学习率调度(3)比较最近开发的对比损失,(4)比较各种预训练策略,如利用域内与域外预训练数据,单语与多语言预训练数据,多头多语言SSL与单头多语言SSL以及监督预训练与SSL。实验结果表明,SSL预训练与域内未经策划的数据可以实现更好的性能相比,所有替代的域外预训练策略。
2022-05-17 cs.CL cs.SD eess.AS
Knowledge Transfer from Pre-trained Language Models to Cif-based Speech Recognizers via Hierarchical Distillation
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);School of Future Technology, University of Chinese Academy of Sciences(中国科学院大学未来技术学院)
本文提出分层知识蒸馏方法,在声学和语言两个层面将预训练语言模型的知识迁移到基于CIF的语音识别器,在AISHELL-1和LibriSpeech上分别降低15%和9%的相对错误率。
2023-05-28 cs.AI cs.CL cs.SD
MMGER: Multi-modal and Multi-granularity Generative Error Correction with LLM for Joint Accent and Speech Recognition
Northwestern Polytechnical University(西北工业大学);Huawei IIRC(华为智能基础设施研究院)
本文提出统一ASR-AR生成式纠错模型MMGER,通过多模态帧级纠错与多粒度语句级纠错结合大语言模型,在多口音场景下显著提升口音识别准确率并降低ASR字符错误率。
2024-05-06 cs.SD eess.AS
Developing vocal system impaired patient-aimed voice quality assessment approach using ASR representation-included multiple features
Graduate School of Informatics, Nagoya University(名古屋大学信息学研究科);School of Informatics, Daido University(大同大学信息学研究科);Nagoya University Graduate School of Medicine(名古屋大学大学院医学系研究科);Aichi Gakuin University(爱知学院大学);Nagoya University(名古屋大学)
本文提出利用预训练的ASR和自监督学习表示评估发声系统受损患者语音质量,在PVQD和STN-DBS数据集上取得高相关性与准确度。
2024-08-22 cs.AI cs.SD eess.AS
Incorporating L2 Phonemes Using Articulatory Features for Robust Speech Recognition
NAVER Cloud(NAVER云)
本文提出通过发音特征引入韩语 L2 音素,并以端到端 LF-MMI 训练声学模型建模发音变体,从而仅用 L1 数据提升非母语 ASR,L2 微调还能同时改善两类语音识别。
2023-06-05 cs.CL cs.LG cs.SD
The North System for Formosa Speech Recognition Challenge 2023
North Co., Ltd.(诺斯有限公司)
本研究提出用于台湾客家语(四县腔)字词/音节自动识别的North系统,介绍了其训练数据、模型架构、硬件配置三大核心组成,并公开了系统演示。
2023-10-06 cs.CL cs.SD eess.AS
Voice activity detection in the wild: A data-driven approach using teacher-student training
语音活动检测是自动语音识别(ASR)等语音相关任务的重要预处理组件。传统的监督式VAD系统通过使用例如隐马尔可夫模型这些ASR模型通常在干净和完全转录的数据上训练,限制VAD系统在干净或合成噪声数据集上训练。因此,有监督的VAD系统的一个主要挑战是它们对有噪声的真实世界数据的泛化。这项工作提出了一种数据驱动的教师-学生的VAD方法,它利用大量的和不受约束的音频数据进行训练。与以前的方法不同,在教师培训期间只需要弱标签,从而可以利用任何真实世界的潜在噪声数据集。我们的方法首先使用剪辑级监督在源数据集(Audioset)上训练教师模型。训练后,教师在未标记的目标数据集上为学生模型提供帧级指导。研究了在中型到大型数据集上训练的大量学生模型(Audioset,Voxceleb,NIST SRE)。然后,我们的方法分别在干净的,人为噪声和真实世界的数据进行评估。我们观察到显着的性能增益在人为噪声和现实世界的情况下。最后,我们将我们的方法与其他无监督和有监督的VAD方法进行了比较,证明了我们方法的优越性。
2021-05-10 cs.SD eess.AS
MS-HuBERT: Mitigating Pre-training and Inference Mismatch in Masked Language Modelling methods for learning Speech Representations
IIIT Delhi(德里印度信息技术学院);Microsoft Research Banglore(微软研究院班加罗尔分院)
针对HuBERT因预训练与推理不匹配及策略差异导致性能落后于data2vec的问题,提出含Swap方法和多簇掩码预测损失的MS-HuBERT,其在Librispeech基准上平均优于原始HuBERT5%,且预训练嵌入可提升ASR等任务性能。
2025-02-18 cs.CL
DARTS-ASR: Differentiable Architecture Search for Multilingual Speech Recognition and Adaptation
National Taiwan University(台湾大学);NVIDIA(英伟达)
在以往的工作中,只有参数权重的ASR模型的优化下固定的拓扑结构。然而,成功的模型架构的设计一直依赖于人类的经验和直觉。此外,许多与模型架构相关的超参数需要手动调整。因此,在本文中,我们提出了一个ASR的方法,有效的梯度为基础的架构搜索,DARTS-ASR。为了研究DARTS-ASR的通用性,我们不仅将我们的方法应用于许多语言来执行单语ASR,而且还应用于多语言ASR设置。在以前的工作之后,我们在多语言数据集IARPA BABEL上进行了实验。实验结果表明,我们的方法优于基线固定拓扑结构的字符错误率分别减少10.2%和10.0%,在单语和多语种ASR设置。此外,我们进行了一些分析的搜索架构的DARTS-ASR。
2020-07-26 cs.CL cs.LG cs.SD
Revisiting ASR Error Correction with Specialized Models
Apple(苹果公司);Google(谷歌)
本文提出基于紧凑seq2seq模型的语音识别纠错方法,通过合成语料训练,实现更高效的纠错性能,优于大型语言模型并在多种ASR架构和领域中表现优异。
2026-03-16 cs.CL cs.LG cs.SD
Multilingual Graphemic Hybrid ASR with Massive Data Augmentation
Facebook AI(脸书人工智能实验室)
为了为低资源语言开发高性能的ASR,解决资源缺乏的方法是利用来自多种语言的数据,并通过创建声学变体来增强训练数据。在这项工作中,我们提出了一个单一的基于grapheme-based ASR模型学习7地理上接近的语言,使用标准的混合BLSTM-HMM声学模型与无格MMI目标。我们通过对每个语言特定的字素集进行联合来构建单个ASR字素集,我们发现这种多语言字素混合ASR模型可以对所有7种语言进行独立的识别,并且大大优于每个单语言ASR模型。其次,我们评估了语言中多种数据增强方法的有效性,以及它们与多语言建模的互补性。总体而言,我们表明,所提出的多语言字形混合ASR与各种数据增强不仅可以识别任何训练集内的语言,而且还提供了大的ASR性能改进。
2020-04-08 cs.CL cs.LG cs.SD
Dual-mode ASR: Unify and Improve Streaming ASR with Full-context Modeling
Google Brain(谷歌大脑);Google LLC(谷歌有限责任公司)
流媒体自动语音识别(ASR)的目标是尽可能快速、准确地发出每个假设的单词,而全上下文ASR则在发出完整的假设之前等待完整语音话语的完成。在这项工作中,我们提出了一个统一的框架,双模式ASR,训练一个单一的端到端的ASR模型与流和全上下文语音识别共享的权重。我们发现,流ASR的延迟和准确性显着受益于权重共享和联合训练的全上下文ASR,特别是在训练过程中的就地知识蒸馏。双模式ASR框架可以应用于最近最先进的基于卷积和基于变换器的ASR网络。我们使用两个最先进的ASR网络ContextNet和Conformer在两个数据集上进行了广泛的实验,一个是广泛使用的公共数据集LibriSpeech,另一个是大规模数据集MultiDomain。实验和消融研究表明,双模式ASR不仅简化了训练和部署流式和全上下文ASR模型的工作流程,而且还显著改善了流式ASR的发射延迟和识别准确性。通过双模式ASR,我们在LibriSpeech和MultiDomain上实现了在准确性和延迟方面最先进的流媒体ASR结果。
2021-01-27 cs.AI cs.CL cs.LG
Adaptive Edge-Cloud Inference for Speech-to-Action Systems Using ASR and Large Language Models
School of Computing, University of Nebraska--Lincoln(计算机学院,内布拉斯加大学林肯分校)
本文提出ASTA系统,通过自适应边缘-云推断平衡性能与资源利用,实现语音到动作的可靠控制。
2025-12-18 cs.AI cs.SD
Spaiche: Extending State-of-the-Art ASR Models to Swiss German Dialects
ETH Zürich(苏黎世联邦理工学院)
针对瑞士德语方言低资源语音识别问题,提出考虑预测与真实标签语义距离的新损失函数,通过微调OpenAI Whisper模型超越现有最优ASR性能。
2023-09-13 cs.CL cs.LG cs.SD
On Architectures and Training for Raw Waveform Feature Extraction in ASR
RWTH Aachen University(亚琛工业大学);AppTek GmbH(AppTek有限公司)
随着基于神经网络的建模在自动语音识别(ASR)中的成功,许多研究直接基于原始波形来研究声学建模和特征提取器的学习。最近,一系列研究集中在仅音频数据的特征提取器的无监督预训练上,以提高下游ASR性能。在这项工作中,我们调查的有用性,这些前端框架之一,即wav2vec,在没有额外的未转录数据的混合ASR系统的设置。我们将此框架与手动定义的标准Gammatone特征集以及作为ASR系统训练监督的声学模型的一部分提取的特征进行比较。我们研究了使用预训练的特征提取器的好处,并探索如何额外利用使用不同特征训练的现有声学模型。最后,我们系统地研究所描述的功能的组合,以进一步提高性能。
2021-10-05 cs.CL cs.LG cs.SD
Joint Contextual Modeling for ASR Correction and Language Understanding
Uber AI(优步人工智能实验室)
自动语音识别(ASR)的质量对于对话系统是至关重要的,因为ASR错误传播到并直接影响下游任务,例如语言理解(LU)。在本文中,我们提出了多任务神经方法来执行上下文语言校正的ASR输出与LU同时提高这两个任务的性能。为了衡量这种方法的有效性,我们使用了一个公共基准,第二次对话状态跟踪(DSTC 2)语料库。作为基线方法,我们训练了特定于任务的统计语言模型(SLM)和微调了最先进的广义预训练(GPT)语言模型,以重新排列n个最佳ASR假设,然后是识别对话行为和槽的模型。i)我们使用GPT和分层CNN-RNN模型进一步训练了排名模型,其中具有歧视性损失,以检测给定n-best假设的最佳输出。我们扩展了这些排名模型,首先选择最佳ASR输出,然后以端到端的方式识别对话行为和插槽。ii)我们还提出了一种新的联合ASR纠错和LU模型,一种在顶部具有多头自注意力的单词混淆指针网络(WCN-Ptr),它消耗从n-best填充的单词混淆。我们表明,现成的ASR和以下LU系统的出错率可以显着降低14%,相对于使用少量的域内数据训练的联合模型。
2020-01-28 cs.CL cs.LG cs.SD
SALSA: Speedy ASR-LLM Synchronous Aggregation
IBM Research(IBM研究院);IIT Bombay(印度理工学院孟买分校)
本文提出 SALSA 方法,通过简单投影将 ASR 解码器与 LLM 解码器同步耦合,并采用级联分词解决词表不匹配问题,在 8 种低资源语言上实现最高 38% 的 WER 降低。
2024-08-29 cs.CL cs.LG cs.SD
Improved Consistency Training for Semi-Supervised Sequence-to-Sequence ASR via Speech Chain Reconstruction and Self-Transcribing
Nara Institute of Science and Technology(奈良先端科学技术大学院大学);Japan Advanced Institute of Science and Technology(日本北陆先端科学技术大学院大学)
一致性正则化最近被应用于半监督序列到序列(S2S)自动语音识别(ASR)。该原理鼓励ASR模型针对具有不同扰动的相同输入语音输出类似的预测。半监督S2S ASR的现有范例利用SpecAugment作为数据增强,并且需要静态教师模型来为未转录的语音产生伪转录。然而,这种范式未能充分利用一致性正则化。首先,SpecAugment的掩蔽操作可能会破坏语音的语言内容,从而影响伪标签的质量。其次,S2S ASR需要输入语音和前缀令牌两者来进行下一个预测。离线教师模型制作的静态前缀标记在一致性训练期间无法匹配动态伪标签。在这项工作中,我们提出了一个改进的一致性训练范式的半监督S2S ASR。我们利用语音链重建作为弱增强来生成高质量的伪标签。此外,我们证明了学生ASR模型产生的动态伪成绩单有利于一致性训练。在LJSpeech和LibriSpeech语料库上的实验表明,与有监督的基线相比,我们的改进范式在单说话人环境下的CER提高了12.2%,在多说话人环境下提高了38.6%。
2022-05-14 cs.CL cs.LG cs.SD
How to Learn a New Language? An Efficient Solution for Self-Supervised Learning Models Unseen Languages Adaption in Low-Resource Scenario
National Taiwan University(台湾大学);Carnegie Mellon University(卡内基梅隆大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校);FAIR(人工智能研究实验室(FAIR))
针对低资源未见语言 ASR 中 SSL 模型领域不匹配问题,本文提出带中间适配预热的 adapter 高效微调方法,仅更新 1%–5% 参数,并在 ML-SUPERB 上最高降低 28% 相对字符/音素错误率。
2025-01-05 cs.CL cs.SD eess.AS
Experiments on Turkish ASR with Self-Supervised Speech Representation Learning
Computer Engineering Department, Koç University(科奇大学计算机工程系)
虽然土耳其语被列为低资源语言,但关于土耳其语自动语音识别(ASR)的文献相对较旧。在这份报告中,我们提出了我们的研究结果土耳其ASR与语音表示学习使用HUBERT。我们使用从在线资源中收集的大规模数据调查土耳其语的HUBERT预培训。我们使用来自YouTube的6,500小时的语音数据对模型进行预训练。结果表明,这些模型还没有准备好用于商业用途,因为它们对通常发生在现实世界中的干扰(如口音,俚语,背景噪声和干扰的变化)不鲁棒。我们分析了在商业环境中使用的模型的典型错误和局限性。
2022-12-23 cs.CL cs.LG cs.SD
Improved Robust ASR for Social Robots in Public Spaces
Cloudminds Technology Inc.(达闼科技公司)
由于各种因素,包括20至5 dB的噪声SNR,部署在公共场所的社交机器人对ASR来说是一项具有挑战性的任务。现有的ASR模型在该范围内对于较高的SNR表现良好,但随着噪声的增加而大大降低。这项工作探讨了在这种情况下提供改进的ASR性能的方法。我们使用AiShell-1中文语音语料库和Kaldi ASR工具包进行评估。我们能够在SNR低于20 dB的情况下超越最先进的ASR性能,证明了使用开源工具包和数百小时的训练数据实现相对高性能ASR的可行性。
2020-01-14 cs.CL cs.SD eess.AS
MSA-ASR: Efficient Multilingual Speaker Attribution with frozen ASR Models
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Carnegie Mellon University(卡内基梅隆大学)
本研究针对现有SA-ASR方法适应性与效率受限的问题,提出MSA-ASR方法,基于冻结多语种ASR模型与弱标签训练的说话人模块实现说话人归因,仅用单语种数据训练仍在多语种场景取得媲美强基线的效果。
2025-01-15 cs.CL cs.SD eess.AS
Dynamic ASR Pathways: An Adaptive Masking Approach Towards Efficient Pruning of A Multilingual ASR Model
Center for Robust Speech Systems (CRSS), University of Texas at Dallas, USA(稳健语音系统中心(CRSS),德克萨斯大学达拉斯分校);Meta AI, USA(Meta AI)
本文提出自适应掩码剪枝方法,用于高效压缩多语言ASR模型,动态调整子网络以生成稀疏单语或双语模型,优于现有方法并减少语言特定剪枝需求。
2024-01-11 cs.AI cs.CL cs.LG
Interventional Speech Noise Injection for ASR Generalizable Spoken Language Understanding
Seoul National University(首尔大学);Yanolja(雅诺佳(韩国生活服务平台))
本文提出一种干预式语音噪声注入方法,通过切断噪声的非因果效应引入对任意ASR系统都合理的噪声,以增强SLU模型对未见ASR系统的鲁棒性和泛化能力。
2024-10-21 cs.CL cs.SD eess.AS
Directional ASR: A New Paradigm for E2E Multi-Speaker Speech Recognition with Source Localization
Johns Hopkins University(约翰斯·霍普金斯大学);Tencent AI Lab(腾讯人工智能实验室)
本文提出了一种新的范式,用于处理远场多说话人数据在一个端到端的神经网络的方式,称为定向自动语音识别(D-ASR),明确的模型源说话人的位置。在D-ASR中,源相对于麦克风阵列的方位角被定义为潜在变量。该角度控制分离的质量,这反过来又决定了ASR性能。D-ASR的所有三个功能:定位,分离和识别都连接为一个可微神经网络,并仅基于ASR错误最小化目标进行训练。与现有方法相比,D-ASR的优点有三个方面:(1)它提供了显式的说话人位置,(2)它提高了可解释性因子,(3)由于过程更加精简,它实现了更好的ASR性能。此外,D-ASR不需要像现有数据驱动的定位模型那样的显式波达方向(DOA)监督,这使得它更适合于现实数据。对于两个源混合的情况下,D-ASR实现了小于3度的平均DOA预测误差。它在分离质量和ASR性能方面也优于强大的远场多扬声器端到端系统。
2020-10-30 cs.CL cs.SD eess.AS
ArzEn-LLM: Code-Switched Egyptian Arabic-English Translation and Speech Recognition Using LLMs
Egypt-Japan University of Science and Technology(埃及-日本科学技术大学);Mansoura University(曼苏拉大学);Alexandria University(亚历山大大学)
针对埃及阿拉伯语-英语语码切换场景,本研究基于LLaMA、Gemma、Whisper等模型构建整合ASR与MT的连续语音转文本翻译系统,相较现有最优水平英、阿翻译分别提升56%、9.3%,相关资源已开源。
2024-07-12 cs.AI cs.CL cs.CY
Guided Source Separation Meets a Strong ASR Backend: Hitachi/Paderborn University Joint Investigation for Dinner Party ASR
Hitachi(日立公司);Paderborn University(帕德博恩大学)
在本文中,我们提出了日立和帕德博恩大学的共同努力,自动语音识别(ASR)在晚宴的情况下。用于通过多个麦克风阵列获得的晚宴录音的ASR系统的主要挑战是(1)严重的语音重叠,(2)严重的噪声和混响,(3)非常自然的对话内容,以及可能的(4)不足的训练数据。作为晚宴场景的示例,我们选择了CHiME-5语音识别挑战期间呈现的数据,其中基线ASR具有73.3%的单词出错率(WER),并且即使是CHiME-5挑战中表现最好的系统也具有46.1%的WER。我们广泛地研究了基于引导声源分离的语音增强技术和已经提出的强ASR后端的组合,并发现这些技术的紧密组合提供了实质性的准确性改进。我们最终的系统在开发和评估数据中分别实现了39.94%和41.64%的WER,这两个都是数据集的最佳发布结果。我们还研究了CHiME-5语料库中官方小数据的额外训练数据,以评估该ASR任务的内在难度。
2019-06-26 cs.CL cs.SD eess.AS
AutoMode-ASR: Learning to Select ASR Systems for Better Quality and Cost
aiXplain Inc.(aiXplain公司)
提出AutoMode-ASR框架,通过训练决策模型为每个音频片段选择最优ASR系统,集成二元分类器与质量估计,实现WER降低16.2%、成本节省65%、速度提升75%,且兼容黑盒系统。
2024-09-19 cs.CL cs.SD eess.AS
A Comparative Study of Modular and Joint Approaches for Speaker-Attributed ASR on Monaural Long-Form Audio
Microsoft Corp.(微软公司)
说话人属性自动语音识别(SA-ASR)是从多个说话人的录音中识别“谁说了什么”的任务。SA-ASR系统通常由语音分离、说话人日志化和ASR等多个模块组成。另一方面,考虑到联合优化,最近提出了一种端到端(E2 E)SA-ASR模型,并在仿真数据上取得了令人满意的结果。在本文中,我们提出了我们最近的研究比较真实的单声道录音,这种模块化和联合的方法对SA-ASR。我们通过利用大规模训练数据,包括7.5万小时的ASR训练数据和用于说话人表示学习的VoxCeleb语料库,为模块化和联合方法开发最先进的SA-ASR系统。我们还提出了一个新的管道,执行E2 E SA-ASR模型后,扬声器聚类。在AMI会议语料库上的评价表明,经过少量的实际数据微调后,联合系统的准确率比最好的模块系统提高了8.9- 29.9%,而模块系统在微调前的准确率更高。我们还进行了各种误差分析,以显示单耳SA-ASR的剩余问题。
2021-09-17 cs.CL cs.SD eess.AS
Learning ASR-Robust Contextualized Embeddings for Spoken Language Understanding
National Taiwan University(台湾大学)
使用预训练的语言模型(LM)来提取上下文化的单词表示,在各种NLP任务上取得了最先进的性能。然而,将该技术应用于自动语音识别器(ASR)生成的带噪转录本是令人关注的。因此,本文的重点是使上下文表示更具ASR鲁棒性。我们提出了一种新的混淆感知微调方法,以减轻ASR错误对预训练LM的影响。具体来说,我们微调LM产生类似的表示声学混淆的话,从词混淆网络(WCN)产生的ASR。在基准ATIS数据集上的实验表明,该方法在ASR成绩单上的口语语言理解性能得到显著提高。我们的源代码可以在https://github.com/MiuLab/SpokenVec上找到
2020-11-02 cs.CL cs.LG eess.AS
Wiki-En-ASR-Adapt: Large-scale synthetic dataset for English ASR Customization
Moscow Institute of Physics and Technology(莫斯科物理技术学院)
本文构建 Wiki-En-ASR-Adapt 大规模合成数据集,模拟受损 ASR 假设与偏置列表并注入两类难负样本,实验证明其可降低定制模型的 WER 与误报。
2023-09-29 cs.CL cs.SD eess.AS
PyChain: A Fully Parallelized PyTorch Implementation of LF-MMI for End-to-End ASR
AppTek(AppTek公司)
我们提出了PyChain,这是一个完全并行化的PyTorch实现,用于Kaldi自动语音识别(ASR)工具包中所谓的\emph{chain models}的端到端无格最大互信息(LF-MMI)训练。与其他基于PyTorch和Kaldi的ASR工具包不同,PyChain被设计成尽可能灵活和轻量级,以便它可以轻松地插入新的ASR项目或其他现有的基于PyTorch的ASR工具中,例如新项目PyChain-example和Espresso,现有的端到端ASR工具包。PyChain的效率和灵活性通过诸如分子/分母图上的完整GPU训练以及对不等长序列的支持等新功能得到了证明。在WSJ数据集上的实验表明,通过简单的神经网络和常用的机器学习技术,PyChain可以实现与Kaldi相当的竞争结果,并且优于其他端到端ASR系统。
2020-05-20 cs.CL cs.SD eess.AS
Improving Distinction between ASR Errors and Speech Disfluencies with Feature Space Interpolation
ActionPower
微调预训练语言模型(LM)是自动语音识别(ASR)错误检测的一种流行方法。虽然错误检测系统通常利用LM捕获的统计语言原型,但有时预训练的知识可能会阻碍错误检测性能。例如,语音不流利的存在可能会使后处理系统混淆,从而将不流利但准确的翻译标记为ASR错误。这种混淆的发生是因为错误检测和不流利检测任务都试图在统计上不太可能的位置识别标记。本文提出了一种方案,以改善现有的LM为基础的ASR错误检测系统,无论是在检测分数和弹性,这样分散辅助任务。我们的方法采用了流行的混合方法在文本特征空间,可以用于任何黑盒ASR输出。为了证明我们的方法的有效性,我们进行后处理实验与传统的和端到端的ASR系统(英语和韩语)与5个不同的语音语料库。我们发现,我们的方法提高了ASR错误检测F1分数,并减少了错误地检测为ASR错误的正确转录的不流利的数量。最后,我们提出了在半监督ASR训练中直接利用所得LM的方法。
2021-08-04 cs.CL cs.SD eess.AS
ASR-Aware End-to-end Neural Diarization
Amazon Alexa AI(亚马逊Alexa人工智能部门)
我们提出了一个基于Conformer的端到端神经日志化(EEND)模型,该模型使用来自自动语音识别(ASR)模型的声学输入和特征。两类功能进行了探讨:功能直接来自ASR输出(电话,在词中的位置和词的边界)和功能来自词汇说话人变化检测模型,通过微调预训练的BERT模型的ASR输出进行训练。三个修改的一致性为基础的EEND体系结构,提出了将功能。首先,将ASR特征与声学特征级联。其次,我们提出了一种新的注意力机制,称为语境化的自我注意,利用ASR功能来建立强大的发言人表示。最后,使用多任务学习来训练模型,以最小化ASR特征的分类损失以及日志化损失。在Switchboard+SRE数据集上的两人英语会话上的实验表明,利用词中位置信息的多任务学习是利用ASR特征的最有效方法,相对于基线,将日志化出错率(DER)降低了20%。
2022-02-02 cs.CL cs.SD eess.AS
Incorporating VAD into ASR System by Multi-task Learning
Megatronix(Beijing) Technology Co., Ltd.(兆芯(北京)科技有限公司)
在端到端自动语音识别(E2 E-ASR)系统的实际应用中,通常需要一个语音活动检测(VAD)系统来提高系统的性能,并通过丢弃音频中的非语音部分来降低计算开销。通常,ASR和VAD系统彼此独立地训练和使用。在本文中,我们提出了一种新的多任务学习(MTL)框架,将VAD到ASR系统。该系统在训练阶段学习ASR和VAD。在VAD的帮助下,ASR性能得到改善,因为其连接主义时间分类(CTC)损失函数可以利用VAD对齐信息。在推理阶段,该系统以较低的计算成本去除非语音部分,并具有较高的鲁棒性识别语音部分。实验结果表明,通过利用VAD信息,该方法优于基线ASR系统在英语和汉语数据集上的分割语音数据。在未分段的语音数据上,我们发现该系统的性能优于构建额外的基于GMM或基于DNN的语音活动检测器的ASR系统。
2022-09-30 cs.CL cs.SD eess.AS
Effect and Analysis of Large-scale Language Model Rescoring on Competitive ASR Systems
IBM Research - Tokyo(IBM研究院(东京));IBM T. J. Watson Research Center(IBM托马斯·J·沃森研究中心)
大规模语言模型(LLM),如GPT-2,BERT和RoBERTa已成功地应用于ASR N-最佳重新评分。然而,它们是否或如何能够使具有竞争力的、接近最先进的ASR系统受益仍然是未知的。在这项研究中,我们将LLM重新评分纳入最具竞争力的ASR基线之一:一致性换能器模型。我们证明了LLM的双向性,预训练,域微调和上下文增强实现了一致的改进。此外,我们的词法分析揭示了这些组件中的每一个如何对ASR性能做出贡献。
2022-08-18 cs.CL cs.SD eess.AS
Distilling the Knowledge of BERT for CTC-based ASR
Graduate School of Informatics, Kyoto University(京都大学信息学研究生院)
在自动语音识别(ASR)中,基于连接主义时态分类(CTC)的模型因其快速推理而备受关注。语言模型(LM)集成方法,如浅层融合和重评分,可以提高识别准确率的CTC为基础的ASR利用文本语料库中的知识。然而,它们显著减慢了CTC的推断。在这项研究中,我们建议提取BERT的知识,基于CTC的ASR,扩展我们以前的研究,基于注意力的ASR。基于CTC的ASR在训练过程中学习BERT的知识,在测试过程中不使用BERT,保持了CTC的快速推理能力。与基于注意力的模型不同,基于CTC的模型进行帧级预测,因此它们需要与BERT的标记级预测对齐以进行蒸馏。我们建议通过计算最合理的CTC路径来获得对齐。在自然日语语料库(CSJ)和TED-LIUM 2上的实验结果表明,该方法在不影响推理速度的前提下,提高了基于CTC的自动识别的性能。
2022-09-05 cs.CL cs.SD eess.AS
Reduce and Reconstruct: ASR for Low-Resource Phonetic Languages
Indian Institute of Technology Bombay(印度理工学院孟买分校)
这项工作提出了一个看似简单,但有效的技术,以改善语音语言的低资源ASR系统。通过识别这些语言中声学相似的字素集,我们首先使用语言学上有意义的减少来减少ASR系统的输出字母表,然后使用独立模块来重建原始字母表。我们证明,这减轻了负担,提高了低资源的端到端ASR系统的性能(因为只需要减少字母表预测),它是可以设计一个非常简单,但有效的重建模块,恢复序列在原始字母表中的序列在减少字母表。我们提出了一个有限状态传感器为基础的重建模块,在减少字母表上的1-最好的ASR假设。我们证明了我们提出的技术的有效性,使用ASR系统的两种印度语言,古吉拉特语和泰卢固语。与访问只有10小时的语音数据,我们获得相对WER减少高达7%的系统相比,不使用任何减少。
2021-06-03 cs.AI cs.CL cs.LG
NIM4-ASR: Towards Efficient, Robust, and Customizable Real-Time LLM-Based ASR
Advanced Intelligent Systems Group, NIO(蔚来智能系统集团)
提出NIM4-ASR框架,通过重新设计多阶段训练范式(包括预训练架构优化、迭代异步SFT和ASR专用强化学习)以及生产优化(噪声鲁棒性、流式推理和RAG热词定制),在2.3B参数下实现SOTA性能。
2026-06-19 cs.CL cs.SD eess.AS
Streaming End-to-End Bilingual ASR Systems with Joint Language Identification
Amazon(亚马逊)
多语言ASR技术简化了模型训练和部署,但其准确性取决于运行时语言信息的可用性。由于语言身份在现实世界中很少事先知道,因此必须以最小的延迟进行即时推断。此外,在语音激活的智能助理系统中,ASR输出的下游处理也需要语言身份。在本文中,我们介绍了流,端到端,双语系统,使用递归神经网络转换器(RNN-T)架构执行ASR和语言识别(LID)。在输入侧,来自预训练的仅声学LID分类器的嵌入用于指导RNN-T训练和推理,而在输出侧,语言目标与ASR目标联合建模。所提出的方法适用于两种语言对:英语-西班牙语在美国说,英语-印地语在印度说。实验表明,对于英语-西班牙语,双语联合ASR-LID架构匹配单语ASR和仅声学LID精度。对于更具有挑战性(由于话语内代码切换)的情况下,英语印地语,英语ASR和LID指标显示退化。总的来说,在用户在语言之间动态切换的情况下,所提出的架构提供了一个有前途的简化运行多个单语ASR模型和LID分类器并行。
2020-07-08 cs.CL cs.SD eess.AS
Fine-tuning of Pre-trained End-to-end Speech Recognition with Generative Adversarial Networks
Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
使用生成对抗网络(GAN)的端到端(E2 E)ASR系统的对抗训练最近已被探索用于低资源ASR语料库。GANs通过两个玩家的最小-最大游戏帮助学习真实的数据表示。然而,使用具有GAN框架的大型ASR语料库训练E2 E ASR模型从未被探索过,因为由于高方差梯度更新和人脸收敛问题,它可能需要过长的时间。在本文中,我们介绍了一种新的框架,用于使用GAN目标微调预训练的ASR模型,其中ASR模型充当生成器,并且尝试将ASR输出与真实数据区分开来。由于ASR模型是预先训练的,我们假设ASR模型输出(软分布向量)有助于从SVM获得更高的分数,并使SVM的任务在我们的GAN框架内变得更难,这反过来又提高了ASR模型在微调阶段的性能。在这里,预先训练的ASR模型使用额外的对抗性损失针对PSNR进行对抗性微调。在完整LibriSpeech数据集上的实验表明,我们提出的方法优于基线和传统的基于GAN的对抗模型。
2021-03-10 cs.CL cs.SD eess.AS
Extending Whisper with prompt tuning to target-speaker ASR
Shandong University(山东大学);North Carolina State University(北卡罗来纳州立大学);Shandong Normal University(山东师范大学)
本文提出利用提示微调将 Whisper 扩展至目标说话人 ASR,仅用约 1% 的任务特定参数即可达到与完全训练相当的性能,并保留时间戳等原有特性。
2024-01-11 cs.CL cs.SD eess.AS
BECTRA: Transducer-based End-to-End ASR with BERT-Enhanced Encoder
Waseda University(早稻田大学);Carnegie Mellon University(卡内基梅隆大学)
我们提出了BERT-CTC-Transducer(BECTRA),一种新的端到端自动语音识别(E2 E-ASR)模型制定的换能器与BERT增强编码器。将大规模预训练语言模型(LM)集成到E2 E-ASR中已经得到了积极的研究,旨在利用通用的语言知识来生成准确的文本。使这种集成具有挑战性的一个关键因素在于词汇不匹配;为预训练的LM构建的词汇通常对于E2 E-ASR训练来说太大,并且可能与目标ASR域不匹配。为了克服这个问题,我们提出了BECTRA,我们以前的BERT-CTC的扩展版本,实现基于BERT的E2 E-ASR使用感兴趣的词汇。BECTRA是一个基于转换器的模型,它采用BERT-CTC作为编码器,并使用适合目标任务的词汇表训练ASR特定的解码器。结合传感器和BERT-CTC,我们还提出了一种新的推理算法,利用自回归和非自回归解码。在不同数据量、说话风格和语言的多个ASR任务上的实验结果表明,BECTRA在利用BERT知识的同时有效地处理词汇不匹配问题,优于BERT-CTC。
2023-03-17 cs.CL cs.SD eess.AS
Factual Consistency Oriented Speech Recognition
Microsoft(微软)
本文提出了一种新的优化框架,自动语音识别(ASR)的目的是减少幻觉产生的ASR模型。所提出的框架优化了ASR模型,以最大限度地提高ASR假设和地面实况之间的预期事实一致性得分,其中事实一致性得分由单独训练的估计器计算。使用AMI会议语料库和VoxPopuli语料库的实验结果表明,使用所提出的框架训练的ASR模型生成的ASR假设具有显着更高的一致性分数与地面实况transmittance,同时保持接近交叉熵训练的ASR模型的单词错误率。此外,它表明,训练的ASR模型与所提出的框架,提高了语音摘要的质量,由一个大型语言模型生成的会议会话摘要的事实一致性来衡量。
2023-02-24 cs.CL cs.SD eess.AS
Improving Zero-Shot Chinese-English Code-Switching ASR with kNN-CTC and Gated Monolingual Datastores
Nankai University(南开大学);University of Science and Technology Beijing(北京科技大学)
针对kNN-CTC模型直接用于中英码切换ASR易引入跨语言噪声的问题,提出采用双单语数据存储和门控选择机制的新型CS-ASR框架,实验证明其可有效提升零样本中英码切换语音识别性能。
2025-01-17 cs.CL cs.SD eess.AS
Crossmodal ASR Error Correction with Discrete Speech Units
University of Edinburgh(爱丁堡大学)
针对低资源跨域场景下ASR转录错误问题,提出结合离散语音单元增强词嵌入的跨模态AEC方法,验证了其在不同规模数据上的有效性与下游适用性。
2024-09-13 cs.CL cs.SD eess.AS
WER We Stand: Benchmarking Urdu ASR Models
Lahore University of Management Sciences(拉瓦尔大学管理科学学院);University of Michigan - Ann Arbor(密歇根大学安娜堡分校);EMBL European Bioinformatics Institute(欧洲生物信息学研究所)
本文通过WER评测Whisper、MMS和Seamless-M4T三类乌尔都语ASR模型,并发布首个乌尔都语对话语音基准数据集,揭示不同模型在朗读与对话场景下的性能差异及文本规范化需求。
2025-06-06 cs.CL cs.SD eess.AS
Improving RNN Transducer Based ASR with Auxiliary Tasks
Facebook AI(Facebook人工智能)
与传统的混合语音识别器相比,具有单个神经网络的端到端自动语音识别(ASR)模型最近已经展示了最先进的结果。具体而言,循环神经网络传感器(RNN-T)在各种基准测试中表现出具有竞争力的ASR性能。在这项工作中,我们研究了RNN-T通过执行辅助任务来实现更好的ASR准确性的方法。我们建议(i)使用与主要RNN-T ASR任务相同的辅助任务,以及(ii)像传统的混合建模一样执行上下文相关的字形状态预测。在转录具有不同训练数据大小的社交媒体视频时,我们首先评估三种语言的流式ASR性能:罗马尼亚语,土耳其语和德语。我们发现,这两种方法提供了一致的改进。接下来,我们观察到两个辅助任务在学习RNN-T标准的深度Transformer编码器方面都表现出了有效性,从而与之前的顶级模型相比,在LibriSpeech测试-干净/其他上实现了具有竞争力的结果- 2.0%/4.2% WER。
2020-11-09 cs.CL cs.SD eess.AS