XLS-R Deep Learning Model for Multilingual ASR on Low- Resource Languages: Indonesian, Javanese, and Sundanese
Bina Nusantara University(建国大学)
本文利用XLS-R 300m模型并结合5-gram KenLM语言模型,针对印度尼西亚语、爪哇语和巽他语等低资源语言提升多语种ASR性能,显著降低了词错误率。
2024-01-12 cs.CL cs.LG cs.SD
Transcending Controlled Environments Assessing the Transferability of ASRRobust NLU Models to Real-World Applications
NUCES(巴基斯坦国立计算机与新兴科学大学)
本文研究乌尔都语智能家居场景下ASR鲁棒NLU模型从受控环境到真实应用的迁移能力,基于UrduBERT结合迁移学习与领域自适应等方法评估其鲁棒性和适应性。
2024-01-12 cs.AI cs.SD eess.AS
Parameters Optimization for Improving ASR Performance in Adverse Real World Noisy Environmental Conditions
G H Raisoni College of Engineering(G H Raisoni工程学院);SGB Amravati University(SGB阿姆拉瓦蒂大学)
从现有的研究中已经观察到,许多技术和方法可用于执行自动语音识别(ASR)系统的每个步骤,但是方法的性能(字错误消除的最小化-WER和字准确率的最大化- WAR)不依赖于在该方法中应用的唯一技术。研究表明,现有方法的性能主要取决于噪声的种类、噪声的大小以及窗口大小、帧大小、帧重叠等因素。本文提出的工作的主要目的是使用可变大小的参数,如窗口大小,帧大小和帧重叠百分比,以观察算法的性能为各种类别的噪声与不同的水平,并训练系统的所有大小的参数和类别的现实世界的噪声环境,以提高性能的语音识别系统。本文给出了应用可变大小参数进行信噪比和精度测试的结果。据观察,这是真的很难评估测试结果,并决定参数的大小,为ASR性能的改善,其结果优化。因此,本研究进一步提出了可行的和最佳的参数大小,使用模糊推理系统(FIS),以提高在不利的现实世界嘈杂的环境条件下的结果的准确性。这一工作将有助于对泛在自动语音识别系统进行区分性训练,以实现更好的人机交互。
2013-03-22 cs.CL cs.SD
Leveraging End-to-End ASR for Endangered Language Documentation: An Empirical Study on Yoloxóchitl Mixtec
The Johns Hopkins University(约翰斯·霍普金斯大学);Gettysburg College(葛底斯堡学院);Secretaría de Educación Pública, Estado de Guerrero, Mexico(墨西哥格雷罗州公共教育秘书处)
由于缺乏有效的人类转录员而造成的“转录瓶颈”是濒危语言(EL)文献的主要挑战之一。自动语音识别(ASR)已经被建议作为克服这种瓶颈的工具。根据这一建议,我们研究了端到端ASR的EL文档的有效性,与隐马尔可夫模型ASR系统不同,它避开了语言资源,而是更依赖于大数据设置。我们开源了一个Yoloxóchitl Mixtec EL语料库。首先,我们回顾了我们构建端到端ASR系统的方法,这种方法可以被ASR社区复制。然后,我们提出了一个新手转录校正任务,并演示了如何ASR系统和新手转录可以共同努力,以提高EL文档。我们相信这种组合的方法将减轻转录瓶颈和转录短缺,阻碍EL文件。
2021-03-05 cs.SD eess.AS
Streaming Voice Query Recognition using Causal Convolutional Recurrent Neural Networks
Comcast Labs(康卡斯特实验室)
支持语音的商业产品无处不在,通常由云中的轻量级设备关键字定位(KWS)和全自动语音识别(ASR)实现。ASR系统在训练和推理中需要大量的计算资源,更不用说大量的注释语音数据了。另一方面,知识和预警系统的资源密集程度较低,但能力有限。在Comcast XNUMX 1娱乐平台上,我们探索了ASR和KWS之间的中间地带:我们引入了一种新颖的、资源高效的神经网络来进行语音查询识别,它比KWS的最先进CNN要准确得多,但可以很容易地在有限的资源下进行训练和部署。在代表前200个语音查询的评估数据集上,我们实现了1%的低误报率和6%的查询出错率。我们的模型执行推理的速度比当前的ASR系统快8.24倍。
2018-12-19 cs.CL
DCTX-Conformer: Dynamic context carry-over for low latency unified streaming and non-streaming Conformer ASR
AWS AI Labs(亚马逊云科技人工智能实验室)
本文提出 DCTX-Conformer,通过非重叠动态上下文延续机制融合块左侧上下文与先前上下文嵌入,在低延迟下将统一流式/非流式 ASR 的词错误率相对 SOTA 降低 25.0%。
2024-03-01 cs.AI cs.LG cs.SD
Building an ASR Error Robust Spoken Virtual Patient System in a Highly Class-Imbalanced Scenario Without Speech Data
The Ohio State University(俄亥俄州立大学)
虚拟病人(VP)是一个强大的工具,用于培训医学生采取病人的历史,其中回答一组不同的口头问题是必不可少的模拟与学生的自然对话。这种口语语言理解系统(SLU)的性能可能受到测试数据中存在的自动语音识别(ASR)错误和SLU训练数据中高度的类别不平衡的不利影响。虽然这两个问题已分别在以前的工作中,我们开发了一种新的两步训练方法,有效地解决这两个问题,在一个单一的对话代理。由于很难在没有功能SLU系统的情况下从用户收集口语数据,因此我们的方法不依赖于口语数据进行训练,而是使用ASR错误预测器来“speechify”文本数据。我们的方法在各种单词出错率设置下显示出对VP意图分类任务的强基线的显着改进。
2022-07-01 cs.CL cs.SD eess.AS
Enhancing ASR Performance through OCR Word Frequency Analysis: Theoretical Foundations
NVIDIA(英伟达);Chung-Ang University(中央大学)
针对包含专业术语的讲座中传统ASR模型成功率低的问题,本文通过实验和数据分析验证了词频差异方法的有效性,并引入幂律作为相对频率方法论的理论基础。
2024-11-09 cs.NA cs.SD math.NA
Multilingual and Fully Non-Autoregressive ASR with Large Language Model Fusion: A Comprehensive Study
Google Research(谷歌研究院)
本文提出融合USM与PaLM 2的全非自回归多语言ASR系统,利用并行解码降低延迟,并通过多数据集实验和大规模消融验证其性能与关键影响因素。
2024-01-23 cs.CL cs.SD eess.AS
Iterative pseudo-forced alignment by acoustic CTC loss for self-supervised ASR domain adaptation
从特定领域进行高质量的数据标记是昂贵的,并且耗时。在这项工作中,我们提出了一个自我监督的领域自适应方法,基于迭代伪强制对齐算法。所产生的对齐被用于定制端到端自动语音识别(ASR)并迭代地细化。该算法由种子ASR产生的逐帧字符后验提供,用域外数据进行训练,并在整个连接主义时间分类(CTC)损失中进行优化。在广播电视的语料库上迭代地计算对准。通过减少要对齐的文本数量或扩大对齐窗口来重复该过程,直到找到最佳的音频-文本对齐。起始时间戳或时间锚是基于最后对齐的话语的置信度分数唯一地产生的。这个分数是用CTC比对矩阵的路径计算的。使用这种方法,不需要人工修改的文本参考。来自具有低质量透明度的长音频文件的对齐(如电视字幕)通过置信度分数过滤掉,并准备好进一步的ASR适配。在西班牙RTVE 2022和CommonVoice数据库上获得的结果支持了使用基于CTC的系统执行以下操作的可行性:高度准确的音频文本对齐、领域自适应和端到端ASR的半监督训练。
2023-01-15 cs.CL cs.SD eess.AS
Continued Pretraining for Low-Resource Swahili ASR: Achieving State-of-the-Art Performance with Minimal Labeled Data
Harvard University(哈佛大学)
通过持续预训练和监督微调,在极少量标注数据下实现斯瓦希里语ASR的高性能,较基线提升82%,超越现有最佳系统61%。
2026-03-11 cs.LG cs.SD eess.AS
Advancing Hearing Assessment: An ASR-Based Frequency-Specific Speech Test for Diagnosing Presbycusis
Institute of Sound and Vibration Research, University of Southampton(声学与振动研究所,南安普顿大学)
本文提出一种基于ASR的特定频率语音测试,通过模拟中度倾斜型听力损失的声学退化并分析音素混淆模式,为诊断老年性耳聋提供客观、精细的评估方法。
2025-05-28 cs.CL cs.SD eess.AS
Textual Data Augmentation for Arabic-English Code-Switching Speech Recognition
KANARI AI(卡纳里人工智能公司);Johns Hopkins University(约翰斯·霍普金斯大学);Qatar Computing Research Institute(卡塔尔计算研究所)
话语内语码转换(CS)在口语内容中的普遍性要求语音识别(ASR)系统处理混合语言。设计CS-ASR系统有许多挑战,主要是由于数据稀缺,语法结构复杂性和领域不匹配。最常见的解决CS的方法是训练ASR系统与可用的转录CS语音,以及单语数据。在这项工作中,我们提出了一个零样本学习CS-ASR的方法,通过人工生成CS文本来增强单语数据。我们基于我们的方法随机词汇替换和等价约束(EC),同时利用对齐的翻译对生成随机和语法上有效的CS内容。我们的实证结果表明,65.5%的相对减少语言模型困惑,7.7%的ASR WER在两个生态有效的CS测试集。使用EC对生成的文本进行的人工评估表明,超过80%的文本具有足够的质量。
2023-01-11 cs.CL cs.SD eess.AS
persoDA: Personalized Data Augmentation for Personalized ASR
Samsung R\&D Institute UK (SRUK) United Kingdom;Centre for Research
针对移动设备ASR个性化场景,提出由用户数据驱动、适配终端用户声学特征的persoDA数据增强方法,相比标准MCT增强,在VOICES数据集上实现13.9%的相对WER下降,收敛速度提升16%-20%。
2025-01-17 cs.SD eess.AS
AfriSpeech-200: Pan-African Accented Speech Dataset for Clinical and General Domain ASR
Mila Quebec AI Institute(米拉魁北克人工智能研究所);Lanfrica;Lelapa AI;Instituto Politécnico Nacional(国立理工学院);Masakhane NLP(Masakhane自然语言处理组织);Intron Health(Intron健康公司);CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心);AI Saturdays Lagos(拉各斯AI周六组织);Karya Inc(Karya公司);Ford Motor Company(福特汽车公司);McGill University(麦吉尔大学);University of Deutso(德乌措大学);University of Colorado Colorado Springs(科罗拉多大学科罗拉多斯普林斯分校);University of Minnesota(明尼苏达大学)
针对非洲口音临床与通用 ASR 数据及基准缺失问题,本文发布涵盖 13 国 120 种口音的 200 小时 AfriSpeech 数据集、测试基准及 SOTA 预训练模型。
2023-09-30 cs.CL
Integrating automatic speech recognition into remote healthcare interpreting: A pilot study of its impact on interpreting quality
University of Surrey(萨里大学)
本文通过一项中英医疗口译试点研究,验证了ASR完整转写及ChatGPT摘要能提升远程医疗口译质量,并探讨了最佳ASR输出呈现方式。
2025-02-05 cs.CL
Open ASR Leaderboard: Towards Reproducible and Transparent Multilingual and Long-Form Speech Recognition Evaluation
Hugging Face, Inc.(Hugging Face公司);NVIDIA(英伟达);University of Cambridge(剑桥大学);Mistral AI(Mistral AI公司);OpenAI(OpenAI公司)
本文介绍了开放语音识别排行榜,通过学术和工业社区的贡献,比较了86种开源和专有系统在12个数据集上的表现,标准化WER和RTFx评估,促进模型架构和工具包的准确-效率比较。
2026-03-30 cs.AI cs.CL cs.SD
The Cascade Equivalence Hypothesis: When Do Speech LLMs Behave Like ASR$\rightarrow$LLM Pipelines?
San Jose CA, USA(加州圣何塞)
本文研究语音大语言模型是否等价于ASR→LLM流水线,通过匹配骨干测试和机理分析,揭示其行为特性及在噪声下的性能差异。
2026-03-05 cs.AI cs.CL eess.AS
AequeVox: Automated Fairness Testing of Speech Recognition Systems
Singapore University of Technology and Design(新加坡科技设计大学)
自动语音识别(ASR)系统已经变得无处不在。它们可以在各种形状因子中找到,并且在我们的日常生活中越来越重要。因此,确保这些制度对不同的人口亚群体公平至关重要。在本文中,我们介绍,AequeVox,自动化测试框架评估ASR系统的公平性。AequeVox模拟不同的环境,以评估ASR系统对不同人群的有效性。此外,我们调查所选择的模拟是否是人类理解。我们进一步提出了一个故障定位技术,能够识别的话,这些不同的环境是不稳定的。AqueVox的两个组件都能够在没有地面实况数据的情况下运行。我们使用三种不同的商业ASR对来自四个不同数据集的语音进行了AequeVox评估。我们的实验表明,非母语英语,女性和尼日利亚英语扬声器产生的错误,平均比母语英语,男性和英国中部地区的扬声器,分别为109%,528.5%和156.9%。我们的用户研究还显示,82.9%的模拟(通过语音转换)的可理解性评分高于7(满分为10),最低评分为6.78。这进一步证实了AequeVox发现的违反公平性的行为。最后,我们表明,非鲁棒的话,预测的故障定位技术体现在AequeVox,显示223.8%以上的错误比预测的强大的话在所有ASR。
2022-01-13 cs.CL cs.LG
Vietnamese Automatic Speech Recognition: A Revisit
本文提出了一种新的数据聚合和预处理流程,用于构建高质量的越南语ASR数据集,解决了低资源语言中数据质量和标注不一致的问题。
2026-03-16 cs.CL
Dialect Adaptation and Data Augmentation for Low-Resource ASR: TalTech Systems for the MADASR 2023 Challenge
TalTech(塔林理工大学)
本文提出结合对齐数据增强与深度前缀调优的wav2vec2.0方法,用于低资源印度语言ASR的方言适配,在MADASR 2023挑战赛两个赛道中均取得最低词错误率。
2023-10-26 cs.CL eess.AS
Characterizing Speech Adversarial Examples Using Self-Attention U-Net Enhancement
Georgia Institute of Technology(佐治亚理工学院);IBM Research(IBM研究院)
最近的研究强调了对抗性示例是对基于深度神经网络(DNN)的语音识别系统的普遍威胁。在这项工作中,我们提出了一个基于U-Net的注意力模型,U-Net $_{At}$,以增强对抗性语音信号。具体来说,我们通过可解释的语音识别指标来评估模型性能,并通过增强的对抗训练来讨论模型性能。我们的实验表明,在对抗性语音示例的语音增强任务中,我们提出的U-Net $_{At}$将语音质量感知评价(PESQ)从1.13提高到2.78,语音传输指数(STI)从0.65提高到0.75,短期客观可懂度(STOI)从0.83提高到0.96。我们进行实验的自动语音识别(ASR)的任务与敌对的音频攻击。我们发现(i)注意力网络学习的时间特征能够增强基于DNN的ASR模型的鲁棒性;(ii)基于DNN的ASR模型的泛化能力可以通过应用对抗性训练和添加性对抗性数据增强来增强。单词错误率(WER)的ASR度量显示,在基于梯度的扰动下,$\%$的绝对值下降了2.22 $\%$,在进化优化的扰动下,$\%$的绝对值下降了2.03 $\%$,这表明我们的对抗训练增强模型可以进一步确保弹性ASR系统。
2022-01-01 cs.CL cs.CR cs.LG
Design of the IBM Granite 5.0 TurboCTC ASR Model
IBM Research(IBM研究院)
本文介绍 IBM Granite 5.0 TurboCTC,一个4.7亿参数的编码器模型,通过金字塔子采样、块对角注意力和推理优化,在英文短语音识别上达到速度-准确率帕累托最优,速度是竞品两倍。
2026-09-18 cs.CL
Adversarial Attacks and Defenses for Speech Recognition Systems
Center of Language and Speech Processing, The John’s Hopkins University(约翰斯·霍普金斯大学语言与语音处理中心)
本文评估针对 DeepSpeech 与 Espresso ASR 模型的 FGSM、PGD 及定向不可感知攻击,并证明随机平滑和 WaveGAN 声码器可显著增强对抗鲁棒性。
2021-03-31 cs.CR cs.SD eess.AS
WhisperAlign: Word-Boundary-Aware ASR and WhisperX-Anchored Pyannote Diarization for Long-Form Bengali Speech
WhisperAlign通过词边界感知的ASR和WhisperX锚定的Pyannote分离方法,有效提升了孟加拉语长形式语音的转录和说话人分离精度。
2026-03-05 cs.LG cs.SD
Comparison and Analysis of New Curriculum Criteria for End-to-End ASR
Aalto University(阿尔托大学)
众所周知,训练数据的数量和质量在创建良好的机器学习模型中起着重要作用。在本文中,我们更进一步,并证明训练示例的排列方式也至关重要。课程学习是建立在这样一种观察的基础上的,即有组织和有结构的知识吸收能够使培训更快,理解更好。当人类学习说话时,他们首先尝试说出基本的电话,然后逐渐转向更复杂的结构,如单词和句子。这种方法被称为课程学习,我们在自动语音识别的背景下使用它。我们假设端到端模型可以实现更好的性能时,提供了一个有组织的训练集,包括表现出越来越高的难度水平的例子(即课程)。为了在训练集上强加结构并定义简单示例的概念,我们探索了多个评分函数,这些函数要么使用来自外部神经网络的反馈,要么包含来自模型本身的反馈。实验结果表明,采用不同的训练时间,我们可以平衡的训练时间和网络的性能。
2022-08-10 cs.CL cs.LG cs.SD
Towards Quantifying Benchmark Optimization in ASR Models
Hume AI Research(休姆人工智能研究院)
本文提出量化ASR模型基准优化的方法,识别三类行为探针,发现高分开源模型存在基准优化行为,该行为可被操控且会虚增基准性能。
2026-08-21 cs.AI cs.SD
Pseudo-Labeling for Domain-Agnostic Bangla Automatic Speech Recognition
Hishab Singapore Pte. Ltd(新加坡Hishab私人有限公司);Qatar Computing Research Institute, HBKU(卡塔尔计算研究所,哈马德·本·哈利法大学)
针对低资源孟加拉语ASR领域标注数据不足的问题,提出伪标记方法构建超2万小时多场景标注数据集,训练基于conformer的ASR模型,经测试验证了其在领域无关场景下的有效性。
2023-11-06 cs.AI cs.CL
The Audio Auditor: User-Level Membership Inference in Internet of Things Voice Services
Swinburne University of Technology(斯威本科技大学);The University of Adelaide(阿德莱德大学);Deakin University(迪肯大学);The University of New South Wales(新南威尔士大学);CSIRO-Data61(澳大利亚联邦科学与工业研究组织数据61所);Macquarie University(麦考瑞大学);James Cook University(詹姆斯库克大学)
随着深度学习技术的快速发展,在各种物联网(IoT)设备上实现的语音服务的普及度不断增加。在本文中,我们研究用户级的成员资格推断的问题空间的语音服务,通过设计一个音频审计员,以验证是否有一个特定的用户不情愿地贡献音频用于训练的自动语音识别(ASR)模型下严格的黑盒访问。通过输入音频数据的用户表示及其相应的翻译文本,我们经过培训的审核员在用户级审核中是有效的。我们还观察到,无论ASR模型架构如何,在特定数据上训练的审计师都可以很好地泛化。我们在两个最先进的管道上,即混合ASR系统和端到端ASR系统上,使用LSTM,RNN和GRU算法训练的ASR模型上验证审核员。最后,我们在iPhone Siri上对我们的审计器进行了真实世界的测试,总体准确率超过80%。我们希望本文中开发的方法和发现可以告知隐私倡导者彻底改革物联网隐私。
2021-06-26 cs.CR cs.SD eess.AS
Enhancing ASR Performance in the Medical Domain for Dravidian Languages
Vallurupalli Nageswara Rao Vignana Jyothi Institute of Engineering and Technology(瓦卢鲁普利·纳加斯瓦拉·拉奥维迦纳·乔蒂学院工程与技术学院)
本文提出一种结合静态感知和声学相似度及动态模型熵的混合置信度训练框架,通过整合真实和合成语音数据提升达罗毗荼语言医学领域ASR性能,实验显示在Telugu和Kannada医疗数据集上显著降低识别错误率。
2026-04-10 cs.AI cs.CL eess.AS
Toward Zero Oracle Word Error Rate on the Switchboard Benchmark
Mod9 Technologies(Mod9科技公司)
“Switchboard benchmark”是自动语音识别(ASR)研究中非常知名的测试集,为声称具有人类水平转录准确性的系统建立了创纪录的性能。这项工作突出了鲜为人知的实际考虑,这一评价,证明了重大改进的字错误率(WER)通过纠正参考transmittance和偏离官方的评分方法。在这个更详细和可重复的计划中,即使是商业ASR系统也可以获得低于5%的WER,而研究系统的既定记录则降低到2.3%。提出了转录精确度的替代度量,其不惩罚缺失,并且似乎对人类与机器性能更具区分性。虽然商业ASR系统仍然低于这一阈值,研究系统显示出明显超过商业人类语音识别的准确性。这项工作还探讨了使用标准化的评分工具来计算甲骨文WER选择最好的替代品列表中。一个短语的替代品表示相比,话语级的N-最好的列表和单词级的数据结构,使用密集的格子,并添加词汇表外的话,这实现了0.18%的甲骨文WER。
2022-06-27 cs.CL cs.SD eess.AS
ASTER: Automatic Speech Recognition System Accessibility Testing for Stutterers
Nanyang Technological University(南洋理工大学);University of New South Wales(新南威尔士大学);Meta AI;University of Southern California(南加州大学);Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);University of Chinese Academy of Sciences(中国科学院大学);The University of Tokyo(东京大学);University of Alberta(阿尔伯塔大学)
针对ASR系统对口吃者可访问性不足的问题,提出ASTER技术,通过注入五种口吃类型生成多样化测试用例,并采用多目标优化提升质量,有效暴露系统失败,显著提高错误率,且生成音频逼真。
2023-08-30 cs.AI cs.SD cs.SE
What BERT Based Language Models Learn in Spoken Transcripts: An Empirical Study
语言模型(LM)已经普遍地用于包括口语语言理解(SLU)的各种任务中。口语需要仔细理解说话人的交互,对话状态和语音诱导的多模态行为,以生成有意义的会话表示。在这项工作中,我们建议解剖SLU分为三个代表性的属性:会话(不流利,停顿,overtalk),通道(扬声器类型,轮任务)和ASR(插入,删除,替换)。我们探测基于BERT的语言模型(BERT,RoBERTa)训练的口语成绩单,以调查其能力,理解多种属性,在没有任何语音提示。实验结果表明,LM是令人惊讶的好捕捉会话属性,如暂停预测和overtalk检测词汇标记。在缺点方面,LM在回合任务和ASR错误预测方面得分较低。此外,对LM进行口头成绩单的预训练抑制了其语言理解。最后,我们在两个基准数据集上建立了上述属性的有效性和可移植性:Switchboard Dialog Act和Disfluency数据集。
2021-09-21 cs.AI cs.CL cs.LG
Pre-training for low resource speech-to-intent applications
KU Leuven(鲁汶大学)
由于不同用户的语法和词汇偏好不同,设计将用户的口头命令映射到代理的期望任务动作的语音到意图(S2 I)代理可能具有挑战性。作为一种补救措施,我们在本文中讨论了一个用户教S2 I系统。用户自教系统从用户的语音输入中从头开始学习,并进行动作演示,确保它完全匹配用户制定意图的方式和他们的发音习惯。主要问题是由于用户的努力而导致的训练数据稀缺。在这种情况下,现有的最先进的方法是基于非负矩阵分解(NMF)和胶囊网络。在本文中,我们将端到端ASR系统的编码器与先前的基于NMF/胶囊网络的用户自教解码器相结合,并研究预训练方法是否可以减少NMF和胶囊网络的训练数据要求。实验结果表明,预训练的ASR-NMF框架显着优于其他模型,同时,我们讨论了不同类型的命令和控制(C&C)应用程序的预训练的局限性。
2021-03-30 cs.CL cs.HC cs.SD
Domain-Adaptive ASR for Telephony AI Agents: Fine-tuning Canary Flash Models for Enterprise Contact Center Applications
Botnoi Group(博特诺伊集团)
本研究基于NVIDIA NeMo框架微调Canary Flash模型,构建电话导向数据集,经四项实验验证其可提升电话环境下ASR的识别性能,同时保持实时响应性。
2026-08-27 cs.AI cs.SD
Sub-8-bit quantization for on-device speech recognition: a regularization-free approach
Amazon Alexa AI(亚马逊Alexa人工智能部门)
对于设备上自动语音识别(ASR),量化感知训练(QAT)是普遍存在的,以实现模型预测性能和效率之间的权衡。在现有的QAT方法中,一个主要的缺点是量化质心必须是预定的和固定的。为了克服这一限制,我们引入了一个正则化的自由,“软到硬”的压缩机制与自我可调的质心在μ律约束的空间,从而在一个更简单,但更通用的量化方案,称为通用量化器(GQ)。我们在LibriSpeech和去识别远场数据集上使用递归神经网络转换器(RNN-T)和Conformer架构将GQ应用于ASR任务。在不降低精度的情况下,GQ可以将RNN-T和Conformer压缩到8位以下,对于某些RNN-T层,可以压缩到1位,以实现快速准确的推理。通过物理设备基准测试,我们观察到与8位QAT相比,内存占用节省了30.73%,用户感知的延迟减少了31.75%。
2022-11-01 cs.LG cs.SD eess.AS
The Multilingual TEDx Corpus for Speech Recognition and Translation
Johns Hopkins University(约翰霍普金斯大学);University of Maryland(马里兰大学);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会)
我们提出了多语言TEDx语料库,建立支持跨许多非英语源语言的语音识别(ASR)和语音翻译(ST)研究。该语料库收集了8种源语言的TEDx演讲录音。我们将文字稿分割成句子,并将它们与源语言音频和目标语言翻译对齐。该语料库与开源代码一起发布,以便在新的谈话和语言可用时进行扩展。我们的语料库创建方法可以应用到更多的语言比以前的工作,并创建多路并行评估集。我们提供多种ASR和ST设置的基线,包括多语言模型,以提高低资源语言对的翻译性能。
2021-06-15 cs.CL
Open Automatic Speech Recognition Models for Classical and Modern Standard Arabic
NVIDIA Yerevan, Armenia(纳维达(亚塞拜疆叶列ван));NVIDIA Santa Clara, USA(纳维达(美国圣克拉拉))
本文提出阿拉伯语语音文本通用处理方法,基于FastConformer训练MSA专用模型及首个MSA与古典阿拉伯语统一模型,均取得SOTA性能并开源。
2025-07-18 cs.CL eess.AS
Dissecting User-Perceived Latency of On-Device E2E Speech Recognition
Facebook AI
随着智能手机和智能扬声器等语音设备变得越来越普遍,人们对构建可直接在设备上运行的自动语音识别(ASR)系统的兴趣越来越大;端到端(E2 E)语音识别模型,如递归神经网络换能器及其变体,最近已成为该任务的主要候选者。除了准确和紧凑之外,这样的系统还需要以低用户感知延迟(UPL)解码语音,一旦说出就产生单词。这项工作研究了各种技术-模型架构,训练标准,解码超参数和端点参数-对UPL的影响。我们的分析表明,模型大小的度量(参数,输入块大小)或计算的度量(例如,FLOPS,RTF)反映了模型处理输入帧的能力,并不总是与观察到的UPL密切相关。因此,传统的算法延迟测量可能不足以准确地捕获在嵌入式设备上部署模型时观察到的延迟。相反,我们发现影响令牌发射延迟和端点行为的因素对UPL有更大的影响。我们实现了延迟和字出错率之间的最佳权衡时,执行ASR联合端点,同时利用最近提出的对齐正则化机制。
2021-08-11 cs.CL cs.SD eess.AS
RNN based Incremental Online Spoken Language Understanding
University of Southern California(南加州大学);Disney Research(迪士尼研究院)
口语语言理解(SLU)通常由自动语音识别(ASR)和自然语言理解(NLU)模块组成。这两个模块以分块顺序方式处理信号,即,NLU通常不得不等待ASR完成基于话语的处理,这可能导致高延迟,这使得口头交互不太自然。在本文中,我们提出了基于递归神经网络(RNN)的增量处理对SLU任务的意图检测。所提出的方法提供了较低的延迟比一个典型的SLU系统,没有任何显着降低系统的精度。我们介绍和分析不同的递归神经网络架构的增量和在线处理的ASR成绩单,并将其与现有的离线系统进行比较。提出了一种词汇句尾检测器,用于将文本流分割成句子进行意图分类。意图检测实验进行基准ATIS,Snips和Facebook的多语言面向任务的对话数据集修改,以模拟一个连续的增量流的话,没有话语分界。我们还分析了早期意图检测的前景,EOS之前,我们提出的系统。
2020-11-30 cs.CL cs.LG eess.AS
Cross-lingual Knowledge Transfer and Iterative Pseudo-labeling for Low-Resource Speech Recognition with Transducers
Apple(苹果公司)
针对无人工标注数据的低资源语音识别,提出结合跨语言知识迁移与迭代伪标签训练基于Transducer的ASR系统,替代DNN-HMM混合系统,实现35%的错误率降低。
2023-05-23 cs.CL eess.AS
Is Word Error Rate a good evaluation metric for Speech Recognition in Indic Languages?
提出了一种计算自动语音识别(ASR)中出错率的新方法。这个新的度量标准适用于包含半字符的语言,并且同一个字符可以用不同的形式书写。我们实现了我们的方法在印地语,这是从印度的主要语言之一,我们认为这种方法是可扩展到其他类似的语言包含一个大的字符集。我们称我们的度量为交替字出错率(AWER)和交替字符出错率(ACER)。我们使用wav2vec 2.0 \cite{baevski2020wav2vec}为印度语训练我们的ASR模型。此外,我们使用语言模型,以提高我们的模型性能。我们的研究结果表明,在分析的出错率在单词和字符的水平和ASR系统的可解释性提高到$3$在AWER和$7$在ACER印地语的%有显着的改善。我们的实验表明,在具有复杂发音的语言中,有多种方式可以在不改变其含义的情况下书写单词。在这种情况下,AWER和ACER将比WER和CER更有用。此外,我们开源了一个新的基准测试数据集21小时印地语与新的指标脚本。
2022-06-15 cs.CL eess.AS
From Weak Labels to Strong Results: Utilizing 5,000 Hours of Noisy Classroom Transcripts with Minimal Accurate Data
Graduate School of Education(教育研究生院);College of Education(教育学院)
本文提出弱监督预训练方法,通过利用大量廉价弱转录文本和少量准确数据,提升低资源环境下课堂语音识别的性能。
2025-05-20 cs.CL cs.SD eess.AS
Whispering LLaMA: A Cross-Modal Generative Error Correction Framework for Speech Recognition
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);Manipal Institute of Technology(马尼帕尔理工学院);Georgia Institute of Technology(佐治亚理工学院);Karolinska Institute(卡罗林斯卡学院);SDAIA-KAUST Center of Excellence in Data Science and Artificial Intelligence(SDAIA-KAUST数据科学与人工智能卓越中心)
Whispering LLaMA通过跨模态融合技术提升语音识别的生成性错误校正性能,相较n-best假设提升37.66%的词错误率。
2023-10-16 cs.AI cs.CL cs.MM
Talk, Don't Write: A Study of Direct Speech-Based Image Retrieval
The University of Edinburgh(爱丁堡大学);Google Research(谷歌研究院)
基于语音的图像检索已经被研究作为联合表示学习的代理,通常不强调检索本身。因此,目前还不清楚基于语音的检索在实践中的效果如何--无论是在绝对意义上,还是与将自动语音识别(ASR)与强大的文本编码器相结合的替代策略相比。在这项工作中,我们广泛研究和扩展编码器架构,训练方法(包括单峰和多峰预训练)和其他因素的选择。我们的实验涵盖了三个数据集的不同类型的语音:Flickr音频,地点音频和本地化叙事。我们最好的模型配置实现了比现有技术更大的增益,例如,Flickr Audio的一次召回率从21.8%提高到33.2%,Places Audio的一次召回率从27.6%提高到53.4%。我们还展示了我们最好的基于语音的模型可以匹配或超过级联ASR到文本编码时,语音是自发的,重音,或以其他方式难以自动转录。
2021-06-15 cs.CL cs.CV cs.IR
Fillers in Spoken Language Understanding: Computational and Psycholinguistic Perspectives
Heriot Watt University(赫瑞瓦特大学);Télécom Paris(巴黎电信学院);University Paris-Saclay(巴黎萨克雷大学)
不流利(即打断正常的话语流)在口语中无处不在。填充语(“uh”,“um”)是与其他类型的不流利表达相比出现频率最高的不流利表达。然而,据我们所知,没有一个资源,汇集了研究的角度影响口语语言理解(SLU)对这些言语事件。这篇文章的目的是调查的角度在一个整体的方式,即从考虑潜在的(心理)语言学理论,他们的注释和自动语音识别(ASR)和SLU系统的考虑,最后,他们的研究从生成的角度来看。本文旨在以一种平易近人的方式向SLU和对话式人工智能社区展示这些观点,并讨论我们认为每个领域的趋势和挑战。
2023-03-24 cs.CL cs.HC
A Text-to-Speech Pipeline, Evaluation Methodology, and Initial Fine-Tuning Results for Child Speech Synthesis
National University of Ireland Galway(爱尔兰国立大学戈尔韦分校);University Politehnica of Bucharest(布加勒斯特理工大学)
语音合成已经取得了长足的进步,因为当前的文本到语音(TTS)模型现在可以生成自然的人类发音的语音。然而,大多数的TTS研究集中在使用成人语音数据和儿童语音合成已经做了非常有限的工作。这项研究开发并验证了一个训练管道,用于使用儿童语音数据集微调最先进的(SOTA)神经TTS模型。该方法采用多说话人TTS重调工作流程来提供迁移学习管道。一个公开可用的儿童语音数据集被清理,以提供大约19小时的较小子集,这构成了我们微调实验的基础。主观和客观的评价进行了使用预训练的MOSNet的客观评价和一个新的主观框架的平均意见评分(MOS)的评价。主观评价达到的MOS为3.95的语音清晰度,3.89的声音自然度,和3.96的声音一致性。使用预训练的MOSNet进行的客观评估显示,真实和合成儿童声音之间存在很强的相关性。说话人相似性也通过计算嵌入的话语之间的余弦相似性来验证。还使用自动语音识别(ASR)模型来提供真实儿童语音与合成儿童语音之间的字出错率(WER)比较。最终训练的TTS模型能够从参考音频样本合成儿童般的语音,短至5秒。
2022-04-04 cs.CL cs.SD eess.AS
Enhancing CTC-based speech recognition with diverse modeling units
Apple Inc.(苹果公司)
本文研究基于CTC的语音识别中多样化建模单元的作用,提出E2E模型与音素、字素等单元联合训练的方法,揭示协同使用异构单元可显著提升ASR准确率。
2024-06-11 cs.AI cs.SD eess.AS
End-to-End Spoken Language Understanding: Performance analyses of a voice command task in a low resource setting
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Grenoble INP(格勒诺布尔理工学院)
口语语言理解是大多数人机交互系统的核心任务。随着灵巧家庭、智能手机和智能音箱的出现,SLU已经成为行业的关键技术。在经典的SLU方法中,自动语音识别(ASR)模块将语音信号转录成文本表示,自然语言理解(NLU)模块从该文本表示提取语义信息。最近,基于深度神经网络的端到端SLU(E2E SLU)获得了发展势头,因为它受益于ASR和NLU部分的联合优化,从而限制了流水线架构的错误影响的级联。然而,很少有人知道E2E模型预测概念和意图从语音输入的实际语言属性。在本文中,我们提出了一项研究,确定E2E模型执行SLU任务所使用的信号特征和其他语言属性。这项研究是在一个灵巧家庭的应用领域进行的,它必须处理非英语(这里是法语)的语音命令。结果表明,良好的E2E SLU性能并不总是需要完美的ASR能力。此外,结果表明,优越的能力,E2E模型在处理背景噪声和句法变化相比,管道模型。最后,更细粒度的分析表明,E2E模型使用输入信号的音高信息来识别语音命令概念。本文概述的结果和方法提供了一个跳板E2E模型在语音处理的进一步分析。
2022-07-17 cs.CL cs.SD eess.AS
The OCON model: an old but green solution for distributable supervised classification for acoustic monitoring in smart cities
DISIM - University of L’Aquila(DISIM - 博洛尼亚大学);CNIT - Consorzio Nazionale Interuniversitario per le Telecomunicazioni(CNIT - 国家电信联合研究所)
本文将One-Class-One-Network模型应用于ASR领域的语音分类与说话人识别,结合伪NAS和超参数调优,在计算受限的智慧城市传感系统中实现了媲美复杂架构的准确率与高能效。
2024-10-05 cs.AI cs.SD eess.AS
Employing Hybrid Deep Neural Networks on Dari Speech
Avignon University(阿维尼翁大学);LIA(LIA实验室)
针对低资源语言达里语的孤立词识别问题,采用MFCC特征提取结合CNN、RNN、MLP及两种CNN-RNN混合模型,基于自建1000条语音的语料库实现了98.365%的平均识别准确率。
2023-05-04 cs.CL cs.SD eess.AS
WhisperRT -- Turning Whisper into a Causal Streaming Model
Andrew and Erna Viterbi Faculty of Electrical and Computer Engineering, Technion–Israel Institute of Technology(以色列理工学院安德鲁与厄娜·维特比电气与计算机工程学院);Language Technologies Institute, School of Computer Science, Carnegie Mellon University(卡内基梅隆大学计算机科学学院语言技术研究所)
本文提出将Whisper模型转化为低延迟流式模型的方法,通过使编码器因果化并生成与可用时间上下文对齐的token,实现更高效的流式语音识别。
2026-04-05 cs.CL cs.LG cs.SD
Tusom2021: A Phonetically Transcribed Speech Dataset from an Endangered Language for Universal Phone Recognition Experiments
Carnegie Mellon University(卡内基梅隆大学);University of Pittsburgh(匹兹堡大学);Georgia Institute of Technology(佐治亚理工学院)
人们对能够以独立于语言的方式识别电话的ASR系统越来越感兴趣。此外,还有兴趣为低资源和濒危语言构建语言技术。然而,可用于测试此类系统和技术的现实数据非常缺乏。本文介绍了一个公开可用的,语音转录语料库的2255话语(单词和短语)濒危唐古拉语东Tusom(没有ISO 639-3代码),藏缅语的变化,主要是在印度。因为数据集是根据音素而不是音素转录的,所以它比许多更大的(音素转录的)数据集更适合通用音素识别系统。本文描述了该数据集及其生成方法,并进一步介绍了该数据集上最先进的通用电话识别系统的基本基准,作为未来实验的基线。
2021-04-02 cs.CL cs.SD eess.AS
(SimPhon Speech Test): A Data-Driven Method for In Silico Design and Validation of a Phonetically Balanced Speech Test
Institute of Sound and Vibration Research (ISVR), University of Southampton, UK(声学与振动研究所(ISVR),南安普顿大学)
本研究提出SimPhon言语测试方法学,利用ASR系统模拟听力损失的感知效应,通过多阶段计算流水线筛选出25个优化词对的测试集,可捕捉超出简单可听度的感知缺陷,提升听力学测试开发效率。
2025-06-13 cs.CL cs.SD eess.AS