Syllable based DNN-HMM Cantonese Speech to Text System
The Hong Kong Polytechnic University（香港理工大学）
本文构建了基于音节声学模型的粤语语音转文本系统，采用 DNN-HMM 混合模型与 I-vector 说话人自适应技术，实验表明基于 ONC 的声学建模取得了 9.66% 词错率的最佳性能。
2024-02-13 cs.CL cs.SD eess.AS
Cantonese Automatic Speech Recognition Using Transfer Learning from Mandarin
Columbia University（哥伦比亚大学）；Recognition Technologies Inc.（识别技术公司）
我们提出了一个系统，开发一个基本的自动语音识别器（ASR）的粤语，一个低资源的语言，通过迁移学习的普通话，一个高资源的语言。我们采用一个基于普通话训练的时延神经网络，并对粤语进行了几层的权重转移。我们对传输的层数、它们的学习率和预训练i向量进行了实验。主要发现是，这种方法可以用更少的数据获得更快的训练时间。我们发现，对于每一个时期，对数概率是较小的迁移学习模型相比，粤语的唯一模型。迁移学习模型在CER方面略有改善。
2019-11-21 cs.CL
Parkinsonian Chinese Speech Analysis towards Automatic Classification of Parkinson's Disease
Tsinghua University（清华大学）
帕金森病（Parkinson's disease，PD）的早期常发生言语障碍。言语障碍可作为早期诊断的指标，而运动症状不明显。在这项研究中，我们构建了一个新的语音语料库的普通话和PD患者的分类。我们实现了经典的机器学习方法，包括用于特征选择的排名算法、卷积和递归深度网络以及端到端系统。我们的分类准确性大大超过了最先进的研究。结果表明，自由谈话比标准言语任务具有更强的分类能力，这有助于未来言语任务的设计，以有效地早期诊断疾病。基于现有的分类方法和我们的自然语音研究，从日常对话中自动检测PD可以访问大多数临床人群。
2021-05-31 cs.CL cs.SD eess.AS
MAC: A unified framework boosting low resource automatic speech recognition
Peking University（北京大学）；Microsoft Research Asia（微软亚洲研究院）
我们提出了一个统一的框架，低资源自动语音识别任务命名为Meta音频级联（MAC）。它易于实施，可以在资源极其有限的环境中进行。在数学上，我们给出了一个清晰的描述MAC框架的角度来看，baker-sampling。在这个框架中，我们利用一个新的拼接合成文本到语音系统，以提高低资源ASR任务。通过拼接合成的文语转换系统，可以整合语言发音规则，调整文语转换过程。此外，我们提出了一个广义的Meta音频集的概念，以满足不同的语言和不同的场景使用系统时的建模需求。大量的实验已经证明了MAC在低资源ASR任务上的巨大有效性。对于CTC贪婪搜索、CTC前缀、注意力和注意力重评分解码模式，MAC方法在粤语ASR任务、台语ASR任务和日语ASR任务中均能使CER降低15%以上。此外，在ASR任务中，MAC在粤语的常见语音数据集上击败了wav 2 vec 2（微调），并在台语和日语的常见语音数据集上获得了真正有竞争力的结果。其中，值得一提的是，我们在普通语音粤语ASR任务上实现了\textbf{10.9\%}的字符出错率（CER），带来了\textbf{30\%}相对wav 2 vec 2的改善（微调）。
2023-02-15 cs.CL cs.SD eess.AS
Personalized Automatic Speech Recognition Trained on Small Disordered Speech Datasets
Google Research（谷歌研究院）
本研究探讨使用少量的每说话人适应数据的个性化自动语音识别（ASR）识别无序语音的性能。我们为195名具有不同类型和严重程度的语言障碍的个体训练了个性化模型，训练集的大小从<1分钟到18 - 20分钟的语音数据。选择词错误率（WER）阈值来确定不同应用场景下的成功百分比（个性化模型达到目标WER的百分比）。对于家庭自动化场景，79%的发言者在18 - 20分钟的演讲中达到了目标WER;但即使只有3 - 4分钟的演讲，63%的发言者也达到了目标WER。进一步的评估发现，在具有会话和域外，自发短语的测试集上也有类似的改善。我们的研究结果表明，只有几分钟的录音，语音障碍的人可以从个性化的ASR中受益。
2021-10-09 cs.CL cs.LG cs.SD
KT-Speech-Crawler: Automatic Dataset Construction for Speech Recognition from YouTube Videos
University of Hamburg（汉堡大学）
在本文中，我们描述了KT-语音爬虫：一种通过抓取YouTube视频来自动构建语音识别数据集的方法。我们概述了几个过滤和后处理步骤，提取可用于训练端到端神经语音识别系统的样本。在我们的实验中，我们证明了一个单核版本的爬虫程序可以在一天内获得大约150小时的转录语音，其中包含估计3.5%的单词错误率出错率。自动收集的样本包含在各种条件下记录的阅读和自发语音，包括背景噪音和音乐，远距离麦克风录音以及各种口音和混响。在对深度神经网络进行语音识别训练时，通过将200小时收集的样本整合到训练集中，我们观察到华尔街日报数据集上的单词出错率降低了约40%。演示（http：//emnlp-demo.lakomkin.me/）和爬虫代码（https：//github.com/EgorLakomkin/KTSpeechCrawler）是公开的。
2019-03-01 cs.CL cs.LG cs.SD
Cross-Lingual Cross-Age Group Adaptation for Low-Resource Elderly Speech Emotion Recognition
The Hong Kong University of Science and Technology（香港科技大学）
针对语音情感识别偏向英语成年人的问题，本研究构建了跨语言跨年龄基准与数据集，发现跨语言推理不适用，但跨组数据增强结合语言距离能有效正则化模型并影响可迁移性。
2023-06-26 cs.CL cs.SD eess.AS
FluentSpeech: Stutter-Oriented Automatic Speech Editing with Context-Aware Diffusion Models
Zhejiang University（浙江大学）；Bytedance AI Lab（字节跳动人工智能实验室）
本文提出FluentSpeech，一个面向口吃的自动语音编辑模型，通过上下文感知扩散模型和口吃预测器模块，结合SASE数据集，有效解决了口吃去除中的过度平滑、鲁棒性不足和手动编辑区域问题，在语音编辑任务上达到SOTA性能。
2023-05-23 cs.SD eess.AS
\textsc{CantoNLU}: A benchmark for Cantonese natural language understanding
Georgetown University（乔治城大学）；University of Toronto（多伦多大学）；Ontario Tech University（安大略技术大学）；Independent Researcher（独立研究者）
本文提出粤语自然语言理解基准CantoNLU，涵盖七个句法与语义任务，并评估多种模型，发现粤语适应模型整体最优，单语模型擅长句法任务，同时发布资源以推动粤语NLP研究。
2025-10-23 cs.CL
EM2LDL: A Multilingual Speech Corpus for Mixed Emotion Recognition through Label Distribution Learning
Faculty of Data Science, City University of Macau（数据科学学院，澳门城市大学）；Graduate School of Informatics, Nagoya University（信息科学研究生院，名古屋大学）；Institute of Psychology, Chinese Academy of Sciences（心理学研究所，中国科学院）；Information Technology Center, Nagoya University（信息科技中心，名古屋大学）；Graduate School of Advanced Science and Technology, Japan Advanced Institute of Science and Technology（先进科学与技术研究生院，日本科学技术大学）
EM2LDL通过标签分布学习构建多语言语音语料库，旨在提升混合情绪识别能力，提供多语言环境下复杂情绪动态研究的测试平台。
2025-11-25 cs.CL
Deep Neural Networks for Automatic Speech Processing: A Survey from Large Corpora to Limited Data
IRIT（图卢兹计算机科学研究所）；Université de Toulouse（图卢兹大学）；CNRS（法国国家科学研究中心）
大多数最先进的语音系统都使用深度神经网络（DNN）。这些系统需要学习大量的数据。因此，在资源不足的语音语言/问题上学习最先进的框架是一项艰巨的任务。问题可能是语音受损的数据量有限。此外，获取更多的数据和/或专业知识既耗时又昂贵。在本文中，我们定位自己的以下语音处理任务：自动语音识别，说话人识别和情感识别。为了评估有限数据的问题，我们首先研究了最先进的自动语音识别系统，因为它代表了最困难的任务（由于每种语言的差异很大）。接下来，我们将概述需要较少数据的技术和任务。在最后一节中，我们研究了Few-Shot技术，因为我们将资源不足的语音解释为Few-Shot问题。在这个意义上，我们提出了一个概述的Few-Shot技术和观点，使用这种技术的重点语音问题在这次调查。它发生的审查技术不适合大型数据集。然而，一些有前途的结果，从文献鼓励使用这种技术的语音处理。
2020-03-09 cs.LG cs.SD eess.AS
HK-LegiCoST: Leveraging Non-Verbatim Transcripts for Speech Translation
Center for Language and Speech Processing（语言与语音处理中心）；Human Language Technology Center of Excellence（人类语言技术卓越中心）；Johns Hopkins University（约翰霍普金斯大学）
提出HK-LegiCoST语料库，包含600+小时粤语-英语三路平行数据，解决非逐字转录的句子级对齐挑战，在粤语语音翻译上取得竞争性基线并跨语料库验证。
2026-06-16 cs.CL cs.LG
Toward a Cross-Lingual Romanization Ecosystem for Sinitic Languages: A Paired Mandarin-Cantonese Case Study
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
本文提出汉藏语系罗马字生态系统框架，开发多种汉藏语系语言罗马字方案及配套开源基础设施，经实验验证其可提升低资源汉藏语系语音技术的迁移效果。
2026-09-11 cs.CL
CantoASR: Prosody-Aware ASR-LALM Collaboration for Low-Resource Cantonese
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Hong Kong University of Science and Technology（香港科学与技术大学）；National Taiwan University, Taiwan（台湾国立台湾大学）；Columbia University（哥伦比亚大学）；WeBank Co., Ltd., Shenzhen, China（深圳网商银行有限公司）
CantoASR通过强制对齐、LoRA微调Whisper和指令微调Qwen-Audio的协作纠错框架，利用韵律与声学线索显著降低低资源粤语ASR的字符错误率。
2025-11-06 cs.CL cs.SD
Low-Resource NMT: A Case Study on the Written and Spoken Languages in Hong Kong
The Chinese University of Hong Kong（香港中文大学）
本研究构建了基于Transformer的书面中文到书面粤语的低资源NMT系统，通过挖掘维基百科平行句对扩充训练数据，在多数测试集上超越百度翻译。
2025-05-23 cs.CL
ClovaCall: Korean Goal-Oriented Dialog Speech Corpus for Automatic Speech Recognition of Contact Centers
Clova AI, NAVER Corp.（NAVER公司Clova人工智能实验室）；Hankuk University of Foreign Studies（韩国外国语大学）
通过呼叫的自动语音识别（ASR）对于各种应用至关重要，包括AI for Contact Center（AICC）服务。尽管ASR的进步，然而，大多数公开可用的基于呼叫的语音语料库，如Switchboard是老式的。此外，大多数现有的呼叫语料库是英语的，主要集中在开放域对话或一般情况下，如有声读物。在这里，我们介绍了一个新的大规模的韩国呼叫为基础的语音语料库下的目标导向的对话场景，从超过11,000人，即，ClovaCall语料库。ClovaCall包括餐馆预订域中的大约60，000对短句及其对应的口语。我们使用两个标准的ASR模型进行了密集的实验，验证了我们的数据集的有效性。此外，我们还通过https://github.com/ClovaAI/ClovaCall发布了ClovaCall数据集和基线源代码。
2020-05-17 cs.CL cs.LG cs.SD
PathBench: Speech Intelligibility Benchmark for Automatic Pathological Speech Assessment
Nagoya University, Japan（日本名古屋大学）；University of Groningen, The Netherlands（荷兰格罗宁根大学）；Department of Neurology, Faculty of Medicine（医学院神经科部门）
提出PathBench基准，统一使用公开数据集比较无参考、参考文本和参考音频方法，并引入Dual-ASR发音精度（DArtP）方法，在无参考方法中取得最高平均相关性。
2026-06-24 cs.SD
Reference-free automatic speech severity evaluation using acoustic unit language modelling
Nagoya University（名古屋大学）
针对现有语音严重程度评估模型泛化性差、需参考语音/文本的问题，提出无参考方法SpeechLMScore，构建NKI-SpeechRT数据集，验证其抗噪性及优于传统方法的性能。
2025-10-01 cs.SD
CantonMT: Cantonese to English NMT Platform with Fine-Tuned Models Using Synthetic Back-Translation Data
The University of Manchester（曼彻斯特大学）
本文提出CantonMT平台，通过回译数据增强微调OpusMT、NLLB和mBART模型，实现粤语到英语低资源神经机器翻译，并提供开源工具包和用户界面以促进相关研究。
2024-06-09 cs.AI cs.CL
From Speech-to-Speech Translation to Automatic Dubbing
Amazon（亚马逊）
我们提出了增强语音到语音翻译管道，以执行自动配音。我们的架构具有神经机器翻译生成首选长度的输出，翻译与原始语音片段的韵律对齐，神经文本到语音与每个话语的持续时间的微调，最后，音频渲染以丰富文本到语音输出与从原始音频中提取的背景噪声和混响。我们报告的自动配音的摘录TED演讲从英语到意大利语，这措施的自动配音的感知自然度和每个建议的增强的相对重要性的主观评价。
2020-02-02 cs.CL cs.SD eess.AS
Automatic Speech Recognition for Multilingual Oral History Research
Centre of Sustainability Research, University of Otago（奥塔哥大学可持续发展研究中心）；Te Pūnaha Matatini Centre of Research Excellence for Complex Systems（Te Pūnaha Matatini 复杂系统卓越研究中心）；New Zealand Chinese Association（新西兰华人协会）
该研究针对新西兰粤语口述历史，测试Whisper等ASR工具包在语码转换场景的有效性，发现其虽存在非英语片段转录问题，但能大幅减少转录时间，为多语种口述历史研究提供实用工具。
2026-09-07 cs.CL eess.AS
Sentiment-Aware Automatic Speech Recognition pre-training for enhanced Speech Emotion Recognition
Amazon（亚马逊公司）
提出了一种新的语音情感识别多任务预训练方法。我们在自动语音识别（ASR）和情感分类任务上同时预训练SER模型，以使声学ASR模型更具"情感意识“。我们使用在公开数据上训练的文本到情感模型来生成情感分类的目标。最后，我们对情感注释语音数据的声学ASR进行微调。我们在MSP播客数据集上评估了所提出的方法，在那里我们实现了最好的一致性相关系数（CCC）为0.41的效价预测。
2022-01-27 cs.CL cs.SD eess.AS
Jointly Optimizing Translations and Speech Timing to Improve Isochrony in Automatic Dubbing
AWS AI Labs（亚马逊云科技人工智能实验室）；Center for Information and Language Processing, LMU Munich（慕尼黑大学信息与语言处理中心）
自动配音是将视频中的原始语音翻译成目标语言语音的过程。新的目标语言语音应满足等时性，也就是说，新的语音应与原始视频的时间对齐，包括嘴部动作，停顿，手势等，在本文中，我们提出了一个模型，直接优化翻译以及生成的翻译的语音持续时间的训练。我们表明，该系统生成的语音，更好地匹配的原始语音的时间，相比以前的工作，同时简化了系统架构。
2023-02-25 cs.CL cs.SD eess.AS
FASA: a Flexible and Automatic Speech Aligner for Extracting High-quality Aligned Children Speech Data
SUNY Buffalo（纽约州立大学布法罗分校）
针对儿童语音ASR缺乏高质量对齐数据的问题，提出灵活自动语音对齐工具FASA，从含噪数据中提取高质量对齐儿童语音，在CHILDES数据集上数据质量比人工标注提升13.6倍。
2024-06-25 cs.CL cs.SD eess.AS
SkinAugment: Auto-Encoding Speaker Conversions for Automatic Speech Translation
Johns Hopkins University（约翰斯·霍普金斯大学）；Facebook（脸书）
我们提出了自动编码说话人转换的训练数据增强自动语音翻译。这种技术直接转换音频序列，导致音频合成为类似于另一个说话者的声音。我们的方法相比毫不逊色SpecAugment英语$\to$法语和英语$\to$罗马尼亚语自动语音翻译（AST）的任务，以及低资源英语自动语音识别（ASR）的任务。此外，在消融中，我们展示了增强数据的数量和多样性的好处。最后，我们表明，我们可以结合我们的方法与增强机器翻译的成绩单，以获得一个有竞争力的端到端AST模型，优于一个非常强大的级联模型上的英语$\to$法国AST任务。我们的方法是足够的一般，它可以应用到其他语音生成和分析任务。
2020-02-27 cs.CL cs.SD eess.AS
Automatic Prosody Annotation with Pre-Trained Text-Speech Model
Tencent AI Lab（腾讯人工智能实验室）；Peking University（北京大学）
韵律边界在文本到语音合成（TTS）的自然度和可读性方面起着重要的作用。然而，韵律边界标签的获取依赖于人工标注，这是昂贵的和耗时的。在本文中，我们提出了自动提取韵律边界标签的文本音频数据通过神经文本语音模型与预先训练的音频编码器。该模型分别在文本和语音数据上进行预训练，并以三元组格式对TTS数据进行联合微调：{语音，文本，韵律}。自动评测和人工评测的实验结果表明：1）本文提出的文本-语音韵律标注框架显著优于纯文本基线; 2）自动韵律边界标注的质量与人工标注相当; 3）使用模型标注边界训练的TTS系统略优于使用人工边界的系统。
2022-06-16 cs.CL cs.SD eess.AS
Thank you for Attention: A survey on Attention-based Artificial Neural Networks for Automatic Speech Recognition
Federation University Australia（澳大利亚联邦大学）
在基于人工神经网络的序列到序列模型中，注意力是一种非常流行和有效的机制。在这篇调查论文中，提供了一个全面的审查不同的注意力模型用于开发自动语音识别系统。本文重点介绍了在基于递归神经网络和Transformer的架构中离线和流式语音识别的注意力模型的发展和演变。
2021-02-14 cs.CL cs.SD eess.AS
Bengali Common Voice Speech Dataset for Automatic Speech Recognition
Michigan State University（密歇根州立大学）；RPI（伦斯勒理工学院）；Vanderbilt University（范德堡大学）；Rice University（莱斯大学）
孟加拉语是世界上使用最多的语言之一，全球有超过3亿人使用。尽管孟加拉语语音识别系统很受欢迎，但由于缺乏多样化的开源数据集，对孟加拉语语音识别系统开发的研究受到了阻碍。作为前进的方向，我们已经众包了孟加拉语通用语音语音数据集，这是一个高级自动语音识别语料库。该数据集在Mozilla Common Voice平台上收集，是正在进行的活动的一部分，该活动在两个月内收集了超过400小时的数据，并且正在迅速增长。我们的分析表明，与现有最大的开源孟加拉语语音数据集OpenSLR孟加拉语ASR数据集相比，该数据集具有更多的扬声器，音素和环境多样性。我们提出了从数据集中获得的见解，并讨论了需要在未来版本中解决的关键语言挑战。此外，我们报告了一些自动语音识别（ASR）算法的当前性能，并为未来的研究设定了基准。
2022-06-29 cs.CL cs.SD eess.AS
Unsupervised Automatic Speech Recognition: A Review
UAE University（阿联酋大学）；National University of Science & Technology（国家科学技术大学）
自动语音识别（ASR）系统可以被训练以在给定大量手动转录的语音的情况下实现显著的性能，但是对于所有感兴趣的语言而言，获取大的标记数据集可能是困难的或昂贵的。在本文中，我们回顾了研究文献，以确定可能导致完全无监督ASR的模型和想法，包括语音信号的无监督分割，从语音段到文本的无监督映射，以及具有标称数量的标记示例的半监督模型。这项研究的目的是确定什么可以从语音数据单独学习的局限性，并了解语音识别的最低要求。识别这些限制将有助于优化低资源语言的ASR开发资源和工作。
2022-03-20 cs.CL cs.SD eess.AS
TI-ASU: Toward Robust Automatic Speech Understanding through Text-to-speech Imputation Against Missing Speech Modality
University of Southern California（南加州大学）；Amazon AGI（亚马逊AGI）
针对语音模态缺失场景下的自动语音理解（ASU）问题，提出TI-ASU方法，利用预训练文本转语音模型填补缺失语音。实验表明，在训练语音缺失比例高达95%时该方法仍能显著提升ASU性能，并自适应dropout训练增强推理鲁棒性。
2024-04-27 cs.CL cs.SD eess.AS
Residual Excitation Skewness for Automatic Speech Polarity Detection
University of Mons（蒙斯大学）；TCTS Lab（TCTS实验室）
检测正确的语音极性是几种语音处理技术之前的必要步骤。在其确定上的错误可能会对他们的表现产生巨大的不利影响。随着当前系统必须处理来自多个设备的越来越多的数据，语音极性的自动检测已经成为一个至关重要的问题。为此，我们在这里提出了一个非常简单的算法的基础上偏度的两个激励信号。该方法在10个语音语料库（8545个文件）上显示，在干净的条件下，错误率仅为0.06%，并且明显优于四种最先进的方法。此外，它通过其简单性显着降低了计算负荷，并观察到在噪声和混响环境中表现出最强的鲁棒性。
2020-05-31 cs.CL cs.SD eess.AS
The Makerere Radio Speech Corpus: A Luganda Radio Corpus for Automatic Speech Recognition
Makerere University（马凯雷雷大学）；Ronin Institute（罗宁研究所）；Coqui
建立一个可用的无线电监测自动语音识别（ASR）系统是一项具有挑战性的任务，资源不足的语言，但这是至关重要的社会，无线电是主要媒体的公共沟通和讨论。联合国在乌干达的初步努力证明，了解被排除在社交媒体之外的农村人的看法对国家规划非常重要。然而，这些努力受到缺乏转录语音数据集的挑战。在本文中，Makerere人工智能研究实验室发布了155小时的卢甘达电台语音语料库。据我们所知，这是撒哈拉以南非洲第一个公开的无线电数据集。本文介绍了语音语料库的发展，并提出了基线Luganda ASR的性能结果使用Coqui STT工具包，一个开源的语音识别工具包。
2022-06-20 cs.CL cs.SD eess.AS
BART based semantic correction for Mandarin automatic speech recognition system
Cloudwalk Technology（云从科技）
虽然自动语音识别（ASR）系统近年来取得了显著的进步，但是口语识别错误仍然存在，并且很容易被人类发现。各种语言建模技术已经开发出后识别任务，如语义校正。在本文中，我们提出了一种基于Transformer的语义校正方法与预训练的BART初始化，在10000小时的汉语语音数据集上的实验表明，字符出错率（CER）可以有效地减少21.7%，相对于我们的基线ASR系统。专家评估表明，我们的模型的实际改善超过CER表明。
2021-03-26 cs.CL cs.SD eess.AS
Enhancing Indonesian Automatic Speech Recognition: Evaluating Multilingual Models with Diverse Speech Variabilities
Institut Teknologi Bandung（万隆理工学院）；University of Indonesia（印度尼西亚大学）；Japan Advanced Institute of Science and Technology（日本先进科学技术学院）；Nara Institute of Science and Technology（奈良科学技术大学）
本研究评估了MMS和Whisper等多语言模型在多样语音变异性下的印尼语ASR能力，发现微调的Whisper模型表现最佳，且说话风格变异性对模型性能影响最大。
2024-10-14 cs.CL cs.SD eess.AS
Pitch Accent Detection improves Pretrained Automatic Speech Recognition
IT University of Copenhagen（丹麦技术大学）；AppleDenmark（苹果丹麦）
本文提出联合ASR与音高重音检测模型，音高重音检测F1差距缩小41%，ASR在LibriSpeech上WER降低28.3%，凸显预训练模型保留韵律线索的重要性。
2025-08-06 cs.CL cs.SD eess.AS
Homophone-based Label Smoothing in End-to-End Automatic Speech Recognition
UBTECH Robotics Inc（优必选机器人公司）
提出了一种新的标签平滑方法，该方法利用人类语言水平上的先验知识--同音字，用于自动语音识别（ASR）。与前人相比，该方法以更复杂的方式利用了同音字的发音知识。联合学习声学模型和语言模型的端到端ASR模型以及对字符单元的建模是该方法的必要条件。在混合CTC序列到序列模型上的实验表明，该方法可以将字符错误率（CER）绝对降低0.4%。
2020-05-14 cs.CL cs.SD eess.AS
Robustness of end-to-end Automatic Speech Recognition Models -- A Case Study using Mozilla DeepSpeech
University of Duisburg-Essen（杜伊斯堡-埃森大学）
在评估自动语音识别模型的性能时，通常使用特定数据集内的单词出错率。在理解数据集时必须特别小心，以便报告真实的性能数字。我们认为，许多性能数据报告可能低估了预期的出错率。我们进行实验，控制选择偏差，性别以及重叠（训练和测试数据之间）的内容，声音和录音条件。我们发现，内容重叠的影响最大，但其他因素，如性别也发挥了作用。
2021-05-08 cs.CL cs.SD eess.AS
Anchoring Speech with Semantics: A Multimodal Adapter Mechanism for Automatic Speech Recognition in Low-Resource Languages
National Taiwan Normal University（台湾师范大学）；EZAI；Academia Sinica（中央研究院）
针对低资源语言ASR的监督证据不足问题，提出轻量级多模态适配器机制SAMA-ASR，结合语义与声学锚，在台湾闽南语和客家话数据集上优于多种基线，且紧凑ST模型可生成有效语义锚。
2026-09-01 cs.CL cs.SD eess.AS
Bringing NURC/SP to Digital Life: the Role of Open-source Automatic Speech Recognition Models
Federal University of Goiás（戈亚斯联邦大学）；São Paulo State University（圣保罗州立大学）；University of São Paulo（圣保罗大学）
1969年开始的巴西语文化中心项目研究巴西五个首都的文化语言城市规范，负责为每个首都编制一个大型语料库。数字化的CNAS/SP包括在圣保罗首都进行的334小时录音中的375项查询。虽然47项调查有录音记录，但录音记录之间没有一致性，328项调查没有录音记录。本文提出了一个评估和错误分析的三个自动语音识别模型与葡萄牙语的自发语音训练和一个模型与准备的语音训练。评估使我们能够选择最佳模型，使用WER和CER指标，在手动对齐的CNOC/SP样本中，自动转录284小时。
2022-10-14 cs.CL cs.SD eess.AS
On monoaural speech enhancement for automatic recognition of real noisy speech using mixture invariant training
University of Sheffield（谢菲尔德大学）；Toshiba Cambridge Research Laboratory（东芝剑桥研究实验室）
在本文中，我们探讨了一个改进的框架，训练单耳神经增强模型的鲁棒语音识别。所设计的训练框架扩展了现有的混合不变训练标准，以利用未配对的干净语音和真实的噪声数据。研究发现，不成对的纯净语音是提高从实际噪声中分离出的语音质量的关键。所提出的方法还执行处理和未处理的信号的再混合，以减轻处理伪影。在单通道CHiME-3真实测试集上的实验表明，该方法在语音识别性能方面明显优于在非监督方式下训练的增强系统，无论是在不匹配的模拟数据上训练，还是在匹配的真实数据上训练。与使用端到端和混合声学模型的未处理信号相比，所提出的系统已经实现了16%至39%的相对WER降低，而无需对失真数据进行再训练。
2022-09-20 cs.CL cs.SD eess.AS
Analysis of Deep Clustering as Preprocessing for Automatic Speech Recognition of Sparsely Overlapping Speech
RWTH Aachen University（亚琛工业大学）；AppTek GmbH（AppTek有限公司）
当音频信号包含串扰时，自动语音识别（ASR）系统的性能显著下降。最近提出的解决多说话者ASR问题的方法之一是深度聚类（DPCL）方法。将DPCL与最先进的混合声学模型相结合，我们在常用的wsj 0 - 2 mix数据集上获得了16.5%的单词出错率（WER），这是迄今为止据我们所知的最佳性能。wsj 0 - 2 mix数据集包含模拟的串扰，其中多个说话者的语音几乎在整个话语中重叠。在更现实的ASR场景中，音频信号包含单说话者语音的显著部分，并且仅信号的一部分包含多个竞争说话者的语音。本文研究了在这种情况下，稀疏重叠的语音应用DPCL作为预处理方法的ASR的障碍。为此，我们提出了一种数据模拟方法，密切相关的wsj 0 - 2 mix数据集，生成稀疏重叠的语音数据集的任意重叠率。将DPCL应用于稀疏重叠语音的分析是完全重叠数据集（如wsj 0 - 2 mix）和更真实的ASR数据集（如CHiME-5或AMI）之间的重要中间步骤。
2019-09-25 cs.CL cs.SD eess.AS
Improving Semi-supervised End-to-end Automatic Speech Recognition using CycleGAN and Inter-domain Losses
University of Stuttgart（斯图加特大学）
我们提出了一种新的方法，结合CycleGAN和域间损失的半监督端到端自动语音识别。域间丢失的目标是使用共享网络提取语音和文本输入的中间共享表示。CycleGAN使用循环一致性损失和身份映射损失来保留从一个域转换到另一个域后输入特征的相关特征。因此，这两种方法都适合于在不成对的语音-文本输入上训练端到端模型。在本文中，我们利用域间损失和CycleGAN的优势来实现未配对语音和文本输入的更好共享表示，从而改进语音到文本的映射。我们在WSJ eval 92和Voxforge（非英语）上的实验结果显示，字符出错率比基线降低了8~8.5%，在LibriSpeech test_clean上的结果也显示出明显的改善。
2022-10-20 cs.CL cs.SD eess.AS
SMILE: Speech Meta In-Context Learning for Low-Resource Language Automatic Speech Recognition
Electrical Engineering Department National Taiwan University Taipei, Taiwan（电子工程系 国立台湾大学 台北 台湾）
针对低资源语言ASR数据不足、现有适配策略存在缺陷的问题，提出融合元学习与语音上下文学习的SMILE框架，通过高资源语言元训练实现低资源语言少样本泛化，在ML-SUPERB基准上性能优于基线。
2025-06-14 cs.CL cs.SD eess.AS
Benchmarking Evaluation Metrics for Code-Switching Automatic Speech Recognition
New York University Abu Dhabi（纽约大学阿布扎比分校）；University of Stuttgart（斯图加特大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Stanford University（斯坦福大学）；Qatar Computing Research Institute（卡塔尔计算研究所）；Microsoft Research India（微软印度研究院）
语码转换为多语种自动语音识别带来了许多挑战和机遇。在本文中，我们专注于鲁棒性和公平的评价指标的问题。为此，我们开发了一个参考基准数据集的代码切换语音识别假设与人类的判断。我们为自动假设的最小编辑定义了明确的指导方针。我们使用4路注释器间协议来验证指南。我们评估了大量的指标与人类判断的相关性。我们考虑的指标在表示（正字法，语音，语义），直接性（内在与外在），粒度（例如单词，字符）和相似性计算方法方面有所不同。与人类判断的最高相关性是使用音译，然后是文本规范化。我们发布了第一个语料库的人类接受的代码切换语音识别结果在方言阿拉伯语/英语对话语音。
2022-11-22 cs.CL cs.SD eess.AS
Automatic Documentation of ICD Codes with Far-Field Speech Recognition
Stanford University（斯坦福大学）；Rush University Medical Center（拉什大学医学中心）
文件错误增加了医疗保健成本，并导致不必要的患者死亡。作为诊断和计费的标准语言，ICD代码是全球医疗文档的基础。尽管电子医疗记录的普及，医院仍然见证了高水平的ICD错误编码。在本文中，我们提出了自动文档ICD代码与远场语音识别。远场语音发生在麦克风位于距离源几米处时，这在灵巧家庭和安全系统中很常见。我们的方法结合了声学信号处理和递归神经网络识别和ICD代码的实时的。为了评估我们的模型，我们收集了ICD-10代码的远场语音数据集，发现我们的模型达到了87%的准确率，BLEU评分为85%。通过从无监督的医学语言模型中采样，我们的方法能够优于现有的方法。总的来说，这项工作显示了自动语音识别的潜力，以提供高效，准确和具有成本效益的医疗保健文件。
2018-11-27 cs.CL cs.SD eess.AS
Dual-decoder Transformer for Joint Automatic Speech Recognition and Multilingual Speech Translation
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Facebook AI（Facebook人工智能研究院）
我们介绍了双解码器Transformer，一个新的模型架构，共同执行自动语音识别（ASR）和多语言语音翻译（ST）。我们的模型基于原始的Transformer架构（Vaswani等人，2017），但由两个解码器组成，每个解码器负责一个任务（ASR或ST）。我们的主要贡献在于这些解码器是如何相互作用的：一个解码器可以通过双重注意力机制来关注不同的信息源。我们提出了两个变种，这些架构对应于两个不同级别的解码器之间的依赖关系，称为并行和交叉双解码器Transformers，分别。在MuST-C数据集上进行的大量实验表明，我们的模型在多语言环境中的翻译性能优于先前报道的最高翻译性能，并且优于双语一对一的结果。此外，我们的并行模型表明没有权衡ASR和ST相比，香草多任务架构。我们的代码和预培训模型可在https://github.com/formiel/speech-translation上获得。
2020-11-02 cs.CL cs.SD eess.AS
MoLE : Mixture of Language Experts for Multi-Lingual Automatic Speech Recognition
NAVER Cloud（NAVER 云）
多语言语音识别的目标是区分不同语言的语言表达，同时集成声学处理。相比之下，当前的多语言语音识别研究遵循语言感知范式，主要针对提高识别性能而不是区分语言特征。在本文中，我们提出了一个多语言语音识别网络命名为混合的语音识别专家（MoLE），它在各种语言的语音识别。具体来说，MoLE从任意语言的输入语音中分析语言表达，使用轻量级语言标记器激活特定语言的专家。标记器不仅激活专家，而且还估计激活的可靠性。基于可靠性，激活的专家和语言不可知的专家聚集来表示语言条件的嵌入，用于高效的语音识别。我们提出的模型在5种语言的情况下进行评估，实验结果表明，我们的结构是有利的多语言识别，特别是在低资源语言的语音。
2023-02-27 cs.CL cs.SD eess.AS
Automatic Speech Recognition (ASR) for the Diagnosis of pronunciation of Speech Sound Disorders in Korean children
Korea University（高丽大学）；MediaZen；The Catholic University of Korea（韩国天主教大学）；Dankook University（檀国大学）
本研究微调wav2vec 2.0 XLS-R模型识别儿童实际发音，用于诊断韩语语音障碍，准确率约90%，可简化临床发音错误诊断流程。
2024-03-13 cs.CL cs.SD eess.AS
Aggression in Hindi and English Speech: Acoustic Correlates and Automatic Identification
Dr. Bhimrao Ambedkar University（宾希姆拉奥·安贝德卡尔博士大学）；Jawaharlal Nehru University（贾瓦哈拉尔·尼赫鲁大学）；Indian Institute of Technology（印度理工学院）；Tezpur University（特兹普尔大学）
在本论文中，我们将提出的结果，声学分析的政治话语在印地语和讨论一些常规的声学特征的侵略性讲话经常采用的印地语和英语的发言者。该研究基于10个多小时的政治话语语料库，包括新闻频道和政治演讲的辩论。利用这项研究，我们开发了两个自动分类系统，用于识别侵略英语和印地语语音，完全基于声学模型。使用50小时的注释语音训练的印地语分类器和使用40小时的注释语音训练的英语分类器分别达到了超过73%和66%的准确率。在本文中，我们讨论了这个带注释的数据集的发展，实验开发的分类器，并讨论了错误，它使。
2022-04-06 cs.CL cs.SD eess.AS
End-to-End Automatic Speech Recognition Integrated With CTC-Based Voice Activity Detection
Nagoya University（名古屋大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文将语音活动检测（VAD）功能与端到端自动语音识别集成到一个在线语音界面，并转录很长的音频记录。我们专注于连接主义时间分类（CTC）及其扩展的CTC/注意架构。与基于注意力的架构相反，输入同步标签预测可以基于具有CTC（预）softmax输出的贪婪搜索来执行。该预测包括连续的长空白标签，可以将其视为非语音区域。我们使用的标签作为一个线索，检测语音段与简单的阈值。阈值与非语音区域的长度直接相关，这比传统的VAD超参数更直观，更容易控制。未分割数据的实验结果表明，该方法优于基线方法使用传统的基于能量和神经网络的VAD方法，并实现了RTF小于0.2。所提出的方法是公开可用的。
2020-02-14 cs.CL cs.SD eess.AS
High-Quality Automatic Voice Over with Accurate Alignment: Supervision through Self-Supervised Discrete Speech Units
National University of Singapore（新加坡国立大学）；The University of Texas at Dallas（德克萨斯大学达拉斯分校）；Shenzhen Research Institute of Big Data（深圳大数据研究院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
本文提出一种基于自监督离散语音单元预测的自动配音方法，通过提供更直接的对齐监督并缓解上下文与声学特征的不匹配，显著提升了唇音同步与语音质量。
2023-06-29 cs.CL cs.SD eess.AS
On-Device Personalization of Automatic Speech Recognition Models for Disordered Speech
Google（谷歌）
虽然当前最先进的自动语音识别（ASR）系统在典型语音上实现了高准确度，但是它们在无序语音和其他非典型语音模式上遭受显著的性能降级。ASR模型的个性化（对该问题的常用解决方案）通常在基于服务器的训练环境中执行，从而引起关于数据隐私、延迟的模型更新时间以及用于在移动终端和服务器基础设施之间复制数据和模型的通信成本的问题。在本文中，我们提出了一种基于设备的ASR个性化的方法，具有非常少量的特定于说话者的数据。我们测试了我们的方法在一组不同的100位发言者与无序的讲话，并发现中位数相对字错误率提高了71%，只有50个短的话语，每个发言者。当在语音控制的家庭自动化平台上进行测试时，设备上的个性化模型显示出81%的任务成功率中位数，而未经调整的模型只有40%。
2021-06-18 cs.CL cs.LG cs.SD
Exploiting ultrasound tongue imaging for the automatic detection of speech articulation errors
University of Edinburgh（爱丁堡大学）；University of Strathclyde（思克莱德大学）
语音障碍是儿童时期常见的沟通障碍。由于言语障碍会对儿童的生活和发育产生负面影响，因此通常建议进行临床干预。为了帮助诊断和治疗，临床医生使用仪器方法，如频谱图或超声舌成像来分析语音发音。使用这些方法进行分析对于临床医生来说可能是费力的，因此对其自动化的兴趣越来越大。在本文中，我们调查的贡献超声舌成像语音清晰度错误的自动检测。我们的系统是在典型的儿童语音发展方面进行训练的，并使用音频和超声波进行成人语音数据库的增强。对典型发育语音的评估表明，对成人语音进行预训练并联合使用超声和音频的效果最好，准确率为86.9%。为了评估言语障碍，我们收集了有经验的言语和语言治疗师的发音评分，重点是软腭前置和/r/滑动的情况。分数显示了良好的注释者之间的协议软腭前方，但不是滑行错误。对于自动软腭前端检错检测，当联合使用超声和音频时获得最佳结果。最好的系统可以正确检测出86.6%的由经验丰富的临床医生识别的错误。在最佳系统识别为错误的所有片段中，73.2%与临床医生识别的错误相匹配。自动滑动检测的结果很难解释，由于差的注释者之间的协议，但似乎有希望。总体研究结果表明，语音清晰度错误的自动检测有可能被集成到超声干预软件中，用于自动量化语音治疗过程中的进展。
2021-02-27 cs.CL cs.SD eess.AS
Opportunities & Challenges In Automatic Speech Recognition
GHRCE；S. G. B. Amaravati University（S. G. B. 阿马拉瓦蒂大学）
自动语音识别能够实现广泛的当前和新兴应用，例如自动转录、多媒体内容分析和自然人机界面。本文从语音研究者的角度，对并行性为自动语音识别及相关应用研究提供的机遇和挑战进行了一瞥。计算平台中并行性的增加为语音识别系统提供了三种主要的可能性：在非理想的日常噪声环境中提高识别精度;在语音数据的批处理中增加识别吞吐量;以及在实时使用场景中减少识别延迟。本文介绍了技术挑战，采取的方法，以及未来的研究可能的方向，以指导设计高效的并行软件和硬件基础设施。
2013-05-09 cs.CL cs.SD
