Acoustic and Textual Data Augmentation for Improved ASR of Code-Switching Speech
Radboud University（拉德堡德大学）；National University of Singapore（新加坡国立大学）
在本文中，我们描述了几种技术，以改善声学和语言模型的自动语音识别（ASR）系统上的代码切换（CS）的语音。我们的重点是确认弗里斯兰语-荷兰语无线电广播，其中一种混合语言，即弗里斯兰语，是一种资源不足的语言。在以前的工作中，我们已经提出了几个自动转录策略CS语音，以增加可用的训练语音数据量。在这项工作中，我们将探讨如何声学建模（AM）可以受益于单语语音数据属于高资源的混合语言。为了这个目的，我们训练国家的最先进的AM，这是无效的，由于缺乏训练数据，对显着增加量的CS语音和单语荷兰语语音。此外，我们改进的语言模型（LM），通过创建代码转换文本，这是在实践中几乎不存在的，通过（1）生成文本使用经常性的LM训练的训练CS语音数据的转录，（2）添加自动转录的CS语音数据的转录和（3）翻译荷兰语文本提取的大型荷兰语语音语料库的转录。我们报告称，由于声学和文本训练数据的增加，CS ASR性能显着提高。
2018-07-28 cs.CL
Evaluating Bias in Phoneme-Based Automatic Speech Recognition Systems: An Analysis of IPA Transcription Models
University of Utah（犹他大学）
研究评估WhisperIPA和ZIPA两个开源IPA转录ASR系统在不同口音和语言上的性能，通过标准音素错误率和软音素错误率分析，发现模型在性别、口音、种族和年龄等群体间存在持续性能差异。
2026-09-18 cs.CL
A Method for Open-Vocabulary Speech-Driven Text Retrieval
虽然最近的检索技术不限制索引词的数量，但词汇表外（OOV）词在语音识别中至关重要。针对语音查询的信息检索，我们填补了语音识别和文本检索在词汇量方面的空白。给定一个口头查询，我们生成一个转录和检测OOV的话，通过语音识别。然后，我们将检测到的OOV单词对应到目标集合中索引的术语以完成转录，并在集合中搜索与完成的转录相关的文档。我们通过实验证明了我们的方法的有效性。
2002-06-09 cs.CL
AISHELL-1: An Open-Source Mandarin Speech Corpus and A Speech Recognition Baseline
Beijing Shell Shell Technology Co. Ltd（北京希尔贝壳科技有限公司）
一个名为AISHELL-1的开源汉语语音语料库发布。它是目前最大的语料库，适合进行语音识别研究和建立普通话语音识别系统。详细介绍了录音过程，包括音频采集设备和环境。介绍了相关资源的准备，包括译文和词典。该语料库与Kaldi配方一起发布。实验结果表明，音频记录和传输的质量是有前途的。
2017-09-16 cs.CL
Adapting End-to-End Speech Recognition for Readable Subtitles
Maastricht University（马斯特里赫特大学）
自动语音识别（ASR）系统主要根据转录准确性进行评估。然而，在某些用例中，例如字幕，逐字转录会降低输出可读性，因为屏幕大小和阅读时间有限。因此，这项工作的重点是ASR与输出压缩，一个任务具有挑战性的监督方法，由于缺乏训练数据。我们首先研究一个级联系统，其中一个无监督的压缩模型被用来后编辑的转录语音。然后，我们比较了几种方法的端到端的语音识别输出长度的限制。实验表明，由于有限的数据远远少于从头开始训练模型所需的数据，我们可以调整基于Transformer的ASR模型，以结合转录和压缩功能。此外，WER和ROUGE分数方面的最佳性能是通过明确建模端到端ASR系统内的长度约束来实现的。
2020-05-25 cs.CL
Evaluation of Automated Speech Recognition Systems for Conversational Speech: A Linguistic Perspective
自动语音识别（ASR）作为语音用户界面和对话代理（例如Alexa、Google Home等语音助理）满足更多非正式和自由形式的输入数据，获得知名度。会话语音是语音识别中最困难的和与环境相关的一类数据。本文从语言学的角度，以法语为例，对法语同音异义词的消歧进行了研究。我们的贡献旨在提供更多的洞察人类语音转录准确性的条件下，重现那些国家的最先进的ASR系统，虽然在一个非常集中的情况。我们调查了一个案例研究，涉及最常见的错误，在法语的自动转录。
2022-12-05 cs.CL
Leveraging supplementary text data to kick-start automatic speech recognition system development with limited transcriptions
Stanford University（斯坦福大学）；University of Groningen（格罗宁根大学）；University of Hawai’i at Mānoa（夏威夷大学马诺阿分校）；University of Washington（华盛顿大学）；University of Queensland（昆士兰大学）
最近使用预训练的Transformer模型的研究表明，只需10分钟的转录语音就足以微调自动语音识别（ASR）的模型-至少如果我们还可以利用大量的文本数据（8.03亿个令牌）。但是，这么多的文本数据是必要的吗？我们研究了不同数量的文本数据的使用，既用于创建将ASR解码限制为可能的单词的词典（例如，*dogz与dogs），也用于训练使系统偏向可能的单词序列的较大语言模型（例如，too dogs与two dogs）。我们使用10分钟的英语转录语音（用于复制先前的工作）和另外两对在补充文本数据的可用性方面不同的语言进行实验：Gronings和Frisian（约7.5M令牌语料库可用），以及Besemah和Nasal（只有小词典可用）。对于所有的语言，我们发现，只使用一个词汇并没有明显提高ASR的性能。对于格罗宁斯语和弗里斯兰语，我们发现，从“小说长度”80 k标记子语料库中导出的词汇和语言模型将单词出错率（WER）平均降低到39%。我们的研究结果表明，在一个文本语料库中的上数万个或更多的令牌是可用的，微调Transformer模型，只有几十分钟的转录语音持有一些承诺，以获得人类可纠正的转录接近30%的WER经验法则。
2023-02-09 cs.CL
End-to-End Rich Transcription-Style Automatic Speech Recognition with Semi-Supervised Learning
NTT Media Intelligence Laboratories, NTT Corporation（日本电信电话株式会社媒体智能研究所）
我们提出了一种半监督学习方法，用于从小规模富转录风格和大规模普通转录风格数据集构建端到端富转录风格自动语音识别（RT-ASR）系统。在自发言语任务中，经常会出现各种言语现象，如填充语、断词、笑声和咳嗽等。虽然普通的过渡语并不赋予这些现象特殊的意识，但丰富的过渡语明确地将它们转换为特殊的现象标记和文本标记。在以往的研究中，文本标记和现象标记是以端到端的方式同时估计的。然而，很难构建准确的RT-ASR系统，因为大规模丰富的转录风格数据集通常不可用。为了解决这个问题，我们的训练方法同时使用有限的丰富转录风格数据集和普通转录风格数据集。我们的半监督学习的关键过程是将普通的转录风格数据集转换为伪富转录风格数据集。为此，我们引入风格令牌控制现象令牌生成或不转换为基于自回归建模。我们使用这种建模来生成伪丰富的转录风格的数据集，并从伪和原始数据集构建RT-ASR系统。我们对自发ASR任务的实验表明了该方法的有效性。
2021-07-07 cs.CL cs.LG cs.SD
Using heterogeneity in semi-supervised transcription hypotheses to improve code-switched speech recognition
Raytheon BBN Technologies（雷神BBN科技公司）
码转换语音的建模是自动语音识别（ASR）中的一个重要问题。标记的码转换数据是罕见的，所以单语数据通常被用来建模码转换语音。这些单语数据可能更接近于代码转换对中的语言之一。我们发现，这种不对称性会使预测偏向更匹配的语言，并降低整体模型性能。为了解决这个问题，我们提出了一个半监督的方法代码切换ASR。我们考虑的情况下，英语-汉语码转换，和使用单语数据建立双语“转录模型”的注释的无标记的代码转换数据的问题。我们首先建立多个转录模型，使他们的个人预测不同程度地偏向于英语或普通话。然后，我们结合这些有偏见的transmittance使用基于信心的选择。这种策略为半监督训练生成了更好的成绩单，与依赖于仅使用最佳匹配单语数据构建的转录模型的半监督系统相比，获得了19%的相对改进。
2021-06-14 cs.CL cs.SD eess.AS
The Impact of Automatic Speech Transcription on Speaker Attribution
Johns Hopkins University（约翰霍普金斯大学）；Université du Québec à Montréal（魁北克大学蒙特利尔分校）
本文研究了自动语音转录对说话人归因性能的影响，发现即使在存在转录错误的情况下，归因性能仍保持良好，可能是因为ASR转录错误能揭示说话人身份特征。
2026-01-25 cs.CL cs.LG
Lead2Gold: Towards exploiting the full potential of noisy transcriptions for speech recognition
Facebook AI Research（Facebook人工智能研究院）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LORIA（洛林信息学及其应用研究实验室）
用于对自动语音识别（ASR）系统进行训练的翻译可能包含错误。通常，质量控制阶段丢弃具有太多错误的瞬变信号，或者噪声瞬变信号被原样使用。我们介绍了Lead2Gold，一种训练ASR系统的方法，它充分利用了噪声传输的潜力。基于转录错误的噪声模型，Lead2Gold使用考虑该噪声模型的束搜索来搜索训练数据的更好的转录。束搜索是可微分的，并且不需要强制对准步骤，因此整个系统是端到端训练的。Lead2Gold可以被视为一种新的损失函数，可以用于任何序列到序列的深度神经网络。我们进行了概念验证实验，从不同的噪声水平的字母腐败产生的噪声transmittance。我们表明，Lead2Gold获得了比竞争性基线更好的ASR准确性，该基线不考虑（人工引入的）转录噪声。
2019-10-16 cs.AI cs.CL cs.LG
Exploring Methods for the Automatic Detection of Errors in Manual Transcription
The Johns Hopkins University（约翰斯·霍普金斯大学）
数据质量在大多数深度学习任务中起着重要作用。在言语社会中，言语记录的转录是必不可少的。由于转录通常是人工生成的，因此自动查找手动转录中的错误不仅可以节省时间和人力，而且有利于执行需要训练过程的任务。受语言模型和声学模型相结合的混合自动语音识别成功的启发，本文探讨了两种自动错误检测方法。回顾了以往的研究，这些研究使用了一种有偏见的语言模型方法，依赖于一个强转录依赖的语言模型。在这项工作中，我们提出了一种新的声学模型为基础的方法，专注于语音序列的语音。这两种方法都在一个完全真实的数据集上进行了评估，该数据集最初转录时有错误，后来经过严格的手动纠正。
2019-07-21 cs.CL cs.SD eess.AS
Transcribing Children's Speech: ASR Performance and Obtaining Reliable Orthographic Transcriptions
Radboud University（拉德堡德大学）
本研究评估了三种ASR模型家族（Whisper、Parakeet、Wav2Vec2）在荷兰儿童语音数据集上的性能，并提出了一种基于话语级选择的方法，以自动识别高置信度的正确发音，从而减少人工验证需求。
2026-04-10 cs.AI cs.CL
Back Transcription as a Method for Evaluating Robustness of Natural Language Understanding Models to Speech Recognition Errors
Adam Mickiewicz University, Poznań（亚当·密茨凯维奇大学）；Samsung Research Poland（三星电子波兰研究院）
本文提出一种结合反向转录与细粒度错误分类的方法，利用合成语音评估语音识别错误对自然语言理解模型性能的影响，并证实合成语音可替代真实音频。
2023-10-25 cs.AI cs.CL cs.SD
Improving Readability for Automatic Speech Recognition Transcription
University of Electronic Science and Technology of China（电子科技大学）；Microsoft（微软）
现代自动语音识别（ASR）系统可以在识别准确性方面实现高性能。然而，由于语法错误，不流利和口语交流中常见的其他勘误，一个完全准确的成绩单仍然具有挑战性。许多下游任务和人类读者依赖于ASR系统的输出;因此，由扬声器和ASR系统引入的错误将传播到管道中的下一个任务。在这项工作中，我们提出了一种新的NLP任务，称为ASR后处理可读性（APR），旨在将嘈杂的ASR输出转换为人类和下游任务可读的文本，同时保持说话者的语义含义。此外，我们描述了一种方法来解决缺乏特定于任务的数据，通过使用语法错误校正（GEC）收集的数据集，然后通过文本到语音（TTS）和ASR合成APR任务的例子。此外，我们提出的指标借用类似的任务，以评估性能的APR任务。我们将基于几个开源和适应性预训练模型的微调模型与传统的管道方法进行了比较。我们的研究结果表明，微调模型显着提高性能的APR任务，暗示使用APR系统的潜在好处。我们希望我们工作中的阅读、理解和重写方法可以作为许多NLP任务和人类读者可以从中受益的基础。
2020-04-09 cs.CL
Enabling Interactive Transcription in an Indigenous Community
Charles Darwin University（查尔斯·达尔文大学）；Université Grenobles Alpes（格勒诺布尔阿尔卑斯大学）
我们提出了一种新的转录工作流程，它结合了口语术语检测和人在回路中，连同一个试点实验。这项工作是基于一个几乎为零的资源的情况下，只有少数条款已被确定，涉及两种濒危语言。我们表明，在转录的早期阶段，当可用的数据是不够的训练一个强大的ASR系统，它是可以利用的转录少数孤立的单词，以引导的语音集合的转录。
2020-11-12 cs.CL
Utterance-Wise Meeting Transcription System Using Asynchronous Distributed Microphones
Hitachi, Ltd.（日立有限公司）
本文提出了一种新的框架，会议转录使用异步麦克风。它包括音频同步、说话人日志化、基于引导源分离的语音增强、自动语音识别和重复减少。在语音增强之前进行说话人日志化，使得系统能够处理重叠语音，而无需考虑麦克风之间的采样频率失配。对我们真实会议数据集的评估表明，我们的框架通过使用11个分布式麦克风实现了28.7%的字符错误率（CER），而放置在桌子中心的单声道麦克风的CER为38.2%。我们还表明，我们的框架实现了21.8%的CER，仅比基于耳机麦克风的转录的CER高2.1个百分点。
2020-07-31 cs.CL cs.SD eess.AS
Whisper-Based Speech Transcription from Videos Across Multiple Languages for Cross-Cultural Understanding
NYU Courant Institute（纽约大学库朗研究所）
本文提出利用Whisper工具改进多语言视频语音转录，通过微调将七种语言的平均错误率从30%降至20%，以支持跨文化自动化工具的训练。
2026-09-11 cs.CL eess.AS
HATS: An Open data set Integrating Human Perception Applied to the Evaluation of Automatic Speech Recognition Metrics
Nantes University（南特大学）；Le Mans University（勒曼大学）；Avignon University（阿维尼昂大学）
本文提出HATS数据集，通过人类评估对比不同ASR系统的转录错误，探讨人类偏好与ASR评估指标的关系。
2026-04-30 cs.CL
Transcription Policy as a Latent Variable: Activating Controllable Verbatim ASR with Word-Level Timing
nyra labs（nyra实验室）
研究针对现代语音识别模型中因转录风格为潜在变量导致的问题，通过覆盖感知解码器任务令牌等方法，提升德语不流畅F1，全英文微调超越基线，引入监督交叉注意力微调改进时间戳，还提出新任务用于创建和丰富语音语料库。
2026-07-22 cs.CL
Measuring the Effect of Transcription Noise on Downstream Language Understanding Tasks
OriginAI（奥里吉纳人工智能公司）
本文提出可配置框架，系统评估不同严重程度与类型的 ASR 转录噪声及清洗技术对三个 SLU 任务、四个模型的影响。
2025-02-19 cs.CL
Domain Adversarial Training for Accented Speech Recognition
Mobvoi AI Lab（出门问问人工智能实验室）；University of Washington（华盛顿大学）
在本文中，我们提出了一个域对抗训练（DAT）算法，以减轻口音语音识别的问题。为了减少标记的源域数据（“标准”口音）和未标记的目标域数据（带有重口音）之间的不匹配，我们使用域对抗训练（DAT）目标来增强Kaldi TDNN网络的学习目标，以鼓励模型学习口音不变的特征。在使用三种普通话口音的实验中，我们表明，与仅使用标准口音数据训练的基线相比，当我们没有带口音语音的转录时，DAT可以将相对字符出错率降低高达7.45%。我们还发现，当与重音数据上的自动转换训练结合使用时，DAT也有好处。此外，我们发现，DAT是优于多任务学习的口音语音识别。
2018-06-07 cs.CL
Phonemic Representation and Transcription for Speech to Text Applications for Under-resourced Indigenous African Languages: The Case of Kiswahili
University of Nairobi（内罗毕大学）；Maseno University（马塞诺大学）；Africa Nazarene University（非洲拿撒勒大学）
构建自动语音识别（ASR）系统是一项具有挑战性的任务，特别是对于需要几乎从头开始构建语料库并且缺乏足够训练数据的资源不足的语言。已经出现的情况是，包括斯瓦希里语在内的几种非洲土著语言在技术上资源不足。ASR系统至关重要，特别是对听力受损的人来说，他们可以从母语的成绩单中受益。然而，转录语音数据集的缺乏使为这些土著语言开发ASR模型的努力变得复杂。本文探讨了斯瓦希里语语音语料库的转录过程和发展，其中包括读出文本和自发的斯瓦希里语母语者的语音数据。该研究还讨论了斯瓦希里语中的元音和辅音，并为使用CMU Sphinx语音识别工具箱（一个开源语音识别工具箱）创建的ASR模型提供了一个更新的斯瓦希里语音素词典。使用扩展语音集来训练ASR模型，其WER和SER分别为18.87%和49.5%，比之前针对资源不足语言的类似研究性能有所提高。
2022-10-29 cs.CL cs.SD eess.AS
Towards Robust Speech Recognition for Jamaican Patois Music Transcription
Jamaica Artificial Intelligence Association（牙买加人工智能协会）
针对牙买加帕托瓦语音乐识别不佳的问题，本文构建40余小时人工转录数据集并微调ASR模型，进而建立Whisper的性能扩展定律。
2025-07-15 cs.AI cs.CL eess.AS
Moonshine: Speech Recognition for Live Transcription and Voice Commands
Useful Sensors（实用传感器公司）
本文提出 Moonshine 语音识别模型系列，采用编码器-解码器 Transformer 和 RoPE，并通过无零填充训练提升推理效率，在保持词错误率不变的情况下将 10 秒语音转录计算量降低 5 倍，适用于实时和资源受限场景。
2024-10-22 cs.CL cs.LG cs.SD
StutterZero and StutterFormer: End-to-End Speech Conversion for Stuttering Transcription and Correction
Millburn High School（米尔伯恩高中）
本文提出 StutterZero 和 StutterFormer 两种端到端波形到波形模型，直接将口吃语音转换为流利语音并联合预测转写，在 WER 和 BERTScore 上显著优于 Whisper-Medium。
2025-11-05 cs.AI cs.CL eess.AS
"Sorry, I Didn't Catch That": How Speech Models Miss What Matters Most
TogetherAI；Cornell University（康奈尔大学）；Stanford University（斯坦福大学）
该研究发现语音模型在现实应用中对高风险短语音转录存在显著误差，通过合成数据生成方法显著提升了非英语主要说话人的转录准确性。
2026-02-16 cs.AI cs.CL cs.CY
Lost in Transcription: Identifying and Quantifying the Accuracy Biases of Automatic Speech Recognition Systems Against Disfluent Speech
Michigan State University（密歇根州立大学）；Western Michigan University（西密歇根大学）；FRIENDS: The National Association of Young People Who Stutter（FRIENDS：全国口吃青年协会）
本文评估六款主流ASR在真实口吃语音与含口吃事件的LibriSpeech合成数据上的表现，发现其对非流利言语存在统计显著的WER、CER及语义准确性偏见。
2024-05-10 cs.CL cs.CY eess.AS
IMS-Speech: A Speech to Text Tool
Institute for Natural Language Processing (IMS), University of Stuttgart（斯图加特大学自然语言处理研究所）
我们提出的IMS语音，德语和英语语音转录的一个基于网络的工具，旨在促进在各个学科的研究，需要访问口语材料中的词汇信息。该工具基于现代开放源码软件栈、先进的语音识别方法和公共数据资源，学术研究人员可以免费获得。所使用的模型被构建为通用的，以提供在不同的任务和条件下的竞争力的准确性的transanimation。
2019-08-13 cs.CL cs.SD eess.AS
Human Transcription Quality Improvement
Amazon（亚马逊）
针对众包语音转录质量低的问题，提出置信度再处理与自动纠错两阶段方法，构建并发布 LibriCrowd，显著降低转录及 ASR 词错误率。
2023-09-24 cs.AI cs.CL cs.LG
Human and Automatic Speech Recognition Performance on German Oral History Interviews
Fraunhofer Institute for Intelligent Analysis and Information Systems (IAIS)（弗劳恩霍夫智能分析与信息系统研究所）；Haus der Geschichte der Bundesrepublik Deutschland Foundation (HdG)（德意志联邦共和国历史之家基金会）；Autonomous Intelligent Systems (AIS), Computer Science Institute VI, Univ. of Bonn（波恩大学计算机科学第六研究所自主智能系统）
近年来，自动语音识别系统在转录准确性方面取得了显著的改进。在某些领域，模型现在达到了接近人类的性能。然而，口述历史的转录性能尚未达到人类的准确性。在目前的工作中，我们调查人类和机器转录之间的差距仍然有多大。为此目的，我们分析和比较三个人的一个新的口述历史数据集的transparency。我们估计，最近的德国口述历史访谈与干净的声学条件下的人字错误率为8.7%。为了与最近的机器转录精度比较，我们提出了一个声学模型的适应实验，实现接近人类的性能广播语音。我们研究了不同的适应数据的鲁棒性和泛化的影响，干净和嘈杂的口述历史采访。我们优化了我们的声学模型的5至8%，相对于这项任务，并实现23.9%的WER噪声和15.6%的词错误率干净的口述历史采访。
2022-01-18 cs.CL cs.SD eess.AS
Visual-Aware Speech Recognition for Noisy Scenarios
IIIT-Hyderabad（印度国际信息技术学院海得拉巴分校）；Whissle Inc.（惠斯勒公司）
本文提出一种利用环境视觉线索与噪声源关联来改进噪声场景语音转录的模型，通过重新利用预训练语音和视觉编码器并结合多头注意力，显著优于纯音频模型。
2025-04-09 cs.CL eess.AS eess.SP
Exploring Spoken Language Identification Strategies for Automatic Transcription of Multilingual Broadcast and Institutional Speech
Almawave S.p.A.（阿尔马威公司）
本文针对多语言广播与机构语音中语言切换多伴随说话人切换的特点，提出说话人分离与语言识别级联系统，相比传统方法显著降低语言分离错误和词错误率，且对单语识别影响很小。
2024-06-13 cs.CL cs.SD eess.AS
Automatic Speech Recognition for Greek Medical Dictation
Department of Informatics, Athens University of Economics and Business（阿提卡经济与商业大学信息学院）；Omilia Natural Language Solutions Ltd.（Omilia自然语言解决方案有限公司）；Archimedes/Athena RC（阿基米德/雅典RC）
本文提出结合自动语音识别与文本纠错模型的希腊语医学转录系统，通过领域适配和微调提升术语处理、语言变异应对及转录准确性。
2025-09-28 cs.AI cs.CL
L2 proficiency assessment using self-supervised speech representations
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；University of Trento（特伦托大学）；ALTA Institute, Cambridge University（剑桥大学ALTA研究所）；Enhanced Speech Technology Ltd.（增强语音技术有限公司）
近年来，对自动口语评估系统的需求不断增长。此过程的标准管道是从语音识别系统开始，并获得利用转录和音频的手工制作或基于深度学习的功能。虽然这些方法可以产生高性能系统，但是它们需要可以用于L2说话者的语音识别系统，并且优选地调谐到所部署的特定形式的测试。最近提出了一种基于自监督语音表示的方案，不需要语音识别。这项工作将对这种方法进行的初步分析扩展到大规模水平测试Linguaskill，该测试包括多个部分，每个部分都旨在评估候选人口语水平的不同属性。自我监督，wav2vec 2.0，系统的性能相比，高性能手工制作的评估系统和基于BERT的文本系统，这两个都使用语音transmittance。虽然基于wav2vec 2.0的系统被发现对响应的性质敏感，但它可以被配置为产生与需要语音转录的系统相当的性能，并且在与标准方法适当结合时产生增益。
2022-11-16 cs.CL eess.AS
Combining TF-GridNet and Mixture Encoder for Continuous Speech Separation for Meeting Transcription
RWTH Aachen University（亚琛工业大学）；AppTek GmbH（AppTek有限公司）；Paderborn University（帕德博恩大学）
本文提出结合 TF-GridNet 与混合编码器的方法，用于会议转录中的连续语音分离，在 LibriCSS 单麦克风上取得最先进性能，并分析了改进空间。
2025-02-26 cs.CL cs.LG cs.SD
A Training Criterion with Token-Level Tolerance to Transcription Ambiguity for Automatic Speech Recognition
Indian Institute of Science (IISc)（印度科学研究院）
针对转录歧义，提出词元级通配符弧的CTC变体OTC，结合词元与词级逃逸路径及熵索引调度，在19语言25任务上优于CTC，平均相对WER降低9.45%。
2026-09-25 cs.CL eess.AS
Automatic Speech Recognition for Documenting Endangered Languages: Case Study of Ikema Miyakoan
University of Notre Dame（诺特大学）；National Institute for Japanese Language and Linguistics（日本语言学研究所）
本文研究了自动语音识别在濒危语言记录中的应用，通过构建语料库、训练模型和评估ASR对转录效率的影响，展示其在保护濒危语言中的潜力。
2026-04-20 cs.AI cs.CL
Better Transcription of UK Supreme Court Hearings
University of Surrey（萨里大学）；Kingfisher Labs Ltd（翠鸟实验室有限公司）；Just Access
法律诉讼的誊写对获得司法救助非常重要。然而，语音转录是一个昂贵且缓慢的过程。在本文中，我们描述了一个联合研究和工业项目的一部分，用于建立一个专门为英国司法部门设计的自动化转录工具。我们解释了转录法庭听证会所面临的挑战，以及我们用来应对这些挑战的自然语言处理（NLP）技术。我们将表明，微调一个通用的现成的预训练的自动语音识别（ASR）系统与域内的语言模型，以及注入常用短语提取的搭配检测模型不仅可以提高转录听证会的单词错误率（WER），但避免关键的错误，是特定的法律术语和英国法院常用的术语。
2022-12-22 cs.CL cs.SD eess.AS
Analyzing and Fine-Tuning Whisper Models for Multilingual Pilot Speech Transcription in the Cockpit
Institute of Data Science（数据科学研究所）；German Aerospace Center（德国航空航天中心）
本文针对 Whisper 模型在多语言座舱飞行员语音转录中准确率低的问题，通过收集并标注相关录音，提出多种归一化方案，并利用 LoRA 进行高效微调，显著降低了词错率。
2025-06-27 cs.AI cs.CL cs.LG
Towards a Competitive End-to-End Speech Recognition for CHiME-6 Dinner Party Transcription
ITMO University（圣彼得堡国立信息技术机械与光学大学）；STC-innovations Ltd（STC创新有限公司）
虽然端到端ASR系统已被证明与传统的混合方法相比具有竞争力，但在噪声和低资源条件下，它们容易降低精度。在本文中，我们认为，即使在这种困难的情况下，一些端到端的方法显示出接近混合基线的性能。为了证明这一点，我们使用CHiME-6 Challenge数据作为日常语音的挑战性环境和嘈杂条件的示例。我们通过实验比较和分析了CTC-Attention与RNN-Transducer方法以及RNN与Transformer架构。我们还提供了声学特征和语音增强的比较。此外，我们评估了神经网络语言模型在低资源条件下进行假设重新评分的有效性。我们基于RNN传感器的最佳端到端模型，加上改进的波束搜索，仅以3.8%的绝对WER达到质量。比LF-MMI TDNN-F CHiME-6挑战基线更差。在基于引导源分离的训练数据增强的情况下，该方法比混合基线系统的WER abs高2.7%。而端到端系统之前最为人所知的是25.7%的WER abs。
2020-08-07 cs.CL cs.LG cs.SD
Transcription free filler word detection with Neural semi-CRFs
University of Rochester（罗切斯特大学）；Adobe Research（Adobe研究院）
非语言填充词，如“呃”或“嗯”，是普遍存在于自发的讲话，并作为表示犹豫或不确定的指标。以前的作品，用于检测某些非语言填充词高度依赖于从一个完善的商业自动语音识别（ASR）系统transmittance。然而，某些ASR系统不是从许多方面普遍可访问的，例如，预算、目标语言和计算能力。在这项工作中，我们研究了不依赖于ASR系统的填充词检测系统。我们表明，通过使用结构化的状态空间序列模型（S4）和神经半马尔可夫条件随机场（半CRF），我们实现了6.4%（段级）和3.1%（事件级）的绝对F1的改进PodcastFillers数据集。我们还进行了定性分析的检测结果，分析我们所提出的系统的局限性。
2023-03-11 cs.CL eess.AS
Hallucination of speech recognition errors with sequence to sequence learning
The Ohio State University（俄亥俄州立大学）
自动语音识别（ASR）是一个不完美的过程，当与纯书面文本或transmittance相比时，它会导致ASR输出文本中的某些不匹配。当纯文本数据被用于训练口语语言理解或ASR的系统时，减少所述失配并防止降级的经证实的策略是使ASR输出的内容产生幻觉，将被给予黄金转录。该领域的先前工作集中在语音级别的建模错误，同时使用词典将音素转换为单词，通常伴随着FST语言模型。我们提出了新的端到端模型，直接预测幻觉ASR单词序列输出，条件输入单词序列以及相应的音素序列。这改进了先前公布的结果，用于从域内ASR系统对未看见的数据的转录以及域外ASR系统对来自不相关任务的音频的转录中召回错误，同时另外探索当可获得来自测试ASR系统的有限表征数据时的中间场景。为了验证该方法的外在有效性，我们还使用我们的幻觉ASR错误来增强口语问题分类器的训练，发现当训练时特定于任务的音频很少或甚至为零时，它们能够对下游任务中的真实ASR错误具有鲁棒性。
2021-03-31 cs.CL cs.LG
SPGISpeech 2.0: Transcribed multi-speaker financial audio for speaker-tagged transcription
Kensho TechnologiesUSA（Kensho Technologies USA）；NVIDIA CorporationUSA（NVIDIA Corporation USA）
本文介绍SPGISpeech 2.0，一个含3,780小时专业转录财报电话会议音频的金融领域说话人标记转录数据集，通过微调提升流行语音识别模型的说话人标记ASR性能，并免费供非商业使用。
2025-08-07 cs.CL cs.SD eess.AS
Scaling Human and G2P Supervision for Robust Phonetic Transcription
Koel Labs LLC
研究自动语音转录中人类标注与G2P监督的扩展规律，发现当人类标注少于20-30小时时G2P有效，超过后无益甚至降低鲁棒性，而ASR预训练可显著提升性能。
2026-06-16 cs.CL cs.LG cs.SD
MuAViC: A Multilingual Audio-Visual Corpus for Robust Speech Recognition and Robust Speech-to-Text Translation
Meta AI
我们介绍MuAViC，一个多语言的视听语料库，用于强大的语音识别和强大的语音到文本的翻译，提供1200小时的视听语音在9种语言。它完全转录，涵盖6个英语到X的翻译以及6个X到英语的翻译方向。据我们所知，这是第一个视听语音到文本翻译的开放基准，也是多语言视听语音识别的最大开放基准。我们的基线结果表明，MuAViC是有效的建立噪声鲁棒的语音识别和翻译模型。我们在https://github.com/facebookresearch/muavic上提供语料库。
2023-03-07 cs.CL eess.AS
AIPNet: Generative Adversarial Pre-training of Accent-invariant Networks for End-to-end Speech Recognition
Facebook AI（脸书人工智能研究院）；National Taiwan University（台湾大学）
口音作为语音变异的主要来源之一，对语音识别系统的鲁棒性提出了巨大的挑战。在本文中，我们的目标是建立一个统一的端到端的语音识别系统，概括以及跨口音。为此，我们提出了一种新的预训练框架AIPNet基于生成对抗网（GAN）的口音不变的表示学习：口音不变的预训练网络。我们对AIPNet进行了预训练，通过对口音数据进行对抗性训练，将口音不变和口音特定的特征从声学特征中分离出来，而口音数据不一定是可用的。我们通过将口音不变模块与用于多口音语音识别的基于注意力的编码器-解码器模型连接，进一步微调AIPNet。在实验中，我们的方法进行了比较，对四个基线，包括口音依赖和口音独立的模型。在9种英语口音上的实验结果表明，该方法在所有口音中均能使用音译词时，平均WER降低了2.3 \sim 4.5%，在只有美国口音中使用音译词时，平均WER降低了1.6 \sim 6.1%.
2019-11-27 cs.CL cs.SD eess.AS
Recognizing Overlapped Speech in Meetings: A Multichannel Separation Approach Using Neural Networks
Microsoft AI and Research（微软人工智能与研究院）
本研究的目标是开发一个会议转录系统，即使不同说话人的话语重叠，也能识别语音。虽然语音重叠被认为是准确转录会议的主要障碍，但由于先前提出的语音分离技术对于应用于实际会议具有关键约束，因此仅使用具有单个输出的传统波束形成器。本文提出了一种新的信号处理模块，称为解混换能器，并描述了其实现使用加窗BLSTM。解混换能器具有固定数量（比如J）的输出声道，其中J可以不同于会议参加者的数量，并且解混换能器将输入多声道声学信号变换成J个时间同步音频流。会议中的每个话语被分离并从其中一个输出通道发出。然后，每个输出信号可以被简单地馈送到语音识别后端以进行分段和转录。我们的会议转录系统使用解混换能器优于基于最先进的神经掩模的波束形成器的系统10.8%。在重叠部分观察到显著改善。据我们所知，这是第一份报告，适用于重叠语音识别的无约束的真实会议音频。
2018-10-08 cs.CL cs.SD eess.AS
End-to-End Feedback Loss in Speech Chain Framework via Straight-Through Estimator
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；RIKEN, Center for Advanced Intelligence Project AIP（理化学研究所 高级智能项目中心）
语音链机制在训练期间将自动语音识别（ASR）和文本到语音合成（TTS）模块集成到单个循环中。在我们以前的工作中，我们应用了语音链机制作为半监督学习。它为ASR和TTS提供了在接收未配对数据时相互帮助的能力，并让它们推断缺失的对并优化重建损失的模型。如果我们只有语音而没有转录，那么ASR会从语音数据中生成最有可能的转录，然后TTS使用生成的转录来重建原始语音特征。然而，在以前的论文中，我们只是将反向传播限制在最近的模块，即TTS部分。一个原因是通过ASR反向传播误差是具有挑战性的，因为ASR的输出是离散的令牌，在TTS和ASR之间产生不可微性。在本文中，我们解决了这个问题，并描述了如何彻底训练语音链端到端的重建损失使用直通估计器（ST）。实验结果表明，从ST-Gumbel-Softmax的采样，我们能够更新ASR参数和提高ASR性能的11- %的相对CER减少相比，基线。
2018-10-31 cs.CL cs.LG cs.SD
Simulating realistic speech overlaps improves multi-talker ASR
Microsoft（微软）
研究了多说话人自动语音识别（ASR），以生成包含多个说话人重叠语音的自然会话的译文。由于难以获得具有高质量人类transmittance的真实会话数据，因此通过随机混合多个话语来对多说话者语音进行朴素模拟通常用于模型训练。在这项工作中，我们提出了一种改进的技术来模拟多说话者重叠语音与现实的语音重叠，其中语音重叠的任意模式表示的离散令牌的序列。通过这种表示，可以基于统计语言模型（例如N-gram）从真实对话中学习语音重叠模式，然后可以使用该模型来生成用于训练的多说话者语音。在我们的实验中，使用所提出的方法训练的多说话者ASR模型在多个数据集上显示出一致的单词错误率改善。
2022-11-17 cs.CL cs.SD eess.AS
Learning to Jointly Transcribe and Subtitle for End-to-End Spontaneous Speech Recognition
KU Leuven（鲁汶大学）
从新闻报道中的朗读到脱口秀和肥皂剧中的对话和自发的讲话，电视字幕是许多类型讲话的丰富的翻译来源。然而，字幕不是语音的逐字（即，精确）翻译，因此它们不能直接用于改进自动语音识别（ASR）模型。我们提出了一个多任务双解码器Transformer模型，共同执行ASR和自动字幕。ASR解码器（可能是预先训练的）预测逐字输出，字幕解码器生成字幕，同时共享编码器。这两个解码器可以是独立的或连接的。该模型被训练为联合执行这两项任务，并且能够有效地使用字幕数据。我们表现出定期ASR和自发和会话ASR的改进，将额外的字幕解码器。该方法不需要预处理（对齐、过滤、伪标记等）。的字幕。
2022-10-14 cs.CL cs.SD eess.AS
A Deep Learning System for Domain-specific Speech Recognition
Businessolver（Businessolver公司）
本文基于DeepSpeech2与Wav2Vec2并结合半监督标注和KenLM，构建低资源福利领域ASR系统，证明其在语音识别及下游NLU任务上可优于Google和AWS商用系统。
2023-09-27 cs.CL cs.LG cs.SD
Breaking the Transcription Bottleneck: Fine-tuning ASR Models for Extremely Low-Resource Fieldwork Languages
本文通过微调MMS和XLS-R模型，在五种低资源语言上验证了ASR在田野调查中的可行性，发现数据极少时MMS更优，超一小时时两者性能相当，为语言记录提供实用转录方案。
2025-06-20 cs.CL cs.SD eess.AS
Alzheimer Disease Classification through ASR-based Transcriptions: Exploring the Impact of Punctuation and Pauses
Radboud University（拉德堡德大学）
本研究使用Whisper ASR模型获取转录文本，结合FastText词嵌入和循环神经网络进行阿尔茨海默病分类，发现停顿编码能持续提升分类性能，而标点符号仅带来微小改善。
2023-06-06 cs.CL cs.SD eess.AS
