Automatic Disfluency Detection from Untranscribed Speech
University of Michigan（密歇根大学）；Microsoft Corporation（微软公司）
本文面向未经转写语音，比较语言、声学与多模态帧级非流利检测方法，证明声学方法优于依赖 ASR 转写的方案，且多模态架构性能最佳。
2023-11-01 cs.CL eess.AS
Unsupervised Pattern Discovery from Thematic Speech Archives Based on Multilingual Bottleneck Features
The Chinese University of Hong Kong（香港中文大学）
本研究解决的问题，从未转录的音频档案，而不需要逐字语音转录的自动语音识别（ASR）技术自动发现口语关键字。该问题在语音分析的许多应用中具有实际意义，包括那些涉及低资源语言，以及大量多语种和多体裁数据的应用。我们提出了一个两阶段的方法，其中包括无监督的声学建模和解码，其次是模式挖掘的声学单元序列。整个过程开始于用未转录的数据推导和建模一组子词级语音单元。通过无监督训练的声学模型，给定的音频档案由伪转录表示，可以通过字符串挖掘算法从其中发现口语关键字。对于无监督声学建模，使用由多语言语音语料库训练的深度神经网络来生成语音分段并计算用于分段聚类的瓶颈特征。实验结果表明，该系统能够有效地提取主题相关的单词和短语从麻省理工学院开放课程的讲座录音。
2020-11-03 cs.CL cs.SD eess.AS
How I Built ASR for Endangered Languages with a Spoken Dictionary
针对濒危语言缺乏符合标准格式的监督数据难以构建ASR的问题，提出利用简短口语发音资源的方案，仅需40分钟数据即可为马恩岛语、康沃尔语打造可用ASR，大幅降低了构建门槛。
2025-10-06 cs.CL
Automatic Speech Recognition for Documenting Endangered Languages: Case Study of Ikema Miyakoan
University of Notre Dame（诺特大学）；National Institute for Japanese Language and Linguistics（日本语言学研究所）
本文研究了自动语音识别在濒危语言记录中的应用，通过构建语料库、训练模型和评估ASR对转录效率的影响，展示其在保护濒危语言中的潜力。
2026-04-20 cs.AI cs.CL
Exploiting Cross-Lingual Knowledge in Unsupervised Acoustic Modeling for Low-Resource Languages
The Chinese University of Hong Kong（香港中文大学）
本文研究了零资源环境下的自动语音识别（ASR）的无监督声学建模（UAM）问题。UAM不仅在解决ASR技术发展中数据稀缺的普遍问题方面非常重要，而且对于许多非主流应用也至关重要，例如语言保护，语言习得和病理性言语评估。本研究集中在两个研究问题。第一个问题涉及在给定语言中的基本（子字级）语音单元的无监督发现。在零资源条件下，可以仅从声学信号推断语音单元，而不需要或涉及任何语言方向和/或约束。第二个问题被称为无监督子字建模。从本质上讲，需要从未转录的语音中学习帧级特征表示。学习的特征表示是子词单元发现的基础。期望它是语言上有区别的，并且对非语言因素是鲁棒的。特别是广泛使用的跨语言知识的子词单元发现和建模是本研究的重点。
2020-07-29 cs.CL cs.SD eess.AS
Speech Recognition for Endangered and Extinct Samoyedic languages
University of Helsinki（赫尔辛基大学）；Luua Forestry School（卢阿林业学校）；Rootroo Ltd（鲁特罗有限公司）
我们的研究提出了一系列的实验语音识别濒危和灭绝的萨莫耶德语言，讲在西伯利亚北部和南部。据我们所知，这是第一次为一种灭绝的语言构建功能性ASR系统。我们用Kamas语言实现了15%的标签出错率，并通过仔细的错误分析得出结论，这种质量已经非常有用，作为一个起点，为完善的人类翻译。我们的结果与相关的Nganasan语言更温和，最好的模型有出错率的33\%。然而，我们表明，通过实验，其中卡玛斯训练数据是逐步扩大，Nganasan的结果是符合预期的低资源环境下的语言。在此基础上，我们为进一步的语言文档或归档处理活动可以从现代ASR技术中受益的场景提供了建议。所有训练数据和处理脚本都已在Zenodo上发布，并有明确的许可证，以确保在这一重要主题上的进一步工作。
2020-12-09 cs.CL
Pretraining End-to-End Keyword Search with Automatically Discovered Acoustic Units
Bogazici University（博阿齐奇大学）；Brno University of Technology（布尔诺理工大学）
本文提出利用声学单元发现从未转录数据中获取离散单元来预训练端到端关键词搜索系统，实验表明微调后性能显著优于从头训练，且提升与AUD系统质量相关。
2024-07-05 cs.CL eess.AS
AdaSpeech 2: Adaptive Text to Speech with Untranscribed Data
Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）；Microsoft Azure Speech（微软Azure语音）
文语转换（TTS）被广泛用于为目标说话人合成个人语音，其中训练良好的源TTS模型被微调，而目标说话人的配对适应数据（语音及其转录本）很少。然而，在许多场景中，只有未转录的语音数据可用于适配，这给先前的TTS适配流水线（例如，AdaSpeech）。在本文中，我们开发了AdaSpeech 2，一个自适应TTS系统，只利用未转录的语音数据进行适应。具体来说，我们引入了一个梅尔频谱编码器的一个训练有素的TTS模型进行语音重建，并在同一时间限制梅尔频谱编码器的输出序列接近原来的音素编码器。在自适应中，我们使用未转录的语音数据进行语音重建，只微调TTS解码器。AdaSpeech 2有两个优点：1）可插拔：我们的系统可以很容易地应用于现有的训练TTS模型，而无需重新训练。2)有效：我们的系统通过转录的TTS适配实现了同等的语音质量（例如，AdaSpeech）与相同数量的未转录数据，并实现更好的语音质量比以前的未转录适应方法。合成的语音样本可以在https://speechresearch.github.io/adaspeech2/上找到。
2021-04-20 cs.CL cs.SD eess.AS
Semi-supervised acoustic and language model training for English-isiZulu code-switched speech recognition
Stellenbosch University（斯泰伦博斯大学）
我们提出了一个半监督的声学和语言模型训练的英语isiZulu代码切换ASR使用肥皂剧讲话的分析。大约11个小时的未转录的多语种语音被自动转录使用四个双语代码转换转录系统在英语-isiZulu，英语-isiXhosa，英语-Sethoon和英语-Seshoon。这些transmittance被纳入声学和语言模型训练集。结果表明，TDNN-F声学模型受益于额外的半监督数据，并且通过包括额外的CNN层可以实现更好的性能。使用这些CNN-TDNN-F声学模型，半监督训练的第一次迭代实现了3.4%的绝对混合语言WER降低，第二次迭代后进一步降低了2.2%。虽然未转录数据中的语言是未知的，但当所有自动转录的数据都用于训练时，而不仅仅是被归类为英语-祖鲁语的话语时，获得了最好的结果。尽管减少了困惑，半监督语言模型是无法提高ASR的性能。
2020-04-05 cs.LG cs.SD eess.AS
Training Autoregressive Speech Recognition Models with Limited in-domain Supervision
Raytheon BBN（雷神BBN公司）
自监督学习的进步已经显著减少了训练所需的转录音频的量。然而，这一领域的大部分工作都集中在阅读语音上。我们探讨有限的监督领域的会话讲话。虽然我们假设域内数据的数量是有限的，但我们用开源的阅读语音数据来增强模型。XLS-R模型在适应数据有限的情况下表现良好，可作为一个强有力的基线。我们在自回归编码器-解码器模型中使用未转录的数据进行自监督学习和半监督训练。我们证明，通过使用XLS-R模型的伪转录，一个小得多的自回归模型可以优于微调XLS-R模型时，转录的域内数据是有限的，减少WER高达8%的绝对值。
2022-10-27 cs.CL cs.SD eess.AS
Automated speech tools for helping communities process restricted-access corpora for language revival efforts
Stanford University（斯坦福大学）；Australian National University（澳大利亚国立大学）；University of Groningen（格罗宁根大学）
许多濒危语言的语音档案记录仍然没有注释，社区成员和语言学习计划无法访问。一个瓶颈是注释的时间密集性。对于具有访问限制的录音，会出现更窄的瓶颈，例如在注释开始之前必须由授权社区成员审查或过滤的语言。我们提出了一个隐私保护的工作流程，以扩大两个瓶颈的录音中，在濒危语言的语音与更广泛使用的语言，如英语的元语言的评论和问题（例如，什么是“树”这个词？）。我们集成了语音活动检测（VAD）、口语识别（SLI）和自动语音识别（ASR）来转录元语言内容，授权人员可以快速扫描这些元语言内容，以分类记录，这些记录可以由访问级别较低的人员进行注释。我们报告正在进行的工作处理136小时档案音频包含英语和Muruwari的混合。我们与Muruwari档案材料保管人的合作工作表明，即使只有最少量的注释训练数据，这种工作流程也可以将元语言转录时间减少20%：SLI和ASR每种语言10个发音最多39分钟，可能只有39秒。
2022-04-24 cs.CL cs.SD eess.AS
Virtuoso: Massive Multilingual Speech-Text Joint Semi-Supervised Learning for Text-To-Speech
Google（谷歌）
本文提出了Virtuoso，一个大规模的多语种语音-文本联合半监督学习框架的文本到语音合成（TTS）模型。现有的多语言TTS通常支持数十种语言，这是世界上数千种语言中的一小部分。将多语言TTS扩展到数百种语言的一个困难是在低资源语言中收集高质量的语音文本配对数据。本研究将Maestro，一个用于自动语音识别（ASR）的语音-文本联合预训练框架，扩展到语音生成任务。为了从各种类型的语音和文本数据训练TTS模型，设计了不同的训练方案来处理监督（成对的TTS和ASR数据）和非监督（未转录的语音和未说出的文本）数据集。实验评估表明，1）在Virtuoso上训练的多语言TTS模型可以实现比已知语言中的基线模型更好的自然度和可理解性，2）它们可以为没有高质量配对TTS数据的未知语言合成合理可理解和自然发音的语音。
2023-03-15 cs.CL cs.SD eess.AS
Unsupervised Domain Adaptation by Adversarial Learning for Robust Speech Recognition
Institute for Natural Language Processing, University of Stuttgart（斯图加特大学自然语言处理研究所）
在本文中，我们研究了使用对抗学习来无监督地适应看不见的记录条件，更具体地说，是单麦克风远场语音。我们适应基于神经网络的声学模型训练与近距离交谈干净的语音新的录音条件下使用未转录的适应数据。我们在意大利SPEECON数据集上的实验结果表明，我们提出的方法实现了19.8%的相对字错误率（WER）减少相比，未适应的模型。此外，这种自适应方法是有益的，即使当从另一种语言（即法语）的数据上进行，给出12.6%的相对WER减少。
2018-07-30 cs.AI cs.CL cs.SD
Generative Adversarial Training Data Adaptation for Very Low-resource Automatic Speech Recognition
Graduate School of Informatics, Kyoto University（京都大学信息学研究生院）
濒危语言语音数据的转录和存档对于保护语言文化遗产具有重要意义，而自动语音识别（ASR）技术是实现这一目标的有力工具。然而，由于濒危语言通常不具有具有许多说话者的大型语料库，因此在它们上训练的ASR模型的性能通常相当差。然而，我们经常会留下大量需要转录的自发语音数据记录。在这项工作中，为了减轻这种扬声器稀疏性问题，我们建议转换整个训练语音数据，使其听起来像测试扬声器，以便为该扬声器开发一个高度准确的ASR系统。为此，我们利用基于CycleGAN的非并行语音转换技术来伪造接近测试说话人语音的标记训练数据。我们在两个低资源语料库上评估了这种说话人自适应方法，即阿伊努语和姆博希语。我们在阿伊努语语料库上获得了35-60%的相对改善，在Mboshi语料库上获得了40%的相对改善。这种方法优于两种传统的方法，即无监督的适应和多语言训练这两个语料库。
2020-07-31 cs.CL eess.AS
Adapitch: Adaption Multi-Speaker Text-to-Speech Conditioned on Pitch Disentangling with Untranscribed Data
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）
在本文中，我们提出了Adapitch，一个多说话人的TTS方法，使自适应的监督模块与未转录的数据。我们设计了两个自监督模块，分别用未转录的数据对文本编码器和梅尔解码器进行训练，以增强文本和梅尔的表现力。为了更好地处理合成语音中的韵律信息，设计了一个有监督的TTS模块，该模块以音高、文本和说话人的内容分解为条件。训练阶段分为两个部分，先用无监督模式对文本编码器和梅尔解码器进行预训练和固定，然后用有监督模式对TTS进行解缠。实验结果表明，自适应算法在图像质量上明显优于基线算法.
2022-10-25 cs.CL cs.SD eess.AS
Leveraging End-to-End ASR for Endangered Language Documentation: An Empirical Study on Yoloxóchitl Mixtec
The Johns Hopkins University（约翰斯·霍普金斯大学）；Gettysburg College（葛底斯堡学院）；Secretaría de Educación Pública, Estado de Guerrero, Mexico（墨西哥格雷罗州公共教育秘书处）
由于缺乏有效的人类转录员而造成的“转录瓶颈”是濒危语言（EL）文献的主要挑战之一。自动语音识别（ASR）已经被建议作为克服这种瓶颈的工具。根据这一建议，我们研究了端到端ASR的EL文档的有效性，与隐马尔可夫模型ASR系统不同，它避开了语言资源，而是更依赖于大数据设置。我们开源了一个Yoloxóchitl Mixtec EL语料库。首先，我们回顾了我们构建端到端ASR系统的方法，这种方法可以被ASR社区复制。然后，我们提出了一个新手转录校正任务，并演示了如何ASR系统和新手转录可以共同努力，以提高EL文档。我们相信这种组合的方法将减轻转录瓶颈和转录短缺，阻碍EL文件。
2021-03-05 cs.SD eess.AS
Speech-to-speech Translation between Untranscribed Unknown Languages
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；RIKEN（理化学研究所）
在本文中，我们探索了一种在没有任何转录或语言监督的情况下训练语音到语音翻译任务的方法。我们提出的方法包括两个步骤：首先，我们训练和生成离散表示与无监督的长期发现与离散量化自动编码器。其次，我们训练序列到序列模型，该模型直接将源语言语音映射到目标语言的离散表示。我们所提出的方法可以直接生成目标语音，而无需任何辅助或预训练步骤与源或目标转录。据我们所知，这是第一个在未转录的未知语言之间进行纯语音到语音翻译的工作。
2019-10-05 cs.CL cs.LG cs.SD
Improving Speaker-Independent Lipreading with Domain-Adversarial Training
The Swiss AI Lab IDSIA（瑞士人工智能实验室IDSIA）；USI（瑞士意大利语区大学）；SUPSI（瑞士南部应用科学与艺术大学）
我们提出了一个唇读系统，即一个语音识别系统，只使用视觉特征，它使用域对抗训练的说话人独立性。领域对抗训练被集成到基于前馈和LSTM（长短期记忆）递归神经网络堆栈的唇读器的优化中，产生了一个端到端的可训练系统，该系统只需要非常少量的未转录目标数据帧就可以大幅提高目标说话人的识别准确性。对不同的源和目标说话人，我们实现了约40%的相对准确性提高，只有15至20秒的未转录的目标语音数据。在多说话者训练设置中，准确性的提高较小，但仍然很大。
2017-08-04 cs.CL cs.CV
Injecting Text in Self-Supervised Speech Pretraining
Google, Inc.（谷歌公司）
自动语音识别（ASR）的自我监督预训练已经显示出不同程度的成功。在本文中，我们建议在预训练期间从两种不同的形式（语音和文本）联合学习表示。所提出的方法，tts 4pretrain补充了对比学习的力量，在自我监督与语言/词汇表示来自合成语音，有效地学习从未转录的语音和未说出的文本。语音编码器中的词汇学习是通过一个附加的序列损失项来实现的，该序列损失项与预训练期间的对比损失相结合。我们证明，这种新的预训练方法产生的字出错率（WER）减少10%相对于良好的基准，Librispeech任务在一个国家的最先进的基线预训练wav2vec2.0。所提出的方法也可以作为一种有效的策略，以弥补缺乏转录的语音，有效地匹配性能的5000小时的转录语音只有100小时的转录语音的AMI会议转录任务。最后，我们展示了WER减少高达15%的内部语音搜索任务比传统的预训练。将文本转换为编码器预训练是对使用更大或域内语言模型重新评分的补充，从而使WER相对减少6%。
2021-08-27 cs.CL cs.SD eess.AS
A Unified Speaker Adaptation Method for Speech Synthesis using Transcribed and Untranscribed Speech with Backpropagation
National Institute of Informatics（国立信息学研究所）；SOKENDAI (The Graduate University for Advanced Studies)（综合研究大学院大学）；University of Edinburgh（爱丁堡大学）
通过将说话人特征表示为单独从语音中提取的单个固定长度的向量，我们可以通过对这些向量进行调节来训练神经多说话人语音合成模型。该模型也可以适应于看不见的扬声器，无论适应数据的转录是否可用。然而，这种设置将扬声器分量限制为仅单个偏置向量，这又限制了自适应过程的性能。在这项研究中，我们提出了一种新的语音合成模型，它可以适应于看不见的扬声器微调部分或全部的网络使用转录或未转录的语音。我们的方法基本上包括两个步骤：第一，我们分裂成一个独立于说话者（SI）的语言编码器和一个说话者自适应（SA）的声学解码器的传统声学模型;第二，我们训练一个辅助声学编码器，可以用作语言编码器的替代品时，语言功能是无法获得的。客观和主观评价的结果表明，适应使用转录或未转录的语音与我们的方法实现了一个合理的水平的性能与极其有限的数据量，并大大提高了性能与更多的数据。令人惊讶的是，适应与未转录的语音超过了转录对应的主观测试，这揭示了传统的声学模型的局限性，并提示潜在的改进方向。
2019-10-08 cs.CL cs.LG cs.SD
Language ID Prediction from Speech Using Self-Attentive Pooling and 1D-Convolutions
AO HTSTS（AO HTSTS 公司）；NTR Labs（NTR 实验室）；Tomsk State University（托木斯克国立大学）
本备忘录描述了关于从语音中预测语言ID的SIGTYP 2021共享任务的NTR-TSU提交。口语识别（LID）是多语种自动语音识别（ASR）系统流水线中的重要步骤。对于许多低资源和濒危语言，只有单一的扬声器录音可能是可用的，需要域和扬声器不变的语言ID系统。在本备忘录中，我们展示了具有Self-Attentive Pooling层的卷积神经网络在语言识别任务中显示出有希望的结果。
2021-04-24 cs.CL eess.AS
Multi-task Voice Activated Framework using Self-supervised Learning
Qualcomm Technologies（高通技术公司）
wav 2 vec 2.0等自监督学习方法在从未标记和未转录的语音数据中学习语音表示方面显示出了有希望的结果，这对于语音识别很有用。由于这些表示是在没有任何特定任务监督的情况下学习的，因此它们也可以用于其他语音激活任务，如说话人验证，关键字定位，情感分类等。在我们的工作中，我们提出了一个通用框架，用于适应不同语音激活任务的预训练wav2vec 2.0模型。我们开发了下游网络架构，该架构在wav2vec 2.0的上下文化语音表示上操作，以适应解决给定任务的表示。最后，我们扩展了我们的框架，以执行多任务学习，通过共同优化网络参数的多个语音激活的任务，使用共享的Transformer骨干。我们的单任务和多任务框架都在说话人验证和关键字定位基准测试中取得了最先进的结果。当在VoxCeleb2和VoxCeleb1上训练时，我们的最佳性能模型在VoxCeleb1测试集上分别达到1.98%和3.15%的EER，在Google Speech Commands v1.0关键字定位数据集上达到98.23%的准确率。
2022-03-19 cs.CL cs.SD eess.AS
An Exploration of Self-Supervised Pretrained Representations for End-to-End Speech Recognition
Carnegie Mellon University（卡内基梅隆大学）；Yahoo Japan Corporation（雅虎日本公司）；Northwestern Polytechnical University（西北工业大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Academia Sinica（中央研究院）；Johns Hopkins University（约翰斯·霍普金斯大学）；National Taiwan University（国立台湾大学）
语音数据的自监督预训练已经取得了很大的进展。从大量的非转录数据中学习到语音信号的高保真表示，并显示出良好的性能。最近，有几项工作专注于评估各种任务的自监督预训练表示的质量，而没有域限制，例如SUPERB。然而，这样的评价并没有提供一个全面的比较，许多ASR基准语料库。在本文中，我们重点关注预训练语音表示的一般应用，以及高级端到端自动语音识别（E2 E-ASR）模型。我们选择了几个预训练的语音表示，并在各种开源和公开可用的语料库上为E2 E-ASR提供实验结果。在不对后端模型架构或训练策略进行任何修改的情况下，一些使用预训练表示的实验，例如，WSJ、WSJ 0 - 2与HuBERT的混合，达到或超过当前最先进的（SOTA）识别性能。此外，我们还进一步探索了预训练表示是否有效的更多场景，例如跨语言或重叠语音。脚本，配置和训练模型已经在ESPnet中发布，让社区重现我们的实验并改进它们。
2021-10-09 cs.CL cs.SD eess.AS
Contextual Semi-Supervised Learning: An Approach To Leverage Air-Surveillance and Untranscribed ATC Data in ASR Systems
Idiap Research Institute（伊迪亚普研究所）；Ecole Polytechnique Federale de Lausanne (EPFL)（洛桑联邦理工学院）；Brno University of Technology（布尔诺理工大学）；ReplayWell（ReplayWell公司）
空中交通管理，特别是空中交通管制（ATC）主要依赖于空中交通管制员（ATCos）和飞行员之间的语音通信。在大多数情况下，这些语音通信遵循可以在自动语音识别（ASR）技术中利用的定义良好的语法。用于称呼飞机的呼号是所有ATCo-飞行员通信的重要组成部分。我们提出了一个两步的方法，在半监督训练过程中添加上下文知识，以降低ASR系统在识别包含呼号的话语部分时的出错率。最初，我们表示在WFST的上下文知识（即空中监视数据）的ATCo飞行员通信。然后，在半监督学习（SSL）期间，通过第二遍解码（即，格重新评分）添加上下文知识。结果表明，“看不见的域”（例如，来自机场的数据不存在于监督训练数据）进一步协助上下文SSL相比，独立的SSL。对于这项任务，我们引入呼号字出错率（CA-WER）作为评估指标，它只评估语音呼号在话语中的ASR性能。我们获得了32.1%的CA-WER相对改善应用SSL与额外的17.5%的CA-WER改善通过添加上下文知识在SSL期间从LiveATC收集的具有挑战性的基于ATC的测试集。
2021-08-27 cs.CL cs.CV cs.LG
Improving noise robustness of automatic speech recognition via parallel data and teacher-student learning
Brno University of Technology（布尔诺理工大学）；Amazon.com, Inc.（亚马逊公司）
对于现实世界的语音识别应用，噪声鲁棒性仍然是一个挑战。在这项工作中，我们采用了教师-学生（T/S）学习技术，使用一个平行的清洁和噪声语料库，以提高自动语音识别（ASR）的性能在多媒体噪声。最重要的是，我们应用了一种logits选择方法，该方法只保留k个最高值，以防止教师错误地强调知识，并减少传输数据所需的带宽。我们结合了多达8000小时的未转录数据进行训练，并在序列训练模型上展示了我们的结果，除了交叉熵训练的模型。最好的序列训练的学生模型产生相对字错误率（WER）减少约10.1%，28.7%和19.6%，分别对我们的清洁，模拟噪声和真实的测试集相比，序列训练的教师。
2019-03-15 cs.CL cs.LG cs.SD
Speech Corpus of Ainu Folklore and End-to-end Speech Recognition for Ainu Language
Graduate School of Informatics, Kyoto University（京都大学信息学研究科）
阿伊努语是日本的一个民族阿伊努人说的一种不成文的语言。它被联合国教科文组织认定为极度濒危，其语言遗产的存档和文献至关重要。虽然为了拯救阿伊努人的文化，人们制作和积累了大量的阿伊努人民间传说录音，但迄今为止，只有相当有限的一部分被转录。因此，我们开始了一个项目的自动语音识别（ASR）的阿伊努语，以促进注释语言档案的发展。在本文中，我们报告的语音语料库的发展和结构和性能的端到端ASR阿伊努人。我们研究了四个建模单元（音素，音节，词片，和词），发现基于音节的模型表现最好的词和音素识别准确率，这是约60%和85%以上，分别在扬声器开放条件。此外，在扬声器关闭的设置中，单词和电话的准确率达到了80%和90%。我们还发现，多语言ASR训练与英语和日语的额外语音语料库进一步提高了说话人开放测试的准确性。
2020-05-16 cs.CL cs.SD eess.AS
Improved Consistency Training for Semi-Supervised Sequence-to-Sequence ASR via Speech Chain Reconstruction and Self-Transcribing
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；Japan Advanced Institute of Science and Technology（日本北陆先端科学技术大学院大学）
一致性正则化最近被应用于半监督序列到序列（S2S）自动语音识别（ASR）。该原理鼓励ASR模型针对具有不同扰动的相同输入语音输出类似的预测。半监督S2S ASR的现有范例利用SpecAugment作为数据增强，并且需要静态教师模型来为未转录的语音产生伪转录。然而，这种范式未能充分利用一致性正则化。首先，SpecAugment的掩蔽操作可能会破坏语音的语言内容，从而影响伪标签的质量。其次，S2S ASR需要输入语音和前缀令牌两者来进行下一个预测。离线教师模型制作的静态前缀标记在一致性训练期间无法匹配动态伪标签。在这项工作中，我们提出了一个改进的一致性训练范式的半监督S2S ASR。我们利用语音链重建作为弱增强来生成高质量的伪标签。此外，我们证明了学生ASR模型产生的动态伪成绩单有利于一致性训练。在LJSpeech和LibriSpeech语料库上的实验表明，与有监督的基线相比，我们的改进范式在单说话人环境下的CER提高了12.2%，在多说话人环境下提高了38.6%。
2022-05-14 cs.CL cs.LG cs.SD
Hard to Be Heard: Phoneme-Level ASR Analysis of Phonologically Complex, Low-Resource Endangered Languages
University of Tübingen（图宾根大学）；University of Jena（耶拿大学）
研究通过音素级分析，探讨发音复杂且低资源的濒危语言在ASR中的表现，发现数据稀缺性比发音复杂性更影响识别性能。
2026-04-20 cs.CL
Deploying self-supervised learning in the wild for hybrid automatic speech recognition
Microsoft Corporation（微软公司）
自监督学习（SSL）方法已被证明是非常成功的自动语音识别（ASR）。这些巨大的改进主要基于高度精心策划的数据集，例如用于非流媒体端到端ASR模型的LibriSpeech。然而，SSL的关键特性是用于任何未转录的音频数据。在本文中，我们提供了一个完整的探索如何利用未经策划的音频数据在SSL从数据预处理部署一个流混合ASR模型。更具体地说，我们提出了（1）音频事件检测（AED）模型在数据预处理管道中的作用（2）分析选择优化器和学习率调度（3）比较最近开发的对比损失，（4）比较各种预训练策略，如利用域内与域外预训练数据，单语与多语言预训练数据，多头多语言SSL与单头多语言SSL以及监督预训练与SSL。实验结果表明，SSL预训练与域内未经策划的数据可以实现更好的性能相比，所有替代的域外预训练策略。
2022-05-17 cs.CL cs.SD eess.AS
Improving Unsupervised Sparsespeech Acoustic Models with Categorical Reparameterization
Sparsespeech模型是一种无监督的声学模型，可以为未转录的语音生成离散的伪标签。我们扩展了Sparsespeech模型，允许在一个随机离散变量的采样，产生伪后验图。在训练模型之后，可以完全控制该后验图中的稀疏程度。我们使用Gumbel-Softmax技巧从神经网络中的离散分布中近似采样，这使我们能够使用标准反向传播有效地训练网络。新的和改进的模型在Libri-Light语料库上进行训练和评估，Libri-Light语料库是有限或无监督的ASR基准。该模型在600 h和6000 h的英语朗读语音上进行了训练。我们使用ABX错误度量和半监督设置与10小时的转录语音来评估改进的模型。我们观察到，使用改进的Sparsespeech模型对600 h语音数据进行测试时，测试集上说话者的ABX错误率相对提高了31.4%，并且当我们将模型扩展到6000 h时，会有进一步的改进。
2020-05-29 cs.CL eess.AS
Semantic speech retrieval with a visually grounded model of untranscribed speech
Stellenbosch University（斯泰伦博斯大学）；TTI-Chicago（芝加哥丰田技术研究所）
人们对可以从与视觉上下文配对的未标记语音中学习的模型越来越感兴趣。此设置与低资源语音处理、机器人和人类语言习得研究相关。在这里，我们研究了一个基于视觉的语音模型，在与口头字幕配对的场景图像上训练，如何捕捉语义的各个方面。我们使用外部图像标记器从图像中生成软文本标签，这些标签作为神经模型的目标，将未转录的语音映射到（语义）关键字标签。我们引入了一个新收集的数据集的人类语义相关性判断和相关的任务，语义语音检索，其目标是搜索口语的语义相关的一个给定的文本查询。在没有看到任何文本的情况下，在并行语音和图像上训练的模型在其十大语义检索中达到了近60%的精度。与在transmittance上训练的监督模型相比，我们的模型在某些方面更好地匹配人类的判断，特别是在检索非逐字语义匹配方面。我们进行了广泛的分析模型及其产生的表示。
2018-10-31 cs.CL cs.CV eess.AS
A case study on using speech-to-translation alignments for language documentation
University of Notre Dame（圣母大学）
对于许多低资源或濒危语言，口语资源更有可能用翻译而不是翻译来注释。最近的工作利用这种注释来产生语音到翻译的对齐，而无需访问任何文本transmittance。我们调查是否提供这样的信息可以帮助产生更好的（不匹配的）众包transmittance，这反过来可能是有价值的训练语音识别系统，并表明，他们确实可以通过一个小规模的案例研究作为概念验证是有益的。我们还提出了一个简单的语音感知字符串平均技术，产生更高质量的transmittance。
2017-02-14 cs.CL
Improving Speech Recognition for African American English With Audio Classification
Google LLC（谷歌有限责任公司）
本文提出用少量域外AAE数据训练音频分类器并结合地理信息筛选未转录短格式查询子集进行半监督微调，使AAE与MAE的词错误率差异相对降低38.5%且不损害MAE质量。
2023-09-16 cs.CL cs.LG cs.SD
Confidence Score Guided Incremental and Speaker Adaptive Pseudo-Labeling for Semi-Supervised Elderly Speech Recognition
The Chinese University of Hong Kong, Hong Kong SAR, China（香港中文大学）；Institute of Software, Chinese Academy of Sciences, China（中国科学院软件研究所）；National Research Council Canada, Canada（加拿大国家研究理事会）
提出一种置信度评分引导的增量式和说话人自适应伪标注方法，通过渐进式高质量伪标签选择和说话人自适应训练，在老年人语音识别中分别降低词错误率1.45%和字符错误率2.27%。
2026-06-16 cs.SD eess.AS
Towards Measuring Fairness in Speech Recognition: Casual Conversations Dataset Transcriptions
Facebook（脸书）
众所周知，许多机器学习系统表现出对特定群体的偏见。这个问题在人脸识别领域已经得到了广泛的研究，但在自动语音识别（ASR）中研究得很少。本文介绍了“Casual Conversations”的初步语音识别结果-这是一个公开发布的846小时语料库，旨在帮助研究人员评估他们的计算机视觉和音频模型在各种元数据中的准确性，包括年龄，性别和肤色。整个语料库已被手动转录，允许跨这些元数据进行详细的ASR评估。评估了多个ASR模型，包括在LibriSpeech上训练的模型，14，000小时的转录，以及超过200万小时的未转录社交媒体视频。对于所有模型，有时观察到性别和肤色之间的单词错误率存在显着差异。我们正在发布来自Casual Conversations数据集的人类成绩单，以鼓励社区开发各种技术来减少这些统计偏差。
2021-11-18 cs.SD eess.AS
Large-scale representation learning from visually grounded untranscribed speech
University of Washington（华盛顿大学）；Google Research（谷歌研究院）
能够将图像与语音字幕相关联的系统是实现视觉化语言学习的重要一步。我们描述了一种可扩展的方法来自动生成不同的音频图像描述数据集。这支持预训练深度网络来编码音频和图像，我们通过一个双编码器来学习对齐来自两种模态的潜在表示。我们表明，这种模型的掩蔽利润softmax损失优于标准的三重损失。我们在Flickr 8 k音频字幕语料库上对这些模型进行了微调，并获得了最先进的结果-将前10名的召回率从29.6%提高到49.5%。我们还获得了人类对检索输出的评级，以更好地评估偶然匹配的图像-标题对的影响，这些图像-标题对在数据中不相关，发现自动评估大大低估了检索结果的质量。
2019-09-19 cs.CL cs.CV cs.SD
To Reverse the Gradient or Not: An Empirical Comparison of Adversarial and Multi-task Learning in Speech Recognition
Facebook AI Research（脸书人工智能研究院）
转录的数据集通常包含数据中每个实例的说话者身份。我们研究了两种在训练过程中整合这些信息的方法：多任务学习和对抗学习。在多任务学习中，目标是说话人预测;如果语音识别和说话人识别这两个任务共享一组共同的底层特征，我们预计这种联合训练会提高性能。相反，对抗学习是一种学习对说话者不变的表示的方法。然后，我们期望更好的性能，如果这个学习的不变性有助于推广到新的扬声器。虽然这两种方法在语音识别的上下文中看起来很自然，但它们是不兼容的，因为它们对应于反向传播到模型的相反梯度。为了更好地了解这些方法在出错率方面的效果，我们在受控环境中比较了这两种策略。此外，我们探索使用额外的未转录的数据在半监督，对抗学习的方式，以提高出错率。我们的研究结果表明，在大数据集上训练的深度模型已经在没有任何辅助损失的情况下开发了对说话者的不变表示。当考虑对抗学习和多任务学习时，对声学模型的影响似乎很小。然而，以半监督方式训练的模型可以提高错误率。
2019-02-14 cs.CL cs.LG cs.SD
Huqariq: A Multilingual Speech Corpus of Native Languages of Peru for Speech Recognition
Pompeu Fabra University（庞培法布拉大学）；Pontifical Catholic University of Peru（秘鲁天主教大学）
Huqariq语料库是秘鲁本土语言的多语言集合。转录的语料库旨在研究和开发语音技术，以保护秘鲁濒临灭绝的语言。Huqariq主要用于开发自动语音识别、语言识别和文本到语音工具。为了实现语料库的可持续收集，我们采用了众包的方法。Huqariq包括秘鲁的四种土著语言，预计到2022年底，秘鲁48种土著语言中的20种语言将被使用。该语料库有500多名志愿者录制的220小时转录音频，使其成为秘鲁最大的土著语言语音语料库。为了验证语料库的质量，我们提出了语音识别实验使用220小时的完全转录的音频。
2022-07-12 cs.CL
Semi-Supervised Spoken Language Understanding via Self-Supervised Speech and Language Model Pretraining
Amazon（亚马逊）
最近关于口语语言理解（SLU）的许多工作至少在以下三种方式中的一种上受到限制：模型在Oracle文本输入上进行训练并忽略ASR错误，模型被训练为仅预测意图而没有槽值，或者模型在大量内部数据上进行训练。在本文中，我们提出了一个干净的和一般的框架来学习语义直接从语音半监督从转录或未转录的语音来解决这些问题。我们的框架建立在预训练的端到端（E2E）ASR和自监督语言模型（如BERT）基础上，并在有限的目标SLU数据上进行了微调。我们研究了ASR组件的两个半监督设置：对转录语音进行监督预训练，以及通过用自监督语音表示（如wav2vec）替换ASR编码器进行无监督预训练。同时，我们确定了两个基本标准评估SLU模型：环境噪声鲁棒性和E2E语义评估。ATIS上的实验表明，我们的SLU框架与语音作为输入可以执行等同于使用甲骨文文本作为输入的语义理解，即使环境噪声是存在的，有限数量的标记语义数据可用于训练。
2020-10-26 cs.CL
Visually grounded learning of keyword prediction from untranscribed speech
Toyota Technological Institute at Chicago（芝加哥丰田技术研究院）
在语言习得过程中，婴儿有视觉线索的好处，以地面口语。机器人同样可以使用音频和视觉传感器。最近的工作表明，图像和口头字幕可以映射到一个有意义的共同空间，允许图像检索使用语音，反之亦然。在这种设置的图像与未转录的口头字幕配对，我们考虑是否可以使用计算机视觉系统来获得语音的文本标签。具体地说，我们使用一个图像到文字的多标签视觉分类器标记图像与软文本标签，然后训练一个神经网络映射到这些软目标的语音。我们表明，由此产生的语音系统是能够预测哪些词出现在一个话语-作为一个口头的词袋分类-没有看到任何平行的语音和文本。我们发现，该模型经常混淆语义相关的词，例如“人”和“人”，使其更有效的语义关键字spotter。
2017-05-25 cs.CL cs.CV
Improved low-resource Somali speech recognition by semi-supervised acoustic and language model training
Stellenbosch University（斯泰伦博斯大学）
我们提出了改进的自动语音识别（ASR）索马里，目前资源极其不足的语言。这是联合国（UN）继续努力使用基于ASR的关键字识别系统来支持非洲农村地区的人道主义救济计划的一部分。仅使用1.57小时的注释语音数据作为种子语料库，我们通过将半监督训练应用于17.55小时的未转录语音来增加训练数据的池。我们利用因式分解的时间延迟神经网络（TDNN-F）的声学建模，因为这些最近被证明是有效的资源稀缺的情况下。执行三个半监督训练通道，其中来自每个通道的解码输出用于后续通道中的声学模型训练。从表现最好的一遍中自动转换用于语言模型增强。为了保证自动翻译的质量，采用了解码器置信度作为阈值。从半监督方法获得的声学和语言模型在WER和困惑度方面与基线相比显示出显著的改善。对自动生成的transmittance进行验证，语言模型的复杂度提高了6.55%.在半监督训练中使用17.55小时的索马里声学数据显示相对于基线的7.74%的改进。
2019-07-06 cs.CL cs.LG eess.AS
Overcoming Domain Mismatch in Low Resource Sequence-to-Sequence ASR Models using Hybrid Generated Pseudotranscripts
Raytheon BBN Technologies（雷神BBN科技公司）
当大量训练数据可用时，序列到序列（seq2seq）模型与用于自动语音识别（ASR）任务的混合模型竞争。然而，seq2seq模型的数据稀疏性和领域自适应比它们的混合模型更成问题。我们检查语料库的五种语言从IARPA材料程序转录的数据是会话电话语音（CTS）和评估数据是广播新闻（BN）。我们发现，有一个相当大的初始差距，在这样的数据条件之间的混合和seq2seq模型，和混合模型是能够进一步提高通过使用额外的语言模型（LM）数据。我们使用一组额外的未转录数据，主要是在BN域进行半监督训练。在半监督训练中，在转录数据上训练的种子模型为未标记的域匹配数据生成假设的转录本，以供进一步训练。通过使用具有用于伪转录的扩展语言模型的混合模型，我们能够将我们的seq2seq模型从所有五种语言的66.7%的平均单词出错率（WER）提高到29.0%的WER。虽然这使seq2seq模型处于竞争性操作点，但混合模型仍然能够使用额外的LM数据来保持优势。
2021-06-14 cs.CL cs.SD eess.AS
Semi-supervised acoustic model training for five-lingual code-switched ASR
Stellenbosch University（斯泰伦博斯大学）；National University of Singapore（新加坡国立大学）
本文介绍了在声学建模的资源不足的代码切换（CS）语音在多种南非语言的最新进展。我们考虑两种方法。第一个构造单独的双语声学模型，对应于语言对（英语-isiZulu，英语-isiXhosa，英语-Sethem和英语-Seshem）。第二个构建了一个统一的五种语言的声学模型，代表所有的语言（英语，isiZulu，isiXhosa，Seturan和Sesuran）。对于这两种方法，我们考虑半监督训练的有效性，以增加非常稀疏的声学训练集的大小。使用大约11个小时的未转录语音，我们表明这两种方法都受益于半监督训练。双语TDNN-F声学模型也受益于添加CNN层（CNN-TDNN-F），而五种语言系统没有显示出任何显著的改进。此外，由于英语对我们数据中的所有语言对都是通用的，因此在训练统一的语言模型时，它占主导地位，从而以牺牲其他语言为代价提高英语ASR性能。尽管如此，五种语言模型提供了灵活性，因为它可以同时处理两种以上的语言，因此作为半监督训练管道中的自动转录系统是一个有吸引力的选择。
2019-10-15 cs.CL cs.SD eess.AS
Predicting positive transfer for improved low-resource speech recognition using acoustic pseudo-tokens
Stanford University（斯坦福大学）；Athena Research Center（雅典娜研究中心）；Wayne State University（韦恩州立大学）；Atos zData
针对低资源语音识别，提出声学标记分布相似度（ATDS）度量，用于选择相似的高资源供体语言进行持续预训练，从而有效提升目标语言ASR性能。
2024-02-03 cs.CL eess.AS
ASR2K: Speech Recognition for Around 2000 Languages without Audio
Carnegie Mellon University（卡内基梅隆大学）
最近的语音识别模型依赖于大型监督数据集，这对于许多低资源语言是不可用的。在这项工作中，我们提出了一个语音识别管道，不需要任何音频的目标语言。唯一的假设是我们可以访问原始文本数据集或一组n-gram统计数据。我们的语音管道由三个组件组成：声学、发音和语言模型。与标准管道不同，我们的声学和发音模型使用多语言模型，无需任何监督。语言模型使用n-gram统计或原始文本数据集构建。我们建立了语音识别的1909种语言，结合它与Crubadan：一个大型的濒危语言n-gram数据库。此外，我们在两个数据集上测试了129种语言：Common Voice和CMU Wilderness数据集。我们实现了50%的CER和74%的WER的荒野数据集与Crubadan统计数据，并提高到45% CER和69% WER时，使用10000个原始文本话语。
2022-09-06 cs.CL
ManWav: The First Manchu ASR Model
Seoul National University（首尔大学）
针对高资源与极低资源语言的ASR研究差距，聚焦濒危满语，基于Wav2Vec2-XLSR-53构建首个满语ASR模型ManWav，经增强数据训练后CER和WER均有下降。
2024-06-19 cs.CL cs.SD eess.AS
Fast ASR-free and almost zero-resource keyword spotting using DTW and CNNs for humanitarian monitoring
Stellenbosch University（斯泰伦博斯大学）；UN Global Pulse（联合国全球脉动）
我们使用动态时间规整（DTW）作为监督训练的卷积神经网络（CNN）的关键字发现系统使用一个小的口语孤立的关键字。其目的是允许快速部署一个新语言的关键词识别系统，以支持联合国在非洲部分地区的紧急救济方案，这些地区的语言资源极其不足，而且开发注释语音资源是不可行的。首先，我们使用1920个记录的关键字（40个关键字类型，34分钟的讲话）作为范例，在DTW为基础的模板匹配系统，并将其应用到未转录的广播讲话。然后，我们使用得到的DTW分数作为目标，在相同的未标记的语音上训练CNN。通过这种方式，我们只使用了34分钟的标记语音，但利用了大量未标记的数据进行训练。虽然所得到的CNN关键字识别器无法与基于DTW的系统的性能相匹配，但它的性能大大优于仅在关键字上训练的CNN分类器，将ROC曲线下面积从0.54提高到0.64。因为我们的CNN系统在运行时比DTW系统快几个数量级，所以它代表了这个极其有限的数据集上最可行的关键字发现器。
2018-06-25 cs.CL
Speech Representations and Phoneme Classification for Preserving the Endangered Language of Ladin
University of Southern California（南加州大学）
据预测，世界上7,000种口语中的绝大多数将在本世纪内灭绝，包括意大利阿尔卑斯山的拉丁语。致力于保存一种语言的语音和音韵结构的语言学家可能会花费数小时来转录母语人士的每一分钟讲话。为了解决这个问题的上下文中的Ladin，我们的论文提出了第一次分析的语音表示和机器学习模型分类32音素的Ladin。我们实验了一个新的数据集的法西斯方言的拉丁语，从母语在意大利收集。我们创建了帧级和段级语音特征提取方法，并使用在9种不同语音表示上训练的8种不同分类器进行了广泛的实验。我们的语音表示范围从传统特征（MFCC，LPC）到使用深度神经网络模型学习的特征（自动编码器，LSTM自动编码器和WaveNet）。我们最高性能的分类器，在语音信号的MFCC表示上训练，在所有Ladin音素中达到了86%的平均准确率。我们还获得了77%以上的平均精度为所有Ladin音素分组检查。我们的研究结果为学习有区别的Ladin音素表示提供了见解，并展示了利用机器学习和语音信号处理来保护Ladin和其他濒危语言的潜力。
2021-08-27 cs.CL cs.LG eess.AS
Sequence-level self-learning with multiple hypotheses
Microsoft（微软）
在这项工作中，我们开发了新的自学习技术与基于注意力的序列到序列（seq 2seq）模型的自动语音识别（ASR）。对于未转录的语音数据，来自ASR系统的假设必须用作标签。然而，不完美的ASR结果使得无监督学习难以一致地提高识别性能，特别是在多个强大的教师模型不可用的情况下。与传统的无监督学习方法相比，我们采用了\emph{multi-task learning}（MTL）框架，其中$n$ -th最佳ASR假设被用作每个任务的标签。通过MTL框架更新seq 2seq网络，以便找到可以覆盖多个假设的共同表示。通过这样做，可以减轻\emph{hard-decision}误差的影响。我们首先证明了我们的自我学习方法的有效性，通过ASR实验在口音适应任务之间的美国和英国的英语演讲。实验结果表明，与只使用美国英语数据训练的基线模型相比，该方法可以将英国语音数据的WER从14.55%降低到10.36%。此外，我们研究了我们提出的方法在联邦学习场景中的效果。
2021-12-10 cs.AI cs.CL cs.LG
On Architectures and Training for Raw Waveform Feature Extraction in ASR
RWTH Aachen University（亚琛工业大学）；AppTek GmbH（AppTek有限公司）
随着基于神经网络的建模在自动语音识别（ASR）中的成功，许多研究直接基于原始波形来研究声学建模和特征提取器的学习。最近，一系列研究集中在仅音频数据的特征提取器的无监督预训练上，以提高下游ASR性能。在这项工作中，我们调查的有用性，这些前端框架之一，即wav2vec，在没有额外的未转录数据的混合ASR系统的设置。我们将此框架与手动定义的标准Gammatone特征集以及作为ASR系统训练监督的声学模型的一部分提取的特征进行比较。我们研究了使用预训练的特征提取器的好处，并探索如何额外利用使用不同特征训练的现有声学模型。最后，我们系统地研究所描述的功能的组合，以进一步提高性能。
2021-10-05 cs.CL cs.LG cs.SD
Adapting Multilingual Speech Representation Model for a New, Underresourced Language through Multilingual Fine-tuning and Continued Pretraining
Tohoku University of Community Service and Science（东北公益文科大学）；Kitami Institute of Technology（北见工业大学）；Yokohama National University（横滨国立大学）
近年来，通过对大规模多语言文本或语音数据进行自监督预训练而学习的神经模型在资源不足的语言中表现出了良好的效果，特别是当相关语言的数据量相对较大时。虽然该技术有可能促进语言文档项目中执行的任务，例如语音转录，但为每种新语言从头开始预训练多语言模型是非常不切实际的。我们研究了将现有的多语言wav 2 vec 2.0模型用于新语言的可能性，重点关注来自极度濒危语言阿伊努人的实际实地调查数据。具体来说，我们（i）研究利用类似语言的数据进行微调的可行性;（ii）验证模型的性能是否可以通过进一步对目标语言数据进行预训练来提高。我们的研究结果表明，持续的预训练是最有效的方法，以适应一个新的语言wav 2 vec 2.0模型，并导致出错率显着降低。此外，我们发现，如果一个模型预训练相关的语音品种或不相关的语言具有相似的语音特征，多语言微调使用额外的数据，从该语言可以有积极的影响语音识别性能时，有很少的标记数据在目标语言。
2023-01-18 cs.CL cs.LG eess.AS
Fully Learnable Front-End for Multi-Channel Acoustic Modeling using Semi-Supervised Learning
Amazon（亚马逊）
在这项工作中，我们研究了教师-学生培训范式训练一个完全可学习的多通道声学模型的远场自动语音识别（ASR）。使用在波束成形音频上训练的大型离线教师模型，我们训练了在语音识别系统中使用的更简单的多通道学生声学模型。对于学生，多通道特征提取层和更高的分类层都使用来自教师模型的logits进行联合训练。在我们的实验中，与在约600小时的转录数据上训练的基线模型相比，当使用额外的1800小时的未转录数据时，实现了约27.3%的相对字出错率（WER）降低。我们还研究了预训练多通道前端以使用L2损耗输出波束成形的对数梅尔滤波器组能量（LFBE）的益处。我们发现，预训练提高了10.7%的字出错率相比，直接初始化的波束形成器和梅尔滤波器组系数的前端的多通道模型。最后，与我们的基线相比，将预培训和师生培训相结合，WER降低了31%。
2020-02-01 cs.LG cs.SD eess.AS
Efficient Dialect-Aware Modeling and Conditioning for Low-Resource Taiwanese Hakka Speech Processing
Dept. Computer Science and Information Engineering, National Taiwan Normal University, Taiwan（计算机科学与信息工程系，国立台湾师范大学，台湾）；Institute of Computer Science, Academia Sinica, Taiwan（学术院计算机科学研究所，台湾）；United Link Co., Ltd., Taiwan（联合链接公司，台湾）
本文提出一种基于RNN-T的统一框架，通过方言意识建模策略和参数高效预测网络，实现低资源台语客家语的高效ASR处理，取得显著的错误率降低效果。
2026-02-26 cs.AI cs.CL cs.SD
Low-rank and Sparse Soft Targets to Learn Better DNN Acoustic Models
Idiap Research Institute（Idiap研究所）
用于语音声学建模的传统深度神经网络（DNN）依赖于高斯混合模型（GMM）和隐马尔可夫模型（HMM）来获得二进制类别标签作为DNN训练的目标。语音识别系统中的子词类对应于上下文相关的绑定状态或senone。目前的工作解决了DNN训练的GMM-HMM senone对齐的一些限制。我们假设从使用二进制标签训练的DNN中获得的senone概率可以提供更准确的目标来学习更好的声学模型。然而，DNN输出具有不准确性，表现为高维非结构化噪声，而信息成分是结构化和低维的。我们利用主成分分析（PCA）和稀疏编码的特征senone子空间。从低秩和稀疏重建中获得的增强概率被用作DNN声学建模的软目标，这也使得能够使用未转录的数据进行训练。在AMI语料库上进行的实验表明，词的出错率相对降低了4.6%。
2016-10-18 cs.AI cs.CL cs.HC
