A Conformer Based Acoustic Model for Robust Automatic Speech Recognition
The Ohio State University（俄亥俄州立大学）
本研究提出一种基于一致性的声学模型来解决鲁棒的自动语音识别（ASR）。该模型建立在宽残差双向长短期记忆网络（WRBN）的基础上，具有逐段丢弃和迭代说话人自适应功能，但采用了Conformer编码器代替递归网络。Conformer编码器使用卷积增强的注意力机制进行声学建模。该系统的CHiME-4语料库的单耳ASR任务进行评估。结合发音规范化和说话人自适应，我们的模型实现了$6.25\%$的词出错率，它比WRBN的$8.4\%$相对。此外，所提出的基于一致性的模型是$18.3\%$更小的模型大小和减少总的训练时间由$79.6\%$。
2022-10-20 cs.AI cs.CL cs.SD
Semi-supervised and Active-learning Scenarios: Efficient Acoustic Model Refinement for a Low Resource Indian Language
International Institute of Information Technology – Bangalore (IIIT-B)（班加罗尔国际信息技术学院（IIIT-B））
我们解决的问题，有效的声学模型细化（连续再培训）使用半监督和主动学习的低资源的印度语言，其中低资源的限制有i）一个小的标记语料库，从其中训练的基线“种子”声学模型和ii）一个大的训练语料库没有正字法标记或从其中执行数据选择手动标记在低成本。所提出的半监督学习使用种子模型并通过各种协议对未标记的大型训练语料库进行解码，使用置信水平（与解码话语的WER相关）和迭代自举来选择具有高可靠性的解码话语。所提出的主动学习协议使用基于置信度的度量从大型未标记语料库中选择解码的话语进行进一步标记。半监督学习协议可以从训练不良的种子模型中提供WER减少，如果大语料库被标记并用于声学模型训练，则减少多达从种子模型的WER可实现的最佳WER减少的50%。主动学习协议允许仅对整个训练语料库的60%进行手动标记，以达到与整个数据相同的性能。
2018-10-02 cs.CL cs.CV cs.SD
Subjective and objective experiments on the influence of speaker's gender on the unvoiced segments
Indian Institute of Science（印度科学学院）；Voice and Speech Systems（语音与言语系统公司）
本文通过主观和客观实验，研究了说话人性别对清音声学特性的影响。用异性说话者的相应段替换话语的U段，以准备修改的话语。人类被要求判断修改后的话语是由一个还是两个说话者说的。实验表明，人类受试者无法区分修改后的内容和原始内容。因此，收听者能够识别U段，而不管性别如何，这可以基于一些说话者无关的不变声学线索。为了检验这一发现是否纯粹是一种知觉现象，还进行了客观实验。使用TIMIT训练集来训练基于性别特定HMM的音素识别系统，并对（a）由相同性别说出的话语（b）由相反性别说出的话语和（c）测试集的修改的话语进行测试。如所预期的，情况（a）的性能最高，情况（b）的性能最低。对于情况（c），性能仅略微降低。这一结果表明，说话人的性别对U音的声学效果的影响并不像对浊音那样强烈。
2018-07-16 cs.SD eess.AS
Knowledge Distillation Leveraging Alternative Soft Targets from Non-Parallel Qualified Speech Data
IBM Research AI（IBM研究院人工智能部门）
本文描述了一种新的知识蒸馏框架，利用声学合格的语音数据包括在现有的训练数据池作为特权信息。在我们提出的框架中，一个学生网络的训练与多个软目标为每个话语，包括主要的软目标从原始扬声器的话语和替代目标从其他扬声器的话语在更好的声学条件下发言作为辅助视图。这些合格的话语从其他扬声器，用于产生更好的软目标，收集从一个合格的数据池，通过使用严格的限制，在字/电话/状态持续时间。我们提出的方法是一种形式的目标侧数据增强，创建多个副本的数据与相应的更好的软目标从一个合格的数据池。我们在声学模型自适应设置下的实验表明，所提出的方法，利用更好的软目标从各种扬声器，可以进一步提高识别精度相比，传统的方法只使用软目标从原始扬声器。
2021-12-16 cs.SD eess.AS
Sequence-level Confidence Classifier for ASR Utterance Accuracy and Application to Acoustic Models
University of California, Los Angeles（加州大学洛杉矶分校）；Microsoft Corporation（微软公司）
在自动语音识别（ASR）系统中，来自传统置信度分类器（CC）的分数缺乏通用解释，并且随着对底层置信度或声学模型（AM）的更新而变化。在这项工作中，我们建立了可解释的置信度分数，目标是与ASR准确性密切相关。我们提出了一种新的序列级CC，具有更丰富的上下文，提供与ASR准确性高度相关的CC分数，并且在CC更新中分数稳定。因此，扩大CC应用。最近，随着统一模型的广泛使用，AM定制已经获得了牵引力。定制AM的传统适应策略期望目标域的匹配良好的数据与金标准transmittance。我们提出了一种具有成本效益的方法，使用CC分数来选择一个最佳的适应数据集，在那里我们从最小的数据最大限度地提高ASR收益。我们研究了各种置信度范围内的数据，并使用KL-发散正则化优化选择了AM自适应数据。在Microsoft语音搜索任务中，使用序列级置信度分数进行监督自适应的数据选择实现了行卷积LSTM（RC-LSTM）的8.5%的字错误率降低（WERR）和延迟控制双向LSTM（LC-BLSTM）的5.2%。在半监督的情况下，使用ASR假设作为标签，我们的方法分别为RC-LSTM和LC-BLSTM提供了5.9%和2.8%的WERR。
2021-06-30 cs.SD eess.AS eess.SP
Device-directed Utterance Detection
Amazon（亚马逊）
在这项工作中，我们提出了一个分类器，用于区分设备导向的查询与语音助手的交互的背景下，从背景语音。应用程序包括拒绝错误唤醒或意外交互，以及启用唤醒词免费后续查询。考虑交互示例：$"Computer,~play~music", "Computer,~reduce~the~volume"$。在该交互中，用户需要重复用于第二查询的唤醒词（$Computer$）。为了允许更自然的交互，设备可以在第一次查询之后立即重新进入监听状态（没有唤醒词重复），并接受或拒绝潜在的后续作为设备引导的或背景语音。该模型由两个长短期记忆（LSTM）神经网络组成，分别基于声学特征和自动语音识别（ASR）1-最佳假设进行训练。然后，训练前馈深度神经网络（DNN）以将从LSTM导出的声学和1-最佳嵌入与来自ASR解码器的特征相结合。实验结果表明，ASR解码器，声学嵌入和1-最佳嵌入产生的$9.3~\%$，$10.9~\%$和$20.1~\%$的等错误率（EER）分别。这些特征的组合导致$44~\%$相对改善，最终EER为$5.2~\%$。
2018-08-07 cs.CL eess.AS
Acoustic Modeling for End-to-End Empathetic Dialogue Speech Synthesis Using Linguistic and Prosodic Contexts of Dialogue History
The University of Tokyo（东京大学）；LINE Corp.（LINE公司）
我们提出了一个端到端的移情对话语音合成（DSS）模型，同时考虑了语言和韵律的对话历史背景。移情是人类在对话中主动尝试进入对话者内部的行为，而移情决策支持系统就是在口语对话系统中实现这一行为的一种技术。我们的模型是由语言和韵律特征的历史预测适当的对话上下文的条件。因此，它可以被视为传统的基于语言特征的对话历史建模的扩展。为了有效地训练移情DSS模型，我们研究了1）用大型语音语料库预训练的自监督学习模型，2）使用要通过对话上下文嵌入预测的当前话语的韵律嵌入的风格引导训练，3）结合文本和语音模态的跨模态注意，以及4）逐段嵌入以实现细粒度韵律建模而不是逐段建模。评价结果表明：1）单纯考虑对话历史的韵律语境并不能提高移情DSS的语音质量; 2）引入风格引导训练和逐行嵌入建模，语音质量比传统方法更高。
2022-06-16 cs.CL cs.LG cs.SD
Speech Repairs, Intonational Boundaries and Discourse Markers: Modeling Speakers' Utterances in Spoken Dialog
在这篇论文中，我们提出了一个统计语言模型来解决语音修复，语调边界和话语标记语。而不是找到一个声学信号的最佳词的解释，我们重新定义的语音识别问题，使它也确定的POS标签，话语标记，语音修复和语调短语结尾（在确定话语单位的主要线索）。将这些额外的元素添加到语音识别问题中实际上可以更好地预测所涉及的单词，因为我们能够利用边界音调，话语标记和语音修复的预测来更好地解释接下来会出现什么单词。此外，我们可以利用声学信息，如沉默信息，它往往与语音修复和语调短语结尾共现，目前的语言模型只能视为噪声的声学信号。这个语言模型的输出是一个更全面的帐户发言者的回合，与部分的语音分配给每个单词，语调短语结尾和话语标记识别，语音修复检测和纠正。事实上，语调短语结尾、话语标记和语音修复的解决方案的识别允许语音识别器对说话者的话语进行建模，而不是简单地对所涉及的单词进行建模，并且因此它可以返回对说话者的回合的更有意义的分析以供稍后处理。
1997-12-23 cmp-lg cs.CL
Segmenting Subtitles for Correcting ASR Segmentation Errors
Columbia University（哥伦比亚大学）；University of Maryland（马里兰大学）；University of Edinburgh（爱丁堡大学）
典型的ASR系统使用纯声学信息将输入音频分割成话语，其可能不类似于用于口语翻译的常规机器翻译（MT）系统所期望的类似话语的单元。在这项工作中，我们提出了一个模型，用于纠正低资源语言的ASR模型的声学分割，以提高下游任务的性能。我们建议使用字幕作为代理数据集，用于校正ASR声学分割，通过对常见错误模式进行建模来创建合成声学话语。我们训练一个神经标记模型来纠正ASR声学分割，并表明它提高了MT和音频文档跨语言信息检索（CLIR）的下游性能。
2021-04-16 cs.CL
Frustratingly Easy Noise-aware Training of Acoustic Models
JHU Applied Physics Laboratory（约翰斯·霍普金斯大学应用物理实验室）；MIT Lincoln Labs（麻省理工学院林肯实验室）
环境噪声和混响对自动语音识别（ASR）系统的性能有不利影响。基于神经网络的声学模型的多条件训练被用来处理这个问题，但它需要多次数据扩充，导致训练时间增加。在本文中，我们提出了话语级噪声向量的噪声感知训练的声学模型在混合ASR。我们的噪声向量是通过组合话语中的语音帧和静默帧的手段来获得的，其中语音/静默标签可以从针对ASR对准训练的GMM-HMM模型获得，使得除了对特征向量进行平均之外不需要额外的计算。我们通过对AMI和Aurora-4的实验表明，这种简单的自适应技术可以导致6-7%的相对WER改善。我们实现了文献中提出的几个基于嵌入的自适应基线，并表明我们的方法在两个数据集上都优于它们。最后，我们将我们的方法扩展到在线ASR设置，通过使用帧级最大似然均值估计。
2021-02-02 cs.SD eess.AS
Whisper-RIR-Mega: A Paired Clean-Reverberant Speech Benchmark for ASR Robustness to Room Acoustics
本文提出Whisper-RIR-Mega数据集，用于评估ASR在房间声学中的鲁棒性。该数据集包含干净和混响语音的配对样本，评估了五种Whisper模型在清洁和混响条件下的性能，发现混响会降低所有模型的性能。
2026-03-15 cs.AI cs.LG cs.SD
Leveraging Cross-Utterance Context For ASR Decoding
University of Sheffield（谢菲尔德大学）
本文研究在 ASR 解码中引入长上下文 transformer LM，通过束搜索利用跨话语信息，并在 AMI 与 Tedlium-1 上验证其相对 n-best 重打分和单话语解码的词错率改进。
2023-06-29 cs.CL cs.SD eess.AS
Computational Pronunciation Analysis in Sung Utterances
Queen Mary University of London（伦敦玛丽女王大学）；Doremir Music Research AB（Doremir音乐研究公司）
目前的自动歌词转录（ALT）方法主要集中在建立更强的声学模型或域内语言模型，而很少涉及发音方面。本文应用一种新的计算分析方法对歌唱发音中的发音差异进行了分析，并进一步提出了一种新的适用于歌唱的发音模型。通过单词识别实验，在多个公共数据集上测试了唱歌适应模型。它在所有设置中的表现都优于标准语音词典，在使用n元语言模型的无伴奏合唱录音中报告ALT的最佳结果。为了重现性，我们分享了测试中使用的重复级别注释，为ALT提供了一个新的基准评估集。
2021-06-21 cs.IR cs.SD eess.AS
Utterance-Wise Meeting Transcription System Using Asynchronous Distributed Microphones
Hitachi, Ltd.（日立有限公司）
本文提出了一种新的框架，会议转录使用异步麦克风。它包括音频同步、说话人日志化、基于引导源分离的语音增强、自动语音识别和重复减少。在语音增强之前进行说话人日志化，使得系统能够处理重叠语音，而无需考虑麦克风之间的采样频率失配。对我们真实会议数据集的评估表明，我们的框架通过使用11个分布式麦克风实现了28.7%的字符错误率（CER），而放置在桌子中心的单声道麦克风的CER为38.2%。我们还表明，我们的框架实现了21.8%的CER，仅比基于耳机麦克风的转录的CER高2.1个百分点。
2020-07-31 cs.CL cs.SD eess.AS
Effective Cross-Utterance Language Modeling for Conversational Speech Recognition
National Taiwan Normal University（国立台湾师范大学）；Chunghwa Telecom Laboratories（中华电信研究所）
会话言语通常在话语层面上体现为松散的句法结构，但同时在连续的话语之间表现出主题连贯关系。先前的工作已经表明，用循环神经网络或长短期记忆语言模型（LM）捕获较长的上下文信息可能在排除长范围上下文的同时遭受最近偏差。为了捕捉词与词之间以及话语之间的长期语义交互，提出了会话语音自动语音识别（ASR）中不同会话历史融合的语言建模方法。此外，一种新的音频融合机制，管理融合和利用当前话语的声学嵌入和其相应的会话历史的语义内容，在合作的方式。为了充实我们的想法，我们将ASR N-best假设重新评分任务框架为预测问题，利用BERT（一种标志性的预训练LM）作为成分工具，以便于从给定的N-best假设列表中选择Oracle假设。在AMI基准数据集上进行的实证实验似乎证明了我们的方法相对于当前一些顶级方法的可行性和有效性。所提出的方法不仅实现了显着的推理时间减少，但也提高了会话语音的ASR性能。
2022-06-01 cs.CL cs.SD eess.AS
Sampling-based speech parameter generation using moment-matching networks
The University of Tokyo（东京大学）；Tokyo Institute of Technology（东京工业大学）
本文提出了基于采样的语音参数生成，使用矩匹配网络的深度神经网络（DNN）为基础的语音合成。尽管人们即使试图表达相同的语言和副语言信息也不会产生完全相同的语音，但是典型的统计语音合成产生完全相同的语音，即，在合成语音中没有话语间变化。为了使合成语音具有自然的话语间变化，本文建立了DNN声学模型，使随机采样语音参数成为可能。DNN被训练，使得它们使生成的语音参数的矩接近自然语音参数的矩。由于语音参数的变化被压缩成一个低维的简单的先验噪声向量，我们的算法具有较低的计算成本比直接采样的语音参数。作为生成具有自然话语间变化的合成语音的第一步，本文研究了所提出的基于采样的生成是否会使合成语音质量恶化。在评价中，我们比较了传统的最大似然生成和提出的采样为基础的生成的语音质量。实验结果表明，该方法不会降低语音质量。
2017-04-12 cs.LG cs.SD stat.ML
Unsupervised Speech Segmentation: A General Approach Using Speech Language Models
Hebrew University of Jerusalem（耶路撒冷希伯来大学）
本文利用 Speech Language Models 提出一种简单的无监督语音分割方法，可处理情绪、说话人等多种声学—语义风格变化，并在边界检测、片段纯度和过度分割上优于基线。
2025-01-07 cs.AI cs.CL cs.LG
BERTphone: Phonetically-Aware Encoder Representations for Utterance-Level Speaker and Language Recognition
Amazon AWS AI（亚马逊 AWS 人工智能）
我们介绍BERTphone，一个Transformer编码器训练的大型语音语料库，输出语音感知的上下文表示向量，可用于扬声器和语言识别。这是通过对两个目标的训练来实现的：第一个目标，受BERT适应连续域的启发，涉及掩蔽输入帧的跨度并重建整个序列用于声学表示学习;第二个目标，受ASR瓶颈特征的成功启发，是应用于音素标签的序列级CTC损失，用于语音表示学习。我们预训练了两个BERTphone模型（一个在Fisher上，一个在TED-LIUM上），并将它们作为特征提取器用于这两个任务的x向量风格DNN。在具有挑战性的LRE 07 3秒闭集语言识别任务中，我们获得了最先进的$C_{\text{avg}}$ 6.16。在Fisher和VoxCeleb说话人识别任务中，我们看到在BERTphone向量而不是MFCC上训练时，说话人EER相对降低了18%。一般来说，BERTphone在相同数据上的表现优于以前的语音预训练方法。我们在https://github.com/awslabs/speech-representations上发布我们的代码和模型。
2021-12-29 cs.CL cs.LG cs.SD
Utterance-level Intent Recognition from Keywords
Beckman Institute, UIUC（伊利诺伊大学厄巴纳-香槟分校贝克曼研究所）；Intel Corporation（英特尔公司）；Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究院）
本文重点研究了在计算和内存有限的平台上的意图唤醒（WOI）技术。我们的话语级意图分类方法是基于话语中的关键字序列，而不是单个固定的关键短语。将关键词序列转化为四种输入特征，即声学、音素、word2vec和speech2vec，用于个体意图学习，然后进行融合决策。如果检测到唤醒意图，它将在之后触发功耗高的ASR。该系统是在一个新收集的内部数据集在英特尔称为AMIE，这将是本文首次报道的训练和测试。结果表明，我们的新技术与关键短语的表示成功地实现了噪声鲁棒的意图分类在不同的领域，包括车内人机通信。意图唤醒系统将是低功耗和低复杂性的，这使得它适合于在现实生活中基于硬件的应用中始终运行。
2020-09-17 cs.SD eess.AS
Speaker Cluster-Based Speaker Adaptive Training for Deep Neural Network Acoustic Modeling
Sony Computer Entertainment America（索尼电脑娱乐美国公司）
提出了一种基于深度神经网络-隐马尔可夫模型（DNN-HMM）的说话人自适应训练（SAT）方法。在训练期间，使用基于i向量的距离度量来对声学上彼此相邻的扬声器进行分层聚类。然后，针对每个扬声器集群自适应地训练具有扬声器相关层的DNN。在解码开始之前，通过比较基于i向量的距离，将测试集中的未见过的说话人匹配到最近的说话人聚类。匹配的说话人聚类的先前训练的DNN用于解码测试说话人的话语。所提出的方法在大词汇量自发语音识别任务上的性能在具有1500小时语音的训练集和具有1774个话语的24个说话者的测试集上进行评估。与具有11.6%的基线字出错率的说话人无关DNN相比，从所提出的方法观察到字出错率相对降低6.8%。
2016-04-20 cs.CL
An Acoustic Segment Model Based Segment Unit Selection Approach to Acoustic Scene Classification with Partial Utterances
Georgia Institute of Technology（佐治亚理工学院）；University of Enna（恩纳大学）；Tencent Corporation（腾讯公司）；University of Science and Technology of China（中国科学技术大学）
在本文中，我们提出了一个子话语单元选择框架，以消除音频记录中的声学片段，进行声学场景分类（ASC）的信息很少。我们的方法是建立在一组通用的声学段单元覆盖整个声学场景空间。首先，这些单元被建模与声学段模型（ASMs）用于标记声学场景话语成序列的声学段单元。其次，与信息检索中的停用词的思想并行，自动检测停用ASMs。最后，与停止ASM相关联的声学段被阻止，因为它们在大多数声学场景的检索中的索引能力低。与用整个话语构建场景模型相比，ASM去除的子话语，即，然后，没有停止声学段的声学话语被用作AlexNet-L后端的输入，用于最终分类。在DCASE 2018数据集上，场景分类准确率从68%（整个话语）提高到72.1%（片段选择）。这表示在没有任何数据增强和/或集成策略的情况下具有竞争力的准确性。此外，我们的方法与AlexNet-L相比更受关注。
2020-07-31 cs.CL cs.SD eess.AS
Text-Only Domain Adaptation for End-to-End Speech Recognition through Down-Sampling Acoustic Representation
Tsinghua University（清华大学）；Peng Cheng Lab（鹏城实验室）；Tencent AI Lab（腾讯人工智能实验室）；The Chinese University of Hong Kong（香港中文大学）
针对语音与文本表征长度不一致导致纯文本域自适应效果不佳的问题，提出下采样声学表征对齐文本模态的策略，引入CIF模块生成匹配词元长度的声学表征，提升端到端ASR的新域性能。
2023-10-07 cs.CL cs.SD eess.AS
Improving Fairness and Robustness in End-to-End Speech Recognition through unsupervised clustering
Meta
针对自动语音识别存在群体公平性不足且需兼顾隐私的问题，研究提出用公开数据集训练的说话人ID模型提取话语嵌入做无监督声学聚类，以聚类ID为训练特征，在保护隐私的同时提升了端到端ASR的公平性与鲁棒性，各群体尤其不同口音性能均有提升。
2023-06-06 cs.CL cs.LG cs.SD
Predictive Speech Recognition and End-of-Utterance Detection Towards Spoken Dialog Systems
Waseda University（早稻田大学）；Karlsruhe Institute for Technology（卡尔斯鲁厄理工学院）
本文提出一种模拟人类预测行为的对话系统方法，通过掩蔽未来音频片段训练ASR预测后续词语，并结合声学与语言学信息的交叉注意力算法检测话语结束，可在实际EOU前300ms进行预测并提升ASR性能。
2024-09-30 cs.CL cs.SD eess.AS
Utterance-level neural confidence measure for end-to-end children speech recognition
The Chinese University of Hong Kong（香港中文大学）
置信度是自动语音识别（ASR）系统在实际应用中的一个重要性能指标。本文研究了端到端自动语音识别（E2 E ASR）中的话语级神经置信度（NCM）。E2 E系统采用联合CTC关注Transformer架构。NCM的预测被公式化为二元分类的任务，即，基于在ASR解码过程期间获取的一组预测器特征来接受/拒绝输入话语。调查的重点是评估和比较的预测功能，来自不同的内部和外部模块的E2 E系统的效力。实验进行了儿童语音，其中国家的最先进的ASR系统表现出不满意的性能和鲁棒的置信度是特别有用的。值得注意的是，与语音的声学信息相关的预测特征在估计置信度方面比与语言信息相关的预测特征起着更重要的作用。N-best score特征的性能明显优于single-best特征。研究还表明，EER和AUC指标不适合评估具有显著性能差距的不匹配ASR的NCM。
2021-09-16 cs.SD eess.AS
Cross-Modal ASR Post-Processing System for Error Correction and Utterance Rejection
Hikvision Research Institute（海康威视研究院）
虽然现代自动语音识别（ASR）系统可以达到很高的性能，但它们可能会产生错误，削弱读者的经验，并对下游任务造成损害。为了提高ASR假设的准确性和可靠性，我们提出了一种用于语音识别器的跨模态后处理系统，该系统1）融合来自不同模态的声学特征和文本特征，2）以多任务学习方式联合置信估计器和纠错器，3）统一纠错和话语拒绝模块。与单模态或单任务模型相比，我们提出的系统被证明是更有效和高效的。实验结果表明，该后处理系统在单说话人和多说话人语音识别系统上，每个标记的识别延迟约为1.7ms，字符错误率（CER）相对降低10%以上，保证了后处理引入的额外延迟在流语音识别中是可以接受的。
2022-01-10 cs.AI cs.SD eess.AS
Improving Generalization of Transformer for Speech Recognition with Parallel Schedule Sampling and Relative Positional Embedding
Tsinghua University（清华大学）；Sogou（搜狗）；UCLA（加州大学洛杉矶分校）
Transformer最近在许多序列到序列转换任务中显示出了有希望的结果。它利用了一些前馈自注意层，以取代递归神经网络（RNN）在基于注意力的编码器解码器（AED）架构。自我注意层通过将符号的正弦位置嵌入序列中以进行并行计算来学习时间依赖性。在训练过程中，可以获得比RNN顺序运算更快的迭代速度。Transformer的更深层也使其性能优于基于RNN的AED。然而，这种并行化能力在应用预定的采样训练时丢失。正弦位置嵌入的自注意可能会导致在不同位置具有相似声学或语义信息的较长序列的性能下降。为了解决这些问题，我们建议使用并行调度采样（PSS）和相对位置嵌入（RPE），以帮助Transformer推广到看不见的数据。我们提出的方法实现了7%的相对改善短话语和70%的相对增益长话语的10,000小时的普通话ASR任务。
2020-11-30 cs.CL eess.AS
Improving Generalization of Deep Neural Network Acoustic Models with Length Perturbation and N-best Based Label Smoothing
IBM Research AI（IBM研究院人工智能部）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）；IBM Research Tokyo（IBM东京研究院）
我们引入了两种技术，长度扰动和基于n-best的标签平滑，以提高自动语音识别（ASR）的深度神经网络（DNN）声学模型的泛化能力。长度扰动是一种数据增强算法，它随机地丢弃和插入话语的帧以改变语音特征序列的长度。基于N-best的标签平滑在训练期间随机地将噪声注入到地面真实标签，以避免过拟合，其中噪声标签是从N-best假设生成的。我们评估这两种技术广泛的300小时总机（SWB 300）数据集和内部500小时的日本（JPN 500）数据集使用循环神经网络换能器（RNNT）声学模型的ASR。我们表明，这两种技术分别提高了RNNT模型的泛化能力，它们也可以是互补的。特别是，它们在强大的SWB 300基线上产生了良好的改进，并使用RNNT模型在SWB 300上提供了最先进的性能。
2022-03-29 cs.CL cs.SD eess.AS
Self-Supervised Speech Quality Assessment (S3QA): Leveraging Speech Foundation Models for a Scalable Speech Quality Metric
Johns Hopkins University Applied Physics Laboratory（约翰斯·霍普金斯大学应用物理实验室）
本文提出自监督语音质量评估模型S3QA，利用WavLM嵌入余弦距离作为训练目标，在多种退化条件下预测语音质量，并与MOS和ASR性能对齐，实现可扩展的自动评估。
2025-10-08 cs.SD eess.AS
Semi-supervised acoustic and language model training for English-isiZulu code-switched speech recognition
Stellenbosch University（斯泰伦博斯大学）
我们提出了一个半监督的声学和语言模型训练的英语isiZulu代码切换ASR使用肥皂剧讲话的分析。大约11个小时的未转录的多语种语音被自动转录使用四个双语代码转换转录系统在英语-isiZulu，英语-isiXhosa，英语-Sethoon和英语-Seshoon。这些transmittance被纳入声学和语言模型训练集。结果表明，TDNN-F声学模型受益于额外的半监督数据，并且通过包括额外的CNN层可以实现更好的性能。使用这些CNN-TDNN-F声学模型，半监督训练的第一次迭代实现了3.4%的绝对混合语言WER降低，第二次迭代后进一步降低了2.2%。虽然未转录数据中的语言是未知的，但当所有自动转录的数据都用于训练时，而不仅仅是被归类为英语-祖鲁语的话语时，获得了最好的结果。尽管减少了困惑，半监督语言模型是无法提高ASR的性能。
2020-04-05 cs.LG cs.SD eess.AS
Streaming Language Identification using Combination of Acoustic Representations and ASR Hypotheses
Amazon Alexa（亚马逊Alexa）
本文介绍了我们的建模和架构方法，用于构建一个高度准确的低延迟语言识别系统，以支持语音助手的多语言口语查询。解决多语言语音识别的常见方法是并行运行多个单语ASR系统，并依赖于检测输入语言的语言识别（LID）组件。常规地，LID仅依赖于声学信息来检测输入语言。我们提出了一种方法，学习和结合声学水平表示与嵌入估计ASR假设导致高达50%的相对减少识别错误率，相比，使用声学只功能的模型。此外，为了降低处理成本和延迟，我们利用流架构，以识别口语早期系统达到预定的置信水平时，减轻需要运行多个ASR系统，直到输入查询结束。结合声学和文本LID，再加上我们提出的流媒体运行时架构，导致平均1500毫秒的早期识别超过50%的话语，几乎没有降低准确性。我们还显示了改进的结果，采用半监督学习（SSL）技术，使用新提出的模型架构作为教师模型。
2020-06-01 cs.CL cs.SD eess.AS
A Pilot Study of Applying Sequence-to-Sequence Voice Conversion to Evaluate the Intelligibility of L2 Speech Using a Native Speaker's Shadowings
Graduate School of Engineering, The University of Tokyo（东京大学工学系研究科）
本文通过序列到序列语音转换技术构建虚拟跟读系统，模拟母语者对二语语音的跟读行为，以细粒度反馈帮助二语学习者检测和诊断发音及韵律问题，实验验证了该方法的可行性。
2024-10-03 cs.CL cs.SD eess.AS
Multimodal Consistency-Guided Reference-Free Data Selection for ASR Accent Adaptation
School of Computer Science and Technology（计算机科学与技术学院）；Xinjiang University（新疆大学）
本文提出一种多模态一致性引导的参考自由数据选择方法，用于提升ASR在口音适应中的性能，通过减少噪声伪标签和优化查询相关性，实现更高效的口音适应。
2026-02-03 cs.CL cs.SD eess.AS
Semi-Supervised Model Training for Unbounded Conversational Speech Recognition
Marchex Inc.（Marchex公司）
对于会话式大词汇量连续语音识别（LVCSR）任务，通常使用多达约两千小时的音频来训练现有技术的模型。然而，标记的会话音频的收集是极其昂贵、费力且容易出错的。此外，像Fisher English（2004）或Switchboard（1992）这样的学术语料库不足以在会话语音的无界空间中以足够的精度训练模型。这些语料库也是陈旧的，由于过时的声学电话功能和快速发展的口语词汇和成语在过去的几十年。利用我们的未标记的电话数据集的巨大规模，我们提出了一种技术来构建一个现代的，高质量的会话语音训练语料库的顺序上的数以亿计的话语（或数万小时）的声学和语言模型训练。我们描述的数据汇集，选择和训练，评估我们更新的语音识别系统的测试语料库的7 K手动转录的话语的结果。我们显示相对字出错率（WER）减少{35%，19%}的{代理，呼叫者}话语在我们的种子模型和5%的绝对WER改善IBM沃森STT在这个会话语音任务。
2017-05-26 cs.CL
Attentive batch normalization for lstm-based acoustic modeling of speech recognition
National Engineering Laboratory for Speech and Language Information Processing（国家语音与语言信息处理工程实验室）；University of Science and Technology of China（中国科学技术大学）
批量归一化（BN）是加速模型训练和提高神经网络泛化性能的有效方法。在本文中，我们提出了一种改进的批量归一化技术，称为注意批量归一化（ABN）在长期短期记忆（LSTM）的声学建模的自动语音识别（ASR）。在该方法中，使用辅助网络动态生成批量归一化中的缩放和平移参数，并引入注意机制以提高其正则化性能。此外，两个方案，帧级和话语级ABN，进行了研究。我们评估我们提出的方法对普通话和维吾尔语的ASR任务，分别。实验结果表明，所提出的ABN大大提高了性能的批量规范化的转录准确率为两种语言。
2020-01-01 cs.SD eess.AS
Data-selective Transfer Learning for Multi-Domain Speech Recognition
University of Sheffield（谢菲尔德大学）
自动语音识别声学模型训练中的负迁移已经在诸如域变化或说话人特征的几种情况下被报道。本文提出了一种新的技术，以克服负迁移的有效选择语音数据的声学模型训练。在这里，数据是根据与特定目标的相关性来选择的。基于似然比的子模函数用于确定每个训练话语与目标测试集在声学上的相似程度。该方法进行了评估，在一个广泛的领域的数据集，包括从广播和电视广播，电话交谈，会议，讲座和阅读讲话的讲话。实验表明，该技术既发现相关数据，并限制负迁移。6小时测试集的结果显示，与使用基于PLP的模型中的所有数据相比，使用数据选择的相对改进为4%，使用DNN功能的相对改进为2%。
2015-09-08 cs.CL cs.LG cs.SD
Learning utterance-level representations through token-level acoustic latents prediction for Expressive Speech Synthesis
Innoetics, Samsung Electronics（三星电子Innoetics）；Mobile eXperience Business, Samsung Electronics（三星电子移动体验业务部）
本文提出了一种表达性语音合成模型，利用令牌级潜在韵律变量，以捕捉和控制话语级属性，如字符表演的声音和说话风格。目前的工作旨在明确因式分解这种细粒度和话语级的语音属性到不同的表示提取的模块，在相应的水平。我们发现，细粒度的潜在空间也捕获粗粒度的信息，这是更明显的潜在空间的维度增加，以捕捉不同的韵律表示。因此，在令牌级和话语级表示的多样性与它们的解纠缠之间出现权衡。我们首先将丰富的语音属性捕获到标记级潜在空间中，然后单独训练一个先验网络，该网络给定输入文本，学习话语级表示，以预测在前一步中提取的音素级后验潜在空间，从而缓解了这个问题。定性和定量的评价被用来证明所提出的方法的有效性。音频样本可在我们的演示页面。
2022-11-01 cs.CL cs.LG cs.SD
End-to-end spoken language understanding using joint CTC loss and self-supervised, pretrained acoustic encoders
Amazon Alexa AI（亚马逊Alexa人工智能部门）
提出以 CTC 微调的自监督声学编码器提取文本嵌入，并用 CTC 与 SLU 联合损失训练端到端 SLU 模型，在 DSTC2 和 SLURP 上分别超过 SOTA 4% 和 1.3%。
2023-06-02 cs.CL cs.SD eess.AS
Exploring SSL Discrete Speech Features for Zipformer-based Contextual ASR
The Chinese University of Hong Kong（香港中文大学）；X-LANCE Lab, School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机学院）；Alibaba（阿里巴巴）
本文研究在基于 Zipformer-Transducer 的上下文 ASR 中引入 WavLM SSL 离散语音特征，证明其作为跨话语上下文特征可显著降低 Gigaspeech 上的 WER。
2025-06-10 cs.CL cs.SD eess.AS
Hearing More with Less: Multi-Modal Retrieval-and-Selection Augmented Conversational LLM-Based ASR
本文提出MARS方法，通过多模态检索与选择提升对话式LLM-ASR的准确性，仅用1.5K小时数据即可超越训练于179K小时数据的顶级系统。
2026-01-16 cs.SD
Knowledge Transfer for Efficient On-device False Trigger Mitigation
Apple（苹果公司）
在本文中，我们解决的任务，确定是否一个给定的话语是针对一个语音智能助理设备或不。无定向话语被称为“错误触发”，并且错误触发缓解（FTM）对于设计以隐私为中心的非侵入式智能助理至关重要。可以通过对其运行自动语音识别（ASR）并通过分析ASR转录本来确定用户意图来识别话语的指向性。但是在错误触发的情况下，使用ASR本身转录音频是非常不期望的。为了缓解这个问题，我们提出了一种基于LSTM的FTM架构，它直接从声学特征确定用户意图，而无需从音频显式生成ASR成绩单。所提出的模型占用空间小，可以在计算资源有限的设备上运行。在训练过程中，使用知识转移方法优化模型参数，其中更准确的自注意图神经网络模型作为教师。考虑到整个音频片段，我们的方法以99%的真阳性率（TPR）减轻了87%的错误触发，并且在流式音频场景中，系统在拒绝它之前只监听1.69s的错误触发音频，同时实现相同的TPR。
2020-10-20 cs.LG cs.SD eess.AS
Feature Normalisation for Robust Speech Recognition
语音识别系统的性能在噪声环境中会降低。如果声学模型是使用干净话语的特征来构建的，则有噪声的测试话语的特征将与训练的模型在声学上不匹配。这给出了差的似然性和差的识别准确性。模型自适应和特征标准化是解决这个问题的两个广泛领域。虽然前者通常提供更好的性能，但后者涉及较少数量的参数的估计，使得系统对于实际实现是可行的。本研究的重点是各种子空间，统计和立体的特征归一化技术的功效。一个子空间投影为基础的方法已被调查作为一个独立的和附属的技术，涉及重建的嘈杂的语音功能从一个预先计算的一组干净的语音积木。使用对数梅尔滤波器组系数上的非负矩阵分解（NMF）来学习构建块，所述对数梅尔滤波器组系数形成干净语音子空间的基础。该工作提供了一个详细的研究如何将该方法可以纳入梅尔频率倒谱系数的提取过程。实验结果表明，新特征对噪声具有较强的鲁棒性，与现有技术相结合，取得了较好的效果。本文还对噪声鲁棒语音识别的SPLICE算法的训练过程提出了改进。它基于特征相关性，并使这种基于立体声的算法能够在所有噪声条件下提高性能，特别是在看不见的情况下。此外，修改后的框架被扩展到非立体声数据集，其中需要干净和嘈杂的训练话语，但不是立体声对应物。在SPLICE框架下，提出了一种基于MLLR的计算效率高的运行时噪声自适应方法。
2015-07-14 cs.CL cs.SD
Frame-level SpecAugment for Deep Convolutional Neural Networks in Hybrid ASR Systems
Apple（苹果公司）
受SpecAugment --一种用于端到端ASR系统的数据增强方法的启发，我们提出了一种帧级SpecAugment方法（f-SpecAugment），以提高基于混合HMM的ASR系统的深度卷积神经网络（CNN）的性能。与话语级SpecAugment类似，f-SpecAugment执行三种变换：时间扭曲、频率掩蔽和时间掩蔽。f-SpecAugment不是在话语级别应用变换，而是在训练期间将它们独立地应用于每个卷积窗口。我们证明了f-SpecAugment比基于深度CNN的混合模型的话语级SpecAugment更有效。我们评估建议的f-SpecAugment上的50层自规范化深度CNN（SND CNN）的声学模型训练高达25000小时的训练数据。我们观察到f-SpecAugment在四种语言的不同ASR任务中相对降低了0.5-4.5%的WER。由于增强技术的优势往往会随着训练数据大小的增加而减少，因此报告的大规模训练对于理解f-SpecAugment的有效性非常重要。我们的实验表明，即使有25 k训练数据，f-SpecAugment仍然是有效的。我们还证明了f-SpecAugment的好处大约相当于将深度CNN的训练数据量增加一倍。
2020-12-07 cs.CL cs.SD eess.AS
A study on native American English speech recognition by Indian listeners with varying word familiarity level
Indian Institute of Science (IISc)（印度科学学院）；IIIT Hyderabad（印度海得拉巴国际信息技术学院）
在这项研究中，不同的印度裔的听众被要求听和识别TIMIT的美国人所说的话语。我们有三种反应，从每个听众，而他们认识到一个发言：1。句子难度评分，2。演讲者难度等级，和3。话语的转录。从这些译文中计算出单词错误率（WER），并将其作为衡量识别句子与原始句子之间相似性的一个指标，根据单词在句子中出现的频率将所选句子分为三组：易、中、难。我们观察到，句子，扬声器难度等级和WERs增加从容易到难的句子类别。我们还比较了人类语音识别性能与使用三种自动语音识别（ASR）在以下三种声学模型（AM）和语言模型（LM）组合下的性能：ASR 1）使用来自印度裔说话者的录音训练AM，并在TIMIT文本上构建LM，ASR 2）使用来自美国本土说话者的录音训练AM，并在来自LIBRI语音语料库的文本上构建LM，和ASR 3）AM使用来自美国本土说话者的录音，LM建立在LIBRI语音和TIMIT文本上。我们观察到，HSR的性能类似于ASR1，而ASR3实现了最佳性能。发言者出生明智的分析表明，发言者的一些出生是更难以识别的印度听众相比，其他一些出生
2021-12-08 cs.CL cs.SD eess.AS
Audio MFCC-gram Transformers for respiratory insufficiency detection in COVID-19
这项工作探讨了语音作为生物标志物，并通过分析语音样本研究了呼吸功能不全（RI）的检测。先前的工作\cite{spira2021}构建了呼吸功能不全COVID-19患者话语的数据集，并通过卷积神经网络对其进行分析，实现了$87.04\%$的准确性，验证了可以通过语音检测RI的假设。在这里，我们研究了Transformer神经网络架构如何提高RI检测的性能。该方法使得能够构建声学模型。通过选择正确的预训练技术，我们生成了一个自我监督的声学模型，从而提高了Transformers用于RI检测的性能（$96.53\%$）。
2022-10-25 cs.LG cs.SD eess.AS
Content is What Remains: Invariant Speech Tokenization from Parallel Utterances
nyra labs（nyra实验室）
研究针对离散语音分词器问题，提出PINT方法，通过微调SSL编码器及相关损失和增强来提取共享残差，降低条件熵，使词元保留时间基础，实验证明该方法能有效提升效果，正确不变性对高效学习很关键。
2026-07-22 cs.CL
Beyond the Utterance: An Empirical Study of Very Long Context Speech Recognition
Department of Computer Science, The University Of Sheffield（计算机科学系，谢菲尔德大学）
本研究通过训练长上下文ASR模型，发现使用更长的上下文可显著提升语音识别性能，验证了长序列处理的可行性。
2026-02-04 cs.SD eess.AS
Improving Device Directedness Classification of Utterances with Semantic Lexical Features
Amazon.com, Inc.（亚马逊公司）；Stony Brook University（石溪大学）
用户与Alexa、Google Home和Siri等个人助理的交互通常由唤醒词或唤醒词发起。一些个人助理具有“后续”模式，允许用户在不需要唤醒词的情况下进行额外的交互。为了使系统只在适当的时候做出响应，并忽略不针对它的语音，必须将话语分类为设备定向或非设备定向。最先进的系统在很大程度上使用声学特征来完成这项任务，而其他系统则只使用词汇特征或添加了基于LM的词汇特征。我们提出了一个方向性分类器，结合语义词汇功能与轻量级的声学功能，并表明它是有效的分类方向性。混合域的词汇和声学特征模型能够实现14%的相对减少的EER比一个国家的最先进的声学基线模型。最后，我们成功地将迁移学习和半监督学习应用于模型，以进一步提高准确性。
2020-09-29 cs.CL cs.LG cs.SD
A Neural Acoustic Echo Canceller Optimized Using An Automatic Speech Recognizer And Large Scale Synthetic Data
Google Inc.（谷歌公司）
我们考虑识别对正在生成已知声音波形的设备说出的语音话语的问题;例如，识别向正在生成对先前用户输入的响应的数字助理发出的查询。以前的工作已经提出了建立声学回声消除（AEC）模型，优化语音增强指标使用神经网络以及信号处理的方法。由于我们的目标是识别输入语音，我们考虑增强，提高字错误率（WERS）时，预测的语音信号被传递到一个自动语音识别（ASR）模型。首先，我们用一个产生对预训练的ASR模型有用的输出的项来增强损失函数，并表明这种增强的损失函数改进了WER指标。其次，我们证明了用大型合成数据集来增强真实世界示例的训练数据集可以提高性能。至关重要的是，在训练过程中将SpecAugment风格的掩码应用于参考通道有助于模型从合成域适应到真实域。在实验评估中，我们发现所提出的方法提高了性能，平均而言，57%以上的信号处理基线和45%以上的神经AEC模型没有提出的变化。
2021-06-01 cs.SD eess.AS
Towards zero-shot Text-based voice editing using acoustic context conditioning, utterance embeddings, and reference encoders
University of Edinburgh（爱丁堡大学）；Meta AI
基于文本的语音编辑（TBVE）使用文本到语音（TTS）系统的合成输出来替换原始录音中的单词。最近的工作使用神经模型来产生编辑后的语音，这些语音在清晰度、说话者身份和韵律方面与原始语音相似。然而，先前工作的一个限制是使用微调来优化性能：这需要对来自目标说话者的数据进行进一步的模型训练，这是一个昂贵的过程，可能会将潜在的敏感数据合并到服务器端模型中。相比之下，这项工作的重点是zero-shot的方法，它避免了微调，而是使用预先训练的说话人验证嵌入与联合训练的参考编码器一起编码话语级信息，帮助捕获方面，如说话人的身份和韵律。主观听音测试发现，在zero-shot设置下，话语嵌入和参考编码器都提高了编辑后的合成语音和未编辑的原始录音之间的说话人身份和韵律的连续性。
2022-10-28 cs.CL cs.SD eess.AS
DSA-Tokenizer: Disentangled Semantic-Acoustic Tokenization via Flow Matching-based Hierarchical Fusion
Department of Computer Science, City University of Hong Kong（香港城市大学计算机科学系）；AI Lab, Leibniz Research Center, Huawei（华为利比全中心人工智能实验室）
提出DSA-Tokenizer，通过ASR监督语义令牌和mel谱重建监督声学令牌实现解耦，并引入层次化流匹配解码器和联合重构-上下文修补训练策略，实现高保真重构和跨语句语音克隆。
2026-06-07 cs.AI cs.SD eess.AS
Beyond Acoustic Prefixes: Persistent Access to Serialized Acoustic Memory for LLM-Based Multi-Talker Speech Recognition
Graduate School of Informatics, Kyoto University（京都大学信息学研究科）
针对LLM在多说话人ASR中性能下降的问题，提出持久接地于序列化声学记忆的方法，通过解纠缠说话人表征和门控残差交叉注意力，显著提升三说话人混合场景的识别效果。
2026-09-30 cs.SD
Optimizing expected word error rate via sampling for speech recognition
Google Inc.（谷歌公司）
状态级最小贝叶斯风险（sMBR）训练已经成为语音识别声学模型序列级训练的事实标准。它有一个优雅的公式使用的期望半环，并给出了很大的改善字出错率（WER）的模型训练单独使用交叉熵（CE）或连接时间分类（CTC）。sMBR训练优化了参考声学状态和假设声学状态不同的预期帧数。优化期望WER可能是优选的，但是WER与期望半环不能很好地相互作用，并且基于计算期望WER的先前方法确切地涉及扩展在训练期间使用的格。在本文中，我们展示了如何通过从传统sMBR训练期间使用的网格中采样路径来优化预期的WER。预期WER的梯度本身是一个预期，因此可以使用蒙特卡洛采样来近似。我们的实验表明，在声学模型训练过程中优化WER，在2通道查询识别任务（Google Home）上，WER相对于调整良好的sMBR基线有5%的相对改善。
2017-06-08 cs.CL cs.LG cs.NE
Using previous acoustic context to improve Text-to-Speech synthesis
University of Edinburgh（爱丁堡大学）
许多语音合成数据集，特别是从有声读物导出的数据集，自然包括话语序列。然而，在训练模型和推理时，这些数据通常被视为个体的、无序的话语。这就抛弃了话语层面之上的重要韵律现象。在本文中，我们利用数据的连续性，使用声学上下文编码器，产生嵌入的前一个话语音频。这是输入到Tacotron 2模型中的解码器。嵌入也用于次要任务，提供额外的监督。我们比较了两个次要任务：预测话语对的排序，以及预测当前话语音频的嵌入。结果表明，连续的话语之间的关系是信息：我们提出的模型显着提高了自然度超过Tacotron 2基线。
2020-12-07 cs.CL
