Residual Language Model for End-to-end Speech Recognition
Sony Group Corporation(索尼集团公司);Carnegie Mellon University(卡内基梅隆大学)
端到端的自动语音识别尽管使用大量成对的音频-文本数据进行训练,但仍遭受对未知目标域语音的适应。最近的研究估计语言偏见的模型作为内部语言模型(LM)。为了有效地适应目标域,内部LM在推理期间从后验中减去,并与外部目标域LM融合。然而,这种融合使推断复杂化,并且内部LM的估计可能并不总是准确的。在本文中,我们提出了一个简单的外部LM融合方法的域自适应,它考虑了内部LM估计在其训练。我们直接模拟外部和内部LM的残差因子,即残差LM。为了稳定地训练剩余LM,我们提出平滑估计的内部LM,并结合交叉熵和均方误差损失对其进行优化,这考虑了目标域数据中内部LM的统计行为。我们通过实验证实,在大多数跨域和域内场景中,所提出的残差LM比内部LM估计执行得更好。
2022-06-15 cs.SD eess.AS
Minimum Word Error Rate Training with Language Model Fusion for End-to-End Speech Recognition
Microsoft Corporation(微软公司)
将外部语言模型(LM)集成到端到端(E2 E)模型中仍然是领域自适应语音识别的一项具有挑战性的任务。最近,基于内部语言模型估计(ILME)的LM融合已经通过在波束搜索期间从E2 E模型和外部LM分数的插值中减去加权的内部LM分数而从浅层融合显示出显著的字错误率(WER)降低。然而,在不同的测试集上,最佳LM插值权重在很大范围内变化,并且必须在匹配良好的验证集上进行广泛的调整。在这项工作中,我们在E2 E模型的最小WER(MWER)训练中执行LM融合,以消除在推理过程中LM权重调整的需要。除了MWER训练与浅融合(MWER-SF),我们提出了一种新的MWER训练与ILME(MWER-ILME),其中ILME为基础的融合进行生成N-最好的假设和他们的后验。当内部LM参与MWER-ILME损耗计算时,会产生额外梯度。在推理过程中,在MWER训练中预先确定的LM权重使来自不同域的测试集能够进行鲁棒的LM集成。在6个不同的测试集上,MWER-ILME分别从MWER和MWER-SF训练中获得了平均8.8%和5.8%的相对WER降低,这些测试集使用30 K-h训练的Transformer换能器进行实验
2021-06-04 cs.AI cs.CL cs.LG
A Contrastive Learning Approach to Mitigate Bias in Speech Models
Politecnico di Torino(都灵理工大学)
针对语音模型在不同人群子群体中性能失衡的偏差问题,提出一种采用三级学习技术的对比学习方法,经两个口语理解数据集、两种语言验证,可改善子群体内部表征、减少偏差并提升性能。
2024-06-20 cs.CL cs.LG eess.AS
Synchronization and Turn-Taking in Full-Duplex Speech Dialogue Models
ASAPP Inc.(ASAPP公司);Departamento de Computación, FCEyN, Universidad de Buenos Aires(计算机系,福克雷斯-恩分校,布宜诺斯艾利斯大学)
本文研究了全双工语音对话模型如何通过内部表示的同步协调交互,并发现噪声条件下同步性下降,内部状态编码了提前的轮流预测信息。
2026-05-19 cs.AI cs.CL cs.SD
Latent Phrase Matching for Dysarthric Speech
Apple(苹果公司)
针对消费级语音识别对构音障碍人群识别效果差的问题,提出基于示例查询的个性化短语匹配系统,仅需少量语音训练、语言无关,在内部和公开数据集上均显著优于商用及通用ASR系统。
2023-06-08 cs.AI cs.CL cs.LG
Insights on Neural Representations for End-to-End Speech Recognition
University of Sheffield(谢菲尔德大学)
端到端自动语音识别(ASR)模型旨在学习广义语音表示。然而,有有限的工具可用于理解模型架构中的内部功能和层次依赖关系的影响。理解逐层表征之间的相关性,以获得对神经表征与性能之间关系的见解至关重要。以前使用相关性分析技术对网络相似性的研究尚未针对端到端ASR模型进行探索。本文使用典型相关分析(CCA)和中心核对齐(CKA)分析和探索了在使用CNN、LSTM和基于Transformer的方法进行训练期间层之间的内部动态。发现随着层深度增加,CNN层内的神经表示表现出分层相关依赖性,但这主要限于神经表示更紧密相关的情况。在LSTM架构中没有观察到这种行为,但是在整个训练过程中观察到一种自下而上的模式,而随着神经深度的增加,Transformer编码器层表现出不规则的系数相关性。总之,这些结果提供了新的见解的作用,神经架构后语音识别性能。更具体地说,这些技术可以用作指标,以建立性能更好的语音识别模型。
2022-05-19 cs.CL cs.SD eess.AS
Feature Learning in Deep Neural Networks - Studies on Speech Recognition Tasks
Microsoft Corporation(微软公司);Microsoft Research(微软研究院);Microsoft Research Asia(微软亚洲研究院)
最近的研究表明,深度神经网络(DNN)在大词汇量语音识别任务中的表现明显优于浅层网络和高斯混合模型(GARCH)。在本文中,我们认为,DNN实现的准确性提高的结果是他们的能力,以提取歧视性的内部表示,是强大的语音信号的许多来源的变化。我们发现,随着网络深度的增加,这些表示对输入中的小扰动变得越来越不敏感,这导致更深的网络具有更好的语音识别性能。我们还表明,DNN不能外推到与训练样本有很大不同的测试样本。然而,如果训练数据具有足够的代表性,则DNN学习的内部特征相对于说话者差异、带宽差异和环境失真是相对稳定的。这使得基于DNN的识别器能够在不需要显式模型自适应或特征归一化的情况下,与基于GARCH或浅层网络的最先进系统一样好或更好地执行。
2013-03-08 cs.CL cs.LG cs.NE
DiffuSpeech: Silent Thought, Spoken Answer via Unified Speech-Text Diffusion
National University of Singapore(新加坡国立大学);Tencent(腾讯)
DiffuSpeech通过统一的语音-文本扩散模型,实现语音生成的同时生成内部推理,提升语音问答的准确性和语音质量。
2026-01-30 cs.AI cs.CL cs.LG
Interleaved Speech Language Models Latently Work In Text
The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
通过logit透镜分析发现,交错式语音-文本语言模型在中间层隐式转录语音为文本,然后基于文本空间预测下一个词,再转换回语音域,揭示了语音与文本模态的内部交互机制。
2026-09-09 cs.CL cs.LG cs.SD
Bidirectional Quaternion Long-Short Term Memory Recurrent Neural Networks for Speech Recognition
Université d'Avignon(阿维尼翁大学);McGill University(麦吉尔大学);Orkis(奥基斯)
递归神经网络(RNN)是现代自动语音识别(ASR)系统的核心。特别是,长短期记忆(LSTM)递归神经网络在许多语音识别任务中取得了最先进的结果,这是由于它们在相互依赖的特征序列中有效地表示了长期和短期依赖性。然而,传统的实值表示方法对构成多维特征的元素的内部依赖性考虑得很弱。我们提出了一种新的四元数长短期记忆(QLSTM)递归神经网络,它既考虑了组成序列的特征之间的外部关系,又考虑了这些内部潜在的结构依赖性与四元数代数。QLSTM相比,在内存复制任务和语音识别的华尔街日报(WSJ)数据集的实际应用中的LSTM。在两个实验中,QLSTM达到了更好的性能,其学习参数减少了$2.8$倍,从而使信息的表达更具表现力。
2018-11-06 cs.LG cs.SD eess.AS
FiLM-Based Speaker Conditioning of a SpeechLLM for Pathological Speech Recognition
Telefónica Innovación DigitalSpain(西班牙电信创新数字研究院);Universidad Autónoma de MadridSpain(马德里自治大学);Brno University of TechnologyCzech Republic(捷克布拉格技术大学)
本研究提出通过特征线性调制(FiLM)将x-vector说话人信息注入冻结的ASR编码器各Transformer层,实现对病理语音的说话人自适应,在不修改基础模型权重的情况下提升识别性能,并保持对非条件化语音的问答能力。
2026-06-04 cs.CL cs.SD eess.AS
Listen, Do Not Copy: Internalizing Audio-Grounded Scaffold Context for Robust Omni-Model Speech Understanding
研究针对全模型在嘈杂重叠语音中准确率下降问题,提出音频基础的支架上下文(AGSC)方法,通过三步构建线索,经测试优化后用于训练,降低了无线索错误率,还制定联合任务,内化后几乎不增加推理开销。
2026-07-30 cs.SD
An Online Attention-based Model for Speech Recognition
Beijing University of Posts and Telecommunications(北京邮电大学);Tsinghua University(清华大学);Sogou Inc.(搜狗公司)
基于注意力的端到端模型,如听、注意和拼写(LAS),简化了传统自动语音识别(ASR)系统的整个流水线,并且在语音识别领域中变得流行。在以前的工作中,研究人员已经证明,这种架构可以获得与最先进的ASR系统相当的结果,特别是在使用双向编码器和全局软注意(GSA)机制时。然而,双向编码器和GSA是实现实时语音识别的两大障碍。在这项工作中,我们的目标是通过消除上述两个障碍流LAS基线。在编码器端,我们使用延迟控制(LC)的双向结构,以减少前向计算的延迟。同时,提出了一种自适应单调块式注意(AMoChA)机制,以取代GSA的注意力权重分布的计算。此外,我们提出了两种方法,以减轻巨大的性能下降时,结合LC和AMoChA。最后,我们成功地获得了一个在线LAS模型,LC-AMoChA,它只有3.5%的相对性能降低到LAS基线在我们的内部汉语语料库。
2019-04-25 cs.CL cs.LG cs.SD
An Empirical Study of Language Model Integration for Transducer based Speech Recognition
Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心);Tsinghua University(清华大学);Meituan(美团)
在端到端RNN-Transducer(RNN-T)中利用具有外部语言模型(ELM)的纯文本数据进行语音识别具有挑战性。最近,已经开发了诸如密度比(DR)和内部语言模型估计(ILME)的一类方法,其性能优于经典的浅融合(SF)方法。这些方法背后的基本思想是,RNN-T后验应该首先减去隐式学习的内部语言模型(ILM)先验,以便整合ELM。虽然最近的研究表明,RNN-T只学习一些低阶语言模型信息,但DR方法使用经过良好训练的具有完整上下文的神经语言模型,这可能不适合于ILM的估计,并降低了集成性能。在DR方法的基础上,提出了一种用低阶弱语言模型代替估计的低阶密度比方法(LODR)。本文在英语LibriSpeech & Tedlings-2和汉语WenetSpeech & AISHELL-1数据集上进行了大量的域内和跨域实验。它表明,LODR一贯优于SF在所有的任务,而执行一般接近ILME和优于DR在大多数测试。
2022-08-03 cs.CL cs.LG eess.AS
Towards Language-Universal End-to-End Speech Recognition
Carnegie Mellon University(卡内基梅隆大学);Microsoft AI & Research(微软人工智能与研究)
用多种语言构建语音识别器通常涉及为每种语言复制单语训练配方,或者利用多任务学习方法,其中不同语言的模型具有单独的输出标签,但共享一些内部参数。在这项工作中,我们利用端到端语音识别的最新进展,创建一个单一的多语种语音识别系统,能够识别任何看到的语言训练。为此,我们建议使用所有语言共享的通用字符集。我们还在网络中创建了一个特定于语言的门控机制,可以以特定于语言的方式调节网络的内部表示。我们评估了我们提出的方法在三种语言的Microsoft Cortana任务,并表明我们的系统优于单独的单语系统和多任务学习方法构建的系统。我们还表明,该模型可用于初始化单语语音识别器,并可用于创建一个双语模型中使用的代码切换的情况下。
2017-11-06 cs.CL
Speech Emotion Recognition Using Quaternion Convolutional Neural Networks
Stony Brook University(石溪大学)
虽然语音识别已经成为一种广泛的技术,但是从语音信号推断情感仍然是一个挑战。为了解决这个问题,本文提出了一种基于四元数卷积神经网络(QCNN)的语音情感识别(SER)模型,在该模型中,语音信号的Mel谱图特征被编码在RGB四元数域中。我们表明,我们基于QCNN的SER模型在Ryerson情感语音和歌曲视听数据库(RAVDESS,8类)数据集中优于其他实值方法,据我们所知,达到了最先进的结果。QCNN还在交互式情感二元运动捕捉(IEMOCAP 4类)和柏林EMO-DB(7类)数据集中实现了与最先进方法相当的结果。该模型对RAVDESS、IEMOCAP和EMO-DB数据集的准确率分别为77.87%、70.46%和88.78%。此外,我们的研究结果表明,四元数单元结构能够更好地编码内部依赖关系,以减少其模型的大小显着相比,其他方法。
2021-10-31 cs.CL cs.SD eess.AS
Pronunciation Generation for Foreign Language Words in Intra-Sentential Code-Switching Speech Recognition
Anhui University(安徽大学)
语码转换是指在句子或语篇中转换语言的现象。然而,有限的语码转换、不同语言的音素集和高昂的重建成本给语码转换语音识别的专用声学模型提出了挑战。本文利用有限的语码转换数据作为驱动材料,探索在委托的母语声学模型上快速培养句内语码转换识别技能的捷径,提出了一种数据驱动的方法来制作种子词典,用于训练字形到音素模型,预测语码转换句子中外语词的映射发音。本文数据驱动技术的核心工作包括语音解码方法和不同的选择方法。而对于词级驱动材料不均衡的问题,我们有一个内在的辅助启示,即利用形素-音素模型,学习材料充足的词中好的发音规则,帮助材料稀缺的词。实验结果表明,采用数据驱动的方法,通过加入外语词的发音,可以使语内汉英码转换识别的混合出错率从纯汉语识别器的29.15%降低到12.13%,最后结合不同的选择方法和内部辅助策略,得到了最好的结果11.14%。
2022-10-26 cs.CL cs.SD eess.AS
What do self-supervised speech models know about Dutch? Analyzing advantages of language-specific pre-training
Institute for Logic, Language and Computation(逻辑、语言和计算研究所);Centre for Language Studies(语言研究学院)
研究测试了自监督Wav2Vec2模型对荷兰语语音和词汇信息的编码,发现仅在荷兰语上预训练相比英语或多语言数据能更好地改善其语言特征表征,且此优势与自动语音识别的下游性能一致。
2025-07-10 cs.AI cs.CL cs.SD
Revisiting the Relation Between Language Model Perplexity and ASR Word Error Rate for Modern End-to-End Speech Recognition
AppTek.ai GmbH;Machine Learning and Human Language Technology Group, Faculty of Computer Science, RWTH Aachen University(机器学习与人类语言技术小组,计算机科学学院,亚琛工业大学)
本文重新审视现代端到端ASR系统中语言模型困惑度与ASR单词错误率的关系,研究外部语言模型对系统的作用、PPL-WER关系及相关影响因素,还探讨内部语言建模,发现ILM减法改变关系,强调解释外部LM质量影响时要考虑解码器内部LM。
2026-10-20 cs.CL eess.AS
The IWSLT 2021 BUT Speech Translation Systems
Brno University of Technology(布尔诺理工大学)
本文介绍了BUT为IWSLT 2021开发的英语到德语离线语音翻译(ST)系统。它们基于联合训练的自动语音识别-机器翻译模型。它们的性能在MustC-Common测试集上进行了评估。在这项工作中,我们从具有大量单独的ASR训练数据和MT训练数据以及少量的语音翻译训练数据的角度来研究它们的效率。大量的ASR和MT训练数据被用于预训练ASR和MT模型。语音翻译数据用于通过定义从语音到翻译的端到端可区分路径来联合优化ASR-MT模型。为此,我们使用ASR解码器的内部连续表示作为MT模块的输入。我们表明,语音翻译可以进一步提高训练ASR解码器联合MT模块使用大量的纯文本MT训练数据。我们还通过训练能够生成标点文本的ASR模块,而不是将标点任务留给MT模块来显示显着的改进。
2021-07-13 cs.CL cs.SD eess.AS
Human-like Linguistic Biases in Neural Speech Models: Phonetic Categorization and Phonotactic Constraints in Wav2Vec2.0
Institute for Logic, Language and Computation, University of Amsterdam(阿姆斯特丹大学逻辑、语言与计算研究所)
本文借鉴人类语音感知实验,通过/l/-/r/声学连续体受控刺激研究Wav2Vec2如何解析音位配列约束,发现模型在早期Transformer层即表现出类人的音位配列可接受性偏见,且ASR微调会放大该效应。
2024-07-03 cs.AI cs.CL cs.SD
Improving Automatic Speech Recognition for Non-Native English with Transfer Learning and Language Model Decoding
The University of British Columbia(英属哥伦比亚大学)
为母语英语(L1)设计的ASR系统通常在非母语英语(L2)上表现不佳。为了解决这个性能差距,\textbf{(i)}我们扩展了我们以前的工作,以研究在丰富的L1和L2训练条件下对预训练的wav2vec 2.0模型\cite{baevski2020wav2vec,xu2021self}进行微调。我们进一步\textbf{(ii)}结合语言模型解码的ASR系统,随着微调方法。分别量化从这两种方法中获得的收益和误差分析使我们能够识别模型中不同的改进来源。我们发现,虽然大的自我训练的wav2vec 2.0可能会内化足够的解码知识,干净的L1语音\cite{xu2021self},这并不适用于L2语音和帐户的效用,采用语言模型解码L2数据。
2022-02-10 cs.CL cs.SD eess.AS
Continual Adaptation for Pacific Indigenous Speech Recognition
The University of Melbourne(墨尔本大学);UNSW Sydney(新南威尔士大学悉尼分校)
针对太平洋土著语言数据稀缺和灾难性遗忘问题,研究语音基础模型的适应策略,发现LoRA在顺序学习中会灾难性遗忘,需定制鲁棒适应方法。
2026-06-18 cs.CL cs.SD eess.AS
Exploring SSL Discrete Speech Features for Zipformer-based Contextual ASR
The Chinese University of Hong Kong(香港中文大学);X-LANCE Lab, School of Computer Science, Shanghai Jiao Tong University(上海交通大学计算机学院);Alibaba(阿里巴巴)
本文研究在基于 Zipformer-Transducer 的上下文 ASR 中引入 WavLM SSL 离散语音特征,证明其作为跨话语上下文特征可显著降低 Gigaspeech 上的 WER。
2025-06-10 cs.CL cs.SD eess.AS
Visualizing Deep Neural Networks for Speech Recognition with Learned Topographic Filter Maps
University of Potsdam(波茨坦大学);Research Focus Cognitive Science(认知科学研究中心);Otto von Guericke University Magdeburg(奥托·冯·格里克马格德堡大学);Artificial Intelligence Lab(人工智能实验室)
深度神经网络中人工神经元的无信息排序使更深层的可视化激活变得复杂。这就是为什么这些模型的内部结构非常不直观的原因之一。在神经科学中,真实大脑的活动可以通过突出活动区域来可视化。受这些技术的启发,我们训练了一个卷积语音识别模型,其中滤波器排列在2D网格中,相邻的滤波器彼此相似。我们展示了这些地形滤波图如何更直观地显示人工神经元激活。此外,我们调查,这是否会导致音素反应神经元被分组在某些地区的地形图。
2019-12-06 cs.LG cs.SD eess.AS
ContextNet: Improving Convolutional Neural Networks for Automatic Speech Recognition with Global Context
Google Inc.(谷歌公司)
卷积神经网络(CNN)在端到端语音识别方面已经显示出有希望的结果,尽管在性能上仍然落后于其他最先进的方法。在本文中,我们研究如何弥合这一差距,并超越一种新的CNN-RNN-transducer架构,我们称之为ContextNet。ContextNet具有完全卷积编码器,通过添加挤压和激励模块将全局上下文信息纳入卷积层。此外,我们提出了一个简单的缩放方法,缩放的ContextNet的宽度,实现良好的计算和准确性之间的权衡。我们证明,在广泛使用的LibriSpeech基准测试中,ContextNet在没有外部语言模型(LM)的情况下实现了2.1%/4.6%的单词错误率(WER),LM为1.9%/4.1%,在干净/嘈杂的LibriSpeech测试集上只有10 M参数时为2.9%/7.0%。相比之下,之前发布的最佳系统在LM参数下为2.0%/4.6%,在20 M参数下为3.9%/11.3%。所提出的ContextNet模型的优越性也在一个更大的内部数据集上得到了验证。
2020-05-16 cs.CL cs.LG cs.SD
Spell my name: keyword boosted speech recognition
Naver Corporation(NAVER公司)
识别不常见的单词,如名称和技术术语,对于理解上下文中的对话非常重要。然而,在现代自动语音识别(ASR)系统中,识别这样的单词的能力仍然是一个挑战。在本文中,我们提出了一种简单但功能强大的ASR解码方法,可以更好地识别这些不常见的关键字,从而使结果具有更好的可读性。该方法基于声学模型预测提高了束搜索中给定关键字的概率。该方法不需要事先进行任何训练。我们证明了我们的方法的有效性LibriSpeeech测试集和内部数据的真实世界的对话。我们的方法显着提高了测试集上的关键字准确性,同时保持了其他单词的准确性,并提供了显着的定性改进。该方法适用于其他任务,例如机器翻译,或者在束搜索中需要识别看不见的和困难的关键字的任何地方。
2021-10-06 cs.CL cs.SD eess.AS
Augmenting Bottleneck Features of Deep Neural Network Employing Motor State for Speech Recognition at Humanoid Robots
对于人形机器人,机器人在运动或晃动时,由于电机、风扇等机械部件产生的内部噪声严重影响了语音识别的准确性。提出了一种新的人形机器人语音识别系统,该系统利用电机的开/关状态作为辅助信息来寻找相关的输入特征。为此,我们考虑瓶颈特征,这些特征已成功应用于基于深度神经网络(DNN)的自动语音识别(ASR)系统。当学习要捕捉的瓶颈特征时,除了声学特征作为第一深度神经网络(DNN)的输入之外,我们首先利用电机开/关状态数据作为补充信息,用于初步的声学建模。然后,用于主要声学建模的第二DNN采用从第一DNN抛出的瓶颈特征和声学特征两者。在TIMIT数据库上进行音素出错率(PER)测试,实验结果表明,与传统系统相比,该算法有明显的提高(相对提高11%)。
2018-08-27 cs.AI cs.SD eess.AS
When De-noising Hurts: A Systematic Study of Speech Enhancement Effects on Modern Medical ASR Systems
EkaCare (Orbi Health Private Limited)(EkaCare(Orbi Health Private Limited))
本研究发现语音增强预处理会降低现代医疗ASR系统性能,建议避免使用噪声减少技术以提高转录准确性。
2025-12-19 cs.AI cs.LG cs.SD
Multi-Modal Pre-Training for Automated Speech Recognition
University of California, Berkeley(加州大学伯克利分校);Amazon Alexa AI(亚马逊Alexa人工智能部门)
传统上,自动语音识别中的研究集中于音频表示的本地优先编码以预测话语中的说出的音素。不幸的是,依赖于这种超本地信息的方法往往容易受到本地级损坏(例如音频帧丢失或大声噪声)和在训练期间未看到的全局级噪声(例如环境噪声或背景噪声)的影响。在这项工作中,我们介绍了一种新的方法,利用自监督学习技术的基础上掩蔽语言建模计算的全球性,多模态编码的环境中的话语发生。然后,我们使用一个新的深度融合框架将这种全局背景整合到传统的ASR方法中,并证明所得到的方法在Librispeech上的性能最高可超过基线方法7%;内部数据集的增益范围从6%(较大模型)到45%(较小模型)。
2022-09-15 cs.LG cs.SD eess.AS
Quaternion Neural Networks for Multi-channel Distant Speech Recognition
University of Oxford(牛津大学);Samsung AI(三星人工智能);Avignon University(阿维尼翁大学)
尽管在自动语音识别(ASR)方面取得了重大进展,但由于噪声和混响,远距离ASR仍然具有挑战性。缓解此问题的常见方法包括为记录设备配备多个麦克风,这些麦克风从不同角度捕获声学场景。这些多通道音频记录包含每个信号之间的特定内部关系。在本文中,我们提出捕捉这些内部和内部结构的依赖关系与四元数神经网络,它可以联合处理多个信号作为整个四元数实体。四元数代数将标准的点积替换为Hamilton点积,从而提供了一种简单而优雅的方式来建模元素之间的依赖关系。然后,四元数层与递归神经网络耦合,该网络可以在时域中学习长期依赖关系。我们证明了在级联多通道语音信号上训练的四元数长短期记忆神经网络(QLSTM)在多通道远程语音识别的两个不同任务上优于等效的实值LSTM。
2020-05-19 cs.LG cs.SD eess.AS
Real to H-space Encoder for Speech Recognition
Avignon Université(阿维尼翁大学);ORKIS(ORKIS公司);McGill University(麦吉尔大学)
深度神经网络(DNN)和更准确地说,递归神经网络(RNN)是现代自动语音识别系统的核心,因为它们处理输入序列的效率。最近,已经表明,基于多维代数的不同输入表示,例如复数和四元数,能够通过优于常见的实值NN,为神经网络带来更自然,压缩和强大的输入信号表示。事实上,四元数值神经网络(QNN)可以更好地学习内部依赖关系,例如特定时间帧的Mel滤波器组值与其时间导数之间的关系,以及全局依赖关系,描述时间帧之间存在的关系。尽管如此,QNN仅限于四元数值输入信号,并且很难从这种具有实值输入数据的强大表示中受益。本文提出通过引入实数到四元数编码器来解决这个弱点,该编码器允许QNN处理任何一维输入特征,例如用于自动语音识别的传统Mel滤波器组。
2019-06-17 cs.CL cs.SD eess.AS
Speech recognition with quaternion neural networks
Université d’Avignon(阿维尼翁大学);Orkis(奥基斯公司);Université de Montréal(蒙特利尔大学);McGill University(麦吉尔大学)
神经网络架构是强大的自动语音识别系统(ASR)的核心。然而,虽然最近的研究集中在新的模型架构,声学输入功能几乎保持不变。传统的ASR系统依赖于多维声学特征,例如Mel滤波器组能量以及一阶和二阶导数来表征组成信号序列的时间帧。考虑到这些组件描述了同一元素的三个不同视图,神经网络必须学习这些特征中存在的内部关系,以及时间框架之间存在的外部或全局依赖关系。四元数值神经网络(QNN),最近收到了研究人员的重要兴趣,在多维空间中处理和学习这种关系。事实上,四元数和QNN已经证明了它们在处理多维输入作为实体、编码内部依赖关系以及解决许多任务时的效率,这些任务的学习参数比实值模型少四倍。我们建议在TIMIT数据集的语音识别背景下研究现代四元数值模型,如卷积和递归四元数神经网络。实验表明,QNN总是优于具有较少自由参数的实值等价模型,从而更有效,紧凑和表达相关信息。
2018-11-21 cs.SD eess.AS stat.ML
Exploiting semi-supervised training through a dropout regularization in end-to-end speech recognition
Idiap Research Institute(伊迪亚普研究所);Adobe Research(奥多比研究院)
在本文中,我们探讨了各种方法的半监督学习的端到端的自动语音识别(ASR)框架。我们方法的第一步涉及在有限数量的标记数据上训练种子模型。通过数据选择机制采用额外的未标记语音数据以获得最佳假设输出,进一步用于重新训练种子模型。然而,单一假设可能无法很好地捕捉模型的不确定性。相对于这种技术,我们采用了辍学机制,以捕捉的不确定性,通过获得多个假设的文本转录的语音记录。我们假设自动生成的转录的话语的多样性将隐含地增加模型的可靠性。最后,数据选择过程也适用于这些假设的成绩单,以减少不确定性。在免费提供的TEDLIUM语料库和专有的Adobe内部数据集上的实验表明,与基线模型相比,所提出的方法显着减少了ASR错误。
2019-08-08 cs.LG cs.SD eess.AS
Analyzing Phonetic and Graphemic Representations in End-to-End Automatic Speech Recognition
Qatar Computing Research Institute, HBKU(哈马德·本·哈利法大学卡塔尔计算研究所)
用于自动语音识别(ASR)的端到端神经网络系统是从声学特征到文本翻译的训练。与模块化ASR系统(包含用于声学建模、发音词典和语言建模的单独训练的组件)相比,端到端范例在概念上更简单,并且具有在最终任务上训练整个系统的潜在好处。然而,这样的神经网络模型更加不透明:不清楚如何解释网络不同部分的作用,以及它在训练过程中学习到什么信息。在本文中,我们分析了学习的内部表示在一个端到端的ASR模型。我们评估的代表性质量方面的几个分类任务,比较音素和字素,以及不同的发音功能。我们研究了两种语言(英语和阿拉伯语)和三个数据集,发现不同属性在深层神经网络的不同层中的表现方式具有显著的一致性。
2020-04-19 cs.CL cs.SD eess.AS
The Silent Thought: Modeling Internal Cognition in Full-Duplex Spoken Dialogue Models via Latent Reasoning
DeepMind(深度Mind)
本文提出了一种名为FLAIR的全双工语音对话模型,通过潜在推理同时进行语音感知和内部思考,以提高对话质量,该方法在多个语音基准测试中取得了竞争性的结果。
2026-06-04 cs.CL eess.AS
Dynamic Sparsity Neural Networks for Automatic Speech Recognition
University of Washington(华盛顿大学);Google(谷歌)
在自动语音识别(ASR)中,模型修剪是一种广泛采用的技术,其减少了模型大小和延迟,以在具有资源约束的边缘设备上部署神经网络模型。然而,具有不同稀疏级别的多个模型通常需要单独训练并部署到具有不同资源规格的异构目标硬件以及具有各种延迟要求的应用程序。在本文中,我们提出了动态稀疏神经网络(DSNN),一旦训练,可以在运行时立即切换到任何预定义的稀疏配置。我们使用Google语音搜索数据在内部生产数据集上进行实验,证明了DSNN的有效性和灵活性,并表明DSNN模型的性能与单独训练的单个稀疏网络的性能相当。因此,我们经过训练的DSNN模型可以大大简化训练过程,并简化在资源受限的各种场景中的部署。
2021-02-08 cs.CL cs.LG cs.SD
Speech is More Than Words: Do Speech-to-Text Translation Systems Leverage Prosody?
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学);Apple(苹果公司)
本研究针对语音转文本翻译系统的韵律利用问题,提出评估方法与ContraProST基准,实验发现端到端系统韵律感知能力优于级联系统,且现有系统韵律信号常不足以影响翻译。
2024-10-31 cs.CL cs.SD eess.AS
Simplified Self-Attention for Transformer-based End-to-End Speech Recognition
Northwestern Polytechnical University(西北工业大学);School of Computer Science(计算机学院);Alibaba DAMO Academy(阿里巴巴达摩院)
Transformer模型由于其在建模长期依赖关系方面的优势,已被引入到端到端语音识别中,在各种任务上具有最先进的性能。然而,这种改进通常是通过使用非常大的神经网络来获得的。Transformer模型主要包括位置前馈层和自注意(SAN)层两个子模块。在本文中,为了降低模型的复杂性,同时保持良好的性能,我们提出了一个简化的自我注意(SSAN)层,使用FSMN内存块,而不是投影层,以形成查询和关键向量的转换为基础的端到端语音识别。我们评估了基于SSAN和传统的基于SAN的Transformers器上的公共AISHELL-1,内部1000小时和20,000小时的大规模普通话任务。结果表明,我们提出的基于SSAN的Transformer模型可以实现超过20%的相对减少模型参数和6.7%的相对CER减少AISHELL-1任务。令人印象深刻的是,我们的模型在20,000小时的大规模任务中没有表现出识别性能的损失。
2020-11-17 cs.CL cs.SD eess.AS
Ask2Mask: Guided Data Selection for Masked Speech Modeling
Brno University of Technology(布尔诺理工大学)
诸如wav2vec2或w2v-BERT之类的掩蔽语音建模(MSM)方法在话语内随机掩蔽的语音帧上学习表示。虽然这些方法提高了自动语音识别(ASR)系统的性能,但它们有一个主要的局限性。它们以相等的权重对待所有无监督语音样本,这阻碍了学习,因为并非所有样本都有相关信息来学习有意义的表示。在这项工作中,我们解决了这个限制。我们提出了ask2mask(ATM),这是一种在MSM预训练期间专注于特定样本的新方法。ATM采用外部ASR模型或\textit{scorer}以两种不同的方式对无监督输入样本进行加权:1)通过对评分器选择的高置信度输入帧进行掩蔽来执行细粒度数据选择。这允许模型学习有意义的表示。2)ATM进一步扩展到重点在话语级加权的最终MSM损失与话语级的置信度得分。我们在两个基准测试良好的语料库上进行微调实验:LibriSpeech(匹配预训练数据)和Commonvoice,TED-LIUM,AMI和CHiME-6(不匹配预训练数据)。结果证实了ATM在不匹配条件下显著提高识别性能的功效(相对于已发表的结果高达11.6%,相对于我们的内部基线高达4.46%),同时在匹配条件下仍然产生适度的改善。
2022-02-24 cs.CL cs.SD eess.AS
Strategies for improving low resource speech to text translation relying on pre-trained ASR models
Brno University of Technology(布尔诺理工大学);Phonexia(菲尼克斯公司);Univ. Grenoble Alpes(格勒诺布尔大学);University of Pittsburgh(匹兹堡大学)
本文研究低资源语音到文本翻译,提出利用多语言ASR初始化及CTC辅助目标的方法,在塔马舍克语-法语上以300小时数据获7.3 BLEU,超越先前成果。
2023-05-31 cs.CL cs.SD eess.AS
W2v-BERT: Combining Contrastive Learning and Masked Language Modeling for Self-Supervised Speech Pre-Training
Google Brain(谷歌大脑)
受MLM在预训练自然语言处理模型中的成功启发,我们提出了w2 v-BERT,它探索了用于自监督语音表示学习的MLM。w2 v-BERT是一个结合了对比学习和MLM的框架,其中前者训练模型将输入的连续语音信号离散化为有限的一组有区别的语音标记,后者训练模型通过求解消耗离散化标记的掩蔽预测任务来学习上下文化的语音表示。与现有的基于MLM的语音预训练框架相比,例如HuBERT,它依赖于迭代的重新聚类和重新训练过程,或vq-wav 2 vec,它连接了两个单独训练的模块,w2 v-BERT可以通过同时解决两个自监督任务(对比任务和MLM)来以端到端的方式进行优化。我们的实验表明,当使用Libri-Light~ 60 k语料库作为无监督数据时,与LibriSpeech基准测试中当前最先进的预训练模型相比,w2 v-BERT取得了有竞争力的结果。特别是,当与已发布的模型(如基于一致性的wav 2 vec ~2.0和HuBERT)相比时,我们的模型在测试干净和测试其他子集上显示出~5\%至~10\%的相对WER降低。当应用于Google的语音搜索流量数据集时,w2 v-BERT相对于我们内部基于一致性的wav 2 vec ~2.0的性能要好30%以上。
2021-09-13 cs.LG cs.SD eess.AS
Low-rank Adaptation of Large Language Model Rescoring for Parameter-Efficient Speech Recognition
Amazon Alexa(亚马逊Alexa)
针对预训练语言模型用于语音识别重打分时计算成本高的问题,提出基于低秩适配的LoRB架构,仅用0.08%预训练参数实现领域适配,训练时间缩短3.6至5.4倍,实现参数高效的语音识别重打分。
2023-10-10 cs.AI cs.CL cs.LG
RescoreBERT: Discriminative Speech Recognition Rescoring with BERT
Amazon Alexa(亚马逊Alexa)
第二遍重评分是自动语音识别(ASR)系统中的重要组成部分,其用于通过实现格重评分或$n$ -最佳重排序来改善来自第一遍解码器的输出。虽然使用掩蔽语言模型(MLM)目标进行预训练在各种自然语言理解(NLU)任务中取得了巨大成功,但它并没有作为ASR的重新评分模型获得关注。具体而言,尚未探索在诸如最小WER(MWER)的判别性目标上训练双向模型(如BERT)。在这里,我们展示了如何训练具有MWER损失的基于BERT的重新评分模型,以将区分损失的改进纳入ASR的深度双向预训练模型的微调中。具体来说,我们提出了一种融合策略,将MLM融入到判别训练过程中,以有效地从预训练模型中提取知识。我们进一步提出了一种替代的歧视性损失。这种方法,我们称之为RescoreBERT,相对于LibriSpeech干净/其他测试集,在没有歧视性目标的BERT基线上,将WER降低了6.6%/3.4%。我们还在来自会话代理的内部数据集上评估了我们的方法,发现它在LSTM重新评分模型上减少了延迟和WER(相对减少了3%到8%)。
2022-02-18 cs.CL cs.LG cs.SD
Text Matters but Speech Influences: A Computational Analysis of Syntactic Ambiguity Resolution
Seoul National University(首尔大学);University of Michigan(密歇根大学)
分析人类如何解决句法歧义一直是语言学领域的研究热点。同时,它也是口语语言理解(SLU)系统最具挑战性的问题之一。由于句法歧义与韵律和语义的问题交织在一起,语音意图识别的计算方法有望受益于人类语言处理机制的观察。在这方面,我们使用专注的循环神经网络来解决这个任务,该网络同时利用声学和文本特征,并揭示这些模态如何相互交互以推导句子含义。利用语音语料库记录的韩语脚本的句法歧义的话语,我们发现,共同注意框架,即多跳注意和交叉注意,表现出显着优越的性能,在消除歧义的讲话意图。通过进一步的分析,我们发现这些计算模型反映了听觉过程和语言过程之间的内在联系。
2020-05-21 cs.CL eess.AS
Text-only Domain Adaptation using Unified Speech-Text Representation in Transducer
ByteDance(字节跳动)
针对端到端语音识别中纯文本域自适应的难题,提出USTR-CT方法,通过额外文本编码器学习统一表示且推理时移除,结合单/多步自适应,在目标域WER相对降44%,还可结合ILME进一步提效。
2023-06-07 cs.CL cs.SD eess.AS
Encrypted Speech Recognition using Deep Polynomial Networks
Tencent AI Lab(腾讯人工智能实验室);Microsoft Corporation(微软公司)
基于云的语音识别/API为开发人员或企业提供了一种在其应用程序中创建语音功能的简单方法。然而,将有关个人或公司内部信息的音频发送到云端会引发对隐私和安全问题的担忧。在云端生成的识别结果也可能泄露一些敏感信息。本文提出了一种深度多项式网络(DPN),可以应用于加密语音作为声学模型。它允许客户端以加密形式将数据发送到云端,以确保其数据保持机密,同时DPN仍然可以对加密语音进行帧级预测,并以加密形式返回它们。DPN的一个好特性是它可以以传统的方式在未加密的语音特征上进行训练。为了使云远离原始音频和识别结果,还提出了云-本地联合解码框架。我们展示了Switchboard和Cortana语音助理任务的模型和框架的有效性,与传统的基于云的DNN相比,性能下降和延迟增加。
2019-05-11 cs.CL cs.CR cs.SD
Probing Whisper for Dysarthric Speech in Detection and Assessment
TU Delft, the Netherlands(代尔夫特理工大学);King's College London, UK(伦敦国王学院)
本研究针对构音障碍语音的检测与评估任务,对Whisper-Medium编码器进行逐层探测分析,发现中间13-15层信息量最高,微调仅带来小幅变化,提升了模型可解释性并为病理语音应用提供指导。
2025-10-05 cs.SD eess.AS
Transformer-based Acoustic Modeling for Hybrid Speech Recognition
Facebook(脸书)
我们提出并评估基于变换的声学模型(AM)的混合语音识别。在这项工作中讨论了几种建模选择,包括各种位置嵌入方法和迭代损失,以训练深度Transformers。我们还提出了一个初步的研究,使用有限的权利的上下文中的Transformer模型,这使得它可能的流式应用程序。我们证明,在广泛使用的Librispeech基准,我们的基于变换的AM优于最好的发表的混合结果19%至26%相对使用标准的n元语言模型(LM)。结合神经网络LM的重新评分,我们提出的方法取得了国家的最先进的结果Librispeech。我们的发现也在更大的内部数据集上得到了证实。
2020-04-30 cs.CL eess.AS
Deep versus Wide: An Analysis of Student Architectures for Task-Agnostic Knowledge Distillation of Self-Supervised Speech Models
NTT Corporation(日本电报电话公司)
自监督学习(Self-supervised learning,SSL)被认为是一种非常有前途的方法,在多个语音下游任务中具有很高的性能。由于SSL模型的参数通常如此之大,以至于训练和推断需要大量的存储器和计算成本,因此期望通过应用诸如知识蒸馏(KD)的压缩方法来产生紧凑的SSL模型而没有显著的性能降级。虽然KD方法能够缩小SSL模型结构的深度和/或宽度,但很少有人研究深度和宽度的变化如何影响小足迹模型的内部表示。本文提供了一个解决这个问题的实证研究。我们调查SUPERB的性能,而不同的结构和KD方法,以保持参数的数量不变,这使我们能够分析通过改变模型架构引入的表示的贡献。实验表明,一定的深度是必不可少的解决面向内容的任务(例如自动语音识别)准确,而一定的宽度是必要的,以实现高性能的几个面向说话人的任务(例如说话人辨识)。基于这些观察结果,我们确定了SUPERB,一个更压缩的模型,比以前的研究具有更好的性能。
2022-09-01 cs.CL cs.SD eess.AS
Language-universal phonetic encoder for low-resource speech recognition
ByteDance(字节跳动)
本文首次在注意力编码器-解码器架构内利用基于国际音标的语言通用音素模型提升低资源ASR性能,并提出适应方法,在极端低资源及不匹配场景下优于基线与多数先进工作。
2023-05-19 cs.CL cs.SD eess.AS
Utterance-level neural confidence measure for end-to-end children speech recognition
The Chinese University of Hong Kong(香港中文大学)
置信度是自动语音识别(ASR)系统在实际应用中的一个重要性能指标。本文研究了端到端自动语音识别(E2 E ASR)中的话语级神经置信度(NCM)。E2 E系统采用联合CTC关注Transformer架构。NCM的预测被公式化为二元分类的任务,即,基于在ASR解码过程期间获取的一组预测器特征来接受/拒绝输入话语。调查的重点是评估和比较的预测功能,来自不同的内部和外部模块的E2 E系统的效力。实验进行了儿童语音,其中国家的最先进的ASR系统表现出不满意的性能和鲁棒的置信度是特别有用的。值得注意的是,与语音的声学信息相关的预测特征在估计置信度方面比与语言信息相关的预测特征起着更重要的作用。N-best score特征的性能明显优于single-best特征。研究还表明,EER和AUC指标不适合评估具有显著性能差距的不匹配ASR的NCM。
2021-09-16 cs.SD eess.AS
From Text Metrics to Model Internals: A Study of Whisper ASR Hallucination Detection
Signal Processing Group, Institute of Electronics, AGH University of Krakow, Poland(信号处理组,电子学研究所,AGH克拉科夫大学,波兰)
研究Whisper大模型在真实语音数据上的幻觉检测,通过文本、LLM和内部解码器状态三种方法,发现无参考文本时探测解码器表示性能最强,融合文本与内部状态的元分类器效果最佳。
2026-06-23 cs.AI cs.SD eess.AS
Decoupled Structure for Improved Adaptability of End-to-End Models
University of Cambridge(剑桥大学)
针对端到端语音识别模型受领域偏移影响、内部语言模型难适配的问题,提出两种解耦结构,通过解耦声学与语言组件实现推理时直接替换目标域语言模型,在跨域数据集上显著降低词错误率且保持域内性能。
2023-08-25 cs.CL cs.SD eess.AS