A Fast-Converged Acoustic Modeling for Korean Speech Recognition: A Preliminary Study on Time Delay Neural Network
Sogang University(西江大学)
提出了一种基于时延神经网络(TDNN)的声学模型,实现了韩语语音识别的快速收敛声学建模。TDNN在训练数据量有限的情况下具有快速收敛的优势,这是由于排除重复权重的子采样。的TDNN表现出2.12%的字符出错率相比,前馈神经网络(FFNN)为基础的韩国语音语料库建模的绝对改善。该模型的收敛速度比基于FFNN的模型快1.67倍。
2018-07-11 cs.CL cs.SD eess.AS
Quantization of Acoustic Model Parameters in Automatic Speech Recognition Framework
Idiap Research Institute(伊迪亚普研究所)
最先进的混合自动语音识别(ASR)系统利用基于深度神经网络(DNN)的声学模型(AM),所述声学模型(AM)利用无格最大互信息(LF-MMI)准则和n-gram语言模型进行训练。AM通常具有数百万个参数,并且需要显著的参数减少以在嵌入式设备上操作。本文研究了参数量化对整体词识别性能的影响。提出了以下方法:(i)在Kaldi框架中使用传统的因子化TDNN(TDNN-F)架构训练AM,(ii)使用C++包装器将Kaldi中构建的TDNN AM加载到PyTorch工具包中进行训练后量化,(iii)在PyTorch中为Kaldi TDNN模型进行量化感知训练,(iv)在Kaldi中进行量化感知训练。在标准Librispeech设置上获得的结果提供了一个有趣的识别精度w.r.t.应用量化方案。
2020-11-20 cs.SD eess.AS
End-to-end Acoustic-linguistic Emotion and Intent Recognition Enhanced by Semi-supervised Learning
Cognitive Systems Lab, University of Bremen(布雷斯特大学认知系统实验室);Institute of Science Tokyo(东京科学研究所)
针对语音情感与意图识别中标注数据成本高昂的问题,提出结合大规模未标记数据的半监督学习方法,训练端到端声学与语言学多任务模型,实验表明该方法显著提升了识别性能,最佳模型后期融合在联合识别平衡指标上分别比声学和文本基线提升12.3%和10.4%。
2025-07-10 cs.SD eess.AS
Guiding the underwater acoustic target recognition with interpretable contrastive learning
Institute of Acoustics, Chinese Academy of Sciences(中国科学院声学研究所);University of Chinese Academy of Sciences(中国科学院大学)
本文针对水声目标识别可解释性和泛化性不足的问题,利用类激活映射发现模型关注线谱与调制信息,进而提出可解释对比学习策略,通过双编码器约束学习提升识别准确率和跨库泛化性能。
2024-02-20 cs.SD eess.AS
Two-Staged Acoustic Modeling Adaption for Robust Speech Recognition by the Example of German Oral History Interviews
在自动语音识别中,通常很少的训练数据可用于特定的具有挑战性的任务,但是最先进的自动语音识别系统的训练需要大量的注释语音。为了解决这个问题,我们提出了一种两阶段的声学建模方法,该方法将噪声和混响数据增强与迁移学习相结合,以鲁棒地解决困难的声学记录条件,自发语音和老年人语音等挑战。我们评估我们的方法使用的例子,德国口述历史访谈,其中一个相对平均减少字的错误率达到19.3%。
2019-08-19 cs.CL cs.SD eess.AS
Speaker conditioning of acoustic models using affine transformation for multi-speaker speech recognition
University of Texas at Dallas(德克萨斯大学达拉斯分校);Erik Jonsson School of Engineering(埃里克·琼森工程学院);Center for Robust Speech Systems (CRSS)(鲁棒语音系统中心(CRSS))
本文研究了在重叠语音场景下目标说话人的单通道自动语音识别问题。该方法利用说话人辅助信息对声学模型中的隐藏表示进行调制,从而只识别期望的说话人。仿射变换层被插入到声学模型网络中,以将说话人信息与声学特征相结合。扬声器调节过程允许声学模型在目标扬声器辅助信息的上下文中执行计算。所提出的扬声器调节方法是一种通用的方法,可以应用于任何声学模型架构。在这里,我们在ResNet声学模型上使用扬声器调节。在WSJ语料库上的实验表明,该方法是一种有效的融合说话人辅助信息和声学特征的多说话人语音识别方法,与原始ResNet声学模型基线相比,在干净和重叠语音场景下分别实现了+9%和+20%的相对WER降低。
2021-10-30 cs.AI cs.LG cs.SD
Linguistic-Acoustic Similarity Based Accent Shift for Accent Recognition
Northwestern Polytechnical University(西北工业大学);Tencent Research(腾讯研究院)
一般口音识别(AR)模型往往直接从频谱中提取低级信息,这些信息总是对扬声器或通道显着过拟合。考虑到口音可以被看作是一系列相对于母语发音的变化,区分口音将是一个更容易的任务与口音变化作为输入。但由于缺乏母语作为锚点,估计口音转移是困难的。在本文中,我们提出了基于语言声学相似性的口音转移(LASAS)的AR任务。对于一个口音语音,在将相应的文本向量映射到多个口音相关空间作为锚点后,可以通过声学嵌入与这些锚点之间的相似性来估计其口音偏移。然后,我们将重音移位与降维的文本向量连接起来,以获得语言声学双峰表示。与纯声学嵌入相比,双模态表示充分利用了语言信息和声学信息,更加丰富、清晰,可以有效提高AR性能。在重音英语语音识别挑战赛(AESRC)数据集上的实验表明,该方法在测试集上获得了77.42%的准确率,比竞争系统在挑战赛中获得了6.94%的相对提高。
2022-07-01 cs.SD eess.AS
Large-Scale Mixed-Bandwidth Deep Neural Network Acoustic Modeling for Automatic Speech Recognition
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);IBM Research AI(IBM研究院人工智能部门);IBM T. J. Watson Research Center(IBM托马斯·J·沃森研究中心)
在自动语音识别(ASR)中,具有不同采样率的宽带(WB)和窄带(NB)语音信号通常使用单独的声学模型。因此,混合带宽(MB)声学建模对ASR系统部署具有重要的实用价值。在本文中,我们使用1,150小时的WB数据和2,300小时的NB数据广泛研究了ASR的大规模MB深度神经网络声学建模。我们研究了各种MB策略,包括下采样,上采样和带宽扩展MB声学建模和评估其性能的8个不同的WB和NB测试集从不同的应用领域。为了处理大量的训练数据,使用同步数据并行在多个GPU上进行分布式训练。
2019-07-10 cs.CL cs.SD eess.AS
Learned In Speech Recognition: Contextual Acoustic Word Embeddings
Carnegie Mellon University(卡内基梅隆大学)
端到端的声学到词语音识别模型最近得到了普及,因为它们易于训练,可以很好地扩展到大量的训练数据,并且不需要词典。此外,单词模型也可以更容易地与下游任务(例如口语语言理解)集成,因为推理(搜索)与音素、字符或任何其他种类的子单词单元相比简化得多。在本文中,我们描述的方法来构建上下文声学词嵌入直接从监督序列到序列的声学到词的语音识别模型使用学习的注意力分布。在一组16个标准句子评估任务中,我们的嵌入显示出与在语音传输上训练的word2vec模型相比具有竞争力的性能。此外,我们评估这些嵌入在语言理解任务,并观察到,我们的嵌入匹配的性能,基于文本的嵌入在管道中的第一次执行语音识别,然后从transmittance构建词嵌入。
2019-02-18 cs.CL cs.SD eess.AS
Unraveling Complex Data Diversity in Underwater Acoustic Target Recognition through Convolution-based Mixture of Experts
Institute of Acoustics, Chinese Academy of Sciences(中国科学院声学研究所);University of Chinese Academy of Sciences(中国科学院大学)
本文针对水下声学信号类内多样性高导致识别困难的问题,提出基于卷积的专家混合模型CMoE,通过多专家层和路由层实现细粒度识别,并在多个数据库上验证了其优于现有方法的性能。
2024-04-30 cs.SD eess.AS
Federated Acoustic Modeling For Automatic Speech Recognition
IBM Research AI(IBM研究院人工智能部门);IBM T. J. Watson Research Center(IBM托马斯·J·沃森研究中心)
数据隐私和保护是任何自动语音识别(ASR)服务提供商在与客户打交道时的关键问题。在本文中,我们研究联邦声学建模使用来自多个客户端的数据。客户端的数据存储在本地数据服务器上,并且客户端仅与中央服务器通信模型参数,而不是其数据。通信不频繁地发生,以减少通信成本。为了缓解非iid问题,提出了客户端自适应联邦训练(CAFT)来规范跨客户端的数据。实验在来自多个领域的1,150小时语音数据上进行。通过联邦学习训练混合LSTM声学模型,并将其性能与传统的集中式声学模型训练进行比较。实验结果验证了所提出的联邦声学建模策略的有效性。我们还表明,CAFT可以进一步提高联邦声学模型的性能。
2021-02-08 cs.DC cs.SD eess.AS
Acoustic Landmarks Contain More Information About the Phone String than Other Frames for Automatic Speech Recognition with Deep Neural Network Acoustic Model
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Novumind;Beckman Institute, University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校贝克曼研究所)
大多数主流的自动语音识别(ASR)系统认为所有特征帧同等重要。然而,声学地标理论是基于一个矛盾的想法,即一些帧比其他帧更重要。声学地标理论利用发音声学和声学感知关系中的量子非线性来定义语音频谱突然改变或达到极值的地标时间;已证明与地标重叠的帧足以用于语音感知。在这项工作中,我们进行实验的TIMIT语料库,与GMM和DNN为基础的ASR系统,并发现,包含地标的帧比其他人的ASR信息。我们发现,通过重新加权声学可能性来改变对地标的强调程度往往会降低电话错误率(PER)。此外,通过利用地标作为启发式算法,我们的一种混合DNN丢帧策略在对不到一半(精确地说是45.8%)的帧进行评分时,将PER保持在最佳的0.44%以内。这种混合策略优于其他非启发式的方法,并展示了潜在的地标,以减少计算。
2018-03-21 cs.SD eess.AS
From Human Speech to Ocean Signals: Transferring Speech Large Models for Underwater Acoustic Target Recognition
College of Computer Science and Technology, Harbin Engineering University, Harbin, China(计算机科学与技术学院,哈尔滨工程大学,哈尔滨,中国)
本文提出UATR-SLM,利用语音大模型进行水下声学目标识别,实验显示其在域内和跨域任务中均表现出高准确率和鲁棒性。
2026-01-26 cs.SD eess.AS
Developing Acoustic Models for Automatic Speech Recognition in Swedish
Kungliga Tekniska Högskolan (KTH)(皇家理工学院(KTH))
本文旨在为瑞典语构建基于隐马尔可夫模型和SpeechDat数据库的声学模型,通过测试多种音素模型与二元语言模型并评估不同说话人子集性能,在数字与自然数识别任务上取得了显著改进。
2024-04-25 cs.AI cs.SD eess.AS
Acoustic absement in detail: Quantifying acoustic differences across time-series representations of speech data
University of Washington(华盛顿大学)
本文提出用 absement 量化语音时间序列间的声学差异,并通过基于动态时间规整的孤立词模板识别实验验证其有效性,取得 57.9% 的识别准确率,探讨了纯声学词识别模型的启示。
2023-04-14 cs.SD eess.AS
End-to-end Silent Speech Recognition with Acoustic Sensing
Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司)
无声语音接口(SSI)是最近人们感兴趣的一个令人兴奋的领域。在本文中,我们提出了一种非侵入性的无声语音接口,使用听不见的声学信号来捕捉人们说话时的嘴唇运动。我们利用智能手机的扬声器和麦克风分别发出信号和听取它们的反射。这些反射的提取相位特征被输入深度学习网络以识别语音。我们还提出了一个端到端的识别框架,它结合了CNN和基于注意力的编码器-解码器网络。有限词汇(54句)的评估结果在说话者独立和环境独立的设置中产生的单词错误率为8.4%,在看不见的句子测试中为8.1%。
2020-11-23 cs.SD eess.AS
Acoustic Pornography Recognition Using Convolutional Neural Networks and Bag of Refinements
Netease YiDun AI Lab(网易易盾人工智能实验室);Netease CommsEase AudioLab(网易云信音频实验室)
互联网上大量公开的色情音频严重威胁着儿童的身心健康,但这些音频很少被发现和过滤。在本文中,我们首先提出了一个基于卷积神经网络(CNN)的模型,用于声学色情识别。然后,我们研究了一系列的改进,并通过消融研究验证其有效性。最后,我们将所有改进叠加在一起,以验证它们是否可以进一步提高模型的准确性。在我们新收集的224127个色情音频和274206个正常样本的大数据集上的实验结果证明了我们提出的模型和这些改进的有效性。具体而言,所提出的模型实现了92.46%的准确性,当所有改进组合时,准确性进一步提高到97.19%。
2022-11-11 cs.SD eess.AS
A Conformer Based Acoustic Model for Robust Automatic Speech Recognition
The Ohio State University(俄亥俄州立大学)
本研究提出一种基于一致性的声学模型来解决鲁棒的自动语音识别(ASR)。该模型建立在宽残差双向长短期记忆网络(WRBN)的基础上,具有逐段丢弃和迭代说话人自适应功能,但采用了Conformer编码器代替递归网络。Conformer编码器使用卷积增强的注意力机制进行声学建模。该系统的CHiME-4语料库的单耳ASR任务进行评估。结合发音规范化和说话人自适应,我们的模型实现了$6.25\%$的词出错率,它比WRBN的$8.4\%$相对。此外,所提出的基于一致性的模型是$18.3\%$更小的模型大小和减少总的训练时间由$79.6\%$。
2022-10-20 cs.AI cs.CL cs.SD
Whole-Word Segmental Speech Recognition with Acoustic Word Embeddings
TTI-Chicago(芝加哥信息技术研究所)
分段模型是序列预测模型,其中假设的分数基于帧的整个可变长度段。我们认为分段模型的全字(“声学到字”)语音识别,使用向量嵌入段定义的特征向量。这样的模型在计算上是具有挑战性的,因为路径的数量与词汇量大小成比例,这可能比使用子字单元(如音素)时大几个数量级。我们描述了一种有效的方法,端到端的全词分段模型,与前向-后向和Viterbi解码上的GPU和一个简单的段评分功能,降低了空间的复杂性。此外,我们还研究了通过联合训练的声学词嵌入(AWE)和声学接地词嵌入(AGWE)的书面词标签进行预训练的使用。我们发现,字错误率可以通过使用AWE预训练声学段表示来大幅降低,并且可以通过使用AGWE预训练字预测层来获得额外的(较小的)增益。我们的最终模型比之前的A2 W模型有所改进。
2020-11-24 cs.CL cs.SD eess.AS
A Quantum Kernel Learning Approach to Acoustic Modeling for Spoken Command Recognition
Google(谷歌)
针对低资源场景下语音命令识别声学模型训练的数据稀疏问题,提出基于经典-量子特征编码的量子核学习框架,在多种低资源语言任务上优于现有经典和量子方案。
2022-11-02 cs.LG cs.SD eess.AS
Distributed Training of Deep Neural Network Acoustic Models for Automatic Speech Recognition
IBM Research AI(IBM研究院人工智能部);IBM T. J. Watson Research Center(IBM托马斯·J·沃森研究中心)
由于深度学习的进步,过去十年在自动语音识别(ASR)方面取得了巨大进展。性能的提高可以归因于改进的模型和大规模的训练数据。训练这种模型的关键是采用高效的分布式学习技术。在本文中,我们概述了用于ASR的深度神经网络声学模型的分布式训练技术。从数据并行随机梯度下降(SGD)和ASR声学建模的基本原理开始,我们将研究各种分布式训练策略及其在高性能计算(HPC)环境中的实现,重点是在通信和计算之间取得平衡。实验进行了一个流行的公共基准研究的收敛性,加速比和识别性能的研究策略。
2020-02-24 cs.DC cs.LG cs.SD
Revisiting joint decoding based multi-talker speech recognition with DNN acoustic model
Brno University of Technology(布尔诺理工大学);NTT Corporation(日本电信电话株式会社)
在典型的多说话者语音识别系统中,基于神经网络的声学模型预测每个说话者的senone状态后验。这些稍后由单独应用于每个说话者特定输出流的单说话者解码器使用。在这项工作中,我们认为,这样的计划是次优的,并提出了一个原则性的解决方案,解码所有扬声器联合。我们修改声学模型来预测所有扬声器的联合状态后验,使网络能够表达语音信号的部分扬声器的属性的不确定性。我们采用了一个联合解码器,可以利用这种不确定性与更高层次的语言信息。为此,我们重温解码算法中使用的阶乘生成模型在早期的多说话者语音识别系统。与这些早期的工作相比,我们用DNN代替了GMM声学模型,DNN提供了更大的建模能力并简化了部分推理。我们展示了联合解码的优势,在混合TIDIGITS数据集上的概念验证实验。
2022-04-15 cs.LG cs.SD eess.AS
Attentive batch normalization for lstm-based acoustic modeling of speech recognition
National Engineering Laboratory for Speech and Language Information Processing(国家语音与语言信息处理工程实验室);University of Science and Technology of China(中国科学技术大学)
批量归一化(BN)是加速模型训练和提高神经网络泛化性能的有效方法。在本文中,我们提出了一种改进的批量归一化技术,称为注意批量归一化(ABN)在长期短期记忆(LSTM)的声学建模的自动语音识别(ASR)。在该方法中,使用辅助网络动态生成批量归一化中的缩放和平移参数,并引入注意机制以提高其正则化性能。此外,两个方案,帧级和话语级ABN,进行了研究。我们评估我们提出的方法对普通话和维吾尔语的ASR任务,分别。实验结果表明,所提出的ABN大大提高了性能的批量规范化的转录准确率为两种语言。
2020-01-01 cs.SD eess.AS
3-D Feature and Acoustic Modeling for Far-Field Speech Recognition
Samsung Research India(三星印度研究院)
多通道混响条件下的自动语音识别是一项具有挑战性的任务。抑制混响伪影的常规方式涉及多声道语音信号的基于波束成形的增强,其用于提取用于神经网络声学模型的基于频谱图的特征。在本文中,我们提出了直接从多通道语音信号中提取特征,使用多变量自回归(MAR)建模方法,其中所有三个维度的时间,频率和通道之间的相关性被利用。MAR特征被馈送到卷积神经网络(CNN)架构,该架构对三个维度执行联合声学建模。3-D CNN架构允许多通道特征的组合,与专注于增强任务的传统波束形成模型相比,这些特征优化了语音识别成本。在CHiME-3和REVERB Challenge数据集上使用多通道混响语音进行实验。在这些实验中,所提出的3-D特征和声学建模方法提供了比用波束成形音频训练的ASR系统显著的改进(CHiME-3和REVERB挑战数据集的单词错误率分别平均相对改进10%和9%。
2020-01-27 cs.LG cs.SD eess.AS
Modular End-to-end Automatic Speech Recognition Framework for Acoustic-to-word Model
Shanghai Jiao Tong University(上海交通大学)
端到端(E2 E)系统在自动语音识别(ASR)中扮演着越来越重要的角色,并取得了很好的性能。然而,E2 E系统直接用输入声学特征识别输出单词序列,其只能在有限的声学数据上训练。在传统的人工神经网络-隐马尔可夫模型(ANN-HMM)混杂系统中,大量的文本数据被用来改善混合系统的性能。标准E2 E ASR系统涉及额外的文本数据可能在解码期间破坏E2 E属性。本文提出了一种新型的模块化E2 E ASR系统。模块化E2 E ASR系统由两部分组成:声学到音素(A2 P)模型和音素到单词(P2 W)模型。A2 P模型在声学数据上训练,而包括大规模文本数据的额外数据可以用于训练P2 W模型。该附加数据使得模块化E2 E ASR系统不仅能够对声学部分而且还能够对语言部分进行建模。在解码阶段,这两个模型将被集成,并作为一个标准的声学到字(A2 W)模型。换句话说,所提出的模块化E2 E ASR系统可以容易地用额外的文本数据训练,并且以与标准E2 E ASR系统相同的方式解码。在总机语料库上的实验结果表明,模块化E2 E模型比标准A2 W模型实现了更好的词错误率(WER)。
2020-07-31 cs.SD eess.AS
Interactive spatial speech recognition maps based on simulated speech recognition experiments
Universität Oldenburg(奥尔登堡大学)
在日常生活中,人类听者的语音识别性能受到各种因素的影响,例如声学环境、说话者和听者的位置、可能受损的听力以及可选的听力设备。预测模型更接近于同时考虑所有需要的因素来预测复杂声学环境中的个体语音识别性能。虽然这样的预测对于严肃的应用可能仍然不够准确,但它们已经可以执行并且需要可访问的表示。在这方面的贡献,语音识别性能的交互式表示提出,它侧重于听众的头部方向和空间维度的声学场景。包括声学渲染模型、听力设备模型和收听者模型的示例性建模工具链被用于生成用于演示目的的数据集。使用空间语音识别地图来探索该数据集,证明了该方法观察可能相关行为的适用性。所提出的表示提供了一个合适的目标,比较和验证不同的建模方法在生态相关的上下文中。最终,它可以作为一种工具,在考虑语音通信的空间和设备的设计中使用经过验证的预测模型。
2021-04-01 cs.SD eess.AS
Joint Modeling of Accents and Acoustics for Multi-Accent Speech Recognition
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);IBM T. J. Watson Research Center(IBM托马斯·J·沃森研究中心)
自动语音识别系统的性能随着训练场景和测试场景之间的失配的增加而降低。说话者口音的差异是这种不匹配的一个重要来源。处理多种口音的传统方法涉及在训练过程中汇集来自多个口音的数据,并以多任务方式构建单个模型,其中任务对应于单个口音。在本文中,我们探索了一种替代模型,我们共同学习口音分类器和多任务声学模型。在美国英语华尔街日报和英国英语剑桥语料库上的实验表明,我们的联合模型优于强多任务声学模型基线。我们在英国英语的单词出错率上获得了5.94%的相对改善,在美国英语的单词错误率上获得了9.47%的相对改善。这说明与口音信息联合建模提高了声学模型性能。
2018-02-07 cs.CL cs.SD eess.AS
Acoustic-to-Word Recognition with Sequence-to-Sequence Models
Carnegie Mellon University(卡内基梅隆大学)
声学到单词识别为端到端语音识别提供了一种简单的解决方案,而无需外部解码、语言模型重新评分或词典。虽然基于字符的模型为词汇表问题提供了一个自然的解决方案,但单词模型可以更简单地解码,并且还可以直接识别语义上有意义的单元。我们提出了有效的方法来训练序列到序列模型,直接字级识别(和字符级识别),并显示了4.4-5.0\%的字错误率的绝对改善开关板语料库相比,以前的工作。除了这些有希望的结果,基于单词的模型比字符模型更容易解释,字符模型必须使用单独的解码步骤组成单词。我们分析了编码器的隐藏状态和注意力行为,并表明位置感知注意力自然地将单词表示为单个语音单词向量,尽管在输入中跨越多个帧。我们最后表明,声学到字的模型也学会了分割语音成词的平均标准差为3帧相比,人类注释的强制对齐的交换机语料库。
2018-08-21 cs.CL cs.LG cs.SD
MATER: Multi-level Acoustic and Textual Emotion Representation for Interpretable Speech Emotion Recognition
Artificial Intelligence \& Computer Vision Lab.
针对自然语音情感识别,提出多层级声学-文本表示框架MATER,融合词、话语和嵌入层特征,并采用不确定性感知集成,在SERNC挑战赛中取得Macro-F1 41.01%和效价CCC 0.6941的成绩。
2025-06-24 cs.AI cs.SD eess.AS
Two-stage dimensional emotion recognition by fusing predictions of acoustic and text networks using SVM
Japan Advanced Institute of Science and Technology(日本北陆先端科学技术大学院大学)
计算机自动语音情感识别是实现更自然的人机交互的关键。在人与人的互动中,正确感知情绪的能力对于在特定情况下采取进一步措施至关重要。SER中的一个问题是是否有必要将声学特征与其他数据(如面部表情、文本和运动捕捉)相结合。本研究提出结合声学和文本信息,采用后期融合方法,包括两个步骤。首先,在深度学习系统中分别训练声学和文本特征。其次,将来自深度学习系统的预测结果馈送到支持向量机(SVM)中以预测最终回归得分。此外,在本研究中的任务是维度情感建模,因为它可以使情感状态的更深入的分析。实验结果表明,这种两阶段,后期融合的方法,获得了更高的性能比任何一个一阶段的处理,从一个阶段到两个阶段的处理线性相关。这种后期融合方法改善了以前的早期融合结果,测量一致性相关系数得分。
2022-10-26 cs.SD eess.AS
Explaining Deep Learning Embeddings for Speech Emotion Recognition by Predicting Interpretable Acoustic Features
Carnegie Mellon University(卡内基梅隆大学);Harvard University(哈佛大学);McGovern Institute(麦戈文研究所);Massachusetts Institute of Technology (MIT)(麻省理工学院)
针对语音情感识别中深度学习嵌入可解释性不足的问题,提出改进探测方法,通过重要维度子集的声学特征预测能力推断关键特征,实验验证了四类声学特征的信息量排序及方法效用。
2024-09-14 cs.AI cs.SD eess.AS
An Features Extraction and Recognition Method for Underwater Acoustic Target Based on ATCNN
College of Automation, Harbin Engineering University(哈尔滨工程大学自动化学院);College of Business, Anshan Normal University(鞍山师范学院商学院)
面对复杂的海洋环境,利用舰船辐射噪声进行水声目标识别具有极大的挑战性。受听觉感知神经机制的启发,提出了一种基于深度可分离卷积(DWS)和时间扩张卷积神经网络的水声信号深度训练神经网络--听觉感知启发的时间扩张卷积神经网络(ATCNN),实现了水声信号的检测和分类。ATCNN模型由受听觉感知启发的可学习特征提取器和集成层以及受语言模型启发的时间扩张卷积组成。本文采用深度可分离卷积滤波器将原始时域舰船辐射噪声信号分解为不同的频率分量,然后提取基于听觉感知的信号特征。深度特征在集成层上集成。时间扩张卷积用于长期上下文建模。因此,像语言模型一样,类内和类间信息可以充分用于UATR。对于UATR任务,分类正确率达到90.9%,是对比实验中最高的。实验结果表明,ATCNN在提高UATR分类性能方面具有很大的潜力。
2020-11-29 cs.SD eess.AS
Frequency Domain Multi-channel Acoustic Modeling for Distant Speech Recognition
Amazon Inc.(亚马逊公司)
传统的远场自动语音识别(ASR)系统通常采用麦克风阵列技术来进行语音增强,以便提高对噪声或混响的鲁棒性。然而,这样的语音增强技术并不总是产生ASR准确度的改进,因为用于语音增强的优化标准并不直接与ASR目标相关。在这项工作中,我们开发了新的声学建模技术,可以直接基于ASR标准从多通道(MC)输入中优化空间滤波和长短期记忆(LSTM)层。与传统的方法相比,我们将阵列处理知识的声学模型。此外,我们初始化网络的波束形成器的系数。我们通过ASR实验研究这种MC神经网络对真实世界远场数据的影响,其中用户在不受控制的声学环境中与ASR系统进行交互。我们表明,我们的MC声学模型可以减少字错误率(WER)的~ 16.5%相比,一个单通道ASR系统与传统的对数梅尔滤波器组能量(LFBE)功能平均。我们的研究结果还表明,与使用七个麦克风的传统波束形成相比,我们的网络在双通道输入上具有空间滤波层,实现了约9.5%的相对WER降低。
2019-04-28 cs.SD eess.AS
Multimodal and Multi-view Models for Emotion Recognition
University of Houston(休斯顿大学)
对情感识别的研究表明,结合词汇和声学信息可以产生更鲁棒和准确的模型。大多数研究侧重于培训和评价中两种模式都可用的环境。然而,在实践中,情况并非总是如此;由于计算复杂性或与隐私相关的约束,获取ASR输出可能代表部署管道中的瓶颈。为了解决这一挑战,我们研究了在训练过程中有效地结合声学和词汇模态的问题,同时仍然提供了一个可部署的声学模型,不需要词汇输入。我们首先用多模态模型和两种注意力机制进行实验,以评估词汇信息可以提供的好处的程度。然后,我们框架的任务作为一个多视图学习问题,从一个多模态模型到我们的声学只有网络使用对比损失函数的语义信息。我们的多模态模型在词汇和声学信息上的表现优于USC-IEMOCAP数据集。此外,我们的多视图训练的声学网络大大超过了专门使用声学特征训练的模型。
2019-06-24 cs.CL cs.SD eess.AS
Joint model-based recognition and localization of overlapped acoustic events using a set of distributed small microphone arrays
TALP Research Center(TALP研究中心)
在声学场景的分析中,经常发生的声音必须在时间上被检测,被识别,并且在空间上被定位。通常,这些任务都是单独完成的。在本文中,一个基于模型的方法,共同进行多个同时来源的情况下,他们提出和测试。所识别的事件类别和它们各自的房间位置是用单个系统获得的,该单个系统最大化大的分数集合的组合,每个分数集合由不同的声学事件模型和不同的波束形成器输出信号产生,该波束形成器输出信号来自于几个任意定位的小麦克风阵列中的一个。通过使用一个两步的方法,实验工作的一个特定的场景组成的会议室声学事件,无论是孤立的或重叠的语音,报告。用两个数据集进行的测试表明,所提出的方法相对于一些常用的技术的优势,估计先验的列入带来了进一步的性能改善。
2017-12-19 cs.SD eess.AS
Alzheimer's Dementia Recognition Using Acoustic, Lexical, Disfluency and Speech Pause Features Robust to Noisy Inputs
Queen Mary University of London(伦敦玛丽女王大学);Jožef Stefan Institute(约热夫·斯特凡研究所)
我们提出了两个基于多模态融合的深度学习模型,这些模型同时使用ASR转录的语音和声学数据来分类结构化诊断任务中的说话者是否患有阿尔茨海默病以及在多大程度上患有阿尔茨海默病,评估ADReSSo挑战2021数据。我们的最佳模型是一个BiLSTM,它具有使用单词、单词概率、不流利特征、停顿信息和各种声学特征的高速公路层,在MMSE认知评分上实现了84%的准确率和4.26的RSME错误预测。虽然预测认知能力下降更具挑战性,但我们的模型显示出使用多模态方法和单词概率,不流利和停顿信息的改进。我们使用多模态融合和门控,可以有效地处理来自声学特征和ASR假设的噪声输入,从而显示出相当大的收益。
2021-06-29 cs.CL cs.SD eess.AS
Empirical Interpretation of the Relationship Between Speech Acoustic Context and Emotion Recognition
University of Sheffield(谢菲尔德大学)
本研究使用基于注意力的方法探讨声学上下文和音素边界对语音情感识别局部标记的影响,通过跨语料库实验验证分布式情感理解的优势,旨在连接心理语言学理论与计算建模。
2023-06-30 cs.AI cs.LG cs.SD
Transformer in action: a comparative study of transformer-based acoustic models for large scale speech recognition applications
Facebook AI(Facebook人工智能研究院)
本文综述了Transformer及其可流化的变体--基于Emformer的声学模型在大规模语音识别中的应用。我们将基于Transformer的声学模型与工业规模任务的LSTM模型进行了比较。具体来说,我们将Emformer与延迟控制的BLSTM(LCBLSTM)在中等延迟任务上进行比较,并将LSTM在低延迟任务上进行比较。在低延迟语音助理任务中,Emformer获得24%至26%的相对单词出错率降低(WERR)。对于中等延迟场景,与模型大小和延迟相似的LCBLSTM相比,Emformer在视频描述数据集上获得了跨4种语言的显著WERR,推理实时因素减少了2-3倍。
2020-10-29 cs.CL cs.SD
Distilling Knowledge from Ensembles of Acoustic Models for Joint CTC-Attention End-to-End Speech Recognition
University of Cambridge(剑桥大学);Avignon University(阿维尼翁大学);Samsung AI(三星人工智能)
知识蒸馏已被广泛用于压缩现有的深度学习模型,同时在广泛的应用中保持性能。在自动语音识别(ASR)的特定背景下,最近从声学模型的集合中提取在提高识别性能方面显示出有希望的结果。在本文中,我们提出了一个扩展的多教师蒸馏方法联合CTC注意端到端ASR系统。我们还介绍了三种新的蒸馏策略。他们背后的核心直觉是将出错率指标整合到教师选择中,而不是仅仅关注观察到的损失。通过这种方式,我们直接提取和优化学生对语音识别的相关度量。我们在不同的数据集(TIMIT,Librispeech,Common Voice)和各种语言(英语,法语,意大利语)上选择训练程序来评估这些策略。特别是,国家的最先进的出错率的共同语音法语,意大利语和TIMIT数据集的报告。
2021-07-04 cs.LG cs.SD eess.AS
Improving Multimodal Emotion Recognition by Leveraging Acoustic Adaptation and Visual Alignment
Northwestern Polytechnical University(西北工业大学);Shaanxi University of Science and Technology(陕西科技大学);Peng Cheng Laboratory(鹏城实验室)
面向 MER2024-SEMI 半监督多模态情感识别任务,提出 HuBERT 声学层 PEFT 适配、视觉特征向声学空间对齐预训练及注意力融合方法,加权 F1 达 88.90%,排名第四。
2024-09-10 cs.HC cs.SD eess.AS
Systematic Study of Dysarthric Speech Recognition: Spectral Features and Acoustic Models
Department of Electronics and Communication Engineering, National Institute of Technology Sikkim, India(电子与通信工程系,印度尼特技术学院锡金分校);Department of Information and Communications Engineering, Aalto University, Finland(信息与通信工程系,阿尔托大学,芬兰);Signal Analysis and Interpretation Laboratory (SAIL), University of Southern California, Los Angeles, USA(信号分析与解释实验室(SAIL),美国南加州大学洛杉矶分校)
本文系统研究不同频谱特征与声学模型的组合,通过引入音高特征和优化训练帧重叠数,在F-TDNN模型上实现孤立词和句子识别相对提升4.65%和4.63%。
2026-06-19 cs.AI cs.LG cs.SD
Advancing Robust Underwater Acoustic Target Recognition through Multi-task Learning and Multi-Gate Mixture-of-Experts
Key Laboratory of Speech Acoustics and Content Understanding, Institute of Acoustics, Chinese Academy of Sciences(中国科学院声学研究所);University of Chinese Academy of Sciences(中国科学院大学);State Key Laboratory of Acoustics, Institute of Acoustics, Chinese Academy of Sciences(中国科学院声学研究所)
针对真实水下信号稀缺导致识别鲁棒性不足的问题,提出M3多任务多门控多专家框架,通过辅助任务共享参数与多专家门控机制增强泛化,在ShipsEar数据集上达到最先进性能。
2024-11-05 cs.LG cs.SD eess.AS
Efficiently Fusing Pretrained Acoustic and Linguistic Encoders for Low-resource Speech Recognition
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
端到端模型在自动语音识别(ASR)任务上取得了令人印象深刻的结果。然而,对于低资源的ASR任务,标记数据很难满足端到端模型的需求。自监督声学预训练已经显示出惊人的ASR性能,而转录仍然不足以在端到端模型中进行语言建模。在这项工作中,我们将预先训练的声学编码器(wav2vec2.0)和预先训练的语言编码器(BERT)融合到端到端ASR模型中。融合模型只需要在有限的标记数据上进行微调时学习从语音到语言的转换。两种模态的长度由单调的注意力机制匹配,而不需要额外的参数。此外,一个全连接层被引入到模态之间的隐藏映射。我们进一步提出了一个预定的微调策略,以保留和利用预先训练的语言编码器的文本上下文建模能力。实验表明,我们有效地利用了预训练模块。我们的模型在CALLHOME语料库(15小时)上取得了比其他端到端模型更好的识别性能。
2021-01-24 cs.CL cs.SD eess.AS
Hybridized Feature Extraction and Acoustic Modelling Approach for Dysarthric Speech Recognition
Marwadi Education Foundation’s Group of Institution(马尔瓦迪教育基金会集团机构)
构音障碍是由人类神经系统模糊引起的运动言语功能障碍。其特点是说话含糊不清,加上身体受损,限制了他们的沟通,造成缺乏信心,影响了生活方式。本文试图提高自动语音识别(ASR)系统对未受损语音信号的识别效率。介绍了通过整合构音障碍者的言语产生知识来改善构音障碍者的ASR的研究现状。为了提高整个系统的效率,提出了特征提取和声学建模技术与进化算法的混合方法。这里的特征向量的数量是不同的,并测试了系统的性能。实验结果表明,采用遗传算法可以提高系统的性能。系统采用遗传算法对16个声学特征进行优化,在训练时间为5:30:17时,识别率最高达到98.28%。
2015-06-06 cs.CL cs.SD
On the Impact of Word Error Rate on Acoustic-Linguistic Speech Emotion Recognition: An Update for the Deep Learning Era
University of Augsburg(奥格斯堡大学);Huawei Technologies(华为技术有限公司);HSE University(俄罗斯国家研究型高等经济大学);ITMO University(圣彼得堡国立信息技术机械与光学大学);Imperial College London(伦敦帝国理工学院)
从那时起,来自自动语音识别(ASR)转录和音频表示的文本编码在语音情感识别(SER)中显示出了希望。然而,它是具有挑战性的解释的影响,每个信息流的SER系统。此外,需要更多的澄清,以分析ASR的单词出错率(WER)对语言情感识别本身的影响,并在融合的背景下与声学信息开发的时代,深ASR系统。为了解决上述问题,我们通过应用三个现代ASR系统从原始语音创建成绩单,包括用递归神经网络-换能器损失训练的端到端模型,连接主义时间分类损失模型,以及用于自监督学习的wav 2 vec框架。然后,我们使用预训练的文本模型从ASR输出和黄金标准中提取文本表示。对于声学语音特征的提取和学习,我们利用openSMILE,openXBoW,DeepSpectrum和auDeep。最后,我们进行决策级融合的两个信息流-声学和语言学。使用最佳的开发配置,我们实现了最先进的未加权平均召回值的$73.6\,\%$和$73.8\,\%$的说话人无关的发展和测试分区的IEMOCAP,分别。
2021-04-20 cs.CL cs.SD eess.AS
Probing the Information Encoded in Neural-based Acoustic Models of Automatic Speech Recognition Systems
Avignon University(阿维尼翁大学);Nantes University(南特大学)
本文提出通过不同层中间表示在多类语音任务上评估ASR声学模型,以识别其编码信息的类型与位置,并揭示低层结构化、高层剔除无关信息的规律。
2024-02-29 cs.AI cs.SD eess.AS
Text-Only Domain Adaptation for End-to-End Speech Recognition through Down-Sampling Acoustic Representation
Tsinghua University(清华大学);Peng Cheng Lab(鹏城实验室);Tencent AI Lab(腾讯人工智能实验室);The Chinese University of Hong Kong(香港中文大学)
针对语音与文本表征长度不一致导致纯文本域自适应效果不佳的问题,提出下采样声学表征对齐文本模态的策略,引入CIF模块生成匹配词元长度的声学表征,提升端到端ASR的新域性能。
2023-10-07 cs.CL cs.SD eess.AS
Describing emotions with acoustic property prompts for speech emotion recognition
Microsoft(微软)
情绪存在于一个广泛的连续体上,将情绪视为离散的类别限制了模型捕捉连续体中细微差别的能力。挑战在于如何描述情感的细微差别,以及如何使模型能够学习这些描述。在这项工作中,我们设计了一种方法来自动创建一个描述(或提示)为给定的音频计算声学特性,如音高,响度,语速和清晰度。我们使用5种不同的情感数据集将提示与其对应的音频配对。我们使用这些音频文本对训练了一个神经网络模型。然后,我们使用另一个数据集来评估模型。我们研究了该模型如何学习将音频与描述相关联,从而提高语音情感识别和语音音频检索的性能。我们希望我们的发现能激发研究,
2022-11-14 cs.LG cs.SD eess.AS
Impact of Dataset on Acoustic Models for Automatic Speech Recognition
Manipal University Jaipur(马尼帕尔大学斋浦尔分校)
在自动语音识别中,GMM-HMM被广泛用于声学建模。随着当前深度学习的发展,声学模型中的高斯混合模型(GMM)已经被深度神经网络所取代,即DNN-HMM声学模型。GMM模型被广泛用于创建混合深度神经网络模型的训练数据的比对,从而使得创建精确比对成为一项重要任务。许多因素,例如训练数据集大小、训练数据增强、模型超参数等,影响模型学习。传统上,在机器学习中,较大的数据集往往具有更好的性能,而较小的数据集往往会触发过拟合。语音数据的收集及其准确的翻译是一项重大挑战,因语言而异,在大多数情况下,它可能仅限于大型组织。此外,在可用的大型数据集的情况下,使用此类数据训练模型需要额外的时间和计算资源,而这些时间和资源可能不可用。虽然关于最先进的ASR模型在开源数据集上的准确性的数据已经公布,但是关于数据集大小对声学模型的影响的研究还没有现成的。这项工作的目的是研究数据集大小的变化对各种GMM-HMM声学模型的性能及其各自的计算成本的影响。
2022-03-25 cs.CL cs.LG cs.SD
Misalignment Recognition in Acoustic Sensor Networks using a Semi-supervised Source Estimation Method and Markov Random Fields
Friedrich-Alexander-Universität, Erlangen-Nürnberg(弗里德里希-亚历山大大学埃尔朗根-纽伦堡分校);Bar-Ilan University(巴伊兰大学)
在本文中,我们认为声源定位的问题,通过声学传感器网络(ASNs)使用一个有前途的,基于学习的技术,适应声学环境。特别是,我们看的情况下,当一个节点在训练过程中从它的位置被移位。由于用于学习定位模型的时间序列与节点位移之后的时间序列之间的失配导致错误的位置估计,因此必须检测位移并且需要识别位移的节点。我们提出了一种方法,考虑由留一节点(LONO)子网络的位置估计的差异,并使用马尔可夫随机场(MRF)框架来推断每个LONO位置估计对齐,未对齐或不可靠的概率,同时考虑固有的噪声估计。这种概率方法优于朴素检测方法,因为它输出归一化值,该归一化值封装了由每个LONO子网络提供的关于读数是否与整个网络不对准的条件信息。实验结果表明,该方法在各种声学条件下识别受损节点的性能是一致的。
2020-11-06 cs.SD eess.AS
Improving non-autoregressive end-to-end speech recognition with pre-trained acoustic and language models
虽然Transformers在端到端(E2 E)自动语音识别(ASR)中取得了令人鼓舞的结果,但是它们的自回归(AR)结构成为加速解码过程的瓶颈。对于实际部署,期望ASR系统在实现快速推理的同时具有高度准确性。非自回归(NAR)模型由于其快速的推理速度而成为一种流行的替代方案,但它们在识别精度方面仍然落后于AR系统。为了满足这两个需求,在本文中,我们提出了一个NAR CTC/注意力模型,利用预先训练的声学和语言模型:wav2vec2.0和BERT。为了弥合从预训练模型获得的语音和文本表示之间的模态差距,我们设计了一种新的模态转换机制,它更适合于语标语言。在推理过程中,我们使用CTC分支来生成目标长度,这使得BERT能够并行预测令牌。我们还设计了一个基于缓存的CTC/注意力联合解码方法,以提高识别精度,同时保持解码速度快。实验结果表明,所提出的NAR模型大大优于我们强大的wav2vec2.0 CTC基线(AISHELL-1上的相对CER减少15.1%)。建议的NAR模型显着超过以前的NAR系统的AISHELL-1基准测试,并显示了英语任务的潜力。
2022-01-26 cs.SD eess.AS
Adversarial multi-task underwater acoustic target recognition: towards robustness against various influential factors
Key Laboratory of Speech Acoustics and Content Understanding, Institute of Acoustics, Chinese Academy of Sciences(中国科学院声学研究所语言声学与内容理解重点实验室);University of Chinese Academy of Sciences(中国科学院大学);State Key Laboratory of Acoustics, Institute of Acoustics, Chinese Academy of Sciences(中国科学院声学研究所声场声信息国家重点实验室)
针对水下声学目标识别易受环境因素影响的问题,提出对抗性多任务框架,通过辅助任务建模影响因素并整合对抗学习,在ShipsEar数据集上实现最先进性能。
2024-11-05 cs.LG cs.SD
Optimal Scalogram for Computational Complexity Reduction in Acoustic Recognition Using Deep Learning
BHT University of Applied Sciences(BHT应用科技大学);Faculty of Software Engineering, University of Information Technology, Ho Chi Minh city, Vietnam Vietnam National University, Ho Chi Minh city, Vietnam(软件工程学院,信息技术大学,胡志明市,越南 越南国家大学,胡志明市,越南);Information Technology, Nguyen Tat Thanh University, Ho Chi Minh city, Vietnam(信息技术,阮文Thanh大学,胡志明市,越南);Smart Ocean Mobility, Changwon National University, Changwon, Republic of Korea(智能海洋移动,昌原国立大学,昌原,韩国);Software Engineering, FPT University Hanoi, Hanoi, Vietnam(软件工程,河内FPT大学,河内,越南)
本文提出了一种通过优化小波核长度和步长来降低CWT计算复杂度的方法,以提升深度学习在声学识别中的效率。
2025-11-28 cs.SD eess.AS eess.SP
Privacy attacks for automatic speech recognition acoustic models in a federated learning framework
Avignon Université(阿维尼翁大学);Université de Lille(里尔大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Centrale Lille(里尔中央理工学院)
本文研究了在自动语音识别(ASR)中从个性化说话人自适应神经网络声学模型(AM)中有效提取说话人信息的方法。这个问题在ASR声学模型的联邦学习的上下文中尤其重要,其中基于从多个客户端接收的更新在服务器上学习全局模型。我们提出了一种方法来分析信息的神经网络AM的基础上的神经网络足迹的所谓的指标数据集。使用这种方法,我们开发了两种攻击模型,旨在从更新的个性化模型中推断说话人身份,而无需访问实际用户的语音数据。在TED-LIUM 3语料库上的实验表明,本文提出的方法是非常有效的,可以提供1- 2%的等出错率(EER)。
2022-01-14 cs.CL cs.CR cs.SD