Frequency Domain Multi-channel Acoustic Modeling for Distant Speech Recognition
Amazon Inc.(亚马逊公司)
传统的远场自动语音识别(ASR)系统通常采用麦克风阵列技术来进行语音增强,以便提高对噪声或混响的鲁棒性。然而,这样的语音增强技术并不总是产生ASR准确度的改进,因为用于语音增强的优化标准并不直接与ASR目标相关。在这项工作中,我们开发了新的声学建模技术,可以直接基于ASR标准从多通道(MC)输入中优化空间滤波和长短期记忆(LSTM)层。与传统的方法相比,我们将阵列处理知识的声学模型。此外,我们初始化网络的波束形成器的系数。我们通过ASR实验研究这种MC神经网络对真实世界远场数据的影响,其中用户在不受控制的声学环境中与ASR系统进行交互。我们表明,我们的MC声学模型可以减少字错误率(WER)的~ 16.5%相比,一个单通道ASR系统与传统的对数梅尔滤波器组能量(LFBE)功能平均。我们的研究结果还表明,与使用七个麦克风的传统波束形成相比,我们的网络在双通道输入上具有空间滤波层,实现了约9.5%的相对WER降低。
2019-04-28 cs.SD eess.AS
Acoustics-guided evaluation (AGE): a new measure for estimating performance of speech enhancement algorithms for robust ASR
University of Science and Technology of China(中国科学技术大学);Georgia Institute of Technology(佐治亚理工学院)
鲁棒自动语音识别(ASR)的一个挑战性问题是如何在不计算误词率(WER)的情况下衡量语音增强算法(SEA)的优劣,因为人工翻译、语言建模和解码过程的成本很高。传统的评价语音质量和可懂度的指标如PESQ和STOI与WER的相关性较低。在这项研究中,提出了一种新的声学引导评估(AGE)措施估计性能的稳健ASR的SEAs。AGE由三个连续的步骤组成,即通过特征提取的低级别表示,通过声学模型(AM)的非线性映射的高级别表示,以及干净语音和退化语音的表示之间的最终AGE计算。具体地说,状态后验概率从神经网络的AM采用的高级表示和交叉熵准则用于计算AGE。实验表明,AGE可以产生一致的最高相关性与WER,并给出最准确的估计ASR性能相比,PESQ,STOI,声学置信度测量熵。潜在地,AGE可以用于指导基于深度学习的SEA的参数优化,以进一步提高识别性能。
2018-11-28 cs.SD eess.AS
Adversarial Learning of Raw Speech Features for Domain Invariant Speech Recognition
Indraprastha Institute of Information Technology(英德拉普拉斯塔信息技术学院);Synaptitude Brain Health(Synaptitude大脑健康公司);Verisk Analytics(Verisk分析公司)
基于神经网络的声学建模的最新进展已经显示出自动语音识别(ASR)性能的显著改进。为了使声学模型能够处理大的声学变化,大量的标记数据是必要的,这通常是昂贵的获得。本文探讨了对抗性训练的应用,以从原始语音中学习对声学变化不变性的特征。这种声学变化在本文中被称为域移位。本文提出的实验研究利用了域对抗神经网络(DANN)的架构[1],该架构使用来自两个不同域的数据。DANN是一个Y形网络,由一个多层CNN特征提取器模块组成,该模块对标签(senone)分类器和所谓的域分类器是通用的。在多个数据集上评估DANN的效用,这些数据集具有由于性别和说话者口音差异而引起的域偏移。有前途的实证结果表明,对抗训练的强度在ASR中的无监督域适应,从而强调了DANN从原始语音学习域不变特征的能力。
2018-05-21 cs.SD eess.AS
Brouhaha: multi-task training for voice activity detection, speech-to-noise ratio, and C50 room acoustics estimation
PSL University(巴黎文理研究大学);CNRS(法国国家科学研究中心);EHESS(法国高等社会科学研究院);ENS(巴黎高等师范学院);Meta AI Research(Meta人工智能研究院);Duke University(杜克大学);Université de Toulouse(图卢兹大学)
本文提出多任务神经网络Brouhaha,联合估计语音活动、信噪比和C50房间声学参数,用于分析含噪/混响语音并评估分离与识别模型的可靠性。
2023-05-25 cs.SD eess.AS
Two-Staged Acoustic Modeling Adaption for Robust Speech Recognition by the Example of German Oral History Interviews
在自动语音识别中,通常很少的训练数据可用于特定的具有挑战性的任务,但是最先进的自动语音识别系统的训练需要大量的注释语音。为了解决这个问题,我们提出了一种两阶段的声学建模方法,该方法将噪声和混响数据增强与迁移学习相结合,以鲁棒地解决困难的声学记录条件,自发语音和老年人语音等挑战。我们评估我们的方法使用的例子,德国口述历史访谈,其中一个相对平均减少字的错误率达到19.3%。
2019-08-19 cs.CL cs.SD eess.AS
A Fast-Converged Acoustic Modeling for Korean Speech Recognition: A Preliminary Study on Time Delay Neural Network
Sogang University(西江大学)
提出了一种基于时延神经网络(TDNN)的声学模型,实现了韩语语音识别的快速收敛声学建模。TDNN在训练数据量有限的情况下具有快速收敛的优势,这是由于排除重复权重的子采样。的TDNN表现出2.12%的字符出错率相比,前馈神经网络(FFNN)为基础的韩国语音语料库建模的绝对改善。该模型的收敛速度比基于FFNN的模型快1.67倍。
2018-07-11 cs.CL cs.SD eess.AS
Unpaired Speech Enhancement by Acoustic and Adversarial Supervision for Speech Recognition
KAIST(韩国科学技术院);Mokwon University(木原大学);KAIST Institute for Artificial Intelligence(韩国科学技术院人工智能研究所)
许多语音增强方法试图学习噪声和干净语音之间的关系,使用声学室模拟器获得。我们指出了几个局限性的增强方法依赖于干净的语音目标,这项工作的目标是提出一种替代学习算法,称为声学和对抗监督(AAS)。AAS使得增强的输出既最大化了预训练的声学模型上的转录的可能性,又具有干净语音的一般特征,这提高了对看不见的噪声语音的泛化。我们采用连接主义的时间分类和不成对的条件边界平衡生成对抗网络作为AAS的损失函数。AAS在两个数据集上进行了测试,包括加性噪声没有混响和混响,Librispeech + DEMAND和CHiME-4。通过可视化不同损失组合的增强语音,我们展示了每个监督的作用。AAS实现了较低的字出错率比其他国家的最先进的方法使用干净的语音目标在两个数据集。
2018-11-06 cs.CL cs.LG cs.SD
Aggression in Hindi and English Speech: Acoustic Correlates and Automatic Identification
Dr. Bhimrao Ambedkar University(宾希姆拉奥·安贝德卡尔博士大学);Jawaharlal Nehru University(贾瓦哈拉尔·尼赫鲁大学);Indian Institute of Technology(印度理工学院);Tezpur University(特兹普尔大学)
在本论文中,我们将提出的结果,声学分析的政治话语在印地语和讨论一些常规的声学特征的侵略性讲话经常采用的印地语和英语的发言者。该研究基于10个多小时的政治话语语料库,包括新闻频道和政治演讲的辩论。利用这项研究,我们开发了两个自动分类系统,用于识别侵略英语和印地语语音,完全基于声学模型。使用50小时的注释语音训练的印地语分类器和使用40小时的注释语音训练的英语分类器分别达到了超过73%和66%的准确率。在本文中,我们讨论了这个带注释的数据集的发展,实验开发的分类器,并讨论了错误,它使。
2022-04-06 cs.CL cs.SD eess.AS
Cross-lingual Transfer for Speech Processing using Acoustic Language Similarity
Carnegie Mellon University(卡内基梅隆大学)
语音处理系统目前不支持绝大多数语言,部分原因是缺乏低资源语言的数据。跨语言传输通过将高资源数据纳入低资源系统,为帮助弥合这一数字鸿沟提供了一种引人注目的方式。目前的跨语言算法已经在基于文本的任务和语音相关的任务中取得了成功,超过了一些低资源语言。然而,扩展语音系统以支持数百种低资源语言仍然没有解决。为了帮助弥合这一差距,我们提出了一种语言相似性的方法,可以有效地识别声学跨语言迁移对数百种语言。我们证明了我们的方法在语系分类,语音识别,和语音合成任务的有效性。
2021-11-02 cs.CL cs.SD eess.AS
Supervision-Guided Codebooks for Masked Prediction in Speech Pre-training
Microsoft(微软)
近年来,在语音识别的自监督学习(SSL)中,掩蔽预测预训练取得了显著的进展。它通常需要以无监督的方式获得的码本,这使得它不太准确并且难以解释。我们提出了两种监督引导的码本生成方法,以提高自动语音识别(ASR)的性能和预训练效率,通过解码与混合ASR系统生成音素级对齐(命名为PBERT),或执行从端到端的CTC模型(命名为CTC聚类)提取的监督语音特征上。混合模型和CTC模型都是在与微调中使用的相同的少量标记语音上训练的。实验表明,我们的方法具有显着的优越性,各种SSL和自我训练基线,高达17.0%的相对WER减少。我们的预训练模型在非ASR语音任务中也表现出良好的可转移性。
2022-06-21 cs.CL cs.SD eess.AS
Large-Scale Mixed-Bandwidth Deep Neural Network Acoustic Modeling for Automatic Speech Recognition
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);IBM Research AI(IBM研究院人工智能部门);IBM T. J. Watson Research Center(IBM托马斯·J·沃森研究中心)
在自动语音识别(ASR)中,具有不同采样率的宽带(WB)和窄带(NB)语音信号通常使用单独的声学模型。因此,混合带宽(MB)声学建模对ASR系统部署具有重要的实用价值。在本文中,我们使用1,150小时的WB数据和2,300小时的NB数据广泛研究了ASR的大规模MB深度神经网络声学建模。我们研究了各种MB策略,包括下采样,上采样和带宽扩展MB声学建模和评估其性能的8个不同的WB和NB测试集从不同的应用领域。为了处理大量的训练数据,使用同步数据并行在多个GPU上进行分布式训练。
2019-07-10 cs.CL cs.SD eess.AS
Improving Reverberant Speech Training Using Diffuse Acoustic Simulation
University of Maryland(马里兰大学);Tencent AI Lab(腾讯AI实验室)
我们提出了一种有效的和现实的几何声学模拟方法,用于生成和增强语音相关的机器学习任务中的训练数据。我们的基于物理的声学模拟方法能够在复杂的声学环境中模拟声音的遮挡,镜面反射和漫反射,而经典的图像方法只能在简单的房间设置中模拟镜面反射。我们表明,通过使用我们的合成训练数据,相同的神经网络在远场语音识别中的真实测试集上获得了1.58%的显着性能提高,关键字识别提高了21%,而无需使用真实脉冲响应进行微调。
2020-04-02 cs.LG cs.SD eess.AS
Federated Acoustic Modeling For Automatic Speech Recognition
IBM Research AI(IBM研究院人工智能部门);IBM T. J. Watson Research Center(IBM托马斯·J·沃森研究中心)
数据隐私和保护是任何自动语音识别(ASR)服务提供商在与客户打交道时的关键问题。在本文中,我们研究联邦声学建模使用来自多个客户端的数据。客户端的数据存储在本地数据服务器上,并且客户端仅与中央服务器通信模型参数,而不是其数据。通信不频繁地发生,以减少通信成本。为了缓解非iid问题,提出了客户端自适应联邦训练(CAFT)来规范跨客户端的数据。实验在来自多个领域的1,150小时语音数据上进行。通过联邦学习训练混合LSTM声学模型,并将其性能与传统的集中式声学模型训练进行比较。实验结果验证了所提出的联邦声学建模策略的有效性。我们还表明,CAFT可以进一步提高联邦声学模型的性能。
2021-02-08 cs.DC cs.SD eess.AS
Learned In Speech Recognition: Contextual Acoustic Word Embeddings
Carnegie Mellon University(卡内基梅隆大学)
端到端的声学到词语音识别模型最近得到了普及,因为它们易于训练,可以很好地扩展到大量的训练数据,并且不需要词典。此外,单词模型也可以更容易地与下游任务(例如口语语言理解)集成,因为推理(搜索)与音素、字符或任何其他种类的子单词单元相比简化得多。在本文中,我们描述的方法来构建上下文声学词嵌入直接从监督序列到序列的声学到词的语音识别模型使用学习的注意力分布。在一组16个标准句子评估任务中,我们的嵌入显示出与在语音传输上训练的word2vec模型相比具有竞争力的性能。此外,我们评估这些嵌入在语言理解任务,并观察到,我们的嵌入匹配的性能,基于文本的嵌入在管道中的第一次执行语音识别,然后从transmittance构建词嵌入。
2019-02-18 cs.CL cs.SD eess.AS
Speaker-Independent Speech-Driven Visual Speech Synthesis using Domain-Adapted Acoustic Models
Apple Inc.(苹果公司)
语音驱动的视觉语音合成涉及将从声学语音中提取的特征映射到用于面部模型的对应嘴唇动画控件。这种映射可以采取多种形式,但一种强大的方法是使用深度神经网络(DNN)。然而,一个限制是缺乏可靠地训练DNN所需的同步音频、视频和深度数据,特别是对于与说话者无关的模型。在本文中,我们探讨适应自动语音识别(ASR)的声学模型(AM)的视觉语音合成的问题。我们训练了10000小时的音频数据。然后使用90小时的同步视听语音使AM适应于视觉语音合成域。使用主观评估测试,我们比较了AM初始化DNN与随机初始化DNN的性能。结果表明,观众显着更喜欢从AM初始化DNN生成的动画比使用随机初始化模型生成的动画。我们的结论是,视觉语音合成可以显着受益于语音的ASR声学模型的强大代表性。
2019-05-15 cs.LG cs.SD eess.AS
Collaborative Training of Acoustic Encoders for Speech Recognition
Facebook
设备上语音识别需要不同大小的训练模型,以部署在具有各种计算预算的设备上。在构建这些不同的模型时,我们可以通过联合训练它们来利用它们之间共享的知识。联合训练也是有效的,因为它减少了训练程序的数据处理操作中的冗余。我们提出了一种方法,用于协同训练不同大小的声学编码器的语音识别。我们使用一个序列传感器设置,其中不同的声学编码器共享一个共同的预测器和连接器模块。声学编码器还通过用于帧级chenone预测的辅助任务以及换能器损耗使用共蒸馏来训练。我们使用LibriSpeech语料库进行实验,并证明协同训练的声学编码器可以提供高达11%的相对改善的字出错率的测试分区。
2021-07-13 cs.CL cs.SD eess.AS
FOOCTTS: Generating Arabic Speech with Acoustic Environment for Football Commentator
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Qatar Computing Research Institute(卡塔尔计算研究所)
本文提出FOOCTTS足球解说语音生成流水线,整合语音识别标注、CTC分割、文本元音化与TTS微调,仅用15分钟录音即可生成带背景噪声的阿拉伯语解说语音,且可跨领域跨语言迁移。
2023-06-07 cs.CL cs.SD eess.AS
Training Autoregressive Speech Recognition Models with Limited in-domain Supervision
Raytheon BBN(雷神BBN公司)
自监督学习的进步已经显著减少了训练所需的转录音频的量。然而,这一领域的大部分工作都集中在阅读语音上。我们探讨有限的监督领域的会话讲话。虽然我们假设域内数据的数量是有限的,但我们用开源的阅读语音数据来增强模型。XLS-R模型在适应数据有限的情况下表现良好,可作为一个强有力的基线。我们在自回归编码器-解码器模型中使用未转录的数据进行自监督学习和半监督训练。我们证明,通过使用XLS-R模型的伪转录,一个小得多的自回归模型可以优于微调XLS-R模型时,转录的域内数据是有限的,减少WER高达8%的绝对值。
2022-10-27 cs.CL cs.SD eess.AS
Robust Speech Recognition via Large-Scale Weak Supervision
OpenAI(开放人工智能研究中心)
我们研究的语音处理系统的能力训练简单地预测大量的互联网上的音频转录。当扩展到680,000小时的多语言和多任务监督时,所产生的模型可以很好地推广到标准基准,并且通常与之前的完全监督结果具有竞争力,但在zero-shot传输设置中,无需任何微调。与人类相比,这些模型接近其准确性和鲁棒性。我们正在发布模型和推理代码,以作为鲁棒语音处理进一步工作的基础。
2022-12-06 cs.CL cs.LG cs.SD
3-D Feature and Acoustic Modeling for Far-Field Speech Recognition
Samsung Research India(三星印度研究院)
多通道混响条件下的自动语音识别是一项具有挑战性的任务。抑制混响伪影的常规方式涉及多声道语音信号的基于波束成形的增强,其用于提取用于神经网络声学模型的基于频谱图的特征。在本文中,我们提出了直接从多通道语音信号中提取特征,使用多变量自回归(MAR)建模方法,其中所有三个维度的时间,频率和通道之间的相关性被利用。MAR特征被馈送到卷积神经网络(CNN)架构,该架构对三个维度执行联合声学建模。3-D CNN架构允许多通道特征的组合,与专注于增强任务的传统波束形成模型相比,这些特征优化了语音识别成本。在CHiME-3和REVERB Challenge数据集上使用多通道混响语音进行实验。在这些实验中,所提出的3-D特征和声学建模方法提供了比用波束成形音频训练的ASR系统显著的改进(CHiME-3和REVERB挑战数据集的单词错误率分别平均相对改进10%和9%。
2020-01-27 cs.LG cs.SD eess.AS
Speaker conditioning of acoustic models using affine transformation for multi-speaker speech recognition
University of Texas at Dallas(德克萨斯大学达拉斯分校);Erik Jonsson School of Engineering(埃里克·琼森工程学院);Center for Robust Speech Systems (CRSS)(鲁棒语音系统中心(CRSS))
本文研究了在重叠语音场景下目标说话人的单通道自动语音识别问题。该方法利用说话人辅助信息对声学模型中的隐藏表示进行调制,从而只识别期望的说话人。仿射变换层被插入到声学模型网络中,以将说话人信息与声学特征相结合。扬声器调节过程允许声学模型在目标扬声器辅助信息的上下文中执行计算。所提出的扬声器调节方法是一种通用的方法,可以应用于任何声学模型架构。在这里,我们在ResNet声学模型上使用扬声器调节。在WSJ语料库上的实验表明,该方法是一种有效的融合说话人辅助信息和声学特征的多说话人语音识别方法,与原始ResNet声学模型基线相比,在干净和重叠语音场景下分别实现了+9%和+20%的相对WER降低。
2021-10-30 cs.AI cs.LG cs.SD
Developing Acoustic Models for Automatic Speech Recognition in Swedish
Kungliga Tekniska Högskolan (KTH)(皇家理工学院(KTH))
本文旨在为瑞典语构建基于隐马尔可夫模型和SpeechDat数据库的声学模型,通过测试多种音素模型与二元语言模型并评估不同说话人子集性能,在数字与自然数识别任务上取得了显著改进。
2024-04-25 cs.AI cs.SD eess.AS
Robust Estimation of Hypernasality in Dysarthria with Acoustic Model Likelihood Features
Visvesvaraya National Institute of Technology(维斯瓦瓦拉亚国立技术学院);Arizona State University(亚利桑那州立大学)
鼻音过重是许多运动语言障碍的共同特征症状。对于有声声音,鼻音过重在较低频率中引入了额外的共振,对于无声声音,由于空气通过鼻腔逸出而降低了发音精度。然而,这些症状的声学表现是高度可变的,使得鼻音估计对于人类专家和自动化系统都非常具有挑战性。这一领域以前的工作依赖于基于统计信号处理的工程特征或基于临床评级训练的机器学习模型。工程特征通常无法捕获与鼻音过强相关的复杂声学模式,而基于机器学习的度量容易过拟合到它们所训练的小型疾病特定语音数据集。在这里,我们提出了一套新的声学特征,捕捉这些互补的尺寸。这些功能是基于两个声学模型训练的健康语音的大型语料库。第一声学模型旨在测量来自有声声音的鼻共振,而第二声学模型旨在测量来自无声声音的发音不精确。为了证明这些声学模型的特点是特定的鼻音语音,我们评估他们在不同的构音障碍语料库。我们的研究结果表明,即使在训练来自一种疾病的鼻音过强的语音并评估来自另一种疾病的鼻音过强的语音时(例如,训练帕金森氏病,评估亨廷顿氏病),以及在训练神经疾病的语音但评估腭裂语音时,这些特征也会泛化。
2020-08-06 cs.SD eess.AS eess.SP
Revisiting joint decoding based multi-talker speech recognition with DNN acoustic model
Brno University of Technology(布尔诺理工大学);NTT Corporation(日本电信电话株式会社)
在典型的多说话者语音识别系统中,基于神经网络的声学模型预测每个说话者的senone状态后验。这些稍后由单独应用于每个说话者特定输出流的单说话者解码器使用。在这项工作中,我们认为,这样的计划是次优的,并提出了一个原则性的解决方案,解码所有扬声器联合。我们修改声学模型来预测所有扬声器的联合状态后验,使网络能够表达语音信号的部分扬声器的属性的不确定性。我们采用了一个联合解码器,可以利用这种不确定性与更高层次的语言信息。为此,我们重温解码算法中使用的阶乘生成模型在早期的多说话者语音识别系统。与这些早期的工作相比,我们用DNN代替了GMM声学模型,DNN提供了更大的建模能力并简化了部分推理。我们展示了联合解码的优势,在混合TIDIGITS数据集上的概念验证实验。
2022-04-15 cs.LG cs.SD eess.AS
Contaminated speech training methods for robust DNN-HMM distant speech recognition
Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会)
尽管在过去几年中取得了显著的进步,但最先进的语音识别技术仅在近距离通话条件下提供令人满意的性能。另一方面,在恶劣的声学条件下的远距离语音识别的鲁棒性仍然是未来人机交互应用的关键问题。为此,在语音增强、声学场景分析以及声学建模方面的若干进展最近有助于提高该领域的最新技术水平。获得鲁棒声学建模的最有效方法之一是基于使用污染语音,这被证明有助于减少训练和测试条件之间的声学失配。在本文中,我们在现代DNN-HMM系统的背景下修改了这种经典方法,并提出了三种方法,即非对称上下文窗口,基于近距离对话的监督和基于近距离对话的预训练。使用真实和模拟数据获得的实验结果显示,使用这三种方法具有显着的优势,与基线系统相比,总体上降低了15%的错误率。使用小尺寸的高质量训练集和大尺寸的高质量训练集也证实了相同的性能趋势。
2017-10-10 cs.CL cs.SD eess.AS
Controlling Whisper: Universal Acoustic Adversarial Attacks to Control Speech Foundation Models
University of Cambridge(剑桥大学)
本文提出一种通用声学对抗攻击方法,通过在输入语音前添加简短的对抗性声学片段,无需访问模型提示即可覆盖 ASR 基础模型的设置,成功控制 Whisper 模型将语音转录强制转变为语音翻译,揭示了多任务语音基础模型的新型安全风险。
2024-10-11 cs.CL cs.SD eess.AS
Text-Only Domain Adaptation for End-to-End Speech Recognition through Down-Sampling Acoustic Representation
Tsinghua University(清华大学);Peng Cheng Lab(鹏城实验室);Tencent AI Lab(腾讯人工智能实验室);The Chinese University of Hong Kong(香港中文大学)
针对语音与文本表征长度不一致导致纯文本域自适应效果不佳的问题,提出下采样声学表征对齐文本模态的策略,引入CIF模块生成匹配词元长度的声学表征,提升端到端ASR的新域性能。
2023-10-07 cs.CL cs.SD eess.AS
Alzheimer's Dementia Recognition Using Acoustic, Lexical, Disfluency and Speech Pause Features Robust to Noisy Inputs
Queen Mary University of London(伦敦玛丽女王大学);Jožef Stefan Institute(约热夫·斯特凡研究所)
我们提出了两个基于多模态融合的深度学习模型,这些模型同时使用ASR转录的语音和声学数据来分类结构化诊断任务中的说话者是否患有阿尔茨海默病以及在多大程度上患有阿尔茨海默病,评估ADReSSo挑战2021数据。我们的最佳模型是一个BiLSTM,它具有使用单词、单词概率、不流利特征、停顿信息和各种声学特征的高速公路层,在MMSE认知评分上实现了84%的准确率和4.26的RSME错误预测。虽然预测认知能力下降更具挑战性,但我们的模型显示出使用多模态方法和单词概率,不流利和停顿信息的改进。我们使用多模态融合和门控,可以有效地处理来自声学特征和ASR假设的噪声输入,从而显示出相当大的收益。
2021-06-29 cs.CL cs.SD eess.AS
AdaST: Dynamically Adapting Encoder States in the Decoder for End-to-End Speech-to-Text Translation
College of Intelligence and Computing, Tianjin University(天津大学智能与计算学部)
针对端到端语音翻译中编码器声学表示静态固定的问题,本文提出AdaST模型,在解码器中依据隐藏状态动态调整声学状态,并以语音-文本混合注意替代传统交叉注意,在两个常用数据集上显著超越现有神经语音翻译模型。
2025-03-18 cs.CL cs.SD eess.AS
A Conformer Based Acoustic Model for Robust Automatic Speech Recognition
The Ohio State University(俄亥俄州立大学)
本研究提出一种基于一致性的声学模型来解决鲁棒的自动语音识别(ASR)。该模型建立在宽残差双向长短期记忆网络(WRBN)的基础上,具有逐段丢弃和迭代说话人自适应功能,但采用了Conformer编码器代替递归网络。Conformer编码器使用卷积增强的注意力机制进行声学建模。该系统的CHiME-4语料库的单耳ASR任务进行评估。结合发音规范化和说话人自适应,我们的模型实现了$6.25\%$的词出错率,它比WRBN的$8.4\%$相对。此外,所提出的基于一致性的模型是$18.3\%$更小的模型大小和减少总的训练时间由$79.6\%$。
2022-10-20 cs.AI cs.CL cs.SD
Semi-supervised acoustic and language model training for English-isiZulu code-switched speech recognition
Stellenbosch University(斯泰伦博斯大学)
我们提出了一个半监督的声学和语言模型训练的英语isiZulu代码切换ASR使用肥皂剧讲话的分析。大约11个小时的未转录的多语种语音被自动转录使用四个双语代码转换转录系统在英语-isiZulu,英语-isiXhosa,英语-Sethoon和英语-Seshoon。这些transmittance被纳入声学和语言模型训练集。结果表明,TDNN-F声学模型受益于额外的半监督数据,并且通过包括额外的CNN层可以实现更好的性能。使用这些CNN-TDNN-F声学模型,半监督训练的第一次迭代实现了3.4%的绝对混合语言WER降低,第二次迭代后进一步降低了2.2%。虽然未转录数据中的语言是未知的,但当所有自动转录的数据都用于训练时,而不仅仅是被归类为英语-祖鲁语的话语时,获得了最好的结果。尽管减少了困惑,半监督语言模型是无法提高ASR的性能。
2020-04-05 cs.LG cs.SD eess.AS
Hybridized Feature Extraction and Acoustic Modelling Approach for Dysarthric Speech Recognition
Marwadi Education Foundation’s Group of Institution(马尔瓦迪教育基金会集团机构)
构音障碍是由人类神经系统模糊引起的运动言语功能障碍。其特点是说话含糊不清,加上身体受损,限制了他们的沟通,造成缺乏信心,影响了生活方式。本文试图提高自动语音识别(ASR)系统对未受损语音信号的识别效率。介绍了通过整合构音障碍者的言语产生知识来改善构音障碍者的ASR的研究现状。为了提高整个系统的效率,提出了特征提取和声学建模技术与进化算法的混合方法。这里的特征向量的数量是不同的,并测试了系统的性能。实验结果表明,采用遗传算法可以提高系统的性能。系统采用遗传算法对16个声学特征进行优化,在训练时间为5:30:17时,识别率最高达到98.28%。
2015-06-06 cs.CL cs.SD
Acoustic models of Brazilian Portuguese Speech based on Neural Transformers
Universidade de São Paulo(圣保罗大学)
本研究基于Transformer构建巴西葡萄牙语语音声学模型,经800余小时语音预训练后,在呼吸功能不全检测等任务上微调,性能较无预训练模型显著提升,部分任务达最优水平。
2023-12-14 cs.CL cs.LG cs.SD
Pre-trained Model Representations and their Robustness against Noise for Speech Emotion Analysis
Apple(苹果公司)
预训练的模型表示在语音识别、自然语言处理和其他应用中表现出最先进的性能。诸如来自Transformers(BERT)和隐藏单元BERT(HuBERT)的双向编码器表示之类的语音模型已经使得能够生成词汇和声学表示以有益于语音识别应用。我们研究了使用预训练的模型表示来估计维度情绪,例如激活,效价和优势,从语音中。我们观察到,虽然效价可能在很大程度上依赖于词汇表征,激活和优势主要依赖于声学信息。在这项工作中,我们使用来自预训练模型的多模态融合表示来生成最先进的语音情感估计,与标准声学和词汇基线相比,我们在一致性相关系数(CCC)上显示出100%和30%的相对改善。最后,我们研究了预训练模型表示对噪声和混响退化的鲁棒性,并注意到词汇和声学表示受到不同的影响。我们发现,词汇表示是更强大的失真相比,声学表示,并证明了知识蒸馏从多模态模型有助于提高噪声鲁棒性的声学模型。
2023-03-03 cs.CL cs.LG cs.SD
Impact of Dataset on Acoustic Models for Automatic Speech Recognition
Manipal University Jaipur(马尼帕尔大学斋浦尔分校)
在自动语音识别中,GMM-HMM被广泛用于声学建模。随着当前深度学习的发展,声学模型中的高斯混合模型(GMM)已经被深度神经网络所取代,即DNN-HMM声学模型。GMM模型被广泛用于创建混合深度神经网络模型的训练数据的比对,从而使得创建精确比对成为一项重要任务。许多因素,例如训练数据集大小、训练数据增强、模型超参数等,影响模型学习。传统上,在机器学习中,较大的数据集往往具有更好的性能,而较小的数据集往往会触发过拟合。语音数据的收集及其准确的翻译是一项重大挑战,因语言而异,在大多数情况下,它可能仅限于大型组织。此外,在可用的大型数据集的情况下,使用此类数据训练模型需要额外的时间和计算资源,而这些时间和资源可能不可用。虽然关于最先进的ASR模型在开源数据集上的准确性的数据已经公布,但是关于数据集大小对声学模型的影响的研究还没有现成的。这项工作的目的是研究数据集大小的变化对各种GMM-HMM声学模型的性能及其各自的计算成本的影响。
2022-03-25 cs.CL cs.LG cs.SD
Huntington Disease Automatic Speech Recognition with Biomarker Supervision
Columbia University(哥伦比亚大学)
本研究通过生物标志物监督方法,改进了亨廷顿病语音识别的准确率,展示了特定架构在处理HD语音中的优势。
2026-03-11 cs.CL cs.LG cs.SD
Transformer in action: a comparative study of transformer-based acoustic models for large scale speech recognition applications
Facebook AI(Facebook人工智能研究院)
本文综述了Transformer及其可流化的变体--基于Emformer的声学模型在大规模语音识别中的应用。我们将基于Transformer的声学模型与工业规模任务的LSTM模型进行了比较。具体来说,我们将Emformer与延迟控制的BLSTM(LCBLSTM)在中等延迟任务上进行比较,并将LSTM在低延迟任务上进行比较。在低延迟语音助理任务中,Emformer获得24%至26%的相对单词出错率降低(WERR)。对于中等延迟场景,与模型大小和延迟相似的LCBLSTM相比,Emformer在视频描述数据集上获得了跨4种语言的显著WERR,推理实时因素减少了2-3倍。
2020-10-29 cs.CL cs.SD
Systematic Study of Dysarthric Speech Recognition: Spectral Features and Acoustic Models
Department of Electronics and Communication Engineering, National Institute of Technology Sikkim, India(电子与通信工程系,印度尼特技术学院锡金分校);Department of Information and Communications Engineering, Aalto University, Finland(信息与通信工程系,阿尔托大学,芬兰);Signal Analysis and Interpretation Laboratory (SAIL), University of Southern California, Los Angeles, USA(信号分析与解释实验室(SAIL),美国南加州大学洛杉矶分校)
本文系统研究不同频谱特征与声学模型的组合,通过引入音高特征和优化训练帧重叠数,在F-TDNN模型上实现孤立词和句子识别相对提升4.65%和4.63%。
2026-06-19 cs.AI cs.LG cs.SD
NOPE-HYPE: A Structured Simulation Workflow for Robust Speech-to-Text Across Diverse Acoustic Environments
IISER Bhopal(印度科学教育与研究院博帕尔分院);IIT Bombay(印度理工学院孟买分校);IIT Roorkee(印度理工学院鲁尔基分校)
NOPE-HYPE提出结合可控环境模拟器、PSD覆盖缩减和超参数搜索的结构化训练工作流,提升语音转文本在多样声学环境中的鲁棒性。
2026-09-10 cs.AI cs.CL cs.LG
From Human Speech to Ocean Signals: Transferring Speech Large Models for Underwater Acoustic Target Recognition
College of Computer Science and Technology, Harbin Engineering University, Harbin, China(计算机科学与技术学院,哈尔滨工程大学,哈尔滨,中国)
本文提出UATR-SLM,利用语音大模型进行水下声学目标识别,实验显示其在域内和跨域任务中均表现出高准确率和鲁棒性。
2026-01-26 cs.SD eess.AS
UTDUSS: UTokyo-SaruLab System for Interspeech2024 Speech Processing Using Discrete Speech Unit Challenge
The University of Tokyo(东京大学)
我们提出UTDUSS,UTokyo-SaruLab系统提交给Interspeech 2024使用离散语音单元挑战的语音处理。挑战的重点是使用从大型语音语料库中学习的离散语音单元来完成某些任务。我们将UTDUSS系统提交给两个文本到语音的轨道:声码器和声学+声码器。我们的系统采用了神经音频编解码器(NAC)只在语音语料库上进行预训练,这使得学习的编解码器代表了高保真语音重建所需的丰富声学特征。对于声学+声码器音轨,我们训练了一个基于Transformer编码器-解码器的声学模型,该编码器-解码器从文本输入预测预训练的NAC标记。我们描述了构建这些模型的策略,例如数据选择,下采样和超参数调整。我们的系统分别在声码器和声学+声码器音轨中排名第二和第一。
2024-03-20 cs.SD eess.AS
Blind Estimation of Room Acoustic Parameters and Speech Transmission Index using MTF-based CNNs
Japan Advanced Institute of Science and Technology(日本先进科学技术学院);National Science and Technology Development Agency(国家科技发展局);Sirindhorn International Institute of Technology, Thammasat University(泰国法政大学诗琳通国际理工学院)
提出了一种基于调制传递函数和Schroeder模型的七倍频程混响时间盲估计方法。因此,可以估计语音传输指数和五个房间声学参数。
2021-03-14 cs.SD eess.AS
UFANS: U-shaped Fully-Parallel Acoustic Neural Structure For Statistical Parametric Speech Synthesis With 20X Faster
Turing Robot co.ltd(图灵机器人有限公司);Chinese University of Hongkong, Shenzhen(香港中文大学(深圳));Shenzhen Research Institute of Big Data (SRIBD)(深圳大数据研究院)
具有自回归结构的神经网络,如递归神经网络(RNN),已成为近年来参数化文本到语音合成(TTS)的声学建模研究中最具吸引力的结构。尽管这些模型具有捕获长期依赖性的突出能力,但这些模型由无法完全并行的大量顺序计算组成。在本文中,我们提出了一个U形的全并行声学神经结构(UFANS),这是一个去卷积的替代RNN的统计参数语音合成(SPSS)。实验证明,我们提出的模型比基于RNN的声学模型快20倍以上,在GPU上进行训练和推理,语音质量相当。此外,我们还研究了信息依赖性的长短对合成语音质量的影响。
2018-11-28 cs.SD eess.AS
Improving Speech Prosody of Audiobook Text-to-Speech Synthesis with Acoustic and Textual Contexts
Rakuten Group, Inc.(乐天集团);The University of Tokyo(东京大学)
我们提出了一个多扬声器日本有声读物文本到语音(TTS)系统,利用多模态上下文信息的声学上下文和双边文本上下文,以提高合成语音的韵律。以往的研究要么使用单通道语境,要么使用单通道语境,不能完全表征语境信息。该方法使用一个声学上下文编码器和一个文本上下文编码器来聚合上下文信息,并将其馈送到TTS模型,这使得该模型能够预测上下文相关的韵律。我们进行了全面的客观和主观评价的多扬声器日本有声读物数据集。实验结果表明,该方法显着优于以前的两个作品。此外,我们提出的见解不同的选择的背景下-模态,横向信息和长度-有声读物TTS,从来没有讨论过的文献。
2022-11-04 cs.SD eess.AS
Towards General Discrete Speech Codec for Complex Acoustic Environments: A Study of Reconstruction and Downstream Task Consistency
Shanghai Jiao Tong University(上海交通大学);MoE Key Lab of Artificial Intelligence(人工智能摩尔实验室);Jiangsu Key Lab of Language Computing(江苏语言计算重点实验室);X-LANCE Lab(X-LANCE实验室);School of Computer Science(计算机科学学院)
该研究提出新颖的ERSB基准,通过评估鲁棒重建与下游任务一致性,揭示神经语音编解码器在复杂声学环境下的性能退化,为其未来提升环境鲁棒性指明方向。
2025-05-28 cs.SD eess.AS
Joint Online Multichannel Acoustic Echo Cancellation, Speech Dereverberation and Source Separation
Alibaba Group(阿里巴巴集团)
本文提出了一种联合声源分离算法,同时减少声回波,混响和干扰源。通过最大化相对于其他源的独立性,将目标语音从混合物中分离出来。结果表明,分离过程可分解为回声消除、语音去混响和声源分离等子过程,这些子过程均采用基于辅助函数的独立分量/向量分析技术求解,且求解顺序可互换。级联的解决方案不仅导致较低的计算复杂性,但比香草联合算法有更好的分离性能。
2021-04-09 cs.SD eess.AS
Classification of Speech with and without Face Mask using Acoustic Features
Department of Electrical and Computer Engineering National University of Singapore(新加坡国立大学电气与计算机工程系)
言语的理解和解释会受到各种外部因素的影响。口罩的使用就是这样一个因素,它会在交流时造成言语障碍。这可能导致语音处理的退化并影响人类的感知。知道说话者是否戴着面具可能对针对不同应用建模语音有用。有了这个动机,从给定的演讲中找出说话者是否戴着面具被列为计算副语言学评估(ComparE)2020的一项任务。我们研究了基于线性滤波器组、瞬时相位和长期信息的新的声学特征,这些特征可以捕获用于有和没有面罩的语音分类的伪影。这些声学特征与CompParE 2020的CompParE泛函、音频词袋、DeepSpectrum和auDeep特征的最新基线一起使用。这些研究揭示了声学特征的有效性,并且它们与ComparE 2020基线的得分水平融合导致测试集上73.50%的未加权平均召回率。
2020-10-08 cs.SD eess.AS
NeuralEcho: A Self-Attentive Recurrent Neural Network For Unified Acoustic Echo Suppression And Speech Enhancement
Tencent AI Lab(腾讯人工智能实验室)
声学回声消除在全双工语音通信中起着重要的作用,同时也是在扬声器重放的情况下进行识别的前端语音增强。在本文中,我们提出了一个全深度学习框架,隐式估计回声/噪声和目标语音的二阶统计量,并通过基于注意力的递归神经网络联合解决回声和噪声抑制问题。该模型在客观语音质量指标、语音识别精度和模型复杂度方面优于最先进的联合回声消除和语音增强方法F-T-LSTM。我们表明,该模型可以与说话人嵌入更好的目标语音增强,并进一步开发一个分支的自动增益控制(AGC)的任务,形成一个一体化的前端语音增强系统。
2022-05-20 cs.SD eess.AS
Joint Acoustic Echo Cancellation and Speech Dereverberation Using Kalman filters
提出了一种短时傅里叶变换域的回声消除和语音去混响联合算法。混响麦克风信号使用自回归(AR)模型来描述。AR系数和麦克风扬声器到麦克风的声学传递函数(ATF)被认为是时变的,并同时使用一阶马尔可夫过程建模。这导致了一种解决方案,其中这些参数可以使用卡尔曼滤波器进行最佳估计。仿真结果表明,该算法在语音质量和回声抑制性能方面均优于传统的AEC和DR算法以及基于半盲声源分离的联合DRAEC算法。
2023-02-09 cs.SD eess.AS
Dictionary-Based Fusion of Contact and Acoustic Microphones for Wind Noise Reduction
Meta Reality Labs Research(Meta现实实验室);University of Oldenburg(奥尔登堡大学)
在移动语音通信应用中,风噪声会导致语音质量和可懂度的严重降低。由于使用声学麦克风的语音增强算法的性能在极其具有挑战性的场景中趋于显著降低,因此可以使用诸如接触式麦克风的辅助传感器。虽然接触式麦克风提供了一个低得多的记录风噪声水平,他们在语音失真和额外的噪声分量的代价。针对利用声学和接触式麦克风的优势,在本文中,我们提出了扩展传统的单麦克风字典为基础的语音增强方法,同时建模的声学和接触式麦克风信号。我们建议训练单个语音字典和两个噪声字典,并使用相对传递函数来模拟麦克风处的语音分量之间的关系。仿真结果表明,所提出的方法产生的语音质量和可懂度的改善相比,几个基线的方法,最显着的方法只使用接触麦克风或只声学麦克风。
2022-11-14 cs.SD eess.AS
Louder, Longer, Livelier: Acoustic Shortcuts and Underspecified Rationales in Speech LLM Judges
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Netflix(网飞)
本研究审计六个语音LLM裁判,发现其存在声学捷径(偏好更响、更丰富、更生动的语音),且理由缺乏声学依据,并提出可靠裁判需抵制捷径并基于声学证据给出理由。
2026-09-30 cs.SD eess.AS
An interpretable speech foundation model for depression detection by revealing prediction-relevant acoustic features from long speech
Usher Institute(乌sher研究所);Centre for Medical Informatics, Usher Institute(乌sher医学信息学中心)
本文提出一种可解释的语音基础模型,通过揭示长期语音中的预测相关声学特征,提升抑郁症检测工具的临床适用性,实验表明该模型优于基于短片段的模型,并识别出降噪和F0作为相关信号。
2026-03-25 cs.SD eess.AS
Problem-Agnostic Speech Embeddings for Multi-Speaker Text-to-Speech with SampleRNN
Amazon Research(亚马逊研究院)
文语转换(TTS)声学模型将语言特征映射到生成可听波形的声学表示中。最新和最自然的TTS系统在语言和波形域之间建立了直接映射,如SampleRNN。这样,由于中间声学表示被丢弃,避免了可能的信号自然度损失。除了自然性之外,研究的另一个重要方面是它们对从训练期间看不见的新说话者发出声音的适应性。在本文中,我们首先提出了使用问题不可知的语音嵌入在一个多扬声器声学模型的TTS基于SampleRNN。通过这种方式,我们为声学模型提供了扬声器声学相关的表示,这些表示比与这些因素无关的离散嵌入更丰富了波形生成。我们的第一个结果表明,所提出的嵌入导致更好的质量的声音比那些获得离散嵌入。此外,由于我们可以在推理过程中使用任何语音片段作为编码表示,因此该模型能够推广到新的说话人身份,而无需重新训练网络。我们最后表明,随着嵌入提取器中语音持续时间的小幅增加,我们大大降低了频谱失真,以缩小目标身份的差距。
2019-09-22 cs.SD eess.AS
On the Contributions of Visual and Textual Supervision in Low-Resource Semantic Speech Retrieval
最近的研究表明,即使没有任何文本监督,与图像配对的语音也可以用于学习语义上有意义的语音表示。然而,在现实世界的低资源环境中,我们经常可以访问一些转录的语音。我们研究是否以及如何视觉接地是有用的,在存在不同数量的文本监督。特别是,我们认为在低资源设置的语义语音检索的任务。我们使用先前研究的数据集和任务,其中模型在带有语音字幕的图像上进行训练,并根据人类对语义相关性的判断进行评估。我们提出了一种多任务学习方法,以利用视觉和文本形式,与视觉监督的关键字概率从外部标记的形式。我们发现,视觉接地是有帮助的,即使在存在的文字监督,我们分析了这种效果的转录数据集的大小范围。通过约5小时的转录语音,当还使用视觉监督时,我们获得了23%的平均精度。
2019-08-30 cs.CL cs.SD eess.AS