Deep convolutional acoustic word embeddings using word-pair side information
University of Edinburgh(爱丁堡大学);Toyota Technological Institute at Chicago(芝加哥丰田技术研究所)
最近的研究已经重新审视了整个单词作为语音识别和查询应用程序中的基本建模单元,而不是语音单元。这种全词分段系统依赖于将可变长度的语音片段映射到固定维度空间中的向量的函数;所得到的声学词嵌入需要允许直接在嵌入空间中准确区分不同的词类型。我们比较了几个老的和新的方法在一个词的歧视任务。我们最好的方法是使用已知单词对形式的辅助信息来训练一个连体卷积神经网络(CNN):一对绑定的网络,将两个语音片段作为输入并产生它们的嵌入,训练时使用铰链损失,将相同的单词对和不同的单词对分开一定的距离。单词分类器CNN的表现类似,但需要更强的监督。这两种类型的CNN都比之前发表的关于单词识别任务的最佳结果有了很大的改进。
2016-01-08 cs.CL
SamaVaani: Auditing and Debiasing Multilingual Clinical ASR for Indian Languages
IIT, Kharagpur(印度理工学院卡拉格普尔分校);NIMHANS, Bangalore(班加罗尔国家精神健康与神经科学研究所);LGBRIMH, Tezpur(LGB区域医学与心理健康研究所)
本研究系统审计了八种先进ASR模型在卡纳达语、印地语和印度英语精神病学访谈数据上的表现,发现模型间和语言间差异显著,且存在说话人角色和性别相关的系统性性能差距;提出SamaVaani统一去偏技术,通过公平感知微调同时提升ASR性能和公平性。
2026-06-26 cs.AI cs.CL
Low-rank and Sparse Soft Targets to Learn Better DNN Acoustic Models
Idiap Research Institute(Idiap研究所)
用于语音声学建模的传统深度神经网络(DNN)依赖于高斯混合模型(GMM)和隐马尔可夫模型(HMM)来获得二进制类别标签作为DNN训练的目标。语音识别系统中的子词类对应于上下文相关的绑定状态或senone。目前的工作解决了DNN训练的GMM-HMM senone对齐的一些限制。我们假设从使用二进制标签训练的DNN中获得的senone概率可以提供更准确的目标来学习更好的声学模型。然而,DNN输出具有不准确性,表现为高维非结构化噪声,而信息成分是结构化和低维的。我们利用主成分分析(PCA)和稀疏编码的特征senone子空间。从低秩和稀疏重建中获得的增强概率被用作DNN声学建模的软目标,这也使得能够使用未转录的数据进行训练。在AMI语料库上进行的实验表明,词的出错率相对降低了4.6%。
2016-10-18 cs.AI cs.CL cs.HC
The IBM 2016 Speaker Recognition System
IBM(国际商业机器公司)
在本文中,我们描述了最近取得的进展,在IBM的i矢量说话人识别系统的会话语音。特别是,我们确定的关键技术,有助于显着改善我们的系统的性能,并量化他们的贡献。这些技术包括:1)最近邻判别分析(NDA)方法,其被公式化以减轻与假定高斯类条件分布的常规线性判别分析(LDA)相关联的一些限制,2)将从自动语音识别(ASR)系统导出的说话人和信道自适应特征应用于说话人识别,以及3)使用具有大量输出单元(~ 10 k个senone)的深度神经网络(DNN)声学模型来计算i向量估计过程中所需的帧级软对准。我们评估这些技术在NIST 2010年的扬声器识别评估(SRE)扩展的核心条件,涉及电话和麦克风试验。实验结果表明:1)NDA比用于说话人识别的传统参数LDA更有效(在EER方面高达35%的相对改进),2)当与原始声学特征(例如,MFCC),ASR说话者自适应特征提供说话者识别性能的增益,以及3)增加DNN声学模型中的输出单元的数量(即,将聚类状态集合大小从2k增加到10 k)提供了性能的一致改进(例如,相对于我们的基线GMM i-向量系统,从37%到57%的相对EER增益)。据我们所知,本文报告的结果代表了迄今为止NIST SRE 2010扩展核心任务的最佳性能。
2016-02-23 cs.CL cs.SD stat.ML
Time-Contrastive Learning Based Deep Bottleneck Features for Text-Dependent Speaker Verification
VIT-AP University(VIT-AP大学);Aalborg University(奥尔堡大学);Massachusetts Institute of Technology(麻省理工学院)
为了提高文本相关说话人确认(TD-SV)的性能,从训练用于区分说话人、口令短语和三音子状态的深度神经网络(DNN)中提取瓶颈(BN)特征已经有了很多研究。然而,已经取得了一定的成功。最近的一项研究[1]提出了时间对比学习(TCL)的概念,以探索脑信号的非平稳性,用于脑状态的分类。语音信号具有类似的非平稳特性,TCL还具有不需要标记数据的优点。因此,我们提出了一种基于TCL的BN特征提取方法。该方法将训练数据集中的每个语音发音均匀地划分为预定义数量的多帧段。话语中的每个片段对应于一个类,并且类标签在话语之间共享。然后,DNN被训练来区分类别中的所有语音帧,以利用语音的时间结构。此外,我们提出了一个基于段的无监督聚类算法重新分配类标签的段。TD-SV实验在RedDots挑战数据库上进行。TCL-DNN使用从TD-SV评估集中排除的固定密码短语的语音数据进行训练,因此学习的特征可以被认为是与短语无关的。我们比较了建议TCL瓶颈(BN)功能的性能与短时倒谱特征和BN特征提取的DNN区分扬声器,密码短语,扬声器+密码短语,以及单声道的标签和边界产生的三个不同的自动语音识别(ASR)系统。实验结果表明,TCL-BN的性能优于倒谱特征和说话人+口令鉴别BN特征,与ASR派生BN特征的性能相当。而且,……
2019-05-11 cs.CL cs.LG cs.SD
The IBM Speaker Recognition System: Recent Advances and Error Analysis
IBM(国际商业机器公司)
我们提出了最近的进展,随着IBM的说话人识别系统的会话语音的错误分析。有助于我们系统的一些关键进步包括:最近邻判别分析(NDA)方法(与LDA相反)用于i-向量空间中的会话间变化补偿,应用从自动语音识别(ASR)系统中导出的扬声器和通道自适应特征用于扬声器识别,以及使用具有非常大数量的输出单元(~ 10 k senone)的DNN声学模型来计算i向量估计过程中所需的帧级软对准。我们在NIST 2010 SRE扩展堆芯条件(C1-C9)以及10秒-10秒条件下评估了这些技术。据我们所知,我们的系统所取得的结果代表了迄今为止在这些条件下公布的最佳性能。例如,在扩展的tel-tel条件(C5)下,系统实现0.59%的EER。为了进一步了解剩余的错误(在C5上),我们检查了与低评分目标试验相关的记录,其中为有问题的记录/试验确定了各种问题。有趣的是,观察到校正病理记录不仅提高了目标试验的分数,而且提高了非目标试验的分数。
2016-05-05 cs.CL cs.SD stat.ML
Deep Triphone Embedding Improves Phoneme Recognition
American Express Big Data Labs(美国运通大数据实验室);TCS Research(塔塔咨询服务公司研究院);American Express(美国运通)
在本文中,我们提出了一种新的深度三音子嵌入(DTE)表示来自深度神经网络(DNN)封装的判别信息存在于相邻的语音帧。DTE是使用四个隐藏层DNN生成的,在第一阶段每个隐藏层中有3000个节点。该DNN以绑定三音子分类精度作为优化标准进行训练。此后,对于每个语音MFCC帧,我们保留最后一个隐藏层的激活向量(3000),并执行降维以进一步获得300维表示,我们称之为DTE。DTE与MFCC特征一起被馈送到第二阶段的四个隐藏层DNN中,该DNN随后被训练用于捆绑三音子分类的任务。两个DNN都是使用从绑定状态三音素HMM-GMM系统生成的三音素标签进行训练的,通过在transmittance和MFCC特征帧之间执行强制对齐。我们在公开的TED-LIUM语音语料库上进行了实验。结果表明,提出的DTE方法提供了一个绝对的2.11%的改善,在音素识别,相比竞争力的混合捆绑状态三音HMM-DNN系统。
2017-10-24 cs.CL cs.LG cs.SD
Maximum a Posteriori Adaptation of Network Parameters in Deep Models
Georgia Institute of Technology(佐治亚理工学院);Kore University of Enna(恩纳科雷大学);Microsoft Corporation(微软公司)
我们提出了一种贝叶斯方法来调整训练有素的上下文相关的深度神经网络隐马尔可夫模型(CD-DNN-HMM)的参数,以提高自动语音识别性能。给定丰富的DNN参数,但只有有限的数据量,适应DNN模型的有效性往往会受到影响。我们制定了专门设计的CD-DNN-HMM参数的最大后验(MAP)自适应,其中增强的线性隐藏网络连接到输出绑定状态或senone,并将其与之前提出的特征空间MAP线性回归进行比较。在20,000词开放词汇量的《华尔街日报》任务上的实验证据证明了该框架的可行性。在监督自适应中,所提出的MAP自适应方法提供了超过10%的相对误差减少,并始终优于传统的基于变换的方法。此外,我们提出了一个初步的尝试,通过利用senone之间的相似性,产生层次先验,以提高适应效率和有效性与有限的适应数据。
2015-08-12 cs.CL cs.LG cs.NE
A Discriminative Hierarchical PLDA-based Model for Spoken Language Recognition
Instituto de Investigación en Ciencias de la Computación (ICC), CONICET-UBA(CONICET-布宜诺斯艾利斯大学计算机科学研究所(ICC));SRI International(斯坦福国际研究院)
口语识别(SLR)是指用于确定语音样本中存在的语言的自动过程。SLR本身就是一项重要的任务,例如,作为分析或分类大量多语言数据的工具。此外,它也是在工作流中选择下游应用的必要工具,例如,选择适当的语音识别或机器翻译模型。SLR系统通常由两个阶段组成,一个是提取代表音频样本的嵌入,第二个是计算每种语言的最终分数。在这项工作中,我们接近SLR任务作为一个检测问题,并实现第二阶段作为一个概率线性判别分析(PLDA)模型。我们发现,PLDA参数的判别式训练相对于通常的生成训练提供了很大的增益。此外,我们提出了一种新的分层方法,其中训练两个PLDA模型,一个用于生成高度相关语言的聚类的分数,第二个用于生成每个聚类的分数条件。最终的语言检测分数被计算为这两组分数的组合。完整的模型是有区别地训练的,以优化交叉熵目标。我们表明,这种层次化的方法始终优于非层次化的高度相关的语言检测,在许多情况下,大幅度。我们训练我们的系统上收集的数据集,包括超过100种语言,并测试他们的匹配和不匹配的条件下,显示的收益是强大的条件不匹配。
2022-08-11 cs.CL cs.SD eess.AS
Accent Classification with Phonetic Vowel Representation
Interactive Intelligence Inc.(互动智能公司)
以往的口音分类研究主要集中在纯声学信息的口音检测,没有识别口音语音。该工作结合语音知识,如元音与声学信息,建立高斯混合模型(GMM)分类器与感知线性预测(PLP)功能,优化异方差线性判别分析(HLDA)。在输入约20秒的口音语音的情况下,该系统在针对英语中主要口音类型的7向分类系统上实现了51%的分类率,这与该领域的最先进的结果具有竞争力。
2016-02-24 cs.CL cs.SD
Leveraging Unpaired Text Data for Training End-to-End Speech-to-Intent Systems
IBM(国际商业机器公司)
训练直接从语音中提取意图的端到端(E2 E)神经网络语音到意图(S2 I)系统需要大量带有意图标记的语音数据,这是耗时且昂贵的。在本文中,我们试图利用NLU文本资源。我们实现了一个基于CTC的S2 I系统,其性能与最先进的传统级联SLU系统相匹配。我们用不同数量的语音和文本训练数据进行了控制实验。当只有十分之一的原始数据可用时,意图分类的准确性绝对下降了7.6%。假设我们有额外的文本到意图数据(没有语音)可用,我们研究了两种技术来改进S2 I系统:(1)迁移学习,其中用于意图分类的声学嵌入与微调的BERT文本嵌入相关联;以及(2)数据增强,其中使用多扬声器文本到语音系统将文本到意图数据转换为语音到意图数据。所提出的方法恢复80%的性能损失,由于使用有限的意图标记的语音。
2020-10-08 cs.CL cs.LG cs.SD
Suicide Risk Assessment Using Multimodal Speech Features: A Study on the SW1 Challenge Dataset
LaTIMUMR INSERM 1101;Université de Bretagne Occidentale(布列塔尼西部大学);INSERMFrance(国家健康与医学研究院)
本研究针对语音健康挑战赛,提出融合WhisperX转录、中文RoBERTa和WavLM嵌入及手工声学特征的多模态方法,比较三种融合策略,发现加权注意力在开发集上达69%准确率,并强调改进嵌入与融合机制以提升分类可靠性。
2025-05-19 cs.CL cs.LG cs.SD
Improved Accent Classification Combining Phonetic Vowels with Acoustic Features
Purdue University(普渡大学)
研究表明,口音分类可以通过将语义信息集成到纯声学方法中来改进。在这项工作中,我们结合语音知识,如元音,增强声学特征,建立一个改进的口音分类系统。该分类器基于高斯混合模型-通用背景模型(GMM-UBM),具有归一化的感知线性预测(PLP)特征。通过主成分分析(PCA)和异方差线性判别分析(HLDA)进一步优化特征。该系统使用来自外国口音英语(FAE)语料库的7种主要口音语音,在输入测试数据仅为20秒的情况下,分类准确率达到54%,与该领域的最新技术水平相当。
2016-02-24 cs.CL cs.SD