An Approach to Mispronunciation Detection and Diagnosis with Acoustic, Phonetic and Linguistic (APL) Embeddings
Microsoft（微软）
许多发音错误检测和诊断（MD&D）的研究方法试图利用声学和语言特征作为输入。然而，性能的提高是有限的，部分原因是缺乏大量的注释训练数据在音素水平。从用大量单词级注释训练的ASR模型中提取的语音嵌入可以以噪声鲁棒性和说话者无关的方式作为输入语音内容的良好表示。这些嵌入作为隐含的语音补充信息，可以缓解显式音素标注的数据不足。我们建议利用声学，语音和语言（APL）的嵌入功能，共同建立一个更强大的MD&D系统。在L2-ARCTIC数据库上的实验结果表明，该方法在检测准确率、诊断出错率和F测度上分别比基线算法提高了9.93%、10.13%和6.17%.
2022-03-31 cs.CL cs.SD eess.AS
Neural approaches to spoken content embedding
TOYOTA TECHNOLOGICAL INSTITUTE AT CHICAGO（芝加哥丰田技术研究所）
本文提出基于循环神经网络的判别性声学词嵌入和声学基础词嵌入方法，改进训练效率与性能，扩展至低资源多语言，并应用于语音搜索和识别任务，与自监督模型互补。
2023-08-28 cs.CL cs.SD eess.AS
Multilingual acoustic word embeddings for zero-resource languages
Stellenbosch University（斯泰伦博斯大学）
针对零资源语言语音处理，本文提出多语言迁移的新型声学词嵌入模型，提升零资源语言表示、关键词检出和语义示例查询性能。
2024-01-23 cs.CL cs.SD eess.AS
Learning acoustic word embeddings with phonetically associated triplet network
Korea Advanced Institute of Science and Technology（韩国科学技术院）
以往的研究中使用的声学词嵌入查询的例子口语词检测时，使用三元组网络表现出显着的性能改善。然而，三元组网络仅使用关于词之间的声学相似性的有限信息来训练。在本文中，我们提出了一种新的架构，语音相关的三元组网络（PATN），其目的是提高辨别能力的声学词嵌入，利用语音信息以及字的身份。所提出的模型学习，以最小化的组合损失函数，这是通过引入交叉熵损失的LSTM为基础的三元组网络的下层。我们观察到，所提出的方法在WSJ数据集的单词识别任务上的表现明显优于基线三联体网络，从而在每小时1.0次误报的情况下，召回率相对提高了20%以上。最后，我们通过在RM数据集上进行域外测试来检验泛化能力。
2018-11-28 cs.AI cs.CL cs.SD
Supervised Acoustic Embeddings And Their Transferability Across Languages
UAE University（阿联酋大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
在语音识别中，必须对输入信号的语音内容进行建模，同时丢弃诸如说话人变化和噪声之类的不相关因素，这在低资源环境中是具有挑战性的。自监督预训练已经被提出作为一种改进监督和无监督语音识别的方式，包括帧级特征表示和用于可变长度段的声学词嵌入（AWE）。然而，自我监督模型无法单独学习语言内容的完美分离，因为它们被训练来优化间接目标。在这项工作中，我们使用不同的预训练自监督特征作为AWE模型的输入进行了实验，并表明它们在监督框架中工作得最好。在英语上训练的模型可以被转移到其他语言上，而不需要适应，并且优于仅在目标语言上训练的自监督模型。
2023-01-03 cs.CL cs.SD eess.AS
Audio-Linguistic Embeddings for Spoken Sentences
Stanford University（斯坦福大学）
我们提出了口语句子嵌入捕获声学和语言的内容。虽然现有的作品在字符，音素或单词级别上运行，但我们的方法通过在句子级别上对语音进行建模来学习长期依赖关系。作为一个音频语言多任务学习问题，我们的编码器-解码器模型同时从音频中重建声学和自然语言特征。我们的研究结果表明，口语句子嵌入优于音素和单词水平的基线语音识别和情感识别任务。消融研究表明，我们的嵌入可以更好地模拟高层次的声学概念，同时保留语言内容。总的来说，我们的工作说明了通用的，多模态的句子嵌入口语语言理解的可行性。
2019-02-20 cs.CL cs.SD eess.AS
On-Device Speaker Anonymization of Acoustic Embeddings for ASR based onFlexible Location Gradient Reversal Layer
Samsung Research（三星研究院）；Samsung Electronics（三星电子）
提出一种针对ASR的说话人匿名化框架，通过在设备端执行模型初始层并传输匿名化声学嵌入至云端，利用灵活梯度反转层去除说话人身份，同时保持识别性能，实验显示说话人识别准确率降低33%，WER降低6.2%。
2023-07-25 cs.CR cs.SD eess.AS
Multilingual and crosslingual speech recognition using phonological-vector based phone embeddings
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）
语音特征（PF）的使用潜在地允许特定语言的音素在训练中保持链接，这对于用于低资源语言的多语言和跨语言语音识别方法的信息共享是非常期望的。以前的方法在使用语音特征时的缺点是，以自底向上的方式提取声学到PF本身是困难的。在本文中，我们建议将音位驱动的音素嵌入（自上而下）和基于深度神经网络（DNN）的声学特征提取（自下而上）结合起来，以计算音素概率。这种新方法被称为JoinAP（Joining of Acoustics and Phonology）。值得注意的是，语音识别不需要从声学特征到音位特征的反演。对于IPA（International Phonetic Alphabet）表中的每个音素，我们将其音素特征编码为一个音素向量，然后对该音素向量进行线性或非线性变换，得到音素嵌入。在CommonVoice数据集（德语、法语、西班牙语和意大利语）和AISHLL-1数据集（普通话）上进行了一系列多语种和跨语种（包括zero-shot和Few-Shot）语音识别实验，证明了非线性音素嵌入的JoinAP方法优于线性音素嵌入的JoinAP方法和传统的平面音素嵌入方法。
2021-10-30 cs.CL cs.SD eess.AS
Improved acoustic word embeddings for zero-resource languages using multilingual transfer
Stellenbosch University（斯泰伦博斯大学）；University of Edinburgh（爱丁堡大学）
声学词嵌入是可变长度语音段的固定维表示。当传统的语音识别不可能时，这种嵌入可以形成语音搜索、索引和发现系统的基础。在零资源设置中，未标记的语音是唯一可用的资源，我们需要一种方法，可以在任意语言上提供鲁棒的嵌入。在这里，我们探索多语言传输：我们训练一个单一的监督嵌入模型标记的数据从多个资源丰富的语言，然后将其应用到看不见的零资源语言。我们考虑了三种多语言递归神经网络（RNN）模型：一个分类器，在所有训练语言的联合词汇表上训练;一个Siamese RNN，训练用于区分来自多种语言的相同和不同单词;以及一个对应的自编码器（CAE）RNN，训练用于重建单词对。在六种目标语言的单词识别任务中，所有这些模型的表现都优于在零资源语言本身上训练的最先进的无监督模型，平均精度相对提高了30%以上。当只使用少数几种训练语言时，多语言CAE的性能更好，但使用更多的训练语言时，其他多语言模型的性能相似。使用更多的训练语言通常是有益的，但在某些语言上的改进是微不足道的。我们目前的探测实验表明，CAE编码更多的语音，词的持续时间，语言身份和说话人的信息比其他多语言模型。
2021-02-05 cs.CL cs.SD eess.AS
Self-and-Mixed Attention Decoder with Deep Acoustic Structure for Transformer-based LVCSR
National University of Singapore（新加坡国立大学）
Transformer在自动语音识别方面表现出了令人印象深刻的性能。它使用具有自注意的编码器-解码器结构来学习源输入的高级表示与目标输出的嵌入之间的关系。在本文中，我们提出了一种新的解码器结构，具有自和混合注意力解码器（SMAD）与深层声学结构（DAS），以提高基于变压器的LVCSR的声学表示。具体来说，我们引入了一个自我注意机制来学习多层深层声学结构，以实现多层次的声学抽象。我们还设计了一种混合注意机制，在共享的嵌入空间中同时学习不同层次的声学抽象及其相应的语言信息之间的对齐。在Aishell-1上的ASR实验表明，所提出的结构在开发集上实现了4.8%的CER，在测试集上实现了5.1%的CER，这是据我们所知在这项任务上获得的最好结果。
2020-09-15 cs.SD eess.AS
Towards hate speech detection in low-resource languages: Comparing ASR to acoustic word embeddings on Wolof and Swahili
Stellenbosch University（斯泰伦博斯大学）；Universitat Pompeu Fabra（庞培法布拉大学）；African Institute for Mathematical Sciences（非洲数学科学研究所）；University of Cape Town（开普敦大学）；VoxCroft Analytics（VoxCroft分析公司）
本文比较低资源语言仇恨言论关键词识别中的 ASR 与多语言 AWE，发现同域小样本 ASR 更优，而真实广播场景下 AWE 更稳健。
2023-06-01 cs.CL cs.SD eess.AS
XANE: eXplainable Acoustic Neural Embeddings
Vector Institute（向量研究所）；Microsoft Inc.（微软公司）；Imperial College（帝国理工学院）
本文提出XANE方法，通过提取可解释的神经嵌入建模语音背景声学，在聚类任务中平均F1达95.2%，优于WavLM，并能以低17倍实时因子高精度估计14个背景声学参数。
2024-06-07 cs.SD eess.AS
Explaining Deep Learning Embeddings for Speech Emotion Recognition by Predicting Interpretable Acoustic Features
Carnegie Mellon University（卡内基梅隆大学）；Harvard University（哈佛大学）；McGovern Institute（麦戈文研究所）；Massachusetts Institute of Technology (MIT)（麻省理工学院）
针对语音情感识别中深度学习嵌入可解释性不足的问题，提出改进探测方法，通过重要维度子集的声学特征预测能力推断关键特征，实验验证了四类声学特征的信息量排序及方法效用。
2024-09-14 cs.AI cs.SD eess.AS
Leveraging phone-level linguistic-acoustic similarity for utterance-level pronunciation scoring
ByteDance（字节跳动）
最近关于发音评分的研究探索了引入音素嵌入作为参考发音的效果，但大多是以隐含的方式，即，将参考音素嵌入和目标音素的实际发音添加或连接作为音素级发音质量表示。在本文中，我们建议使用语言声学相似性来明确衡量偏离非本地生产从其本地参考发音评估。具体地，首先通过参考音素嵌入与对应声学嵌入之间的余弦相似度来估计偏差。接下来，引入音素级的发音良好度（GOP）预训练阶段来指导这种基于相似性的学习，以更好地初始化上述两个嵌入。最后，一个基于变换器的分层发音评分器被用来映射一系列的电话嵌入，声学嵌入以及它们的相似性措施，以预测最终的话语级得分。非本地数据库上的实验结果表明，该系统显着优于基线，其中的声学和电话嵌入简单地添加或级联。进一步的测试表明，在所提出的方法中学习的音素嵌入能够捕获母语发音的语言声学属性作为参考。
2023-03-13 cs.SD eess.AS
XANE Background Acoustic Embeddings: Ablation and Clustering Analysis
本研究针对XANE可解释声学神经嵌入系统展开消融与聚类分析，验证了联合参数估计的积极作用，证明其在未见数据聚类任务上表现优于WavLM嵌入且与说话人嵌入互补。
2024-07-08 eess.AS
Truly unsupervised acoustic word embeddings using weak top-down constraints in encoder-decoder models
Stellenbosch University（斯泰伦博斯大学）
我们调查的无监督模型，可以映射一个可变的持续时间的语音段到一个固定的维度表示。在未标记语音是唯一可用资源的设置中，这种声学词嵌入可以形成“零资源”语音搜索、发现和索引系统的基础。大多数现有的无监督嵌入方法仍然使用一些监督，如单词或音素边界。在这里，我们提出了编码器-解码器对应自动编码器（EncDec-CAE），它不是真正的单词段，而是使用自动发现的段：一个无监督的术语发现系统发现相同的未知类型的单词对，并训练EncDec-CAE以重建一个单词作为输入。我们将其与标准的编码器-解码器自动编码器（AE），具有潜在嵌入先验的变分AE和下采样进行比较。EncDec-CAE在两种语言的单词识别任务中的平均精度比其最接近的竞争对手高出24%。
2019-04-15 cs.CL cs.LG cs.SD
Contextual Joint Factor Acoustic Embeddings
University of Sheffield（谢菲尔德大学）
将声学信息嵌入到固定长度表示中对于语音和音频技术中的整个范围的应用是感兴趣的。提出了两种新的无监督的方法来生成声学嵌入的声学上下文建模。第一种方法是上下文联合因子合成编码器，其中编码器/解码器框架中的编码器被训练为从周围音频帧提取联合因子以最佳地生成目标输出。第二种方法是上下文联合因子分析编码器，其中编码器被训练为分析来自与相邻音频最佳相关的源信号的联合因子。为了评估我们的方法的有效性相比，以前的工作，两个任务进行-电话分类和说话人识别-和测试不同的TIMIT数据集。实验结果表明，所提出的方法优于电话分类基线，产生74.1%的分类准确率。当使用额外的域外数据进行训练时，对于电话分类和说话人识别任务，可以获得额外的3%的改进。
2021-02-05 cs.AI cs.CL cs.LG
Leveraging Acoustic Cues and Paralinguistic Embeddings to Detect Expression from Voice
Apple（苹果公司）
每天都有数百万人接触Siri等数字助理，询问信息，拨打电话，寻求帮助等等。期望是这样的助手应该理解用户查询的意图。从一个简短的、孤立的话语中检测查询的意图是一项困难的任务。意图不能总是从语音识别的transmitting中获得。转录驱动的方法可以解释已经说了什么，但不能承认它是如何说的，因此，可能会忽略语音中存在的表达。我们的工作调查系统是否可以可靠地检测使用声学和非语言嵌入查询的声音表达。结果表明，所提出的方法提供了一个相对相等的出错率（EER）降低60%相比，一袋字为基础的系统，证实表达是显着表示的声乐属性，而不是纯粹的词汇。相对于声学嵌入，添加情感嵌入有助于将EER降低30%，这表明情感在表达性语音中的相关性。
2019-06-28 cs.CL cs.LG cs.SD
Evaluating the reliability of acoustic speech embeddings
ENS-PSL（巴黎高等师范学院-巴黎文理研究大学）；EHESS（法国高等社会科学研究院）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）
语音嵌入是可变长度语音序列的固定大小的声学表示。它们越来越多地用于各种任务，从信息检索到无监督术语发现和语音分割。然而，目前还没有明确的方法来以任务中立的方式比较或优化这些嵌入的质量。在这里，我们系统地比较了两个流行的指标，ABX歧视和平均精度（MAP），在5种语言的17种嵌入方法，从监督到完全无监督，并使用不同的损失函数（自动编码器，对应自动编码器，连体）。然后，我们使用ABX和MAP来预测一个新的下游任务的性能：在给定的语料库中的语音段的频率的无监督估计。我们发现，总体而言，ABX和MAP相互关联，并与频率估计。然而，在语言和/或嵌入方法之间的细粒度区分中出现了实质性的差异。这使得目前提出一种独立于任务的银弹方法来计算语音嵌入的内在质量是不现实的。有必要对目前用于评估这种嵌入的指标进行更详细的分析。
2020-11-06 cs.CL cs.LG cs.SD
Acoustic Scene Clustering Using Joint Optimization of Deep Embedding Learning and Clustering Iteration
针对新兴的声学场景聚类问题，提出一种联合优化深度CNN嵌入学习与AHC聚类迭代的方法，通过统一损失函数整合优化，实验显示其在归一化互信息和聚类准确率上优于现有无监督方法及主流特征。
2023-06-09 cs.SD eess.AS
Asymmetric Proxy Loss for Multi-View Acoustic Word Embeddings
KAIST（韩国科学技术院）
声学词嵌入（AWE）是语音片段的区分性表示，学习的嵌入空间反映了词之间的语音相似性。在多视图学习中，文本标签被视为补充输入，AWE与声学接地词嵌入（AGWE）联合训练。在本文中，我们通过将AGWE等同于代理，将多视图方法扩展为基于代理的深度度量学习框架。在计算相似性矩阵中的一个简单修改允许一般对加权来制定数据到代理关系。在系统化的框架下，我们提出了一种非对称代理损失，它将损失函数的不同部分非对称地组合在一起，同时保持它们的优点。它遵循的假设是，锚正对的最佳函数可能与锚负对的最佳函数不同，并且当代理替代三元组中的不同位置时，代理可能具有不同的影响。我们提出了各种基于代理的损失，包括我们的不对称代理损失的比较实验，并评估AWE和AGWEs的单词歧视任务的WSJ语料库。结果表明了该方法的有效性。
2022-06-27 cs.SD eess.AS
Problem-Agnostic Speech Embeddings for Multi-Speaker Text-to-Speech with SampleRNN
Amazon Research（亚马逊研究院）
文语转换（TTS）声学模型将语言特征映射到生成可听波形的声学表示中。最新和最自然的TTS系统在语言和波形域之间建立了直接映射，如SampleRNN。这样，由于中间声学表示被丢弃，避免了可能的信号自然度损失。除了自然性之外，研究的另一个重要方面是它们对从训练期间看不见的新说话者发出声音的适应性。在本文中，我们首先提出了使用问题不可知的语音嵌入在一个多扬声器声学模型的TTS基于SampleRNN。通过这种方式，我们为声学模型提供了扬声器声学相关的表示，这些表示比与这些因素无关的离散嵌入更丰富了波形生成。我们的第一个结果表明，所提出的嵌入导致更好的质量的声音比那些获得离散嵌入。此外，由于我们可以在推理过程中使用任何语音片段作为编码表示，因此该模型能够推广到新的说话人身份，而无需重新训练网络。我们最后表明，随着嵌入提取器中语音持续时间的小幅增加，我们大大降低了频谱失真，以缩小目标身份的差距。
2019-09-22 cs.SD eess.AS
Singer Identification Using Convolutional Acoustic Motif Embeddings
Technical University of Madrid（马德里理工大学）；University of Hawaii at Manoa（夏威夷大学马诺阿分校）
弗拉门戈歌唱的特点是音高不稳定，微音调的变化，大的颤音范围，以及高度的旋律变化。这些音乐特征使得弗拉门戈歌手的自动识别成为一项困难的计算任务。在这篇文章中，我们提出了一个端到端的管道弗拉门戈歌手识别的基础上声学主题嵌入。在所采取的方法中，直接从原始音频信号获得的基频被近似。这种近似降低了音频信号的高度可变性，并允许使用顺序模式挖掘技术发现小的旋律模式，从而创建主题字典。几个声学特征，然后使用卷积架构来提取固定长度嵌入的可变长度图案。我们在弗拉门戈歌手识别任务中测试了嵌入的质量，将我们的方法与以前的深度学习架构进行了比较，并研究了识别任务中动机模式和声学特征的影响。结果表明，动机模式识别弗拉门戈歌手发挥了至关重要的作用，通过最大限度地减少要学习的信号的大小，丢弃在识别任务中不相关的信息。提出的深度学习架构优于大规模音频分类问题中使用的密集模型。
2020-08-01 cs.SD eess.AS
Comparing Acoustic-based Approaches for Alzheimer's Disease Detection
Winterlight Labs（温特莱特实验室）；University of Toronto（多伦多大学）
考虑到阿尔茨海默病（AD）的高患病率，检测AD的稳健策略非常重要。在本文中，我们研究了最近ADReSSo挑战数据集上语音AD检测的三种方法的性能和可推广性：1）使用传统的声学特征2）使用新的预训练声学嵌入3）结合声学特征和嵌入。我们发现，虽然基于特征的方法具有更高的精度，但依赖于预训练嵌入的分类方法被证明在多个性能指标上具有更高，更平衡的交叉验证性能。此外，仅嵌入方法更具有普遍性。我们最好的模型在挑战中比声学基线高出2.8%。
2022-09-15 cs.CL cs.SD eess.AS
Acoustic Word Embedding System for Code-Switching Query-by-example Spoken Term Detection
Duke Kunshan University（昆山杜克大学）；Wuhan University（武汉大学）；Lenovo Research（联想研究院）；Sun Yat-sen University（中山大学）
在本文中，我们通过示例口语词检测提出了一种基于深度卷积神经网络的语码切换查询声学词嵌入系统。与以前的配置不同，我们将两种语言的音频数据结合起来进行训练，而不是只使用一种语言。我们将关键词模板和搜索内容的声学特征转换为固定维向量，并计算关键词片段和搜索内容片段之间的距离，以滑动的方式获得。一个辅助的可变不变损失也适用于同一个词，但不同的扬声器内的训练数据。该策略用于防止提取器将不期望的说话者或口音相关信息编码到声学词嵌入中。实验结果表明，我们提出的系统产生有前途的搜索结果在代码切换测试场景。随着模板数目的增加和可变不变损失的引入，搜索性能得到了进一步的提高。
2020-05-24 cs.CL cs.LG eess.AS
Do Acoustic Word Embeddings Capture Phonological Similarity? An Empirical Study
Saarland University（萨尔兰大学）
深度神经网络的几种变体已经成功地用于构建参数模型，该参数模型将可变持续时间的口语单词段投影到固定大小的向量表示或声学词嵌入（AWE）上。然而，目前还不清楚我们可以在多大程度上依赖新兴的AWE空间中的距离作为对单词形式相似性的估计。在本文中，我们问：在声学嵌入空间的距离与语音相异性？为了回答这个问题，我们实证研究了具有不同神经架构和学习目标的AWE的监督方法的性能。我们训练AWE模型在两种语言（德语和捷克语）的控制设置和评估两个任务的嵌入：单词歧视和语音相似性。我们的实验表明：（1）在最好的情况下，嵌入空间中的距离与语音距离只有适度的相关性，（2）提高单词辨别任务的性能并不一定会产生更好地反映单词语音相似性的模型。我们的研究结果强调了重新思考AWE当前内在评价的必要性。
2021-06-16 cs.CL cs.SD eess.AS
A Hierarchical Subspace Model for Language-Attuned Acoustic Unit Discovery
Boğaziçi University（博阿齐奇大学）；Brno University of Technology（布尔诺理工大学）
在这项工作中，我们提出了一个层次子空间模型的声学单元发现。在这种方法中，我们框架的任务作为一个低维语音子空间上的学习嵌入，同时指定子空间本身作为一个超子空间上的嵌入。我们训练的超子空间上的一组转录的语言，并将其转移到目标语言。在目标语言中，我们以无监督的方式推断语言和单元嵌入，并且在这样做的过程中，我们同时学习特定于该语言的单元的子空间以及驻留在其上的单元。我们对TIMIT和两种低资源语言进行了实验：Mboshi和Yoruba。结果表明，我们的模型优于主要的声学单元发现技术，无论是在聚类质量和分割精度。
2020-11-09 cs.LG cs.SD eess.AS
Jointly Predicting Emotion, Age, and Country Using Pre-Trained Acoustic Embedding
在本文中，我们展示了使用预训练模型提取声学嵌入来联合预测（多任务学习）三个任务的好处：情感，年龄和祖国。利用wav2vec 2.0大型鲁棒模型在语音情感语料库上对预训练好的模型进行训练。情绪和年龄任务是回归问题，而国家预测是分类任务。一个单一的谐波平均从三个指标被用来评估多任务学习的性能。分类器是一个线性网络，有两个独立的层和共享层，包括输出层。这项研究探讨了不同声学特征（包括从情感语音数据集上训练的模型中提取的声学嵌入），种子数量，批量大小和标准化的多任务学习，用于从语音中预测非语言信息。
2022-07-21 eess.AS
Multilingual Jointly Trained Acoustic and Written Word Embeddings
University of Chicago（芝加哥大学）；TTI-Chicago（芝加哥丰田技术研究院）
声学词嵌入（AWE）是口语词段的矢量表示。AWE可以与字符序列的嵌入联合学习，以生成书面单词的语音有意义的嵌入，或声学接地词嵌入（AGWE）。这样的嵌入已被用于改善语音检索、识别和口语术语发现。在这项工作中，我们将这个想法扩展到多种低资源语言。我们联合训练一个AWE模型和一个AGWE模型，使用来自多种语言的语音转录数据。然后，预训练的模型可以用于看不见的零资源语言，或者对来自低资源语言的数据进行微调。我们还研究了独特的功能，作为电话标签的替代品，以更好地共享跨语言信息。我们测试了我们的模型在12种语言的单词识别任务。当在11种语言上进行训练并在剩余的看不见的语言上进行测试时，我们的模型优于传统的无监督方法，如动态时间扭曲。在对来自新语言的一个小时甚至十分钟的数据进行预训练后，性能通常比只训练目标语言数据要好得多。我们还发现，语音监督提高性能的字符序列，和独特的功能监督是在处理看不见的电话在目标语言有帮助的。
2020-06-24 cs.CL cs.SD eess.AS
Audio Captioning with Composition of Acoustic and Semantic Information
Başkent University（Başkent大学）
音频字幕生成是一个新的研究领域，它结合了音频和自然语言处理，为音频片段创建有意义的文本描述。为了解决这个问题，以前的研究大多使用基于编码器-解码器的模型，而不考虑语义信息。为了填补这一空白，我们提出了一种新的编码器-解码器架构，使用双向门控递归单元（BiGRU）与音频和语义嵌入。我们通过从音频片段标题中获取主语和动词来提取语义嵌入，并将这些嵌入与音频嵌入相结合，以提供基于BiGRU的编码器-解码器模型。为了使测试音频的语义嵌入，我们引入了多层感知器分类器来预测这些片段的语义嵌入。我们还提出了详尽的实验，以显示我们提出的模型的音频字幕任务的不同功能和数据集的效率。为了提取音频特征，我们使用对数梅尔能量特征，VGGish嵌入和预训练的音频神经网络（PANN）嵌入。在两个音频字幕数据集Clotho和AudioCaps上的大量实验表明，我们提出的模型在不同的评估指标上优于最先进的音频字幕模型，并且使用语义信息提高了字幕性能。关键词：音频字幕; PANN; VGGish; GRU; BiGRU。
2021-05-13 cs.LG cs.SD eess.AS
Integrating Form and Meaning: A Multi-Task Learning Model for Acoustic Word Embeddings
Saarland University（萨尔大学）
声学词嵌入（AWE）模型学习将可变长度的口语词片段映射到固定维度的向量表示上，使得同一个词的不同声学样本在嵌入空间中被投影到附近。除了他们的语音技术应用，AWE模型已经被证明可以预测人类在各种听觉词汇处理任务上的表现。目前的AWE模型是基于神经网络，并在自底向上的方法，整合声学线索，建立一个单词表示给定的声学或符号的监督信号。因此，这些模型在学习过程中不利用或捕获高级词汇知识。在本文中，我们提出了一个多任务学习模型，将自上而下的词汇知识的AWE的训练过程。我们的模型学习声学输入和词汇表示之间的映射，该词汇表示除了自下而上的基于形式的监督之外，还对诸如单词语义之类的高级信息进行编码。我们用三种语言进行了实验，并证明了将词汇知识结合起来可以提高嵌入空间的可辨别性，并鼓励模型更好地分离词汇类别。
2022-09-18 cs.CL eess.AS
Layer-Wise Analysis of Self-Supervised Acoustic Word Embeddings: A Study on Speech Emotion Recognition
University of Edinburgh（爱丁堡大学）
本研究通过逐层分析自监督声学词嵌入（AWEs）与词嵌入的相似性，并在IEMOCAP和ESD语料库上对比实验，证明恰当使用AWEs能有效提升语音情感识别（SER）的准确性。
2024-02-04 cs.CL cs.SD eess.AS
Interpreting the Dimensions of Speaker Embedding Space
University College London（伦敦大学学院）
本文利用10,000名说话人语料库和三种嵌入系统，分析说话人嵌入与可解释声学参数、年龄及性别的关系，发现9个声学参数可解释超过50%的方差并存在隐式性别信息，但年龄表征不足。
2025-10-18 cs.SD eess.AS
Acoustic Teleportation via Disentangled Neural Audio Codec Representations
本文提出基于EnCodec的解纠缠神经音频编解码器表示方法，实现声学传送，在保留内容与说话人身份的同时转移房间特征，ScoreQ达3.03，并通过t-SNE验证解纠缠效果。
2025-10-15 eess.AS
Cosine-Distance Virtual Adversarial Training for Semi-Supervised Speaker-Discriminative Acoustic Embeddings
Cambridge University（剑桥大学）
在本文中，我们提出了一种用于训练深度神经网络（DNN）的半监督学习（SSL）技术，以生成说话人区分的声学嵌入（说话人嵌入）。获取大量的说话人识别训练数据对于期望的目标域可能是困难的，特别是在隐私约束下。所提出的技术通过利用未标记的数据来降低对标记数据的要求。该技术是虚拟对抗训练（VAT）[1]的一种变体，其损失形式被定义为扬声器嵌入对输入扰动的鲁棒性，如余弦距离所测量的。因此，我们将该技术称为余弦距离虚拟对抗训练（CD-VAT）。与许多现有的SSL技术相比，未标记的数据不必来自与标记数据相同的类（这里是扬声器）。CD-VAT的有效性在2750+小时的VoxCeleb数据集上显示，在说话人验证任务中，相对于纯监督基线，它实现了11.1%的等错误率（EER）降低。如果未标记数据的说话人标签可用，这是监督训练所实现的改进的32.5%。
2020-08-09 cs.SD eess.AS
Analyzing Acoustic Word Embeddings from Pre-trained Self-supervised Speech Models
The University of Edinburgh（爱丁堡大学）
考虑到自监督模型在各种任务上的强大结果，很少有研究探索声学词嵌入（AWE）的自监督表示，表示可变长度口语词段的固定维向量。在这项工作中，我们研究了几种预训练模型和池化方法，用于构建具有自监督表示的AWE。由于自监督表示的上下文性质，我们假设简单的池化方法，如平均，可能已经用于构建AWE。当评估一个标准的单词歧视任务，我们发现，休伯特表示与均值池的竞争对手的最先进的英语AWE。更令人惊讶的是，尽管只在英语上训练，但在Xitsonga，普通话和法语上评估的HuBERT表示始终优于多语言模型XLSR-53（以及在英语上训练的Wav 2 Vec 2.0）。
2023-03-14 cs.CL cs.SD eess.AS
Classification of Vocal Bursts for ACII 2022 A-VB-Type Competition using Convolutional Neural Networks and Deep Acoustic Embeddings
Mehran University of Engineering and Technology（梅赫兰工程技术大学）
本报告简要描述了我们为ACII 2022情感爆发（A-VB）比赛的爆发音类型分类任务提出的解决方案。我们试验了两种方法，作为手头任务解决方案的一部分。第一种是基于在Mel Spectrograms上训练的卷积神经网络，第二种是基于来自预训练的wav 2 vec 2模型的深度声学嵌入的平均池化。我们表现最好的模型实现了测试分区的未加权平均召回率（UAR）为0.5190，而机会水平UAR为0.1250，基线为0.4172。因此，与挑战基线相比改善了约20%。本文中报告的结果证明了我们提出的方法解决AV-B类型分类任务的有效性。
2022-10-13 cs.SD eess.AS
A Theoretical Framework for Acoustic Neighbor Embeddings
Apple（苹果公司）
本文提出声学邻居嵌入的概率理论与逐簇各向同性近似，并通过分类、集外词恢复、方言聚类和唤醒词混淆预测验证其有效性。
2024-12-03 cs.CL cs.SD eess.AS
Relational Teacher Student Learning with Neural Label Embedding for Device Adaptation in Acoustic Scene Classification
Georgia Institute of Technology（佐治亚理工学院）；University of Enna（恩纳大学）；Tencent Corporation（腾讯公司）
在本文中，我们提出了一个域自适应框架，以解决设备不匹配的问题，在声学场景分类利用神经标签嵌入（NLE）和关系师生学习（RTSL）。考虑到声学场景类之间的结构关系，我们提出的框架捕捉这种关系，这是本质上独立于设备。在训练阶段，可迁移知识从源领域浓缩到非线性语言中。接下来在适应阶段，采用一种新的RTSL策略来学习适应的目标模型，而不使用传统教师学生学习中经常需要的配对源目标数据。在DCASE 2018 Task 1b数据集上评估了拟议的框架。基于AlexNet-L深度分类模型的实验结果证实了我们所提出的方法在不匹配情况下的有效性。单独的NLE适应与传统的设备适应和基于教师学生的适应技术相比是有利的。NLE与RTSL进一步提高了分类精度。
2020-07-31 cs.CL cs.SD eess.AS
Convolutional Neural Networks and x-vector Embedding for DCASE2018 Acoustic Scene Classification Challenge
Brno University of Technology（布尔诺理工大学）；IT4I Center of Excellence（IT4I卓越中心）
本文介绍了布尔诺理工大学（BUT）团队提交的DCASE-2018挑战赛任务1（声学场景分类，ASC）。此外，对不同的方法在排行榜上的设置提供了分析。该方法融合了两种不同的卷积神经网络（CNN）拓扑结构。第一种是常见的二维CNN，主要用于图像分类。第二种是一维CNN，用于提取固定长度的音频段嵌入，即所谓的x向量，其也已用于语音处理，特别是用于说话人识别。除了不同的拓扑结构，两种类型的功能进行了测试：日志梅尔频谱图和CQT功能。最后，不同系统的输出融合使用一个简单的输出平均在性能最好的系统。在ASC子任务A（task 1a）的24个团队中，我们的提交排名第三。
2018-10-01 cs.SD eess.AS
Real-time Percussive Technique Recognition and Embedding Learning for the Acoustic Guitar
Queen Mary University of London（伦敦玛丽女王大学）
针对增强打击乐指弹吉他，本文提出基于CNN及CNN-VAE联合训练的实时箱体打击乐识别与嵌入学习方法，并通过三个数据集的跨数据集评估验证其分类与类别分离性能。
2023-07-13 cs.AI cs.LG cs.SD
Self-Supervised Acoustic Word Embedding Learning via Correspondence Transformer Encoder
该研究提出采用师生框架的Correspondence Transformer编码器自监督方法，从无标注语音学习鲁棒声学词嵌入，在低资源跨语言Xitsonga数据集上取得新的最优性能。
2023-07-19 eess.AS
Adversarial Learning of Intermediate Acoustic Feature for End-to-End Lightweight Text-to-Speech
Yonsei University（延世大学）
针对隐式学习中间隐表示的轻量TTS语音变化性不足的问题，提出添加韵律嵌入并通过GAN从文本估计该嵌入的方法，兼具高效性与鲁棒对齐能力，以更低参数量和复杂度超越多个公开模型。
2023-08-28 cs.SD eess.AS
Dynamic Prosody Generation for Speech Synthesis using Linguistics-Driven Acoustic Embedding Selection
在考虑孤立句子时，文本到语音（TTS）的最新进展已经提高了接近人类能力的质量和自然度。但是，要实现类似人类的交流，仍然缺乏的是人类语言的动态变化和适应性。本文试图解决在TTS系统中实现更加动态和自然的语调的问题，特别是对于诸如新闻播音员讲话风格的文体讲话。我们提出了一种新的嵌入选择方法，它利用语言信息，利用训练数据集中存在的语音变异性。我们分析了语义和句法特征的贡献。我们的实验结果表明，该方法提高了韵律和自然的复杂话语，以及在长形式阅读（LFR）。
2020-11-18 cs.CL cs.SD eess.AS
Acoustic Word Embeddings for Untranscribed Target Languages with Continued Pretraining and Learned Pooling
The University of Edinburgh（爱丁堡大学）
本文针对未转写目标语言的声学词嵌入，提出用持续预训练适配自监督模型，并用 MPR 挖掘音素 n-gram 对训练池化函数，在四种语言上提升词区分性能且显著快于 KNN。
2023-06-03 cs.CL cs.LG cs.SD
Low-resource keyword spotting using contrastively trained transformer acoustic word embeddings
提出ContrastiveTransformer模型，通过NT-Xent损失优化声学词嵌入，在卢干达语和班巴拉语极低资源关键词识别中优于现有方法。
2025-06-21 eess.AS
Blind Acoustic Parameter Estimation Through Task-Agnostic Embeddings Using Latent Approximations
本文提出一种基于任务无关嵌入的三阶段盲声学参数估计方法，通过变分自编码器和语音编码器提取潜在表示，结合回归模型在参数回归任务上优于端到端基线模型。
2024-07-29 eess.AS
Matching Reverberant Speech Through Learned Acoustic Embeddings and Feedback Delay Networks
本研究提出利用声学嵌入和反馈延迟网络进行混响信号匹配，实现盲估计人工混响参数，在感知合理性和参数准确性上优于现有自动调优方法，适用于听觉增强现实。
2025-10-27 eess.AS
Layer-Aware Early Fusion of Acoustic and Linguistic Embeddings for Cognitive Status Classification
Brno University of Technology（布尔诺理工大学）；Masaryk University（马萨里克大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出通过语音与语言嵌入的早期融合，结合编码器层深度优化，提升认知状态分类性能，发现中等编码层效果最佳。
2026-01-30 eess.AS
Relation-guided acoustic scene classification aided with event embeddings
Ghent University（根特大学）
在现实生活中，声学场景和音频事件自然相关。人类本能地依赖于细粒度的音频事件以及整体声音特征来区分不同的声学场景。然而，大多数先前的方法将声学场景分类（ASC）和音频事件分类（AEC）视为两个独立的任务。一些关于场景和事件联合分类的研究要么使用与真实世界几乎不匹配的合成音频数据集，要么简单地使用多任务框架同时执行两个任务。这两种方法都没有充分利用细粒度事件和粗粒度场景之间的内在联系。为此，本文提出了一个关系引导的ASC（RGASC）模型，以进一步开发和协调的场景和事件识别的互惠互利的场景和事件的关系。TUT Urban Acoustic Scenes 2018数据集（TUT 2018）通过简单高效的音频相关预训练模型PANN（最先进的AEC模型之一）使用事件的伪标签进行注释。然后，先验场景-事件关系矩阵被定义为每个场景类中每个事件类型存在的平均概率。最后，双塔RGASC模型在真实数据集TUT 2018上进行联合训练，用于场景和事件分类。取得了以下成果。1)RGASC有效地协调了粗粒度场景的真实信息和细粒度事件的伪信息。2)在先验场景-事件关系的指导下从伪标签学习的事件嵌入有助于减少相似声学场景之间的混淆。3)与其他（非集成）方法相比，RGASC提高了对真实数据集的场景分类精度。
2022-05-01 cs.SD eess.AS
A Correspondence Variational Autoencoder for Unsupervised Acoustic Word Embeddings
University of Chicago（芝加哥大学）；Stellenbosch University（斯泰伦博斯大学）；Toyota Technological Institute at Chicago（芝加哥丰田理工学院）
我们提出了一个新的无监督模型，用于将可变持续时间的语音段映射到固定维度的表示。由此产生的声学词嵌入可以形成低资源和零资源语言的搜索、发现和索引系统的基础。我们的模型，我们称之为最大采样对应变分自编码器（MCVAE），是一个递归神经网络（RNN），使用一种新的自监督对应丢失进行训练，鼓励同一单词的不同实例的嵌入之间的一致性。我们的训练方案通过使用和比较来自近似后验分布的多个样本来改进以前的对应训练方法。在零资源设置中，MCVAE可以通过使用经由无监督术语发现系统发现的类词片段以无监督方式训练，而不需要任何地面实况词对。在这种设置和半监督低资源设置（具有有限的地面实况词对）中，MCVAE的性能优于以前的最先进模型，例如基于Siamese，CAE和VAE的RNN。
2020-12-03 cs.CL cs.SD eess.AS
Amino Acid Classification in 2D NMR Spectra via Acoustic Signal Embeddings
核磁共振（NMR）用于结构生物学，通过实验确定蛋白质的结构，用于生物学的许多领域，是药物开发的重要组成部分。不幸的是，核磁共振数据可能需要花费数千美元来收集每个样本，并且可能需要专家数周才能将观察到的共振分配给特定的化学基团。因此，NMR社区越来越有兴趣使用深度学习来自动化NMR数据注释。由于核磁共振和音频数据之间的相似性，我们提出，在声学信号处理中使用的方法可以应用到核磁共振以及。使用一个模拟的氨基酸数据集，我们表明，通过交换出滤波器组与可训练的卷积编码器，声学信号嵌入扬声器验证模型可以用于氨基酸分类在二维NMR光谱通过治疗每个氨基酸作为一个独特的扬声器。在与46小时音频大小相当的NMR数据集上，我们在20类问题上实现了97.7%的分类性能。与现有的基于NMR的模型相比，我们还通过使用声学嵌入模型实现了23%的相对改进。
2022-08-01 eess.AS q-bio.QM
Multilingual transfer of acoustic word embeddings improves when training on languages related to the target zero-resource language
Stellenbosch University（斯泰伦博斯大学）
声学词嵌入模型将可变持续时间语音段映射到固定维度向量，从而实现高效的语音搜索和发现。以前的工作探讨了如何嵌入可以在零资源设置，没有标记的数据是可用的目标语言。目前最好的方法是使用迁移学习：使用来自多个资源丰富的语言的标记数据训练单个监督多语言模型，然后将其应用于目标零资源语言（无需微调）。然而，目前还不清楚训练语言的具体选择如何影响下游性能。具体地说，我们在这里问，使用与目标相关的培训语言是否有益。使用来自南部非洲11种语言的数据，我们尝试添加来自不同语系的数据，同时控制每种语言的数据量。在词的歧视和查询的例子搜索评估，我们表明，从同一个家庭的语言培训提供了很大的改善。通过更细粒度的分析，我们表明，即使只对一种相关语言进行训练，也能获得最大的收益。我们还发现，添加来自不相关语言的数据通常不会影响性能。
2021-06-24 cs.CL cs.SD eess.AS
Multilingual acoustic word embedding models for processing zero-resource languages
Stellenbosch University（斯泰伦博斯大学）；University of Edinburgh（爱丁堡大学）
声学词嵌入是可变长度语音段的固定维表示。在未标记语音是唯一可用资源的设置中，这种嵌入可以用于“零资源”语音搜索、索引和发现系统。在这里，我们建议训练一个单一的监督嵌入模型标记的数据从多个资源丰富的语言，然后将其应用到看不见的零资源语言。对于这种迁移学习方法，我们考虑了两种多语言递归神经网络模型：一种是在所有训练语言的联合词汇上训练的判别分类器，另一种是训练用于重建单词对的对应自动编码器。我们使用六个目标零资源语言的单词歧视任务来测试这些。当在七种资源丰富的语言上训练时，两种模型的表现相似，并且优于在零资源语言上训练的无监督模型。在只有一种训练语言的情况下，第二种模型工作得更好，但性能更多地取决于特定的训练-测试语言对。
2020-02-21 cs.CL eess.AS
