In-Context Learning in Speech Language Models: Analyzing the Role of Acoustic Features, Linguistic Structure, and Induction Heads
ILLC, University of Amsterdam（阿姆斯特丹大学逻辑、语言与计算研究所）；CSAI, Tilburg University（蒂尔堡大学认知科学与人工智能系）
研究探讨了语音模型中上下文学习中语音特征、语言结构和归纳头的影响，发现语速显著影响学习效果，而音高和强度影响较小，归纳头在语音上下文学习中起因果作用。
2026-04-07 cs.AI cs.CL
Truly unsupervised acoustic word embeddings using weak top-down constraints in encoder-decoder models
Stellenbosch University（斯泰伦博斯大学）
我们调查的无监督模型，可以映射一个可变的持续时间的语音段到一个固定的维度表示。在未标记语音是唯一可用资源的设置中，这种声学词嵌入可以形成“零资源”语音搜索、发现和索引系统的基础。大多数现有的无监督嵌入方法仍然使用一些监督，如单词或音素边界。在这里，我们提出了编码器-解码器对应自动编码器（EncDec-CAE），它不是真正的单词段，而是使用自动发现的段：一个无监督的术语发现系统发现相同的未知类型的单词对，并训练EncDec-CAE以重建一个单词作为输入。我们将其与标准的编码器-解码器自动编码器（AE），具有潜在嵌入先验的变分AE和下采样进行比较。EncDec-CAE在两种语言的单词识别任务中的平均精度比其最接近的竞争对手高出24%。
2019-04-15 cs.CL cs.LG cs.SD
Self-supervised speech unit discovery from articulatory and acoustic features using VQ-VAE
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）；GIPSA-lab（格勒诺布尔图像、语音、信号与自动化实验室）
通常假设人类感知系统在处理听觉语音输入时会招募运动知识。使用发音建模和深度学习，这项研究探讨了如何在自我监督的环境中使用这种发音信息来发现语音单元。我们使用矢量量化的变分自编码器（VQ-VAE）从发音和声学语音数据中学习离散表示。与零资源范式，ABX测试，然后被用来调查如何提取的表征编码语音相关的属性。实验在三个不同的英语和法语语料库上进行。我们发现，发音的信息，而组织的潜在表示的发音的地方，而语音声学主要结构的潜在空间的发音方式。我们发现，这两种方式的最佳融合可以导致这些语音维度的联合表示比单独考虑每个模态更准确。由于发音信息通常是不可用的，在实际情况下，我们最后调查的好处，它提供了一个自我监督的方式从语音声学推断时。
2022-06-17 cs.CL
Sparse Autoencoders for Interpretable Emotion Control in Text-to-Speech
University of California, Berkeley（加州大学伯克利分校）
本文通过稀疏自编码器分析基于LLM的TTS模型中的情感相关潜在特征，提出特征级干预框架实现双向情感诱导与抑制，无需修改模型参数。
2026-05-31 cs.CL
Unsupervised acoustic unit discovery for speech synthesis using discrete latent-variable neural networks
Stellenbosch University（斯泰伦博斯大学）；The University of Edinburgh（爱丁堡大学）
对于我们提交的ZeroSpeech 2019挑战，我们将离散潜变量神经网络应用于未标记的语音，并使用发现的单元进行语音合成。无监督离散子词建模可能是有用的研究语音类别学习婴儿或低资源语音技术需要符号输入。我们使用自动编码器（AE）架构与中间离散化。我们解耦声学单元发现扬声器建模条件AE的解码器上的训练扬声器身份。在测试时，单元发现从一个看不见的扬声器的语音进行，然后由一个已知的目标扬声器单元解码条件，以获得重建的滤波器组。该输出被馈送到神经声码器以合成目标说话者的语音。对于离散化，分类变分自编码器（CatVAE），矢量量化的VAE（VQ-VAE）和直通估计进行了比较，在不同的压缩水平上的两种语言。我们的最终模型使用卷积编码，VQ-VAE离散化，解卷积解码和FFTNet声码器。我们表明，解耦扬声器调节本质上提高了离散的声学表示，产生竞争力的合成质量相比，挑战基线。
2019-06-28 cs.CL cs.LG cs.SD
Evaluating the reliability of acoustic speech embeddings
ENS-PSL（巴黎高等师范学院-巴黎文理研究大学）；EHESS（法国高等社会科学研究院）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）
语音嵌入是可变长度语音序列的固定大小的声学表示。它们越来越多地用于各种任务，从信息检索到无监督术语发现和语音分割。然而，目前还没有明确的方法来以任务中立的方式比较或优化这些嵌入的质量。在这里，我们系统地比较了两个流行的指标，ABX歧视和平均精度（MAP），在5种语言的17种嵌入方法，从监督到完全无监督，并使用不同的损失函数（自动编码器，对应自动编码器，连体）。然后，我们使用ABX和MAP来预测一个新的下游任务的性能：在给定的语料库中的语音段的频率的无监督估计。我们发现，总体而言，ABX和MAP相互关联，并与频率估计。然而，在语言和/或嵌入方法之间的细粒度区分中出现了实质性的差异。这使得目前提出一种独立于任务的银弹方法来计算语音嵌入的内在质量是不现实的。有必要对目前用于评估这种嵌入的指标进行更详细的分析。
2020-11-06 cs.CL cs.LG cs.SD
Learning robust speech representation with an articulatory-regularized variational autoencoder
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；GIPSA-lab（GIPSA实验室）；LPNC（LPNC实验室）
人们越来越多地认为，人类的言语感知和产生都依赖于发音表征。在本文中，我们研究了这种类型的表示是否可以提高深度生成模型（这里是变分自编码器）的性能，该模型被训练用于编码和解码声学语音特征。首先，我们开发了一个发音模型，能够关联发音参数描述的下巴，舌头，嘴唇和软腭配置声道形状和频谱特征。然后，我们将这些发音参数到一个变分自编码器应用于频谱特征，通过使用正则化技术，约束的潜在空间的一部分，以遵循发音轨迹。我们表明，这种发音约束通过减少收敛时间和收敛时的重建损失来改善模型训练，并在语音去噪任务中产生更好的性能。
2021-04-07 cs.CL cs.SD eess.AS
Semi-supervised Learning with Sparse Autoencoders in Phone Classification
KTH Royal Institute of Technology（KTH皇家理工学院）；School of Computer Science（计算机科学学院）
我们提出了一种半监督学习方法的应用，以提高基于深度神经网络的自动语音识别声学建模的性能。与监督微调后的无监督初始化相反，我们的方法通过小批量随机梯度下降同时利用未标记和标记数据。我们测试的方法与不同比例的标记与未标记的意见，基于帧的音素分类的TIMIT数据库。我们的实验表明，该方法优于标准的监督训练等量的标记数据，并提供有竞争力的错误率相比，最先进的基于图的半监督学习技术。
2016-10-03 cs.CL cs.LG stat.ML
Improved far-field speech recognition using Joint Variational Autoencoder
Reverie Language Technologies（Reverie语言技术公司）
自动语音识别（ASR）系统在源语音被噪声或房间脉冲响应（RIR）破坏时会受到很大影响。通常，语音增强应用于失配和匹配场景训练和测试中。在匹配设置中，声学模型（AM）在去混响的远场特征上训练，而在失配设置中，AM是固定的。近年来，已经探索了使用去噪自动编码器（DA）将语音特征从远场映射到近距离通话。在本文中，我们重点关注匹配场景训练，并表明提出的基于VAE的联合映射比DA实现了显着改进。具体来说，我们观察到与基于DA的增强相比，字错误率（WER）绝对改善了2.5%，与AM相比，绝对改善了3.96%直接在远场滤波器组特征上训练。
2022-04-24 cs.CL cs.LG cs.SD
Towards cross-lingual distributed representations without parallel text trained with adversarial autoencoders
The University of Edinburgh（爱丁堡大学）
当前学习不同语言之间兼容的文本的矢量表示的方法通常需要一定量的并行文本，在单词、句子或至少文档级别对齐。然而，我们假设，不同的自然语言共享足够的语义结构，原则上应该可以通过分析单词的单语分布来学习兼容的矢量表示。为了评估这一假设，我们提出了一个计划，映射词向量训练的源语言向量语义兼容的词向量训练的目标语言使用对抗自动编码器。我们提出了初步的定性结果，并讨论了这种技术的未来可能的发展，如跨语言的句子表示的应用。
2016-08-09 cs.CL cs.LG cs.NE
Voice Conversion Based Speaker Normalization for Acoustic Unit Discovery
Paderborn University（帕德博恩大学）
纯粹从语音输入中发现与扬声器无关的声学单元是一个困难的问题。在这项工作中，我们提出了一个无监督的说话人归一化技术之前，单位发现。它是基于分离说话人相关的内容引起的变化，在语音信号与对抗性对比预测编码方法。这种技术既不需要转录的语音，也不需要扬声器标签，而且，可以以多语言的方式进行训练，从而实现扬声器标准化，即使只有很少的未标记的数据是从目标语言。说话人规范化是通过将所有的话语映射到一个代表整个数据库的medoid风格来完成的。我们证明了该方法的有效性进行声学单元发现与隐马尔可夫模型变分自动编码器注意到，但是，建议的扬声器归一化可以作为任何单位发现系统的前端。在英语、约鲁巴语和姆博希语上的实验表明，与使用非规范化输入相比，该方法有所改进。
2021-05-04 cs.CL cs.SD eess.AS
Multilingual acoustic word embedding models for processing zero-resource languages
Stellenbosch University（斯泰伦博斯大学）；University of Edinburgh（爱丁堡大学）
声学词嵌入是可变长度语音段的固定维表示。在未标记语音是唯一可用资源的设置中，这种嵌入可以用于“零资源”语音搜索、索引和发现系统。在这里，我们建议训练一个单一的监督嵌入模型标记的数据从多个资源丰富的语言，然后将其应用到看不见的零资源语言。对于这种迁移学习方法，我们考虑了两种多语言递归神经网络模型：一种是在所有训练语言的联合词汇上训练的判别分类器，另一种是训练用于重建单词对的对应自动编码器。我们使用六个目标零资源语言的单词歧视任务来测试这些。当在七种资源丰富的语言上训练时，两种模型的表现相似，并且优于在零资源语言上训练的无监督模型。在只有一种训练语言的情况下，第二种模型工作得更好，但性能更多地取决于特定的训练-测试语言对。
2020-02-21 cs.CL eess.AS
A comparison of self-supervised speech representations as input features for unsupervised acoustic word embeddings
Stellenbosch University（斯泰伦博斯大学）
许多语音处理任务涉及测量语音段之间的声学相似性。声学词嵌入（AWE）允许通过将任意持续时间的语音段映射到固定维向量来进行有效的比较。对于零资源语音处理，其中未标记的语音是唯一可用的资源，一些最好的AWE方法依赖于自动发现的单词片段形式的弱自上而下的约束。零资源研究的另一个方向是在短时间框架水平上的表示学习，而不是在片段水平上学习嵌入。最近的方法包括自监督预测编码和对应自动编码器（CAE）模型。在本文中，我们考虑这些帧级特征在用作无监督AWE模型的训练输入时是否有益。我们比较帧级功能，从对比预测编码（CPC），自回归预测编码和CAE到传统的MFCC。这些被用作输入到一个经常性的CAE为基础的AWE模型。在英语和Xitsonga数据的单词辨别任务中，所有三种表示学习方法都优于MFCC，CPC始终显示出最大的改善。在跨语言的实验中，我们发现，CPC功能的英语培训也可以转移到Xitsonga。
2020-12-14 cs.CL eess.AS
Vector-quantized neural networks for acoustic unit discovery in the ZeroSpeech 2020 challenge
Stellenbosch University（斯泰伦博斯大学）
在本文中，我们探讨矢量量化的声学单位发现。利用未标记的数据，我们的目标是学习语音的离散表示，将语音内容与特定于说话者的细节分开。我们提出了两种神经模型来应对这一挑战-都使用矢量量化来将连续特征映射到有限的代码集。第一种模型是一种矢量量化变分自编码器（VQ-VAE）。VQ-VAE在重构音频波形之前将语音编码成离散单元的序列。我们的第二个模型结合了矢量量化与对比预测编码（VQ-CPC）。这个想法是通过预测未来的声学单元来学习语音的表示。我们在英语和印度尼西亚语数据上评估了ZeroSpeech 2020挑战的模型。在ABX手机识别测试中，这两款机型的表现都超过了2019年和2020年挑战赛的所有参赛作品，相对提高了30%以上。这些模型在下游语音转换任务上也具有竞争力。两者中，VQ-CPC总体上表现稍好，训练更简单、更快。最后，探测实验表明，矢量量化是一个有效的瓶颈，迫使模型丢弃说话人信息。
2020-08-19 cs.CL eess.AS
Analyzing Phonetic and Graphemic Representations in End-to-End Automatic Speech Recognition
Qatar Computing Research Institute, HBKU（哈马德·本·哈利法大学卡塔尔计算研究所）
用于自动语音识别（ASR）的端到端神经网络系统是从声学特征到文本翻译的训练。与模块化ASR系统（包含用于声学建模、发音词典和语言建模的单独训练的组件）相比，端到端范例在概念上更简单，并且具有在最终任务上训练整个系统的潜在好处。然而，这样的神经网络模型更加不透明：不清楚如何解释网络不同部分的作用，以及它在训练过程中学习到什么信息。在本文中，我们分析了学习的内部表示在一个端到端的ASR模型。我们评估的代表性质量方面的几个分类任务，比较音素和字素，以及不同的发音功能。我们研究了两种语言（英语和阿拉伯语）和三个数据集，发现不同属性在深层神经网络的不同层中的表现方式具有显著的一致性。
2020-04-19 cs.CL cs.SD eess.AS
Layer-Wise Evolution of Representations in Fine-Tuned Transformers: Insights from Sparse AutoEncoders
本文通过激活相似性分析、稀疏自编码器训练和token级激活可视化，揭示了BERT微调中表征的逐层演化：早期层保留通用特征，中间层过渡，后期层专精于任务，为理解微调机制提供了关键见解。
2025-02-23 cs.AI cs.CL
Analyzing Hidden Representations in End-to-End Automatic Speech Recognition Systems
Computer Science and Artificial Intelligence Laboratory（计算机科学与人工智能实验室）；Massachusetts Institute of Technology（麻省理工学院）
神经模型在自动语音识别系统中已经变得普遍存在。虽然神经网络通常被用作更复杂系统中的声学模型，但最近的研究已经探索了基于神经网络的端到端语音识别系统，该系统可以被训练为直接从输入声学特征预测文本。尽管这样的系统在概念上比传统系统更优雅、更简单，但如何解释训练好的模型却不那么明显。在这项工作中，我们分析了通过基于卷积层和递归层的深度端到端模型学习的语音表示，并使用连接主义时间分类（CTC）损失进行了训练。我们使用一个预先训练的模型来生成帧级特征，这些特征被提供给一个分类器，该分类器是在帧分类到电话上训练的。我们评估来自深度模型不同层的表示，并比较它们在预测电话标签方面的质量。我们的实验揭示了端到端模型的重要方面，例如层深度，模型复杂性和其他设计选择。
2017-09-13 cs.CL cs.NE cs.SD
Teach me with a Whisper: Enhancing Large Language Models for Analyzing Spoken Transcripts using Speech Embeddings
University of Maryland Baltimore County（马里兰大学巴尔的摩县分校）；IBM Research AI（IBM研究院人工智能部门）
提出一种音频-语言知识蒸馏方法，利用Whisper语音嵌入增强语言模型分析口语转录文本，无需测试时音频输入，性能优于传统模型。
2023-11-13 cs.CL cs.SD eess.AS
Unsupervised Representation Disentanglement using Cross Domain Features and Adversarial Learning in Variational Autoencoder based Voice Conversion
Nagoya University（名古屋大学）；Academia Sinica（中央研究院）
语音转换（VC）的一个有效方法是将语言内容从语音信号的其他成分中分离出来。例如，基于变分自动编码器（VAE）的VC（VAE-VC）的有效性强烈依赖于该原理。在我们之前的工作中，我们提出了一个跨域VAE-VC（CDVAE-VC）框架，它利用不同属性的声学特征，以提高VAE-VC的性能。我们相信，成功来自于更清晰的潜在表征。在本文中，我们通过引入对抗学习的概念来扩展CDVAE-VC框架，以进一步提高解纠缠的程度，从而提高转换语音的质量和相似性。更具体地说，我们首先研究了将生成对抗网络（GANs）与CDVAE-VC相结合的有效性。然后，我们考虑域对抗训练的概念，并添加一个显式约束的潜在表示，实现了一个扬声器分类器，明确消除扬声器的信息，驻留在潜在代码。实验结果表明，GANs和说话人分类器都可以提高学习到的潜在表征的解纠缠程度。同时，主观评价结果的质量和相似性分数证明了我们提出的方法的有效性。
2020-02-07 cs.CL cs.LG cs.SD
Natural Language Multitasking: Analyzing and Improving Syntactic Saliency of Hidden Representations
ETH Zurich（苏黎世联邦理工学院）
我们训练多任务自动编码器的语言任务和分析学习隐藏的句子表示。当添加翻译和词性解码器时，表示显著改变。一个模型使用的解码器越多，它就越能根据句子的句法相似性对句子进行聚类，因为表示空间变得越不复杂。我们通过在句子之间插值来探索表示空间的结构，这产生了有趣的伪英语句子，其中许多句子具有可识别的句法结构。最后，我们指出了我们的模型的一个有趣的特性：两个句子之间的差异向量可以被添加，以有意义的方式改变具有相似特征的第三个句子。
2018-01-18 cs.AI cs.CL cs.LG
