Attention-based Region of Interest (ROI) Detection for Speech Emotion Recognition
New York Institute of Technology（纽约理工学院）
自动情感识别在现实生活中的应用是一个具有挑战性的任务。人类的情感表达是微妙的，可以通过几种情感的组合来传达。在大多数现有的情感识别研究中，每个audioutterance/视频剪辑都被整体标记/分类。然而，话语/剪辑级别的标签和分类可能过于粗糙，无法捕捉微妙的话语/剪辑内的时间动态。例如，一段话语/视频片段通常只包含少数情感显著区域和许多无情感区域。在这项研究中，我们提出使用深度递归神经网络中的注意力机制来检测人类情感语音/视频中情感更显著的感兴趣区域（ROI），并通过聚合这些情感显著感兴趣区域来进一步估计时间情感动态。我们对音视频的ROI进行了比较和分析。我们比较了所提出的注意力网络与最先进的LSTM模型在识别六种基本人类情感的多类分类任务上的性能，所提出的注意力模型表现出明显更好的性能。此外，注意力权重分布可以用来解释一个话语如何被表达为可能的情感的混合。
2022-03-03 cs.LG cs.SD eess.AS
Towards robust paralinguistic assessment for real-world mobile health (mHealth) monitoring: an initial study of reverberation effects on speech
King’s College London（伦敦国王学院）；University of Sussex（萨塞克斯大学）；University College London（伦敦大学学院）；MIT Lincoln Laboratory（麻省理工学院林肯实验室）
针对移动健康监测中设备与环境差异影响语音副语言学特征可靠性的问题，本研究通过不同设备、混响环境下的语音实验分析特征变异性，为真实场景语音健康评估的鲁棒性研究指明方向。
2023-05-31 cs.SD eess.AS
Contrastive Unsupervised Learning for Speech Emotion Recognition
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Amazon Alexa（亚马逊Alexa）
语音情感识别是实现更自然的人机交流的关键技术。然而，SER长期以来一直缺乏公共的大规模标记数据集。为了避免这个问题，我们研究了如何无监督表示学习对未标记的数据集可以受益SER。我们表明，对比预测编码（CPC）方法可以学习显着表示从未标记的数据集，这提高了情感识别性能。在我们的实验中，这种方法实现了最先进的一致性相关系数（CCC）的性能，所有的情绪原语（激活，效价，和优势）IEMOCAP。此外，在MSP-Podcast数据集上，与基线相比，我们的方法获得了相当大的性能改进。
2021-02-12 cs.LG cs.SD eess.AS
Feature Normalization for Fine-tuning Self-Supervised Models in Speech Enhancement
Yonsei University（延世大学）
针对预训练自监督语音表征模型用于语音增强时的特征不匹配问题，提出采用特征归一化技术衔接模块，结合多种预训练模型均实现了语音质量的显著提升。
2023-06-14 cs.LG cs.SD eess.AS
Context-Aware Prosody Correction for Text-Based Speech Editing
Adobe Research（奥多比研究院）
基于文本的语音编辑器通过允许经由对语音转录的直观剪切、复制和粘贴操作进行编辑来加快编辑语音记录的过程。然而，当前系统的一个主要缺点是，由于编辑区域周围的韵律不匹配，编辑的录音通常听起来不自然。在我们的工作中，我们提出了一个新的上下文感知的方法，更自然的声音基于文本的语音编辑。为此，我们1）使用一系列神经网络来生成显著的韵律特征，这些特征取决于编辑周围的语音韵律，并且可以进行细粒度的用户控制2）使用生成的特征来控制标准的音高偏移和时间拉伸方法3）应用去噪神经网络来去除由信号操纵引起的伪影，以产生高保真结果。我们使用主观听力测试来评估我们的方法，提供详细的比较分析，并得出一些有趣的见解。
2021-02-16 cs.LG cs.SD eess.AS
Modulation spectral features for speech emotion recognition using deep neural networks
Indian Institute of Technology（印度理工学院）；Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）
研究了基于恒Q变换的调制谱特征（CQT-MSF）在语音情感识别中的应用。人类对声音的感知和分析包括两个重要的认知部分：早期听觉分析和基于皮层的处理。早期的听觉分析考虑基于频谱图的表示，而基于皮层的分析包括从频谱图中提取时间调制。这种频谱图的时间调制表示称为调制谱特征（MSF）。由于恒定Q变换（CQT）在语音的情感显著低频区域提供了更高的分辨率，我们发现基于CQT的谱图，连同其时间调制，提供了一个表示丰富的情感特定的信息。我们认为，CQT-MSF与2维卷积网络一起使用时，可以提供一个时移不变和变形不敏感的表示SER。我们的研究结果表明，CQT-MSF优于标准的梅尔尺度为基础的频谱图和调制功能的两个流行的SER数据库，柏林ECORDB和RAVDESS。我们还表明，我们提出的功能优于移位和变形不变的散射变换系数，因此，显示联合手工制作和自学的特征提取，而不是依赖于完整的手工制作的功能的重要性。最后，我们进行梯度CAM分析，直观地检查恒定Q调制功能的贡献超过SER。
2023-01-14 cs.SD eess.AS
Acoustic correlates of the syllabic rhythm of speech: Modulation spectrum or local features of the temporal envelope
College of Biomedical Engineering and Instrument Science, Zhejiang University（浙江大学生物医学工程与仪器科学学院）
本研究通过分析大型语音语料库，发现语音包络的局部特征（而非调制谱）与音节起始更可靠相关，且音节起始时间可解释包络约24%的方差，支持θ振荡在音节提取中的作用。
2023-01-14 cs.SD eess.AS q-bio.NC
Probing phoneme, language and speaker information in unsupervised speech representations
Cognitive Machine Learning (ENS–CNRS–EHESS–INRIA–PSL Research University)（认知机器学习实验室（巴黎高等师范学院-法国国家科学研究中心-法国高等社会科学研究院-法国国家信息与自动化研究所-巴黎文理研究大学））；Université de Paris Cité（巴黎西岱大学）；CNRS（法国国家科学研究中心）；Meta AI Research（Meta人工智能研究院）
本文通过比较单语和双语CPC语音表征，发现性别和音素信息普遍存在，语言信息在双语模型中更显著，且聚类数增加会编码更多性别信息，但双语训练对下游音素区分任务有一定代价。
2022-03-30 cs.SD eess.AS
Toward Fully-End-to-End Listened Speech Decoding from EEG Signals
University of Southern California（南加州大学）
提出 FESDE 完全端到端框架，直接由 EEG 信号重建所听语音波形，通过 EEG 模块、语音模块和连接器实现单步推理，并在客观指标上超越先前方法。
2024-06-12 cs.AI cs.SD eess.AS
Investigation and Analysis of Hyper and Hypo neuron pruning to selectively update neurons during Unsupervised Adaptation
University of Maryland（马里兰大学）；SRI International（SRI国际公司）
不可见或域外数据会严重降低神经网络模型的性能，表明模型无法推广到不可见数据。神经网络剪枝不仅可以减少模型的规模，而且可以提高模型的泛化能力。修剪方法寻找对模型决策贡献较小的低显着神经元，因此可以从模型中删除。这项工作研究了修剪方法是否成功地检测到高显着性（主要是活跃或超）或低显着性（几乎不活跃或低）的神经元，以及删除这些神经元是否有助于提高模型的泛化能力。传统的盲自适应技术更新整个层或层的子集，但从未探索过跨一个或多个层选择性地更新单个神经元。专注于卷积神经网络（CNN）的全连接层，这项工作表明，首先可以选择性地调整某些神经元（由超神经元和次神经元组成），然后进行全网络微调。使用自动语音识别的任务，这项工作演示了如何从模型中删除超和次神经元可以提高模型的性能域外语音数据和选择性神经元自适应如何可以确保提高性能相比，传统的盲模型自适应。
2020-01-06 cs.LG cs.SD eess.AS
Multimodal Deep Learning for Mental Disorders Prediction from Audio Speech Samples
Dalhousie University（达尔豪斯大学）；Kinaxis Inc.（Kinaxis公司）
精神疾病的主要特征反映在言语中。我们的研究重点是设计一种多模态深度学习结构，该结构可以从记录的语音样本中自动提取显著特征，用于预测各种精神障碍，包括抑郁症，躁郁症和精神分裂症。我们采用各种预训练模型来从音频和文本片段中提取嵌入。我们使用了几种最先进的嵌入技术，包括用于文本表示学习的BERT、FastText和Doc 2 VecC，以及用于音频编码的WaveNet和VGG-ish模型。我们还利用巨大的辅助情感标记的文本和音频语料库来训练特定于情感的嵌入，并使用迁移学习来解决可用的注释多模态数据不足的问题。所有这些嵌入，然后组合成一个联合表示在一个多模态融合层，最后一个递归神经网络被用来预测的精神障碍。我们的研究结果表明，精神障碍可以通过临床访谈的多模态分析预测可接受的准确性。
2020-04-13 cs.LG cs.SD eess.AS
Disentangled Speech Representation Learning Based on Factorized Hierarchical Variational Autoencoder with Self-Supervised Objective
解纠缠表征学习旨在提取解释性特征或因素并保留显著信息。分解层次变分自编码器（FHVAE）提出了一种将语音信号分解为序列级和分段级特征的方法，分别表示说话人身份和语音内容信息。另一方面，自回归预测编码（APC）作为一种自监督目标，已被用于提取有意义的和可转移的语音特征，用于多个下游任务。受这两种表示学习方法成功的启发，本文提出将APC目标集成到FHVAE框架中，旨在受益于额外的自我监督目标。主要提出的方法在测试时既不需要更多的训练数据，也不需要更多的计算成本，但在保持解纠缠的同时获得了改进的有意义的表示。实验在TIMIT数据集上进行。结果表明，FHVAE配备了额外的自我监督的目标是能够学习的功能，提供卓越的性能，包括语音识别和说话人识别的任务。此外，语音转换，作为一个应用程序的解纠缠表示学习，已被应用和评估。结果表明，性能类似于语音转换的新框架的基线。
2022-04-05 eess.AS
Variable-rate discrete representation learning
DeepMind（深度思维）；Google Research（谷歌研究院）
感知信号中语义上有意义的信息内容通常是不均匀分布的。例如，在语音信号中，经常有许多无声，并且发音的速度可以变化很大。在这项工作中，我们提出了缓慢的自编码器（SlowAE）的无监督学习的高层次的可变速率离散表示的序列，并将其应用到语音。我们表明，由此产生的基于事件的表示会根据输入信号中显着信息的密度自动增长或收缩，同时仍然允许忠实的信号重建。我们开发运行长度的Transformers（RLT）基于事件的表示建模，并使用它们来构建语言模型在语音域，这是能够生成语法和语义连贯的话语和延续。
2021-03-10 cs.CL cs.LG cs.SD
Post-hoc Disentanglement of Textual and Acoustic Features in Pre-trained Speech Encoders
Tilburg University（蒂尔堡大学）；University of Amsterdam（阿姆斯特丹大学）；University of Edinburgh（爱丁堡大学）
针对神经语音表示纠缠难追踪特征依赖、难抑制隐私风险声学特征的问题，提出基于信息瓶颈的解耦框架，分离文本与声学特征，可用于下游任务量化及语音帧归因。
2026-10-20 cs.CL cs.LG cs.SD
Low-Burden Data Augmentation for Dysarthric ASR via Zero-Shot Voice Cloning
DeepNet Discovery Network, University of Auckland, New Zealand（奥克兰大学深网发现网络, 新西兰）；University of Illinois Urbana-Champaign, USA（伊利诺伊大学厄巴纳-香槟分校, 美国）
针对构音障碍语音数据稀缺和变异性大的问题，提出使用零样本语音克隆（Higgs Audio V2）生成合成数据，微调Whisper-medium模型，在TORGO数据集上达到与真实数据微调相近的词错误率，并显著降低数据收集成本。
2026-06-19 cs.LG eess.AS
Cross-Language Speech Emotion Recognition Using Multimodal Dual Attention Transformers
Qatar University（卡塔尔大学）
针对跨语言语音情感识别性能受限的问题，提出多模态双注意力 Transformer（MDAT），融合图注意力、协同注意力与 transformer 编码，在少量目标语言数据下提升分类效果。
2023-07-14 cs.CL cs.SD eess.AS
Enhanced Speech Emotion Recognition with Efficient Channel Attention Guided Deep CNN-BiLSTM Framework
United International University（联合国际大学）
针对语音情感识别中低成本选取相关特征的难题，提出融合注意力局部特征块与全局特征块的轻量级CNN-BiLSTM框架，在五个多语言基准数据集上取得当前最优的识别准确率。
2024-12-13 cs.AI cs.LG cs.SD
Probing for Phonology in Self-Supervised Speech Representations: A Case Study on Accent Perception
Department of Linguistics, University of Florida（语言学系，佛罗里达大学）；Department of English Language and Linguistics, Heinrich Heine University Düsseldorf（英语语言与语言学系，海因里希-海涅大学杜塞尔多夫）
本研究通过探测自监督语音表示中的音系特征，发现口音强度可由特定特征子集预测，验证了SSL模型在口音感知建模中的价值。
2025-06-21 cs.CL cs.SD eess.AS
What do End-to-End Speech Models Learn about Speaker, Language and Channel Information? A Layer-wise and Neuron-level Analysis
Qatar Computing Research Institute, HBKU（哈马德·本·哈利法大学卡塔尔计算研究所）
本文通过逐层与神经元级探测分析端到端预训练语音模型，揭示说话人、语言和信道信息的分布、冗余性、层级定位及性别偏差，并发现CNN在编码多种属性上与Transformer相当。
2023-07-10 cs.CL cs.SD eess.AS
Noise-tolerant Audio-visual Online Person Verification using an Attention-based Neural Network Fusion
MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）
在本文中，我们提出了一个多模式的在线人验证系统，同时使用语音和视觉信号。受语音和面部关联的神经科学发现的启发，我们提出了一个基于注意力的端到端神经网络，它学习多感官关联，用于人员验证任务。我们提出的网络中的注意力机制学习有条件地选择语音和面部表示之间的突出模态，从而在互补输入之间提供平衡。凭借这种能力，网络对来自任一模态的丢失或损坏的数据具有鲁棒性。在VoxCeleb2数据集中，我们证明了我们的方法与竞争的多模态方法相比表现良好。即使对于大腐败或完全缺失模态的极端情况，我们的方法也比其他单峰方法具有鲁棒性。
2018-11-27 cs.CV eess.AS
SD-HuBERT: Sentence-Level Self-Distillation Induces Syllabic Organization in HuBERT
UC Berkeley（加州大学伯克利分校）；Rembrand（伦勃朗公司）；Meta AI；Carnegie Mellon University（卡内基梅隆大学）
本文提出 SD-HuBERT，通过句子级自蒸馏微调 HuBERT，在无监督条件下使语音表示涌现出音节结构，并引入 Spoken Speech ABX 基准任务，在音节发现和句子级表示上均优于现有模型。
2025-04-10 cs.CL eess.AS
What the Future Brings: Investigating the Impact of Lookahead for Incremental Neural TTS
Université Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）；GIPSA-lab（GIPSA实验室）；LIG（LIG实验室）；INRIA（法国国家信息与自动化研究所）
在增量文本转语音合成（iTTS）中，合成器在访问整个输入句子之前产生音频输出。在本文中，我们研究了神经序列到序列TTS系统在增量模式下使用时的行为，即当生成令牌n的语音输出时，系统可以从文本序列中访问n + k个令牌。我们首先分析这种增量策略对令牌n的编码器表示的演变的影响，对于不同的k值（前瞻参数）。结果表明，平均而言，令牌在一个单词的先行处理下，可以完成88%的完整上下文表示，在两个单词的先行处理后，可以完成94%的完整上下文表示。然后，我们调查哪些文本功能是最有影响力的演变对最终表示使用随机森林分析。结果表明，最显着的因素与令牌长度有关。我们最后评估的影响，在解码器级别的前瞻性k，使用MUSHRA听力测试。该测试示出了与上述高数字形成对比的结果：用2个单词前瞻获得的语音合成质量显著低于用完整句子获得的语音合成质量。
2020-09-04 cs.CL eess.AS
