Towards adversarial learning of speaker-invariant representation for speech emotion recognition
JD AI Research（京东人工智能研究院）
近年来，由于对情感智能语音接口的高需求，语音情感识别（SER）引起了极大的关注。推导出说话人不变的语音情感识别的表示是至关重要的。在本文中，我们建议将对抗训练应用于SER以学习说话者不变表示。我们的模型由三个部分组成：一个带有时延神经网络（TDNN）和带有统计池的LSTM的表示学习子网络，一个情感分类网络和一个说话人分类网络。情感和说话人分类网络都将表征学习网络的输出作为输入。采用了两种训练策略：一种基于领域对抗训练（DAT），另一种基于交叉梯度训练（CGT）。除了传统的数据集，我们还评估了我们提出的模型上一个更大的公开可用的情感数据集与250扬声器。评估结果表明，在IEMOCAP上，DAT和CGT分别提供了5.6%和7.4%的改进，在5倍交叉验证上，与没有说话人不变表示学习的基线系统相比。在更大的情感数据集上，虽然CGT未能产生比基线更好的结果，但DAT仍然可以在独立测试集上提供9.8%的相对改善。
2019-03-22 cs.SD eess.AS
Attentive Modality Hopping Mechanism for Speech Emotion Recognition
Seoul National University（首尔大学）；Idiap Research Institute（伊迪亚普研究所）
在这项工作中，我们探讨的影响，除了语音和文本的视觉模态，以提高情感检测系统的准确性。传统的方法通过独立地融合来自各种模态的知识来执行情感分类来解决这个任务。与这些方法相比，我们通过引入注意力机制来组合信息来解决这个问题。在这方面，我们首先应用一个神经网络，以获得隐藏的形式表示。然后，定义注意力机制，以通过对音频和文本数据进行调节来选择和聚集视频数据的重要部分。此外，通过考虑其他模态，注意力机制再次被应用于注意语音和文本数据的重要部分。使用所有三种形式（音频，文本和视频）的标准IEMOCAP数据集上进行实验。所取得的结果表明，3.65%的加权精度相比，基线系统的显着改善。
2020-04-23 cs.CL cs.LG cs.SD
Learning Emotion-discriminative Representations for Zero-Shot Cross-lingual Speech Emotion Recognition
Graduate School of Informatics, Nagoya University, Japan（名古屋大学信息学研究科）；Information Technology Center, Nagoya University, Japan（名古屋大学信息技术中心）
针对零样本跨语言语音情感识别中语言分布不匹配和目标语言缺乏情感标注的问题，提出一种结合监督对比学习和说话人对抗学习的情感判别表示学习方法，显著提升了识别性能。
2026-06-04 cs.SD eess.AS
Effect of different splitting criteria on the performance of speech emotion recognition
Institut Teknologi Sepuluh Nopember（泗水理工学院）；National Institute of Advanced Industrial Science and Technology（日本产业技术综合研究所）
传统的语音情感识别（SER）评价都是在说话人无关的条件下进行的，有些甚至没有在此条件下进行评价。本文强调了通过脚本分离SER的训练和测试数据的重要性，称为开放式或文本无关的标准。结果表明，采用开放的标准降低SER的性能。这一发现意味着在不同的语言信息嵌入在声学信息的语音识别情感的困难。令人惊讶的是，文本独立的标准一贯表现不如说话人+文本独立的标准。将SER性能标准从最难到最容易划分的完整难度顺序是文本独立、说话者+文本独立、说话者独立和说话者+文本相关。说话人+文本无关和文本无关之间的差距小于其他标准，加强了从不同句子的语音中识别情感的难度。
2022-10-26 cs.SD eess.AS
deep learning of segment-level feature representation for speech emotion recognition in conversations
Queen Mary University of London（伦敦玛丽女王大学）；Amazon（亚马逊）
由于会话中情感和动态的复杂性，准确地检测会话中的情感是一项必要而具有挑战性的任务。说话者的情绪状态会受到许多不同因素的影响，如对话者刺激、对话场景和话题。在这项工作中，我们提出了一个会话语音情感识别方法来处理捕获注意上下文依赖和说话人敏感的互动。首先，我们使用预训练的VGGish模型来提取单个话语中基于片段的音频表示。其次，一个专注的双向门控递归单元（GRU）模型上下文敏感信息，并探讨内和说话人之间的依赖关系，以动态的方式。在标准会话数据集MELD上进行的实验表明，与最先进的方法相比，所提出的方法是有效的。
2023-02-05 cs.CL cs.SD eess.AS
A Fine-tuned Wav2vec 2.0/HuBERT Benchmark For Speech Emotion Recognition, Speaker Verification and Spoken Language Understanding
Zaion（Zaion公司）；Zaion Lab（Zaion实验室）
语音自监督模型如wav 2 vec 2.0和HuBERT在自动语音识别（ASR）中取得了革命性的进展。然而，它们还没有被完全证明在ASR以外的任务上产生更好的性能。在这项工作中，我们探索了wav 2 vec 2.0和HuBERT预训练模型的部分微调和整体微调，用于三个非ASR语音任务：语音情感识别，说话人验证和口语语言理解。在简单的下游框架下，IEMOCAP上的语音情感识别在说话者相关设置上的加权准确率达到79.58%，在说话者无关设置上的加权准确率达到73.01%，VoxCeleb 1上的说话者验证的平均出错率达到2.36%，SLURP上的意图分类的准确率达到89.38%，时隙填充的F1达到78.92%，显示了微调wav 2 vec 2.0和HuBERT在学习韵律、声纹和语义表征方面的优势。
2022-10-03 cs.CL cs.NE cs.SD
SPEAKER VGG CCT: Cross-corpus Speech Emotion Recognition with Speaker Embedding and Vision Transformers
University of Florence（佛罗伦萨大学）
近年来，语音情感识别（SER）已经被研究，主要是将语音信号转换成谱图，然后使用在通用图像上预训练并用谱图进行微调的卷积神经网络对谱图进行分类。在本文中，我们从上述的一般思想出发，并开发了一种新的学习解决方案SER，这是基于紧凑的卷积Transformers（CCT）结合说话人嵌入。通过CCT，视觉Transformer（ViT）的学习能力与对大量数据的需求减少相结合，因为卷积使之成为可能。这在SER中很重要，因为在SER中通常无法获得大型数据库。说话人嵌入允许网络提取说话人的身份表示，然后通过自注意力机制将其与CCT从声谱图中提取的特征相结合。总的来说，该解决方案能够实时运行，在跨语料库的情况下显示有希望的结果，其中训练和测试数据集保持分离。在文献中很少使用的跨语料库设置中的几个基准上进行了实验，结果与最先进的网络架构所获得的结果相当或更好。我们的代码可在https://github.com/JabuMlDev/Speaker-VGG-CCT上获得。
2022-11-04 cs.CV cs.SD eess.AS
Enhancing Speech Emotion Recognition Leveraging Aligning Timestamps of ASR Transcripts and Speaker Diarization
Department of English（英语系）；National Taiwan Normal University（台湾师范大学）；Department of Computer Science and Information Engineering（计算机科学与信息工程系）
针对 ASR 转录与说话人分箱时间错位影响 SER 的问题，提出基于预训练模型的时间戳对齐流程，并融合 RoBERTa、Wav2Vec 与门控交叉注意力，在 IEMOCAP 上验证了性能提升。
2025-07-25 cs.CL cs.SD eess.AS
SISER: Speaker-Invariant Speech Emotion Recognition with Entropy-Based Adversarial Training
本文针对语音情感识别的标注数据稀缺与说话人差异性问题，提出基于熵对抗训练的SISER方法，采用wav2vec 2.0与ECAPA-TDNN，在IEMOCAP数据集上取得优于基线及无说话人抑制的wav2vec 2.0的性能。
2026-09-04 cs.CL cs.SD
Investigating Effective Speaker Property Privacy Protection in Federated Learning for Speech Emotion Recognition
MonotaRO Co., Ltd.（MonotaRO公司）；NICT（情报通信研究机构）；Tokyo Institute of Technology（东京工业大学）；University of Bremen（不来梅大学）
本文针对语音情感识别联邦学习中的属性推理攻击，提出通过分解声音属性并添加扰动来保护语音数据隐私，在保持效用的同时更有效地防止攻击。
2024-10-17 cs.SD eess.AS
Personalized Adaptation with Pre-trained Speech Encoders for Continuous Emotion Recognition
University of Southern California（南加州大学）；Institute for Creative Technologies（创意技术研究所）
针对语音情感识别中个体差异导致性能下降的问题，提出一种无监督个性化方法：预训练带说话人嵌入的编码器，并利用相似说话人的标签分布补偿偏移，在MSP-Podcast上效价估计达到最先进水平。
2023-09-05 cs.SD eess.AS eess.SP
Unsupervised Personalization of an Emotion Recognition System: The Unique Properties of the Externalization of Valence in Speech
Erik Jonsson School of Engineering and Computer Science, The University of Texas at Dallas（德克萨斯大学达拉斯分校埃里克·约松工程与计算机科学学院）
本研究提出一种无监督方法，通过搜索训练集中声学模式相似的说话者来个性化语音情感识别中的效价预测模型，采用三种适应策略，实现高达13.52%的相对改进。
2022-01-19 cs.CL cs.HC cs.SD
Multi-user VoiceFilter-Lite via Attentive Speaker Embedding
Google LLC（谷歌公司）
在本文中，我们提出了一个解决方案，允许扬声器条件的语音模型，如VoiceFilter-Lite，支持任意数量的注册用户在一个单一的通行证。这是通过在多个说话者嵌入上使用注意机制来计算单个注意嵌入来实现的，然后将其用作模型的侧输入。我们实现了多用户VoiceFilter-Lite，并针对三个任务对其进行了评估：（1）流式自动语音识别（ASR）任务;（2）与文本无关的说话人验证任务;（3）个性化关键词检测任务，其中ASR必须在嘈杂的环境中检测来自多个注册用户的关键词。我们的实验表明，最多有四个注册用户，多用户VoiceFilter-Lite能够显着减少语音识别和说话人验证错误时，有重叠的语音，而不影响其他声学条件下的性能。这种专注的说话者嵌入方法也可以轻松应用于其他说话者条件模型，例如个人VAD和个性化ASR。
2021-11-08 cs.LG cs.SD eess.AS
Speaker diarisation using 2D self-attentive combination of embeddings
Trinity College, Cambridge（剑桥大学三一学院）
说话者拨号系统通常使用诸如i向量和d向量之类的说话者嵌入来对音频段进行聚类。由于不同类型的嵌入往往是互补的，本文提出了一个通用的框架，以提高性能，将它们组合成一个单一的嵌入，称为c向量。这种组合使用了一个二维（2D）的自我关注结构，它通过不仅在时间上而且在不同类型的嵌入上进行平均来扩展标准的自我关注层。本文提出的二维自注意结构分为同时组合和连续组合两类，分别采用单自注意层和多自注意层。原始自我关注层中的惩罚项与目标函数联合最小化以鼓励注释向量的多样性，该惩罚项也被修改以不仅获得不同的局部峰值，而且获得多个注释向量中的总体趋势。在AMI会议语料库上的实验表明，改进后的惩罚项使d向量系统的d向量相对说话人出错率（SER）分别提高了6%和21%，而使用我们最好的2D自注意结构的c向量可以进一步获得10%的相对SER降低。
2019-02-08 cs.CL cs.LG cs.SD
Phoneme-aware and Channel-wise Attentive Learning for Text DependentSpeaker Verification
Xiamen University（厦门大学）
本文提出了一个多任务学习网络与音素意识和通道的注意学习策略的文本相关的说话人确认（SV）。该结构采用帧级多任务学习和分段级对抗学习相结合的方法进行说话人嵌入提取。在主网络中的帧级特征上利用音素感知注意池用于说话人分类器，在辅助子网中具有对应的音素分布的后验概率。此外，挤压和激励（SE块）的引入执行动态通道特征重新校准，这提高了表示能力。该方法利用了说话人与密码短语的特性，并分别从时间和通道两个方面通过音素感知集中和SE块来进一步改进。在RSR2015 Part 1数据库上进行的实验证实，所提出的系统在文本相关SV上取得了出色的效果。
2021-06-25 cs.LG cs.SD eess.AS
Attentive Statistics Pooling for Deep Speaker Embedding
NEC Corporation（日本电气股份有限公司）；Tokyo Institute of Technology（东京工业大学）
本文提出了文本无关说话人验证中深层说话人嵌入的注意统计池。在传统的说话人嵌入中，帧级特征在单个话语的所有帧上被平均以形成话语级特征。我们的方法利用注意力机制，给不同的权重，不同的帧，不仅产生加权平均值，但也加权标准差。通过这种方式，它可以更有效地捕捉扬声器特性的长期变化。对NIST SRE 2012和VoxCeleb数据集的评估表明，与传统方法相比，它分别将等误差率（EER）降低了7.5%和8.1%。
2019-02-25 cs.SD eess.AS
Cross attentive pooling for speaker verification
Naver Corporation（NAVER公司）；Korea Advanced Institute of Science and Technology（韩国高等科学技术研究院）；Yonsei University（延世大学）
本文的目标是文本无关的说话人确认的话语来自“在野外”的视频，可能包含不相关的信号。虽然说话人确认自然是一个成对的问题，但现有的生成说话人嵌入的方法是逐实例的。在本文中，我们提出了交叉注意池（CAP），它利用跨参考查询对的上下文信息来生成话语级嵌入，其中包含最具鉴别力的信息的配对匹配问题。在VoxCeleb数据集上进行了实验，其中我们的方法优于可比的池化策略。
2020-12-03 cs.SD eess.AS
Personalized speech enhancement combining band-split RNN and speaker attentive module
Nanjing University（南京大学）；ByteDance（字节跳动）；Horizon Robotics（地平线机器人）
在语音增强（SE）模型中可以利用目标说话人信息来更有效地提取期望的语音。以往的工作是通过级联或仿射变换将说话人嵌入引入到语音增强模型中。在本文中，我们提出了一个扬声器注意模块计算的注意力分数之间的扬声器嵌入和中间功能，这是用来重新缩放的功能。通过将该模块合并到最先进的SE模型中，我们构建了ICASSP信号处理大挑战：DNS挑战5（2023）的个性化SE模型。我们的系统在track1的盲测试集上获得了0.529的最终分数，在track2上获得了0.549的最终分数。
2023-03-16 cs.SD eess.AS
MCSAE: Masked Cross Self-Attentive Encoding for Speaker Embedding
Sogang University（西江大学）
一般来说，自注意机制已被应用于说话人嵌入编码。以往的研究主要集中在训练高层次的自我注意，如最后一个池层。然而，在说话人嵌入编码中，低层特征的影响被降低了。因此，我们提出了使用ResNet的掩码交叉自注意编码（MCSAE）。它侧重于高级别和低级别层的功能。基于多层聚合，每个剩余层的输出特征用于MCSAE。在MCSAE中，交叉自注意模块训练每个输入特征的相互依赖性。随机掩蔽正则化模块也用于防止过拟合问题。因此，MCSAE增强了表示说话者信息的帧的权重。然后，将输出特征连接并编码到说话人嵌入。因此，通过使用MCSAE来编码更具信息性的说话人嵌入。实验结果表明，使用VoxCeleb1评估数据集的等错误率为2.63%，最小检测代价函数为0.1453。与以前的自注意编码和最先进的编码方法相比，这些都是改进的性能。
2020-07-28 cs.LG cs.SD eess.AS
Self-Attentive Multi-Layer Aggregation with Feature Recalibration and Normalization for End-to-End Speaker Verification System
Sogang University（西江大学）
说话人嵌入生成是端到端说话人确认系统的重要组成部分。在我们之前的论文中，我们报告了基于快捷连接的多层聚合提高了说话人嵌入的代表性。然而，在多层聚合中，模型参数的数量相对较大并且未指定的变化增加。因此，我们提出了一个自我关注的多层聚合与功能重新校准和规范化的端到端的说话人确认系统。为了减少模型参数的数量，将缩放通道宽度和层深度的ResNet用作基线。为了控制训练中的可变性，应用自注意机制来执行具有丢弃规则化和批量规范化的多层聚合。然后，使用全连接层和非线性激活函数将特征重新校准层应用于聚合特征。深度长度归一化也用于端到端训练过程中的重新校准特征。使用VoxCeleb1评估数据集的实验结果表明，所提出的方法的性能与最先进的模型相当（分别使用VoxCeleb1和VoxCeleb2训练数据集的错误率分别为4.95%和2.86%）。
2020-07-28 cs.LG cs.SD eess.AS
Deep Segment Attentive Embedding for Duration Robust Speaker Verification
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
基于LSTM的说话人确认通常使用从话语中随机截取的固定长度的局部段来学习话语级说话人嵌入，而使用测试话语的所有段的平均嵌入来验证说话人，这导致测试和训练之间的严重不匹配。这种不匹配降低了说话人确认的性能，特别是当训练和测试话语的持续时间非常不同时。为了缓解这个问题，我们提出了深段注意嵌入方法来学习统一的发言人嵌入可变持续时间的话语。每个话语通过滑动窗口进行分段，LSTM用于提取每个片段的嵌入。而不是只使用一个局部段，我们使用整个话语学习话语级嵌入通过应用一个专注的池的嵌入的所有段。此外，引入段级嵌入的相似性损失，引导段注意力集中在说话人区分度较高的段上，并与话语级嵌入的相似性损失联合优化。在Tongdun和VoxCeleb上的系统实验表明，该方法显著提高了对持续时间变化的鲁棒性，相对等错误率分别降低了50%和11.54%。
2018-11-01 cs.LG cs.SD eess.AS
Parameter-Free Attentive Scoring for Speaker Verification
Google LLC（谷歌有限责任公司）
本文提出了一种新的无参数注意评分的说话人确认研究。无参数评分提供了比较说话人表示的灵活性，而不需要伴随的参数评分模型。受Transformer神经网络中的注意力组件的启发，我们提出了一种缩放点积注意力机制的变体来比较注册和测试段表示。此外，这项工作还探讨了（i）不同类型的规范化、（ii）独立与绑定查询/键估计、（iii）改变键-值对的数量以及（iv）池化多个注册话语统计数据对性能的影响。实验结果表明，一个简单的无参数注意评分机制可以提高平均EER的10%以上的最佳余弦相似性基线。
2023-03-06 cs.CL cs.SD eess.AS
Speech-based emotion recognition with self-supervised models using attentive channel-wise correlations and label smoothing
University of Helsinki（赫尔辛基大学）；Omilia - Conversational Intelligence（Omilia对话智能公司）；Brno University of Technology（布尔诺理工大学）
在从语音中识别情感时，我们遇到两个常见的问题：如何从语音信号中最佳地捕获情感相关信息以及如何最好地量化或分类噪声主观情感标签。自我监督的预训练表示可以从语音中鲁棒地捕获信息，从而在包括情感识别在内的许多下游任务中实现最先进的结果。然而，需要考虑跨时间聚合信息的更好方式，因为相关情感信息很可能分段出现并且在信号上不均匀。对于标签，我们需要考虑到存在来自主观人类注释的大量噪声。在本文中，我们提出了一种新的方法，专注池的基础上表示的系数之间的相关性结合标签平滑，一种方法，旨在减少训练标签上的分类器的信心。我们在基准数据集IEMOCAP上评估了我们提出的方法，并展示了超越文献的高性能。重现结果的代码可在github.com/skakouros/s3prl_attentive_correlation上获得。
2022-11-03 cs.SD eess.AS
Recursive Attentive Pooling for Extracting Speaker Embeddings from Multi-Speaker Recordings
NTT Corporation（NTT公司）
本文提出一种递归注意力池化方法，从多说话人录音中提取各说话人嵌入，并可利用注意力权重估计说话人数量，使同一模型适用于不同人数场景，实验验证其在说话人验证和日志任务中的有效性。
2024-08-30 cs.SD eess.AS
Speaker-agnostic Emotion Vector for Cross-speaker Emotion Intensity Control
CyberAgentJapan（CyberAgent日本）
针对跨说话人情感强度控制中情感向量不匹配导致说话人一致性下降的问题，提出说话人无关情感向量以捕捉多说话人共享情感表达，实验证明其能在保持说话人一致性和语音质量的同时实现任意说话人的情感强度控制。
2025-07-04 cs.SD eess.AS
Emotion Invariant Speaker Embeddings for Speaker Identification with Emotional Speech
Indian Institute of Technology Guwahati（印度理工学院古瓦哈提分校）；National University of Singapore（新加坡国立大学）
说话人的情绪状态对言语产生有重要影响，它会使言语偏离中性状态。这使得识别具有不同情绪的说话者成为一项具有挑战性的任务，因为说话者模型通常使用中性语音进行训练。在这项工作中，我们建议克服这个问题，通过创建情感不变的说话人嵌入。我们学习了一个提取器网络，该网络将使用基于i向量的系统获得的具有不同情感的测试嵌入映射到情感不变空间。由此产生的测试嵌入因此变得情感不变，从而补偿各种情感状态之间的不匹配。这些研究使用IEMOCAP数据库中的四种不同的情绪类别进行。我们获得了2.6%的绝对提高，在说话人识别研究中使用情绪不变的说话人嵌入平均说话人模型为基础的框架，不同的情绪的准确性。
2020-10-08 cs.SD eess.AS
SAGRNN: Self-Attentive Gated RNN for Binaural Speaker Separation with Interaural Cue Preservation
The Ohio State University（俄亥俄州立大学）；Facebook Reality Labs（Facebook现实实验室）；Facebook AI Research（Facebook人工智能研究院）；Tel-Aviv University（特拉维夫大学）
大多数现有的基于深度学习的双耳扬声器分离系统专注于为每个目标扬声器产生单耳估计，因此不保留耳间线索，这对于人类听众执行声音定位和侧化至关重要。在这项研究中，我们解决了独立于说话人的双耳扬声器分离与估计的双耳信号中保留的耳间线索。具体来说，我们扩展了一个新开发的门控递归神经网络的单声道分离，另外将自我注意力机制和密集的连接。我们开发了一个端到端的多输入多输出系统，它直接从混合的双耳波形映射到语音信号。实验结果表明，我们提出的方法实现了显着更好的分离性能比最近的双耳分离方法。此外，我们的方法有效地保留了耳间线索，提高了声音定位的准确性。
2020-11-14 cs.SD eess.AS
Speaker verification using attentive multi-scale convolutional recurrent network
School of Electronic and Information Engineering, South China University of Technology（华南理工大学电子与信息学院）
提出注意力多尺度卷积循环网络 AMCRN，融合局部空间与全局时序信息学习说话人嵌入，并在 VoxCeleb 数据集上验证其更低错误率、更低资源开销及更强泛化性。
2023-06-01 cs.SD eess.AS
Cross-speaker Emotion Transfer Based on Speaker Condition Layer Normalization and Semi-Supervised Training in Text-To-Speech
AI Lab, ByteDance（字节跳动人工智能实验室）
在表达性语音合成中，对情感理解有很高的要求。然而，由于说话人的推理能力，获取任意说话人的情感音频语料是非常耗时的。针对这一问题，本文提出了一种跨说话人情感传递方法，可以实现情感从源说话人到目标说话人的传递。首先定义了一组情感令牌来表示各种类型的情感。通过交叉熵损失和半监督训练策略，将它们训练成与相应情绪高度相关的可控合成。同时，为了消除跨说话人情感传递对音色相似性的影响，采用说话人条件层归一化对说话人特征进行建模。实验结果表明，该方法在音色相似性、稳定性和情感感知评价方面优于基于多参考的基线方法。
2021-10-11 cs.SD eess.AS
End-to-End Trainable Self-Attentive Shallow Network for Text-Independent Speaker Verification
Humelo Inc.（Humelo公司）；Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院（KAIST））；KAIST Institute for Artificial Intelligence（KAIST人工智能研究所）
广义端到端（GE2E）模型因其可扩展性和通用性而被广泛应用于说话人确认（SV）领域。然而，基于GE2E的长短期记忆（LSTM）有两个局限性：第一，GE2E的嵌入遭受消失梯度，这导致非常长的输入序列的性能下降。其次，话语没有被表示为适当固定的维度向量。在本文中，为了克服上述问题，我们提出了一种新的SV框架，端到端可训练的自注意浅层网络（SASN），结合了一个时间延迟神经网络（TDNN）和一个自注意池机制的基础上自注意的x向量系统在话语嵌入阶段。我们证明，该模型是高效的，并提供更准确的说话人确认比GE2E。对于VCTK数据集，仅小于GE2E的一半大小，所提出的模型在EER（等误差率）、DCF（检测代价函数）和AUC（曲线下面积）方面分别显示出比GE2E显著的性能改进，分别为约63%、67%和85%。值得注意的是，当输入长度变得更长时，所提出的模型的DCF分数改善是GE2E的约17倍。
2020-08-14 cs.CL cs.SD eess.AS
MIMO Self-attentive RNN Beamformer for Multi-speaker Speech Separation
Institute of Automation, Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Tencent AI Lab（腾讯AI实验室）
最近，我们提出了基于递归神经网络（RNN）的全深度学习最小方差无失真响应（ADL-MVDR）波束形成器方法，通过用两个递归神经网络代替矩阵求逆和特征值分解，获得了优于传统MVDR的性能。在这项工作中，我们提出了一个自我关注的RNN波束形成器，通过利用自我关注的强大建模能力，进一步改进我们以前的基于RNN的波束形成器。提出了时空自注意模块，以更好地从语音和噪声的空间协方差矩阵学习波束形成权重。时间自注意模块可以帮助RNN学习协方差矩阵的全局统计。空间自关注模块被设计用于关注协方差矩阵中的通道间相关性。此外，多通道输入与多说话人的方向性特征和多说话人语音分离输出（MIMO）模型的发展，以提高推理效率。评估表明，我们提出的MIMO自关注RNN波束形成器提高了自动语音识别（ASR）的准确性和感知估计的语音质量（PESQ）对现有技术。
2021-04-26 cs.AI cs.SD eess.AS
Emotion Recognition Using Speaker Cues
University of Sharjah（沙迦大学）
本研究旨在利用说话人的线索来识别未知情绪。在这项研究中，我们使用两个阶段的框架来识别未知的情绪。第一阶段的重点是识别说话人谁说出了未知的情绪，而下一个阶段的重点是识别未知的情绪所发出的识别发言人在前一阶段。这一拟议的框架进行了评估，阿拉伯语的阿拉伯语口音的语音数据库发出的15个发言者每性别。梅尔频率倒谱系数（MFCC）已被用作提取的功能和隐马尔可夫模型（HMM）已被用作在这项工作中的分类。我们的研究结果表明，基于两阶段框架的情感识别准确率高于基于一阶段方法和最先进的分类器和模型，如高斯混合模型（GMM），支持向量机（SVM）和矢量量化（VQ）。基于两阶段方法的平均情感识别准确率为67.5%，而基于一阶段方法，GMM，SVM和VQ的准确率分别达到61.4%，63.3%，64.5%和61.5%。两阶段框架的基础上取得的结果是非常接近人类听众的主观评价。
2020-02-04 cs.LG cs.SD eess.AS
x-vectors meet emotions: A study on dependencies between emotion and speaker recognition
Johns Hopkins University（约翰斯·霍普金斯大学）
在这项工作中，我们探讨了说话人识别和情感识别之间的依赖关系。我们首先表明，知识学习说话人识别可以重用的情感识别，通过迁移学习。然后，我们展示了情绪对说话人识别的影响。对于情感识别，我们证明了使用简单的线性模型就足以在从预训练模型（如x向量模型）中提取的特征上获得良好的性能。然后，我们通过对情感分类进行微调来提高情感识别性能。我们在三种不同类型的数据集上评估了我们的实验：IEMOCAP，MSP-Podcast和Crema-D。通过微调，我们在IEMOCAP，MSP-Podcast和Crema-D上分别获得了30.40%，7.99%和8.61%的绝对改善，而不是没有预先训练的基线模型。最后，我们提出了情感对说话人确认的影响的结果。我们观察到，说话人确认的性能很容易改变测试说话人的情绪。我们发现，愤怒话语的试验在所有三个数据集中表现最差。我们希望我们的分析能够在说话人识别领域开创一条新的研究路线。
2020-02-12 cs.LG cs.SD eess.AS
Cross-speaker emotion disentangling and transfer for end-to-end speech synthesis
Northwestern Polytechnical University（西北工业大学）；Xi’an Jiaotong University（西安交通大学）
文本到语音（TTS）合成中的跨说话人情感转移任务特别旨在合成具有从另一（源）说话人记录的参考语音转移的情感的目标说话人的语音。在情感传递过程中，源说话人的身份信息也会影响合成结果，导致说话人泄漏问题。本文提出了一种新的方法，旨在合成可控的情感表达语音，同时保持目标说话人的身份在跨说话人情感TTS任务。所提出的方法是一个基于Tacotron2的框架，情感嵌入作为条件变量提供情感信息。在我们的方法中包含两个情感解开模块，1）得到说话人无关和情感歧视嵌入，2）显式地限制合成语音的情感和说话人身份是预期的。此外，我们提出了一个直观的方法来控制合成语音的情感强度为目标说话人。具体地，利用灵活的标量值来调整所学习的情感嵌入，这允许控制由嵌入传达的情感强度。在汉语不相交语料库上进行了大量的实验，实验结果表明，该方法能够为目标说话人合成合理的情感语音。与现有的参考嵌入学习方法相比，该方法在跨说话人情感迁移任务上获得了最佳性能，表明该方法在学习说话人无关情感嵌入方面取得了新的性能。此外，强度排序测试和音高轨迹图表明，该方法可以有效地控制情感强度，导致韵律多样性的合成语音。
2022-04-08 cs.SD eess.AS
Graph attentive feature aggregation for text-independent speaker verification
University of Seoul（首尔大学）；KT Corporation（KT公司）
本文的目标是将多个帧级特征组合成一个考虑成对关系的单个话语级表示。为此，我们提出了一种新的图形关注的功能聚合模块，通过解释每个帧级功能作为一个节点的图。所有可能的特征对之间的相互关系，通常是间接利用的，可以使用图直接建模。该模块包括图形注意层和图形池化层，之后是读出操作。图注意层首先对不同节点之间的非欧几里德数据流形进行建模。然后，图池化层考虑节点的重要性丢弃信息量较少的节点。最后，读出操作将剩余的节点组合成单个表示。我们采用了两个最近的系统，SE-ResNet和RawNet 2，具有不同的输入功能和架构，并证明了所提出的功能聚合模块始终显示出超过10%的相对改进，与基线相比。
2021-12-23 cs.SD eess.AS
Cross-speaker Emotion Transfer Based On Prosody Compensation for End-to-End Speech Synthesis
Northwestern Polytechnical University（西北工业大学）；Xi’an Jiaotong University（西安交通大学）；Mobvoi AI Lab（出门问问人工智能实验室）
跨说话人情感转移语音合成的目的是通过从另一个（源）说话人记录的参考语音中转移情感来为目标说话人合成情感语音。在这个任务中，从参考语音中提取与说话人无关的情感嵌入起着重要的作用。然而，这种情感嵌入所传达的情感信息往往在挤出源说话人的音色信息的过程中被削弱。针对这一问题，本文提出了一种韵律补偿模块（PCM）来补偿情感信息的损失。具体来说，PCM试图从预先训练的ASR模型的中间特征中获得说话者独立的情感信息。为此，引入了一个具有全局上下文（GC）块的韵律补偿编码器，以从ASR模型的中间特征中获得全局情感信息。实验结果表明，该算法能有效地补偿情感嵌入过程中情感信息的损失，同时保持目标说话人的音质。与现有模型的比较表明，该方法在跨说话人情感传递方面具有明显的优势。
2022-07-04 cs.SD eess.AS
Speaker Verification in Emotional Talking Environments based on Three-Stage Framework
University of Sharjah（沙迦大学）
本文致力于引入、执行和评估一个三阶段的说话人确认框架，以提高在情绪化谈话环境中说话人确认的性能。我们的框架是由三个级联的阶段：性别识别阶段，其次是情感识别阶段，其次是扬声器验证阶段。该框架已经在两个不同的独立的情感语音数据集上进行了评估：我们收集的数据集和情感韵律语音和转录数据集。我们的研究结果表明，基于性别线索和情感线索的说话人确认优于单独基于性别线索的说话人确认，只有情感线索，既没有性别线索，也没有情感线索。所实现的平均说话人确认性能的基础上，建议的方法是非常相似的主观评估中所达到的人类听众。
2018-03-31 cs.SD eess.AS
Exploring speaker enrolment for few-shot personalisation in emotional vocalisation prediction
University of Augsburg（奥格斯堡大学）；University of Tokyo（东京大学）；Imperial College（帝国理工学院）
在这项工作中，我们探索了一种新颖的情感发声预测的Few-Shot个性化架构。核心贡献是一个“注册”编码器，它利用两个未标记的样本的目标扬声器，以调整情感编码器的输出;调整是基于点积注意，从而有效地作为一种形式的“软”特征选择。情感和注册编码器基于两种标准音频架构：CNN 14和CNN 10。进一步引导两个编码器忘记或学习辅助情感和/或说话者信息。我们的最佳方法在ExVo Few-Shot开发集上实现了$.650$的CCC，比我们的基线CNN 14 CCC $.634$增加了$2.5\%$。
2022-06-20 cs.LG cs.SD eess.AS
Domain adversarial learning for emotion recognition
在情感识别的实际应用中，用户并不总是存在于训练语料库中。训练说话人和测试说话人之间的不匹配会影响训练模型的性能。为了解决这个问题，我们需要我们的模型专注于情感相关的信息，而忽略说话人身份之间的差异。在本文中，我们研究了使用域对抗神经网络（DANN）来提取不同说话者之间的共同表示。主要任务是预测情感标签。第二个任务是学习一个共同的表示，说话人身份不能区分。通过使用梯度反转层，来自次要任务的梯度用于使不同扬声器的表示更接近。为了验证所提出的方法的有效性，我们进行了实验IEMOCAP数据库。实验结果表明，所提出的框架显示了3.48%的绝对改善比国家的最先进的战略。
2019-10-24 cs.LG cs.SD eess.AS
Learning Emotion-Invariant Speaker Representations for Speaker Verification
Hithink RoyalFlush AI Research Institute（同花顺人工智能研究院）
针对说话人验证中情感变化导致表征脆弱的问题，提出基于CopyPaste数据增强、余弦相似度损失和情感感知掩蔽的改进方法，显著降低等错误率。
2025-05-24 cs.SD eess.AS
CA-MHFA: A Context-Aware Multi-Head Factorized Attentive Pooling for SSL-Based Speaker Verification
Brno University of Technology（布尔诺技术大学）；Athens University of Economics and Business（雅典经济与商业大学）；Omilia（欧米利亚公司）；Archimedes/Athena R.C.（阿基米德/雅典娜研究中心）
本文提出轻量级框架CA-MHFA，通过分组可学习查询与共享键值融合上下文信息，有效建模局部时间依赖，在VoxCeleb上以更少参数超越复杂模型，并在多任务中展现强泛化能力。
2024-09-23 cs.SD eess.AS
Emotion Recognition in Multi-Speaker Conversations through Speaker Identification, Knowledge Distillation, and Hierarchical Fusion
Institute of Science Tokyo（东京科学研究所）
本文提出通过说话人识别、知识蒸馏和分层融合方法，提升多说话人对话中情绪识别的准确性和鲁棒性。
2025-11-05 cs.SD eess.AS
Adapting General Disentanglement-Based Speaker Anonymization for Enhanced Emotion Preservation
Singapore Institute of Technology（新加坡理工学院）；Key Laboratory of Speech Acoustics and Content Understanding, Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所语音声学与内容理解重点实验室）；National Institute of Informatics（日本国立信息研究所）；Inria, Centre Inria de l’Université de Lorraine（法国国家信息与自动化技术研究院（Inria）卢瓦尔大学中心）
本文针对基于解耦的说话人匿名化系统，提出集成情感嵌入或后处理情感补偿两种策略，以在匿名化同时增强情感保留，并兼顾隐私与情感线索。
2025-04-23 cs.SD eess.AS
DiEmo-TTS: Disentangled Emotion Representations via Self-Supervised Distillation for Cross-Speaker Emotion Transfer in Text-to-Speech
Department of Artificial Intelligence（人工智能系）
提出DiEmo-TTS，通过自监督蒸馏和聚类匹配学习说话人无关的情感嵌入，实现跨说话人情感迁移，减少说话人泄漏并提升合成质量。
2025-10-17 cs.AI cs.SD eess.AS
Expressive Voice Conversion: A Joint Framework for Speaker Identity and Emotional Style Transfer
Singapore University of Technology and Design（新加坡科技设计大学）；National University of Singapore（新加坡国立大学）；The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））
传统的语音转换（VC）一直专注于说话人身份转换的语音与中性的表达。我们注意到，情感表达在日常交流中起着至关重要的作用，言语的情感风格可能取决于说话者。在本文中，我们研究的技术，共同转换的说话人身份和说话人依赖的情感风格，即表达的声音转换。我们提出了一个基于StarGAN的框架来学习不同说话者之间的多对多映射，该框架考虑了说话者依赖的情感风格，而不需要并行数据。为了实现这一点，我们的条件生成器的情感风格编码来自一个预先训练的语音情感识别（SER）模型。实验验证了我们提出的框架在客观和主观评价的有效性。据我们所知，这是第一次研究表达语音转换。
2021-10-20 cs.SD eess.AS
LiveAnon: Improving Privacy and Utility in Streaming Speaker Anonymization with Codec Language Models
Seoul National University（首尔大学）
本文提出LiveAnon流式说话人匿名化系统，通过受限RVQ解码降低延迟，在VPC24、VPC26数据集上实现了良好的隐私-效用平衡，优于多数基线系统。
2026-10-14 cs.LG cs.SD eess.AS
Is Style All You Need? Dependencies Between Emotion and GST-based Speaker Recognition
Michigan State University（密歇根州立大学）
在这项工作中，我们研究的假设，从语音样本中提取的说话人身份嵌入可用于检测和分类的情绪。特别地，我们表明，通过使用1-D三重卷积神经网络（CNN）和全局风格令牌（GST）方案（例如，DeepTalk Network）并重用训练的说话人识别模型权重来生成情感分类域中的特征。自动说话人识别（ASR）网络使用VoxCeleb 1、VoxCeleb 2和Librisepeech数据集进行训练，并使用说话人身份标签的三重训练损失函数。使用支持向量机（SVM）分类器，我们映射到离散的情感类别从CREMA-D，IEMOCAP，和MSP播客数据集的扬声器身份嵌入。在语音情感检测任务中，我们从CREMA-D中获得了80.8%的ACC，从IEMOCAP中获得了81.2%的ACC，从MSP-Podcast中获得了66.9%的ACC。我们还提出了一种新的两阶段分层分类器（HC）方法，该方法在CREMA-D情感样本上显示出+2%的ACC改进。通过这项工作，我们试图传达整体建模音频样本内的用户内变化的重要性
2022-11-15 cs.SD eess.AS
EASY: Emotion-aware Speaker Anonymization via Factorized Distillation
Northwestern Polytechnical University（西北工业大学）；Nanyang Technological University（南洋理工大学）
提出EASY框架，通过顺序解耦和因子化蒸馏分离说话人身份、语言内容与情感表示，在保护隐私的同时保留情感状态，优于所有基线系统。
2025-05-30 cs.SD eess.AS
Decoupling Speaker-Independent Emotions for Voice Conversion Via Source-Filter Networks
Osaka University（大阪大学）；Curtin University（科廷大学）；National University of Singapore（新加坡国立大学）；Singapore University of Technology and Design（新加坡科技设计大学）；CyberAgent, Inc.（赛博代理公司）
情感语音转换（VC）的目的是将一个中性的声音转换成一个情感（如快乐），同时保留语言信息和说话人身份。我们注意到，情感特征与其他语音信息（如说话人、内容等）的解耦，是取得卓越业绩的关键由于情感语音的声学特性更为复杂，近年来一些关于中性语音的语音表示解耦的尝试不能很好地用于情感语音。为了解决这个问题，在这里，我们提出了一种新的基于源过滤器的情感VC模型（SFEVC），实现适当的过滤扬声器独立的情感特征的音色和音高功能。我们的SFEVC模型包括多通道编码器，情感分离编码器，和一个解码器。注意，所有编码器模块均采用了设计的信息瓶颈自动编码器。此外，为了进一步提高各种情绪的转换质量，提出了一种新的基于2D Valence-Arousal（VA）空间的两阶段训练策略。实验结果表明，所提出的SFEVC以及两个阶段的训练策略优于所有基线，并实现了最先进的性能，在说话人无关的情感VC与非并行数据。
2021-10-04 cs.LG cs.SD eess.AS
Text-driven Emotional Style Control and Cross-speaker Style Transfer in Neural TTS
Neosapience, Inc.（Neosapience公司）
近年来，表达性文本到语音的性能有所改善。然而，合成语音的风格控制通常限于离散的情感类别，并且需要由目标说话者以目标风格记录的训练数据。在许多实际情况下，用户可能没有记录在目标情感中的参考语音，但仍然有兴趣仅通过键入期望情感风格的文本描述来控制语音风格。在本文中，我们提出了一个基于文本的接口的情感风格控制和跨扬声器的风格转移多扬声器TTS。我们提出了一种双模态风格编码器，该编码器使用预先训练好的语言模型来模拟文本描述嵌入和语音风格嵌入之间的语义关系。为了进一步改善不相交的多风格数据集上的跨说话人风格传递，我们提出了新的风格损失。实验结果表明，我们的模型可以生成高质量的表达语音，即使在看不见的风格。
2022-07-13 cs.CL cs.LG cs.SD
Nonparallel Emotional Voice Conversion For Unseen Speaker-Emotion Pairs Using Dual Domain Adversarial Network & Virtual Domain Pairing
Sony Research India（索尼研究印度）；Sony Group Corporation, Japan（索尼集团公司）
情感语音转换（EVC）系统的主要目标是将给定语音信号的情感从一种风格转换为另一种风格，而不修改信号的语言内容。大多数最先进的方法仅针对所看到的说话者-情绪组合转换情绪。在本文中，我们解决了在训练和测试期间仅存在中性数据的说话者的情感转换问题（即，看不见的说话者-情绪组合）。为此，我们扩展了最近提出的StartGANv 2-VC架构，利用双编码器分别学习说话者和情感风格嵌入以及双域源分类器。为了实现到看不见的说话者-情绪组合的转换，我们提出了一种虚拟域配对（VDP）训练策略，该策略虚拟地结合了真实数据中不存在的说话者-情绪对，而不会影响对抗训练中的最小-最大游戏和生成器。我们使用印地语情感数据库评估所提出的方法。
2023-02-21 cs.AI cs.SD eess.AS
Three-Stage Speaker Verification Architecture in Emotional Talking Environments
University of Sharjah（沙迦大学）
说话人确认在中性说话环境中的性能通常较高，而在情绪化说话环境中性能急剧下降。情绪环境中的这种性能下降是由于在中性环境中训练与在情绪环境中测试之间的不匹配问题。在这项工作中，一个三阶段的说话人确认架构已被提出，以提高说话人确认性能在情感环境中。该架构由三个级联阶段组成：性别识别阶段，然后是情感识别阶段，然后是说话人验证阶段。所提出的框架已评估两个不同的和独立的情感语音数据集：内部数据集和情感韵律语音和成绩单数据集。实验结果表明，基于性别信息和情感信息的说话人确认优于仅基于性别信息、仅基于情感信息、不基于性别信息和情感信息的说话人确认。所获得的平均说话人确认性能的基础上，建议的框架是非常相似的主观评价人类听众。
2018-09-03 cs.AI cs.SD eess.AS
ASoBO: Attentive Beamformer Selection for Distant Speaker Diarization in Meetings
LIUM（LIUM实验室）；Institut Claude Chappe（克劳德·沙普研究所）；Le Mans Université（勒芒大学）；LAUM（LAUM实验室）；IA-GS（IA-GS机构）；UMR CNRS 6613（法国国家科学研究中心联合单位6613号）
本文提出ASoBO算法，利用自注意力机制选择固定空间滤波器输出作为特征，联合进行VAD和OSD以推断说话人日志，在AISHELL-4上达到14.5%的DER且注意力权重具可解释性。
2024-06-05 cs.AI cs.SD eess.AS
Converting Anyone's Emotion: Towards Speaker-Independent Emotional Voice Conversion
National University of Singapore（新加坡国立大学）；Singapore University of Technology and Design（新加坡科技设计大学）
情感语音转换的目的是将语音的情感从一种状态转换到另一种状态，同时保持语言内容和说话人身份。以往的情感语音转换研究大多是在情感依赖于说话人的假设下进行的。我们认为，在口语中，说话者之间存在一个共同的情感表达代码，因此，说话者独立的情感状态之间的映射是可能的。在本文中，我们提出了一个独立于说话人的情感语音转换框架，可以转换任何人的情感，而不需要并行数据。我们提出了一种基于VAW-GAN的编码器-解码器结构来学习频谱和韵律映射。我们使用连续小波变换（CWT）进行韵律转换的时间依赖模型。我们还研究了使用F0作为解码器的额外输入，以提高情感转换性能。实验表明，所提出的说话人无关的框架实现了有竞争力的结果，为可见和不可见的发言人。
2020-10-13 cs.AI cs.CL cs.SD
