Zero-Shot Emotion Transfer For Cross-Lingual Speech Synthesis
Northwestern Polytechnical University（西北工业大学）；iQIYI Inc.（爱奇艺公司）
针对跨语言零样本情感迁移语音合成的口音与情感建模难题，基于DelightfulTTS架构分别用NPC模块建模语言特定韵律、从HuBERT提取共通情感并结合分层建模，实现了无情感训练数据下的单语说话人双语情感语音合成。
2023-10-06 cs.SD eess.AS
VECL-TTS: Voice identity and Emotional style controllable Cross-Lingual Text-to-Speech
Sony Research India Pvt. Ltd.（索尼印度私人有限公司研究院）；Indraprastha Institute of Information Technology (IIIT)（因德拉普拉斯信息技术学院（IIIT））
本文提出VECL-TTS端到端跨语言语音合成系统，同时控制语音身份与情感风格，并通过内容与风格一致性损失提升合成质量，在英语及三种印度语言上较SOTA方法平均相对提升8.83%。
2024-06-12 cs.SD eess.AS
Semantic-Emotional Resonance Embedding: A Semi-Supervised Paradigm for Cross-Lingual Speech Emotion Recognition
School of Computer Science and Technology, Xinjiang University（新疆大学计算机科学与技术学院）；Pengcheng Laboratory Xinjiang Network Node（鹏城实验室新疆网络节点）；Xinjiang Multimodal Intelligent Processing and Information Security Engineering Technology Research Center（新疆多模态智能处理与信息安全工程技术研究中心）；Joint Research Laboratory for Embodied Intelligence, Xinjiang University（新疆大学具身智能联合研究实验室）；Joint International Research Laboratory of Silk Road Multilingual Cognitive Computing, Xinjiang University（新疆大学丝绸之路多语言认知计算国际联合研究实验室）
本文提出基于语义-情感共鸣嵌入的半监督框架，通过少量标注样本构建情感-语义结构，利用瞬时共鸣场实现无标注样本自组织，设计三重共鸣交互链损失提升标注与无标注样本间的交互能力，实验显示在多种语言上仅需5次标注即可达到高性能。
2026-04-08 cs.SD eess.AS
Speech Emotion Recognition Based on Multi-feature and Multi-lingual Fusion
The Experimental High School Attached to Beijing Normal University（北京师范大学附属实验中学）
针对语音情感识别中由于语音数据量大、声学特征鲁棒性差而导致识别准确率低的问题，提出了一种基于多特征多语种融合的语音情感识别算法。首先，从已有的中英文语音情感数据中提取手工特征和深度自动特征。然后，分别对各种特征进行融合。最后，不同语言的融合特征再次融合，并在分类模型中进行训练。将融合后的语音特征与未融合的语音特征进行对比，结果表明融合后的语音特征显著提高了语音情感识别算法的准确率。在两个中文语料库和两个英文语料库上对所提出的解决方案进行了评估，结果表明，与原始解决方案相比，该解决方案提供了更准确的预测。研究结果表明，多特征多语种融合算法在小数据集时能显著提高语音情感识别的准确率。
2020-01-16 cs.CL cs.SD eess.AS
Cross Lingual Cross Corpus Speech Emotion Recognition
Department of Computer Science, Columbia University（哥伦比亚大学计算机科学系）
大多数现有的语音情感识别模型都是在单一语料库和单一语言环境下训练和评估的。这些系统在应用于跨语料库和跨语言场景时表现不佳。本文介绍了在单语料库和跨语料库环境下对4种语言的语音情感识别的结果。此外，由于多任务学习（MTL）与性别，自然和唤醒作为辅助任务已被证明可以提高情感模型的泛化能力，本文引入语言ID作为MTL框架中的另一个辅助任务，以探索口语对情感识别的作用，这还没有被研究过。
2020-03-18 cs.CL cs.SD eess.AS
Cross-Lingual Cross-Age Group Adaptation for Low-Resource Elderly Speech Emotion Recognition
The Hong Kong University of Science and Technology（香港科技大学）
针对语音情感识别偏向英语成年人的问题，本研究构建了跨语言跨年龄基准与数据集，发现跨语言推理不适用，但跨组数据增强结合语言距离能有效正则化模型并影响可迁移性。
2023-06-26 cs.CL cs.SD eess.AS
A Layer-Anchoring Strategy for Enhancing Cross-Lingual Speech Emotion Recognition
National Tsing Hua University（国立清华大学）；University of Texas at Dallas（德克萨斯大学达拉斯分校）
针对跨语言SER中仅使用预训练模型末层的问题，提出层锚定机制以利用多层信息促进情感迁移，并在MSP-Podcast和BIIC-Podcast上验证，BIIC-Podcast最佳UAR达60.21%。
2024-07-06 cs.LG cs.SD eess.AS
Unsupervised Cross-Lingual Speech Emotion Recognition Using DomainAdversarial Neural Network
The Chinese University of Hong Kong（香港中文大学）
通过使用深度学习方法，语音情感识别（SER）在单个域上取得了许多优异的结果。然而，由于源域和目标域之间的分布偏移，跨域SER仍然是一个具有挑战性的任务。在这项工作中，我们提出了一种基于域对抗神经网络（DANN）的方法来缓解这种分布偏移问题的跨语言SER。具体来说，我们在特征提取器之后添加了语言分类器和梯度反转层，以强制学习的表示既独立于语言又有意义。我们的方法是无监督的，我。例如，目标语言不需要标注，这使得我们的方法更容易应用于其他语言。实验结果表明，该方法在唤醒和效价分类任务上比基线系统平均提高了3.91%。此外，我们发现批量归一化有利于DANN的性能增益。因此，本文还探讨了不同的数据组合方式对批量归一化的影响.
2020-12-21 cs.AI eess.AS
Unsupervised Adversarial Domain Adaptation for Cross-Lingual Speech Emotion Recognition
University of Southern Queensland（南昆士兰大学）；Information Technology University (ITU)（信息技术大学）；University of the West of England (UWE)（西英格兰大学）
跨语言语音情感识别（SER）是许多实际应用的关键任务。训练数据和测试数据分布的差异往往会降低SER系统的性能。当训练数据和测试数据属于不同的语言时，这些差异变得更加明显，这导致验证和测试分数之间的显着性能差距。因此，迫切需要建立更稳健的模型，可以适合SER系统的实际应用。因此，在本文中，我们提出了一种基于生成对抗网络（GAN）的多语言SER模型。我们选择使用GAN的动机是他们在学习底层数据分布方面取得了巨大的成功。所提出的模型的设计方式，可以学习语言不变的表示，而不需要目标语言的数据标签。我们在四种不同语言的情感数据集上评估了我们提出的模型，包括乌尔都语数据集，还包括难以找到标记数据的替代语言，并且主流社区尚未对其进行太多研究。我们的研究结果表明，我们提出的模型可以显着提高基线跨语言SER性能的所有考虑的数据集，包括非主流乌尔都语数据，而不需要任何标签。
2020-07-28 cs.SD eess.AS
Cross-Lingual Speech Emotion Recognition: Humans vs. Self-Supervised Models
University of Edinburgh, UK（爱丁堡大学）；Tianjin University, China（天津大学）；University of Science and Technology of China, China（中国科学技术大学）
本研究对比了人类与自监督模型在跨语言语音情感识别中的表现，通过层级分析和参数高效微调策略，发现模型经知识迁移后可达母语者水平，并揭示了方言对不同情感识别的影响及人机行为差异。
2025-04-30 cs.AI cs.CL cs.HC
SERAB: A multi-lingual benchmark for speech emotion recognition
EPFL（洛桑联邦理工学院）；Logitech（罗技）
语音情感识别（SER）的最新发展经常利用深度神经网络（DNN）。由于使用不同的数据集和评估协议，比较和基准测试不同的DNN模型通常是繁琐的。为了促进这一过程，在这里，我们提出了语音情感识别自适应基准（SERAB），一个框架，用于评估不同的方法的性能和泛化能力的话语级SER。基准是由九个数据集SER在六种语言。由于数据集具有不同大小和数量的情感类，因此所提出的设置特别适合于估计预训练的基于DNN的特征提取器的泛化能力。我们使用所提出的框架来评估标准手工制作的功能集和最先进的DNN表示。结果强调，仅使用SERAB中包含的数据的子集可能会导致有偏见的评价，而遵守拟议的协议可以避免这个问题。
2021-10-07 cs.AI cs.LG cs.SD
Expressive Machine Dubbing Through Phrase-level Cross-lingual Prosody Transfer
本文提出短语级跨语言韵律迁移方法，用于表达性多语言机器配音，相比语句级基线显著提升MUSHRA分数6.2%，缩小与人类配音差距23.2%，并保持语音可懂度。
2023-06-21 eess.AS
Using joint training speaker encoder with consistency loss to achieve cross-lingual voice conversion and expressive voice conversion
提出联合训练说话人编码器与 Whisper 内容特征实现高质量跨语言语音转换，并引入说话人一致性损失提升相似度，利用音素后验图重现参考语音的说话人特征与情感。
2023-07-01 eess.AS
Multilingual Emotion Neurons in Large Audio-Language Models
Johns Hopkins University（约翰斯·霍普金斯大学）；Imperial College London（伦敦帝国学院）
本研究通过首个神经元层面可解释性研究，提出多语言情感神经元（MLENs）定义及一致性正则化融合（CR-Fusion）方法，证实其在零样本和低资源场景下情感控制更精准，为LALMs跨语言情感编码提供因果解释。
2026-08-11 cs.CL eess.AS
Semi-supervised cross-lingual speech emotion recognition
University of Milano - Bicocca（米兰比可卡大学）；Institute of Informatics Problems, FRC CSC RAS（俄罗斯科学院联邦研究中心“计算机科学与控制”研究所信息学问题研究所）
针对跨语言语音情感识别中源域与目标域分布差异及标注数据稀缺的问题，提出基于Transformer的半监督学习方法，利用硬伪标签和软伪标签策略适应新域，在五种语言上未加权准确率平均提升40%。
2023-07-17 cs.AI cs.LG cs.SD
Towards Transferable Speech Emotion Representation: On loss functions for cross-lingual latent representations
Technical University of Denmark（丹麦技术大学）；Copenhagen University Hospital（哥本哈根大学医院）；Copenhagen University（哥本哈根大学）
近年来，语音情感识别（SER）已被广泛应用于从医疗保健到商业部门。除了信号处理方法之外，SER方法现在还使用深度学习技术，这些技术提供了迁移学习的可能性。然而，概括语言，语料库和记录条件仍然是一个开放的挑战。在这项工作中，我们通过探索损失函数来解决这一差距，这些损失函数有助于可转移性，特别是非音调语言。我们提出了一个变分自动编码器（VAE）与KL退火和半监督VAE，以获得更一致的潜在嵌入分布在数据集。为了确保可转移性，潜在嵌入的分布应该在非音调语言（数据集）中相似。首先，我们提出了一个低复杂度的SER的基础上的去噪自动编码器，实现了一个未加权的分类精度超过52.09%的四类情感分类。该性能与类似基线方法的性能相当。在此之后，我们采用VAE，半监督VAE和KL退火的VAE来获得更正则化的潜在空间。我们发现，虽然DAE的方法中具有最高的分类精度，半监督VAE具有可比的分类精度和更一致的潜在嵌入分布的数据集。
2022-03-28 cs.SD eess.AS
EmoSSLSphere: Multilingual Emotional Speech Synthesis with Spherical Vectors and Discrete Speech Tokens
提出 EmoSSLSphere 框架，融合球面情感向量与 SSL 离散令牌特征，实现多语言情感 TTS 的细粒度控制、跨语言情感迁移和说话人身份保持，并在英日语料上验证其合成质量优势。
2025-10-06 eess.AS
Linguistic and Gender Variation in Speech Emotion Recognition using Spectral Features
Munster Technological University（芒斯特理工大学）
本研究探讨了性别和语言因素对情感表达分类准确性的影响。情感表达是从语音的频谱特征（梅尔倒谱系数，梅尔频谱图，频谱对比度）的角度来考虑的。情绪是从基本情绪理论的角度来考虑的。利用卷积神经网络对英语、德语和意大利语的情感音频数据集中的情感表达进行分类。通过（i）识别合适的频谱特征的比较分析，（ii）单，多和跨语言情感数据的分类性能和（iii）机器学习模型的经验评估，以评估性别和语言差异对分类准确性的影响，评估频谱特征的声乐变化。结果表明，光谱特征提供了一个潜在的途径，增加情绪表达分类。此外，情绪表达分类的准确性是高的单语言和跨语言的情绪数据，但在多语言数据差。同样，性别人群之间的分类准确性也存在差异。这些结果证明了考虑人口差异以实现准确的语音情感识别的重要性。
2022-10-26 cs.SD eess.AS
Prosody as Supervision: Bridging the Non-Verbal--Verbal for Multilingual Speech Emotion Recognition
UPES, India（UPES）；Veer Bahadur Singh Purvanchal University, India（维尔·巴哈杜尔·辛格普尔万查尔大学）；Ulster University, UK（阿尔斯特大学）
本文提出一种非语言到语言的迁移框架，通过非语言语音特征提升多语言语音情绪识别性能，采用超几何向量量化代码本和超几何情绪透镜，实现情绪强度建模，优于传统欧几里得方法。
2026-04-22 eess.AS
Task-Vector Arithmetic for Emotional Expressivity Control in Language-Model-Based Text-to-Speech
Instituto de Biociências, Letras e Ciências Exatas Universidade Estadual Paulista "Júlio de Mesquita Filho" (UNESP)（生物科学、文学和精确科学学院 帕尔马斯州立大学 "Júlio de Mesquita Filho" (UNESP)）
本文通过系统消融实验定位情感韵律的主要载体为x-vector，并提出一种基于x-vector质心算术的无训练方法，实现跨说话人情感强度控制，在保留身份和可懂度的同时提升情感相似度。
2026-06-25 cs.SD eess.AS
Speak Foreign Languages with Your Own Voice: Cross-Lingual Neural Codec Language Modeling
Microsoft（微软）
我们提出了一个跨语言的神经编解码语言模型，VALL-E X，用于跨语言的语音合成。具体来说，我们扩展VALL-E和训练多语种条件编解码器语言模型预测的声学令牌序列的目标语言语音使用源语言语音和目标语言文本作为提示。VALL-E X继承了强大的上下文学习能力，可应用于zero-shot跨语言文本到语音合成和zero-shot语音到语音翻译任务。实验结果表明，该方法能够以源语言中的一段语音作为提示，生成高质量的目标语言语音，同时保留了说话人的声音、情感和声环境。此外，VALL-E X有效地消除了外国口音问题，这可以通过语言ID进行控制。音频样本可在\url{https://aka.ms/vallex}上获得。
2023-03-07 cs.AI cs.CL cs.SD
Is Prosody Lost in Translation? Fine-Grained Cross-Lingual Prosody Similarity Across Languages
Center for Language and Speech Processing (CLSP), Johns Hopkins University（约翰斯·霍普金斯大学语言与语音处理中心）
本研究利用多语言配音数据开展跨语言韵律细粒度分析，发现特定语言间韵律结构存在内在相关性，为表达性语音到语音翻译系统提供了实证指导。
2026-08-31 cs.CL cs.SD eess.AS
Generative Data Augmentation Guided by Triplet Loss for Speech Emotion Recognition
University of St. Gallen（圣加仑大学）；Reykjavik University（雷克雅未克大学）
语音情感识别（SER）是人机交互的关键，但仍然是一个具有挑战性的问题，因为两个主要的障碍：数据稀缺和不平衡。SER的许多数据集基本上是不平衡的，其中一个类别（最常见的是中性）的数据话语比其他类别的数据话语更频繁。此外，只有少数数据资源可用于许多现有的口头语言。为了解决这些问题，我们利用了一个基于GAN的增强模型，由一个三元组网络引导，以提高SER性能给定的不平衡和不足的训练数据。我们进行了实验并证明：1）对于高度不平衡的数据集，我们的增强策略显着提高了SER性能（与基线相比，召回分数增加了8%）。2)此外，在跨语言基准测试中，我们训练一个模型，有足够的源语言的话语，但很少的目标语言的话语（在我们的实验中约50），我们的增强策略带来的SER性能的所有三个目标语言的好处。
2022-08-09 cs.SD eess.AS
A cross-corpus study on speech emotion recognition
University of Sheffield（谢菲尔德大学）；Emotech Labs（Emotech实验室）
对于语音情感数据集，很难获得大量可靠的数据，并且与日常生活中表现出的表达性较低的情感相比，行为情感可能过于突出。最近，人们创建了具有自然情感的更大数据集。而不是忽略较小的，采取行动的数据集，这项研究调查是否从采取行动的情绪学习的信息是有用的检测自然的情绪。跨语料库研究主要考虑跨语言甚至跨年龄的数据集，并且由于注释情感的不同方法导致性能下降而产生困难。为了保持一致，四个成人英语数据集，包括采取行动，引发和自然的情绪。一个国家的最先进的模型，提出了准确地调查性能的退化。该系统涉及一个双向LSTM，具有注意力机制来对数据集上的情绪进行分类。实验研究了跨语料库和多领域的训练模型的效果，结果表明信息的传递并不成功。领域外模型领域模型，然后适应缺失的数据集，以及领域对抗训练（DAT）被证明更适合于跨数据集概括情感。这表明了从行为数据集到具有更自然情感的数据集的积极信息传递，以及在不同语料库上训练的好处。
2022-07-05 cs.CL cs.SD eess.AS
Learning Multilingual Expressive Speech Representation for Prosody Prediction without Parallel Data
LIA - Avignon Universite（阿维尼翁大学LIA实验室）；University of Cambridge（剑桥大学）
提出基于离散语音单元的多语言情感嵌入方法，通过预测音高和时长实现跨语言情感保持的语音重合成，无需并行数据且优于基线。
2023-06-29 cs.CL cs.SD eess.AS
Do Speech Emphasis Models Generalize across Languages and Emotions?
Adobe Research, USA（Adobe研究院，美国）；Brown University, USA（布朗大学，美国）
本文构建多语言多情感强调语料库MMEE，通过跨语言、跨情感等实验发现单语模型零样本迁移有限，而多语言训练显著提升鲁棒性。
2026-06-29 cs.AI cs.CL cs.LG
CLARA: Multilingual Contrastive Learning for Audio Representation Acquisition
Bournemouth University（伯恩茅斯大学）
CLARA通过多语言对比学习与自监督方法，在有限标注数据下实现跨语言情绪感知的语音表征，并在零样本、少样本及低资源语言场景中取得优异表现。
2023-11-01 cs.LG cs.MM cs.SD
Transfer Learning From Sound Representations For Anger Detection in Speech
Google（谷歌）
在这项工作中，我们训练完全卷积网络来检测语音中的愤怒。由于训练这些深度架构需要大量数据，而情感数据集的大小相对较小，因此我们使用迁移学习。然而，与以前使用语音或基于情感的任务作为源模型的方法不同，我们使用SoundNet，这是一种在大规模视频数据集上进行多模态训练的完全卷积神经网络，用于对音频进行分类，并使用基于视觉的分类器提供的地面真实标签。由于SoundNet的迁移学习，我们训练的愤怒检测模型提高了性能，并在各种行为，引发和自然情感语音数据集上进行了很好的推广。我们还测试了跨语言的有效性，我们的模型进行评估，我们的英语训练的模型对普通话的语音情感数据。此外，我们提出的系统具有适合实时应用的低延迟，仅需要1.2秒的音频来进行可靠的分类。
2019-02-06 cs.LG cs.SD eess.AS
Joint Multi-scale Cross-lingual Speaking Style Transfer with Bidirectional Attention Mechanism for Automatic Dubbing
Tsinghua University（清华大学）；The Chinese University of Hong Kong（香港中文大学）；ByteDance（字节跳动）
本文提出联合多尺度跨语言说话风格迁移框架，通过双向注意力机制在语句级和词级同时建模双向风格迁移，并利用风格增强的FastSpeech 2合成语音，在自动配音中超越仅迁移时长的基线系统。
2024-07-05 cs.SD eess.AS
Cross-Corpus Multilingual Speech Emotion Recognition: Amharic vs. Other Languages
Northwest University（西北大学）；University of Essex（埃塞克斯大学）；University of Sialkot（锡亚尔科特大学）；Hoseo University（湖西大学）；Abu Dhabi University（阿布扎比大学）
针对低资源语言语音情感识别缺训练数据的问题，该研究以阿姆哈拉语为核心，对比多语言跨语料迁移效果，发现多源语言训练优于单源，为低资源SER提供了有效策略。
2023-07-20 cs.CL cs.NE cs.SD
Optimizing Multilingual Text-To-Speech with Accents & Emotions
本文提出一种集成口音保留、音译保持与多尺度情感建模的TTS架构，针对印地语和印度英语优化，显著提升口音准确率与情感识别，支持实时混合代码生成。
2025-06-19 cs.HC cs.LG cs.SD
Enhanced Speech Emotion Recognition with Efficient Channel Attention Guided Deep CNN-BiLSTM Framework
United International University（联合国际大学）
针对语音情感识别中低成本选取相关特征的难题，提出融合注意力局部特征块与全局特征块的轻量级CNN-BiLSTM框架，在五个多语言基准数据集上取得当前最优的识别准确率。
2024-12-13 cs.AI cs.LG cs.SD
OpenVoice: Versatile Instant Voice Cloning
MIT（麻省理工学院）；Tsinghua University（清华大学）
本研究提出OpenVoice多功能即时语音克隆方法，实现灵活语音风格控制与零样本跨语言克隆，计算成本远低于商用API，已开源并获大规模应用。
2024-08-18 cs.LG cs.SD eess.AS
FunAudioLLM: Voice Understanding and Generation Foundation Models for Natural Interaction Between Humans and LLMs
Alibaba Group（阿里巴巴集团）；FunAudioLLM
本研究推出FunAudioLLM语音交互模型家族，包含SenseVoice语音理解模型与CosyVoice语音生成模型，已开源相关模型与代码，可支撑多种语音交互应用，推动语音交互技术发展。
2024-07-11 cs.AI cs.SD eess.AS
Abusive Speech Detection in Indic Languages Using Acoustic Features
University of Augsburg（奥格斯堡大学）；audEERING GmbH（audEERING有限公司）；Imperial College（帝国理工学院）
针对语音辱骂检测问题，本文提出使用声学和韵律特征进行分类，利用ADIMA数据集在多语言和跨语言设置下训练模型，证明仅靠声学特征即可有效检测印度语系中的辱骂内容。
2024-07-30 cs.SD eess.AS
StarGANv2-VC: A Diverse, Unsupervised, Non-parallel Framework for Natural-Sounding Voice Conversion
Columbia University（哥伦比亚大学）
我们提出了一种无监督的非并行多对多语音转换（VC）方法，使用生成对抗网络（GAN）称为StarGAN v2。使用对抗源分类器损失和感知损失的组合，我们的模型显着优于以前的VC模型。虽然我们的模型只训练了20名英语使用者，但它可以推广到各种语音转换任务，例如任意到多个，跨语言和唱歌转换。使用风格编码器，我们的框架还可以将普通阅读语音转换为风格语音，如情感语音和假声语音。主观和客观的评价实验的非并行多对多语音转换任务显示，我们的模型产生自然的声音，接近最先进的文本到语音（TTS）的语音转换方法，而不需要文本标签的声音质量。此外，我们的模型是完全卷积的，并且具有比实时更快的声码器，如并行WaveGAN，可以执行实时语音转换。
2021-07-23 cs.LG cs.SD eess.AS
A Multilingual Framework for Dysarthria: Detection, Severity Classification, Speech-to-Text, and Clean Speech Generation
Beaver Works Summer Institute, Massachusetts Institute of Technology（麻省理工学院贝弗工作暑期研究所）；Columbia University（哥伦比亚大学）
本研究针对现有构音障碍工具跨语言泛化性不足的问题，提出统一多语言AI框架，覆盖检测、严重程度分类等六大任务，在英俄德三语数据上取得优异效果，可辅助诊断并改善多语言患者沟通。
2025-10-05 cs.SD eess.AS
