Cross-Corpus Multilingual Speech Emotion Recognition: Amharic vs. Other Languages
Northwest University（西北大学）；University of Essex（埃塞克斯大学）；University of Sialkot（锡亚尔科特大学）；Hoseo University（湖西大学）；Abu Dhabi University（阿布扎比大学）
针对低资源语言语音情感识别缺训练数据的问题，该研究以阿姆哈拉语为核心，对比多语言跨语料迁移效果，发现多源语言训练优于单源，为低资源SER提供了有效策略。
2023-07-20 cs.CL cs.NE cs.SD
SeQuiFi: Mitigating Catastrophic Forgetting in Speech Emotion Recognition with Sequential Class-Finetuning
IIIT-Delhi（德里印度信息技术学院）；University of Tartu（塔尔图大学）；Reliance Jio AICoE（信实Jio人工智能创新中心）
SeQuiFi通过序列化类别微调策略，每次对一个情感类别进行增量微调，有效缓解了语音情感识别中的灾难性遗忘，在多语言基准数据集上的准确率和F1分数显著优于现有方法。
2024-10-16 cs.SD eess.AS
CLARA: Multilingual Contrastive Learning for Audio Representation Acquisition
Bournemouth University（伯恩茅斯大学）
CLARA通过多语言对比学习与自监督方法，在有限标注数据下实现跨语言情绪感知的语音表征，并在零样本、少样本及低资源语言场景中取得优异表现。
2023-11-01 cs.LG cs.MM cs.SD
Persian Speech Emotion Recognition by Fine-Tuning Transformers
本文针对波斯语语音情感识别，提出基于频谱图和音频微调Transformers的模型，在shEMO数据集上准确率提升至80%，结合英文数据集多语言微调后达82%。
2024-02-11 cs.AI cs.SD eess.AS
Unsupervised Adversarial Domain Adaptation for Cross-Lingual Speech Emotion Recognition
University of Southern Queensland（南昆士兰大学）；Information Technology University (ITU)（信息技术大学）；University of the West of England (UWE)（西英格兰大学）
跨语言语音情感识别（SER）是许多实际应用的关键任务。训练数据和测试数据分布的差异往往会降低SER系统的性能。当训练数据和测试数据属于不同的语言时，这些差异变得更加明显，这导致验证和测试分数之间的显着性能差距。因此，迫切需要建立更稳健的模型，可以适合SER系统的实际应用。因此，在本文中，我们提出了一种基于生成对抗网络（GAN）的多语言SER模型。我们选择使用GAN的动机是他们在学习底层数据分布方面取得了巨大的成功。所提出的模型的设计方式，可以学习语言不变的表示，而不需要目标语言的数据标签。我们在四种不同语言的情感数据集上评估了我们提出的模型，包括乌尔都语数据集，还包括难以找到标记数据的替代语言，并且主流社区尚未对其进行太多研究。我们的研究结果表明，我们提出的模型可以显着提高基线跨语言SER性能的所有考虑的数据集，包括非主流乌尔都语数据，而不需要任何标签。
2020-07-28 cs.SD eess.AS
Meta-Learning for Low-Resource Neural Machine Translation
The University of Hong Kong（香港大学）；New York University（纽约大学）
在本文中，我们提出了扩展最近推出的模型无关Meta学习算法（MAML）的低资源神经机器翻译（NMT）。我们将低资源翻译视为元学习问题，并根据多语言高资源语言任务学习适应低资源语言。我们使用通用的词汇表示~ \citep{gu2018universal}来克服不同语言之间的输入输出不匹配。我们使用十八种欧洲语言（Bg，Cs，Da，De，El，Es，Et，Fr，Hu，It，Lt，Nl，Pl，Pt，Sk，Sl，Sv和Ru）作为源任务和五种不同的语言（Ro，Lv，Fi，Tr和Ko）作为目标任务来评估所提出的元学习策略。我们表明，所提出的方法显着优于多语言，迁移学习为基础的方法\citep{zoph2016transfer}，使我们能够训练一个有竞争力的NMT系统，只有一小部分的训练样本。例如，所提出的方法可以在罗马尼亚语-英语WMT'16上实现高达22.04 BLEU，只需要看到16，000个翻译单词（约600个平行句子）。
2018-08-25 cs.CL cs.LG
CAMEO: Collection of Multilingual Emotional Speech Corpora
Adam Mickiewicz University（亚当·密茨凯维奇大学）
CAMEO是一个多语言情感语音数据集，旨在提供标准化基准以评估不同语言和情感状态下的语音情感识别系统。
2026-01-27 cs.CL cs.SD eess.AS
Optimizing Multilingual Text-To-Speech with Accents & Emotions
本文提出一种集成口音保留、音译保持与多尺度情感建模的TTS架构，针对印地语和印度英语优化，显著提升口音准确率与情感识别，支持实时混合代码生成。
2025-06-19 cs.HC cs.LG cs.SD
Learning Multilingual Expressive Speech Representation for Prosody Prediction without Parallel Data
LIA - Avignon Universite（阿维尼翁大学LIA实验室）；University of Cambridge（剑桥大学）
提出基于离散语音单元的多语言情感嵌入方法，通过预测音高和时长实现跨语言情感保持的语音重合成，无需并行数据且优于基线。
2023-06-29 cs.CL cs.SD eess.AS
Do Speech Emphasis Models Generalize across Languages and Emotions?
Adobe Research, USA（Adobe研究院，美国）；Brown University, USA（布朗大学，美国）
本文构建多语言多情感强调语料库MMEE，通过跨语言、跨情感等实验发现单语模型零样本迁移有限，而多语言训练显著提升鲁棒性。
2026-06-29 cs.AI cs.CL cs.LG
MERaLiON-SER: Robust Speech Emotion Recognition Model for English and SEA Languages
MERaLiON Team Institute for Infocomm Research (I 2 R), A*STAR, Singapore（MERaLiON团队信息与通信研究所（I 2 R），A*STAR，新加坡）
针对英语和东南亚语言的语音情感识别问题，提出MERaLiON-SER模型，通过加权分类交叉熵与CCC损失的混合目标联合建模离散和维度情感，在多语言基准上优于现有模型，为情感感知智能体系统提供基础。
2025-11-12 cs.AI cs.SD
Exploring Multilingual Unseen Speaker Emotion Recognition: Leveraging Co-Attention Cues in Multitask Learning
Indraprastha Institute of Information Technology Delhi (IIIT-D)（英迪拉普拉斯塔德里信息技术学院（IIIT-D））；MIRAE AI Systems Pvt. Ltd.（未来人工智能系统私人有限公司）
针对多语言语音情感识别难以泛化至未见说话人的问题，提出融合共同注意力与多任务学习的CAMuLeNet架构，基准测试显示其在未见说话人任务上平均提升约8%，还发布了印地语SER数据集BhavVani。
2024-06-20 cs.AI cs.CL cs.SD
Pre-trained Speech Processing Models Contain Human-Like Biases that Propagate to Speech Emotion Recognition
University of Washington（华盛顿大学）；NIST（美国国家标准与技术研究院）
本文提出 SpEAT 方法检测预训练语音模型中的类人偏见，发现 16 个模型中多数存在对残障、非裔、男性、非美国口音及年长群体的负向效价关联，并证明这些偏见会传播到下游语音情感识别任务。
2023-10-29 cs.CL cs.LG cs.SD
PTS-SNN: A Prompt-Tuned Temporal Shift Spiking Neural Networks for Efficient Speech Emotion Recognition
College of Artificial Intelligence, Southwest University, Chongqing, 400715, China（人工智能学院，西南大学，重庆，400715，中国）；Chongqing Key Laboratory of Brain Inspired Computing and Intelligent Chips, Chongqing, 400715, China（重庆脑启发计算与智能芯片重点实验室，重庆，400715，中国）
PTS-SNN通过时序移位脉冲编码器和上下文感知膜电位校准策略，实现高效的语音情感识别，准确率与人工神经网络相当，能耗显著降低。
2026-02-09 cs.AI cs.SD
Improving Speech Emotion Recognition in Under-Resourced Languages via Speech-to-Speech Translation with Bootstrapping Data Selection
National Taiwan University（台湾大学）；National Tsing Hua University（清华大学）
针对非英、中语言情感标注稀缺问题，提出用表达性 S2ST 与自举数据选择生成目标语言标注数据，提升多语言 SER 的跨模型与跨语言泛化性能。
2025-01-07 cs.CL cs.SD eess.AS
CosyVoice 3: Towards In-the-wild Speech Generation via Scaling-up and Post-training
Tongyi Lab, Alibaba Group（通义实验室，阿里巴巴集团）
本文提出 CosyVoice 3，通过扩大数据与模型规模并采用新分词器和可微奖励模型后训练，提升野外零样本多语言语音合成的自然度、一致性与相似性。
2025-05-27 cs.AI cs.SD eess.AS
Geometric Analysis of Speech Representation Spaces: Topological Disentanglement and Confound Detection
Networked Sensing \& Biomedical Engineering (NSBE) Research lab, School of Engineering
本文提出四指标聚类框架，评估语音特征在多语言环境中的几何解缠与混淆检测，为构建公平可靠的语音健康系统提供指导。
2026-02-24 cs.SD eess.AS
Source Tracing of Synthetic Speech Systems Through Paralinguistic Pre-Trained Representations
UPES, India（印度UPES大学）；V.B.S.P.U, India（印度V.B.S.P.U大学）；IIIT-Delhi, India（印度德里理工学院）；Independent Researcher, India（印度独立研究者）；Reliance AI, India（印度Reliance AI公司）；University of Tartu, Estonia（爱沙尼亚塔尔图大学）；Plaksha university,India（印度Plaksha大学）
本文研究合成语音系统溯源，提出融合副语言与说话人识别预训练表征的TRIO框架，通过门控加权、典型相关对齐和自注意力细化，在该任务上取得新的最优性能。
2025-06-01 cs.SD eess.AS
IndexTTS 2.5 Technical Report
Bilibili Inc.（哔哩哔哩公司）
IndexTTS 2.5通过四方面改进提升了多语言支持、推理速度和合成质量，实现了更广泛的语言覆盖和情感语调复制。
2026-08-12 cs.AI cs.SD
A Multilingual Framework for Dysarthria: Detection, Severity Classification, Speech-to-Text, and Clean Speech Generation
Beaver Works Summer Institute, Massachusetts Institute of Technology（麻省理工学院贝弗工作暑期研究所）；Columbia University（哥伦比亚大学）
本研究针对现有构音障碍工具跨语言泛化性不足的问题，提出统一多语言AI框架，覆盖检测、严重程度分类等六大任务，在英俄德三语数据上取得优异效果，可辅助诊断并改善多语言患者沟通。
2025-10-05 cs.SD eess.AS
Emotional Voice Messages (EMOVOME) database: emotion recognition in spontaneous voice messages
本文提出EMOVOME自发语音消息数据库，包含100名西班牙语者的999条真实语音消息，并通过语音和文本模型建立情感识别基线。
2024-06-13 cs.AI cs.CL cs.SD
Investigating Polyglot Speech Foundation Models for Learning Collective Emotion from Crowds
IIIT-Delhi（印度德里印度理工学院）；UPES（乌普萨拉理工学院）；V.B.S.P.U（V.B.S.P.U大学）；VIT（瓦拉纳西理工学院）；Independent Researcher（独立研究者）；L.B.R College of Engineering（L.B.R工程学院）；Reliance AI
本文通过基准数据集实验证明，多语言语音基础模型在人群情感识别中优于单语言和说话人识别模型，尤其在极短音频输入下仍表现突出，为建立新基准提供了依据。
2025-09-19 cs.SD eess.AS
Rasa: Building Expressive Speech Synthesis Systems for Indian Languages in Low-resource Settings
AI4Bharat；Indian Institute of Technology Madras（马德拉斯印度理工学院）
本文发布首个面向印度语言的多语言富有表现力TTS数据集Rasa，覆盖阿萨姆语、孟加拉语和泰米尔语，并通过消融实验证明少量中性加表现力数据即可构建可用系统，为低资源语言语音合成提供了实用方案。
2024-08-30 cs.CL cs.LG cs.SD
Enhancing expressivity transfer in textless speech-to-speech translation
Avignon Universite（阿维尼翁大学）；University of Cambridge（剑桥大学）
本研究提出一种在离散语音单元级别利用多语言情感嵌入的方法，以增强无文本语音到语音翻译中的表现力迁移，实验证明其优于现有系统。
2023-10-11 cs.CL cs.SD eess.AS
Towards Better Disentanglement in Non-Autoregressive Zero-Shot Expressive Voice Conversion
Karlsruhe Institute for TechnologyGermany（卡尔斯鲁厄理工学院德国）；Carnegie Mellon UniversityUSA（卡内基梅隆大学美国）
本文提出改进的非自回归零样本表现力语音转换方法，通过多语言离散单元、相似性损失、混合风格归一化及局部F0与全局音高能量特征增强解耦，在情感和说话人相似度上优于基线。
2025-06-04 cs.AI cs.SD eess.AS
