迈向可泛化的语音情感识别：用于大规模多语言语音中时间情感变化建模的软标签与数据增强
Towards Generalizable SER: Soft Labeling and Data Augmentation for Modeling Temporal Emotion Shifts in Large-Scale Multilingual Speech
AI总结：
本研究通过整合16个数据集、提出软标签系统及利用Whisper编码器和对比学习增强，实现了多语言语音情感时间动态建模，并在四个数据集上验证了零样本泛化能力。
摘要：
识别口语交流中的情感对于先进的人机交互至关重要。当前的情感检测方法在跨语料库应用时常常表现出偏差。为解决此问题，我们的研究整合了16个多样化数据集，产生了涵盖英语、中文和日语等语言的375小时数据。我们提出了一种软标签系统来捕捉渐变的情感强度。利用Whisper编码器和受对比学习启发的数据增强方法，我们的方法强调了情感的时间动态。我们在四个多语言数据集上的验证展示了显著的零样本泛化能力。我们发布了开源模型权重，并在Hume-Prosody上微调后取得了初步的有希望的结果。
英文摘要：
Recognizing emotions in spoken communication is crucial for advanced human-machine interaction. Current emotion detection methodologies often display biases when applied cross-corpus. To address this, our study amalgamates 16 diverse datasets, resulting in 375 hours of data across languages like English, Chinese, and Japanese. We propose a soft labeling system to capture gradational emotional intensities. Using the Whisper encoder and data augmentation methods inspired by contrastive learning, our method emphasizes the temporal dynamics of emotions. Our validation on four multilingual datasets demonstrates notable zero-shot generalization. We publish our open source model weights and initial promising results after fine-tuning on Hume-Prosody.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
