近年来，用于音乐的深度学习模型取得了巨大进步，但机器学习模型在捕捉情感方面的表现究竟如何，研究人员又面临哪些挑战？在本文中，我们全面概述了现有的音乐情感数据集，并讨论了该领域的评估标准及竞赛。我们还简要回顾了多年来构建的各种类型的音乐情感预测模型，深入展示了该领域内的多样化方法。通过这一考察，我们强调了在准确捕捉音乐情感方面持续存在的挑战，包括与数据集质量、标注一致性和模型泛化相关的问题。此外，我们探讨了不同模态（如音频、MIDI 和生理信号）对情感预测模型有效性的影响。通过这一考察，我们识别出音乐情感识别（MER）中持续存在的挑战，包括数据集质量问题、情感标签的模糊性以及跨数据集泛化的困难。我们认为，未来 MER 的进展需要标准化基准、更大更多样化的数据集以及改进的模型可解释性。鉴于该领域的动态特性，我们通过附带的 GitHub 仓库补充了我们的发现。该仓库包含音乐情感数据集和近期预测模型的全面列表。
英文摘要：
Deep learning models for music have advanced drastically in recent years, but how good are machine learning models at capturing emotion, and what challenges are researchers facing? In this paper, we provide a comprehensive overview of the available music-emotion datasets and discuss evaluation standards as well as competitions in the field. We also offer a brief overview of various types of music emotion prediction models that have been built over the years, providing insights into the diverse approaches within the field. Through this examination, we highlight the challenges that persist in accurately capturing emotion in music, including issues related to dataset quality, annotation consistency, and model generalization. Additionally, we explore the impact of different modalities, such as audio, MIDI, and physiological signals, on the effectiveness of emotion prediction models. Through this examination, we identify persistent challenges in music emotion recognition (MER), including issues related to dataset quality, the ambiguity in emotion labels, and the difficulties of cross-dataset generalization. We argue that future advancements in MER require standardized benchmarks, larger and more diverse datasets, and improved model interpretability. Recognizing the dynamic nature of this field, we have complemented our findings with an accompanying GitHub repository. This repository contains a comprehensive list of music emotion datasets and recent predictive models.
Semi-Supervised Self-Learning Enhanced Music Emotion Recognition
School of Computer Science and Technology, Fudan University（复旦大学计算机科学与技术学院）；Ping An Technology Co., Ltd.（平安科技有限公司）；Department of Music AI and Information Technology, Central Conservatory of Music（中央音乐学院音乐人工智能与信息技术系）；Shanghai Key Laboratory of Intelligent Information Processing, Fudan University（复旦大学上海智能信息处理重点实验室）
Emotion4MIDI: a Lyrics-based Emotion-Labeled Symbolic Music Dataset
Institute for Systems and Computer Engineering, Technology and Science (INESC TEC)（系统与计算机工程、技术与科学研究所（INESC TEC））；Faculty of Engineering, University of Porto（波尔图大学工程学院）；ISEP, Polytechnic of Porto, School of Engineering（波尔图理工学院工程学院（ISEP））
Symbolic music generation conditioned on continuous-valued emotions
Institute for Systems and Computer Engineering, Technology and Science (INESC TEC)（系统与计算机工程、技术与科学研究所（INESC TEC））；University of Coimbra（科英布拉大学）；Polytechnic of Porto（波尔图理工学院）
Neural Network architectures to classify emotions in Indian Classical Music
Sir C.V. Raman Centre for Physics and Music, Jadavpur University（贾达普大学C.V.拉曼物理与音乐中心）；Department of Medical Biophysics, University of Toronto（多伦多大学医学生物物理系）；Rekhi Centre of Excellence for the Science of Happiness, IIT Kharagpur（印度理工学院卡哈拉格普尔分校Rekhi幸福科学卓越中心）；School of Languages and Linguistics, Jadavpur University（贾达普大学语言与语言学学院）
Memo2496: Expert-Annotated Dataset and Dual-view Adaptive Framework for Music Emotion Recognition
Guangdong Provincial Key Laboratory of AI Large Model and Intelligent Cognition（广东省人工智能大模型与智能认知重点实验室）；School of Computer Science and Engineering, South China University of Technology（南方科技大学计算机科学与工程学院）；Research Centre for AI Large Models and Intelligent Cognition, Pazhou Lab（人工智能大模型与智能认知研究中心，琶洲实验室）；Engineering Research Centre of the Ministry of Education on Health Intelligent Perception and Paralleled Digital-Human, South China University of Technology（教育部健康智能感知与并行数字人工程研究中心，南方科技大学）
MERGE -- A Bimodal Audio-Lyrics Dataset for Static Music Emotion Recognition
University of Coimbra（科英布拉大学）；Centre for Informatics and Systems of the University of Coimbra（科英布拉大学信息与系统中心）；Department of Informatics Engineering（信息工程系）；LASI；Polytechnic Institute of Leiria - School of Technology and Management（莱里亚理工学院-技术与管理学院）；Ci2 - Smart Cities Research Center（Ci2-智慧城市研究中心）
EmotionBox: a music-element-driven emotional music generation system using Recurrent Neural Network
Key Laboratory of Noise and Vibration Research, Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所噪声与振动研究重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）；State Key Laboratory of Media Convergence and Communication, Communication University of China（中国传媒大学媒体融合与传播国家重点实验室）；School of Electronics and Communication Engineering, Guangzhou University（广州大学电子与通信工程学院）；National Environmental Protection Engineering and Technology Center for Road Traffic Noise Control（国家环境保护道路交通噪声控制工程技术中心）
EmoGen: Eliminating Subjective Bias in Emotional Music Generation
Shanghai Jiao Tong University（上海交通大学）；Microsoft Research Asia（微软亚洲研究院）；Nanjing University（南京大学）；National Engineering Research Center for Software Engineering, Peking University（北京大学软件工程国家工程研究中心）
EMelodyGen: Emotion-Conditioned Melody Generation in ABC Notation with the Musical Feature Template
Department of Music AI and Information Technology, Central Conservatory of Music（中央音乐学院音乐人工智能与信息科技系）；School of Computer Science and Technology, Fudan University（复旦大学计算机科学与技术学院）；Shanghai Key Laboratory of Intelligent Information Processing, Fudan University（复旦大学智能信息处理上海重点实验室）
这项工作提出了一个初步的概念证明，音乐情感识别（MER）系统可以故意偏向音乐引起的情绪在政治背景下的注释。具体而言，我们分析了传统的哥伦比亚音乐包含两种类型的政治性歌词：（1）vallenatos和社会歌曲从“左翼”游击队Fuerzas Armadas Revolucionarias de Colombia（FARC）和（2）corridos从“右翼”准军事组织哥伦比亚联合自卫军（AUC）。我们训练个性化的机器学习模型来预测三个具有不同政治观点的用户的诱导情绪-我们的目标是识别可能引起特定用户负面情绪的歌曲，例如愤怒和恐惧。在这种程度上，用户的情感判断可以被解释为问题化数据-主观情感判断可以反过来用于在以人为中心的机器学习环境中影响用户。简而言之，高度期望的“情绪调节”应用可能会偏离“情绪操纵”-最近对情绪识别技术的怀疑可能超越多样性和包容性的伦理问题。
A New Multilabel System for Automatic Music Emotion Recognition
University of Rome Tor Vergata（罗马第二大学）
在自动识别音乐所能诱发的情感方面取得进展需要考虑情感的多样性和复杂性。比较不同的机器学习算法执行多标签和多类分类是我们工作的核心。该研究分析了Geneva Emotional Music Scale 9在Quantify音乐数据集中的实施情况，并从机器学习的角度调查了其采用情况。我们的方法的情况下，通过音乐的情感表达/感应作为一个多标签和多类的问题，其中多个情感标签可以通过相同的音乐曲目的每个注释器（多标签），和每个情感可以识别或不音乐（多类）。其目的是通过音乐自动识别诱导的情感。
Are Expressions for Music Emotions the Same Across Cultures?
Max Planck Institute for Empirical Aesthetics（马克斯·普朗克实证美学研究所）；Max Planck Institute for Human Cognitive and Brain Sciences（马克斯·普朗克人类认知与脑科学研究所）；Cornell University（康奈尔大学）
Multi-Modality in Music: Predicting Emotion in Music from High-Level Audio Features and Lyrics
University of Copenhagen（哥本哈根大学）
本文旨在测试多模态方法的音乐情感识别（MER）是否比单模态的高层次的歌曲特征和歌词。我们使用从Spotify API检索的11个歌曲特征，组合歌词特征，包括情感，TF-IDF和Anew，以预测Deezer情绪检测数据集（DMDD）（Delbouys et al.，2018），具有4种不同的回归模型。我们发现，在11个高级歌曲特征中，主要有5个对性能有贡献，多模态特征在预测效价时比单独的音频做得更好。我们使我们的代码可供使用。
