arXivDaily arXiv每日学术速递 周一至周五更新
北美退伍军人节(Veterans Day),12 日无更新
arXiv 2506.19085cs.LGcs.SD
收藏

通过人类偏好研究基准测试音乐生成模型与评估指标

Benchmarking Music Generation Models and Metrics via Human Preference Studies

ETH Zurich(苏黎世联邦理工学院)

Florian Grötschla, Ahmet Solak, Luca A. Lanzendörfer, Roger Wattenhofer

AI总结:

本研究通过大规模人类偏好调查,首次基于人类偏好对12个最先进的音乐生成模型和常用评估指标进行排名,并公开数据集以推动主观指标评估。

摘要:

近期的进展使得生成音乐更接近人类创作的作品,然而评估这些模型仍然具有挑战性。尽管人类偏好是评估质量的黄金标准,但将这些主观判断转化为客观指标,特别是对于文本-音频对齐和音乐质量而言,已被证明是困难的。在这项工作中,我们使用12个最先进的模型生成了6000首歌曲,并开展了一项包含2500名人类参与者的15000次成对音频比较的调查,以评估人类偏好与广泛使用的指标之间的相关性。据我们所知,这项工作是首个基于人类偏好对当前最先进的音乐生成模型和评估指标进行排名的工作。为了推动主观指标评估领域的发展,我们公开提供了生成的音乐和人类评估数据集。

英文摘要:

Recent advancements have brought generated music closer to human-created compositions, yet evaluating these models remains challenging. While human preference is the gold standard for assessing quality, translating these subjective judgments into objective metrics, particularly for text-audio alignment and music quality, has proven difficult. In this work, we generate 6k songs using 12 state-of-the-art models and conduct a survey of 15k pairwise audio comparisons with 2.5k human participants to evaluate the correlation between human preferences and widely used metrics. To the best of our knowledge, this work is the first to rank current state-of-the-art music generation models and metrics based on human preference. To further the field of subjective metric evaluation, we provide open access to our dataset of generated music and human evaluations.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑