Leveraging the structure of musical preference in content-aware music recommendation
IRIT（图卢兹计算机科学研究所）；Université de Toulouse（图卢兹大学）；CNRS（法国国家科学研究中心）
最先进的音乐推荐系统是基于协同过滤的，它根据用户的收听习惯和与其他用户的简档的相似性来预测用户的兴趣。这些方法对歌曲内容是不可知的，因此面临冷启动问题：如果没有收听历史，它们就不能推荐新的歌曲。为了解决这个问题，内容感知推荐结合了关于歌曲的信息，这些信息可以用于推荐新项目。属于这一类的大多数方法利用用户注释的标签，声学特征或深度学习的特征。因此，这些内容特征不具有明确的音乐含义，因此从音乐偏好的角度来看，它们不一定相关。在这项工作中，我们建议，而不是利用一个模型的音乐偏好，起源于音乐心理学领域。从低层次的声学特征，我们提取三个因素（唤醒，效价和深度），这已被证明是适当的描述音乐品味。然后，我们将这些集成到一个协同过滤框架的内容感知音乐推荐。在大规模数据上进行的实验表明，该方法能够解决冷启动问题，同时使用紧凑且有意义的音乐特征集。
2021-02-09 cs.IR cs.SD eess.AS
Mind the beat: detecting audio onsets from EEG recordings of music listening
Georgia Institute of Technology（佐治亚理工学院）
我们提出了一种深度学习方法来预测用户在听音乐时记录的脑电图（EEG）中的音频事件发作。我们使用一个公开的数据集，其中包含10首当代歌曲和同时记录的EEG。我们为数据集中的歌曲生成一系列起始标签，并训练神经网络（全连接网络（FCN）和递归神经网络（RNN））来解析输入EEG的第二个窗口，以预测音频中的第二个起始窗口。我们将我们的RNN网络与标准的基于光谱通量的新颖性函数和FCN进行了比较。我们发现，我们的RNN能够产生比其他方法更好地反映其泛化能力的结果。由于没有预先存在的工作在这个问题上，本文中提出的数字可以作为有用的基准，为未来的方法，这个研究问题。
2021-02-12 cs.SD eess.AS eess.SP
Automatic Detection of Reactions to Music via Earable Sensing
KOREATECH（韩国技术教育大学）；Nokia Bell Labs（诺基亚贝尔实验室）
提出GrooveMeter系统，利用智能耳塞的IMU和麦克风自动检测对音乐的发声与动作反应，在自建数据集上验证了高准确性与鲁棒性，并有效降低了系统能耗。
2023-04-06 cs.HC cs.SD eess.AS
Generating Piano Music with Transformers: A Comparative Study of Scale, Data, and Metrics
RWTH Aachen University（亚琛工业大学）；University of Washington（华盛顿大学）
本文通过比较不同数据集、模型架构和训练策略，探讨了使用Transformer生成钢琴音乐时，模型规模和度量标准对生成质量的影响。
2026-01-04 cs.SD eess.AS
Expressive Music Data Processing and Generation
University of California San Diego（加利福尼亚大学圣迭戈分校）
针对AI音乐生成缺乏表现力与连贯性的问题，本文提出基于Weber定律的聆听式数据处理、概率链式多输出建模及输出熵筛选准则。
2025-03-14 cs.AI cs.SD eess.AS
The Skipping Behavior of Users of Music Streaming Services and its Relation to Musical Structure
Spotify（声田）
从单个歌曲的时间维度的角度研究音乐流媒体服务的用户的行为;具体地，分析的主要对象是用户停止收听并开始流播另一首歌曲（“跳过”）的歌曲内的时间点。本研究的主要贡献是确定了跳跃事件的时间分布与歌曲的音乐结构之间的相关性。它还表明，这种分布不仅是特定的个人歌曲，但也独立于用户的队列，并在固定条件下，观察日期。最后，用户的行为数据被用来训练的预测一首歌的音乐结构，仅仅从它的声学内容，它示出，使用这样的数据，可在大量的音乐流媒体服务，产生显着的改进，在精度上的习惯的方式训练这一类的算法，其中只有少量的手标记的数据是可用的。
2019-03-12 cs.IR cs.SD eess.AS
Spectrotemporal Modulation: Efficient and Interpretable Feature Representation for Classifying Speech, Music, and Environmental Sounds
New York University（纽约大学）；Queen Mary University of London（伦敦大学女王学院）；Max Planck Society（马克斯·普朗克协会）
本文提出基于频谱时间调制（STM）特征的无预训练音频分类方法，在语音、音乐和环境声音上达到与预训练音频DNN相当的性能，证明STM高效且可解释，并为听觉科学、脑机接口和认知计算开辟新方向。
2025-05-29 cs.LG cs.SD eess.AS
Multimodal Fusion Based Attentive Networks for Sequential Music Recommendation
IIIT Hyderabad（海得拉巴国际信息技术学院）
音乐有能力唤起强烈的情感体验，调节个人的情绪。随着在线流媒体服务的出现，音乐推荐服务的研究取得了巨大的进展。利用用户的收听历史进行基于会话的歌曲推荐的现代方法忽略了从歌词和声学内容中提取的特征的重要性。我们通过多种方式解决歌曲预测的任务，包括标签，歌词和声学内容。在本文中，我们提出了一种新的深度学习方法，通过使用通过Transformer模型（用于歌词）和变分自编码器（用于声学特征）导出的表示来改进注意神经网络。我们的模型实现了显着的改进，在现有的国家的最先进的模型，单独使用抒情和声学功能的性能。此外，我们进行了一项研究，调查用户的心理健康对我们的模型的性能的影响。
2021-10-03 cs.MM cs.SD eess.AS
Multi-Task Self-Supervised Pre-Training for Music Classification
Amazon（亚马逊）
深度学习非常需要数据，而监督学习尤其需要大量的标记数据才能很好地工作。机器听力研究通常会遇到有限的标记数据问题，因为人类注释的获取成本很高，而音频注释既耗时又不直观。此外，从标记数据集学习的模型通常会嵌入特定于该特定数据集的偏见。因此，无监督学习技术成为解决机器听力问题的热门方法。特别地，利用多个手工制作的音频特征的重建的自监督学习技术在应用于语音领域（诸如情感识别和自动语音识别（ASR））时已经显示出有希望的结果。在本文中，我们将自我监督和多任务学习方法应用于预训练音乐编码器，并探索各种设计选择，包括编码器架构，加权机制，以结合多个任务的损失，以及工作人员对借口任务的选择。我们研究这些设计选择如何与各种下游音乐分类任务相互作用。我们发现，使用各种音乐特定的工人与加权机制，以平衡损失在预训练有助于改善和推广到下游的任务。
2021-02-05 cs.LG cs.SD eess.AS
Enhancing Music Features by Knowledge Transfer from User-item Log Data
Seoul National University（首尔国立大学）
在本文中，我们提出了一种新的方法，利用音乐收听日志数据的通用音乐特征提取。尽管用户-项目交互的日志数据中有丰富的信息，但它主要用于协同过滤以查找类似的项目或用户，而对于基于内容的音乐应用程序则没有进行充分的研究。我们通过将域内知识蒸馏扩展到跨域来解决这个问题：即，通过将从用户项域获得的知识转移到音乐内容域。该系统首先训练从音频内容中估计日志信息的模型，然后使用该模型来改进其他特定于任务的模型。在不同的音乐分类和回归任务上的实验表明，该方法成功地提高了特定于任务的模型的性能。
2019-03-07 cs.SD eess.AS
Music SketchNet: Controllable Music Generation via Factorized Representations of Pitch and Rhythm
UC San Diego（加州大学圣地亚哥分校）
与自动图像完成系统进行类比，我们提出了音乐SketchNet，一个神经网络框架，允许用户指定部分音乐的想法指导自动音乐生成。我们专注于在不完整的单声道音乐作品中生成缺失的小节，以周围背景为条件，并可选地由用户指定的音高和节奏片段指导。首先，我们介绍了SketchVAE，一种新的变分自编码器，明确因式分解节奏和音高轮廓，形成我们提出的模型的基础。然后，我们介绍了两个有区别的架构，SketchInpainter和SketchConnector，结合执行指导音乐完成，填充表示为周围的上下文和用户指定的片段的条件下缺失的措施。我们评估SketchNet的爱尔兰民间音乐的标准数据集，并与最近的作品模型进行比较。当用于音乐完成时，我们的方法在客观指标和主观听力测试方面都优于最先进的方法。最后，我们证明了我们的模型可以成功地将用户指定的片段在生成过程中。
2020-08-04 cs.LG cs.MM cs.SD
DNN-Based Frequency-Dependent Estimation of Speech, Music, and Noise Power in Acoustic Mixtures for Hearing-Aid Scene Analysis
WSA
针对助听器场景分析中多独立估计器的问题，提出用深度神经网络估计混合信号的语音、音乐、噪声功率分量，以VAD验证其性能与SOTA相当且场景描述更丰富。
2026-08-19 eess.AS
Accompaniment Prompt Adherence: A Measure for Evaluating Music Accompaniment Systems
Sony Computer Science Laboratories（索尼计算机科学实验室）
本文提出伴奏提示遵循度（APA）度量，用于评估音乐伴奏生成与条件音频提示的对齐程度，并通过实验验证其与人类判断一致，同时开源了基于CLAP的实现。
2025-04-08 cs.SD eess.AS
Exploiting Time-Frequency Conformers for Music Audio Enhancement
Seoul National University（首尔国立大学）
针对移动设备录制的音乐存在噪声、混响等退化问题，提出基于Conformer架构的音乐增强系统，在单声部任务上达最优，还可处理多轨混音通用增强。
2023-08-24 cs.LG cs.SD eess.AS
Generative Autoregressive Networks for 3D Dancing Move Synthesis from Music
Seoul National University（首尔国立大学）；Delft University of Technology（代尔夫特理工大学）
本文提出了一个框架，它是能够产生一个序列的三维人体舞蹈姿势为给定的音乐。该框架由三个部分组成：一个音乐特征编码器，一个姿势生成器，和一个音乐流派分类器。我们专注于集成这些组件，从音乐中生成一个逼真的3D人类舞蹈动作，它可以应用于人工代理和人形机器人。经过训练的舞蹈姿势生成器是一个生成自回归模型，能够合成超过5,000个姿势帧的舞蹈序列。实验结果表明，该方法可以根据给定的音乐生成类人的舞蹈动作。此外，生成的3D舞蹈序列被应用到一个人形机器人，表明所提出的框架可以使机器人跳舞只是听音乐。
2019-11-11 cs.LG cs.RO eess.AS
The Jazz Transformer on the Front Line: Exploring the Shortcomings of AI-composed Music through Quantitative Measures
National Taiwan University（台湾大学）；Taiwan AI Labs（台湾人工智能实验室）；Academia Sinica（中央研究院）
本文介绍了爵士乐Transformer，生成模型，利用神经序列模型称为transformer-XL建模的爵士乐的铅表。此外，该模型致力于将结构事件中存在的魏玛爵士乐数据库（WJazzD）诱导生成的音乐结构。虽然我们能够将训练损失降低到一个很低的值，但我们的听力测试表明，生成的平均评分与真实作品之间存在明显的差距。因此，我们更进一步，从不同的角度对生成的组合物进行了一系列的计算分析。这包括分析音高类，开槽和和弦进行的统计数据，在健身景观图的帮助下评估音乐的结构性，并通过类似MIREX的连续预测任务评估模型对爵士音乐的理解。我们的工作以分析的方式提出了为什么迄今为止机器生成的音乐仍然达不到人类的艺术作品，并为未来的自动作曲工作设定了一些目标。
2020-08-04 cs.AI cs.SD eess.AS
End-to-end Music Remastering System Using Self-supervised and Adversarial Training
Graduate School of AI, Seoul National University（首尔国立大学人工智能研究生院）
掌握是音乐制作中必不可少的一步，但它也是一项具有挑战性的任务，必须经过经验丰富的音频工程师的手，他们调整歌曲的音调，空间和音量。重制遵循同样的技术过程，其中的背景在于掌握一首适合时代的歌曲。由于这些任务具有很高的进入门槛，我们的目标是通过提出一个端到端的音乐重制系统，将输入音频的母带风格转换为目标的母带风格，从而降低门槛。该系统以自我监督的方式进行训练，其中发布的流行歌曲用于训练。我们还期望模型通过应用预训练的编码器和投影映射器来生成反映参考的母带风格的逼真音频。我们验证了我们的结果与定量指标和主观听力测试，并表明该模型生成的样本掌握风格类似的目标。
2022-02-17 cs.LG cs.SD eess.AS
