Revival: Collaborative Artistic Creation through Human-AI Interactions in Musical Creativity
School of Interactive Arts and Technology（交互艺术与技术学院）；Simon Fraser University（西蒙菲莎大学）
本研究介绍艺术家团体K-Phi-A的创新项目Revival，通过训练AI音乐智能体与人类音乐家实时即兴共创、搭配AI视觉合成器生成随音乐演变的视觉效果，展现人机协作在即兴艺术创作中的潜力。
2025-01-19 cs.AI cs.HC cs.MA
AutoMashup: Automatic Music Mashups Creation
IMT Atlantique（大西洋高等电信学院）
本文提出AutoMashup自动混搭系统，利用COCOLA评估分离音轨兼容性，并研究CLAP和MERT的零样本估计能力，揭示了混搭兼容性的不对称性及通用音频表示的局限性。
2025-07-30 cs.SD eess.AS eess.SP
Reimagining Dance: Real-time Music Co-creation between Dancers and AI
University of Waterloo（滑铁卢大学）；WordSynth Inc.（WordSynth公司）
本研究打破舞蹈动作响应音乐的传统单向模式，提出多模态AI系统，可根据舞者动作智能组合预录音乐片段生成连贯作品，建立双向共创关系，并验证了动作与音频特征间的涌现交流模式，拓展了表演艺术的创作边界。
2025-06-13 cs.AI cs.HC cs.SD
Diff-A-Riff: Musical Accompaniment Co-creation via Latent Diffusion Models
Sony Computer Science Laboratories（索尼计算机科学实验室）；Queen Mary University of London（伦敦玛丽女王大学）
针对现有音乐生成模型计算成本高、适配性差等问题，研究提出Diff-A-Riff潜在扩散模型，支持多输入控制生成高质量伴奏，同时降低推理成本，经主客观测试验证了有效性。
2024-10-30 cs.AI cs.SD eess.AS
Multi Web Audio Sequencer: Collaborative Music Making
Universitat Pompeu Fabra（庞培法布拉大学）
基于web的音频系统的最新进展已经实现了足够精确的定时控制和实时声音处理能力。许多专门的音乐工具，以及数字音频工作站，现在可以从浏览器访问。诸如数据的大可访问性和客户端之间的实时通信等特性使得Web对于协作数据操作具有吸引力。然而，这一创新领域尚未产生有效的工具，用于多用户协调专门的音乐创作任务。MultiWeb Audio Sequencer是一个应用程序原型，用于对Freesound声音片段进行基于片段的排序，重点是无缝远程协作。在这项工作中，我们认为一个固定的网格步骤音序器作为探针，了解人群共享音乐创作会议的必要功能。这份手稿描述了音序器和功能和类型的互动所需的有效和有吸引力的合作，远程的人在创造性的音乐创作活动。
2019-05-16 cs.HC cs.SD eess.AS
Learning to Traverse Latent Spaces for Musical Score Inpainting
Georgia Institute of Technology（佐治亚理工学院）；Sony CSL（索尼计算机科学实验室）
音乐修复是填补音乐片段中缺失或丢失的信息的任务。我们从互动音乐创作的角度来研究这个任务。为此，提出了一种新颖的基于深度学习的乐谱修复方法。所设计的模型考虑了过去和未来的音乐背景，并能够以音乐上有意义的方式将它们联系起来。为了实现这一点，我们利用变分自动编码器的潜在空间的代表性力量，并训练一个循环神经网络，该网络学习以过去和未来的音乐背景为条件遍历这个潜在空间。因此，所设计的模型是能够产生几个措施的音乐连接两个音乐摘录。该模型的能力和性能通过使用几种客观和主观评估方法与竞争基线进行比较来展示。结果表明，该模型生成有意义的inpainting，可用于交互式音乐创作应用程序。总的来说，该方法证明了在深度生成模型的潜在空间中学习复杂轨迹的优点。
2019-07-02 cs.LG cs.SD eess.AS
Improving Controllability and Editability for Pretrained Text-to-Music Generation Models
School of Electronic Engineering and Computer Science（电子工程与计算机科学学院）；Queen Mary University of London（伦敦玛丽女王大学）
本论文针对文本到音乐生成模型可控性与可编辑性不足的问题，提出Loop Copilot和MusicMagus两个递进式系统，分别实现基于大语言模型的迭代式音乐创作与零样本音乐属性编辑。
2024-11-21 cs.SD eess.AS
Towards computer-assisted understanding of dynamics in symphonic music
Johannes Kepler University（约翰内斯·开普勒大学）；Austrian Research Institute for Artificial Intelligence（奥地利人工智能研究所）
许多人喜欢古典交响乐。其多样化的乐器带来了丰富的聆听体验。这种多样性增加了指挥家根据自己的想象塑造声音的表达自由。因此，同一件作品可能听起来完全不同，从一个指挥到另一个。对于听者来说，理解上的差异可能是主观上明显的，但有时很难确定，大概是因为声音的声学复杂性。我们描述了一个计算模型，解释动力学-表现响度变化的表现-在乐谱方面，突出表现同一件作品之间的差异。我们通过实验证明，该模型具有预测能力，并给出了使用该模型作为解释工具发现的导体ideosyncrasies的例子。虽然目前的模式仍处于积极的发展，它可能铺平了道路，以消费者为导向的同伴互动古典音乐的理解。
2016-12-13 cs.MM cs.SD
AI Song Contest: Human-AI Co-Creation in Songwriting
Google Brain（谷歌大脑）；RTL Netherlands（荷兰RTL）；ByteDance（字节跳动）
机器学习正在挑战我们制作音乐的方式。尽管深度生成模型的研究极大地提高了音乐模型的能力和流畅性，但最近的研究表明，人类与这类新算法合作可能具有挑战性。在本文中，我们介绍了13个音乐家/开发人员团队，共61个用户，在与AI共同创作歌曲时所需的内容，他们面临的挑战，以及他们如何利用和重新利用AI的现有特征来克服其中一些挑战。许多团队采用了模块化的方法，例如独立运行多个与歌曲的音乐构建模块相一致的较小模型，然后重新组合他们的结果。由于机器学习模型不容易控制，团队还生成了大量的样本，并在事后对它们进行管理，或者使用一系列策略来指导生成，或者对样本进行算法排名。最终，团队不仅要管理创意过程的“爆发和聚焦”方面，还要将它们与探索和策划多个ML模型和输出的并行过程相结合。这些发现反映了设计机器学习驱动的音乐界面的需求，这些界面更具可分解性，可操纵性，可解释性和自适应性，这反过来将使艺术家能够更有效地探索人工智能如何扩展他们的个人表达。
2020-10-12 cs.HC cs.LG cs.SD
LoopLens: Supporting Search as Creation in Loop-Based Music Composition
Northwestern University（西北大学）；Sony Group Corporation（索尼集团）
LoopLens通过可视化音频搜索结果，支持在基于循环的音乐创作中进行创意搜索与拼接，揭示了不同专业背景用户在探索与利用之间的行为差异。
2026-03-09 cs.HC cs.IR cs.SD
Generation of Musical Timbres using a Text-Guided Diffusion Model
TU Munich（慕尼黑工业大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
针对文本转音频系统限制音乐创作中人类创造力的问题，本研究提出结合潜在扩散模型和多模态对比学习的系统，以文本描述为条件生成单个音符音频，支持用户指定音色特征，且无需后续相位检索算法。
2025-04-12 cs.SD eess.AS
A Survey of Music Generation in the Context of Interaction
Technische Hochschule Nürnberg（纽伦堡工业大学）；Hochschule für Musik Nürnberg（纽伦堡音乐大学）
本文综述了音乐生成中的表示、特征、算法、建模与评估方法，并重点探讨了哪些技术最适合支持人机现场交互式共同创作。
2024-02-23 cs.AI cs.LG cs.SD
Adaptable Symbolic Music Infilling with MIDI-RWKV
Metacreation Lab, Simon Fraser University（Simon Fraser大学元创作实验室）
MIDI-RWKV是一种基于RWKV-7架构的小型基础模型，用于实现高效的音乐共创，并通过低样本量微调实现风格适应。
2026-01-26 cs.LG cs.MM cs.SD
Can LLMs "Reason" in Music? An Evaluation of LLMs' Capability of Music Understanding and Generation
The Hong Kong University of Science and Technology（香港科技大学）；Multimodal Art Projection（多模态艺术投影）；Shenzhen University（深圳大学）；Queen Mary University of London（伦敦玛丽女王大学）
本文系统评估了GPT-4、Llama2等大语言模型在符号音乐理解与生成中的多步推理能力，发现其在歌曲级复杂音乐推理上表现不足且难以运用已有音乐知识，并指出未来需弥合音乐知识与推理之间的差距以提升人机共同创作体验。
2024-07-31 cs.CL cs.MM cs.SD
jazznet: A Dataset of Fundamental Piano Patterns for Music Audio Machine Learning Research
University of Arizona（亚利桑那大学）
本文介绍了jazznet数据集，一个基本的爵士钢琴音乐模式的数据集，用于开发音乐信息检索（MIR）中的机器学习（ML）算法。该数据集包含162520个标记的钢琴模式，包括和弦，琶音，音阶和和弦进行及其反转，产生超过26k小时的音频和95GB的总大小。本文解释了数据集的组成，创建和生成，并提出了一个开源的模式生成器，使用一种称为基于距离的模式结构（DBPS）的方法，该方法允许研究人员简单地通过定义音乐模式中音高之间的距离来轻松生成新的钢琴模式。我们证明，该数据集可以帮助研究人员使用卷积递归神经网络（CRNN）和深度卷积神经网络对具有挑战性的MIR任务的新模型进行基准测试。数据集和代码可通过https://github.com/tosiron/jazznet获得。
2023-02-17 cs.LG cs.SD eess.AS
Musical Chords: A Novel Java Algorithm and App Utility to Enumerate Chord-Progressions Adhering to Music Theory Guidelines
本文提出一种新型 Java 算法及配套 App，依据音乐理论枚举全部四和弦与八和弦进行并生成变奏，弥补现有工具预设化、不合规和数据不足的问题。
2024-09-09 cs.SD eess.AS
Current Trends and Future Research Directions for Interactive Music
Universidad Eafit（埃菲大学）
在这篇评论中，它是解释和比较不同的软件和形式主义在音乐交互中使用：定序器，计算机辅助即兴创作，Meta乐器，分数跟随，异步的Bronze low语言，同步的Bronze low语言，过程演算，时间限制和交互式分数。形式化方法的优点是提供了模型行为的严格语义，并在执行过程中证明了正确性。正式方法的主要缺点是缺乏商业工具。
2018-10-05 cs.AI cs.SD eess.AS
SyMuPe: Affective and Controllable Symbolic Music Performance
Skolkovo Institute of Science and Technology（斯克洛夫诺科学与技术研究所）；Peachnote GmbH（Peachnote公司）
本文提出SyMuPe框架及PianoFlow模型，利用条件流匹配和情感加权文本嵌入实现情感化、可控的符号钢琴演奏生成与修复，性能优于基线并接近人类演奏水平。
2025-11-05 cs.LG cs.MM cs.SD
Evaluating Co-Creativity using Total Information Flow
UC San Diego（加州大学圣地亚哥分校）
本文提出一种基于总信息流的度量方法，利用预训练生成模型作为熵估计器定量评估音乐共创性，并通过定性研究验证其与人类感知的一致性。
2024-02-09 cs.AI cs.HC cs.IT
Apollo: An Interactive Environment for Generating Symbolic Musical Phrases using Corpus-based Style Imitation
Simon Fraser University（西蒙菲莎大学）
Apollo是一个交互式桌面应用，利用基于语料库的风格模仿技术生成西方音乐符号短语，支持语料库构建与管理，并可导出MIDI格式音乐材料。
2025-04-18 cs.HC cs.LG cs.SD
From Generation to Attribution: Music AI Agent Architectures for the Post-Streaming Era
MixAudio by Neutune（Neutune 旗下 MixAudio）；KAIST（韩国科学技术院）
本文针对生成式AI音乐在归属和版税方面的结构性缺陷，提出基于块级检索与智能体编排的音乐AI智能体架构，将归属嵌入创作流程，构建公平AI媒体平台并指向后流媒体协作生态。
2025-11-08 cs.HC cs.IR cs.MA
Generating Albums with SampleRNN to Imitate Metal, Rock, and Punk Bands
Dadabots（达达机器人）
这个神经合成的早期例子是机器学习如何驱动新型音乐软件的概念验证。创建音乐可以很简单，只需指定一组模型训练的音乐影响即可。我们演示了一种方法，用于生成专辑，模仿乐队的实验音乐流派以前未实现的传统合成技术（如添加剂，减法，FM，颗粒，串联）。原始音频使用无条件SampleRNN在时域中自回归地生成。我们用这种方式制作了六张专辑。艺术作品和歌曲标题也是使用来自原始艺术家的背景目录的材料作为训练数据生成的。我们尝试了一种全自动的方法和一种人工策划的方法。我们讨论了它在机器辅助生产方面的潜力。
2018-11-16 cs.SD eess.AS
MusFlow: Multimodal Music Generation via Conditional Flow Matching
School of Mathematics and Statistics, Shanxi University（山西大学数学与统计学院）
针对普通用户难写准确提示词的问题，提出MusFlow模型，通过条件流匹配和多模态对齐，从图像、文本等生成音乐；构建MMusSet数据集，实验表明其单/多模态输入下均能生成高质量音乐，推动音乐创作普及。
2025-04-18 cs.MM cs.SD eess.AS
Corpus COFLA: A research corpus for the Computational study of Flamenco Music
Universitat Pompeu Fabra（庞培法布拉大学）；Universidad de Sevilla（塞维利亚大学）
弗拉门戈是西班牙南部的一种音乐传统，吸引了世界各地越来越多的爱好者。其独特的旋律和节奏元素，典型的自发和即兴的解释及其风格的多样性，使这种仍然在很大程度上没有记录的艺术形式成为音乐学研究的一个特别有趣的材料。在以前的作品中，已经证明了对弗拉门戈音乐的计算分析的研究，尽管它是一个相对较新的领域，但可以为这种类型的发现和传播提供强大的工具。在本文中，我们提出了corpusCOFLA，数据框架的发展，这样的计算工具。所提出的音频记录和元数据的集合用作用于创建注释子集的池，所述注释子集可用于特定音乐信息检索任务的算法的开发和评估。首先，我们描述了语料库创建的设计标准，然后提供从语料库中提取的子集的各种例子。我们展示了可能的研究应用程序的弗拉门戈音乐的计算研究的背景下，并给出关于语料库的进一步发展的观点。
2015-10-14 cs.IR cs.SD
