COCOLA: Coherence-Oriented Contrastive Learning of Musical Audio Representations
Sapienza University of Rome（罗马智慧大学）；Sony Europe B.V.（索尼欧洲有限公司）
本文提出 COCOLA 对比学习方法，利用分轨及 HPS 特征建模音乐片段间的和声与节奏连贯性，为音乐伴奏生成模型提供客观评估基准，并公开多数据集训练检查点。
2025-01-09 cs.LG cs.SD eess.AS
Music102: An $D_{12}$-equivariant transformer for chord progression accompaniment
Massachusetts Institute of Technology（麻省理工学院）
本文提出Music102，一种基于群论和音乐结构的等价变换器，用于提升和弦进行伴奏的质量，通过整合音乐对称性如转位和反射操作，改进了非等价变换器Music101的性能。
2025-07-06 cs.LG cs.MM cs.SD
STAGE: Stemmed Accompaniment Generation through Prefix-Based Conditioning
Sapienza University of Rome（罗马大学）
STAGE在MusicGen基础上引入前缀条件化和上下文标记，以给定混音为条件生成单轨伴奏，实现更强一致性、更高音质及节奏对齐，无需额外速度模块即可支持速度受限生成。
2025-04-09 cs.SD eess.AS
The ACCompanion: Combining Reactivity, Robustness, and Musical Expressivity in an Automatic Piano Accompanist
Johannes Kepler University Linz（林茨约翰·开普勒大学）；SiriusXM + Pandora（天狼星XM+潘多拉）
本文提出ACCompanion自动钢琴伴奏系统，通过实时乐谱跟随、表现性演奏生成和在线适应，在速度、力度和运音法上跟随独奏者，兼顾反应性、鲁棒性与音乐表现力。
2023-05-30 cs.HC cs.SD eess.AS
D3PIA: A Discrete Denoising Diffusion Model for Piano Accompaniment Generation From Lead sheet
Graduate School of Culture Technology, KAIST, Republic of Korea（文化科技研究生院，韩国科学技术院）
D3PIA通过离散扩散模型和邻域注意力机制，有效生成符合乐谱约束的钢琴伴奏，优于连续扩散和Transformer基线模型。
2026-02-03 cs.AI cs.MM cs.SD
LaDA-Band: Language Diffusion Models for Vocal-to-Accompaniment Generation
State Key Lab of AI Safety, Institute of Computing Technology, Chinese Academy of Sciences (CAS)（中国科学院计算技术研究所人工智能安全国家重点实验室）；Lyra Lab, Tencent Music Entertainment（腾讯音乐娱乐集团Lyra实验室）；Pengcheng Laboratory（鹏城实验室）
LaDA-Band通过引入离散掩码扩散模型，解决了人声到伴奏生成中保持音质真实、维持全局连贯性和产生动态编曲的三重挑战，提升了长距离结构一致性和时间同步性。
2026-07-24 cs.SD
Generalized Multi-Source Inference for Text Conditioned Music Diffusion Models
Sapienza University of Rome（罗马智慧大学）；Ca' Foscari University of Venice（威尼斯大学）；Queen Mary University of London（伦敦玛丽女王大学）
本文提出广义多源推理方法，将多源扩散模型推广至任意文本条件时域扩散模型，无需分离数据即可生成连贯音源与伴奏，并适配Dirac分离器，在Slakh2100和MTG-Jamendo上取得有竞争力的结果。
2024-03-18 cs.LG cs.SD eess.AS
Bass Accompaniment Generation via Latent Diffusion
Sony Computer Science Laboratories（索尼计算机科学实验室）；Queen Mary University（伦敦玛丽女王大学）
本文提出一种基于潜在扩散模型的可控贝斯伴奏生成系统，利用音频自编码器和条件扩散模型，根据输入混音生成指定音色的贝斯分轨，并通过改进引导技术提升音频质量。
2024-02-02 cs.LG cs.SD eess.AS
Generation of Musical Timbres using a Text-Guided Diffusion Model
TU Munich（慕尼黑工业大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
针对文本转音频系统限制音乐创作中人类创造力的问题，本研究提出结合潜在扩散模型和多模态对比学习的系统，以文本描述为条件生成单个音符音频，支持用户指定音色特征，且无需后续相位检索算法。
2025-04-12 cs.SD eess.AS
Musical Form Generation
University of California, San Diego（加州大学圣迭戈分校）
本文提出一种结构化音乐生成方法，通过条件生成模型创建音乐片段并实现片段间过渡，将高层作曲提示与低层细节生成分离，并利用大型语言模型建议曲式，从而生成任意长度的连贯作品。
2023-10-30 cs.LG cs.SD eess.AS
Revival: Collaborative Artistic Creation through Human-AI Interactions in Musical Creativity
School of Interactive Arts and Technology（交互艺术与技术学院）；Simon Fraser University（西蒙菲莎大学）
本研究介绍艺术家团体K-Phi-A的创新项目Revival，通过训练AI音乐智能体与人类音乐家实时即兴共创、搭配AI视觉合成器生成随音乐演变的视觉效果，展现人机协作在即兴艺术创作中的潜力。
2025-01-19 cs.AI cs.HC cs.MA
Compose & Embellish: Well-Structured Piano Performance Generation via A Two-Stage Approach
Taiwan AI Labs（台湾人工智能实验室）；Carnegie Mellon University（卡内基梅隆大学）；Academia Sinica（中央研究院）
即使使用像Transformers这样的强序列模型，生成具有长距离音乐结构的富有表现力的钢琴演奏仍然具有挑战性。与此同时，方法来组成结构良好的旋律或铅片（旋律+和弦），即，简单的音乐形式，获得了更多的成功。观察上述情况，我们设计了一个两阶段的基于transformer的框架，首先组成一个铅表，然后用伴奏和表达性的触摸来修饰它。这样的因子分解也可以在非钢琴数据上进行预训练。我们的客观和主观实验表明，作曲与修饰缩小了一半的艺术和真实表演之间的结构性差距，并提高了其他音乐方面，如丰富性和连贯性。
2023-03-07 cs.AI cs.MM cs.SD
MusiChat: Vibe Composing for Music Creation
Stanford University（斯坦福大学）；George Mason University（乔治梅森大学）；IntelliSky（智能天空）
研究针对AI音乐创作中迭代难问题，提出MusiChat系统，通过分层可控框架、记忆增强架构及混合意图路由机制，实现人机协作音乐创作，经评估在交互准确率和用户喜好比例上表现良好，支持多轮音乐创作和人机共创。
2026-07-29 cs.AI cs.SD
Reimagining Dance: Real-time Music Co-creation between Dancers and AI
University of Waterloo（滑铁卢大学）；WordSynth Inc.（WordSynth公司）
本研究打破舞蹈动作响应音乐的传统单向模式，提出多模态AI系统，可根据舞者动作智能组合预录音乐片段生成连贯作品，建立双向共创关系，并验证了动作与音频特征间的涌现交流模式，拓展了表演艺术的创作边界。
2025-06-13 cs.AI cs.HC cs.SD
Musical Score Following using Statistical Inference
Cambridge University（剑桥大学）
本文提出基于 Gaussian Process 与 SM 核推断音频帧音符、再由时长依赖 HMM 实时定位乐谱的两阶段乐谱跟随方法，并在钢琴及多种管弦乐器上验证其有效性。
2025-02-06 cs.SD eess.AS eess.SP
Learning to Traverse Latent Spaces for Musical Score Inpainting
Georgia Institute of Technology（佐治亚理工学院）；Sony CSL（索尼计算机科学实验室）
音乐修复是填补音乐片段中缺失或丢失的信息的任务。我们从互动音乐创作的角度来研究这个任务。为此，提出了一种新颖的基于深度学习的乐谱修复方法。所设计的模型考虑了过去和未来的音乐背景，并能够以音乐上有意义的方式将它们联系起来。为了实现这一点，我们利用变分自动编码器的潜在空间的代表性力量，并训练一个循环神经网络，该网络学习以过去和未来的音乐背景为条件遍历这个潜在空间。因此，所设计的模型是能够产生几个措施的音乐连接两个音乐摘录。该模型的能力和性能通过使用几种客观和主观评估方法与竞争基线进行比较来展示。结果表明，该模型生成有意义的inpainting，可用于交互式音乐创作应用程序。总的来说，该方法证明了在深度生成模型的潜在空间中学习复杂轨迹的优点。
2019-07-02 cs.LG cs.SD eess.AS
SAMUeL: Efficient Vocal-Conditioned Music Generation via Soft Alignment Attention and Latent Diffusion
Division of Engineering Science University of Toronto（工程科学系 马尼托瓦大学）；Innovative Cognitive Computing Center King Mongkut's University of Technology Thonburi（创新认知计算中心 王后大学技术吞武里）
SAMUeL通过软对齐注意力和潜在扩散技术，实现高效的语音条件音乐生成，参数减少220倍，推理速度提升52倍，性能优于OpenAI Jukebox。
2026-01-04 cs.LG cs.SD
Semantic and Semiotic Interplays in Text-to-Audio AI: Exploring Cognitive Dynamics and Musical Interactions
Technische Universität Berlin（柏林工业大学）
本文探讨文本到音频AI如何通过语义与意义交互影响音乐认知，提出AI模型作为音乐意义的准对象，促进新的听觉模式与审美反思。
2025-11-21 cs.SD eess.AS
M6(GPT)3: Generating Multitrack Modifiable Multi-Minute MIDI Music from Text using Genetic algorithms, Probabilistic methods and GPT Models in any Progression and Time Signature
Institute of Computer Science（计算机科学研究院）；Warsaw University of Technology（华沙技术大学）；Department of Robotics and Decision Systems（机器人与决策系统系）；Gdansk University of Technology（格但斯克技术大学）
提出 M6(GPT)3 系统，结合 GPT、遗传算法与 Markov 概率方法，从文本生成任意拍号、可修改的多轨数分钟 MIDI 音乐，并在音乐性指标上优于基线。
2025-09-28 cs.HC cs.SD eess.AS
Musical Chords: A Novel Java Algorithm and App Utility to Enumerate Chord-Progressions Adhering to Music Theory Guidelines
本文提出一种新型 Java 算法及配套 App，依据音乐理论枚举全部四和弦与八和弦进行并生成变奏，弥补现有工具预设化、不合规和数据不足的问题。
2024-09-09 cs.SD eess.AS
Flat Latent Manifolds for Human-machine Co-creation of Music
Volkswagen Group（大众集团）；ArgoAI；St. Pölten University of Applied Sciences（圣帕尔滕应用科学大学）；St Joost School of Art and Design（圣约斯特艺术与设计学院）
机器学习在艺术音乐生成中的使用导致了对艺术质量的有争议的讨论，对此，客观量化是无意义的。因此，我们将音乐生成算法视为人类音乐家的对应物，在这种情况下，相互作用将为音乐家和观众带来新的体验。为了获得这种行为，我们求助于循环变分自动编码器（VAE）的框架，并学习生成由人类音乐家播种的音乐。在学习模型中，我们通过在潜在空间中插值来生成新的音乐序列。然而，标准VAE并不保证其潜在表示中的任何形式的平滑性。这转化为所生成的音乐序列中的突然变化。为了克服这些限制，我们正则化解码器并赋予潜在空间平坦的黎曼流形，即，与欧几里得空间等距的流形。因此，在潜在空间中进行线性插值会产生逼真而平滑的音乐变化，适合我们所追求的机器-音乐家交互类型。我们通过一组音乐数据集上的实验为我们的方法提供了经验证据，并将我们的模型部署到与专业鼓手的交互式果酱会话中。现场表演提供了定性的证据，潜在的代表性可以直观地解释和利用鼓手驱动的相互作用。除了音乐应用之外，我们的方法还展示了以人为本的机器学习模型设计实例，由可解释性和与最终用户的交互驱动。
2022-08-10 cs.LG cs.SD eess.AS
Generative Artificial Intelligence, Musical Heritage and the Construction of Peace Narratives: A Case Study in Mali
RobotsMali AI4D Lab（RobotsMali AI4D实验室）；Faculté de Médecine et d’Odonto-Stomatologie（医学与牙科牙科学院）；Université des Sciences, Techniques et Technologies de Bamako（巴马科科学、技术与技术大学）；Conservatoire des Arts et Métiers Multimédia Balla Fasseké（Ballafasse多媒体艺术与工艺 conservatoire）
本研究探讨生成式人工智能在马里通过音乐创作促进和平叙事与文化复兴的可能性及挑战。
2026-01-21 cs.AI cs.CL cs.SD
Musical Attention Transformer: Music Generation Using a Music-Specific Attention Model
Department of Computer Science, School of Science and Technology, Meiji University（计算机科学系，科学与技术学部，立命馆大学）
本文提出了一种音乐特定的注意力模型，通过整合元信息来提升音乐生成的质量，核心方法是将音乐结构和元数据结合，主要贡献是提高了生成音乐的连贯性和多样性。
2026-09-14 cs.LG cs.SD
Improving Controllability and Editability for Pretrained Text-to-Music Generation Models
School of Electronic Engineering and Computer Science（电子工程与计算机科学学院）；Queen Mary University of London（伦敦玛丽女王大学）
本论文针对文本到音乐生成模型可控性与可编辑性不足的问题，提出Loop Copilot和MusicMagus两个递进式系统，分别实现基于大语言模型的迭代式音乐创作与零样本音乐属性编辑。
2024-11-21 cs.SD eess.AS
MELONS: generating melody with long-term structure using transformers and structure graph
Kuaishou（快手）
长旋律序列的创作需要连贯的音乐结构的有效表达。但是，没有明确的音乐结构。最近关于音乐生成的研究已经提出了各种方法来处理音乐的结构信息，但是生成具有清晰长期结构的完整歌曲旋律仍然是一个挑战。在本文中，我们提出了MELONS，一个旋律生成框架的基础上，由八种类型的酒吧级关系的音乐结构的图形表示。MELONS采用基于transformer网络的多步生成方法，将旋律生成分解为两个子问题：结构生成和结构条件旋律生成。实验结果表明，MELONS能够产生高质量、内容丰富的结构化旋律。
2021-11-03 cs.MM cs.SD eess.AS
SongGen: A Single Stage Auto-regressive Transformer for Text-to-Song Generation
Beihang University（北京航空航天大学）；Shanghai AI Laboratory（上海人工智能实验室）；The Chinese University of Hong Kong（香港中文大学）；Harbin Institute of Technology（哈尔滨工业大学）；CPII under InnoHK（InnoHK下的CPII）
本文提出SongGen，一种完全开源的单阶段自回归Transformer，支持细粒度控制多种音乐属性与声音克隆，提供混合与双轨两种输出模式，并设计了自动化数据预处理流水线，解决了多阶段生成流程繁琐与误差累积问题。
2025-05-30 cs.AI cs.SD
The Interpretation Gap in Text-to-Music Generation Models
Queen Mary University of London（伦敦玛丽女王大学）
针对文本到音乐生成模型与人类音乐家协作能力有限的问题，提出含表达、解释、执行的音乐交互框架，指出核心差距在解释阶段，给出两种解决策略并呼吁学界攻关以提升人机音乐协作水平。
2024-07-14 cs.AI cs.SD eess.AS
Rethinking Recurrent Latent Variable Model for Music Composition
University of California, San Diego（加州大学圣地亚哥分校）
我们提出了一个用于捕获音乐特征和创建新的音乐序列的模型，称为卷积变分递归神经网络。为了生成序列数据，该模型使用具有潜在概率连接的编码器-解码器架构来捕获音乐的隐藏结构。使用序列到序列模型，我们的生成模型可以利用先验分布的样本，并生成更长的音乐序列。我们比较了我们提出的模型与其他类型的神经网络的性能，使用的标准是由变量马尔可夫Oracle，一种方法，允许统计特征的音乐信息动态和检测的主题在一首歌中实现的信息率。我们的研究结果表明，所提出的模型具有更好的统计相似性的音乐结构的训练数据，这提高了创造新的音乐序列的风格的原件。
2018-10-07 cs.LG cs.MM cs.SD
JEN-1 DreamStyler: Customized Musical Concept Learning via Pivotal Parameters Tuning
Futureverse, AI Innovation（Futureverse AI创新中心）
针对文本提示难以精准捕捉定制化音乐生成需求的问题，提出关键参数调优与概念增强策略的JEN-1 DreamStyler方法，同时发布新数据集与评估协议，性能优于基线。
2024-06-18 cs.AI cs.SD eess.AS
Melodia: Training-Free Music Editing Guided by Attention Probing in Diffusion Models
针对现有音乐编辑方法难以保留源音乐时间结构的问题，本文通过探测AudioLDM 2的注意力图，提出无训练技术Melodia，选择性操作自注意力图并利用注意力存储库，实现了音乐特征的准确修改与结构保留，还提出新评估指标，实验效果优异。
2025-11-18 cs.SD eess.AS
Quality-aware Masked Diffusion Transformer for Enhanced Music Generation
University of Science & Technology of China（中国科学技术大学）；iFlytek AI Research（iFlytek人工智能研究院）
针对音乐生成数据质量不均、文本音频一致性差等问题，提出质量感知训练范式、适配掩码扩散Transformer模型及三阶段字幕优化方法，在多个基准上实现SOTA性能并开源相关资源。
2025-06-17 cs.AI cs.SD eess.AS
BREATH: A Bio-Radar Embodied Agent for Tonal and Human-Aware Diffusion Music Generation
MiLM Plus, Xiaomi Inc.（小米公司 MiLM Plus）
本文提出 BREATH 多模态系统，利用毫米波雷达感知心率呼吸并结合 LLM 推理生成调性提示，控制扩散模型产生个性化、具身且具文化适应性的音乐。
2025-09-09 cs.AI cs.HC cs.SD
Research on Piano Timbre Transformation System Based on Diffusion Model
Yuan Ze University（元智大学）；National Central University（中央大学）
本文提出基于扩散模型的钢琴音色转换系统，通过提取音高和响度特征实现高质量音乐转换，适用于多种音乐风格和场景，未来将拓展至更多音色转换任务。
2026-01-14 cs.MM cs.SD
End-to-end Piano Performance-MIDI to Score Conversion with Transformers
Technical University of Munich（慕尼黑工业大学）
本文提出一种基于Transformer的端到端方法，将钢琴演奏MIDI直接转换为详细乐谱，通过复合标记量化缩短序列长度3.5倍，并在MUSTER指标上显著超越已有方法，首次实现从演奏数据直接预测颤音等记谱细节。
2024-09-30 cs.LG cs.SD eess.AS
G3 : GENESIS software envrionment update
ACROE（ACROE机构）；ICA（ICA机构）；INPG（INPG机构）
GENESIS 3是GENESIS软件环境的新版本，用于通过质量相互作用物理网络建模进行音乐创作。它的设计和开发是从零开始的，在过去10多年的工作和使用以前的版本。我们借此诞生的机会，在这篇文章中提供（1）分析的特点，在GENESIS，旨在突出其核心？软件范例？以及（2）与上一版本相比，新版本的特征的更新。
2009-11-24 cs.HC cs.MM cs.SD
SyMuPe: Affective and Controllable Symbolic Music Performance
Skolkovo Institute of Science and Technology（斯克洛夫诺科学与技术研究所）；Peachnote GmbH（Peachnote公司）
本文提出SyMuPe框架及PianoFlow模型，利用条件流匹配和情感加权文本嵌入实现情感化、可控的符号钢琴演奏生成与修复，性能优于基线并接近人类演奏水平。
2025-11-05 cs.LG cs.MM cs.SD
