MusiLingo: Bridging Music and Text with Pre-trained Language Models for Music Captioning and Query Response
University of Pennsylvania（宾夕法尼亚大学）；Queen Mary University of London（伦敦大学玛丽皇后学院）；Carnegie Mellon University（卡内基梅隆大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Waterloo（滑铁卢大学）
MusiLingo 通过单一投影层将冻结音乐音频模型 MERT 与冻结 LLM 对齐，并构建 MusicInstruct 数据集，实现音乐描述生成与音乐查询响应的性能提升。
2024-04-02 cs.AI cs.CL cs.MM
Music Understanding LLaMA: Advancing Text-to-Music Generation with Question Answering and Captioning
Tencent PCG（腾讯平台与内容事业群）；National University of Singapore（新加坡国立大学）
针对文本到音乐生成缺乏带字幕的大规模公开数据集的问题，提出能完成音乐问答与字幕生成的MU-LLaMA模型，配套构建MusicQA数据集，实验显示其性能超越现有SOTA模型。
2023-08-22 cs.AI cs.CL cs.MM
Audio Prompt Adapter: Unleashing Music Editing Abilities for Text-to-Music with Lightweight Finetuning
National Taiwan University（台湾大学）；Carnegie Mellon University（卡内基梅隆大学）；University of California San Diego（加州大学圣地亚哥分校）
本文提出轻量级模块AP-Adapter，利用AudioMAE提取特征并结合注意力适配器注入AudioLDM2，仅用2200万参数实现基于音频和文本提示的音乐全局与局部编辑，在音色、流派转换等任务上表现优异且具良好泛化能力。
2024-07-24 cs.AI cs.SD eess.AS
MuseCoco: Generating Symbolic Music from Text
Microsoft Research Asia（微软亚洲研究院）；Dalian University of Technology（大连理工大学）；Zhejiang University（浙江大学）；Shanghai Jiao Tong University（上海交通大学）；Nanjing University（南京大学）
本文提出 MuseCoco，通过“文本到属性理解、属性到音乐生成”两阶段框架从文本生成可精确控制的符号音乐，并以 12 亿参数模型在音乐性、可控性和准确率上显著优于基线。
2023-05-31 cs.AI cs.CL cs.LG
DeepResonance: Enhancing Multimodal Music Understanding via Music-centric Multi-way Instruction Tuning
Sony Group Corporation（索尼集团公司）；Sony AI（索尼人工智能）
DeepResonance通过多路指令微调融合音乐、文本、图像和视频数据，并引入多采样ImageBind嵌入与融合Transformer，在六项音乐理解任务上达到最先进性能。
2025-09-23 cs.AI cs.CL cs.MM
MusicMagus: Zero-Shot Text-to-Music Editing via Diffusion Models
Queen Mary University of London（伦敦玛丽女王大学）；Sony AI（索尼人工智能公司）；MBZUAI（Mohamed bin Zayed 人工智能大学）
MusicMagus提出一种零样本文本到音乐编辑方法，通过潜在空间操作和一致性约束，无需额外训练即可修改音乐属性，在风格和音色迁移上优于现有基线。
2024-05-28 cs.AI cs.MM cs.SD
MusicLM: Generating Music From Text
Google Research（谷歌研究院）；IRCAM - Sorbonne Université（巴黎声学音乐研究协调所-索邦大学）
我们介绍MusicLM，一个从文本描述中生成高保真音乐的模型，例如“由扭曲的吉他即兴重复支持的平静的小提琴旋律”。MusicLM将条件音乐生成的过程转换为分层序列到序列建模任务，并且它生成的音乐在24 kHz下在几分钟内保持一致。我们的实验表明，MusicLM优于以前的系统，无论是在音频质量和坚持的文本描述。此外，我们表明，MusicLM可以同时在文本和旋律的条件，因为它可以转换口哨和哼唱的旋律，根据在文本标题中描述的风格。为了支持未来的研究，我们公开发布MusicCaps，这是一个由5.5k音乐文本对组成的数据集，由人类专家提供富文本描述。
2023-01-26 cs.LG cs.SD eess.AS
Augment, Drop & Swap: Improving Diversity in LLM Captions for Efficient Music-Text Representation Learning
Queen Mary University of London（伦敦玛丽女王大学）；Adobe Research（奥多比研究院）
该研究在资源受限条件下探究音乐-文本对比学习的关键设计选择，发现数据整理最为重要，提出Augmented View Dropout与TextSwap两种文本增强技术，可在不增加成本和数据的情况下提升模型性能。
2024-09-17 cs.AI cs.CL cs.SD
MusicEval: A Generative Music Dataset with Expert Ratings for Automatic Text-to-Music Evaluation
Nankai University（南开大学）；Beijing AISHELL Technology Co., Ltd.（北京智爱声科技有限公司）
针对文本转音乐系统评估难的问题，研究团队构建了首个带专家评分的生成式音乐评估数据集MusicEval，并基于CLAP设计评估模型，验证了自动评估任务的可行性，为相关研究提供参考。
2025-03-24 cs.SD eess.AS
Instruct-MusicGen: Unlocking Text-to-Music Editing for Music Language Models via Instruction Tuning
本文提出Instruct-MusicGen，通过在预训练MusicGen中引入文本与音频融合模块并仅微调8%参数，高效实现添加、移除或分离音轨等文本到音乐编辑任务，性能超越现有基线。
2025-07-17 cs.AI cs.LG cs.MM
Exploring the Efficacy of Pre-trained Checkpoints in Text-to-Music Generation Task
Central Conservatory of Music（中央音乐学院）；Tsinghua University（清华大学）
受益于大规模数据集和预训练模型，生成模型领域最近获得了显著的发展势头。然而，大多数符号音乐的数据集都非常小，这可能会限制数据驱动的多模态模型的性能。这个问题的直观解决方案是利用来自其他模态的预训练模型（例如，自然语言）来提高与符号音乐相关的多模态任务的性能。在本文中，我们进行了第一项从文本描述中生成完整且语义一致的符号乐谱的研究，并探索了使用公开可用的检查点（即，BERT、GPT-2和BART），用于文本到音乐生成任务中的自然语言处理。我们的实验结果表明，使用预训练的检查点在BLEU得分和编辑距离相似性方面的改进在统计上是显着的。我们分析了我们的模型的能力和局限性，以更好地了解语言音乐模型的潜力。
2023-01-04 cs.CL cs.SD eess.AS
MuLan: A Joint Embedding of Music Audio and Natural Language
Google Research（谷歌研究院）；Seoul National University（首尔大学）
传统上，音乐标记和基于内容的检索系统是使用预定义的本体构建的，所述本体覆盖一组严格的音乐属性或文本查询。本文介绍木兰：第一次尝试新一代的声学模型，将音乐音频直接链接到不受约束的自然语言音乐描述。MuLan采用双塔联合音频文本嵌入模型的形式，使用4400万音乐录音（370K小时）和弱关联的自由文本注释进行训练。通过其与广泛的音乐流派和文本风格（包括传统的音乐标签）的兼容性，所得到的音频文本表示包含现有的本体，同时逐渐成为真正的zero-shot功能。我们通过一系列实验展示了MuLan嵌入的多功能性，包括迁移学习，zero-shot音乐标记，音乐领域的语言理解和跨模态检索应用。
2022-08-26 cs.CL cs.SD eess.AS
Text2midi-InferAlign: Improving Symbolic Music Generation with Inference-Time Alignment
Singapore University of Technology and Design（新加坡科技设计大学）
本研究提出Text2midi-InferAlign推理时对齐技术，通过优化文本-音频节奏对齐与调式和声一致性目标，无需额外训练即可提升自回归符号音乐生成模型的文本匹配度与质量，在Text2midi模型上的主客观评估均获显著提升。
2025-05-19 cs.AI cs.MM cs.SD
CrossMuSim: A Cross-Modal Framework for Music Similarity Retrieval with LLM-Powered Text Description Sourcing and Mining
Audio Lab Hong Kong, Hong Kong Research Center, Huawei Technologies, Hong Kong SAR（香港音频实验室、香港研究中心、华为技术有限公司、香港特别行政区）；Music Technology Group, Universitat Pompeu Fabra, Barcelona, Spain（音乐技术组、庞培法华大学、巴塞罗那西班牙）；Munich Research Center, Huawei Technologies, Munich, Germany（慕尼黑研究中心、华为技术有限公司、慕尼黑德国）
本文提出跨模态对比学习框架CrossMuSim，利用LLM生成文本描述指导音乐相似性建模，并通过双源数据获取解决配对数据稀缺问题，在华为音乐平台验证了性能提升。
2025-05-23 cs.AI cs.SD eess.AS
Story2MIDI: Emotionally Aligned Music Generation from Text
The Graduate Center, CUNY（纽约市研究生中心，CUNY）；Brooklyn College, CUNY（布鲁克林学院，CUNY）；Hunter College, CUNY（亨特学院，CUNY）
Story2MIDI通过文本生成情感对齐的音乐，利用Transformer模型学习情感相关特征，生成具有多样化情感反应的音乐样本。
2025-12-01 cs.AI cs.CL cs.SD
JEN-1: Text-Guided Universal Music Generation with Omnidirectional Diffusion Models
Futureverse AI Research（未来视AI研究）
本文提出JEN-1，一个结合自回归与非自回归训练的扩散模型，通过上下文学习实现文本引导音乐生成、修复与续写，在文本-音乐对齐和音乐质量上优于现有方法并保持计算效率。
2025-05-07 cs.AI cs.LG cs.MM
MusicLayout: Explicit Structural Planning for Controllable Text-to-Music Generation
College of Artificial Intelligence, Zhejiang University（浙江大学人工智能学院）；College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；Innovation Center of Yangtze River Delta, Zhejiang University（浙江大学长三角创新中心）；The Chinese University of Hong Kong（香港中文大学）；Shandong University（山东大学）；Chu Kochen Honors College, Zhejiang University（浙江大学竺可桢学院）；Ant Group（蚂蚁集团）
针对文本生成音乐结构隐含难控的问题，提出MusicLayout显式中间表示，将其集成到统一自回归框架实现布局级控制，实验证实该方法可改进音乐长程结构组织并支持布局级控制。
2026-08-17 cs.AI cs.MM cs.SD
Generating Symbolic Music from Natural Language Prompts using an LLM-Enhanced Dataset
本研究针对符号音乐领域缺乏带丰富元数据的大规模数据集的问题，构建了含96.3万份乐谱的MetaScore数据集，用LLM生成伪文本描述后训练文本/标签条件符号音乐生成模型，性能优于基线且与同期Text2MIDI相当，文本交互更自然。
2025-06-16 cs.SD eess.AS
WhisQ: Cross-Modal Representation Learning for Text-to-Music MOS Prediction
Hokkaido Denshikiki Co., Ltd.（Hokkaido Denshikiki公司）
WhisQ通过Whisper音频编码与Qwen3文本编码的序列级协同注意力和最优传输正则化，在MusicEval Track-1上显著提升了文本到音乐MOS预测中OMQ和TA的Spearman相关性。
2025-06-06 cs.AI cs.SD eess.AS
Enriching Music Descriptions with a Finetuned-LLM and Metadata for Text-to-Music Retrieval
Graduate School of Culture Technology, KAIST（韩国科学技术院文化技术研究生院）；Sogang University（西江大学）
本文提出TTMR++模型，利用微调大语言模型生成的丰富文本描述和元数据改进文本到音乐检索，实验证明其优于现有最先进模型。
2024-10-04 cs.IR cs.MM cs.SD
Don't CLAP: Are Music-Text Models Bag-of-Words?
Georgia Institute of Technology（佐治亚理工学院）
本研究通过属性交换扰动测试，发现CLAP等音乐-文本模型无法区分改变含义的标题扰动，其表示接近词袋，缺乏细粒度音乐语义绑定能力。
2026-09-28 cs.CL cs.SD eess.AS
Diff-Symbo: Text-Controlled Long-Duration Symbolic Music Generation Using Autoregressive Latent Diffusion Model
Diff-Symbo借助LDM与自回归方法，结合含19345个文本模板的数据集，实现了文本控制的长时长高质量符号音乐生成，在多项指标上优于基线模型。
2026-08-07 cs.SD eess.AS
Mental Damage: Caption Poisoning Attacks on Retrieval-Augmented Text-to-Music Generation
Clemson University（克莱姆森大学）；Michigan State University（密歇根州立大学）
提出双层标题投毒策略，通过向音乐知识库注入少量恶意标题，使检索增强文本到音乐系统生成偏离用户意图的音乐，暴露了系统的完整性风险。
2026-05-18 cs.AI cs.SD eess.AS
Moûsai: Text-to-Music Generation with Long-Context Latent Diffusion
ETH Zürich（苏黎世联邦理工学院）；IIT Kharagpur（印度理工学院克勒格布尔分校）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）
本文提出Moûsai，一个级联两阶段潜在扩散模型，能根据文本描述生成数分钟高质量48kHz立体声音乐，并在单个消费级GPU上实现实时推理，同时开源相关代码和样本。
2023-10-23 cs.CL cs.LG cs.SD
Integrating Text-to-Music Models with Language Models: Composing Long Structured Music Pieces
University of California, San Diego（加利福尼亚大学圣迭戈分校）
针对现有Transformer类音乐生成方法上下文窗口短、长时音乐缺乏结构的问题，提出整合文本转音乐模型与大语言模型的方案，可生成2.5分钟长的高结构化连贯音乐。
2024-10-05 cs.LG cs.SD eess.AS
CLaMP 2: Multimodal Music Information Retrieval Across 101 Languages Using Large Language Models
针对音乐信息检索中语言多样性和模态整合的挑战，提出CLaMP 2，利用大语言模型和对比学习，在101种语言及ABC/MIDI模态上实现最先进的语义搜索与分类。
2025-01-23 cs.CL cs.SD eess.AS
SteerMusic: Enhanced Musical Consistency for Zero-shot Text-guided and Personalized Music Editing
Sony AI（索尼人工智能）
SteerMusic通过delta去噪分数和概念令牌实现零射文本引导和个性化音乐编辑，提升音乐一致性与编辑保真度。
2025-12-06 cs.MM cs.SD eess.AS
Intelligent Text-Conditioned Music Generation
Carnegie Mellon University（卡内基梅隆大学）
本项目首次尝试文本条件深度音乐生成，通过在文本-音乐对上利用对比损失训练类CLIP对齐模型，再结合音乐解码器，实现从文本提示生成音乐。
2024-06-02 cs.MM cs.SD eess.AS
MusicLDM: Enhancing Novelty in Text-to-Music Generation Using Beat-Synchronous Mixup Strategies
LAION；University of California San Diego（加州大学圣迭戈分校）；Mila, Quebec Artificial Intelligence Institute（Mila魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）；University of Surrey（萨里大学）
本文提出MusicLDM模型，通过适配Stable Diffusion和AudioLDM架构并采用节拍同步混音策略进行数据增强，有效提升了文本到音乐生成的质量、新颖性及文本匹配度。
2023-08-03 cs.AI cs.LG cs.MM
Melody-Guided Music Generation
School of Business, Guangxi University（广西大学商学院）；School of Computing and Artificial Intelligence, Southwestern University of Finance and Economics（西南财经大学计算机与人工智能学院）；School of Business Administration, Southwestern University of Finance and Economics（西南财经大学工商管理学院）
本文提出旋律引导的音乐生成模型MG2，通过对比语言-音乐预训练和检索增强扩散，在极少参数和训练数据下超越现有开源文本到音乐生成模型。
2024-12-30 cs.AI cs.SD eess.AS
JEN-1 DreamStyler: Customized Musical Concept Learning via Pivotal Parameters Tuning
Futureverse, AI Innovation（Futureverse AI创新中心）
针对文本提示难以精准捕捉定制化音乐生成需求的问题，提出关键参数调优与概念增强策略的JEN-1 DreamStyler方法，同时发布新数据集与评估协议，性能优于基线。
2024-06-18 cs.AI cs.SD eess.AS
FakeMusicCaps: a Dataset for Detection and Attribution of Synthetic Music Generated via Text-to-Music Models
Politecnico di Milano（米兰理工大学）
针对文本到音乐模型引发的版权与归因问题，本文提出数据集FakeMusicCaps，包含多种最先进TTM技术重新生成的音乐-字幕配对，并进行了音频检测与归因的初步评估实验。
2024-09-25 cs.SD eess.AS
Music2Video: Automatic Generation of Music Video with fusion of audio and text
KAIST（韩国科学技术院）
随着在大型语料库上预训练的多模态表示模型的出现，使用生成对抗网络创建图像已被广泛应用于多模态机制。可以利用共享公共表示空间的各种模态来引导生成模型从文本甚至从音频源创建图像。不同于以往的方法，只依赖于文本或音频，我们利用这两种形式的表现力。基于文本和音频的融合，我们创建了视频，其内容与所提供的不同形式一致。一个简单的方法，自动分割成可变长度的视频间隔，并保持时间的一致性生成的视频是我们的方法的一部分。我们提出的框架生成音乐视频显示出可喜的成果，在应用程序级别，用户可以交互式地在音乐源和文本源，以创建艺术音乐视频。我们的代码可在https://github.com/joeljang/music2video上获得。
2022-06-09 cs.GR cs.MM cs.SD
IteraTTA: An interface for exploring both text prompts and audio priors in generating music with text-to-audio models
University of Tsukuba（筑波大学）
针对文本转音频音乐生成中用户难以感知音频空间的问题，研究提出IteraTTA界面，支持文本提示与音频先验的双向迭代探索，助力用户逐步达成模糊生成目标，并明确了相关设计考量。
2023-07-24 cs.AI cs.HC cs.SD
AI-Assisted Music Production: A User Study on Text-to-Music Models
本文通过结合TTM与音源分离模型的定制工具开展用户研究，结合访谈与主题分析，揭示TTM融入音乐制作工作流程的潜力、挑战与伦理问题。
2025-09-27 cs.LG cs.SD eess.AS
MusRec: Zero-Shot Text-to-Music Editing via Rectified Flow and Diffusion Transformers
针对现有音乐编辑模型缺乏真正零样本能力的问题，本文提出基于整流流与扩散Transformer的零样本文本到音乐编辑模型MusRec，可高效完成真实音乐编辑任务，性能优于现有方法。
2025-11-18 cs.AI cs.LG cs.MM
Long-Form Text-to-Music Generation with Adaptive Prompts: A Case Study in Tabletop Role-Playing Games Soundtracks
Universidade Federal de Viçosa（维索萨联邦大学）
本文提出Babel Bardo系统，利用LLM将语音转录转为音乐描述，生成TRPG配乐，实验表明详细描述提升音频质量，描述一致性增强故事对齐与过渡平滑。
2025-05-21 cs.AI cs.MM cs.NE
'Warriors of the Word' -- Deciphering Lyrical Topics in Music and Their Connection to Audio Feature Dimensions Based on a Corpus of Over 100,000 Metal Songs
University of Vienna（维也纳大学）；University of Bamberg（班贝格大学）
我们研究了金属音乐的音乐和抒情内容之间的联系，结合自动提取的高层次的音频特征和定量文本分析的语料库124.288歌词从这种类型。基于该文本语料库，首先使用潜在狄利克雷分配（LDA）构建主题模型。对于503首歌曲的子样本，使用音频特征模型提取预测感知音乐硬度/沉重和黑暗/阴郁的分数。通过结合音频特征和文本分析，我们（1）提供了金属流派中抒情主题的全面概述，（2）能够确定硬度和其他音乐维度的水平是否与特别刺耳（和其他）文本主题的出现有关。二十个典型的主题被确定和投影到一个主题空间，使用多维尺度（MDS）。经过Bonferroni校正后，发现音乐的硬度和黑暗与“残酷的死亡”、“反乌托邦”、“古老和神秘主义”、“宗教和撒旦主义”、“战斗”和“（心理）疯狂”等文本主题呈正相关，而与“个人生活”和“爱情和浪漫”等主题呈负相关。
2019-11-13 cs.CL cs.SD eess.AS
Toward Universal Text-to-Music Retrieval
KAIST（韩国科学技术院）；ByteDance（字节跳动）；Gaudio Lab（Gaudio实验室）
本文介绍了有效的设计选择文本到音乐检索系统。一个理想的基于文本的检索系统将支持各种输入查询，如预定义的标签，看不见的标签，和文档级描述。事实上，大多数以前的工作主要集中在一个单一的查询类型（标签或句子），可能不会推广到另一个输入类型。因此，我们回顾最近的基于文本的音乐检索系统使用我们提出的基准在两个主要方面：输入文本表示和训练目标。我们的研究结果使一个通用的文本到音乐检索系统，实现了可比的检索性能，在标签和标签级的输入。此外，所提出的多模态表示推广到9个不同的下游音乐分类任务。我们在线提供代码和演示。
2022-11-26 cs.IR cs.MM cs.SD
UniSonate: A Unified Model for Speech, Music, and Sound Effect Generation with Text Instructions
Tianjin University（天津大学）；Kling Team, Kuaishou Technology（快手科技 Kling 团队）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
UniSonate通过统一的文本指令接口生成语音、音乐和音效，采用动态令牌注入机制和多阶段课程学习策略，提升跨模态生成性能，实现指令驱动的TTS和TTM的SOTA表现。
2026-04-24 cs.AI cs.CL cs.SD
Aligning Text-to-Music Evaluation with Human Preferences
Carnegie Mellon University（卡内基梅隆大学）；Cornell University（康奈尔大学）
针对文本生成音乐（TTM）评估指标与人类感知相关性弱的问题，提出基于自监督音频嵌入表征的MAUVE音频散度（MAD）指标，在合成元评估与开源人类偏好数据集MusicPrefs上均显著优于现有FAD等指标。
2025-03-20 cs.AI cs.SD eess.AS
Generation of Musical Timbres using a Text-Guided Diffusion Model
TU Munich（慕尼黑工业大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
针对文本转音频系统限制音乐创作中人类创造力的问题，本研究提出结合潜在扩散模型和多模态对比学习的系统，以文本描述为条件生成单个音符音频，支持用户指定音色特征，且无需后续相位检索算法。
2025-04-12 cs.SD eess.AS
PAGURI: a user experience study of creative interaction with text-to-music models
该研究通过PAGURI用户体验研究，借助带微调个性化功能的在线文本生成音乐工具与半结构化访谈，分析音乐家使用体验，明确TTM的创意潜力与待解决的提示歧义、可控性不足等问题，为其后续发展提供参考。
2025-10-03 cs.SD eess.AS
MIRA: A Musical Intent Refinement Agent for Aligning Text-to-Music Generation with User Intent
Shandong University（山东大学）；University of Science and Technology of China（中国科学技术大学）；Central Conservatory of Music（中央音乐学院）；Kunlun Tech Co. Ltd.（昆仑万维科技股份有限公司）；Shanghai Jiao Tong University（上海交通大学）
针对文生音乐中用户意图对齐不足的问题，提出MIRA代理，通过清单化意图并搜索提示修订，提升生成音乐与用户意图的一致性，使开源模型达到商业系统水平。
2026-10-08 cs.AI cs.SD
Predicting User Intents and Musical Attributes from Music Discovery Conversations
Graduate School of Culture Technology, KAIST（韩国科学技术院文化技术研究生院）
本文研究音乐发现对话中的意图分类，提出结合聊天历史与单轮查询的方法，并同时分类音乐属性，显著提升F1分数且优于Llama 3的零样本和少样本表现。
2024-11-20 cs.CL cs.LG cs.SD
Audio Conditioning for Music Generation via Discrete Bottleneck Features
FAIR Meta（Meta FAIR）；IRCAM - Sorbonne Université（IRCAM-索邦大学）；Hebrew University of Jerusalem（耶路撒冷希伯来大学）；Kyutai
提出用音频输入条件化语言模型音乐生成系统，采用文本反转和从头联合训练模型两种策略，并通过双重 classifier free guidance 平衡混合条件，自动与人类研究验证了其有效性。
2024-07-30 cs.SD eess.AS
Editing Music with Melody and Text: Using ControlNet for Diffusion Transformer
Tsinghua University（清华大学）；ARC Lab, Tencent PCG（腾讯PCG ARC实验室）；Hong Kong University of Science and Technology（香港科技大学）
针对现有可控音乐生成编辑的质量与时长局限，提出带ControlNet控制分支的DiT方法，结合新型top-k恒Q旋律表示与课程学习，在文本生成和风格迁移任务上性能优于MusicGen基线。
2025-01-16 cs.SD eess.AS
Causal Analysis of Carnatic Music: A Preliminary Study
National Institute of Advanced Studies（国家高级研究院）；Manipal Academy of Higher Education（马尼帕尔高等教育学院）；University of Exeter（埃克塞特大学）
由于其丰富的结构和复杂性，卡尔纳蒂克音乐的音乐学分析具有挑战性。然而，这种形式的南印度古典音乐的自动\textit{rāga}分类、音高检测、音调分析、建模和信息检索在最近取得了重大进展。一个因果分析，以调查卡纳蒂克作品的音乐学结构和嵌入其中的关系的识别以前从未尝试过。在这项研究中，我们提出了一个新的框架因果发现，使用压缩复杂性的措施。然而，由于可用的组合物数量有限，我们生成了替代物，以进一步促进对主要因果关系的分析。我们的分析表明，上下文上下文无关文法，推断出更复杂的组成，如\textit{Mē\d{l}akarta} \textit{rāga}，是一个\textit{structural cause}的\textit{Janya} \textit{rāga}。我们还分析了\textit{Janya rāga}的某些特殊情况，以便更好地理解它们的起源和结构。
2021-09-24 cs.SD eess.AS
Improving Controllability and Editability for Pretrained Text-to-Music Generation Models
School of Electronic Engineering and Computer Science（电子工程与计算机科学学院）；Queen Mary University of London（伦敦玛丽女王大学）
本论文针对文本到音乐生成模型可控性与可编辑性不足的问题，提出Loop Copilot和MusicMagus两个递进式系统，分别实现基于大语言模型的迭代式音乐创作与零样本音乐属性编辑。
2024-11-21 cs.SD eess.AS
Large Language Models' Internal Perception of Symbolic Music
本文通过让LLM从文本提示生成MIDI数据集并训练神经网络进行分类与旋律补全，揭示LLM能隐式编码基本音乐结构，同时指出其因缺乏显式音乐语境而存在局限。
2025-07-17 cs.AI cs.CL cs.LG
AImoclips: A Benchmark for Evaluating Emotion Conveyance in Text-to-Music Generation
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；Seoul National University (SNU)（首尔国立大学）
本研究推出AImoclips基准，通过12种情感意图、6个前沿TTM系统生成的千余段音乐及111名参与者的评分实验，评估文本生成音乐的情感传递效果，发现商业与开源系统的情感偏移方向相反，且所有模型均存在情感中性化偏差，为情感对齐的TTM系统开发提供参考。
2025-09-04 cs.AI cs.SD eess.AS
EXPOTION: Facial Expression and Motion Control for Multimodal Music Generation
本文提出 Expotion 模型，结合面部表情、上半身动作和文本提示生成音乐，并通过参数高效微调和时间平滑策略提升音画同步与生成质量，同时发布 7 小时同步视频-音乐数据集。
2025-07-07 cs.AI cs.CV cs.MM
Contrastive Audio-Language Learning for Music
Queen Mary University of London（伦敦玛丽女王大学）；Universal Music Group（环球音乐集团）
作为人类所知的最直观的界面之一，自然语言有潜力调解许多涉及人机交互的任务，特别是在以应用为中心的领域，如音乐信息检索。在这项工作中，我们探索跨模态学习，试图在音乐领域的音频和语言的桥梁。为此，我们提出了MusCALL，一个音乐对比音频语言学习的框架。我们的方法包括一个双编码器架构，学习音乐音频和描述性句子对之间的对齐，产生多模态嵌入，可用于文本到音频和音频到文本检索的开箱即用。由于这个属性，MusCALL可以被转移到几乎任何可以被转换为基于文本的检索的任务。我们的实验表明，我们的方法在检索与文本描述相匹配的音频时的性能明显优于基线，相反，检索与音频查询相匹配的文本。我们还证明了我们的模型的多模态对齐能力可以成功地扩展到zero-shot传输场景，用于两个公共数据集上的体裁分类和自动标记。
2022-08-25 cs.CL cs.LG cs.SD
CLaMP 3: Universal Music Information Retrieval Across Unaligned Modalities and Unseen Languages
Page 9（页面9）
本研究提出统一框架CLaMP 3，通过对比学习对齐多类音乐模态与多语言文本，构建大规模数据集与基准，在多项MIR任务上达SOTA，实现跨模态跨语言泛化。
2025-05-18 cs.SD eess.AS
