ComMU: Dataset for Combinatorial Music Generation
Pozalabs(波扎实验室);Yonsei Univ.(延世大学)
自动音乐合成的商业采用需要能够生成适合所需背景的多样化且高质量的音乐(例如,浪漫电影、动作游戏、餐馆等的音乐)。在本文中,我们介绍了组合音乐生成,一个新的任务,创造不同的背景音乐的基础上,给定的条件。组合音乐生成创建具有丰富音乐元数据的短音乐样本,并将其组合以产生完整的音乐。此外,我们介绍了ComMU,第一个符号音乐数据集组成的短音乐样本和相应的12个音乐元数据的组合音乐生成。ComMU的显著特性是:(1)数据集由专业作曲家手动构建,具有诱导规律性的客观指导原则,(2)它具有12个包含作曲家意图的音乐元数据。我们的研究结果表明,我们可以生成不同的高品质的音乐,只有元数据,我们独特的元数据,如轨道角色和扩展和弦质量提高了自动合成的能力。我们强烈建议在阅读论文之前观看我们的视频(https://pozalabs.github.io/ComMU)。
2022-11-17 cs.AI cs.MM cs.SD
TTS-CtrlNet: Time varying emotion aligned text-to-speech generation with ControlNet
本文提出TTS-CtrlNet,首个基于ControlNet的可控流匹配TTS方法,通过冻结原模型并引入可训练副本实现时间变化的情感控制,在保持零样本克隆和自然度的同时取得最先进的情感相似度性能。
2025-07-06 cs.SD eess.AS
Musical Training, but not Mere Exposure to Music, Drives the Emergence of Chroma Equivalence in Artificial Neural Networks
Canadian Centre for Behavioural Neuroscience(加拿大行为神经科学中心);Department of Neuroscience(神经科学系);University of Lethbridge(莱斯布里奇大学)
音乐训练而非单纯音乐接触驱动人工神经网络中音高等价性的发展,表明音乐感知任务需要更高阶的认知计算。
2026-02-20 cs.NE cs.SD
Video2Music: Suitable Music Generation from Videos using an Affective Multimodal Transformer model
Singapore University of Technology and Design(新加坡科技设计大学)
本研究提出Video2Music框架,利用情感多模态Transformer模型和MuVi-Sync数据集,从视频特征生成匹配情感的音乐,并通过后处理实现动态渲染,用户研究验证了其质量。
2024-03-04 cs.AI cs.SD eess.AS
Symbolic Music Structure Analysis with Graph Representations and Changepoint Detection Methods
University of Zaragoza(萨拉戈萨大学)
音乐结构分析是音乐信息检索中的一个开放性研究课题。过去,已经有一些作品试图将音乐分割到音频和符号领域,但不同层次的音乐结构的识别和分割仍然是该领域的一个开放研究问题。在这项工作中,我们提出了三种方法,其中两种是新的基于图形的算法,旨在分割其形式或结构的符号音乐:规范,G-PELT和G-窗口。我们用两个具有不同形式或结构的公共数据集进行了消融研究,以比较这些方法的参数值,并比较不同音乐风格的性能。我们发现,用图表示的符号音乐编码和计算从图中获得的邻接矩阵的新颖性很好地表示了符号音乐作品的结构,而不需要从中提取特征。我们能够用在线无监督的变化点检测方法检测边界,F_在我们用于测试我们的方法的一个公共数据集中,1 bar公差为0.5640。我们还提供了在不同层次的结构,高,中,低的算法的性能结果,以显示所提出的方法的参数必须根据水平进行调整。我们将性能最好的方法及其每个结构级别的参数添加到musicaiz(一个开源python包)中,以促进这项工作的可重复性和可用性。我们希望这种方法可以用来改善其他MIR任务,如音乐生成与结构,音乐分类或关键变化检测。
2023-03-24 cs.AI cs.SD eess.AS
Music2Latent: Consistency Autoencoders for Latent Audio Compression
Queen Mary University of London(伦敦玛丽女王大学);Sony Computer Science Laboratories(索尼计算机科学实验室)
针对现有音频自编码器的训练复杂、采样慢、重建质量低问题,提出基于一致性模型的Music2Latent音频自编码器,通过多项创新实现单步高保真重建,性能优于同类模型且首次实现端到端训练。
2024-08-12 cs.LG cs.SD eess.AS
Steering Autoregressive Music Generation with Recursive Feature Machines
University of California, San Diego(加利福尼亚大学圣迭戈分校)
本文提出MusicRFM框架,利用递归特征机实现对预训练音乐模型的细粒度可控生成,通过引导内部激活实现高质量音乐生成与提示忠实性平衡。
2026-04-02 cs.AI cs.LG cs.SD
Long-Form Text-to-Music Generation with Adaptive Prompts: A Case Study in Tabletop Role-Playing Games Soundtracks
Universidade Federal de Viçosa(维索萨联邦大学)
本文提出Babel Bardo系统,利用LLM将语音转录转为音乐描述,生成TRPG配乐,实验表明详细描述提升音频质量,描述一致性增强故事对齐与过渡平滑。
2025-05-21 cs.AI cs.MM cs.NE
Interactive Melody Generation System for Enhancing the Creativity of Musicians
Tokyo City University(东京城市大学)
本研究提出集成多个RNN模型的交互式旋律生成系统,可基于用户反馈适配创作意图,经不同背景作曲家实验验证能促进音乐创造力,为AI辅助作曲与协作艺术探索提供新工具。
2024-03-06 cs.AI cs.HC cs.SD
cMelGAN: An Efficient Conditional Generative Model Based on Mel Spectrograms
University of Toronto(多伦多大学)
在机器学习领域分析音乐是一个非常困难的问题,需要考虑许多限制。音频数据的性质,其非常高的维度和广泛变化的结构尺度,是它如此难以建模的主要原因之一。机器学习在音乐中有许多应用,例如对一段音乐的情绪进行分类,有条件的音乐生成或流行预测。该项目的目标是开发一个基于Mel声谱图的音乐体裁条件生成模型,并通过将其与使用基于音符表示的现有生成音乐模型进行比较来评估其性能。我们最初实现了一个自回归的、基于RNN的生成模型,称为MelNet。然而,由于其速度慢且输出保真度低,我们决定创建一种新的全卷积架构,该架构基于Mel GAN [4]和条件GAN架构,称为cMel GAN。
2022-05-15 cs.AI cs.LG cs.SD
MQAD: A Large-Scale Question Answering Dataset for Training Music Large Language Models
ByteDance(字节跳动)
本文提出基于Million Song Dataset构建的大规模音乐问答数据集MQAD,涵盖27万首曲目和近300万问答对,并通过融合LLaMA2与Whisper的多模态模型验证其在音乐理解任务上的优势。
2025-08-27 cs.SD
Exploring modality-agnostic representations for music classification
New York University(纽约大学)
音乐信息通常跨多个数据模态来传达或记录,包括但不限于音频、图像、文本和乐谱。然而,音乐信息检索的研究几乎完全集中在单一的模态识别,需要开发单独的模型,为每一个模态。一些多模态工程需要多个共存的模态作为输入提供给模型,限制了这些模型的使用,只有在所有模态的数据都可用的少数情况下。据我们所知,没有现有的模型能够从不同的模态(例如图像或声音)中获取输入,并将其分类为统一的音乐类别。我们探索使用跨模态检索作为借口任务来学习模态不可知表示,然后可以将其用作独立于模态的分类器的输入。我们选择乐器分类作为我们研究的一个例子,因为视觉和听觉成分都提供了相关的语义信息。我们训练可以将图像或声音作为输入的乐器分类器,并对仅声音分类器或仅图像分类器执行分类。此外,我们探讨的情况下,当有有限的标记数据为一个给定的方式,和性能的影响,通过使用标记数据从其他方式。我们能够在zero-shot设置中实现几乎70%的最佳性能系统。我们提供了一个详细的分析实验结果,以了解该方法的潜力和局限性,并讨论未来的步骤,模态不可知分类。
2021-06-02 cs.IR cs.SD eess.AS
One Deep Music Representation to Rule Them All? : A comparative analysis of different representation learning strategies
Delft University of Technology(代尔夫特理工大学)
受在计算机视觉和自然语言处理领域成功部署深度学习的启发,这种学习范式也进入了音乐信息检索领域。为了以有效且高效的方式从深度学习中受益,深度迁移学习已成为一种常见的方法。在这种方法中,可以重用预先训练的神经网络的输出作为新学习任务的基础。基本假设是,如果初始学习任务和新学习任务显示出共性并且被应用于相同类型的输入数据(例如音乐音频),则所生成的数据的深度表示也为新任务提供信息。然而,由于大多数用于生成深度表示的网络都是使用单个初始学习源进行训练的,因此它们的表示不太可能为所有可能的未来任务提供信息。在本文中,我们提出了我们的调查结果是什么是最重要的因素,以产生在音乐领域的数据和学习任务的深度表示。我们通过一项广泛的实证研究进行了这项调查,该研究涉及多个学习源以及多个深度学习架构,这些架构在源之间具有不同程度的信息共享,以便学习音乐表示。然后,我们验证这些表示考虑多个目标数据集进行评估。我们的实验结果产生了一些关于如何设计用于学习音乐领域中可广泛部署的深度数据表示的方法的见解。
2019-02-11 cs.NE cs.SD eess.AS
Dance-to-Music Generation with Encoder-based Textual Inversion
Institute of Automation, CAS(中国科学院自动化研究所);School of Artificial Intelligence, UCAS(中国科学院大学人工智能学院);University of Chinese Academy of Sciences(中国科学院大学);Kuaishou Technology(快手科技);University of Konstanz(康斯坦茨大学);National Cheng-Kung University(成功大学)
针对现有文本转音乐方法难以精细化匹配舞蹈节奏的问题,提出基于编码器的双路径节奏-风格文本反转技术,结合新收集的InDV数据集,实现视觉控制的个性化舞蹈配乐生成,性能优于现有最优方法。
2024-09-13 cs.MM cs.SD eess.AS
MuseMorphose: Full-Song and Fine-Grained Piano Music Style Transfer with One Transformer VAE
Taiwan AI Labs(台湾人工智能实验室);National Taiwan University(台湾大学);Academia Sinica(中央研究院)
Transformers和变分自编码器(VAE)已被广泛用于符号(例如,域音乐生成。虽然前者在建模长序列方面拥有令人印象深刻的能力,但后者允许用户自愿地对不同部分进行控制(例如,小节)的音乐。在本文中,我们有兴趣将两者结合起来,构建一个单一的模型,表现出这两个优势。任务分为两个步骤。首先,我们为Transformer解码器配备了在序列生成期间接受段级时变条件的能力。随后,我们将开发和测试的注意力解码器与Transformer编码器相结合,并使用VAE目标训练产生的MuseMorphose模型,以实现长流行钢琴作品的风格转移,其中用户可以指定音乐属性,包括节奏强度和复调(即,他们所渴望的,是一种境界,一种境界,一种境界。实验表明,MuseMorphose在风格转换任务的许多广泛使用的指标上优于基于递归神经网络(RNN)的基线。
2022-12-19 cs.LG cs.MM cs.SD
Structure-Aware Audio-to-Score Alignment using Progressively Dilated Convolutional Neural Networks
Queen Mary University of London(伦敦玛丽女王大学);Institute for Research and Coordination in Acoustics/Music(声学/音乐研究与协调研究所)
音乐演奏和乐谱之间的结构差异的识别是音频-乐谱对齐的一个具有挑战性但不可或缺的步骤,音频-乐谱对齐是音乐信息检索的一个重要子任务。我们提出了一种新颖的方法,使用逐渐扩大的卷积神经网络来检测给定音乐作品的乐谱和演奏之间的差异。我们的方法在不同层采用不同的膨胀率来捕获短期和长期的上下文,并且可以在有限的注释数据的情况下成功地使用。我们进行实验的真实表演,从结构上不同的分数的音频记录,我们的结果表明,我们的模型优于标准方法的结构感知音频到分数对齐。
2021-02-14 cs.LG cs.SD eess.AS
What Makes a Good Layer? Assessing the Layer-Wise Intrinsic Properties of Music Foundation Models
该研究分析12个音乐基础模型的逐层固有属性,发现现有指标无法通用追踪所有音乐任务的层质量,提出音高转置等变度指标,该指标可有效用于层选择,性能优于可训练多层融合方法,尤其在数据有限场景
2026-08-18 cs.LG cs.SD eess.AS
Sound and Music Biases in Deep Music Transcription Models: A Systematic Analysis
本文分析了深度音乐转录模型在不同音乐风格和声音条件下的性能差异,发现音乐风格和声音质量对转录效果有显著影响。
2025-12-16 cs.LG cs.SD
Data Cleansing with Contrastive Learning for Vocal Note Event Annotations
Ircam(声学/音乐研究与协调研究所);CNRS(法国国家科学研究中心);Spotify
数据清洗是一种用于清洗数据集中错误标签的策略,但在音乐信息检索中尚未得到广泛应用。以前提出的数据清洗模型不考虑结构化(例如,时变)标签,例如音乐数据常见的标签。我们提出了一种新的数据清洗模型的时变,结构化的标签,利用本地结构的标签,并证明其有用的声乐音符事件注释音乐。%我们的模型通过自动创建可能正确标签的局部变形,以对比学习方式进行训练。我们的模型以对比学习的方式进行训练,通过自动对比可能正确的标签对与它们的局部变形。我们证明,与使用原始数据集训练时的准确性相比,使用我们提出的策略训练时,转录模型的准确性大大提高。此外,我们使用我们的模型来估计DALI数据集中的注释出错率,并强调这种类型的模型的其他潜在用途。
2021-04-27 cs.IR cs.LG cs.SD
Explaining Deep Convolutional Neural Networks on Music Classification
Queen Mary University of London(伦敦玛丽女王大学)
深度卷积神经网络(CNN)已经被积极地应用于音乐信息检索领域,例如流派分类、情绪检测和和弦识别。然而,学习和预测的过程很少被理解,特别是当它被应用于频谱图时。我们引入CNN的可听化以理解其潜在机制,其基于[2]中引入的去卷积过程。CNN的可听化是将从去卷积获得的学习卷积特征转换为音频信号。在实验和讨论中,我们解释了基于去卷积频谱图和可听化信号的5层CNN的训练特征。还研究了具有不同音乐属性的每层的成对相关性,以了解学习特征的演变。结果表明,在深层,功能是学习捕捉纹理,连续分布的模式,而不是线条的形状。
2016-07-08 cs.AI cs.LG cs.MM
Progressive Rock Music Classification
University of Florida(佛罗里达大学)
本研究针对渐进摇滚音乐分类这一MIR任务,提取多类音频特征,对比集成方法、定制1D CNN架构及微调AST模型,用赢者通吃投票策略聚合预测,极端随机树等集成方法测试准确率达76.38%,为相关机器学习应用提供见解。
2025-04-15 cs.AI cs.LG cs.SD
SegTune: Structured and Fine-Grained Control for Song Generation
Kling Team, Kuaishou Technology(快手科技 Kling 团队);University of Science and Technology of China(中国科学技术大学);Peking University(北京大学)
提出基于扩散Transformer的SegTune框架,通过用户或LLM指定局部音乐描述实现结构化细粒度控制,并引入LLM时长预测器实现精确歌词-音乐对齐,在音乐性和可控性上超越现有基线。
2026-05-31 cs.AI cs.SD eess.AS
SegTune: Structured and Fine-Grained Control for Song Generation
Kuaishou Technology(快手科技)
提出非自回归框架SegTune,通过段级局部描述和全局提示实现歌曲的结构化可控生成,并引入基于LLM的时长预测器实现精确的歌词-音乐对齐。
2026-05-28 cs.SD
Music Style Transfer with Time-Varying Inversion of Diffusion Models
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Kuaishou Technology(快手科技)
本文提出基于扩散模型时变文本反演的音乐风格迁移方法,以极少数据捕捉梅尔频谱特征,并通过偏置减少风格化技术实现稳定迁移,可迁移乐器风格并融入自然声音创作旋律。
2024-02-21 cs.SD eess.AS
From Discord to Harmony: Decomposed Consonance-based Training for Improved Audio Chord Estimation
针对音频和弦估计中存在的标注主观性、类别不平衡等性能瓶颈问题,该研究提出协和性感知距离度量及融合协和性标签平滑的分解式conformer模型,有效提升了和弦估计的音乐合理性与性能。
2025-09-01 cs.AI cs.LG cs.MM
Mamba2 Meets Silence: Robust Vocal Source Separation for Sparse Regions
Kwangwoon University(光云大学)
Mamba2模型通过双路径架构和带宽分割策略,在稀疏区域实现更精准的语音分离,取得11.03 dB的cSDR最佳成绩。
2025-12-31 cs.AI cs.SD eess.AS
Pitch Preservation In Singing Voice Synthesis
College of Geophysics, Chengdu University of Technology(成都理工大学地球物理学院);Changhong AI Lab (CHAIR), Sichuan Changhong Electronics Holding Group Co., Ltd.(四川长虹电子控股集团有限公司长虹人工智能实验室)
现有的基于编码-解码神经网络直接生成声谱图的歌唱声合成方法,由于歌唱声语料有限,在推理阶段容易出现跑调问题。为了解决这些问题,本文提出了一种新的声学模型,该模型具有独立的音高编码器和音素编码器,将乐谱中的音素和音高信息分离出来,充分利用语料库。具体地,根据等音律理论,音高编码器受到音高度量损失的约束,该音高度量损失将相邻输入音高之间的距离映射到编码器输出之间的对应频率倍数。对于音素编码器,基于相同的音素对应不同的音高可以产生相似的发音的分析,该编码器之后是一个对抗训练的音高分类器,以强制具有不同音高的相同音素映射到相同的音素特征空间。通过这些方法,可以将原始输入空间中稀疏的音素和音高分别转换到更紧凑的特征空间中,其中相同的元素紧密聚集并相互协作以提高合成质量。然后,将两个编码器的输出相加,以通过声学模型中的后续解码器。实验结果表明,所提出的方法能够表征基音输入之间的内在结构,从而获得更高的基音合成精度,并获得优于先进基线系统的歌唱合成性能。
2021-10-12 cs.AI cs.SD eess.AS
Simultaneous Measurement of Multiple Acoustic Attributes Using Structured Periodic Test Signals Including Music and Other Sound Materials
Wakayama University(和歌山大学);Tokyo University of Agriculture and Technology(东京农工大学);Health Sciences University of Hokkaido(北海道医疗大学);Kyushu Institute of Technology(九州工业大学);Konan University(甲南大学)
提出通用框架,用结构化周期测试信号同时测量LTI、SDTI和RTV声学属性,支持音乐等信号,并开源实时工具用于客观评估音高提取器。
2023-09-06 cs.SD eess.AS
Comparison of spectrogram scaling in multi-label Music Genre Recognition
Poznań University of Economics and Business(波兹南经济大学)
本文针对多标签音乐流派识别中流派组合复杂的问题,比较多种频谱图缩放预处理与模型训练方法,并在超过18000条人工标注数据集上验证。
2025-06-02 cs.LG cs.SD eess.AS
Sketch2Sound: Controllable Audio Generation via Time-Varying Signals and Sonic Imitations
Adobe Research(奥多比研究院);Northwestern University(西北大学)
该研究提出Sketch2Sound模型,通过时变控制信号(响度、亮度、音高)、文本提示及声音模仿生成可控高质量音频,基于DiT微调更轻量,支持灵活时间特异性控制,提升声音创作的语义灵活性与表达精确性。
2025-04-14 cs.SD eess.AS
Exploiting Device and Audio Data to Tag Music with User-Aware Listening Contexts
LTCI, Télécom Paris, Institut Polytechnique de Paris(巴黎理工学院巴黎电信学院LTCI);Deezer Research(Deezer研究院)
随着音乐变得越来越可用,特别是在音乐流媒体平台上,人们开始有不同的偏好来适应他们不同的收听情况,也称为上下文。因此,在向用户推荐音乐时考虑用户的情况的兴趣越来越大。以前的作品已经提出了用户感知的自动标记器来推断音乐内容和用户的全球收听偏好的情况相关的标签。然而,在实际的音乐检索系统中,自动标记器只能通过假设上下文类由用户显式提供来使用。在这项工作中,为设计一个全自动的音乐检索系统,我们建议从他们的流数据中消除用户的收听信息的歧义。也就是说,我们提出了一种系统,该系统可以1)通过利用用户感知的音乐自动标记器,以及2)通过从流数据(例如,设备、网络)和用户的一般简档信息(例如,年龄)自动推断用户的情况,在某个时间为用户生成情景播放列表。实验表明,这种上下文感知的个性化音乐检索系统是可行的,但在新用户、新曲目或上下文类数目增加的情况下,检索性能会有所下降。
2022-11-14 cs.LG cs.SD eess.AS
Listen, Read, and Identify: Multimodal Singing Language Identification of Music
ByteDance(字节跳动)
我们提出了一个多模态歌唱语言分类模型,同时使用音频内容和文本元数据。LRID-Net是一个基于元数据的语言概率估计模型,它以音频信号和语言概率向量为基础,输出目标语言的概率。可选地,LRID-Net通过模态退出来处理缺失的模态。在实验中,我们训练了几个具有不同模态丢弃配置的LRID-Net,并使用各种输入模态组合对其进行测试。实验结果表明,使用多模态输入提高了性能。研究结果还表明,采用模态丢弃不会降低模型的性能时,有完整的模态输入,同时使模型能够处理丢失的模态情况下,在一定程度上。
2021-07-27 cs.CL cs.SD eess.AS
MusicScore: A Dataset for Music Score Modeling and Generation
The Chinese University of Hong Kong(香港中文大学)
本研究针对现有乐谱数据集规模有限、多面向OMR任务、缺乏音乐建模与生成专用大规模基准的问题,构建了源自IMSLP的多规模图文对数据集MusicScore,并基于UNet扩散模型搭建生成系统验证其基准价值,数据集已公开发布。
2024-06-17 cs.GR cs.MM cs.SD
A Multimodal Approach towards Emotion Recognition of Music using Audio and Lyrical Content
NIT Warangal(瓦朗加尔国家理工学院)
我们提出了MoodNet -一个基于深度卷积神经网络的架构,可以有效地预测与音乐片段相关的情感,因为它的音频和歌词内容。我们评估了不同的架构,包括不同数量的二维卷积和子采样层,然后是密集层。我们使用Mel-Spectrograms来表示音频内容和单词嵌入-特别是100维单词向量,来表示歌词所代表的文本内容。我们将来自两种模态的输入数据馈送到我们的MoodNet架构。然后将来自两种模态的输出融合为一个完全连接的层,并使用softmax classfier来预测情感类别。使用F1-score作为我们的度量标准,我们的结果显示MoodNet在我们实验的两个数据集上表现出色-MIREX Multimodal数据集和Million Song数据集。我们的实验反映了一个假设,即越复杂的模型在训练数据越多的情况下表现越好。我们还观察到歌词作为更好的表达模态优于音频,并得出结论,与使用单一模态作为输入相比,组合和使用来自多个模态的特征用于预测任务导致更好的性能。
2018-10-10 cs.CL cs.CV cs.MM
NoiseBandNet: Controllable Time-Varying Neural Synthesis of Sound Effects Using Filterbanks
University of York(约克大学);University of Miami(迈阿密大学);Music Artificial Intelligence Algorithms, Inc.(音乐人工智能算法公司)
本文提出 NoiseBandNet,利用滤波器组滤波白噪声实现可控时变音效合成,在多类音效重建中优于 DDSP 滤波噪声基线,并支持变体生成、响度迁移和自定义控制。
2023-07-16 cs.SD eess.AS
PitchBench: Measuring Pitch Hearing in Audio-Language Models
University of California, Berkeley(加州大学伯克利分校);Thoughtful Lab
提出PitchBench评估套件,通过28个实验系统测量音频-语言模型在绝对和相对音高感知上的表现,发现当前模型在不同声源、音长和格式下音高感知不可靠。
2026-11-10 cs.AI cs.SD
Independent Deeply Learned Tensor Analysis for Determined Audio Source Separation
The University of Tokyo(东京大学);NTT Corporation(日本电信电话株式会社);National Institute of Technology, Kagawa College(香川高等专门学校)
我们解决了确定的音频声源分离的问题,在时间-频率域。在独立深度学习矩阵分析(IDLMA)中,假设每个源频谱的频率间相关性为零,这不适合对音乐信号等非平稳信号进行建模。为了解释频率之间的相关性,提出了独立的半正定张量分析。然而,这种无监督(盲)方法严格限制了频率协方差矩阵(FCM)的结构,以减少模型参数的数量。作为这些传统方法的扩展,我们在这里提出了一种使用深度神经网络(DNN)对FCM进行建模的监督方法。使用DNN很难直接推断FCM。因此,我们还提出了一个新的FCM模型表示为一个对角FCM和秩1 FCM的凸组合。我们的FCM模型是足够灵活的,不仅考虑频率间的相关性,但也捕捉动态的时变FCM的非平稳信号。我们使用两个DNN来推断所提出的FCM:用于功率谱估计的DNN和用于时域信号估计的DNN。音乐信号的分离实验结果表明,该方法比IDLMA方法具有更好的分离性能。
2021-06-10 cs.SD eess.AS
HAAQI-Net: A Non-intrusive Neural Music Audio Quality Assessment Model for Hearing Aids
Academia Sinica(中央研究院);National Chengchi University(国立政治大学);National Yang Ming Chiao Tung University(国立阳明交通大学);Research Center for Information Technology Innovation, Academia Sinica(中央研究院资讯科技创新研究中心);Institute of Information Science, Academia Sinica(中央研究院资讯科学研究所);College of Informatics, National Chengchi University(国立政治大学资讯学院);Institute of Communications Engineering, National Yang Ming Chiao Tung University(国立阳明交通大学通讯工程研究所)
本文提出非侵入式 HAAQI-Net,融合 BEATs 特征、BLSTM 与注意力机制预测助听器音乐质量,并通过知识蒸馏和微调实现高效、鲁棒的主客观评分预测。
2025-01-09 cs.LG cs.SD eess.AS
Real-Time Language Model Jamming: A Case Study for Live Music Accompaniment Generation
MBZUAI(穆罕默德·本·扎耶德人工智能大学)
提出StreamMUSE系统,在客户端-服务器架构中实现帧同步流式推理,通过现场音乐伴奏任务验证了不同延迟环境下实时同步的有效性。
2026-06-11 cs.OS cs.SD
SnakeSynth: New Interactions for Generative Audio Synthesis
University of British Columbia(不列颠哥伦比亚大学)
本文提出基于 Web 和 TensorFlow.js 的轻量合成器 SnakeSynth,利用二维触摸/拖拽手势实时控制深度生成音频的长度、强度与音色插值。
2023-07-11 cs.HC cs.SD eess.AS
A DDSP Framework for Adaptive Room Equalization
Signal Processing Applications Group(信号处理应用组);Information Processing and Telecommunications Center(信息处理与电信中心);Universidad Politécnica de Madrid, Spain(马德里理工大学,西班牙)
提出模块化可微数字信号处理框架,通过自动微分恢复Fx-LMS为特例,支持可互换均衡结构,实验表明频域目标更稳定,系统距离降低70%,梅尔谱距离降低13%。
2026-06-23 cs.SD eess.AS
EditGen: Harnessing Cross-Attention Control for Instruction-Based Auto-Regressive Audio Editing
Department of Informatics and Telecommunications, UoA NCSR "Demokritos"(信息与电信系,雅典国家科研中心"Demokritos");School of Electrical and Computer Engineering, NTUA(电气与计算机工程学院,国家技术研究院)
本研究提出EditGen,通过在自回归模型MUSICGEN中利用交叉注意力控制实现基于指令的音频编辑,提出了替换、重加权和细化三种编辑机制,显著优于基于扩散的基线。
2025-07-15 cs.AI cs.SD eess.AS
Model-based STFT phase recovery for audio source separation
Tampere University of Technology(坦佩雷理工大学);Télécom ParisTech(巴黎高等电信学院);LTCI, Télécom ParisTech, Université Paris-Saclay(巴黎萨克雷大学巴黎高等电信学院LTCI实验室)
对于音频声源分离应用,通常估计每个声源的短时傅立叶变换(STFT)的幅度。为了进一步合成时域信号,需要恢复相应复值STFT的相位。该领域的大多数作者选择Wiener滤波方法,其归结为使用原始混合物的相位。本文则采取了不同的观点。许多音乐事件部分地由缓慢变化的正弦波组成,并且这些频率分量随时间的STFT相位增量采用特定形式。一旦获得短期频率估计,这允许通过展开技术进行相位恢复。在此,提出了一种新的迭代声源分离过程,建立在这些结果。它是通过辅助函数法使混合误差最小化。这个过程是通过利用展开技术,以产生估计,受益于时间连续性属性初始化。对现实音乐作品进行的实验表明,在精确的幅度估计下,该过程优于最先进的一致性维纳滤波器。
2018-02-27 cs.SD
Wave-shape function analysis -- when cepstrum meets time-frequency analysis
Department of Mathematics, University of Toronto(多伦多大学数学系);Research Center for Information Technology Innovation, Academia Sinica(中国科学院信息技术创新研究中心)
本文提出结合谱分析与非线性时频分析,用于研究具有时变频率、幅度及非正弦振荡模式的多分量振荡信号。提出去波形同步压缩变换算法,理论分析并验证其有效性。
2016-11-22 cs.NA cs.SD math.NA
SpliceOut: A Simple and Efficient Audio Augmentation Method
Indian Institute of Technology Bombay(印度孟买理工学院);Verisk Analytics(威睿凯分析公司)
时间掩蔽已经成为语音和音频任务的事实上的增强技术,包括自动语音识别(ASR)和音频分类,最显著的是作为SpecAugment的一部分。在这项工作中,我们提出了SpliceOut,一个简单的修改时间掩蔽,使其计算更有效。SpliceOut在各种语音和音频任务上的表现都超过(有时甚至超过)SpecAugment,包括使用不同数量的训练数据针对七种不同语言的ASR,以及语音翻译,声音和音乐分类,从而将自己确立为广泛适用的音频增强方法。当与其他增强技术结合使用时,SpliceOut还提供了额外的增益。除了全监督设置,我们还证明了SpliceOut可以补充无监督表示学习与半监督和自监督设置中的性能增益。
2021-10-13 cs.AI cs.LG cs.SD
Audio Palette: A Diffusion Transformer with Multi-Signal Conditioning for Controllable Foley Synthesis
New York University(纽约大学)
Audio Palette通过多信号条件和LoRA技术实现可控Foley合成,提供高效、可解释的音频生成与控制方法。
2025-12-05 cs.SD eess.AS
ReelWave: Multi-Agentic Movie Sound Generation through Multimodal LLM Conversation
The Hong Kong University of Science and Technology(香港科学与技术大学);Dartmouth College(达特茅斯学院)
ReelWave提出多智能体电影声音生成框架,由Sound Director通过多模态LLM协调Foley Artist、Composer和Voice Actor智能体,利用响度、音高和音色等时变控制信号,实现画内与画外声音的协同生成。
2025-06-02 cs.CV cs.SD