BEHM-GAN: Bandwidth Extension of Historical Music using Generative Adversarial Networks
Aalto University(阿尔托大学)
音频带宽扩展旨在扩展窄带音频信号的频谱。虽然这一主题在近年来得到了广泛的研究,但扩展历史音乐录音的带宽的特定问题仍然是一个公开的挑战。本文提出了BEHM-GAN,一个基于生成对抗网络的模型,作为这个问题的实际解决方案。所提出的方法与音频的复杂频谱图表示一起工作,并且由于专用的正则化策略,可以有效地扩展未分发的真实历史记录的带宽。BEHM-GAN被设计为在对录音进行去噪后的第二步应用,以抑制任何附加干扰,例如滴答声和背景噪声。我们使用钢琴独奏古典音乐进行训练和评估。在客观和主观实验中,所提出的方法优于比较基线。正式的盲听测试结果表明,BEHM-GAN显著提高了20世纪早期留声机录音的感知音质。对于几个项目,有一个实质性的改善后,提高历史记录与建议的带宽扩展算法的平均意见得分。这项研究代表了在现实世界中数据驱动的音乐恢复的相关步骤。
2022-06-28 cs.SD eess.AS
Novel Recording Studio Features for Music Information Retrieval
Bremen Spatial Cognition Center, University of Bremen(不来梅大学不来梅空间认知中心);Faculty of Information and Communication Technology, Mahidol University(玛希隆大学信息与通信技术学院)
在录音室里,电子舞曲(EDM)的制作人花更多的时间来创作,塑造,混合和掌握声音,而不是作曲或编曲。他们通过近距离聆听和利用音频测量和音频分析工具来调整声音,直到成功地创造出所需的声音美学。EDM的DJ倾向于播放符合他们声音理想的歌曲集。因此,我们建议使用录音室的音频测量和监控工具来分析EDM,而不是依赖于传统的低级别音频功能。我们通过一个简单的分类任务来测试我们的新功能集。我们把歌曲归功于会播放特定歌曲的DJ。这套新的功能和对DJ集的关注是针对EDM的,因为它考虑到了制作人和DJ文化。通过简单的降维和机器学习,这些特征使我们能够以63%的准确率将歌曲归因于DJ。录音室中的音频测量和监测工具的特征可以用于音乐信息检索中的许多应用,例如流派、风格和时代分类以及为DJ和电子舞曲消费者推荐音乐。
2021-01-25 cs.IR cs.SD eess.AS
Spectrogram-Based Detection of Auto-Tuned Vocals in Music Recordings
University of Brescia(布雷西亚大学);Polytechnic University of Milan(米兰理工大学)
针对音乐录音中自动修音人声检测的空白,本研究构建含原始与修音片段的数据集,提出基于三元组网络的数据驱动检测方法,其准确率和鲁棒性均优于音频取证常用的Rawnet2模型。
2024-03-08 cs.CV cs.SD eess.AS
Predicting Artificial Neural Network Representations to Learn Recognition Model for Music Identification from Brain Recordings
Sony Computer Science Laboratories, Inc(索尼计算机科学实验室公司)
本研究反转了从人工神经网络(ANN)表示预测皮层表示的方向,利用ANN表示作为监督信号训练基于脑电图(EEG)的音乐识别模型,显著提升了分类准确率,为脑机接口与神经解码提供了新方法。
2024-12-20 cs.LG cs.SD eess.AS
MuScriptor: An Open Model for Multi-Instrument Music Transcription
研究多乐器音乐转录问题,核心方法是分析合成数据预训练有效性,结合真实音乐音频微调与强化学习后训练,还引入乐器存在条件定制转录,主要贡献是发布MuScriptor开放模型用于多种音乐录音。
2026-08-04 cs.LG cs.SD
A Manual Bar-by-Bar Tempo Measurement Protocol for Polyphonic Chamber Music Recordings: Design, Validation, and Application to Beethoven's Piano and Cello Sonatas
本文提出一种手动累积计时器协议,用于精确提取历史多声部室内乐录音中的节奏数据,解决了传统自动节拍检测软件在处理历史作品时的局限性。
2026-04-16 cs.SD eess.AS
Exploiting Time-Frequency Conformers for Music Audio Enhancement
Seoul National University(首尔国立大学)
针对移动设备录制的音乐存在噪声、混响等退化问题,提出基于Conformer架构的音乐增强系统,在单声部任务上达最优,还可处理多轨混音通用增强。
2023-08-24 cs.LG cs.SD eess.AS
Towards Explaining Expressive Qualities in Piano Recordings: Transfer of Explanatory Features via Acoustic Domain Adaptation
Johannes Kepler University Linz(林茨约翰内斯·开普勒大学)
音乐中的情感和表现力一直是音乐信息检索领域的研究热点。近年来,中级感知特征被认为是解释音乐情感的计算预测的手段。我们发现,用于学习这些特征的可用数据集中音乐风格和流派的多样性不足以使模型很好地推广到专业的声学领域,如钢琴独奏音乐。在这项工作中,我们表明,通过利用无监督的领域自适应与感受场正则化的深度神经网络,有可能显着提高推广到这个领域。此外,我们证明了我们的域适应模型可以更好地预测和解释古典钢琴演奏中的表达质量,正如人类听众所感知和描述的那样。
2021-02-26 cs.LG cs.SD eess.AS
Automatic Transcription of Flamenco Singing from Polyphonic Music Recordings
Universitat Pompeu Fabra(庞培法布拉大学)
音符级自动转写被认为是音乐信息检索中最具挑战性的任务之一。弗拉门戈歌唱转录的具体情况构成了一个特殊的挑战,由于其复杂的旋律进展,语调不准确,使用高度的重复和吉他伴奏的存在。在这项研究中,我们探讨了现有的最先进的转录系统的情况下,弗拉门戈歌唱的局限性,并提出了一个具体的解决方案,这种类型:我们首先提取的主要旋律,并应用一种新的轮廓过滤过程,以消除节段的音高轮廓起源于吉他伴奏。我们制定了一套发病检测功能的基础上的音量和音高特征分割成离散的音符事件的音高轮廓。通过将全局音高类别概率与局部音高轮廓统计相结合,将量化音高标签分配给每个音符事件。所提出的系统优于最先进的歌唱转录系统的发声准确性,发病检测和整体性能评估时,弗拉门戈歌唱数据集。
2015-10-14 cs.IR cs.SD
SISO and SIMO Accompaniment Cancellation for Live Solo Recordings Based on Short-Time ERB-Band Wiener Filtering and Spectral Subtraction
Sony Computer Science Laboratory (CSL)(索尼计算机科学实验室)
合作音乐学习的研究受到尚未解决的问题,需要新的技术解决方案。一个这样的问题是在练习期间在表演的现场记录中抑制伴奏,这可以是为了自我评估或进一步的机器辅助分析的目的。能够将独奏与伴奏分开允许创建学习代理,这些学习代理可以充当个人导师并帮助学徒提高他或她的技术。首先,我们从经典的自适应噪声消除方法开始,并将其调整到手头的问题。在第二步中,我们比较了一些自适应和维纳滤波方法,并评估其性能的任务。我们的研究结果表明,自适应滤波是不适合处理音乐信号和维纳滤波在短时傅立叶变换域是一个更有效的方法。此外,如果在听觉滤波器的频带中进行,则它是非常便宜的。还提出了基于最大比合并的双输出扩展。
2016-11-27 cs.SD
Sparse Pursuit and Dictionary Learning for Blind Source Separation in Polyphonic Music Recordings
University of Bremen(不来梅大学);Colorado State University(科罗拉多州立大学)
提出了一种单声道音频信号盲分离算法。它基于一个参数模型,该模型描述了独立于音高的乐器声音的频谱特性。我们开发了一种新的稀疏追踪算法,可以匹配的离散频谱从记录的信号与连续的频谱提供的模型。我们首先使用该算法将来自记录的STFT谱图转换成一种新形式的对数频率谱图,其分辨率超过了梅尔谱图。然后,我们利用该表示的音高不变特性,以便通过相同的稀疏追踪方法来识别乐器的声音。由于表征乐器的模型参数事先不知道,我们训练包含它们的字典,使用修改后的亚当版本。将该算法应用于各种音频样本,我们发现,它能够产生高质量的分离结果时,模型假设得到满足,仪器是明确区分,但具有相似的频谱特性的仪器的组合构成了一个概念上的困难。虽然该模型的一个关键特征是它显式地对不和谐性进行建模,但它的存在仍然会阻碍稀疏追踪算法的性能。在一般情况下,由于其音高不变性,我们的方法是特别适合于处理从声学仪器的频谱,只需要一个最小数量的超参数被预设。此外,我们证明了为一个记录构建的字典可以应用于具有类似仪器的不同记录,而无需额外的训练。
2021-02-01 cs.LG cs.SD eess.AS
Mind the beat: detecting audio onsets from EEG recordings of music listening
Georgia Institute of Technology(佐治亚理工学院)
我们提出了一种深度学习方法来预测用户在听音乐时记录的脑电图(EEG)中的音频事件发作。我们使用一个公开的数据集,其中包含10首当代歌曲和同时记录的EEG。我们为数据集中的歌曲生成一系列起始标签,并训练神经网络(全连接网络(FCN)和递归神经网络(RNN))来解析输入EEG的第二个窗口,以预测音频中的第二个起始窗口。我们将我们的RNN网络与标准的基于光谱通量的新颖性函数和FCN进行了比较。我们发现,我们的RNN能够产生比其他方法更好地反映其泛化能力的结果。由于没有预先存在的工作在这个问题上,本文中提出的数字可以作为有用的基准,为未来的方法,这个研究问题。
2021-02-12 cs.SD eess.AS eess.SP
Prior Distribution Design for Music Bleeding-Sound Reduction Based on Nonnegative Matrix Factorization
National Institute of Technology, Kagawa College(国立高等专门学校机构,香川高等专门学校);The University of Tokyo(东京大学);Yamaha Corporation(雅马哈株式会社)
当我们在音频录制中将麦克风放置在靠近其他声源的声源附近时,所获得的音频信号包括来自其他声源的不希望的声音,这通常被称为串扰或出血声音。对于许多音频应用,包括现场表演后的舞台扩声和声音编辑,减少每个录制信号中的出血声音非常重要。然而,由于在这种情况下麦克风在空间上彼此分离,因此不能使用典型的相位感知盲声源分离(BSS)方法。本文提出了一种相位不敏感的漏音盲抑制方法。该方法是基于时间通道非负矩阵分解,这是一种只使用幅度谱的BSS方法。与所提出的方法,我们引入了基于伽玛分布的出血声音泄漏水平的先验。它的优化可以解释为最大后验概率估计。音乐渗音抑制的实验结果表明,与其他盲分离方法相比,该方法对音乐信号的渗音抑制效果更好。
2021-09-01 cs.SD eess.AS
Music Enhancement via Image Translation and Vocoding
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);Adobe Research(奥多比研究院)
消费级音乐记录(例如由移动装置捕获的那些音乐记录)通常包含背景噪声、混响和麦克风诱发的EQ形式的失真。本文提出了一种深度学习方法,通过组合(i)用于在其梅尔频谱图表示中操纵音频的图像到图像转换模型和(ii)用于将合成生成的梅尔频谱图映射到感知上真实的波形的音乐声码模型来增强低质量的音乐录音。我们发现,这种方法的音乐增强优于基线,使用经典的方法梅尔频谱图反转和端到端的方法直接映射嘈杂的波形到干净的波形。此外,在评估所提出的方法与听力测试,我们分析了常见的音频增强评估指标的可靠性时,在音乐领域使用。
2022-04-28 cs.LG cs.SD eess.AS
CrowdioSet and PaRIRset: Two Datasets Towards Live Music Source Separation
该研究针对现有音乐源分离模型难以泛化到现场音乐的问题,构建CrowdioSet与PaRIRset两个数据集,可提升模型现场分离性能,相关资源已公开。
2026-07-31 cs.SD eess.AS
LyricJam Sonic: A Generative System for Real-Time Composition and Musical Improvisation
University of Waterloo(滑铁卢大学)
电子音乐艺术家和声音设计师有独特的工作流程实践,需要专门的方法来开发音乐信息检索和创造力支持工具。此外,电子乐器,如模块化合成器,具有近乎无限的声音创作可能性,可以组合起来创建独特而复杂的音频路径。发现有趣声音的过程往往是偶然的,不可能复制。出于这个原因,许多电子流派的音乐家在录音室工作时一直录制音频输出。因此,艺术家很难从数千小时的录音中重新发现可能适合在他们的作品中使用的音频片段。在本文中,我们描述了LyricJam Sonic --一种新颖的创作工具,让音乐家重新发现他们以前的录音,将它们与其他录音重新联系起来,并在实时的【形】创作原创现场音乐作品。一种双模态AI驱动的方法使用生成的歌词线从艺术家过去的录音室录音中找到匹配的音频片段,并使用它们生成新的歌词线,这些歌词线又用于找到其他片段,从而创建一个连续和不断发展的音乐和歌词流。这样做的目的是让艺术家保持一种有利于音乐创作的创造性流动状态,而不是让他们进入一种故意搜索过去音频片段的分析/批判状态。该系统可以在没有用户输入的情况下以完全自主模式运行,或者以现场表演模式运行,其中艺术家播放现场音乐,而系统“收听”并创建连续的音乐和歌词流作为响应。
2022-10-27 cs.AI cs.CL cs.LG
Learning Features of Music from Scratch
University of Washington(华盛顿大学)
本文介绍了一个新的大规模音乐数据集,MusicNet,作为一个来源的监督和评估的机器学习方法的音乐研究。MusicNet由10位作曲家为11种乐器创作的数百首免费授权的古典音乐录音组成,加上乐器/音符注释,在各种录音室和麦克风条件下的34小时室内乐表演中产生了超过100万个时间标签。本文定义了一个多标签分类任务来预测音乐记录中的音符,以及一个评估协议,并为此任务对几种机器学习架构进行了基准测试:i)从声谱图特征学习; ii)使用神经网络进行端到端学习; iii)使用卷积神经网络进行端到端学习。这些实验表明,为音符预测训练的端到端模型将频率选择滤波器作为音频的低级表示来学习。
2017-04-06 cs.LG cs.SD stat.ML
On audio enhancement via online non-negative matrix factorization
Utrecht University(乌得勒支大学)
我们提出了一种降噪方法,即从被加性噪声破坏的录音中产生干净的音频信号。解决这个问题的许多常见方法都是基于将非负矩阵分解应用于频谱图测量。这些方法使用无噪声记录和纯噪声记录,无噪声记录被认为在结构上与感兴趣的信号相似,纯噪声记录用于学习真实信号和噪声的字典。然后可以通过将损坏的记录投影到干净的字典上来构建真实信号的近似。在这项工作中,我们建立在这些方法的基础上,提出使用\emph{online}非负矩阵分解这个问题。与传统的非负矩阵分解相比,该方法具有更高的存储效率,并且在实时去噪中具有潜在的应用价值。
2021-10-07 cs.SD eess.AS
Multimodal music information processing and retrieval: survey and future challenges
LIM – Music Informatics Laboratory Department of Computer Science University of Milan(米兰大学计算机科学系LIM - 音乐信息学实验室)
为了提高在各种音乐信息处理任务中的表现,最近的研究利用能够捕获音乐的不同方面的不同模态。这些形式包括音频记录,符号乐谱,中级表示,运动和手势数据,视频记录,编辑或文化标签,歌词和专辑封面艺术。本文批判性地回顾了音乐信息处理和检索中采用的各种方法,并强调了多模态算法如何帮助音乐计算应用程序。首先,我们根据它们所涉及的应用对相关文献进行分类。随后,我们分析了现有的信息融合方法,我们得出结论,音乐信息检索和声音和音乐计算研究社区应该在未来几年集中的挑战。
2019-02-14 cs.IR cs.MM cs.SD
Disentangled Multidimensional Metric Learning for Music Similarity
Adobe Research(Adobe 研究院)
音乐相似性搜索对于各种创造性任务非常有用,例如将一个音乐录音替换为具有类似“感觉”的另一个录音,这是视频编辑中的常见任务。对于此任务,通常需要定义相似性度量以将一个记录与另一个记录进行比较。然而,音乐相似性很难定义,并且依赖于多个同时存在的相似性概念(即流派,情绪,乐器,节奏)。虽然以前的工作忽略了这个问题,我们拥抱这个想法,并引入多维相似性的概念,并统一到一个单一的,语义解开多维相似性度量的全球和专门的相似性度量。为此,我们将一种称为条件相似性网络的深度度量学习变体应用于音频域,并使用基于音轨的信息对其进行扩展,以控制我们模型的特异性。我们评估我们的方法,并表明我们的单一,多维模型优于专业的相似性空间和替代基线。我们还进行了一项用户研究,表明我们的方法也受到人类注释者的青睐。
2020-08-12 cs.LG cs.SD eess.AS
Solos: A Dataset for Audio-Visual Music Analysis
Universitat Pompeu Fabra(庞培法布拉大学)
在本文中,我们提出了一个新的音乐表演视频数据集,可用于训练机器学习方法的多个任务,如视听盲源分离和定位,跨模态对应,跨模态生成,一般来说,任何视听自我监督任务。这些视频来自YouTube,由13种不同乐器的独奏音乐表演组成。与之前提出的视听数据集相比,Solos更干净,因为它的大量录音都是试听和手动检查的录音,确保没有背景噪音,也没有在视频后处理中添加效果。此外,据我们所知,它是唯一一个包含URMP \cite{URPM}数据集中所有乐器的数据集,URMP是一个高质量的数据集,包含44个多乐器古典音乐作品的音频视频记录,带有单独的音轨。URMP旨在用于源分离,因此,我们评估了在Solos上训练的两种不同源分离模型在URMP数据集上的性能。该数据集可在https://juanfmontesinos.github.io/Solos/上公开获取
2020-08-06 cs.DB cs.SD eess.AS
Few-Shot Musical Source Separation
Spotify(声田)
基于深度学习的音乐声源分离方法通常限于模型所训练的乐器类,并且不能推广到分离看不见的乐器。为了解决这个问题,我们提出了一个Few-Shot音乐声源分离范例。我们的通用U-Net声源分离模型的条件下,使用几个音频的目标文书的例子。我们训练一个Few-Shot条件编码器与U-Net联合编码的音频样本到一个条件向量配置U-Net通过特征线性调制(FILM)。我们在MUSDB 18和MedleyDB数据集中的真实音乐记录上评估了训练模型。我们表明,我们提出的Few-Shot条件范例优于基线一热仪器类条件模型的可见和不可见的仪器。为了将我们的方法扩展到更广泛的现实世界场景,我们还尝试了不同的条件反射示例特征,包括来自不同录音的示例,多个来源或负面条件反射示例。
2022-05-03 cs.SD eess.AS
Blind Source Separation in Polyphonic Music Recordings Using Deep Neural Networks Trained via Policy Gradients
Center for Industrial Mathematics, University of Bremen(不来梅大学工业数学中心);Mathematics Department, Colorado State University(科罗拉多州立大学数学系)
提出了一种对音频信号中乐器声音进行盲分离的方法。我们通过一个参数模型来描述各个音调,训练一个字典来捕获谐波的相对幅度。模型参数通过U-Net进行预测,U-Net是一种深度神经网络。基于模型预测与短时傅里叶变换的各个时间帧之间的差异,在没有地面实况信息的情况下训练网络。由于一些模型参数不产生有用的反向传播梯度,我们随机建模,并采用策略梯度。为了提供相位信息并解释基于词典的表示中的不准确性,我们还让网络输出直接预测,然后我们使用它来重新合成各个乐器的音频信号。由于神经网络的灵活性,非谐波可以无缝地合并,不需要对输入光谱进行预处理。我们的算法产生高质量的分离结果,特别是低干扰的各种不同的音频样本,无论是声学和合成,提供的样本包含足够的数据的训练和乐器的频谱特性是足够稳定的字典近似。
2021-08-09 cs.LG cs.SD eess.AS
Automatic music mixing with deep learning and out-of-domain data
Sony Group Corporation(索尼集团公司);Sony Europe B.V.(索尼欧洲有限公司)
音乐混音传统上涉及以干净的单独音轨的形式记录乐器,并使用音频效果和专业知识(例如,混合工程师)。近年来,音乐制作任务的自动化已成为一个新兴领域,其中基于规则的方法和机器学习方法已被探索。然而,缺乏干燥或干净的乐器录音限制了这些模型的性能,这与专业的人工混音还有很大的距离。我们探索是否可以使用域外数据,如湿或处理过的多轨音乐录音,并将其重新用于训练监督式深度学习模型,以弥补当前自动混音质量方面的差距。为了实现这一目标,我们提出了一种新的数据预处理方法,允许模型执行自动音乐混合。我们还重新设计了一种用于评估音乐混合系统的听力测试方法。我们使用经验丰富的混音工程师作为参与者,通过这种主观测试来验证我们的结果。
2022-08-29 cs.LG cs.SD eess.AS
ArtifactNet: Detecting AI-Generated Music via Forensic Residual Physics
Intrect / MARTE Lab, Dongguk University, Seoul, South Korea(Intrect / MARTE实验室,东国大学,首尔,韩国)
ArtifactNet通过刑侦物理方法检测AI生成音乐,利用编码器残留特征进行分类,相比其他方法在准确率和误报率上更优。
2026-09-22 cs.SD eess.AS
Pre-trained Spatial Priors on Multichannel NMF for Music Source Separation
Universidad de Malaga(马拉加大学)
针对音乐声源分离问题,提出将利用独奏片段预训练的空间混合滤波器整合至多通道非负矩阵分解(MNMF)框架的方法,适配典型管弦乐录音搭建方案,在复调合奏场景下分离性能优于传统MNMF方法。
2023-10-09 cs.LG cs.SD eess.AS
FlowSonic: Stable Zero-Shot Music Editing via High-Order Trajectory Integration
研究针对真实音乐录音零样本编辑难题,提出FlowSonic框架,基于预训练扩散变压器,通过重用交叉注意力表示保留结构,引入高阶ODE求解器,实验表明其在多方面优于现有方法,能提高潜在轨迹稳定性实现可靠编辑。
2026-07-21 cs.LG cs.NA cs.SD
Unaligned Supervision For Automatic Music Transcription in The Wild
Tel Aviv University(特拉维夫大学)
多乐器自动音乐转录(AMT),或将音乐记录解码成语义音乐内容,是音乐信息检索的圣杯之一。由于数据汇集困难,目前的AMT方法仅限于钢琴和(一些)吉他录音。为了克服数据汇集障碍,先前的AMT方法试图采用相同歌曲或作品的数字化版本形式的乐谱。分数通常使用音频特征和艰苦的人为干预来对齐以生成训练标签。我们介绍了NoteEM,这是一种在全自动过程中同时训练转录器并将分数与其相应性能对齐的方法。使用这种不对齐的监督方案,辅之以伪标签和音高偏移增强,我们的方法能够以前所未有的准确性和仪器多样性对野外录音进行训练。仅使用合成数据和未对齐的监督,我们报告了MAPS数据集的SOTA音符级准确性,以及跨数据集评估的大幅度优势。我们还展示了鲁棒性和易用性;我们报告了在小型、易于获得的自收集数据集上训练时的可比结果,并且我们提出了MusicNet数据集的替代标签,我们证明它更准确。我们的项目页面可以在https://benadar293.github.io上找到
2022-04-28 cs.AI cs.IR cs.LG
Soloist: A Generative Model for Blind Voice Separation in the Wild
Soloist是一种无需目标说话人查询或预定义语音数量的盲语音分离生成模型,通过两阶段训练结合强化学习,可在真实场景中有效分离重叠、带噪语音及音乐中的人声,还可集成到对话处理流水线中。
2026-10-15 cs.SD
Recognizing Ornaments in Vocal Indian Art Music with Active Annotation
Indian Institute of Technology, Kanpur(印度理工学院,坎浦尔)
本文提出Rāga装饰音检测数据集ROD,并开发基于深度时间序列分析的装饰音检测模型,在长音频切块时保留装饰音边界,实验证明其性能优于基线CRNN。
2025-05-07 cs.AI cs.LG cs.SD
Music Rearrangement Using Hierarchical Segmentation
Music Technology Group, Universitat Pompeu Fabra(庞培法布拉大学音乐技术集团)
本文提出一种基于层次分割的自动音乐重排方法,利用深度音频表示划分乐曲结构,并搜索最优剪切点,以生成时长不同且过渡平滑、音乐发展连贯的版本。
2023-05-12 cs.IR cs.MM cs.SD
Nonnegative tensor factorization with frequency modulation cues for blind audio source separation
Analog Devices Lyric Labs;CIRMMT, McGill University(CIRMMT, 麦吉尔大学)
我们提出了振动非负张量因子分解,单通道无监督音频声源分离的应用程序,从音乐录音中分离乐器或声乐源与非平稳音高的算法。我们的方法扩展了音频建模的非负矩阵分解,包括频率调制的本地估计作为分离中的线索。这允许对颤音或滑音音乐源进行建模和无监督分离,这在基本矩阵分解公式中是不可能的。该算法因式分解一个稀疏的非负张量,包括音频频谱图和本地频率斜率频率比,这是估计在每个时间频率箱使用分布式导数方法。使用局部频率调制作为分离线索的动机是来自听觉景物分析的共同命运部分分组的原理,该原理假设混合物中的每个潜在源的特征在于感知上由其分量分音共享的相干频率和幅度调制。我们通过Minorization-Maximization方法得到乘法因子更新,通过迭代保证收敛到局部最优。然后,我们将我们的方法与两个分离任务的基线进行比较:一个考虑合成颤音音符,而另一个考虑颤音弦乐器录音。
2016-05-31 cs.SD
Bootstrapping deep music separation from primitive auditory grouping principles
Illinois Institute of Technology(伊利诺伊理工学院)
将音频场景(如鸡尾酒会)分离成组成的、有意义的分量是计算机试听中的核心任务。深度网络是最先进的方法。它们在由隔离的声源录音制成的音频合成混合物上进行训练,以便知道分离的基础事实。然而,绝大多数可用的音频并不是孤立的。大脑使用独立于任何特定声源的特性的原始线索来执行音频场景的初始分割。我们提出了一种通过使用多个原始线索来引导用于音乐声源分离的深度模型的方法,而无需地面实况。我们将我们的方法应用于训练来自YouTube的大量未标记音乐录音的网络,以将人声与伴奏分离,而不需要地面实况隔离源或人工训练混合物。
2019-10-23 cs.LG cs.SD eess.AS
Music source separation conditioned on 3D point clouds
mdw.ac.at(维也纳音乐与表演艺术大学)
最近,通过应用深度学习技术,在音频声源分离方面取得了重大进展。目前结合音频和视觉信息的方法使用2D表示(如图像)来指导分离过程。然而,为了从真实音乐合奏的记录(重新)创建用于3D虚拟/增强现实应用的声学上正确的场景,需要关于3D环境中的每个声源的详细信息。这一需求,以及LiDAR或rgb深度相机等3D视觉采集系统的激增,刺激了可以使用3D视觉信息指导音频分离的模型的创建。本文提出了一种多模态深度学习模型,以音乐表演记录的3D点云为条件执行音乐声源分离。该模型使用3D稀疏卷积提取视觉特征,而使用密集卷积提取音频特征。融合模块组合所提取的特征以最终执行音频声源分离。它示出,所提出的模型可以区分乐器从一个单一的三维点云帧,并执行声源分离定性类似的参考情况下,手动分配的仪器标签提供。
2021-02-03 cs.CV cs.SD eess.AS
JSIR: An Audio-Aligned, Multi-Task Dataset of Jazz Standard Recordings
Sogang University(西江大学)
本文提出JSIR多任务数据集,含25.6小时爵士标准曲录音,经多轮修订提供三类标注,训练模型提升了节拍跟踪与和弦估计性能,公开标注及相关工具。
2026-10-14 cs.DL cs.LG cs.MM
Source Separation of Small Classical Ensembles: Challenges and Opportunities
University of Salford(索尔福德大学);University of Nottingham(诺丁汉大学);University of Leeds(利兹大学);University of Sheffield(谢菲尔德大学)
本研究针对古典音乐音源分离难题,利用ConvTasNet模型和合成木管数据库,对比因果与非因果方法,发现合成与真实数据不匹配是关键挑战,为未来研究指明方向。
2025-05-23 cs.LG cs.SD eess.AS
Deep-Learning Architectures for Multi-Pitch Estimation: Towards Reliable Evaluation
LTCI(电信通信实验室);Télécom Paris(巴黎电信学院);Institut Polytechnique de Paris(巴黎理工学院)
从音乐录音中提取音高信息是音乐信号处理中一个具有挑战性但又十分重要的问题。逐帧转录或多音高估计旨在检测复调音乐录音中音高的同时活动,并且最近由于深度学习技术以及各种建议的网络架构而得到了重大改进。在本文中,我们实现了基于CNN、U网结构和自注意组件的不同架构。我们提出了几个修改这些架构,包括自我注意力模块跳过连接,经常性的层,以取代自我注意力,并同时预测复调程度的多任务策略。我们比较了不同大小的这些架构的变体,用于多音高估计,重点是使用MusicNet和Schubert Winterreise数据集的钢琴独奏场景之外的西方古典音乐。我们的实验表明,大多数架构产生竞争力的结果,更大的模型变体似乎是有益的。然而,我们发现,这些结果在很大程度上取决于随机化效应和特定的选择的训练测试分裂,问题的优越性,为特定的架构只给出了很小的改进。因此,我们调查的工作周期(跨版本评估)的几个动作的存在下,数据集分裂的影响,并提出了一个最佳实践的分裂策略MusicNet,削弱了个别测试轨道的影响,并抑制过拟合特定的作品和记录条件。对混合数据集的最终评估表明,对一个特定数据集的改进不一定适用于其他场景,因此强调需要进一步的高质量多音高数据集,以便可靠地测量音乐转录任务的进展。
2022-02-18 cs.LG cs.SD eess.AS
HumTrans: A Novel Open-Source Dataset for Humming Melody Transcription and Beyond
Tencent PCG(腾讯平台与内容事业群)
本文介绍公开的HumTrans哼唱旋律转录数据集,含500首作品、1000个片段、56.22小时音频,由10名音乐学生录制,支持转录及音乐生成等下游任务。
2023-10-17 cs.SD eess.AS
Aria-MIDI: A Dataset of Piano MIDI Files for Symbolic Music Modeling
Queen Mary University of London(伦敦大学Queen Mary分校)
本文提出Aria-MIDI数据集,通过多阶段管道将钢琴音频转录为MIDI文件,包含超百万文件和10万小时音频,为符号音乐建模提供丰富资源。
2025-04-21 cs.AI cs.LG cs.SD
Gaussian Processes for Music Audio Modelling and Content Analysis
Queen Mary University of London(伦敦玛丽女王大学)
真正的音乐信号是高度可变的,但它们具有强大的统计结构。关于声音产生的基本物理机制和构建复杂声音结构的规则(音符,和弦,完整的乐谱)的先验信息可以使用贝叶斯建模技术自然统一。通常,自动音乐转录的算法独立地执行单个任务,例如多个F0检测和节拍跟踪。挑战仍然是执行所有参数的联合估计。我们提出了一种贝叶斯方法来建模音乐音频和内容分析。所提出的方法的基础上高斯过程寻求联合估计的多个音乐概念,通过合并到内核先验信息的非平稳行为,动态,和丰富的频谱内容中存在的建模音乐信号。我们说明了这种方法的好处,通过两个任务:音高估计,并推断丢失的段在复调录音。
2016-06-10 cs.SD stat.ML
YourMT3+: Multi-instrument Music Transcription with Enhanced Transformer Architectures and Cross-dataset Stem Augmentation
Queen Mary(伦敦玛丽女王大学);AI Industrial Convergence Cluster(人工智能产业融合集群)
本文提出YourMT3+多乐器音乐转录模型,通过分层注意力Transformer、专家混合编码器及跨数据集声部增强方法,在不完整标注下实现直接声乐转录,并在多个公共数据集上取得优于或媲美现有模型的性能。
2024-08-01 cs.LG cs.SD eess.AS
Rubato: Transcribing Piano Music with Timestamps
Paul G. Allen School of Computer Science & Engineering, University of Washington(保罗·G·阿伦计算机科学与工程学院,华盛顿大学);Allen Institute for AI(阿伦人工智能研究所)
提出一个名为Rubato的提示条件编码器-解码器模型,结合新的多声部音乐文本表示InterMo,实现从音频生成带时间戳的钢琴乐谱,在记谱准确性上优于现有级联方法。
2026-05-22 cs.CL cs.MM cs.SD
Learning Soft-Attention Models for Tempo-invariant Audio-Sheet Music Retrieval
Johannes Kepler University Linz(林茨约翰·开普勒大学);The Austrian Research Institute for Artificial Intelligence (OFAI)(奥地利人工智能研究所(OFAI))
长期以来,将大型数字化音频记录库与其相应的乐谱图像连接起来一直是研究人员开发新的跨模态检索系统的动机。近年来,基于深度神经网络嵌入空间学习的检索系统更接近实现这一愿景。然而,音乐记录中的全局和局部节奏偏差仍然需要仔细调整给予系统的时间上下文的量。在本文中,我们通过在音频输入上引入额外的软注意力机制来解决这个问题。合成钢琴数据的定量和定性结果表明,这种注意力通过关注基于音频节奏的输入表示的不同部分来增加检索系统的鲁棒性。受到这些结果的鼓舞,我们认为注意力模型具有作为许多MIR任务的非常通用工具的潜力。
2019-06-26 cs.CV cs.IR cs.LG
Training chord recognition models on artificially generated audio
Faculty of Mathematics and Information Science(数学与信息科学学院);Warsaw University of Technology(华沙技术大学)
本研究比较两种Transformer模型,证明人工生成音频数据可有效补充或替代真实录音,用于训练和弦识别模型。
2025-08-07 cs.LG cs.SD
Analysis and transformations of voice level in singing voice
IRCAM(声学与音乐研究与协调学院);CNRS(法国国家科学研究中心)
本研究提出神经声级估计器与自编码器,通过两种无需录音因子的方法估计歌声声级,实现歌声音乐力度转换,感知测试验证了方法的有效性。
2022-11-22 cs.SD eess.AS
EEG2Mel: Reconstructing Sound from Brain Responses to Music
University of California Merced(加州大学默塞德分校)
通过在记录EEG信号的同时对呈现给参与者的歌曲名称和图像类别进行分类,从大脑对听觉和视觉刺激的反应中进行信息检索已经显示出成功。以重建听觉刺激形式的信息检索也取得了一些成功,但在这里,我们通过重建音乐刺激来改进以前的方法,使其能够独立地被感知和识别。此外,深度学习模型在时间对齐的音乐刺激频谱上进行训练,用于EEG记录的每个相应的一秒窗口,与先前的研究相比,这大大减少了所需的特征提取步骤。被动地听全长歌曲的参与者的NMED-Tempo和NMED-Hindi数据集用于训练和验证卷积神经网络(CNN)回归器。测试原始电压与功率谱输入和线性与梅尔谱图输出的功效,并且将所有输入和输出转换为2D图像。重建的光谱图的质量进行了评估,训练分类器显示81%的准确度为梅尔光谱图和72%的线性光谱图(10%的机会准确度)。最后,听觉音乐刺激的重建由听众在85%的成功率(50%的机会),在两个替代匹配到样本的任务。
2022-07-28 cs.CV cs.IR cs.SD
Sanidha: A Studio Quality Multi-Modal Dataset for Carnatic Music
本文提出首个面向卡纳提克音乐的开源录音室品质多轨数据集 Sanidha,包含音频和高清视频,并通过在其上微调 Spleeter 提升了源分离 SDR 性能。
2025-01-12 cs.DL cs.LG cs.SD
Automatic Identification of Samples in Hip-Hop Music via Multi-Loss Training and an Artificial Dataset
Centre for Music & Science, University of Cambridge(剑桥大学音乐与科学中心);Spotify
针对嘻哈音乐样本自动识别任务中样本修改多、训练数据有限的问题,提出基于人工数据集和多损失训练的卷积神经网络,实现对真实世界样本的识别,精度优于声学标志系统,且能定位样本位置。
2025-02-10 cs.LG cs.SD eess.AS
Exploring Diverse Sounds: Identifying Outliers in a Music Corpus
Creativity and Cognition Studios(创意与认知工作室);Faculty of Engineering and IT(工程与信息技术学院);University of Technology Sydney(悉尼科技大学)
本文针对音乐推荐偏重相似性的问题,提出并定义“Genuine”音乐离群值,论证其可揭示艺术家曲目的独特面向并促进多样性音乐发现。
2024-04-09 cs.IR cs.SD eess.AS
Semi-Supervised Convolutive NMF for Automatic Piano Transcription
INSA-Lyon(里昂国立应用科学学院);UCBL(里昂第一大学);Univ Rennes(雷恩大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);INSA Rennes(雷恩国立应用科学学院);UJM-Saint Etienne(圣艾蒂安大学);Inserm(法国国家健康与医学研究院)
自动音乐转录是将音乐表演的音频记录转换为符号格式,它仍然是一项困难的音乐信息检索任务。在这项工作中,重点是钢琴转录,我们提出了一个半监督的方法,使用低秩矩阵分解技术,特别是卷积非负矩阵分解。在半监督设置中,只需要对每个音符进行单次记录。我们在MAPS数据集上表明,所提出的半监督CNMF方法的性能优于最先进的低秩因子分解技术,略差于监督深度学习最先进的方法,但存在泛化问题。
2022-04-14 cs.LG cs.SD eess.AS
Learning to Predict Performance-induced Emotion Differences in Classical Piano Music
本研究针对古典钢琴音乐,提出Delta-VA相对回归框架,利用演奏特征预测演奏差异导致的情感偏差,经实验验证模型方向一致性高但存在幅度低估问题。
2026-08-03 cs.LG cs.MM cs.SD
A Two-Stage U-Net for High-Fidelity Denoising of Historical Recordings
Aalto University(阿尔托大学)
提高历史音乐录音的音质是一个长期存在的问题。本文提出了一种基于全卷积深度神经网络的新型去噪方法。设计了一个两阶段的U-Net模型架构,以高保真度建模和抑制退化。该方法处理音频的时间-频率表示,并使用真实的噪声数据进行训练,以联合去除旧模拟光盘中的嘶嘶声、咔嗒声、重击声和其他常见的附加干扰。该模型在客观和主观指标上都优于以前的方法。一个正式的盲听测试的结果表明,真正的录音去噪与这种方法有显着更好的质量比基线方法。这项研究显示了真实训练数据的重要性和深度学习在音频恢复中的作用。
2022-02-19 cs.SD eess.AS
Persian Musical Instruments Classification Using Polyphonic Data Augmentation
Department of Computer Engineering, Sharif University of Technology(计算机工程系,谢里夫理工大学)
本文针对波斯乐器分类研究不足的问题,提出基于文化背景的复音数据增强策略,结合MERT模型在真实波斯音乐上取得最佳ROC-AUC(0.795),验证了该方法对文化包容性音乐信息检索的有效性。
2025-11-07 cs.CL cs.SD
Investigation of Singing Voice Separation for Singing Voice Detection in Polyphonic Music
Fudan University(复旦大学);Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司);National Institute of Informatics(国立信息学研究所)
歌声检测(SVD)是音乐信息检索(MIR)中的一项重要任务,用于识别歌曲中的声部。由于演唱者的声音多变且与伴奏音乐交织在一起,特别是对于一些复杂的复调音乐,如合唱音乐录音,这项任务仍然具有挑战性。为了解决这个问题,我们研究歌声检测,同时丢弃来自伴奏的干扰。所提出的奇异值分解有两个步骤:i.首先利用歌声分离技术对歌声中的潜在成分进行粗滤;二.根据人声在时域上的连续性,使用长期递归卷积网络(LRCN)来学习成分特征。此外,为了消除离群值,我们选择使用中值滤波器进行时域平滑。实验结果表明,该方法在Jamendo语料库和RWC pop数据集上的性能优于现有的最先进的方法.
2022-05-05 cs.SD eess.AS