libACA, pyACA, and ACA-Code: Audio Content Analysis in 3 Languages
libACA、pyACA和ACA-Code三个软件包提供了三种不同语言(C++、Python和Matlab)的音乐音频信号分析基本方法和算法的参考实现。这三个软件包涵盖了相同的算法,例如低级别音频特征的提取,基频估计,以及和弦识别,音乐键检测和起始点检测的简单方法。此外,提供了在音频内容分析中有用的更通用的算法的实现,诸如动态时间规整和维特比算法。因此,这三个软件包提供了一个实用的跨语言和跨平台的参考,以学生和工程师实现音频分析算法,并使实现为重点的学习算法的音频内容分析和音乐信息检索。
2022-06-30 cs.SD eess.AS
Few-Shot Musical Source Separation
Spotify(声田)
基于深度学习的音乐声源分离方法通常限于模型所训练的乐器类,并且不能推广到分离看不见的乐器。为了解决这个问题,我们提出了一个Few-Shot音乐声源分离范例。我们的通用U-Net声源分离模型的条件下,使用几个音频的目标文书的例子。我们训练一个Few-Shot条件编码器与U-Net联合编码的音频样本到一个条件向量配置U-Net通过特征线性调制(FILM)。我们在MUSDB 18和MedleyDB数据集中的真实音乐记录上评估了训练模型。我们表明,我们提出的Few-Shot条件范例优于基线一热仪器类条件模型的可见和不可见的仪器。为了将我们的方法扩展到更广泛的现实世界场景,我们还尝试了不同的条件反射示例特征,包括来自不同录音的示例,多个来源或负面条件反射示例。
2022-05-03 cs.SD eess.AS
CoLLAP: Contrastive Long-form Language-Audio Pretraining with Musical Temporal Structure Augmentation
UC San Diego(加利福尼亚大学圣地亚哥分校);UC Los Angeles(加利福尼亚大学洛杉矶分校)
CoLLAP提出一种对比式长音频-语言预训练方法,通过音乐时间结构增强和注意力融合机制扩展音频与文本的感知窗口,并在长音频音乐文本检索及下游音乐信息检索任务中取得一致性能提升。
2024-10-03 cs.AI cs.SD eess.AS
Understanding the Algorithm Behind Audio Key Detection
Lumorobotics
本文介绍了一种通过数字信号处理分析音频调性内容并与理论调性轮廓比较,来自动检测音乐调性的算法方法。
2025-05-22 cs.SD eess.AS
Self-Supervised Beat Tracking in Musical Signals with Polyphonic Contrastive Learning
Deezer Research(Deezer研究院);CNRS(法国国家科学研究中心);Télécom ParisTech(巴黎高等电信学院);École Normale Supérieure Paris-Saclay(巴黎-萨克雷高等师范学院)
提出基于 Spleeter 源分离的复调对比学习自监督预训练任务,用于节拍与强拍跟踪,在极少样本下优于随机初始化。
2023-07-16 cs.LG cs.SD eess.AS
SingSong: Generating musical accompaniments from singing
IRCAM - Sorbonne Université(巴黎声学/音乐研究与协调研究所 - 索邦大学);Google Research(谷歌研究院)
我们提出了SingSong,一个系统,生成器乐伴奏输入人声,可能提供音乐家和非音乐家一样,一个直观的新方法来创建音乐特色自己的声音。为了实现这一点,我们建立在音乐声源分离和音频生成的最新发展。具体来说,我们应用一个国家的最先进的声源分离算法的大型语料库的音乐音频,以产生对齐的对人声和乐器的来源。然后,我们调整AudioLM(Borsos等人,2022)--一种用于无条件音频生成的最先进的方法--以适合于有条件的“音频到音频”生成任务,并在源分离的(声乐、乐器)对上对其进行训练。在成对比较相同的声乐输入,听众表示出显着的偏好相比,从一个强大的检索基线产生的乐器SingSong。在https://g.co/magenta/singsong上的声音示例
2023-01-30 cs.AI cs.LG cs.MM
A Benchmarking Initiative for Audio-Domain Music Generation Using the Freesound Loop Dataset
Academia Sinica(中央研究院);National Taiwan University(国立台湾大学);Taiwan AI Labs(台湾人工智能实验室)
本文提出了一个新的基准任务,用于在音频域中使用来自FreeSound Loop Dataset的鼓循环生成音乐段落,这些鼓循环可公开再分发。此外,我们使用了一个更大的收集鼓循环从Looperman建立四个基于模型的客观评价指标,释放这些指标作为一个库,量化和促进音乐音频生成的进展。在这个评估框架下,我们对三个最近的深度生成对抗网络(GAN)模型进行了性能基准测试,这些模型是我们定制的,用于生成循环,包括StyleGAN,StyleGAN 2和UNAGAN。我们还报告了这些模型的主观评价。我们的评估表明,基于StyleGAN2的算法在客观和主观指标上都表现最好。
2022-09-22 cs.SD eess.AS
Musical Instrument Recognition by XGBoost Combining Feature Fusion
Shandong Univ Sci & Technol(山东科技大学)
乐器分类是音乐信息检索研究的重点之一。针对现有乐器分类模型性能不佳的问题,提出一种基于多通道特征融合和XGBoost的乐器分类算法。在对音频特征提取和数据集融合的基础上,将特征输入到XGBoost模型中进行训练;其次,通过比较不同的特征组合和几种经典的机器学习模型如朴素贝叶斯,验证了算法在乐器分类任务中的优越性能。该算法在Medley-solos-DB数据集上实现了97.65%的准确率,优于现有模型。实验结果为乐器分类特征工程中的特征选择提供了参考。
2022-06-02 cs.SD eess.AS
Deep Single Shot Musical Instrument Identification using Scalograms
National Institute of Technology, Durgapur(杜尔加布尔国家理工学院);Indian Institute of Science(印度科学学院);Steradian Semiconductors Pvt. Ltd.(斯特拉迪安半导体私人有限公司)
乐器识别一直被认为是音乐信息检索领域中最难解决的问题之一。尽管有几次强有力的尝试来解决这个问题,一个跨越过去五十多年的时间轴,这个问题仍然是一个悬而未决的难题。在这项工作中,作者采取了传统问题陈述的进一步复杂版本。他们试图用最少的可用数据来解决这个问题--每节课一段音频摘录。我们建议使用卷积暹罗网络和相同的残差变体来基于其音频摘录的相应尺度图识别乐器。我们的实验和相应的结果在两个公开可用的数据集上验证了我们的算法的优越性$\approx$ 3\%比现有的同义算法在当今的文献。
2021-08-08 cs.SD eess.AS eess.SP
Predominant Musical Instrument Classification based on Spectral Features
Indian Institute of Technology, Kharagpur(印度理工学院克勒格布尔分校);Indian Statistical Institute, Kolkata(印度统计研究所加尔各答分所)
这项工作的目的是研究的基石问题之一,乐器检索(MIR),特别是乐器分类。IRMAS(音乐音频信号中的乐器识别)数据集被选择用于此目的。这些数据包括上个世纪从各种来源录制的音乐片段,因此具有各种各样的音频质量。我们已经提出了一个非常简洁的总结过去的工作在这一领域。在针对该分类任务实施了各种监督学习算法之后,SVM分类器的准确率超过了其他最先进的模型,达到了79%。我们还实现了无监督技术,其中层次聚类表现良好。
2020-04-21 cs.LG cs.SD eess.AS
Addressing Emotion Bias in Music Emotion Recognition and Generation with Frechet Audio Distance
University of Edinburgh, UK(爱丁堡大学);University of Toronto, Canada(多伦多大学);Microsoft Research, US(微软研究院)
针对音乐情感识别与生成中的情感偏差问题,提出使用基于多音频编码器的 Fréchet Audio Distance(FAD)进行客观评估,并引入增强的 EMG 方法提升生成情感的真实感。
2025-04-30 cs.CL cs.MM cs.SD
Leave-One-EquiVariant: Alleviating invariance-related information loss in contrastive music representations
School of EECS, Queen Mary University of London(伦敦大学玛丽皇后学院电子工程与计算机科学学院);Music & Audio Machine Learning Lab, Universal Music Group(环球音乐集团音乐与音频机器学习实验室)
本文提出 LOEV 框架,通过选择性保留特定增强信息来缓解对比音乐表示中不变性导致的信息损失,并进一步提出 LOEV++ 构建解耦潜在空间以支持定向检索。
2024-12-25 cs.SD eess.AS
PHALAR: Phasors for Learned Musical Audio Representations
Department of Computer Science, Sapienza University of Rome, Italy(罗马大学计算机科学系);Moises Systems, Inc.(Moises系统公司);Paradigma, Inc.(Paradigma公司)
提出PHALAR对比框架,利用学习谱池化和复值头实现音高和相位等变,在茎检索任务中参数减少50%、训练加速7倍,准确率相对提升约70%,并捕获鲁棒的音乐结构。
2026-05-26 cs.AI cs.LG cs.SD
Note-Level Singing Melody Transcription for Time-Aligned Musical Score Generation
Seoul National University(首尔大学);Institute for Industrial Systems Innovation(产业系统创新研究院)
本文扩展传统音符级转录任务,提出端到端框架整合时值、音高和时间信息识别,引入伪标签技术解决时值数据稀缺问题,实验表明模型性能更优且鲁棒性强。
2025-02-18 cs.SD eess.AS eess.SP
Learning Normal Patterns in Musical Loops
Department of Computer Science UiT, The Arctic University of Tromsø(计算机科学系,乌伊特大学,北极大学)
本文提出一种结合HTS-AT特征提取与Deep SVDD的无监督异常检测框架,通过潜在空间评分有效识别可变长音乐循环片段中的音频模式,克服了传统方法依赖手工特征和用户交互的局限。
2025-05-22 cs.IR cs.LG cs.MM
PerformanceNet: Score-to-Audio Music Generation with Multi-Band Convolutional Residual Network
Research Center for Information Technology Innovation, Academia Sinica(中央研究院资讯科技创新研究中心)
音乐创作通常由两个部分组成:创作乐谱,然后用乐器演奏乐谱以发出声音。虽然最近的工作在符号领域的自动音乐生成方面取得了很大进展,但很少有人尝试构建可以从乐谱中渲染逼真音乐音频的AI模型。直接用声音样本库合成音频通常会导致机械和面无表情的结果,因为乐谱不包含性能级别的信息,例如定时和动态的细微变化。此外,虽然该任务可能听起来像文本到语音合成问题,但由于音乐音频具有丰富的复调声音,因此存在根本差异。为了构建这样的AI表演者,我们在本文中提出了一个深度卷积模型,该模型以端到端的方式学习音乐的符号表示(称为钢琴卷)和音乐的音频表示(称为频谱图)之间的分数到音频映射。该模型由两个子模型组成:ContourNet,它使用U-Net结构来学习钢琴卷和频谱图之间的对应关系,并给出初始结果;以及TextureNet,它进一步使用多波段残差网络,通过添加泛音和音色的频谱纹理来细化结果。我们训练该模型,以生成小提琴、大提琴和长笛的音乐片段,数据集大小适中。我们还提出了一个用户研究的结果,表明我们的模型实现了更高的平均意见得分(MOS)的自然性和情感表达比基于WaveNet的模型和两个商业声音库。我们在https://github.com/bwang514/PerformanceNet上公开源代码
2018-11-11 cs.MM cs.SD eess.AS
Learning Transposition-Invariant Interval Features from Symbolic Music and Audio
Institute of Computational Perception, JKU Linz(林茨约翰·开普勒大学计算感知研究所);Sony Computer Science Laboratories (CSL)(索尼计算机科学实验室)
许多音乐理论结构(如音阶类型,调式,节奏和和弦类型)都是根据音高间隔-音高之间的相对距离来定义的。因此,当计算机模型用于音乐任务时,在音程表示上操作而不是在原始音乐表面上操作可能是有用的。此外,区间表示是转置不变的,对于音频对齐,翻唱歌曲检测和音乐结构分析等任务很有价值。我们采用门控自动编码器学习固定长度,可逆和换位不变的间隔表示从复调音乐中的符号域和音频。提出了一种无监督的训练方法,在音乐上合理的表示空间中产生间隔的组织。基于表示,转置不变的自相似矩阵的构建和使用,以确定重复的部分在符号音乐和音频,产生竞争力的结果在MIREX任务“发现重复的主题和部分”。
2019-02-04 cs.LG cs.SD eess.AS
Fast accuracy estimation of deep learning based multi-class musical source separation
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);Logitech Europe S.A.(罗技欧洲股份有限公司);UiT The Arctic University of Norway(挪威北极圈大学)
音乐声源分离表示从给定歌曲中提取所有乐器的任务。最近在这一挑战上的突破主要集中在单一数据集MUSDB上,仅限于四种仪器类别。更大的数据集和更多的工具在收集数据和训练深度神经网络(DNN)方面成本高昂且耗时。在这项工作中,我们提出了一种快速方法来评估任何数据集中仪器的可分性,而无需训练和调整DNN。这种可分性度量有助于为神经网络的有效训练选择合适的样本。基于具有理想比率掩码的预言机原理,我们的方法是估计最先进的深度学习方法(如TasNet或Open-Unmix)的分离性能的优秀代理。我们的结果有助于揭示音频声源分离的两个基本点:1)理想的比率掩码,虽然轻而直接,但提供了最近神经网络的音频可分离性性能的准确测量,以及2)直接对波形进行操作的新的端到端学习方法(如Tasnet)实际上是在内部构建时频(TF)表示,从而当分离TF平面中重叠的音频模式时,它们遇到与基于TF的方法相同的限制。
2021-12-01 cs.LG cs.SD eess.AS
Libretto: Giving LLM Agents a Sense of Musical Structure
University of California, Berkeley(加州大学伯克利分校)
提出Libretto框架,通过LLM原生语法(显式起始槽、声部、小节组织)和基于语料库的统计评估(节奏、和声、旋律等),实现符号音乐的生成、诊断与迭代自修正,将符号音乐转化为可测量、可编辑的对象。
2026-06-23 cs.AI cs.SD
Music Mixing Style Transfer: A Contrastive Learning Approach to Disentangle Audio Effects
Sony(索尼)
本文提出一种基于对比学习预训练编码器的端到端音乐混音风格迁移系统,以自监督方式从湿多轨数据中解耦音频效果信息,并通过客观与主观评估验证其风格迁移性能及对音乐源分离的鲁棒性。
2023-04-11 cs.LG cs.SD eess.AS
MULTIMODAL ANALYSIS: Informed content estimation and audio source separation
Sorbonne Université(索邦大学);Grenoble-INP - Institut Polytechnique de Grenoble(格勒诺布尔理工学院);Télécom Paris - Institut Polytechnique de Paris(巴黎电信学院 - 巴黎理工学院);Spotify;Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);I3S(I3S实验室);ISIR(智能系统与机器人研究所);Universitat Pompeu Fabra(庞培法布拉大学);MTG(音乐技术组);Centre Inria Nancy - Grand Est(法国国家信息与自动化研究院南锡-大东部研究中心)
本文提出了音乐信号背景下的多模态学习研究。在整个过程中,我们专注于音频信号和文本信息之间的相互作用。在可以使用的与音乐相关的许多文本源(例如评论,元数据或社交网络反馈)中,我们专注于歌词。歌声以独特的方式直接连接音频信号和文本信息,结合旋律和歌词,语言维度补充了乐器的抽象。我们的研究重点是音频和歌词的相互作用,有针对性的声源分离和知情的内容估计。
2021-10-29 cs.DB cs.IR cs.LG
Towards Proper Contrastive Self-supervised Learning Strategies For Music Audio Representation
Tmap Mobility Co., Ltd(Tmap移动有限公司)
自监督学习的共同研究目标是提取一个通用的表示,任意下游任务将从中受益。在这项工作中,我们调查音乐音频表示从不同的对比自监督学习计划和经验评估的嵌入式向量的各种音乐信息检索(MIR)的任务,不同层次的音乐感知关注。本文通过对实验结果的分析,探讨了不同任务下对比学习策略的使用方向。我们发现,这些表示传达了一个全面的信息的听觉特性的音乐一般,虽然每个自我监督策略有自己的有效性,在某些方面的信息。
2022-07-10 cs.AI cs.MM cs.SD
Analyzable Chain-of-Musical-Thought Prompting for High-Fidelity Music Generation
Kunlun Inc.(昆仑公司)
针对自回归音乐生成模型缺乏人类创作连贯性的问题,提出MusiCoT,利用CLAP模型构建乐思链,先规划整体结构再生成音频,提升音乐连贯性与创造性,性能优于现有模型。
2025-03-25 cs.AI cs.MM cs.SD
Towards Musically Meaningful Explanations Using Source Separation
Institute of Computational Perception, Johannes Kepler University(约翰内斯·开普勒大学计算感知研究所);LIT Artificial Intelligence Lab, Johannes Kepler University(约翰内斯·开普勒大学LIT人工智能实验室);Northwestern University(西北大学)
深度神经网络(DNN)已成功应用于各种音乐信息检索(MIR)任务。这些模型通常被认为是“黑箱”,这意味着它们的预测是不可解释的。MIR中可解释模型的先前工作通常使用图像处理工具来产生DNN预测的解释,但这些解释不一定具有音乐意义,也不一定可以收听(可以说,这在音乐中很重要)。我们提出了audioLIME,一种基于本地可解释模型不可知解释(LIME)的方法,扩展了音乐定义的地方。LIME学习我们想要解释的例子的扰动的局部线性模型。我们建议使用声源分离,而不是使用图像分割作为LIME流水线的一部分来提取谱图的分量。扰动是通过开关源产生的,这使得我们的解释是合理的。我们首先在一个分类器上验证audioLIME,该分类器经过故意训练,将真实目标与虚假信号混淆,并表明使用我们的方法可以很容易地检测到。然后,我们表明,它通过了一个健全的检查,许多可用的解释方法失败。最后,我们证明了我们的(模型不可知)方法对第三方音乐标签的一般适用性。
2020-09-04 cs.IR cs.LG cs.SD
LyricJam Sonic: A Generative System for Real-Time Composition and Musical Improvisation
University of Waterloo(滑铁卢大学)
电子音乐艺术家和声音设计师有独特的工作流程实践,需要专门的方法来开发音乐信息检索和创造力支持工具。此外,电子乐器,如模块化合成器,具有近乎无限的声音创作可能性,可以组合起来创建独特而复杂的音频路径。发现有趣声音的过程往往是偶然的,不可能复制。出于这个原因,许多电子流派的音乐家在录音室工作时一直录制音频输出。因此,艺术家很难从数千小时的录音中重新发现可能适合在他们的作品中使用的音频片段。在本文中,我们描述了LyricJam Sonic --一种新颖的创作工具,让音乐家重新发现他们以前的录音,将它们与其他录音重新联系起来,并在实时的【形】创作原创现场音乐作品。一种双模态AI驱动的方法使用生成的歌词线从艺术家过去的录音室录音中找到匹配的音频片段,并使用它们生成新的歌词线,这些歌词线又用于找到其他片段,从而创建一个连续和不断发展的音乐和歌词流。这样做的目的是让艺术家保持一种有利于音乐创作的创造性流动状态,而不是让他们进入一种故意搜索过去音频片段的分析/批判状态。该系统可以在没有用户输入的情况下以完全自主模式运行,或者以现场表演模式运行,其中艺术家播放现场音乐,而系统“收听”并创建连续的音乐和歌词流作为响应。
2022-10-27 cs.AI cs.CL cs.LG
Drive-to-Music: Context-Aware Generative Audio for In-Vehicle Experiences
Mercedes-Benz Research & Development North America(梅赛德斯-奔驰北美研发中心)
本研究提出Drive-to-Music系统,利用行车记录仪图像与车辆遥测数据,结合感知与生成组件实现低延迟实时上下文感知车载音乐生成,为个性化自适应车载音频体验奠定基础。
2026-08-14 cs.LG cs.SD
Attention-based cross-modal fusion for audio-visual voice activity detection in musical video streams
Bytedance AI Lab(字节跳动人工智能实验室)
以前很多视听人声相关的作品都把重点放在语音上,忽略了互联网上越来越多的音乐视频流中的歌声。对于处理不同的音乐视频数据,语音活动检测是必要的步骤。本文试图检测语音和演唱的目标表演者的声音在音乐视频流使用视听信息。为了整合音频和视觉模态的信息,提出了一种多分支网络来学习音频和图像表示,并通过基于语义相似性的注意力融合表示,通过锚发声的概率来形成声学表示。实验结果表明,在复杂的声学环境中,该多分支网络的性能远优于纯音频模型,表明基于语义相关的跨模态信息融合是合理和成功的。
2021-06-21 cs.SD eess.AS
BREATH: A Bio-Radar Embodied Agent for Tonal and Human-Aware Diffusion Music Generation
MiLM Plus, Xiaomi Inc.(小米公司 MiLM Plus)
本文提出 BREATH 多模态系统,利用毫米波雷达感知心率呼吸并结合 LLM 推理生成调性提示,控制扩散模型产生个性化、具身且具文化适应性的音乐。
2025-09-09 cs.AI cs.HC cs.SD
Stochastic Restoration of Heavily Compressed Musical Audio using Generative Adversarial Networks
Sony Computer Science Laboratories (CSL)(索尼计算机科学实验室(CSL))
有损音频编解码器通过去除人类感知中往往听不见的信息来压缩(和消除)数字音频流。在高压缩率下,这样的编解码器可能在音频信号中引入各种损害。许多工作已经使用深度学习技术解决了音频增强和压缩伪影去除的问题。然而,只有少数作品解决了在音乐领域的严重压缩的音频信号的恢复。在这种情况下,没有用于恢复原始信号的唯一解决方案。因此,在这项研究中,我们测试了生成对抗网络(GAN)架构的随机生成器。这种随机发生器,以高度压缩的音乐音频信号为条件,有一天可以产生与高质量版本难以区分的输出。因此,本研究可能会产生更有效的音乐数据存储和传输的见解。我们训练随机和确定性发生器的MP3压缩音频信号与16,32,和64 kbit/s。我们利用客观指标和听力测试进行了广泛的评估不同的实验。我们发现,该模型可以提高音频信号的质量超过MP3版本为16和32 kbit/s,随机生成器能够生成比确定性生成器更接近原始信号的输出。
2022-07-04 cs.SD eess.AS
Semantic and Semiotic Interplays in Text-to-Audio AI: Exploring Cognitive Dynamics and Musical Interactions
Technische Universität Berlin(柏林工业大学)
本文探讨文本到音频AI如何通过语义与意义交互影响音乐认知,提出AI模型作为音乐意义的准对象,促进新的听觉模式与审美反思。
2025-11-21 cs.SD eess.AS
Network Modulation Synthesis: New Algorithms for Generating Musical Audio Using Autoencoder Networks
University of California San Diego(加州大学圣迭戈分校);New York University(纽约大学)
提出 network modulation synthesis 框架及新生成算法,帮助用户在自编码器潜在空间中构造时变参数,扩展音乐音频合成的听觉可能性。
2021-09-04 cs.SD eess.AS
Generation of Musical Timbres using a Text-Guided Diffusion Model
TU Munich(慕尼黑工业大学);Munich Center for Machine Learning(慕尼黑机器学习中心)
针对文本转音频系统限制音乐创作中人类创造力的问题,本研究提出结合潜在扩散模型和多模态对比学习的系统,以文本描述为条件生成单个音符音频,支持用户指定音色特征,且无需后续相位检索算法。
2025-04-12 cs.SD eess.AS
Autoencoding Neural Networks as Musical Audio Synthesizers
The Cooper Union for the Advancement of Science and Art(库珀高等科学艺术联盟学院)
提出了一种基于自编码神经网络的音乐音频合成方法。训练自动编码器以压缩和重构幅度短时傅里叶变换帧。自动编码器通过激活其最小隐藏层来产生频谱图,并且使用实时相位梯度堆积分来计算相位响应。进行逆短时傅里叶变换产生音频信号。与当前最先进的音频生成机器学习算法相比,我们的算法是轻量级的。我们概述了我们的设计过程,产生指标,并详细介绍了我们的模型的开源Python实现。
2020-04-27 cs.LG cs.SD eess.AS
Semi-Supervised Contrastive Learning of Musical Representations
本文提出半监督对比学习(SemiSupCon),通过融合监督与自监督目标,利用少量标注数据注入音乐知识,提升下游MIR任务性能与鲁棒性,并在音高、调性估计及自动标注中表现优异。
2024-07-18 eess.AS
Learning to Recognize Musical Genre from Audio
EPFL(洛桑联邦理工学院)
在这里,我们总结了我们的经验运行的挑战与开放数据的音乐流派识别。这些笔记激发了任务和挑战设计,显示了一些关于提交的统计数据,并展示了结果。
2018-03-13 cs.IR cs.LG cs.SD
Rule-embedded network for audio-visual voice activity detection in live musical video streams
Ghent University(根特大学);New York University(纽约大学);Bytedance AI Lab(字节跳动人工智能实验室)
在现场音乐流中检测主持人的声音是音乐和语音信号处理的重要预处理。现有的语音活动检测(VAD)方法主要依赖于音频,然而,在噪声环境中,基于音频的VAD很难有效地聚焦于目标语音。在视觉信息的帮助下,本文提出了一种嵌入规则的网络来融合视听(A-V)输入,以帮助模型更好地检测目标语音。该规则在模型中的核心作用是协调双模态信息之间的关系,并以视觉表征为掩模过滤掉非目标声音信息。实验表明:1)在提出的规则的跨模态融合的帮助下,A-V分支的检测结果优于音频分支的检测结果; 2)双模态模型的性能远远优于纯音频模型,表明音频和视频信号的合并对VAD非常有利。为了引起人们对跨模态音乐和音频信号处理的更多关注,提出了一种新的具有帧级标签的现场音乐视频语料库。
2020-10-31 cs.MM cs.SD eess.AS
Audio-based Musical Version Identification: Elements and Challenges
在这篇文章中,我们的目标是提供一个审查的关键思想和方法,在20年的科学文献中提出的音乐版本识别(VI)的研究,并将它们连接到当前的实践。十多年来,VI系统一直受到准确性-可扩展性权衡的困扰,试图提高准确性通常会导致笨重,不可扩展的系统。然而,近年来,基于深度学习的方法兴起,朝着弥合准确性-可扩展性差距迈出了一步,产生了可以实际部署在工业应用中的系统。尽管这一趋势对从事VI研究的研究人员和机构的数量产生了积极影响,但它也可能导致深度学习时代之前的文献变得模糊不清。为了了解VI研究中二十年来的新想法,并促进构建更好的系统,我们现在回顾文献中提出的一些成功的概念和应用,并研究它们多年来的演变。
2021-09-06 cs.SD eess.AS
Non-Local Musical Statistics as Guides for Audio-to-Score Piano Transcription
Kyoto University(京都大学)
我们提出了一个自动钢琴转录系统,可以将复调录音转换为乐谱。这一直是音乐信息处理中的一个老大难问题,近年来的研究在多音高检测和节奏量化这两个主要组成技术上取得了显著的进展。鉴于这种情况,我们研究了一种集成基于深度神经网络的多音高检测和基于概率模型的节奏量化的方法。在第一部分中,我们进行了系统的评估,发现虽然本方法在音符水平上实现了高的转录准确度,但音乐的一些全局特征,如速度标度,节拍(时间标记)和小节线位置,经常被错误地估计。在第二部分中,我们制定了非本地统计的音高和节奏的内容,来自音乐知识,并研究他们的影响,推断这些全球性的特点。我们发现,这些统计数据是显着有效的提高转录结果,其最佳组合包括从分离的手部分获得的统计数据。在流行钢琴音乐的数据集上,该集成方法的总体转录出错率为7.1%,强拍F-测量为85.6%,并且所生成的转录可以部分地用于音乐表演和辅助人类转录者,从而展示了实际应用的潜力。
2021-04-03 cs.SD eess.AS
Generating Sample-Based Musical Instruments Using Neural Audio Codec Language Models
Native Instruments
本文提出用神经音频编解码器语言模型,基于文本或音频提示自动生成乐器,引入三种条件化方案与新的音色一致性指标,经客观与主观测试验证其有效性。
2024-07-22 cs.LG cs.SD eess.AS
Musical Score Following and Audio Alignment
Imperial College London(伦敦帝国学院)
实时跟踪乐谱上音乐表演的位置,即乐谱跟随,在音乐练习、表演和制作中可以是有用的。这种技术的示例应用包括计算机辅助伴奏和自动翻页。分数跟踪是一项具有挑战性的任务,特别是当考虑到由于错误或表达选择而导致的表现数据与分数的偏差时。在这个项目中,广泛的研究,目前在该领域的第一个探索之前,两个开源的评价测试平台的分数以下-一个定量和其他定性-介绍。提出了一种获取定量测试台数据的新方法,并介绍了用于定性基准测试的QualScofo数据集。随后,实现了三个不同的分数跟随器,每个分数跟随器属于不同的类。首先,创建一个交互式指挥应用程序的基于节拍的追随者-TuneApp Conductor-以演示乐谱追随的娱乐应用程序。然后,一个近似字符串匹配(ASM)的非实时跟踪器的实现,以补充定量测试平台,并提供更多的技术背景下的分数以下的细节。最后,恒定Q变换(CQT)的动态时间规整(DTW)的分数跟随器强大的主要挑战,在分数以下(如复调音乐和性能偏差)的概述和实施,它表明,这种基于CQT的方法一致,并显着优于常用的FFT为基础的方法,在提取音频功能的分数以下。
2022-05-06 cs.SD eess.AS
Estimating Musical Surprisal from Audio in Autoregressive Diffusion Model Noise Spaces
本研究提出用自回归扩散模型在噪声空间中估计音频音乐惊讶度,相比GIVT在负对数似然和惊讶度任务上表现更优,并验证了不同噪声水平对应不同粒度特征惊讶度的假设。
2025-08-07 cs.AI cs.SD eess.AS
COCOLA: Coherence-Oriented Contrastive Learning of Musical Audio Representations
Sapienza University of Rome(罗马智慧大学);Sony Europe B.V.(索尼欧洲有限公司)
本文提出 COCOLA 对比学习方法,利用分轨及 HPS 特征建模音乐片段间的和声与节奏连贯性,为音乐伴奏生成模型提供客观评估基准,并公开多数据集训练检查点。
2025-01-09 cs.LG cs.SD eess.AS
Show Me the Instruments: Musical Instrument Retrieval from Mixture Audio
Seoul National University(首尔大学)
随着数字音乐制作成为主流,选择合适的虚拟乐器在决定音乐质量方面起着至关重要的作用。为了搜索乐器样本或虚拟乐器,使一个人想要的声音,音乐制作人用他们的耳朵听和比较每个乐器样本在他们的集合,这是费时和低效的。在本文中,我们称之为乐器检索这项任务,并提出了一种方法检索所需的乐器使用参考音乐混合作为查询。该模型由基于卷积神经网络的单仪器编码器和多仪器编码器组成。单乐器编码器被训练用于对单声道音频中使用的乐器进行分类,并且我们将其倒数第二层的激活作为乐器嵌入。多仪器编码器被训练为使用由单仪器编码器计算的仪器嵌入作为一组目标嵌入来估计多个仪器嵌入。为了更广泛的训练和现实评估,我们还提出了一个名为Nlakh的新数据集。实验结果表明,单乐器编码器能够学习从未见过乐器的音频信号到乐器嵌入空间的映射,而多乐器编码器能够从混合音乐中提取多个嵌入并成功检索所需乐器。用于实验的代码和音频样本可在以下网址获得:https://github.com/minju0821/musical_instrument_retrieval
2022-11-15 cs.LG cs.SD eess.AS
An Improved Measure of Musical Noise Based on Spectral Kurtosis
Fraunhofer Institute for Integrated Circuits IIS(弗劳恩霍夫集成电路研究所)
在信号的时间-频率表示上操作的音频处理方法可以引入被称为音乐噪声的令人不愉快的声音伪像。在音频编码、语音增强和源分离的上下文中观察到这些伪像。在处理过程中引入的功率谱的峰度的变化被证明与人类感知的音乐噪声的背景下,语音增强,导致的建议的措施的基础上it. These基线措施在这里示出与人类的感知仅在有限的方式。作为人类感知的基础事实,考虑了两个听力测试的结果:一个涉及音频编码,一个涉及源分离。简单但有效的感知动机的改进,提出了由此产生的新措施,以明显优于基线的相关性与两个听力测试的结果。此外,相对于音频编码中的音乐噪声的听力测试,所表现出的相关性几乎与由伪影相关感知分数(APS)所表现出的相关性一样好,APS被认为是该任务的最佳客观度量。然而,APS在计算上非常昂贵。所提出的措施是很容易计算的,只需要一小部分的APS的计算成本。
2021-05-27 cs.SD eess.AS
MIDI-DDSP: Detailed Control of Musical Performance via Hierarchical Modeling
Mila, Quebec Artificial Intelligence Institute(米拉魁北克人工智能研究所);Université de Montréal(蒙特利尔大学);Northwestern University(西北大学);Google Brain(谷歌大脑);New York University(纽约大学)
音乐表达需要控制什么音符被演奏,以及如何演奏。传统的音频合成器提供了详细的表达控制,但以现实主义为代价。黑盒神经音频合成和级联采样器可以产生逼真的音频,但几乎没有控制机制。在这项工作中,我们引入MIDI-DDSP的乐器,使逼真的神经音频合成和详细的用户控制的层次模型。从可解释的可微分数字信号处理(DDSP)合成参数开始,我们推断出音符及其表达性能的高级属性(如音色,颤音,动态和清晰度)。这创建了一个3级层次结构(笔记,性能,合成),为个人提供了在每个级别进行干预的选项,或者利用受过训练的先验(性能给定笔记,合成给定性能)进行创造性帮助。通过定量实验和听力测试,我们证明了这个层次结构可以重建高保真音频,准确地预测性能属性的一个音符序列,独立地操纵一个给定的性能的属性,并作为一个完整的系统,从一个新的音符序列生成逼真的音频。通过利用具有多个粒度级别的可解释层次结构,MIDI-DDSP打开了辅助工具的大门,使个人能够获得各种各样的音乐体验。
2022-03-17 cs.LG cs.SD eess.AS
The Rarity of Musical Audio Signals Within the Space of Possible Audio Generation
Durham University(杜伦大学)
本研究通过分析白噪声生成音乐信号的概率,量化了音乐在音频信号空间中的稀有性,并探讨其对算法音乐系统生成能力的启示。
2024-05-23 cs.LG cs.SD eess.AS
LiLAC: A Lightweight Latent ControlNet for Musical Audio Generation
针对现有文本到音频扩散SOTA模型缺乏细粒度时变控制、传统ControlNet内存占用大且控制集固定的问题,提出轻量级模块化架构LiLAC,在保证音频质量与条件遵循度的同时大幅减参,提升了灵活性与部署效率。
2025-06-13 cs.LG cs.SD eess.AS
Unsupervised Musical Object Discovery from Audio
The Swiss AI Lab, IDSIA, USI & SUPSI(瑞士人工智能实验室,IDSIA,卢加诺大学与瑞士南部应用科学与艺术大学);Institute of Neuroinformatics, ETH Zurich(苏黎世联邦理工学院神经信息学研究所);AI Initiative, KAUST(阿卜杜拉国王科技大学人工智能计划)
MusicSlots将SlotAttention适配到音频,实现无监督音乐分解,在音符发现和属性预测上优于基线。
2023-11-14 cs.LG cs.SD eess.AS
Efficient bandwidth extension of musical signals using a differentiable harmonic plus noise model
Nantes Université(南特大学);École Centrale Nantes(南特中央理工学院);CNRS(法国国家科学研究中心);LS2N(南特数字科学实验室)
本文提出基于可微数字信号处理(DDSP)的谐波加噪声模型,高效实现单声道与多声道音乐信号带宽扩展,在客观指标与MUSHRA听力测试中均优于高复杂度深度学习模型。
2023-11-27 cs.SD eess.AS
TimbreTron: A WaveNet(CycleGAN(CQT(Audio))) Pipeline for Musical Timbre Transfer
University of Toronto(多伦多大学);Vector Institute(向量研究所);Dalhousie University(达尔豪斯大学)
TimbreTron提出了一种基于CQT时频表示和CycleGAN图像风格迁移,并利用条件WaveNet合成器生成高质量波形的音乐音色转换方法,能在保留音高等内容的同时有效转换单音与多音样本的音色。
2023-10-22 cs.LG cs.SD eess.AS
MusicTM-Dataset for Joint Representation Learning among Sheet Music, Lyrics, and Musical Audio
National Institute of Informatics(国立信息学研究所);SOKENDAI(综合研究大学院大学)
本文提出了一个音乐数据集MusicTM-Dataset,用于提高不同类型的跨模态检索(CMR)的表示学习能力。包括三种模态的小型大型音乐数据集可用于学习CMR的表示。为了收集音乐数据集,我们扩展了原始的乐谱来合成音频和生成的乐谱图像,并建立基于乐谱的乐谱图像,音频剪辑和音节表示文本作为细粒度对齐,这样的MusicTM数据集可以被利用来接收多模态数据点的共享表示。MusicTM-Dataset提供了三种模态,包括乐谱图像、歌词文本和合成音频,它们的表示是通过一些先进的模型提取的。本文首先介绍了音乐数据集的背景,然后阐述了我们的数据汇集过程。基于我们的数据集,我们实现了CMR任务的一些基本方法。MusicTM数据集可通过https://github.com/dddzeng/MusicTM-Dataset访问。
2021-05-07 cs.DB cs.IR cs.MM
Exploring Musical Roots: Applying Audio Embeddings to Empower Influence Attribution for a Generative Music Model
Northwestern University(西北大学)
针对生成式音乐模型黑箱导致的训练数据归因不明问题,研究提出基于音频嵌入的可复现相似度识别方法,对比CLMR与CLAP在VampNet训练集上的效果并验证修改音频的影响,为自动化影响力归因奠基。
2024-01-25 cs.AI cs.SD eess.AS
Musical Audio Similarity with Self-supervised Convolutional Neural Networks
Epidemic Sound(流行病声音公司)
我们已经建立了一个音乐相似性搜索引擎,让视频制作人搜索的音乐摘录,作为传统的全文搜索的补充。我们的系统通过训练具有三重损失项和音乐变换的自监督卷积神经网络,在大型音乐目录中建议类似的发声轨道段。半结构化的用户访谈表明,我们可以成功地打动专业视频制作人的搜索体验的质量,并在用户测试中的查询轨道平均7.8/10感知相似性。我们相信这个搜索工具将提供更自然的搜索体验,更容易找到音乐和配乐视频。
2022-02-04 cs.IR cs.LG cs.MM
Artistic Curve Steganography Carried by Musical Audio
Ursinus College(乌尔辛纳斯学院)
在这项工作中,我们创建了艺术闭环曲线,描绘出图像和3D形状,然后我们将其隐藏在音乐音频中作为隐写术的一种形式。我们使用旅行推销员艺术来创建艺术平面循环来描绘图像轮廓,并且我们使用三角形网格上的Hamilton循环来创建填充3D表面的艺术空间循环。我们的嵌入方案的目的是忠实地保留这些循环的几何结构后,有损压缩,同时保持其存在不可检测的音频收听者。为了实现这一点,我们将曲线的每个维度隐藏在不同的频率中,并且我们扰动该频率的幅度的滑动窗口和,以最佳地匹配该维度处的目标曲线,同时隐藏该频率相位中的尺度信息。在这个过程中,我们利用曲线的几何属性来帮助更有效地隐藏和恢复它们。我们的计划是简单的,编码发生有效的非负最小二乘框架,而解码是平凡的。我们在大型图像和音频数据集上定量验证了我们的技术,并展示了一个众包听力测试的结果,该测试验证了隐藏的信息确实是不显眼的。
2023-01-29 cs.IR cs.MM cs.SD