DECIBEL: Improving Audio Chord Estimation for Popular Music by Alignment and Integration of Crowd-Sourced Symbolic Representations
Utrecht University（乌得勒支大学）
自动和弦估计（ACE）是音乐信息检索（MIR）中的一项基本任务，在音乐演奏和音乐信息检索研究中都有重要的应用。该任务包括分割音乐录音或乐谱，并为每个片段分配和弦标签。虽然ACE已经成为MIREX年度基准评估的一项任务超过10年，但ACE尚未成为一个解决的问题，因为性能停滞不前，现代系统已经开始根据主观训练数据调整自己。我们提出DECIBEL，一个新的ACE系统，利用广泛可用的标签和标签表示，以提高ACE从音频。DECIBEL首先从对应于同一流行音乐歌曲的音频文件和一组MIDI和Tab文件中估计和弦序列。对于音频，使用最先进的音频ACE方法。将音频文件与音频对齐，然后执行重和弦估计步骤。标签文件被转换成不计时的和弦序列，然后与音频对齐。接下来，DECIBEL使用数据融合将所有估计的和弦序列集成到一个最终输出序列中。DECIBEL将所有经过测试的最先进的ACE方法平均提高了3%以上。这一结果表明，从异构的符号音乐表示的音乐知识的整合是一个合适的策略，解决具有挑战性的MIR任务，如ACE。
2020-02-22 cs.MM cs.SD eess.AS
Classifying Variable-Length Audio Files with All-Convolutional Networks and Masked Global Pooling
Institute for Signal Processing, University of Luebeck（吕贝克大学信号处理研究所）；Graduate School for Computing in Medicine and Life Sciences, University of Luebeck（吕贝克大学医学与生命科学计算研究生院）
在DCASE-2016竞赛中，我们训练了一个具有掩码全局池的深度全卷积神经网络，用于声学场景分类的单标签分类和国内音频标记的多标签分类。我们的网络在声学场景识别的四重交叉验证上实现了84.5%的平均准确率，而提供的基线为72.5%，国内音频标记的平均相等出错率为0.17，而基线为0.21。因此，该网络将基线分别提高了17%和19%。该网络仅由卷积层和一个全局池化层组成，卷积层用于从短时傅立叶变换中提取特征，全局池化层用于组合这些特征。特别地，除了全连接输出层之外，它既不具有全连接层，也不具有丢弃层。
2016-07-11 cs.LG cs.MM cs.NE
Automatic Organisation, Segmentation, and Filtering of User-Generated Audio Content
仅使用通过音频指纹技术检索的信息，我们提出了处理用户生成的音频内容的可能大的数据集的方法，其（1）使得能够对包含共同音频摘录的若干音频文件进行分组（即，是相对于同一事件的），以及（2）给出关于这些文件在每个事件内的时间和质量方面如何相关的信息。此外，我们使用监督学习来检测可能由音频指纹识别算法本身引起的不正确匹配，同时确保我们的模型使用以前的预测进行学习。所有提出的方法进一步验证了用户生成的几个不同的音乐会手动从YouTube上抓取的录音。
2017-08-17 cs.IR cs.MM cs.SD
FoolHD: Fooling speaker identification by Highly imperceptible adversarial Disturbances
Alan Turing Institute（阿兰·图灵研究所）
说话人辨识模型容易受到精心设计的输入信号的对抗性扰动的影响，从而导致误分类。在这项工作中，我们提出了一个白盒隐写启发的对抗攻击，对说话人辨识模型产生不可感知的对抗性扰动。我们的方法，FoolHD，使用门控卷积自动编码器，在DCT域中操作，并使用多目标损失函数进行训练，以生成和隐藏原始音频文件中的对抗性扰动。除了阻碍说话人辨识性能之外，这种多目标损失通过从原始音频文件和对抗音频文件中提取的MFCC特征向量之间的逐帧余弦相似性来考虑人类感知。我们使用VoxCeleb训练的250-说话人辨识x向量网络验证了FoolHD在准确性、成功率和不可感知性方面的有效性。我们的研究结果表明，FoolHD生成高度不可感知的对抗性音频文件（平均PESQ分数高于4.30），同时在非目标和目标设置下分别实现了99.6%和99.2%的误导说话人辨识模型的成功率。
2021-02-20 cs.LG cs.SD eess.AS
An Integrated Algorithm for Robust and Imperceptible Audio Adversarial Examples
Fraunhofer Institute for Applied and Integrated Security (AISEC)（弗劳恩霍夫应用与集成安全研究所（AISEC））；Technical University Munich（慕尼黑工业大学）
本研究提出一种集成算法，在音频对抗样本生成阶段就结合心理声学模型与神经网络动态生成的房间冲激响应，提升了样本的不可感知性与空中攻击鲁棒性，同时伴随词错误率上升。
2023-10-05 cs.LG cs.SD eess.AS
SNC: A Stem-Native Codec for Efficient Lossless Audio Storage with Adaptive Playback Capabilities
Wubble AI
SNC是一种新型音频编码格式，通过分离音轨和低能耗残差实现高效无损存储，支持自适应播放和空间音频渲染，减少文件大小的同时保持高质量。
2026-02-08 cs.SD eess.AS
Quantizer Redundancy and Exact Index Recoding in a Frozen Neural Audio Codec
St. Thomas University（圣托马斯大学）
针对冻结神经音频编解码器中残差标量量化的索引冗余问题，开发精确重编码程序，在保留解码器输入的同时减少存储，且不改变重建质量。
2026-10-15 cs.SD eess.AS
Jointly Recognizing Speech and Singing Voices Based on Multi-Task Audio Source Separation
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Tencent AI Lab（腾讯AI实验室）
针对短视频与直播中语音、歌声、背景音乐重叠导致识别困难的问题，提出基于多任务音频源分离的联合识别模型JRSV，结合在线蒸馏提升鲁棒性，构建基准数据集验证其可显著提升混合音频各音轨识别准确率。
2024-04-17 cs.SD eess.AS
Music Generation with Deep Learning
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
使用深度学习来解决文学艺术中的问题一直是最近的趋势，已经获得了很多关注，并且自动生成音乐一直是一个活跃的领域。该项目涉及在频域中使用原始音频文件生成音乐，依赖于各种LSTM架构。完全连接和卷积层与LSTM一起使用，以捕获频域中的丰富特征，并提高所生成音乐的质量。这项工作的重点是不受约束的音乐生成，并没有使用任何信息的音乐结构（音符或和弦），以帮助学习。使用原始音频来训练模型是利用互联网上存在的大量mp3文件的方向，而不需要手动制作结构化的mp3文件。此外，并不是所有的音频文件都可以表示为音频文件，这使得对这些模型的研究成为此类模型未来的一个有趣的前景。
2016-12-15 cs.SD
audb -- Sharing and Versioning of Audio and Annotation Data in Python
audEERING GmbH（audEERING有限公司）；University of Augsburg（奥格斯堡大学）；Imperial College（帝国理工学院）
audb是一个开源Python库，通过版本管理、依赖解析和部分加载机制，实现音频数据集的标准化共享与高效存储。
2023-05-10 cs.SD eess.AS
Beyond .WAV: Design and Software Verification of VocalCap, a Traceable Browser-Based Audio Capture System for Vocal Biomarker Research
Institute of Mathematics and Statistics, University of São Paulo（圣保罗大学数学与统计学院）；bluecore（蓝芯科技）
该研究设计并验证了面向语音生物标志物研究的浏览器音频捕获系统VocalCap，其可追溯捕获过程且经测试验证了软件行为，为远程语音研究提供可靠音频数据支持。
2026-09-04 cs.LG cs.SD
Fine-Tuning MIDI-to-Audio Alignment using a Neural Network on Piano Roll and CQT Representations
Klangio GmbH（Klangio公司）；University of Music Karlsruhe（卡尔斯鲁厄音乐学院）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
本文提出一种卷积循环神经网络（CRNN）方法，通过处理未对齐的钢琴卷帘谱和频谱图来估计对齐的钢琴卷帘谱，以解决人类钢琴演奏音频与松散对齐MIDI文件的同步问题，其准确率比DTW方法高出20%。
2025-06-27 cs.CL cs.MM cs.SD
A Review of Common Online Speaker Diarization Methods
University of Applied Science Ansbach（安斯应用技术大学）；Faculty of Business（商学院）
本文针对需低延迟实时输出说话人标签的场景，对在线说话人日志领域展开综述，梳理发展历程、给出分类体系与数据集，详述相关方法系统并提出未来待解挑战。
2024-06-20 cs.CL cs.SD eess.AS
Source Separation & Automatic Transcription for Music
Khoury College of Computer Science, Northeastern University（东北大学科里计算机科学学院）
针对音乐源分离与自动转录任务面临的噪声大、训练慢、数据少等问题，研究者结合频谱图掩码、深度神经网络与MuseScore API，构建了可分离乐器音干并转写乐谱的端到端流水线。
2024-12-09 cs.AI cs.SD eess.AS
OK Computer Analysis: An Audio Corpus Study of Radiohead
音乐信息检索技术在流行音乐研究中的应用前景广阔。在目前的工作中，从1992年到2017年的Radiohead歌曲的语料库进行了自动音频分析。我们研究结果从一些粒度和角度来看，包括在歌曲和歌曲之间的音色节奏和和声特征的检查。时间上的变化包括可能对乐队发行的职业生涯产生的影响，如节奏减慢和亮度降低，以及电台司令扩大乐器资源的方法的音色标记，这些工具资源最能与Kid A和Escherichiac时代联系在一起。最后，我们的讨论强调了这种方法的一些挑战，以及基于音频文件的职业分析领域的潜力。
2022-11-29 cs.IR cs.SD eess.AS
Precise and Simple Audio-to-Score Alignment
Institute of Computational Perception, Johannes Kepler University（计算感知研究所，约翰·凯普勒大学）；LIT AI Lab, Linz Institute of Technology（LIT人工智能实验室，林茨技术学院）
本文提出了一种直接连接音频样特征和符号级特征的算法，该算法基于符号对齐方法，实现了高精度且灵活的音频到乐谱对齐，适用于不同音色特性。
2026-05-19 cs.SD
Audio Processing using Pattern Recognition for Music Genre Classification
Department of Information Technology（信息技术系）；St. Thomas’ College of Engineering & Technology, MAKAUT（圣托马斯工程技术学院，马卡乌特大学）
本研究利用GTZAN数据集和多种机器学习算法对五种音乐流派进行分类，其中Keras实现的人工神经网络达到92.44%的验证准确率，并计划未来扩展至全部十种流派及实时应用。
2024-10-19 cs.LG cs.SD eess.AS
pyAMPACT: A Score-Audio Alignment Toolkit for Performance Data Estimation and Multi-modal Processing
pyAMPACT是一种用于表演数据估计和多模态处理的工具，通过符号与音频的对齐实现性能数据的估计及多模态分析
2026-01-05 cs.MM cs.SD eess.AS
Improving Speech Recognition Accuracy Using Custom Language Models with the Vosk Toolkit
Southern Arkansas University（南阿肯色大学）
本研究利用Vosk工具包和定制语言模型，构建Python转录流水线，支持多种音频格式，降低词错误率，提供经济高效的离线高准确率语音识别方案。
2025-03-26 cs.LG cs.SD eess.AS
Zero-Shot Crate Digging: DJ Tool Retrieval Using Speech Activity, Music Structure And CLAP Embeddings
本文提出一种零样本DJ工具检索系统，结合语音/音乐活动检测、音乐边界分析和CLAP模型，从个人音乐库中自动发现适合现场或录音室使用的DJ工具。
2024-11-19 cs.SD eess.AS
Emotion Recognition from Speech
在这项工作中，我们进行了广泛的比较各种方法的语音基于情感识别系统。这些分析是在瑞尔森情感语音和歌曲视听数据库（RAVDESS）的录音上进行的。在对原始音频文件进行预处理后，考虑了Log-Mel谱图、Mel倒谱系数、基音周期和能量等特征。通过应用诸如长短期记忆（LSTM）、卷积神经网络（CNN）、隐马尔可夫模型（HMM）和深度神经网络（DNN）等方法来比较这些特征对于情感分类的重要性。在14类（2种性别x 7种情绪）分类任务中，使用Log-Mel Spectrogram特征的4层2维CNN实现了68%的准确率。我们还观察到，在情感识别中，音频特征的选择对结果的影响远远超过模型的复杂性。
2019-12-22 cs.CL cs.SD eess.AS
iKlax: a New Musical Audio Format for Active Listening
iKlax Media（iKlax媒体）；SCRIME；LaBRI - CNRS（波尔多第一大学计算机科学实验室 - 法国国家科学研究中心）；Univ. of Bordeaux 1（波尔多第一大学）；IRCAM（法国巴黎声学与音乐研究中心）
在本文中，我们提出了一个新的互动音乐模型。与大多数交互式系统不同，我们的模型是基于文件组织，但不需要数字音频处理。该模型包括约束系统及其求解器的定义。该项目的产品面向普通大众、没有经验的用户以及专业音乐家，并将进行商业发行。我们在这里介绍这个项目的三个产品。这个项目的难点在于设计一种交互式音乐的技术和软件产品，它必须易于普通大众和专业作曲家使用。
2009-01-25 cs.SD
Enhancements for Audio-only Diarization Systems
Microsoft（微软）
在本文中，两种不同的方法来提高性能的最具挑战性的组成部分的发言人日记系统，即说话人聚类部分。提出了一种结合非线性滤波的时间平滑处理来增强输入特征的处理步骤。我们还提出了对深度嵌入式聚类（DEC）算法的改进-一种非线性特征变换。这些增强的性能与不同的聚类算法，如UISRNN，k-Means，谱聚类和x-Means进行了比较。评估针对三个不同的任务进行，即AMI、DIHARD和内部会议转录任务。所提出的方法假设已知数量的扬声器和音频文件的时间分割。因为，我们只关注这项工作的日志化的聚类组件，所以假设提供的分割是完美的。最后，我们提出了如何监督，在给定的扬声器配置文件的形式，可以进一步提高整体的日记性能。当说话人数目已知时，所提出的改进在所有3个任务中产生了实质性的相对改善，在AMI中比最佳日记系统好20%，在DIHARD任务中比最佳日记系统好19%。
2019-08-30 cs.SD eess.AS
Development of Large Annotated Music Datasets using HMM-based Forced Viterbi Alignment
Sri Sivasubramaniya Nadar College of Engineering（斯里·希瓦苏布拉马尼亚·纳达尔工程学院）
针对音乐数据集构建耗时且需专业经验的问题，提出一种基于HMM强制Viterbi对齐的自动标注方法，生成了精确的吉他数据集，为AMT系统开发奠定基础。
2024-08-27 cs.LG cs.SD eess.AS
Audio Description from Image by Modal Translation Network
Xi’an Institute of Optics and Precision Mechanics, Chinese Academy of Sciences（中国科学院西安光学精密机械研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Northwestern Polytechnical University（西北工业大学）
音频是视障者获取信息的主要形式。在现实中，各种视觉数据总是存在的，但音频数据在许多情况下并不存在。为了帮助视觉障碍者更好地感知周围的信息，本文提出了一种图像到音频描述（I2 AD）任务来从图像生成音频描述。为了完成这一全新的任务，提出了从视觉到听觉的模态翻译网络（MT-Net）。所提出的MT-Net包括三个渐进子网络：1）特征学习，2）跨模态映射和3）音频生成。首先，特征学习子网络旨在从图像和音频中学习语义特征，包括图像特征学习和音频特征学习。其次，跨模态映射子网络将图像特征转换为与音频特征具有相同语义概念的跨模态表示。通过这种方式，有效地挖掘了模态间数据的相关性，以缓解图像和音频之间的异构性差距。最后，设计了音频生成子网络，用于从交叉模态表示中生成音频波形。根据采样频率对生成的音频波形进行插值，得到相应的音频文件。作为探索I2 AD任务的第一次尝试，构建了三个具有大量手动音频描述的大规模数据集。实验结果验证了直接从图像中生成清晰语音的可行性和方法的有效性。
2021-03-18 cs.MM cs.SD eess.AS
Barwise Section Boundary Detection in Symbolic Music Using Convolutional Neural Networks
本文针对符号音乐乐段边界检测问题，构建了基于Lakh MIDI的人工标注数据集，并提出基于合成泛音编码和卷积神经网络的检测方法，F1达到0.77，显著优于音频方法。
2025-09-20 cs.LG cs.SD eess.AS
Similar but Faster: Manipulation of Tempo in Music Audio Embeddings for Tempo Prediction and Search
SiriusXM-Pandora
本文提出节奏平移函数，在保持流派等属性的同时高效操控音乐音频嵌入中的节奏，用于检索相似但节奏不同的音轨，并验证其可提升节奏预测训练和最近邻检索效果。
2024-01-17 cs.DL cs.IR cs.LG
Automatic Music Transcription using Convolutional Neural Networks and Constant-Q transform
Università di Pisa, Area CNR（比萨大学，CNR区域）；Scuola Superiore Sant’Anna, Area CNR（圣安娜高等学院，CNR区域）
本文提出一种基于恒定Q变换特征与卷积神经网络的自动音乐转录流水线，将古典钢琴音频转换为乐谱表示。
2025-05-07 cs.AI cs.LG cs.MM
The NES Music Database: A multi-instrumental dataset with expressive performance attributes
UC San Diego（加州大学圣地亚哥分校）
现有的音乐生成研究主要集中在作曲上，但往往忽视了合成作品的合理演绎所需的表现性表演特征。在本文中，我们介绍了任天堂娱乐系统音乐数据库（NES-MDB），一个大型语料库，允许单独检查的任务组成和性能。NES-MDB包含数千首多乐器歌曲，由受作曲限制的NES音频合成器进行播放。对于每首歌曲，数据集包含四种乐器声音的乐谱以及每个声音的动态和音色的表达属性。与由一般的音频文件组成的数据集不同，NES-MDB包括渲染原始作品的精确声学性能所需的所有信息。除了数据集，我们还提供了一个工具，通过模拟设备的音频处理器将生成的作品呈现为NES风格的音频。此外，我们建立基线的任务组成，其中包括学习的语义组成的NES合成器，和性能，这涉及到找到一个组成和现实的表达属性之间的映射。
2018-06-12 cs.LG cs.NE cs.SD
Music Genre Classification using Machine Learning Techniques
University of Waterloo（滑铁卢大学）
在音乐信息检索（MIR）领域，根据音乐文件的类型对其进行分类是一项具有挑战性的任务。在这项研究中，我们比较了两类模型的性能。第一种是深度学习方法，其中端到端地训练CNN模型，以仅使用其频谱图来预测音频信号的流派标签。第二种方法利用来自时域和频域的手工制作的特征。我们用这些特征训练了四种传统的机器学习分类器，并比较了它们的性能。确定了对这种多类分类任务贡献最大的功能。音频集数据集上进行的实验，我们报告的AUC值为0.894的集成分类器，它结合了这两种方法。
2018-04-03 cs.SD eess.AS
Spotify Danceability and Popularity Analysis using SAP
California State University Los Angeles（加州州立大学洛杉矶分校）
我们的分析对Spotify* 上播放的歌曲的音频功能和流行程度进行了审查和可视化。我们的数据集从Kaggle下载，最初来自Spotify API，由多个Excel文件组成，其中包含与我们的可视化和回归分析相关的信息。这个练习旨在确定歌曲的流行程度和舞蹈性之间的联系。作为我们分析的一部分，要包含和考虑的见解包括歌曲能量，效价，BPM，发布日期和年份。
2021-08-05 cs.DC cs.LG cs.SD
Feature Extraction for Machine Learning Based Crackle Detection in Lung Sounds from a Health Survey
UiT The Arctic University of Norway（挪威北极大学（UiT））
近年来，许多用于记录和查看来自听诊器的声音的创新解决方案已经变得可用。然而，为了充分利用这样的设备，需要一种用于检测异常肺音的自动化方法，该方法比通常使用小且非多样的数据集开发和评估的现有方法更好。我们提出了一种基于机器学习的方法，用于检测在大型健康调查中使用听诊器记录的肺音中的爆裂音。我们的方法使用209个文件进行训练和评估，这些文件由专家听众分类。我们的分析管道基于从音频文件中的小窗口提取的特征。我们评估了几种特征提取方法和分类器。我们使用175个裂纹窗口和208个正常窗口的训练集来评估管道。我们进行了100个循环的交叉验证，在循环之间对训练集进行了洗牌。培训和评估之间的比例为70%-30%。我们发现并评估了一个5维向量，其中四个特征来自时域，一个来自频谱域。我们评估了几个分类器，发现带有径向基函数核的SVM表现最好。我们的方法对窗户中的裂纹进行分类的准确率为86%，召回率为84%，这比对卫生人员的研究更准确。低维特征向量使得SVM非常快。该模型可以在1.44秒内在普通计算机上进行训练，并且可以在1.08秒内对319种爆裂声进行分类。我们的方法检测并可视化录制的音频文件中的单个噼啪声。它准确、快速，并且资源需求低。它可用于训练卫生人员或作为蓝牙听诊器的智能手机应用程序的一部分。
2017-12-23 cs.LG cs.SD
Perceptual Musical Features for Interpretable Audio Tagging
National Technical University of Athens（雅典国立技术大学）
本文针对自动音乐标注中深度模型不可解释的问题，提出结合符号知识、辅助深度网络与信号处理提取感知特征，并训练可解释模型，在MTG-Jamendo和GTZAN数据集上验证了以少量性能损失换取可解释性的可行性。
2024-02-23 cs.AI cs.SD eess.AS
Towards An Integrated Approach for Expressive Piano Performance Synthesis from Music Scores
Queen Mary University of London（伦敦玛丽女王大学）；National Institute of Informatics（情报学研究所）；NICT（日本信息通信研究机构）；UKRI Centre for Doctoral Training in Artificial Intelligence and Music（英国研究理事会人工智能与音乐博士培训中心）；China Scholarship Council（中国留学基金委）
本研究提出一种集成系统，结合基于Transformer的EPR模型与微调神经MIDI合成器，将无表情控制的乐谱MIDI直接转换为富有表现力的钢琴音频，经ATEPP数据集测试，在还原人类表现力、捕捉环境声学氛围的同时保证了良好音频质量。
2025-01-17 cs.SD eess.AS
ViolinDiff: Enhancing Expressive Violin Synthesis with Pitch Bend Conditioning
Sogang University（西江大学）；University of Michigan（密歇根大学）
本文提出ViolinDiff，一个两阶段扩散框架，通过显式建模弯音信息来估计F0轮廓并生成小提琴梅尔频谱图，实验证明其能合成更逼真的小提琴声音。
2025-02-04 cs.AI cs.LG cs.SD
Creating A Multi-track Classical Musical Performance Dataset for Multimodal Music Analysis: Challenges, Insights, and Applications
University of Rochester（罗切斯特大学）；Listent American Corp.（Listent American公司）
我们介绍了一个数据集，以促进音乐表演的视听分析。该数据集包括44个简单的多乐器古典音乐作品，这些作品是由协调但单独录制的单个曲目的表演组装而成的。对于每一首作品，我们都提供了乐谱格式、单个曲目的音频记录、组合混音的音频和视频记录，以及地面实况注释文件，包括帧级和音符级transmittance。我们描述了我们的方法来创建的数据集，特别强调我们的方法来解决所面临的挑战，保持同步和表现力。我们证明了高质量的同步实现与我们提出的方法，通过比较数据集与现有的广泛使用的音乐音频数据集。我们预计，该数据集将是有用的现有的音乐信息检索（MIR）任务的开发和评估，以及新的多模态任务。我们基准测试两个现有的MIR任务（多音高分析和分数通知声源分离）的数据集上，并与其他现有的音乐音频数据集进行比较。此外，我们考虑了两个新的多模态MIR任务（视觉上知情的多音高分析和复调颤音分析），并提供了评估措施和基线系统，以供未来的比较（从我们最近的工作）。最后，我们提出了数据集支持的几个新兴研究方向。
2018-08-08 cs.MM cs.SD
The IRMA Dataset: A Structured Audio-MIDI Corpus for Iranian Classical Music
Cu Test Inc.（Cu Test公司）
本文提出 IRMA 数据集，一个面向伊朗古典音乐 radif 研究的多层级开放语料库，整合 MIDI、音频对齐、音乐学转录与理论比较表，支持民族音乐学、文化遗产保护及 AI 音乐生成与自动转录等应用。
2025-08-27 cs.DL cs.SD
