Music I Care About: Automated Multimodal Benchmarking of LLM Music Perception Skills on (Almost) Any Music
Charles University(查尔斯大学);Brno University of Technology(布拉格技术大学)
针对当前音乐基准测试的局限,引入MusICA-MetaBench框架,利用结构化符号表示和预定义模板生成按需基准测试,通过ChoraleBricks数据集展示并确定规模,经与基线比较证明能测音乐感知,推动了大语言模型音乐感知跨模态评估。
2026-07-08 cs.SD
Using perceptually defined music features in music information retrieval
KTH Royal Institute of Technology(瑞典皇家理工学院);Hanover University of Music, Drama and Media(汉诺威音乐、戏剧与媒体大学)
在这项研究中,感性特征的概念被引入描述一般的音乐属性的基础上人类的感知。这是重新思考特征概念的一种尝试,以理解潜在的人类感知机制。而不是使用音乐理论的概念,如音调,音高和和弦,一组九个功能描述的音乐的整体属性被选中。他们是从心理学研究中使用的定性指标中选择的,并从生态学的角度出发。在两个听力实验中,使用两个不同的数据集所选择的感知功能进行了评级。它们是从符号(symbolic)和音频数据使用不同的计算功能集建模的。情绪表达的评级预测使用的感知功能。结果表明:(1)至少部分感知特征是可靠的估计;(2)情感评级可以通过感知特征的小组合来预测,其解释方差高达90%;(3)感知特征只能在有限的程度上使用现有的音频特征来建模。结果还清楚地表明,少量的专用功能优于使用大量通用音频功能的“蛮力”模型。
2014-03-31 cs.IR cs.SD
Perception-Aware Attack: Creating Adversarial Music via Reverse-Engineering Human Perception
University of South Florida(南佛罗里达大学);University of Oklahoma(俄克拉荷马大学);American University(美利坚大学)
最近,对抗性机器学习攻击对实际音频信号分类系统构成了严重的安全威胁,包括语音识别、说话人识别和音乐版权检测。以前的研究主要集中在通过在原始信号上创建类似噪声的小扰动来确保攻击音频信号分类器的有效性。目前还不清楚攻击者是否能够创建除了攻击有效性之外还可以被人类很好地感知的音频信号扰动。这对于音乐信号尤其重要,因为它们是精心制作的,具有人类愉悦的音频特性。在这项工作中,我们制定了对抗攻击对音乐信号作为一个新的感知感知攻击框架,它集成了人类的学习到对抗攻击设计。具体来说,我们进行了一项人类研究,以量化人类对音乐信号变化的感知。我们邀请人类参与者根据原始和扰动的音乐信号对他们的感知偏差进行评级,并通过回归分析对人类感知过程进行逆向工程,以预测给定扰动信号的人类感知偏差。感知攻击,然后制定为一个优化问题,找到一个最佳的扰动信号,以最大限度地减少从回归人类感知模型的预测感知偏差。我们使用感知感知框架来设计一个针对YouTube版权检测器的现实对抗性音乐攻击。实验表明,感知感知攻击产生的对抗性音乐的感知质量明显优于以前的工作。
2022-07-26 cs.AI cs.CR cs.LG
Investigating the role of musical genre in human perception of music stretching resistance
Tsinghua University(清华大学)
将音乐作品拉伸到给定长度是人们日常生活中的常见需求,例如,音频视频同步和动画制作。然而,并不总是保证拉伸的音乐作品对于普通观众是可接受的,因为音乐拉伸受到人们的感知伪像的影响。过度拉伸音乐作品将使其对人类心理听觉不舒服。音乐拉伸阻力的研究试图估算音乐作品的最大拉伸性,以进一步避免过度拉伸。已经观察到,音乐类型可以显著提高音乐拉伸阻力的自动估计的准确性,但是音乐类型如何与音乐拉伸阻力相关在文献中从未被详细解释或研究。本文比较了不同音乐流派的音乐拉伸阻力特性。实验发现,音乐拉伸阻力具有较强的体裁内聚合性和体裁间差异性。此外,在实验分析中还观察到音乐拉伸阻力的模糊性和对称性。这些发现导致了一种新的测量不同音乐流派之间的相似性的基础上,他们的音乐拉伸阻力。此外,方差分析也通过验证音乐体裁在塑造音乐拉伸阻力方面的意义,支持了本文的研究结果。
2017-01-12 cs.MM cs.SD
Relating Human Perception of Musicality to Prediction in a Predictive Coding Model
The Ohio State University(俄亥俄州立大学);Carnegie Mellon University(卡内基梅隆大学);Massachussetts Institute of Technology(麻省理工学院)
我们探索使用的神经网络的启发,预测编码建模人类的音乐感知。该网络是基于分层视觉皮层中经常性相互作用的计算神经科学理论开发的。当使用自监督学习对视频数据进行训练时,该模型表现出与人类视觉错觉一致的行为。在这里,我们调整这个网络来模拟分层听觉系统,并研究它是否会做出类似的选择人类关于一组随机音高序列的音乐性。当该模型用大量的古典器乐和流行旋律作为梅尔频谱图进行训练时,它对人类受试者认为音乐性较低的随机音高序列表现出更大的预测误差。我们发现,预测误差取决于有关后续音符,音高间隔和时间上下文的信息量。我们的研究结果表明,可预测性与人类对音乐性的感知相关,并且在音乐上训练的预测编码神经网络可用于表征有助于人类感知音乐的特征和主题。
2022-10-29 cs.AI cs.SD eess.AS
Personalized Dynamic Music Emotion Recognition with Dual-Scale Attention-Based Meta-Learning
Zhejiang University(浙江大学)
本文提出DSAML方法,通过双尺度注意力Transformer捕获短长期依赖,并结合按标注者划分任务的元学习策略,仅需一个个性化样本即可实现个性化动态音乐情感识别。
2024-12-26 cs.IR cs.SD eess.AS
A Similarity Network for Correlating Musical Structure to Military Strategy
Faculty of Science and Technology(科学与技术学院);United International College(国际大学)
本文提出一种基于MFCCs的音乐片段相关网络,用于探索音乐结构与军事战略的相似性,以促进对技术和艺术关系的理解。
2026-01-18 cs.SD
Genre Bias or Aesthetic Perception? Identifying and Mitigating Shortcut Learning in Music Evaluation
研究音乐评价模型中流派诱导的捷径学习问题,提出联合重新加权硬样本并规范化组级性能的训练目标,减少流派相关偏差,提高与人类偏好的一致性。
2026-07-16 cs.SD
Towards Assessing Data Replication in Music Generation with Music Similarity Metrics on Raw Audio
本文提出与模型无关的 MiRA 开放评估工具,利用多种音频相似度度量检测 AI 生成音乐对训练数据的复制,并通过受控实验验证其有效性,以推动音乐生成模型的伦理与法律合规评估。
2024-08-01 cs.AI cs.MM cs.SD
Perception-Inspired Graph Convolution for Music Understanding Tasks
Institute of Computational Perception, Johannes Kepler University Linz(约翰开普勒林茨大学计算感知研究所);LIT AI Lab, Linz Institute of Technology(林茨技术学院LIT人工智能实验室)
受音乐感知原理启发,本研究提出聚焦音高与节奏维度的MusGConv图卷积模块,在四类音乐理解任务(对应三类图学习问题)中验证了其可提升三项任务性能,且简洁高效,为乐谱相关图网络设计提供新思路。
2024-05-15 cs.AI cs.LG cs.SD
The MUSE Benchmark: Probing Music Perception and Auditory Relational Reasoning in Audio LLMS
针对现有评估可能掩盖多模态大语言模型关系推理缺陷的问题,研究者推出含10项任务的MUSE音乐感知开源基准,测试发现四款SOTA音频大模型能力差异大且与人类有差距,CoT提示效果不稳定。
2025-10-21 cs.AI cs.SD eess.AS
On the Human and Computer Alignment of Attribute-Based Music Matches
Music Technology Group, Universitat Pompeu Fabra(庞培法布拉大学音乐技术组);Sony AI(索尼人工智能公司);Joint Research Centre, European Commission(欧盟委员会联合研究中心);Sony Group Corporation(索尼集团公司)
本研究针对音乐匹配开展感知实验,推出MATCHA数据集,发现人类判断与计算相似度度量存在部分对齐,强调生成式AI需采用领域特定的感知评估框架。
2026-09-02 cs.AI cs.SD
Large Language Models' Internal Perception of Symbolic Music
本文通过让LLM从文本提示生成MIDI数据集并训练神经网络进行分类与旋律补全,揭示LLM能隐式编码基本音乐结构,同时指出其因缺乏显式音乐语境而存在局限。
2025-07-17 cs.AI cs.CL cs.LG
Are you really listening? Boosting Perceptual Awareness in Music-QA Benchmarks
针对 Music-QA 基准可被纯文本推理“作弊”的问题,提出 RUListening 框架与 Perceptual Index,通过构造感知依赖型干扰项,使模型必须真正听取音频才能作答。
2025-06-10 cs.SD
A Music Information Retrieval Approach to Classify Sub-Genres in Role Playing Games
本文提出了一种基于音乐特征分析的方法,用于角色扮演游戏子类型分类。
2026-01-05 cs.IR cs.SD
Musical Training, but not Mere Exposure to Music, Drives the Emergence of Chroma Equivalence in Artificial Neural Networks
Canadian Centre for Behavioural Neuroscience(加拿大行为神经科学中心);Department of Neuroscience(神经科学系);University of Lethbridge(莱斯布里奇大学)
音乐训练而非单纯音乐接触驱动人工神经网络中音高等价性的发展,表明音乐感知任务需要更高阶的认知计算。
2026-02-20 cs.NE cs.SD
Cross-cultural Mood Perception in Pop Songs and its Alignment with Mood Detection Algorithms
Max Planck Institute for Human Cognitive and Brain Sciences(马克斯·普朗克人类认知与脑科学研究所);Max Planck Institute for Empirical Aesthetics(马克斯·普朗克经验美学研究所);Leipzig University(莱比锡大学);New York University Abu Dhabi(纽约大学阿布扎比分校)
来自不同文化背景的人对音乐中的情绪有相同的感受吗?不同文化背景下的人类评分与通常在西方流行音乐语料库上训练的自动情绪检测算法有多接近?分析了来自巴西、韩国和美国的166名参与者的回答,我们研究了音乐中9种感知情绪的评分之间的相似性,并估计了它们与4种流行的情绪检测算法的一致性。我们创建了一个包含360首最近流行歌曲的数据集,这些歌曲来自这些国家的主要音乐排行榜,并在英语、韩语和葡萄牙语中构建了语义相同的情绪描述符。来自这三个国家的多名参与者对他们对给定歌曲的熟悉程度、偏好和感知情绪进行了评分。对于基本的情绪属性,如悲伤、快乐和精力充沛,文化内部和文化之间的评级非常相似。然而,我们发现,对于更复杂的特征,如梦幻和爱情,存在显着的跨文化差异。令我们惊讶的是,情绪检测算法的结果在所有三个国家的人类评分中一致相关,并且没有显示出对任何特定文化的可检测偏见。因此,我们的研究表明,情绪检测算法可以被认为是一个客观的措施,至少在流行音乐的背景下。
2021-08-02 cs.IR cs.SD eess.AS
Models of Music Cognition and Composition
Indian Institute of Technology, Kanpur(印度理工学院坎普尔分校)
与大多数认知研究一样,音乐认知是一个跨学科的领域,它试图应用认知科学的方法(神经学,计算和实验)来理解音乐创作的感知和过程。在本文中,我们首先动机为什么音乐是相关的认知科学家和音乐认知的计算建模的方法进行了概述。然后,我们回顾了各种模型的音乐感知,包括非计算模型,计算非认知模型和计算认知模型的文献。最后,我们回顾文学建模的创造性行为和计算机系统能够作曲。由于使用了许多音乐理论中的专业术语,我们在最后附上了相关术语及其定义的列表。
2022-08-14 cs.LG cs.SD eess.AS
Quantifying Musical Style: Ranking Symbolic Music based on Similarity to a Style
Simon Fraser University(西蒙菲莎大学)
人类感知音乐相似性的建模对于生成音乐系统、音乐学研究和许多音乐信息检索任务的评估至关重要。虽然人类的相似性判断是黄金标准,但计算分析通常更可取,因为结果通常更容易重现,并且计算方法更具可扩展性。此外,基于计算的方法可以快速地按需计算,这是与在线系统一起使用的先决条件。我们提出了StyleRank,一种方法来衡量一个音乐文件和一个任意的音乐风格划定的一个集合的音乐文件之间的相似性。加密文件使用一组新颖的特征进行编码,并使用随机森林学习嵌入。实验证据表明,StyleRank与人类对风格相似性的感知高度相关,并且根据其与语料库风格的相似性对生成的样本进行排名是足够精确的。此外,相似性可以相对于单个特征进行测量,从而允许识别所生成的样本与特定音乐风格之间的特定差异。
2020-03-10 cs.SD eess.AS
Harmony Perception by Periodicity Detection
Harz University of Applied Sciences(哈尔茨应用技术大学)
音乐和声的和谐/不和谐的感知与它们的周期性密切相关。这是在这篇文章中所示的一贯应用最近的结果从心理物理学和神经声学,即刚刚明显的差异为人类的音高约为1%的音乐重要的低频范围和复杂的和弦的周期性可以检测到在人类大脑。在此基础上,引入了相对周期性和对数周期性的概念,作为衡量和谐性的有力手段。所提出的结果显着相关的和弦感知的实证调查。即使对于尺度,也得到了可信的结果。例如,所有古典教堂调式都出现在所有理论上可能的七音音阶的前列。
2018-11-20 cs.SD
Musical Voice Separation as Link Prediction: Modeling a Musical Perception Task as a Multi-Trajectory Tracking Problem
Johannes Kepler University Linz(林茨约翰内斯·开普勒大学);Linz Institute of Technology(林茨技术研究所)
该研究将复调音乐的声部分离任务建模为多轨迹跟踪问题,通过异构图神经网络预测音符间链路实现分离,提出新正则化损失约束轨迹结构,在多风格古典音乐任务中达到新的最优水平。
2023-04-28 cs.AI cs.LG cs.SD
Tonal consonance parameters link microscopic and macroscopic properties of music exposing a hidden order in melody
Universidad Nacional de Colombia(哥伦比亚国立大学)
协和音与从声音组合中产生的愉悦感有关,并且已经使用数学关系、物理学、信息论和心理声学定量地接近。音调和谐存在于音色,音乐调音,和声和旋律中,它用于传达音乐中的感觉,感知和情感。它涉及声波的物理性质,用于通过音乐间隔和和弦来研究旋律和和声。从复杂性的角度来看,一个由许多部分组成的系统的宏观性质往往依赖于其组成元素的统计性质。在这里,我们将展示如何音调的和谐参数复杂的音调可以用来研究音乐的复杂性。我们将这种形式主义的旋律,表明旋律线在音乐作品中可以描述的旋律间隔的物理性质和存在的熵极值化原则受到心理声学的宏观约束与音乐意义。这一结果通过音乐刺激的物理特性将人类对和谐的感知与人类在音乐中创造力的复杂性联系起来。
2017-04-23 cs.IT cs.SD math.IT
Effect of laboratory conditions on the perception of virtual stages for music
Instituto de Automática (Institute of Automation)(自动化研究所)
本文通过对比消声室与两种定制听力室的声学条件,验证了所提出的评估方法在虚拟舞台感知实验中的有效性,为虚拟声学研究中的实验室设计提供了初步依据。
2025-06-02 cs.SD eess.AS
Evaluating Multimodal Large Language Models on Core Music Perception Tasks
Department of Psychology, Music and Audio Research Laboratory(心理学系、音乐与音频研究实验室);Department of Electronic Engineering and Computer Science(电子工程与计算机科学系)
本研究基准测试三种多模态大语言模型在音乐感知任务上的表现,发现模型在MIDI输入上接近满分,但在音频输入上准确率显著下降,表明当前系统擅长符号推理但缺乏可靠的音频感知能力。
2025-10-25 cs.AI cs.SD eess.AS
Multi-input Architecture and Disentangled Representation Learning for Multi-dimensional Modeling of Music Similarity
Fraunhofer IDMT(弗劳恩霍夫数字媒体技术研究所)
在音乐信息检索的背景下,基于相似性的方法是有用的各种任务,受益于一个查询的例子的情况。然而,音乐自然地分解成一组语义上有意义的变化因素。当前的表征学习策略追求从深层表征中解开这些因素,从而产生高度可解释的模型。这允许对音乐相似性感知进行建模,这是高度主观和多维的。虽然以前的工作的重点是元数据驱动的相似性的概念,我们建议直接模拟人类的多维音乐相似性的概念。为了实现这一目标,我们提出了一种多输入深度神经网络架构,它同时处理mel声谱图,CENS色度图和tempogram,以便为不同的分离音乐维度提取信息特征:流派,情绪,乐器,时代,节奏和键。我们使用三重预测任务评估了所提出的音乐相似性方法,发现所提出的多输入架构优于最先进的方法。此外,我们提出了一种新的多维分析,以评估每个解纠缠的维度对音乐相似性感知的影响。
2021-11-02 cs.SD eess.AS
Learning Embodied Semantics via Music and Dance Semiotic Correlations
Instituto Superior Técnico, Universidade de Lisboa(里斯本大学高等技术学院);INESC-ID Lisboa(里斯本INESC-ID研究所);Instituto Universitário de Lisboa (ISCTE-IUL)(里斯本大学学院)
音乐语义学是具体的,在这个意义上,意义是生物介导的,并在人体和大脑的基础。这种具身认知的观点也解释了为什么音乐结构会调节运动和体感感知。我们利用这方面的认知,通过考虑舞蹈作为音乐感知的代理,在统计计算模型,学习音乐音频和舞蹈视频之间的符号学相关性。我们评估这个模型的能力,有效地捕捉潜在的语义在跨模态检索任务。通过统计显著性检验验证的定量结果加强了音乐中体现认知的证据,并表明该模型可以为舞蹈视频查询推荐音乐音频,反之亦然。
2019-03-25 cs.CV cs.LG cs.SD
Musical consonance: a review of theory and evidence on perception and preference of auditory roughness in humans and other animals
Acoustics Research Institute, Austrian Academy of Science(奥地利科学院声学研究所)
本文综述了人类及其他动物对听觉粗糙度感知与偏好的理论与证据,指出粗糙度定义的循环性及实证测量的独立性问题,并提出未来理论发展应追求模型简化和系统评估。
2025-12-03 cs.SD eess.AS physics.soc-ph
Enhancing Audio Perception of Music By AI Picked Room Acoustics
Stanford University(斯坦福大学)
我们听到的每一个声音都是连续卷积运算的结果(例如室内声学、麦克风特性、乐器本身的共振特性,更不用说声音再现系统的特性和限制)。在这项工作中,我们试图确定使用AI执行特定作品的最佳房间。此外,我们使用室内声学作为一种方式来增强给定声音的感知质量。从历史上看,房间(特别是教堂和音乐厅)被设计为举办和服务于特定的音乐功能。在某些情况下,建筑声学质量提高了那里的音乐表演。作为第一步,我们试图模仿这一点,通过指定房间脉冲响应,这些脉冲响应将与特定音乐的增强音质相关。首先训练卷积架构以获取音频样本并模仿专家的评级,对于各种乐器系列和笔记的感知质量,准确率约为78%。这给了我们一个评分功能,任何音频样本,可以评级的感知愉悦的音符自动。现在,通过模拟各种房间,材料等的大约60,000个合成脉冲响应的库,我们使用一个简单的卷积运算来转换声音,就像它在一个特定的房间里播放一样。感知评估器用于对音乐声音进行排名,并产生播放声音的“最佳房间或音乐厅”。作为一个副产品,它还可以使用室内声学将质量差的声音变成“好”的声音。
2022-08-16 cs.AI cs.LG cs.MM
An Improved Measure of Musical Noise Based on Spectral Kurtosis
Fraunhofer Institute for Integrated Circuits IIS(弗劳恩霍夫集成电路研究所)
在信号的时间-频率表示上操作的音频处理方法可以引入被称为音乐噪声的令人不愉快的声音伪像。在音频编码、语音增强和源分离的上下文中观察到这些伪像。在处理过程中引入的功率谱的峰度的变化被证明与人类感知的音乐噪声的背景下,语音增强,导致的建议的措施的基础上it. These基线措施在这里示出与人类的感知仅在有限的方式。作为人类感知的基础事实,考虑了两个听力测试的结果:一个涉及音频编码,一个涉及源分离。简单但有效的感知动机的改进,提出了由此产生的新措施,以明显优于基线的相关性与两个听力测试的结果。此外,相对于音频编码中的音乐噪声的听力测试,所表现出的相关性几乎与由伪影相关感知分数(APS)所表现出的相关性一样好,APS被认为是该任务的最佳客观度量。然而,APS在计算上非常昂贵。所提出的措施是很容易计算的,只需要一小部分的APS的计算成本。
2021-05-27 cs.SD eess.AS
Training a Perceptual Model for Evaluating Auditory Similarity in Music Adversarial Attack
Xi’an Jiaotong-Liverpool University(西安交通大学利物浦大学)
针对MIR系统易受人类无法察觉的对抗攻击且现有感知指标与人类判断相关性低的问题,提出基于心理声学条件序列对比变换器的PAMT框架,提升了感知对齐度和对抗攻击下的鲁棒准确率。
2025-09-05 cs.SD eess.AS
RPPNet: Perceptually-Grouped Rhythm-Pitch Primitives for Long-Term Structure Melody Generation via Boundary-Aware Modeling
本文针对现有符号音乐生成模型的问题,提出RPPNet架构,通过生成可变长度的RPP序列并解码,其分组基于音乐心理学自动得出。实验显示该模型生成的旋律在长期结构和音乐性上更优,消融研究表明性能提升源于心理表征结构正确,为音乐生成提供跨学科视角。
2026-07-23 cs.AI cs.SD
Evolving music theory for emerging musical languages
Bath Spa University(巴斯大学);Sony Computer Science Laboratories(索尼计算机科学实验室);Aalborg University(奥尔堡大学)
本文从知觉建构视角重新定义当代流行音乐中的音高概念,提出音高分裂与多稳态现象,并借助海岸线悖论构建基于知觉变异性的音高模型,以挑战传统音乐理论规范。
2025-07-07 cs.SD
Timbre Perception, Representation, and its Neuroscientific Exploration: A Comprehensive Review
本评述全面梳理音色感知与表征,涵盖定义、测量、音色空间、操控及机器学习进展,并探讨神经影像研究,展望其在音乐与辅助技术中的应用前景。
2024-05-22 cs.SD eess.AS
PitchBench: Measuring Pitch Hearing in Audio-Language Models
University of California, Berkeley(加州大学伯克利分校);Thoughtful Lab
提出PitchBench评估套件,通过28个实验系统测量音频-语言模型在绝对和相对音高感知上的表现,发现当前模型在不同声源、音长和格式下音高感知不可靠。
2026-11-10 cs.AI cs.SD
Understanding the Algorithm Behind Audio Key Detection
Lumorobotics
本文介绍了一种通过数字信号处理分析音频调性内容并与理论调性轮廓比较,来自动检测音乐调性的算法方法。
2025-05-22 cs.SD eess.AS
Mode-conditioned music learning and composition: a spiking neural network inspired by neuroscience and psychology
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Key Laboratory of Brain Cognition and Brain-inspired Intelligence Technology, Chinese Academy of Sciences(中国科学院脑认知与类脑智能技术重点实验室)
针对现有音乐AI忽略调式多样性的问题,提出受脑机制与心理学启发的多子系统协同脉冲神经网络,通过神经环路进化学习生成指定调式音乐,兼具调性与旋律适应性,架起人类认知与AI的桥梁。
2025-01-14 cs.AI cs.SD eess.AS
Pitchclass2vec: Symbolic Music Structure Segmentation with Chord Embeddings
University of Bologna(博洛尼亚大学)
结构知觉是人类音乐认知的一个基本方面。从历史上看,音乐的结构层次组织作为一种叙事手段,用于传达意义,创造期望,唤起听众的情感。因此,音乐结构在音乐创作中起着至关重要的作用,因为它们塑造了作曲家组织思想的音乐话语。在本文中,我们提出了一种新的音乐分割方法,pitchclass2vec,基于符号和弦注释,这是嵌入到连续矢量表示使用自然语言处理技术和定制的编码。我们的算法基于长短期记忆(LSTM)神经网络,并且优于该领域中基于符号和弦注释的最先进技术。
2023-03-24 cs.AI cs.LG cs.SD
On the Role of Visual Context in Enriching Music Representations
University of Southern California(南加州大学)
人类对音乐的感知和体验是高度依赖于上下文的。上下文的可变性导致了我们对音乐的理解和互动方式的差异,这对信息检索的鲁棒模型的设计提出了挑战。从不同的来源中提取多模态上下文提供了一种很有前途的方法来模拟这种可变性。在诸如电影和音乐视频之类的媒体中呈现的音乐提供了丰富的多模态上下文,其调节了潜在的人类体验。然而,这种上下文建模尚未得到充分研究,因为它需要大量多模式数据以及相关注释。自监督学习可以通过自动提取不同模态之间丰富的高级对应关系来帮助解决这些挑战,从而减轻对大规模细粒度注释的需求。在这项研究中,我们提出了VCMR -视频条件的音乐表征,一个对比学习框架,学习音乐表征音频和伴随的音乐视频。上下文视觉信息增强了音乐音频的表示,如在音乐标记的下游任务上所评估的。实验结果表明,所提出的框架可以贡献添加剂的音频表示的鲁棒性,并表明在何种程度上音乐元素的视觉上下文的影响或决定。
2022-10-28 cs.MM cs.SD eess.AS
Non-verbal Perception of Room Acoustics using Multi Dimensional Scaling Metho
Taubert und Ruhe GmbH(塔伯特与鲁赫公司);Institute of Systematic Musicology, University of Hamburg, Germany(系统音乐学研究所,汉堡大学)
针对房间声学主观印象与客观参数的关联问题,提出基于双耳房间脉冲响应卷积与多维尺度分析(MDS)的方法,识别出5个可由回声密度等(心理)声学指标解释的感知维度。
2025-11-12 cs.SD nlin.AO
DAIRHuM: A Platform for Directly Aligning AI Representations with Human Musical Judgments applied to Carnatic Music
Goldsmiths, University of London(伦敦大学金史密斯学院)
本文提出DAIRHuM平台,用于将AI音乐表示与人类音乐判断直接对齐,并在卡纳提克音乐节奏二重奏上验证了模型对齐效果,揭示了该音乐类型特有的节奏感知差异,推动了印度音乐MIR研究。
2024-11-22 cs.AI cs.SD eess.AS
Generating Rhythm Game Music with Jukebox
Farragut High School(法拉格特高中)
本研究使用神经网络 Jukebox 生成节奏游戏中的 artcore 和 orchestral 两种流派音乐,通过对16首钢琴改编曲的采样与调查评估,发现 AI 虽不及人类作品受欢迎,但已具备一定风格模仿能力,展现了作为音乐制作协作工具的潜力。
2023-12-29 cs.SD eess.AS
Measuring the evolution of contemporary western popular music
Artificial Intelligence Research Institute, Spanish National Research Council (IIIA-CSIC)(西班牙国家研究委员会人工智能研究所(IIIA-CSIC));Centre de Recerca Matemàtica(数学研究中心);Universitat de Barcelona(巴塞罗那大学);Universitat Pompeu Fabra(庞培法布拉大学)
流行音乐是一种重要的文化表达方式,多年来一直吸引着听众的注意力。音乐话语背后的许多结构性结构尚未被发现,因此,它们的历史演变在形式上仍然未知。在这里,我们揭示了一些模式和指标,其特点是在当代西方流行音乐的音高,音色和响度等主要音乐方面的通用用法。这些模式和指标中的许多在50多年的时间里一直保持稳定,因此在很大程度上指向了约定主义。尽管如此,我们证明重要的变化或趋势有关的限制音高过渡,均匀化的音色调色板,和不断增长的响度水平。这表明,我们对新事物的感知将植根于这些不断变化的特征。因此,一个古老的曲调可以完美地听起来新颖和时尚,只要它由普通的和声进行组成,改变乐器,增加平均响度。
2012-05-25 cs.IR cs.MM cs.SD
R&B -- Rhythm and Brain: Cross-subject Decoding of Music from Human Brain Activity
Department of Biomedicine and Prevention University of Rome Tor Vergata(生物医学与预防系罗马大学托尔维加塔分校);A.A. Martinos Center for Biomedical Imaging Harvard Medical School/MGH, Boston (US)(A.A. Martinos生物医学成像中心哈佛医学院/马萨诸塞总医院,波士顿(美国))
研究通过fMRI数据解码音乐,利用CLAP模型和voxel编码模型,实现跨被试音乐识别,提升音乐感知与情绪的神经基础理解。
2024-06-21 cs.AI cs.SD eess.AS
Convolutional Neural Network Achieves Human-level Accuracy in Music Genre Classification
Rutgers University(罗格斯大学)
本文提出一种结合人类感知与听觉神经生理学的方法,通过训练简单CNN对音乐短片段分类并综合预测,使音乐流派分类达到人类水平的70%准确率。
2018-02-27 cs.LG cs.SD eess.AS
TONet: Tone-Octave Network for Singing Melody Extraction from Polyphonic Music
University of California San Diego(加州大学圣地亚哥分校);Fudan University(复旦大学);Smule Inc.(Smule公司)
歌唱旋律提取是音乐信息检索领域的一个重要问题。现有的方法通常依赖于频域表示来估计歌唱频率。然而,这种设计在音调(音高级)和八度音的旋律信息的感知方面并不导致人类水平的性能。在本文中,我们提出了TONet,即插即用模型,利用一种新的输入表示和一种新的网络架构,提高了音调和八度感知。首先,我们提出了一种改进的输入表示,音调CFP,明确组谐波通过重新排列的频率箱。其次,我们介绍了一个编码器-解码器架构,旨在获得显着性特征图,音调特征图,和倍频程特征图。第三,我们提出了一个色调-八度融合机制,以改善最终的显着性特征图。通过实验验证了TONet在不同骨干网模型下的性能。我们的研究结果表明,使用Tone-CFP的音调-八度融合可以显着提高各种数据集的歌唱声音提取性能-在八度和音调准确性方面有很大的提高。
2022-02-02 cs.AI cs.LG cs.MM
From Bach to the Beatles: The simulation of human tonal expectation using ecologically-trained predictive models
Austrian Research Institute for Artificial Intelligence (OFAI)(奥地利人工智能研究所);Johannes Kepler University(约翰内斯·开普勒大学);Institute of High Performance Computing, A*STAR(新加坡科技研究局高性能计算研究所)
音调结构部分地通过音乐事件之间的统计性的重叠来传达,并且研究已经表明,计算模型通过在如音高直方图的示意性构造中捕获这些重叠来反映音乐中的音调结构。在为数不多的研究中,从音乐数据中获取感知学习的模型,大多数采用自组织模型,学习静态描述音乐上下文的拓扑结构。此外,用于训练这些模型的刺激通常是象征性的,而不是音乐材料的声学忠实表示。在这项工作中,我们调查了音乐记忆的顺序预测模型(特别是递归神经网络),从商业CD录音的音频训练,诱导音调知识以类似的方式给听众(如在音乐感知的行为研究)。我们的实验表明,各种类型的递归神经网络产生的音乐期望,清楚地传达音调结构。此外,结果表明,虽然隐含的音调结构的知识是准确的音乐预期的必要条件,最准确的预测模型还使用其他线索以外的音调结构的音乐背景。
2017-07-19 cs.LG cs.SD
Music Similarity Calculation of Individual Instrumental Sounds Using Metric Learning
Nagoya University(名古屋大学)
音乐相似度的度量标准对于开发灵活的音乐推荐系统具有重要意义。已经提出了一些数据驱动的方法来仅从音乐信号计算音乐相似性,诸如基于使用关于每个音乐作品的标签信息的三重丢失的度量学习。然而,所得到的音乐相似性度量通常捕获整个音乐片段,即,各种乐器声源的混合限制了音乐推荐系统的能力,例如,很难搜索包含类似鼓声的音乐作品。为了开发一个更灵活的音乐推荐系统,我们提出了一个音乐相似度计算方法,侧重于在一个音乐作品中的各个乐器声源。通过充分利用数据驱动方法的潜力,我们提出的方法,我们采用弱监督度量学习个别乐器声源信号,而不使用任何标签信息,其中三重损失中的正样本和负样本由它们是否来自同一音乐作品定义。此外,假设每个乐器声源在实践中并不总是可用的,我们还研究了使用乐器声音声源分离,以获得每个源在所提出的方法的效果。实验结果已经表明:(1)可以针对各个乐器声源学习唯一的相似性度量,(2)使用一些乐器声源学习的相似性度量可能导致比使用整个音乐作品学习的相似性度量更准确的结果,(3)当使用分离的乐器声音学习时性能降级,以及(4)通过所提出的方法学习的相似性度量很好地产生了与人类感官感知相对应的结果。
2022-11-15 cs.SD eess.AS
Evaluating Co-Creativity using Total Information Flow
UC San Diego(加州大学圣地亚哥分校)
本文提出一种基于总信息流的度量方法,利用预训练生成模型作为熵估计器定量评估音乐共创性,并通过定性研究验证其与人类感知的一致性。
2024-02-09 cs.AI cs.HC cs.IT
A data-driven approach to mid-level perceptual musical feature modeling
Institute of Computational Perception(计算感知研究所);Swiss Center for Affective Sciences(瑞士情感科学中心);Johannes Kepler University(约翰内斯·开普勒大学);Geneva University(日内瓦大学)
音乐特征和描述符可以粗略地分为三个层次的复杂性。底层包含音乐的基本构建块,例如,和弦节拍和音色中层包含的概念,从组合的基本块:音调和节奏的稳定性,和声和节奏的复杂性,等高层次的描述(体裁,情绪,表现风格)通常是使用较低层次的建模。属于中间层的特征既可以提高高级描述符的自动识别,又可以提供新的音乐检索可能性。中级特征是主观的,通常缺乏明确的定义。然而,它们对于人类对音乐的感知非常重要,并且其中一些人可以达成高度一致,即使定义它们,因此为它们设计手工制作的特征提取器可能很困难。在本文中,我们从数据中推导出中级描述符。我们收集并发布了一个数据集\footnote{https://osf.io/5aupt/}的5000首歌曲注释的音乐家与七个中级描述符,即旋律,音调和节奏的稳定性,模态,节奏的复杂性,不和谐和清晰度。然后,我们比较了使用深度学习从谱图预测这些描述符的几种方法。我们还展示了这些中级功能的有用性,使用音乐情感识别作为一个应用程序。
2018-06-13 cs.SD eess.AS
A Controllable Perceptual Feature Generative Model for Melody Harmonization via Conditional Variational Autoencoder
Shanghai Film Academy, Shanghai University(上海大学上海电影学院)
针对现有旋律和声化方法创造性不足的问题,提出基于条件变分自编码器的CPFG-Net及感知特征-和弦映射算法,依托BCPT-220K数据集训练,实现可控的高表现力和声生成。
2025-11-18 cs.SD
H2H Music Improv: A Communication Model and Audio-Visual Dataset for Music Improvisation
Georgia Institute of Technology(佐治亚理工学院)
该研究针对现有AI即兴系统缺乏通信意识的问题,通过与专业即兴者协作推导通信模型,并构建首个自由即兴的H2H视听数据集,为AI音乐伙伴设计提供新资源。
2026-08-17 cs.MM cs.SD eess.AS
A Modulation Front-End for Music Audio Tagging
Queen Mary University of London(伦敦玛丽女王大学);Centre for Digital Music(数字音乐中心)
卷积神经网络在自动音乐标注任务中得到了广泛的研究。这个问题可以通过使用工程时频特征或原始音频作为输入来解决。作为音色感知的基础,调制滤波器组表示已被积极研究,有可能促进感知显著特征的提取。我们探索端到端的学习前端音频表示学习,ModNet和SincModNet,其中包括一个时间调制处理块。该结构实际上类似于调制滤波器组,其中FIR滤波器中心频率以数据驱动的方式学习。期望的是,感知动机的滤波器组可以提供用于识别音乐特征的有用表示。我们的实验结果提供了一个完全可视化和可解释的前端时间调制分解的原始音频。我们评估了我们的模型对MagnaTagATune数据集上最先进的音乐标记的性能。我们分析了特定标签的性能的影响时,时间-频率带的调制滤波器在一个逐步降低的速率进行二次采样。我们证明,调制滤波提供了有前途的结果,音乐标记和特征表示,而不使用广泛的音乐领域的知识,在这个前端的设计。
2021-05-25 cs.LG cs.SD eess.AS
A Predictive Model for Music Based on Learned Interval Representations
Institute of Computational Perception, JKU Linz(林茨约翰·开普勒大学计算感知研究所);Sony Computer Science Laboratories (CSL)(索尼计算机科学实验室)
连接主义序列模型(例如,应用于音乐序列的RNN)存在两个已知问题:首先,它们具有严格的“绝对音高感知”。因此,它们不能概括通常根据音高之间的相对距离感知的音乐概念(例如,旋律、音阶类型、调式、节奏或和弦类型)。第二,他们没有抓住重复和音乐形式的概念。在本文中,我们介绍了经常性的门控自动编码器(RGAE),一个经常性的神经网络,学习和操作的音乐序列的间隔表示。相对音高建模增加了泛化并降低了输入数据中的稀疏性。此外,它可以学习复制和移位操作的序列(即音乐片段的色彩转置副本)-学习音乐重复结构的有前途的能力。我们发现,RGAE提高了一般连接序列模型在学习预测单声道旋律的最新技术水平,相对和绝对音乐处理模型的合奏明显提高了结果。此外,我们表明,RGAE的相对音高处理自然有利于学习和复制和移位操作序列的生成,因此,RGAE大大优于一个共同的绝对音高递归神经网络在这项任务上。
2018-06-22 cs.AI cs.SD eess.AS
Music Similarity Representation Learning Focusing on Individual Instruments with Source Separation and Human Preference
Nagoya University(名古屋大学)
该研究提出结合音乐音源分离与人类偏好的单乐器音乐相似性表示学习方法InMSRL,通过端到端微调、多任务学习、感知感知微调三种策略提升性能,实验验证了各策略的有效性及级联方案的优越性。
2025-03-24 cs.SD eess.AS