Body, Clothes, Water, and Toys: Media Towards Natural Music Expressions with Digital Sounds
ATR MIC Research Laboratories(ATR MIC研究实验室);Keio University(庆应义塾大学)
在本文中,我们介绍了我们的研究挑战,创造新的乐器使用日常生活中的媒体与亲密的接口,如自我身体,衣服,水和填充玩具。各种传感器技术,包括图像处理和一般的触摸敏感设备被用来利用这些交互介质。我们努力的重点是为新音乐和声音表演提供用户友好和愉快的体验。在每一次尝试中都探索了乐器的多模态性。在性能和丰富的表达式的可控性的程度也讨论了每个安装。
2020-10-04 cs.HC cs.SD eess.AS
Exploring Diverse Sounds: Identifying Outliers in a Music Corpus
Creativity and Cognition Studios(创意与认知工作室);Faculty of Engineering and IT(工程与信息技术学院);University of Technology Sydney(悉尼科技大学)
本文针对音乐推荐偏重相似性的问题,提出并定义“Genuine”音乐离群值,论证其可揭示艺术家曲目的独特面向并促进多样性音乐发现。
2024-04-09 cs.IR cs.SD eess.AS
Beyond Universality: Cultural Diversity in Music and Its Implications for Sound Design and Sonification
Instituto de Astrofísica de Andalucía (IAA), CSIC(安达卢西亚天文研究所(IAA),西班牙国家科研委员会)
本文探讨了音乐中的文化多样性对声音设计和声音化的影响,挑战音乐作为通用语言的概念,倡导更具包容性的声音设计方法。
2025-06-17 cs.SD eess.AS physics.soc-ph
Transferring neural speech waveform synthesizers to musical instrument sounds generation
National Institute of Informatics, Tokyo, Japan(日本东京国立信息学研究所);Department of Signal Processing and Acoustics, Aalto University, Finland(芬兰阿尔托大学信号处理与声学系)
最近的神经波形合成器,如WaveNet、WaveGlow和神经源滤波器(NSF)模型,在语音合成中表现出良好的性能,尽管它们的波形生成方法不同。语音和音乐音频合成技术之间的相似性表明了在音乐领域应用语音合成器的最佳方式方面探索的有趣途径。这项工作比较了三种用于乐器声音生成的神经合成器在三种情况下:从音乐数据上从头开始训练,从语音域进行zero-shot学习,以及从语音到音乐域的基于微调的自适应。大规模感知测试的结果表明,当对语音数据进行预训练并对音乐数据进行微调时,三个合成器的性能有所改善,这表明来自语音数据的知识对于音乐音频生成的有用性。在这些合成器中,WaveGlow在zero-shot学习方面表现最好,而NSF在其他场景中表现最好,可以生成感知上接近自然音频的样本。
2019-11-19 cs.SD eess.AS stat.ML
Effect of laboratory conditions on the perception of virtual stages for music
Instituto de Automática (Institute of Automation)(自动化研究所)
本文通过对比消声室与两种定制听力室的声学条件,验证了所提出的评估方法在虚拟舞台感知实验中的有效性,为虚拟声学研究中的实验室设计提供了初步依据。
2025-06-02 cs.SD eess.AS
Joint Learning of Emotions in Music and Generalized Sounds
GSSI - Gran Sasso Science Institute(格兰萨索科学研究所);University of Milan(米兰大学)
本研究提出通过多域联合学习构建音乐与通用声音的共同情绪空间,采用多类音频特征和异构模型,在两个公开数据集上实现了情绪预测效果超越现有最优水平,并开源了实验代码。
2024-08-14 cs.AI cs.SD eess.AS
Autoencoders for music sound modeling: a comparison of linear, shallow, deep, recurrent and variational models
Arturia(Arturia公司);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔国立理工学院)
本研究探讨了使用非线性无监督降维技术将音乐数据集压缩成低维表示,该表示可用于合成新的声音。我们系统地比较了(浅)自动编码器(AE),深自动编码器(DAE),循环自动编码器(具有长短期存储单元-LSTM-AE)和具有主成分分析(PCA)的变分自动编码器(VAE),用于将大而密集的音符数据集的高分辨率短期幅度谱表示为低维向量(然后将其转换回用于声音再合成的幅度谱)。我们的实验是在公开的多乐器和多音高数据库NSynth上进行的。有趣的是,与最近关于图像处理的文献相反,我们可以证明PCA系统地优于浅层AE。只有深度和循环架构(DAE和LSTM-AE)才能降低重建误差。VAE中的优化标准是重建误差和正则化项的总和,它自然会导致比DAE更低的重建精度,但我们表明VAE仍然能够优于PCA,同时提供具有良好“可用性”属性的低维潜在空间。我们还提供了相应的客观措施的感知音频质量(PEMO-Q分数),这通常与重建误差。
2019-05-24 cs.SD eess.AS
Music-JEPA: Learning a World Model of Sound from Action
研究提出Music-JEPA,将音乐构建为动作条件系统,用JEPA学习钢琴声音世界模型,在离线状态下用配对数据训练。实验表明模型能捕捉音乐动作与声音关系,其表示支持下游任务并能通过规划实现钢琴转录。
2026-07-27 cs.SD
AI in Music and Sound: Pedagogical Reflections, Post-Structuralist Approaches and Creative Outcomes in Seminar Practice
Technische Universität Berlin(柏林工业大学)
本文探讨了AI在音乐与声音教学中的应用,通过后结构主义方法和创意实践,培养学生的技术能力与批判性思维。
2025-11-21 cs.SD eess.AS
Sound Demixing Challenge 2023 Music Demixing Track Technical Report: TFC-TDF-UNet v3
Korea University(高丽大学)
本研究提出高效音乐声源分离模型TFC-TDF-UNet v3,结合损失掩码的噪声鲁棒训练方法,在2023年声音分离挑战赛音乐分离赛道获奖且在MUSDB基准达SOTA,代码已开源。
2023-07-21 cs.LG cs.MM cs.SD
Musical Timing in Studio Recordings
Athens University of Economics and Business(雅典经济与商业大学)
本研究通过分析391个多轨录音,发现共享声学空间和声音泄漏的录音比隔离录音具有更紧密的时间协调,而配音则增加时间变异性。
2026-09-15 cs.SD eess.AS
PerformanceNet: Score-to-Audio Music Generation with Multi-Band Convolutional Residual Network
Research Center for Information Technology Innovation, Academia Sinica(中央研究院资讯科技创新研究中心)
音乐创作通常由两个部分组成:创作乐谱,然后用乐器演奏乐谱以发出声音。虽然最近的工作在符号领域的自动音乐生成方面取得了很大进展,但很少有人尝试构建可以从乐谱中渲染逼真音乐音频的AI模型。直接用声音样本库合成音频通常会导致机械和面无表情的结果,因为乐谱不包含性能级别的信息,例如定时和动态的细微变化。此外,虽然该任务可能听起来像文本到语音合成问题,但由于音乐音频具有丰富的复调声音,因此存在根本差异。为了构建这样的AI表演者,我们在本文中提出了一个深度卷积模型,该模型以端到端的方式学习音乐的符号表示(称为钢琴卷)和音乐的音频表示(称为频谱图)之间的分数到音频映射。该模型由两个子模型组成:ContourNet,它使用U-Net结构来学习钢琴卷和频谱图之间的对应关系,并给出初始结果;以及TextureNet,它进一步使用多波段残差网络,通过添加泛音和音色的频谱纹理来细化结果。我们训练该模型,以生成小提琴、大提琴和长笛的音乐片段,数据集大小适中。我们还提出了一个用户研究的结果,表明我们的模型实现了更高的平均意见得分(MOS)的自然性和情感表达比基于WaveNet的模型和两个商业声音库。我们在https://github.com/bwang514/PerformanceNet上公开源代码
2018-11-11 cs.MM cs.SD eess.AS
Conditional variational autoencoder to improve neural audio synthesis for polyphonic music sound
Kyungpook National University(庆北国立大学);Electronics and Telecommunications Research Institute(韩国电子通信研究院)
用于音频合成的深度生成模型最近得到了显着改进。然而,对原始波形进行建模的任务仍然是一个困难的问题,特别是对于音频波形和音乐信号。最近,开发了用于高质量音频波形合成的实时音频变分自编码器(RAVE)方法。RAVE方法基于变分自编码器,并采用两阶段训练策略。不幸的是,RAVE模型在再现宽音高复调音乐声音方面受到限制。因此,为了提高重建性能,我们采用基音激活数据作为RAVE模型的辅助信息。为了处理辅助信息,我们提出了一个增强的RAVE模型的条件变分自编码器结构和一个额外的全连接层。为了评估所提出的结构,我们进行了一个听力实验的基础上多个刺激测试与隐藏的参考和锚(MUSHRA)与MAESTRO。结果表明,该模型比传统的RAVE模型具有更显著的性能和稳定性的改善。
2022-11-16 cs.LG cs.SD eess.AS
SoundSignature: What Type of Music Do You Like?
New York University(纽约大学)
SoundSignature 将 MIR 与 OpenAI Assistant 结合,通过聊天交互为用户提供个性化音乐声学分析和教育功能,并集成开源音乐处理工具,经试点研究验证其有效性与可用性。
2024-10-04 cs.AI cs.IR cs.SD
Music Gesture for Visual Sound Separation
MIT(麻省理工学院);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
最近的深度学习方法在视觉声音分离任务上取得了令人印象深刻的性能。然而,这些方法大多是建立在外观和光流一样的运动特征表示,表现出有限的能力,以找到音频信号和视觉点之间的相关性,特别是当分离多个乐器的相同类型,如多个小提琴在一个场景。为了解决这个问题,我们提出了“音乐手势”,一个基于关键点的结构化表示,明确地模拟音乐家的身体和手指运动时,他们执行音乐。我们首先采用一个上下文感知的图网络来整合视觉语义上下文与身体动态,然后应用一个视听融合模型来关联身体动作与相应的音频信号。在三个音乐性能数据集上的实验结果表明:1)对异性音乐分离任务(即不同乐器)的基准指标有很大的改进; 2)钢琴,长笛和小号二重奏的有效同性音乐分离的新能力,据我们所知,这是其他方法从未实现过的。项目页面:http://music-gesture.csail.mit.edu。
2020-04-20 cs.CV cs.LG cs.MM
Tracing Back Music Emotion Predictions to Sound Sources and Intuitive Perceptual Qualities
Johannes Kepler University(约翰·开普勒大学);Linz Institute of Technology(林茨理工学院)
音乐情感识别是音乐信息检索研究的重要内容。由于任务的主观性质和音乐类型之间的情感线索的变化等因素,在开发可靠和可推广的模型方面仍然存在重大挑战。迈向更好模型的一个重要步骤是了解模型实际上从数据中学习了什么,以及如何对特定输入进行预测。在以前的工作中,我们已经展示了如何根据频谱图图像片段来解释模型预测,这些频谱图图像片段通过一层易于解释的感知特征与高级情感预测相连接。然而,该方案在声谱图水平上缺乏直观的音乐可理解性。在目前的工作中,我们通过合并audioLIME(一种基于源分离的解释器)与中级感知特征来弥合这一差距,从而在输入音频和输出情感预测之间形成直观的连接链。我们证明了这种方法的实用性,通过应用它来调试有偏见的情绪预测模型。
2021-06-16 cs.LG cs.SD eess.AS
Coupling the Heart to Musical Machines
University of British Columbia(不列颠哥伦比亚大学)
本文提出一种基于PPG心率的一维生物反馈音乐控制器,通过时间缩放实时变换声音并形成声音-心脏-PPG感知回路,以探索心脏对音乐感知与表演氛围的控制潜力。
2025-05-05 cs.HC cs.SD eess.AS
DISCO: An object-oriented system for music composition and sound design
本文介绍了一种面向对象的方法来音乐创作和声音设计。这种方法通过使用类似的逻辑、对象和程序来统一音乐制作和乐器制造的过程。作曲模块使用音乐数据的抽象表示,可以很容易地映射到不同的合成语言或传统的乐谱。抽象基类用于派生不同时间尺度上的类。对象可以在时间尺度上与动作相关,也可以在整个作品中与动作相关,相似对象之间的关系可以复制传统的音乐操作或引入新的操作。DISCO(Digital Instrument for Sonification and Composition)系统是一个正在进行的开放式工作。
2000-07-05 cs.DS cs.SD cs.SE
Enhancing Audio Perception of Music By AI Picked Room Acoustics
Stanford University(斯坦福大学)
我们听到的每一个声音都是连续卷积运算的结果(例如室内声学、麦克风特性、乐器本身的共振特性,更不用说声音再现系统的特性和限制)。在这项工作中,我们试图确定使用AI执行特定作品的最佳房间。此外,我们使用室内声学作为一种方式来增强给定声音的感知质量。从历史上看,房间(特别是教堂和音乐厅)被设计为举办和服务于特定的音乐功能。在某些情况下,建筑声学质量提高了那里的音乐表演。作为第一步,我们试图模仿这一点,通过指定房间脉冲响应,这些脉冲响应将与特定音乐的增强音质相关。首先训练卷积架构以获取音频样本并模仿专家的评级,对于各种乐器系列和笔记的感知质量,准确率约为78%。这给了我们一个评分功能,任何音频样本,可以评级的感知愉悦的音符自动。现在,通过模拟各种房间,材料等的大约60,000个合成脉冲响应的库,我们使用一个简单的卷积运算来转换声音,就像它在一个特定的房间里播放一样。感知评估器用于对音乐声音进行排名,并产生播放声音的“最佳房间或音乐厅”。作为一个副产品,它还可以使用室内声学将质量差的声音变成“好”的声音。
2022-08-16 cs.AI cs.LG cs.MM
Joint Blind Room Acoustic Characterization From Speech And Music Signals Using Convolutional Recurrent Neural Networks
Logitech Europe S.A.(罗技欧洲股份公司)
声学环境表征为声音再现创新、智能E Qing、语音增强、助听器和取证打开了大门。混响时间、清晰度和直达混响比是已经被定义为描述混响环境的声学参数。它们与语音清晰度和声音质量密切相关。如ISO 3382标准中所解释的,它们可以从称为房间脉冲响应(RIR)的房间测量中得出。然而,测量RIR需要特定的设备和播放侵入性声音。最近的音频与机器学习的结合表明,人们可以使用语音或音乐信号来盲估计这些参数。我们遵循这些进展,并提出了一个强大的端到端的方法来实现盲联合声学参数估计使用语音和/或音乐信号。我们的研究结果表明,卷积循环神经网络在这项任务中表现最好,并且在训练中包含音乐也有助于改善语音推理。
2020-10-21 cs.LG cs.SD eess.AS
Universal patterns in sound amplitudes of songs and music genres
Universidade Estadual de Maringá(马林加州立大学);National Institute of Science and Technology for Complex Systems(国家复杂系统科学技术研究所)
我们报告了超过8000首歌曲的统计分析。具体来说,我们调查的概率分布的归一化的声音振幅。我们的研究结果似乎表明,一个普遍的形式的分布,提出了一个很好的协议与一个参数拉伸高斯。我们还认为,这个参数可以给音乐的复杂性的信息,因此它去分类歌曲以及音乐流派。此外,我们提出的统计证据,相关方面的歌曲直接与非高斯性质的声音振幅分布。
2010-12-01 cs.IR cs.SD physics.data-an
The Sound Demixing Challenge 2023 $\unicode{x2013}$ Music Demixing Track
AudioShake;Meta AI;Tencent AI Lab(腾讯AI实验室);AIcrowd;Institute for Design Problems in Microelectronics of Russian Academy of Sciences(俄罗斯科学院微电子设计问题研究所);The University of Tokyo(东京大学);RIKEN(理化学研究所);Korea University(高丽大学);Central Conservatory of Music(中央音乐学院);Sony Europe B.V.(索尼欧洲有限公司);Sony Group Corporation(索尼集团公司)
本文总结了声音分离挑战赛2023音乐分离赛道,提出训练数据错误的形式化定义及两个新数据集,最佳系统在MDXDB21上较上届提升超1.6dB,并进行了听音测试。
2024-04-19 cs.SD eess.AS
Sound and Music Biases in Deep Music Transcription Models: A Systematic Analysis
本文分析了深度音乐转录模型在不同音乐风格和声音条件下的性能差异,发现音乐风格和声音质量对转录效果有显著影响。
2025-12-16 cs.LG cs.SD
Discovering novel computer music techniques by exploring the space of short computer programs
非常短的计算机程序(有时在无限循环中仅包含三个算术运算)可以生成在输出为原始PCM音频时听起来像音乐的数据。这些程序的空间最近被各种在线社区中的数十个人探索。本文讨论了从这一探索性工作产生的程序,并强调了一些相当不寻常的方法,他们用于合成声音和产生音乐结构。
2011-12-06 cs.SD
Spectrotemporal Modulation: Efficient and Interpretable Feature Representation for Classifying Speech, Music, and Environmental Sounds
New York University(纽约大学);Queen Mary University of London(伦敦大学女王学院);Max Planck Society(马克斯·普朗克协会)
本文提出基于频谱时间调制(STM)特征的无预训练音频分类方法,在语音、音乐和环境声音上达到与预训练音频DNN相当的性能,证明STM高效且可解释,并为听觉科学、脑机接口和认知计算开辟新方向。
2025-05-29 cs.LG cs.SD eess.AS
From Sound to Sight: Towards AI-authored Music Videos
IT University of Copenhagen(哥本哈根IT大学);Aalto University(艾尔沃斯大学);University of Twente(特文特大学);University of Limerick(利默里克大学);University of Nottingham(诺丁汉大学)
针对传统音乐可视化表现力有限的问题,提出两种基于现成深度学习模型的音乐视频自动生成流水线,经初步用户评测验证其在叙事、视觉连贯和情绪匹配上的效果,拓展了音乐可视化的实现路径。
2025-08-20 cs.AI cs.MM cs.SD
Representations of Sound in Deep Learning of Audio Features from Music
Cold Spring Harbor Laboratory(冷泉港实验室)
一个音乐家、一个乐队或一个作曲家的作品在音乐风格上可以有很大的不同。事实上,不同的风格元素,从表演媒介和节奏到和谐和纹理,通常是在艺术家的一生中开发和发展的。然而,例如,在感知层面上,单个作曲家的作品通常具有可辨别的特征-有经验的听众通常可以从音乐中找到微妙的线索来识别作曲家或表演者。在这里,我们建议卷积网络可以学习这些微妙的线索或特征,给出音乐的适当表示。在本文中,我们将深度卷积神经网络应用于大型音频数据集,并根据经验评估其在音频分类任务上的性能。我们训练的网络在这样的分类任务上表现出准确的性能,当呈现通过原始音频波形的简单变换获得的5秒音乐示例时。一个特别有趣的例子是音乐的频谱表示,通过应用一个空间间隔的滤波器组,反映了哺乳动物听觉信号转导的早期阶段。最成功的音乐表示,以促进歧视是通过随机矩阵变换(RMT)。基于对数滤波器组和RMT的网络能够分别在68%和84%的情况下正确地猜测出31种可能性中的一个作曲家。
2017-12-08 cs.CV cs.SD eess.AS
Simultaneous Music Separation and Generation Using Multi-Track Latent Diffusion Models
University of California San Diego(加州大学圣地亚哥分校);Bose Corp.(博士公司)
本文提出一种多轨潜扩散模型,通过学习多轨联合分布同时实现音乐源分离、多轨合成与编曲生成,并在Slakh2100上取得显著性能提升。
2024-12-30 cs.SD eess.AS
Novel Recording Studio Features for Music Information Retrieval
Bremen Spatial Cognition Center, University of Bremen(不来梅大学不来梅空间认知中心);Faculty of Information and Communication Technology, Mahidol University(玛希隆大学信息与通信技术学院)
在录音室里,电子舞曲(EDM)的制作人花更多的时间来创作,塑造,混合和掌握声音,而不是作曲或编曲。他们通过近距离聆听和利用音频测量和音频分析工具来调整声音,直到成功地创造出所需的声音美学。EDM的DJ倾向于播放符合他们声音理想的歌曲集。因此,我们建议使用录音室的音频测量和监控工具来分析EDM,而不是依赖于传统的低级别音频功能。我们通过一个简单的分类任务来测试我们的新功能集。我们把歌曲归功于会播放特定歌曲的DJ。这套新的功能和对DJ集的关注是针对EDM的,因为它考虑到了制作人和DJ文化。通过简单的降维和机器学习,这些特征使我们能够以63%的准确率将歌曲归因于DJ。录音室中的音频测量和监测工具的特征可以用于音乐信息检索中的许多应用,例如流派、风格和时代分类以及为DJ和电子舞曲消费者推荐音乐。
2021-01-25 cs.IR cs.SD eess.AS
AudioCALM: Continuous Autoregressive Language Modeling for Universal Audio Generation
Hong Kong University of Science and Technology (HKUST)(香港科技大学);Tongyi Fun Team, Alibaba Group(阿里云团队,阿里巴巴集团)
提出AudioCALM框架,通过连续音频潜变量的自回归预测和不对称模态专家架构,统一语音、声音和音乐生成,在三个任务上达到或超越专用模型性能。
2026-06-23 cs.SD eess.AS
AI TrackMate: Finally, Someone Who Will Give Your Music More Than Just "Sounds Great!"
National Taiwan University(台湾大学);Rhythm Culture Corporation(律动文化公司)
针对独立音乐制作人难以客观评估作品的问题,研究提出基于LLM的即插即用音乐聊天机器人AI TrackMate,结合音轨分析与音乐知识提供制作向反馈,经试点验证可支持创作与技能提升。
2024-12-09 cs.HC cs.LG cs.MM
Musical elements in the discrete-time representation of sound
University of São Paulo(圣保罗大学);Universidade Metodista de Piracicaba(皮拉西卡巴卫理公会大学);University of Western Australia(西澳大利亚大学)
在音乐创作和设计的软件中,经常使用离散音频信号来表示音乐的基本元素。然而,没有统一的方法将这些元素与数字化声音的离散样本联系起来。在本文中,每个音乐元素都通过方程和算法与声音的离散时间样本相关联,并且这些关系中的每一个都在软件工具箱中的脚本中实现,称为MASS(样本序列中的音乐和音频)。基本元素,音符的持续时间,音量,音高和音色,是定量相关的数字信号的特性。音符的内部变化,如颤音,振动和光谱波动,也被考虑,这使得合成的音符灵感来自真实的乐器和新的响亮。利用音符的这种表示,提供了用于生成更高音阶音乐结构的资源,例如节奏节拍、音高间隔和周期。这个框架使精确和可信的科学实验,数据发音,是有用的教育和艺术。MASS的功效是通过使用基本音符,精心制作的音符和音符的音乐,这反映了工具箱的组织,从而这篇文章的小音乐作品的合成证实。可以通过用户指定的脚本和设置的拼贴来合成整个相册。有了开源范例,工具箱可以被迅速审查,在共同作者过程中扩展,并由音乐家,工程师和其他感兴趣的各方自由使用。事实上,MASS已经被用于各种目的,包括音乐制作、艺术展示、心理声学实验和计算机语言传播,其中视听制品的吸引力被用于教育。
2017-10-26 cs.SD physics.pop-ph
BGM2Pose: Active 3D Human Pose Estimation with Non-Stationary Sounds
Keio University(庆应义塾大学);NTT Corporation(日本电信电话公司);Tokyo University of Science(东京理科大学)
提出BGM2Pose,利用自然音乐作为主动传感信号,通过对比学习消除音乐干扰和频率注意力捕捉细微声学变化,实现非侵入式3D人体姿态估计,性能优于现有方法。
2026-09-15 cs.AI cs.CV cs.SD
HouseX: A Fine-grained House Music Dataset and its Potential in the Music Industry
New York University Shanghai(上海纽约大学)
机器声音分类一直是音乐技术的基本任务之一。声音分类的一个主要分支是音乐类型的分类。然而,尽管覆盖了大多数音乐流派,现有的音乐流派数据集通常不包含指示音乐的详细子流派的细粒度标签。考虑到混音带或DJ(现场)集合中歌曲流派的一致性,我们收集并注释了一个house音乐数据集,该数据集提供4个子流派标签,即未来house,bass house,progressive house和melodic house。实验表明,我们的标注很好地体现了不同类别的特点。此外,我们已经建立了基线模型,根据一个轨道的梅尔频谱图分类的子流派,取得了很强的竞争力的结果。此外,我们还提出了我们的数据集和基线模型的几个应用场景,模拟科幻隧道作为一个简短的演示,在3D建模软件中构建和渲染,灯光的颜色由我们的模型输出自动化。
2022-10-12 cs.LG cs.SD eess.AS
One-Shot Acoustic Matching Of Audio Signals -- Learning to Hear Music In Any Room/ Concert Hall
Stanford University(斯坦福大学)
声音产生和被听到的声学空间通过提供独特的\textit{presence}感而在如何感知声音方面起着至关重要的作用。我们听到的每一个声音都是声源固有的连续卷积运算和外部因素(如麦克风特性和房间脉冲响应)的结果。通常,研究人员使用诸如手枪射击或气球爆裂的激励作为可以创建可听化的脉冲信号。与感兴趣的信号卷积的房间“脉冲”响应可以将输入声音转换成在感兴趣的声学空间中播放的声音。在这里,我们提出了一种新的架构,可以将感兴趣的声音转换到任何其他声学空间(房间或大厅)的利益,通过使用任意的音频记录作为代理的气球流行。该架构是接地在简单的信号处理的想法,学习残余信号从学习的声学签名和输入信号。我们的框架允许神经网络调整时频表示中每个点的增益,给出合理的定性和定量结果。
2022-10-31 cs.LG cs.MM cs.SD
EEG2Mel: Reconstructing Sound from Brain Responses to Music
University of California Merced(加州大学默塞德分校)
通过在记录EEG信号的同时对呈现给参与者的歌曲名称和图像类别进行分类,从大脑对听觉和视觉刺激的反应中进行信息检索已经显示出成功。以重建听觉刺激形式的信息检索也取得了一些成功,但在这里,我们通过重建音乐刺激来改进以前的方法,使其能够独立地被感知和识别。此外,深度学习模型在时间对齐的音乐刺激频谱上进行训练,用于EEG记录的每个相应的一秒窗口,与先前的研究相比,这大大减少了所需的特征提取步骤。被动地听全长歌曲的参与者的NMED-Tempo和NMED-Hindi数据集用于训练和验证卷积神经网络(CNN)回归器。测试原始电压与功率谱输入和线性与梅尔谱图输出的功效,并且将所有输入和输出转换为2D图像。重建的光谱图的质量进行了评估,训练分类器显示81%的准确度为梅尔光谱图和72%的线性光谱图(10%的机会准确度)。最后,听觉音乐刺激的重建由听众在85%的成功率(50%的机会),在两个替代匹配到样本的任务。
2022-07-28 cs.CV cs.IR cs.SD
Superconducting qubits as musical synthesizers for live performance
Yale Quantum Institute, Yale University(耶鲁大学耶鲁量子研究所);Physical Synthesis;MIT Lincoln Laboratory(麻省理工学院林肯实验室);Keysight Technologies(是德科技)
在2019年耶鲁量子研究所为期一年的艺术驻留框架中,艺术家兼技术专家Spencer Topel和量子物理学家Kyle Serniak和Luke Burkhart合作创作了量子声音,这是有史以来第一首直接从超导量子设备的测量中创作和表演的音乐。使用模拟和数字信号处理声化技术,该团队将稀释冰箱内实验的GHz频率信号转换为可听声音。该项目于2019年6月14日在康涅狄格州纽黑文举行的国际艺术与创意节上现场表演,作为使用本章所述合成方法的结构化即兴创作。在研究和艺术之间的接口,量子声音代表了一个认真的尝试,以产生一个量子领域的声音反射。
2022-03-11 cs.SD eess.AS quant-ph
UniSonate: A Unified Model for Speech, Music, and Sound Effect Generation with Text Instructions
Tianjin University(天津大学);Kling Team, Kuaishou Technology(快手科技 Kling 团队);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
UniSonate通过统一的文本指令接口生成语音、音乐和音效,采用动态令牌注入机制和多阶段课程学习策略,提升跨模态生成性能,实现指令驱动的TTS和TTM的SOTA表现。
2026-04-24 cs.AI cs.CL cs.SD
A Study on the Interactive "HOPSCOTCH" Game for the Children Using Computer Music Techniques
Kainan University(开南大学);Yuan Ze University(元智大学)
“跳房子”是一个世界性的游戏,为儿童玩,因为时代在古罗马帝国和中国。本研究主要是通过物理交互设计在儿童熟知的寓教于乐中的应用研究和探讨,为传统的跳房子游戏提供时代感,这是一种新型的技术辅助寓教于乐的实验。创新的跳房子音乐游戏,通过开发基于音乐技术的互动游戏,将各种动物和卡通人物的声音样本,以及算法合成,逐步让孩子感知数字、声音和音乐的世界。它可以引导成长中的儿童的个性和性格从混乱走向清晰。此外,透过电子感测装置、电子I/O模组及电脑音乐程式Max/MSP的应用,可改善传统教材,将互动式电脑音乐与互动式沉浸式音景合成整合,最终完成具教育游戏的教学工具。
2010-06-04 cs.SD
Multi Web Audio Sequencer: Collaborative Music Making
Universitat Pompeu Fabra(庞培法布拉大学)
基于web的音频系统的最新进展已经实现了足够精确的定时控制和实时声音处理能力。许多专门的音乐工具,以及数字音频工作站,现在可以从浏览器访问。诸如数据的大可访问性和客户端之间的实时通信等特性使得Web对于协作数据操作具有吸引力。然而,这一创新领域尚未产生有效的工具,用于多用户协调专门的音乐创作任务。MultiWeb Audio Sequencer是一个应用程序原型,用于对Freesound声音片段进行基于片段的排序,重点是无缝远程协作。在这项工作中,我们认为一个固定的网格步骤音序器作为探针,了解人群共享音乐创作会议的必要功能。这份手稿描述了音序器和功能和类型的互动所需的有效和有吸引力的合作,远程的人在创造性的音乐创作活动。
2019-05-16 cs.HC cs.SD eess.AS
Source Separation & Automatic Transcription for Music
Khoury College of Computer Science, Northeastern University(东北大学科里计算机科学学院)
针对音乐源分离与自动转录任务面临的噪声大、训练慢、数据少等问题,研究者结合频谱图掩码、深度神经网络与MuseScore API,构建了可分离乐器音干并转写乐谱的端到端流水线。
2024-12-09 cs.AI cs.SD eess.AS
A Multimodal Symphony: Integrating Taste and Sound through Generative AI
Centro di Sonologia Computazionale (CSC)(计算声学中心);Department of Information Engineering University of Padova(信息工程系帕多瓦大学);Center for Mind/Brain Sciences (CIMeC)(心智/大脑科学中心);University of Trento(特伦托大学);SoundFood s.r.l.(SoundFood公司)
该研究基于味觉与听觉的跨感官关联,微调 MusicGEN 以根据味觉描述生成音乐,并经111名参与者验证其比未微调模型更连贯。
2025-03-04 cs.AI cs.MM cs.SD
Predicting Audio Popularity: A Comparative Study of Metadata and Acoustic Features Across Music and Sound Effects
ENSIM, Le Mans Université(勒芒大学ENSIM学院);LIUM, Le Mans Université(勒芒大学LIUM实验室)
本研究针对在线平台音频流行度预测问题,对比评估随机森林、XGBoost等模型,发现元数据预测效果最优,声学特征单独使用也能显著提升预测性能。
2026-10-14 cs.LG cs.SD
BNMusic: Blending Environmental Noises into Personalized Music
Wuhan University(武汉大学);Bang & Olufsen A/S(Bang & Olufsen公司);Princeton University(普林斯顿大学);LIX, École Polytechnique(巴黎政治学院LIX研究所)
BNMusic通过将环境噪音融入个性化音乐生成,减少噪音的明显性,提升听觉体验。
2026-01-30 cs.AI cs.SD eess.AS
A Simple Method to Produce Algorithmic MIDI Music based on Randomness, Simple Probabilities and Multi-Threading
University of Crete(克里特大学);Institute of Computer Science, FORTH-ICS(希腊研究与技术基金会计算机科学研究所)
本文介绍了一种基于随机性和简单概率的多通道MIDI音乐制作方法。该方法的一个显著特征是,它通过利用通用程序设计语言的多线程能力来产生并并行地向声卡发送一个以上的非同步通道。因此,派生的声音提供了一个相当"充分”和"不可预测”的声学经验,以听众。随后,本文报告了与用户的评价结果。结果非常令人惊讶:大多数用户回答说,他们可以在各种场合容忍这种音乐。
2013-12-14 cs.SD
Goniometers are a Powerful Acoustic Feature for Music Information Retrieval Tasks
University of Hamburg(汉堡大学)
本文探讨了角度仪在音乐信息检索中的应用,通过自组织映射验证其在分类和聚类中的有效性,强调其因果性优势。
2023-02-02 cs.IR cs.SD eess.AS
A Unified Model for Zero-shot Music Source Separation, Transcription and Synthesis
New York University Shanghai(纽约大学上海校区);ByteDance(字节跳动)
我们提出了一个统一的模型,用于三个相互关联的任务:1)\textit{separate}从混合音乐音频的各个声源,2)\textit{transcribe}每个声源的音符,和3)到\textit{ synthesize}新的作品的音色的基础上分离的来源。该模型的灵感来自于这样一个事实,即当人类听音乐时,我们的大脑不仅可以区分不同乐器的声音,而且还可以同时感知乐谱和音色等高级表征。为了在计算上反映这种能力,我们设计了一个基于流行的声源分离的编码器-解码器神经结构的音高-音色解纠缠模块。关键的归纳偏差是矢量量化的音高表示和音高变换不变的音色表示。此外,我们采用了一种通过实例查询的方法来实现\textit{zero-shot}的学习,即,该模型能够为\textit{unseen}仪器进行声源分离、转录和合成。目前的设计重点是两个单声道乐器的音频混合。实验结果表明,我们的模型优于现有的多任务基线,转录分数作为一个强大的辅助分离任务。
2021-08-07 cs.AI cs.SD eess.AS
From Sound to Setting: AI-Based Equalizer Parameter Prediction for Piano Tone Replication
提出一种基于AI的钢琴音色复刻系统,直接从音频特征预测可解释的EQ参数,神经网络在多频段任务上MSE达0.0216。
2025-09-29 cs.LG cs.SD eess.AS
Vrengt: A Shared Body-Machine Instrument for Music-Dance Performance
RITMO Centre for Interdisciplinary Studies in Rhythm, Time and Motion(节奏、时间与运动跨学科研究中心);Department of Musicology(音乐学系);University of Oslo(奥斯陆大学);PRAXIS(实践舞蹈公司);Norwegian Contemporary Dance Company(挪威当代舞蹈公司)
本文描述了一种音乐舞蹈表演共用乐器的开发过程,特别侧重于探索静止与运动,无声与有声之间的界限。Vrengt的作品源于一个音乐家和舞蹈家之间真正的伙伴关系的想法,开发了一种允许积极合作的乐器。使用参与式设计方法,我们将声音化作为系统地探索舞者身体表达的工具。探索使用了“时空矩阵”,特别侧重于声波微相互作用。在最后的表演中,两个Myo臂章被用来捕捉舞者手臂和腿部的肌肉活动,还有一个无线耳机麦克风捕捉呼吸声。在本文中,我们反映了多用户仪器的范例,讨论我们的方法来创建一个共享的仪器使用发声作为工具的声音设计,并反映在表演者的主观评价的仪器。
2020-10-08 cs.HC cs.SD eess.AS
A dedicated greedy pursuit algorithm for sparse spectral representation of music sound
Aston University(阿斯顿大学)
提出了一种用于音乐声音稀疏谱表示的专用算法。目标是使一段音乐信号的表示成为尽可能少的频谱分量的线性叠加。这种性质的表示称为稀疏表示。在本上下文中,稀疏性是通过从称为字典的过完备集合中贪婪地选择谱分量来实现的。所提出的算法是量身定制的应用与三角字典。它的显着特点是,它避免了对整个字典的实际建设的需要,通过实现所需的操作,通过快速傅立叶变换。所实现的稀疏性在理论上等同于通过正交匹配追踪方法所呈现的稀疏性。所提出的专用实现的贡献是通过减少其存储和计算需求来扩展标准正交匹配追踪算法的适用性。通过与传统方法的比较,在短时傅立叶变换的线,只涉及相应的正交三角基的方法用于产生稀疏谱模型的适用性说明。
2016-11-07 cs.MS cs.SD
Towards computer-assisted understanding of dynamics in symphonic music
Johannes Kepler University(约翰内斯·开普勒大学);Austrian Research Institute for Artificial Intelligence(奥地利人工智能研究所)
许多人喜欢古典交响乐。其多样化的乐器带来了丰富的聆听体验。这种多样性增加了指挥家根据自己的想象塑造声音的表达自由。因此,同一件作品可能听起来完全不同,从一个指挥到另一个。对于听者来说,理解上的差异可能是主观上明显的,但有时很难确定,大概是因为声音的声学复杂性。我们描述了一个计算模型,解释动力学-表现响度变化的表现-在乐谱方面,突出表现同一件作品之间的差异。我们通过实验证明,该模型具有预测能力,并给出了使用该模型作为解释工具发现的导体ideosyncrasies的例子。虽然目前的模式仍处于积极的发展,它可能铺平了道路,以消费者为导向的同伴互动古典音乐的理解。
2016-12-13 cs.MM cs.SD
AudioCapBench: Quick Evaluation on Audio Captioning across Sound, Music, and Speech
Salesforce AI Research(Salesforce人工智能研究)
AudioCapBench通过对比不同模型在环境声音、音乐和语音描述任务中的表现,评估了大模型的音频描述能力,揭示Gemini模型在整体质量上优于OpenAI模型。
2026-02-27 cs.AI cs.SD
Separate This, and All of these Things Around It: Music Source Separation via Hyperellipsoidal Queries
Georgia Institute of Technology(佐治亚理工学院)
本文提出一种基于超椭球区域查询的音乐源分离系统,通过按区域指定目标克服了固定stem范式的局限,并在MoisesDB数据集上实现了最先进的信噪比与检索性能。
2025-01-27 cs.IR cs.LG cs.SD
Fast Timing-Conditioned Latent Audio Diffusion
Stability AI;Belmont University(贝尔蒙特大学)
本研究提出基于潜在扩散的Stable Audio模型,通过文本提示与时序嵌入实现长时长、可变长度的44.1kHz立体声音乐与音效高效生成,推理速度快且基准测试表现优异,还可生成有结构的音乐和立体声音效。
2024-05-13 cs.LG cs.SD eess.AS