SpecSinGAN: Sound Effect Variation Synthesis Using Single-Image GANs
University of York（约克大学）；Sony Interactive Entertainment Europe（索尼互动娱乐欧洲公司）；Music Artificial Intelligence Algorithms, Inc.（音乐人工智能算法公司）
单图像生成对抗网络从单个训练样本的内部分布中学习，以生成其变体，从而消除了对大型数据集的需求。在本文中，我们介绍了SpecSinGAN，这是一种无条件生成架构，它只需要一个单次声音效果（例如，一个脚步声;一个角色跳跃），并产生它的新颖变化，就好像它们是来自同一录音会话的不同镜头。我们探索使用多通道声谱图来训练模型的各个层，包括一个单一的声音效果。一项听力研究将我们的模型与真实录音和数字信号处理程序音频模型在声音的可扩展性和变化方面进行了比较，结果显示，当使用多通道频谱图时，SpecSinGAN比所考虑的程序音频模型更合理，更多样化。可以在项目网站https://www.adrianbarahonarios.com/specsingan/上找到合理的例子
2022-04-05 cs.LG cs.SD eess.AS
A Text-Steerable Instrument for Sketching Procedural Soundscapes via Language Models
Rama Labs（Rama实验室）
提出一种实时音乐界面，将自然语言场景描述转化为可演化的程序化声景，通过直接参数调整实现细粒度控制，并采用三种可互换后端生成连贯音频流。
2026-07-02 cs.CL cs.HC cs.SD
On building machine learning pipelines for Android malware detection: a procedural survey of practices, challenges and opportunities
Huawei Technologies Canada Co., Ltd（华为技术加拿大有限公司）
针对现有Android恶意软件检测ML研究综述覆盖不全的问题，本文通过梳理2011-2021年42篇高被引论文，提出新型流程化分类体系，明确研究空白并给出未来方向。
2023-06-12 cs.CR cs.LG
"Seeing Sound": Audio Classification with the Wigner-Wille Distribution and Convolutional Neural Networks
Technical University of Eindhoven (TU/e)（埃因霍温理工大学）；Dutch National Police（荷兰国家警察）
随着大数据变得越来越可用，物联网硬件被广泛采用，人工智能功能变得越来越强大，组织正在不断投资于传感。来自传感器网络的数据目前与传感器融合和人工智能算法相结合，以推动自动驾驶汽车等领域的创新。来自这些传感器的数据可以用于许多用例，包括城市环境的安全系统中的警报，例如枪击和爆炸事件。此外，各种类型的传感器，例如声音传感器，可以在低光条件下或在相机不可用的位置处使用。本文探讨了在城市环境中利用声音传感器数据的潜力。在技术上，我们提出了一种新的方法分类的声音数据使用Wigner-Ville分布和卷积神经网络。在本文中，我们报告的方法在开源数据集上的性能。提出的概念和工作是基于我的博士论文，这是在埃因霍温大学数据科学工程博士课程的一部分，与荷兰国家警察合作。在论文中，对真实世界的数据集进行了额外的工作，由于保密性，这里没有介绍。
2022-11-06 cs.AI cs.LG cs.SD
Sound effects in media:A comparative analysis of recorded and synthetic samples in live-action and animation
Centre for Digital Music (C4DM),Queen Mary University of London（数字音乐中心（C4DM）、伦敦女王玛丽大学）
通过比较程序化生成的合成音效与真实录制音效在实拍和动画场景中的可信度，发现合成音效在戏剧和科幻场景中表现良好，但在卡通日常动作中可信度较低。
2026-05-29 cs.MM cs.SD
Fine-Grained Engine Fault Sound Event Detection Using Multimodal Signals
University at Buffalo（布法罗大学）；ACV Auctions（ACV拍卖公司）
本文提出一个多模态SED框架，结合音频与振动信号，检测汽车发动机的十种细粒度故障，并通过预训练策略提升检测效果，验证了特征融合的有效性。
2024-03-16 cs.SD eess.AS
Improving Engine Sound Analysis in Hot-Test Environments via a RAB-U-Net (Residual Attention Block U-Net) Noise Removal Method
K. N. Toosi University of Technology（K. N. 图西科技大学）
提出一种基于残差注意力块增强U-Net的深度学习降噪方法，用于生产线上发动机热试时的背景噪声去除，显著提升发动机声音分析准确度。
2026-07-10 cs.AI cs.SD eess.AS
Gradient-Based Learning of Parametric Engine Sound Representations for Real-Time Resynthesis and Tuning on Embedded Systems
Impulse Audio Lab GmbH（脉冲音频实验室有限公司）
提出一种基于神经网络和梯度优化的引擎声音建模方法，通过分析-合成学习紧凑参数表示，实现高保真重合成并兼容现有汽车音频框架，在嵌入式平台上验证可行性。
2026-06-23 cs.SD eess.AS
The language of sound search: Examining User Queries in Audio Search Engines
Huawei Technologies（华为技术有限公司）；Universitat Pompeu Fabra（庞培法布拉大学）
本研究通过分析定制调查和Freesound日志中的用户查询，揭示了声音搜索引擎中用户查询的长度、关键词偏好及影响因素，为开发以用户为中心的基于文本的音频检索系统提供了关键见解。
2024-10-10 cs.CL cs.HC cs.IR
Physics-Informed Neural Engine Sound Modeling with Differentiable Pulse-Train Synthesis
提出脉冲串-谐振器（PTR）模型，通过可微分合成架构直接建模发动机脉冲形状和时间结构，利用物理信息归纳偏置提升谐波重建质量并降低总损失。
2026-06-02 cs.AI cs.SD eess.AS
Sound Search by Text Description or Vocal Imitation?
University of Rochester（罗切斯特大学）
通过文本标签搜索声音通常很困难，因为文本描述无法详细描述音频内容。语音模仿查询弥补了这一缺陷，为语音搜索提供了一种新的途径。已经提出了几种通过声音模仿进行声音搜索的算法，并在模拟环境中进行了评估，然而，它们还没有部署到真正的搜索引擎中，也没有被真正的用户进行评估。本试验工作进行了主观研究，比较这两种方法的声音搜索，并试图回答的问题，哪种方法更好地为什么样的声音。为此，我们开发了两个基于网络的声音搜索引擎，一个是模仿声音（Vroom！）另一种是文本描述（TextSearch）。我们还开发了一个实验框架来托管这些引擎，以收集用户行为和评级的统计数据。结果显示，Vroom！收到显着更高的搜索满意度评级比文本搜索没有声音类别，难以为主题的文字描述。结果还显示，Vroom的整体易用性评分更高！在我们的实验中，有限的声音库上的TextSearch。这些研究结果表明，在实践中的声音模仿为基础的搜索的优势。
2019-07-19 cs.HC cs.SD eess.AS
Some clues to build a sound analysis relevant to hearing
ENS Louis-Lumière（国立路易·卢米埃尔高等学院）
本文讨论了不同声音分析工具的假设与限制，提出了一种通用且以听觉为最终参考的分析工具，并展望了其在重新审视声音定义方面的应用。
2024-01-04 cs.SD eess.AS
Acoustic Wave Modeling Using 2D FDTD: Applications in Unreal Engine For Dynamic Sound Rendering
本文提出一种在 Unreal Engine 中模拟声传播的 2D FDTD 框架，通过网格离散与反卷积生成保留空间方向性的多通道脉冲响应以实现动态声音渲染，基准测试证实其有效性与商业潜力。
2025-07-12 cs.HC cs.MM cs.SD
Unleashing the Power of Natural Audio Featuring Multiple Sound Sources
Zhejiang University（浙江大学）
针对自然混合音频中通用声音分离泛化不足的问题，提出ClearSep框架，利用数据引擎分解音频并采用重混评估指标迭代优化，实现多任务最先进性能。
2025-04-24 cs.LG cs.SD
Quality-Diversity Search in Sound Generation: Investigating Innovation Engines for Audio Exploration
University of Oslo（奥斯陆大学）
本研究将质量多样性算法与监督判别模型结合，通过多频段CPPN和DSP图生成多样化合成声音，并分析进化路径与时间生态位，展示了创新引擎在声音发现中的潜力。
2026-06-08 cs.NE cs.SD
Sound-Stream II: Towards Real-Time Gesture Controlled Articulatory Sound Synthesis
University of British Columbia（不列颠哥伦比亚大学）
我们提出了一个接口，涉及四个自由度（DOF）的机械控制的二维，正中矢状舌通过生物力学工具包称为ArtiSynth和一个声音合成引擎称为JASS对发音声音合成。作为该项目的演示，用户将学习通过一组四个基于力的传感器在2D空间中改变ArtiSynth舌头的形状和位置来产生一系列JASS声音。换句话说，用户将能够物理地玩弄这四个传感器，从而虚拟地控制舌头的四个选定肌肉兴奋的幅度以改变发音结构。这种变化是在ArtiSynth环境中根据面积函数计算的，并被传送到基于JASS的音频合成器，该音频合成器与双质量声门激励模型耦合，以完成这种端到端的手势到声音映射。
2018-11-20 cs.SD eess.AS
Multi-label Sound Event Retrieval Using a Deep Learning-based Siamese Structure with a Pairwise Presence Matrix
Simon Fraser University（西蒙菲莎大学）；Microsoft（微软公司）；New York University（纽约大学）；Carnegie Mellon University（卡内基梅隆大学）
真实的音景录音通常有多个声音事件同时发生，如汽车喇叭，引擎和人类的声音。声音事件检索是一种基于内容的搜索，旨在查找音频样本，类似于基于声学或语义内容的音频查询。现有技术的声音事件检索模型集中于仅发生一个声音事件的单标签音频记录，而不是多标签音频记录（即，在一个记录中发生多个声音事件）。为了解决后一个问题，我们提出了不同的深度学习架构，包括Siamese结构和Pairwise Presence Matrix。使用包含单标签和多标签音景录音的SONYC-UST数据集对网络进行训练和评估。实验结果表明了该模型的有效性。
2020-02-20 cs.IR cs.LG cs.SD
FALL-E: A Foley Sound Synthesis Model and Strategies
Gaudio Lab, Inc.（高迪奥实验室公司）
本文提出拟音合成系统FALL-E，采用低分辨率频谱生成、超分辨率和声码器级联架构，结合预训练语言模型与提示工程，在DCASE 2023任务7中平均排名第二。
2023-08-10 cs.LG cs.SD eess.AS
A Study on Improving Multi-class Audio Source Separation Via Decoupled CLAP Query Optimization and an Automated Data Engine
针对语言查询音频源分离适配难题，提出自动化数据引擎与两阶段CLAP控制信号优化框架，在七类声音上显著提升分离性能，主观评测优于基线与商业模型。
2026-10-08 cs.SD
Fine-grained Soundscape Control for Augmented Hearing
Paul G. Allen School of Computer Science and Engineering, University of Washington（保罗·G·阿伦计算机科学与工程学院，华盛顿大学）；Hearvana AI（Hearvana人工智能）
Aurchestra通过细粒度声音控制实现可穿戴设备上多声音源的独立调节与混合，提升环境声音的增强与抑制效果。
2026-07-13 cs.LG cs.SD eess.AS
On Machine Learning-Driven Surrogates for Sound Transmission Loss Simulations
Ecole Centrale Lyon（里昂中央理工学院）；Compredict GmbH（Compredict公司）；Institut Camille Jordan（卡米尔·若尔当研究所）；Univ. Gustave Eiffel（古斯塔夫·埃菲尔大学）；Inria（法国国家信息与自动化研究所）
代理模型是计算昂贵的模拟的基于数据的近似，其使得能够在许多物理领域中有效地探索模型的设计空间和明智的决策。然而，由于波动现象的非光滑、复杂行为，在振动声学领域中使用代理模型是具有挑战性的。本文研究了四种机器学习（ML）方法在声传输损失（STL）的替代建模。使用特征重要性和特征工程来提高模型的准确性，同时增加其可解释性和物理一致性。所提出的技术转移到其他问题的振动声学域和可能的局限性的模型进行了讨论。
2022-04-25 cs.LG cs.SD eess.AS
Attention-Based Efficient Breath Sound Removal in Studio Audio Recordings
Robert Gordon University（罗伯特戈登大学）；Informatics Institute of Technology（信息技术学院）
针对录音室人声中的呼吸声去除问题，本文提出基于注意力U-Net的参数高效模型，利用DAPS数据集、对数频谱图和早停训练，以1.9M参数、3.2小时训练实现同等输出和更高精度。
2024-09-08 cs.AI cs.CV cs.LG
Dual-Quaternions: Theory and Applications in Sound
声音是一种基本而丰富的信息来源;在从人文科学和社会科学到工程和数学的许多领域中发挥着关键作用。声音不仅仅是数据“信号”。它涵盖了身体、感官和情感以及社会、文化和环境因素。声音有助于我们的经验，环境和信仰的转变。声音就在我们身边，无处不在。因此，声音是一个复杂的多成分实体，具有各种各样的特性和应用，这一点也不奇怪。当然，一个重要的问题是，什么是最好的方式来存储和表示声音数字捕捉这些特征？哪种模型或方法最适合处理、提取和过滤声音？有大量的表示和模型，然而，一种尚未用于声音的方法是双四元数。虽然双四元数已经在许多科学和计算领域建立了自己作为一个有效的数学模型，提供了一个明确的，不麻烦的，计算有效的手段表示多分量数据。声音是一个尚未探索和获得双四元数好处的领域（使用声音和音频相关的双四元数模型）。本文旨在探索双四元数在与基于声音的模型（包括但不限于应用程序，工具，机器学习，统计和计算声音相关算法）相结合时所提供的令人兴奋的潜力和可能性。
2023-03-23 cs.SD eess.AS
Rendering Spatial Sound for Interoperable Experiences in the Audio Metaverse
iZotope, Inc.（艾佐拓普公司）；Facebook Reality Labs（脸书现实实验室）；Magic Leap, Inc.（魔法 leap 公司）；Brian Schmidt Studios, LLC.（布莱恩·施密特工作室有限责任公司）
先前为视频游戏创作和渲染而开发的交互式音频空间化技术已经发展成为平台的重要组成部分，能够为未来的共存、远程协作和娱乐应用提供共享的沉浸式虚拟体验。新的可穿戴虚拟和增强现实显示器采用实时双耳音频计算引擎，该引擎呈现多个数字对象，并支持联网参与者或其化身通过真实和虚拟环境的并置（通常被称为Metaverse）的自由导航。这些应用需要一个参数化音频场景编程接口，以便于在移动计算平台和远程服务器上创建和部署共享的、动态的和逼真的虚拟3D世界。我们提出了一种实用的方法来设计参数6自由度的基于对象的交互式音频引擎，以提供必要的音频/视觉和虚拟/真实的一致性在Metaverse经验的感知相关的双耳线索。我们解决了室内混响，声反射器，和障碍物在虚拟和真实环境中的影响，并讨论了这种影响可能会被预先计算和实时声传播求解器的组合驱动。我们设想一个开放的场景描述模型蒸馏，以促进跨多个平台分布的可互操作的应用程序的开发，其中每个音频对象表示，对用户来说，一个自然的声源具有可控的距离，大小，方向和声辐射属性。
2021-09-26 cs.SD eess.AS
SSL-Net: A Synergistic Spectral and Learning-based Network for Efficient Bird Sound Classification
Department of Computer Science, University of Oxford, United Kingdom（牛津大学计算机科学系）
本研究提出SSL-Net框架，结合频谱与学习特征，实现高效准确的鸟类声音分类，在有限样本下表现优异，并提供了三种特征融合策略供选择。
2023-12-23 cs.SD eess.AS
Understanding Sounds, Missing the Questions: The Challenge of Object Hallucination in Large Audio-Language Models
National Taiwan University（台湾大学）
本文研究大型音频语言模型的对象幻觉问题，发现其在判别性问题上表现不足，并探索提示工程以提升相关能力。
2024-06-12 cs.CL cs.LG cs.SD
String Sound Synthesizer on GPU-accelerated Finite Difference Scheme
Seoul National University（首尔大学）
本文提出一种基于PyTorch实现的非线性弦音合成器，通过GPU加速有限差分仿真支持随机参数化，既服务于音频信号处理社区，又为神经网络音频合成提供新型数据集构建工具。
2024-01-08 cs.SD eess.AS eess.SP
MTCRNN: A multi-scale RNN for directed audio texture synthesis
National University of Singapore（新加坡国立大学）
音频纹理是环境声音的子集，通常被定义为在足够大的时间窗口内具有稳定的统计特性，但可能是局部非结构化的。它们包括常见的日常声音，如雨，风和发动机。鉴于这些复杂的声音包含多个时间尺度上的模式，它们是用传统方法建模的挑战。我们引入了一种新的纹理建模方法，将在不同抽象层次上训练的递归神经网络与允许用户指导合成的条件反射策略相结合。我们展示了模型在各种数据集上的性能，检查了它在各种指标上的性能，并讨论了一些潜在的应用。
2020-11-25 cs.SD eess.AS stat.ML
A sound description: Exploring prompt templates and class descriptions to enhance zero-shot audio classification
本文探索了零样本音频分类中的提示模板与类别描述，发现格式正确的类别标签即具竞争力，并利用大型语言模型生成音频中心描述，实现无需训练的最先进性能。
2024-09-19 cs.AI cs.SD eess.AS
InverSynth: Deep Estimation of Synthesizer Parameter Configurations from Audio Signals
Microsoft（微软）；Tel Aviv University（特拉维夫大学）；Technion（以色列理工学院）
声音合成是一个复杂的领域，需要专业知识。手动调整合成器参数以匹配特定声音可能是一项繁重的任务，即使对于经验丰富的音响工程师也是如此。在本文中，我们介绍了InverSynth -合成器参数调整，以匹配给定的输入声音的自动方法。InverSynth基于跨步卷积神经网络，能够从输入频谱图甚至原始音频中推断合成器参数配置。在一个具有四个频率调制振荡器、包络发生器和门控效应的减法合成器上证明了InverSynth的有效性。我们提出了广泛的定量和定性结果，展示了InverSynth在几个基线上的优越性。此外，我们表明，网络深度是一个重要的因素，有助于预测精度。
2019-11-21 cs.SD eess.AS stat.ML
Intervention, Not Shared Latents: Blocking Visual Shortcuts in Audio-Video Generation
RIKEN iTHEMS（理化学研究所跨学科理论科学研究所）；RIKEN AIP（理化学研究所先进智能研究中心）；Columbia University（哥伦比亚大学）；South China University of Technology（华南理工大学）
本文通过因果研究证明，音视频生成模型因视觉捷径（从外观而非事件预测声音）而失效，并提出反事实不变性作为识别因果预测器的必要条件，实验验证了干预干扰因素的必要性。
2026-09-24 cs.GR cs.LG cs.SD
Sobolev Norms in Neural Embeddings Measure Audio Morphing Regularity
Nantes Université, École Centrale Nantes, CNRS, LS2N, UMR6004（南特大学，南特中央理工学院，法国国家科学研究中心，LS2N，UMR6004）；Arturia
本文提出Sobolev距离到理想变形（SDIM）作为客观度量，在感知相关的音频嵌入空间中量化变形轨迹的规律性，实验证明其优于现有度量，能可靠区分理想与对抗性轨迹。
2026-10-07 cs.SD
