Texture features for the reproduction of the perceptual organization of sound
University of Groningen（格罗宁根大学）；SoundAppraisal BV（SoundAppraisal 有限公司）
人类对声音的分类似乎主要基于声源的特性。为了估计这些源特性，我们提出了一种新的声音分析方法，它将声音分为不同的声音纹理：音调，脉冲和宽带噪声。音调或脉冲的可听存在对应于比可以预期的更扩展的耳蜗图模式的基础上引入的相关性单独的伽马线性滤波器组。我们设计道功能，以响应这些扩展模式，并使用这些来识别音调，脉冲和嘈杂的时间-频率平面的区域。如果一个区域既不是音调也不是脉动的，则该区域被标记为噪声。为了研究类似的分离是否确实是人类感知组织的基础，我们引入了基于道的描述符：音调，音调和噪声。这些描述符跟踪总能量或分别标记为音调、脉冲和噪声的耳蜗图区域。基于能量的音调和声音与人类主体的第一感知维度强烈相关，而基于能量的噪声与第二感知维度适度相关。我们的结论是，谐波，冲击和连续过程的声音可以在很大程度上分离与能量为基础的调性，重复性和噪音。
2017-05-15 cs.SD
Perceptual evaluation of listener envelopment using spatial granular synthesis
Institute of Electronic Music and Acoustics（电子音乐与声学研究所）；University of Music and Performing Arts Graz（格拉茨音乐与表演艺术大学）
本文利用空间颗粒合成精确控制声音事件的时间与方向密度，通过感知实验揭示听众包围感和吞没感的形成条件及扬声器层、低通滤波的影响。
2023-01-30 cs.SD eess.AS
A Statistics-Driven Differentiable Approach for Sound Texture Synthesis and Analysis
Universitat Pompeu Fabra（庞培法布拉大学）
本文提出统计驱动的TexStat损失函数及TexEnv合成器和TexDSP生成模型，用于纹理声音的分析与合成，并通过实验证明TexStat具有感知意义、时间不变性和噪声鲁棒性，可同时作为生成任务损失函数和验证指标。
2025-06-04 cs.SD eess.AS
DPLM: A Deep Perceptual Spatial-Audio Localization Metric
Facebook Reality Labs Research（Facebook现实实验室研究院）
主观评估对于评估音频合成驱动技术（如增强现实和虚拟现实）中声音的感知真实性至关重要。然而，它们的设置具有挑战性，用户会感到疲劳，而且价格昂贵。在这项工作中，我们解决了捕捉本地化声音的感知特性的问题。具体来说，我们提出了一个框架，用于建立一个通用的质量指标，以评估两个双耳录音之间的空间定位差异。我们通过利用来自经过波达方向（DOA）估计训练的深度网络的激活级距离来对定位相似性进行建模。我们提出的指标（DPLM）在与不同数据集上的主观评级相关性方面优于基线指标，即使没有任何人工标记的训练数据。
2021-05-29 cs.SD eess.AS
Sound Field Translation and Mixed Source Model for Virtual Applications with Perceptual Validation
The Australian National University（澳大利亚国立大学）；Facebook Reality Labs
针对传统声场平移技术受最佳听音点限制、听众可导航区域小的问题，提出融合近远场声源的稀疏扩展平移方法，经MUSHRA实验和数值模拟验证，提升了声源可定位性与频谱鲁棒性，更适配VR等交互式虚拟听觉场景。
2020-07-23 cs.SD eess.AS
Enhancing Audio Perception of Music By AI Picked Room Acoustics
Stanford University（斯坦福大学）
我们听到的每一个声音都是连续卷积运算的结果（例如室内声学、麦克风特性、乐器本身的共振特性，更不用说声音再现系统的特性和限制）。在这项工作中，我们试图确定使用AI执行特定作品的最佳房间。此外，我们使用室内声学作为一种方式来增强给定声音的感知质量。从历史上看，房间（特别是教堂和音乐厅）被设计为举办和服务于特定的音乐功能。在某些情况下，建筑声学质量提高了那里的音乐表演。作为第一步，我们试图模仿这一点，通过指定房间脉冲响应，这些脉冲响应将与特定音乐的增强音质相关。首先训练卷积架构以获取音频样本并模仿专家的评级，对于各种乐器系列和笔记的感知质量，准确率约为78%。这给了我们一个评分功能，任何音频样本，可以评级的感知愉悦的音符自动。现在，通过模拟各种房间，材料等的大约60，000个合成脉冲响应的库，我们使用一个简单的卷积运算来转换声音，就像它在一个特定的房间里播放一样。感知评估器用于对音乐声音进行排名，并产生播放声音的“最佳房间或音乐厅”。作为一个副产品，它还可以使用室内声学将质量差的声音变成“好”的声音。
2022-08-16 cs.AI cs.LG cs.MM
NOMAD: Unsupervised Learning of Perceptual Embeddings for Speech Enhancement and Non-matching Reference Audio Quality Assessment
Google（谷歌）；Science Foundation Ireland（爱尔兰科学基金会）
本文提出无监督、可微的感知相似度度量 NOMAD，利用 NSIM 引导的三元组损失学习音频嵌入，在质量评估、退化排序和语音增强任务中优于非匹配参考方法。
2024-01-19 cs.SD eess.AS
DrumGAN: Synthesis of Drum Sounds With Timbral Feature Conditioning Using Generative Adversarial Networks
Sony CSL（索尼计算机科学实验室）；LTCI, Télécom Paris（巴黎电信学院LTCI）；Institut Polytechnique de Paris（巴黎理工学院）
鼓声的合成创建（例如，在鼓机中）通常使用模拟或数字合成进行，允许音乐家修改各种参数来塑造所需的音色。通常，这些参数控制声音的低级别特征，并且通常没有音乐意义或感知对应。随着深度学习的兴起，数据驱动的音频处理成为传统信号处理的替代方案。这种新的范式允许通过学习高级功能或通过调节模型上的音乐相关信息来控制合成过程。在本文中，我们将生成对抗网络应用于鼓声的音频合成任务。通过调节模型上的感知特征计算与公开可用的特征提取器，直观的控制是在生成过程中获得的。这些实验是在大量的踢腿、响弦和钹的声音上进行的。我们表明，相比于一个特定的先前的工作的基础上的U-Net架构，我们的方法大大提高了所生成的鼓样本的质量，并且条件输入确实形状的声音的感知特性。此外，我们还提供了音频示例，并发布了实验中使用的代码。
2022-06-28 cs.SD eess.AS
Modeling Perceptual Loudness of Piano Tone: Theory and Applications
NYU Shanghai（上海纽约大学）；City University of Hong Kong（香港城市大学）；New York University（纽约大学）；Mohamed Bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
感知响度与声音物理属性之间的关系是计算机音乐和心理声学的重要课题。等响线的早期研究可以追溯到20世纪20年代，从那时起，关于强度和频率的测量响度已经被多次修正。然而，大多数的研究都集中在合成音上，而对于复杂音色的自然音的诱导理论却很少得到证实。为此，本文通过对钢琴音色的建模，对自然音响度感知的理论和应用进行了研究。理论部分包括：1）音高的钢琴音等响轮廓的精确测量，以及2）能够纯粹基于在人类受试者测量上训练的频谱特征来推断响度的机器学习模型。至于应用，我们将我们的理论应用于钢琴控制转移，其中我们在两个不同的演奏者钢琴（在不同的声学环境中）上调整振动速度以实现相同的感知效果。实验表明，我们的理论响度模型和相应的性能控制转移算法显着优于他们的基线。
2022-10-30 cs.LG cs.SD eess.AS
Towards Maximizing a Perceptual Sweet Spot
Pontificia Universidad Católica de Chile（智利天主教大学）；Institute for Mathematical and Computational Engineering（数学与计算工程研究所）；Music Institute（音乐研究所）
甜蜜点可以解释为声源产生空间听觉错觉的区域。我们研究的问题时，最大限度地提高这个甜蜜点再现所需的声波使用扬声器阵列。为了实现这一目标，我们引入了一个理论框架，空间声音感知，可用于定义一个甜蜜点，我们开发了一种方法，旨在生成一个声波，直接最大限度地提高甜蜜点定义的模型在这个框架内。我们的方法旨在从一开始就结合感知原理，并且是灵活的：虽然它对感兴趣的区域、扬声器的布置或其辐射模式几乎没有限制，但它允许包括最先进的单声道感知模型的音频感知模型。概念验证实验表明，我们的方法优于国家的最先进的方法时，比较他们的本地化和着色属性。
2022-05-04 cs.SD eess.AS q-bio.NC
Synthesizer Sound Matching Using Audio Spectrogram Transformers
Native Instruments
本文提出一种基于 Audio Spectrogram Transformer 的合成器声音匹配模型，通过在大型 Massive 合成器数据集上训练，能准确重建16个参数，在保真度上优于多层感知机和卷积神经网络基线，并具备良好的域外声音模拟能力。
2024-07-23 cs.LG cs.SD eess.AS
InvFlowFD: Reference-Free and Background-Set-Free Perceptual Music Quality Metric with Flow Matching Inversion
本研究提出InvFlowFD，利用预训练流匹配骨干网络，通过流逆变换对比先验分布，实现无参考、无背景集的音乐感知质量评估，其与人类感知高度相关且更灵活。
2026-08-06 cs.AI cs.LG cs.SD
Sound Field Reproduction With Weighted Mode Matching and Infinite-Dimensional Harmonic Analysis: An Experimental Evaluation
The University of Tokyo（东京大学）
基于数值优化的声场再现方法旨在最小化合成声场与期望声场之间的误差，由于其在扬声器阵列几何形状中的灵活性，其在许多实际场景中是有用的。然而，这些方法在实际环境中的再现性能尚未得到充分研究。我们评估加权模式匹配，这是一个声场再现方法的基础上的球面波函数展开的声场，与传统的压力匹配。我们还介绍了一种方法，无限维谐波分析估计的麦克风测量的声场的膨胀系数。实验结果表明，加权模式匹配使用的传递函数的无限维谐波分析估计的展开系数优于传统的压力匹配，特别是当麦克风的数量是小的。
2021-11-22 cs.SD eess.AS
Sound reconstruction from human brain activity via a generative model with brain-like auditory features
Kyoto University（京都大学）；ATR Computational Neuroscience Laboratories（ATR计算神经科学实验室）；Tokyo Medical and Dental University（东京医科齿科大学）
本研究提出一种结合脑解码与音频生成模型的声音重建方法，利用fMRI和DNN层次特征，实现任意声音的高质量重建，并验证其泛化性和感知相关性。
2023-06-20 cs.HC cs.SD eess.AS
Object-based synthesis of scraping and rolling sounds based on non-linear physical constraints
Massachusetts Institute of Technology（麻省理工学院）；University of Iowa（爱荷华大学）
持续的接触相互作用，如刮擦和滚动产生各种各样的声音。以前的研究已经探索了有效和直观地合成这些声音的方法，但无法完全模仿这些声音的真实实例的丰富结构。我们提出了一种新的源滤波器模型，用于逼真地合成刮削和滚动声音，其物理和感知相关的可控参数受力学原理的约束。我们的模型的主要特点包括非线性约束的接触力，自然法向力的变化，不同的运动，和变形的材料内的脉冲响应，以实现位置依赖性的方法。感知实验表明，所提出的模型能够合成逼真的刮擦和滚动的声音，同时传达类似于记录的声音中的物理信息。
2021-12-16 cs.SD eess.AS eess.SP
Weighted Pressure and Mode Matching for Sound Field Reproduction: Theoretical and Experimental Comparisons
The University of Tokyo（东京大学）；Tokyo Metropolitan University（东京都立大学）
从理论和实验上对两种声场再现方法--加权声压匹配法和加权模式匹配法进行了比较。加权压力和模式匹配分别是传统压力和模式匹配的推广。这两种方法都是通过在压力和模式匹配中引入加权矩阵而得到的。加权压力匹配中的加权矩阵是基于来自控制点的离散集合处的压力的声场的核插值来定义的。在加权模式匹配中，加权矩阵由球面波函数的区域积分定义。从理论上证明了加权压力匹配是由压力观测值估计膨胀系数的无限维调和分析加权模式匹配的一种特殊情况。通过实验讨论了两种方法的区别。
2023-03-23 cs.SD eess.AS
Predicting non-native speech perception using the Perceptual Assimilation Model and state-of-the-art acoustic models
ENS（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；EHESS（社会科学高等学院）；INRIA（法国国家信息与自动化研究所）；University of Paris（巴黎大学）；University of Toronto（多伦多大学）
我们的母语影响我们感知语音的方式，影响我们辨别非母语声音的能力。我们比较了两个想法的影响，母语的语音感知：感知同化模型，呼吁到本地音素类别的声音的心理分类，与丰富的，细粒度的语音表示调谐到统计的母语的想法，是足够的。我们操作这个想法使用两个国家的最先进的语音模型，狄利克雷过程高斯混合模型和最近的wav2vec 2.0模型表示。我们提出了一个新的，开放的数据集，讲法语和英语的参与者的语音感知行为的61个元音的声音从六种语言。我们发现，音素同化是一个更好的预测比细粒度的语音建模，无论是作为一个整体的歧视行为，并预测与母语背景的差异相关的可辨别性的差异。我们还表明，wav2vec 2.0，而不是善于捕捉母语对语音感知的影响，是补充信息的母语音素同化，并提供了一个很好的模型，低层次的语音表示，支持的想法，即分类和细粒度的感知过程中使用的语音感知。
2022-05-31 cs.CL cs.SD eess.AS
Weighted Pressure Matching Based on Kernel Interpolation For Sound Field Reproduction
Graduate School of Information Science and Technology, The University of Tokyo（东京大学信息科学与技术研究生院）
提出了一种声场再现方法--加权声压匹配法。声场再现旨在使用目标区域内的多个扬声器来合成期望的声场。基于优化的方法是从合成的和所需的声场之间的误差最小化，这使得使用任意阵列的几何形状与基于积分方程的方法相比。声压匹配由于其实现简单而被广泛应用于基于优化的声场再现方法中。其代价函数定义为目标区域内多个控制点的综合误差，通过求解最小二乘问题得到扬声器的驱动信号。然而，在压力匹配中，没有考虑控制点之间的区域。我们将代价函数定义为目标区域上综合误差的区域积分。在声场核插值的基础上，将该代价函数表示为控制点处合成声压的加权平方误差。实验结果表明，该方法的性能优于传统的压力匹配方法。
2022-10-26 cs.SD eess.AS
Perceptual similarity between piano notes: Simulations with a template-based perception model
Eindhoven University of Technology（埃因霍温理工大学）；Ghent University（根特大学）
本文采用Dau等人[J. Acoust. Soc. Am. 102，2892-2905（1997）]来模拟复杂声音之间的感知相似性。为此，开发了一个中央处理器阶段，并将其作为后端模块连接到听觉模型。作为复杂的声音，使用了在七架不同钢琴上演奏的一个音符的一组录音，其相似性最近由Osses等人测量[J. Acoust. Soc. Am. 146，1024-1035（2019）]，在噪声中使用3-AFC辨别任务。听觉模型具有几个处理阶段，这些处理阶段或多或少地受到人类正常听觉系统的生理方面的启发。每个阶段中的一组可配置参数直接影响在开发的中央处理器中进一步处理的声音（内部）表示。因此，给出了模型参数的全面审查，表明我们选择的配置。这包括对听觉适应阶段、适应循环的深入描述。相似性任务的模拟与（1）现有的实验数据进行了比较，其中它们具有中度到高度的相关性，以及（2）使用替代但与实验相似的背景噪声的模拟，用于获得关于参与者的响应如何作为频率的函数进行加权的进一步信息。
2020-05-19 cs.SD eess.AS
Evaluating Sound Similarity Metrics for Differentiable, Iterative Sound-Matching
本研究提出可微迭代声音匹配框架，评估四种损失函数与三种合成器的组合，发现损失性能高度依赖合成器，强调需开发针对特定合成技术的相似性度量。
2025-10-08 cs.SD eess.AS
Sobolev Norms in Neural Embeddings Measure Audio Morphing Regularity
Nantes Université, École Centrale Nantes, CNRS, LS2N, UMR6004（南特大学，南特中央理工学院，法国国家科学研究中心，LS2N，UMR6004）；Arturia
本文提出Sobolev距离到理想变形（SDIM）作为客观度量，在感知相关的音频嵌入空间中量化变形轨迹的规律性，实验证明其优于现有度量，能可靠区分理想与对抗性轨迹。
2026-10-07 cs.SD
Audio Texture Manipulation by Exemplar-Based Analogy
University of California, Berkeley（加州大学伯克利分校）
本文提出一种基于范例类比的声音纹理操控模型，利用成对语音示例学习变换，无需文本指令，通过四元组数据集和潜在扩散模型实现，优于文本条件基线并泛化至非语音场景。
2025-01-21 cs.LG cs.SD eess.AS
Fast computation of loudness using a deep neural network
University of Cambridge（剑桥大学）
本文介绍了一种深度神经网络（DNN），用于从声音的时间波形预测声音的瞬时响度。DNN使用一个更复杂的模型的输出进行训练，称为剑桥响度模型。虽然现代PC可以使用剑桥响度模型每秒执行几百次响度计算，但使用DNN每秒可以执行超过100，000次，允许实时计算响度。使用这两个模型的瞬时响度水平的预测之间的均方根偏差小于0.5 phon看不见的类型的声音。我们认为，通过更快的DNN模拟复杂感知模型的一般方法可以应用于其他感知模型，使它们实时运行。
2019-05-24 cs.LG cs.SD eess.AS
Soundify: Matching Sound Effects to Video
Carnegie Mellon University（卡内基梅隆大学）；Runway（Runway公司）
针对视频剪辑中音效匹配难度大的问题，本文提出Soundify系统，可自动识别匹配音效、同步音视频并生成空间音频，实验验证其在多类音效上匹配效果好，能降低剪辑师工作负荷、提升效率与可用性。
2024-06-25 cs.CV cs.HC cs.MM
Discriminative Sounding Objects Localization via Self-supervised Audiovisual Matching
Renmin University of China（中国人民大学）；Baidu Inc.（百度公司）；Shanghai Jiao Tong University（上海交通大学）
在鸡尾酒会中有区别地定位发声对象，即，混合声音场景，对于人类来说是司空见惯的，但对于机器来说仍然具有挑战性。在本文中，我们提出了一个两阶段的学习框架来执行自我监督类感知的发声对象定位。首先，我们建议通过聚合单个源场景中的候选声音定位结果来学习鲁棒的对象表示。然后，类感知的对象定位地图生成鸡尾酒会的情况下，通过参考预先学习的对象知识，并相应地选择发声对象通过匹配音频和视觉对象类别分布，其中视听一致性被视为自监督信号。在现实和合成的鸡尾酒会视频的实验结果表明，我们的模型是优越的，在过滤出沉默的对象，并指出不同类别的发声对象的位置。代码可在https://github.com/DTaoo/Discriminative-Sounding-Objects-Localization上获得。
2020-10-12 cs.CV cs.LG cs.MM
Multizone sound field reproduction with direction-of-arrival-distribution-based regularization and its application to binaural-centered mode-matching
Graduate School of Engineering, Kyoto University（京都大学工学研究科）；Research and Development Division, Yamaha Corporation（雅马哈公司研发部门）
本文提出基于到达方向分布的正则化方法，用于多区域声场重现及双耳中心模式匹配，通过抑制非目标方向次级源增益，提升远离中心区域的再现精度。
2025-02-22 cs.SD eess.AS
VR-PTOLEMAIC: A Virtual Environment for the Perceptual Testing of Spatial Audio Algorithms
本研究提出集成MUSHRA方法的VR-PTOLEMAIC虚拟现实评估系统，支持在25个模拟聆听位评估空间音频算法，测试验证其能有效支撑评估且用户体验良好。
2025-08-01 cs.SD eess.AS
Perceptual Loss Function for Neural Modelling of Audio Systems
Aalto University（阿尔托大学）
这项工作研究交替预加重滤波器的损失函数的一部分，在神经网络训练非线性音频处理。在我们之前的工作中，在网络训练期间使用了错误信号比损失函数，并将一阶高通预加重滤波器应用于目标信号和神经网络输出。这项工作考虑更多的感知相关的预加重滤波器，其中包括在高频低通滤波。我们进行了听力测试，以确定它们是否能改善吉他管放大器的神经网络模型的质量。听力测试结果表明，A加权预加重滤波器的使用提供了最好的改善测试中的过滤器。所提出的感知损失函数在不影响计算成本的情况下提高了音频处理中神经网络模型的声音质量。
2019-11-20 cs.SD eess.AS
One-Shot Acoustic Matching Of Audio Signals -- Learning to Hear Music In Any Room/ Concert Hall
Stanford University（斯坦福大学）
声音产生和被听到的声学空间通过提供独特的\textit{presence}感而在如何感知声音方面起着至关重要的作用。我们听到的每一个声音都是声源固有的连续卷积运算和外部因素（如麦克风特性和房间脉冲响应）的结果。通常，研究人员使用诸如手枪射击或气球爆裂的激励作为可以创建可听化的脉冲信号。与感兴趣的信号卷积的房间“脉冲”响应可以将输入声音转换成在感兴趣的声学空间中播放的声音。在这里，我们提出了一种新的架构，可以将感兴趣的声音转换到任何其他声学空间（房间或大厅）的利益，通过使用任意的音频记录作为代理的气球流行。该架构是接地在简单的信号处理的想法，学习残余信号从学习的声学签名和输入信号。我们的框架允许神经网络调整时频表示中每个点的增益，给出合理的定性和定量结果。
2022-10-31 cs.LG cs.MM cs.SD
DiffMoog: a Differentiable Modular Synthesizer for Sound Matching
Tel-Aviv University（特拉维夫大学）；The Open University（开放大学）
提出可微分模块化合成器 DiffMoog 及端到端声音匹配框架，通过信号链损失和自编程编码器预测合成器参数，支持复现目标音频。
2024-01-23 cs.AI cs.SD eess.AS
Transferring neural speech waveform synthesizers to musical instrument sounds generation
National Institute of Informatics, Tokyo, Japan（日本东京国立信息学研究所）；Department of Signal Processing and Acoustics, Aalto University, Finland（芬兰阿尔托大学信号处理与声学系）
最近的神经波形合成器，如WaveNet、WaveGlow和神经源滤波器（NSF）模型，在语音合成中表现出良好的性能，尽管它们的波形生成方法不同。语音和音乐音频合成技术之间的相似性表明了在音乐领域应用语音合成器的最佳方式方面探索的有趣途径。这项工作比较了三种用于乐器声音生成的神经合成器在三种情况下：从音乐数据上从头开始训练，从语音域进行zero-shot学习，以及从语音到音乐域的基于微调的自适应。大规模感知测试的结果表明，当对语音数据进行预训练并对音乐数据进行微调时，三个合成器的性能有所改善，这表明来自语音数据的知识对于音乐音频生成的有用性。在这些合成器中，WaveGlow在zero-shot学习方面表现最好，而NSF在其他场景中表现最好，可以生成感知上接近自然音频的样本。
2019-11-19 cs.SD eess.AS stat.ML
A Second-Order Cepstral Signature of Contact-Vibration Sounds Reproduced by Laptop Loudspeakers: A Synthetic Case Study
TalkNicer, Inc.（TalkNicer公司）
通过合成信号链分析，提出接触振动声音在笔记本电脑扬声器再现时具有一阶和二阶倒谱周期性结构，其中二阶倒谱双峰性在机械源和扬声器播放时最明显。
2026-09-29 cs.MM cs.SD math.SP
Mean-square-error-based secondary source placement in sound field synthesis with prior information on desired field
The University of Tokyo（东京大学）
提出了一种声场合成中次级声源位置的优化方法。当扬声器的可允许放置区域和可用数量受限时，这种优化方法将是有用的。我们制定了一个均方误差为基础的成本函数，纳入可能的期望声场的统计特性，一般的线性最小二乘为基础的声场合成方法，包括压力匹配和（加权）模式匹配，而目前的方法大多数只适用于压力匹配方法。一个有效的贪心算法最小化建议的成本函数也推导出来。数值实验表明，与经验性的规则布局相比，该方法优化的布局可以获得更高的再现精度。
2021-12-10 cs.SD eess.AS
FlowDec: A flow-based full-band general audio codec with high perceptual quality
University of Hamburg（汉堡大学）；FAIR / Codec Avatar Labs, Meta（Meta FAIR / Codec Avatar Labs）
本文提出了一种基于条件流匹配的神经全频带通用音频编解码器FlowDec，通过结合非对抗性训练与随机后置滤波器，在低至4 kbit/s的比特率下实现了优于现有GAN编解码器DAC的FAD分数和更自然的音频重建质量。
2025-03-03 cs.LG cs.SD eess.AS
EchoMark: Perceptual Acoustic Environment Transfer with Watermark-Embedded Room Impulse Response
University of Houston（休斯顿大学）；Clemson University（克莱姆森大学）；Independent Researcher（独立研究员）
EchoMark通过在潜在域中联合优化感知损失与水印检测损失，实现高质量声学环境迁移与可靠水印恢复，实验表明其在声学参数匹配和水印检测方面性能优异。
2026-03-31 cs.AI cs.LG cs.SD
Modulation Discovery with Differentiable Digital Signal Processing
Centre for Digital Music, Queen Mary University of London, UK（伦敦大学女王学院数字音乐中心）；Independent Researcher, Singapore（新加坡独立研究者）
提出一种基于调制提取、约束控制信号参数化和可微分数字信号处理的神经声音匹配方法，用于发现声音中的调制，并在合成与真实音频上验证其有效性与可解释性权衡。
2025-10-07 cs.LG cs.SD eess.AS
Correlation of Fréchet Audio Distance With Human Perception of Environmental Audio Is Embedding Dependant
École Centrale Nantes（南特中央理工学院）；CNRS（法国国家科学研究中心）；Gaudio Lab, Inc.（Gaudio实验室公司）；KAIST（韩国科学技术院）；Carnegie Mellon University（卡内基梅隆大学）；Doshisha University（同志社大学）；Ritsumeikan University（立命馆大学）
本文研究了不同领域特定嵌入对 Fréchet Audio Distance (FAD) 与环境声音感知评分相关性的影响，发现 PANNs-WGM-LogMel 嵌入效果最佳，强调了嵌入选择对 FAD 指标设计的关键重要性。
2024-03-26 cs.SD eess.AS
Sound texture synthesis using RI spectrograms
IRCAM（声学与音乐研究中心）；CNRS（法国国家科学研究中心）
本文在已有的视觉和声音纹理合成方法的基础上，提出了一种新的声音纹理参数化合成方法。从基本声音信号开始，执行优化过程，直到几个未经训练的2D卷积神经网络（CNN）的特征图之间的互相关类似于原始声音纹理的互相关。我们使用压缩的RI频谱图作为CNN的输入：这种时频表示是短时傅立叶变换（STFT）的实部和虚部的堆叠，因此隐含地包含幅度和相位信息，从而允许令人信服地合成各种音频事件。然而，直接对时间信号执行优化以避免任何STFT一致性问题。一个在线的感知评估的结果也详细，并表明，这种方法实现了更逼真的声音比现有的参数化方法在广泛的纹理的结果。
2019-10-21 cs.SD eess.AS
On Psychoacoustically Weighted Cost Functions Towards Resource-Efficient Deep Neural Networks for Speech Denoising
Indiana University（印第安纳大学）；Electronics and Telecommunications Research Institute（韩国电子通信研究院）
我们提出了一个心理声学增强的成本函数，以平衡网络的复杂性和感知性能的深度神经网络的语音去噪。在训练网络时，我们利用感知权重添加到普通的均方误差中，以强调最可听的频率箱的贡献，而忽略不可听的箱的误差。为了生成权重，我们采用心理声学模型从干净的语音频谱计算全局掩蔽阈值。然后，我们评估我们的感知引导神经网络的语音去噪性能，通过使用客观和感知的声音质量指标，测试各种网络结构，从浅和窄的深和宽的。实验结果表明，我们的方法是一种有效的方法，为深度神经网络操作注入感知意义。特别是，通过简单的神经网络拓扑结构看到的性能的更感知的增强证明了所提出的方法可以在小型设备中实现资源高效的语音去噪，而不会降低感知的信号保真度。
2018-01-29 cs.SD eess.AS
Psychoacoustic Calibration of Loss Functions for Efficient End-to-End Neural Audio Coding
Indiana University（印第安纳大学）；Electronics and Telecommunications Research Institute（韩国电子通信研究院）
传统的音频编码技术通常利用人类对声音的感知或心理声学来降低比特率，同时保持解码音频信号的感知质量。然而，对于神经音频编解码器，由于大的模型大小，损失函数的客观性质通常导致次优的声音质量以及高的运行时间复杂度。在这项工作中，我们提出了一个心理声学校准计划，重新定义的损失函数的神经音频编码系统，使它可以解码信号的感知更类似的参考，但具有低得多的模型复杂度。所提出的损失函数结合了全局掩蔽阈值，允许对应于听不见的伪影的重建误差。实验结果表明，该模型的性能优于基线神经编解码器的两倍大，每秒消耗23.4%以上的比特。使用所提出的方法，一个轻量级的神经编解码器，只有0.9万个参数，执行接近透明的音频编码与商业MPEG-1音频层III编解码器在112 kbps。
2020-12-31 cs.LG cs.SD eess.AS
FlowSep: Language-Queried Sound Separation with Rectified Flow Matching
University of Surrey（萨里大学）
本文提出基于 RFM 的生成式 LASS 模型 FlowSep，在 VAE 潜空间中学习噪声到目标声源的线性轨迹，并在 1,680 小时数据训练后于多个基准上取得优于现有及扩散模型的效果。
2025-01-09 cs.SD eess.AS
Sound Scene Synthesis at the DCASE 2024 Challenge
CNRS（法国国家科学研究中心）；Ecole Centrale Nantes（南特中央理工学院）；Nantes Université（南特大学）；Gaudio Lab, Inc.（Gaudio实验室公司）；KAIST（韩国科学技术院）；Carnegie Mellon University（卡内基梅隆大学）；New York University（纽约大学）；Doshisha University（同志社大学）；The University of Tokyo（东京大学）
本文介绍DCASE 2024挑战赛任务7声音场景合成，提出结合主客观指标的标准化评估框架，对4份提交作品用FAD和人类感知评分评估，揭示现有系统的能力局限与未来方向。
2025-01-15 cs.AI cs.SD eess.AS
Vibrato Matching for Modulation Control and Blending in Sound Mixtures
本研究提出颤音匹配算法，可抑制目标信号颤音并转移源信号颤音，用于声音混合的颤音控制与声源融合，且匹配颤音会降低声源分离算法性能。
2026-08-25 cs.SD eess.SP
NeuralSound: Learning-based Modal Sound Synthesis With Acoustic Transfer
Peking University（北京大学）；University of Maryland at College Park（马里兰大学帕克分校）
我们提出了一种新的基于学习的模态声音合成方法，包括一个混合振动求解器的模态分析和一个端到端的声辐射网络的声学传输。我们的混合振动求解器由3D稀疏卷积网络和用于迭代优化的局部最优块预处理共轭梯度模块（LOBPCG）组成。此外，我们强调了一个标准的模态振动求解器和我们的网络架构之间的相关性。我们的辐射网络预测的远场声传输地图（FFAT地图）从表面振动的对象。在GTX 3080 Ti GPU上，我们的学习方法对任何新对象的整体运行时间都不到一秒，同时保持接近使用标准数值方法计算的地面真实的高音质。我们还评估了我们的声音合成方法在对应于各种材料的不同对象上的数值精度和感知精度。
2022-05-28 cs.GR cs.SD eess.AS
VCNAC: A Variable-Channel Neural Audio Codec for Mono, Stereo, and Surround Sound
Amazon AGI, ETH Zürich（亚马逊人工智能研究院、苏黎世联邦理工学院）；Amazon AGI（亚马逊人工智能研究院）
VCNAC是一种可变通道神经音频编解码器，通过单一参数化编码器和解码器实现多通道音频的高质量重建与灵活推理。
2026-01-21 cs.SD eess.AS
Signal processing algorithm effective for sound quality of hearing loss simulators
Faculty / Graduate School of Systems Engineering, Wakayama University（和歌山大学系统工程学院/研究生院）
本研究比较了CamHLS和WHIS两种听力损失模拟器的音质，发现采用DTVF算法的WHIS在非线性处理下仍能显著减少语音失真，为信号合成应用提供了有效方案。
2024-06-07 cs.SD eess.AS
Advances in Thunder Sound Synthesis
Queen Mary University of London（伦敦玛丽女王大学）；Native Instruments GmbH（Native Instruments 有限公司）；Nemisindo Ltd（Nemisindo 有限公司）
最近的一项比较研究评估了所有已知的雷声合成技术在其感知真实性方面。研究结果得出结论，没有一个合成的音频提取似乎像真正的现象一样真实。本文提出的工作是由这些发现的动机，并试图创建一个合成的声音效果的雷声与真实的录音难以区分。该技术补充了现有的实现与物理启发，基于信号的设计元素，旨在模拟环境的发生。在超过50名参与者进行的听力测试中，这种新的实现被认为是最真实的合成声音，尽管仍然可以与真实录音区分开来。本文还实现并描述了基于来自听力测试的见解对模型的进一步改进。
2022-04-17 cs.SD eess.AS eess.SP
StyleWaveGAN: Style-based synthesis of drum sounds with extensive controls using generative adversarial networks
Apeira Technologies（Apeira科技公司）；STMS, IRCAM, CNRS（声学/音乐研究与协调研究所科学技术音乐实验室（STMS），法国国家科学研究中心）
在本文中，我们介绍StyleWaveGAN，这是一种基于风格的鼓声生成器，它是最先进的图像生成器StyleGAN的变体。通过在鼓的类型和几个音频描述符上调节StyleWaveGAN，我们能够直接在GPU上以CD质量合成波形，速度快于实时，持续时间长达1.5秒，同时保留对生成的大量控制。我们还介绍了GANs渐进增长的替代方案，并对生成任务的数据集平衡效果进行了实验。实验是在由不同的鼓和钹组成的公开数据集的增强子集上进行的。我们对最近的两个鼓发生器，WaveGAN和NeuroDrum进行了评估，证明了显着提高的生成质量（用Frechet音频距离测量）和具有感知功能的有趣结果。
2022-04-02 cs.SD eess.AS
Quality Audio Prototyping: a prototype system for unified sound retrieval and procedural generation
提出QuAP系统，通过统一基于内容的音频检索和实时程序化生成，并集成规则辅助参数指导，降低声音设计中的操作距离，经主观评估和用户测试验证了其有效性和实用性。
2026-05-30 cs.HC cs.LG cs.SD
Statistical validation and full-sphere extension of a Bayesian model for human static sound localisation
Dyson School of Design Engineering, Imperial College London（帝国理工学院戴森设计工程学院）；Audio Communication Group, Technische Universität Berlin（柏林工业大学音频通信组）；Department of Industrial Systems Technology and Management, University of Padova（帕多瓦大学工业系统技术与管理系）
提出贝叶斯声源定位模型的显式似然函数，通过参数恢复和行为数据拟合验证其可靠性，并比较四种HRTF模板插值方法，发现全空间覆盖和高频保真度是关键。
2026-06-24 cs.SD stat.AP
Sub-Band Spectral Matching with Localized Score Aggregation for Robust Anomalous Sound Detection
本文提出BEAM方法，通过子带向量存储和局部化分数聚合，减少正常分数方差，提升区分性，并引入参数无关自适应融合处理子带响应的时序动态。
2026-11-03 cs.AI cs.SD
Physics-Driven Diffusion Models for Impact Sound Synthesis from Videos
University of Washington（华盛顿大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；MIT（麻省理工学院）；UMass Amherst（马萨诸塞大学阿默斯特分校）
本文提出物理驱动的扩散模型，结合从真实撞击声中估计的物理参数、学习残差参数与视频视觉信息，为无声视频合成高保真且可解释、可编辑的撞击声，性能优于现有系统。
2023-07-08 cs.CV cs.LG cs.SD
Perceptual Noise-Masking with Music through Deep Spectral Envelope Shaping
本文提出一种基于心理声学掩蔽模型的神经网络，通过重塑频谱包络增强音乐掩蔽环境噪声的能力，在模拟实验中优于现有技术。
2025-02-24 cs.AI cs.SD eess.AS
Evaluating Loss Functions in Differentiable Out-of-Domain Sound-Matching with Partial Parameter Distance
University of Alberta（阿尔伯塔大学）
本文提出部分参数距离（PPD）解决域外声音匹配的损失函数评估难题，在7种场景评估4种损失函数，验证PPD可作为诊断工具辅助损失函数选择。
2026-08-31 cs.AI cs.SD
