Unison: Harmonizing Motion, Speech, and Sound for Human-Centric Audio-Video Generation
DeepMind；OpenAI
Unison通过显式促进运动、语音和声音模态的协调，解决音频视频生成中模态不一致的问题，提升感知质量和跨模态同步性能。
2026-06-29 cs.CV cs.GR cs.MM
Synergy between human and machine approaches to sound/scene recognition and processing: An overview of ICASSP special session
Carnegie Mellon University（卡内基梅隆大学）；Microsoft（微软）；Mohammed bin Zayed University of AI（穆罕默德·本·扎耶德人工智能大学）
正如通常形式化的那样，机器倾听试图执行一项任务，从我们的角度来看，这项任务基本上是人类可以执行的，并且由人类执行。目前机器监听的自动化模型从纯粹的数据驱动方法到模仿人类系统的方法都有所不同。近年来，最有前途的方法是混合的，因为它们使用了由人类系统的感知，认知和语义过程模型提供信息的数据驱动方法。人类感知模型和领域知识提供的指导不仅能够更好地实现机器听力，而且从这些模型中吸取的经验教训可以用来验证或改进我们的人类感知模型本身。本文总结了这种混合方法的发展进展，从机器听力模型的周边（人类）听觉过程的模型，采用或派生的语义信息编码的声音之间的关系。本文所述的研究在2023年ICASSP会议上的“声音/场景识别和处理的人机方法之间的协同作用”特别会议上进行了介绍。
2023-02-24 cs.SD eess.AS
Perceptual-Neural-Physical Sound Matching
Nantes Université（南特大学）；École Centrale Nantes（南特中央理工学院）；CNRS（法国国家科学研究中心）；LS2N（南特数字科学实验室）
声音匹配算法试图通过参数音频合成来近似目标波形。深度神经网络在匹配持续谐波音调方面取得了令人鼓舞的结果。然而，当目标是非平稳和非谐波时，例如，打击乐我们把这个问题归结为损失函数的不足。一方面，在参数域中的均方误差，被称为“P损失”，是简单和快速的，但不能适应每个参数的不同感知意义。另一方面，均方误差在频谱时域，被称为“频谱损失”，是感知动机，并在可微数字信号处理（DDSP）。然而，频谱损失是音调间隔的差的预测器，并且其梯度可能在计算上是昂贵的;因此收敛缓慢。针对这个难题，我们提出了感知神经物理损失（PNP）。PNP是频谱损失的最佳二次近似，同时在训练期间与P损失一样快。我们用物理模型合成作为解码器，联合时频散射变换（JTFS）作为谱表示来实例化PNP。与其他损失函数相比，我们证明了它在匹配合成鼓声方面的潜力。
2023-03-13 cs.LG cs.SD eess.AS
P-Reverb: Perceptual Characterization of Early and Late Reflections for Auditory Displays
University of North Carolina Chapel Hill（北卡罗来纳大学教堂山分校）；Carnegie Mellon University（卡内基梅隆大学）；University of Maryland College Park（马里兰大学帕克分校）
我们引入了一种新的感知衍生度量（P-Reverb），该度量将早期声场（也称为早期反射）的刚可察觉差异（JND）与后期声场（称为后期反射或混响）联系起来。早期和晚期反射是声场的重要组成部分，并为听觉显示提供多种感知线索。我们进行了两个广泛的用户评估，涉及早期反射和后期混响的平均自由路径的环境中的JND，并提出了一种新的P-混响度量。我们的度量是用来有效地估计动态混响特性的重要参数，如混响时间（RT 60）。我们展示了我们的P-混响度量在估计RT 60中的数值精度。最后，我们使用我们的度量设计一个交互式声音传播算法，并证明其有效性的各种基准。
2019-02-19 cs.SD eess.AS
Sobolev Norms in Neural Embeddings Measure Audio Morphing Regularity
Nantes Université, École Centrale Nantes, CNRS, LS2N, UMR6004（南特大学，南特中央理工学院，法国国家科学研究中心，LS2N，UMR6004）；Arturia
本文提出Sobolev距离到理想变形（SDIM）作为客观度量，在感知相关的音频嵌入空间中量化变形轨迹的规律性，实验证明其优于现有度量，能可靠区分理想与对抗性轨迹。
2026-10-07 cs.SD
C-SL: Contrastive Sound Localization with Inertial-Acoustic Sensors
University of Washington（华盛顿大学）；Indiana University Bloomington（印第安纳大学伯明顿分校）
人类大脑利用头部和眼球运动的感知信息来更新个体与周围环境之间的空间关系。基于这种认知过程称为空间更新，我们介绍了对比声定位（C-SL）与移动惯性声学传感器阵列的任意几何形状。C-SL使用未标记的多通道音频记录和在阵列的自由旋转运动期间收集的惯性测量单元（IMU）读数，以自我监督的方式学习从声学测量到以阵列为中心的到达方向（DOA）的映射。与传统的DOA估计方法，需要在校准阶段的阵列的几何形状或源位置的知识，C-SL是不可知的，并可以在最低限度的约束设置收集的数据进行训练。为了实现这一能力，我们提出的方法利用定制的对比损失测量的空间对比度的源位置之间的预测不相交的输入段，以联合更新估计的DOA和声学空间映射在线性时间。我们提供了定量和定性的评估C-SL比较其性能与基线DOA估计方法在广泛的条件。我们相信C-SL提供的轻松校准过程为真正个性化的增强听力应用铺平了道路。
2020-06-09 cs.LG cs.SD eess.AS
Stimulus Modality Matters: Impact of Perceptual Evaluations from Different Modalities on Speech Emotion Recognition System Performance
Department of Electrical Engineering National Tsing Hua University（电子工程系 国立清华大学）
本研究比较了不同模态刺激（如视听与仅语音）引发的情感标签对语音情感识别系统训练效果的影响，发现仅语音刺激引发的标签训练出的系统性能更优，并提出了综合标签方法。
2025-10-14 cs.MM cs.SD eess.AS
Learning to Solve Inverse Problems for Perceptual Sound Matching
Nantes Université（南特大学）；École Centrale Nantes（南特中央理工学院）；CNRS（法国国家科学研究中心）；LS2N（南特数字科学实验室）
本文提出感知-神经-物理损失（PNP），通过线性化合成参数对听觉特征的影响，在保持感知保真度的同时实现比 DDSP 快 100 倍的梯度下降加速，并在两个非平稳声音数据集上取得最优 PSM 性能。
2024-05-06 cs.SD eess.AS
Perceptual evaluation of listener envelopment using spatial granular synthesis
Institute of Electronic Music and Acoustics（电子音乐与声学研究所）；University of Music and Performing Arts Graz（格拉茨音乐与表演艺术大学）
本文利用空间颗粒合成精确控制声音事件的时间与方向密度，通过感知实验揭示听众包围感和吞没感的形成条件及扬声器层、低通滤波的影响。
2023-01-30 cs.SD eess.AS
Sound Field Translation and Mixed Source Model for Virtual Applications with Perceptual Validation
The Australian National University（澳大利亚国立大学）；Facebook Reality Labs
针对传统声场平移技术受最佳听音点限制、听众可导航区域小的问题，提出融合近远场声源的稀疏扩展平移方法，经MUSHRA实验和数值模拟验证，提升了声源可定位性与频谱鲁棒性，更适配VR等交互式虚拟听觉场景。
2020-07-23 cs.SD eess.AS
Tracing Back Music Emotion Predictions to Sound Sources and Intuitive Perceptual Qualities
Johannes Kepler University（约翰·开普勒大学）；Linz Institute of Technology（林茨理工学院）
音乐情感识别是音乐信息检索研究的重要内容。由于任务的主观性质和音乐类型之间的情感线索的变化等因素，在开发可靠和可推广的模型方面仍然存在重大挑战。迈向更好模型的一个重要步骤是了解模型实际上从数据中学习了什么，以及如何对特定输入进行预测。在以前的工作中，我们已经展示了如何根据频谱图图像片段来解释模型预测，这些频谱图图像片段通过一层易于解释的感知特征与高级情感预测相连接。然而，该方案在声谱图水平上缺乏直观的音乐可理解性。在目前的工作中，我们通过合并audioLIME（一种基于源分离的解释器）与中级感知特征来弥合这一差距，从而在输入音频和输出情感预测之间形成直观的连接链。我们证明了这种方法的实用性，通过应用它来调试有偏见的情绪预测模型。
2021-06-16 cs.LG cs.SD eess.AS
DrumGAN: Synthesis of Drum Sounds With Timbral Feature Conditioning Using Generative Adversarial Networks
Sony CSL（索尼计算机科学实验室）；LTCI, Télécom Paris（巴黎电信学院LTCI）；Institut Polytechnique de Paris（巴黎理工学院）
鼓声的合成创建（例如，在鼓机中）通常使用模拟或数字合成进行，允许音乐家修改各种参数来塑造所需的音色。通常，这些参数控制声音的低级别特征，并且通常没有音乐意义或感知对应。随着深度学习的兴起，数据驱动的音频处理成为传统信号处理的替代方案。这种新的范式允许通过学习高级功能或通过调节模型上的音乐相关信息来控制合成过程。在本文中，我们将生成对抗网络应用于鼓声的音频合成任务。通过调节模型上的感知特征计算与公开可用的特征提取器，直观的控制是在生成过程中获得的。这些实验是在大量的踢腿、响弦和钹的声音上进行的。我们表明，相比于一个特定的先前的工作的基础上的U-Net架构，我们的方法大大提高了所生成的鼓样本的质量，并且条件输入确实形状的声音的感知特性。此外，我们还提供了音频示例，并发布了实验中使用的代码。
2022-06-28 cs.SD eess.AS
Towards Maximizing a Perceptual Sweet Spot
Pontificia Universidad Católica de Chile（智利天主教大学）；Institute for Mathematical and Computational Engineering（数学与计算工程研究所）；Music Institute（音乐研究所）
甜蜜点可以解释为声源产生空间听觉错觉的区域。我们研究的问题时，最大限度地提高这个甜蜜点再现所需的声波使用扬声器阵列。为了实现这一目标，我们引入了一个理论框架，空间声音感知，可用于定义一个甜蜜点，我们开发了一种方法，旨在生成一个声波，直接最大限度地提高甜蜜点定义的模型在这个框架内。我们的方法旨在从一开始就结合感知原理，并且是灵活的：虽然它对感兴趣的区域、扬声器的布置或其辐射模式几乎没有限制，但它允许包括最先进的单声道感知模型的音频感知模型。概念验证实验表明，我们的方法优于国家的最先进的方法时，比较他们的本地化和着色属性。
2022-05-04 cs.SD eess.AS q-bio.NC
Enhancing Audio Perception of Music By AI Picked Room Acoustics
Stanford University（斯坦福大学）
我们听到的每一个声音都是连续卷积运算的结果（例如室内声学、麦克风特性、乐器本身的共振特性，更不用说声音再现系统的特性和限制）。在这项工作中，我们试图确定使用AI执行特定作品的最佳房间。此外，我们使用室内声学作为一种方式来增强给定声音的感知质量。从历史上看，房间（特别是教堂和音乐厅）被设计为举办和服务于特定的音乐功能。在某些情况下，建筑声学质量提高了那里的音乐表演。作为第一步，我们试图模仿这一点，通过指定房间脉冲响应，这些脉冲响应将与特定音乐的增强音质相关。首先训练卷积架构以获取音频样本并模仿专家的评级，对于各种乐器系列和笔记的感知质量，准确率约为78%。这给了我们一个评分功能，任何音频样本，可以评级的感知愉悦的音符自动。现在，通过模拟各种房间，材料等的大约60，000个合成脉冲响应的库，我们使用一个简单的卷积运算来转换声音，就像它在一个特定的房间里播放一样。感知评估器用于对音乐声音进行排名，并产生播放声音的“最佳房间或音乐厅”。作为一个副产品，它还可以使用室内声学将质量差的声音变成“好”的声音。
2022-08-16 cs.AI cs.LG cs.MM
Sound reconstruction from human brain activity via a generative model with brain-like auditory features
Kyoto University（京都大学）；ATR Computational Neuroscience Laboratories（ATR计算神经科学实验室）；Tokyo Medical and Dental University（东京医科齿科大学）
本研究提出一种结合脑解码与音频生成模型的声音重建方法，利用fMRI和DNN层次特征，实现任意声音的高质量重建，并验证其泛化性和感知相关性。
2023-06-20 cs.HC cs.SD eess.AS
Predicting non-native speech perception using the Perceptual Assimilation Model and state-of-the-art acoustic models
ENS（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；EHESS（社会科学高等学院）；INRIA（法国国家信息与自动化研究所）；University of Paris（巴黎大学）；University of Toronto（多伦多大学）
我们的母语影响我们感知语音的方式，影响我们辨别非母语声音的能力。我们比较了两个想法的影响，母语的语音感知：感知同化模型，呼吁到本地音素类别的声音的心理分类，与丰富的，细粒度的语音表示调谐到统计的母语的想法，是足够的。我们操作这个想法使用两个国家的最先进的语音模型，狄利克雷过程高斯混合模型和最近的wav2vec 2.0模型表示。我们提出了一个新的，开放的数据集，讲法语和英语的参与者的语音感知行为的61个元音的声音从六种语言。我们发现，音素同化是一个更好的预测比细粒度的语音建模，无论是作为一个整体的歧视行为，并预测与母语背景的差异相关的可辨别性的差异。我们还表明，wav2vec 2.0，而不是善于捕捉母语对语音感知的影响，是补充信息的母语音素同化，并提供了一个很好的模型，低层次的语音表示，支持的想法，即分类和细粒度的感知过程中使用的语音感知。
2022-05-31 cs.CL cs.SD eess.AS
Perceptual similarity between piano notes: Simulations with a template-based perception model
Eindhoven University of Technology（埃因霍温理工大学）；Ghent University（根特大学）
本文采用Dau等人[J. Acoust. Soc. Am. 102，2892-2905（1997）]来模拟复杂声音之间的感知相似性。为此，开发了一个中央处理器阶段，并将其作为后端模块连接到听觉模型。作为复杂的声音，使用了在七架不同钢琴上演奏的一个音符的一组录音，其相似性最近由Osses等人测量[J. Acoust. Soc. Am. 146，1024-1035（2019）]，在噪声中使用3-AFC辨别任务。听觉模型具有几个处理阶段，这些处理阶段或多或少地受到人类正常听觉系统的生理方面的启发。每个阶段中的一组可配置参数直接影响在开发的中央处理器中进一步处理的声音（内部）表示。因此，给出了模型参数的全面审查，表明我们选择的配置。这包括对听觉适应阶段、适应循环的深入描述。相似性任务的模拟与（1）现有的实验数据进行了比较，其中它们具有中度到高度的相关性，以及（2）使用替代但与实验相似的背景噪声的模拟，用于获得关于参与者的响应如何作为频率的函数进行加权的进一步信息。
2020-05-19 cs.SD eess.AS
A Second-Order Cepstral Signature of Contact-Vibration Sounds Reproduced by Laptop Loudspeakers: A Synthetic Case Study
TalkNicer, Inc.（TalkNicer公司）
通过合成信号链分析，提出接触振动声音在笔记本电脑扬声器再现时具有一阶和二阶倒谱周期性结构，其中二阶倒谱双峰性在机械源和扬声器播放时最明显。
2026-09-29 cs.MM cs.SD math.SP
Modeling Perceptual Loudness of Piano Tone: Theory and Applications
NYU Shanghai（上海纽约大学）；City University of Hong Kong（香港城市大学）；New York University（纽约大学）；Mohamed Bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
感知响度与声音物理属性之间的关系是计算机音乐和心理声学的重要课题。等响线的早期研究可以追溯到20世纪20年代，从那时起，关于强度和频率的测量响度已经被多次修正。然而，大多数的研究都集中在合成音上，而对于复杂音色的自然音的诱导理论却很少得到证实。为此，本文通过对钢琴音色的建模，对自然音响度感知的理论和应用进行了研究。理论部分包括：1）音高的钢琴音等响轮廓的精确测量，以及2）能够纯粹基于在人类受试者测量上训练的频谱特征来推断响度的机器学习模型。至于应用，我们将我们的理论应用于钢琴控制转移，其中我们在两个不同的演奏者钢琴（在不同的声学环境中）上调整振动速度以实现相同的感知效果。实验表明，我们的理论响度模型和相应的性能控制转移算法显着优于他们的基线。
2022-10-30 cs.LG cs.SD eess.AS
VR-PTOLEMAIC: A Virtual Environment for the Perceptual Testing of Spatial Audio Algorithms
本研究提出集成MUSHRA方法的VR-PTOLEMAIC虚拟现实评估系统，支持在25个模拟聆听位评估空间音频算法，测试验证其能有效支撑评估且用户体验良好。
2025-08-01 cs.SD eess.AS
Statistical validation and full-sphere extension of a Bayesian model for human static sound localisation
Dyson School of Design Engineering, Imperial College London（帝国理工学院戴森设计工程学院）；Audio Communication Group, Technische Universität Berlin（柏林工业大学音频通信组）；Department of Industrial Systems Technology and Management, University of Padova（帕多瓦大学工业系统技术与管理系）
提出贝叶斯声源定位模型的显式似然函数，通过参数恢复和行为数据拟合验证其可靠性，并比较四种HRTF模板插值方法，发现全空间覆盖和高频保真度是关键。
2026-06-24 cs.SD stat.AP
Effect of laboratory conditions on the perception of virtual stages for music
Instituto de Automática (Institute of Automation)（自动化研究所）
本文通过对比消声室与两种定制听力室的声学条件，验证了所提出的评估方法在虚拟舞台感知实验中的有效性，为虚拟声学研究中的实验室设计提供了初步依据。
2025-06-02 cs.SD eess.AS
Binaural Audio Source Remixing with Microphone Array Listening Devices
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
增强听力设备，如助听器和增强现实耳机，通过改变我们听到的声音来增强人类的感知。麦克风阵列可以提高听音系统在嘈杂环境中的性能，但大多数基于阵列的听音系统被设计为从混合声中隔离单个声源。这项工作认为，源重新混合过滤器，改变每个源的相对水平独立。重新混合而不是分离声音可以帮助提高感知透明度：它对信号频谱造成的失真较小，特别是对人类用于在空间中定位声音的耳间线索造成的失真较小。
2020-04-24 cs.SD eess.AS
On the Impact of Ground Sound
Stanford University（斯坦福大学）
刚体碰撞声音合成方法经常忽略地面声音。在本文中，我们分析了一个理想化的地面声音模型的基础上的弹性动力半空间，并使用它来识别的情况下，地面声音是感知相关的，当它被掩盖的影响对象的模态声音或瞬态加速度噪声。我们的分析模型给出了一个光滑的，封闭形式的地面加速度的表达式，然后我们可以使用在瑞利积分或“声学着色器”的有限差分时域波模拟。我们发现，当模态声音是听不见的，地面声音是可听的情况下，一个密集的对象影响软地面和场景中的影响点有一个低的仰角到收听点。
2019-09-19 cs.CE cs.SD eess.AS
Audio Texture Manipulation by Exemplar-Based Analogy
University of California, Berkeley（加州大学伯克利分校）
本文提出一种基于范例类比的声音纹理操控模型，利用成对语音示例学习变换，无需文本指令，通过四元组数据集和潜在扩散模型实现，优于文本条件基线并泛化至非语音场景。
2025-01-21 cs.LG cs.SD eess.AS
Physics-Driven Diffusion Models for Impact Sound Synthesis from Videos
University of Washington（华盛顿大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；MIT（麻省理工学院）；UMass Amherst（马萨诸塞大学阿默斯特分校）
本文提出物理驱动的扩散模型，结合从真实撞击声中估计的物理参数、学习残差参数与视频视觉信息，为无声视频合成高保真且可解释、可编辑的撞击声，性能优于现有系统。
2023-07-08 cs.CV cs.LG cs.SD
Bio-Inspired Modality Fusion for Active Speaker Detection
University of Coimbra（科英布拉大学）；Institute of Systems and Robotics（系统与机器人研究所）
人类已经发展出奇妙的能力，可以整合来自各种感官来源的信息，探索它们内在的互补性。因此，感知能力得到提高，例如，实现了众所周知的“鸡尾酒会”和麦格克效应，即，从一整套声音信号中消除语音歧义。这种融合能力也是改善声源位置感知的关键，例如在群体对话中区分谁的声音。此外，神经科学已经成功地将大脑中的上丘区域确定为负责这种模态融合的区域，已经提出了一些生物模型来接近其潜在的神经生理过程。从这些模型之一的灵感，本文提出了一种方法，有效地融合相关的听觉和视觉信息的主动说话人检测。这种能力可以有广泛的应用，从电话会议系统到社交机器人。检测方法最初通过两个专门的神经网络结构路由听觉和视觉信息。由此产生的嵌入融合通过一个新的层的基础上上丘，其拓扑结构模拟空间神经元交叉映射的单峰感知领域。验证过程采用了两个公开的数据集，所取得的结果证实并大大超过了最初的预期。
2021-04-13 cs.CV cs.LG cs.NE
