Neural Speech Tracking in a Virtual Acoustic Environment: Audio-Visual Benefit for Unscripted Continuous Speech
Carl von Ossietzky University of Oldenburg(奥尔登堡大学)
本研究在虚拟声学环境中用非脚本自然语音探究视听增益,通过EEG和皮层语音追踪分析不同条件及说话者特征的影响,发现噪声下视听增强显著,唇部运动作用关键,验证了自然刺激下皮层语音追踪的可行性。
2025-01-14 cs.SD eess.AS
WoW-Bench: Evaluating Fine-Grained Acoustic Perception in Audio-Language Models via Marine Mammal Vocalizations
Carnegie Mellon University(卡内基梅隆大学);Seoul National University(首尔国立大学);NVIDIA(NVIDIA公司)
本文提出WoW-Bench基准,利用海洋哺乳动物发声评估大型音频语言模型的低层次听觉感知与认知能力,实验表明现有模型性能远低于人类,揭示了增强听觉基础能力的必要性。
2026-10-21 cs.AI cs.SD eess.AS
Spatial Analysis and Synthesis Methods: Subjective and Objective Evaluations Using Various Microphone Arrays in the Auralization of a Critical Listening Room
University of Huddersfield(哈德斯菲尔德大学);Genelec OY(吉力科技公司)
本文研究关键听音室可听化中多种声场合成方法的性能,分析渲染框架、DOA估计、阵列结构等因素的主客观影响,发现SDM与HO-SIRR空间保真度相近,高质量传声器可提升SDM音色保真度,BSDM存在时间伪影问题。
2024-01-26 cs.SD eess.AS
Over-Parameterization and Generalization in Audio Classification
Institute of Computational Perception, Johannes Kepler University Linz(林茨约翰内斯·开普勒大学计算感知研究所);LIT AI Lab(LIT人工智能实验室)
卷积神经网络(CNN)在机器视觉、机器听力和自然语言处理等领域的分类任务中占据主导地位。在机器收听中,虽然通常表现出非常好的泛化能力,但CNN对所使用的特定音频记录设备敏感,这已被认为是声学场景分类(DCASE)社区中的一个实质性问题。在这项研究中,我们调查的声学场景分类模型的过参数化之间的关系,以及由此产生的泛化能力。具体来说,我们在不同的条件下测试了CNN的宽度和深度。我们的研究结果表明,增加宽度提高了对看不见的设备的泛化,即使没有增加参数的数量。
2021-07-19 cs.LG cs.SD eess.AS
Spatial Reverberation and Dereverberation using an Acoustic Multiple-Input Multiple-Output System
Ben-Gurion University of the Negev(内盖夫本-古里安大学)
本文提出利用包含球形麦克风阵列和球形扬声器阵列的声学多输入多输出系统,通过优化清晰度与直达混响声比来修改房间声场混响特性,并在仿真与听音实验中验证了混响与去混盲效果及对系统辨识误差的鲁棒性。
2024-01-07 cs.SD eess.AS
Enhancing Situational Awareness in Wearable Audio Devices Using a Lightweight Sound Event Localization and Detection System
Nanyang Technological University(南洋理工大学)
针对主动降噪可穿戴设备削弱情境感知的问题,提出结合声学场景分类与声音事件定位检测的轻量级框架,动态调节灵敏度以增强空间智能,提升安全性。
2025-10-08 eess.AS
Region-to-region kernel interpolation of acoustic transfer function with directional weighting
提出了一种在区域间插值声学传递函数(ATF)的方法,该方法同时考虑了ATF的物理特性和区域结构的方向性。大多数空间ATF插值方法仅限于接收器区域内的估计。核方法的区域到区域的ATF内插,使它有可能估计ATF的源和接收器区域从一个离散的一组ATF测量。为了提高插值精度,我们重新构造了再生核希尔伯特空间和相关的核函数,并加入了方向权。我们还研究了这个核函数的超参数优化方法。数值实验表明,该方法优于不使用方向加权的方法。
2022-05-05 eess.AS
Binaural Signal Representations for Joint Sound Event Detection and Acoustic Scene Classification
Tampere University(坦佩雷大学)
声音事件检测和声学场景分类是两个被广泛研究的音频任务,是声景物分析研究的重要组成部分。考虑到声音事件和声学场景之间的共享信息,联合执行这两项任务是复杂机器收听系统的自然部分。在本文中,我们研究了几种空间音频特征在训练执行SED和ASC的联合深度神经网络(DNN)模型中的有用性。实验进行两个不同的数据集,包含双耳录音和同步的声音事件和声学场景标签,以分析单独或联合执行SED和ASC之间的差异。所提出的结果表明,使用特定的双耳功能,主要是广义互相关相位变换(GCC-PHAT)和正弦和余弦的相位差,导致在单独的和联合的任务相比,基线方法的基础上logmel能量只有一个更好的表现模型。
2022-09-13 cs.CV cs.LG cs.SD
A generative framework for conversational laughter: Its 'language model' and laughter sound synthesis
本文提出一种利用情感维度作为上下文、由笑声音素生成器和声音合成器组成的生成模型,以高可控方式合成多样且逼真的对话笑声,实验证明基于情感条件化能有效控制感知情感。
2023-06-06 eess.AS
Delay-Performance Tradeoffs in Causal Microphone Array Processing
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
在诸如助听器信号处理之类的实时听力增强应用中,必须以不超过几毫秒的延迟来处理声音以使听者听起来自然。通过使用麦克风阵列在空间和时间上对声学信号进行滤波,收听设备可以以较低的延迟实现更好的性能。在这里,我们分析了因果多通道维纳滤波器的麦克风阵列降噪的延迟和平方误差性能之间的权衡。我们计算的延迟误差曲线在两种特殊情况下的精确表达式,并从现实世界的麦克风阵列录音的实验结果。我们发现,延迟性能特性是由信号的空间和时间相关结构决定的。
2018-07-31 cs.SD eess.AS
Signal-Adaptive and Perceptually Optimized Sound Zones with Variable Span Trade-Off Filters
创建声音区域一直是一个活跃的研究领域,因为这个想法是第一次提出。到目前为止,大多数声音区域控制方法依赖于物理度量(诸如声学对比度和信号失真)的优化或期望声场的模式分解。通过使用这些类型的方法,在实际设置中已经报告了目标区域中的再现声场与其到其它区域的泄漏之间的大约15dB的声学对比度,但是这通常不足以满足区域内的人。在本文中,我们提出了一个健全的区域控制方法成形泄漏错误,使他们尽可能听不见给定的声学对比度。当计算扬声器控制滤波器时,通过考虑时变输入信号特性和人类听觉系统来执行泄漏误差的整形。我们展示了如何使用可变跨度权衡滤波器进行这种整形,我们从理论上展示了这些滤波器如何用于在目标区域进行声学对比度的交易信号失真。所提出的方法进行评估的基础上的物理指标,如声学对比度和感知指标,如STOI。不同的系统设置所提出的方法的计算复杂度和处理时间也进行了研究。最后,报告了MUSHRA听力测试的结果。测试结果表明,该方法提供了超过20%的感知改善相比,现有的声音区域控制方法。
2020-08-04 eess.AS
A Distributed Algorithm for Personal Sound Zones Systems
本文提出一种用于个人声区系统的高效分布式算法,通过将计算负担分散到多个节点并降低整体复杂度,解决了多通道自适应算法的高计算负荷问题,其代价是性能略有下降。
2023-11-21 eess.AS
Acoustic Room Compensation Using Local PCA-based Room Average Power Response Estimation
Starkey Hearing Technologies(斯塔克利听力技术公司);Sonos, Inc.(索诺斯公司)
已经广泛研究了声学房间补偿技术,其允许声音再现系统抵消由于过度的房间共振而对声音场景的不期望的改变。已经报道了广泛的努力来扩大房间均衡有效的区域,并对比空间中房间传递函数的变化。扬声器调谐技术“Trueplay”允许用户基于房间的空间平均功率响应在扩展的收听区域上补偿不期望的房间效应,当用户在房间中移动时,该空间平均功率响应通常使用便携式设备上的麦克风来测量。在这项工作中,我们提出了一种新的系统,利用测量扬声器回声路径自响应预测房间的平均功率响应使用本地PCA为基础的方法。实验结果证实了所提出的估计方法的有效性,这进一步导致房间补偿滤波器设计,其与具有地面真实房间平均功率响应的参考系统相比实现了良好的声音相似性,同时优于不利用所提出的估计器的其他系统。
2022-07-23 cs.SD eess.AS
Safeguarding test signals for acoustic measurement using arbitrary sounds
Wakayama University(和歌山大学);Waseda University(早稻田大学)
我们提出了一种简单的方法来测量声学响应,使用任何声音,通过转换它们适合测量。这种方法使我们能够使用音乐作品来测量声学条件。有利的是测量这样的条件而不使收听者讨厌测试声音。此外,应用多个路径的同时测量的基本思想提供了实际上有价值的特征。例如,可以测量偏差(时间稳定的、随机的和时变的)和脉冲响应,同时在目标条件下再现稍微修改的内容。所提出的方法的关键思想是添加相对较小的确定性信号,听起来像噪声的原始声音。我们称转换后的声音为受保护的测试信号。
2021-12-21 cs.SD eess.AS
A Multi-Stage Algorithm for Acoustic Physical Model Parameters Estimation
Università Politecnica delle Marche(马尔凯理工大学);Viscount International SpA(子爵国际股份公司)
计算声学中的挑战之一是识别能够模拟和预测生成声学信号的系统的物理行为的模型。当这种模型用于商业应用时,一个额外的约束是上市时间,这使得合理设计过程的自动化是可取的。在以前的工作中,已经提出了一种计算声音设计方法,用于涉及通过深度学习进行音色匹配的参数估计问题,该方法被应用于管风琴音调的合成。在这项工作中,我们完善了以前的结果,通过引入前一种方法,在多阶段算法,还增加了基于心理声学的目标成本函数上的随机优化方法。优化方法显示能够改进由深度学习方法给出的第一估计,并显著改善客观度量,具有减少合理设计过程时间的额外益处。还进行了主观听力测试,以收集对结果的更多见解。
2019-02-12 cs.LG cs.SD eess.AS
Musical Timing in Studio Recordings
Athens University of Economics and Business(雅典经济与商业大学)
本研究通过分析391个多轨录音,发现共享声学空间和声音泄漏的录音比隔离录音具有更紧密的时间协调,而配音则增加时间变异性。
2026-09-15 cs.SD eess.AS
Novel-View Acoustic Synthesis from 3D Reconstructed Rooms
Apple(苹果公司)
本研究结合盲音频与三维重建房间信息,引入房间冲激响应使端到端网络协同完成声源定位、分离与去混响,在Matterport3D-NVAS数据集上实现新视角声学合成的优异性能。
2024-08-16 cs.CV cs.SD eess.AS
Effect of acoustic scene complexity and visual scene representation on auditory perception in virtual audio-visual environments
在日常生活中,社会交往和声学交流经常发生在复杂的声学环境中,其中存在各种干扰声和混响。对于听力研究和听力系统的评估,使用虚拟现实技术的模拟CAE在生态有效性的背景下获得了兴趣。在目前的研究中,场景的复杂性和视觉表示的场景上的心理声学措施,如声源位置,距离感知,响度,语音清晰度,并在虚拟视听环境中的听力努力的影响进行了研究。使用三维86通道扬声器阵列来呈现声场,结合或不结合头戴式显示器(HMD)来创建场景的沉浸式立体视觉表示。该场景由八个(虚拟)扬声器组成的一个环,在几个空间条件下播放目标语音刺激和无意义语音播放器。无论是无回声(下雪的户外风景)或回声环境(阁楼公寓)的混响时间(T60)约为1.5秒的模拟。除了不同数量的干扰者,场景的复杂性是不同的,通过评估的心理声学措施,在孤立的连续测量或同时。结果显示佩戴HMD对数据没有显著影响。响度和距离知觉表现出显着不同的结果时,他们被同时测量,而不是连续孤立。所建议的设置的优点在于,它可以直接转移到相应的真实房间,从而能够在真实和虚拟环境中对感知实验进行1:1的比较和验证。
2021-11-07 cs.SD eess.AS
Reciprocal Latent Fields for Precomputed Sound Propagation
Ubisoft La Forge(育碧La Forge);Audiokinetic
提出互易潜在场(RLF)框架,通过可训练潜在嵌入网格和对称解码器压缩声学参数,在保持复制质量的同时将内存占用降低数个数量级。
2026-06-23 cs.LG cs.SD eess.AS
The Computation of Generalized Embeddings for Underwater Acoustic Target Recognition using Contrastive Learning
CWI(荷兰信息与推理研究所)
针对水下声学目标识别中高质量标注数据稀缺的问题,本研究采用无监督对比学习,用方差-不变性-协方差正则化损失优化Conformer编码器,基于公开无标注数据生成鲁棒泛化的嵌入,为水下声学分析提供新方案。
2025-05-19 cs.AI cs.SD eess.AS
VR-PTOLEMAIC: A Virtual Environment for the Perceptual Testing of Spatial Audio Algorithms
本研究提出集成MUSHRA方法的VR-PTOLEMAIC虚拟现实评估系统,支持在25个模拟聆听位评估空间音频算法,测试验证其能有效支撑评估且用户体验良好。
2025-08-01 cs.SD eess.AS
Sequential Skip Prediction with Few-shot in Streamed Music Contents
Seoul National University(首尔国立大学);Institute for Industrial Systems Innovation(工业系统创新研究所);Center for Super Intelligence(超级智能中心);Music and Audio Research Group(音乐与音频研究组)
本文概述了为WSDM Cup 2019 Spotify顺序跳过预测挑战赛(团队名称:mimbres)提交的算法。在挑战中,提供了完整的信息,包括收听会话的前半部分的声学特征和用户交互日志。我们的目标是预测是否会跳过会话后半部分中的单个曲目,仅给定声学特征。我们提出了两种不同的算法,分别基于度量学习和序列学习。实验结果表明,序列学习方法的性能明显优于度量学习方法。此外,我们进行了额外的实验,发现使用完整的用户日志信息可以实现显着的性能增益。
2020-10-26 cs.IR cs.LG cs.SD
Distributed pressure matching strategy using diffusion adaptation
Northwestern Polytechnical University(西北工业大学)
针对个人声区系统集中式处理声传递函数导致计算复杂的问题,提出基于扩散自适应的分布式压力匹配方法,将全局问题分解为局部代价之和,仅需局部信息交换,仿真验证其性能并降低复杂度。
2023-11-13 cs.SD eess.AS physics.app-ph
You Only Hear Once: A YOLO-like Algorithm for Audio Segmentation and Sound Event Detection
University of Plymouth(普利茅斯大学);Plymouth Marine Laboratory(普利茅斯海洋实验室)
音频分割和声音事件检测是机器听力中的关键主题,旨在检测声学类别及其各自的边界。它对音频内容分析、语音识别、音频索引和音乐信息检索都很有用。近年来,大多数研究文章采用逐类分段的方法。该技术将音频划分为小帧,并单独对这些帧执行分类。在本文中,我们提出了一种名为You Only Hear Once(YOHO)的新方法,该方法受到计算机视觉中普遍采用的YOLO算法的启发。我们将声学边界的检测转换为回归问题,而不是基于帧的分类。这是通过使用单独的输出神经元来检测音频类的存在并预测其开始和结束点来完成的。与最先进的卷积递归神经网络相比,YOHO的F度量的相对改进在音频分割和声音事件检测的多个数据集上的范围从1%到6%。由于YOHO的输出是端到端的,并且需要预测的神经元更少,因此推理速度至少比分段分类快6倍。此外,由于这种方法直接预测声学边界,因此后处理和平滑速度约为7倍。
2022-09-18 cs.LG cs.SD eess.AS
Grounded in Sound: Reinforcement Learning with a Frozen Acoustic Judge to Curb ASR Insertion Hallucinations
Tencent(腾讯)
针对ASR后训练中RL奖励仅基于文本导致插入幻觉的问题,提出用冻结的wav2vec2-CTC声学评判器增强GRPO奖励,在AMI上减少插入错误28.3%并降低WER,且推理时无需额外开销。
2026-09-15 cs.MM cs.SD eess.AS
Perceptual Compensation of Ambisonics Recordings for Reproduction in Room
Carl von Ossietzky University of Oldenburg(奥尔登堡卡尔·冯·奥西茨基大学)
提出一种基于Ambisonics的感知补偿录音与渲染方法,通过在球谐域对直达声和混响声进行频谱与空间补偿以保留听觉线索,实验证明其优于传统方法且对头部移动鲁棒。
2025-10-13 eess.AS physics.app-ph
Auralization based on multi-perspective ambisonic room impulse responses
Institute of Electronic Music and Acoustics, University of Music and Performing Arts Graz(格拉茨音乐与表演艺术大学电子音乐与声学研究所)
本文提出对空间网格上的 Ambisonic 房间脉冲响应进行声音事件分解、视角外推与线性插值,以生成可变听者视角的可听化,并通过测量与模拟数据集及听音实验确定参数。
2023-12-06 cs.SD eess.AS