P-Reverb: Perceptual Characterization of Early and Late Reflections for Auditory Displays
University of North Carolina Chapel Hill（北卡罗来纳大学教堂山分校）；Carnegie Mellon University（卡内基梅隆大学）；University of Maryland College Park（马里兰大学帕克分校）
我们引入了一种新的感知衍生度量（P-Reverb），该度量将早期声场（也称为早期反射）的刚可察觉差异（JND）与后期声场（称为后期反射或混响）联系起来。早期和晚期反射是声场的重要组成部分，并为听觉显示提供多种感知线索。我们进行了两个广泛的用户评估，涉及早期反射和后期混响的平均自由路径的环境中的JND，并提出了一种新的P-混响度量。我们的度量是用来有效地估计动态混响特性的重要参数，如混响时间（RT 60）。我们展示了我们的P-混响度量在估计RT 60中的数值精度。最后，我们使用我们的度量设计一个交互式声音传播算法，并证明其有效性的各种基准。
2019-02-19 cs.SD eess.AS
Sound Event Detection and Separation: a Benchmark on Desed Synthetic Soundscapes
University de Lorraine（洛林大学）
我们提出了一个国家的最先进的声音事件检测系统（SED）的基准。我们设计的综合评估集专注于特定的声音事件检测挑战。我们根据与时间相关的修改（事件的时间位置和剪辑长度）来分析提交给DCASE 2021任务4的性能，并研究非目标声音事件和混响的影响。我们发现，本地化的声音事件的时间仍然是一个问题，SED系统。我们还表明，混响和非目标声音事件严重降低了SED系统的性能。在后一种情况下，声音分离似乎是一个有前途的解决方案。
2020-11-02 cs.SD eess.AS
Speaker localization using direct path dominance test based on sound field directivity
Ben-Gurion University of the Negev（内盖夫本-古里安大学）
针对现有混响鲁棒DoA估计中DPD测试计算量大的问题，提出基于声场指向性、无需频率平滑和矩阵分解的高效替代方法，在保持性能的同时将计算效率提升约四倍。
2023-10-05 cs.SD eess.AS
Estimating & Mitigating the Impact of Acoustic Environments on Machine-to-Machine Signalling
Queen Mary University of London（伦敦玛丽女王大学）
在各种物联网和电信应用中传输声音数据的技术的进步导致了机器对机器空中声学信令的概念。在解码时，混响可能对这种机器对机器信号具有不利影响。人们已经研究了各种方法来对抗语音和音频信号中的混响效应，但尚不清楚它们对其他声音类型的推广效果如何。我们着眼于扩展这些模型，以促进机器对机器的声学信号。本研究探讨混响消除技术，以筛选出一种单通道混响抑制方法。为了应用所选择的去混响方法，提出了一种新的估计控制混响的声学参数的方法。最终算法的性能进行评估的质量指标，以及一个真正的机器到机器解码器的性能。我们证明了一个戏剧性的降低错误率为可听和超声波信号。
2019-08-13 cs.SD eess.AS eess.SP
BAST: Binaural Audio Spectrogram Transformer for Binaural Sound Localization
Maastricht University（马斯特里赫特大学）；Utrecht University（乌得勒支大学）；Radboud University（拉德堡德大学）；Donders Institute for Brain Cognition and Behavior（唐德斯脑认知与行为研究所）
本文提出端到端双耳音频频谱Transformer模型BAST，通过差分双耳积分与混合损失在消声和混响环境中实现高精度声源方位预测，显著超越CNN方法并验证了双耳Transformer的可行性。
2024-08-07 cs.LG cs.SD eess.AS
Room adaptive conditioning method for sound event classification in reverberant environments
Seoul National University（首尔大学）
确保在真实世界环境中可能发生的各种情况下的性能鲁棒性是声音事件分类中具有挑战性的任务之一。混响是影响性能的不可预测和有害因素之一，特别是在室内环境中。为了缓解这个问题，我们提出了一种调节方法，提供房间脉冲响应（RIR）信息，以帮助网络变得不敏感的环境信息，并专注于分类所需的声音。实验结果表明，该方法成功地降低了由于室内混响引起的性能下降。特别是，我们提出的方法甚至适用于可以从房间类型而不是确切的房间类型推断出的类似RIR，这具有潜在地用于现实世界应用的优势。
2021-04-21 cs.SD eess.AS
Dependence on Early and Late Reverberation of Single-Channel Speaker Distance Estimation
Faculty of Information Technology and Communication Sciences（信息科技与通讯科学学院）
研究探讨了单通道说话者距离估计中早期和晚期混响对性能的影响，发现早期混响是关键因素，且时间校准能显著提升精度。
2026-07-02 cs.AI cs.SD eess.AS
HRTF measurement for accurate sound localization cues
Korea Advanced Institute of Science and Technology (KAIST)（韩国高等科学技术院（KAIST））
通过精确的测量和后处理，提出了一个新的数据库的头部相关的传递函数（HRTF）的准确声源定位的头部相关的脉冲响应（HRIR）的频率带宽和因果关系的准确的频谱线索（SC）和双耳时间差（ITD），分别。研究了所提方法对双耳声定位线索的改善效果。为了利用单个源实现足够的频率带宽，单向密封扬声器模块被设计成基于电声获得宽带频率响应，而大多数现有的HRTF数据库依赖于具有多个源的双向通风扬声器。在头部中心的原点传递函数通过所提出的测量方案使用0度同轴麦克风来获得，以确保HRTF的准确频谱提示模式，而在先前的测量中使用90度离轴麦克风，原点传递函数的幅度响应随着频率的增加而波动和减小，导致HRTF的错误SC。为了防止由于同侧HRTF的非因果关系而导致ITD的不连续性，考虑到测量对象的头部半径，通过时间延迟来循环移位所获得的HRIR。最后，各种声音定位线索，如ITD，耳间电平差（ILD），SC，和水平面方向性（HPD）来自所提出的HRTF，双耳声音定位线索的改进进行了检查。结果表明，采用0度同轴传声器测量HRTF信号的SC方向图得到了准确的确认，同时由于非因果补偿，获得了连续的ITD方向图。源代码和呈现的HRTF数据库可在GitHub（https：//github.com/han-saram/HRTF-HATS-KAIST）上提供给相关研究小组。
2022-04-06 cs.SD eess.AS eess.SP
Sci-Phi: A Large Language Model Spatial Audio Descriptor
Columbia University（哥伦比亚大学）；Microsoft Research（微软研究院）
本文提出Sci-Phi，一种双编码器空间音频大语言模型，从合成Ambisonics录音中学习，一次描述多个声源和房间特征，实现完整空间场景描述。
2025-10-07 cs.CL cs.SD eess.AS
Indoor Sound Source Localization with Probabilistic Neural Network
Northwestern Polytechnical University（西北工业大学）；STMIK Raharja（拉哈尔雅信息与计算机管理学院）
高混响、低信噪比等恶劣环境对室内声源定位提出了很大的挑战。针对这一问题，本文提出了一种基于概率神经网络的声源定位算法，即广义互相关分类算法（GCA）。在混响时间T60高达600 ms、信噪比为-10dB的恶劣环境下的实验结果表明，GCA算法的平均方位角误差和俯仰角误差分别仅为4.6 °和3.1 °。与最近发表的三种算法相比，GCA显著提高了波达方向估计的成功率，并且对环境变化具有良好的鲁棒性。这些结果表明，所提出的GCA可以定位准确和鲁棒性的不同的室内应用，现场声学特征可以研究之前的定位阶段。
2017-12-21 cs.LG cs.SD eess.AS
Focus on the Sound around You: Monaural Target Speaker Extraction via Distance and Speaker Information
Tsinghua University（清华大学）；Xiaomi Inc.（小米公司）
针对强混响噪声环境下目标说话人提取难获取辅助说话人信息的问题，提出结合距离信息、采用说话人嵌入自注册和全子带建模的近场声音提取器，跨数据集实验验证其有效性和优异性能。
2023-10-07 cs.SD eess.AS
Auptimize: Optimal Placement of Spatial Audio Cues for Extended Reality
Carnegie Mellon University（卡内基梅隆大学）；University of Rochester（罗切斯特大学）
针对扩展现实中人类听觉感知局限导致的空间音频声源定位误差问题，提出利用腹语效应的Auptimize方法，通过解耦视声位置优化声源布局，降低识别错误率，适用于多种交互式XR场景。
2024-08-18 cs.HC cs.SD eess.AS
Learning Audio-Visual Dereverberation
UT Austin（德克萨斯大学奥斯汀分校）；FAIR, Meta AI（Meta人工智能基础人工智能研究院）
混响不仅降低了语音的质量，而且严重影响了自动语音识别的准确性。先前的工作尝试仅基于音频模态来去除混响。我们的想法是学习从视听观察中消除语音的回响。人类说话者周围的视觉环境揭示了关于房间几何形状，材料和扬声器位置的重要线索，所有这些都会影响精确的混响效果。我们介绍了视觉信息的音频去混响（VIDA），这是一种端到端的方法，可以根据观察到的单声道声音和视觉场景来学习消除混响。为了支持这一新任务，我们开发了一个大规模的数据集SoundSpaces-Speech，该数据集在提供各种室内声学效果的真实家庭3D扫描中使用逼真的语音声学渲染。演示我们的方法在模拟和真实图像的语音增强，语音识别，和说话人辨识，我们表明它达到了最先进的性能，并大大提高了纯音频的方法。
2023-03-13 cs.CV cs.LG cs.SD
Interaural time difference loss for binaural target sound extraction
NTT Corporation（NTT公司）
本文针对双耳目标声音提取中空间线索易丢失的问题，提出显式空间损失，特别是新提出的双耳时间差（ITD）损失，在保持信号级指标的同时更好地保留目标声音的空间线索。
2024-08-01 cs.SD eess.AS
Binaural Sound Event Localization and Detection based on HRTF Cues for Humanoid Robots
本文针对人形机器人提出基于HRTF特征的BiSELD任务，构建Binaural Set数据集，提出BTFF特征与BiSELDnet模型，在数据集上取得优异的SELD性能，验证了框架的有效性。
2026-09-03 cs.SD eess.AS
Reverberation-Robust Localization of Speakers Using Distinct Speech Onsets and Multi-channel Cross-Correlations
本文提出两种算法，通过声学滤波器bank分解信号并结合多通道交叉相关系数，以提高在强回声环境下的语音定位性能。
2026-04-02 eess.AS
A Dataset of Dynamic Reverberant Sound Scenes with Directional Interferers for Sound Event Localization and Detection
Tampere University（坦佩雷大学）；Universite de Lorraine（洛林大学）
本报告介绍了DCASE2021声音事件定位和检测挑战赛（SELD）任务3的数据集和基线。该数据集基于混响和环境噪声的真实条件下静态或移动声音事件的真实记录的仿真，使用在各种房间中捕获并以两种空间格式提供的空间房间脉冲响应。声学合成与之前的挑战迭代相同，但新数据集带来了更具挑战性的复调和同类重叠实例条件。新数据集最重要的区别是引入了定向标记，这意味着声音事件在空间中定位，但不属于要检测的目标类别，并且没有注释。由于这种干扰事件在SELD的每一个真实场景中都是预料之中的，因此新数据集旨在促进有效处理这种情况的系统。一个修改后的SELDnet基线采用最近的ACCDOA表示SELD问题伴随着数据集，它被证明优于前一个。根据所有考虑的指标，新数据集对于两个基线都更具挑战性。为了研究环境噪声、混响和混响的单独和组合影响，我们研究了基线在不包括或包括这些因素的组合的不同版本的数据集上的性能。结果表明，到目前为止，最有害的影响是由定向干扰引起的。
2021-07-04 cs.SD eess.AS
SSLIDE: Sound Source Localization for Indoors based on Deep Learning
本文介绍了SSLIDE，使用深度学习的室内声源定位，它应用具有编码器-解码器结构的深度神经网络（DNN）来定位连续空间中随机位置的声源。每个麦克风接收到的声音信号的空间特征被提取并表示为每个点中声源位置的似然表面。我们的DNN由一个编码器网络和两个解码器组成。编码器获得输入似然的压缩表示。一个解码器解决混响引起的多径，和其他解码器估计源位置。实验结果表明，该方法在混响环境下不仅优于多信号分类（MUSIC）、相位变换引导响应功率（SRP-PHAT）、稀疏贝叶斯学习（SBL）和竞争卷积神经网络（CNN）方法，而且具有良好的泛化性能。
2021-02-15 eess.AS eess.SP
Spatial Speech Perception Systems: A Survey of Sound Source Localization, Directional Enhancement, and Speech Recognition
University College London（伦敦大学学院）
本文综述了利用麦克风阵列进行声源定位、方向性增强和语音识别的空间语音感知系统，涵盖经典信号处理与学习方法，并讨论了鲁棒性、多说话人、实时性等挑战及应用。
2026-07-03 eess.AS
Binaural Sound Event Localization and Detection Neural Network based on HRTF Localization Cues for Humanoid Robots
Korea Advanced Institute of Science and Technology（韩国科学技术院）
针对仿人机器人双耳输入在仰角估计和前后混淆上的不足，提出BiSELDnet，利用八通道双耳时频特征和HRTF线索，实现声音事件的同时检测与定位，并在城市噪声下显著优于SOTA模型。
2025-08-06 cs.SD eess.AS
Direction-preserving Spatial Audio Signal Enhancement in The Spherical Harmonic Domain
The Australian National University（澳大利亚国立大学）；The University of Queensland（昆士兰大学）
针对现有空间音频增强算法忽视残余干扰空间线索的问题，提出基于多输出波束形成的保方向算法，在保持估计误差性能的同时，更好地保留残余干扰的空间线索。
2026-10-08 eess.AS
Protecting Voice Controlled Systems Using Sound Source Identification Based on Acoustic Cues
University of Notre Dame（圣母大学）
在过去几年中，出现了越来越多的物联网（IoT）系统，这些系统采用语音作为主要用户输入。这些系统已被证明容易受到各种类型的语音欺骗攻击。现有的防御技术通常只能防止特定类型的攻击，或者需要涉及其他设备的额外身份验证步骤。这样的防御策略要么不够强大，要么降低了系统的可用性。基于这一事实，合法的语音命令应该只来自人类，而不是播放设备，我们提出了一种新的防御策略，能够检测声音的声音来源的语音命令的基础上，其声学特征。所提出的防御策略除了语音命令本身之外不需要任何信息，并且可以保护系统免受多种类型的欺骗攻击。我们的概念验证实验验证了这种防御策略的可行性和有效性。
2018-11-16 cs.CR cs.SD eess.AS
The Sound of Motions
MIT（麻省理工学院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
声音来源于物体的运动和周围空气的振动。受人类能够从物体如何在视觉上移动来解释声源这一事实的启发，我们提出了一种新的系统，该系统可以明确地捕获声音定位和分离任务的运动线索。我们的系统是由一个端到端的可学习模型称为深密集轨迹（DDT），和一个课程学习计划。它利用了来自大量未标记视频的视听信号的固有一致性。定量和定性的评价表明，与以前的模型，依赖于视觉外观线索，我们的运动为基础的系统提高了分离乐器的声音的性能。此外，它将声音成分与同类乐器的二重奏分开，这是一个以前没有解决过的具有挑战性的问题。
2019-04-11 cs.CV cs.SD eess.AS
DOA Estimation by DNN-based Denoising and Dereverberation from Sound Intensity Vector
NTT Media Intelligence Laboratories（NTT媒体情报实验室）；University of Padova（帕多瓦大学）
提出了一种结合基于声强矢量的DOA估计和基于DNN的去噪去混响的波达方向估计方法。由于基于IV的DOA估计的准确性由于环境噪声和混响而降低，因此使用两个DNN来从观察到的IV中去除这种影响。然后，基于波传播的物理学，从改进的IV估计DOA。在开放数据集上的实验表明，该方法的平均DOA误差为0.528度，优于传统的基于IV和基于DNN的DOA估计方法。
2019-10-10 cs.LG cs.SD eess.AS
What Makes Sound Event Localization and Detection Difficult? Insights from Error Analysis
Nanyang Technological University（南洋理工大学）
声事件定位与检测（SELD）是一个新兴的研究课题，旨在统一的任务，声音事件检测和到达方向估计。因此，SELD继承了这两项任务的挑战，例如噪声，混响，干扰，复调和声源的非平稳性。此外，SELD通常面临将检测到的声音类别与到达方向之间的正确对应分配给多个重叠声音事件的额外挑战。先前的研究表明，混响环境中的未知干扰往往会导致SELD系统性能的严重下降。为了进一步了解SELD任务的挑战，我们对两个SELD系统进行了详细的错误分析，这两个系统都在DCASE SELD挑战赛的团队类别中排名第二，一个在2020年，一个在2021年。实验结果表明，由于难以检测所有感兴趣的声音事件，复调是SELD的主要挑战。此外，SELD系统倾向于对训练集中占主导地位的复调场景犯更少的错误。
2021-10-02 cs.AI cs.LG cs.SD
BeepBank-500: A Synthetic Earcon Mini-Corpus for UI Sound Research and Psychoacoustics Research
Amazon（亚马逊）
本文提出BeepBank-500，一个参数化生成的合成提示音数据集，包含300-500个片段及元数据和基线，用于UI声音分类、音色分析与心理声学研究。
2025-09-21 cs.SD eess.AS
A Survey of Sound Source Localization with Deep Learning Methods
Nantes Université（南特大学）；École Centrale Nantes（南特中央理工学院）；CNRS（法国国家科学研究中心）；Orange Labs（奥兰治实验室）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Grenoble-INP（格勒诺布尔理工学院）
本文综述了用于单个和多个声源定位的深度学习方法。我们特别感兴趣的声源定位在室内/家庭环境中，混响和扩散噪声存在。我们提供了一个详尽的地形的神经为基础的本地化文献在这种情况下，组织根据几个方面：神经网络架构，输入功能的类型，输出策略（分类或回归），用于模型训练和评估的数据类型，以及模型训练策略。通过这种方式，感兴趣的读者可以轻松地理解基于深度学习的声源定位方法的广阔全景。总结文献调查的表格提供了一个快速搜索的方法与一组给定的目标特性的文件的末尾。
2022-06-17 cs.LG cs.SD eess.AS
PG-SELD: Physics-Guided Sound Event Localization and Detection
针对SELD跨环境泛化受限问题，提出物理引导的PG-SELD训练框架，通过自由场教师知识蒸馏对齐中间表示，在STARSS23上提升多种基线模型的泛化性能。
2026-10-01 eess.AS
Cinematic Audio Source Separation Using Visual Cues
School of Electrical Engineering, KAIST（韩国科学技术院电气工程学院）；Graduate School of Artificial Intelligence, UNIST（蔚山科学技术院人工智能研究生院）
本文提出首个结合视觉信息的电影音频源分离框架AV-CASS，通过条件流匹配实现多模态音频分离，并设计专用视觉编码器提升分离质量。
2026-03-27 cs.MM cs.SD eess.AS
Real-time binaural speech separation with preserved spatial cues
Columbia University（哥伦比亚大学）
深度学习语音分离算法在提高混合音频中分离语音的质量和清晰度方面取得了巨大成功。大多数以前的方法集中在为每个目标扬声器生成单声道输出，因此丢弃了空间声源定位所需的空间线索。然而，保留空间信息在许多旨在准确呈现声学场景的应用中是重要的，例如在助听器和增强现实（AR）中。在这里，我们提出了一种语音分离算法，保留分离的声源的耳间线索，可以实现低延迟和高保真度，因此能够实时修改的声学场景。基于时域音频分离网络（TasNet），一个单通道时域语音分离系统，可以在实时实现，我们提出了一个多输入多输出（MIMO）端到端的TasNet扩展，以双耳混合音频作为输入，同时分离目标扬声器在两个通道。实验结果表明，所提出的端到端MIMO系统能够显著提高分离性能，并在各种声学场景中保持修改源的感知位置不变。
2020-02-16 cs.SD eess.AS
Echo-aware Adaptation of Sound Event Localization and Detection in Unknown Environments
NTT Corporation（NTT公司）
我们的目标是开发一个声音事件定位和检测（SELD）系统，在未知的环境中工作鲁棒性。在已知环境数据上训练的SELD系统在未知环境中由于诸如训练数据中不包含的混响和噪声的环境影响而劣化。以前的研究相关的任务表明，域适应方法是有效的，当数据的环境中，该系统将被使用，即使没有标签。然而，适应未知的环境仍然是一项艰巨的任务。在这项研究中，我们提出了回声感知功能细化（ESTA）的SELD，它抑制环境的影响，在功能水平上使用额外的空间线索的未知环境，通过测量声学回声。FOA-MEIR，一个脉冲响应数据集，包含超过100个环境，记录，以验证所提出的方法。在FOA-MEIR上的实验表明，该算法有效地提高了未知环境下SELD的性能。
2022-02-18 cs.SD eess.AS
Sound Source Distance Estimation in Diverse and Dynamic Acoustic Conditions
Courant Institute of Mathematical Sciences, New York University（纽约大学柯朗数学科学研究所）；Music and Audio Research Lab, New York University（纽约大学音乐与音频研究实验室）；Integrated Design and Media, New York University（纽约大学集成设计与媒体学院）
本文提出一种CRNN模型，首次证明可在多样声学条件下利用深度学习估计移动声源距离，并发现以真实距离反函数加权误差的损失函数能实现最优训练。
2023-09-17 cs.SD eess.AS
SpA2V: Harnessing Spatial Auditory Cues for Audio-driven Spatially-aware Video Generation
SpA2V通过利用空间听觉线索生成与输入音频在语义和空间上一致的视频，改进了现有方法对语义信息的依赖，提出两阶段框架实现视频场景布局生成与生成。
2025-08-01 cs.AI cs.CV cs.GR
ECLIPSE: Efficient Long-range Video Retrieval using Sight and Sound
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
我们介绍了一种视听方法的远程文本到视频检索。与先前设计用于短视频检索的方法（例如，5-15秒），我们的方法旨在检索捕捉复杂人类动作的分钟长视频。标准的仅视频方法的一个挑战是与处理从这样的长视频中密集提取的数百个帧相关联的大量计算成本。为了解决这个问题，我们建议用简洁概括动态音频事件并且处理成本低廉的紧凑音频线索来替换视频的部分。我们的方法，名为ECLIPSE（高效剪辑与声音编码），适应流行的剪辑模型的视听视频设置，通过添加一个统一的视听Transformer块，捕捉互补的线索，从视频和音频流。除了比远程视频方法快2.92倍和内存效率高2.34倍之外，我们的方法还在几个不同的远程视频数据集上实现了更好的文本到视频检索准确性，例如ActivityNet，QVHighlights，YouCook2，DiDeMo和Charades。
2022-08-02 cs.AI cs.CL cs.CV
Fast processing explains the effect of sound reflection on binaural unmasking
Technical University of Munich（慕尼黑工业大学）
声音反射和后期混响改变了目标源的能量和双耳线索，从而影响了它在噪声中的检测。两个实验研究检测谐波复音，集中在500赫兹左右，在一个虚拟的房间与不同修改的模拟房间脉冲响应（RIR）的噪声。在消声空间中使用SOFE的扬声器可听化刺激。目标从前方或在0 $^\circ$方位呈现，而消声噪声掩蔽物同时在0 $^\circ$呈现。在第一个实验中，早期反射逐渐添加到RIR和混响目标的检测阈值进行了测量。对于正面声源，检测阈值下降，同时增加了前45毫秒的早期反射，而对于横向声源阈值保持不变。在第二个实验中，早期的反射被切断，而后期的反射与直达声一起被保留。0 $^\circ$处目标的结果表明，与仅直接声音相比，即使最晚150 ms的反射也会降低检测阈值。在短窗口中计算双耳暴露后，具有迟滞分量的双耳模型预测测量结果和文献结果比使用大窗口时更好。
2021-06-30 cs.SD eess.AS
Exploiting Attention-based Sequence-to-Sequence Architectures for Sound Event Localization
Ruhr University Bochum（波鸿鲁尔大学）；NTT Corporation（日本电报电话公司）
与经典参数方法相比，基于深度神经网络的声音事件定位框架已经显示出关于混响和噪声的增加的鲁棒性。特别是，经常性的架构，将时间背景的估计过程似乎是非常适合这项任务。本文提出了一种新的方法，利用注意力为基础的序列到序列模型的声音事件定位。这些类型的模型已成功地应用于自然语言处理和自动语音识别中的问题。在这项工作中，多声道音频信号被编码到一个潜在的表示，这是随后解码到一个序列的估计方向的到来。这里，注意力允许通过聚焦于与估计当前时间步处的声音事件的活动和到达方向相关的特定帧来捕获音频信号中的时间依赖性。该框架进行评估的声音事件本地化的三个公开可用的数据集。它产生优越的定位性能相比，国家的最先进的方法在消声和混响条件。
2021-02-28 cs.LG cs.SD eess.AS
SoundLoc3D: Invisible 3D Sound Source Localization and Classification Using a Multimodal RGB-D Acoustic Camera
University of Oxford（牛津大学）；Mitsubishi Electric Research Labs（三菱电机研究所）
SoundLoc3D利用RGB-D相机与四通道麦克风阵列构建多模态声学相机，将不可见3D声源定位与分类建模为集合预测问题，通过视听跨模态线索与物理表面约束实现高精度定位，并在模拟数据上验证了其有效性和鲁棒性。
2024-12-29 cs.CV cs.MM cs.SD
Self-Supervised Audio-Visual Soundscape Stylization
University of California, Berkeley（加州大学伯克利分校）；FAIR, Meta（Meta FAIR研究院）；University of Michigan（密歇根大学）
提出基于自监督的视听声景风格化方法，利用latent diffusion模型和自然视频中的重复声音事件，将目标场景的声音特性迁移至输入语音，并证明视觉信号能提升声音预测能力。
2024-09-22 cs.CV cs.LG cs.MM
Semantic Object Prediction and Spatial Sound Super-Resolution with Binaural Sounds
ETH Zurich（苏黎世联邦理工学院）；KU Leuven（鲁汶大学）
人类可以通过整合视觉和听觉线索来鲁棒地识别和定位对象。虽然机器现在能够对图像做同样的事情，但对声音做的工作较少。这项工作开发了一种方法，密集的语义标记的声音制作对象，纯粹基于双耳的声音。我们提出了一种新的传感器设置和记录一个新的视听数据集的街道场景与八个专业的双耳麦克风和360度摄像头。视觉和听觉提示的共存被用于监督转移。特别是，我们采用了一个跨模态的蒸馏框架，由一个视觉的“老师”的方法和一个声音的“学生”的方法-学生的方法进行训练，以产生相同的结果作为教师的方法。这样，可以在不使用人类注释的情况下训练听觉系统。我们还提出了两个辅助任务，即，a）一个新的任务空间声音超分辨率，以增加声音的空间分辨率，和b）密集的深度预测的场景。然后，我们将这三个任务制定为一个端到端的可训练多任务网络，旨在提高整体性能。在数据集上的实验结果表明：1）我们的方法在语义预测和两个辅助任务方面取得了令人满意的结果; 2）这三个任务是互利的-一起训练它们可以实现最佳性能; 3）麦克风的数量和方向都很重要。数据和代码将被发布，以促进这一新方向的研究。
2020-03-09 cs.CV cs.MM cs.SD
Separating Invisible Sounds Toward Universal Audiovisual Scene-Aware Sound Separation
Michigan State University（密歇根州立大学）；University of Rochester（罗切斯特大学）；University of Texas at Dallas（德克萨斯大学达拉斯分校）
针对现有视听声音分离方法无法处理相机视野外不可见声音的问题，提出AVSA-Sep框架，通过语义解析器和场景信息分离器，结合联合训练与跨模态对齐，成功实现可见与不可见声音的分离。
2023-10-18 cs.CV cs.SD eess.AS
Dynamic Kernel Convolution Network with Scene-dedicate Training for Sound Event Localization and Detection
本文面向真实空间声场景下的SELD任务，提出融合动态核卷积、多轨ACCDOA、SELDnet与EINv2及场景专用训练和数据增强的系统，在DCASE任务中以0.348分超越现有SOTA。
2023-07-17 eess.AS
Multiple Sound Source Localisation with Steered Response Power Density and Hierarchical Grid Refinement
Middle East Technical University（中东技术大学）
声源波达方向（DOA）估计是声场分析中的一个重要环节。刚性球形麦克风阵列允许计算声场的紧凑球谐表示。用于分析使用这种阵列记录的声场的基本方法是转向响应功率（SRP）图，其中源DOA可以被估计为使最大定向波束的输出功率最大化的转向方向。这种方法在计算上是昂贵的，因为它需要在所有可能的方向上操纵波束。本文提出了一种扩展SRP称为转向响应功率密度（SRPD）和相关的，信号自适应搜索方法称为分层网格细化（HiGRID），以减少DOA估计所需的转向方向的数量。所提出的方法可以定位相干以及非相干源，同时共同提供的场景中的突出的源的数量。它被证明是强大的混响和加性白噪声。评估所提出的方法，使用模拟和真实的录音高度混响条件下，以及与国家的最先进的方法进行比较。
2018-03-04 cs.MM cs.SD eess.AS
Perceptual evaluation of listener envelopment using spatial granular synthesis
Institute of Electronic Music and Acoustics（电子音乐与声学研究所）；University of Music and Performing Arts Graz（格拉茨音乐与表演艺术大学）
本文利用空间颗粒合成精确控制声音事件的时间与方向密度，通过感知实验揭示听众包围感和吞没感的形成条件及扬声器层、低通滤波的影响。
2023-01-30 cs.SD eess.AS
Binaural SoundNet: Predicting Semantics, Depth and Motion with Binaural Sounds
MPI for Informatics（马克斯·普朗克信息学研究所）；ETH Zürich（苏黎世联邦理工学院）；Czech Technical University（捷克技术大学）；KU Leuven（鲁汶大学）
人类可以通过使用视觉和/或听觉线索来鲁棒地识别和定位对象。虽然机器已经能够对视觉数据做同样的事情，但对声音做的工作较少。这项工作开发了一种纯粹基于双耳声音的场景理解方法。所考虑的任务包括预测发声对象的语义掩码、发声对象的运动和场景的深度图。为此，我们提出了一种新的传感器设置，并记录了一个新的视听数据集的街道场景与八个专业的双耳麦克风和360度摄像头。视觉和听觉提示的共存被用于监督转移。特别是，我们采用了一个跨模态蒸馏框架，该框架由多个视觉教师方法和一个声音学生方法组成-学生方法经过训练，可以生成与教师方法相同的结果。这样，可以在不使用人类注释的情况下训练听觉系统。为了进一步提高性能，我们提出了另一个新的辅助任务，创造空间声音超分辨率，以提高声音的方向分辨率。然后，我们将这四个任务制定为一个端到端的可训练多任务网络，旨在提高整体性能。实验结果表明：1）我们的方法对所有四个任务都取得了良好的效果，2）这四个任务是互利的-一起训练它们可以获得最佳性能，3）麦克风的数量和方向都很重要，4）从标准频谱图中学习的特征和经典信号处理管道获得的特征对于听觉感知任务是互补的。数据和代码已发布。
2022-02-27 cs.CV cs.SD eess.AS
Effect of acoustic scene complexity and visual scene representation on auditory perception in virtual audio-visual environments
在日常生活中，社会交往和声学交流经常发生在复杂的声学环境中，其中存在各种干扰声和混响。对于听力研究和听力系统的评估，使用虚拟现实技术的模拟CAE在生态有效性的背景下获得了兴趣。在目前的研究中，场景的复杂性和视觉表示的场景上的心理声学措施，如声源位置，距离感知，响度，语音清晰度，并在虚拟视听环境中的听力努力的影响进行了研究。使用三维86通道扬声器阵列来呈现声场，结合或不结合头戴式显示器（HMD）来创建场景的沉浸式立体视觉表示。该场景由八个（虚拟）扬声器组成的一个环，在几个空间条件下播放目标语音刺激和无意义语音播放器。无论是无回声（下雪的户外风景）或回声环境（阁楼公寓）的混响时间（T60）约为1.5秒的模拟。除了不同数量的干扰者，场景的复杂性是不同的，通过评估的心理声学措施，在孤立的连续测量或同时。结果显示佩戴HMD对数据没有显著影响。响度和距离知觉表现出显着不同的结果时，他们被同时测量，而不是连续孤立。所建议的设置的优点在于，它可以直接转移到相应的真实房间，从而能够在真实和虚拟环境中对感知实验进行1：1的比较和验证。
2021-11-07 cs.SD eess.AS
Seeing Sound: Assembling Sounds from Visuals for Audio-to-Image Generation
Indiana University Bloomington（印第安纳大学布卢明顿分校）；Netflix（网飞公司）
提出可扩展的图像声化框架，利用视觉语言模型检索并人工配对高质量单模态图像与音频，训练出竞争力强的音频到图像生成模型。
2025-01-09 cs.CV cs.GR cs.SD
Mobile Sound Recognition for the Deaf and Hard of Hearing
Universidade Federal do Rio de Janeiro（里约热内卢联邦大学）
人类对周围事件的感知强烈依赖于音频提示。因此，隔音会严重影响态势感知。我们提出了一个探索性的研究领域的辅助计算，引出的要求，并提出解决方案，发现在发展中的环境声音识别系统，其目的是帮助聋人和重听的人在感知声音的问题。为了利用智能手机的计算无处不在，我们提出了一个系统，执行所有的处理设备本身，从音频特征提取识别和视觉呈现的结果。我们的应用程序还向用户呈现了分类的置信度。对聋人用户进行的系统测试提供了参与者的重要和鼓舞人心的反馈。
2018-10-19 cs.AI cs.HC cs.SD
Single-Channel Target Speech Extraction Utilizing Distance and Room Clues
Department of Systems and Control Engineering, Institute of Science Tokyo（系统与控制工程系，科学东京研究所）
针对仅依赖距离线索的单通道目标语音提取系统跨房间泛化性差的问题，提出融合房间尺寸、混响时间信息且带可学习嵌入的时频域TSE模型，经模拟与真实数据集验证有效。
2025-05-20 cs.SD eess.AS
Reliability-Aware Geometric Fusion for Robust Audio-Visual Navigation
Joint Research Laboratory for Embodied Intelligence, Xinjiang University（新疆大学联合具身智能研究实验室）；Joint International Research Laboratory of Silk Road Multilingual Cognitive Computing, Xinjiang University（新疆大学丝绸之路多语种认知计算联合国际研究实验室）；School of Computer Science and Technology, Xinjiang University（新疆大学计算机科学与技术学院）
本文提出RAVN框架，通过音频衍生的可靠性线索条件跨模态融合，动态校准音频和视觉输入的整合，引入Acoustic Geometry Reasoner和Reliability-Aware Geometric Modulation，提升复杂环境下的导航性能。
2026-04-02 cs.AI cs.SD eess.AS
Room Impulse Response Generation Conditioned on Acoustic Parameters
Dolby Laboratories（杜比实验室）；KTH Royal Institute of Technology（皇家理工学院）
本研究提出直接基于声学参数约束RIR生成，探索了自回归与非自回归模型，实验表明MaskGIT模型表现最佳，匹配或超越现有方法。
2025-07-16 cs.SD eess.AS
CAESynth: Real-Time Timbre Interpolation and Pitch Control with Conditional Autoencoders
Sungkyunkwan University（成均馆大学）
在本文中，我们提出了一种新的音频合成器，CAESynth，基于条件自编码器。CAESynth通过在参考声音共享的潜在特征空间中插入参考声音，同时独立控制音高，从而实时的【形】合成音色。我们表明，基于音色分类的准确性以及音高内容的对抗性正则化来训练条件自动编码器，可以使潜在空间中的音色分布对于音色插值和音高调节更加有效和稳定。所提出的方法不仅适用于音乐线索的创建，而且还适用于基于新颖的音色与环境声音的混合物的混合现实中的音频启示的探索。我们通过实验证明，CAESynth通过音色插值和独立而准确的音调控制音乐线索以及环境声音的音频启示，实现了实时的【形】平滑和高保真的音频合成。Python实现以及一些生成的示例在线共享。
2021-11-09 cs.LG cs.SD eess.AS
Direction of Arrival Estimation of Sound Sources Using Icosahedral CNNs
University of Zaragoza（萨拉戈萨大学）
在本文中，我们提出了一种新的模型的波达方向（DOA）估计的声源的基础上二十面体卷积神经网络（CNN）应用于SRP-PHAT功率图计算从麦克风阵列接收到的信号。该二十面体CNN与二十面体的60个旋转对称性等变，这表示球面旋转的连续空间的良好近似，并且可以使用标准2D卷积层来实现，具有比大多数球面CNN更低的计算成本。此外，我们提出了一个新的软argmax函数，而不是在二十面体卷积之后使用完全连接的层，该函数可以被视为argmax函数的可微版本，并允许我们将DOA估计作为回归问题来解决，将卷积层的输出解释为概率分布。我们证明，使用适合问题的等方差的模型，使我们能够优于其他国家的最先进的模型，具有较低的计算成本和更强的鲁棒性，即使在混响时间$T_{60}$为1.5 s的情况下，获得均方根定位误差低于10°。
2022-12-06 cs.LG cs.SD eess.AS
Assessing the Viability of Wave Field Synthesis in VR-Based Cognitive Research
本文通过对比实验评估波场合成（WFS）在VR认知研究中的可行性，发现WFS虽在定位精度上不及立体声耳机，但能提供更自然直观的听觉体验，尤其适用于方向信息关键的复杂声景研究。
2025-07-04 cs.HC cs.MM cs.SD
SRP-DNN: Learning Direct-Path Phase Difference for Multiple Moving Sound Source Localization
Peking University（北京大学）；Westlake University（西湖大学）；Westlake Institute for Advanced Study（西湖高等研究院）
在现实世界中的多个移动声源定位仍然是一个具有挑战性的问题，由于源之间的相互作用，随时间变化的轨迹，扭曲的空间线索等，在这项工作中，我们建议使用深度学习技术来学习竞争和随时间变化的直接路径相位差定位多个移动声源。设计了一个因果卷积递归神经网络，用于从每个麦克风对的信号中提取直接路径相位差序列。为了避免分配的模糊性和不确定的输出维数同时预测多个目标时遇到的问题，学习目标被设计在一个加权和格式，编码源活动的权重和直接路径相位差的总和值。所有麦克风对的学习到的直接路径相位差可以直接用于根据操纵响应功率（SRP）的公式来构造空间谱。这种基于深度神经网络（DNN）的SRP方法被称为SRP-DNN。通过迭代地检测并从空间谱中去除主导源来估计源的位置，以这种方式减少源之间的相互作用。仿真和实际数据的实验结果表明，该方法在噪声和混响存在下的优越性。
2022-02-16 cs.SD eess.AS
