Blind Estimation of Sub-band Acoustic Parameters from Ambisonics Recordings using Spectro-Spatial Covariance Features
University of New South Wales（新南威尔士大学）；Dolby Laboratories（杜比实验室）
本研究提出含SSCV新特征与FOA-Conv3D后端的统一框架，基于一阶Ambisonics录音盲估计10频带的T60、DRR、C50，性能显著优于现有单通道方法及CNN、CRNN后端。
2025-01-13 cs.LG cs.SD eess.AS
Residual Learning for Neural Ambisonics Encoders
Reality Labs Research, Meta, WA 98052, USA（Meta现实实验室研究部）；Chalmers University of Technology, 412 96 Gothenburg, Sweden（挑战者技术大学）；Stony Brook University, NY 11794, USA（石溪大学）
本文提出了一种残差学习框架，通过结合神经网络和线性编码器改进立体声音频编码，提升编码精度和鲁棒性。
2026-01-26 cs.SD eess.AS
Direction of arrival estimation for multiple sound sources using convolutional recurrent neural network
Tampere University of Technology（坦佩雷理工大学）；Aalto University（阿尔托大学）
提出了一种用于多声源波达方向估计的深度神经网络。所提出的堆叠卷积和循环神经网络（DOAnet）生成空间伪谱（SPS）以及方位角和仰角的DOA估计。我们避免任何显式的特征提取步骤，通过使用所有通道的频谱图的幅度和相位作为网络的输入。建议的波达方向网进行评估，通过估计多个同时存在的源在消声，匹配和不匹配的混响条件下的波达方向。实验结果表明，该算法能够较好地估计出信源个数和波达方向，并产生较高信噪比的SPS。
2018-08-05 cs.LG cs.SD eess.AS
Multizone sound field reproduction with direction-of-arrival-distribution-based regularization and its application to binaural-centered mode-matching
Graduate School of Engineering, Kyoto University（京都大学工学研究科）；Research and Development Division, Yamaha Corporation（雅马哈公司研发部门）
本文提出基于到达方向分布的正则化方法，用于多区域声场重现及双耳中心模式匹配，通过抑制非目标方向次级源增益，提升远离中心区域的再现精度。
2025-02-22 cs.SD eess.AS
Sound source detection, localization and classification using consecutive ensemble of CRNN models
Samsung R&D Institute Poland（三星波兰研发研究院）
在本文中，我们描述了DCASE 2019任务3：声音事件定位和检测（SELD）的方法。我们使用四个CRNN SELDnet类似的单输出模型，以连续的方式运行，以恢复发生事件的所有可能的信息。我们将SELD任务分解为估计活动源的数量，估计单个源的到达波达方向，估计第二个源的到达波达方向，其中第一个源的方向是已知的，以及多标签分类任务。我们使用定制的连续集成来预测事件的开始，偏移，到达波达方向和类。在TAU Spatial Sound Events 2019 - Ambisonic上对所提出的方法进行了评估，并与其他参与者的提交进行了比较。
2019-09-05 cs.LG cs.SD eess.AS
Regression and Classification for Direction-of-Arrival Estimation with Convolutional Recurrent Neural Networks
University of Maryland（马里兰大学）
我们提出了一种新的基于学习的方法来估计到达方向（DOA）的声源使用卷积递归神经网络（CRNN）训练通过回归合成数据和笛卡尔标签。我们还描述了一种改进的方法来生成合成数据，以训练的神经网络使用国家的最先进的声音传播算法，模型镜面以及漫反射的声音。我们将我们的模型与使用同一问题的不同公式训练的其他三个CRNN进行比较：分类标签上的分类和球坐标标签上的回归。在实践中，我们的模型实现了高达43%的角度误差比以前的方法减少。与基于图像源方法的先前方法相比，使用漫反射导致LOCATA和SOFA数据集的角度预测误差分别减少34%和41%。我们的方法比使用基于分类的网络的先前方案额外减少了3%的错误，并且我们使用的网络参数减少了36%。
2019-07-10 cs.LG cs.SD eess.AS
Neural Sound Field Decomposition with Super-resolution of Sound Direction
ByteDance（字节跳动）；University of Surrey（萨里大学）；University of Technology Sydney（悉尼科技大学）；Tencent AI Lab（腾讯人工智能实验室）
声场分解使用来自有限数量的麦克风的信号作为输入来预测任意方向上的波形。声场分解是下游任务的基础，包括源定位、声源分离和空间音频再现。诸如高保真度立体声响复制的常规声场分解方法具有有限的空间分解分辨率。本文提出了一种基于学习的神经声场分解（NeSD）框架，允许声场分解具有良好的空间方向分辨率，使用来自任意位置的几个麦克风的麦克风胶囊的录音。NeSD系统的输入包括麦克风信号、麦克风位置和查询方向。NeSD的输出包括波形和查询位置的存在概率。我们分别用不同的神经网络对NeSD系统进行建模，包括全连接、时滞和递归神经网络。我们表明，NeSD系统在语音，音乐和声音事件数据集的声场分解和源定位方面优于传统的Ambisonics和DOANet方法。演示可在https://www.youtube.com/watch?上获得v=0GIr6doj3BQ。
2022-10-22 cs.SD eess.AS
Multichannel Sound Event Detection Using 3D Convolutional Neural Networks for Learning Inter-channel Features
Tampere University of Technology（坦佩雷理工大学）；Aalto University（阿尔托大学）
在本文中，我们提出了一个堆叠的卷积和递归神经网络（CRNN）与三维卷积神经网络（CNN）在第一层的多通道声音事件检测（SED）任务。3D CNN使网络能够从输入的多声道音频中同时学习声道间和声道内特征。为了评估所提出的方法，多声道音频数据集与不同数量的重叠声源合成。每个数据集都有一个四声道一阶Ambisonic，双耳和单声道版本，使用所提出的方法比较SED的性能，以研究使用多声道音频的SED的潜力。还对真实录音TUT-SED 2017开发数据集的双耳和单通道版本进行了类似的研究。所提出的方法可以更快地从多通道特征中识别重叠的声音事件，并且使用更少的训练时期来执行更好的SED。结果表明，在使用多声道高保真音频代替单声道音频时，我们将总体F分数提高了7.5%，总体出错率提高了10%，并且在具有四个重叠声源的时间帧中识别出15.6%以上的声音事件。
2018-01-29 cs.LG cs.SD eess.AS
A General Network Architecture for Sound Event Localization and Detection Using Transfer Learning and Recurrent Neural Network
复调声音事件检测和定位（SELD）任务具有挑战性，因为难以在同一网络中联合优化声音事件检测（SED）和到达方向（DOA）估计。我们提出了一个通用的网络架构SELD中的SELD网络包括子网络，预先训练，以解决SED和DOA估计独立，和一个经常性的层，结合成SELD输出的SED和DOA估计输出。递归层在声音事件的声音类别和DOA之间进行对齐，同时不知道这些输出是如何由上游SED和DOA估计算法产生的。这种简单的网络结构是兼容不同的现有的SED和DOA估计算法。由于子网络可以独立改进，因此具有很高的实用性。使用DCASE 2020 SELD数据集的实验结果表明，我们提出的网络架构，使用不同的SED和DOA估计算法和不同的音频格式的性能与其他国家的最先进的SELD算法具有竞争力。SELD网络架构的源代码可以在Github上找到。
2020-11-16 eess.AS
Sound Event Localization and Detection of Overlapping Sources Using Convolutional Recurrent Neural Networks
Tampere University of Technology（坦佩雷理工大学）；Aalto University（阿尔托大学）
在本文中，我们提出了一个卷积递归神经网络的联合声音事件定位和检测（SELD）的多个重叠的声音事件在三维（3D）空间。该网络以连续的频谱图时间帧序列作为输入，并将其并行映射到两个输出。作为第一输出，在每个时间帧上执行声音事件检测（SED）作为多标签分类任务，从而为所有声音事件类别产生时间活动。作为第二输出，通过使用多输出回归估计每个声音事件类的到达方向（DOA）的3D笛卡尔坐标来执行定位。所提出的方法能够将多个DOA与相应的声音事件标签相关联，并且进一步跟踪关于时间的这种关联。所提出的方法分别使用在每个音频通道上计算的频谱图的相位和幅度分量作为特征，从而避免任何方法和阵列特定的特征提取。该方法进行了评估五个高保真度和两个圆形阵列格式的数据集与不同的重叠的声音事件在消声，混响和现实生活中的场景。该方法与两个SED，三个DOA估计，和一个SELD基线进行了比较。结果表明，该方法具有通用性，适用于任何阵列结构，对未知DOA值、混响和低信噪比情况具有鲁棒性。与最佳基线相比，所提出的方法实现了跨数据集的DOA估计数量的一致更高的召回率。此外，对于更多数量的重叠声音事件，观察到该回忆显著优于最佳基线方法。
2018-12-17 cs.SD eess.AS
Improved feature extraction for CRNN-based multiple sound source localization
Orange Labs（Orange实验室）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；GIPSA-lab（GIPSA实验室）
在这项工作中，我们建议扩展一个国家的最先进的多源定位系统的基础上的卷积递归神经网络和高保真度立体声信号。我们通过改变卷积层和池化层之间的布局，显著提高了基线网络的性能。我们提出了几种配置，其中包含更多的卷积层和更小的池大小，以便在层之间丢失更少的信息，从而获得更好的特征提取。同时，我们测试了系统定位多达3个源的能力，在这种情况下，改进的特征提取提供了最显着的提高准确性。我们评估和比较这些改进的配置合成和真实世界的数据。所得结果显示，与基线网络相比，多声源定位性能有了相当大的改善。
2021-05-05 cs.SD eess.AS
Improving trajectory localization accuracy via direction-of-arrival derivative estimation
IIIT Hyderabad（海得拉巴国际信息技术学院）；Queen Mary University of London（伦敦玛丽女王大学）
声源定位在声学传感和监测相关应用中至关重要。在本文中，我们做了一个全面的分析，改善声源定位相结合的波达方向（DOA）及其衍生物，量化的变化，随着时间的推移，在源的位置。本研究使用SALSA-Lite功能和卷积递归神经网络（CRNN）模型来预测DOA及其一阶导数。引入一个更新规则，将预测的DOA与估计的导数相结合，以获得最终的DOA。使用TAU-NIGENS空间声音事件（TNSSE）2021数据集进行实验验证。我们比较了在低信噪比水平下，用导数预测波达方向的网络与只预测波达方向的网络的性能。结果表明，将导数与波达方向相结合可以提高运动源的定位精度。
2022-12-10 cs.SD eess.AS
Sound event localization and detection based on crnn using rectangular filters and channel rotation data augmentation
Universitat Pompeu Fabra（庞培法布拉大学）；Dolby Iberia, SL（杜比伊比利亚有限公司）；Eurecat, Centre Tecnologic de Catalunya（Eurecat，加泰罗尼亚技术中心）
本文提出基于CRNN和矩形滤波器的声音事件定位与检测系统，通过通道旋转数据增强提升性能，在DCASE 2020任务3中显著优于基线。
2020-10-13 cs.SD eess.AS
Predictive Directional Selective Fixed-Filter Active Noise Control for Moving Sources via a Convolutional Recurrent Neural Network
Nanyang Technological University（南洋理工大学）；Northwestern Polytechnical University（西北工业大学）
本文提出PD-SFANC方法，利用CRNN捕捉移动噪声的隐含时间动态并预测控制滤波器，提升对移动源噪声的跟踪和抑制性能。
2026-04-25 eess.AS eess.SP
Mixture-of-Experts Framework for Field-of-View Enhanced Signal-Dependent Binauralization of Moving Talkers
Stony Brook University（史泰森布鲁克大学）；Chalmers University of Technology（挑战大学）；Reality Labs Research, Meta（现实实验室研究，Meta）
本文提出一种专家混合框架，用于增强双耳信号匹配中的视野，通过动态空间音频渲染适应连续说话者运动，实现对选定方向声音的强调或抑制，同时保留自然双耳线索。
2025-09-25 cs.SD eess.AS stat.ML
DBNET: DOA-driven beamforming network for end-to-end farfield sound source separation
Microsoft Corporation（微软公司）；University of Oldenburg（奥尔登堡大学）
许多深度学习技术可用于执行源分离并减少背景噪声。然而，设计使用深度学习和传统声学信号处理技术的端到端多通道源分离方法仍然具有挑战性。在本文中，我们提出了一个方向的到来驱动的波束形成网络（DBnet）的到来方向（DOA）估计和波束形成层组成的端到端的源分离。我们建议使用损失函数来训练DBnet，该损失函数仅基于分离的语音信号和目标语音信号之间的距离，而不需要扬声器的地面实况DOA。为了提高源分离性能，我们还提出了端到端的扩展DBnet，其中包括后掩蔽网络。我们评估了建议的DBnet及其扩展在一个非常具有挑战性的数据集，针对现实的远场声源分离混响和嘈杂的环境。实验结果表明，提出的扩展DBnet使用卷积递归后掩蔽网络优于国家的最先进的源分离方法。
2020-10-22 cs.AI eess.AS eess.SP
All Neural Low-latency Directional Speech Extraction
Meta Platforms Inc.（元平台公司）
本文提出一种全神经低延迟定向语音提取模型，通过从零训练DOA嵌入并与循环神经网络融合，实现高帧率下对动态声学场景的快速适应和鲁棒提取。
2024-07-05 cs.SD eess.AS
Localizing Spatial Information in Neural Spatiospectral Filters
Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）
本文以COSPA为例研究神经空间谱滤波器如何表示空间信息，发现其空间信息由同时访问所有通道的GRU层特征表示，且仅依赖于波达方向。
2023-07-03 cs.SD eess.AS
Multi-Tones' Phase Coding (MTPC) of Interaural Time Difference by Spiking Neural Network
受哺乳动物的听觉定位通路的启发，在本文中，我们提出了一个纯粹的尖峰神经网络（SNN）为基础的计算模型，在嘈杂的现实世界的环境中精确的声音定位，并实现该算法在实时机器人系统与麦克风阵列。该模型的关键是MTPC方案，该方案将耳间时间差（ITD）线索编码成锋电位模式。该方案自然地遵循人类听觉定位系统的功能结构，而不是人为地计算到达时间差。此外，它突出了SNN的优势，如事件驱动和电源效率。MTPC采用卷积SNN和递归SNN两种不同的SNN结构进行流水线处理，显示了对各种SNN的适用性。在具有噪声、障碍物、反射或其他影响的真实世界环境中，通过麦克风收集的位置相关声学数据来评估该提议。实验结果表明，平均误差为1~3度，这超过了其他生物合理的声源定位的神经形态方法的准确性。
2020-07-07 cs.NE cs.SD eess.AS
Learning Deep Direct-Path Relative Transfer Function for Binaural Sound Source Localization
Peking University（北京大学）；Westlake University（西湖大学）；Westlake Institute for Advanced Study（西湖高等研究院）
直接路径相对传递函数（DP-RTF）是指两个麦克风通道的直接路径声学传递函数之间的比率。虽然DP-RTF完全编码的声音空间线索，并作为一个可靠的定位功能，它往往是错误的估计存在噪声和混响。本文提出了用深度神经网络学习DP-RTF，以实现鲁棒的双耳声源定位。DP-RTF学习网络被设计为将双耳传感器信号回归到DP-RTF的实值表示。它由分别提取通道间幅度和相位模式的分支卷积神经网络模块和用于联合特征学习的卷积循环神经网络模块组成。为了更好地探索语音频谱，以帮助DP-RTF估计，单声道语音增强网络被用来恢复直接路径频谱图从噪声的。增强的频谱图被堆叠到有噪声的频谱图上，作为DP-RTF学习网络的输入。我们训练一个独特的DP-RTF学习网络，使用许多不同的双耳阵列，使DP-RTF学习跨阵列的推广。该方法避免了耗时的训练数据收集和网络重新训练新阵列的过程，具有很好的实际应用价值。仿真和实际数据的实验结果表明，该方法在噪声和混响环境中对波达方向（DOA）估计是有效的，并且对未知双耳阵列具有良好的泛化能力。
2022-02-16 cs.SD eess.AS
A Review on Sound Source Localization in Robotics: Focusing on Deep Learning Methods
Department of Management, Economics and Industrial Engineering, Politecnico di Milano, Via Lambruschini 24/b, 20156, Milan, Italy（管理、经济与工业工程系，米兰理工学院）；Department of Materials and Mechanical Engineering, University of Turku, Vesilinnantie 5, Turku, 20014, Finland（材料与机械工程系，图尔库大学）；Department of Electrical and Computer Engineering, University of Victoria, Victoria, BC V8P 5C2, Canada（电气与计算机工程系，维多利亚大学）
本文综述机器人声源定位，梳理经典方法与CNN、CRNN及注意力架构等深度学习进展，并按机器人类型和应用分类，指出鲁棒性、多声源与数据训练等挑战及未来路线。
2025-07-01 cs.LG cs.RO cs.SD
Learning Delays in Spiking Neural Networks using Dilated Convolutions with Learnable Spacings
CerCo UMR 5549（塞尔科UMR 5549机构）；CNRS（法国国家科学研究中心）；Université de Toulouse（图卢兹大学）；Artificial and Natural Intelligence Toulouse Institute (ANITI)（图卢兹人工与自然智能研究所）
本文提出用DCLS在深度前馈SNN中联合学习突触延迟与权重，并在SHD、SSC和GSC上以更少参数、无循环连接达到最先进性能。
2023-12-01 cs.AI cs.LG cs.NE
