Sound field estimation with moving microphones using kernel ridge regression
KU Leuven(荷语鲁汶大学);Bang & Olufsen(邦与欧福森);National Institute of Informatics(日本情报学研究所)
本文提出基于核岭回归的移动麦克风声场估计方法,利用离散傅里叶变换与Herglotz波函数建模并引入先验正则化,同时提出随机傅里叶特征近似以降低计算成本,在仿真和真实数据上验证了方向加权对估计精度的改善。
2025-09-19 eess.AS eess.SP
DynamicSound simulator for simulating moving sources and microphone arrays
Politecnico di Torino(都灵理工大学);University of California, Irvine(加州大学尔湾分校)
DynamicSound 是一个开源声学模拟框架,可生成多通道音频,支持移动声源和麦克风阵列,用于开发和评估现代空间音频与声源定位算法。
2026-01-21 eess.AS
Lightweight and Optimized Sound Source Localization and Tracking Methods for Open and Closed Microphone Array Configurations
Université de Sherbrooke(舍布鲁克大学);Interdisciplinary Institute for Technological Innovation (3IT)(跨学科技术创新研究所(3IT))
自然环境中的人机交互需要过滤掉环境中的不同声音源。这种能力通常涉及使用麦克风阵列在线定位、跟踪和分离声源。多麦克风信号处理技术可以提高对噪声的鲁棒性,但是处理成本随着所使用的麦克风的数量而增加,限制了响应时间并且在不同类型的移动机器人上广泛使用。由于声源定位方法在计算资源方面是最昂贵的,因为它们涉及扫描大的3D空间,因此最小化所需的计算量将有助于它们在机器人上的实现和使用。机器人的形状也对麦克风阵列的几何形状和配置带来了约束。此外,声源定位方法通常返回噪声特征,这些噪声特征需要通过跟踪声源来进行平滑和滤波。本文提出了一种新的声源定位方法,称为SRP-PHAT-HDA,扫描空间与粗和细分辨率网格,以减少内存查找的数量。麦克风方向性模型用于减少要扫描的方向的数量并且忽略不重要的麦克风对。还介绍了一种配置方法来自动设置通常根据麦克风阵列的形状经验调谐的参数。对于声源跟踪,本文提出了一种改进的三维卡尔曼(M3 K)方法,能够同时跟踪三维声源的方向。使用16个麦克风阵列和低成本硬件,结果表明,SRP-PHAT-HSA和M3 K执行至少与其他声源定位和跟踪方法一样好,同时分别使用高达4倍和30倍的计算资源。
2018-12-01 cs.SD eess.AS
3D Localization of a Sound Source Using Mobile Microphone Arrays Referenced by SLAM
Université de Sherbrooke(舍布鲁克大学)
麦克风阵列可以为移动机器人提供在2D中定位、跟踪和分离远处声源的能力,即,估计它们的相对仰角和方位角。为了在现实世界中将声学数据与视觉信息相结合,必须建立空间相关性。本文探讨的方法包括两个机器人,每个机器人都配备了麦克风阵列,使用SLAM在共享的参考地图中定位自己。基于它们的位置,来自麦克风阵列的数据被用于在3D中相对于同一地图对声源的位置进行三角测量。这种策略的结果在一个新的合作声音映射方法,使用移动麦克风阵列。使用两个移动机器人定位静态或移动声源进行试验,以检查在哪些条件下这是可能的。结果表明,当两个机器人之间的相对角度为30度以上的静态声源,而误差在0.3米以下的角度在40度和140度之间的观察与移动声源。
2020-07-21 cs.SD eess.AS
End-to-end Two-dimensional Sound Source Localization With Ad-hoc Microphone Arrays
Northwestern Polytechnical University(西北工业大学)
传统的声源定位方法大多基于由多个麦克风组成的单个麦克风阵列。它们通常被公式化为到达波达方向的估计问题。在本文中,我们提出了一种基于深度学习的ad-hoc麦克风阵列端到端声源定位方法,其中ad-hoc麦克风阵列是一组相互协作的随机分布的麦克风阵列。它可以产生扬声器的二维位置,每个节点只有一个麦克风。具体来说,我们将目标室内空间划分为多个局部区域。我们用独热码对每个局部区域进行编码,因此,节点和说话人的位置都可以用独热码来表示。因此,声源定位问题被公式化为这样的分类任务,即在给定麦克风节点的独热码及其语音记录的情况下识别说话者的独热码。为分类问题设计了一个端到端的时空深度模型。它采用了一种时空注意力架构,在架构中间插入了一个融合层,能够在模型训练和测试期间处理任意不同数量的麦克风节点。实验结果表明,该方法在强混响和噪声环境中具有良好的性能。
2022-10-16 cs.SD eess.AS
Spatial sampling and beamforming for spherical microphone arrays
本文综述球形麦克风阵列的空间采样与波束成形研究进展,涵盖适配多类阵列配置的采样成果及从经典到球谐域优化的各类波束成形方法。
2023-10-06 eess.AS
Phased Microphone Array for Sound Source Localization with Deep Learning
Shanghai Jiao Tong University(上海交通大学);Shanghai KeyGo Technology Company Limited(上海开构科技有限公司)
对于相控麦克风阵列声源定位来说,兼顾高计算效率和高精度的算法是一个执着的追求。本文将卷积神经网络(CNN)作为一种新的深度学习算法进行了初步应用。在高频下,CNN可以在与传统波束形成一样短的非常短的时间内以与DAMAS一样好的优异空间分辨率重建声音定位。这一令人兴奋的结果意味着CNN可以在不预先给定传播函数的情况下直接从互谱矩阵中完美地找到源分布,因此CNN值得作为一种新的算法进一步探索。
2018-02-13 cs.SD eess.AS
Circumvent spherical Bessel function nulls for open sphere microphone arrays with physics informed neural network
本文提出利用物理信息神经网络(PINN)对开放球麦克风阵列的测量进行建模并预测不同半径球面的声场,从而克服球贝塞尔函数零点问题,有效获取原本难以直接测得的声场系数。
2023-08-01 eess.AS
Graph neural networks for sound source localization on distributed microphone networks
Department of Electrical and Electronic Engineering, Imperial College London(伦敦帝国理工学院电气与电子工程系)
针对分布式麦克风阵列需处理可变输入通道的挑战,提出基于Relation Network GNN的声源定位方法,实验证明其显著优于经典基线。
2023-06-28 cs.SD eess.AS
Multiple Sound Source Localization with SVD-PHAT
本文介绍了一种改进的奇异值分解相位变换(SVD-PHAT)定位多声源。这项工作的目的是提高定位精度,并保持算法的复杂度低的实时应用。该方法依赖于搜索空间的多次扫描,将每个低维观测投影到正交子空间上。我们表明,这种方法定位多个声源比离散SRP-PHAT更准确,减少均方根误差高达0.0395弧度。
2019-06-27 eess.AS eess.SP
Neural Sound Field Decomposition with Super-resolution of Sound Direction
ByteDance(字节跳动);University of Surrey(萨里大学);University of Technology Sydney(悉尼科技大学);Tencent AI Lab(腾讯人工智能实验室)
声场分解使用来自有限数量的麦克风的信号作为输入来预测任意方向上的波形。声场分解是下游任务的基础,包括源定位、声源分离和空间音频再现。诸如高保真度立体声响复制的常规声场分解方法具有有限的空间分解分辨率。本文提出了一种基于学习的神经声场分解(NeSD)框架,允许声场分解具有良好的空间方向分辨率,使用来自任意位置的几个麦克风的麦克风胶囊的录音。NeSD系统的输入包括麦克风信号、麦克风位置和查询方向。NeSD的输出包括波形和查询位置的存在概率。我们分别用不同的神经网络对NeSD系统进行建模,包括全连接、时滞和递归神经网络。我们表明,NeSD系统在语音,音乐和声音事件数据集的声场分解和源定位方面优于传统的Ambisonics和DOANet方法。演示可在https://www.youtube.com/watch?上获得v=0GIr6doj3BQ。
2022-10-22 cs.SD eess.AS
Single-Microphone-Based Sound Source Localization for Mobile Robots in Reverberant Environments
针对现有声源定位依赖多麦克风阵列的问题,提出一种基于移动机器人单麦克风的在线定位方法,利用43k参数轻量网络估计距离并经扩展卡尔曼滤波实现定位,实验验证有效并开源。
2025-06-19 cs.RO cs.SD eess.AS
Binaural Audio Source Remixing with Microphone Array Listening Devices
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
增强听力设备,如助听器和增强现实耳机,通过改变我们听到的声音来增强人类的感知。麦克风阵列可以提高听音系统在嘈杂环境中的性能,但大多数基于阵列的听音系统被设计为从混合声中隔离单个声源。这项工作认为,源重新混合过滤器,改变每个源的相对水平独立。重新混合而不是分离声音可以帮助提高感知透明度:它对信号频谱造成的失真较小,特别是对人类用于在空间中定位声音的耳间线索造成的失真较小。
2020-04-24 cs.SD eess.AS
6DoF SELD: Sound Event Localization and Detection Using Microphones and Motion Tracking Sensors on self-motioning human
NTT Corporation(NTT公司)
本文面向运动人体的可穿戴SELD任务,构建首个考虑麦克风6DoF自主运动的数据集,并提出融合音频与运动追踪信号的多模态系统,以条件化声学特征提升定位检测性能。
2024-03-04 cs.SD eess.AS
Sound Localization and Separation in Three-dimensional Space Using a Single Microphone with a Metamaterial Enclosure
Institute of Acoustics, Chinese Academy of Sciences(中国科学院声学研究所);University of Chinese Academy of Sciences(中国科学院大学)
传统的声音定位和分离方法是基于人工系统中的麦克风阵列。受人类听觉系统选择性感知的启发,我们设计了一个多源听音系统,它可以分离同时重叠的声音,并定位在三维空间中的声源,只有一个麦克风与超材料外壳。外壳通过向每个方向提供签名,以方向相关的方式修改麦克风的频率响应。因此,关于声源的位置和音频内容的信息可以使用压缩感知算法从调制的混合信号中实验性地重建。由于所提出的重建算法的低计算复杂性,所设计的系统也可以应用于源识别和跟踪。通过多次随机收听测试,证明了该系统在多种真实场景下的有效性。基于超材料的单传感器听觉系统为声音定位和分离开辟了一条新的途径,可应用于智能场景监控和机器人听觉。
2019-11-07 cs.SD eess.AS physics.app-ph
SVD-PHAT: A Fast Sound Source Localization Method
Massachusetts Institute of Technology(麻省理工学院)
本文介绍了一种新的定位方法SVD-PHAT。SVD-PHAT方法依赖于SRP-PHAT投影矩阵的奇异值分解。还提出了一种k-d树,以加快搜索最可能的声音到达波达方向。我们表明,这种方法的准确执行SRP-PHAT,同时显着减少所需的计算量。
2019-02-11 cs.SD eess.AS eess.SP
Wearable SELD dataset: Dataset for sound event localization and detection using wearable devices around head
Waseda University(早稻田大学);NTT Corporation(日本电信电话公司)
声音事件定位与检测(SELD)是识别声音事件及其方向的组合任务。利用深度神经网络(DNN)将它们与麦克风阵列观察到的声音信号相关联。虽然立体声麦克风在SELD的文献中很受欢迎,但由于其预定的几何形状,它们可能会限制应用范围。某些应用(包括在步行时执行SELD的行人)需要可穿戴麦克风阵列,其几何形状可以设计为适合任务。在本文中,这样一个可穿戴SELD的发展,我们提出了一个名为可穿戴SELD数据集的数据集。它由放置在头部和躯干模拟器(HATS)上的24个麦克风记录的数据组成,其中一些配件模仿可穿戴设备(眼镜,耳机和耳机)。我们还提供了SELD的实验结果,使用建议的数据集和SELDNet调查麦克风配置的效果。
2022-02-17 cs.SD eess.AS
A circular microphone array with virtual microphones based on acoustics-informed neural networks
University of Technology Sydney(悉尼科技大学)
本文提出在圆形麦克风阵列中引入虚拟麦克风,利用声学信息神经网络从物理麦克风声压预测虚拟麦克风声压,再联合设计波束形成器,从而在不增加物理硬件的情况下消除贝塞尔函数零点导致的性能下降并抑制高频空间混叠。
2024-02-24 cs.SD eess.AS
Multi-Sound-Source Localization Using Machine Learning for Small Autonomous Unmanned Vehicles with a Self-Rotating Bi-Microphone Array
New Mexico State University(新墨西哥州立大学)
摘要虽然基于视觉的定位技术已被广泛研究的小型自主无人驾驶车辆(SAUV),声源定位能力还没有完全启用SAUV。本文提出了两种新的方法SAUV执行三维(3D)多声源定位(MSSL)仅使用通道间的时间差(ICTD)信号产生的自旋转双麦克风阵列。所提出的两种方法基于两种机器学习技术,基于密度的空间聚类算法(DBSCAN)和随机采样一致性(RANSAC)算法,分别,其性能进行了测试和比较,在模拟和实验。结果表明,这两种方法都能够正确地识别声源的数量以及它们在混响环境中的3D方向。
2020-06-28 cs.RO cs.SD eess.AS
Theoretical Analysis of Quality of Conventional Beamforming for Phased Microphone Arrays
North Carolina State University(北卡罗来纳州立大学)
本文理论分析了1-D和2-D麦克风阵列的指向性响应,引入无量纲参数G标准化阵列抑制性能,并提出一种用于远场声源定位的等面积阵列设计,展现出更优的抑制性能。
2024-03-24 cs.SD eess.AS
Efficient and Microphone-Fault-Tolerant 3D Sound Source Localization
Department of Computer Science(计算机科学系);University of Oxford(牛津大学)
本文提出一种基于稀疏交叉注意力、预训练和自适应信号相干性度量的3D声源定位框架,实现低计算成本、少麦克风及抗故障定位,并支持多声源场景。
2026-09-09 cs.AI cs.LG cs.SD
An embedded multichannel sound acquisition system for drone audition
Queen Mary University of London(伦敦玛丽女王大学)
与使用单个麦克风相比,麦克风阵列技术可以提高无人机上的声学感测性能。然而,多通道声音采集系统在当前的商用无人机平台中不可用。为了鼓励无人机试听的研究,我们提出了一个嵌入式声音采集和记录系统,该系统具有八个麦克风和安装在四轴飞行器上的多通道录音机。除了同时在本地记录和存储来自多个麦克风的声音之外,嵌入式系统还可以无线连接到远程终端,以传输音频文件进行进一步处理。这将是为无人机试听创建完全嵌入式解决方案的第一阶段。我们展示了通过将最先进的无人机试听算法应用于嵌入式系统录制的声音而获得的实验结果。
2021-01-17 cs.SD eess.AS eess.SP
A data-driven two-microphone method for in-situ sound absorption measurements
Technical University of Munich(慕尼黑工业大学);KTH Royal Institute of Technology(瑞典皇家理工学院);Federal University of Santa Maria (UFSM)(圣玛丽亚联邦大学);Technical University of Denmark(丹麦技术大学);Siemens Industry Software NV(西门子工业软件公司);Norwegian University of Science and Technology(挪威科技大学)
本文提出一种数据驱动方法,利用一维卷积网络从双麦克风复值传递函数预测多孔材料吸声系数,并通过数值与实验验证其在原位条件下近似无限大样品的可靠性。
2025-02-06 cs.LG cs.SD eess.AS
Binaural rendering from microphone array signals of arbitrary geometry
The University of Tokyo(东京大学)
针对传统单球形麦克风阵列难以估计大范围声场的问题,提出基于无穷阶谐波分析的任意麦克风阵列双耳渲染方法,结合球面波分解考虑距离因素,实验验证其对听音位置变化鲁棒。
2021-09-15 cs.SD eess.AS
Spatial Analysis and Synthesis Methods: Subjective and Objective Evaluations Using Various Microphone Arrays in the Auralization of a Critical Listening Room
University of Huddersfield(哈德斯菲尔德大学);Genelec OY(吉力科技公司)
本文研究关键听音室可听化中多种声场合成方法的性能,分析渲染框架、DOA估计、阵列结构等因素的主客观影响,发现SDM与HO-SIRR空间保真度相近,高质量传声器可提升SDM音色保真度,BSDM存在时间伪影问题。
2024-01-26 cs.SD eess.AS
Cooperative Audio Source Separation and Enhancement Using Distributed Microphone Arrays and Wearable Devices
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
诸如助听器的增强听音设备通常在具有许多竞争声源的嘈杂和混响环境中表现不佳。大型分布式麦克风阵列可以提高性能,但来自远程麦克风的数据通常不能用于延迟受限的实时处理。我们提出了一个合作的音频源分离和增强系统,利用可穿戴式收听设备和其他麦克风阵列分布在一个房间。全分布式阵列用于分离声源并估计其统计量。每个收听设备使用这些统计数据来设计使用其自己的本地麦克风的实时双耳音频增强滤波器。该系统的实验证明,使用10个语音源和160个麦克风在一个大的,混响室。
2019-12-10 cs.SD eess.AS
Optimal model-based beamforming and independent steering for spherical loudspeaker arrays
针对球形扬声器阵列波束形成权值设计目标单一的问题,提出基于物理模型的最优波束形成框架,可在球谐域高效实现独立转向,实验验证了其有效性。
2023-10-06 eess.AS
Realtime Active Sound Source Localization for Unmanned Ground Robots Using a Self-Rotational Bi-Microphone Array
New Mexico State University(新墨西哥州立大学)
这项工作提出了一种新的技术,执行方向和距离定位的声源在三维(3D)空间中只使用耳间的时间差(ITD)的线索,由一个新开发的自旋转双麦克风机器人平台。在球坐标系下,采用状态空间模型建立系统动力学模型。状态空间模型的可观测性分析表明,当声源以$90$和$0$度的仰角放置时,系统是不可观测的。所提出的方法利用分别从3D和二维模型得到的方位角估计之间的差异来检查零度仰角条件,并使用多项式曲线拟合方法进一步估计仰角。此外,所提出的方法是能够检测$90$度海拔提取零ITD信号"埋"在噪声中。此外,通过首先旋转麦克风阵列以面向声源,然后将麦克风垂直于源-机器人向量移动固定步数的预定义距离来执行距离定位。麦克风阵列的集成旋转和平移运动仅使用ITD提示提供完整的定向和距离定位。一种新型的机器人平台,使用自旋转双麦克风阵列也开发了无人地面机器人进行声源定位。所提出的技术首先在模拟中进行了测试,然后在新开发的机器人平台上进行了验证。安装在KEMAR假人头上的麦克风收集的实验数据也被用来测试所提出的技术。所有的结果表明所提出的技术的有效性。
2018-04-10 cs.RO cs.SD eess.AS
Ambisonic Encoding of Signals From Equatorial Microphone Arrays
Chalmers University of Technology(查尔姆斯理工大学)
在(Ahrens等人,2021)基于沿着刚性球形挡板的赤道的压力传感器来计算声场的球谐(SH)表示。原始公式使用复值SH基函数。如果所捕获的声场的SH表示意图借助于实值音频信号存储在时域中,则这是不方便的,因为实值音频信号在立体混响的空间音频格式中是常见的。本文件总结了需要应用于来自(Ahrens等人,2021)来产生所捕获声场的立体混响表示,其与已建立的立体混响软件工具(如SPARTA和IEM插件套件)兼容。提供了实现此公式的示例MATLAB脚本。
2022-09-18 cs.SD eess.AS
Direction Estimation of Sound Sources Using Microphone Arrays and Signal Strength
Computer Science \& Engineering, Sabancı University, Faculty of Engineering;Robotics, University of Tehran, School of Electrical
本文提出一种基于三个驻极体麦克风的轻量级声音追踪方法,通过比较接收信号的平均功率推断声源方向,实现小于6度的定位误差和98%的精度,为安防、智能家居等领域提供低成本、易集成的定位解决方案。
2025-10-10 cs.SD cs.SY eess.AS
Direction of Arrival Estimation of Wide-band Signals with Planar Microphone Arrays
Stellenbosch University(斯泰伦博斯大学)
提出了一种利用平面传声器阵列实现宽带信号波达方向(DOA)估计的方法。我们的算法估计一个明确的DOA使用一个单一的平面阵列中的麦克风被放置在相当接近的距离,声源预计将在远场。该算法利用从阵列中的麦克风对获得的模糊DOA估计来确定整个阵列的无模糊DOA估计。所需的成对波达方向可以使用时间延迟估计(TDE)来计算,而时间延迟估计又可以使用互相关来计算,从而使该算法适用于宽带信号。不需要真正声源位置(SSL)的先验知识。仿真结果表明,该算法对输入数据中的噪声具有较好的鲁棒性。在输入DOA误差和输出DOA误差之间存在大约3:1的平均比率。移动声源的现场测试提供了DOA估计,标准偏差在20.4和15.2度之间。
2018-11-16 cs.SD eess.AS
Improved in-car sound pick-up using multichannel Wiener filter
针对车内多麦克风拾音受带宽等限制的处理难题,提出采用多通道维纳滤波器的双麦克风车内方案,经多噪声场景及头部移动影响测试,在语音质量提升上显著优于简单麦克风信号混合方案。
2025-06-11 eess.AS eess.SP
NEC: Speaker Selective Cancellation via Neural Enhanced Ultrasound Shadowing
Michigan State University(密歇根州立大学)
在本文中,我们提出了NEC(神经增强消除),一种防御机制,它可以防止未经授权的麦克风捕获目标扬声器的声音。与现有的基于加扰的音频消除方法相比,NEC可以选择性地从混合语音中去除目标说话人的语音,而不会对其他人造成干扰。具体来说,对于目标说话人,我们设计了一个深度神经网络(DNN)模型,从他/她的参考音频中提取高层次的说话人特定但与话语无关的语音特征。当麦克风正在录制时,DNN会生成阴影声音以实时消除目标语音。此外,我们将可听到的阴影声音调制到超声频率上,使其对人类不可闻。通过利用麦克风电路的非线性,麦克风可以准确地解码阴影声音以用于目标语音消除。我们在不同的设置中使用8个智能手机麦克风全面实施和评估NEC。结果表明,NEC有效地静音目标扬声器在麦克风,而不干扰其他用户的正常对话。
2022-07-12 cs.SD eess.AS
Delay-Performance Tradeoffs in Causal Microphone Array Processing
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
在诸如助听器信号处理之类的实时听力增强应用中,必须以不超过几毫秒的延迟来处理声音以使听者听起来自然。通过使用麦克风阵列在空间和时间上对声学信号进行滤波,收听设备可以以较低的延迟实现更好的性能。在这里,我们分析了因果多通道维纳滤波器的麦克风阵列降噪的延迟和平方误差性能之间的权衡。我们计算的延迟误差曲线在两种特殊情况下的精确表达式,并从现实世界的麦克风阵列录音的实验结果。我们发现,延迟性能特性是由信号的空间和时间相关结构决定的。
2018-07-31 cs.SD eess.AS
wav2pos: Sound Source Localization using Masked Autoencoders
Lund University(隆德大学);Arm(安谋科技);Sony(索尼);Tenstorrent
提出将3D声源定位建模为集合到集合回归,用多模态掩码自编码器处理音频和麦克风坐标,重建掩码坐标实现定位,支持任意麦克风数量及缺失数据,在模拟和真实室内录音上表现优异。
2024-08-28 cs.LG cs.SD eess.AS
A framework for diffuseness evaluation using a tight-frame microphone array configuration
Faculty of Design, Kyushu University(九州大学设计学院)
本文提出了一种基于紧框架麦克风阵列的扩散度评估方法,通过仿真和实验验证了其在不同阵列配置下的有效性,实现了高效且紧凑的声场方向和扩散度估计。
2026-02-04 eess.AS
Multi-modal Blind Source Separation with Microphones and Blinkies
Tokyo Metropolitan University(东京都立大学)
我们提出了一个盲声源分离算法,联合利用测量由传统的麦克风阵列和一个特设的低速率声功率传感器阵列称为binkies。虽然比麦克风提供更少的信息,但Blinkies在制造,同步和部署方面规避了麦克风阵列的一些困难。该算法是来自联合概率模型的麦克风和声功率测量。我们假设分离源服从时变球面高斯分布,并且非负功率测量空时矩阵具有低秩结构。我们发现,类似于独立向量分析和Itakura-Saito非负矩阵分解的交替更新降低了联合分布的负对数似然。通过数值实验验证了该算法的有效性。它的中值分离性能被发现是高达8 dB以上的独立向量分析,具有显着降低的变异性。
2019-04-04 cs.SD eess.AS
Sound Pressure Minimization at the Ear Drum for In-ear ANC Headphones using a Fixed Feedforward Remote Microphone Technique
University of Oldenburg(奥尔登堡大学);Jade Hochschule(Jade应用科学大学)
在本文中,我们考虑一个入耳式耳机配备了一个外部麦克风,并旨在通过一个固定的前馈ANC控制器,以尽量减少在鼓膜的声压。基于测量的声学路径来预测由外部源和耳机在鼓膜处产生的声压,针对不同的声场优化ANC控制器的FIR滤波器系数。由于扬声器和麦克风之间的声反馈路径,基于奈奎斯特稳定性准则的稳定性约束被引入。由于重新插入耳机和受试者内的变化的性能退化,通过同时优化控制器的几个测量重复的声学路径来解决。仿真表明,针对同侧激励优化的控制器产生至少-10 dB的衰减,该衰减从同侧DoA延伸到大约+45°和-65°。针对扩散场激励优化的控制器在同侧上的更宽范围的DoA(即+90°至-90°)上实现至少-10 dB的衰减。优化控制器的几个测量重复被证明是有效的,对性能下降,由于重新插入和受试者内的变化。
2021-05-14 cs.SD cs.SY eess.AS
IPDnet: A Universal Direct-Path IPD Estimation Network for Sound Source Localization
Zhejiang University(浙江大学);Westlake University(西湖大学);School of Engineering, Westlake University(西湖大学工程学院);Institute of Advanced Technology, Westlake Institute for Advanced Study(西湖高等研究院先进技术研究所)
本文提出 IPDnet,通过全频带/窄频带融合与多轨 DP-IPD 目标从阵列信号估计直达路径相位差,并支持可变麦克风阵列,实现鲁棒的多移动说话人定位。
2024-05-11 cs.SD eess.AS
Mobile Microphone Array Speech Detection and Localization in Diverse Everyday Environments
联合声音事件定位和检测(SELD)是将上下文感知开发到移动机器人,智能手机和家庭助理的通信接口中的一个组成部分。例如,用于移动电话上的视频捕获的自动音频聚焦需要对设备周围的相关声学事件及其方向的鲁棒检测。现有的SELD方法已经使用在受控室内环境中产生的材料进行了评估,或者通过将孤立的声音混合到不同的空间位置来模拟音频。本文研究SELD的语音在不同的日常环境中,其中的音频对应于典型的手持移动设备的使用场景。为了允许对定位与检测的相对重要性进行加权,我们将提出一个两阶段的分层系统,其中第一阶段是检测目标事件,第二阶段是定位它们。所提出的方法利用卷积递归神经网络(CRNN),并在各种声学条件下手动注释的麦克风阵列记录的数据库上进行评估。该阵列嵌入在当代移动电话的外形中。实验结果表明,该方法与非层次化的平面分类模型相比,具有较好的语音检测和定位精度。
2021-06-28 eess.AS
RTF-Based Binaural MVDR Beamformer Exploiting an External Microphone in a Diffuse Noise Field
除了抑制所有不期望的声源之外,用于听力设备的双耳降噪算法的重要目标是保留双耳线索,旨在保留声学场景的空间感知。众所周知的双耳降噪算法是双耳最小方差无失真响应波束形成器,其可以使用期望源的相对传递函数(RTF)向量来操纵,将期望源和所有麦克风之间的声学传递函数与参考麦克风相关联。在本文中,我们提出了一种计算效率高的方法来估计RTF矢量的扩散噪声场,需要一个额外的麦克风,在空间上分离的头戴式麦克风。假设头戴式麦克风信号和附加麦克风信号中的噪声分量之间的空间相干性为零,我们表明可以获得RTF向量的无偏估计。基于真实世界的录音,几个混响时间的实验结果表明,建议的RTF估计优于广泛使用的RTF估计的基础上,协方差白化和一个简单的有偏RTF估计的降噪和双耳线索保存性能。
2018-07-12 eess.AS
Anomalous Sound Detection Meets Noise-Aware Self-Supervised Learning
MERL(三菱电机研究中心)
本文提出NA-SSL模型,用于NA-ASD任务,在DCASE 2026挑战赛任务2数据集上,NA-BEATs系统以70.24%的官方得分大幅领先,验证了所提方法的有效性。
2026-09-22 eess.AS
Inference-Adaptive Neural Steering for Real-Time Area-Based Sound Source Separation
本文提出一种推理自适应神经转向技术,通过对麦克风信号施加相移,在无需重新训练DNN的情况下实时调整声源分离目标区域,其性能与针对新区域显式训练的DNN相当。
2024-08-23 eess.AS
Exterior sound field estimation based on physics-constrained kernel
Yamaha Corporation(雅马哈公司)
本文提出基于物理约束核的外部声场估计方法,通过高斯过程和可训练内积公式实现灵活估计,降低插值误差并提高重建一致性。
2026-02-05 eess.AS
SALSA-Lite: A Fast and Effective Feature for Polyphonic Sound Event Localization and Detection with Microphone Arrays
Nanyang Technological University (NTU)(南洋理工大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Queen Mary University of London(伦敦玛丽女王大学)
复音声事件定位与检测在声学传感与监测中有着广泛的应用。然而,实时SELD的发展一直受到最新的SELD系统的苛刻的计算要求的限制。在这项工作中,我们介绍了SALSA建兴,一个快速和有效的功能,复音SELD使用麦克风阵列输入。SALSA精简版是一个轻量级的变化,以前提出的SALSA功能的复调SELD。SALSA代表空间线索增强对数谱图,由多通道对数谱图组成,其与谱时对应的空间协方差矩阵的归一化主特征向量逐通道堆叠。与使用基于特征向量的空间特征的SALSA相比,SALSA-Lite使用归一化通道间相位差作为空间特征,与原始SALSA特征相比,允许30倍的加速。在TAU-NIGENS Spatial Sound Events 2021数据集上的实验结果表明,与完整的SALSA特征相比,SALSA-Lite特征实现了具有竞争力的性能,并且显著优于具有广义互相关谱的多通道对数梅尔谱图的传统特征集。具体而言,与使用具有广义互相关谱的多通道对数梅尔谱图相比,使用SALSA-Lite功能分别将定位相关的F1评分和类别相关的定位召回率提高了15%和5%。
2022-05-04 cs.SD eess.AS
Direction of Arrival with One Microphone, a few LEGOs, and Non-Negative Matrix Factorization
EPFL(洛桑联邦理工学院);ECE Illinois(伊利诺伊大学厄巴纳-香槟分校电气与计算机工程系)
传统的声源定位方法需要至少两个麦克风。然而,众所周知,单侧听力损失的人也可以定位声音。由于头部的散射,单耳定位是可能的,尽管它取决于学习各种源的频谱。我们从这种人类能力的启发,提出算法,准确的声源定位使用一个麦克风嵌入在一个任意的散射结构。该结构以方向相关的方式修改麦克风的频率响应,为每个方向提供签名。虽然知道这些签名足以定位白噪声源,但定位语音更具挑战性:这是一个不适定的逆问题,我们以学习的非负字典的形式通过先验知识进行正则化。我们展示了一个单声道语音定位算法的基础上,非负矩阵分解,不依赖于复杂的,设计的散射。事实上,我们展示了由乐高积木制成的特设散射体的实验结果。即使有了这些基本的结构,我们也可以准确地定位任何说话者;也就是说,我们不需要学习特定说话者的字典。最后,我们讨论了多源定位和我们的方法的相关限制。
2018-08-28 cs.SD eess.AS
GEV Beamforming Supported by DOA-based Masks Generated on Pairs of Microphones
远程语音处理是一项具有挑战性的任务,尤其是在处理鸡尾酒会效应时。因此,通常需要声源分离作为语音识别之前的预处理步骤,以提高信号失真比(SDR)。最近,已经提出了波束形成和语音分离网络的组合,以改善感兴趣的到达波达方向上的目标源质量。然而,使用这种类型的方法,神经网络需要针对特定的麦克风阵列几何形状预先进行训练,这限制了添加/移除麦克风或改变阵列形状时的通用性。本文提出的解决方案是训练一个神经网络上的麦克风对具有不同的间距和声环境条件,然后使用该网络来估计一个时频掩模从所有的麦克风对形成的阵列具有任意形状。利用该掩模,可以估计目标和噪声的协方差矩阵,然后用于执行广义特征值(GEV)波束形成。结果表明,所提出的方法将SDR从4.78 dB平均提高到7.69 dB,对于对应于商用硬件的各种麦克风阵列几何形状。
2020-08-05 eess.AS
Spheroidal Ambisonics: a Spatial Audio Framework Using Spheroidal Bases
University of Maryland(马里兰大学)
高保真度立体声响复制是一种基于其球谐表示来捕获、处理和再现空间声场的既定框架。我们提出了一个概括的传统球形立体混响的球形坐标系和球形麦克风阵列,它表示通过球形波函数的声场。这个框架被称为球面立体混响和制定的情况下,长椭球坐标。球形立体混响允许使用球形麦克风阵列对声场进行分析编码。此外,为了保证与现有的球形立体混响生态系统的兼容性,推导了从球形立体混响到球形立体混响的解析转换公式。数值实验验证了球面立体混响编码和转码时,用于空间声场记录。研究发现,从转码系数重建的声场具有准确重建的区域,该区域朝向长椭球麦克风阵列的长轴延伸。
2021-03-09 cs.SD eess.AS
Neural Directional Filtering Using a Compact Microphone Array
本文提出神经方向滤波方法,利用深度神经网络实现预设方向性模式的声学采集,克服传统波束成形器在紧凑阵列中的性能下降问题,实现频率不变的方向性模式和多样化的方向控制。
2026-03-23 eess.AS
Sound Source Distance Estimation in Diverse and Dynamic Acoustic Conditions
Courant Institute of Mathematical Sciences, New York University(纽约大学柯朗数学科学研究所);Music and Audio Research Lab, New York University(纽约大学音乐与音频研究实验室);Integrated Design and Media, New York University(纽约大学集成设计与媒体学院)
本文提出一种CRNN模型,首次证明可在多样声学条件下利用深度学习估计移动声源距离,并发现以真实距离反函数加权误差的损失函数能实现最优训练。
2023-09-17 cs.SD eess.AS
Beyond Omnidirectional: Neural Ambisonics Encoding for Arbitrary Microphone Directivity Patterns using Cross-Attention
Nokia(诺基亚);Tampere University(坦佩雷大学)
本文提出基于交叉注意力的神经Ambisonics编码方法,通过方向阵列转移函数提升对任意麦克风指向性模式的编码精度。
2026-01-30 eess.AS
Chewing Detection from Commercial Smart-glasses
自动饮食监测在过去几年中取得了显着进展,提供了各种解决方案,无论是在传感器和算法方面,还是在测量和监测饮食行为的哪些方面或参数方面。基于咀嚼声音的进食自动检测已经被广泛研究,然而,它需要将麦克风安装在受试者的头部上以捕获相关声音。在这项工作中,我们评估了使用现成的商业设备Razer Anzu智能眼镜进行自动咀嚼检测的可行性。智能眼镜配备了立体声扬声器和麦克风,通过蓝牙与智能手机通信。麦克风的位置不是最佳的捕捉咀嚼声,然而,我们发现,它并没有显着影响检测效果。我们从文献中应用一种算法,并对我们在内部收集的具有挑战性的数据集进行了一些调整。留一个主题的实验产生了有希望的结果,与F1得分为0.96的最佳情况下的持续时间为基础的评估吃饭的时间。
2022-08-11 eess.AS
SALSA: Spatial Cue-Augmented Log-Spectrogram Features for Polyphonic Sound Event Localization and Detection
Nanyang Technological University(南洋理工大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
声事件定位与检测(SELD)包括声事件检测和到达方向估计两个子任务。虽然声音事件检测主要依赖于时间-频率模式来区分不同的声音类别,但是到达方向估计使用麦克风之间的幅度和/或相位差来估计源方向。因此,通常很难联合优化这两个子任务。我们提出了一种新的功能称为空间线索增强对数频谱(SALSA)与信号功率和源方向线索之间的精确时频映射,这是至关重要的解决重叠的声源。SALSA特征由多通道对数谱图组成,该多通道对数谱图与空间协方差矩阵在每个对应的时间-频率箱处的归一化主特征向量一起堆叠。取决于麦克风阵列格式,主特征向量可以被不同地归一化以提取麦克风之间的幅度和/或相位差。因此,SALSA功能适用于不同的麦克风阵列格式,如一阶立体混响(FOA)和多通道麦克风阵列(MIC)。在具有方向干扰的TAU-NIGENS Spatial Sound Events 2021数据集上的实验结果表明,SALSA特征优于其他最先进的特征。具体而言,与具有强度向量的多通道对数梅尔频谱图相比,在FOA格式中使用SALSA特征将F1分数和定位召回率分别提高了6%。对于MIC格式,与使用具有广义互相关谱的多通道log-mel谱图相比,使用SALSA特征分别将F1分数和定位召回率提高了16%和7%。
2022-06-06 cs.SD eess.AS
Physics-Guided Variational Model for Unsupervised Sound Source Tracking
Eindhoven University of Technology(埃因霍温理工大学);NXP Semiconductors(恩智浦半导体)
本文提出了一种物理引导的变分模型,用于无监督单源声源跟踪,通过几何约束和时间延迟似然性提升估计精度,实验表明其在准确性和效率上优于传统方法。
2026-02-11 eess.AS