Completing Sets of Prototype Transfer Functions for Subspace-based Direction of Arrival Estimation of Multiple Speakers
Dept. of Medical Physics and Acoustics and Cluster of Excellence Hearing4all（医学物理与声学系和卓越计划Hearing4all）
本文提出通过补全原型转移函数集，利用子空间正交性实现部分校准麦克风阵列的多说话人DOA估计，实验显示其在噪声和混响环境中的准确性提升。
2025-01-13 cs.SD eess.AS eess.SP
Comparison of Frequency-Fusion Mechanisms for Binaural Direction-of-Arrival Estimation for Multiple Speakers
University of Oldenburg（奥尔登堡大学）；Cluster of Excellence Hearing4all（卓越听力4all研究中心）；Bar-Ilan University（巴伊兰大学）；Technical University of Liberec（利贝雷茨技术大学）
本文提出了一种基于双耳时间差的说话人分组频率融合机制，用于提高多说话人到达方向估计的准确性。
2024-01-15 cs.SD eess.AS eess.SP
Semi-supervised source localization in reverberant environments with deep generative modeling
University of California San Diego（加利福尼亚大学圣迭戈分校）；Bar-Ilan University（巴伊兰大学）；Technical University Denmark（丹麦技术大学）
提出了一种基于深度生成模型的混响环境下声源定位的半监督方法。混响环境中的定位仍然是一个开放的挑战。即使数据量很大，在混响环境中可用于监督学习的标签数量通常也很小。我们通过使用卷积变分自编码器（VAE）对麦克风阵列记录的混响语音信号进行半监督学习（SSL）来解决这个问题。VAE被训练以生成麦克风之间的相对传递函数（RTF）的相位，与基于RTF相位的到达波达方向（DOA）分类器并行。这些模型使用标记和未标记的RTF相位序列进行训练。在学习执行这些任务时，VAE-SSL明确地学习分离RTF阶段的物理原因（即，源位置）不受诸如噪声和语音活动的干扰信号特性的影响。相对于声学中现有的半监督定位方法，VAE-SSL是一种有效的端到端处理方法，其依赖于对RTF相位特征的最小预处理。据我们所知，我们的论文提出了第一种方法来建模的物理声学传播使用深生成建模。VAE-SSL方法与两种基于信号处理的方法进行了比较，这两种方法是相位变换的转向响应功率（SRP-PHAT）和多信号分类（MUSIC），以及完全监督的CNN。我们发现，VAE-SSL可以优于传统的方法和CNN在标签有限的情况下。此外，经过训练的VAE-SSL系统可以生成新的RTF相位样本，这表明VAE-SSL方法学习了声学环境的物理特性。因此，VAE-SSL中的生成建模提供了一种解释学习表示的方法。
2021-04-01 cs.LG cs.SD eess.AS
Spatial Analysis and Synthesis Methods: Subjective and Objective Evaluations Using Various Microphone Arrays in the Auralization of a Critical Listening Room
University of Huddersfield（哈德斯菲尔德大学）；Genelec OY（吉力科技公司）
本文研究关键听音室可听化中多种声场合成方法的性能，分析渲染框架、DOA估计、阵列结构等因素的主客观影响，发现SDM与HO-SIRR空间保真度相近，高质量传声器可提升SDM音色保真度，BSDM存在时间伪影问题。
2024-01-26 cs.SD eess.AS
Binaural sound source localization using a hybrid time and frequency domain model
Reichman University（赖希曼大学）；University of California, San Diego（加利福尼亚大学圣迭戈分校）；STMS, IRCAM - CNRS - Sorbonne Université - Ministère de la Culture（STMS，IRCAM - 法国国家科学研究中心 - 索邦大学 - 法国文化部）
本文提出一种基于HRTF的时频域混合深度学习模型，实现高精度全球面声源定位，平均角度误差仅0.24度，显著优于现有方法，可应用于机器人、虚拟现实及人工耳蜗辅助。
2024-02-06 cs.SD eess.AS
RTF-steered binaural MVDR beamforming incorporating multiple external microphones
University of Oldenburg（奥尔登堡大学）
双耳最小方差无失真响应（BMVDR）波束形成器是一种众所周知的降噪算法，可以使用所需语音源的相对传递函数（RTF）向量来控制。利用与头戴式麦克风空间分离的外部麦克风的可用性，最近已经提出了一种有效的方法来估计扩散噪声场中的RTF向量。当多个外部麦克风可用时，可以通过针对每个外部麦克风使用该方法来获得不同的RTF向量估计。在本文中，我们提出了几个程序来结合这些RTF矢量估计，无论是通过选择对应于最高输入SNR的估计，通过平均的估计或通过结合的估计，以最大限度地提高输出SNR的BMVDR波束形成器。在混响环境中的移动扬声器和扩散噪声的实验结果表明，输出SNR最大化组合产生最大的双耳SNR改善，也优于最先进的协方差白化方法。
2019-08-13 cs.SD eess.AS
Reverberant Sound Localization with a Robot Head Based on Direct-Path Relative Transfer Function
INRIA Grenoble Rhone-Alpes（法国国立信息学与自动化研究院格勒诺布尔罗讷-阿尔卑斯分院）；GIPSA-LAB（GIPSA实验室）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）
本文讨论了声源定位（SSL）与机器人头部，这仍然是一个挑战，在现实世界的环境中的问题。特别是，我们有兴趣在定位语音源，因为它们是高度感兴趣的人机交互。对应于直接路径声音传播的麦克风对响应是源方向的函数。在实践中，这种响应受到噪声和混响的污染。直接路径相对传递函数（DP-RTF）被定义为两个麦克风的直接路径声学传递函数（ATF）之间的比率，并且它是SSL的重要特征。我们提出了一种方法来估计DP-RTF从噪声和混响信号中的短时傅里叶变换（STFT）域。首先，采用卷积传递函数（CTF）近似来精确地表示麦克风阵列的冲激响应，并且CTF的第一系数主要由直达路径ATF组成。在每个频率下，通过谱减法获得逐帧语音的自功率谱密度和互功率谱密度（PSD）。然后将多帧语音的自功率谱密度和互功率谱密度构造成一组线性方程组，其中DP-RTF为未知量，通过求解该线性方程组进行估计。最后，估计的DP-RTF跨频率级联并用作SSL的特征向量。与机器人，放置在各种混响环境中的实验表明，该方法优于两个国家的最先进的方法。
2020-12-07 cs.RO cs.SD eess.AS
RTF-Based Binaural MVDR Beamformer Exploiting an External Microphone in a Diffuse Noise Field
除了抑制所有不期望的声源之外，用于听力设备的双耳降噪算法的重要目标是保留双耳线索，旨在保留声学场景的空间感知。众所周知的双耳降噪算法是双耳最小方差无失真响应波束形成器，其可以使用期望源的相对传递函数（RTF）向量来操纵，将期望源和所有麦克风之间的声学传递函数与参考麦克风相关联。在本文中，我们提出了一种计算效率高的方法来估计RTF矢量的扩散噪声场，需要一个额外的麦克风，在空间上分离的头戴式麦克风。假设头戴式麦克风信号和附加麦克风信号中的噪声分量之间的空间相干性为零，我们表明可以获得RTF向量的无偏估计。基于真实世界的录音，几个混响时间的实验结果表明，建议的RTF估计优于广泛使用的RTF估计的基础上，协方差白化和一个简单的有偏RTF估计的降噪和双耳线索保存性能。
2018-07-12 eess.AS
Enhanced Robot Speech Recognition Using Biomimetic Binaural Sound Source Localization
University of Hamburg（汉堡大学）
受人类在嘈杂环境中说话行为的启发，我们提出了一种嵌入式认知方法，以提高机器人在具有挑战性的环境中的自动语音识别（ASR）系统，如自我噪声，使用双耳声源定位（SSL）。通过测量具有人形机器人头部的SSL对ASR系统性能的影响来验证该方法。更具体地说，机器人在进行ASR任务之前，将自己定向到语音的信噪比（SNR）最大化的角度。首先，我们在前人工作的基础上，借鉴中脑听觉系统的思想，构造了一个脉冲神经网络来计算声音信号的角度。然后，使用前馈神经网络来处理信号中的高水平的自我噪声和混响。最后，声音信号被馈送到ASR系统。对于ASR，我们使用了我们小组开发的系统，并比较了它的性能与不支持SSL。我们在两个具有不同结构和材料特性的人形平台上测试我们的SSL和ASR系统。通过我们的方法，我们将两个通道的共同下混的句子出错率减半。令人惊讶的是，当人形头部和声源之间的角度允许声波从耳廓最强烈地反射到耳麦克风时，而不是当声波垂直于膜到达时，ASR性能好两倍以上。
2019-02-13 cs.HC cs.LG cs.NE
Circular Statistics-based low complexity DOA estimation for hearing aid application
Widex A/S（唯听公司）
所提出的基于圆极化的麦克风间相位差估计定位器（CIMPL）方法是针对每个单元中具有麦克风阵列的双耳助听器系统定制的。该方法利用不同麦克风对的麦克风间相位差（IPD）的圆形统计（圆形均值和圆形方差）。该方法首先通过方差加权线性拟合将这些IPD映射到时延，然后映射到方位波达方向（DoA），最后将不同麦克风对的信息进行组合。方差通过不同的变换进行，并作为估计角度的可靠性指标。所得到的角度和方差都被馈送到包裹的卡尔曼滤波器中，该滤波器提供DoA的平滑估计。与LOCATA挑战赛提供的基准方法相比，所提出的方法提高了单个移动源的跟踪角度的精度，并且运行速度快了约75倍。
2018-12-17 cs.SD eess.AS
Multi-Speaker DOA Estimation in Binaural Hearing Aids using Deep Learning and Speaker Count Fusion
School of Electrical Engineering and Computer Science, University of Ottawa, Canada（Ottawa大学电气与计算机科学学院, 加拿大）；Department of Electrical and Computer Engineering, Universite de Sherbrooke, Canada（Sherbrooke大学电气与计算机工程系, 加拿大）；WS Audiology, Germany（德国WS听觉学）
本文探讨了在双耳助听器中利用深度学习和说话人计数融合进行多说话人方向估计，通过双任务训练和源计数作为辅助特征提升方向估计性能，实验表明源计数作为辅助特征可使F1分数提高14%。
2026-04-29 cs.SD eess.AS
Bias Analysis of Spatial Coherence-Based RTF Vector Estimation for Acoustic Sensor Networks in a Diffuse Sound Field
University of Oldenburg（奥尔登堡大学）
本文对扩散声场中声学传感器网络基于空间相干性的RTF向量估计方法进行理论偏差分析，推导出仅依赖输入SNR的实值最优模型权重，并通过仿真验证了其与GEVD权重的一致性及实际估计误差的存在。
2023-04-06 cs.SD eess.AS eess.SP
BRUDEX Database: Binaural Room Impulse Responses with Uniformly Distributed External Microphones
University of Oldenburg, Department of Medical Physics and Acoustics and Cluster of Excellence Hearing4all（奥尔登堡大学医学物理与声学系及卓越中心Hearing4all）
BRUDEX数据库提供了一种包含36个均匀分布麦克风和12个声源位置的双耳房间脉冲响应数据集，用于多麦克风信号处理任务，如降噪和回声消除。
2023-06-14 cs.SD eess.AS eess.SP
Coherence-Based Frequency Subset Selection For Binaural RTF-Vector-Based Direction of Arrival Estimation for Multiple Speakers
本文将单说话人 RTF 厄米角 DOA 估计扩展为多说话人空间谱峰值定位，并证明基于双耳有效相干性的 CDR 频率子集选择性能最佳。
2022-05-18 eess.AS
Relative Transfer Function Estimation Exploiting Spatially Separated Microphones in a Diffuse Noise Field
University of Oldenburg（奥尔登堡大学）
许多多麦克风语音增强算法需要所需语音源的相对传递函数（RTF）向量，将所有阵列麦克风的声学传递函数与参考麦克风相关联。在本文中，我们提出了一种计算效率高的方法来估计RTF矢量在扩散噪声场，这需要一个额外的麦克风，在空间上分离的麦克风阵列，这样的麦克风阵列信号和额外的麦克风信号中的噪声分量之间的空间相干性是低的。假设这个空间相干性为零，我们表明，可以得到一个无偏估计的RTF向量。基于真实录音的实验结果表明，所提出的RTF估计器优于国家的最先进的估计器，只使用麦克风阵列信号的估计精度和降噪性能。
2018-07-12 cs.SD eess.AS
Binaural rendering from microphone array signals of arbitrary geometry
The University of Tokyo（东京大学）
针对传统单球形麦克风阵列难以估计大范围声场的问题，提出基于无穷阶谐波分析的任意麦克风阵列双耳渲染方法，结合球面波分解考虑距离因素，实验验证其对听音位置变化鲁棒。
2021-09-15 cs.SD eess.AS
Feasibility of iMagLS-BSM -- ILD Informed Binaural Signal Matching with Arbitrary Microphone Arrays
School of Electrical and Computer Engineering, Ben-Gurion University of the Negev（内盖夫本-古里安大学电气与计算机工程学院）；Reality Labs Research, Meta（Meta现实实验室研究部）
本文提出iMagLS-BSM方法，在双耳信号匹配的MagLS损失中引入ILD误差项，通过非线性规划优化，在保持幅度误差相当的同时显著降低ILD误差，提升任意麦克风阵列双耳重现的空间质量。
2024-08-07 cs.SD eess.AS
Interpretable Binaural Deep Beamforming Guided by Time-Varying Relative Transfer Function
Bar-Ilan University（巴伊兰大学）
本文提出了一种基于时变相对传输函数的双耳深度波束成形框架，用于动态目标说话人增强，通过深度神经网络学习波束成形权重并保持空间线索。
2026-02-17 eess.AS
Binaural Audio Source Remixing with Microphone Array Listening Devices
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
增强听力设备，如助听器和增强现实耳机，通过改变我们听到的声音来增强人类的感知。麦克风阵列可以提高听音系统在嘈杂环境中的性能，但大多数基于阵列的听音系统被设计为从混合声中隔离单个声源。这项工作认为，源重新混合过滤器，改变每个源的相对水平独立。重新混合而不是分离声音可以帮助提高感知透明度：它对信号频谱造成的失真较小，特别是对人类用于在空间中定位声音的耳间线索造成的失真较小。
2020-04-24 cs.SD eess.AS
BSM-iMagLS: ILD Informed Binaural Signal Matching for Reproduction with Head-Mounted Microphone Arrays
School of Electrical and Computer Engineering, Ben-Gurion University of the Negev（巴伊兰大学电气与计算机工程学院）；Reality Labs Research, Meta（Meta现实实验室）
提出BSM-iMagLS方法，通过引入ILD指导并结合DNN求解器实现幅度、ILD和幅度导数的联合优化，显著减少ILD误差并提升空间保真度，为穿戴式设备双耳重放提供新方案。
2025-06-25 cs.SD eess.AS
Ambisonics Encoding For Arbitrary Microphone Arrays Incorporating Residual Channels For Binaural Reproduction
针对任意麦克风阵列Ambisonics编码面临的不规则配置误差与空间分辨率有限问题，提出含完整导向函数的数学框架、通道编码精度预测指标及残差通道，仿真验证其可降低双耳误差。
2024-02-27 eess.AS
Neural Field-of-View for Binaural Signal Matching with Wearable Microphone Arrays
School of Electrical and Computer Engineering, Ben-Gurion University of the Negev（内盖夫本-古里安大学电气与计算机工程学院）
本文提出FoV-BSM-Net，一种基于卷积循环神经网络端到端学习视场参数的双耳信号匹配方法，无需显式声源定位，在模拟房间中显著提升双耳信号质量，尤其在高直达-混响比条件下。
2026-09-24 eess.AS
Ambisonics Encoder for Wearable Array with Improved Binaural Reproduction
本文提出一种联合 ASM 与 BSM 优化的增强 Ambisonics 编码器，通过重构损失函数提升可穿戴阵列编码信号经 HRTF 处理后的双耳重放精度，适用于 VR/AR 应用。
2025-07-05 eess.AS eess.SP
Design and Analysis of Binaural Signal Matching with Arbitrary Microphone Arrays and Listener Head Rotations
本文针对双耳信号匹配（BSM）在头部旋转下性能下降的问题，提出基于幅度最小二乘（MagLS）的扩展方法与设计框架，仿真和实验证明其能显著提升复杂声学环境与头部旋转下的双耳信号感知质量。
2025-04-29 eess.AS
Performance and Robustness of Signal-Dependent vs. Signal-Independent Binaural Signal Matching with Wearable Microphone Arrays
School of Electrical and Computer Engineering, Ben-Gurion University of the Negev（内盖夫本-古里安大学电气与计算机工程学院）
本文针对高 DRR 场景，数学分析、仿真并通过听感测试验证两种信号依赖型 BSM，证明其可显著改善声源方向性能且在方向估计失准时鲁棒退化为信号无关型 BSM。
2025-02-14 cs.SD eess.AS
Binaural Angular Separation Network
Google LLC（谷歌有限责任公司）
本文提出双耳角度分离网络，利用双麦克风的到达时间差线索在模拟房间脉冲响应上训练，实现不同角度区域的语音分离，无需真实RIR，且可实时部署于商用设备并优于此前三麦克风方案。
2024-01-16 cs.LG cs.SD eess.AS
SpatialNet with Binaural Loss Function for Correcting Binaural Signal Matching Outputs under Head Rotations
School of Electrical and Computer Engineering, Ben-Gurion University of the Negev（内盖夫本-古里安大学电气与计算机工程学院）
本研究提出结合深度学习与BSM-MagLS方法，通过SpatialNet网络和双耳损失函数提升双耳信号在头部旋转下的鲁棒性与准确性。
2025-12-23 eess.AS
peerRTF: Robust MVDR Beamforming Using Graph Convolutional Network
本文提出peerRTF方法，利用图卷积网络学习RTF流形，以在噪声和混响环境中实现鲁棒的RTF估计，从而提升MVDR波束形成器的性能。
2024-12-17 eess.AS
Beyond Mono to Binaural: Generating Binaural Audio from Mono Audio with Depth and Cross Modal Attention
IIT Kanpur（印度理工学院坎普尔分校）；CDAC Noida（诺伊达电子发展中心）；TensorTour Inc.（TensorTour公司）
双耳音频给听众一种身临其境的体验，可以增强增强和虚拟现实。然而，记录双耳音频需要具有在左耳和右耳中具有麦克风的假人头部的专门设置。这样的录音设置很难构建和设置，因此单声道音频已成为常见设备中的首选。为了获得与双耳音频相同的效果，最近的努力已经指向将单声道音频提升为以来自场景的视觉输入为条件的双耳音频。这些方法没有使用任务的重要线索：不同声音产生对象与麦克风的距离。在这项工作中，我们认为，场景的深度图可以作为一个代理，用于诱导场景中不同对象的距离信息，音频双耳化的任务。我们提出了一种新的编码器-解码器架构与分层注意力机制的图像，深度和音频特征联合编码。我们在最先进的Transformer网络之上设计网络，用于图像和深度表示。我们的经验表明，该方法优于国家的最先进的方法舒适的两个具有挑战性的公共数据集公平播放和音乐立体声。我们还证明了定性的结果，该方法能够专注于任务所需的正确信息。项目详情可在\url{https://krantiparida.github.io/projects/bmonobinaural.html}上查阅
2021-11-15 cs.CV cs.SD eess.AS
Robust parameter design for Wiener-based binaural noise reduction methods in hearing aids
Federal University of Santa Catarina（圣卡塔琳娜联邦大学）
本文提出了一种基于维纳的双耳降噪方法所需的加权参数的设计方法。该参数在助听器应用中建立了降噪和双耳线索保留之间的期望折衷。提出的策略是专门为保存双耳水平差，双耳时间差和双耳相干性双耳线索。它被定义为麦克风处的平均输入噪声功率的函数，提供针对噪声和语音功率的联合变化（朗巴德效应）以及信噪比（SNR）变化的影响的鲁棒性。一个理论框架，基于数学定义的均匀度，并施加到一个通用的增广维纳为基础的代价函数。所获得的理论见解支持通过计算模拟和心理声学实验使用多通道维纳滤波器与耳间传递函数保存技术（MWF-ITF），作为一个案例研究。统计分析表明，所提出的动态结构的加权参数和其固定部分的设计方法提供了显着的鲁棒性对语音和残留噪声的原始双耳线索的变化，在一个小的降低噪声降低性能的成本相比，使用一个纯粹的固定加权参数。
2021-04-19 cs.SD eess.AS eess.SP
Directional MCLP Analysis and Reconstruction for Spatial Speech Communication
Indian Institute of Science（印度科学院）
空间语音通信，即，本文考虑了语音信号的重构以及在封闭空间中的相对扬声器位置（混响信息）。在发射器处估计方向、漫射分量和源位置信息，并且在接收器处考虑感知上有效的再现。我们考虑空间分布的麦克风阵列的信号采集，和节点特定的信号估计，随着其到达波达方向（DoA）的估计。采用短时傅里叶变换（STFT）域多通道线性预测（MCLP）方法对散射分量进行建模，采用相对声学传递函数对直达信号分量进行建模。该算法在每个节点分别采用无失真阵列响应约束和时变复高斯源模型对源信号的到达角和信号分量进行联合估计。每个节点处的DoA方向之间的交点用于计算源位置。在最接近估计的源位置的节点处计算的信号分量被作为用于传输的信号。在接收器处，四声道扬声器（LS）设置用于空间再现，其中源空间图像相对于发射器外壳中的选定虚拟收听者位置再现。矢量基幅度平移（VBAP）方法用于使用LS设置的直接分量再现，并且在去相关之后从所有扬声器同等地再现漫射分量。该方案的空间语音通信被证明是有效的，更自然的免提电信，通过扬声器收听或双耳耳机收听与头部相关的传递函数（HRTF）为基础的介绍。
2021-09-09 cs.SD eess.AS eess.SP
Simultaneously Learning Speaker's Direction and Head Orientation from Binaural Recordings
University of Maryland College Park（马里兰大学帕克分校）
针对智能耳机和AR/VR场景，本文提出卷积神经网络，利用双耳语音中的人声指向性与HRTF差异，联合估计说话者和听者相对于二者连线的头部朝向。
2023-09-26 cs.SD eess.AS eess.SP
End-to-end multi-channel speaker extraction and binaural speech synthesis
Laboratory of Noise and Audio Research, Institute of Acoustics, Chinese Academy of Sciences, Beijing, China（声学研究所噪声与音频研究实验室，中国科学院，北京，中国）；University of Chinese Academy of Sciences, Beijing, China（中国科学院大学，北京，中国）；Communication University of China, Beijing, China（中国传媒大学，北京，中国）；Tianjin 712 Communication & Broadcasting Co., Ltd.（天津712通信广播有限公司）；Tianjin Tianan Borui Technology Co., Ltd.（天津天安伯瑞科技有限公司）
针对远程会议中语音清晰度与空间沉浸感难以兼顾的问题，提出端到端深度学习框架，统一声源提取、降噪与双耳渲染，并引入幅度加权双耳间电平差损失函数，在语音质量与空间保真度上均优于基线。
2025-07-11 cs.AI cs.SD eess.AS
Binaural LCMV Beamforming with Partial Noise Estimation
除了减少不期望的源（干扰源和背景噪声）之外，双耳波束成形算法的另一个重要目标是保留声学场景的空间印象，这可以通过保留所有声源的双耳线索来实现。虽然双耳最小方差无失真响应（BMVDR）波束形成器提供了良好的降噪性能并且保留了期望源的双耳线索，但是它不允许控制干扰源的减少并且使干扰源的双耳线索和背景噪声失真。因此，已经提出了几个扩展。首先，双耳线性约束最小方差（BLCMV）波束形成器使用额外的约束，使控制减少的干扰源，同时保留他们的双耳线索。第二，具有部分噪声估计的BMVDR（BMVDR-N）将BMVDR的输出信号与有噪声的参考麦克风信号混合，使得能够控制背景噪声的双耳线索。结合这两种扩展的优点，本文提出了部分噪声估计的BLCMV（BLCMV-N）。我们表明，BLCMV-N的输出信号可以被解释为噪声参考麦克风信号和BLCMV的输出信号的混合物，使用调整后的干扰缩放参数。我们提供了一个理论上的比较BMVDR，BLCMV，BMVDR-N和建议BLCMV-N的噪声和干扰降低性能和双耳线索保存。使用记录信号的实验结果以及感知收听测试的结果表明，BLCMV-N能够保留干扰源的双耳线索（如BLCMV），同时能够在降噪性能和背景噪声的双耳线索保留（如BMVDR-N）之间进行权衡。
2020-05-21 eess.AS
Real-time multichannel deep speech enhancement in hearing aids: Comparing monaural and binaural processing in complex acoustic scenarios
Carl von Ossietzky Universität Oldenburg（卡尔·冯·奥西茨基奥尔登堡大学）；Hörzentrum Oldenburg gGmbH（奥尔登堡听力中心有限责任公司）
本研究针对助听器实时低延迟需求，探索深度语音增强方法，对比单耳与双耳深度算法及传统策略在复杂声学场景的表现，发现双耳深度学习方法在空间干扰场景下性能最优。
2024-10-30 cs.SD eess.AS
Relative Transfer Function Vector Estimation for Acoustic Sensor Networks Exploiting Covariance Matrix Structure
本文针对声学传感器网络提出两种利用噪声协方差矩阵块对角结构的相对传递函数向量估计方法，改进的协方差白化方法在信噪比提升上略优于原方法，非对角块选择方法优于有偏的主特征向量估计。
2023-10-27 eess.AS
Perceptually Relevant Preservation of Interaural Time Differences in Binaural Hearing Aids
本文提出了一种双耳助听器中残余噪声的耳间时间差（ITD）的感知相关保留的降噪方法。耳间相干性（IC）的概念，以前应用到多通道维纳滤波器（MWF）的空间主观感觉的弥漫性噪声场的保存，在这里提出既保存和强调ITD双耳线索的方向性声学噪声源。它表明，以前开发的MWF-ITD技术可能会降低处理后的噪声的原始IC幅度，从而增加输出信号的耳间相位差（IPD）的方差。它示出的MWF-IC技术伴随着最小化的输入和输出IPD，这是严格相关的ITD之间的差异的非线性函数，并保留由参考麦克风捕获的方向性噪声的自然相干性。客观措施和心理声学实验证实了理论研究结果，显示MWF-IC技术提供了相关的降噪，同时保留了原始的ITD主观感知和原始的定向噪声源的偏侧化。这些结果对于助听器设计者来说尤其重要，因为它们表明MWF-IC是一种降噪技术，可以为频率低于1.5 kHz的扩散和定向噪声源提供残留噪声空间保留。
2018-06-24 cs.SD eess.AS
ABSE-NET: A Lightweight Neural Model for Active Binaural Speech Enhancement in Open-Fit Hearing Aids
College of Computer Science, Inner Mongolia University（内蒙古大学计算机学院）；College of Electronic and Information Engineering, Inner Mongolia University（内蒙古大学电子与信息工程学院）
本文针对开放式助听器的声泄漏问题，提出将ANC与BSE结合的轻量级ABSE-NET框架，级联BMVDR与带特征融合模块的LNN，无需入耳麦克风，性能优于现有最先进方法。
2026-09-02 cs.SD eess.AS
Influence of Lossy Speech Codecs on Hearing-aid, Binaural Sound Source Localisation using DNNs
本文研究 BLE 场景下 LC3plus 有损编解码对双耳 DNN 声源定位的影响，比较单耳与中心处理条件，并扩展 Pyroomacoustics 支持 HD-HRTF。
2023-06-04 eess.AS
Joint spatial filter and time-varying MCLP for dereverberation and interference suppression of a dynamic/static speech source
运动声源的混响消除是一个比静止声源和干扰消除更困难的问题。我们探讨联合多通道线性预测（MCLP）和相对传递函数（RTF）制定的随机框架和最大似然估计。我们发现，空间滤波与失真少的响应约束，和时变复高斯模型的期望的源信号在参考麦克风的组合确实提供了更好的信号估计。对于平稳源，我们考虑批估计，并得到一个迭代解。扩展到移动源，我们制定了一个线性时变动态系统模型的MCLP系数和RTF的在线自适应空间滤波器。对于在存在干扰源的情况下跟踪期望源的情况，通过指定RTF使用相同的公式。仿真实验结果表明，与传统方法相比，该方法对静态和动态声源都具有更好的空间选择性和混响抑制效果，即使在存在干扰源的情况下也是如此。
2019-10-22 eess.AS eess.SP
BiTSE: Binaural Target Speaker Extraction in Noisy Multi-Talker Environments for AR Glass Arrays
Department of Electronic and Telecommunication Engineering, University of Moratuwa, Sri Lanka（莫拉图瓦大学电子与电信工程系）
针对AR眼镜阵列的嘈杂多说话人场景，研究提出BiTSE框架，整合DoA感知注意力、时间戳掩码及两阶段损失优化，在SPEAR数据集上优于传统方法，提升了语音提取的信号保真度与感知质量。
2026-08-12 eess.AS
Phase Aware Ear-Conditioned Learning for Multi-Channel Binaural Speaker Separation
提出PEASE-8网络，通过复数STFT和早期解码器层引入原始STFT输入，端到端联合实现双说话人分离与去混响，在混响等条件下取得优异性能且无需置换不变训练。
2025-10-13 eess.AS
Neural Ambisonic Encoding For Multi-Speaker Scenarios Using A Circular Microphone Array
针对多说话人场景，提出两阶段深度学习网络将圆形麦克风阵列信号编码为二阶 Ambisonics，并用空间功率图损失与通道置换技术提升空间质量和定位精度。
2024-09-16 eess.AS
Gaussian Process Regression of Steering Vectors With Physics-Aware Deep Composite Kernels for Augmented Listening
National Institute of Informatics（国家信息研究所）
本文提出基于神经场的高斯过程框架，结合物理意识复合核，用于增强听觉中转向矢量的连续表示，以实现更有效的空间滤波和双耳渲染。
2026-04-16 cs.AI cs.LG cs.SD
Direction-Preserving MIMO Speech Enhancement Using a Neural Covariance Estimator
Chalmers University of Technology（查尔姆斯理工大学）
本文提出一种全盲方向保持MIMO语音增强方法，通过神经估计空间噪声协方差矩阵实现多通道信号增强，保留空间特性，提升下游任务性能。
2026-04-13 eess.AS
Head shadow enhancement with low-frequency beamforming improves sound localization and speech perception for simulated bimodal listeners
KU Leuven – University of Leuven（鲁汶大学）
由于双耳线索的可用性差，许多听力受损的听众难以定位声音。带有人工耳蜗和对侧助听器的听众--所谓的双峰听众--是表现最差的，因为两耳间的时间和水平差都很难传递。提出了一种新的低频头部阴影增强方法。头部阴影增强是通过在每只耳朵中使用对侧衰减的固定波束形成器来实现的。该方法导致耳间水平差随角度单调变化。在语音和噪声空间分离的情况下，它还提高了低频信噪比。我们验证了该方法在两个实验中的声学模拟双峰听。在定位实验中，与标准全向麦克风相比，性能从50.5°提高到26.8°均方根误差。在噪声中的语音实验中，语音从正面方向呈现。当噪声来自人工耳蜗侧时，语音接收阈值提高了15.7 dB SNR，当噪声来自助听器侧时，语音接收阈值提高了7.6 dB SNR，当噪声来自各个方向时，语音接收阈值不受影响。除了双模态听众，该方法也可能是有前途的双侧人工耳蜗或助听器用户。其低计算复杂度使得该方法适合于在当前临床设备中的应用。保留字：头影增强、耳间水平差增强、声音定位、定向听力、噪声中言语、言语清晰度PACS：43.60.Fg、43.66.Pn、43.66.Qp、43.66.Rq、43.66.Ts、43.71.- k，43.71.Es，43.71.Ky
2018-03-14 cs.SD eess.AS
