Circular Statistics-based low complexity DOA estimation for hearing aid application
Widex A/S（唯听公司）
所提出的基于圆极化的麦克风间相位差估计定位器（CIMPL）方法是针对每个单元中具有麦克风阵列的双耳助听器系统定制的。该方法利用不同麦克风对的麦克风间相位差（IPD）的圆形统计（圆形均值和圆形方差）。该方法首先通过方差加权线性拟合将这些IPD映射到时延，然后映射到方位波达方向（DoA），最后将不同麦克风对的信息进行组合。方差通过不同的变换进行，并作为估计角度的可靠性指标。所得到的角度和方差都被馈送到包裹的卡尔曼滤波器中，该滤波器提供DoA的平滑估计。与LOCATA挑战赛提供的基准方法相比，所提出的方法提高了单个移动源的跟踪角度的精度，并且运行速度快了约75倍。
2018-12-17 cs.SD eess.AS
Influence of Lossy Speech Codecs on Hearing-aid, Binaural Sound Source Localisation using DNNs
本文研究 BLE 场景下 LC3plus 有损编解码对双耳 DNN 声源定位的影响，比较单耳与中心处理条件，并扩展 Pyroomacoustics 支持 HD-HRTF。
2023-06-04 eess.AS
Exploiting an External Microphone for Binaural RTF-Vector-Based Direction of Arrival Estimation for Multiple Speakers
本文提出一种利用外部麦克风降低计算复杂度的双耳RTF向量基多说话人方向估计方法，通过空间相干性假设提升性能。
2023-07-10 cs.SD eess.AS eess.SP
The Hearpiece database of individual transfer functions of an openly available in-the-ear earpiece for hearing device research
Universität Oldenburg（奥尔登堡大学）
我们提出了一个数据库的声学传递函数的耳机，一个公开的多麦克风多驱动器在耳耳机的听力设备的研究。该数据库包括87个入射方向的HRTF以及驾驶员的响应，所有这些都是在Heartpiece的四个麦克风以及封闭和开放耳朵中的鼓膜处测量的。在25名人类受试者的双耳中测量传递函数，并使用人体测量仪测量KEMAR的五次重新插入装置。我们描述的数据库的测量和分析导出的声学参数的设备。所有被认为是传递函数的主题之间的差异，以及由于重新插入到同一耳朵的变化。此外，结果表明，KEMAR测量代表了所有评估的传递函数的中位数人耳。该数据库是多种听力设备算法和应用的开发、评估和鲁棒性分析的丰富基础。该数据库可在https://doi.org/10.5281/zenodo.3733191上公开访问。
2020-04-14 cs.SD eess.AS
RTF-Based Binaural MVDR Beamformer Exploiting an External Microphone in a Diffuse Noise Field
除了抑制所有不期望的声源之外，用于听力设备的双耳降噪算法的重要目标是保留双耳线索，旨在保留声学场景的空间感知。众所周知的双耳降噪算法是双耳最小方差无失真响应波束形成器，其可以使用期望源的相对传递函数（RTF）向量来操纵，将期望源和所有麦克风之间的声学传递函数与参考麦克风相关联。在本文中，我们提出了一种计算效率高的方法来估计RTF矢量的扩散噪声场，需要一个额外的麦克风，在空间上分离的头戴式麦克风。假设头戴式麦克风信号和附加麦克风信号中的噪声分量之间的空间相干性为零，我们表明可以获得RTF向量的无偏估计。基于真实世界的录音，几个混响时间的实验结果表明，建议的RTF估计优于广泛使用的RTF估计的基础上，协方差白化和一个简单的有偏RTF估计的降噪和双耳线索保存性能。
2018-07-12 eess.AS
Directivity-Conditioned Low-Latency Neural Filtering for Speech Enhancement in Hearing Aids
University of Hamburg（汉堡大学）
本文提出一种低延迟（10毫秒）的深度神经网络，利用特征级线性调制（FiLM）调整方向性模式，并设计保持跨通道频谱关系的损失函数，在助听器场景下实现与宽松延迟方法相当的语音增强效果。
2026-09-15 eess.AS
Cooperative Audio Source Separation and Enhancement Using Distributed Microphone Arrays and Wearable Devices
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
诸如助听器的增强听音设备通常在具有许多竞争声源的嘈杂和混响环境中表现不佳。大型分布式麦克风阵列可以提高性能，但来自远程麦克风的数据通常不能用于延迟受限的实时处理。我们提出了一个合作的音频源分离和增强系统，利用可穿戴式收听设备和其他麦克风阵列分布在一个房间。全分布式阵列用于分离声源并估计其统计量。每个收听设备使用这些统计数据来设计使用其自己的本地麦克风的实时双耳音频增强滤波器。该系统的实验证明，使用10个语音源和160个麦克风在一个大的，混响室。
2019-12-10 cs.SD eess.AS
Delay-Performance Tradeoffs in Causal Microphone Array Processing
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
在诸如助听器信号处理之类的实时听力增强应用中，必须以不超过几毫秒的延迟来处理声音以使听者听起来自然。通过使用麦克风阵列在空间和时间上对声学信号进行滤波，收听设备可以以较低的延迟实现更好的性能。在这里，我们分析了因果多通道维纳滤波器的麦克风阵列降噪的延迟和平方误差性能之间的权衡。我们计算的延迟误差曲线在两种特殊情况下的精确表达式，并从现实世界的麦克风阵列录音的实验结果。我们发现，延迟性能特性是由信号的空间和时间相关结构决定的。
2018-07-31 cs.SD eess.AS
Listen first: Output-based multi-microphone speech enhancement
Aalborg University（奥尔堡大学）；Eriksholm Research Centre（埃里克舍姆研究中心）
研究针对传统助听器语音增强算法在复杂场景中特征提取不可靠的问题，提出基于输出特性确定声音处理系统设置的范式，采用基于输出的MPDR波束形成器系统，实验证明该系统在多指标上优于传统MVDR基线。
2026-07-15 eess.AS
A Computationally Efficient and Practically Feasible Two Microphones Blind Speech Separation Method
传统上，盲语音分离技术在计算上是昂贵的，因为它们在每个时间帧索引处更新去混合矩阵，使得它们在许多实时应用中不切实际。本文采用一种稳健的数据驱动双麦克风声源定位方法作为准则，以降低独立向量分析（IVA）盲语音分离（BSS）方法的计算复杂性。IVA用于分离卷积混合的语音和噪声源。通过在智能手机设备上实现该方法来分离助听器应用中真实场景中的语音和噪声，证明了该方法的实际可行性。客观和主观测试的实验结果表明，开发的方法在许多现实世界的应用中的实际可用性。
2018-12-10 cs.SD eess.AS
DFSNet: A Steerable Neural Beamformer Invariant to Microphone Array Configuration for Real-Time, Low-Latency Speech Enhancement
University of Texas at Dallas（德克萨斯大学达拉斯分校）
麦克风阵列配置的不变性是神经波束形成器中罕见的属性。此类中的滤波求和（FS）方法定义相对于参考通道的目标信号。然而，这不仅使混响条件下的公式化复杂化，而且使网络复杂化，网络必须具有推断参考通道是什么的机制。为了解决这些问题，本研究提出了延迟滤波求和网络（DFSNet），一个可控的神经波束形成器不变的麦克风数量和阵列的几何形状的因果语音增强。在DFSNet中，在FS操作之前，首先将获取的信号转向语音源方向，这将任务简化为延迟和求和的混响干净语音的估计。所提出的模型被设计为产生低延迟、失真、以及存储器和计算负担，从而在助听器应用中产生高潜力。仿真结果显示，可比的性能非因果的最先进的。
2023-02-26 cs.SD eess.AS
MYRiAD: A Multi-Array Room Acoustic Database
本文介绍了MYRiAD多阵列房间声学数据库，包含1214个RIR、多种麦克风配置及两个不同混响空间，旨在支持声学算法在真实场景下的评估。
2023-05-12 eess.AS
SonicSieve: Bringing Directional Speech Extraction to Smartphones Using Acoustic Microstructures
Carnegie Mellon University（卡内基梅隆大学）；Tsinghua University（清华大学）；Zhejiang University（浙江大学）
SonicSieve通过生物启发式声学微结构在智能手机上实现定向语音提取，提升信号质量并优于传统麦克风阵列。
2026-02-11 cs.HC cs.LG cs.SD
Spatial Speech Perception Systems: A Survey of Sound Source Localization, Directional Enhancement, and Speech Recognition
University College London（伦敦大学学院）
本文综述了利用麦克风阵列进行声源定位、方向性增强和语音识别的空间语音感知系统，涵盖经典信号处理与学习方法，并讨论了鲁棒性、多说话人、实时性等挑战及应用。
2026-07-03 eess.AS
RDSE: Real-Time Directional Speech Enhancement Framework for Dual-Mic Commodity Smartphones
National Institute of Technology Jalandhar（贾朗达尔国家技术学院）；Kalinga Institute of Industrial Technology（卡林加工业技术学院）；IMC University of Applied Sciences（IMC应用科技大学）
针对移动设备视听变焦的限制，提出双麦克风智能手机的RDSE框架，结合信号处理与机器学习，解耦视觉交互与特征推理，经多维度验证性能与现有方法相当。
2026-10-20 cs.SD eess.AS
Restoring speech intelligibility for hearing aid users with deep learning
Audatic（Audatic公司）；Charité – Universitätsmedizin Berlin（柏林夏里特医学院）；Technische Universität Berlin（柏林工业大学）；Bernstein Center for Computational Neuroscience Berlin（柏林伯恩斯坦计算神经科学中心）
全世界近5亿人患有致残性听力损失。虽然助听器可以部分弥补这一点，但很大一部分用户在有背景噪音的情况下难以理解语音。在这里，我们提出了一种基于深度学习的算法，该算法在保持语音信号的同时选择性地抑制噪声。该算法将助听器用户的语音清晰度恢复到正常听力的对照受试者的水平。它由一个深度网络组成，该网络在噪声语音信号的大型自定义数据库上进行训练，并通过神经架构搜索进行进一步优化，使用基于深度学习的语音清晰度度量。该网络在一系列人工分级评估中实现了最先进的去噪，在不同的噪声类别中进行推广，并且与经典的波束成形方法相比，它在单个麦克风上运行。该系统可在笔记本电脑上实时的运行，这表明助听器芯片的大规模部署可能在几年内实现。因此，基于深度学习的去噪有可能很快改善数百万听力受损者的生活质量。
2022-06-23 cs.SD eess.AS q-bio.NC
BRUDEX Database: Binaural Room Impulse Responses with Uniformly Distributed External Microphones
University of Oldenburg, Department of Medical Physics and Acoustics and Cluster of Excellence Hearing4all（奥尔登堡大学医学物理与声学系及卓越中心Hearing4all）
BRUDEX数据库提供了一种包含36个均匀分布麦克风和12个声源位置的双耳房间脉冲响应数据集，用于多麦克风信号处理任务，如降噪和回声消除。
2023-06-14 cs.SD eess.AS eess.SP
Mobile Microphone Array Speech Detection and Localization in Diverse Everyday Environments
联合声音事件定位和检测（SELD）是将上下文感知开发到移动机器人，智能手机和家庭助理的通信接口中的一个组成部分。例如，用于移动电话上的视频捕获的自动音频聚焦需要对设备周围的相关声学事件及其方向的鲁棒检测。现有的SELD方法已经使用在受控室内环境中产生的材料进行了评估，或者通过将孤立的声音混合到不同的空间位置来模拟音频。本文研究SELD的语音在不同的日常环境中，其中的音频对应于典型的手持移动设备的使用场景。为了允许对定位与检测的相对重要性进行加权，我们将提出一个两阶段的分层系统，其中第一阶段是检测目标事件，第二阶段是定位它们。所提出的方法利用卷积递归神经网络（CRNN），并在各种声学条件下手动注释的麦克风阵列记录的数据库上进行评估。该阵列嵌入在当代移动电话的外形中。实验结果表明，该方法与非层次化的平面分类模型相比，具有较好的语音检测和定位精度。
2021-06-28 eess.AS
Real-time multichannel deep speech enhancement in hearing aids: Comparing monaural and binaural processing in complex acoustic scenarios
Carl von Ossietzky Universität Oldenburg（卡尔·冯·奥西茨基奥尔登堡大学）；Hörzentrum Oldenburg gGmbH（奥尔登堡听力中心有限责任公司）
本研究针对助听器实时低延迟需求，探索深度语音增强方法，对比单耳与双耳深度算法及传统策略在复杂声学场景的表现，发现双耳深度学习方法在空间干扰场景下性能最优。
2024-10-30 cs.SD eess.AS
Perceptually Relevant Preservation of Interaural Time Differences in Binaural Hearing Aids
本文提出了一种双耳助听器中残余噪声的耳间时间差（ITD）的感知相关保留的降噪方法。耳间相干性（IC）的概念，以前应用到多通道维纳滤波器（MWF）的空间主观感觉的弥漫性噪声场的保存，在这里提出既保存和强调ITD双耳线索的方向性声学噪声源。它表明，以前开发的MWF-ITD技术可能会降低处理后的噪声的原始IC幅度，从而增加输出信号的耳间相位差（IPD）的方差。它示出的MWF-IC技术伴随着最小化的输入和输出IPD，这是严格相关的ITD之间的差异的非线性函数，并保留由参考麦克风捕获的方向性噪声的自然相干性。客观措施和心理声学实验证实了理论研究结果，显示MWF-IC技术提供了相关的降噪，同时保留了原始的ITD主观感知和原始的定向噪声源的偏侧化。这些结果对于助听器设计者来说尤其重要，因为它们表明MWF-IC是一种降噪技术，可以为频率低于1.5 kHz的扩散和定向噪声源提供残留噪声空间保留。
2018-06-24 cs.SD eess.AS
Pervasive Hand Gesture Recognition for Smartphones using Non-audible Sound and Deep Learning
The American University in Cairo（开罗美国大学）
随着普适技术的不断发展，新的普适方法已经进入实践，提供了新的创新功能，并激发了新的人机交互的研究。本文提出了一种手势识别方法，利用智能手机的内置扬声器和麦克风。所提出的系统从智能手机的立体声扬声器发出基于超声波声纳的信号（听不见的声音），然后由智能手机的麦克风接收，并通过卷积神经网络（CNN）进行处理，用于手势识别。为了提高检测精度，提出了数据增强技术，并对三种双通道输入融合方法进行了比较。第一种方法将双声道音频合并为单个输入声谱图图像。第二种方法是通过对双通道谱图进行拼接来实现早期融合。第三种方法采用延迟融合，通过两个对流输入分支处理每个双通道谱图，然后由最后一层合并输出。我们的实验结果表明，一个有前途的检测准确率为93.58%的准确率作为基线，在我们公开的数据集中提出的六个手势。
2021-08-04 cs.CV cs.HC cs.LG
Two Channel Audio Zooming System For Smartphone
Indian Institute of Technology, Delhi（德里印度理工学院）；SRI Noida（SRI诺伊达）
在本文中，两个麦克风为基础的音频变焦系统首次提出。音频缩放应用程序允许从前方捕获和增强声音，同时衰减来自所有其他方向的干扰源。完整的音频缩放系统利用基于波束成形的目标提取。特别是，最小功率无失真响应（MPDR）波束形成器和格里菲斯吉姆波束形成器（GJBF）进行了探讨。然后进行块阈值处理，以抑制残留噪声和干扰，并创建缩放效果。使用三星智能手机（三星Galaxy A5）进行了一些模拟和现实生活中的实验。客观和主观的测量证实了丰富的用户体验。
2020-01-13 cs.SD eess.AS
Single-Microphone Speech Enhancement and Separation Using Deep Learning
鸡尾酒会问题包括理解复杂声学环境中的语音信号的挑战性任务，其中多个扬声器和背景噪声信号同时干扰感兴趣的语音信号。在这种复杂的声学情况下，能够有效地提高语音可懂度和语音信号的质量的信号处理算法是非常需要的。特别是对于涉及移动通信设备和听力辅助设备的应用。由于机器学习技术的重新出现，今天被称为深度学习，与这些算法相关的挑战可能会被克服。在这篇博士论文中，我们研究和开发了基于深度学习的技术，用于鸡尾酒会问题的两个子学科：单麦克风语音增强和单麦克风多说话者语音分离。具体而言，我们对基于现代深度学习的单麦克风语音增强算法的泛化能力进行了深入的实证分析。我们表明，这样的算法的性能是密切相关的训练数据，和良好的泛化能力，可以实现精心设计的训练数据。此外，我们提出了uPIT，一种基于深度学习的单麦克风语音分离算法，并报告了与说话者无关的多说话者语音分离任务的最新结果。此外，我们表明，uPIT工程以及联合语音分离和增强没有明确的先验知识的噪声类型或扬声器的数量。最后，我们表明，基于深度学习的语音增强算法，旨在最大限度地减少经典的短时谱幅度均方误差导致增强的语音信号，这是本质上最佳的STOI，一个国家的最先进的语音清晰度估计。
2018-12-04 cs.SD eess.AS
ABSE-NET: A Lightweight Neural Model for Active Binaural Speech Enhancement in Open-Fit Hearing Aids
College of Computer Science, Inner Mongolia University（内蒙古大学计算机学院）；College of Electronic and Information Engineering, Inner Mongolia University（内蒙古大学电子与信息工程学院）
本文针对开放式助听器的声泄漏问题，提出将ANC与BSE结合的轻量级ABSE-NET框架，级联BMVDR与带特征融合模块的LNN，无需入耳麦克风，性能优于现有最先进方法。
2026-09-02 cs.SD eess.AS
Automatic Speech Recognition Services: Deaf and Hard-of-Hearing Usability
Rochester Institute of Technology（罗切斯特理工学院）
如今，语音正在成为一种更加常见（即使不是标准）的技术接口。这从多年来技术变革的趋势中可以看出。语音越来越多地用于控制家庭，汽车，工作场所和公共空间内的程序，电器和个人设备，通过智能手机和家庭助理设备使用亚马逊的Alexa，谷歌的助手和苹果的Siri以及其他激增的技术。然而，大多数语音接口对于聋人和听力困难（DHH）的人来说是不可访问的。在本文中，目前的自动语音识别（ASR）与DHH说话人的声音的性能进行评估。多年来，在云计算和机器学习算法（采用自定义词汇模型）的帮助下，ASR已经有所改善，并且能够达到低至5-6%的单词出错率（WER）[1][2][3]。本文使用了自定义词汇表模型，并在使用DHH语音时评估了改进的意义。
2019-09-03 cs.HC cs.SD eess.AS
SpatialNet with Binaural Loss Function for Correcting Binaural Signal Matching Outputs under Head Rotations
School of Electrical and Computer Engineering, Ben-Gurion University of the Negev（内盖夫本-古里安大学电气与计算机工程学院）
本研究提出结合深度学习与BSM-MagLS方法，通过SpatialNet网络和双耳损失函数提升双耳信号在头部旋转下的鲁棒性与准确性。
2025-12-23 eess.AS
Robust parameter design for Wiener-based binaural noise reduction methods in hearing aids
Federal University of Santa Catarina（圣卡塔琳娜联邦大学）
本文提出了一种基于维纳的双耳降噪方法所需的加权参数的设计方法。该参数在助听器应用中建立了降噪和双耳线索保留之间的期望折衷。提出的策略是专门为保存双耳水平差，双耳时间差和双耳相干性双耳线索。它被定义为麦克风处的平均输入噪声功率的函数，提供针对噪声和语音功率的联合变化（朗巴德效应）以及信噪比（SNR）变化的影响的鲁棒性。一个理论框架，基于数学定义的均匀度，并施加到一个通用的增广维纳为基础的代价函数。所获得的理论见解支持通过计算模拟和心理声学实验使用多通道维纳滤波器与耳间传递函数保存技术（MWF-ITF），作为一个案例研究。统计分析表明，所提出的动态结构的加权参数和其固定部分的设计方法提供了显着的鲁棒性对语音和残留噪声的原始双耳线索的变化，在一个小的降低噪声降低性能的成本相比，使用一个纯粹的固定加权参数。
2021-04-19 cs.SD eess.AS eess.SP
Distributed Microphone Speech Enhancement based on Deep Learning
Yuan Ze University（元智大学）；National Chi Nan University（国立暨南国际大学）
语音相关应用在复杂噪声环境中的性能较差。因此，本研究主要通过引入基于应用于分布式麦克风架构的深度神经网络（DNN）的语音增强（SE）系统来解决这个问题，然后研究三种不同的DNN模型结构的有效性。第一个系统为每个麦克风构建DNN模型，以增强记录的嘈杂语音信号，第二个系统将所有嘈杂的记录组合成一个大的特征结构，然后通过DNN模型进行增强。对于第三种系统，首先使用通道相关的DNN来增强相应的噪声输入，并且将所有通道增强的输出馈送到DNN融合模型中以构建几乎干净的信号。所有三个DNN SE系统都在扩散噪声场环境中的语音信号的声学频域中操作。在台湾普通话噪声听力测试（TMHINT）数据库上进行了评估实验，结果表明，所有三个基于DNN的SE系统都提供了具有改善的语音质量和可懂度的原始噪声污染信号，而第三个系统提供了最高的信噪比（SNR）改善和最佳的语音可懂度。
2020-05-24 cs.LG cs.SD eess.AS
PickNet: Real-Time Channel Selection for Ad Hoc Microphone Arrays
Microsoft（微软）
本文提出了PickNet，一个神经网络模型的实时通道选择的ad hoc麦克风阵列组成的多个记录设备，如手机。假设在每个时间点最多有一个人是语音活跃的，PickNet通过使用仅数百毫秒的短频谱补丁来识别每个时间帧在空间上最接近活跃人员的设备。该模型应用于每个时间帧，并且来自所选麦克风的短时间帧信号跨帧级联以产生输出信号。由于个人设备通常靠近其所有者，因此输出信号预期平均具有比输入信号更高的信噪比和直达混响比。由于PickNet在每个时间帧仅利用有限的声学背景，因此使用所提出的模型的系统实时工作，并且对声学条件的变化具有鲁棒性。通过使用用各种智能手机获得的真实对话录音进行基于语音识别的评估。所提出的模型产生了显着的增益字错误率与有限的计算成本系统使用块在线波束形成器和一个单一的远程麦克风。
2022-01-24 cs.CL cs.SD eess.AS
Head shadow enhancement with low-frequency beamforming improves sound localization and speech perception for simulated bimodal listeners
KU Leuven – University of Leuven（鲁汶大学）
由于双耳线索的可用性差，许多听力受损的听众难以定位声音。带有人工耳蜗和对侧助听器的听众--所谓的双峰听众--是表现最差的，因为两耳间的时间和水平差都很难传递。提出了一种新的低频头部阴影增强方法。头部阴影增强是通过在每只耳朵中使用对侧衰减的固定波束形成器来实现的。该方法导致耳间水平差随角度单调变化。在语音和噪声空间分离的情况下，它还提高了低频信噪比。我们验证了该方法在两个实验中的声学模拟双峰听。在定位实验中，与标准全向麦克风相比，性能从50.5°提高到26.8°均方根误差。在噪声中的语音实验中，语音从正面方向呈现。当噪声来自人工耳蜗侧时，语音接收阈值提高了15.7 dB SNR，当噪声来自助听器侧时，语音接收阈值提高了7.6 dB SNR，当噪声来自各个方向时，语音接收阈值不受影响。除了双模态听众，该方法也可能是有前途的双侧人工耳蜗或助听器用户。其低计算复杂度使得该方法适合于在当前临床设备中的应用。保留字：头影增强、耳间水平差增强、声音定位、定向听力、噪声中言语、言语清晰度PACS：43.60.Fg、43.66.Pn、43.66.Qp、43.66.Rq、43.66.Ts、43.71.- k，43.71.Es，43.71.Ky
2018-03-14 cs.SD eess.AS
Semantic Hearing: Programming Acoustic Scenes with Binaural Hearables
University of Washington（华盛顿大学）；Microsoft（微软）
本文提出语义听觉技术，通过首个双耳目标声音提取神经网络和泛化训练方法，使可听设备实时聚焦或忽略特定声音并保留空间线索，在20类声音和真实场景中验证有效。
2023-11-01 cs.LG cs.SD eess.AS
The UmboMic: A PVDF Cantilever Microphone
Harvard Medical School（哈佛医学院）；Mass. Eye and Ear（麻省眼耳医院）；Columbia University（哥伦比亚大学）
本文提出用于全植入式人工耳蜗的 PVDF 悬臂麦克风 UmboMic，并通过低噪声电荷放大器和人类颞骨实验验证其噪声、线性度与频响性能。
2023-12-22 cs.SD eess.AS physics.med-ph
A Phoneme-Scale Assessment of Multichannel Speech Enhancement Algorithms
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Loria（洛林计算机科学及其应用研究所）
本文在真实噪声与空间场景下从音素尺度评估FasNet、MVDR和Tango三种多通道语音增强算法，发现不同音素增强效果差异显著，可为音素感知助听器提供依据。
2024-01-24 cs.SD eess.AS
Completing Sets of Prototype Transfer Functions for Subspace-based Direction of Arrival Estimation of Multiple Speakers
Dept. of Medical Physics and Acoustics and Cluster of Excellence Hearing4all（医学物理与声学系和卓越计划Hearing4all）
本文提出通过补全原型转移函数集，利用子空间正交性实现部分校准麦克风阵列的多说话人DOA估计，实验显示其在噪声和混响环境中的准确性提升。
2025-01-13 cs.SD eess.AS eess.SP
Vehicle Noise: Comparison of Loudness Ratings in the Field and the Laboratory
Hörzentrum Oldenburg gGmbH（奥尔登堡听力中心有限责任公司）；University of Oldenburg（奥尔登堡大学）
目的：响度感知失真是助听器使用者的主要主诉之一。能够在临床上正确测量响度感知对于验配助听器至关重要。为此，临床实验应该能够反映和捕捉响度感知，就像在日常生活中一样。很少有研究已经做了比较响度知觉在现场和实验室。设计：参与者在现场和实验室中对四种不同车辆的36个驾驶动作的响度进行评级。现场测量是在一个受限制的街道上进行的，并用360度摄像机和四面体麦克风进行记录。记录的刺激，这是公开访问，在实验室中的三个不同的条件：360度视频记录与头戴式显示器，视频记录与桌面显示器，和音频。样本：13名听力正常的参与者和18名听力受损的参与者参加了这项研究。结果：驾驶行为被评为显着响亮的实验室比在现场的音频条件。在两种实验室条件下，这些响度等级差异对于更大的声音更大，即，驾驶动作的声级越高，在实验室中被评定为更响的可能性越大。在三种实验室条件下和组间，响度等级无显著差异。结论：本实验的结果进一步说明了在临床上测量响度时增加真实感和沉浸感的重要性。
2022-04-28 cs.SD eess.AS q-bio.NC
Leveraging Spatial Cues from Cochlear Implant Microphones to Efficiently Enhance Speech Separation in Real-World Listening Scenes
Radboud University（拉德堡德大学）；Columbia University（哥伦比亚大学）；Leiden University Medical Centre（莱顿大学医学中心）；Leiden Institute for Brain and Cognition（莱顿脑与认知研究所）
针对真实声学环境，量化空间线索对语音分离的影响，发现隐式和显式空间线索均能提升分离质量，尤其在频谱线索模糊时，强调真实数据训练以增强泛化能力。
2025-01-24 cs.AI cs.SD eess.AS
Subspace Hybrid MVDR Beamforming for Augmented Hearing
Imperial College London（伦敦帝国理工学院）；Meta Reality Labs Research（Meta现实实验室）
本文提出一种两阶段多通道语音增强算法，结合信号相关波束形成的自适应性与超指向性波束形成的鲁棒性，通过混合波束形成器和宽带子空间后置滤波器，在头戴式麦克风阵列的复杂声学场景中显著提升噪声抑制、可懂度和语音质量。
2023-11-30 cs.SD eess.AS eess.SP
A Power-Efficient Audio Acquisition System for Smart City Applications
University of Guelph（圭尔夫大学）
噪声对人类活动有不利影响。除了听力障碍和与压力有关的疾病外，它还可以干扰口语交流，降低人类表现并影响生活质量。随着城市化的加剧，减少智慧城市环境中的噪音污染的潜在好处是广泛的。可以使用无线传感器网络来收集和分析噪声水平，该无线传感器网络可以通过使用麦克风来监测噪声水平。然而，每个无线系统在连续数据汇集和监控所需的电池要求方面都存在困难。本文介绍了一种智能麦克风系统测试平台的设计。为了节省功率，微控制器和模数转换器（ADC）响应于环境噪声而在高功率模式和低功率模式之间动态切换。具体地，高功率组件由声学噪声水平中的尖峰触发。研究了三种无线技术，WiFi（2.4 GHz），蓝牙低功耗（BLE）4.0和Zigbee。实验结果表明，基于该测试平台的节点在空闲状态下的功耗可降低97%。
2020-01-21 cs.NI cs.SD cs.SI
Acoustic effects of medical, cloth, and transparent face masks on speech signals
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
戴口罩会妨碍说话，使交流更加困难，尤其是对听力损失的人。本研究使用一个头状扬声器和一个真人谈话者，研究了不同口罩（包括医用口罩、布口罩和透明口罩）引起的声衰减。结果表明，所有的面具衰减频率超过1千赫，衰减是最大的前面的谈话者，有很大的变化之间的面具类型，特别是布面具与不同的材料和编织。与医用口罩和布口罩相比，透明口罩的声学性能较差。大多数面具对翻领麦克风的影响很小，这表明现有的声音增强和辅助听力系统可能对面具的口头交流有效。
2020-08-11 cs.SD eess.AS
An Efficient GPU-based Implementation for Noise Robust Sound Source Localization
Dept. of Systems and Control Engineering, School of Engineering, Tokyo Institute of Technology（东京技术大学系统与控制工程系）；Honda Research Institute Japan Co., Ltd.（本田研究机构日本株式会社）；NTT Software Innovation Center（NTT软件创新中心）；Dept. of Information and Computer Science, Keio University（Keio大学信息与计算机科学系）
本文提出在HARK平台中利用GPU加速基于GSVD-MUSIC的抗噪声源定位，在嵌入式与服务器设备上分别实现数千倍GSVD加速和十余倍SSL模块加速，使大规模麦克风阵列实时处理成为可行。
2025-05-08 cs.RO cs.SD eess.AS
End-to-end Silent Speech Recognition with Acoustic Sensing
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）
无声语音接口（SSI）是最近人们感兴趣的一个令人兴奋的领域。在本文中，我们提出了一种非侵入性的无声语音接口，使用听不见的声学信号来捕捉人们说话时的嘴唇运动。我们利用智能手机的扬声器和麦克风分别发出信号和听取它们的反射。这些反射的提取相位特征被输入深度学习网络以识别语音。我们还提出了一个端到端的识别框架，它结合了CNN和基于注意力的编码器-解码器网络。有限词汇（54句）的评估结果在说话者独立和环境独立的设置中产生的单词错误率为8.4%，在看不见的句子测试中为8.1%。
2020-11-23 cs.SD eess.AS
AeGAN: Time-Frequency Speech Denoising via Generative Adversarial Networks
University of Stuttgart（斯图加特大学）
自动语音识别（ASR）系统在诸如语音到文本处理和语言翻译的常见任务中是至关重要的。这就需要一个能够在现实拥挤环境中运行的ASR系统。因此，语音增强是ASR系统和诸如助听器、智能电话和电话会议系统的其他应用中的有价值的构建块。在本文中，生成对抗网络（GAN）为基础的框架进行了研究的语音增强的任务，更具体地说，语音去噪的音轨。基于CasNet生成器的新架构和额外的基于特征的损失被合并以获得逼真的去噪语音。最后，所提出的框架被证明优于其他学习和传统的基于模型的语音增强方法。
2020-06-06 cs.LG cs.NE cs.SD
DNN-Based Online Source Counting Based on Spatial Generalized Magnitude Squared Coherence
Department of Medical Physics and Acoustics and Cluster of Excellence Hearing4all（医学物理与声学系和Hearing4all卓越中心）
本文提出基于空间广义幅度平方相干度的深度神经网络方法，用于在混响声学场景中实现在线声源计数。
2026-01-28 cs.SD eess.AS
FoVNet: Configurable Field-of-View Speech Enhancement with Low Computation and Distortion for Smart Glasses
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Reality Labs Research at Meta（Meta Reality Labs 研究院）
针对智能眼镜语音增强需求，提出低计算量的FoVNet混合方法，可在无需目标方向的前提下对指定视场内语音高效增强，兼顾质量与效率，适配能量受限的智能眼镜设备。
2024-08-12 cs.MM cs.SD eess.AS
Towards Sub-millisecond Latency Real-Time Speech Enhancement Models on Hearables
Google DeepMind（谷歌DeepMind）；Google Research（谷歌研究院）
本文提出一种基于最小相位FIR滤波器和轻量级LSTM的可听戴设备语音增强方法，实现0.32-1.25毫秒算法延迟和3.35毫秒端到端延迟，单麦克风下SI-SDRi达4.1 dB。
2025-03-07 cs.LG cs.SD eess.AS
