A Speech Intelligibility Enhancement Model based on Canonical Correlation and Deep Learning for Hearing-Assistive Technologies
当前基于深度学习（DL）的在噪声环境中增强语音可懂度的方法通常被训练为最小化干净语音特征和增强语音特征之间的距离。这些通常会提高语音质量，但它们缺乏概括性，在日常嘈杂的情况下可能无法提供所需的语音清晰度。为了解决这些挑战，研究人员已经探索了面向可懂度（I-O）的损失函数，以训练DL方法来实现鲁棒的语音增强（SE）。为了更有效地训练深度学习算法，我们提出了一种新的基于典型相关性的I-O损失函数。具体来说，我们提出了一个完全卷积SE模型，使用修改后的基于典型相关的短期客观可懂度（CC-STOI）度量作为训练代价函数。据我们所知，这是第一个工作，利用集成的典型相关性的I-O为基础的损失函数SE。比较实验结果表明，我们提出的CC-STOI为基础的SE框架优于传统的STOI和基于距离的损失函数训练的DL模型，在处理看不见的扬声器和噪声时，在标准的客观和主观评价措施。
2022-02-15 cs.SD eess.AS
Non Intrusive Intelligibility Predictor for Hearing Impaired Individuals using Self Supervised Speech Representations
TOSHIBA Cambridge Research Laboratory（东芝剑桥研究实验室）
本文将自监督语音表征用于非侵入式听障语音可懂度预测，在Clarity Prediction Challenge 1数据上达到与复杂系统竞争的性能，并指出泛化仍需更多数据。
2023-12-07 cs.LG cs.SD eess.AS
Using Speech Foundational Models in Loss Functions for Hearing Aid Speech Enhancement
The University of Sheffield（谢菲尔德大学）；WS Audiology（西万拓听力技术公司）；Toshiba（东芝）
本文提出在助听器语音增强的损失函数中利用自监督语音表示距离，以提升可懂度，实验显示相比SNR损失，HASPI、STOI、PESQ和SI-SNR均提高，且仅训练时需大模型推理。
2024-07-18 cs.SD eess.AS
A Novel Binaural Cue Preservation Loss for DNN-Based Binaural Speech Enhancement
WSA
针对基于DNN的双耳语音增强易失真左右信号关系的问题，提出两种新型双耳线索保留损失函数，实验证明其在保持降噪性能的同时减少了掩蔽失真，第二种联合损失在ILD保留上更优。
2026-08-18 cs.SD eess.AS
Optimal Binaural LCMV Beamforming in Complex Acoustic Scenarios: Theoretical and Practical Insights
University of Oldenburg（奥尔登堡大学）；Starkey Hearing Technologies（斯达克听力技术公司）
用于头戴式助听设备的双耳波束形成算法对于提高噪声环境中的语音质量和语音可懂度，同时保持声学场景的空间印象至关重要。虽然众所周知的BMVDR波束形成器能够保留一个期望源的双耳线索，但BLCMV波束形成器使用附加约束来也保留干扰源的双耳线索。在本文中，我们提供了理论和实践的见解如何最佳地设置在BLCMV波束形成器的干扰缩放参数为任意数量的干扰源。此外，由于在实践中，只有有限的时间观察间隔可用于估计所有所需的波束形成器的数量，我们提供了一个实验评估在一个复杂的声学场景中使用测量的脉冲响应助听器在自助餐厅不同的观察间隔。结果表明，即使是相当短的观察间隔是足够的，以实现体面的降噪性能和建议的阈值上的最佳干扰缩放参数导致较小的双耳提示错误在实践中。
2018-07-12 cs.SD eess.AS
Binaural coherent-to-diffuse-ratio estimation for dereverberation using an ITD model
Institute of Acoustics, CAS（中国科学院声学研究所）
大多数以前提出的双通道相干扩散比（CDR）估计是基于自由场模型。当用于双耳信号时，例如，对于双耳助听器中的去混响，由于头部的影响，它们的性能可能降低，即使当所需扬声器的到达方向是精确已知的。在本文中，头部阴影效应考虑CDR估计通过使用一个简化的模型的频率相关的双耳时间差和模型的双耳相干的扩散噪声场。基于CDR的去混响与测量的双耳脉冲响应的评估表明，建议的双耳CDR估计可以提高PESQ分数。
2015-06-11 cs.SD
Preserving the beamforming effect for spatial cue-based pseudo-binaural dereverberation of a single source
University of Engineering and Technology Peshawar（白沙瓦工程技术大学）；Qatar University（卡塔尔大学）
混响是不可避免的封闭，导致降低清晰度听力受损和非母语的听众，甚至为正常的听力听众在嘈杂的环境。它还降低了机器监听应用程序的性能。在本文中，我们提出了一种新的方法的双耳去混响的一个单一的语音源，利用直接路径信号和混响的双耳线索的差异。两个波束形成器，间隔在一个耳间的距离，用于提取混响语音的混响。由这些混响生成的耳间线索和由直接路径信号生成的耳间线索充当两类数据集，用于训练U-Net（深度卷积神经网络）。在其训练之后，波束形成器被移除，并且当系统暴露于混响语音信号的耳间频谱图时，训练的U-Net连同最大似然估计（MLE）算法一起用于区分直接路径线索与混响线索。该模型在倒谱距离（CEP）、频率加权分段信噪比（FWSEGSNR）和信号与混响调制能量比（SRMR）方面比经典的信号处理去混响模型加权预测误差分别提高了1.4个点、8 dB和0.6 dB。它比基于深度学习的去混响模型获得了更好的性能，在CEP中获得了1.3个点的改进，具有可比的FWSEGSNR，使用的训练数据集几乎比该模型所需的数据集小8倍。所提出的模型还保持其性能下相对类似的看不见的声学条件下，并在其训练位置附近的位置。
2022-08-10 cs.SD eess.AS
A Lightweight Fourier-based Network for Binaural Speech Enhancement with Spatial Cue Preservation
Shanghai Institute of Artificial Intelligence for Education, East China Normal University, China（上海人工智能教育研究院，华东师范大学，中国）；Boin Hearing Technology (Shanghai) Co., LTD, China（Boin听力技术（上海）有限公司，中国）；School of Computer Science and Technology, East China Normal University, China（计算机科学与技术学院，华东师范大学，中国）
本文提出GAF-Net，一种轻量级基于傅里叶的网络，用于双耳语音增强，通过保留空间线索实现性能与计算效率的平衡。
2026-01-23 cs.SD eess.AS
An objective evaluation of Hearing Aids and DNN-based speech enhancement in complex acoustic scenes
Universitat Pompeu Fabra（庞培法布拉大学）；Eurecat, Centre Tecnològic de Catalunya（加泰罗尼亚技术中心Eurecat）；Microson, Amplifon Group（Amplifon集团Microson公司）
该研究对比高端商用助听器与DNN语音增强算法在复杂声学场景的性能，通过合成双耳数据集训练DNN模型、搭建Ambisonics测试环境实验，证明DNN增强在噪声抑制与可懂度指标上更优。
2023-07-24 cs.SD eess.AS
An individualized super Gaussian single microphone Speech Enhancement for hearing aid users with smartphone as an assistive device
本文提出了一种基于超高斯联合最大后验概率的单麦克风语音增强增益函数。开发的语音增强方法在智能手机上实现，这种安排作为助听器的辅助设备。我们引入了一个权衡参数，在派生的增益函数，允许智能手机用户自定义他们的听力偏好，通过控制噪声抑制和语音失真的量在实时的基础上，他们在嘈杂的现实世界的声学环境中感知的听觉舒适度。客观的质量和可懂度的措施表明所提出的方法的有效性相比，基准技术在本文中考虑。主观结果反映了有用的开发语音增强应用在现实世界中的噪声条件下的信号噪声比水平为0 dB和5 dB。
2018-12-10 cs.SD eess.AS
Non-Intrusive Binaural Speech Intelligibility Prediction Using Mamba for Hearing-Impaired Listeners
CyberAgentJapan（CyberAgent日本）
针对听障听众的双耳语音可懂度预测，提出用Mamba替代Transformer进行时间处理，在保持参数较少的同时达到竞争性能，并有效捕获上下文和空间信息。
2025-07-08 cs.SD eess.AS
A Lightweight and Real-Time Binaural Speech Enhancement Model with Spatial Cues Preservation
University of Science and Technology of China (USTC)（中国科学技术大学）；Guangzhou Maritime University（广州航海学院）
针对双耳语音增强中降噪、空间线索保留与计算成本难以兼顾的问题，提出轻量级LBCCN，通过低频滤波和通道间相对传递函数估计，以更低算力实现可比降噪及空间线索保留。
2025-01-08 cs.AI cs.SD eess.AS
Towards a generalized monaural and binaural auditory model for psychoacoustics and speech intelligibility
听觉感知涉及单耳听觉通路中的线索以及基于耳朵之间的差异的双耳线索。到目前为止，听觉模型通常集中在单声道或双耳实验中。虽然双耳模型通常建立在（现有的）单耳模型的阶段上，但是仅进行了一些尝试来通过使用用于单耳和双耳线索的统一决策阶段的双耳阶段来扩展单耳模型。在这样的方法中，双耳处理的典型原型是经典的均衡-消除机制，其涉及信号自适应延迟并提供单声道输出，或者可以利用提供高维多声道输出的抽头延迟来实现。这一贡献扩展了（单声道）广义包络功率谱模型的非自适应双耳阶段，只有几个，固定的输出通道。双耳阶段类似于生理激励半球双耳处理的特征，作为简化的信号处理阶段，产生5声道单声道和双耳矩阵特征“解码器”（BMFD）。现有单声道模型的后端应用于5声道BMFD输出，并计算短时包络功率和功率特征。该模型进行了评估和讨论的单声道和双耳心理声学实验从文献的基线数据库。
2021-06-29 cs.SD eess.AS
Overview Of The 2023 Icassp Sp Clarity Challenge: Speech Enhancement For Hearing Aids
Acoustics Research Centre, University of Salford（索尔福德大学声学研究中心）；Department of Computer Science, University of Sheffield（谢菲尔德大学计算机科学系）；School of Medicine, University of Nottingham（诺丁汉大学医学院）；School of Psychology, Cardiff University（卡迪夫大学心理学院）
本文介绍了2023年ICASSP SP Clarity挑战赛的设计与结果，该挑战赛聚焦嘈杂家庭环境中的助听器语音增强任务，发现在仿真评估集上多个团队超越基线，但在真实测量集上性能显著下降。
2023-11-24 cs.SD eess.AS
BRUDEX Database: Binaural Room Impulse Responses with Uniformly Distributed External Microphones
University of Oldenburg, Department of Medical Physics and Acoustics and Cluster of Excellence Hearing4all（奥尔登堡大学医学物理与声学系及卓越中心Hearing4all）
BRUDEX数据库提供了一种包含36个均匀分布麦克风和12个声源位置的双耳房间脉冲响应数据集，用于多麦克风信号处理任务，如降噪和回声消除。
2023-06-14 cs.SD eess.AS eess.SP
GEDI: Gammachirp Envelope Distortion Index for Predicting Intelligibility of Enhanced Speech
Wakayama University（和歌山大学）；NTT Communication Science Laboratories（NTT通信科学基础研究所）
在这项研究中，我们提出了一个新的概念，伽玛包络失真指数（GEDI）的基础上的信号失真比在听觉包络，SDRenv预测的可懂度的非线性算法增强的语音。GEDI的目的是计算增强和干净的语音表示在域中的时间包络提取的伽马线性听觉滤波器组和调制滤波器组之间的失真。我们还扩展了GEDI与多分辨率分析（MR-GEDI）预测语音清晰度的声音在非平稳噪声条件下。我们评估GEDI的语音清晰度预测的语音增强的经典谱减法和维纳滤波方法。的预测与人类的结果进行比较，为各种信号噪声比的条件下添加剂粉红色和多路重合噪声。结果表明，在粉红噪声条件下，mr-GEDI对可懂度曲线的预测效果优于短时客观可懂度（STOI）、扩展STOI（ESTOI）和助听器言语感知指数（HASPI），在串音噪声条件下优于HASPI。mr-GEDI方法不存在高估趋势，被认为是比STOI和ESTOI更保守的方法。因此，使用mr-GEDI的评估可以为语音增强算法的开发提供额外的信息。
2020-07-19 cs.SD eess.AS
Injecting Spatial Information for Monaural Speech Enhancement via Knowledge Distillation
Wuhan University（武汉大学）；Hubei Luojia Laboratory（湖北珞珈实验室）
单耳语音增强（SE）通过利用来自单个麦克风的录音来提供用于SE任务的通用且成本有效的方法。然而，单声道SE的性能落后于多声道SE，因为单声道SE方法无法从单声道录音中提取空间信息，这极大地限制了其应用场景。为了解决这个问题，我们注入空间信息到单声道SE模型，并提出了一个知识蒸馏策略，使单声道SE模型学习双耳语音特征从双耳SE模型，这使得单声道SE模型可以重建更高的可懂度和质量增强的语音在低信噪比（SNR）条件下。大量的实验表明，我们提出的单耳SE模型通过注入空间信息，通过知识蒸馏实现了良好的性能对其他单耳SE模型与较少的参数。
2022-12-02 cs.SD eess.AS
A Convex Approximation of the Relaxed Binaural Beamforming Optimization Problem
最近提出的放松双耳波束成形（RBB）优化问题提供了一个灵活的权衡噪声抑制和双耳线索保存的声源在声学场景。它最小化输出噪声功率，在保证目标在处理后保持不变并且声源的双耳线索失真将小于用户定义的阈值的约束下。然而，RBB问题是一个计算要求很高的非凸优化问题。近似求解RBB的唯一现有次优方法是连续凸优化（SCO）方法，其通常需要求解每个频率仓的多个凸优化问题，以便收敛。当RBB优化问题的所有约束都满足时，收敛性就达到了。在本文中，我们提出了一个半定凸松弛（SDCR）的RBB优化问题。所提出的次优SDCR方法解决了每个频率点的单个凸优化问题，从而导致比SCO方法低得多的计算复杂性。与SCO方法不同，SDCR方法不保证用户控制的上限双耳线索失真。为了解决这个问题，我们还提出了一个次优的混合方法，结合SDCR和SCO方法。与听力测试相结合的仪器措施表明，SDCR和混合方法实现显着较低的计算复杂性比SCO方法，在大多数情况下，更好的权衡预测的可懂度和双耳提示保存比SCO方法。
2018-05-04 cs.IT cs.SD eess.AS
Investigation of Phase Distortion on Perceived Speech Quality for Hearing-impaired Listeners
Indiana University（印第安纳大学）
相位是影响语音质量和可懂度的关键因素。当前的语音增强算法开始解决相位失真，但这些算法集中于正常听力（NH）收听者。目前尚不清楚相位增强是否有利于听力受损（HI）的听众。我们通过一项听力研究调查了相位失真对语音质量的影响，在这项研究中，NH和HI听众使用MUSHRA程序提供了语音质量评级。在一组条件下，语音与-5至10 dB的4种不同信噪比（SNR）下的多路重合噪声混合。在另一组条件下，SNR固定在10 dB，嘈杂语音在模拟混响室中呈现，T60范围为100至1000 ms。NH听众的语音水平保持在65 dB SPL，HI听众应用放大以确保可听度。采用理想比率掩蔽法对语音增强进行了仿真。两个客观度量（即，PESQ和HASQI）被用来比较主观和客观评级。结果表明，相位失真有负面影响的感知质量为两组和PESQ更密切相关的人的评级。
2020-07-29 cs.SD eess.AS
Perceptually Relevant Preservation of Interaural Time Differences in Binaural Hearing Aids
本文提出了一种双耳助听器中残余噪声的耳间时间差（ITD）的感知相关保留的降噪方法。耳间相干性（IC）的概念，以前应用到多通道维纳滤波器（MWF）的空间主观感觉的弥漫性噪声场的保存，在这里提出既保存和强调ITD双耳线索的方向性声学噪声源。它表明，以前开发的MWF-ITD技术可能会降低处理后的噪声的原始IC幅度，从而增加输出信号的耳间相位差（IPD）的方差。它示出的MWF-IC技术伴随着最小化的输入和输出IPD，这是严格相关的ITD之间的差异的非线性函数，并保留由参考麦克风捕获的方向性噪声的自然相干性。客观措施和心理声学实验证实了理论研究结果，显示MWF-IC技术提供了相关的降噪，同时保留了原始的ITD主观感知和原始的定向噪声源的偏侧化。这些结果对于助听器设计者来说尤其重要，因为它们表明MWF-IC是一种降噪技术，可以为频率低于1.5 kHz的扩散和定向噪声源提供残留噪声空间保留。
2018-06-24 cs.SD eess.AS
A Novel Speech Intelligibility Enhancement Model based on CanonicalCorrelation and Deep Learning
Edinburgh Napier University（爱丁堡纳皮尔大学）；University of Wolverhamption（沃尔夫汉普顿大学）；Academia Sinica（中央研究院）
当前基于深度学习（DL）的噪声环境中的语音可懂度增强方法通常被训练为最小化无噪声语音与增强的语音信号之间的特征距离。尽管提高了语音质量，但这样的方法在日常噪声环境中不能提供所需的语音可懂度水平。最近已经开发了面向智能性（I-O）的损失函数来训练DL方法以用于鲁棒的语音增强。在这里，我们制定，为第一次，一种新的典型相关的I-O损失函数，更有效地训练DL算法。具体来说，我们提出了一个典型的相关性为基础的短期目标可懂度（CC-STOI）的成本函数训练一个完全卷积神经网络（FCN）模型。我们进行比较仿真实验表明，我们的CC-STOI为基础的语音增强框架优于国家的最先进的DL模型训练与传统的基于距离和基于STOI的损失函数，使用客观和主观的评价措施的情况下，看不见的扬声器和噪声。正在进行的未来工作是评估所提出的方法，设计强大的听力辅助技术。
2022-02-11 cs.LG cs.SD eess.AS
Towards predicting binaural audio quality in listeners with normal and impaired hearing
Universität Oldenburg（奥尔登堡大学）
本文提出了一种扩展的双耳音频质量模型，用于预测正常和听力受损听众的音频质量，通过引入非线性听觉滤波器组来考虑听力损失对音频质量的影响。
2025-12-04 eess.AS
Head shadow enhancement with low-frequency beamforming improves sound localization and speech perception for simulated bimodal listeners
KU Leuven – University of Leuven（鲁汶大学）
由于双耳线索的可用性差，许多听力受损的听众难以定位声音。带有人工耳蜗和对侧助听器的听众--所谓的双峰听众--是表现最差的，因为两耳间的时间和水平差都很难传递。提出了一种新的低频头部阴影增强方法。头部阴影增强是通过在每只耳朵中使用对侧衰减的固定波束形成器来实现的。该方法导致耳间水平差随角度单调变化。在语音和噪声空间分离的情况下，它还提高了低频信噪比。我们验证了该方法在两个实验中的声学模拟双峰听。在定位实验中，与标准全向麦克风相比，性能从50.5°提高到26.8°均方根误差。在噪声中的语音实验中，语音从正面方向呈现。当噪声来自人工耳蜗侧时，语音接收阈值提高了15.7 dB SNR，当噪声来自助听器侧时，语音接收阈值提高了7.6 dB SNR，当噪声来自各个方向时，语音接收阈值不受影响。除了双模态听众，该方法也可能是有前途的双侧人工耳蜗或助听器用户。其低计算复杂度使得该方法适合于在当前临床设备中的应用。保留字：头影增强、耳间水平差增强、声音定位、定向听力、噪声中言语、言语清晰度PACS：43.60.Fg、43.66.Pn、43.66.Qp、43.66.Rq、43.66.Ts、43.71.- k，43.71.Es，43.71.Ky
2018-03-14 cs.SD eess.AS
Multi-Speaker DOA Estimation in Binaural Hearing Aids using Deep Learning and Speaker Count Fusion
School of Electrical Engineering and Computer Science, University of Ottawa, Canada（Ottawa大学电气与计算机科学学院, 加拿大）；Department of Electrical and Computer Engineering, Universite de Sherbrooke, Canada（Sherbrooke大学电气与计算机工程系, 加拿大）；WS Audiology, Germany（德国WS听觉学）
本文探讨了在双耳助听器中利用深度学习和说话人计数融合进行多说话人方向估计，通过双任务训练和源计数作为辅助特征提升方向估计性能，实验表明源计数作为辅助特征可使F1分数提高14%。
2026-04-29 cs.SD eess.AS
Non-Intrusive Intelligibility Prediction for Hearing Aids: Recent Advances, Trends, and Challenges
Research Center for Information Technology Innovation（信息技术创新研究中心）；Academia Sinica（中国科学院）
本文综述了助听器非侵入式语音可懂度预测的最新进展，涵盖特征提取、听力损失建模等方向，讨论了适配与泛化策略及现存挑战，为该领域的发展提供参考。
2025-09-03 cs.SD eess.AS
A Phoneme-Scale Assessment of Multichannel Speech Enhancement Algorithms
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Loria（洛林计算机科学及其应用研究所）
本文在真实噪声与空间场景下从音素尺度评估FasNet、MVDR和Tango三种多通道语音增强算法，发现不同音素增强效果差异显著，可为音素感知助听器提供依据。
2024-01-24 cs.SD eess.AS
A Robust Target Linearly Constrained Minimum Variance Beamformer With Spatial Cues Preservation for Binaural Hearing Aids
WS Audiology（西万拓听力技术公司）
本文介绍了一种用于助听器的双耳波束形成算法，该算法被设计为对目标说话人方向估计中的误差具有鲁棒性。该算法有两个主要组成部分：一个强大的目标线性约束最小方差（TLCMV）算法的基础上施加两个约束周围的目标信号的估计方向，和一个后处理器，以帮助保存双耳线索。鲁棒TLCMV提供了一个良好的降噪水平和低水平的目标失真在现实条件下。后处理器增强了波束形成器的能力，以保留针对扩散样背景噪声和定向干扰者（竞争扬声器）的双耳线索，同时保持良好的降噪水平。该算法不需要知道或估计定向干扰源的方向，也不需要噪声分量的二阶统计量。所介绍的算法需要估计的目标扬声器的方向，但它的目的是强大的一些偏离估计的方向。与最近提出的国家的最先进的方法相比，综合评估下，在消声和轻度混响环境中产生的复杂的现实的声学场景，考虑到估计和真实的源到达波达方向之间的失配。还考虑了用于波束形成器设计的消声传播模型与用于生成模拟定向信号的轻度混响传播模型之间的失配。结果表明，该算法的鲁棒性，这样的不匹配。
2019-11-20 cs.SD eess.AS
A Single-Processor Approach to Speech Processing Pipeline of Bilateral Cochlear Implants
本文介绍了一种基于单处理器的双侧耳蜗植入体（CI）语音处理流水线的方法。仅使用单个处理器来提供双耳刺激信号克服了同步问题，这是双侧CI设备部署中现有的挑战性问题。开发的单处理器语音处理管道为CI用户提供了方向感。它的非同步特性以及较低的计算和内存需求使其成为实际部署的合适解决方案。语音增强框架的开发，采用不同的非欧几里德语音失真标准和不同的噪声环境。该框架不仅允许设计环境优化的参数，而且还实现了用户特定的解决方案，其中将单个用户的人体测量结果纳入训练过程以获得个性化的双侧参数。所开发的技术主要用于双侧CI，然而，它们是通用的，因为它们也适用于双耳助听器、在一只耳朵中具有助听器而在另一只耳朵中具有人工耳蜗植入物的双模态设备以及双通道语音增强应用。大量的实验表明，在六个常见的噪声环境中，开发的解决方案的有效性相比，类似的单通道管道时，使用两个单独的处理器或使用独立的顺序处理。
2014-09-23 cs.SD
Robust parameter design for Wiener-based binaural noise reduction methods in hearing aids
Federal University of Santa Catarina（圣卡塔琳娜联邦大学）
本文提出了一种基于维纳的双耳降噪方法所需的加权参数的设计方法。该参数在助听器应用中建立了降噪和双耳线索保留之间的期望折衷。提出的策略是专门为保存双耳水平差，双耳时间差和双耳相干性双耳线索。它被定义为麦克风处的平均输入噪声功率的函数，提供针对噪声和语音功率的联合变化（朗巴德效应）以及信噪比（SNR）变化的影响的鲁棒性。一个理论框架，基于数学定义的均匀度，并施加到一个通用的增广维纳为基础的代价函数。所获得的理论见解支持通过计算模拟和心理声学实验使用多通道维纳滤波器与耳间传递函数保存技术（MWF-ITF），作为一个案例研究。统计分析表明，所提出的动态结构的加权参数和其固定部分的设计方法提供了显着的鲁棒性对语音和残留噪声的原始双耳线索的变化，在一个小的降低噪声降低性能的成本相比，使用一个纯粹的固定加权参数。
2021-04-19 cs.SD eess.AS eess.SP
Non-Intrusive Binaural Speech Intelligibility Prediction from Discrete Latent Representations
Durham University（杜伦大学）；OFFIS e.V. Institute for Information Technology（奥菲斯信息技术研究所）
从双耳信号的非侵入式语音可懂度（SI）预测在许多应用中是有用的。然而，大多数现有的基于信号的测量被设计为应用于单通道信号。专门设计用于考虑信号的双耳特性的措施通常是侵入性的-其特征在于需要访问干净的语音信号-并且通常依赖于在进行预测之前将两个声道组合成单声道信号。本文提出了一种非侵入性的SI措施，计算从一个双耳输入信号的特征，使用矢量量化（VQ）和对比预测编码（CPC）的方法相结合。VQ-CPC特征提取不依赖于听觉系统的任何模型，而是被训练以最大化输入信号和输出特征之间的互信息。计算的VQ-CPC特征被输入到由神经网络参数化的预测函数。本文考虑了两个预测函数。特征提取器和预测函数都在具有各向同性噪声的模拟双耳信号上训练。他们进行了测试与各向同性和真实噪声的模拟信号。对于所有信号，地面实况分数是（侵入式）确定性双耳ST 0 I。结果的相关性和MSE方面，并表明，VQ-CPC功能能够捕获相关的建模SI和优于所有考虑的基准-即使在评估的数据，包括不同的噪声场类型。
2022-03-21 cs.LG cs.SD eess.AS
Exploiting Hidden Representations from a DNN-based Speech Recogniser for Speech Intelligibility Prediction in Hearing-impaired Listeners
University of Sheffield（谢菲尔德大学）
准确客观的语音可懂度预测算法对于诸如助听器的语音增强的许多应用是非常感兴趣的。大多数算法测量干净参考信号和退化信号的声学特征之间的信噪比或相关性。然而，这些手工挑选的声学特征通常与识别没有明确的相关性。同时，基于深度神经网络（DNN）的自动语音识别器（ASR）在某些语音识别任务中接近人类的表现。这项工作利用基于DNN的ASR的隐藏表示作为听力受损听众的语音可懂度预测的特征。基于助听器可懂度数据库的实验结果表明，该方法比目前广泛使用的基于短时客观可懂度（STOI）的双耳测量方法具有更好的预测效果。
2022-07-06 cs.SD eess.AS q-bio.QM
Speech Enhancement via Deep Spectrum Image Translation Network
Buein Zahra Technical University（布因扎赫拉理工大学）
语音信号的质量和可懂度在加性背景噪声下会降低，这是助听器和人工耳蜗使用者面临的一个关键问题。为了解决这个问题，我们提出了一种新的语音增强方法，使用深谱图像翻译网络。为此，我们提出了一种名为VGG 19-UNet的新架构，其中称为VGG 19的深度全卷积网络嵌入在图像到图像转换网络（即U-Net）的编码器部分。此外，我们提出了一个感知修改版本的频谱图像，表示在梅尔频率和幂律非线性幅度域，代表良好的近似人类听觉感知模型。通过对语音增强中的一个真正的挑战，即看不见的噪声环境进行实验，我们表明，所提出的方法优于其他增强方法的质量和可懂度的措施，分别由PESQ和ESTOI表示。
2019-11-05 cs.SD eess.AS
Subspace Hybrid MVDR Beamforming for Augmented Hearing
Imperial College London（伦敦帝国理工学院）；Meta Reality Labs Research（Meta现实实验室）
本文提出一种两阶段多通道语音增强算法，结合信号相关波束形成的自适应性与超指向性波束形成的鲁棒性，通过混合波束形成器和宽带子空间后置滤波器，在头戴式麦克风阵列的复杂声学场景中显著提升噪声抑制、可懂度和语音质量。
2023-11-30 cs.SD eess.AS eess.SP
Semantic Hearing: Programming Acoustic Scenes with Binaural Hearables
University of Washington（华盛顿大学）；Microsoft（微软）
本文提出语义听觉技术，通过首个双耳目标声音提取神经网络和泛化训练方法，使可听设备实时聚焦或忽略特定声音并保留空间线索，在20类声音和真实场景中验证有效。
2023-11-01 cs.LG cs.SD eess.AS
Speech intelligibility of simulated hearing loss sounds and its prediction using the Gammachirp Envelope Similarity Index (GESI)
Faculty of Systems Engineering, Wakayama University（和歌山大学系统工程学院）
本研究通过模拟70岁和80岁听力损失的语音可懂度实验，比较实验室与远程环境差异，并提出Gammachirp包络相似性指数（GESI）作为新的客观可懂度测量方法，验证其解释心理测量函数及预测听力受损听者语音可懂度的潜力。
2023-11-28 cs.SD eess.AS
Recycling an anechoic pre-trained speech separation deep neural network for binaural dereverberation of a single source
University of Engineering and Technology, Peshawar（白沙瓦工程技术大学）；Qatar University（卡塔尔大学）；MCS, NUST（巴基斯坦国立科技大学军事学院）
混响导致正常和听力受损的听众的可懂度降低。本文提出了一种新的心理声学方法去混响的单一的语音源，回收一个预先训练的双耳消声语音分离神经网络。由于训练深度神经网络（DNN）是一个漫长且计算昂贵的过程，因此使用预训练的分离网络进行去混响的优点是网络不需要重新训练，从而节省了时间和计算资源。混响源的耳间线索被给予这个预先训练的神经网络，以区分直接路径信号和混响语音。实验结果表明，信号可懂度平均提高了1.3%，SRMR平均提高了0.83dB（信号与混响能量比）和语音质量感知评估（PESQ）中的0.16分，超过其他最先进的信号处理去混响算法，并且在可懂度上为14%，在质量上为0.35分，超过具有谱减法的正交匹配追踪（OSS），基于机器学习的去混响算法。
2022-08-09 cs.SD eess.AS
Cooperative Audio Source Separation and Enhancement Using Distributed Microphone Arrays and Wearable Devices
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
诸如助听器的增强听音设备通常在具有许多竞争声源的嘈杂和混响环境中表现不佳。大型分布式麦克风阵列可以提高性能，但来自远程麦克风的数据通常不能用于延迟受限的实时处理。我们提出了一个合作的音频源分离和增强系统，利用可穿戴式收听设备和其他麦克风阵列分布在一个房间。全分布式阵列用于分离声源并估计其统计量。每个收听设备使用这些统计数据来设计使用其自己的本地麦克风的实时双耳音频增强滤波器。该系统的实验证明，使用10个语音源和160个麦克风在一个大的，混响室。
2019-12-10 cs.SD eess.AS
Low bit rate binaural link for improved ultra low-latency low-complexity multichannel speech enhancement in Hearing Aids
本文提出低复杂度、2ms 延迟的 GCFSnet 多通道语音增强模型，并通过低比特率双耳链路利用延迟双耳特征，使单侧配置在客观指标上达到非低延迟 oracle 双耳 LCMV 波束形成器水平。
2023-07-17 eess.AS
Localization based on enhanced low frequency interaural level difference
Delft University of Technology（代尔夫特理工大学）；Carl von Ossietzky University（卡尔·冯·奥西茨基大学）
低频耳间时间差的处理被认为是有问题的听力受损的人。目前的波束形成器没有考虑到这一缺陷。为了解决这个问题，我们建议用耳间水平差代替低频区域中听不见的耳间时间差。此外，介绍和分析了一种波束形成器，该波束形成器利用近场变换来增强声源的低频耳间声级差。利用半定松弛法将波束形成问题松弛为凸问题。仪器分析表明，在不妨碍所提供的可懂度的情况下，低频耳间电平差被增强。心理声学定位测试是使用听力实验，这表明，时间差到电平差的替代提高了定位性能的正常听力听众的消声场景，但不是混响场景。
2021-06-17 cs.SD eess.AS
Binaural Speech Enhancement Using Deep Complex Convolutional Transformer Networks
针对嘈杂环境下助听设备的双耳语音增强需求，提出融合编码器-解码器架构复值卷积网络与复值多头注意力Transformer的方法，采用兼顾空间信息保留等的新型损失函数训练，在多种噪声场景下相比基线算法更优。
2024-03-08 eess.AS
Disentangling peripheral hearing loss from central and cognitive effects on speech intelligibility in older adults
Center for Innovative and Joint Research, Wakayama University（和歌山大学创新与联合研究中心）；Graduate School of Systems Engineering, Wakayama University（和歌山大学系统工学研究科）；School of Informatics and Engineering, the University of Electro-Communications（电气通信大学信息与工程学院）
研究通过WHIS和GESI区分老年人言语可懂性中的外围听力损失与中央和认知因素，发现主观评分高于预测值，表明GESI有效吸收了外围听力损失的影响。
2026-04-08 cs.SD eess.AS
Word-Level Modeling with Alignment-Aware Acoustic Fusion for Text-Assisted Intelligibility Prediction in Listeners with Hearing Loss
Advanced Media, Inc.（先进媒体公司）
针对CPC3中听力受损者的语音可懂度预测，提出一种参考条件词级正确性建模方法，通过冻结Whisper编码器、教师强制解码器结合词级对齐局部声学分支和全局声学分支，在官方测试集上实现了RMSE 24.39和相关系数0.806。
2026-05-22 cs.SD eess.AS
A Study on Zero-Shot Non-Intrusive Speech Intelligibility for Hearing Aids Using Large Language Models
Academia Sinica（中国科学院）；National Chengchi University（中正大学）
本研究提出面向助听器的零样本非侵入式语音评估模型GPT-Whisper-HA，通过整合听力仿真、双ASR模块与GPT-4o评分平均的方案，较基线模型实现2.59%的相对RMSE提升，验证了大语言模型在助听器语音可懂度预测中的应用潜力。
2025-09-03 cs.SD eess.AS
Frame-Aligned Fusion of Canary and WavLM for Non-Intrusive Intelligibility Prediction of Hearing-Aid-Processed Speech
Advanced Media, Inc.（先进媒体公司）
针对无干净参考的助听器处理语音清晰度预测任务，研究了两种冻结语音编码器Canary和WavLM的互补表示融合策略，提出帧对齐融合方法，在3rd Clarity Prediction Challenge中达到Eval RMSE 24.96和Eval Corr 0.796。
2026-05-22 cs.SD eess.AS
MBI-Net: A Non-Intrusive Multi-Branched Speech Intelligibility Prediction Model for Hearing Aids
National Taiwan University（国立台湾大学）；Academia Sinica（中央研究院）；Southern University of Science and Technology of China（南方科技大学）
提高用户在噪声环境中理解语音的听力能力对于助听器（HA）设备的发展至关重要。为此，重要的是要得到一个度量，可以公平地预测语音清晰度HA用户。一个直接的方法是进行主观听力测试，并使用测试结果作为评估指标。然而，进行大规模的听力测试既耗时又昂贵。因此，几个评估指标作为主观听力测试结果的替代品。在这项研究中，我们提出了一个多分支的语音清晰度预测模型（MBI-Net），用于预测HA用户的主观清晰度分数。MBI-Net由两个模型分支组成，每个分支由听力损失模型，跨域特征提取模块和语音可懂度预测模型组成，用于处理来自一个通道的语音信号。两个分支的输出通过线性层融合以获得预测的语音可懂度分数。实验结果证实了MBI-Net的有效性，它在Clarity Prediction Challenge 2022数据集上的Track 1和Track 2中产生了比基线系统更高的预测分数。
2022-08-31 cs.LG cs.SD eess.AS
Feature Importance across Domains for Improving Non-Intrusive Speech Intelligibility Prediction in Hearing Aids
Academia Sinica（台湾“中央研究院）
针对助听器中非侵入式语音可懂度评估需求，提出跨域特征重要性方法FiDo，通过估计多类特征重要性并投影加权来提升模型性能，集成到MBI-Net+后RMSE显著降低，效果优于2023年相关挑战赛最优系统。
2025-07-31 cs.SD eess.AS
Towards Environmental Preference Based Speech Enhancement For Individualised Multi-Modal Hearing Aids
Edinburgh Napier University（爱丁堡纳皮尔大学）；Academia Sinica（中央研究院）
本文提出基于偏好学习的语音增强模型，通过多任务深度学习联合估计信噪比和声学场景，并结合用户偏好线性学习目标SNR，实现面向多模态助听器的上下文个性化语音增强。
2024-02-26 cs.SD eess.AS
GESI: Gammachirp Envelope Similarity Index for Predicting Intelligibility of Simulated Hearing Loss Sounds
Graduate School / Faculty of Systems Engineering, Wakayama University（和歌山大学系统工程学院/研究生院）
提出GESI客观可懂度指标，利用gammachirp滤波器组预测模拟听力损失语音可懂度，在多项实验中优于STOI等传统方法，可助力助听设备语音增强。
2024-03-14 cs.SD eess.AS
Multi-objective Non-intrusive Hearing-aid Speech Assessment Model
Academia Sinica（中央研究院）；Nvidia（英伟达）
提出HASA-Net Large多目标非侵入式助听器语音评估模型，利用预训练SSL模型和听力损失模式预测语音质量与可懂度，显著提升性能及OOD迁移性。
2023-11-15 cs.SD eess.AS
Phoneme-Based Ratio Mask Estimation for Reverberant Speech Enhancement in Cochlear Implant Processors
Duke University（杜克大学）
耳蜗植入体（CI）用户在混响听音环境中理解语音有相当大的困难。时频（T-F）掩蔽是旨在通过将混响语音乘以增益值矩阵以抑制由混响主导的T-F仓来提高语音可懂度的常用技术。最近提出的掩模估计算法利用机器学习方法来区分目标语音和混响反射。然而，语音的频谱-时间结构是高度可变的，并且依赖于潜在的音素。潜在地克服这种可变性的单向式方法是在掩码估计期间利用音素信息的明确知识。本研究提出一种以音素为基础的遮罩估测演算法，针对每一音素分别训练遮罩估测模型。在正常听力的听众中进行句子识别测试，以确定基于音素的掩码估计算法在音素的完美知识可用的理想情况下是否有益。结果表明，与传统的音素无关的面具相比，基于音素的面具提高了声码语音的可懂度。研究结果表明，音素为基础的语音增强策略可能有利于CI用户在混响听环境。
2021-05-28 cs.SD eess.AS
Low-Power End-to-End Cochlear Implant Speech Denoising with Spiking Neural Networks
University of Sherbrooke（谢布鲁克大学）
本研究针对人工耳蜗用户在嘈杂环境中语音理解困难的问题，提出受Deep ACE架构启发的脉冲神经网络，可同时实现语音增强与CI编码，在保持性能的同时能耗降低超6倍。
2026-08-31 cs.NE cs.SD eess.AS
Exploiting Deep Neural Networks and Head Movements for Robust Binaural Localisation of Multiple Sources in Reverberant Environments
University of Sheffield（谢菲尔德大学）；Technical University of Denmark（丹麦技术大学）
本文提出了一种新的机器听觉系统，该系统利用深度神经网络（DNN）和头部运动，在混响环境中对多个声源进行稳健的双耳定位。DNN用于学习源方位角和双耳线索之间的关系，包括完整的互相关函数（CCF）和耳间水平差（ILD）。与许多以前的双耳听力系统相比，所提出的方法不限于在额半野中定位声源。由于双耳线索的相似性，在前半和后半场，前后混淆经常发生。为了解决这个问题，头部运动策略被纳入本地化模型，以帮助减少前后错误。所提出的DNN系统相比，高斯混合模型（GMM）为基础的系统，采用耳间时间差（ITDs）和ILD作为本地化功能。我们的实验表明，DNN能够利用CCF中的信息，而这些信息在ITD提示中不可用，这与头部运动一起大大提高了在具有挑战性的声学场景下的定位精度，其中存在多个说话者和房间混响。
2019-04-05 cs.SD eess.AS
Leveraging Multiple Speech Enhancers for Non-Intrusive Intelligibility Prediction for Hearing-Impaired Listeners
Orka Labs Inc.（Orka实验室）；Stanford University（斯坦福大学）；University of British Columbia（不列颠哥伦比亚大学）
本文提出利用多个语音增强器构建并行增强信号通路的非侵入式语音可懂度预测框架，并结合2片段增强策略提升跨数据集泛化能力，在多个数据集上优于CPC2 Champion基线。
2025-09-21 cs.AI cs.SD eess.AS
Influence of Lossy Speech Codecs on Hearing-aid, Binaural Sound Source Localisation using DNNs
本文研究 BLE 场景下 LC3plus 有损编解码对双耳 DNN 声源定位的影响，比较单耳与中心处理条件，并扩展 Pyroomacoustics 支持 HD-HRTF。
2023-06-04 eess.AS
