Leveraging Multiple Speech Enhancers for Non-Intrusive Intelligibility Prediction for Hearing-Impaired Listeners
Orka Labs Inc.（Orka实验室）；Stanford University（斯坦福大学）；University of British Columbia（不列颠哥伦比亚大学）
本文提出利用多个语音增强器构建并行增强信号通路的非侵入式语音可懂度预测框架，并结合2片段增强策略提升跨数据集泛化能力，在多个数据集上优于CPC2 Champion基线。
2025-09-21 cs.AI cs.SD eess.AS
Unveiling the Best Practices for Applying Speech Foundation Models to Speech Intelligibility Prediction for Hearing-Impaired People
Orka Labs Inc.（Orka Labs 公司）；Stanford University（斯坦福大学）
本文系统评估5个语音基础模型在听障人士语音可懂度预测中的适配方式，发现单层编码器、时序预测头及多模型集成更优。
2025-05-13 cs.AI cs.SD eess.AS
Automatic Estimation of Intelligibility Measure for Consonants in Speech
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
在这篇文章中，我们提供了一个模型来估计一个真正的价值衡量个别语音段的可懂度。我们基于卷积神经网络（CNN）训练回归模型，用于与元音\textipa{/A/}相关的塞音\textipa{/p,t,k,b,d,g/}，以估计相应的信噪比（SNR），在该信噪比下，辅音-元音（CV）声音对于正常听力（NH）耳朵变得可理解。每个声音的可懂度度量称为SNR $_{90}$，定义为人类参与者能够平均至少90%正确识别辅音的SNR水平，如之前对NH受试者的实验所确定的。将CNN的性能与基于自动语音识别（ASR）的基线预测进行比较，具体地，从SNR中减去恒定偏移，在该恒定偏移处，ASR变得能够正确地标记辅音。与基线相比，我们的模型能够准确估计SNR $_{90}$ ~可懂度测量，平均均方误差（MSE）小于2 [dB $^2$ ]，而基线ASR定义的测量计算SNR $_{90}$ ~，方差为5.2至26.6 [dB $^2$ ]，具体取决于辅音。
2020-06-28 cs.CL cs.SD eess.AS
Advancing Hearing Assessment: An ASR-Based Frequency-Specific Speech Test for Diagnosing Presbycusis
Institute of Sound and Vibration Research, University of Southampton（声学与振动研究所，南安普顿大学）
本文提出一种基于ASR的特定频率语音测试，通过模拟中度倾斜型听力损失的声学退化并分析音素混淆模式，为诊断老年性耳聋提供客观、精细的评估方法。
2025-05-28 cs.CL cs.SD eess.AS
Non-Intrusive Intelligibility Prediction for Hearing Aids: Recent Advances, Trends, and Challenges
Research Center for Information Technology Innovation（信息技术创新研究中心）；Academia Sinica（中国科学院）
本文综述了助听器非侵入式语音可懂度预测的最新进展，涵盖特征提取、听力损失建模等方向，讨论了适配与泛化策略及现存挑战，为该领域的发展提供参考。
2025-09-03 cs.SD eess.AS
Evaluating the Intelligibility Benefits of Neural Speech Enrichment for Listeners with Normal Hearing and Hearing Impairment using the Greek Harvard Corpus
University of Crete（克里特大学）；Chania General Hospital（干尼亚综合医院）
在这项工作中，我们评估了基于神经的语音清晰度助推器的频谱整形和动态范围压缩（SSDRC）的基础上，被称为基于WaveNet的SSDRC（wSSDRC），使用最近设计的希腊哈佛风格的语料库。该语料库已根据哈佛/IEEE句子的格式开发，并提供了应用神经语音增强模型，并检查其性能增益为希腊听众的机会。wSSDRC已经成功地测试了英语材料和扬声器在过去。在本文中，我们重新访问wSSDRC进行全面评估的模型与希腊听众的条件下，相等的能量前后修改。听力正常（NH）和听力受损（HI）的听众在语音成形噪声（SSN）下以与他们的语音接收阈值（SRT）匹配的特定于听众的SNR评估模型，在该点处，50%的未修改语音是可理解的。分析统计数据表明，wSSDRC模型产生了一个中位数的清晰度提升39%的NH和38%的HI，相对于平原未经处理的语音。
2020-11-12 cs.SD eess.AS
Comparing Supervised Models And Learned Speech Representations For Classifying Intelligibility Of Disordered Speech On Selected Phrases
Google Research（谷歌研究院）；MGH Institute of Health Professions（麻省总医院健康职业学院）；Harvard University（哈佛大学）
语音障碍的自动分类可以为识别语音障碍的存在和严重程度提供客观的工具。分类方法还可以帮助识别难以识别的语音样本，以教授ASR系统有关受损语音的各种表现。在这里，我们开发并比较了不同的深度学习技术，以对选定短语上的无序语音的可懂度进行分类。我们收集了来自661名具有各种自我报告障碍的说话者的样本，这些说话者说了29个单词或短语，这些单词或短语由语音语言病理学家使用五点Likert量表对其整体可理解性进行了评级。然后，我们评估了使用3种方法开发的分类器：（1）为任务训练的卷积神经网络（CNN），（2）使用无监督目标的CNN的非语义语音表示训练的分类器[1]，以及（3）来自典型语音训练的ASR系统的声学（编码器）嵌入训练的分类器[2]。我们发现，ASR编码器的嵌入大大优于其他两个检测和分类无序语音。进一步的分析表明，ASR嵌入聚类语音的口语短语，而非语义嵌入聚类语音的说话人。此外，较长的短语比单个单词更能说明可理解性缺陷。
2021-07-08 cs.LG cs.SD eess.AS
HASA-net: A non-intrusive hearing-aid speech assessment network
Research Center for Information Technology Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）；Nagoya University（名古屋大学）；Institute of Information Science, Academia Sinica（中央研究院资讯科学研究所）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
不需要一个干净的参考，非侵入性的语音评估方法已经引起了极大的关注，客观的评价。最近，深度神经网络（DNN）模型已被应用于构建非侵入式语音评估方法，并被证实具有良好的性能。然而，大多数基于DNN的方法都是为听力正常的听众设计的，而没有考虑听力损失因素。在这项研究中，我们提出了一个基于DNN的助听器语音评估网络（HASA-Net），由双向长短期记忆（BLSTM）模型形成，根据输入语音信号和指定的听力损失模式同时预测语音质量和可懂度分数。据我们所知，HASA-Net是第一个利用统一的基于DNN的非侵入式助听器模型进行质量和清晰度评估的工作。实验结果表明，预测的语音质量和清晰度分数的HASA-Net是高度相关的两个著名的侵入式助听器的评估指标，助听器语音质量指数（HASQI）和助听器语音感知指数（HASPI），分别。
2021-11-10 cs.AI cs.SD eess.AS
The Spatial Selective Auditory Attention of Cochlear Implant Users in Different Conversational Sound Levels
University of Texas at Dallas（德克萨斯大学达拉斯分校）；Tongmyong University（东明大学）
在多扬声器环境中，耳蜗植入（CI）用户在对话期间可以以与正常听力（NH）个体不同的方式关注目标声源。本研究旨在探讨会话声级对CI和NH听者选择性听觉注意机制的影响及其对日常会话的影响。九CI用户（五双边，三单边，和一个双峰）和八NH听众参加了这项研究。使用矩阵句子测试收集行为语音识别分数，并使用脑电图（EEG）记录对语音包络的神经跟踪。言语刺激呈现在三个不同的水平（75，65，和55分贝SPL）的存在下，从三个空间分离的扬声器的两个掩蔽。对CI用户的辅助/受损听力模式的不同组合进行了评估，并将结果分为三类进行分析：仅电听力，仅声学听力和电+声学听力。我们的研究结果表明，增加会话的声音水平降低了选择性听觉注意的电听觉。另一方面，提高声音水平提高了声学听力组的选择性听觉注意。然而，在NH听众中，增加声音水平并没有引起听觉注意力的显着变化。我们的研究结果意味着，声音水平上的选择性听觉注意力的影响取决于听力模式和响度控制是必要的，方便参加CI用户的谈话。
2021-03-03 cs.SD eess.AS eess.SP
Non-Intrusive Binaural Speech Intelligibility Prediction Using Mamba for Hearing-Impaired Listeners
CyberAgentJapan（CyberAgent日本）
针对听障听众的双耳语音可懂度预测，提出用Mamba替代Transformer进行时间处理，在保持参数较少的同时达到竞争性能，并有效捕获上下文和空间信息。
2025-07-08 cs.SD eess.AS
MBI-Net: A Non-Intrusive Multi-Branched Speech Intelligibility Prediction Model for Hearing Aids
National Taiwan University（国立台湾大学）；Academia Sinica（中央研究院）；Southern University of Science and Technology of China（南方科技大学）
提高用户在噪声环境中理解语音的听力能力对于助听器（HA）设备的发展至关重要。为此，重要的是要得到一个度量，可以公平地预测语音清晰度HA用户。一个直接的方法是进行主观听力测试，并使用测试结果作为评估指标。然而，进行大规模的听力测试既耗时又昂贵。因此，几个评估指标作为主观听力测试结果的替代品。在这项研究中，我们提出了一个多分支的语音清晰度预测模型（MBI-Net），用于预测HA用户的主观清晰度分数。MBI-Net由两个模型分支组成，每个分支由听力损失模型，跨域特征提取模块和语音可懂度预测模型组成，用于处理来自一个通道的语音信号。两个分支的输出通过线性层融合以获得预测的语音可懂度分数。实验结果证实了MBI-Net的有效性，它在Clarity Prediction Challenge 2022数据集上的Track 1和Track 2中产生了比基线系统更高的预测分数。
2022-08-31 cs.LG cs.SD eess.AS
Restoring speech intelligibility for hearing aid users with deep learning
Audatic（Audatic公司）；Charité – Universitätsmedizin Berlin（柏林夏里特医学院）；Technische Universität Berlin（柏林工业大学）；Bernstein Center for Computational Neuroscience Berlin（柏林伯恩斯坦计算神经科学中心）
全世界近5亿人患有致残性听力损失。虽然助听器可以部分弥补这一点，但很大一部分用户在有背景噪音的情况下难以理解语音。在这里，我们提出了一种基于深度学习的算法，该算法在保持语音信号的同时选择性地抑制噪声。该算法将助听器用户的语音清晰度恢复到正常听力的对照受试者的水平。它由一个深度网络组成，该网络在噪声语音信号的大型自定义数据库上进行训练，并通过神经架构搜索进行进一步优化，使用基于深度学习的语音清晰度度量。该网络在一系列人工分级评估中实现了最先进的去噪，在不同的噪声类别中进行推广，并且与经典的波束成形方法相比，它在单个麦克风上运行。该系统可在笔记本电脑上实时的运行，这表明助听器芯片的大规模部署可能在几年内实现。因此，基于深度学习的去噪有可能很快改善数百万听力受损者的生活质量。
2022-06-23 cs.SD eess.AS q-bio.NC
A convolutional neural-network model of human cochlear mechanics and filter tuning for real-time applications
Ghent University（根特大学）
听觉模型通常被用作自动语音识别系统的特征提取器，或者用作机器人、机器听力和助听器应用的前端。虽然听觉模型可以非常详细地捕获人类听觉的生物物理和非线性特性，但这些生物物理模型在计算上是昂贵的，并且不能用于实时应用。我们提出了一种混合方法，其中卷积神经网络与计算神经科学相结合，以产生人类耳蜗力学的实时端到端模型，包括电平相关滤波器调谐（CoNNear）。在声学语音材料上训练CoNNear模型，并使用耳蜗力学研究中常用的（看不见的）声音刺激来评估其性能和适用性。CoNNear模型准确地模拟了人类耳蜗的频率选择性及其对声音强度的依赖性，这是在负语音与背景噪声比下实现鲁棒语音清晰度的基本品质。CoNNear架构基于并行和可微分计算，具有实现实时人类性能的能力。这些独特的CoNNear功能将使下一代类人机器听觉应用成为可能。
2020-12-04 cs.CE cs.LG cs.SD
DeepGESI: A Non-Intrusive Objective Evaluation Model for Predicting Speech Intelligibility in Hearing-Impaired Listeners
Wakayama University（白川大学）
DeepGESI是一种非侵入式深度学习模型，可高效预测听力受损听众的语音可懂性，无需参考语音，且预测速度快。
2025-12-22 cs.SD
Speech intelligibility of simulated hearing loss sounds and its prediction using the Gammachirp Envelope Similarity Index (GESI)
Faculty of Systems Engineering, Wakayama University（和歌山大学系统工程学院）
本研究通过模拟70岁和80岁听力损失的语音可懂度实验，比较实验室与远程环境差异，并提出Gammachirp包络相似性指数（GESI）作为新的客观可懂度测量方法，验证其解释心理测量函数及预测听力受损听者语音可懂度的潜力。
2023-11-28 cs.SD eess.AS
Model-based Speech Enhancement for Intelligibility Improvement in Binaural Hearing Aids
Aalborg University（奥尔堡大学）；GN Hearing（GN听力公司）
在诸如鸡尾酒会场景的情况下，听力受损个体的语音清晰度通常严重下降。目前的助听器技术的性能已经被观察到在这些情况下受到限制。在本文中，我们提出了一个双耳语音增强框架，考虑到语音产生模型。这里提出的增强框架是基于卡尔曼滤波器，使我们能够考虑到在增强过程中的语音生产动态。卡尔曼滤波器的使用需要估计干净语音和噪声短期预测器（STP）参数以及干净语音音调参数。在这项工作中，提出了一种基于双耳码本的方法来估计STP参数，并使用基于谐波模型和最大似然原理的方向性基音估计器来估计基音参数。所提出的用于估计STP和基音参数的方法联合使用来自左右耳的信息，导致滤波器参数的更鲁棒的估计。客观的措施，如PESQ和STOI已被用来评估在不同的声学场景代表鸡尾酒会的情况下的增强框架。我们还对9名听力正常的受试者进行了主观听力测试，以评估清晰度和质量改善方面的性能。听力测试表明，该算法，即使只有一个通道的噪声观察，显着提高整体语音质量，和语音清晰度高达15%。
2018-10-01 cs.SD eess.AS
Gammatonegram Representation for End-to-End Dysarthric Speech Processing Tasks: Speech Recognition, Speaker Identification, and Intelligibility Assessment
University of Zurich（苏黎世大学）；University of Tehran（德黑兰大学）
本文提出将gammatonegram表示与基于预训练Alexnet的CNN迁移学习方法结合，用于构音障碍语音的识别、说话人识别和可懂度评估，并设计了级联多网络架构提升自动化识别准确率。
2024-03-20 cs.CL cs.SD eess.AS
Non Intrusive Intelligibility Predictor for Hearing Impaired Individuals using Self Supervised Speech Representations
TOSHIBA Cambridge Research Laboratory（东芝剑桥研究实验室）
本文将自监督语音表征用于非侵入式听障语音可懂度预测，在Clarity Prediction Challenge 1数据上达到与复杂系统竞争的性能，并指出泛化仍需更多数据。
2023-12-07 cs.LG cs.SD eess.AS
Disentangling peripheral hearing loss from central and cognitive effects on speech intelligibility in older adults
Center for Innovative and Joint Research, Wakayama University（和歌山大学创新与联合研究中心）；Graduate School of Systems Engineering, Wakayama University（和歌山大学系统工学研究科）；School of Informatics and Engineering, the University of Electro-Communications（电气通信大学信息与工程学院）
研究通过WHIS和GESI区分老年人言语可懂性中的外围听力损失与中央和认知因素，发现主观评分高于预测值，表明GESI有效吸收了外围听力损失的影响。
2026-04-08 cs.SD eess.AS
Word-Level Modeling with Alignment-Aware Acoustic Fusion for Text-Assisted Intelligibility Prediction in Listeners with Hearing Loss
Advanced Media, Inc.（先进媒体公司）
针对CPC3中听力受损者的语音可懂度预测，提出一种参考条件词级正确性建模方法，通过冻结Whisper编码器、教师强制解码器结合词级对齐局部声学分支和全局声学分支，在官方测试集上实现了RMSE 24.39和相关系数0.806。
2026-05-22 cs.SD eess.AS
Frame-Aligned Fusion of Canary and WavLM for Non-Intrusive Intelligibility Prediction of Hearing-Aid-Processed Speech
Advanced Media, Inc.（先进媒体公司）
针对无干净参考的助听器处理语音清晰度预测任务，研究了两种冻结语音编码器Canary和WavLM的互补表示融合策略，提出帧对齐融合方法，在3rd Clarity Prediction Challenge中达到Eval RMSE 24.96和Eval Corr 0.796。
2026-05-22 cs.SD eess.AS
Interactive spatial speech recognition maps based on simulated speech recognition experiments
Universität Oldenburg（奥尔登堡大学）
在日常生活中，人类听者的语音识别性能受到各种因素的影响，例如声学环境、说话者和听者的位置、可能受损的听力以及可选的听力设备。预测模型更接近于同时考虑所有需要的因素来预测复杂声学环境中的个体语音识别性能。虽然这样的预测对于严肃的应用可能仍然不够准确，但它们已经可以执行并且需要可访问的表示。在这方面的贡献，语音识别性能的交互式表示提出，它侧重于听众的头部方向和空间维度的声学场景。包括声学渲染模型、听力设备模型和收听者模型的示例性建模工具链被用于生成用于演示目的的数据集。使用空间语音识别地图来探索该数据集，证明了该方法观察可能相关行为的适用性。所提出的表示提供了一个合适的目标，比较和验证不同的建模方法在生态相关的上下文中。最终，它可以作为一种工具，在考虑语音通信的空间和设备的设计中使用经过验证的预测模型。
2021-04-01 cs.SD eess.AS
Feature Importance across Domains for Improving Non-Intrusive Speech Intelligibility Prediction in Hearing Aids
Academia Sinica（台湾“中央研究院）
针对助听器中非侵入式语音可懂度评估需求，提出跨域特征重要性方法FiDo，通过估计多类特征重要性并投影加权来提升模型性能，集成到MBI-Net+后RMSE显著降低，效果优于2023年相关挑战赛最优系统。
2025-07-31 cs.SD eess.AS
GESI: Gammachirp Envelope Similarity Index for Predicting Intelligibility of Simulated Hearing Loss Sounds
Graduate School / Faculty of Systems Engineering, Wakayama University（和歌山大学系统工程学院/研究生院）
提出GESI客观可懂度指标，利用gammachirp滤波器组预测模拟听力损失语音可懂度，在多项实验中优于STOI等传统方法，可助力助听设备语音增强。
2024-03-14 cs.SD eess.AS
Multi-objective Non-intrusive Hearing-aid Speech Assessment Model
Academia Sinica（中央研究院）；Nvidia（英伟达）
提出HASA-Net Large多目标非侵入式助听器语音评估模型，利用预训练SSL模型和听力损失模式预测语音质量与可懂度，显著提升性能及OOD迁移性。
2023-11-15 cs.SD eess.AS
Non-Intrusive Speech Intelligibility Prediction for Hearing Aids using Whisper and Metadata
National Taiwan University（台湾大学）；Academia Sinica（中央研究院）；Southern University of Science and Technology（南方科技大学）
本文提出 MBI-Net+，通过引入 Whisper 嵌入、语音增强方法元数据分类器和 HASPI 补充指标，在 Clarity Prediction Challenge 2023 数据集上超越多个侵入式基线，提升助听器语音可懂度预测精度。
2024-06-13 cs.LG cs.SD eess.AS
A Speech Intelligibility Enhancement Model based on Canonical Correlation and Deep Learning for Hearing-Assistive Technologies
当前基于深度学习（DL）的在噪声环境中增强语音可懂度的方法通常被训练为最小化干净语音特征和增强语音特征之间的距离。这些通常会提高语音质量，但它们缺乏概括性，在日常嘈杂的情况下可能无法提供所需的语音清晰度。为了解决这些挑战，研究人员已经探索了面向可懂度（I-O）的损失函数，以训练DL方法来实现鲁棒的语音增强（SE）。为了更有效地训练深度学习算法，我们提出了一种新的基于典型相关性的I-O损失函数。具体来说，我们提出了一个完全卷积SE模型，使用修改后的基于典型相关的短期客观可懂度（CC-STOI）度量作为训练代价函数。据我们所知，这是第一个工作，利用集成的典型相关性的I-O为基础的损失函数SE。比较实验结果表明，我们提出的CC-STOI为基础的SE框架优于传统的STOI和基于距离的损失函数训练的DL模型，在处理看不见的扬声器和噪声时，在标准的客观和主观评价措施。
2022-02-15 cs.SD eess.AS
Investigation of Phase Distortion on Perceived Speech Quality for Hearing-impaired Listeners
Indiana University（印第安纳大学）
相位是影响语音质量和可懂度的关键因素。当前的语音增强算法开始解决相位失真，但这些算法集中于正常听力（NH）收听者。目前尚不清楚相位增强是否有利于听力受损（HI）的听众。我们通过一项听力研究调查了相位失真对语音质量的影响，在这项研究中，NH和HI听众使用MUSHRA程序提供了语音质量评级。在一组条件下，语音与-5至10 dB的4种不同信噪比（SNR）下的多路重合噪声混合。在另一组条件下，SNR固定在10 dB，嘈杂语音在模拟混响室中呈现，T60范围为100至1000 ms。NH听众的语音水平保持在65 dB SPL，HI听众应用放大以确保可听度。采用理想比率掩蔽法对语音增强进行了仿真。两个客观度量（即，PESQ和HASQI）被用来比较主观和客观评级。结果表明，相位失真有负面影响的感知质量为两组和PESQ更密切相关的人的评级。
2020-07-29 cs.SD eess.AS
Speech foundation models on intelligibility prediction for hearing-impaired listeners
Institute of Convergence ILCB（ILCB融合研究所）；Aix-Marseille University（艾克斯-马赛大学）
针对语音感知领域SFM应用探索不足的问题，本文系统评估10种语音基础模型在听障听众语音可懂度预测任务上的表现，提出冻结SFM加轻量预测头的方法，在CPC2挑战赛中夺冠。
2024-01-24 cs.LG cs.SD eess.AS
Dynamic Processing Neural Network Architecture For Hearing Loss Compensation
Poznan University of Technology（波兹南理工大学）；Eriksholm Research Center（埃里克肖姆研究中心）；Tampere University（坦佩雷大学）
提出一种可微且可解释的dynamic processing network用于补偿感音神经性听力损失，该网络通过学习参数最大化语音可懂度，与卷积网络结合后在STOI和HASPI指标上取得最佳结果。
2023-10-25 cs.SD eess.AS
Text-to-speech for the hearing impaired
University of Manchester（曼彻斯特大学）；University of Cambridge（剑桥大学）
文本转语音（TTS）系统提供了在源处补偿听力损失的机会，而不是在接收端对其进行校正。这消除了诸如在助听器中放大声音的算法的时间限制等限制，并且可以导致更高的语音质量。我们提出了一种算法，恢复响度正常的感知在时间，频率和水平的高分辨率，并将其嵌入到TTS系统，使用Tacotron2和WaveGlow产生单独放大的语音。语音质量的主观评价表明，该算法导致高质量的音频与原始或线性放大的语音，但相当高的语音清晰度噪声的声音质量相似。迁移学习使得从原始语音到单独放大的语音的产生的频谱快速适应，从而产生高的语音质量和可懂度，从而为我们提供了一种有效地训练个体TTS系统的方法。
2021-03-22 cs.LG cs.SD eess.AS
Using Speech Foundational Models in Loss Functions for Hearing Aid Speech Enhancement
The University of Sheffield（谢菲尔德大学）；WS Audiology（西万拓听力技术公司）；Toshiba（东芝）
本文提出在助听器语音增强的损失函数中利用自监督语音表示距离，以提升可懂度，实验显示相比SNR损失，HASPI、STOI、PESQ和SI-SNR均提高，且仅训练时需大模型推理。
2024-07-18 cs.SD eess.AS
Adversarial Data Augmentation Using VAE-GAN for Disordered Speech Recognition
The Chinese University of Hong Kong（香港中文大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
迄今为止，对无序语音的自动识别仍然是一项极具挑战性的任务。潜在的神经运动条件，往往与共同发生的身体残疾，导致难以收集大量的受损语音所需的ASR系统的发展。本文提出了一种新的变分自动编码器生成对抗网络（VAE-GAN）的个性化的无序语音增强方法，同时学习编码，生成和歧视合成受损语音。单独的潜在功能，推导出学习构音障碍的语音特征和音素上下文表示。还包含了自我监督的预训练Wav 2 vec 2.0嵌入功能。在UASpeech语料库上进行的实验表明，所提出的对抗性数据增强方法始终优于基线速度扰动和非VAE GAN增强方法，具有训练的混合TDNN和端到端Conformer系统。在LHUC扬声器自适应之后，使用基于VAE-GAN的增强的最佳系统在16个构音障碍扬声器的UASpeech测试集上产生了27.78%的总体WER，并且在具有“非常低”可懂度的扬声器子集上产生了57.31%的最低公布WER。
2023-03-19 cs.SD eess.AS
Parrotron: An End-to-End Speech-to-Speech Conversion Model and its Applications to Hearing-Impaired Speech and Speech Separation
Google（谷歌）
我们描述了Parrotron，一种端到端训练的语音到语音转换模型，它将输入频谱图直接映射到另一个频谱图，而不使用任何中间离散表示。该网络由编码器、声谱图和音素解码器组成，随后是声码器以合成时域波形。我们证明，这个模型可以训练，以规范化语音从任何扬声器，无论口音，韵律和背景噪声，到一个单一的标准目标扬声器的声音与固定的口音和一致的发音和韵律。我们进一步表明，这种规范化模型可以适应于规范化的高度非典型的语音从聋人扬声器，从而显着提高可懂度和自然度，通过语音识别器和听力测试测量。最后，展示了该模型在其他语音任务上的实用性，我们表明，可以训练相同的模型架构来执行语音分离任务
2019-10-29 cs.SD eess.AS
Lend a Hand: Semi Training-Free Cued Speech Recognition via MLLM-Driven Hand Modeling for Barrier-free Communication
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；The Hong Kong University of Science and Technology（香港科技大学）
针对提示语音识别中手部特征提取与建模不佳的问题，提出半训练免提示范式STF-ACSR，利用多模态大语言模型零样本识别手形与位置，结合极简融合模块提升识别性能，并在新增听力受损数据上验证优越性。
2025-03-11 cs.SD eess.AS
Spectral-change enhancement with prior SNR for the hearing impaired
Peking University（北京大学）；Sonova（索诺瓦公司）
以前的信号处理算法，旨在提高频谱变化（SCE）随着时间的推移，听力受损（HI）的听众识别语音在背景噪声中的好处。在这项工作中，以前的SCE被操纵，以执行目标占主导地位的部分，而不是平等地对待所有帧。计算瞬时信噪比（SNR）以确定是否应处理这些片段。首先，通过预混信号的知识计算理想的SNR被引入到先前的SCE算法（SCE-iSNR）。分别在稳态语音频谱噪声（SSN）和六声语音（STS）掩蔽下测量了12名HI听众的语音清晰度（SI）和清晰度偏好。实验结果表明，SCE-iSNR算法对高信噪比下的掩蔽音和低信噪比下的STS掩蔽音均能显著提高语音质量，但对语音质量的影响较小。其次，使用从实际混合物获得的估计SNR，从而产生另一SCE-eSNR。对7名HI受试者进行了SI和自然度及语音质量主观评分。SCE-eSNR算法显示，SSN掩蔽器在高SMR下和STS掩蔽器在低SMR下的SI得到改善，STS掩蔽器的自然度和语音质量也得到改善。应用算法的局限性进行了讨论。
2020-08-06 cs.SD eess.AS
Neuro-MSBG: An End-to-End Neural Model for Hearing Loss Simulation
Microsoft（微软）
本文提出轻量级端到端神经模型 Neuro-MSBG，通过个性化听力图编码器进行时间-频率建模，在保持 MSBG 可懂度和感知质量的同时将模拟运行时间缩短 46 倍，适用于实时助听器部署。
2025-07-21 cs.AI cs.SD eess.AS
A Study of Joint Effect on Denoising Techniques and Visual Cues to Improve Speech Intelligibility in Cochlear Implant Simulation
Research Center for Information Technology Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）；National Taiwan University（台湾大学）；Institute of Linguistics, Academia Sinica（中央研究院语言学研究所）
言语感知是言语交际的关键。对于听力损失的人来说，识别语音的能力受到限制，特别是在嘈杂的环境中或没有视觉线索的情况下，例如通过电话无法读取唇读。本研究旨在通过两种潜在的方法：语音增强（SE）和视听整合来了解人工耳蜗（CI）模拟中声编码语音可懂度的改善。最近提出了一种完全卷积神经网络（FCN），它使用一个面向可懂度的目标函数，并被证明可以有效地促进语音可懂度作为一种先进的去噪SE方法。此外，据报道，视听整合提供更好的语音理解相比，只有音频信息。本研究以一组听力正常的受试者为实验对象，利用语音编码技术对语音清晰度进行了测试。实验结果证实了基于模糊神经网络的声码语音去噪SE和视听融合的有效性。此外，它积极建议这两种方法可以成为CI处理器中的混合功能，以提高CI用户在嘈杂条件下的语音清晰度。
2020-12-18 cs.SD eess.AS
DHASP: Differentiable Hearing Aid Speech Processing
University of Sheffield（谢菲尔德大学）
助听器被期望提高听力障碍者的言语清晰度。一个适当的放大配件调谐为听众的听力残疾是至关重要的良好的性能。大多数规定性的配件的发展是基于主观听力实验中收集的数据，这通常是昂贵和耗时的。在本文中，我们探索了一种替代方法，通过引入助听器语音处理框架，找到最佳的拟合，其中拟合是优化的，在自动化的方式使用基于HASPI生理听觉模型的可懂度目标函数。该框架是完全可微的，因此可以采用反向传播算法进行有效的数据驱动优化。我们最初的客观实验显示了无噪声语音放大的良好效果，其中自动优化的处理器优于公认的助听器处方之一。
2021-03-15 cs.LG cs.SD
Development of the Listening in Spatialized Noise-Sentences (LiSN-S) Test in Brazilian Portuguese: Presentation Software, Speech Stimuli, and Sentence Equivalence
University of Campinas（坎皮纳斯大学）；Pontifical Catholic University of Campinas（坎皮纳斯天主教大学）；Macquarie University（麦考瑞大学）
本文开发巴西葡萄牙语版 LiSN-S，构建专业语音库与呈现软件，并基于35名成人和24名儿童的听辨数据筛选、校准120个等价句子。
2024-09-06 cs.SD eess.AS
Computation and Parameter Efficient Multi-Modal Fusion Transformer for Cued Speech Recognition
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；University of Bremen（不来梅大学）；National University of Singapore（新加坡国立大学）
针对自动提示语音识别中多模态融合的全局依赖与效率问题，提出Token重要性感知注意力机制与轻量门控投影，构建计算与参数高效的EcoCued模型，在全部数据集上取得最优性能。
2024-02-08 cs.CV cs.SD eess.AS
Assessing the intelligibility of vocoded speech using a remote testing framework
Duke University（杜克大学）
在过去一年，由于COVID-19疫情期间需要物理距离，远程语音清晰度测试已成为传统面对面实验的流行和必要替代方案。开发了一个远程框架，用于对正常听力的听众进行语音清晰度测试。在这项研究中，受试者使用他们的个人电脑完成句子识别任务在消声和混响的听力环境。使用此远程框架获得的结果与先前收集的实验室结果进行了比较，并显示远程研究参与者的语音清晰度高于在实验室完成测试的受试者。
2021-05-28 cs.SD eess.AS
Speech Separation for Hearing-Impaired Children in the Classroom
Radboud University（拉德堡德大学）；Donders Institute for Brain, Cognition, and Behaviour（大脑、认知与行为研究所）；Leiden University Medical Centre（莱顿大学医学中心）；Mortimer B. Zuckerman Mind, Brain, Behavior Institute（莫蒂默·B·祖克erman心智、大脑与行为研究所）；Columbia University（哥伦比亚大学）；Department of Otorhinolaryngology（耳鼻喉科部门）；Leiden Institute for Brain and Cognition（莱顿大脑与认知研究所）；Delft University of Technology（代尔夫特理工大学）
针对听障儿童课堂语音分离难题，提出基于MIMO-TasNet的紧凑低延迟多通道架构，通过模拟自然课堂场景训练，证实其可高效适应儿童语音，提升分离质量与鲁棒性，为辅助设备提供技术支持。
2025-11-10 cs.AI cs.SD
Deep learning-based denoising streamed from mobile phones improves speech-in-noise understanding for hearing aid users
Audatic（奥迪克公司）；Charité – Universitätsmedizin Berlin（柏林夏里特医学院）；Sonova AG（索诺瓦公司）；Hörzentrum Oldenburg GmbH（奥尔登堡听力中心有限公司）
针对现有助听器在真实噪声环境中效果不佳的问题，研究团队开发了可在手机上实时运行的深度学习降噪系统，音频流式传输至助听器总延迟约75ms，经测试可显著提升听损用户的言语理解能力与主观满意度。
2023-08-22 cs.SD eess.AS
Pruning-aware Loss Functions for STOI-Optimized Pruned Recurrent Autoencoders for the Compression of the Stimulation Patterns of Cochlear Implants at Zero Delay
Leibniz University Hannover（莱比锡大学汉诺威分校）
本文提出剪枝感知损失函数，在训练深度循环自编码器压缩人工耳蜗刺激模式时兼顾模型压缩与语音可懂度，在剪枝率超过45%时显著优于传统幅值剪枝方法。
2025-02-04 cs.LG cs.SD eess.AS
The Differentiable Auditory Loop (DAL): An ML Framework for Hyper-Personalized Hearing Aids
Google Research Australia（谷歌澳大利亚研究实验室）；Macquarie University（麦考瑞大学）
提出可微分听觉环路（DAL）框架，通过将CARFAC模型移植到JAX并优化SEANet深度神经网络，以正常听觉神经活动模式为参考补偿听力损失，在神经表征和信号保真度指标上优于传统助听器基线。
2026-06-02 cs.AI cs.LG cs.SD
(SimPhon Speech Test): A Data-Driven Method for In Silico Design and Validation of a Phonetically Balanced Speech Test
Institute of Sound and Vibration Research (ISVR), University of Southampton, UK（声学与振动研究所（ISVR），南安普顿大学）
本研究提出SimPhon言语测试方法学，利用ASR系统模拟听力损失的感知效应，通过多阶段计算流水线筛选出25个优化词对的测试集，可捕捉超出简单可听度的感知缺陷，提升听力学测试开发效率。
2025-06-13 cs.CL cs.SD eess.AS
Developing an AI-Guided Assistant Device for the Deaf and Hearing Impaired
Jiayu (Jerry) Liu（独立研究者）
本研究提出一种面向聋人与听障人士的 AI 辅助设备，结合 JerryNet 声源方向识别、CLAP 音频分类及多模态音频-视觉定位模型，在多个数据集上取得优于基线模型的性能，为新一代无障碍设备奠定基础。
2025-07-16 cs.LG cs.SD eess.AS
An individualized super Gaussian single microphone Speech Enhancement for hearing aid users with smartphone as an assistive device
本文提出了一种基于超高斯联合最大后验概率的单麦克风语音增强增益函数。开发的语音增强方法在智能手机上实现，这种安排作为助听器的辅助设备。我们引入了一个权衡参数，在派生的增益函数，允许智能手机用户自定义他们的听力偏好，通过控制噪声抑制和语音失真的量在实时的基础上，他们在嘈杂的现实世界的声学环境中感知的听觉舒适度。客观的质量和可懂度的措施表明所提出的方法的有效性相比，基准技术在本文中考虑。主观结果反映了有用的开发语音增强应用在现实世界中的噪声条件下的信号噪声比水平为0 dB和5 dB。
2018-12-10 cs.SD eess.AS
Enhancing Cochlear Implant Signal Coding with Scaled Dot-Product Attention
University of Medea（梅德大学）
本文提出一种基于深度学习和缩放点积注意力的人工耳蜗电刺激图生成模型，其STOI得分接近传统ACE策略，并在灵活性与适应性上展现优势。
2025-04-26 cs.AI cs.SD eess.AS
Phonemic Representation and Transcription for Speech to Text Applications for Under-resourced Indigenous African Languages: The Case of Kiswahili
University of Nairobi（内罗毕大学）；Maseno University（马塞诺大学）；Africa Nazarene University（非洲拿撒勒大学）
构建自动语音识别（ASR）系统是一项具有挑战性的任务，特别是对于需要几乎从头开始构建语料库并且缺乏足够训练数据的资源不足的语言。已经出现的情况是，包括斯瓦希里语在内的几种非洲土著语言在技术上资源不足。ASR系统至关重要，特别是对听力受损的人来说，他们可以从母语的成绩单中受益。然而，转录语音数据集的缺乏使为这些土著语言开发ASR模型的努力变得复杂。本文探讨了斯瓦希里语语音语料库的转录过程和发展，其中包括读出文本和自发的斯瓦希里语母语者的语音数据。该研究还讨论了斯瓦希里语中的元音和辅音，并为使用CMU Sphinx语音识别工具箱（一个开源语音识别工具箱）创建的ASR模型提供了一个更新的斯瓦希里语音素词典。使用扩展语音集来训练ASR模型，其WER和SER分别为18.87%和49.5%，比之前针对资源不足语言的类似研究性能有所提高。
2022-10-29 cs.CL cs.SD eess.AS
Non-uniform FIR Digital Filter Bank for Hearing Aid Application Using Frequency Response Masking Technique: A Review
School of Biomedical Engineering, University of Sydney（悉尼大学生物医学工程学院）；School of Engg. & IT, UNSW Canberra（新南威尔士大学堪培拉分校工程与信息技术学院）；Curtin University（科廷大学）
助听器是一种电声设备，用于选择性地放大音频声音，目的是使听力受损的人更容易理解讲话。滤波器组是数字助听器的重要组成部分之一，其中每个滤波器的子带增益可以被调谐以补偿个人独特的听力损失模式。由于人类的感知是基于对数尺度的，非均匀滤波器组优于均匀滤波器组。非均匀滤波器组的主要优点是它需要较少的子带滤波器，从而导致低硬件复杂度和成本。许多努力已经投入到设计这些非均匀滤波器组的助听器应用。本文旨在提供一个回顾以往的研究基于非均匀有限脉冲响应（FIR）数字滤波器组的助听器应用中使用的频率响应掩蔽（FRM）技术。通过回顾滤波器组，我们试图找到固定和可变频带滤波器组之间的差异，并了解哪种方法更适合匹配最常见的听力损失类型。本文综述了滤波器组的设计方法、理论计算和仿真结果。
2020-12-19 cs.SD eess.AS
Controllable joint noise reduction and hearing loss compensation using a differentiable auditory model
Department of Health Technology（健康技术系）；Technical University of Denmark（丹麦技术大学）
本研究将降噪与听力损失补偿构建为多任务学习问题，利用可微听觉模型同时预测去噪和补偿信号，实现与单独训练系统相当的客观性能，并支持推理时动态调整任务平衡。
2025-08-16 cs.SD eess.AS
Deep neural network based speech separation optimizing an objective estimator of intelligibility for low latency applications
Tampere University of Technology（坦佩雷理工大学）；Eriksholm Research Centre, Oticon A/S（奥迪康公司埃里克肖姆研究中心）
均方误差（MSE）已经是当前基于深度神经网络（DNN）的语音分离技术中作为损失函数的优选选择。在本文中，我们提出了一个新的成本函数的目的是优化扩展的短时客观可懂度（ESTOI）的措施。我们专注于低算法延迟（$\leq 10$ ms）非常重要的应用。我们使用长短期记忆网络（LSTM），并在来自扩展丹麦噪声听力（HINT）数据集的四组两扬声器混合物上评估我们提出的方法。我们表明，建议的损失函数可以提供改进或在标准的客观可懂度（在ESTOI方面）相比，MSE优化的基线，同时导致较低的目标分离性能（在源失真比（SDR）方面）。然后，我们继续提出一种方法，其中网络首先使用针对MSE标准优化的权重进行初始化，然后使用所提出的ESTOI损失标准进行训练。这种方法减轻了客观分离性能的一些损失，同时保留了客观可懂度的增益。
2018-07-18 cs.SD eess.AS
