Non-Intrusive Binaural Speech Intelligibility Prediction Using Mamba for Hearing-Impaired Listeners
CyberAgentJapan（CyberAgent日本）
针对听障听众的双耳语音可懂度预测，提出用Mamba替代Transformer进行时间处理，在保持参数较少的同时达到竞争性能，并有效捕获上下文和空间信息。
2025-07-08 cs.SD eess.AS
Restoring speech intelligibility for hearing aid users with deep learning
Audatic（Audatic公司）；Charité – Universitätsmedizin Berlin（柏林夏里特医学院）；Technische Universität Berlin（柏林工业大学）；Bernstein Center for Computational Neuroscience Berlin（柏林伯恩斯坦计算神经科学中心）
全世界近5亿人患有致残性听力损失。虽然助听器可以部分弥补这一点，但很大一部分用户在有背景噪音的情况下难以理解语音。在这里，我们提出了一种基于深度学习的算法，该算法在保持语音信号的同时选择性地抑制噪声。该算法将助听器用户的语音清晰度恢复到正常听力的对照受试者的水平。它由一个深度网络组成，该网络在噪声语音信号的大型自定义数据库上进行训练，并通过神经架构搜索进行进一步优化，使用基于深度学习的语音清晰度度量。该网络在一系列人工分级评估中实现了最先进的去噪，在不同的噪声类别中进行推广，并且与经典的波束成形方法相比，它在单个麦克风上运行。该系统可在笔记本电脑上实时的运行，这表明助听器芯片的大规模部署可能在几年内实现。因此，基于深度学习的去噪有可能很快改善数百万听力受损者的生活质量。
2022-06-23 cs.SD eess.AS q-bio.NC
Speech intelligibility of simulated hearing loss sounds and its prediction using the Gammachirp Envelope Similarity Index (GESI)
Faculty of Systems Engineering, Wakayama University（和歌山大学系统工程学院）
本研究通过模拟70岁和80岁听力损失的语音可懂度实验，比较实验室与远程环境差异，并提出Gammachirp包络相似性指数（GESI）作为新的客观可懂度测量方法，验证其解释心理测量函数及预测听力受损听者语音可懂度的潜力。
2023-11-28 cs.SD eess.AS
Generative Models for Improved Naturalness, Intelligibility, and Voicing of Whispered Speech
Technische Hochschule Nürnberg Georg Simon Ohm（纽伦堡乔治·西蒙·欧姆应用技术大学）；Intel Labs（英特尔实验室）
这项工作适应了两个最近的架构生成模型，并评估其有效性转换的耳语音正常语音。我们将正常目标语音纳入矢量量化变分自编码器（VQ-VAE）和MelGAN的训练标准中，从而调节系统从耳声输入中恢复有声语音。客观和主观质量测量表明，VQ-VAE和MelGAN都可以修改以执行转换任务。我们发现，所提出的方法显着改善梅尔倒谱系数失真（MCD）度量至少25%相对于DiscoGAN基线。主观听力测试表明，与耳声输入语音相比，基于MelGAN的系统显着提高了自然度，可懂度和语音。一种基于潜在语音表示之间差异的新评估措施也表明，我们基于MelGAN的方法相对于基线有所改进。
2023-01-30 cs.SD eess.AS
Model-based Speech Enhancement for Intelligibility Improvement in Binaural Hearing Aids
Aalborg University（奥尔堡大学）；GN Hearing（GN听力公司）
在诸如鸡尾酒会场景的情况下，听力受损个体的语音清晰度通常严重下降。目前的助听器技术的性能已经被观察到在这些情况下受到限制。在本文中，我们提出了一个双耳语音增强框架，考虑到语音产生模型。这里提出的增强框架是基于卡尔曼滤波器，使我们能够考虑到在增强过程中的语音生产动态。卡尔曼滤波器的使用需要估计干净语音和噪声短期预测器（STP）参数以及干净语音音调参数。在这项工作中，提出了一种基于双耳码本的方法来估计STP参数，并使用基于谐波模型和最大似然原理的方向性基音估计器来估计基音参数。所提出的用于估计STP和基音参数的方法联合使用来自左右耳的信息，导致滤波器参数的更鲁棒的估计。客观的措施，如PESQ和STOI已被用来评估在不同的声学场景代表鸡尾酒会的情况下的增强框架。我们还对9名听力正常的受试者进行了主观听力测试，以评估清晰度和质量改善方面的性能。听力测试表明，该算法，即使只有一个通道的噪声观察，显着提高整体语音质量，和语音清晰度高达15%。
2018-10-01 cs.SD eess.AS
Leveraging Multiple Speech Enhancers for Non-Intrusive Intelligibility Prediction for Hearing-Impaired Listeners
Orka Labs Inc.（Orka实验室）；Stanford University（斯坦福大学）；University of British Columbia（不列颠哥伦比亚大学）
本文提出利用多个语音增强器构建并行增强信号通路的非侵入式语音可懂度预测框架，并结合2片段增强策略提升跨数据集泛化能力，在多个数据集上优于CPC2 Champion基线。
2025-09-21 cs.AI cs.SD eess.AS
Disentangling peripheral hearing loss from central and cognitive effects on speech intelligibility in older adults
Center for Innovative and Joint Research, Wakayama University（和歌山大学创新与联合研究中心）；Graduate School of Systems Engineering, Wakayama University（和歌山大学系统工学研究科）；School of Informatics and Engineering, the University of Electro-Communications（电气通信大学信息与工程学院）
研究通过WHIS和GESI区分老年人言语可懂性中的外围听力损失与中央和认知因素，发现主观评分高于预测值，表明GESI有效吸收了外围听力损失的影响。
2026-04-08 cs.SD eess.AS
Word-Level Modeling with Alignment-Aware Acoustic Fusion for Text-Assisted Intelligibility Prediction in Listeners with Hearing Loss
Advanced Media, Inc.（先进媒体公司）
针对CPC3中听力受损者的语音可懂度预测，提出一种参考条件词级正确性建模方法，通过冻结Whisper编码器、教师强制解码器结合词级对齐局部声学分支和全局声学分支，在官方测试集上实现了RMSE 24.39和相关系数0.806。
2026-05-22 cs.SD eess.AS
A Study on Zero-Shot Non-Intrusive Speech Intelligibility for Hearing Aids Using Large Language Models
Academia Sinica（中国科学院）；National Chengchi University（中正大学）
本研究提出面向助听器的零样本非侵入式语音评估模型GPT-Whisper-HA，通过整合听力仿真、双ASR模块与GPT-4o评分平均的方案，较基线模型实现2.59%的相对RMSE提升，验证了大语言模型在助听器语音可懂度预测中的应用潜力。
2025-09-03 cs.SD eess.AS
Frame-Aligned Fusion of Canary and WavLM for Non-Intrusive Intelligibility Prediction of Hearing-Aid-Processed Speech
Advanced Media, Inc.（先进媒体公司）
针对无干净参考的助听器处理语音清晰度预测任务，研究了两种冻结语音编码器Canary和WavLM的互补表示融合策略，提出帧对齐融合方法，在3rd Clarity Prediction Challenge中达到Eval RMSE 24.96和Eval Corr 0.796。
2026-05-22 cs.SD eess.AS
Unveiling the Best Practices for Applying Speech Foundation Models to Speech Intelligibility Prediction for Hearing-Impaired People
Orka Labs Inc.（Orka Labs 公司）；Stanford University（斯坦福大学）
本文系统评估5个语音基础模型在听障人士语音可懂度预测中的适配方式，发现单层编码器、时序预测头及多模型集成更优。
2025-05-13 cs.AI cs.SD eess.AS
Feature Importance across Domains for Improving Non-Intrusive Speech Intelligibility Prediction in Hearing Aids
Academia Sinica（台湾“中央研究院）
针对助听器中非侵入式语音可懂度评估需求，提出跨域特征重要性方法FiDo，通过估计多类特征重要性并投影加权来提升模型性能，集成到MBI-Net+后RMSE显著降低，效果优于2023年相关挑战赛最优系统。
2025-07-31 cs.SD eess.AS
GESI: Gammachirp Envelope Similarity Index for Predicting Intelligibility of Simulated Hearing Loss Sounds
Graduate School / Faculty of Systems Engineering, Wakayama University（和歌山大学系统工程学院/研究生院）
提出GESI客观可懂度指标，利用gammachirp滤波器组预测模拟听力损失语音可懂度，在多项实验中优于STOI等传统方法，可助力助听设备语音增强。
2024-03-14 cs.SD eess.AS
Multi-objective Non-intrusive Hearing-aid Speech Assessment Model
Academia Sinica（中央研究院）；Nvidia（英伟达）
提出HASA-Net Large多目标非侵入式助听器语音评估模型，利用预训练SSL模型和听力损失模式预测语音质量与可懂度，显著提升性能及OOD迁移性。
2023-11-15 cs.SD eess.AS
Transfer Learning from Whisper for Microscopic Intelligibility Prediction
Université de Toulon（土伦大学）；Aix Marseille Univ（艾克斯-马赛大学）；CNRS（法国国家科学研究中心）；LIS（信息与系统科学实验室）
针对微观可懂度预测缺乏大规模深度学习迁移学习方法的问题，本文提出将Whisper模型迁移学习用于词汇响应级微观可懂度预测，在零样本及微调场景下均优于基线，最高相对提升66%，验证了该类方法的潜力。
2024-04-02 cs.CL cs.SD eess.AS
Non-Intrusive Speech Intelligibility Prediction for Hearing-Impaired Users using Intermediate ASR Features and Human Memory Models
University of Sheffield（谢菲尔德大学）
本文提出结合 Whisper ASR 解码器中间特征与基于样例的人类记忆模型，用于预测听障用户的语音可懂度，并在未见增强系统和听者上显著优于 HASPI 基线。
2024-01-24 cs.AI cs.SD eess.AS
Speech Intelligibility Assessment with Uncertainty-Aware Whisper Embeddings and sLSTM
Research Center for Information Technology Innovation, Academia Sinica（资讯科技创新研究中心，学术院）；Social Network and Human Centered Computing, Institute of Information Science, Academia Sinica（社交网络与人本计算，信息科学研究所，学术院）；Institute of Information Science, Academia Sinica（信息科学研究所，学术院）
针对非侵入式语音可懂度预测的挑战，研究提出融合不确定性感知Whisper嵌入统计特征与CNN-sLSTM的iMTI-Net多任务预测网络，在多指标上优于原始模型。
2025-09-04 cs.SD eess.AS
Text-to-speech for the hearing impaired
University of Manchester（曼彻斯特大学）；University of Cambridge（剑桥大学）
文本转语音（TTS）系统提供了在源处补偿听力损失的机会，而不是在接收端对其进行校正。这消除了诸如在助听器中放大声音的算法的时间限制等限制，并且可以导致更高的语音质量。我们提出了一种算法，恢复响度正常的感知在时间，频率和水平的高分辨率，并将其嵌入到TTS系统，使用Tacotron2和WaveGlow产生单独放大的语音。语音质量的主观评价表明，该算法导致高质量的音频与原始或线性放大的语音，但相当高的语音清晰度噪声的声音质量相似。迁移学习使得从原始语音到单独放大的语音的产生的频谱快速适应，从而产生高的语音质量和可懂度，从而为我们提供了一种有效地训练个体TTS系统的方法。
2021-03-22 cs.LG cs.SD eess.AS
A Speech Intelligibility Enhancement Model based on Canonical Correlation and Deep Learning for Hearing-Assistive Technologies
当前基于深度学习（DL）的在噪声环境中增强语音可懂度的方法通常被训练为最小化干净语音特征和增强语音特征之间的距离。这些通常会提高语音质量，但它们缺乏概括性，在日常嘈杂的情况下可能无法提供所需的语音清晰度。为了解决这些挑战，研究人员已经探索了面向可懂度（I-O）的损失函数，以训练DL方法来实现鲁棒的语音增强（SE）。为了更有效地训练深度学习算法，我们提出了一种新的基于典型相关性的I-O损失函数。具体来说，我们提出了一个完全卷积SE模型，使用修改后的基于典型相关的短期客观可懂度（CC-STOI）度量作为训练代价函数。据我们所知，这是第一个工作，利用集成的典型相关性的I-O为基础的损失函数SE。比较实验结果表明，我们提出的CC-STOI为基础的SE框架优于传统的STOI和基于距离的损失函数训练的DL模型，在处理看不见的扬声器和噪声时，在标准的客观和主观评价措施。
2022-02-15 cs.SD eess.AS
Dynamic Processing Neural Network Architecture For Hearing Loss Compensation
Poznan University of Technology（波兹南理工大学）；Eriksholm Research Center（埃里克肖姆研究中心）；Tampere University（坦佩雷大学）
提出一种可微且可解释的dynamic processing network用于补偿感音神经性听力损失，该网络通过学习参数最大化语音可懂度，与卷积网络结合后在STOI和HASPI指标上取得最佳结果。
2023-10-25 cs.SD eess.AS
Modeling Multi-Level Hearing Loss for Speech Intelligibility Prediction
针对临床听力测定无法捕捉听力损失的频率与时间分辨率缺陷的问题，本研究提出一种模拟听觉退化、结合STM表示与NCC特征的Vision Transformer语音可懂度预测方法，在两类听力损失组上均优于HASPI v2基准。
2025-07-30 eess.AS
HASA-net: A non-intrusive hearing-aid speech assessment network
Research Center for Information Technology Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）；Nagoya University（名古屋大学）；Institute of Information Science, Academia Sinica（中央研究院资讯科学研究所）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
不需要一个干净的参考，非侵入性的语音评估方法已经引起了极大的关注，客观的评价。最近，深度神经网络（DNN）模型已被应用于构建非侵入式语音评估方法，并被证实具有良好的性能。然而，大多数基于DNN的方法都是为听力正常的听众设计的，而没有考虑听力损失因素。在这项研究中，我们提出了一个基于DNN的助听器语音评估网络（HASA-Net），由双向长短期记忆（BLSTM）模型形成，根据输入语音信号和指定的听力损失模式同时预测语音质量和可懂度分数。据我们所知，HASA-Net是第一个利用统一的基于DNN的非侵入式助听器模型进行质量和清晰度评估的工作。实验结果表明，预测的语音质量和清晰度分数的HASA-Net是高度相关的两个著名的侵入式助听器的评估指标，助听器语音质量指数（HASQI）和助听器语音感知指数（HASPI），分别。
2021-11-10 cs.AI cs.SD eess.AS
Using Speech Foundational Models in Loss Functions for Hearing Aid Speech Enhancement
The University of Sheffield（谢菲尔德大学）；WS Audiology（西万拓听力技术公司）；Toshiba（东芝）
本文提出在助听器语音增强的损失函数中利用自监督语音表示距离，以提升可懂度，实验显示相比SNR损失，HASPI、STOI、PESQ和SI-SNR均提高，且仅训练时需大模型推理。
2024-07-18 cs.SD eess.AS
Pruning-aware Loss Functions for STOI-Optimized Pruned Recurrent Autoencoders for the Compression of the Stimulation Patterns of Cochlear Implants at Zero Delay
Leibniz University Hannover（莱比锡大学汉诺威分校）
本文提出剪枝感知损失函数，在训练深度循环自编码器压缩人工耳蜗刺激模式时兼顾模型压缩与语音可懂度，在剪枝率超过45%时显著优于传统幅值剪枝方法。
2025-02-04 cs.LG cs.SD eess.AS
A Study of Joint Effect on Denoising Techniques and Visual Cues to Improve Speech Intelligibility in Cochlear Implant Simulation
Research Center for Information Technology Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）；National Taiwan University（台湾大学）；Institute of Linguistics, Academia Sinica（中央研究院语言学研究所）
言语感知是言语交际的关键。对于听力损失的人来说，识别语音的能力受到限制，特别是在嘈杂的环境中或没有视觉线索的情况下，例如通过电话无法读取唇读。本研究旨在通过两种潜在的方法：语音增强（SE）和视听整合来了解人工耳蜗（CI）模拟中声编码语音可懂度的改善。最近提出了一种完全卷积神经网络（FCN），它使用一个面向可懂度的目标函数，并被证明可以有效地促进语音可懂度作为一种先进的去噪SE方法。此外，据报道，视听整合提供更好的语音理解相比，只有音频信息。本研究以一组听力正常的受试者为实验对象，利用语音编码技术对语音清晰度进行了测试。实验结果证实了基于模糊神经网络的声码语音去噪SE和视听融合的有效性。此外，它积极建议这两种方法可以成为CI处理器中的混合功能，以提高CI用户在嘈杂条件下的语音清晰度。
2020-12-18 cs.SD eess.AS
A Study on Zero-shot Non-intrusive Speech Assessment using Large Language Models
Academia Sinica（中央研究院）；University of Palermo（巴勒莫大学）
本研究提出GPT-Whisper，结合Whisper与提示工程实现零样本非侵入式语音评估，在可懂度和CER相关性上优于现有模型，验证了其无需训练数据的潜力。
2025-01-20 cs.SD eess.AS
Audio-Visual Feature Synchronization for Robust Speech Enhancement in Hearing Aids
本文提出一种轻量级交叉注意力音视频特征同步模型，用于助听器实时语音增强，在AVSEC3数据集上以36毫秒低延迟显著提升噪声抑制、语音可懂度和保真度。
2025-08-26 eess.AS
Evaluation of an ITD-to-ILD Transformation as a Method to Restore the Spatial Benefit in Speech Intelligibility in Hearing Impaired Listeners
Carl von Ossietzky Universität Oldenburg（奥尔登堡卡尔·冯·奥西茨基大学）；Delft University of Technology（代尔夫特理工大学）
本研究探讨了通过将低频ITDs转换为ILDs来恢复听力受损者语音可懂性空间益处的方法，实验表明该转换能有效改善语音接收阈值。
2025-11-26 eess.AS
Attention-Guided Generative Adversarial Network for Whisper to Normal Speech Conversion
Anhui University（安徽大学）；University of Windsor（温莎大学）
耳语是一种不利用声带振动的特殊发音方式。耳语音不包含基频，其能量比正常语音低约20 dB。将耳语音转换为正常语音可以提高语音质量和可懂度。本文提出了一种新的注意力引导生成对抗网络模型，该模型结合了自编码器、连体神经网络和用于耳语到正常语音转换的身份映射损失函数（AGAN-W2 SC）。所提出的方法避免了估计从耳语音转换的正常有声语音的基频的挑战。具体来说，该模型更易于实际应用，因为它不需要对齐语音特征进行训练。实验结果表明，所提出的AGAN-W2 SC可以获得更好的语音质量和可懂度相比，基于动态时间规整的方法。
2021-11-02 cs.HC cs.SD eess.AS
Non-intrusive speech intelligibility prediction using automatic speech recognition derived measures
语音可懂度的估计是一个远未解决的问题。特别是一个方面是有问题的：大多数标准模型需要一个干净的参考信号，以估计可懂度。这是一个具有一定意义的问题，因为在实践中通常无法获得参考信号。因此，在这项工作中，提出了一种非侵入式的语音清晰度估计框架。在其中，人类听众在关键词识别任务中的表现是使用可懂度测量来预测的，这些测量是从为自动语音识别（ASR）训练的模型中得出的。一个这样的基于ASR和一个基于信号的措施被组合成一个完整的框架，建议无参考可懂度（Nori）估计，这是在预测性能的正常听力和听力受损的听众在多种噪声条件下进行评估。它示出的Nori框架，甚至优于广泛使用的基于参考（或侵入）的短期客观可懂度（STOI）的措施，在大多数情况下考虑的情况下，同时适用于完全盲目的情况下，没有参考信号或转录，创建在线和个性化优化的语音增强系统的前景。
2021-10-28 eess.AS
Assessing the intelligibility of vocoded speech using a remote testing framework
Duke University（杜克大学）
在过去一年，由于COVID-19疫情期间需要物理距离，远程语音清晰度测试已成为传统面对面实验的流行和必要替代方案。开发了一个远程框架，用于对正常听力的听众进行语音清晰度测试。在这项研究中，受试者使用他们的个人电脑完成句子识别任务在消声和混响的听力环境。使用此远程框架获得的结果与先前收集的实验室结果进行了比较，并显示远程研究参与者的语音清晰度高于在实验室完成测试的受试者。
2021-05-28 cs.SD eess.AS
Deep learning-based denoising streamed from mobile phones improves speech-in-noise understanding for hearing aid users
Audatic（奥迪克公司）；Charité – Universitätsmedizin Berlin（柏林夏里特医学院）；Sonova AG（索诺瓦公司）；Hörzentrum Oldenburg GmbH（奥尔登堡听力中心有限公司）
针对现有助听器在真实噪声环境中效果不佳的问题，研究团队开发了可在手机上实时运行的深度学习降噪系统，音频流式传输至助听器总延迟约75ms，经测试可显著提升听损用户的言语理解能力与主观满意度。
2023-08-22 cs.SD eess.AS
Optimization of a Real-Time Wavelet-Based Algorithm for Improving Speech Intelligibility
Hong Kong University of Science and Technology（香港科技大学）
一个基于小波的算法，以提高语音清晰度的优化与完整的数据集和结果的报告。通过多级离散小波变换将离散时间语音信号分成频率子带。在子带信号被重新组合以形成语音的修改版本之前，将各种增益应用于子带信号。在保持整体信号能量不变的情况下调整子带增益，增强各种背景干扰和模拟听力损失条件下的语音清晰度，并使用Google Speech-to-Text转录进行客观定量的评估。一组通用的子带增益可以在高达4.8 dB的信噪比范围内工作。对于无噪声语音，整体清晰度得到提高，通过将频谱能量重新分配到中频子带，Google转录准确度平均提高了16.9个百分点，最高提高了86.7个百分点。对于已经被噪声破坏的语音，提高清晰度是一项挑战，但仍然可以实现，平均转录准确率提高9.5个百分点，最高可达71.4个百分点。该算法可实现实时的【形】语音处理，并且比以前的算法简单。潜在的应用包括语音增强、助听器、机器听力和更好地理解语音清晰度。
2022-07-21 cs.CL cs.SD eess.AS
A Novel Speech Intelligibility Enhancement Model based on CanonicalCorrelation and Deep Learning
Edinburgh Napier University（爱丁堡纳皮尔大学）；University of Wolverhamption（沃尔夫汉普顿大学）；Academia Sinica（中央研究院）
当前基于深度学习（DL）的噪声环境中的语音可懂度增强方法通常被训练为最小化无噪声语音与增强的语音信号之间的特征距离。尽管提高了语音质量，但这样的方法在日常噪声环境中不能提供所需的语音可懂度水平。最近已经开发了面向智能性（I-O）的损失函数来训练DL方法以用于鲁棒的语音增强。在这里，我们制定，为第一次，一种新的典型相关的I-O损失函数，更有效地训练DL算法。具体来说，我们提出了一个典型的相关性为基础的短期目标可懂度（CC-STOI）的成本函数训练一个完全卷积神经网络（FCN）模型。我们进行比较仿真实验表明，我们的CC-STOI为基础的语音增强框架优于国家的最先进的DL模型训练与传统的基于距离和基于STOI的损失函数，使用客观和主观的评价措施的情况下，看不见的扬声器和噪声。正在进行的未来工作是评估所提出的方法，设计强大的听力辅助技术。
2022-02-11 cs.LG cs.SD eess.AS
Neuro-MSBG: An End-to-End Neural Model for Hearing Loss Simulation
Microsoft（微软）
本文提出轻量级端到端神经模型 Neuro-MSBG，通过个性化听力图编码器进行时间-频率建模，在保持 MSBG 可懂度和感知质量的同时将模拟运行时间缩短 46 倍，适用于实时助听器部署。
2025-07-21 cs.AI cs.SD eess.AS
A Study on Incorporating Whisper for Robust Speech Assessment
National Taiwan University（台湾大学）；Academia Sinica（中央研究院）；Columbia University（哥伦比亚大学）；NVIDIA（英伟达公司）
本研究提出结合大规模弱监督模型 Whisper 的声学特征增强多目标语音评估模型 MOSA-Net+，实验证明其在 TMHINT-QI 数据集和 VoiceMOS Challenge 2023 中均取得显著的性能提升与顶级排名。
2024-04-29 cs.SD eess.AS
LIWhiz: A Non-Intrusive Lyric Intelligibility Prediction System for the Cadenza Challenge
Department of Signal Theory, Telematics and Communications（信号理论、电信与通信系）
LIWhiz通过结合Whisper和可训练后端，实现了在Cadenza挑战中更准确的歌词可懂度预测，提升了归一化互相关性能。
2026-01-30 cs.SD eess.AS
Hearing-Loss Compensation Using Deep Neural Networks: A Framework and Results From a Listening Test
针对传统助听器听力损失补偿效果有限的问题，提出基于DNN的补偿方法，构建DNN听觉模拟框架并线性化分析，通过听损者听力测试验证其在语音清晰度和偏好度上优于传统方法。
2024-12-13 eess.AS
WESPER: Zero-shot and Realtime Whisper to Normal Voice Conversion for Whisper-based Speech Interactions
The University of Tokyo（东京大学）；Sony Computer Science Laboratories（索尼计算机科学实验室）
识别耳语语音并将其转换为正常语音为语音交互创造了许多可能性。由于耳语语音的声压明显低于正常语音，因此可以在公共场所作为一种半无声的语音交互，而不会被他人听到。将耳语转换为正常语音还可以提高有语音或听力障碍的人的语音质量。然而，传统的语音转换技术不提供足够的转换质量或需要由成对的低声和正常语音发声组成的说话者相关的数据集。为了解决这些问题，我们提出了WESPER，一个zero-shot，实时耳语到正常的语音转换机制的基础上自监督学习。WESPER由一个语音到单元（STU）编码器和一个单元到语音（UTS）解码器组成，STU编码器生成耳语和正常语音共同的隐藏语音单元，UTS解码器从编码的语音单元重建语音。与现有的方法不同，这种转换是用户独立的，并且不需要用于低声和正常语音的配对数据集。UTS解码器可以从语音单元中重建任何目标说话人的语音，并且它只需要未标记的目标说话人的语音数据。我们证实，从耳语转换的语音质量得到了改善，同时保留了其自然的韵律。此外，我们还证实了所提出的方法对语言或听力残疾人进行语音重建的有效性。（项目页面：http://lab.rekimoto.org/projects/wesper）
2023-03-03 cs.HC cs.SD eess.AS
Enhancing Intelligibility for Generative Target Speech Extraction via Joint Optimization with Target Speaker ASR
School of Information Science and Engineering, Shandong University（信息科学与工程学院，山东大学）；Institute of Artificial Intelligence (TeleAI), China Telecom（人工智能研究所（TeleAI），中国电信）
针对生成式目标语音提取存在的语音可懂度不足、语义内容易丢失的问题，提出基于预训练Whisper模型、结合语义建模与流声学建模的生成式TSE框架，在多基准上优于现有基线，兼顾高可懂度与感知质量。
2025-05-21 cs.SD eess.AS
Objective Intelligibility Prediction Using Distance Metrics on Speech Foundation Model Representations
Fraunhofer Institute for Integrated Circuits (IIS)（弗劳恩霍夫集成电路研究所）
本文评估预训练语音基础模型嵌入距离在无需训练下预测语音可懂度的效果，发现Whisper模型最后层结合Fréchet距离最佳，优于经典指标且随模型增大而提升。
2026-09-14 eess.AS
An individualized super Gaussian single microphone Speech Enhancement for hearing aid users with smartphone as an assistive device
本文提出了一种基于超高斯联合最大后验概率的单麦克风语音增强增益函数。开发的语音增强方法在智能手机上实现，这种安排作为助听器的辅助设备。我们引入了一个权衡参数，在派生的增益函数，允许智能手机用户自定义他们的听力偏好，通过控制噪声抑制和语音失真的量在实时的基础上，他们在嘈杂的现实世界的声学环境中感知的听觉舒适度。客观的质量和可懂度的措施表明所提出的方法的有效性相比，基准技术在本文中考虑。主观结果反映了有用的开发语音增强应用在现实世界中的噪声条件下的信号噪声比水平为0 dB和5 dB。
2018-12-10 cs.SD eess.AS
Hearing the Whispers: Black-Box Membership Inference Attacks on Finetuned TTS Models
University of California, Los Angeles（加州大学洛杉矶分校）；University of Tennessee, Knoxville（田纳西大学诺克斯维尔分校）
该研究针对微调TTS模型提出首个黑盒成员推断框架，通过优化查询生成与表示工程，在三类模型上实现高隐私泄露，揭示了TTS模型的严重隐私风险。
2026-09-03 cs.CR cs.LG cs.SD
Clarity: Machine Learning Challenges to Revolutionise Hearing Device Processing
在Clarity项目中，我们将运行一系列机器学习挑战，以彻底改变听力设备的语音处理。在五年内，将有三个配对的挑战。每一对将包括一个专注于听力设备处理（“增强”）的比赛和另一个专注于语音感知建模（“预测”）的比赛。增强的挑战将为语音的听力设备信号处理提供新的和改进的方法。并行预测挑战将开发和改进预测听力受损听众的语音清晰度和质量的方法。这个工程和物理科学研究委员会（EPSRC）资助的项目涉及谢菲尔德，索尔福德，诺丁汉和卡迪夫大学的研究人员，以及听力行业研究联盟，听力损失行动，亚马逊和本田。要登记对挑战的兴趣，请访问www.claritychallenge. org。
2020-08-17 eess.AS
Prediction of speech intelligibility with DNN-based performance measures
Carl von Ossietzky Universität Oldenburg（卡尔·冯·奥西茨基奥尔登堡大学）
本文提出了一种基于自动语音识别（ASR）的语音可懂度模型，该模型结合了来自深度神经网络（DNN）的音素概率和从这些概率估计单词出错率的性能度量。该模型在测试过程中不需要干净的语音参考，也不需要单词标签，因为ASR解码步骤被省略，该步骤在给定音素后验概率的情况下找到最可能的单词序列。该模型通过从8个正常听力的听众的预测和观察到的语音接收阈值之间的均方根误差进行评估。识别任务包括从德国矩阵句子测试中识别噪声单词。语音材料与八个噪声掩蔽物混合，覆盖不同的调制类型，从语音形状的静态噪声到单个说话者掩蔽物。的预测性能进行比较，五个已建立的模型和一个ASR模型，使用单词标签。测试了功能和网络的两种组合。两者都包括在特征级（幅度调制滤波器组和前馈网络）或由架构（梅尔频谱图和时间延迟深度神经网络，TDNN）捕获的时间信息。TDNN模型与DNN相当，同时将参数数量减少了37倍;这种优化允许在专用助听器硬件上并行流，因为可以在每帧的10 ms内计算前向传递。该模型的性能几乎与基于标签的模型一样好，并且比基线模型产生更准确的预测。
2022-03-17 cs.AI cs.CL cs.LG
Controllable joint noise reduction and hearing loss compensation using a differentiable auditory model
Department of Health Technology（健康技术系）；Technical University of Denmark（丹麦技术大学）
本研究将降噪与听力损失补偿构建为多任务学习问题，利用可微听觉模型同时预测去噪和补偿信号，实现与单独训练系统相当的客观性能，并支持推理时动态调整任务平衡。
2025-08-16 cs.SD eess.AS
Deep neural network based speech separation optimizing an objective estimator of intelligibility for low latency applications
Tampere University of Technology（坦佩雷理工大学）；Eriksholm Research Centre, Oticon A/S（奥迪康公司埃里克肖姆研究中心）
均方误差（MSE）已经是当前基于深度神经网络（DNN）的语音分离技术中作为损失函数的优选选择。在本文中，我们提出了一个新的成本函数的目的是优化扩展的短时客观可懂度（ESTOI）的措施。我们专注于低算法延迟（$\leq 10$ ms）非常重要的应用。我们使用长短期记忆网络（LSTM），并在来自扩展丹麦噪声听力（HINT）数据集的四组两扬声器混合物上评估我们提出的方法。我们表明，建议的损失函数可以提供改进或在标准的客观可懂度（在ESTOI方面）相比，MSE优化的基线，同时导致较低的目标分离性能（在源失真比（SDR）方面）。然后，我们继续提出一种方法，其中网络首先使用针对MSE标准优化的权重进行初始化，然后使用所提出的ESTOI损失标准进行训练。这种方法减轻了客观分离性能的一些损失，同时保留了客观可懂度的增益。
2018-07-18 cs.SD eess.AS
No Audiogram: Leveraging Existing Scores for Personalized Speech Intelligibility Prediction
Orka Labs Inc.（Orka实验室有限公司）；Stanford University（斯坦福大学）
本文提出SSIPNet，利用听者已有的少量（音频，评分）对构建高维能力表示，在不依赖听力图的情况下实现更准确的个性化语音可懂度预测。
2025-05-31 cs.AI cs.SD eess.AS
An objective evaluation of Hearing Aids and DNN-based speech enhancement in complex acoustic scenes
Universitat Pompeu Fabra（庞培法布拉大学）；Eurecat, Centre Tecnològic de Catalunya（加泰罗尼亚技术中心Eurecat）；Microson, Amplifon Group（Amplifon集团Microson公司）
该研究对比高端商用助听器与DNN语音增强算法在复杂声学场景的性能，通过合成双耳数据集训练DNN模型、搭建Ambisonics测试环境实验，证明DNN增强在噪声抑制与可懂度指标上更优。
2023-07-24 cs.SD eess.AS
GEDI: Gammachirp Envelope Distortion Index for Predicting Intelligibility of Enhanced Speech
Wakayama University（和歌山大学）；NTT Communication Science Laboratories（NTT通信科学基础研究所）
在这项研究中，我们提出了一个新的概念，伽玛包络失真指数（GEDI）的基础上的信号失真比在听觉包络，SDRenv预测的可懂度的非线性算法增强的语音。GEDI的目的是计算增强和干净的语音表示在域中的时间包络提取的伽马线性听觉滤波器组和调制滤波器组之间的失真。我们还扩展了GEDI与多分辨率分析（MR-GEDI）预测语音清晰度的声音在非平稳噪声条件下。我们评估GEDI的语音清晰度预测的语音增强的经典谱减法和维纳滤波方法。的预测与人类的结果进行比较，为各种信号噪声比的条件下添加剂粉红色和多路重合噪声。结果表明，在粉红噪声条件下，mr-GEDI对可懂度曲线的预测效果优于短时客观可懂度（STOI）、扩展STOI（ESTOI）和助听器言语感知指数（HASPI），在串音噪声条件下优于HASPI。mr-GEDI方法不存在高估趋势，被认为是比STOI和ESTOI更保守的方法。因此，使用mr-GEDI的评估可以为语音增强算法的开发提供额外的信息。
2020-07-19 cs.SD eess.AS
FlowW2N: Whispered-to-Normal Speech Conversion via Flow-Matching
Samsung Electronics, Mobile eXperience Business（三星电子移动体验业务）
FlowW2N通过条件流匹配方法，在无需真实配对数据的情况下实现whisper到normal语音转换，显著提升可懂度并减少词错误率。
2026-10-02 cs.SD eess.AS
Whispered and Lombard Neural Speech Synthesis
Apple（苹果公司）
期望文本到语音系统考虑呈现合成语音的环境，并向用户提供适当的上下文相关输出。在本文中，我们提出和比较各种方法产生不同的说话风格，即正常，伦巴第，耳语语音，只使用有限的数据。提出并评估了以下系统：1）预训练和微调每种风格的模型。2)通过基于信号处理的方法进行伦巴底和耳语语音转换。3)基于说话人确认模型的单模型多风格生成。我们的平均意见分数和AB偏好听力测试表明：1）我们可以通过预训练/微调方法为所有说话风格生成高质量的语音。2)虽然我们的说话人验证（SV）模型没有明确训练来区分不同的说话风格，也没有使用伦巴底和耳语语音来预训练这个系统，但SV模型可以用作风格编码器，用于生成不同的风格嵌入作为Tacotron系统的输入。我们还表明，由此产生的合成伦巴第语语音清晰度增益有显着的积极影响。
2021-01-13 cs.CL cs.LG cs.SD
Exploring the Potential of Lexical Paraphrases for Mitigating Noise-Induced Comprehension Errors
Saarland University（萨尔兰大学）
即使对于听力正常的人来说，在嘈杂的环境中听也很困难。语音信号可能被噪声掩盖，这可能导致收听者一侧的单词误解，以及理解消息的总体困难。为了减轻收听者的听力困难，合作的说话者利用语音调制策略（如伦巴第语音（Lombard speech））来生成噪声鲁棒的话语，并且已经为语音合成系统开发了类似的解决方案。在这项工作中，我们提出了另一种解决方案，选择噪声鲁棒的词汇释义来表示一个预期的意义。我们的研究结果表明，词汇释义在噪声中的可懂度不同。我们评估了上下文中同义词的可理解性，发现选择一个比同义词更容易被听错的词汇单元，在SNR-5 dB和SNR 0 dB时，对串音噪声的理解平均增益分别为37%和21%。
2021-07-18 cs.CL cs.SD eess.AS
Predicting speech intelligibility in older adults for speech enhancement using the Gammachirp Envelope Similarity Index, GESI
Wakayama University（和歌山大学）
本研究提出基于心理声学的客观可懂度度量GESI，结合伽马啁啾滤波器组等计算言语可懂度，经老年人日语词汇及英语句子实验验证，其预测准确度优于HASPIw2、与HASPIv2相当，同时指出TMTF相关测量与模型仍需完善。
2025-10-29 eess.AS
