HASA-net: A non-intrusive hearing-aid speech assessment network
Research Center for Information Technology Innovation, Academia Sinica(中央研究院资讯科技创新研究中心);Nagoya University(名古屋大学);Institute of Information Science, Academia Sinica(中央研究院资讯科学研究所);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
不需要一个干净的参考,非侵入性的语音评估方法已经引起了极大的关注,客观的评价。最近,深度神经网络(DNN)模型已被应用于构建非侵入式语音评估方法,并被证实具有良好的性能。然而,大多数基于DNN的方法都是为听力正常的听众设计的,而没有考虑听力损失因素。在这项研究中,我们提出了一个基于DNN的助听器语音评估网络(HASA-Net),由双向长短期记忆(BLSTM)模型形成,根据输入语音信号和指定的听力损失模式同时预测语音质量和可懂度分数。据我们所知,HASA-Net是第一个利用统一的基于DNN的非侵入式助听器模型进行质量和清晰度评估的工作。实验结果表明,预测的语音质量和清晰度分数的HASA-Net是高度相关的两个著名的侵入式助听器的评估指标,助听器语音质量指数(HASQI)和助听器语音感知指数(HASPI),分别。
2021-11-10 cs.AI cs.SD eess.AS
Feasibility of Using Automatic Speech Recognition with Voices of Deaf and Hard-of-Hearing Individuals
Rochester Institute of Technology(罗切斯特理工学院)
许多个人设备已经从视觉控制界面过渡到语音控制界面,以降低设备成本和交互摩擦。语音控制界面的能力不断提高,加速了这种转变,例如,亚马逊Echo或苹果Siri其后果是,失聪或听力困难(DHH)的人可能无法使用这些语音控制设备。我们发现,聋人语音有一个高的出错率相比,听力语音,在商业语音控制接口。聋人的语言有大约78%的词出错率(WER)相比,听力语言18%的WER。我们的研究结果表明,目前的语音控制接口是不可用的聋人和重听人。因此,寻求其他方法让聋人向计算机传递自然命令可能是明智的。
2019-09-03 cs.HC cs.SD eess.AS
Exploiting Hidden Representations from a DNN-based Speech Recogniser for Speech Intelligibility Prediction in Hearing-impaired Listeners
University of Sheffield(谢菲尔德大学)
准确客观的语音可懂度预测算法对于诸如助听器的语音增强的许多应用是非常感兴趣的。大多数算法测量干净参考信号和退化信号的声学特征之间的信噪比或相关性。然而,这些手工挑选的声学特征通常与识别没有明确的相关性。同时,基于深度神经网络(DNN)的自动语音识别器(ASR)在某些语音识别任务中接近人类的表现。这项工作利用基于DNN的ASR的隐藏表示作为听力受损听众的语音可懂度预测的特征。基于助听器可懂度数据库的实验结果表明,该方法比目前广泛使用的基于短时客观可懂度(STOI)的双耳测量方法具有更好的预测效果。
2022-07-06 cs.SD eess.AS q-bio.QM
Investigation of Phase Distortion on Perceived Speech Quality for Hearing-impaired Listeners
Indiana University(印第安纳大学)
相位是影响语音质量和可懂度的关键因素。当前的语音增强算法开始解决相位失真,但这些算法集中于正常听力(NH)收听者。目前尚不清楚相位增强是否有利于听力受损(HI)的听众。我们通过一项听力研究调查了相位失真对语音质量的影响,在这项研究中,NH和HI听众使用MUSHRA程序提供了语音质量评级。在一组条件下,语音与-5至10 dB的4种不同信噪比(SNR)下的多路重合噪声混合。在另一组条件下,SNR固定在10 dB,嘈杂语音在模拟混响室中呈现,T60范围为100至1000 ms。NH听众的语音水平保持在65 dB SPL,HI听众应用放大以确保可听度。采用理想比率掩蔽法对语音增强进行了仿真。两个客观度量(即,PESQ和HASQI)被用来比较主观和客观评级。结果表明,相位失真有负面影响的感知质量为两组和PESQ更密切相关的人的评级。
2020-07-29 cs.SD eess.AS
Speech Dereverberation and Noise Reduction for both diffusive noise field and point noise source in Binaural Hearing Aids: Preliminary Version
Federal University of Technology – Paraná(巴拉那联邦技术大学);Federal University of Santa Catarina(圣卡塔琳娜联邦大学)
多通道维纳滤波器(MWF)及其变体已广泛应用于双耳助听器。然而,它的主要缺点是残余噪声的双耳线索的失真,改变了原始的声学场景,这对于听力受损的人来说是至关重要的。MWF-IC方法先前被提出用于联合语音去混响和降噪,保留扩散噪声场的耳间相干性(IC)。在这项工作中,我们提出了一个新的变化的MWF-IC的语音去混响和降噪,它保留了原始的空间特性的残留噪声的扩散场或点源。客观的测量和初步的心理声学实验表明,该方法是能够在感知上保持这两种类型的噪声的原始空间化,而没有显着的性能损失,在两个语音去混响和降噪。
2019-11-09 cs.SD eess.AS
Parrotron: An End-to-End Speech-to-Speech Conversion Model and its Applications to Hearing-Impaired Speech and Speech Separation
Google(谷歌)
我们描述了Parrotron,一种端到端训练的语音到语音转换模型,它将输入频谱图直接映射到另一个频谱图,而不使用任何中间离散表示。该网络由编码器、声谱图和音素解码器组成,随后是声码器以合成时域波形。我们证明,这个模型可以训练,以规范化语音从任何扬声器,无论口音,韵律和背景噪声,到一个单一的标准目标扬声器的声音与固定的口音和一致的发音和韵律。我们进一步表明,这种规范化模型可以适应于规范化的高度非典型的语音从聋人扬声器,从而显着提高可懂度和自然度,通过语音识别器和听力测试测量。最后,展示了该模型在其他语音任务上的实用性,我们表明,可以训练相同的模型架构来执行语音分离任务
2019-10-29 cs.SD eess.AS
A Study on Zero-Shot Non-Intrusive Speech Intelligibility for Hearing Aids Using Large Language Models
Academia Sinica(中国科学院);National Chengchi University(中正大学)
本研究提出面向助听器的零样本非侵入式语音评估模型GPT-Whisper-HA,通过整合听力仿真、双ASR模块与GPT-4o评分平均的方案,较基线模型实现2.59%的相对RMSE提升,验证了大语言模型在助听器语音可懂度预测中的应用潜力。
2025-09-03 cs.SD eess.AS
Model-based Speech Enhancement for Intelligibility Improvement in Binaural Hearing Aids
Aalborg University(奥尔堡大学);GN Hearing(GN听力公司)
在诸如鸡尾酒会场景的情况下,听力受损个体的语音清晰度通常严重下降。目前的助听器技术的性能已经被观察到在这些情况下受到限制。在本文中,我们提出了一个双耳语音增强框架,考虑到语音产生模型。这里提出的增强框架是基于卡尔曼滤波器,使我们能够考虑到在增强过程中的语音生产动态。卡尔曼滤波器的使用需要估计干净语音和噪声短期预测器(STP)参数以及干净语音音调参数。在这项工作中,提出了一种基于双耳码本的方法来估计STP参数,并使用基于谐波模型和最大似然原理的方向性基音估计器来估计基音参数。所提出的用于估计STP和基音参数的方法联合使用来自左右耳的信息,导致滤波器参数的更鲁棒的估计。客观的措施,如PESQ和STOI已被用来评估在不同的声学场景代表鸡尾酒会的情况下的增强框架。我们还对9名听力正常的受试者进行了主观听力测试,以评估清晰度和质量改善方面的性能。听力测试表明,该算法,即使只有一个通道的噪声观察,显着提高整体语音质量,和语音清晰度高达15%。
2018-10-01 cs.SD eess.AS
DARF: A data-reduced FADE version for simulations of speech recognition thresholds with real hearing aids
CvO Universität Oldenburg(奥尔登堡卡尔·冯·奥西茨基大学)
开发和选择助听器是一个耗时的过程,使用客观模型可以简化这个过程。以前,听觉辨别实验(FADE)的框架准确地模拟了助听器算法的好处,均方根预测误差低于3 dB。一个FADE模拟需要几个小时的(未)处理信号,这在必须记录信号时是有障碍的。我们提出并评估了一个数据减少的FADE版本(DARF),这有利于模拟信号,不能进行数字处理,但只能实时记录。DARF用大约30分钟的(德语)矩阵句子测试的记录和处理信号模拟一个语音识别阈值(SRT)。进行基准实验以比较DARF和标准FADE,其对于静止掩蔽物(1dB)表现出小的差异,但是对于强烈波动掩蔽物(5dB)表现出较大的差异。听力障碍和助听器算法似乎减少了差异。在语音识别方面,使用三对真正的助听器在安静($\geq$ 8 dB)、静止和波动的掩蔽物中进行了模拟。2 dB; fluct. 6 dB),以及空间分离的语音和噪声信号(统计。$\geq$ 8 dB;波动8 dB)。与文献中的数据相比,模拟是合理的,但与经验数据的比较仍然是开放的。DARF有助于在真实环境中使用具有未知信号处理的真实设备进行客观SRT仿真。然而,对于具有未知信号处理的设备的DARF的验证仍然悬而未决,因为它仅用三个类似设备进行了测试。尽管如此,DARF可用于改善以及开发或基于模型的助听器验配。
2021-02-11 cs.SD eess.AS
Restoring speech intelligibility for hearing aid users with deep learning
Audatic(Audatic公司);Charité – Universitätsmedizin Berlin(柏林夏里特医学院);Technische Universität Berlin(柏林工业大学);Bernstein Center for Computational Neuroscience Berlin(柏林伯恩斯坦计算神经科学中心)
全世界近5亿人患有致残性听力损失。虽然助听器可以部分弥补这一点,但很大一部分用户在有背景噪音的情况下难以理解语音。在这里,我们提出了一种基于深度学习的算法,该算法在保持语音信号的同时选择性地抑制噪声。该算法将助听器用户的语音清晰度恢复到正常听力的对照受试者的水平。它由一个深度网络组成,该网络在噪声语音信号的大型自定义数据库上进行训练,并通过神经架构搜索进行进一步优化,使用基于深度学习的语音清晰度度量。该网络在一系列人工分级评估中实现了最先进的去噪,在不同的噪声类别中进行推广,并且与经典的波束成形方法相比,它在单个麦克风上运行。该系统可在笔记本电脑上实时的运行,这表明助听器芯片的大规模部署可能在几年内实现。因此,基于深度学习的去噪有可能很快改善数百万听力受损者的生活质量。
2022-06-23 cs.SD eess.AS q-bio.NC
Disentangling peripheral hearing loss from central and cognitive effects on speech intelligibility in older adults
Center for Innovative and Joint Research, Wakayama University(和歌山大学创新与联合研究中心);Graduate School of Systems Engineering, Wakayama University(和歌山大学系统工学研究科);School of Informatics and Engineering, the University of Electro-Communications(电气通信大学信息与工程学院)
研究通过WHIS和GESI区分老年人言语可懂性中的外围听力损失与中央和认知因素,发现主观评分高于预测值,表明GESI有效吸收了外围听力损失的影响。
2026-04-08 cs.SD eess.AS
Text-to-speech for the hearing impaired
University of Manchester(曼彻斯特大学);University of Cambridge(剑桥大学)
文本转语音(TTS)系统提供了在源处补偿听力损失的机会,而不是在接收端对其进行校正。这消除了诸如在助听器中放大声音的算法的时间限制等限制,并且可以导致更高的语音质量。我们提出了一种算法,恢复响度正常的感知在时间,频率和水平的高分辨率,并将其嵌入到TTS系统,使用Tacotron2和WaveGlow产生单独放大的语音。语音质量的主观评价表明,该算法导致高质量的音频与原始或线性放大的语音,但相当高的语音清晰度噪声的声音质量相似。迁移学习使得从原始语音到单独放大的语音的产生的频谱快速适应,从而产生高的语音质量和可懂度,从而为我们提供了一种有效地训练个体TTS系统的方法。
2021-03-22 cs.LG cs.SD eess.AS
Dynamic Processing Neural Network Architecture For Hearing Loss Compensation
Poznan University of Technology(波兹南理工大学);Eriksholm Research Center(埃里克肖姆研究中心);Tampere University(坦佩雷大学)
提出一种可微且可解释的dynamic processing network用于补偿感音神经性听力损失,该网络通过学习参数最大化语音可懂度,与卷积网络结合后在STOI和HASPI指标上取得最佳结果。
2023-10-25 cs.SD eess.AS
Non-Intrusive Binaural Speech Intelligibility Prediction Using Mamba for Hearing-Impaired Listeners
CyberAgentJapan(CyberAgent日本)
针对听障听众的双耳语音可懂度预测,提出用Mamba替代Transformer进行时间处理,在保持参数较少的同时达到竞争性能,并有效捕获上下文和空间信息。
2025-07-08 cs.SD eess.AS
Real-time multichannel deep speech enhancement in hearing aids: Comparing monaural and binaural processing in complex acoustic scenarios
Carl von Ossietzky Universität Oldenburg(卡尔·冯·奥西茨基奥尔登堡大学);Hörzentrum Oldenburg gGmbH(奥尔登堡听力中心有限责任公司)
本研究针对助听器实时低延迟需求,探索深度语音增强方法,对比单耳与双耳深度算法及传统策略在复杂声学场景的表现,发现双耳深度学习方法在空间干扰场景下性能最优。
2024-10-30 cs.SD eess.AS
Thoughts on the potential to compensate a hearing loss in noise
Universität Oldenburg(奥尔登堡大学);Cluster of Excellence Hearing4all(卓越集群Hearing4all);Medizinische Physik(医学物理)
Plomp(1978)将听力损伤对言语感知的影响描述为由于信号衰减而导致的A类损失和由于信号失真而导致的D类损失的总和。虽然A类损失可以通过线性放大来补偿,但严重限制助听器在嘈杂听力条件下的益处的D类损失却不能。不少助听器的使用者一直抱怨他们的设备在嘈杂的环境中效果有限。最近,在一种通过重新设计的自动语音识别系统对人类语音识别进行建模的方法中,通过引入降低频谱-时间信号电平的个体精度的电平不确定性来解释D类的损失。基于这一发现,提出了一种专利动态范围操纵方案(PLATT)的实现,其目的是通过在2到4 ERB的范围内扩展频谱调制模式来减轻噪声中语音识别的水平不确定性增加的影响。使用基于ASR的语音识别模型对噪声中语音识别阈值的益处进行客观评价表明,由于水平不确定性增加而导致的D类损失的一半以上可能是可补偿的。
2021-02-24 cs.SD eess.AS
An objective evaluation of Hearing Aids and DNN-based speech enhancement in complex acoustic scenes
Universitat Pompeu Fabra(庞培法布拉大学);Eurecat, Centre Tecnològic de Catalunya(加泰罗尼亚技术中心Eurecat);Microson, Amplifon Group(Amplifon集团Microson公司)
该研究对比高端商用助听器与DNN语音增强算法在复杂声学场景的性能,通过合成双耳数据集训练DNN模型、搭建Ambisonics测试环境实验,证明DNN增强在噪声抑制与可懂度指标上更优。
2023-07-24 cs.SD eess.AS
Speech intelligibility of simulated hearing loss sounds and its prediction using the Gammachirp Envelope Similarity Index (GESI)
Faculty of Systems Engineering, Wakayama University(和歌山大学系统工程学院)
本研究通过模拟70岁和80岁听力损失的语音可懂度实验,比较实验室与远程环境差异,并提出Gammachirp包络相似性指数(GESI)作为新的客观可懂度测量方法,验证其解释心理测量函数及预测听力受损听者语音可懂度的潜力。
2023-11-28 cs.SD eess.AS
Frame-Aligned Fusion of Canary and WavLM for Non-Intrusive Intelligibility Prediction of Hearing-Aid-Processed Speech
Advanced Media, Inc.(先进媒体公司)
针对无干净参考的助听器处理语音清晰度预测任务,研究了两种冻结语音编码器Canary和WavLM的互补表示融合策略,提出帧对齐融合方法,在3rd Clarity Prediction Challenge中达到Eval RMSE 24.96和Eval Corr 0.796。
2026-05-22 cs.SD eess.AS
Advancing Hearing Assessment: An ASR-Based Frequency-Specific Speech Test for Diagnosing Presbycusis
Institute of Sound and Vibration Research, University of Southampton(声学与振动研究所,南安普顿大学)
本文提出一种基于ASR的特定频率语音测试,通过模拟中度倾斜型听力损失的声学退化并分析音素混淆模式,为诊断老年性耳聋提供客观、精细的评估方法。
2025-05-28 cs.CL cs.SD eess.AS
Non Intrusive Intelligibility Predictor for Hearing Impaired Individuals using Self Supervised Speech Representations
TOSHIBA Cambridge Research Laboratory(东芝剑桥研究实验室)
本文将自监督语音表征用于非侵入式听障语音可懂度预测,在Clarity Prediction Challenge 1数据上达到与复杂系统竞争的性能,并指出泛化仍需更多数据。
2023-12-07 cs.LG cs.SD eess.AS
Unveiling the Best Practices for Applying Speech Foundation Models to Speech Intelligibility Prediction for Hearing-Impaired People
Orka Labs Inc.(Orka Labs 公司);Stanford University(斯坦福大学)
本文系统评估5个语音基础模型在听障人士语音可懂度预测中的适配方式,发现单层编码器、时序预测头及多模型集成更优。
2025-05-13 cs.AI cs.SD eess.AS
MBI-Net: A Non-Intrusive Multi-Branched Speech Intelligibility Prediction Model for Hearing Aids
National Taiwan University(国立台湾大学);Academia Sinica(中央研究院);Southern University of Science and Technology of China(南方科技大学)
提高用户在噪声环境中理解语音的听力能力对于助听器(HA)设备的发展至关重要。为此,重要的是要得到一个度量,可以公平地预测语音清晰度HA用户。一个直接的方法是进行主观听力测试,并使用测试结果作为评估指标。然而,进行大规模的听力测试既耗时又昂贵。因此,几个评估指标作为主观听力测试结果的替代品。在这项研究中,我们提出了一个多分支的语音清晰度预测模型(MBI-Net),用于预测HA用户的主观清晰度分数。MBI-Net由两个模型分支组成,每个分支由听力损失模型,跨域特征提取模块和语音可懂度预测模型组成,用于处理来自一个通道的语音信号。两个分支的输出通过线性层融合以获得预测的语音可懂度分数。实验结果证实了MBI-Net的有效性,它在Clarity Prediction Challenge 2022数据集上的Track 1和Track 2中产生了比基线系统更高的预测分数。
2022-08-31 cs.LG cs.SD eess.AS
Feature Importance across Domains for Improving Non-Intrusive Speech Intelligibility Prediction in Hearing Aids
Academia Sinica(台湾“中央研究院)
针对助听器中非侵入式语音可懂度评估需求,提出跨域特征重要性方法FiDo,通过估计多类特征重要性并投影加权来提升模型性能,集成到MBI-Net+后RMSE显著降低,效果优于2023年相关挑战赛最优系统。
2025-07-31 cs.SD eess.AS
Overview Of The 2023 Icassp Sp Clarity Challenge: Speech Enhancement For Hearing Aids
Acoustics Research Centre, University of Salford(索尔福德大学声学研究中心);Department of Computer Science, University of Sheffield(谢菲尔德大学计算机科学系);School of Medicine, University of Nottingham(诺丁汉大学医学院);School of Psychology, Cardiff University(卡迪夫大学心理学院)
本文介绍了2023年ICASSP SP Clarity挑战赛的设计与结果,该挑战赛聚焦嘈杂家庭环境中的助听器语音增强任务,发现在仿真评估集上多个团队超越基线,但在真实测量集上性能显著下降。
2023-11-24 cs.SD eess.AS
An Analysis of Personalized Speech Recognition System Development for the Deaf and Hard-of-Hearing
Nagoya University(名古屋大学)
本文分析了面向聋人与重听者的个性化ASR系统开发,发现使用目标说话者1000条话语即可显著提升模型性能,并在数据不足时验证了数据增强技术的有效性。
2023-06-24 cs.SD eess.AS
Automatic Speech Recognition Services: Deaf and Hard-of-Hearing Usability
Rochester Institute of Technology(罗切斯特理工学院)
如今,语音正在成为一种更加常见(即使不是标准)的技术接口。这从多年来技术变革的趋势中可以看出。语音越来越多地用于控制家庭,汽车,工作场所和公共空间内的程序,电器和个人设备,通过智能手机和家庭助理设备使用亚马逊的Alexa,谷歌的助手和苹果的Siri以及其他激增的技术。然而,大多数语音接口对于聋人和听力困难(DHH)的人来说是不可访问的。在本文中,目前的自动语音识别(ASR)与DHH说话人的声音的性能进行评估。多年来,在云计算和机器学习算法(采用自定义词汇模型)的帮助下,ASR已经有所改善,并且能够达到低至5-6%的单词出错率(WER)[1][2][3]。本文使用了自定义词汇表模型,并在使用DHH语音时评估了改进的意义。
2019-09-03 cs.HC cs.SD eess.AS
Clarity: Machine Learning Challenges to Revolutionise Hearing Device Processing
在Clarity项目中,我们将运行一系列机器学习挑战,以彻底改变听力设备的语音处理。在五年内,将有三个配对的挑战。每一对将包括一个专注于听力设备处理(“增强”)的比赛和另一个专注于语音感知建模(“预测”)的比赛。增强的挑战将为语音的听力设备信号处理提供新的和改进的方法。并行预测挑战将开发和改进预测听力受损听众的语音清晰度和质量的方法。这个工程和物理科学研究委员会(EPSRC)资助的项目涉及谢菲尔德,索尔福德,诺丁汉和卡迪夫大学的研究人员,以及听力行业研究联盟,听力损失行动,亚马逊和本田。要登记对挑战的兴趣,请访问www.claritychallenge. org。
2020-08-17 eess.AS
Feasibility of Time-Domain DNN-Based Speech Enhancement on Embedded FPGA for Hearing Aids
Radboud University, Donders Institute for Brain, Cognition, and Behaviour, The Netherlands(拉德堡德大学,脑认知行为研究所,荷兰);Mortimer B. Zuckerman Mind, Brain, Behavior Institute, Columbia University, USA(莫蒂默·B·齐克曼心智、大脑与行为研究所,哥伦比亚大学,美国)
本文在AMD-Xilinx Kria KV260上部署轻量级SuDoRM-RF++模型,通过FP32和16位定点精度评估语音分离和降噪,发现数据移动是主要瓶颈,定点降噪加速器达到9.7ms首样本延迟,满足10ms临床阈值。
2026-07-20 cs.AR cs.SD eess.AS
Speech foundation models on intelligibility prediction for hearing-impaired listeners
Institute of Convergence ILCB(ILCB融合研究所);Aix-Marseille University(艾克斯-马赛大学)
针对语音感知领域SFM应用探索不足的问题,本文系统评估10种语音基础模型在听障听众语音可懂度预测任务上的表现,提出冻结SFM加轻量预测头的方法,在CPC2挑战赛中夺冠。
2024-01-24 cs.LG cs.SD eess.AS
ABSE-NET: A Lightweight Neural Model for Active Binaural Speech Enhancement in Open-Fit Hearing Aids
College of Computer Science, Inner Mongolia University(内蒙古大学计算机学院);College of Electronic and Information Engineering, Inner Mongolia University(内蒙古大学电子与信息工程学院)
本文针对开放式助听器的声泄漏问题,提出将ANC与BSE结合的轻量级ABSE-NET框架,级联BMVDR与带特征融合模块的LNN,无需入耳麦克风,性能优于现有最先进方法。
2026-09-02 cs.SD eess.AS
Head shadow enhancement with low-frequency beamforming improves sound localization and speech perception for simulated bimodal listeners
KU Leuven – University of Leuven(鲁汶大学)
由于双耳线索的可用性差,许多听力受损的听众难以定位声音。带有人工耳蜗和对侧助听器的听众--所谓的双峰听众--是表现最差的,因为两耳间的时间和水平差都很难传递。提出了一种新的低频头部阴影增强方法。头部阴影增强是通过在每只耳朵中使用对侧衰减的固定波束形成器来实现的。该方法导致耳间水平差随角度单调变化。在语音和噪声空间分离的情况下,它还提高了低频信噪比。我们验证了该方法在两个实验中的声学模拟双峰听。在定位实验中,与标准全向麦克风相比,性能从50.5°提高到26.8°均方根误差。在噪声中的语音实验中,语音从正面方向呈现。当噪声来自人工耳蜗侧时,语音接收阈值提高了15.7 dB SNR,当噪声来自助听器侧时,语音接收阈值提高了7.6 dB SNR,当噪声来自各个方向时,语音接收阈值不受影响。除了双模态听众,该方法也可能是有前途的双侧人工耳蜗或助听器用户。其低计算复杂度使得该方法适合于在当前临床设备中的应用。保留字:头影增强、耳间水平差增强、声音定位、定向听力、噪声中言语、言语清晰度PACS:43.60.Fg、43.66.Pn、43.66.Qp、43.66.Rq、43.66.Ts、43.71.- k,43.71.Es,43.71.Ky
2018-03-14 cs.SD eess.AS
Spectral-change enhancement with prior SNR for the hearing impaired
Peking University(北京大学);Sonova(索诺瓦公司)
以前的信号处理算法,旨在提高频谱变化(SCE)随着时间的推移,听力受损(HI)的听众识别语音在背景噪声中的好处。在这项工作中,以前的SCE被操纵,以执行目标占主导地位的部分,而不是平等地对待所有帧。计算瞬时信噪比(SNR)以确定是否应处理这些片段。首先,通过预混信号的知识计算理想的SNR被引入到先前的SCE算法(SCE-iSNR)。分别在稳态语音频谱噪声(SSN)和六声语音(STS)掩蔽下测量了12名HI听众的语音清晰度(SI)和清晰度偏好。实验结果表明,SCE-iSNR算法对高信噪比下的掩蔽音和低信噪比下的STS掩蔽音均能显著提高语音质量,但对语音质量的影响较小。其次,使用从实际混合物获得的估计SNR,从而产生另一SCE-eSNR。对7名HI受试者进行了SI和自然度及语音质量主观评分。SCE-eSNR算法显示,SSN掩蔽器在高SMR下和STS掩蔽器在低SMR下的SI得到改善,STS掩蔽器的自然度和语音质量也得到改善。应用算法的局限性进行了讨论。
2020-08-06 cs.SD eess.AS
The effect of speech and noise levels on the quality perceived by cochlear implant and normal hearing listeners
University of Texas at Dallas(德克萨斯大学达拉斯分校);Southern University of Science and Technology(南方科技大学)
人工耳蜗植入体(CI)的电听力可能与正常听力(NH)听众的声学听力有根本不同,可能在各种噪声环境中表现出不平等的语音质量感知。CI中使用的降噪(NR)算法降低噪声以有利于信噪比(SNR),而不管可能降低语音质量感知的合理伴随失真。为了更好地理解CI语音质量感知,本工作旨在研究在不同的噪声条件下的语音质量感知,包括语音/噪声水平,噪声类型和NR模型引起的失真的因素。15名NH受试者和7名CI受试者参加了本研究。语音句子被设置为两个不同的水平(65和75分贝SPL)。两种类型的噪音(食堂和Babble)在三个级别(55,65和75分贝SPL)。使用两种NR算法处理句子,以调查CI和NH听者对失真的感知敏感性。所有的句子处理与这些集的组合呈现给CI和NH听众,他们被要求评价语音的声音质量,因为他们认为。基于CI和NH听众对组平均质量的评价,研究了每个因素对感知语音质量的影响。与以前的研究一致,CI听众不像NH那样敏感的失真NR算法。统计分析表明,语音水平对质量感知有显著影响。在相同的信噪比下,CI用户的65 dB语音质量高于75 dB语音质量,而NH用户则相反。因此,本研究表明,感知的语音质量模式之间的CI和NH听众在他们的敏感性失真和语音水平在复杂的听力环境中是不同的。
2021-03-03 cs.SD eess.AS eess.SP
Enhancing spatial hearing with cochlear implants: exploring the role of AI, multimodal interaction and perceptual training
Acoustics Research Institute, Austrian Academy of Sciences(奥地利科学院声学研究所);Centre de Recherche en Neurosciences de Lyon Inserm(里昂神经科学研究中心(Inserm));Department of Neural Dynamics and Magnetoencephalography, Hertie Institute for Clinical Brain Research, University of Tübingen(图宾根大学神经动力学与脑磁图部门);Centre for Integrative Neuroscience, University of Tübingen(图宾根大学整合神经科学中心);NEMO Labs Nonprofit Kft., Budapest(布达佩斯NEMO实验室(非营利公司))
本文提出多学科合作框架,通过人工智能、多模态交互和感知训练提升耳蜗植入物用户的空间听觉能力。
2026-02-14 cs.SD eess.AS
Absolute Quality Ratings of Speech Enhancement Systems by Listeners of Different Ages and Degrees of Hearing Loss
Amplifon S.p.A.(Amplifon股份公司);Netflix, Inc.(奈飞公司);Thomas More University College(托马斯莫尔大学学院)
本研究比较年轻和老年听者对语音增强系统的绝对质量评分,发现老年组中系统间差异缩小,且听力损失严重程度影响评分但非唯一因素。
2026-09-17 eess.AS
Noise dependent Super Gaussian-Coherence based dual microphone Speech Enhancement for hearing aid application using smartphone
本文利用语音和噪声信号的相干性,结合超高斯联合最大后验概率(SGJMAP)单麦克风语音增强增益函数,得到一种语音增强(SE)增益函数。所提出的SE方法可以在智能手机上实现,该智能手机用作助听器的辅助设备。相干SE增益函数虽然能很好地抑制背景噪声,但也会使语音失真。相反,SE使用SGJMAP提高语音质量与额外的音乐噪声,我们包含使用后滤波器。这两个增益函数的加权联合在噪声抑制和语音失真之间取得了平衡。在导出的增益函数中引入“加权”参数,以允许智能手机用户基于不同的背景噪声和他们的听觉舒适度来控制加权因子。所提出的方法的客观和主观的措施相比,本文考虑的几个嘈杂的条件下,在信噪比水平为-5 dB,0 dB和5 dB的标准技术显示出有效的改善。
2020-01-27 eess.AS
Modeling Multi-Level Hearing Loss for Speech Intelligibility Prediction
针对临床听力测定无法捕捉听力损失的频率与时间分辨率缺陷的问题,本研究提出一种模拟听觉退化、结合STM表示与NCC特征的Vision Transformer语音可懂度预测方法,在两类听力损失组上均优于HASPI v2基准。
2025-07-30 eess.AS
A Novel Frame Structure for Cloud-Based Audio-Visual Speech Enhancement in Multimodal Hearing-aids
University of Edinburgh(爱丁堡大学);Edinburgh Napier University(爱丁堡龙比亚大学);University of Wolverhampton(伍尔弗汉普顿大学)
在本文中,我们设计了第一个基于云的视听(AV)语音增强(SE)的收发器(PHY层)原型,符合未来多模态听力辅助技术的高数据速率和低延迟要求。创新设计需要满足多个具有挑战性的约束,包括上/下行链路通信,传输和信号处理的延迟,以及实时AV SE模型处理。收发器包括设备检测、帧检测、频率偏移估计和信道估计能力。我们根据数据速率和延迟要求开发上行链路(助听器到云)和下行链路(云到助听器)帧结构。由于上行链路信息(音频和唇读)的变化性质,上行链路信道支持多数据速率帧结构,而下行链路信道具有固定数据速率帧结构。此外,我们使用LabVIEW NXG开发的帧结构的收发器的不同PHY层块的延迟进行评估。这可以与软件定义的无线电(例如通用软件无线电外设)一起用于实时演示场景。
2022-10-24 cs.SD eess.AS eess.SP
Non-Intrusive Speech Intelligibility Prediction for Hearing Aids using Whisper and Metadata
National Taiwan University(台湾大学);Academia Sinica(中央研究院);Southern University of Science and Technology(南方科技大学)
本文提出 MBI-Net+,通过引入 Whisper 嵌入、语音增强方法元数据分类器和 HASPI 补充指标,在 Clarity Prediction Challenge 2023 数据集上超越多个侵入式基线,提升助听器语音可懂度预测精度。
2024-06-13 cs.LG cs.SD eess.AS
Leveraging Multiple Speech Enhancers for Non-Intrusive Intelligibility Prediction for Hearing-Impaired Listeners
Orka Labs Inc.(Orka实验室);Stanford University(斯坦福大学);University of British Columbia(不列颠哥伦比亚大学)
本文提出利用多个语音增强器构建并行增强信号通路的非侵入式语音可懂度预测框架,并结合2片段增强策略提升跨数据集泛化能力,在多个数据集上优于CPC2 Champion基线。
2025-09-21 cs.AI cs.SD eess.AS
Training Strategies for Own Voice Reconstruction in Hearing Protection Devices using an In-ear Microphone
Fraunhofer Institute for Digital Media Technology IDMT(弗劳恩霍夫数字媒体技术研究所(IDMT));University of Oldenburg(奥尔登堡大学)
听力保护装置中的入耳式麦克风可用于在嘈杂环境中捕获佩戴该装置的人自己的语音。由于自身语音的耳内记录通常是带限的,因此需要自身语音重建系统来从耳内信号恢复干净的宽带语音。然而,由于特定于设备的传输特性和需要从现场测量中收集数据,这种情况下的语音数据的可用性通常是有限的。在本文中,我们将基于深度学习的带宽扩展系统应用于自己的语音重建任务,并研究不同的训练策略,以克服训练数据的有限可用性。实验结果表明,与直接在小的真实数据集上训练相比,使用基于几个谈话者的记录的模拟训练数据与使用真实数据的微调方法相结合是有利的。
2022-11-17 cs.SD eess.AS
Audiovisual joint learning for end-to-end hearing aids
Graduate Institute of Communication Engineering, National Taiwan University(国立台湾大学通讯工程学研究所);Research Center for Information Technology Innovation, Academia Sinica(中央研究院资讯科技创新研究中心);Department of Otolaryngology-Head and Neck Surgery, Taipei Veterans General Hospital(台北荣民总医院耳鼻喉头颈外科);School of Medicine, National Yang Ming Chiao Tung University(国立阳明交通大学医学院);Center for Hearing Research, University of California, Irvine(加州大学欧文分校听力研究中心)
针对助听器在竞争语音下性能受限的问题,提出端到端视听框架AV-NeuroAMP,融合语音、视频和听力图,联合增强与个性化放大,实验证明优于传统方法。
2026-10-07 eess.AS
A Speech Intelligibility Enhancement Model based on Canonical Correlation and Deep Learning for Hearing-Assistive Technologies
当前基于深度学习(DL)的在噪声环境中增强语音可懂度的方法通常被训练为最小化干净语音特征和增强语音特征之间的距离。这些通常会提高语音质量,但它们缺乏概括性,在日常嘈杂的情况下可能无法提供所需的语音清晰度。为了解决这些挑战,研究人员已经探索了面向可懂度(I-O)的损失函数,以训练DL方法来实现鲁棒的语音增强(SE)。为了更有效地训练深度学习算法,我们提出了一种新的基于典型相关性的I-O损失函数。具体来说,我们提出了一个完全卷积SE模型,使用修改后的基于典型相关的短期客观可懂度(CC-STOI)度量作为训练代价函数。据我们所知,这是第一个工作,利用集成的典型相关性的I-O为基础的损失函数SE。比较实验结果表明,我们提出的CC-STOI为基础的SE框架优于传统的STOI和基于距离的损失函数训练的DL模型,在处理看不见的扬声器和噪声时,在标准的客观和主观评价措施。
2022-02-15 cs.SD eess.AS
Interactive spatial speech recognition maps based on simulated speech recognition experiments
Universität Oldenburg(奥尔登堡大学)
在日常生活中,人类听者的语音识别性能受到各种因素的影响,例如声学环境、说话者和听者的位置、可能受损的听力以及可选的听力设备。预测模型更接近于同时考虑所有需要的因素来预测复杂声学环境中的个体语音识别性能。虽然这样的预测对于严肃的应用可能仍然不够准确,但它们已经可以执行并且需要可访问的表示。在这方面的贡献,语音识别性能的交互式表示提出,它侧重于听众的头部方向和空间维度的声学场景。包括声学渲染模型、听力设备模型和收听者模型的示例性建模工具链被用于生成用于演示目的的数据集。使用空间语音识别地图来探索该数据集,证明了该方法观察可能相关行为的适用性。所提出的表示提供了一个合适的目标,比较和验证不同的建模方法在生态相关的上下文中。最终,它可以作为一种工具,在考虑语音通信的空间和设备的设计中使用经过验证的预测模型。
2021-04-01 cs.SD eess.AS
Canonical Cortical Graph Neural Networks and its Application for Speech Enhancement in Audio-Visual Hearing Aids
University of Wolverhampton(伍尔弗汉普顿大学);São Paulo State University(圣保罗州立大学);Edinburgh Napier University(爱丁堡龙比亚大学)
尽管机器学习算法最近取得了成功,但在考虑需要不同来源之间交互的更复杂任务时,大多数模型都面临着缺点,例如多模态输入数据和逻辑时间序列。另一方面,生物大脑在这个意义上高度敏锐,能够自动管理和整合这些信息流。在这种情况下,这项工作的灵感来自大脑皮层电路的最新发现,提出了一个生物学上更合理的自我监督机器学习方法。这将使用层内调制的多模态信息与典型相关分析以及用于跟踪时间数据的记忆机制相结合,整体方法称为典型皮层图神经网络。这被证明优于最近的国家的最先进的模型在干净的音频重建和能源效率的基准视听语音数据集。通过减少和窒息神经元放电率分布证明了增强的性能。这表明所提出的模型适用于未来视听助听器设备中的语音增强。
2023-01-31 cs.CV cs.SD eess.AS
Non-Intrusive Speech Intelligibility Prediction for Hearing-Impaired Users using Intermediate ASR Features and Human Memory Models
University of Sheffield(谢菲尔德大学)
本文提出结合 Whisper ASR 解码器中间特征与基于样例的人类记忆模型,用于预测听障用户的语音可懂度,并在未见增强系统和听者上显著优于 HASPI 基线。
2024-01-24 cs.AI cs.SD eess.AS
A Large-Scale Database and Predictive Model of Listener-Rated Ease of Speech Understanding in Commercial Hearing Aids
HearAdvisor
构建大规模感知数据集(104,298条评分),使用冻结Whisper编码器提取差异嵌入并训练MLP头,预测听众对商用助听器语音理解容易度的评分,在场景级别显著优于HASPIv2。
2026-06-26 eess.AS
Audio-Visual Feature Synchronization for Robust Speech Enhancement in Hearing Aids
本文提出一种轻量级交叉注意力音视频特征同步模型,用于助听器实时语音增强,在AVSEC3数据集上以36毫秒低延迟显著提升噪声抑制、语音可懂度和保真度。
2025-08-26 eess.AS
SALMONN: Towards Generic Hearing Abilities for Large Language Models
Tsinghua University(清华大学);ByteDance(字节跳动)
本文提出SALMONN多模态模型,将文本LLM与语音及音频编码器融合,使其具备通用听觉理解、多任务竞争性能和跨模态涌现能力,并用少样本激活调优激发这些能力。
2024-04-08 cs.CL cs.SD eess.AS
Controllable joint noise reduction and hearing loss compensation using a differentiable auditory model
Department of Health Technology(健康技术系);Technical University of Denmark(丹麦技术大学)
本研究将降噪与听力损失补偿构建为多任务学习问题,利用可微听觉模型同时预测去噪和补偿信号,实现与单独训练系统相当的客观性能,并支持推理时动态调整任务平衡。
2025-08-16 cs.SD eess.AS
Directivity-Conditioned Low-Latency Neural Filtering for Speech Enhancement in Hearing Aids
University of Hamburg(汉堡大学)
本文提出一种低延迟(10毫秒)的深度神经网络,利用特征级线性调制(FiLM)调整方向性模式,并设计保持跨通道频谱关系的损失函数,在助听器场景下实现与宽松延迟方法相当的语音增强效果。
2026-09-15 eess.AS
Hearing's Blind Spots: Toward Perceptual Compute Allocation in Neural Text-to-Speech
Deployment Inc.(迪普洛门特公司)
该研究针对神经文本到语音(TTS)的听觉盲区问题,提出低能量优先策略,在频谱退化移除任务中表现优于随机删除和心理声学掩蔽策略,为感知计算分配提供基线并推动解码器内相关测试。
2026-10-14 cs.SD eess.AS
Towards Environmental Preference Based Speech Enhancement For Individualised Multi-Modal Hearing Aids
Edinburgh Napier University(爱丁堡纳皮尔大学);Academia Sinica(中央研究院)
本文提出基于偏好学习的语音增强模型,通过多任务深度学习联合估计信噪比和声学场景,并结合用户偏好线性学习目标SNR,实现面向多模态助听器的上下文个性化语音增强。
2024-02-26 cs.SD eess.AS