Remixing Music for Hearing Aids Using Ensemble of Fine-Tuned Source Separators
Johns Hopkins University（约翰霍普金斯大学）
针对为助听器用户重混增强音乐的问题，提出基于赛事数据微调的深度学习音乐源分离器集成系统，在Cadenza ICASSP 2024 Grand Challenge中获第一名，取得最高平均HAAQI得分，并通过消融实验分析了各模块作用。
2024-02-01 cs.LG cs.SD eess.AS
HASA-net: A non-intrusive hearing-aid speech assessment network
Research Center for Information Technology Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）；Nagoya University（名古屋大学）；Institute of Information Science, Academia Sinica（中央研究院资讯科学研究所）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
不需要一个干净的参考，非侵入性的语音评估方法已经引起了极大的关注，客观的评价。最近，深度神经网络（DNN）模型已被应用于构建非侵入式语音评估方法，并被证实具有良好的性能。然而，大多数基于DNN的方法都是为听力正常的听众设计的，而没有考虑听力损失因素。在这项研究中，我们提出了一个基于DNN的助听器语音评估网络（HASA-Net），由双向长短期记忆（BLSTM）模型形成，根据输入语音信号和指定的听力损失模式同时预测语音质量和可懂度分数。据我们所知，HASA-Net是第一个利用统一的基于DNN的非侵入式助听器模型进行质量和清晰度评估的工作。实验结果表明，预测的语音质量和清晰度分数的HASA-Net是高度相关的两个著名的侵入式助听器的评估指标，助听器语音质量指数（HASQI）和助听器语音感知指数（HASPI），分别。
2021-11-10 cs.AI cs.SD eess.AS
Deep learning-based denoising streamed from mobile phones improves speech-in-noise understanding for hearing aid users
Audatic（奥迪克公司）；Charité – Universitätsmedizin Berlin（柏林夏里特医学院）；Sonova AG（索诺瓦公司）；Hörzentrum Oldenburg GmbH（奥尔登堡听力中心有限公司）
针对现有助听器在真实噪声环境中效果不佳的问题，研究团队开发了可在手机上实时运行的深度学习降噪系统，音频流式传输至助听器总延迟约75ms，经测试可显著提升听损用户的言语理解能力与主观满意度。
2023-08-22 cs.SD eess.AS
Non-uniform FIR Digital Filter Bank for Hearing Aid Application Using Frequency Response Masking Technique: A Review
School of Biomedical Engineering, University of Sydney（悉尼大学生物医学工程学院）；School of Engg. & IT, UNSW Canberra（新南威尔士大学堪培拉分校工程与信息技术学院）；Curtin University（科廷大学）
助听器是一种电声设备，用于选择性地放大音频声音，目的是使听力受损的人更容易理解讲话。滤波器组是数字助听器的重要组成部分之一，其中每个滤波器的子带增益可以被调谐以补偿个人独特的听力损失模式。由于人类的感知是基于对数尺度的，非均匀滤波器组优于均匀滤波器组。非均匀滤波器组的主要优点是它需要较少的子带滤波器，从而导致低硬件复杂度和成本。许多努力已经投入到设计这些非均匀滤波器组的助听器应用。本文旨在提供一个回顾以往的研究基于非均匀有限脉冲响应（FIR）数字滤波器组的助听器应用中使用的频率响应掩蔽（FRM）技术。通过回顾滤波器组，我们试图找到固定和可变频带滤波器组之间的差异，并了解哪种方法更适合匹配最常见的听力损失类型。本文综述了滤波器组的设计方法、理论计算和仿真结果。
2020-12-19 cs.SD eess.AS
Controllable joint noise reduction and hearing loss compensation using a differentiable auditory model
Department of Health Technology（健康技术系）；Technical University of Denmark（丹麦技术大学）
本研究将降噪与听力损失补偿构建为多任务学习问题，利用可微听觉模型同时预测去噪和补偿信号，实现与单独训练系统相当的客观性能，并支持推理时动态调整任务平衡。
2025-08-16 cs.SD eess.AS
The future of hearing aid technology
University of Oldenburg（奥尔登堡大学）；Hörzentrum Oldenburg gGmbH（奥尔登堡听力中心有限责任公司）；Cluster of Excellence Hearing4all Oldenburg（奥尔登堡Hearing4all卓越集群）
该研究分析助听器技术现状与局限，结合文献梳理机器学习、多模态信号处理、虚拟现实、移动医疗等新兴技术的应用潜力，指出其将推动听力康复相关技术发展。
2023-04-27 cs.SD eess.AS
Evaluating and Optimizing Hearing-Aid Self-Fitting Methods using Population Coverage
University of Iowa（爱荷华大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
患有轻度至中度听力损失的成年人可以使用非处方助听器来治疗听力损失，其费用仅为传统听力保健费用的一小部分。这些产品采用了自适应方法，允许最终用户在没有听力学家帮助的情况下配置助听器。自适应方法可帮助用户配置增益-频率响应，以控制传入声音的每个频带的放大。本文考虑如何设计有效的自适应方法，以及我们是否可以评估其设计的某些方面，而不诉诸昂贵的用户研究。大多数现有的适配方法提供各种用户界面以允许用户从预定的一组适配器中选择配置。我们提出了一种新的度量方法，通过计算其人口覆盖率来评估基于预设的方法的性能。人口覆盖率估计有可能找到他们喜欢的配置的用户的比例。我们方法的一个独特方面是一个概率模型，它可以捕捉用户的独特偏好与其他具有类似听力损失的用户的不同之处。接下来，我们开发了确定最大化人口覆盖率的方法。探索性的结果表明，所提出的算法可以有效地选择一个小的数量，提供更高的人口覆盖率比基于聚类的方法。此外，我们可以使用我们的算法来配置基于滑块的方法的增量数量。
2022-10-25 cs.HC cs.LG cs.SD
Evaluation of spatial audio reproduction schemes for application in hearing aid research
Universität Oldenburg（奥尔登堡大学）；HörTech gGmbH（HörTech有限责任公司）
基于扬声器的空间音频再现方案越来越多地用于在复杂声学条件下评估助听器。为了进一步建立这种方法的可行性，本研究使用计算机模拟调查了不同再现方法的空间分辨率与技术和感知助听器性能指标之间的相互作用。三个空间音频再现方法-离散扬声器，矢量基振幅平移和高阶立体混响-在规则的圆形扬声器阵列与4至72通道进行了比较。分析了再现方法和阵列大小对具有空间分布麦克风的代表性多麦克风助听器算法类和代表性单通道降噪算法的性能测量的影响。算法类别在分析和利用声场的空间特性的方式上不同，需要不同的声场再现精度。性能指标包括波束图分析、信噪比分析、感知定位预测和质量建模。结果表明，性能差异和再现方法和算法类之间的相互作用的影响，可用于指导时，选择合适的方法和扬声器的特定任务在助听器研究的数量。
2015-08-03 cs.SD
MBI-Net: A Non-Intrusive Multi-Branched Speech Intelligibility Prediction Model for Hearing Aids
National Taiwan University（国立台湾大学）；Academia Sinica（中央研究院）；Southern University of Science and Technology of China（南方科技大学）
提高用户在噪声环境中理解语音的听力能力对于助听器（HA）设备的发展至关重要。为此，重要的是要得到一个度量，可以公平地预测语音清晰度HA用户。一个直接的方法是进行主观听力测试，并使用测试结果作为评估指标。然而，进行大规模的听力测试既耗时又昂贵。因此，几个评估指标作为主观听力测试结果的替代品。在这项研究中，我们提出了一个多分支的语音清晰度预测模型（MBI-Net），用于预测HA用户的主观清晰度分数。MBI-Net由两个模型分支组成，每个分支由听力损失模型，跨域特征提取模块和语音可懂度预测模型组成，用于处理来自一个通道的语音信号。两个分支的输出通过线性层融合以获得预测的语音可懂度分数。实验结果证实了MBI-Net的有效性，它在Clarity Prediction Challenge 2022数据集上的Track 1和Track 2中产生了比基线系统更高的预测分数。
2022-08-31 cs.LG cs.SD eess.AS
DARF: A data-reduced FADE version for simulations of speech recognition thresholds with real hearing aids
CvO Universität Oldenburg（奥尔登堡卡尔·冯·奥西茨基大学）
开发和选择助听器是一个耗时的过程，使用客观模型可以简化这个过程。以前，听觉辨别实验（FADE）的框架准确地模拟了助听器算法的好处，均方根预测误差低于3 dB。一个FADE模拟需要几个小时的（未）处理信号，这在必须记录信号时是有障碍的。我们提出并评估了一个数据减少的FADE版本（DARF），这有利于模拟信号，不能进行数字处理，但只能实时记录。DARF用大约30分钟的（德语）矩阵句子测试的记录和处理信号模拟一个语音识别阈值（SRT）。进行基准实验以比较DARF和标准FADE，其对于静止掩蔽物（1dB）表现出小的差异，但是对于强烈波动掩蔽物（5dB）表现出较大的差异。听力障碍和助听器算法似乎减少了差异。在语音识别方面，使用三对真正的助听器在安静（$\geq$ 8 dB）、静止和波动的掩蔽物中进行了模拟。2 dB; fluct. 6 dB），以及空间分离的语音和噪声信号（统计。$\geq$ 8 dB;波动8 dB）。与文献中的数据相比，模拟是合理的，但与经验数据的比较仍然是开放的。DARF有助于在真实环境中使用具有未知信号处理的真实设备进行客观SRT仿真。然而，对于具有未知信号处理的设备的DARF的验证仍然悬而未决，因为它仅用三个类似设备进行了测试。尽管如此，DARF可用于改善以及开发或基于模型的助听器验配。
2021-02-11 cs.SD eess.AS
A Multi-stage Low-latency Enhancement System for Hearing Aids
本文提出一种用于助听器的多阶段低延迟增强系统，通过结合幅度与复数域处理、非对称窗、头部转动信息及后处理模块，在ICASSP 2023 Clarity挑战赛中提升增强效果和HASPI得分。
2025-08-06 cs.SD eess.AS
Non-Intrusive Speech Intelligibility Prediction for Hearing Aids using Whisper and Metadata
National Taiwan University（台湾大学）；Academia Sinica（中央研究院）；Southern University of Science and Technology（南方科技大学）
本文提出 MBI-Net+，通过引入 Whisper 嵌入、语音增强方法元数据分类器和 HASPI 补充指标，在 Clarity Prediction Challenge 2023 数据集上超越多个侵入式基线，提升助听器语音可懂度预测精度。
2024-06-13 cs.LG cs.SD eess.AS
Restoring speech intelligibility for hearing aid users with deep learning
Audatic（Audatic公司）；Charité – Universitätsmedizin Berlin（柏林夏里特医学院）；Technische Universität Berlin（柏林工业大学）；Bernstein Center for Computational Neuroscience Berlin（柏林伯恩斯坦计算神经科学中心）
全世界近5亿人患有致残性听力损失。虽然助听器可以部分弥补这一点，但很大一部分用户在有背景噪音的情况下难以理解语音。在这里，我们提出了一种基于深度学习的算法，该算法在保持语音信号的同时选择性地抑制噪声。该算法将助听器用户的语音清晰度恢复到正常听力的对照受试者的水平。它由一个深度网络组成，该网络在噪声语音信号的大型自定义数据库上进行训练，并通过神经架构搜索进行进一步优化，使用基于深度学习的语音清晰度度量。该网络在一系列人工分级评估中实现了最先进的去噪，在不同的噪声类别中进行推广，并且与经典的波束成形方法相比，它在单个麦克风上运行。该系统可在笔记本电脑上实时的运行，这表明助听器芯片的大规模部署可能在几年内实现。因此，基于深度学习的去噪有可能很快改善数百万听力受损者的生活质量。
2022-06-23 cs.SD eess.AS q-bio.NC
DFingerNet: Noise-Adaptive Speech Enhancement for Hearing Aids
University of Augsburg（奥格斯堡大学）；Technical University of Munich（慕尼黑工业大学）；WS Audiology；Imperial College London（帝国理工学院）；Munich Data Science Institute（慕尼黑数据科学研究所）
本文提出DFingerNet，通过将上下文自适应引入DeepFilterNet，利用外部背景录音调节去噪过程，在助听器场景下以最小计算开销提升语音增强性能。
2025-01-23 cs.LG cs.SD eess.AS
Non-Intrusive Intelligibility Prediction for Hearing Aids: Recent Advances, Trends, and Challenges
Research Center for Information Technology Innovation（信息技术创新研究中心）；Academia Sinica（中国科学院）
本文综述了助听器非侵入式语音可懂度预测的最新进展，涵盖特征提取、听力损失建模等方向，讨论了适配与泛化策略及现存挑战，为该领域的发展提供参考。
2025-09-03 cs.SD eess.AS
A Microphone Array and Voice Algorithm based Smart Hearing Aid
Data Science Institute（数据科学研究所）；National University of Ireland Galway（爱尔兰国立高威大学）
世界上大约有6.2%的人口（4.66亿人）患有听力障碍[1]。听力障碍对一个人的教育，经济成功[2][3]，儿童时期的认知发展[4]产生负面影响，包括老年痴呆症的风险增加[5]。由于听力障碍而导致的社会交往缺乏或减少会影响在家庭，学校和工作中建立或维持健康的关系[5]。因此，听力障碍确实影响整体生活质量和福祉。鸡尾酒会效应是一个健康听力个体在其他声音或声音的杂音中理解一个声音的能力，是听力障碍者缺乏的一种重要能力。这种无能导致简单的日常活动困难，例如参加小组讨论或在嘈杂的餐馆交谈[6]。这款智能助听器旨在为在嘈杂环境中理解语音提供急需的帮助。例如，如果一个人想要参与小组讨论，他/她需要将基于麦克风阵列的单元放置在他/她前面的平坦表面上，诸如桌子。当对话发生时，麦克风阵列将捕捉和处理来自各个方向的声音，智能地优先考虑并通过抑制不必要的噪音（包括其他人的讲话）来提供主发言者的声音。该设备使用语音算法自动选择和交替扬声器之间的语音。此外，用户可以根据需要通过智能手机界面进一步微调声学参数。本文介绍了这种新型智能助听器的发展和功能。
2020-06-05 cs.SD eess.AS
Deep Denoising for Hearing Aid Applications
Sivantos GmbH（西万拓有限公司）；TU Darmstadt（达姆施塔特工业大学）
减少不必要的环境噪声是当今助听器（HA）的重要特征，这就是为什么现在几乎所有市售设备都包括降噪功能。然而，这些算法中的大多数仅限于平稳噪声的减少。在这项工作中，我们提出了一种基于三隐藏层全连接深度学习网络的去噪方法，旨在预测具有非对称输入上下文的维纳滤波增益，从而实现对信号延迟具有高约束的实时应用。该方法采用助听器级滤波器组，并符合典型的助听器要求，例如低延迟和在线处理。它还可以与现有HA信号处理链中的其他算法很好地集成。我们可以在真实世界噪声信号的数据库上显示，无论是使用客观指标还是使用主题测试，我们的算法都能够优于最先进的基线方法。
2018-05-03 cs.SD eess.AS
An individualized super Gaussian single microphone Speech Enhancement for hearing aid users with smartphone as an assistive device
本文提出了一种基于超高斯联合最大后验概率的单麦克风语音增强增益函数。开发的语音增强方法在智能手机上实现，这种安排作为助听器的辅助设备。我们引入了一个权衡参数，在派生的增益函数，允许智能手机用户自定义他们的听力偏好，通过控制噪声抑制和语音失真的量在实时的基础上，他们在嘈杂的现实世界的声学环境中感知的听觉舒适度。客观的质量和可懂度的措施表明所提出的方法的有效性相比，基准技术在本文中考虑。主观结果反映了有用的开发语音增强应用在现实世界中的噪声条件下的信号噪声比水平为0 dB和5 dB。
2018-12-10 cs.SD eess.AS
Multi-objective Non-intrusive Hearing-aid Speech Assessment Model
Academia Sinica（中央研究院）；Nvidia（英伟达）
提出HASA-Net Large多目标非侵入式助听器语音评估模型，利用预训练SSL模型和听力损失模式预测语音质量与可懂度，显著提升性能及OOD迁移性。
2023-11-15 cs.SD eess.AS
Using Speech Foundational Models in Loss Functions for Hearing Aid Speech Enhancement
The University of Sheffield（谢菲尔德大学）；WS Audiology（西万拓听力技术公司）；Toshiba（东芝）
本文提出在助听器语音增强的损失函数中利用自监督语音表示距离，以提升可懂度，实验显示相比SNR损失，HASPI、STOI、PESQ和SI-SNR均提高，且仅训练时需大模型推理。
2024-07-18 cs.SD eess.AS
Speech Dereverberation and Noise Reduction for both diffusive noise field and point noise source in Binaural Hearing Aids: Preliminary Version
Federal University of Technology – Paraná（巴拉那联邦技术大学）；Federal University of Santa Catarina（圣卡塔琳娜联邦大学）
多通道维纳滤波器（MWF）及其变体已广泛应用于双耳助听器。然而，它的主要缺点是残余噪声的双耳线索的失真，改变了原始的声学场景，这对于听力受损的人来说是至关重要的。MWF-IC方法先前被提出用于联合语音去混响和降噪，保留扩散噪声场的耳间相干性（IC）。在这项工作中，我们提出了一个新的变化的MWF-IC的语音去混响和降噪，它保留了原始的空间特性的残留噪声的扩散场或点源。客观的测量和初步的心理声学实验表明，该方法是能够在感知上保持这两种类型的噪声的原始空间化，而没有显着的性能损失，在两个语音去混响和降噪。
2019-11-09 cs.SD eess.AS
NeuroAMP: A Novel End-to-end General Purpose Deep Neural Amplifier for Personalized Hearing Aids
IEEE Member（IEEE会员）；IEEE Senior Member（IEEE高级会员）
针对传统助听器放大流程优化难的问题，提出端到端个性化深度神经放大器NeuroAMP及去噪扩展版，验证了Transformer架构最优，数据增强提升泛化性，性能优于传统方法。
2025-09-01 cs.AI cs.SD eess.AS
A Novel Frame Structure for Cloud-Based Audio-Visual Speech Enhancement in Multimodal Hearing-aids
University of Edinburgh（爱丁堡大学）；Edinburgh Napier University（爱丁堡龙比亚大学）；University of Wolverhampton（伍尔弗汉普顿大学）
在本文中，我们设计了第一个基于云的视听（AV）语音增强（SE）的收发器（PHY层）原型，符合未来多模态听力辅助技术的高数据速率和低延迟要求。创新设计需要满足多个具有挑战性的约束，包括上/下行链路通信，传输和信号处理的延迟，以及实时AV SE模型处理。收发器包括设备检测、帧检测、频率偏移估计和信道估计能力。我们根据数据速率和延迟要求开发上行链路（助听器到云）和下行链路（云到助听器）帧结构。由于上行链路信息（音频和唇读）的变化性质，上行链路信道支持多数据速率帧结构，而下行链路信道具有固定数据速率帧结构。此外，我们使用LabVIEW NXG开发的帧结构的收发器的不同PHY层块的延迟进行评估。这可以与软件定义的无线电（例如通用软件无线电外设）一起用于实时演示场景。
2022-10-24 cs.SD eess.AS eess.SP
HAAQI-Net: A Non-intrusive Neural Music Audio Quality Assessment Model for Hearing Aids
Academia Sinica（中央研究院）；National Chengchi University（国立政治大学）；National Yang Ming Chiao Tung University（国立阳明交通大学）；Research Center for Information Technology Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）；Institute of Information Science, Academia Sinica（中央研究院资讯科学研究所）；College of Informatics, National Chengchi University（国立政治大学资讯学院）；Institute of Communications Engineering, National Yang Ming Chiao Tung University（国立阳明交通大学通讯工程研究所）
本文提出非侵入式 HAAQI-Net，融合 BEATs 特征、BLSTM 与注意力机制预测助听器音乐质量，并通过知识蒸馏和微调实现高效、鲁棒的主客观评分预测。
2025-01-09 cs.LG cs.SD eess.AS
RT-Tango: Real-Time Distributed Binaural Speech Enhancement for Low-Power Hearing Aid Devices
Université Paris-Saclay, CEA, List（巴黎-萨克雷大学，法国原子能委员会，List实验室）；Université de Lorraine, CNRS, Inria, LORIA（洛林大学，法国国家科学研究中心，法国国家信息与自动化研究所，洛林计算机科学及其应用实验室）
提出RT-Tango实时分布式双耳语音增强框架，通过ERB特征压缩、轻量级分组循环掩码估计和时间稀疏化降低计算成本，结合非对称STFT和因果推理实现8ms超低延迟，在资源受限平台上达到竞争性增强效果。
2026-07-03 cs.SD
An objective evaluation of Hearing Aids and DNN-based speech enhancement in complex acoustic scenes
Universitat Pompeu Fabra（庞培法布拉大学）；Eurecat, Centre Tecnològic de Catalunya（加泰罗尼亚技术中心Eurecat）；Microson, Amplifon Group（Amplifon集团Microson公司）
该研究对比高端商用助听器与DNN语音增强算法在复杂声学场景的性能，通过合成双耳数据集训练DNN模型、搭建Ambisonics测试环境实验，证明DNN增强在噪声抑制与可懂度指标上更优。
2023-07-24 cs.SD eess.AS
A Study on Zero-Shot Non-Intrusive Speech Intelligibility for Hearing Aids Using Large Language Models
Academia Sinica（中国科学院）；National Chengchi University（中正大学）
本研究提出面向助听器的零样本非侵入式语音评估模型GPT-Whisper-HA，通过整合听力仿真、双ASR模块与GPT-4o评分平均的方案，较基线模型实现2.59%的相对RMSE提升，验证了大语言模型在助听器语音可懂度预测中的应用潜力。
2025-09-03 cs.SD eess.AS
Frame-Aligned Fusion of Canary and WavLM for Non-Intrusive Intelligibility Prediction of Hearing-Aid-Processed Speech
Advanced Media, Inc.（先进媒体公司）
针对无干净参考的助听器处理语音清晰度预测任务，研究了两种冻结语音编码器Canary和WavLM的互补表示融合策略，提出帧对齐融合方法，在3rd Clarity Prediction Challenge中达到Eval RMSE 24.96和Eval Corr 0.796。
2026-05-22 cs.SD eess.AS
Circular Statistics-based low complexity DOA estimation for hearing aid application
Widex A/S（唯听公司）
所提出的基于圆极化的麦克风间相位差估计定位器（CIMPL）方法是针对每个单元中具有麦克风阵列的双耳助听器系统定制的。该方法利用不同麦克风对的麦克风间相位差（IPD）的圆形统计（圆形均值和圆形方差）。该方法首先通过方差加权线性拟合将这些IPD映射到时延，然后映射到方位波达方向（DoA），最后将不同麦克风对的信息进行组合。方差通过不同的变换进行，并作为估计角度的可靠性指标。所得到的角度和方差都被馈送到包裹的卡尔曼滤波器中，该滤波器提供DoA的平滑估计。与LOCATA挑战赛提供的基准方法相比，所提出的方法提高了单个移动源的跟踪角度的精度，并且运行速度快了约75倍。
2018-12-17 cs.SD eess.AS
Feasibility of Time-Domain DNN-Based Speech Enhancement on Embedded FPGA for Hearing Aids
Radboud University, Donders Institute for Brain, Cognition, and Behaviour, The Netherlands（拉德堡德大学，脑认知行为研究所，荷兰）；Mortimer B. Zuckerman Mind, Brain, Behavior Institute, Columbia University, USA（莫蒂默·B·齐克曼心智、大脑与行为研究所，哥伦比亚大学，美国）
本文在AMD-Xilinx Kria KV260上部署轻量级SuDoRM-RF++模型，通过FP32和16位定点精度评估语音分离和降噪，发现数据移动是主要瓶颈，定点降噪加速器达到9.7ms首样本延迟，满足10ms临床阈值。
2026-07-20 cs.AR cs.SD eess.AS
Overview Of The 2023 Icassp Sp Clarity Challenge: Speech Enhancement For Hearing Aids
Acoustics Research Centre, University of Salford（索尔福德大学声学研究中心）；Department of Computer Science, University of Sheffield（谢菲尔德大学计算机科学系）；School of Medicine, University of Nottingham（诺丁汉大学医学院）；School of Psychology, Cardiff University（卡迪夫大学心理学院）
本文介绍了2023年ICASSP SP Clarity挑战赛的设计与结果，该挑战赛聚焦嘈杂家庭环境中的助听器语音增强任务，发现在仿真评估集上多个团队超越基线，但在真实测量集上性能显著下降。
2023-11-24 cs.SD eess.AS
Real-time multichannel deep speech enhancement in hearing aids: Comparing monaural and binaural processing in complex acoustic scenarios
Carl von Ossietzky Universität Oldenburg（卡尔·冯·奥西茨基奥尔登堡大学）；Hörzentrum Oldenburg gGmbH（奥尔登堡听力中心有限责任公司）
本研究针对助听器实时低延迟需求，探索深度语音增强方法，对比单耳与双耳深度算法及传统策略在复杂声学场景的表现，发现双耳深度学习方法在空间干扰场景下性能最优。
2024-10-30 cs.SD eess.AS
TinyLSTMs: Efficient Neural Speech Enhancement for Hearing Aids
Arm（Arm公司）；Bose（Bose公司）
现代语音增强算法通过使用大型递归神经网络（RNN）实现了显著的噪声抑制。然而，大型RNN限制了助听器硬件（HW）形状因子的实际部署，这些硬件是电池供电的，并且在具有有限存储容量和计算能力的资源受限的微控制器单元（MCU）上运行。在这项工作中，我们使用模型压缩技术来弥合这一差距。我们定义了HW对RNN施加的约束，并描述了满足这些约束的方法。尽管模型压缩技术是一个活跃的研究领域，但我们是第一个使用权重/激活的修剪和整数量化来证明其对RNN语音增强的功效的。我们还演示了状态更新跳过，这减少了计算负载。最后，我们对压缩模型进行感知评估，以验证人类评分员的音频质量。结果显示，与压缩模型的基线相比，模型大小和操作分别减少了11.9 $\times$和2.9 $\times$，在收听偏好方面没有统计学差异，仅表现出0.55 dB SDR的损失。我们的模型实现了2.39毫秒的计算延迟，以及在10毫秒的目标和351 $\times$比以前的工作更好。
2020-05-20 cs.LG cs.SD eess.AS
Model-based Speech Enhancement for Intelligibility Improvement in Binaural Hearing Aids
Aalborg University（奥尔堡大学）；GN Hearing（GN听力公司）
在诸如鸡尾酒会场景的情况下，听力受损个体的语音清晰度通常严重下降。目前的助听器技术的性能已经被观察到在这些情况下受到限制。在本文中，我们提出了一个双耳语音增强框架，考虑到语音产生模型。这里提出的增强框架是基于卡尔曼滤波器，使我们能够考虑到在增强过程中的语音生产动态。卡尔曼滤波器的使用需要估计干净语音和噪声短期预测器（STP）参数以及干净语音音调参数。在这项工作中，提出了一种基于双耳码本的方法来估计STP参数，并使用基于谐波模型和最大似然原理的方向性基音估计器来估计基音参数。所提出的用于估计STP和基音参数的方法联合使用来自左右耳的信息，导致滤波器参数的更鲁棒的估计。客观的措施，如PESQ和STOI已被用来评估在不同的声学场景代表鸡尾酒会的情况下的增强框架。我们还对9名听力正常的受试者进行了主观听力测试，以评估清晰度和质量改善方面的性能。听力测试表明，该算法，即使只有一个通道的噪声观察，显着提高整体语音质量，和语音清晰度高达15%。
2018-10-01 cs.SD eess.AS
Canonical Cortical Graph Neural Networks and its Application for Speech Enhancement in Audio-Visual Hearing Aids
University of Wolverhampton（伍尔弗汉普顿大学）；São Paulo State University（圣保罗州立大学）；Edinburgh Napier University（爱丁堡龙比亚大学）
尽管机器学习算法最近取得了成功，但在考虑需要不同来源之间交互的更复杂任务时，大多数模型都面临着缺点，例如多模态输入数据和逻辑时间序列。另一方面，生物大脑在这个意义上高度敏锐，能够自动管理和整合这些信息流。在这种情况下，这项工作的灵感来自大脑皮层电路的最新发现，提出了一个生物学上更合理的自我监督机器学习方法。这将使用层内调制的多模态信息与典型相关分析以及用于跟踪时间数据的记忆机制相结合，整体方法称为典型皮层图神经网络。这被证明优于最近的国家的最先进的模型在干净的音频重建和能源效率的基准视听语音数据集。通过减少和窒息神经元放电率分布证明了增强的性能。这表明所提出的模型适用于未来视听助听器设备中的语音增强。
2023-01-31 cs.CV cs.SD eess.AS
Feature Importance across Domains for Improving Non-Intrusive Speech Intelligibility Prediction in Hearing Aids
Academia Sinica（台湾“中央研究院）
针对助听器中非侵入式语音可懂度评估需求，提出跨域特征重要性方法FiDo，通过估计多类特征重要性并投影加权来提升模型性能，集成到MBI-Net+后RMSE显著降低，效果优于2023年相关挑战赛最优系统。
2025-07-31 cs.SD eess.AS
A Novel Chaos-based Light-weight Image Encryption Scheme for Multi-modal Hearing Aids
Edinburgh Napier University（爱丁堡龙比亚大学）；University of Wolverhampton（伍尔弗汉普顿大学）；University of Edinburgh（爱丁堡大学）
多模态助听器（HA）旨在通过上下文感测和处理不仅是音频而且是视觉信息（例如唇读）形式的数据来在嘈杂环境中传递更可理解的音频。机器学习技术可以在多模态数据的上下文处理中发挥关键作用。然而，由于HA设备的计算能力较低，因此必须在边缘或云端处理这些数据，这反过来又会对敏感的用户数据造成隐私问题。现有文献提出了几种用于数据加密的技术，但它们的计算复杂性是满足未来多模态助听器开发的严格延迟要求的主要瓶颈。针对这一问题，提出了一种基于切延迟椭圆反射腔映射系统（TD-ERCS）映射和非线性混沌（NCA）算法的混沌加密方案，用于实时音视频数据加密。针对不同的安全参数，包括相关系数，统一平均变化强度（UACI），关键敏感性分析，改变像素速率的数量（NPCR），均方误差（MSE），峰值信噪比（PSNR），熵检验和卡方检验，表明，新提出的方案是更轻量级的，由于其较低的执行时间相比，现有的方案和更安全，由于增加的密钥-空间对抗现代蛮干攻击。
2022-02-11 cs.CR cs.SD eess.AS
Exploiting Hidden Representations from a DNN-based Speech Recogniser for Speech Intelligibility Prediction in Hearing-impaired Listeners
University of Sheffield（谢菲尔德大学）
准确客观的语音可懂度预测算法对于诸如助听器的语音增强的许多应用是非常感兴趣的。大多数算法测量干净参考信号和退化信号的声学特征之间的信噪比或相关性。然而，这些手工挑选的声学特征通常与识别没有明确的相关性。同时，基于深度神经网络（DNN）的自动语音识别器（ASR）在某些语音识别任务中接近人类的表现。这项工作利用基于DNN的ASR的隐藏表示作为听力受损听众的语音可懂度预测的特征。基于助听器可懂度数据库的实验结果表明，该方法比目前广泛使用的基于短时客观可懂度（STOI）的双耳测量方法具有更好的预测效果。
2022-07-06 cs.SD eess.AS q-bio.QM
ABSE-NET: A Lightweight Neural Model for Active Binaural Speech Enhancement in Open-Fit Hearing Aids
College of Computer Science, Inner Mongolia University（内蒙古大学计算机学院）；College of Electronic and Information Engineering, Inner Mongolia University（内蒙古大学电子与信息工程学院）
本文针对开放式助听器的声泄漏问题，提出将ANC与BSE结合的轻量级ABSE-NET框架，级联BMVDR与带特征融合模块的LNN，无需入耳麦克风，性能优于现有最先进方法。
2026-09-02 cs.SD eess.AS
The first Cadenza challenges: using machine learning competitions to improve music for listeners with a hearing loss
University of Salford（索尔福德大学）；University of Leeds（利兹大学）；University of Nottingham（诺丁汉大学）；University of Sheffield（谢菲尔德大学）
本文介绍首届 Cadenza 音乐机器学习挑战赛，通过流行/摇滚音乐分离、重混音与个性化放大任务，建立面向听障听众的开放评测基准。
2024-09-08 cs.LG cs.SD eess.AS
Text-to-speech for the hearing impaired
University of Manchester（曼彻斯特大学）；University of Cambridge（剑桥大学）
文本转语音（TTS）系统提供了在源处补偿听力损失的机会，而不是在接收端对其进行校正。这消除了诸如在助听器中放大声音的算法的时间限制等限制，并且可以导致更高的语音质量。我们提出了一种算法，恢复响度正常的感知在时间，频率和水平的高分辨率，并将其嵌入到TTS系统，使用Tacotron2和WaveGlow产生单独放大的语音。语音质量的主观评价表明，该算法导致高质量的音频与原始或线性放大的语音，但相当高的语音清晰度噪声的声音质量相似。迁移学习使得从原始语音到单独放大的语音的产生的频谱快速适应，从而产生高的语音质量和可懂度，从而为我们提供了一种有效地训练个体TTS系统的方法。
2021-03-22 cs.LG cs.SD eess.AS
Thoughts on the potential to compensate a hearing loss in noise
Universität Oldenburg（奥尔登堡大学）；Cluster of Excellence Hearing4all（卓越集群Hearing4all）；Medizinische Physik（医学物理）
Plomp（1978）将听力损伤对言语感知的影响描述为由于信号衰减而导致的A类损失和由于信号失真而导致的D类损失的总和。虽然A类损失可以通过线性放大来补偿，但严重限制助听器在嘈杂听力条件下的益处的D类损失却不能。不少助听器的使用者一直抱怨他们的设备在嘈杂的环境中效果有限。最近，在一种通过重新设计的自动语音识别系统对人类语音识别进行建模的方法中，通过引入降低频谱-时间信号电平的个体精度的电平不确定性来解释D类的损失。基于这一发现，提出了一种专利动态范围操纵方案（PLATT）的实现，其目的是通过在2到4 ERB的范围内扩展频谱调制模式来减轻噪声中语音识别的水平不确定性增加的影响。使用基于ASR的语音识别模型对噪声中语音识别阈值的益处进行客观评价表明，由于水平不确定性增加而导致的D类损失的一半以上可能是可补偿的。
2021-02-24 cs.SD eess.AS
Towards Environmental Preference Based Speech Enhancement For Individualised Multi-Modal Hearing Aids
Edinburgh Napier University（爱丁堡纳皮尔大学）；Academia Sinica（中央研究院）
本文提出基于偏好学习的语音增强模型，通过多任务深度学习联合估计信噪比和声学场景，并结合用户偏好线性学习目标SNR，实现面向多模态助听器的上下文个性化语音增强。
2024-02-26 cs.SD eess.AS
Dynamic Processing Neural Network Architecture For Hearing Loss Compensation
Poznan University of Technology（波兹南理工大学）；Eriksholm Research Center（埃里克肖姆研究中心）；Tampere University（坦佩雷大学）
提出一种可微且可解释的dynamic processing network用于补偿感音神经性听力损失，该网络通过学习参数最大化语音可懂度，与卷积网络结合后在STOI和HASPI指标上取得最佳结果。
2023-10-25 cs.SD eess.AS
Keyword Spotting for Hearing Assistive Devices Robust to External Speakers
Aalborg University（奥尔堡大学）；Oticon A/S（奥迪康公司）
关键词识别（KWS）正在经历一个上升，由于小型电子设备的普及，允许通过语音与他们互动。通常，KWS系统是与说话者无关的，这意味着任何人-用户或非用户-都可能触发它们。对于像听力辅助设备的KWS这样的应用，这是不可接受的，因为必须只允许用户处理它们。在本文中，我们提出了KWS的听力辅助设备，是强大的外部扬声器。小型KWS的最先进的深度剩余网络被视为构建的基础。通过遵循多任务学习方案，该系统被扩展到联合执行KWS和用户的自己的语音/外部扬声器检测与参数的数量可以忽略不计的增加。对于实验，我们从Google Speech Commands Dataset生成一个语音语料库，将助听器作为捕获设备。我们的研究结果表明，这种多任务深度残差网络能够实现KWS精度相对提高约32%，相对于不处理外部扬声器的系统。
2019-06-26 cs.HC cs.LG cs.SD
Head shadow enhancement with low-frequency beamforming improves sound localization and speech perception for simulated bimodal listeners
KU Leuven – University of Leuven（鲁汶大学）
由于双耳线索的可用性差，许多听力受损的听众难以定位声音。带有人工耳蜗和对侧助听器的听众--所谓的双峰听众--是表现最差的，因为两耳间的时间和水平差都很难传递。提出了一种新的低频头部阴影增强方法。头部阴影增强是通过在每只耳朵中使用对侧衰减的固定波束形成器来实现的。该方法导致耳间水平差随角度单调变化。在语音和噪声空间分离的情况下，它还提高了低频信噪比。我们验证了该方法在两个实验中的声学模拟双峰听。在定位实验中，与标准全向麦克风相比，性能从50.5°提高到26.8°均方根误差。在噪声中的语音实验中，语音从正面方向呈现。当噪声来自人工耳蜗侧时，语音接收阈值提高了15.7 dB SNR，当噪声来自助听器侧时，语音接收阈值提高了7.6 dB SNR，当噪声来自各个方向时，语音接收阈值不受影响。除了双模态听众，该方法也可能是有前途的双侧人工耳蜗或助听器用户。其低计算复杂度使得该方法适合于在当前临床设备中的应用。保留字：头影增强、耳间水平差增强、声音定位、定向听力、噪声中言语、言语清晰度PACS：43.60.Fg、43.66.Pn、43.66.Qp、43.66.Rq、43.66.Ts、43.71.- k，43.71.Es，43.71.Ky
2018-03-14 cs.SD eess.AS
A Probabilistic Generative Model for Spectral Speech Enhancement
本文提出一种统一框架，通过贝叶斯推断实现语音处理、学习和个性化，以适应不同用户和环境，提升助听器语音增强效果。
2026-03-30 cs.SD
"What's That Sound?": A Versatile, Robust, and Lightweight Convolutional Transformer for Environment Sound Recognition
Northville High School（诺斯维尔高中）
针对助听器无法识别非语音声音的问题，提出随机音频增强分层卷积Transformer（RALCT），结合MFCC与log-mel特征及CNN-Transformer架构，以约31万参数在UrbanSound8K上达94.56%准确率，并集成移动应用提升听障者安全。
2026-09-24 cs.LG cs.SD
Signal processing algorithm effective for sound quality of hearing loss simulators
Faculty / Graduate School of Systems Engineering, Wakayama University（和歌山大学系统工程学院/研究生院）
本研究比较了CamHLS和WHIS两种听力损失模拟器的音质，发现采用DTVF算法的WHIS在非线性处理下仍能显著减少语音失真，为信号合成应用提供了有效方案。
2024-06-07 cs.SD eess.AS
Analytical Exploration of Spatial Audio Cues: A Differentiable Multi-Sphere Scattering Model
Perceptual Intelligence & Reality Lab, University of Maryland, College Park, MD, USA（感知智能与现实实验室，马里兰大学，College Park, MD, USA）
本文提出了一种可微多球体散射模型，用于准确建模水下和陆地环境中的空间音频线索，通过结合机器学习优化主动定位和移动源跟踪。
2026-03-02 cs.SD
A Fully Convolutional Neural Network Approach to End-to-End Speech Enhancement
The Cooper Union（库珀联盟学院）
本文将描述一种新的方法，鸡尾酒会的问题，依赖于一个完全卷积神经网络（FCN）架构。FCN将噪声音频数据作为输入，并执行非线性滤波操作，以在输出端产生目标语音的干净音频数据。我们的方法为一个特定的扬声器学习一个模型，然后能够从串音背景噪声中提取扬声器的声音。实验结果表明，该方法具有推广到新的说话人的能力，并且对不同信噪比的新噪声环境具有鲁棒性。这种方法的一个潜在应用是用于助听器。预先训练的模型可以快速地为个人家庭成员和亲密的朋友进行微调，并部署到助听器上，以在嘈杂的环境中帮助听众。
2018-07-20 cs.LG cs.SD eess.AS
A convolutional neural-network model of human cochlear mechanics and filter tuning for real-time applications
Ghent University（根特大学）
听觉模型通常被用作自动语音识别系统的特征提取器，或者用作机器人、机器听力和助听器应用的前端。虽然听觉模型可以非常详细地捕获人类听觉的生物物理和非线性特性，但这些生物物理模型在计算上是昂贵的，并且不能用于实时应用。我们提出了一种混合方法，其中卷积神经网络与计算神经科学相结合，以产生人类耳蜗力学的实时端到端模型，包括电平相关滤波器调谐（CoNNear）。在声学语音材料上训练CoNNear模型，并使用耳蜗力学研究中常用的（看不见的）声音刺激来评估其性能和适用性。CoNNear模型准确地模拟了人类耳蜗的频率选择性及其对声音强度的依赖性，这是在负语音与背景噪声比下实现鲁棒语音清晰度的基本品质。CoNNear架构基于并行和可微分计算，具有实现实时人类性能的能力。这些独特的CoNNear功能将使下一代类人机器听觉应用成为可能。
2020-12-04 cs.CE cs.LG cs.SD
Biomimetic Frontend for Differentiable Audio Processing
University of Maryland（马里兰大学）；UMIACS（马里兰大学高级计算机研究所）；Institute of Systems Research（系统研究所）
针对音频语音端到端模型训练成本高、鲁棒性差的问题，研究将经典人类听觉模型可微化，结合仿生信号处理与深度学习，构建出少样本易训练的可解释模型，在音频任务上效率与鲁棒性优于黑箱方法。
2024-09-13 cs.LG cs.NE cs.SD
Leveraging Multiple Speech Enhancers for Non-Intrusive Intelligibility Prediction for Hearing-Impaired Listeners
Orka Labs Inc.（Orka实验室）；Stanford University（斯坦福大学）；University of British Columbia（不列颠哥伦比亚大学）
本文提出利用多个语音增强器构建并行增强信号通路的非侵入式语音可懂度预测框架，并结合2片段增强策略提升跨数据集泛化能力，在多个数据集上优于CPC2 Champion基线。
2025-09-21 cs.AI cs.SD eess.AS
