The Spatial Selective Auditory Attention of Cochlear Implant Users in Different Conversational Sound Levels
University of Texas at Dallas（德克萨斯大学达拉斯分校）；Tongmyong University（东明大学）
在多扬声器环境中，耳蜗植入（CI）用户在对话期间可以以与正常听力（NH）个体不同的方式关注目标声源。本研究旨在探讨会话声级对CI和NH听者选择性听觉注意机制的影响及其对日常会话的影响。九CI用户（五双边，三单边，和一个双峰）和八NH听众参加了这项研究。使用矩阵句子测试收集行为语音识别分数，并使用脑电图（EEG）记录对语音包络的神经跟踪。言语刺激呈现在三个不同的水平（75，65，和55分贝SPL）的存在下，从三个空间分离的扬声器的两个掩蔽。对CI用户的辅助/受损听力模式的不同组合进行了评估，并将结果分为三类进行分析：仅电听力，仅声学听力和电+声学听力。我们的研究结果表明，增加会话的声音水平降低了选择性听觉注意的电听觉。另一方面，提高声音水平提高了声学听力组的选择性听觉注意。然而，在NH听众中，增加声音水平并没有引起听觉注意力的显着变化。我们的研究结果意味着，声音水平上的选择性听觉注意力的影响取决于听力模式和响度控制是必要的，方便参加CI用户的谈话。
2021-03-03 cs.SD eess.AS eess.SP
Effect of laboratory conditions on the perception of virtual stages for music
Instituto de Automática (Institute of Automation)（自动化研究所）
本文通过对比消声室与两种定制听力室的声学条件，验证了所提出的评估方法在虚拟舞台感知实验中的有效性，为虚拟声学研究中的实验室设计提供了初步依据。
2025-06-02 cs.SD eess.AS
Mobile Sound Recognition for the Deaf and Hard of Hearing
Universidade Federal do Rio de Janeiro（里约热内卢联邦大学）
人类对周围事件的感知强烈依赖于音频提示。因此，隔音会严重影响态势感知。我们提出了一个探索性的研究领域的辅助计算，引出的要求，并提出解决方案，发现在发展中的环境声音识别系统，其目的是帮助聋人和重听的人在感知声音的问题。为了利用智能手机的计算无处不在，我们提出了一个系统，执行所有的处理设备本身，从音频特征提取识别和视觉呈现的结果。我们的应用程序还向用户呈现了分类的置信度。对聋人用户进行的系统测试提供了参与者的重要和鼓舞人心的反馈。
2018-10-19 cs.AI cs.HC cs.SD
Do uHear? Validation of uHear App for Preliminary Screening of Hearing Ability in Soundscape Studies
涉及声景感知的研究通常排除听力损失的参与者，以防止感知受损影响实验结果。参与者通常使用纯音测听进行筛选，这是识别和量化特定频率听力损失的“金标准”，如果不符合研究相关阈值，则将其排除在外。然而，采购专业的听力设备进行声景研究可能是成本效益低，手动进行听力测试是劳动密集型的。此外，声景研究的测试要求可能不需要像医疗诊断环境那样高的灵敏度和特异性。因此，在这项研究中，我们调查了uHear应用程序（iOS应用程序）作为传统听力计的经济实惠和自动替代品的有效性，以筛选参与者的听力损失，用于声景研究或听力测试。根据与163名参与者的听力计进行的听力测试比较，发现uHear应用程序在使用世界卫生组织（WHO）分级方案评估正常听力时具有高精度（98.04%）。当在分级中考虑使用uHear应用程序评估的所有频率时，精度进一步提高（98.69%），这进一步支持了这种具有成本效益的自动化替代方案，以筛选正常听力。
2022-07-16 eess.AS stat.AP
ProtoSound: A Personalized and Scalable Sound Recognition System for Deaf and Hard-of-Hearing Users
University of Washington（华盛顿大学）；Google（谷歌）；Google Research（谷歌研究院）
最近的进展已经使移动设备上的聋人和听力困难（DHH）用户能够使用自动声音识别系统。然而，这些工具使用预先训练的通用声音识别模型，无法满足DHH用户的各种需求。我们介绍ProtoSound，一个交互式系统，通过记录一些例子来定制声音识别模型，从而实现个性化和细粒度的类别。ProtoSound的动机是以前的工作检查DHH的人的声音意识的需求，并通过我们与472 DHH参与者进行了调查。为了评估ProtoSound，我们在两个真实世界的声音数据集上表征了性能，显示出比最先进的显着改进（例如，第一个数据集的准确率为+9.7%）。然后，我们通过移动应用程序部署了ProtoSound的最终用户培训和实时识别，并招募了19名听力参与者，他们聆听了真实世界的声音，并对56个地点的准确性进行了评级（例如，家庭、餐馆、公园）。结果表明，ProtoSound可以实时个性化设备上的模型，并在不同的声学环境中准确地学习声音。最后，我们讨论了个性化声音识别方面的挑战，包括需要更好的录音界面和算法改进。
2022-02-22 cs.HC cs.LG cs.SD
Head shadow enhancement with low-frequency beamforming improves sound localization and speech perception for simulated bimodal listeners
KU Leuven – University of Leuven（鲁汶大学）
由于双耳线索的可用性差，许多听力受损的听众难以定位声音。带有人工耳蜗和对侧助听器的听众--所谓的双峰听众--是表现最差的，因为两耳间的时间和水平差都很难传递。提出了一种新的低频头部阴影增强方法。头部阴影增强是通过在每只耳朵中使用对侧衰减的固定波束形成器来实现的。该方法导致耳间水平差随角度单调变化。在语音和噪声空间分离的情况下，它还提高了低频信噪比。我们验证了该方法在两个实验中的声学模拟双峰听。在定位实验中，与标准全向麦克风相比，性能从50.5°提高到26.8°均方根误差。在噪声中的语音实验中，语音从正面方向呈现。当噪声来自人工耳蜗侧时，语音接收阈值提高了15.7 dB SNR，当噪声来自助听器侧时，语音接收阈值提高了7.6 dB SNR，当噪声来自各个方向时，语音接收阈值不受影响。除了双模态听众，该方法也可能是有前途的双侧人工耳蜗或助听器用户。其低计算复杂度使得该方法适合于在当前临床设备中的应用。保留字：头影增强、耳间水平差增强、声音定位、定向听力、噪声中言语、言语清晰度PACS：43.60.Fg、43.66.Pn、43.66.Qp、43.66.Rq、43.66.Ts、43.71.- k，43.71.Es，43.71.Ky
2018-03-14 cs.SD eess.AS
A Microphone Array and Voice Algorithm based Smart Hearing Aid
Data Science Institute（数据科学研究所）；National University of Ireland Galway（爱尔兰国立高威大学）
世界上大约有6.2%的人口（4.66亿人）患有听力障碍[1]。听力障碍对一个人的教育，经济成功[2][3]，儿童时期的认知发展[4]产生负面影响，包括老年痴呆症的风险增加[5]。由于听力障碍而导致的社会交往缺乏或减少会影响在家庭，学校和工作中建立或维持健康的关系[5]。因此，听力障碍确实影响整体生活质量和福祉。鸡尾酒会效应是一个健康听力个体在其他声音或声音的杂音中理解一个声音的能力，是听力障碍者缺乏的一种重要能力。这种无能导致简单的日常活动困难，例如参加小组讨论或在嘈杂的餐馆交谈[6]。这款智能助听器旨在为在嘈杂环境中理解语音提供急需的帮助。例如，如果一个人想要参与小组讨论，他/她需要将基于麦克风阵列的单元放置在他/她前面的平坦表面上，诸如桌子。当对话发生时，麦克风阵列将捕捉和处理来自各个方向的声音，智能地优先考虑并通过抑制不必要的噪音（包括其他人的讲话）来提供主发言者的声音。该设备使用语音算法自动选择和交替扬声器之间的语音。此外，用户可以根据需要通过智能手机界面进一步微调声学参数。本文介绍了这种新型智能助听器的发展和功能。
2020-06-05 cs.SD eess.AS
Individualized Hear-through For Acoustic Transparency Using PCA-Based Sound Pressure Estimation At The Eardrum
Starkey Hearing Technologies（斯达克听力技术公司）
听力设备上的透听功能，其允许听力等同于开放耳朵，同时提供以期望的方式修改鼓膜处的声压的可能性，近年来引起了研究人员的极大关注。为此，该装置的输出通过均衡滤波器进行处理，使得外部声源和鼓膜之间的传递函数对于开放耳朵和辅助条件（其中该装置在耳朵中）是等效的。为了实现理想的性能，均衡滤波器的设计假设所有相关的声学传递函数的准确知识。一个特别的挑战是听力设备接收器和鼓膜之间的传递函数，这在实践中很难获得，因为它需要额外的探头管测量。在这项工作中，我们提出了一个个性化的听通均衡滤波器设计，利用所谓的次级路径的测量来预测鼓膜处的声压，从而解决了这个问题。使用真实耳测量的传递函数的实验结果证实，所提出的方法实现了良好的声音质量相比，开放的耳朵，同时优于不利用所提出的估计器的滤波器设计。
2022-02-17 cs.SD eess.AS
Semantic Hearing: Programming Acoustic Scenes with Binaural Hearables
University of Washington（华盛顿大学）；Microsoft（微软）
本文提出语义听觉技术，通过首个双耳目标声音提取神经网络和泛化训练方法，使可听设备实时聚焦或忽略特定声音并保留空间线索，在20类声音和真实场景中验证有效。
2023-11-01 cs.LG cs.SD eess.AS
Robust single- and multi-loudspeaker least-squares-based equalization for hearing devices
University of Oldenburg（奥尔登堡大学）
为了改善听力设备的声音质量，可以使用均衡滤波器，其目的在于实现声学透明度，即，用耳朵中的设备进行收听在感知上类似于打开的耳朵。均衡滤波器需要确保由设备播放的均衡信号和通过设备泄漏到耳道中的信号的叠加与到达开放耳朵的鼓膜的信号的经处理的版本相匹配。根据听力设备的处理延迟，由于这种叠加，可能会出现梳状滤波伪影，这可能会降低感知的声音质量。在本文中，我们提出了一个统一的最小二乘为基础的程序来设计单扬声器和多扬声器均衡滤波器的听力设备，旨在实现声学透明度。为了解释非最小相位分量，我们引入了所谓的非因果性管理。为了减少梳状滤波伪影，我们建议使用频率相关的正则化。实验结果表明，所提出的均衡滤波器的设计过程，使实现强大的声学透明性和减少梳状滤波文物的影响，从多扬声器耳机测量的声学传递函数。单扬声器均衡和多扬声器均衡之间的比较表明，对于这两种情况，对于不同的期望的开放耳传递函数，可以实现鲁棒的均衡性能。
2021-09-09 cs.SD eess.AS
wav2shape: Hearing the Shape of a Drum Machine
New York University（纽约大学）
从几个波形例子中解开和恢复物理属性，如形状和材料，是音频信号处理中具有挑战性的逆问题，在音乐声学和结构工程中有许多应用。我们建议通过结合时频分析和监督机器学习来解决这个问题。我们首先使用函数变换方法合成声音数据集。然后，我们表示每个谐振声音的时不变散射变换系数，并制定了一个深卷积神经网络的多维回归的谐振器的参数估计。我们插值散射系数在鼓的表面作为潜在的缺失数据的替代品，并研究了神经网络的响应插值样本。最后，我们重新合成鼓的声音从散射系数，因此铺平了道路，对鼓的声音，其潜变量是物理上可解释的深层生成模型。
2020-07-20 cs.LG cs.SD eess.AS
Fine-grained Soundscape Control for Augmented Hearing
Paul G. Allen School of Computer Science and Engineering, University of Washington（保罗·G·阿伦计算机科学与工程学院，华盛顿大学）；Hearvana AI（Hearvana人工智能）
Aurchestra通过细粒度声音控制实现可穿戴设备上多声音源的独立调节与混合，提升环境声音的增强与抑制效果。
2026-07-13 cs.LG cs.SD eess.AS
Hearing and Seeing Through CLIP: A Framework for Self-Supervised Sound Source Localization
School of Electrical Engineering, KAIST, South Korea（韩国延世大学电气工程学院）；ETRI, South Korea（韩国电子技术研究院）
本文提出一种基于CLIP的自监督声源定位框架，通过将音频映射为CLIP兼容嵌入并与视觉特征对比对齐，无需文本输入即可实现更完整紧凑的定位，并在多个任务和零样本场景中优于现有方法。
2025-05-08 cs.CV cs.SD eess.AS
Text-to-speech for the hearing impaired
University of Manchester（曼彻斯特大学）；University of Cambridge（剑桥大学）
文本转语音（TTS）系统提供了在源处补偿听力损失的机会，而不是在接收端对其进行校正。这消除了诸如在助听器中放大声音的算法的时间限制等限制，并且可以导致更高的语音质量。我们提出了一种算法，恢复响度正常的感知在时间，频率和水平的高分辨率，并将其嵌入到TTS系统，使用Tacotron2和WaveGlow产生单独放大的语音。语音质量的主观评价表明，该算法导致高质量的音频与原始或线性放大的语音，但相当高的语音清晰度噪声的声音质量相似。迁移学习使得从原始语音到单独放大的语音的产生的频谱快速适应，从而产生高的语音质量和可懂度，从而为我们提供了一种有效地训练个体TTS系统的方法。
2021-03-22 cs.LG cs.SD eess.AS
Seeing Sound, Hearing Sight: Uncovering Modality Bias and Conflict of AI models in Sound Localization
Nanyang Technological University, Singapore（南洋理工大学）；Peking University, China（北京大学）；Shenzhen University, China（深圳大学）
本研究系统考察AI声音定位中的模态偏差，发现人类优于AI，并提出受神经科学启发的EchoPin模型，其超越现有基准并呈现类似人类的水平定位偏差。
2025-10-24 cs.AI cs.CV cs.MM
Influence of Lossy Speech Codecs on Hearing-aid, Binaural Sound Source Localisation using DNNs
本文研究 BLE 场景下 LC3plus 有损编解码对双耳 DNN 声源定位的影响，比较单耳与中心处理条件，并扩展 Pyroomacoustics 支持 HD-HRTF。
2023-06-04 eess.AS
Reduction of Subjective Listening Effort for TV Broadcast Signals with Recurrent Neural Networks
Carl von Ossietzky University Oldenburg（奥尔登堡大学）；Fraunhofer IDMT（弗劳恩霍夫数字媒体技术研究所）
收听电视广播信号的音频对于听力受损者以及听力正常的收听者来说可能是具有挑战性的，特别是当背景声音与语音信号相比突出或太响时。这可能导致听众的满意度降低和收听努力增加。由于广播声音通常是预混的，我们进行主观评价量化的潜力语音增强系统的基础上，音频源分离和递归神经网络（RNN）。最近，RNN在声源分离和实时信号处理的背景下显示出有希望的结果。在本文中，我们将语音从背景信号中分离出来，并将分离出来的声音以更高的信噪比进行混音。这不同于经典的语音增强，在经典的语音增强中，通常仅利用所提取的语音信号。主观评价与20个正常的听力主体对真正的电视广播材料表明，我们提出的增强系统是能够减少约2个点的13点的听力努力评级量表上的听力努力，并增加了感知的声音质量相比，原来的混合物。
2021-11-02 cs.SD eess.AS
Building Ears for Robots: Machine Hearing in the Age of Autonomy
Zoox, Inc.（Zoox公司）
本文以 robotaxi 外部麦克风阵列为例探讨机器人听觉的硬件设计与 SNR 测试，并提出基于概率机器人学、Bayes 滤波和 POMDP 的软件框架，将听觉纳入感知与决策。
2023-12-05 cs.RO cs.SD eess.AS
A Fused Deep Denoising Sound Coding Strategy for Bilateral Cochlear Implants
针对双侧人工耳蜗的噪声语音理解问题，提出通过潜在融合层连接两侧单耳端到端深度降噪编码模型的策略，提升了降噪、耳间相干性和语音可懂度。
2023-10-02 eess.AS
Learning to Model Aspects of Hearing Perception Using Neural Loss Functions
Center for Computer Research in Music and Acoustics, Stanford University（斯坦福大学计算机音乐与声学研究中心）
我们提出了一个框架，通过结合卷积架构，从经典的信号处理的想法来模拟音频信号的感知质量，并描述了一种方法来提高感知的声学质量。我们证明了这种方法，通过将一个廉价的音乐与退化的声音质量的声音，一个高品质的乐器，而不需要并行数据，这往往是很难收集。我们适应一个简单的自适应EQ滤波的经典方法学习的神经架构的客观标准，并优化它，以获得我们感兴趣的信号。由于我们根据感兴趣的信号学习自适应掩码，而不是对所有输入进行固定变换，因此我们表明浅层神经架构可以实现预期的结果。对目标和初始化的简单约束有助于我们避免对抗性的示例，否则会产生嘈杂的，难以理解的音频。我们相信，目前提出的框架具有巨大的应用，在各种问题中，人们可以根据问题学习损失函数，使用神经架构并在学习后对其进行优化。
2019-12-11 cs.SD eess.AS
Hearing Like Humans? Sound Symbolism and Perceptual Alignment in Speech Language Models
Graduate Institute of Communication Engineering National Taiwan University Taipei, Taiwan；Graduate Institute of Electrical Engineering National Taiwan University Taipei, Taiwan；Artificial Intelligence Center of Research Excellence National Taiwan University Taipei, Taiwan
研究语音语言模型是否有语音象征倾向，通过真实人类语音录音对比模型与人类数据，发现模型听觉判断与人类感知对齐差，错过声学线索，开放权重模型表现不佳，弱点在语音表示方式。
2026-10-07 cs.CL eess.AS
Developing an AI-Guided Assistant Device for the Deaf and Hearing Impaired
Jiayu (Jerry) Liu（独立研究者）
本研究提出一种面向聋人与听障人士的 AI 辅助设备，结合 JerryNet 声源方向识别、CLAP 音频分类及多模态音频-视觉定位模型，在多个数据集上取得优于基线模型的性能，为新一代无障碍设备奠定基础。
2025-07-16 cs.LG cs.SD eess.AS
Disentangling peripheral hearing loss from central and cognitive effects on speech intelligibility in older adults
Center for Innovative and Joint Research, Wakayama University（和歌山大学创新与联合研究中心）；Graduate School of Systems Engineering, Wakayama University（和歌山大学系统工学研究科）；School of Informatics and Engineering, the University of Electro-Communications（电气通信大学信息与工程学院）
研究通过WHIS和GESI区分老年人言语可懂性中的外围听力损失与中央和认知因素，发现主观评分高于预测值，表明GESI有效吸收了外围听力损失的影响。
2026-04-08 cs.SD eess.AS
A Neural-Network Framework for the Design of Individualised Hearing-Loss Compensation
针对助听器依赖简化模型而无法有效补偿复杂听力损失的问题，提出一种可微分的深度神经网络框架，基于正常与受损听觉系统的生物物理差异训练助听器模型，能补偿外毛细胞损失和耳蜗突触病变，改善噪声中言语理解，支持个性化听力恢复。
2023-06-16 eess.AS eess.SP
dCoNNear: An Artifact-Free Neural Network Architecture for Closed-loop Audio Signal Processing
Hearing Technology Lab, Department of Information Technology, Ghent University（信息科技系听力技术实验室，根特大学）；IDLAB, Department of Information Technology, Ghent University（信息科技系IDLAB，根特大学）
本文提出无伪影神经网络架构dCoNNear，通过消除闭环音频处理中非理想采样引起的音调与混叠伪影，在助听器个性化设计和语音增强任务中显著提升感知音质。
2025-11-06 cs.SD eess.AS
Towards Environmental Preference Based Speech Enhancement For Individualised Multi-Modal Hearing Aids
Edinburgh Napier University（爱丁堡纳皮尔大学）；Academia Sinica（中央研究院）
本文提出基于偏好学习的语音增强模型，通过多任务深度学习联合估计信噪比和声学场景，并结合用户偏好线性学习目标SNR，实现面向多模态助听器的上下文个性化语音增强。
2024-02-26 cs.SD eess.AS
Evaluating and Optimizing Hearing-Aid Self-Fitting Methods using Population Coverage
University of Iowa（爱荷华大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
患有轻度至中度听力损失的成年人可以使用非处方助听器来治疗听力损失，其费用仅为传统听力保健费用的一小部分。这些产品采用了自适应方法，允许最终用户在没有听力学家帮助的情况下配置助听器。自适应方法可帮助用户配置增益-频率响应，以控制传入声音的每个频带的放大。本文考虑如何设计有效的自适应方法，以及我们是否可以评估其设计的某些方面，而不诉诸昂贵的用户研究。大多数现有的适配方法提供各种用户界面以允许用户从预定的一组适配器中选择配置。我们提出了一种新的度量方法，通过计算其人口覆盖率来评估基于预设的方法的性能。人口覆盖率估计有可能找到他们喜欢的配置的用户的比例。我们方法的一个独特方面是一个概率模型，它可以捕捉用户的独特偏好与其他具有类似听力损失的用户的不同之处。接下来，我们开发了确定最大化人口覆盖率的方法。探索性的结果表明，所提出的算法可以有效地选择一个小的数量，提供更高的人口覆盖率比基于聚类的方法。此外，我们可以使用我们的算法来配置基于滑块的方法的增量数量。
2022-10-25 cs.HC cs.LG cs.SD
Disappeared Command: Spoofing Attack On Automatic Speech Recognition Systems with Sound Masking
Tencent（腾讯）
深度学习技术的发展极大地促进了自动语音识别（ASR）技术的性能提升，在许多任务中已经展现出与人类听觉相当的能力。语音接口正变得越来越广泛地用作许多应用程序和智能设备的输入。然而，已有研究表明，DNN很容易受到轻微干扰的干扰而做出错误识别，这对于语音控制的智能语音应用来说是极其危险的。
2022-06-08 cs.AI cs.SD eess.AS
Effects of HRTF Augmentation on Predicted Spatial Release from Masking in Music
Dyson School of Design Engineering, Imperial College London（帝国理工学院戴森设计工程学院）；Sonova AG（索诺瓦股份公司）
本文研究HRTF增强对音乐空间掩蔽释放预测效果的影响，提出增强HRTF以提升空间线索显著性的方法，发现其可增强乐器可分离性，模拟中度听力损失时益处降低，助听器处理无法恢复至正常水平。
2026-08-31 eess.AS
Efficient learning-based sound propagation for virtual and real-world audio processing applications
提出三种基于学习的声传播方案：高效RIR生成器、视听RIR估计器和IR-GAN，显著提升虚拟与现实音频处理任务的速度与性能。
2024-09-08 cs.SD eess.AS
How to train your ears: Auditory-model emulation for large-dynamic-range inputs and mild-to-severe hearing losses
本研究提出一种嵌入频率与电平依赖性的新优化目标，以提升深度神经网络对听觉模型的仿真性能，尤其针对大动态范围输入和轻至重度听力损失，且不增加推理计算负担。
2024-03-15 eess.AS
Detect what you want: Target Sound Detection
Peking University（北京大学）；Xiaomi Corporation（小米公司）
人类可以通过选择性听觉注意从多源混合信号中感知目标声音类型，然而，这种功能在机器听觉中几乎没有被探索过。目标声检测（TSD）任务是在给定目标声参考音频的情况下，从混合音频中检测出目标声信号。我们提出了一种新的目标声音检测网络（TSDNet），它由两个主要部分组成：一个条件网络，其目的是产生一个声音的歧视性的条件嵌入向量表示的目标声音，和一个检测网络，它采取的混合音频和条件嵌入向量作为输入，并产生目标声音的检测结果。这两个网络可以通过多任务学习方法进行联合优化，以进一步提高性能。此外，我们研究了强监督和弱监督策略来训练TSDNet，并提出了一种混合两个样本的数据增强方法。为了便于这项研究，我们建立了一个目标声音检测数据集（\textit{i.e.} URBAN-TSD）的基础上URBAN-SED和UrbanSound 8 K数据集，实验结果表明，我们的方法可以得到基于段的F分数分别为76.3 $\%$和56.8 $\%$在强标记和弱标记的数据。
2022-07-07 cs.SD eess.AS
Clustering of Acoustic Environments with Variational Autoencoders for Hearing Devices
Eindhoven University of Technology（埃因霍温理工大学）；NXP Semiconductors（恩智浦半导体）
本文提出利用变分自编码器对声学环境进行无监督聚类，通过改进模型结构和参数化方法，提升了在真实听觉设备场景中的聚类性能。
2026-01-21 eess.AS
SALMONN: Towards Generic Hearing Abilities for Large Language Models
Tsinghua University（清华大学）；ByteDance（字节跳动）
本文提出SALMONN多模态模型，将文本LLM与语音及音频编码器融合，使其具备通用听觉理解、多任务竞争性能和跨模态涌现能力，并用少样本激活调优激发这些能力。
2024-04-08 cs.CL cs.SD eess.AS
Subspace Hybrid MVDR Beamforming for Augmented Hearing
Imperial College London（伦敦帝国理工学院）；Meta Reality Labs Research（Meta现实实验室）
本文提出一种两阶段多通道语音增强算法，结合信号相关波束形成的自适应性与超指向性波束形成的鲁棒性，通过混合波束形成器和宽带子空间后置滤波器，在头戴式麦克风阵列的复杂声学场景中显著提升噪声抑制、可懂度和语音质量。
2023-11-30 cs.SD eess.AS eess.SP
The effect of speech and noise levels on the quality perceived by cochlear implant and normal hearing listeners
University of Texas at Dallas（德克萨斯大学达拉斯分校）；Southern University of Science and Technology（南方科技大学）
人工耳蜗植入体（CI）的电听力可能与正常听力（NH）听众的声学听力有根本不同，可能在各种噪声环境中表现出不平等的语音质量感知。CI中使用的降噪（NR）算法降低噪声以有利于信噪比（SNR），而不管可能降低语音质量感知的合理伴随失真。为了更好地理解CI语音质量感知，本工作旨在研究在不同的噪声条件下的语音质量感知，包括语音/噪声水平，噪声类型和NR模型引起的失真的因素。15名NH受试者和7名CI受试者参加了本研究。语音句子被设置为两个不同的水平（65和75分贝SPL）。两种类型的噪音（食堂和Babble）在三个级别（55，65和75分贝SPL）。使用两种NR算法处理句子，以调查CI和NH听者对失真的感知敏感性。所有的句子处理与这些集的组合呈现给CI和NH听众，他们被要求评价语音的声音质量，因为他们认为。基于CI和NH听众对组平均质量的评价，研究了每个因素对感知语音质量的影响。与以前的研究一致，CI听众不像NH那样敏感的失真NR算法。统计分析表明，语音水平对质量感知有显著影响。在相同的信噪比下，CI用户的65 dB语音质量高于75 dB语音质量，而NH用户则相反。因此，本研究表明，感知的语音质量模式之间的CI和NH听众在他们的敏感性失真和语音水平在复杂的听力环境中是不同的。
2021-03-03 cs.SD eess.AS eess.SP
Proceedings of the LOCATA Challenge Workshop -- a satellite event of IWAENC 2018
用于声源定位和跟踪的算法提供关于声学环境中的有源声源的位置信息的估计，并且对于诸如个人助理、智能家居、电话会议系统、助听器或自主系统的广泛应用是必不可少的。IEEE-AASP声源定位和跟踪挑战赛（LOCATA）的目的是使用音频和声学信号处理应用中通常遇到的场景的开放访问录音数据语料库，客观地对最先进的定位和跟踪算法进行基准测试。挑战性的任务范围从一个单一的源与静态麦克风阵列的定位到多个移动源与移动麦克风阵列的跟踪。
2019-08-20 cs.SD eess.AS
DynamicSound simulator for simulating moving sources and microphone arrays
Politecnico di Torino（都灵理工大学）；University of California, Irvine（加州大学尔湾分校）
DynamicSound 是一个开源声学模拟框架，可生成多通道音频，支持移动声源和麦克风阵列，用于开发和评估现代空间音频与声源定位算法。
2026-01-21 eess.AS
Delay-Performance Tradeoffs in Causal Microphone Array Processing
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
在诸如助听器信号处理之类的实时听力增强应用中，必须以不超过几毫秒的延迟来处理声音以使听者听起来自然。通过使用麦克风阵列在空间和时间上对声学信号进行滤波，收听设备可以以较低的延迟实现更好的性能。在这里，我们分析了因果多通道维纳滤波器的麦克风阵列降噪的延迟和平方误差性能之间的权衡。我们计算的延迟误差曲线在两种特殊情况下的精确表达式，并从现实世界的麦克风阵列录音的实验结果。我们发现，延迟性能特性是由信号的空间和时间相关结构决定的。
2018-07-31 cs.SD eess.AS
HAAQI-Net: A Non-intrusive Neural Music Audio Quality Assessment Model for Hearing Aids
Academia Sinica（中央研究院）；National Chengchi University（国立政治大学）；National Yang Ming Chiao Tung University（国立阳明交通大学）；Research Center for Information Technology Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）；Institute of Information Science, Academia Sinica（中央研究院资讯科学研究所）；College of Informatics, National Chengchi University（国立政治大学资讯学院）；Institute of Communications Engineering, National Yang Ming Chiao Tung University（国立阳明交通大学通讯工程研究所）
本文提出非侵入式 HAAQI-Net，融合 BEATs 特征、BLSTM 与注意力机制预测助听器音乐质量，并通过知识蒸馏和微调实现高效、鲁棒的主客观评分预测。
2025-01-09 cs.LG cs.SD eess.AS
Modeling the effects of dynamic range compression on signals in noise
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
助听器使用动态范围压缩（DRC），一种自动增益控制的形式，使安静的声音更响亮，响亮的声音更安静。压缩可以提高听觉舒适度，但在嘈杂的环境中也会导致失真。它已被广泛报道，DRC表现不佳的噪声，但很少有数学分析这些失真的影响。本文介绍了一种数学模型来研究噪声中的DRC行为。使用有关信号包络的统计假设，我们定义了一个有效的压缩函数，该函数对存在另一个信号时应用于一个信号的压缩进行建模。这个框架是用来证明有关DRC的结果，以前已经观察到的实验：当DRC被应用到一个混合信号，不相关的信号包络成为负相关的;有效的压缩应用到每个声音的混合物是弱于它本来是单独的信号;和压缩可以降低长期的信噪比在某些条件下。这些理论结果支持使用记录的语音信号的软件实验。
2020-12-07 cs.SD eess.AS
BeamLearning: an end-to-end Deep Learning approach for the angular localization of sound sources using raw multichannel acoustic pressure data
Cnam（法国国立工艺学院）；LMSSC（机械系统与耦合结构实验室）
利用多通道信号处理进行声源定位已经是几十年来活跃的研究课题。近年来，深度学习在音频信号处理中的应用极大地提高了机器听觉的性能。这促使科学界也为源本地化应用开发机器学习策略。在本文中，我们介绍了BeamLearning，这是一种多分辨率深度学习方法，可以对麦克风阵列捕获的未处理时域声学信号中包含的相关信息进行编码。使用原始数据的目的是避免简化假设，最传统的基于模型的定位方法依赖于。其使用的好处是显示在混响和嘈杂的环境中的实时声源2D定位任务。由于监督式机器学习方法需要大尺寸、物理上真实、精确标记的数据集，因此我们还开发了一种基于GPU的快速计算房间脉冲响应的方法，该方法使用图像源模型的分数延迟。使用BeamLearning网络与合成和实验数据集进行了网络表示和广泛的性能测试的彻底分析。所获得的结果表明，波束学习方法显着优于宽带MUSIC和SRP-PHAT方法在定位精度和计算效率方面存在的重测量噪声和混响。
2021-04-27 cs.SD eess.AS
String Sound Synthesizer on GPU-accelerated Finite Difference Scheme
Seoul National University（首尔大学）
本文提出一种基于PyTorch实现的非线性弦音合成器，通过GPU加速有限差分仿真支持随机参数化，既服务于音频信号处理社区，又为神经网络音频合成提供新型数据集构建工具。
2024-01-08 cs.SD eess.AS eess.SP
Joint Blind Room Acoustic Characterization From Speech And Music Signals Using Convolutional Recurrent Neural Networks
Logitech Europe S.A.（罗技欧洲股份公司）
声学环境表征为声音再现创新、智能E Qing、语音增强、助听器和取证打开了大门。混响时间、清晰度和直达混响比是已经被定义为描述混响环境的声学参数。它们与语音清晰度和声音质量密切相关。如ISO 3382标准中所解释的，它们可以从称为房间脉冲响应（RIR）的房间测量中得出。然而，测量RIR需要特定的设备和播放侵入性声音。最近的音频与机器学习的结合表明，人们可以使用语音或音乐信号来盲估计这些参数。我们遵循这些进展，并提出了一个强大的端到端的方法来实现盲联合声学参数估计使用语音和/或音乐信号。我们的研究结果表明，卷积循环神经网络在这项任务中表现最好，并且在训练中包含音乐也有助于改善语音推理。
2020-10-21 cs.LG cs.SD eess.AS
Sinusoidal wave generating network based on adversarial learning and its application: synthesizing frog sounds for data augmentation
基于理论模型生成观测结果的模拟器是开发、预测和评估信号处理算法的重要工具。为了设计这些模拟器，需要根据其应用构建数学模型。复杂的模型有时是必要的，以代表各种真实的现象。相比之下，从真实观测结果开发的生成模型中获得合成观测结果通常需要少得多的努力。本文提出了一种基于对抗学习的生成模型。考虑到观测值通常是由正弦波和随机噪声的线性组合组成的信号，首先基于对抗网络设计正弦波生成网络。然后可以使用所提出的网络来执行音频波形生成。实验研究了使用对抗学习设计所提出的网络的目标函数的几种方法。此外，两栖动物的声音分类是使用卷积神经网络与真实的和合成的声音训练。定性和定量的结果表明，所提出的生成模型，使真实的信号，是非常有帮助的数据增强和数据分析。
2019-01-07 cs.LG cs.SD eess.AS
Xenakis: Experimenting with Data, Cities, and Sounds
TU Wien（维也纳技术大学）；Royal Melbourne Institute of Technology（皇家墨尔本理工大学）
在这项工作中，我们报告了在研究听到城市的定义不严格的问题时从不同学科中获得的结果和经验教训。我们提出了Xenakis，城市数据的musification的工具，它能够通过街道方向的分布捕捉城市的拓扑结构的一些功能，并把它变成一个（非常）小的音乐，一个循环，它可以被用作积木的组成。除了提供互补的视觉和听觉通道与此数据接口，我们还允许管道的\textit{midi}信号到其他应用程序。这个概念是由可视化研究人员与音乐家合作开发的，他们以开放的方式使用设计研究方法。我们的成果包括音乐曲目，我们利用alt.VIS的范围以真诚，幽默和引人入胜的格式传达我们的研究。
2021-09-30 cs.HC cs.MM cs.SD
Reconstructing the Vocal Tract with Differentiable Acoustic Simulation
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；MIT RLE（麻省理工学院电子学研究实验室）；KAIST GSCT（韩国科学技术院文化技术研究生院）
本文提出一种可微且GPU加速的声道声学模拟器，通过梯度下降从语音逆推声道形状，并集成湍流模型与神经网络参数化，实现跨语言自监督自编码及无配对数据的语音驱动MRI重建。
2026-09-30 cs.CL cs.SD eess.AS
A Psychoacoustic Quality Criterion for Path-Traced Sound Propagation
Zhejiang University（浙江大学）；University of Maryland（马里兰大学）
在开发虚拟声学环境中，重要的是要了解计算成本和所得数值误差的感知意义之间的关系。在本文中，我们提出了一个质量标准，评估基于路径跟踪的声音传播模拟器的误差意义。我们提出了一个分析公式，估计误差信号的功率谱。通过这种频谱估计，我们可以使用修改的Zwicker响度模型来计算被理想输出掩蔽的误差信号的相对响度。我们的实验结果表明，所提出的标准可以解释在各种情况下的模拟错误的人的感知。
2022-10-08 cs.GR cs.SD eess.AS
EchoVest: Real-Time Sound Classification and Depth Perception Expressed through Transcutaneous Electrical Nerve Stimulation
本文提出辅助设备 EchoVest，结合经皮神经电刺激、AST 音频 Transformer、快速傅里叶变换降噪、Otsu 阈值、复数到达时间差定位与盲源分离，在 ESC-50 上实现 95.7% 准确率，帮助听障者感知环境声音。
2023-07-10 cs.LG cs.SD eess.AS
