Auditory-Based Data Augmentation for End-to-End Automatic Speech Recognition
University of Sheffield（谢菲尔德大学）
端到端模型在自动语音识别方面取得了显著的进步。提高这些模型性能的一种常用方法是通过数据扩充来扩展数据空间。与此同时，人类听觉启发的前端也证明了自动语音识别器的改进。在这项工作中，一个经过验证的基于听觉的模型，它可以模拟各种听力能力，研究的目的是数据增强端到端的语音识别。通过将听觉模型引入到数据增强过程中，鼓励端到端系统忽略无法听到的信号的变化，从而专注于语音识别的鲁棒特征。听觉模型中的两种机制，频谱拖尾和响度招募，研究了LibriSpeech数据集与基于transformer的端到端模型。实验结果表明，本文提出的增强方法可以显著提高SpecAugment算法的性能。
2022-04-08 cs.SD eess.AS
Loud-loss: A Perceptually Motivated Loss Function for Speech Enhancement Based on Equal-Loudness Contours
College of Computer Science, Inner Mongolia University, China（内蒙古大学计算机科学学院）；Lenovo, China（联想公司）
本文提出Loud-loss，一种基于等响曲线的感知加权语音增强损失函数，通过在GTCRN中替换MSE将WB-PESQ从2.17提升至2.93，显著改善感知质量。
2026-10-14 cs.SD
iSEGAN: Improved Speech Enhancement Generative Adversarial Networks
Idiap Research Institute（IDIAP研究所）
流行的基于神经网络的语音增强系统对幅度谱图进行操作，并且忽略有噪语音信号与干净语音信号之间的相位失配。条件生成对抗网络（cGAN）通过直接将原始噪声语音波形映射到底层的干净语音信号，在解决相位失配问题方面表现出了希望。然而，稳定和训练cGAN系统是困难的，它们仍然达不到频谱增强方法所实现的性能。本文研究了不同的归一化策略和单侧标签平滑是否可以进一步稳定基于cGAN的语音增强模型。此外，我们还提出了一个基于伽玛音的听觉过滤层和一个可训练的预加重层，以进一步提高cGAN框架的性能。仿真结果表明，所提出的方法提高了cGAN系统的语音增强性能，除了产生改进的稳定性和减少的计算工作量。
2020-02-20 cs.SD eess.AS eess.SP
Speech Enhancement via Two-Stage Dual Tree Complex Wavelet Packet Transform with a Speech Presence Probability Estimator
本文提出了一种基于双树复小波包变换（DTCWPT）的两级语音增强算法，其中提出了一种语音存在概率（SPP）估计器和一种广义最小均方误差（MMSE）估计器。为了克服WPT下采样引起的信号失真的缺点，一个两级解析分解级联未抽取WPT（UWPT）和抽取WPT。基于语音的广义Gamma分布和高斯噪声假设，推导了DTCWPT域中的SPP估计器。实验结果表明，与最佳修正LSA（OM-LSA）、基于后验SNR不确定性的软掩蔽（SMPO）、基于后验SPP的MMSE估计算法等4种语音增强算法相比，该算法在低信噪比非平稳噪声环境下，能够获得增强的语音质量感知评价（PESQ）和分段信噪比（SegSNR）（MMSE-SPP）和自适应贝叶斯小波阈值（BWT）。
2016-10-04 cs.SD
Learning with Learned Loss Function: Speech Enhancement with Quality-Net to Improve Perceptual Evaluation of Speech Quality
National Taiwan University（台湾大学）
利用与人的感知相关的目标函数来训练语音增强模型是近年来的一个热门课题。主要原因是传统的均方误差（MSE）损失不能很好地代表听觉感知。一个典型的人类感知相关的度量，这是语音质量的感知评价（PESQ），已被证明提供了一个高度相关的质量评分由人类。然而，由于其复杂和不可微的特性，PESQ函数可能无法直接用于优化语音增强模型。在这项研究中，我们提出了优化增强模型与近似PESQ函数，这是可微的，从训练数据学习。实验结果表明，学习的代理函数可以指导增强模型进一步提高PESQ分数（与MSE损失训练结果相比提高0.18分），并保持语音清晰度。
2019-11-14 cs.LG cs.SD eess.AS
Detecting gamma-band responses to the speech envelope for the ICASSP 2024 Auditory EEG Decoding Signal Processing Grand Challenge
Imperial College London（帝国理工学院）
本文提出联合利用高频 gamma 频段语音包络响应与低频包络跟踪的匹配—不匹配 EEG 解码器，在 ICASSP 2024 听觉 EEG 挑战赛相关任务中取得第一名。
2024-01-30 cs.SD eess.AS
APG-MOS: Auditory Perception Guided-MOS Predictor for Synthetic Speech
Beijing Normal University（北京师范大学）
提出APG-MOS模型，通过整合基于生物听觉机制的感知模块与RVQ语义失真建模，并利用残差交叉注意力与渐进式学习实现多模态融合，显著提升了合成语音MOS预测与人类判断的一致性。
2025-04-29 cs.AI cs.SD eess.AS
Towards a generalized monaural and binaural auditory model for psychoacoustics and speech intelligibility
听觉感知涉及单耳听觉通路中的线索以及基于耳朵之间的差异的双耳线索。到目前为止，听觉模型通常集中在单声道或双耳实验中。虽然双耳模型通常建立在（现有的）单耳模型的阶段上，但是仅进行了一些尝试来通过使用用于单耳和双耳线索的统一决策阶段的双耳阶段来扩展单耳模型。在这样的方法中，双耳处理的典型原型是经典的均衡-消除机制，其涉及信号自适应延迟并提供单声道输出，或者可以利用提供高维多声道输出的抽头延迟来实现。这一贡献扩展了（单声道）广义包络功率谱模型的非自适应双耳阶段，只有几个，固定的输出通道。双耳阶段类似于生理激励半球双耳处理的特征，作为简化的信号处理阶段，产生5声道单声道和双耳矩阵特征“解码器”（BMFD）。现有单声道模型的后端应用于5声道BMFD输出，并计算短时包络功率和功率特征。该模型进行了评估和讨论的单声道和双耳心理声学实验从文献的基线数据库。
2021-06-29 cs.SD eess.AS
Harmonic Detection from Noisy Speech with Auditory Frame Gain for Intelligibility Enhancement
Military Institute of Engineering (IME)（军事工程学院）
提出 HDAG 方法，利用选择性 Gammachirp 滤波、HHT-Amp 基频估计及 FSFFE 分类增益调节增强噪声语音谐波，实验与听测均显示其可懂度提升优于三种基线方法。
2024-01-22 cs.SD eess.AS
An efficient and perceptually motivated auditory neural encoding and decoding algorithm for spiking neural networks
National University of Singapore（新加坡国立大学）；Agency for Science, Technology and Research（新加坡科技研究局）；University of New South Wales（新南威尔士大学）
听觉前端是脉冲神经网络执行听觉认知任务的重要组成部分。它将语音、音频等时间动态刺激编码成一种高效、有效、可重构的锋电位模式，以利于后续的加工。然而，大多数的听觉前端在目前的研究并没有利用心理声学和生理学的最新研究成果有关人类的听力。在本文中，我们提出了一个神经编码和解码方案，优化语音处理。神经编码方案，我们称之为生物合理听觉编码（BAE），模拟人类听觉系统的感知组件的功能，包括耳蜗滤波器组，内毛细胞，心理声学模型的听觉掩蔽效应，以及听觉神经的尖峰神经编码。我们评估的感知质量的BAE计划使用PESQ的BAE性能的基础上语音识别实验。最后，我们还建立并发布了两个spike版本的语音数据集：Spike-TIDIGITS和Spike-TIMIT，供研究人员使用和未来SNN研究的基准。
2019-09-04 cs.NE cs.SD eess.AS
Enabling Auditory Large Language Models for Automatic Speech Quality Evaluation
Tsinghua University（清华大学）；ByteDance（字节跳动）；University of Cambridge（剑桥大学）
本文提出利用听觉大语言模型进行自动语音质量评估，通过任务特定提示微调模型预测MOS、SIM和A/B测试结果，并生成自然语言描述，实验表明其在多项指标上取得竞争力表现。
2025-04-01 cs.CL cs.SD eess.AS
Exploring auditory acoustic features for the diagnosis of the Covid-19
EURECOM（欧洲电信学院）
当前冠状病毒的爆发已迅速升级为一个严重的全球问题，现已被世界卫生组织宣布为国际关注的突发公共卫生事件。传染病没有国界，所以在控制疫情方面，时机绝对至关重要。在威胁扩散之前，尽早发现它们是非常重要的。在第一次成功的DiCOVA挑战之后，组织者发布了第二次DiCOVA挑战，目的是通过使用呼吸，咳嗽和语音音频样本来诊断COVID-19。这项工作介绍了使用呼吸、咳嗽和语音记录进行COVID-19检测的自动系统的细节。我们开发了不同的前端听觉声学特征以及双向长短期记忆（bi-LSTM）作为分类器。结果是有希望的，并且已经证明了在呼吸、咳嗽和语音轨迹中的听觉声学特征之间的高度互补行为，在测试集上给出了86.60%的AUC。
2022-01-22 cs.SD eess.AS
Relate auditory speech to EEG by shallow-deep attention-based network
Xiaomi Corp.（小米公司）；Xi'an University of Posts and Telecommunications（西安邮电大学）；Northwestern Polytechnical University（西北工业大学）；Peng Cheng Laboratory（鹏城实验室）
脑电图（EEG）在检测大脑对不同刺激的反应中起着至关重要的作用。在本文中，我们提出了一种新的基于浅-深注意的网络（SDANet）分类正确的听觉刺激引起的EEG信号。该算法采用基于注意力的相关模块（ACM）从全局角度发现听觉语音和脑电信号之间的联系，采用浅深相似性分类模块（SDSCM）通过从浅层和深层学习到的嵌入来决定分类结果。此外，各种训练策略和数据增强被用来提高模型的鲁棒性。实验在听觉脑电挑战（ICASSP信号处理大挑战2023）提供的数据集上进行。结果表明，所提出的模型在匹配-失配轨道上具有显著的基线增益。
2023-03-20 cs.CL cs.SD eess.AS
Quantifying Cochlear Implant Users' Ability for Speaker Identification using CI Auditory Stimuli
University of Texas at Dallas（德克萨斯大学达拉斯分校）
说话人识别是一种生物识别方式，它使用潜在的语音信息来确定说话人的身份。噪声条件下的说话人辨识（SID）是语音处理领域中具有挑战性的课题之一，特别是当涉及到人工耳蜗（CI）个体时。本研究分析并量化了CI用户基于直接电听觉刺激进行说话人辨识的能力。CI用户使用有限数量的频带（8至22），并使用电极直接刺激基底膜/耳蜗，以便识别语音信号。CI频率范围内的电刺激的稀疏性是人类语音识别以及SID性能损失的主要原因。因此，假设CI用户可能无法识别和区分给定相关信息（例如共振峰频率、音高等）的扬声器，这些信息会丢失给未模拟的电极。为了量化该假设，使用CI高级组合编码器（ACE）信号处理策略来处理输入语音信号以构建CI听觉电描记图。建议的研究使用50扬声器从三个不同的数据库中的每一个使用两个不同的分类器在安静的情况下训练系统，并在安静和嘈杂的条件下进行测试。客观结果表明，CI用户可以有效地识别有限数量的说话人。然而，当系统中添加更多扬声器以及引入噪声条件时，它们的性能会降低。因此，该信息可以用于改进CI用户信号处理技术以改进人类SID。
2019-07-31 cs.SD eess.AS
Target Speaker Verification with Selective Auditory Attention for Single and Multi-talker Speech
National University of Singapore（新加坡国立大学）；Tencent Ethereal Audio Lab（腾讯天籁音频实验室）
说话人确认的研究大多是在单个说话人的情况下进行的。它在干扰扬声器存在时受到不利影响。受目标说话人提取研究的启发，SpEx，我们提出了一个统一的说话人验证框架，单和多说话人的语音，这是能够支付选择性的听觉注意目标扬声器。该目标说话人确认框架通过多任务学习联合优化说话人注意模块和说话人表征模块。我们研究了四种不同的目标说话人嵌入方案下的tSV框架。实验结果表明，所有四个目标说话人嵌入方案显着优于其他竞争解决方案的多说话人语音。值得注意的是，在WSJ 0 - 2 mix-extr和Libri 2 Mix语料库上，最佳tSV说话人嵌入方案在2人语音的等错误率方面相对于基线系统分别实现了76.0%和55.3%的相对改进，而tSV对于单说话人语音的性能与传统说话人验证系统的性能相当，即在相同的单说话人条件下进行训练和评估。
2021-04-02 cs.HC cs.SD eess.AS
NeuroHeed+: Improving Neuro-steered Speaker Extraction with Joint Auditory Attention Detection
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室（MERL））
针对神经引导说话人提取中说话人混淆错误高的问题，提出结合联合微调辅助听觉注意检测模型的NeuroHeed+方法，增强提取语音与EEG表征一致性并优化EEG表征，在双说话人场景下性能显著优于基线。
2023-12-12 cs.SD eess.AS
Decoding Envelope and Frequency-Following EEG Responses to Continuous Speech Using Deep Neural Networks
Imperial College London（帝国理工学院）；Friedrich-Alexander-University Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）
本研究全面记录了为ICASSP SPGC开发的深度神经网络EEG语音匹配解码器，探究说话人特征对性能的影响，验证了其准确鲁棒的分类效果与跨数据集泛化能力，且可直接用作听觉注意力解码器。
2023-12-15 cs.SD eess.AS
Papez: Resource-Efficient Speech Separation with Auditory Working Memory
Seoul National University（首尔大学）
Papez通过听觉工作记忆、自适应令牌剪枝和循环Transformer三项技术，构建了轻量高效的单通道语音分离模型，在资源与精度权衡上显著优于现有方法。
2024-07-01 cs.CL cs.LG cs.SD
MetaSICL: Globalizing Auditory LLMs for Underserved Speakers and Languages via Meta Speech In-Context Learning
University of Illinois Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）；Tsinghua University（清华大学）
提出MetaSICL方法，利用高资源语音数据通过元学习增强听觉大语言模型的上下文学习能力，在低资源场景下优于直接微调。
2026-08-25 cs.AI cs.CL cs.SD
Reconstructing Speech Stimuli From Human Auditory Cortex Activity Using a WaveNet Approach
Tandon School of Engineering, New York University（纽约大学坦登工程学院）；Langone School of Medicine, New York University（纽约大学朗格尼医学院）
大脑皮层的颞上回（STG）区域对语音识别起着关键作用。在这项工作中，我们表明，一个拟议的WaveNet，有限的可用数据，是能够重建语音刺激从STG颅内录音。我们进一步研究了每个记录电极的拟合模型的脉冲响应，并观察了皮层记录区域的音素水平时间谱调谐特性。这一发现与先前的研究一致，该研究暗示了语音的语音表示中的后STG（pSTG），并且提供了在语音识别期间某些电极部位可能提取的详细声学特征。
2018-11-08 cs.LG cs.SD eess.AS
Controllable joint noise reduction and hearing loss compensation using a differentiable auditory model
Department of Health Technology（健康技术系）；Technical University of Denmark（丹麦技术大学）
本研究将降噪与听力损失补偿构建为多任务学习问题，利用可微听觉模型同时预测去噪和补偿信号，实现与单独训练系统相当的客观性能，并支持推理时动态调整任务平衡。
2025-08-16 cs.SD eess.AS
From Spikes to Speech: NeuroVoc -- A Biologically Plausible Vocoder Framework for Auditory Perception and Cochlear Implant Simulation
Leiden Institute of Advanced Computer Science（莱顿高级计算机科学研究所）；Department of Otorhinolaryngology（耳鼻喉科部门）；Leiden Institute for Brain and Cognition（莱顿脑认知研究所）；Bioelectronics group, EEMCS（生物电子组，EEMCS）
NeuroVoc 是一个模块化、与模型无关的声码器框架，通过逆傅里叶变换从模拟神经活动重建语音，支持正常听力与电听力模型对比，并能准确反映人工耳蜗使用者在噪声中的语音感知下降。
2025-06-04 cs.SD eess.AS q-bio.NC
Jointly Learning Visual and Auditory Speech Representations from Raw Data
Imperial College London（帝国理工学院）；Meta AI
提出自监督多模态方法 RAVEn，通过非对称预训练任务联合学习视觉与听觉语音表征，在 LRS3 基准的视觉和听觉语音识别低资源设置下达到 SOTA，证明完全从原始数据学习强大语音表征的可行性。
2023-04-04 cs.CV cs.LG cs.SD
Audio-Visual Target Speaker Extraction with Reverse Selective Auditory Attention
National University of Singapore（新加坡国立大学）；University of Science and Technology Beijing（北京科技大学）；The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））；Shenzhen Research Institute of Big data（深圳大数据研究院）；University of Bremen（不来梅大学）
本文提出一种新颖的选择性听觉注意力机制，通过估计并利用不期望的含噪信号设计SEANet框架，有效抑制干扰说话人和非语音信号，在五个数据集上取得最先进的音视频目标说话人提取性能。
2025-03-03 cs.SD eess.AS
MAESTRO: a Multimodal Auditory-attention Egocentric Speech-TRacking Open corpus
The Ohio State University（俄亥俄州立大学）
本文提出MAESTRO，首个同时记录EEG、眼动、瞳孔、自我中心视频和头部IMU的多模态听觉注意解码数据集，通过四说话者基准证明融合行为与生理信号优于纯EEG方法。
2026-09-29 cs.HC cs.LG cs.SD
Spiking-LEAF: A Learnable Auditory front-end for Spiking Neural Networks
The Hong Kong Polytechnic University（香港理工大学）；National University of Singapore（新加坡国立大学）
提出专为脉冲神经网络设计的可学习听觉前端Spiking-LEAF，结合可学习滤波器组与新型双区室IHC-LIF神经元，有效捕捉语音多尺度时间动态并提升脉冲编码效率，在分类准确率、噪声鲁棒性和编码效率上均超越现有方法。
2024-03-23 cs.NE cs.SD eess.AS
Scaling Auditory Cognition via Test-Time Compute in Audio Language Models
School of Computing and Information Systems, The University of Melbourne（墨尔本大学计算与信息系统学院）；University of Cambridge（剑桥大学）
本研究探索了Audio LLMs在现实复杂环境下的听觉认知能力，并针对训练数据不足的问题，提出了五种测试时计算（TTC）方法在推理阶段显著增强其听觉认知表现。
2025-03-30 cs.AI cs.SD eess.AS
Auditory Attention Decoding without Spatial Information: A Diotic EEG Study
Department of Electronic and Information Engineering, School of Engineering, The University of Osaka, Suita, Japan（大阪大学工学部电子信息工学科）；Graduate School of Engineering, The University of Osaka, Suita, Japan（大阪大学工学研究院）
本文提出了一种无需空间信息的听觉注意力解码框架，通过双耳EEG和语音信号共享潜在空间，实现72.70%的高准确率，优于现有方向基方法。
2026-01-23 cs.HC cs.SD eess.AS
Joint Estimation of Reverberation Time and Direct-to-Reverberation Ratio from Speech using Auditory-Inspired Features
Fraunhofer Institute for Digital Media Technology IDMT（弗劳恩霍夫数字媒体技术研究所（IDMT））；Carl von Ossietzky University Oldenburg（奥尔登堡卡尔·冯·奥西茨基大学）
混响时间$T_\mathrm{60}$和直达混响比（$\mathrm{DRR}$）等声学房间参数的盲估计仍然是一项具有挑战性的任务，尤其是在混响语音信号的盲估计的情况下。在这项工作中，提出了一种新的方法联合估计的$T_\mathrm{60}$和$\mathrm{DRR}$从宽带语音在噪声条件下。布置在滤波器组中的2D Gabor滤波器用于提取特征，然后将其用作多层感知器（MLP）的输入。MLP输出神经元对应于特定的$(T_\mathrm{60}, \mathrm{DRR})$估计对;输出随时间积分，并且一个简单的决策规则导致我们的估计。该方法适用于单麦克风全频带语音信号提供的声学表征环境（ACE）的挑战。我们的方法优于基线系统，$T_\mathrm{60}$和$\mathrm{DRR}$估计值的中值误差分别接近于零和-1.5 dB，而估计值的计算速度是基线的5.8倍。
2015-10-15 cs.SD
Improving auditory attention decoding performance of linear and non-linear methods using state-space model
University of Oldenburg（奥尔登堡大学）
识别助听器应用中的目标说话人对于提高语音理解至关重要。近年来，脑电（EEG）的研究表明，利用听觉注意解码（AAD）方法可以从单次EEG记录中识别出目标说话人。AAD方法基于线性最小二乘代价函数或非线性神经网络从EEG记录中重构出被关注的语音包络，然后直接将重构的包络与说话人的语音包络进行比较，以使用Pearson相关系数来识别被关注的说话人。由于这些相关系数是高度波动的，为了可靠的解码，使用大的相关窗口，这导致大的处理延迟。在本文中，我们研究了一个状态空间模型，使用相关系数与一个小的相关窗口，以提高解码性能的线性和非线性AAD方法。实验结果表明，状态空间模型显著提高了译码性能。
2020-04-02 cs.LG cs.SD eess.AS
An Audio-Visual Speech Separation Model Inspired by Cortico-Thalamo-Cortical Circuits
Tsinghua University（清华大学）；Chinese Institute for Brain Research (CIBR)（中国脑科学研究所）
受皮层-丘脑-皮层回路启发，提出新型CTCNet模型用于视听语音分离，通过自下而上学习与自上而下融合机制模拟大脑解剖连接组，在三个基准数据集上以更少参数显著优于现有方法。
2024-03-22 cs.CV cs.SD
A multi-scenario EEG dataset for auditory attention decoding in naturalistic multi-talker environments
The Hong Kong Polytechnic University（香港理工大学）
该研究提出SoundBubble-EEG多场景脑电数据集，包含128通道、30人、超25小时记录，用于在自然多说话人环境中解码听觉注意，支持神经助听技术发展。
2026-10-08 cs.SD
Performance Modeling for Correlation-based Neural Decoding of Auditory Attention to Speech
KU Leuven institute for AI（KU莱顿人工智能研究所）；KU Leuven（KU莱顿大学）
本研究提出一种仅用单个决策窗口长度的带标记相关性即可建模AAD时间分辨率与准确率权衡曲线的方法，经两种解码器在不同数据集验证，误差约2个百分点，可提升神经调控听力设备等应用的效率。
2025-06-16 cs.SD eess.AS eess.SP
FSA-GRPO: Teaching Auditory LLMs to Use Few-Shot Demonstrations
University of Illinois Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）；Tsinghua University（清华大学）
提出基于强化学习的后训练方法FSA-GRPO，通过专门设计的奖励机制鼓励模型利用少样本示例，增强其少样本适应能力，在儿童语音识别、语音翻译和音频理解等任务上取得提升。
2026-09-01 cs.AI cs.SD eess.AS
From Sounds to Scenes: A Benchmark for Evaluating Context-Aware Auditory Scene Understanding in Large Audio Language Models
University of California Irvine（加州大学尔湾分校）；University of Illinois Chicago（伊利诺伊大学芝加哥分校）；Kennesaw State University（肯尼索州立大学）
提出CASU基准，通过构建半合成音频流和设计四项任务，评估大型音频语言模型整合语音、事件和背景环境进行上下文感知听觉场景理解的能力。
2026-06-25 cs.AI cs.MM cs.SD
Neural Text to Articulate Talk: Deep Text to Audiovisual Speech Synthesis achieving both Auditory and Photo-realism
National Technical University of Athens（雅典国家技术大学）；Athena Research Center（雅典娜研究中心）；Foundation for Research & Technology - Hellas (FORTH)（希腊研究与技术基金会（FORTH））
本文提出 NEUTART，一种基于 Transformer 的非级联文本驱动视听语音合成框架，通过联合视听特征空间、语音引导三维面部重建和唇读损失，生成照片级逼真且音画同步的说话人脸视频。
2023-12-11 cs.CV cs.SD eess.AS
Human-Inspired Computing for Robust and Efficient Audio-Visual Speech Recognition
本文提出受人类启发的脉冲神经网络HI-AVSNN用于音视频语音识别，通过视觉提示听觉注意力、因果处理与事件相机脉冲活动，在DVS-Lip数据集上比现有SNN方法准确率提升2.27%。
2025-08-27 cs.MM cs.SD eess.AS
Extracting the Auditory Attention in a Dual-Speaker Scenario from EEG using a Joint CNN-LSTM Model
WS Audiology
在多说话人的情况下，人脑在分离特定说话人与干扰说话人方面表现得非常好。最近已经表明，我们可以定量评估的分离能力，通过建模的语音信号之间的关系存在于一个听觉场景和使用脑电图（EEG）测量的听者的皮层信号。这开辟了将神经反馈集成到助听器中的途径，从而该设备可以推断用户的注意力并增强参加的扬声器。用于推断听觉注意的常用算法是基于线性系统理论，其中语音线索（诸如包络）被映射到EEG信号上。在这里，我们提出了一个联合卷积神经网络（CNN）-长短期记忆（LSTM）模型来推断听觉注意。我们的联合CNN-LSTM模型将多个说话者的EEG信号和频谱图作为输入，并将注意力分类到其中一个说话者。我们评估了我们的神经网络的可靠性，使用三个不同的数据集，包括61名受试者，每个受试者进行了双扬声器实验。分析的三个数据集对应于以三种不同语言呈现的语音刺激，即德语、丹麦语和荷兰语。使用提出的联合CNN-LSTM模型，我们在三秒的试验持续时间内获得了77.2%的中值解码准确率。此外，我们通过幅度修剪评估了我们的模型可以容忍的稀疏度，发现该模型可以容忍高达50%的稀疏度，而不会大幅降低解码精度。
2021-07-09 cs.AI cs.LG cs.SD
Effect of acoustic scene complexity and visual scene representation on auditory perception in virtual audio-visual environments
在日常生活中，社会交往和声学交流经常发生在复杂的声学环境中，其中存在各种干扰声和混响。对于听力研究和听力系统的评估，使用虚拟现实技术的模拟CAE在生态有效性的背景下获得了兴趣。在目前的研究中，场景的复杂性和视觉表示的场景上的心理声学措施，如声源位置，距离感知，响度，语音清晰度，并在虚拟视听环境中的听力努力的影响进行了研究。使用三维86通道扬声器阵列来呈现声场，结合或不结合头戴式显示器（HMD）来创建场景的沉浸式立体视觉表示。该场景由八个（虚拟）扬声器组成的一个环，在几个空间条件下播放目标语音刺激和无意义语音播放器。无论是无回声（下雪的户外风景）或回声环境（阁楼公寓）的混响时间（T60）约为1.5秒的模拟。除了不同数量的干扰者，场景的复杂性是不同的，通过评估的心理声学措施，在孤立的连续测量或同时。结果显示佩戴HMD对数据没有显著影响。响度和距离知觉表现出显着不同的结果时，他们被同时测量，而不是连续孤立。所建议的设置的优点在于，它可以直接转移到相应的真实房间，从而能够在真实和虚拟环境中对感知实验进行1：1的比较和验证。
2021-11-07 cs.SD eess.AS
A contrastive-learning approach for auditory attention detection
The Ohio State University（俄亥俄州立大学）
针对 EEG 听觉注意检测中数据有限和分布偏移问题，提出通过自监督对比学习对齐被注意语音与 EEG 表示并微调分类，在验证集达到 SOTA。
2024-10-24 cs.LG cs.SD eess.AS
AADNet: An End-to-End Deep Learning Model for Auditory Attention Decoding
Center for Ear-EEG, Department of Electrical and Computer Engineering, Aarhus University（耳电中心，电气与计算机工程系，奥胡斯大学）；Meta Reality Labs（Meta现实实验室）；Department of Electrical Engineering (ESAT), Stadius Center for Dynamical Systems, Signal Processing and Data Analytics, KU Leuven and Leuven.AI - KU Leuven institute for AI（电气工程系（ESAT），动态系统、信号处理与数据分析中心，根特大学及Leuven.AI - 根特大学人工智能研究所）；Department of Neurosciences, Research Group ExpORL, Herestraat 49 box 721, B-3000 Leuven, Belgium（神经科学系，ExpORL研究组，Belgium Leuven）
本文提出端到端深度学习模型 AADNet，将语音包络预测与相关性识别整合为直接解码方法，在多个数据集上显著提升听觉注意力解码准确率，尤其改善了跨受试者泛化能力。
2025-07-06 cs.SD eess.AS eess.SP
An Adaptive Psychoacoustic Model for Automatic Speech Recognition
University of Western Ontario（西安大略大学）；Pulse Infoframe Inc.（Pulse Infoframe 公司）；Toronto Rehabilitation Institute - UHN（多伦多康复研究所 - 大学健康网络）；Nanyang Technological University（南洋理工大学）
与自动语音识别（ASR）相比，人类听觉系统更善于处理噪声不利的情况，包括环境噪声和信道失真。为了模仿这种熟练，听觉模型已被广泛纳入ASR系统，以提高其鲁棒性。本文提出了一种新的听觉模型，将心理声学和耳声发射（OAEs）到ASR。特别是，我们成功地实现了心理声学模型的频率依赖性，并有效地提高了系统的性能。我们还提出了一种新的双变换频谱分析技术，它可以定性地预测ASR性能的不同类型的噪声。详细的理论分析证明了该算法的有效性。在AURORA2数据库上进行的实验表明，使用我们提出的特征提取方法的单词识别率显着提高了基线。给定使用干净语音训练的模型，我们提出的方法在噪声数据上实现了高达85.39%的单词识别准确率。
2016-09-14 cs.CL cs.SD
Artificial Neural Networks Trained on Noisy Speech Exhibit the McGurk Effect
本研究通过测试视听不一致词汇发现，仅在一致语音上训练的人工神经网络也会出现麦格克效应，含噪训练可增强该效应但极端噪声会阻碍整合，证明人工神经网络可作为感知认知研究的模型。
2025-10-29 cs.MM cs.NE cs.SD
LocSelect: Target Speaker Localization with an Auditory Selective Hearing Mechanism
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
本文提出一种基于听觉选择性机制的目标说话人定位算法LocSelect，通过生成说话人依赖的频谱图掩码消除干扰并利用LSTM提取目标位置，在低信噪比下显著提升了定位精度。
2023-10-17 cs.AI cs.SD eess.AS
Single-word Auditory Attention Decoding Using Deep Learning Model
Aarhus University（奥胡斯大学）；Amazon（亚马逊公司）
针对单词级听觉注意解码，本文提出基于EEGNet的深度学习模型，利用内源性认知诱发的时空EEG特征，在三种范式下完成被试无关评估并取得至少58%准确率。
2024-10-15 cs.AI cs.HC cs.SD
Improved Decoding of Attentional Selection in Multi-Talker Environments with Self-Supervised Learned Speech Representation
Columbia University（哥伦比亚大学）
听觉注意解码（AAD）是一种用于在噪声环境中识别和放大听者所关注的说话者的技术。这是通过将听者的脑电波与所有声源的表示进行比较来找到最接近的匹配来完成的。该表示通常是声音的波形或声谱图。这些陈述对AAD的有效性是不确定的。在这项研究中，我们研究了使用自我监督学习的语音表示在提高AAD的准确性和速度。我们使用侵入性皮层电图（ECoG）记录了三名受试者的大脑活动，因为他们听了两个对话，并专注于一个。我们使用WavLM来提取每个说话者的潜在表示，并训练时空过滤器将大脑活动映射到语音的中间表示。在评估期间，将重构的表示与每个说话者的表示进行比较以确定目标说话者。我们的研究结果表明，语音表示从WavLM提供更好的解码精度和速度比语音包络和频谱图。我们的研究结果证明了自我监督学习语音表示的优势，听觉注意解码和开发脑控听觉技术铺平了道路。
2023-02-11 cs.SD eess.AS eess.SP
Modulation spectral features for speech emotion recognition using deep neural networks
Indian Institute of Technology（印度理工学院）；Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）
研究了基于恒Q变换的调制谱特征（CQT-MSF）在语音情感识别中的应用。人类对声音的感知和分析包括两个重要的认知部分：早期听觉分析和基于皮层的处理。早期的听觉分析考虑基于频谱图的表示，而基于皮层的分析包括从频谱图中提取时间调制。这种频谱图的时间调制表示称为调制谱特征（MSF）。由于恒定Q变换（CQT）在语音的情感显著低频区域提供了更高的分辨率，我们发现基于CQT的谱图，连同其时间调制，提供了一个表示丰富的情感特定的信息。我们认为，CQT-MSF与2维卷积网络一起使用时，可以提供一个时移不变和变形不敏感的表示SER。我们的研究结果表明，CQT-MSF优于标准的梅尔尺度为基础的频谱图和调制功能的两个流行的SER数据库，柏林ECORDB和RAVDESS。我们还表明，我们提出的功能优于移位和变形不变的散射变换系数，因此，显示联合手工制作和自学的特征提取，而不是依赖于完整的手工制作的功能的重要性。最后，我们进行梯度CAM分析，直观地检查恒定Q调制功能的贡献超过SER。
2023-01-14 cs.SD eess.AS
Development of the Listening in Spatialized Noise-Sentences (LiSN-S) Test in Brazilian Portuguese: Presentation Software, Speech Stimuli, and Sentence Equivalence
University of Campinas（坎皮纳斯大学）；Pontifical Catholic University of Campinas（坎皮纳斯天主教大学）；Macquarie University（麦考瑞大学）
本文开发巴西葡萄牙语版 LiSN-S，构建专业语音库与呈现软件，并基于35名成人和24名儿童的听辨数据筛选、校准120个等价句子。
2024-09-06 cs.SD eess.AS
Study of speaker localization with binaural microphone array incorporating auditory filters and lateral angle estimation
Ben Gurion University of the Negev（内盖夫本-古里安大学）；The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
本文针对双耳麦克风阵列说话人定位，提出用听觉滤波器组替代STFT，并设计基于变换HRTF的DOA搜索，仿真与实验验证其优于现有方法。
2023-10-31 cs.SD eess.AS
Auditory System for a Mobile Robot
Faculté de génie（工程学院）
在这篇论文中，我们提出了一个人工听觉系统，使机器人能够定位和跟踪声音，以及分离同步声源和识别同步语音。我们证明，这是可能的，以实现这些功能，使用麦克风阵列，而不试图模仿人类的听觉系统。声源定位和跟踪算法使用转向波束形成器来定位源，然后使用多源粒子滤波器来跟踪源。同时声源的分离是通过几何声源分离（GSS）算法的一种变体实现的，结合了多源后置滤波器，进一步降低了噪声、干扰和混响。语音识别是在分离的源上执行的，或者直接执行，或者通过使用缺失特征理论（MFT）来估计语音特征的可靠性。结果表明，即使在嘈杂和混响的环境中，也可以同时跟踪多达四个声源。还演示了机器人的实时控制的声源。我们提出的声音声源分离的方法是能够实现一个13.7 dB的改善信噪比相比，一个单一的麦克风时，三个扬声器。在这些条件下，该系统在数字识别上表现出超过80%的准确率，高于大多数人类听众在我们的小型案例研究中仅识别其中一个来源时所能获得的准确率。所有这些新功能将使人类在现实生活中与移动机器人进行更自然的互动。
2016-02-22 cs.RO cs.SD
Improved Feature Extraction Network for Neuro-Oriented Target Speaker Extraction
School of Computer Science and Technology, Anhui University（安徽大学计算机科学与技术学院）；National University of Singapore（新加坡国立大学）；University of Science and Technology of China (USTC)（中国科学技术大学）
本文提出IFENet，通过双路径Mamba语音编码器和KAN脑电编码器提取特征，利用EEG注意力信息定位目标说话人，在KUL和AVED数据集上取得显著性能提升。
2025-01-03 cs.SD eess.AS
Event Based Time-Vectors for auditory features extraction: a neuromorphic approach for low power audio recognition
University of Pittsburgh（匹兹堡大学）；Carnegie Mellon University（卡内基梅隆大学）；Universidad de Sevilla（塞维利亚大学）
近年来，已经做出了巨大的努力来推进自然语言处理（NLP）和音频识别的技术状态。然而，这些努力往往转化为更大和更复杂的模型的功耗和内存需求增加。这些解决方案不符合物联网设备的限制，物联网设备需要低功耗、低内存效率的计算，因此无法满足高效边缘计算日益增长的需求。神经形态系统已被证明是低功耗低延迟计算在众多的应用程序的优秀候选人。出于这个原因，我们提出了一个神经形态架构，能够无监督的听觉特征识别。然后，我们在Google的Speech Commands数据集的一个子集上验证网络。
2021-12-13 cs.CL cs.SD eess.AS
A Convolutional Framework for Mapping Imagined Auditory MEG into Listened Brain Responses
Electrical and Computer Engineering Department, University of Maryland, College Park, MD（大学电气与计算机工程系，马里兰州大学，College Park）
本文提出了一种基于卷积的框架，将想象的听觉MEG信号映射到听觉脑响应，通过群体层面的编码器-解码器网络实现了稳定的泛化性能。
2025-12-03 cs.LG cs.SD eess.AS
MindVoice: Reconstructing Intelligible Speech from Non-invasive Neural Signals with Pretrained Priors
Fudan University（复旦大学）
提出MindVoice框架，通过解耦语义和声学路径并融合预训练生成模型与语音克隆，从EEG/MEG信号中重建出可理解语音，显著优于现有方法。
2026-05-29 cs.AI cs.SD
