Jointly Tracking and Separating Speech Sources Using Multiple Features and the generalized labeled multi-Bernoulli Framework
Curtin University(科廷大学)
提出了一种基于广义标记多伯努利(GLMB)多目标跟踪滤波器的多说话人联合跟踪分离方法。标准的多说话人跟踪算法通常只跟踪说话人的位置,当说话人在空间上接近时会出现模糊。该多特征GLMB跟踪滤波器将说话人特征(位置、音高和声音)向量集作为多目标多特征观测,利用相应的过渡模型和整体似然函数表征过渡特征,从而联合跟踪和分离多特征说话人,解决了空间模糊问题。仿真结果表明,该方法能够正确跟踪多个说话人的位置,同时实现语音信号的分离。
2018-04-16 cs.SD eess.AS
Backend Ensemble for Speaker Verification and Spoofing Countermeasure
Northwestern Polytechnical University(西北工业大学)
本文介绍了NPU系统提交给欺骗感知扬声器验证挑战赛2022。重点从三个方面研究了用于说话人确认和欺骗对抗的\textit{backend ensemble}。首先,除了简单的拼接,我们提出了循环矩阵变换和堆叠的扬声器嵌入和对策嵌入。通过新定义的循环嵌入的叠加操作,我们几乎探索了说话人嵌入和对策嵌入之间所有可能的相互作用。其次,我们尝试不同的卷积神经网络选择性地融合嵌入的显着区域到卷积核通道。最后,我们在一维卷积神经网络中设计了并行注意力,以学习通道维度中的全局相关性以及学习特征维度中的重要部分。同时,我们在二维卷积神经网络中嵌入挤压-激发注意,以学习说话人嵌入和对策嵌入之间的全局依赖性。实验结果表明,上述方法都是有效的.经过上述方法增强的四个训练好的模型融合后,在评价集上获得的最佳SASV EER、SPF EER和SV EER分别为0. 559%、0. 354%和0. 857%。加上上述贡献,我们的提交系统在这项挑战中获得了第五名。
2022-09-23 cs.SD eess.AS
Speaker Selective Beamformer with Keyword Mask Estimation
Yahoo Japan Corporation(雅虎日本公司)
研究背景语音中目标说话人的自动语音识别问题。我们方法的新颖之处在于,我们专注于唤醒关键字,该关键字通常用于激活智能扬声器等ASR系统。该方法首先利用基于DNN的掩码估计器将混合信号分离为目标说话人发出的关键字信号和剩余的背景语音。然后,分离的信号用于计算波束形成滤波器,以增强来自目标说话人的后续话语。实验结果表明,训练后的基于DNN的掩模可以选择性地从混合信号中分离出关键词和背景语音。日本ASR实验也验证了所提出的方法的有效性,我们证实,字符错误率显着改善所提出的方法的模拟和真实记录的测试集。
2018-11-07 cs.LG cs.SD eess.AS
Using Ear-EEG to Decode Auditory Attention in Multiple-speaker Environment
Peking University(北京大学)
本研究针对现有听觉注意解码研究场景脱离实际的问题,基于耳戴式EEG在四说话人场景下开展解码实验,验证了不同方法的性能,探究了电极参数的影响,并公开了代码与数据集。
2024-09-13 cs.SD eess.AS eess.SP
SpEx: Multi-Scale Time Domain Speaker Extraction Network
Nanyang Technological University(南洋理工大学);National University of Singapore(新加坡国立大学);University of Bremen(不来梅大学);Kriston AI Lab(Kriston AI实验室)
说话人提取的目的是模仿人类的选择性听觉注意,从多说话人环境中提取目标说话人的声音。通常在频域中进行提取,并从提取的幅度谱和估计的相位谱重建时域信号。然而,这种方法受到相位估计的固有困难的不利影响。受Conv-TasNet的启发,我们提出了一种时域说话人提取网络(SpEx),它将混合语音转换为多尺度嵌入系数,而不是将语音信号分解为幅度和相位谱。通过这种方式,我们避免了相位估计。SpEx网络由四个网络组件组成,即扬声器编码器、语音编码器、扬声器提取器和语音解码器。具体地说,语音编码器将混合语音转换成多尺度嵌入系数,说话人编码器学习用说话人嵌入来表示目标说话人。说话人提取器将多尺度嵌入系数和目标说话人嵌入作为输入,并估计接收掩码。最后,语音解码器从掩蔽的嵌入系数重构目标说话人的语音。我们还提出了一个多任务学习框架和多尺度嵌入实现。实验结果表明,在开放评价条件下,该算法在信失真比(SDR)、尺度不变SDR(SI-SDR)和语音质量感知评价(PESQ)方面比最佳基线分别提高了37.3%、37.7%和15.0%.
2020-04-17 cs.CL cs.SD eess.AS
Continuous Speech Separation with Recurrent Selective Attention Network
Microsoft(微软)
虽然基于排列不变训练(PIT)的连续语音分离(CSS)显著提高了会话转录的准确性,但由于其具有固定数量的输出通道,因此其经常遭受语音泄漏和在“热点”区域分离失败。在本文中,我们提出了适用于循环选择性注意网络(RSAN)的CSS,它产生一个可变数量的输出通道的基础上积极发言人计数。此外,我们提出了一种新的块式依赖扩展的RSAN通过在CSS框架中相邻的处理块之间引入依赖关系。它使网络能够利用先前块的分离结果来促进当前块的处理。LibriCSS数据集上的实验结果表明,基于RSAN的CSS(RSAN-CSS)网络一致地提高了基于PIT的模型的语音识别准确性。所提出的分块依赖建模进一步提高了RSAN-CSS的性能。
2021-10-28 cs.SD eess.AS
RSKNet-MTSP: Effective and Portable Deep Architecture for Speaker Verification
College of Artificial Intelligence, Nankai University(南开大学人工智能学院);College of Computer Science, Nankai University(南开大学计算机学院)
基于卷积神经网络(CNN)的方法在说话人验证(SV)任务中取得了巨大的成功,其中建模长时间上下文和减少说话人特征的信息丢失是显著影响验证性能的两个重要挑战。以前的工作已经引入了扩张卷积和多尺度聚合方法来解决上述挑战。但是,这些方法也难以充分利用一些有价值的信息,使得验证性能难以得到实质性的提高。为了解决上述问题,我们构建了一种新的基于CNN的SV架构,称为RSKNet-MTSP,其中首先提出了一个残差选择性内核块(RSKBlock)和多时间尺度统计池(MTSP)模块。RSKNet-MTSP能够同时捕获长时间上下文和相邻信息,并从多尺度特征中收集更多的说话人区分信息。为了设计一个可移植的模型,真正的应用程序与有限的资源,然后,我们提出了一个轻量级版本的RSKNet-MTSP,即RSKNet-MTSP-L,它采用了组合技术相关联的dependency可分离卷积与低秩分解的权重矩阵。在两个公共SV数据集VoxCeleb和Speaker in the Wild(SITW)上进行了大量的实验。结果表明:1)RSKNet-MTSP在所有测试集中的性能至少优于最先进的深度嵌入架构9%-26%。2)与基线模型相比,RSKNet-MTSP-L实现了具有竞争力的性能,网络参数减少了17%-39%。烧蚀实验进一步表明,我们提出的方法可以实现显着的改善比以前的方法。
2021-08-30 cs.SD eess.AS
NeXt-TDNN: Modernizing Multi-Scale Temporal Convolution Backbone for Speaker Verification
Sogang University(西江大学);Hyundai Motor Company(现代汽车公司)
本文提出NeXt-TDNN,通过引入改进的TDNN块设计,利用ConvNeXt结构提升语音验证性能,减少参数量和推理时间。
2023-12-15 cs.SD eess.AS
Cocktail-Talker: Multi-Speaker Dialog Modeling in Noisy Social Environments with Turn Action GRPO
本文提出Cocktail-Talker框架,结合Turn Action GRPO,通过动作令牌建模助手行为,利用Cocktail-DialogGen生成数据,实现嘈杂社交环境下的多说话人口语对话建模,推动更自然的对话系统发展。
2026-07-31 cs.CL cs.MM cs.SD
Steering Deep Non-Linear Spatially Selective Filters for Weakly Guided Extraction of Moving Speakers in Dynamic Scenarios
University of Hamburg(汉堡大学)
针对动态场景中移动说话人提取因空间特征时变、存在歧义且手动追踪不现实的问题,提出仅依赖目标初始位置的弱引导提取方法,结合自研深度追踪算法与合成数据集联合训练,性能优于不匹配场景的强引导方法。
2025-05-20 cs.LG cs.SD eess.AS
Autoregressive Guidance of Deep Spatially Selective Filters using Bayesian Tracking for Efficient Extraction of Moving Speakers
本文提出基于贝叶斯跟踪的自回归引导方法,用于高效提取移动说话人,通过轻量级跟踪算法和自回归引导深度空间滤波器,提升语音增强性能。
2026-09-10 cs.LG cs.SD eess.AS
Self-Steering Deep Non-Linear Spatially Selective Filters for Efficient Extraction of Moving Speakers under Weak Guidance
University of Hamburg, Germany(汉堡大学)
本文提出用低复杂度粒子滤波器结合时间反馈的自转向深度空间选择性滤波器,在弱引导下高效跟踪并增强移动说话人语音,实验证明其跟踪精度和增强性能均显著提升。
2025-07-05 cs.LG cs.SD eess.AS
NEC: Speaker Selective Cancellation via Neural Enhanced Ultrasound Shadowing
Michigan State University(密歇根州立大学)
在本文中,我们提出了NEC(神经增强消除),一种防御机制,它可以防止未经授权的麦克风捕获目标扬声器的声音。与现有的基于加扰的音频消除方法相比,NEC可以选择性地从混合语音中去除目标说话人的语音,而不会对其他人造成干扰。具体来说,对于目标说话人,我们设计了一个深度神经网络(DNN)模型,从他/她的参考音频中提取高层次的说话人特定但与话语无关的语音特征。当麦克风正在录制时,DNN会生成阴影声音以实时消除目标语音。此外,我们将可听到的阴影声音调制到超声频率上,使其对人类不可闻。通过利用麦克风电路的非线性,麦克风可以准确地解码阴影声音以用于目标语音消除。我们在不同的设置中使用8个智能手机麦克风全面实施和评估NEC。结果表明,NEC有效地静音目标扬声器在麦克风,而不干扰其他用户的正常对话。
2022-07-12 cs.SD eess.AS
LocSelect: Target Speaker Localization with an Auditory Selective Hearing Mechanism
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
本文提出一种基于听觉选择性机制的目标说话人定位算法LocSelect,通过生成说话人依赖的频谱图掩码消除干扰并利用LSTM提取目标位置,在低信噪比下显著提升了定位精度。
2023-10-17 cs.AI cs.SD eess.AS
Target Speaker Identification: A Low-Latency Streaming Pipeline
Arizona State University(亚利桑那州立大学)
针对助听器低延迟需求,提出含流式说话人分割与验证的两步法管道,经多工具基准测试与参数优化,17个评估片段中中位数准确率超0.90,为低延迟选择性放大提供概念验证。
2026-08-19 cs.SD
SVLDL: Improved Speaker Age Estimation Using Selective Variance Label Distribution Learning
Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司)
从一个单一的讲话估计年龄是一个经典的和具有挑战性的话题。虽然标签分布学习(LDL)可以很好地表示相邻的不可区分的年龄,但是每个话语的年龄估计的不确定性因人而异,即,年龄分布的方差不同。为了解决这个问题,我们提出了选择性方差标签分布学习(SVLDL)方法,以适应不同年龄分布的方差。此外,该模型使用WavLM作为语音特征提取器,并增加了性别识别的辅助任务,以进一步提高性能。在损失函数上应用了两种技巧来增强年龄估计的鲁棒性和改善拟合的年龄分布的质量。大量的实验表明,该模型在NIST SRE 08 -10和真实世界数据集的各个方面都达到了最先进的性能。
2022-11-16 cs.LG cs.SD eess.AS
Audio-to-Image Encoding for Improved Voice Characteristic Detection Using Deep Convolutional Neural Networks
本文提出一种音频到图像编码框架,将原始音频、统计描述符和空间化特征分别编码到RGB三通道,并利用深度卷积神经网络实现98%的说话人分类准确率。
2025-03-07 cs.AI cs.SD eess.AS
TFGA-Net: Temporal-Frequency Graph Attention Network for Brain-Controlled Speaker Extraction
College of Electronic;Optical Engineering \& College of Flexible Electronics (Future Technology), Nanjing University of Posts
提出TFGA-Net模型,利用EEG信号通过多尺度时频特征、图卷积和自注意力机制提取目标语音,在公共数据集上优于现有方法。
2025-10-14 cs.AI cs.SD
Neural Speech Separation Using Spatially Distributed Microphones
Microsoft(微软)
本文提出了一种基于神经网络的空间分布麦克风语音分离方法。与传统的麦克风阵列设置不同,麦克风的数量及其空间布置都是事先已知的,这阻碍了基于固定大小输入的传统多通道语音分离神经网络的使用。为了克服这一点,提出了一种新的网络架构,交织通道间处理层和时间处理层。通道间处理层沿着通道维度应用自注意机制,以利用利用不同数量的麦克风获得的信息。时间处理层基于双向长短期记忆(BLSTM)模型,并独立应用于每个通道。所提出的网络通过交替堆叠这两种层来利用跨时间和空间的信息。我们的网络估计每个扬声器的时频(TF)掩码,然后使用TF掩码或波束成形来生成增强的语音信号。语音识别实验结果表明,该方法明显优于基线多通道语音分离系统。
2020-04-28 cs.CL cs.SD eess.AS
Selective HuBERT: Self-Supervised Pre-Training for Target Speaker in Clean and Mixture Speech
本文提出 Selective-HuBERT,借助目标说话人注册语音、双路径训练和互相关约束学习噪声不变的选择性语音表征,并在 SUPERB 与 LibriMix 上验证其通用性、鲁棒性及低资源价值。
2023-11-08 eess.AS
Selective Listening by Synchronizing Speech with Lips
一种说话者提取算法试图在给定表示目标说话者的线索(诸如预先登记的语音话语或伴随的视频轨道)时从多说话者语音混合物中提取目标说话者的语音。当预先登记的语音不可用时,视觉提示特别有用。在这项工作中,我们不依赖于目标说话人的预先登记的语音,而是使用目标说话人的面部轨迹作为说话人线索,即被称为辅助参考,形成一个吸引子朝向目标说话人。我们认为,语音和伴随的嘴唇运动之间的时间同步是一个直接的和占主导地位的视听线索。因此,我们提出了一种自我监督的预训练策略,利用语音唇同步线索进行目标说话人提取,这使我们能够利用丰富的未标记的域内数据。我们将知识从预训练的模型转移到说话人提取网络的吸引子编码器。我们表明,所提出的说话人提取网络在信号质量,感知质量和可懂度方面优于各种竞争基线,实现了最先进的性能。
2022-01-24 eess.AS
Flexible Multi-Channel Target Speaker Extraction Using Geometry-Conditioned Spatially Selective Non-linear Filters
Carl von Ossietzky Universität Oldenburg(奥尔登堡卡尔·冯·奥西茨基大学)
本文提出了一种基于几何条件的空间选择性非线性滤波器(GC-SSF),通过引入基于FiLM层的几何条件分支,结合方向到达(DOA)和麦克风位置的特征(DOA-MPE),以提高在不同麦克风几何配置下的适应性和空间选择性。
2026-05-18 eess.AS
Time-domain speaker extraction network
Nanyang Technological University(南洋理工大学);National University of Singapore(新加坡国立大学)
说话人提取是指从多说话人的语音中提取出目标说话人的声音。它模拟了人类的鸡尾酒会效应或选择性倾听能力。以往的工作主要是在频域进行说话人提取,然后用一定的相位近似进行信号重构。相位估计的不准确性是频域处理所固有的,影响了信号重构的质量。在本文中,我们提出了一个时域说话人提取网络(TseNet),不分解的语音信号的幅度和相位谱,因此,不需要相位估计。TseNet由一堆膨胀的dependency可分离卷积网络组成,这些网络通过可管理的参数数量捕获语音信号的长程依赖性。它还以来自目标说话人的参考语音为条件,该参考语音由说话人i向量表征,以执行对目标说话人的选择性收听。实验结果表明,在开放评价条件下,TseNet在信失真比(SDR)和语音质量感知评价(PESQ)方面比基线分别提高了16.3%和7.0%.
2020-04-29 cs.SD eess.AS
DNN driven Speaker Independent Audio-Visual Mask Estimation for Speech Separation
University of Stirling(斯特林大学);Aix Marseille Univ(艾克斯-马赛大学);CNRS(法国国家科学研究中心);University of Sheffield(谢菲尔德大学)
人类的听觉皮层擅长选择性地抑制背景噪音,以专注于目标说话者。已知大脑中的选择性注意过程是根据上下文利用可用的音频和视觉线索来更好地关注目标说话者,同时过滤掉其他噪音。在这项研究中,我们提出了一种新的基于深度神经网络(DNN)的视听(AV)掩模估计模型。所提出的AV掩模估计模型结合了音频和抗噪声视觉特征的时间动态,以改进掩模估计和语音分离。对于最佳AV特征提取和理想二进制掩码(IBM)估计,利用混合DNN架构来利用堆叠的长短期记忆(LSTM)和卷积LSTM网络的互补优势。在语音质量和可懂度方面的比较仿真结果表明,我们提出的AV掩模估计模型相比,音频和视觉掩模估计方法的扬声器相关和独立的情况下,显着的性能改善。
2018-07-31 cs.CV cs.LG cs.SD
Audio-Visual Speech Enhancement With Selective Off-Screen Speech Extraction
Waseda Research Institute for Science and Engineering(早稻田大学科学与工程研究院);School of Advanced Science and Engineering, Waseda University(早稻田大学高等科学与工程学院)
针对传统视听语音增强仅保留屏内语音的局限,提出融合屏内视觉线索与屏外声纹线索、结合时序注意力和静音训练策略的方法,可同时提取屏内和指定屏外说话人混合语音,性能与效率优于基线方法。
2023-06-10 cs.SD eess.AS
Frequency and Multi-Scale Selective Kernel Attention for Speaker Verification
Seoul National University(首尔国立大学);Naver Corporation(Naver公司)
大多数最新的说话人确认架构采用多尺度处理和频率通道注意机制。这些模型的卷积层通常具有固定的核大小,例如,3或5。在这项研究中,我们利用选择性核心注意力(SKA)机制进一步促进了这一研究。SKA机制允许每个卷积层以数据驱动的方式自适应地选择内核大小。它是基于一个注意机制,利用频率和信道域。我们首先将现有的SKA模块应用于我们的基线。然后,我们提出了两种SKA变体,其中第一种变体应用于ECAPA-TDNN模型的前面,另一种变体与Res2net骨干块相结合。通过大量的实验,我们证明了我们提出的两个SKA变体一致地提高了性能,并且在三种不同的评估协议上进行测试时是互补的。
2022-10-12 cs.AI eess.AS
Representation Selective Self-distillation and wav2vec 2.0 Feature Exploration for Spoof-aware Speaker Verification
文本到语音和语音转换的研究正在不断改进,以至于它们可以产生几乎与真正的人类语音无法区分的合成语音。在这方面,对抗合成语音攻击的自动说话人确认(ASV)系统的对策(CM)的重要性出现。尽管如此,大多数端到端欺骗检测网络都是黑箱系统,并且对于什么是查找工件的有效表示的答案仍然是模糊的。在本文中,我们研究的特征空间可以有效地表示合成文物使用wav2vec 2.0,并研究哪种架构可以有效地利用空间。我们的研究使我们能够分析哪些属性的语音信号是有利的CM系统。拟议的CM系统在ASVspoof 2019 LA评估集上实现了0.31%的等错误率(EER),用于欺骗检测任务。我们进一步提出了一个简单而有效的欺骗感知说话人验证(SASV)方法,它利用了我们的对策系统的解纠缠表示。使用SASV Challenge 2022数据库进行的评价显示SASV EER为1.08%。定量分析表明,使用wav2vec 2.0的探索特征空间的欺骗CM和SASV的优点。
2022-07-02 eess.AS
Spatially Aware Self-Supervised Models for Multi-Channel Neural Speaker Diarization
Brno University of Technology(布尔诺理工大学);University of Science and Technology of China(中国科学技术大学);Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室);NTT, Inc.(日本电信电话株式会社)
提出一种轻量级方法,通过插入通道通信模块使预训练WavLM具备空间感知能力,并利用空间注意力融合多通道嵌入,在多通道说话人日志中优于DOVER-Lap,适用于任意通道数和阵列拓扑。
2025-10-16 eess.AS
AvaTr: One-Shot Speaker Extraction with Transformers
Upload AI LLC(Upload AI 有限责任公司);Rice University(莱斯大学);Baylor College of Medicine(贝勒医学院)
为了提取目标说话人的声音时,与各种其他声音,如白噪声和环境噪声或干扰扬声器的声音混合,我们扩展了Transformer网络出席最相关的信息相对于目标说话人给出的特点,他或她的声音作为一种形式的上下文信息。这一观点在选择性注意理论中有一个自然的解释。具体来说,我们提出了两个模型,将语音特性在Transformer的基础上不同的见解的特征选择应该发生。这两种模型都具有出色的性能,在说话人提取任务上与已发表的最先进的模型相当或更好,包括分离训练期间未看到的新说话人的语音。
2021-05-03 cs.SD eess.AS
NeuroHeed: Neuro-Steered Speaker Extraction using EEG Signals
NeuroHeed利用脑电图信号建立神经吸引子,在鸡尾酒会场景中提取被注意的说话人语音,支持离线与在线实时推理,实验验证了高信号质量与可懂度。
2023-07-26 eess.AS
Spatially Selective Active Noise Control for Open-fitting Hearables with Acausal Optimization
本文提出将非因果相对脉冲响应纳入开放式可听设备空间选择性主动噪声控制优化,仿真表明其在语音失真、降噪和信噪比上均优于因果设计。
2025-05-15 cs.SD cs.SY eess.AS
The Spatial Selective Auditory Attention of Cochlear Implant Users in Different Conversational Sound Levels
University of Texas at Dallas(德克萨斯大学达拉斯分校);Tongmyong University(东明大学)
在多扬声器环境中,耳蜗植入(CI)用户在对话期间可以以与正常听力(NH)个体不同的方式关注目标声源。本研究旨在探讨会话声级对CI和NH听者选择性听觉注意机制的影响及其对日常会话的影响。九CI用户(五双边,三单边,和一个双峰)和八NH听众参加了这项研究。使用矩阵句子测试收集行为语音识别分数,并使用脑电图(EEG)记录对语音包络的神经跟踪。言语刺激呈现在三个不同的水平(75,65,和55分贝SPL)的存在下,从三个空间分离的扬声器的两个掩蔽。对CI用户的辅助/受损听力模式的不同组合进行了评估,并将结果分为三类进行分析:仅电听力,仅声学听力和电+声学听力。我们的研究结果表明,增加会话的声音水平降低了选择性听觉注意的电听觉。另一方面,提高声音水平提高了声学听力组的选择性听觉注意。然而,在NH听众中,增加声音水平并没有引起听觉注意力的显着变化。我们的研究结果意味着,声音水平上的选择性听觉注意力的影响取决于听力模式和响度控制是必要的,方便参加CI用户的谈话。
2021-03-03 cs.SD eess.AS eess.SP
Lightweight Target-Speaker-Based Overlap Transcription for Practical Streaming ASR
University of West Bohemia in Pilsen(西波西米亚大学)
提出一种轻量级基于目标说话人的流式ASR扩展方法,结合SI与SC模型及紧凑重叠检测器,在计算量仅增44%下将重叠语音WER从68.0%降至35.78%,实现高效可扩展的重叠转录。
2025-06-25 cs.SD eess.AS
Benchmarking Humans and Machines on Complex Multilingual Speech Understanding Tasks
Indian Institute of Science(印度科学学院)
研究在复杂多语言语音理解任务中评估人类与机器的听觉注意力能力,发现人类在母语中表现更优,而机器在单说话人条件下表现接近人类,但在双说话人设置中表现欠佳。
2026-03-10 eess.AS
Egocentric Auditory Attention Localization in Conversations
Georgia Institute of Technology(佐治亚理工学院);Meta Reality Labs Research(Meta现实实验室)
在嘈杂的谈话环境中,如晚宴,人们通常会表现出选择性的听觉注意力,或者专注于某个特定的说话者,而忽略其他人。识别某人在对话中听谁说话对于开发能够理解社会行为的技术和通过放大特定声源来增强人类听力的设备至关重要。计算机视觉和音频研究界在识别场景中的声源和扬声器方面取得了长足的进步。在这项工作中,我们更进一步,专注于在自我中心的视频中定位听觉注意目标的问题,或者检测相机佩戴者的视野中他们正在听谁。为了解决新的和具有挑战性的选择性听觉注意力定位问题,我们提出了一种端到端的深度学习方法,该方法使用以自我为中心的视频和多通道音频来预测相机佩戴者的听觉注意力的热图。我们的方法利用时空视听功能和对场景的整体推理来进行预测,并在具有挑战性的多说话者对话数据集上优于一组基线。项目页面:https://fkryan.github.io/saal
2023-03-28 cs.CV cs.SD eess.AS
Robust Soft-Constrained Spatially Selective Active Noise Control for Hearables Under Secondary Path Variations
Jade Hochschule(雅德应用技术大学)
本文提出了一种鲁棒的软约束优化框架,用于在次级路径变化下改进可穿戴设备的空间选择性主动噪声控制,通过最小化一组基于人类测量的次级路径估计的平均成本来计算单一控制滤波器,从而在次级路径不匹配时减少性能波动。
2026-07-27 cs.SY eess.AS eess.SP
Frequency-Weighted Soft-Constrained Spatially Selective Active Noise Control for Open-Fitting Hearables
Jade Hochschule(雅德应用科学大学)
本文提出频率加权软约束空间选择性主动噪声控制,用于开放式助听器,通过频率相关加权实现噪声降低与语音保留的灵活折衷,实验表明LTASS加权在无需干净语音下达到与oracle相当的感知效果。
2026-10-02 eess.AS eess.SP
RawNeXt: Speaker verification system for variable-duration utterances with deep layer aggregation and extended dynamic scaling policies
尽管使用深度神经网络在说话人验证中取得了令人满意的性能,但持续时间可变的话语仍然是威胁系统鲁棒性的挑战。为了解决这个问题,我们提出了一个名为RawNeXt的说话人确认系统,它可以处理任意长度的输入原始波形,采用以下两个组件:(1)深层聚合策略通过迭代和分层聚合从块输出的各种时间尺度和频谱通道的特征来增强说话人信息。(2)一个扩展的动态缩放策略灵活地处理功能,根据发言的长度,有选择地合并激活不同的分辨率分支在每个块。由于这两个组件,我们提出的模型可以提取说话人嵌入丰富的时间谱信息和动态操作的长度变化。在VoxCeleb1测试集上的实验结果表明,与最近提出的系统相比,RawNeXt实现了最先进的性能。我们的代码和训练的模型权重可在https://github.com/wngh1187/RawNeXt上获得。
2022-06-27 eess.AS
Soft-Constrained Spatially Selective Active Noise Control for Open-fitting Hearables
本文提出一种软约束空间选择性主动噪声控制系统,通过频率无关参数权衡语音失真与降噪,仿真表明其性能优于传统硬约束方法。
2025-07-16 cs.SY eess.AS eess.SP
Deep Speech Denoising with Vector Space Projections
Lab41(Lab41实验室);In-Q-Tel(In-Q-Tel公司)
我们提出了一种算法,从一个单一的麦克风在非平稳和动态噪声的存在下去噪扬声器。我们的方法受到最近成功的神经网络模型的启发,该模型将扬声器与其他扬声器和歌手与乐器伴奏分开。与现有技术不同,我们利用利用源对比估计产生的嵌入空间,源对比估计是从自然语言处理中的负采样技术导出的技术,同时获得连续推理掩码。我们的嵌入空间直接优化的歧视扬声器和噪声共同建模他们的特点。这个空间是可推广的,因为它不是特定于说话者或噪声的,并且即使模型在训练集中没有看到说话者,也能够对语音进行去噪。参数的训练有两个目标:一个是促进选择性带通滤波器,消除超过信号功率的时频位置处的噪声,另一个是按比例分割信号和噪声之间的时频内容。我们比较国家的最先进的算法,以及传统的稀疏非负矩阵分解的解决方案。由此产生的算法避免了严重的计算负担,提供了一个更直观,更容易优化的方法,同时实现竞争力的准确性。
2018-04-27 cs.AI cs.SD eess.AS
Exploiting an External Microphone for Binaural RTF-Vector-Based Direction of Arrival Estimation for Multiple Speakers
本文提出一种利用外部麦克风降低计算复杂度的双耳RTF向量基多说话人方向估计方法,通过空间相干性假设提升性能。
2023-07-10 cs.SD eess.AS eess.SP
Effect of target signals and delays on spatially selective active noise control for open-fitting hearables
本文系统研究了目标信号延迟对开放式助听器空间选择性ANC性能的影响,发现误差麦克风处目标信号无需延迟即可最优,而参考麦克风处目标信号需引入等于两声学路径差的延迟才能满足因果性并达到最佳性能。
2024-01-15 cs.SY eess.AS eess.SY
AV-SSAN: Audio-Visual Selective DoA Estimation through Explicit Multi-Band Semantic-Spatial Alignment
针对现有视听声源定位需空间配对数据且无法选择性定位的问题,提出AV-SSAN框架,通过多频带语义-空间对齐网络实现跨实例视觉提示下的选择性到达方向估计,在VGGSound-SSL数据集上显著优于现有方法。
2025-08-06 cs.SD eess.AS
Beyond Lips: Integrating Gesture and Lip Cues for Robust Audio-visual Speaker Extraction
Tongyi Lab, Alibaba Group(阿里巴巴集团通义实验室);University of Science and Technology Beijing(北京科技大学)
本文提出SeLG模型,通过融合嘴唇和手势信息,利用交叉注意力和对比学习提升音频视觉说话人提取的鲁棒性。
2026-01-27 eess.AS
Spatially Selective Active Noise Control Systems
提出一种空间选择性多通道主动噪声控制系统,通过空间约束代价函数,仅衰减非期望方向噪声并保留期望声音,实验验证其降噪性能优于现有方法且无需重建双耳线索。
2023-05-12 cs.SY eess.AS eess.SY
SRP-PHAT-NET: A Reliability-Driven DNN for Reverberant Speaker Localization
Ben-Gurion University of the Negev(内盖夫本-古里安大学)
本文提出SRP-PHAT-NET,一种利用SRP-PHAT方向图并内置可靠性估计的深度神经网络,通过高斯加权标签训练实现可靠性评分,实验证明选择性使用高置信度预测可显著提升混响环境下的DOA定位精度。
2025-10-26 eess.AS
Monaural Continuous-Radius Regional Speech Extraction with Cross-Radius Consistency Learning
该研究针对单声道语音提取问题,提出带跨半径一致性学习的连续半径区域语音提取方法,在实测RIR数据集上取得优于基线的性能,且对多说话人及噪声场景有效。
2026-10-09 eess.AS
Enhancing Real-World Active Speaker Detection with Multi-Modal Extraction Pre-Training
本文提出MuSED框架,通过音视频目标说话人提取预训练学习去噪能力,并在时域直接建模结合多模态加减增强,显著提升真实世界主动说话人检测性能。
2024-04-01 eess.AS eess.IV
Spatial Speech Translation: Translating Across Space With Binaural Hearables
Paul G. Allen School, University of Washington(保罗·G·艾伦学校,华盛顿大学)
提出空间语音翻译概念,通过解决盲源分离、定位、实时翻译和双耳渲染等技术挑战,在保留说话者方向和声音特征的同时实现跨语言实时翻译,并在真实环境中验证了其有效性和抗干扰能力。
2025-04-25 cs.CL cs.SD eess.AS
Korean aegyo speech shows systematic F1 increase to signal childlike qualities
Department of Korean Language and Literature, Duksung Women’s University(韩国语言文学系,杜庆女子大学);Department of Computational Linguistics, University of Zurich(计算语言学系,苏黎世大学)
研究通过分析12名韩国语者在撒娇和非撒娇语调中的元音空间变化,发现撒娇语调中F1值显著增加,主要表现为元音空间扩展和高F1值偏移,表明成人通过模仿儿童较短的声道来表现孩童特质。
2026-04-28 cs.CL cs.SD eess.AS
Inference of the Selective Auditory Attention using Sequential LMMSE Estimation
在鸡尾酒会等多扬声器环境中专心聆听需要抑制干扰扬声器和周围的噪音。听力正常的人在这种情况下表现得非常好。使用脑电图(EEG)的皮层信号的分析表明,EEG信号跟踪的包络的关注的语音比干扰的语音。这使得能够开发出可以在受控实验环境中解码听众选择性注意力的算法。然而,通常这些算法需要更长的试验持续时间和计算上昂贵的校准,以获得可靠的注意力推断。在本文中,我们提出了一个新的框架来解码的注意力的听众在审判持续时间的顺序为两秒。它包括三个模块:1)使用顺序线性最小均方误差(LMMSE)估计器在每次试验中动态估计时间响应函数(TRF),2)提取所估计的TRF的N1-P2峰,其用作与注意状态相关的标记,以及3)使用支持向量机随后逻辑回归获得注意状态的概率测量。建议的解码框架的有效性进行了评估,使用从27名受试者收集的EEG数据。推断注意力所需的电极总数是四个:一个用于信号估计,一个用于噪声估计,另外两个是参考电极和接地电极。我们的研究结果使神经操纵助听器的实现取得了进一步的进展。
2021-02-02 eess.AS eess.SP
Comparison of linear and nonlinear methods for decoding selective attention to speech from ear-EEG recordings
本研究评估了使用新型耳-EEG设备解码双说话人场景中听觉选择性注意的可行性,比较了线性回归、深度神经网络和CCA三种解码算法,发现CCA准确率最高但差异不显著。
2024-11-15 eess.AS