An End-to-End Text-independent Speaker Verification Framework with a Keyword Adversarial Network
Qualcomm AI Research（高通人工智能研究院）；Qualcomm Technologies, Inc.（高通技术公司）
本文提出了一个端到端的文本无关的说话人确认框架，联合考虑说话人嵌入（SE）网络和自动语音识别（ASR）网络。SE网络学习输出区分输入话语的说话者特征的嵌入向量，而ASR网络学习识别输入的语音上下文。在训练我们的说话人确认框架时，我们同时考虑了ASR网络的三重损失最小化和对抗梯度，以获得更具鉴别力和文本无关的说话人嵌入向量。在三重损失的情况下，同一说话人的嵌入向量之间的距离最小，而不同说话人的嵌入向量之间的距离最大。此外，利用ASR网络的对抗梯度，可以减少说话人嵌入向量的文本依赖性。在实验中，我们使用LibriSpeech和CHiME 2013数据集对我们的说话人验证框架进行了评估，评估结果表明，与其他方法相比，我们的说话人验证框架具有更低的等误率和更好的文本无关性。
2019-08-06 cs.LG cs.SD eess.AS
Multi-Task Network for Noise-Robust Keyword Spotting and Speaker Verification using CTC-based Soft VAD and Global Query Attention
KAIST（韩国科学技术院）
关键字定位（KWS）和说话人确认（SV）已经独立研究，虽然它是已知的，声学和扬声器域是互补的。在本文中，我们提出了一个同时执行KWS和SV的多任务网络，以充分利用相互关联的域信息。多任务网络紧密结合的子网络，旨在提高性能的挑战性条件下，如嘈杂的环境，开放的词汇KWS，和短时间SV，通过引入新的技术的连接时间分类（CTC）的软语音活动检测（VAD）和全球查询注意。帧级的声学和说话人信息与语音起源的权重相结合，从而形成单词级的全局表示。然后将其用于特征向量的聚合以生成区分性嵌入。我们提出的方法显示，4.06%和26.71%的相对改善等错误率（EER）相比，这两个任务的基线。我们还提出了一个可视化的例子和烧蚀实验的结果。
2020-08-07 cs.CL cs.LG cs.SD
Keyword Spotting for Hearing Assistive Devices Robust to External Speakers
Aalborg University（奥尔堡大学）；Oticon A/S（奥迪康公司）
关键词识别（KWS）正在经历一个上升，由于小型电子设备的普及，允许通过语音与他们互动。通常，KWS系统是与说话者无关的，这意味着任何人-用户或非用户-都可能触发它们。对于像听力辅助设备的KWS这样的应用，这是不可接受的，因为必须只允许用户处理它们。在本文中，我们提出了KWS的听力辅助设备，是强大的外部扬声器。小型KWS的最先进的深度剩余网络被视为构建的基础。通过遵循多任务学习方案，该系统被扩展到联合执行KWS和用户的自己的语音/外部扬声器检测与参数的数量可以忽略不计的增加。对于实验，我们从Google Speech Commands Dataset生成一个语音语料库，将助听器作为捕获设备。我们的研究结果表明，这种多任务深度残差网络能够实现KWS精度相对提高约32%，相对于不处理外部扬声器的系统。
2019-06-26 cs.HC cs.LG cs.SD
NeuroHeed+: Improving Neuro-steered Speaker Extraction with Joint Auditory Attention Detection
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室（MERL））
针对神经引导说话人提取中说话人混淆错误高的问题，提出结合联合微调辅助听觉注意检测模型的NeuroHeed+方法，增强提取语音与EEG表征一致性并优化EEG表征，在双说话人场景下性能显著优于基线。
2023-12-12 cs.SD eess.AS
WASE: Learning When to Attend for Speaker Extraction in Cocktail Party Environments
Institute of Automation, Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所）；School of Future Technology, University of Chinese Academy of Sciences（中国科学院大学未来技术学院）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Center for Excellence in Brain Science and Intelligence Technology, CAS（中国科学院脑科学与智能技术卓越创新中心）
在说话人提取问题中，人们发现来自目标说话人的附加信息有助于目标说话人的跟踪和提取，这些附加信息包括声纹、唇动、面部表情和空间信息。然而，没有人关心声音起始的线索，这已经在听觉场景分析和心理学中得到了重视。受此启发，我们明确建模的起始线索，并验证了在说话人提取任务的有效性。我们进一步扩展到起始/偏移线索，并得到性能的改善。从任务的角度来看，我们的起始/偏移为基础的模型完成的复合任务，说话人提取和说话人相关的语音活动检测的互补组合。我们还将声纹与起始/偏移线索相结合。声纹模型的语音特征的目标，而起始/偏移模型的开始/结束信息的讲话。从听觉场景分析的角度来看，两种感知线索的结合可以促进听觉对象的完整性。实验结果也接近最先进的性能，使用近一半的参数。我们希望这项工作将启发语音处理和心理学的社区，并有助于他们之间的沟通。我们的代码将在https://github.com/aispeech-lab/wase/上提供。
2021-06-13 cs.AI cs.SD eess.AS
A Multi-tasking Model of Speaker-Keyword Classification for Keeping Human in the Loop of Drone-assisted Inspection
Stony Brook University（石溪大学）
音频命令是一种首选的通信媒介，可以让检查人员保持在半自动无人机执行的民用基础设施检查的循环中。为了理解来自一组异构和动态检查员的特定于作业的命令，必须为该组开发一个具有成本效益的模型，并且当该组发生变化时可以轻松地进行调整。本文旨在构建一个多任务深度学习模型，该模型具有共享-拆分-协作架构。这种架构允许两个分类任务共享特征提取器，然后通过特征投影和协作训练来分割在提取的特征中交织的主题特定和关键字特定特征。一组五个授权的主题的基础模型进行训练和测试的检查关键字数据集收集本研究。该模型在对任何授权检查员的关键词进行分类时，平均准确率达到95.3%或更高。该方法在说话人分类中的平均准确率为99.2%。由于模型从池化的训练数据中学习到更丰富的关键字表示，因此使基础模型适应新的检查员仅需要来自该检查员的少量训练数据，例如每个关键字五个话语。使用说话人分类分数进行检查员验证，可以实现至少93.9%的成功率在验证授权检查员和76.1%的检测未授权的。此外，本文还证明了所提出的模型对公共数据集上较大规模群体的适用性。本文提供了一种解决方案，以解决人工智能辅助人机交互所面临的挑战，包括工人异质性，工人动态和工作异质性。
2022-10-31 cs.AI cs.SD eess.AS
A Cascade Architecture for Keyword Spotting on Mobile Devices
Google Inc.（谷歌公司）
我们提出了一个级联架构的关键字定位与说话人验证移动设备上。通过将小的计算占用空间与专用的数字信号处理（DSP）芯片配对，我们能够在持续监听关键字的同时实现低功耗。
2017-12-10 cs.SD eess.AS
NeuroSpex: Neuro-Guided Speaker Extraction with Cross-Modal Attention
University of Bremen（不来梅大学）；Shenzhen Research Institute of Big Data（深圳大数据研究院）
本研究提出神经引导说话人提取模型NeuroSpex，以EEG反应为唯一辅助线索，通过新型EEG编码器和交叉注意力机制从单耳混合语音中提取注意言语，在公开数据集上多项指标优于基线。
2024-09-16 cs.AI cs.SD eess.AS
Advances in Online Audio-Visual Meeting Transcription
Microsoft（微软）
本文描述了一个系统，通过使用麦克风阵列和360度摄像头生成扬声器注释的会议记录。该系统的特点是它能够处理重叠的语音，这在现实环境中一直是一个未解决的问题超过十年。我们表明，这个问题可以通过使用连续语音分离方法来解决。此外，我们描述了一种在线视听扬声器日记化方法，利用人脸跟踪和识别，声源定位，扬声器识别，如果可用的话，以前的扬声器信息的鲁棒性，以各种现实世界的挑战。所有组件都集成在一个称为SRD的会议转录框架中，SRD代表“分离，识别和日记化”。使用录音的自然会议，涉及多达11名与会者的实验结果报告。与高度调谐的波束形成器相比，连续语音分离将字错误率（WER）提高了16.1%。当会议出席者的完整列表可用时，WER和演讲者归因的WER之间的差异仅为1.0%，这表明准确的单词到演讲者的关联。当50%的与会者对系统未知时，这一比例略微增加到1.6%。
2019-12-10 cs.CL cs.CV cs.SD
Learning Decoupling Features Through Orthogonality Regularization
Peking University（北京大学）；Xiaomi Inc.（小米公司）
关键词识别和说话人确认是语音应用中的两项重要任务。研究表明，最先进的KWS和SV模型是使用不同的数据集独立训练的，因为它们希望学习独特的声学特征。然而，人类可以同时区分语言内容和说话者身份。基于此，我们认为探索一种方法，可以有效地提取共同的功能，同时解耦特定于任务的功能是很重要的。考虑到这一点，开发了具有相同网络结构的两个分支深度网络（KWS分支和SV分支），并提出了一种新的解耦特征学习方法，以同时提升KWS和SV的性能，其中说话人不变的关键字表示和关键字不变的说话人表示分别是预期的。在Google Speech Commands Dataset（GSCD）上进行了实验。结果表明，正交正则化有助于网络实现SOTA EER的1.31%和1.87%的KWS和SV，分别。
2022-03-31 cs.AI cs.SD eess.AS
TellWhisper: Tell Whisper Who Speaks When
Inner Mongolia University（内蒙古大学）；Tencent Technology Co.Ltd（腾讯科技有限公司）
本文提出TellWhisper框架，通过联合建模说话者身份和时间信息，解决多说话人自动语音识别中的时序与身份分离问题，提升对话理解性能。
2026-04-14 eess.AS
Text-aware Speech Separation for Multi-talker Keyword Spotting
针对多说话人混合语音中的关键词唤醒，本文提出融合文本线索的 TPDT-SS 语音分离前端与排列确定性训练方法，有效解决排列问题并提升后端 KWS 性能。
2024-06-18 eess.AS
Improving auditory attention decoding performance of linear and non-linear methods using state-space model
University of Oldenburg（奥尔登堡大学）
识别助听器应用中的目标说话人对于提高语音理解至关重要。近年来，脑电（EEG）的研究表明，利用听觉注意解码（AAD）方法可以从单次EEG记录中识别出目标说话人。AAD方法基于线性最小二乘代价函数或非线性神经网络从EEG记录中重构出被关注的语音包络，然后直接将重构的包络与说话人的语音包络进行比较，以使用Pearson相关系数来识别被关注的说话人。由于这些相关系数是高度波动的，为了可靠的解码，使用大的相关窗口，这导致大的处理延迟。在本文中，我们研究了一个状态空间模型，使用相关系数与一个小的相关窗口，以提高解码性能的线性和非线性AAD方法。实验结果表明，状态空间模型显著提高了译码性能。
2020-04-02 cs.LG cs.SD eess.AS
AvaTr: One-Shot Speaker Extraction with Transformers
Upload AI LLC（Upload AI 有限责任公司）；Rice University（莱斯大学）；Baylor College of Medicine（贝勒医学院）
为了提取目标说话人的声音时，与各种其他声音，如白噪声和环境噪声或干扰扬声器的声音混合，我们扩展了Transformer网络出席最相关的信息相对于目标说话人给出的特点，他或她的声音作为一种形式的上下文信息。这一观点在选择性注意理论中有一个自然的解释。具体来说，我们提出了两个模型，将语音特性在Transformer的基础上不同的见解的特征选择应该发生。这两种模型都具有出色的性能，在说话人提取任务上与已发表的最先进的模型相当或更好，包括分离训练期间未看到的新说话人的语音。
2021-05-03 cs.SD eess.AS
Query-by-Example Keyword Spotting Using Spectral-Temporal Graph Attentive Pooling and Multi-Task Learning
本文提出一种基于谱-时间图注意力池化和多任务学习的示例查询关键词识别系统，通过三种编码器架构对比实验证明该框架能使13倍高效的LiCoNet达到与Conformer相当的性能。
2024-11-23 cs.AI cs.CL cs.SD
Beyond Lips: Integrating Gesture and Lip Cues for Robust Audio-visual Speaker Extraction
Tongyi Lab, Alibaba Group（阿里巴巴集团通义实验室）；University of Science and Technology Beijing（北京科技大学）
本文提出SeLG模型，通过融合嘴唇和手势信息，利用交叉注意力和对比学习提升音频视觉说话人提取的鲁棒性。
2026-01-27 eess.AS
Selective HuBERT: Self-Supervised Pre-Training for Target Speaker in Clean and Mixture Speech
本文提出 Selective-HuBERT，借助目标说话人注册语音、双路径训练和互相关约束学习噪声不变的选择性语音表征，并在 SUPERB 与 LibriMix 上验证其通用性、鲁棒性及低资源价值。
2023-11-08 eess.AS
Cognitive-driven convolutional beamforming using EEG-based auditory attention decoding
NTT Communication Science Laboratories, NTT Corporation（NTT公司NTT通信科学实验室）；University of Oldenburg（奥尔登堡大学）
在多说话人环境下，语音增强算法的性能取决于正确识别要增强的目标说话人。听觉注意解码（AAD）方法允许从单次试验EEG记录中识别听者正在注意的目标说话者。针对增强目标说话人和抑制干扰说话人、混响和环境噪声的问题，本文提出了一种认知驱动的多麦克风语音增强系统，该系统结合了基于神经网络的掩蔽估计器、加权最小功率无失真响应卷积波束形成器和AAD。为了控制干扰扬声器的抑制，我们还提出了一个扩展，将干扰抑制约束。实验结果表明，该系统优于国家的最先进的认知驱动的语音增强系统在具有挑战性的混响和噪声条件。
2020-05-10 cs.SD eess.AS eess.SP
Personalized Keyword Spotting through Multi-task Learning
Qualcomm AI Research（高通人工智能研究院）；Qualcomm Technologies, Inc.（高通技术公司）
关键词发现（KWS）在智能设备上实现基于语音的用户交互中起着至关重要的作用，并且传统的KWS（C-KWS）方法集中于检测用户不可知的预定义关键词。然而，在实践中，大多数用户交互来自在设备中注册的目标用户，这促使构建个性化关键词发现。我们设计了两个个性化的KWS任务：（1）目标用户偏向的KWS（TB-KWS）和（2）目标用户唯一的KWS（TO-KWS）。为了解决这些任务，我们提出了通过多任务学习（PK-MTL），包括多任务学习和任务适应个性化的关键字发现。首先，我们介绍了应用多任务学习的关键字定位和说话人验证，利用用户信息的关键字定位系统。接下来，我们设计了任务特定的评分函数，以适应个性化的KWS任务彻底。我们评估我们的框架在传统和个性化的场景，结果表明，PK-MTL可以显着降低误报率，特别是在各种实际场景。
2022-06-28 cs.LG cs.SD eess.AS
Speaker-aware speech-transformer
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Kwai（快手）
近年来，端到端（E2 E）模型成为传统的混合自动语音识别（ASR）系统的一种有竞争力的替代方案。然而，在训练和测试条件下，它们仍然受到说话人失配的影响。本文以Speech-Transformer（ST）为研究平台，对E2 E模型的说话人感知训练进行了研究。我们提出了一个模型，称为扬声器感知语音转换器（SAST），这是一个标准的ST配备了扬声器注意模块（SAM）。SAM具有由i向量组成的静态扬声器知识块（SKB）。在每个时间步，编码器输出关注块中的i向量，并生成加权的组合说话人嵌入向量，这有助于模型对说话人变化进行归一化。以这种方式训练的SAST模型变得独立于特定的训练说话者，从而更好地推广到看不见的测试说话者。我们研究了SAM的不同因素。在AISHELL-1任务上的实验结果表明，SAST在说话人无关（SI）基线上实现了相对6.5%的CER减少（CERR）。此外，我们证明了SAST仍然工作得很好，即使SKB中的i向量都来自不同的数据源，而不是声学训练集。
2020-01-02 cs.CL cs.SD eess.AS
Benchmarking Humans and Machines on Complex Multilingual Speech Understanding Tasks
Indian Institute of Science（印度科学学院）
研究在复杂多语言语音理解任务中评估人类与机器的听觉注意力能力，发现人类在母语中表现更优，而机器在单说话人条件下表现接近人类，但在双说话人设置中表现欠佳。
2026-03-10 eess.AS
Assessing the Impact of Anisotropy in Neural Representations of Speech: A Case Study on Keyword Spotting
CNRS（法国国家科学研究中心）
本研究针对计算文献语言学的关键词识别任务，探究预训练语音表征的各向异性对下游任务的影响，通过动态时间规整验证wav2vec2即便存在各向异性仍可有效无转录识词，证明了预训练语音表征的鲁棒性与预训练的价值。
2025-06-06 cs.AI cs.CL cs.SD
Personal VAD: Speaker-Conditioned Voice Activity Detection
Google（谷歌）
本文提出个人VAD，一种基于说话人条件的帧级语音活动检测系统，通过130K参数模型实现目标说话人语音检测，优于传统VAD与说话人识别组合的基线。
2026-10-06 cs.LG eess.AS stat.ML
Speaker Identification Experiments Under Gender De-Identification
TecnoCampus Mataró-Maresme（特诺坎普斯马塔罗-马雷斯梅）；Università Politecnica delle Marche（马尔凯理工大学）
目前的工作是基于成本行动IC 1206去识别多媒体内容。在一个语音性别识别器上测试了四种语音修改算法，以确定当语音识别器的成功概率等于失败概率时，音调的修改程度。该分析的目的是评估语音语调改变的强度、质量、所做改变的可逆性和不可逆性。关键词去识别;语音算法
2022-03-09 cs.LG cs.SD eess.AS
Closing the Gap between Single-User and Multi-User VoiceFilter-Lite
Google LLC（谷歌有限责任公司）
VoiceFilter-Lite是一种说话人条件语音分离模型，通过抑制非目标说话人的重叠语音，在提高语音识别和说话人验证方面发挥着至关重要的作用。然而，VoiceFilter-Lite和其他说话者条件语音模型的一个限制是，这些模型通常限于单个目标说话者。这是不期望的，因为大多数智能家居设备现在支持多个注册用户。为了将个性化的好处扩展到多个用户，我们之前开发了一种基于注意力的说话人选择机制，并将其应用于VoiceFilter-Lite。然而，与单用户模型相比，原始的多用户VoiceFilter-Lite模型遭受显著的性能下降。在本文中，我们设计了一系列的实验来改善多用户VoiceFilter-Lite模型。通过结合双学习率计划并使用特征线性调制（FiLM）来调节模型与参与的扬声器嵌入，我们成功地缩小了多用户和单用户VoiceFilter-Lite模型在单扬声器评估上的性能差距。同时，新模型也可以很容易地扩展到支持任何数量的用户，并显着优于我们以前发布的多扬声器评估模型。
2022-04-26 cs.LG eess.AS stat.ML
Speaker and Direction Inferred Dual-channel Speech Separation
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Columbia University（哥伦比亚大学）
大多数语音分离方法试图同时分离所有通道源，但对于输入声音的数量通常是不确定的甚至是动态的真实场景，仍然远远没有足够的通用化能力。在这项工作中，我们采用的想法，从听觉注意与两只耳朵，并提出了一个扬声器和方向推断语音分离网络（称为SDNet）来解决鸡尾酒会的问题。具体来说，我们的SDNet首先以顺序的方式从场景的混合物中解析出各自的感知表示及其扬声器和方向特征。然后，利用感知表示来注意每个对应的语音。我们的模型在空间特征的帮助下生成了更精确的感知表示，并成功地处理了未知源数量和输出选择的问题。在标准的完全重叠语音分离基准测试WSJ 0 - 2 mix、WSJ 0 - 3 mix和WSJ 0 -2&3mix上的实验表明了该方法的有效性，在无回声环境下，该方法的SDR性能分别提高了25.31 dB、17.26 dB和21.56 dB。我们的代码将在https://github.com/aispeech-lab/SDNet上发布。
2021-02-08 cs.SD eess.AS
A Glance is Enough: Extract Target Sentence By Looking at A keyword
Harbin Institute of Technology（哈尔滨工业大学）；Tsinghua University（清华大学）；Beijing University of Posts and Telecommunications（北京邮电大学）
该研究针对仅靠关键词从多人混合语音中提取目标语句的问题，提出基于Transformer架构结合交叉注意力机制的方法，在Librispeech上-3dB信噪比场景下PER达26%，远优于基线的96%。
2023-10-09 cs.CL cs.SD eess.AS
Multi-task Voice Activated Framework using Self-supervised Learning
Qualcomm Technologies（高通技术公司）
wav 2 vec 2.0等自监督学习方法在从未标记和未转录的语音数据中学习语音表示方面显示出了有希望的结果，这对于语音识别很有用。由于这些表示是在没有任何特定任务监督的情况下学习的，因此它们也可以用于其他语音激活任务，如说话人验证，关键字定位，情感分类等。在我们的工作中，我们提出了一个通用框架，用于适应不同语音激活任务的预训练wav2vec 2.0模型。我们开发了下游网络架构，该架构在wav2vec 2.0的上下文化语音表示上操作，以适应解决给定任务的表示。最后，我们扩展了我们的框架，以执行多任务学习，通过共同优化网络参数的多个语音激活的任务，使用共享的Transformer骨干。我们的单任务和多任务框架都在说话人验证和关键字定位基准测试中取得了最先进的结果。当在VoxCeleb2和VoxCeleb1上训练时，我们的最佳性能模型在VoxCeleb1测试集上分别达到1.98%和3.15%的EER，在Google Speech Commands v1.0关键字定位数据集上达到98.23%的准确率。
2022-03-19 cs.CL cs.SD eess.AS
YFACC: A Yorùbá speech-image dataset for cross-lingual keyword localisation through visual grounding
Stellenbosch University（斯泰伦博斯大学）；University Politehnica of Bucharest（布加勒斯特理工大学）
视觉接地语音（VGS）模型在与未标记的口头字幕配对的图像上进行训练。这种模型可以用于在不可能获得标记数据的环境中构建语音系统，例如用于记录非书面语言。然而，大多数VGS研究都是用英语或其他高资源语言进行的。本文试图弥补这一缺陷。我们收集并发布了一个新的单扬声器数据集的音频字幕为6 k Flickr图像在Yorkebá-一个真正的低资源语言讲尼日利亚。我们训练一个基于注意力的VGS模型，其中图像自动标记有英语视觉标签，并与Yorkebá话语配对。这使得跨语言的关键字本地化：一个书面的英语查询被检测到，并在Yorkebá语音定位。为了量化较小数据集的影响，我们将其与在类似和更多数据上训练的英语系统进行了比较。我们希望这个新的数据集将刺激对真正的低资源语言使用VGS模型的研究。
2022-10-12 cs.CL eess.AS
Training Wake Word Detection with Synthesized Speech Data on Confusion Words
Duke Kunshan University（昆山杜克大学）；Duke University（杜克大学）；Lenovo Research（联想研究院）
混淆词在现实生活中的关键词发现应用中经常遇到，这会导致由于复杂的口语术语和各种听起来与预定义的关键词相似的词而导致性能严重下降。为了增强唤醒词检测系统在这种情况下的鲁棒性，我们研究了两种用于训练端到端KWS系统的数据增强设置。一种是利用多说话人语音合成系统的合成数据，另一种是通过向声学特征中添加随机噪声来增强。实验结果表明，增强有助于提高系统的鲁棒性。此外，通过用多说话人文本到语音系统生成的合成数据来增强训练集，我们在混淆词的情况下实现了显著的改善。
2020-11-03 cs.LG cs.SD eess.AS
PCOV-KWS: Multi-task Learning for Personalized Customizable Open Vocabulary Keyword Spotting
Zhejiang University（浙江大学）
本文提出PCOV-KWS框架，通过轻量网络同时实现关键词检测和说话人验证，采用非softmax损失和多任务损失加权策略，提升个性化关键词检测性能，减少参数和计算资源消耗。
2026-03-05 cs.AI cs.CL cs.SD
MIMO Self-attentive RNN Beamformer for Multi-speaker Speech Separation
Institute of Automation, Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Tencent AI Lab（腾讯AI实验室）
最近，我们提出了基于递归神经网络（RNN）的全深度学习最小方差无失真响应（ADL-MVDR）波束形成器方法，通过用两个递归神经网络代替矩阵求逆和特征值分解，获得了优于传统MVDR的性能。在这项工作中，我们提出了一个自我关注的RNN波束形成器，通过利用自我关注的强大建模能力，进一步改进我们以前的基于RNN的波束形成器。提出了时空自注意模块，以更好地从语音和噪声的空间协方差矩阵学习波束形成权重。时间自注意模块可以帮助RNN学习协方差矩阵的全局统计。空间自关注模块被设计用于关注协方差矩阵中的通道间相关性。此外，多通道输入与多说话人的方向性特征和多说话人语音分离输出（MIMO）模型的发展，以提高推理效率。评估表明，我们提出的MIMO自关注RNN波束形成器提高了自动语音识别（ASR）的准确性和感知估计的语音质量（PESQ）对现有技术。
2021-04-26 cs.AI cs.SD eess.AS
Keywords Extraction and Sentiment Analysis using Automatic Speech Recognition
Punjab Engineering College（旁遮普工程学院）
自动语音识别（ASR）是计算语言学的一个跨学科分支，它开发了能够通过计算机识别口语并将其翻译成文本的方法和技术。它融合了语言学，计算机科学和电气工程领域的知识和研究。情感分析是文本的上下文挖掘，它识别和提取源材料中的主观信息，并帮助企业了解其品牌，产品或服务的社会情感，同时监控在线对话。根据语音结构，语音识别中使用三种模型进行匹配：声学模型、语音词典和语言模型。任何语音识别程序都是用两个因素来评估的：准确性（将口语转换为数字数据的错误百分比）和速度（程序能跟上人类说话者的程度）。为了将语音转换为文本（STT），我们将研究以下开源工具包：CMU Sphinx和Kaldi。该工具包使用Mel频率倒谱系数（MFCC）和I向量进行特征提取。CMU Sphinx已与预训练的隐马尔可夫模型（HMM）和高斯混合模型（GMM）一起使用，而Kaldi与预训练的神经网络（NNET）一起使用作为声学模型。n-gram语言模型包含音素或pdf-id，用于以网格的形式生成最可能的假设（转录）。语音数据集以.raw或.wav文件的形式存储，并转录为.txt文件。然后，系统尝试识别文本中的观点，并提取以下属性：极性（如果说话者表达了积极或消极的观点）和关键词（正在谈论的事情）。
2020-04-07 cs.SD eess.AS eess.SP
Improving Voice Trigger Detection with Metric Learning
Apple（苹果公司）；The University of Hong Kong（香港大学）
语音触发检测是一项重要的任务，其使得能够在目标用户说出关键词短语时激活语音助理。检测器通常在独立于说话者信息的语音数据上进行训练，并用于语音触发检测任务。然而，这样的说话者无关语音触发检测器通常遭受来自代表性不足的组（诸如带口音的说话者）的语音的性能降级。在这项工作中，我们提出了一种新的语音触发检测器，可以使用少量的话语从目标扬声器，以提高检测精度。我们提出的模型采用编码器-解码器架构。虽然编码器执行与说话人无关的语音触发检测，类似于传统的检测器，解码器预测每个话语的个性化嵌入。然后获得个性化语音触发分数作为登记话语和测试话语的嵌入之间的相似性分数。个性化的嵌入允许在计算语音触发分数时适应目标说话者的语音，从而提高语音触发检测的准确性。实验结果表明，所提出的方法实现了38%的相对减少的错误拒绝率（FRR）相比，基线说话人无关的语音触发模型。
2022-09-13 cs.LG cs.SD eess.AS
Extracting the Auditory Attention in a Dual-Speaker Scenario from EEG using a Joint CNN-LSTM Model
WS Audiology
在多说话人的情况下，人脑在分离特定说话人与干扰说话人方面表现得非常好。最近已经表明，我们可以定量评估的分离能力，通过建模的语音信号之间的关系存在于一个听觉场景和使用脑电图（EEG）测量的听者的皮层信号。这开辟了将神经反馈集成到助听器中的途径，从而该设备可以推断用户的注意力并增强参加的扬声器。用于推断听觉注意的常用算法是基于线性系统理论，其中语音线索（诸如包络）被映射到EEG信号上。在这里，我们提出了一个联合卷积神经网络（CNN）-长短期记忆（LSTM）模型来推断听觉注意。我们的联合CNN-LSTM模型将多个说话者的EEG信号和频谱图作为输入，并将注意力分类到其中一个说话者。我们评估了我们的神经网络的可靠性，使用三个不同的数据集，包括61名受试者，每个受试者进行了双扬声器实验。分析的三个数据集对应于以三种不同语言呈现的语音刺激，即德语、丹麦语和荷兰语。使用提出的联合CNN-LSTM模型，我们在三秒的试验持续时间内获得了77.2%的中值解码准确率。此外，我们通过幅度修剪评估了我们的模型可以容忍的稀疏度，发现该模型可以容忍高达50%的稀疏度，而不会大幅降低解码精度。
2021-07-09 cs.AI cs.LG cs.SD
Fine-grained Early Frequency Attention for Deep Speaker Representation Learning
Queen’s University（女王大学）；Ingenuity Labs Research Institute（英格尼蒂实验室研究所）
近年来，深度学习技术大大改善了语音处理。由深度学习模型提取的说话人表示正被用于各种任务中，例如说话人识别和语音情感识别。注意力机制在改进语音处理领域的深度学习模型方面开始发挥重要作用。尽管如此，尽管重要的说话者相关信息可以嵌入到输入频谱表示的各个频率区间中，但当前的注意力模型无法关注频谱表示中的细粒度信息项。在本文中，我们提出了细粒度的早期频率注意（FEFA）的说话人表示学习。我们的模型是一个简单而轻量级的模型，可以集成到各种CNN管道，并能够专注于小到频率箱的信息项。我们评估所提出的模型上的三个任务的说话人识别，语音情感识别，和口语数字识别。我们使用三个广泛使用的公共数据集，即VoxCeleb，IEMOCAP和Free Spoken Digit Dataset进行实验。我们将FEFA附加到几个著名的深度学习模型，并评估其对最终性能的影响。我们还将我们的工作与该领域的其他相关工作进行了比较。我们的实验表明，通过将FEFA添加到不同的CNN架构中，性能得到了持续的大幅提高，并且配备FEFA的模型优于所有其他专注的模型。我们还测试了我们的模型对不同水平的增加的噪声显示出改善的鲁棒性和较低的灵敏度相比，主干网。
2023-01-24 cs.CL cs.LG cs.SD
Open Source MagicData-RAMC: A Rich Annotated Mandarin Conversational(RAMC) Speech Dataset
Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Magic Data Technology Co., Ltd.（魔数智音科技有限公司）；Shanghai Jiao Tong University（上海交通大学）；Northwestern Polytechnical University（西北工业大学）
本文介绍了一个高质量的丰富注释的普通话会话（RAMC）语音数据集称为MagicData-RAMC。MagicData-RAMC语料库包含180小时的会话语音数据，这些数据是以16 kHz的采样率通过移动电话从汉语普通话为母语的人记录的。MagicData-RAMC中的对话被分为15个不同的领域，并标有主题标签，从科学技术到日常生活。准确的转录和精确的扬声器语音活动时间戳手动标记每个样本。还提供了演讲者的详细信息。MagicData-RAMC是一个针对对话场景设计的具有高质量和丰富注释的普通话语音数据集，丰富了普通话语音社区的数据多样性，并允许对一系列语音相关任务进行广泛研究，包括自动语音识别，说话人日志，主题检测，关键字搜索，文本到语音，我们还进行了几个相关的任务，并提供实验结果，以帮助评估数据集。
2022-03-31 cs.CL eess.AS
Bilingual Speech Recognition by Estimating Speaker Geometry from Video Data
The University of New Mexico（新墨西哥大学）
语音识别在以显著的串扰和背景噪声为特征的学生学习环境中非常具有挑战性。为了解决这个问题，我们提出了一个双语语音识别系统，使用交互式视频分析系统来估计逼真的音频模拟的3D扬声器的几何形状。我们演示了使用我们的系统生成一个复杂的音频数据集，其中包含显着的串扰和背景噪声，近似于现实生活中的教室录音。然后，我们测试我们提出的系统与现实生活中的录音。就扬声器与麦克风的距离而言，我们的交互式视频分析系统获得了更好的平均出错率10.83%，而基线方法为33.12%。我们提出的系统在同一数据集上的准确率为27.92%，比Google Speech-to-text高1.5%。就9个重要关键词而言，我们的方法的平均灵敏度为38%，而Google语音转文本的灵敏度为24%，而这两种方法都保持了90%和92%的高平均特异性。平均而言，我们提出的方法的灵敏度从24%提高到38%。另一方面，两种方法的特异性仍然很高（90%至92%）。
2021-12-26 cs.SD eess.AS eess.IV
M3ANet: Multi-scale and Multi-Modal Alignment Network for Brain-Assisted Target Speaker Extraction
School of Computer Science and Technology, Anhui University（安徽大学计算机科学与技术学院）；Alibaba group（阿里巴巴集团）；Department of Automation, Tsinghua University（清华大学自动化系）；Beijing National Research Center for lnformation Science and Technology, Tsinghua University（清华大学信息科学与技术国家研究中心）
本文提出M3ANet，通过对比学习模态对齐模块解决EEG与语音时间不对齐问题，并采用结合GroupMamba的多尺度卷积编码器提取深层语音特征，在三个数据集上优于现有方法。
2025-05-31 cs.SD eess.AS
Boosting keyword spotting through on-device learnable user speech characteristics
Integrated Systems Laboratory (IIS), ETH Zurich（苏黎世联邦理工学院集成系统实验室）；Zurich Research Center, Huawei Technologies（华为技术有限公司苏黎世研究中心）；DEI, University of Bologna（博洛尼亚大学电子、计算机与工程系）
针对TinyML场景下关键词识别适配未见用户难、端侧学习资源不足的问题，提出含预训练骨干与用户感知嵌入的轻量端侧学习架构，可低成本适配用户语音，显著降低错误率，适配少样本场景且满足微控制器资源约束。
2024-03-12 cs.LG cs.SD eess.AS
BASEN: Time-Domain Brain-Assisted Speech Enhancement Network with Convolutional Cross Attention in Multi-talker Conditions
University of Science and Technology of China（中国科学技术大学）；Sichuan University（四川大学）
本文提出时域脑辅助语音增强网络BASEN，结合听众脑电信号与全卷积时域音频分离网络，并引入卷积多层交叉注意力模块融合双分支特征，在多说话人条件下有效提取目标说话人且优于现有方法。
2023-05-17 cs.AI cs.SD eess.AS
Stylebook: Content-Dependent Speaking Style Modeling for Any-to-Any Voice Conversion using Only Speech Data
Qualcomm Technologies, Inc.（高通技术公司）
针对任意到任意语音转换中目标说话风格还原度不足的问题，提出基于SSL注意力机制的stylebook风格表示方法，结合扩散解码器实现无标注的内容依赖风格迁移，提升了说话人相似度并控制了计算复杂度。
2023-12-15 cs.AI cs.SD eess.AS
PatchDSU: Uncertainty Modeling for Out of Distribution Generalization in Keyword Spotting
Faculty of Electrical and Computer Engineering, Technion–Israel Institute of Technology（电气与计算机工程学院，技术学院–以色列理工学院）
针对关键词识别中的分布偏移问题，提出PatchDSU方法，通过分块增强特征统计量，在多个数据集和噪声条件下实现更稳定的域外泛化。
2025-08-05 cs.LG eess.AS
Mapping Written Words to Spoken Words in a Different Language Using Only Visual Grounding
Politehnica Bucharest（布加勒斯特理工大学）；Stellenbosch University（斯坦陵布什大学）；Trinity College Dublin（都柏林圣三一学院）
本研究针对低资源场景下的语音数据构建问题，提出一种基于自监督语音表示的对齐方法，可从视觉 grounding 数据中直接学习跨语言词到语音的映射，效果优于以往的注意力模型。
2026-08-28 cs.CL eess.AS
MAESTRO: a Multimodal Auditory-attention Egocentric Speech-TRacking Open corpus
The Ohio State University（俄亥俄州立大学）
本文提出MAESTRO，首个同时记录EEG、眼动、瞳孔、自我中心视频和头部IMU的多模态听觉注意解码数据集，通过四说话者基准证明融合行为与生理信号优于纯EEG方法。
2026-09-29 cs.HC cs.LG cs.SD
Speech Unlearning
University of Massachusetts Lowell（马萨诸塞大学洛维尔分校）
本文提出语音任务中的机器遗忘问题，定义样本遗忘与类别遗忘两类任务，并通过关键词识别和说话人识别实验表明语音遗忘比图像和文本遗忘更具挑战性，同时指出未来研究方向。
2025-06-01 cs.AI cs.LG cs.SD
Real-Time System for Audio-Visual Target Speech Enhancement
Bose Corporation（博世公司）；Georgia Institute of Technology（佐治亚理工学院）
本文介绍RAVEN，一个完全在CPU上运行的实时音视频语音增强系统，利用预训练视觉嵌入编码嘴唇运动，以增强目标语音并抑制干扰，适用于多种噪声和干扰场景。
2025-09-25 cs.ET cs.LG eess.AS
ConceptBeam: Concept Driven Target Speech Extraction
NTT Corporation（日本电信电话株式会社）
我们提出了一个新的框架，目标语音提取的语义信息的基础上，称为ConceptBeam。目标语音提取是指从混合语音中提取目标说话人的语音。典型的方法已经利用音频信号的属性，诸如谐波结构和到达的波达方向。相比之下，ConceptBeam通过语义线索来解决问题。具体地说，我们提取说话者谈论一个概念的语音，即，感兴趣的主题，使用概念说明符，如图像或语音。解决这个新问题将为创新应用打开大门，例如专注于对话中讨论的特定主题的听力系统。与关键字不同，概念是抽象的概念，这使得直接表示目标概念具有挑战性。在我们的方案中，一个概念被编码为一个语义嵌入的概念说明映射到一个共享的嵌入空间。这种独立于模态的空间可以通过深度度量学习来构建，使用由图像及其语音字幕组成的配对数据。我们用它来桥接模态相关信息，即，混合物中的语音片段以及指定的模态无关概念。作为我们的方案的证明，我们进行了实验，使用一组与口头字幕相关的图像。也就是说，我们从这些语音字幕生成语音混合，并使用图像或语音信号作为概念说明符。然后，我们提取的目标语音使用的声学特性的识别段。我们比较ConceptBeam与两种方法：一种是基于从识别系统中获得的关键字，另一种是基于声源分离。我们表明，ConceptBeam明显优于基线方法，并有效地提取语音的语义表示的基础上。
2022-07-25 cs.LG cs.MM cs.SD
Breaking Shortcut Learning for Cross-Trial EEG-Guided Target Speech Extraction via Two-Stage Training
Department of Intelligence and Information（智能信息系）；Seoul National University（首尔国立大学）；Department of Communication Sciences and Disorders（沟通科学与障碍系）；University of Iowa（爱荷华大学）；Interdisciplinary Program in Artificial Intelligence（人工智能交叉学科项目）；Artificial Intelligence Institute（人工智能研究所）
针对EEG引导目标语音提取中模型依赖试验特定结构导致泛化差的问题，提出两阶段框架TRUST-TSE，通过对比预训练和置信加权提取目标抑制捷径学习，在跨试验协议下优于端到端基线。
2026-06-24 cs.AI cs.SD eess.AS
Zero-Shot KWS for Children's Speech using Layer-Wise Features from SSL Models
National Institute of Technology, Sikkim（锡金国家理工学院）；Signal Analysis and Interpretation Laboratory, University of Southern California（信号分析与解释实验室，南加州大学）
本文提出利用 Wav2Vec2、HuBERT 和 Data2Vec 的分层 SSL 特征训练基于 Kaldi 的 DNN 关键词识别系统，在成人数据训练、儿童数据零样本测试中取得最优表现并验证了噪声鲁棒性。
2025-08-28 cs.AI cs.HC cs.SD
