Voice Activity Detection for Transient Noisy Environment Based on Diffusion Nets
Andrew and Erna Viterbi Faculty of Electrical Engineering, Technion-Israel Institute of Technology（以色列理工学院安德鲁与厄娜·维特比电气工程学院）
我们解决语音活动检测的瞬态和稳态噪声，这往往发生在现实生活中的场景中的声学环境。我们利用独特的语音和非语音音频帧的空间模式，通过独立学习他们的基本几何结构。该过程通过基于深度编码器-解码器的神经网络架构来完成。这种结构涉及一个编码器，它将具有时间信息的频谱特征映射到它们的低维表示，这些表示是通过应用扩散映射方法生成的。编码器将嵌入数据反馈给解码器，解码器将嵌入数据映射回高维空间。通过将解码器连接到编码器来获得深度神经网络，其被训练为将语音与非语音帧分离，类似于已知的扩散网络架构。实验结果表明，增强的性能相比，竞争的语音活动检测方法。该算法在准确性、鲁棒性和泛化能力上都有了提高。我们的模型以实时的方式执行，可以集成到基于音频的通信系统中。我们还提出了一个批处理算法，它获得了更高的精度离线应用。
2021-06-25 cs.LG cs.SD eess.AS
MLNET: An Adaptive Multiple Receptive-field Attention Neural Network for Voice Activity Detection
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）
语音活动检测（VAD）区分语音和非语音，其性能对于基于语音的服务至关重要。最近，基于深度神经网络（DNN）的VAD已经实现了比传统信号处理方法更好的性能。现有的基于DNN的语音检测模型通常采用手工创建固定窗口的方法来利用上下文语音信息来提高语音检测的性能。然而，固定的上下文语音信息窗口不能处理各种不可预测的噪声环境，突出关键的语音信息VAD任务。为了解决这一问题，本文提出了一种自适应多感受野注意神经网络（MLNET）来完成VAD任务。MLNET利用多分支提取多个上下文语音信息，并研究了有效的注意力块来加权上下文的最关键部分以进行最终分类。在真实场景中的实验表明，所提出的基于MLNET的模型优于其他基线。
2020-08-13 cs.LG cs.SD eess.AS
Evaluation of Deep-Learning-Based Voice Activity Detectors and Room Impulse Response Models in Reverberant Environments
Technion -- Israel Institute of Technology（以色列理工学院）
最先进的基于深度学习的语音活动检测器（VAD）通常使用消声数据进行训练。然而，真实的声学环境通常是混响的，这导致性能显著恶化。为了减轻训练数据和真实数据之间的这种不匹配，我们模拟了一个包含近500万个话语的增强训练集。该扩展包括消声话语及其混响修改，由消声话语与各种房间脉冲响应（RIR）的卷积生成。我们考虑了五种不同的模型来生成RIR，以及五种不同的VAD，它们是用增强训练集训练的。我们在三种不同的真实混响环境中测试所有经过训练的系统。实验结果表明，$20\%$的准确性，精确度和召回率的平均增加所有检测器和响应模型，与消声训练。此外，对于所有测试的VAD，其中一个RIR模型始终比其他模型产生更好的性能。此外，在所有实验中，其中一种VAD始终优于其他VAD。
2021-06-25 cs.LG cs.SD eess.AS
Window Size Versus Accuracy Experiments in Voice Activity Detectors
Google LLC Mountain View, U.S.A.（谷歌公司）
本研究通过对比不同窗口大小对三种VAD算法准确性的影响，发现Silero性能最佳，滞后效应能提升WebRTC的性能。
2026-01-24 cs.CL cs.SD eess.AS
CNN self-attention voice activity detector
OriginAI（起源人工智能）
在这项工作中，我们提出了一种新的单通道语音活动检测器（VAD）的方法。我们利用卷积神经网络（CNN），它利用噪声输入频谱的空间信息来提取逐帧嵌入序列，然后是自注意（SA）编码器，其目标是从嵌入序列中找到上下文信息。不同于以往的作品，分别采用在每个帧（与上下文帧），我们的方法是能够处理整个信号一次，从而使长的感受野。我们表明，CNN和SA架构的融合优于仅基于CNN和SA的方法。大量的实验研究表明，我们的模型优于以前的模型在现实生活中的基准，并提供了国家的最先进的（SOTA）的结果与相对较小的和轻量级的模型。
2022-03-06 cs.SD eess.AS
Denoising Deep Neural Networks Based Voice Activity Detection
Tsinghua University（清华大学）
最近，已经提出了基于深度信念网络（DBN）的语音活动检测（VAD）。它是强大的融合多种功能的优势，并达到最先进的性能。然而，基于DBN的VAD的深层并没有显示出比浅层明显的优越性。在本文中，我们提出了一种基于去噪深度神经网络（DDNN）的VAD来解决上述问题。具体来说，我们以一种特殊的无监督去噪贪婪逐层模式对深度神经网络进行预训练，然后通过常用的反向传播算法对整个网络进行有监督的微调。在预训练阶段，我们把含噪语音信号作为可见层，并尝试提取一个新的特征，使含噪语音信号与其对应的干净语音信号之间的重建交叉熵损失最小化。实验结果表明，所提出的基于DDNN的VAD不仅优于基于DBN的VAD，但也表现出明显的性能改善的深层较浅的层。
2013-03-04 cs.LG cs.SD stat.ML
NAS-VAD: Neural Architecture Search for Voice Activity Detection
Sungkyunkwan University（成均馆大学）；Graduate School of AI, POSTECH（浦项科技大学人工智能研究生院）
已经提出了各种基于神经网络的方法用于更鲁棒和准确的语音活动检测（VAD）。人工设计这种神经结构是一个容易出错和耗时的过程，这促使了自动设计和优化网络结构的神经结构搜索（NAS）的发展。虽然NAS已成功应用于提高各种任务的性能，但尚未在VAD领域中得到利用。在本文中，我们提出的第一项工作，利用NAS的方法上的VAD任务。为了有效地搜索架构的VAD任务，我们提出了一个修改后的宏结构和一个新的搜索空间，具有更广泛的操作范围，包括注意力操作。结果表明，提出的NAS框架发现的网络结构优于以前手动设计的最先进的VAD模型在各种噪声添加和真实世界记录的数据集。我们还表明，在特定数据集上搜索的架构在看不见的音频数据集上实现了更好的泛化性能。我们的代码和模型可在https://github.com/daniel03c1/NAS_VAD上找到。
2022-03-29 cs.LG cs.SD eess.AS
Self-supervised Pretraining for Robust Personalized Voice Activity Detection in Adverse Conditions
Aalborg University（奥尔堡大学）；Oticon A/S（奥迪康有限公司）；Pioneer Centre for AI（人工智能先锋中心）
本文利用APC自监督预训练LSTM编码器并提出去噪变体，再用于个性化VAD微调，显著提升模型在干净语音及多噪声、多SNR恶劣条件下的性能与鲁棒性。
2024-01-23 cs.LG cs.SD eess.AS
Speech enhancement aided end-to-end multi-task learning for voice activity detection
Northwestern Polytechnical University（西北工业大学）
在低信噪比环境下，鲁棒的语音活动检测（VAD）是一项具有挑战性的任务。近年来的研究表明，语音增强对语音检测有一定的帮助，但性能的提高是有限的。为了解决这个问题，在这里，我们提出了一个语音增强辅助VAD端到端的多任务模型。该模型有两个解码器，一个用于语音增强，另一个用于VAD。这两个解码器共享相同的编码器和语音分离网络。与将VAD和语音增强分别作为两个独立目标的直接思想不同，本文提出了一种新的联合优化目标--VAD掩蔽的尺度不变源失真比（mSI-SDR）。mSI-SDR在训练过程中使用VAD信息来掩蔽语音增强解码器的输出。该算法不仅使语音检测和语音增强任务在共享的编码器和分离网络上得到了联合优化，而且在目标层上得到了联合优化。理论上也满足实时工作要求。实验结果表明，多任务的方法显着优于其单任务VAD对应。此外，mSI-SDR在相同的多任务设置中优于SI-SDR。
2021-04-13 cs.LG cs.SD eess.AS
voice2mode: Phonation Mode Classification in Singing using Self-Supervised Speech Models
University of Birmingham, School of Computer Science, Birmingham, UK（伯明翰大学计算机科学学院）；Carnegie Mellon University, Information Systems, Doha, Qatar（卡内基梅隆大学信息系统）；University of Southern California, Department of Electrical（南加州大学电气工程系）
voice2mode利用自监督语音模型提取的嵌入对四种歌唱发声模式进行分类，实验表明基础模型特征在准确率上显著优于传统方法。
2026-02-14 cs.LG cs.SD
End-to-End Speaker-Dependent Voice Activity Detection
Shanghai Jiao Tong University（上海交通大学）
语音活动检测（VAD）是自动语音识别（ASR）和说话人识别等任务的重要预处理步骤。一个基本的目标是去除音频中的无声片段，而更一般的VAD系统可以去除所有不相关的片段，如噪声，甚至是来自非目标扬声器的不需要的语音。我们定义的任务，它只检测从目标扬声器的语音，作为扬声器相关的语音活动检测（SDVAD）。该任务在实际应用中非常常见，并且通常通过对从VAD提取的音频段执行说话人验证（SV）来实现。在本文中，我们提出了一个端到端的神经网络为基础的方法来解决这个问题，显式地将扬声器的身份到建模过程中。此外，可以以在线方式执行推理，这导致低系统延迟。实验进行了会话电话数据集生成的交换机语料库。结果表明，我们提出的在线方法取得了显着更好的性能比通常的VAD/SV系统的帧精度和F分数。我们还使用了我们以前提出的段级指标进行更全面的分析。
2020-09-21 cs.SD eess.AS
X-Vector based voice activity detection for multi-genre broadcast speech-to-text
BBC Research & Development（BBC 研发部）
语音激活检测（VAD）是自动语音识别中的一个基本的预处理步骤。在广播行业中尤其如此，在广播行业中，会遇到各种各样的音频材料和记录条件。基于以前的研究表明，xvector嵌入可以应用于一组不同的音频分类任务，我们调查的适用性的x-向量在区分语音噪声。我们发现，所提出的基于x-向量的VAD系统在检测干净的语音AVA-Speech上实现了最好的报告分数，同时在存在噪声和音乐的情况下保持了稳健的VAD性能。此外，我们将基于x向量的VAD系统集成到现有的STT管道中，并将其在多个广播数据集上的性能与WebRTC VAD基线系统进行比较。至关重要的是，我们提出的基于x向量的VAD提高了真实世界广播音频上STT转录的准确性
2021-12-09 cs.SD eess.AS
BC-VAD: A Robust Bone Conduction Voice Activity Detection
Logitech（罗技）
语音活动检测（VAD）是许多音频应用中的基本模块。最近最先进的VAD系统通常基于神经网络，但在保持较大模型的性能时，它们需要的计算预算通常超过小型电池供电设备的能力。在这项工作中，我们依靠从骨传导麦克风（BCN）的输入设计一个有效的VAD（BC-VAD）对残留的非平稳噪声的鲁棒性源于环境或扬声器不穿BCN。我们首先表明，一个更大的VAD系统（58 k参数）实现了最先进的结果在公开的基准，但失败时，骨传导信号运行。然后，我们将其变体BC-VAD（5 k参数并在BC数据上训练）与专为微控制器设计的基线进行比较，并表明所提出的方法在各种指标下实现了更好的性能，同时保持了微控制器的实时处理要求。
2022-12-06 cs.SD eess.AS
Voice Activity Detection in presence of background noise using EEG
Brain Machine Interface Lab The University of Texas at Austin（德克萨斯大学奥斯汀分校脑机接口实验室）
在本文中，我们证明了语音活动检测（VAD）系统在背景噪声的存在下工作的性能，可以提高级联的声输入功能与脑电图（EEG）功能。我们还表明，VAD只使用EEG功能比VAD只使用声学特征的背景噪声的存在下，表现出更好的性能。我们实现了一个基于递归神经网络（RNN）的VAD系统，并在本文中展示了在不同噪声条件下记录的两个不同数据集的结果。最后，我们证明了预测一个人是否希望继续说一句话或不从EEG功能的能力。
2020-03-14 cs.SD eess.AS eess.SP
rVAD: An Unsupervised Segment-Based Robust Voice Activity Detection Method
Aalborg University（奥尔堡大学）；Massachusetts Institute of Technology（麻省理工学院）；VIT-AP University（VIT-AP大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出了一种无监督的基于段的鲁棒语音活动检测（rVAD）方法。该方法包括两个通道的去噪，然后是语音活动检测（VAD）阶段。在第一遍中，通过使用后验信噪比（SNR）加权能量差来检测语音信号中的高能量段，并且如果在段内没有检测到音调，则该段被认为是高能量噪声段并且被设置为零。在第二遍中，语音信号通过语音增强方法去噪，为此探索了几种方法。接下来，具有音高的相邻帧被分组在一起以形成音高段，并且基于语音统计，音高段从两端进一步扩展，以便包括有声和无声声音以及可能的非语音部分。最后，将后验SNR加权能量差应用于去噪后的语音信号的扩展基音段以检测语音活动。我们使用两个数据库，RATS和Aurora-2，其中包含各种各样的噪声条件下，所提出的方法的VAD性能进行评估。在RedDots 2016挑战数据库及其噪声破坏版本上，进一步评估了rVAD方法的说话人验证性能。实验结果表明，rVAD是优于现有的方法。此外，我们提出了一个修改后的版本的rVAD计算密集的音高提取取代计算高效的频谱平坦度计算。修改后的版本显著降低了计算复杂性，但代价是VAD性能稍差，这在处理大量数据和在低资源设备上运行时是一个优势。rVAD的源代码是公开的。
2022-01-11 cs.CL cs.LG cs.SD
Voice Activity Detection (VAD) in Noisy Environments
Johns Hopkins University（约翰斯·霍普金斯大学）
本文针对噪声环境下语音与非语音难以区分的问题，提出结合专用滤波技术的新型VAD算法，并通过测试验证其在多种背景噪声中的高精度与鲁棒性。
2023-12-10 cs.SD eess.AS
Rule-embedded network for audio-visual voice activity detection in live musical video streams
Ghent University（根特大学）；New York University（纽约大学）；Bytedance AI Lab（字节跳动人工智能实验室）
在现场音乐流中检测主持人的声音是音乐和语音信号处理的重要预处理。现有的语音活动检测（VAD）方法主要依赖于音频，然而，在噪声环境中，基于音频的VAD很难有效地聚焦于目标语音。在视觉信息的帮助下，本文提出了一种嵌入规则的网络来融合视听（A-V）输入，以帮助模型更好地检测目标语音。该规则在模型中的核心作用是协调双模态信息之间的关系，并以视觉表征为掩模过滤掉非目标声音信息。实验表明：1）在提出的规则的跨模态融合的帮助下，A-V分支的检测结果优于音频分支的检测结果; 2）双模态模型的性能远远优于纯音频模型，表明音频和视频信号的合并对VAD非常有利。为了引起人们对跨模态音乐和音频信号处理的更多关注，提出了一种新的具有帧级标签的现场音乐视频语料库。
2020-10-31 cs.MM cs.SD eess.AS
SVVAD: Personal Voice Activity Detection for Speaker Verification
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）
本文提出SVVAD框架，通过无标签三元组损失训练实现面向说话人验证的个人语音活动检测，在混合说话人场景下显著降低等错误率，并揭示与人类判断一致的语音重要性边界。
2023-05-31 cs.AI cs.SD eess.AS
Cross-Channel Attention-Based Target Speaker Voice Activity Detection: Experimental Results for M2MeT Challenge
Duke University（杜克大学）；Duke Kunshan University（昆山杜克大学）
在本文中，我们提出了发言人日记系统的多通道多方会议转录挑战（M2MeT）的团队DKU_DukeECE。由于数据集中存在高度重叠的语音，我们采用基于x向量的目标说话人语音活动检测（TS-VAD）来找到说话人之间的重叠。对于单通道场景，我们分别为8个通道中的每个通道训练模型并融合结果。我们还采用跨通道自注意来进一步提高性能，其中不同通道之间的非线性空间相关性被学习和融合。在评估集上的实验结果表明，单通道TS-VAD将DER从12.68%降低到3.14%，降低了75%以上。多通道TS-VAD进一步将DER降低了28%，并实现了2.26%的DER。我们最终提交的系统在AliMeeting测试集上达到了2.98%的DER，在M2MET挑战中排名第一。
2022-02-06 cs.SD eess.AS
Online Target Speaker Voice Activity Detection for Speaker Diarization
Duke University（杜克大学）；Duke Kunshan University（昆山杜克大学）；Lenovo Research（联想研究院）
本文提出了一种在线目标说话人语音活动检测系统的说话人日记任务，它不需要从基于聚类的日记系统的先验知识，以获得目标说话人嵌入。首先，我们采用一个基于ResNet的前端模型来提取信号的每个未来块的帧级扬声器嵌入。接下来，我们根据这些帧级说话人嵌入和先前估计的目标说话人嵌入来预测每个说话人的检测状态。然后，通过根据当前块中的预测聚合这些帧级说话人嵌入来更新目标说话人嵌入。我们迭代地提取每个块的结果，并更新目标说话人嵌入，直到到达信号的末尾。在AliMeeting数据集上的实验结果表明，该方法优于基于离线聚类的日志化系统。
2022-07-13 cs.SD eess.AS eess.SP
End-to-End Integration of Speech Emotion Recognition with Voice Activity Detection using Self-Supervised Learning Features
Research & Development Group, Hitachi, Ltd.（日立公司研发集团）
本文提出一种基于自监督学习特征的端到端方法，将语音活动检测与语音情感识别联合训练，在IEMOCAP数据集上提升了情感识别性能，并分析了VAD输出和SSL编码器各层权重。
2024-10-17 cs.SD eess.AS
Foreground Voice Activity Detection: Learning Speaker Selectivity from Supervision
Recho Inc.（Recho公司）
本文提出前景语音活动检测（FVAD），通过自动生成的竞争说话人混合增强训练，使轻量级流式模型Mamba-FVAD在保持传统VAD性能的同时，显著提升前景说话人选择性，优于商业系统。
2026-09-18 cs.SD eess.AS
Better Together: Dialogue Separation and Voice Activity Detection for Audio Personalization in TV
Fraunhofer IIS（弗劳恩霍夫集成电路研究所）；Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU)（埃尔朗根-纽伦堡弗里德里希-亚历山大大学（FAU））
在电视服务中，对话级别个性化是满足用户偏好和需求的关键。当对话和背景声音不能从制作阶段分离时，对话分离（DS）可以估计它们以实现个性化。DS被证明为最终用户提供了明显的益处。然而，估计的信号并不完美，并且可能引入一些泄漏。这是不希望的，尤其是在没有对话的段落中。我们建议结合DS和语音活动检测（VAD），最近提出的电视音频。当它们的组合表明对话不活动时，对话估计中泄漏的背景分量被重新分配给背景估计。无对话信号的音频质量得到了明显改善，而对话处于活动状态时性能没有下降。还生成具有改进的检测精度的后处理的VAD估计。结果表明，DS和VAD可以相互促进，更好地结合使用。
2023-03-23 cs.SD eess.AS
VADOI:Voice-Activity-Detection Overlapping Inference For End-to-end Long-form Speech Recognition
University of California Los Angeles（加州大学洛杉矶分校）；Amazon Alexa（亚马逊 Alexa）
虽然端到端模型在自动语音识别任务上取得了巨大的成功，但当目标句子是长格式时，性能会严重下降。先前提出的方法，（部分）重叠推理被证明是有效的长形式解码。对于这两种方法，字错误率（WER）单调下降时，重叠百分比减少。在不考虑计算成本的情况下，推理过程中50%重叠的设置可以获得最佳性能。然而，较低的重叠百分比具有推理速度快的优点。在本文中，我们首先进行全面的实验比较重叠推理和部分重叠推理与各种配置。然后，我们提出了语音活动检测重叠推理，以提供WER和计算成本之间的权衡。实验结果表明，与性能最好的重叠推理算法相比，该方法在Librispeech和Microsoft Speech Language Translation长格式语料库上的计算成本相对降低了20%，同时保持了WER性能。我们还提出了软匹配，以弥补类似的词不对齐的问题。
2022-02-22 cs.SD eess.AS
Voice Activity Detection Scheme by Combining DNN Model with GMM Model
Haier Smart Home Co., Ltd.（海尔智家股份有限公司）
由于深度神经网络（DNN）具有优越的建模能力，被广泛应用于语音活动检测（VAD）。然而，如果没有足够的数据，特别是实际数据可以用于训练，性能可能会下降，从而导致对环境的适应能力差。此外，大模型结构并不总是能在实际中使用，特别是对于使用受限硬件的低成本设备。而高斯混合模型（GMM）则相反，GMM模型参数可以实时更新，但建模能力较低。本文提出了将这两种模型进行深度集成的方案，以提高模型的适应性和建模能力。这是通过直接组合模型的结果并将其与DNN模型的结果一起反馈以更新GMM模型来完成的。此外，本文还设计了一种控制方案来检测语音端点。通过实验验证了该方法的优越性能，从而体现了有监督学习和无监督学习相结合的优势。
2020-05-17 cs.SD eess.AS
A Bin Encoding Training of a Spiking Neural Network-based Voice Activity Detection
Logitech Europe S.A.（罗技欧洲公司）
人工神经网络（ANN）的深度学习的进步已经导致在数字芯片上实现的数字信号处理系统的性能的显著改进。虽然最近在低功耗芯片方面的进展是显著的，但是由于随后的基于稀疏尖峰的编码方案，运行基于尖峰神经网络（SNN）的应用的神经形态芯片提供甚至更低的功耗。在这项工作中，我们开发了一个基于SNN的语音活动检测（VAD）系统，属于任何音频和语音处理系统的构建块。我们建议使用bin编码，这是一种将单时间帧的对数梅尔滤波器组bin转换为尖峰模式的新方法。我们将该方案集成在一个双层尖峰架构，QUT-NOISE-TIMIT语料库进行了评估。我们的方法表明，SNN实现了VAD分类器的超低功耗实现，仅消耗3.8 $μ$ W，同时实现了最先进的性能。
2019-10-28 cs.SD eess.AS
Real-Time Voicemail Detection in Telephony Audio Using Temporal Speech Activity Features
ClearGrid
本文提出一种轻量方法，通过提取预训练神经语音活动检测器的15个时序特征，并结合浅层树状集成分类器，实现了电话音频中实时区分语音信箱问候与真人回答的高准确率检测。
2026-04-02 cs.AI cs.LG cs.SD
Target-Speaker Voice Activity Detection: a Novel Approach for Multi-Speaker Diarization in a Dinner Party Scenario
STC-innovations Ltd（STC创新有限公司）；ITMO University（圣彼得堡国立信息技术机械与光学大学）
真实场景中的说话人日志化是一个极具挑战性的问题。广泛使用的基于聚类的日记化方法在这种情况下表现得相当差，主要是由于处理重叠语音的能力有限。我们提出了一种新的目标说话人语音活动检测（TS-VAD）的方法，它直接预测每个扬声器在每个时间帧上的活动。TS-VAD模型采用传统的语音特征（例如，MFCC）以及每个扬声器的i向量作为输入。一组二进制分类输出层产生每个说话者的活动。可以迭代地估计I向量，从基于强聚类的日志化开始。我们还扩展了TS-VAD方法的多麦克风的情况下，使用一个简单的注意力机制上的隐藏表示提取的单通道TS-VAD模型。此外，预测的说话人活动概率的后处理策略进行了研究。在CHiME-6未分割数据上的实验表明，TS-VAD实现了最先进的结果，优于基于x向量的基线系统超过30%的日志化错误率（DER）绝对值。
2020-07-27 cs.CL cs.SD eess.AS
A Real-Time Voice Activity Detection Based On Lightweight Neural
Haier Smart Home Co., Ltd.（海尔智家股份有限公司）；State Key Laboratory of Digital Household Appliances（数字家电国家重点实验室）
本文提出轻量级实时神经网络MagicNet，采用因果深度可分离一维卷积和GRU，在不依赖未来特征的情况下，以更少参数在域内外数据集上超越两种最先进VAD算法，实现更优性能与鲁棒性。
2024-05-27 cs.AI cs.SD eess.AS
End-to-End Automatic Speech Recognition Integrated With CTC-Based Voice Activity Detection
Nagoya University（名古屋大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文将语音活动检测（VAD）功能与端到端自动语音识别集成到一个在线语音界面，并转录很长的音频记录。我们专注于连接主义时间分类（CTC）及其扩展的CTC/注意架构。与基于注意力的架构相反，输入同步标签预测可以基于具有CTC（预）softmax输出的贪婪搜索来执行。该预测包括连续的长空白标签，可以将其视为非语音区域。我们使用的标签作为一个线索，检测语音段与简单的阈值。阈值与非语音区域的长度直接相关，这比传统的VAD超参数更直观，更容易控制。未分割数据的实验结果表明，该方法优于基线方法使用传统的基于能量和神经网络的VAD方法，并实现了RTF小于0.2。所提出的方法是公开可用的。
2020-02-14 cs.CL cs.SD eess.AS
Beyond Voice Activity Detection: Hybrid Audio Segmentation for Direct Speech Translation
Fondazione Bruno Kessler（布鲁诺·凯塞勒基金会）；University of Trento（特伦托大学）
在直接语音翻译中，训练数据和运行时看到的数据之间的音频分割不匹配是一个主要问题。事实上，虽然系统通常是在手动分割的语料库上训练的，但在实际用例中，它们通常会呈现需要自动（和次优）分割的连续音频。在比较了现有的技术（基于VAD的，固定长度和混合分割方法），在本文中，我们提出了增强的混合解决方案，以产生更好的结果，而不牺牲延迟。通过对不同领域和语言对的实验，我们表明我们的方法优于所有其他技术，将传统的基于VAD的方法和最佳手动分割之间的差距缩小了至少30%。
2021-10-14 cs.CL cs.SD eess.AS
Multitask Detection of Speaker Changes, Overlapping Speech and Voice Activity Using wav2vec 2.0
University of West Bohemia（西波西米亚大学）
本文利用 wav2vec 2.0 自监督模型，提出多任务系统同时检测说话人变化、重叠语音和语音活动，在四个语料库上超越先前结果，并在 AMI 语料库上达到最先进性能。
2023-03-10 cs.SD eess.AS
Enrollment-less training for personalized voice activity detection
NTT Media Intelligence Laboratories, NTT Corporation（日本电信电话株式会社媒体智能研究所）
我们提出了一种新的个性化语音活动检测（PVAD）学习方法，在训练过程中不需要注册数据。PVAD是利用目标说话人的注册语音在帧级检测特定目标说话人的语音片段的任务。由于PVAD必须学习说话人的语音变化以澄清说话人之间的边界，因此对PVAD的研究使用了包含每个说话人的许多话语的大规模数据集。然而，用于训练PVAD模型的数据集通常是有限的，因为需要大量成本来准备这样的数据集。此外，我们不能利用用于训练标准VAD的数据集，因为它们通常缺乏说话人标签。为了解决这些问题，我们的关键思想是使用一个话语作为一种注册语音和PVAD在训练过程中的输入，这使得PVAD训练没有注册语音。在我们提出的方法中，称为无注册训练，我们增加一个话语，以便在输入和注册语音之间创建可变性，同时保持说话人身份，这避免了训练和推理之间的不匹配。我们的实验结果证明了该方法的有效性。
2021-06-23 cs.SD eess.AS
Voice Activity Detection: Merging Source and Filter-based Information
Toshiba Cambridge Research Laboratory（东芝剑桥研究实验室）
语音活动检测（VAD）是指从背景噪声中区分语音段的问题。已经为此目的提出了许多方法。一些是基于从功率谱密度导出的特征，另一些是利用信号的周期性。本文的目标是研究联合使用的源和过滤器为基础的功能。有趣的是，一个基于互信息的评估显示出优越的歧视权力的源相关的功能，特别是建议的。这些特征进一步是在多条件数据库上训练的基于人工神经网络的分类器的输入。提出了两种融合源信息和过滤信息的策略：特征融合和决策融合。我们的实验表明，当使用决策融合时，相等的出错率的绝对减少3%。将最终提出的系统与四种最先进的方法在真实环境中记录的150分钟数据进行比较。由于其源相关特征的鲁棒性、多条件训练和有效的信息融合，所提出的系统在所有条件下的准确性都比最好的最先进的VAD大幅提高（平均绝对值为24%）。
2019-03-07 cs.SD eess.AS
Voice Activity Detection for Ultrasound-based Silent Speech Interfaces using Convolutional Neural Networks
University of Szeged（塞格德大学）
当输入音频信号有噪声时，语音活动检测（VAD）不是一件容易的事情，当输入甚至不是音频记录时，它甚至更加复杂。这是无声语音接口（SSI）的情况下，我们记录的发音器官在讲话过程中的运动，我们的目标是从这个记录重建语音信号。我们的SSI系统从舌头运动的超声波视频合成语音，并且所得到的语音信号的质量通过诸如底层神经网络的均方误差损失函数和与原始相比重建语音的梅尔倒谱系数失真（MCD）的度量来评估。在这里，我们首先证明，在训练数据中的沉默量可以有MCD评估指标和神经网络模型的性能的影响。然后，我们训练一个卷积神经网络分类器来分离无声和含语音的超声舌图像，使用传统的VAD算法从相应的语音信号创建训练标签。在实验中，我们的基于超声的语音/沉默分离器实现了约85%的分类准确率和约86%的AUC得分。
2021-09-18 cs.SD eess.AS
Noise-Robust Target-Speaker Voice Activity Detection Through Self-Supervised Pretraining
Aalborg University（奥尔堡大学）；Oticon A/S（奥迪康公司）；Pioneer Centre for AI（先锋人工智能中心）
本文提出因果自监督预训练框架 DN-APC，并结合说话人条件化方法，提升 TS-VAD 在已见与未见噪声环境下的检测鲁棒性，FiLM 条件化整体表现最佳。
2025-01-06 cs.LG cs.SD eess.AS
Voice activity detection in the wild via weakly supervised sound event detection
Shanghai Jiao Tong University（上海交通大学）
传统的有监督语音活动检测（VAD）方法在干净和受控的场景中工作良好，在现实世界的应用中性能严重下降。一个可能的瓶颈是，语音在野外包含不可预测的噪声类型，因此帧级标签预测是困难的，这是传统的监督VAD训练所需要的。相比之下，我们提出了一个通用的VAD（GPVAD）框架，它可以很容易地从噪声数据中以弱监督的方式进行训练，只需要剪辑级别的标签。我们提出了两个GPVAD模型，一个是完整的（GPV-F），在527个Audioset声音事件上训练，另一个是二进制的（GPV-B），只区分语音和噪声。我们评估两个GPV模型对CRNN为基础的标准VAD模型（VAD-C）的三个不同的评估协议（干净，合成噪声，真实数据）。结果表明，与传统的VAD-C相比，我们提出的GPV-F在清洁和合成场景中表现出具有竞争力的性能。此外，在现实世界的评估中，GPV-F在帧级评估指标和片段级评估指标方面大大优于VAD-C。由于对帧标记数据的要求低得多，朴素二进制剪辑级GPV-B模型在现实场景中仍然可以实现与VAD-C相当的性能。
2020-08-16 cs.SD eess.AS
sVAD: A Robust, Low-Power, and Light-Weight Voice Activity Detection with Spiking Neural Networks
National University of Singapore（新加坡国立大学）
针对现有基于脉冲神经网络的语音活动检测噪声鲁棒性不足、模型体积大的问题，本文提出sVAD模型，结合SincNet、一维卷积、注意力机制和脉冲循环神经网络，实现了鲁棒、低功耗、轻量级的语音活动检测。
2024-03-09 cs.NE cs.SD eess.AS
Attention Is Not Always the Answer: Optimizing Voice Activity Detection with Simple Feature Fusion
Sony Research India（索尼印度研究院）
本文提出FusionVAD框架，通过拼接、加法和交叉注意力融合MFCCs与多种预训练模型特征，发现简单加法融合在准确性和效率上优于交叉注意力，并在多个数据集上超越Pyannote，平均绝对提升2.04%。
2025-06-02 cs.CL cs.SD eess.AS
Semantic VAD: Low-Latency Voice Activity Detection for Speech Interaction
University of Science and Technology of China (USTC)（中国科学技术大学）；Tianjin University（天津大学）；Alibaba Group（阿里巴巴集团）
本文提出一种用于低延迟分割的语义 VAD 方法，通过引入帧级标点预测、人工端点分类及 ASR 语义损失，在保持后端 ASR 字符错误率不显著恶化的前提下将平均延迟降低 53.3%。
2023-05-21 cs.SD eess.AS
Profile-Error-Tolerant Target-Speaker Voice Activity Detection
Microsoft（微软）
针对 TS-VAD 依赖首轮聚类声纹且易受误差影响的问题，提出 PET-TSVAD，通过可变说话人 transformer、伪声纹和多聚类训练提升鲁棒性，并在两个数据集上优于现有方法。
2024-04-03 cs.SD eess.AS
Flow-TSVAD: Target-Speaker Voice Activity Detection via Latent Flow Matching
Shanghai Jiao Tong University（上海交通大学）；Shenzhen Research Institute of Big Data（深圳大数据研究院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；National University of Singapore（新加坡国立大学）
本文首次将流匹配生成方法引入说话人日志，通过映射到潜在空间提出Flow-TSVAD，优于Seq2Seq-TSVAD，且两步推理即可收敛，多次采样集成可提升性能。
2024-09-19 cs.SD eess.AS
Voice activity detection in the wild: A data-driven approach using teacher-student training
语音活动检测是自动语音识别（ASR）等语音相关任务的重要预处理组件。传统的监督式VAD系统通过使用例如隐马尔可夫模型这些ASR模型通常在干净和完全转录的数据上训练，限制VAD系统在干净或合成噪声数据集上训练。因此，有监督的VAD系统的一个主要挑战是它们对有噪声的真实世界数据的泛化。这项工作提出了一种数据驱动的教师-学生的VAD方法，它利用大量的和不受约束的音频数据进行训练。与以前的方法不同，在教师培训期间只需要弱标签，从而可以利用任何真实世界的潜在噪声数据集。我们的方法首先使用剪辑级监督在源数据集（Audioset）上训练教师模型。训练后，教师在未标记的目标数据集上为学生模型提供帧级指导。研究了在中型到大型数据集上训练的大量学生模型（Audioset，Voxceleb，NIST SRE）。然后，我们的方法分别在干净的，人为噪声和真实世界的数据进行评估。我们观察到显着的性能增益在人为噪声和现实世界的情况下。最后，我们将我们的方法与其他无监督和有监督的VAD方法进行了比较，证明了我们方法的优越性。
2021-05-10 cs.SD eess.AS
TurnFSM for Full-Duplex Dialogue System: Internalizing State-Machine Logic for Streaming Semantic Voice Activity Detection and Utterance-Level Rejection
Tsinghua University（清华大学）；Huawei Technologies Co., Ltd.（华为技术有限公司）
针对全双工对话系统的现有模型缺陷，提出基于LLM的TurnFSM框架，通过内化状态机逻辑统一流式语义VAD与语句级拒绝，性能优于基线且具竞争力。
2026-09-07 cs.SD eess.AS
Target Speaker Voice Activity Detection with Transformers and Its Integration with End-to-End Neural Diarization
Microsoft（微软）
提出了一种基于Transformers的目标说话人语音活动检测（TS-VAD）的说话人日志化模型。为了克服原来的TS-VAD模型的缺点，无法处理任意数量的扬声器，我们研究模型架构，使用输入张量与可变长度的时间和扬声器尺寸。将Transformer层应用于扬声器轴，以使模型输出对提供给TS-VAD模型的扬声器简档的顺序不敏感。在这些逐说话者Transformer层之间散布逐时间顺序层，以允许捕获输入语音信号的时间和跨说话者相关性。我们还扩展了一个基于端到端神经日志与基于编码器-解码器的吸引子（EEND-EDA）的日志化模型，将其基于点积的说话人检测层替换为基于变换器的TS-VAD。在VoxConverse上的实验结果表明，使用该Transformers进行跨扬声器建模将TS-VAD的日志化错误率（DER）降低了11.3%，达到了4.57%的新的最先进（SOTA）DER。此外，相对于具有类似模型大小的原始EEND-EDA，我们的扩展EEND-EDA在CALLHOME数据集上将DER降低了6.9%，在广泛使用的训练数据设置下实现了11.18%的新SOTA DER。
2022-09-26 cs.CL cs.SD eess.AS
Improvement of Noise-Robust Single-Channel Voice Activity Detection with Spatial Pre-processing
Aalborg University（奥尔堡大学）；RTX A/S（RTX公司）
语音活动检测（VAD）在嘈杂的环境中仍然是一个挑战。在接入多个麦克风的情况下，先前的研究已经尝试通过创建多通道VAD（MVAD）方法来提高VAD的噪声鲁棒性。然而，MVAD与过去已经彻底开发的单通道VAD（SVAD）相比是相对较新的。因此，通过预处理来改进SVAD方法以获得更好的VAD可能是有利的，这还没有得到充分的探索。本文通过波束形成和空间目标说话人检测两种预处理方法对SVAD进行改进。当在目标方向内不存在潜在说话者时，空间检测器将信号帧设置为零。检测器可以被实现为滤波器，这意味着根据检测器的输出对SVAD的输入信号进行滤波;或者它可以被实现为空间VAD以与SVAD输出组合。评价是在嘈杂的混响语音数据库上进行的，具有来自Aurora 2数据库的干净语音以及白噪声和多路重合噪声。结果表明，SVAD算法显着改善所提出的预处理方法，特别是空间检测器，在所有的信噪比。具有预处理的SVAD算法在具有挑战性的噪声条件下显著优于基线MVAD。
2021-04-12 cs.SD eess.AS eess.SP
SincQDR-VAD: A Noise-Robust Voice Activity Detection Framework Leveraging Learnable Filters and Ranking-Aware Optimization
Dept. Computer Science and Information Engineering, National Taiwan Normal University, Taiwan（计算机科学与信息工程系，台湾国立台湾师范大学）；National Chi Nan University, Taiwan（台湾国立中国科技大学）；Realtek Semiconductor Corp., Taiwan（台湾实达半导体公司）
针对噪声环境下VAD鲁棒性不足及训练损失与评估指标脱节的问题，提出结合Sinc可学习滤波器与二次差异排序损失的SincQDR-VAD，以更少参数提升AUROC和F2-Score。
2025-08-28 cs.SD
End-to-End Integration of Speech Separation and Voice Activity Detection for Low-Latency Diarization of Telephone Conversations
Università Politecnica delle Marche（马尔凯理工大学）；Almawave S.p.A.（阿尔马威公司）；Fondazione Bruno Kessler（布鲁诺·凯塞勒基金会）
本研究提出一种低延迟电话对话日记化方法，集成语音分离与语音活动检测，并采用因果泄漏移除算法，在CALLHOME上达到8.8%的DER，优于现有模型。
2024-05-22 cs.LG cs.SD eess.AS
LibriVAD: A Scalable Open Dataset with Deep Learning Benchmarks for Robust Voice Activity Detection
Department of Electronic Systems, Aalborg University, Denmark（电子系统系，奥胡斯大学，丹麦）；Pioneer Centre for AI, Denmark（人工智能先锋中心，丹麦）；Zoom Communications Inc., USA（Zoom通讯公司，美国）；Artificial Intelligence Laboratory, Massachusetts Institute of Technology, Cambridge MA, USA（人工智能实验室，麻省理工学院，马萨诸塞州剑桥市，美国）
LibriVAD通过大规模开源数据集和深度学习模型评估，提升语音活动检测在复杂声学条件下的鲁棒性与性能。
2026-10-30 cs.LG cs.SD
Towards Voice Reconstruction from EEG during Imagined Speech
Korea University（高丽大学）
将人类大脑活动中的想象语音翻译成语音是一个具有挑战性和吸引力的研究问题，可以通过大脑信号提供新的人类交流手段。从大脑活动重建语音的努力已经显示出他们使用口头语音数据的侵入性测量的潜力，然而，在重建想象的语音方面面临着挑战。在本文中，我们提出了NeuroTalk，它将非侵入性的大脑信号想象的语音转换成用户自己的声音。我们的模型是用口语EEG训练的，口语EEG被泛化以适应想象语音的域，从而允许想象语音和语音之间的自然对应作为地面真实。在我们的框架中，自动语音识别解码器有助于分解生成的语音的音素，从而显示从看不见的单词的语音重建的潜力。我们的研究结果意味着潜在的语音合成从人类脑电信号，不仅从口语，但也从大脑信号的想象语音。
2023-01-02 cs.HC cs.SD eess.AS
Brouhaha: multi-task training for voice activity detection, speech-to-noise ratio, and C50 room acoustics estimation
PSL University（巴黎文理研究大学）；CNRS（法国国家科学研究中心）；EHESS（法国高等社会科学研究院）；ENS（巴黎高等师范学院）；Meta AI Research（Meta人工智能研究院）；Duke University（杜克大学）；Université de Toulouse（图卢兹大学）
本文提出多任务神经网络Brouhaha，联合估计语音活动、信噪比和C50房间声学参数，用于分析含噪/混响语音并评估分离与识别模型的可靠性。
2023-05-25 cs.SD eess.AS
Property-Aware Multi-Speaker Data Simulation: A Probabilistic Modelling Technique for Synthetic Data Generation
NVIDIA（英伟达）
提出一种多说话人语音数据模拟器，通过调节统计参数控制静音和重叠分布，生成大规模音频混合物，有效解决了说话人日志和语音活动检测的数据获取与标注难题。
2023-10-18 cs.SD eess.AS
Window Size Matters: Benchmarking Voice Activity Detectors in Noise
OneByZero AI（OneByZero人工智能）
该研究针对噪声环境下的语音活动检测器（VAD）开展基准测试，对比TEN VAD、Silero VAD与RMS基线的性能，发现窗口尺寸对不同VAD的影响存在差异，还指出固定阈值F1在此场景下的局限性。
2026-10-15 cs.SD
SG-VAD: Stochastic Gates Based Speech Activity Detection
Bar-Ilan University（巴伊兰大学）
我们提出了一种新的语音活动检测（VAD）模型在低资源环境中。我们的主要思想是将VAD建模为去噪任务，并构建一个旨在识别语音分类任务的滋扰特征的网络。我们训练模型，以同时识别不相关的功能，同时预测语音事件的类型。我们的模型仅包含7.8K参数，在AVA-Speech评估集上优于先前提出的方法，并在HAVIC数据集上提供了比较结果。我们提出了它的架构，实验结果，和烧蚀研究模型的组成部分。我们在这里发布代码和模型https://www.github.com/jsvir/vad。
2022-10-28 cs.SD eess.AS
