Attentive Temporal Pooling for Conformer-based Streaming Language Identification in Long-form Speech
Google LLC（谷歌有限责任公司）
本文介绍了一种基于一致性层的语言识别系统。我们提出了一个专注的时间池机制，允许模型通过循环形式在长格式音频中携带信息，从而可以以流式方式执行推理。此外，我们研究了两个域适应方法，允许适应现有的语言识别模型，而无需重新训练模型参数为一个新的域。我们在不同的模型大小约束下对不同的模型拓扑进行了比较研究，发现基于一致性的模型显著优于基于LSTM和Transformer的模型。我们的实验还表明，注意的时间池和域适应提高模型的准确性。
2022-05-01 cs.CL cs.LG eess.AS
Recursive Attentive Pooling for Extracting Speaker Embeddings from Multi-Speaker Recordings
NTT Corporation（NTT公司）
本文提出一种递归注意力池化方法，从多说话人录音中提取各说话人嵌入，并可利用注意力权重估计说话人数量，使同一模型适用于不同人数场景，实验验证其在说话人验证和日志任务中的有效性。
2024-08-30 cs.SD eess.AS
Low-Resource Spoken Language Identification Using Self-Attentive Pooling and Deep 1D Time-Channel Separable Convolutions
NTR Labs（NTR实验室）；AO HTSTS
本备忘录描述了NTR/TSU在Dialog 2021会议上赢得低资源ASR挑战的提交，语言识别跟踪。口语识别（LID）是多语种自动语音识别（ASR）系统流水线中的重要步骤。传统上，ASR任务需要大量的标记数据，这对于世界上大多数语言（包括俄罗斯的大多数语言）来说是无法实现的。在本备忘录中，我们展示了具有Self-Attentive Pooling层的卷积神经网络在语言识别任务的低资源设置中显示出有希望的结果，并为低资源ASR挑战数据集建立了SOTA。此外，我们比较了这个和更多样化的VoxForge数据集和状态的混淆矩阵的结构，并证实了这样一个假设，即只要数据集足够多样化，使得其他分类因素，如性别，年龄等都得到了很好的平均，LID系统的混淆矩阵就具有语言相似性度量。
2021-05-31 cs.CL cs.LG cs.SD
Query-by-Example Keyword Spotting Using Spectral-Temporal Graph Attentive Pooling and Multi-Task Learning
本文提出一种基于谱-时间图注意力池化和多任务学习的示例查询关键词识别系统，通过三种编码器架构对比实验证明该框架能使13倍高效的LiCoNet达到与Conformer相当的性能。
2024-11-23 cs.AI cs.CL cs.SD
NeuralEcho: A Self-Attentive Recurrent Neural Network For Unified Acoustic Echo Suppression And Speech Enhancement
Tencent AI Lab（腾讯人工智能实验室）
声学回声消除在全双工语音通信中起着重要的作用，同时也是在扬声器重放的情况下进行识别的前端语音增强。在本文中，我们提出了一个全深度学习框架，隐式估计回声/噪声和目标语音的二阶统计量，并通过基于注意力的递归神经网络联合解决回声和噪声抑制问题。该模型在客观语音质量指标、语音识别精度和模型复杂度方面优于最先进的联合回声消除和语音增强方法F-T-LSTM。我们表明，该模型可以与说话人嵌入更好的目标语音增强，并进一步开发一个分支的自动增益控制（AGC）的任务，形成一个一体化的前端语音增强系统。
2022-05-20 cs.SD eess.AS
SALADnet: Self-Attentive multisource Localization in the Ambisonics Domain
Orange Labs（Orange实验室）；Univ. de Lorraine（洛林大学）；Inria（法国国家信息与自动化研究所）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；GIPSA-lab（GIPSA实验室）；Grenoble-INP（格勒诺布尔国立理工学院）；CNRS（法国国家科学研究中心）
在这项工作中，我们提出了一种新的自我注意力为基础的神经网络强大的多扬声器定位高保真度立体声录音。从一个最先进的卷积递归神经网络开始，我们研究了用自注意编码器取代递归层的好处，自注意编码器继承自Transformer架构。我们在合成和真实世界的数据上评估这些模型，最多有3个同时发言者。所获得的结果表明，大多数建议的架构要么执行标准杆，或优于CRNN基线，特别是在多个场景。此外，通过避免经常性的层，所提出的模型借给自己的并行计算，这是产生相当大的节省执行时间。
2021-07-23 cs.SD eess.AS
Speaker verification using attentive multi-scale convolutional recurrent network
School of Electronic and Information Engineering, South China University of Technology（华南理工大学电子与信息学院）
提出注意力多尺度卷积循环网络 AMCRN，融合局部空间与全局时序信息学习说话人嵌入，并在 VoxCeleb 数据集上验证其更低错误率、更低资源开销及更强泛化性。
2023-06-01 cs.SD eess.AS
Raw Waveform Encoder with Multi-Scale Globally Attentive Locally Recurrent Networks for End-to-End Speech Recognition
Tencent AI Lab（腾讯人工智能实验室）
端到端语音识别通常使用手工设计的声学特征作为输入，并且将特征提取模块从其联合优化中排除。为了提取可学习和自适应的特征并减少信息丢失，我们提出了一种新的编码器，该编码器采用全局注意局部递归（GALR）网络，并直接将原始波形作为输入。我们观察到改进的ASR性能和鲁棒性，通过在不同的窗口长度上应用GALR来将细粒度的时间信息聚合成多尺度的声学特征。实验在基准数据集AISHELL-2和两个5,000小时和21,000小时的大规模汉语语音语料库上进行。凭借更快的速度和可比的模型大小，我们提出的多尺度GALR波形编码器实现了一致的字符出错率降低（CERR）从7.9%到28.1%相对于强基线，包括构象和TDNN构象。特别是，我们的方法比传统的手工特征表现出显着的鲁棒性，并且在音乐混合的真实世界语音测试集上的表现优于基于MFCC的TDNN-Conformer模型的15.2%CERR。
2021-06-08 cs.AI cs.SD eess.AS
Effective Low-Cost Time-Domain Audio Separation Using Globally Attentive Locally Recurrent Networks
Tencent AI Lab（腾讯人工智能实验室）
时域音频分离网络（TasNets）的研究为语音分离带来了巨大的成功。然而，传统的TasNet难以满足工业应用中的内存和延迟限制。在这方面，我们设计了一个低成本的高性能的架构，即全球关注本地复发（GALR）网络。与双路径RNN（DPRNN）一样，我们首先将特征序列分割为2D片段，然后沿着片段内和片段间维度处理序列。我们的主要创新之处在于，在沿段间维度循环处理的特征之上，GALR将自注意机制应用于沿段间维度的序列，其聚合上下文感知信息，并且还实现并行化。我们的实验表明，GALR是一个明显更有效的网络比以前的工作。一方面，仅用1.5M参数，它以低得多的成本实现了相当的分离性能，相对于DPRNN，运行时内存减少36.1%，计算操作减少49.4%。另一方面，在与DPRNN相当的模型大小中，GALR在三个数据集中的表现一直优于DPRNN，特别是在基准WSJ 0 - 2 mix任务中，SI-SNRi的绝对改善幅度为2.4dB。
2021-01-13 cs.AI cs.LG cs.SD
Acoustic Scene Classification Using Fusion of Attentive Convolutional Neural Networks for DCASE2019 Challenge
Brno University of Technology（布尔诺理工大学）；IT4I Center of Excellence（IT4I卓越中心）
在本报告中，布尔诺理工大学（BUT）团队提交了DCASE-2019挑战的任务1（声学场景分类，ASC）。并对不同方法进行了分析。该方法融合了三种不同的卷积神经网络（CNN）拓扑结构。第一种是类似于VGG的二维CNN。第二个是二维CNN网络，它使用最大特征图激活，称为Light-CNN（LCNN）。第三种网络是一维CNN，主要用于说话人确认，称为x-向量拓扑。所有提出的网络使用自注意机制的统计池。作为一个功能，我们使用256维对数梅尔频谱图。我们的提交是使用不同融合策略在4倍生成的评估设置上训练的几个网络的融合。
2019-07-13 cs.SD eess.AS
Speech-based emotion recognition with self-supervised models using attentive channel-wise correlations and label smoothing
University of Helsinki（赫尔辛基大学）；Omilia - Conversational Intelligence（Omilia对话智能公司）；Brno University of Technology（布尔诺理工大学）
在从语音中识别情感时，我们遇到两个常见的问题：如何从语音信号中最佳地捕获情感相关信息以及如何最好地量化或分类噪声主观情感标签。自我监督的预训练表示可以从语音中鲁棒地捕获信息，从而在包括情感识别在内的许多下游任务中实现最先进的结果。然而，需要考虑跨时间聚合信息的更好方式，因为相关情感信息很可能分段出现并且在信号上不均匀。对于标签，我们需要考虑到存在来自主观人类注释的大量噪声。在本文中，我们提出了一种新的方法，专注池的基础上表示的系数之间的相关性结合标签平滑，一种方法，旨在减少训练标签上的分类器的信心。我们在基准数据集IEMOCAP上评估了我们提出的方法，并展示了超越文献的高性能。重现结果的代码可在github.com/skakouros/s3prl_attentive_correlation上获得。
2022-11-03 cs.SD eess.AS
Speech Enhancement with Intelligent Neural Homomorphic Synthesis
Tencent Ethereal Audio Lab（腾讯天籁音频实验室）
大多数神经网络语音增强模型通过直接映射傅立叶变换频谱或波形而忽略语音产生数学模型。在这项工作中，我们提出了一个神经源滤波器网络的语音增强。具体地说，我们使用同态信号处理和倒谱分析来获得含噪语音的激励和声道。与传统的信号处理不同，我们使用一个专注递归网络（ARN）模型预测的比率掩模来代替提升分离函数。然后，使用两个卷积注意递归网络（CARN）网络分别预测干净语音的激励和声道。系统的输出是从估计的激励和人声合成的。实验证明，我们提出的方法性能更好，与FullSubNet相比，SI-SNR提高了1.363dB。
2022-10-28 cs.SD eess.AS
ASAPP-ASR: Multistream CNN and Self-Attentive SRU for SOTA Speech Recognition
ASAPP Inc.（ASAPP公司）
在本文中，我们提出了国家的最先进的（SOTA）的性能LibriSpeech语料库与两种新的神经网络架构，多流CNN的声学建模和自我关注的简单递归单元（SRU）的语言建模。在混合ASR框架中，多流CNN声学模型在多个并行流水线中处理语音帧的输入，其中每个流具有用于分集的唯一扩张率。使用SpecAugment数据增强方法进行训练，它在测试-clean上实现了4%的相对字错误率（WER）改善，在测试-其他上实现了14%的改善。我们使用24层自关注SRU语言模型通过N-best重新评分进一步提高了性能，在test-clean上实现了1.75%的WER，在test-other上实现了4.46%的WER。
2020-05-21 cs.CL cs.SD eess.AS
Robust Text-Dependent Speaker Verification via Character-Level Information Preservation for the SdSV Challenge 2020
Seoul National University（首尔大学）
本文介绍了我们提交的短期扬声器验证（SdSV）挑战2020的任务1。任务1是文本相关的说话人确认任务，其中说话人和短语都需要被确认。提交的系统由基于TDNN和基于ResNet的前端架构组成，其中帧级特征通过各种池化方法（例如，统计、自我关注、ghostVLAD池化）。虽然传统的池化方法提供了足够数量的说话人相关信息的嵌入，我们的实验表明，这些嵌入往往缺乏短语相关的信息。为了缓解这个问题，我们提出了一个新的池和分数补偿方法，利用基于CTC的自动语音识别（ASR）模型，考虑到词汇内容。这两种方法都比传统技术有所改进，最佳性能是通过融合所有实验系统实现的，在挑战的评估子集上显示出0.0785%MinDCF和2.23%EER。
2020-10-22 cs.SD eess.AS
Optimizing Temporal Resolution Of Convolutional Recurrent Neural Networks For Sound Event Detection
KU Leuven（鲁汶大学）
在本技术报告中，详细描述了我们为DCASE 2021挑战的子任务4提交的关于声音事件检测的系统。这些模型与为该问题提供的基线密切相关，因为它们本质上是在平均教师设置中训练的卷积递归神经网络，以处理所提供数据的异构注释。然而，时间分辨率的预测是适应处理的事实，这些系统进行评估，使用两个交叉为基础的指标，涉及不同的需求，在时间定位。这是通过优化合并操作来实现的。对于第一个定义的评估场景，对时间定位精度提出了相对严格的要求，我们的最佳模型在验证数据上获得了0.3609的PSDS分数。这仅略好于基线系统获得的性能（0.342）：基线网络中的池化量已经被证明是最佳的，因此，没有进行实质性的更改，解释了这一结果。对于第二个评估场景，对定位精度施加相对宽松的限制，我们性能最好的系统在验证数据上获得了0.7312的PSDS分数。这明显优于基线模型（0.527）获得的性能，这可以有效地归因于应用于网络池操作的更改。
2022-10-18 cs.SD eess.AS
A Joint Framework for Audio Tagging and Weakly Supervised Acoustic Event Detection Using DenseNet with Global Average Pooling
Amazon.com Inc.（亚马逊公司）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究院）
本文提出了一种主要用于音频标记的网络架构，该架构也可用于弱监督声事件检测（AED）。建议的网络由一个修改后的DenseNet作为特征提取器，和一个全局平均池（GAP）层在推理时预测帧级标签。该架构受到Zhou等人提出的工作的启发，一个众所周知的框架，使用GAP来本地化给定图像级标签的视觉对象。虽然大多数弱监督AED的先前工作使用具有基于注意力的机制的递归层来定位声学事件，但所提出的网络使用DenseNet提取的特征图直接定位事件，而无需任何递归层。在DCASE 2017的音频标记任务中，我们的方法在绝对值方面在开发集上的F1得分中显著优于最先进的方法5.3%，在评估集上为6.0%。对于DCASE 2018中的弱监督AED任务，我们的模型通过使用数据增强和tri-training来利用未标记的数据，在绝对值方面，我们的模型在基于事件的F1中的性能优于最先进的方法8.1%，在eval集上的性能优于0.5%。
2020-08-07 cs.SD eess.AS
Spatio-Temporal Attention Pooling for Audio Scene Classification
University of Kent（肯特大学）；University of Oxford（牛津大学）
声学场景在其内容上是丰富和冗余的。在这项工作中，我们提出了一个时空注意力池层与卷积递归神经网络相结合，以从有区别的模式中学习，同时抑制那些与声学场景分类无关的模式。该网络中的卷积层从时频输入中学习不变特征。然后，双向递归层能够对所得卷积特征的时间动态进行编码。然后，通过从两个指定的注意力层学习的空间和时间注意力向量的外积形成二维注意力掩码，以加权并将递归输出汇集到最终的特征向量中用于分类。该网络的训练与类间数据增强产生的类间的例子。实验表明，该方法不仅优于一个强大的卷积神经网络基线，但也设置了新的国家的最先进的性能LITIS鲁昂数据集。
2019-06-28 cs.LG cs.SD eess.AS
Impact of temporal resolution on convolutional recurrent networks for audio tagging and sound event detection
KU Leuven（鲁汶大学）
用于音频标记和声音事件检测的许多最先进的系统采用卷积递归神经架构。通常，他们在平均教师设置中接受训练，以处理可用数据的异构注释。在这项工作中，我们对改变这些卷积递归神经网络的时间分辨率（可以通过简单地调整其池化操作来完成）如何影响其性能进行了全面的分析。通过使用各种评估指标，我们调查的影响，适应这个设计参数下的几个声音识别的情况下，涉及不同的需求，在时间定位。
2022-09-27 cs.SD eess.AS
