TED: Turn Emphasis with Dialogue Feature Attention for Emotion Recognition in Conversation
Sony Group Corporation(索尼集团公司)
本文提出TED方法,通过将轮次位置和说话人信息作为对话特征引入注意力机制,显式区分多轮对话中的每个轮次,从而提升对话情感识别性能,并在IEMOCAP等基准上取得领先结果。
2025-01-02 cs.AI cs.CL cs.LG
Adversarial Cross-Domain Action Recognition with Co-Attention
Stanford University(斯坦福大学)
动作识别一直是一个广泛研究的课题,其重点是涉及足够标记视频的监督学习。然而,跨域动作识别的问题,即训练和测试视频来自不同的底层分布,在很大程度上仍然没有得到充分的探索。以前的方法直接采用跨域图像识别技术,往往遭受严重的时间错位问题。提出了一种时间协同注意网络(TCoN),该网络通过一种新的跨域协同注意力机制匹配源域和目标域之间时间对齐的动作特征分布。在三个跨域动作识别数据集上的实验结果表明,TCoN在跨域设置下显著改善了以前的单域和跨域方法。
2019-12-22 cs.CV cs.LG eess.IV
4D Attention-based Neural Network for EEG Emotion Recognition
Peking University(北京大学);Beijing Jiaotong University(北京交通大学)
脑电情感识别是脑机接口领域的一个重要课题。尽管近年来提出了许多深度学习方法,但如何充分利用脑电信号不同域所包含的信息仍然是一个挑战。在本文中,我们提出了一种新的方法,称为四维注意力为基础的神经网络(4D-aNN)的EEG情绪识别。首先,原始EEG信号被转换成4D空间-频谱-时间表示。然后,采用频谱和空间注意力机制自适应地分配不同脑区和频带的权重,并利用卷积神经网络(CNN)处理4D表示的频谱和空间信息。此外,时间注意力机制被集成到双向长短期记忆(LSTM)中,以探索4D表示的时间依赖性。我们的模型在主题内分裂的SEED数据集上实现了最先进的性能。实验结果表明了不同领域的注意力机制对脑电情感识别的有效性。
2021-01-14 cs.LG
Memory Controlled Sequential Self Attention for Sound Recognition
Queen Mary University of London(伦敦玛丽女王大学);The Alan Turing Institute(艾伦·图灵研究所)
在本文中,我们调查的重要性,记忆的程度在顺序自我注意的声音识别。我们建议使用一个记忆控制的顺序自我注意机制上的卷积递归神经网络(CRNN)模型的复调声音事件检测(SED)。URBAN-SED数据集上的实验证明了记忆程度对自我注意诱导的SED模型的声音识别性能的影响。我们扩展了所提出的想法与多头自我注意机制,每个注意头处理音频嵌入显式注意宽度值。建议使用记忆控制的顺序自我注意提供了一种方法来诱导声音事件令牌帧之间的关系。我们表明,我们的记忆控制自我注意力模型在URBAN-SED数据集上实现了33.92%的基于事件的F分数,优于没有自我注意力的模型报告的20.10%的F分数。
2020-08-06 cs.LG cs.SD eess.AS
Audio Visual Emotion Recognition with Temporal Alignment and Perception Attention
Chinese Academy of Sciences(中国科学院)
本文重点研究了视频中视听情感识别的两个关键问题。一种是用于特征级融合的音频和视频流时间对齐。另一个是定位和重新加权整个视听流中的感知注意力,以更好地识别。采用长短期记忆递归神经网络(LSTM-RNN)作为主要的分类结构。首先,软注意力机制对齐音频和视频流。其次,添加7个情感嵌入向量,这是对应于每一个分类的情感类型,定位感知注意。定位和重新加权过程也基于软注意力机制。实验结果和定性分析表明,本文提出的两种方法是有效的。
2016-03-28 cs.CL cs.CV cs.LG
TinySpeech: Attention Condensers for Deep Speech Recognition Neural Networks on Edge Devices
University of Waterloo(滑铁卢大学);Waterloo Artificial Intelligence Institute(滑铁卢人工智能研究所);DarwinAI Corp.(达尔文人工智能公司)
深度学习的进步已经在众多语音识别任务中实现了最先进的性能。然而,用于设备上语音识别的深度神经网络的广泛部署仍然是一个挑战,特别是在存储器和计算资源高度受限的边缘场景中(例如,低功耗嵌入式设备)或专用于语音识别的存储器和计算预算较低的情况(例如,执行除语音识别之外的许多任务的移动设备)。在这项研究中,我们引入了注意力凝聚器的概念,用于构建低占用空间,高效的深度神经网络,用于边缘上的设备上语音识别。注意冷凝器是一种自我注意机制,它学习并产生表征联合局部和跨通道激活关系的浓缩嵌入,并相应地执行选择性注意。为了说明其有效性,我们介绍了TinySpeech,低精度深度神经网络,主要包括使用机器驱动的设计探索策略为设备上的语音识别量身定制的注意力冷凝器,其中一个专门针对微控制器操作约束。在有限词汇量语音识别的Google Speech Commands基准数据集上的实验结果表明,与以前的工作相比,TinySpeech网络实现了显着降低的架构复杂性($507\times$更少的参数),更低的计算复杂性($48\times$更少的乘加运算)和更低的存储要求($2028\times$更低的权重内存要求)。这些结果不仅证明了注意力冷凝器在构建高效的设备上语音识别网络方面的有效性,还阐明了其在边缘加速深度学习和增强TinyML应用程序的潜力。
2020-10-12 cs.LG cs.NE eess.AS
End-to-End Attention-based Large Vocabulary Speech Recognition
当前许多最先进的大词汇量连续语音识别系统(LVCSR)是神经网络和隐马尔可夫模型(HRM)的混合。这些系统中的大多数包含处理声学建模、语言建模和序列解码的单独组件。我们研究了一种更直接的方法,其中HMM被替换为递归神经网络(RNN),直接在字符级别执行序列预测。输入特征和所需字符序列之间的对齐是通过RNN中内置的注意力机制自动学习的。对于每个预测的字符,注意力机制扫描输入序列并选择相关帧。我们提出了两种方法来加快这一操作:限制扫描到最有前途的帧的子集,并随着时间的推移,池中包含的信息在相邻的帧,从而减少源序列的长度。将n-gram语言模型集成到解码过程中会产生类似于其他基于HMM的RNN方法的识别精度。
2016-03-14 cs.AI cs.CL cs.LG
Multi-layer Attention Mechanism for Speech Keyword Recognition
Sichuan University(四川大学)
语音关键词自动识别作为语音识别技术的重要组成部分,近年来得到了广泛的研究。这种技术在基础设施和计算资源有限的情况下变得特别关键,例如车辆中的语音命令识别和机器人交互。目前,语音关键词自动识别的主流方法是基于带有注意力机制的长短期记忆(LSTM)网络。然而,由于在特征提取期间导致的LSTM层的不可避免的信息损失,计算的注意力权重是有偏差的。本文提出了一种新的方法,即多层注意力机制,以处理不准确的注意力权重的问题。其核心思想是,除了传统的注意力机制,在特征提取和LSTM之前的层的信息被引入到注意力权重计算中。因此,注意力权重更准确,因为整个模型可以具有更精确和集中的区域。我们在Google Speech Command数据集V2数据集上对卷积神经网络,双向LSTM循环神经网络和循环神经网络的关键词定位性能进行了全面的比较和分析,并提出了注意力机制。实验结果表明,该方法具有良好的效果,证明了该方法的有效性。所提出的多层注意方法可以为其他与目标识别相关的研究提供参考。
2019-07-10 cs.LG cs.SD eess.AS
A Radio Signal Modulation Recognition Algorithm Based on Residual Networks and Attention Mechanisms
College of Electrical Engineering, Sichuan University(四川大学电气工程学院)
针对通信信号调制类型识别不准确的问题,提出了一种结合残差块网络和注意力机制的RNN神经网络识别算法。在该方法中,从MASK、MPSK、MFSK、OFDM、16QAM、AM和FM等10种标准数据集中产生了具有高斯白噪声的通信信号。在原有RNN神经网络的基础上,加入残差块网络,解决了网络层较深导致梯度消失的问题。网络中添加了注意力机制,以加速梯度下降。实验中以16QAM、2FSK和4FSK为实际样本,以信号的IQ数据帧为输入,训练了残差块网络和注意力机制相结合的RNN神经网络。最终的识别结果表明,实时信号的平均识别率超过93%。该网络具有很高的鲁棒性和很好的使用价值。
2019-09-27 cs.CV cs.LG eess.SP
Multi-agent Attentional Activity Recognition
University of New South Wales(新南威尔士大学);Northwestern Polytechnical University(西北工业大学)
多模态是基于传感器的活动识别的重要特征。在这项工作中,我们考虑人类活动的两个固有特性,时空变化的显着性的功能和活动和相应的身体部位运动之间的关系。在此基础上,我们提出了一个多智能体时空注意力模型。时空注意力机制有助于智能地选择信息模态及其活跃时段。该模型中的多个智能体通过独立选择与单个运动相关联的模态来表示跨身体部位的集体运动活动。在共同的识别目标下,智能体共享获得的信息并协调其选择策略以学习最佳识别模型。在四个真实数据集上的实验结果表明,该模型优于现有的方法。
2019-05-22 cs.HC cs.LG eess.SP
Music theme recognition using CNN and self-attention
我们提出了一个有效的架构来检测的MTG-Jamendo数据集的autotagging-moodtheme子集的音乐曲目的情绪/主题。我们的方法包括两个模块,一个是基于MobileNetV 2架构的CNN模块,另一个是来自Transformer架构的自注意模块,用于捕获长期的时间特性。我们表明,我们提出的模型产生了显着的改进,基线模型。我们的模型(团队名称:AMLAG)在MediaEval 2019的PR-AUC-macro排行榜上获得第四名:使用Jamendo进行音乐情感和主题识别。
2019-11-16 cs.LG cs.SD eess.AS
Supervised Attention in Sequence-to-Sequence Models for Speech Recognition
Centre for Speech Technology Research, School of Informatics, University of Edinburgh(爱丁堡大学信息学院 speech 技术研究中心)
序列到序列模型中的注意机制是为了模拟语音识别中声学特征和输出标记之间的对齐。然而,由端到端训练的模型产生的注意力权重并不总是与实际对齐很好地对应,并且一些研究进一步认为注意力权重甚至可能与帧的相关性属性不对应。无论如何,注意力权重和对齐之间的视觉相似性在训练期间被广泛用作模型质量的指标。在本文中,我们将注意力权重和对齐之间的对应关系视为一个学习问题,通过施加监督注意力损失。实验已经显示出显着的改进性能,这表明在训练期间很好地学习比对关键地决定了序列到序列模型的性能。
2022-04-25 cs.CL cs.LG cs.SD
Interpretable Spatio-temporal Attention for Video Action Recognition
University of British Columbia(不列颠哥伦比亚大学);Tsinghua University(清华大学)
受观察到人类能够有效地处理视频,只注意在哪里和何时需要的启发,我们提出了一个可解释的和简单的插件时空注意力机制的视频动作识别。对于空间注意力,我们学习了一个显着性掩码,使模型能够专注于特征图中最显着的部分。对于时间注意力,我们采用基于卷积LSTM的注意力机制来识别输入视频中最相关的帧。此外,我们提出了一组正则化,以确保我们的注意力机制出席在空间和时间的连贯区域。我们的模型不仅提高了视频动作识别的准确性,而且在空间和时间上都定位了有区别的区域,尽管是以弱监督的方式训练的,只有分类标签(没有限界框标签或时间帧时间标签)。我们评估了我们的方法在几个公共视频动作识别数据集与消融研究。此外,我们定量和定性地评估我们的模型的能力,本地化的歧视性地区的空间和关键帧的时间。实验结果证明了我们的方法的有效性,表现出优越的或可比的准确性与国家的最先进的方法,同时增加模型的可解释性。
2019-06-03 cs.CV cs.LG stat.ML
Studying the Effects of Self-Attention on SAR Automatic Target Recognition
University of Southern California(南加州大学);DEVCOM Army Research Office(DEVCOM陆军研究办公室)
本文研究自注意力机制对SAR自动目标识别的影响,证明注意力模块能聚焦车辆阴影等关键特征,在MSTAR数据集上提升top-1准确率、输入鲁棒性和可解释性。
2024-08-31 cs.CV cs.LG
End-to-end Continuous Speech Recognition using Attention-based Recurrent NN: First Results
University of Wrocław(弗罗茨瓦夫大学);Jacobs University Bremen(不来梅雅各布大学);Université de Montréal(蒙特利尔大学)
我们取代隐马尔可夫模型(HMM),这是传统上用于连续语音识别与一个双向递归神经网络编码器耦合到一个递归神经网络解码器,直接发出的音素流。使用注意力机制来建立输入和输出序列之间的对齐:解码器基于用由注意力机制选择的输入符号的子集创建的上下文来发射每个符号。我们报告的初步结果表明,这种新的方法实现音素出错率,相当于最先进的HMM为基础的解码器,TIMIT数据集。
2014-12-04 cs.LG cs.NE stat.ML
Robust Speaker Recognition Using Speech Enhancement And Attention Model
University of Sheffield(谢菲尔德大学)
本文提出了一种将语音增强和说话人处理相结合的说话人识别系统结构。它的目的是提高说话人识别性能时,语音信号被噪声污染。这两个模块不是单独处理语音增强和说话人识别,而是通过使用深度神经网络的联合优化集成到一个框架中。此外,为了提高对噪声的鲁棒性,采用多级注意力机制来突出从时域和频域的上下文信息中学习到的说话人相关特征。为了评估所提出的方法的说话人辨识和验证性能,我们测试它的数据集VoxCeleb1,最常用的基准数据集之一。此外,我们所提出的方法的鲁棒性也测试VoxCeleb1数据时,被破坏的三种类型的干扰,一般的噪声,音乐,和串音,在不同的信噪比(SNR)水平。所得到的结果表明,在我们的实验中,使用语音增强和多阶段注意力模型的方法优于两个强基线,在大多数声学条件下不使用它们。
2020-05-22 cs.CL cs.LG cs.SD
Visual Attention for Musical Instrument Recognition
Georgia Institute of Technology(佐治亚理工学院);Nanyang Technological University(南洋理工大学)
在音乐信息检索领域,同时识别复调录音中多个乐器的存在与否仍然是一个难题。以前的工作已经看到了一些成功的改善文书分类应用时间注意力在多实例多标签设置,而另一系列的工作也提出了音高和音色的作用,提高文书的识别性能。在本项目中,我们进一步探索在时间-时间意义上使用注意力机制(即视觉注意力),以提高使用弱标记数据的乐器识别性能。对这一任务探讨了两种办法。第一种方法将注意力机制应用于滑动窗口范例,其中基于每个时间-时间“实例”的预测在聚合以产生最终预测之前被给予注意力权重。第二种方法是基于视觉注意力的循环模型,其中网络只关注频谱图的一部分,并决定在有限数量的“一瞥”下关注哪里。
2020-06-21 cs.IR cs.LG cs.SD