FAR: Function-preserving Attention Replacement for IMC-friendly Inference
University of Arizona(亚利桑那大学);TetraMem, Inc.(TetraMem公司)
FAR通过将预训练DeiTs中的注意力替换为兼容IMC数据流的序列模块,提升IMC设备的推理效率,保持功能等效性并减少延迟和参数量。
2026-05-15 cs.AI cs.CV cs.LG
Temporal Relation Extraction with a Graph-Based Deep Biaffine Attention Model
University of California, San Diego(加利福尼亚大学圣迭戈分校);Hong Kong University of Science and Technology(香港科技大学);National Taiwan University(国立台湾大学)
时间信息抽取在自然语言理解中起着至关重要的作用。以前的系统已经结合了先进的神经语言模型,并成功地提高了时间信息抽取任务的准确性。然而,这些系统有两个主要缺点。首先,他们没有利用预测中时间关系的双面性。其次,它们在推理过程中涉及不可并行的流水线,带来的性能增益很小。为此,我们提出了一种新的时间信息抽取模型的基础上,深度biaffine注意,提取时间之间的关系,在非结构化文本中的事件有效和准确。我们的模型是高性能的,因为我们直接执行关系抽取任务,而不是考虑事件注释作为关系抽取的先决条件。此外,我们的架构使用多层感知器(MLP)与biaffine注意分别预测弧和关系标签,提高关系检测的准确性,利用双边性质的时间关系。我们的实验表明,我们的模型达到国家的最先进的性能在时间关系抽取。
2022-01-16 cs.CL cs.LG
Interpretable Spatio-temporal Attention for Video Action Recognition
University of British Columbia(不列颠哥伦比亚大学);Tsinghua University(清华大学)
受观察到人类能够有效地处理视频,只注意在哪里和何时需要的启发,我们提出了一个可解释的和简单的插件时空注意力机制的视频动作识别。对于空间注意力,我们学习了一个显着性掩码,使模型能够专注于特征图中最显着的部分。对于时间注意力,我们采用基于卷积LSTM的注意力机制来识别输入视频中最相关的帧。此外,我们提出了一组正则化,以确保我们的注意力机制出席在空间和时间的连贯区域。我们的模型不仅提高了视频动作识别的准确性,而且在空间和时间上都定位了有区别的区域,尽管是以弱监督的方式训练的,只有分类标签(没有限界框标签或时间帧时间标签)。我们评估了我们的方法在几个公共视频动作识别数据集与消融研究。此外,我们定量和定性地评估我们的模型的能力,本地化的歧视性地区的空间和关键帧的时间。实验结果证明了我们的方法的有效性,表现出优越的或可比的准确性与国家的最先进的方法,同时增加模型的可解释性。
2019-06-03 cs.CV cs.LG stat.ML
Adaptive Graph Spatial-Temporal Transformer Network for Traffic Flow Forecasting
Yale University(耶鲁大学)
基于图的交通流预测在交通系统、计算机网络等领域有着广泛的应用。由于复杂的时空相关性和非线性的交通模式,交通预测具有很大的挑战性。现有的工作大多是通过考虑空间相关性和时间相关性分别建模这种时空依赖性,而不能建模的直接时空相关性。受最近在图域中成功的Transformers的启发,在本文中,我们提出了直接使用本地多头自注意力的时空图上的跨时空相关性建模。为了降低时间复杂度,我们将注意力感受野设置为空间相邻的节点,并且我们还引入了自适应图来捕获隐藏的时空依赖性。基于这些注意力机制,我们提出了一种新的自适应图时空Transformer网络(ASTTN),它堆叠多个时空注意力层,以应用自注意力的输入图,其次是线性层的预测。在公共交通网络数据集METR-LA PEMS-BAY、PeMSD 4和PeMSD 7上的实验结果表明了该模型的优越性能。
2022-07-09 cs.AI cs.LG
Permutationless Many-Jet Event Reconstruction with Symmetry Preserving Attention Networks
University of California Irvine(加州大学欧文分校);National Tsing Hua University(国立清华大学);University of Washington(华盛顿大学)
大型强子对撞机产生的大量顶夸克具有复杂的探测器特征,需要特殊的重建技术。最常见的衰变模式,“全喷流”通道,导致6喷流的最终状态,这是特别困难的重建在$pp$碰撞由于大量的排列可能。我们提出了一种新的方法来解决这类问题,基于神经网络使用广义注意力机制,我们称之为对称保持注意力网络(SPA-Net)。我们训练了一个这样的网络来明确地识别每个顶夸克的衰变产物,而没有组合爆炸作为这种技术的力量的一个例子。这种方法明显优于现有的最先进的方法,正确地分配所有的喷注在$93.0%$的$6$-jet,$7$ -jet的$87.8%$,和PDMATHAMR的$\geq 8$ -jet事件。
2022-07-14 cs.LG hep-ex hep-ph
Environmental Sound Classification with Parallel Temporal-spectral Attention
Peking University(北京大学);Peng Cheng Laboratory(鹏城实验室);University of Surrey(萨里大学)
卷积神经网络(CNN)是用于环境声音分类(ESC)的性能最好的神经网络结构之一。最近,时间注意力机制已被用于CNN中,以从音频分类的相关时间帧中捕获有用的信息,特别是对于其中不应用声音事件的开始和偏移时间的弱标记数据。然而,在这些方法中,在获得深度特征时,没有明确地利用固有的光谱特性和变化。在本文中,我们提出了一种新的并行时间-频谱注意力机制,用于CNN学习有区别的声音表示,通过捕获不同时间帧和频带的重要性来增强时间和频谱特征。并行分支被构造为允许分别应用时间注意力和频谱注意力,以便在不存在声音事件的情况下减轻来自片段的干扰。在三个环境声音分类(ESC)数据集和两个声学场景分类(ASC)数据集上的实验表明,该方法不仅提高了分类性能,而且对噪声具有较好的鲁棒性。
2020-05-21 cs.LG cs.SD eess.AS
Attention based Memory video portrait matting
Nanyang Technological University(南洋理工大学)
提出了一种基于注意力机制的无三重图视频抠像方法。根据问题的性质,大多数现有的方法使用多个计算扩展模块或复杂的算法来充分利用时间信息。我们设计了一个时间聚合模块来计算当前帧和它的前两个帧之间的时间相干性。
2022-03-21 cs.CV cs.LG
Spatial-Temporal Self-Attention Network for Flow Prediction
University of Macau(澳门大学);Shanghai Jiaotong University(上海交通大学)
流预测(例如,人群流、交通流等具有时空特征的交通流是人工智能研究领域的热点。由于不同位置之间的复杂空间依赖性和不同时间间隔之间的动态时间依赖性,因此非常具有挑战性。尽管采用了两种依赖性的测量,但现有方法存在以下两个问题。首先,时间依赖性的测量要么是统一的,要么是对长期依赖性的偏见,这忽略了短期和长期的时间依赖性的独特影响。其次,现有方法将空间依赖和时间依赖独立地捕捉,错误地认为空间依赖和时间依赖之间的相关性很弱,忽略了空间依赖和时间依赖之间复杂的相互影响。为了解决这些问题,我们提出了一个时空自注意力网络(ST-SAN)。在自注意力机制中,由于注意长时依赖的路径长度较短,因此防止了长时依赖的消失。此外,由于我们的模型只依赖于注意力机制,空间和时间的依赖性可以同时测量。对真实数据的实验结果表明,与最先进的方法相比,我们的模型在Taxi-NYC数据上的流入预测和流出预测中的均方根误差分别降低了9%和4%,这与以前的改进相比是非常显着的。
2019-12-23 cs.AI cs.LG stat.ML
TSAM: Temporal Link Prediction in Directed Networks based on Self-Attention Mechanism
PLA Strategic Support Force Information Engineering University(中国人民解放军战略支援部队信息工程大学)
图神经网络(GCN)的发展使得从演化的复杂网络中学习结构特征成为可能。尽管现实网络中有很多是有向网络,但现有的研究很少涉及有向网络和时态网络的性质。本文针对有向网络中的时间链接预测问题,提出了一种基于GCN和自注意力机制的深度学习模型TSAM。该模型采用自动编码器架构,利用图注意层来捕获邻域节点的结构特征,以及一组图卷积层来捕获模体特征。利用具有自注意力的图递归单元层来学习快照序列中的时间变化。我们在四个真实网络上进行了对比实验,以验证TSAM的有效性。实验结果表明,TSAM优于大多数基准在两个评价指标。
2020-08-23 cs.LG cs.SI stat.ML
Temporal Convolutional Attention-based Network For Sequence Modeling
Nanjing University(南京大学);Ant Group(蚂蚁集团)
提出结合时间卷积与注意力的TCAN网络,通过时间注意力和增强残差模块,在多个语言建模基准上刷新最优结果。
2023-10-14 cs.CL cs.LG
Audio Visual Emotion Recognition with Temporal Alignment and Perception Attention
Chinese Academy of Sciences(中国科学院)
本文重点研究了视频中视听情感识别的两个关键问题。一种是用于特征级融合的音频和视频流时间对齐。另一个是定位和重新加权整个视听流中的感知注意力,以更好地识别。采用长短期记忆递归神经网络(LSTM-RNN)作为主要的分类结构。首先,软注意力机制对齐音频和视频流。其次,添加7个情感嵌入向量,这是对应于每一个分类的情感类型,定位感知注意。定位和重新加权过程也基于软注意力机制。实验结果和定性分析表明,本文提出的两种方法是有效的。
2016-03-28 cs.CL cs.CV cs.LG
Temporal Self-Attention Network for Medical Concept Embedding
University of Technology Sydney(悉尼科技大学);The University of Queensland(昆士兰大学)
在纵向电子健康记录(EHR)中,患者的事件记录分布在很长一段时间内,事件之间的时间关系反映了足够的领域知识,以利于预测任务,如住院死亡率。医学概念嵌入作为一种特征提取方法,将一组具有特定时间戳的医学概念转换为向量,该向量将被馈送到监督学习算法中。嵌入的质量显著地决定了对医学数据的学习性能。在本文中,我们提出了一种基于应用自我注意力机制来表示每个医学概念的医学概念嵌入方法。我们提出了一种新的注意力机制,它捕获的上下文信息和医学概念之间的时间关系。一个轻量级的神经网络,“时间自我注意力网络(TeSAN)",然后提出学习医学概念嵌入的基础上提出的注意力机制。为了测试我们提出的方法的有效性,我们对两个公共EHRs数据集进行了聚类和预测任务,将TeSAN与五种最先进的嵌入方法进行了比较。实验结果表明,所提出的TeSAN模型优于所有比较方法。据我们所知,这项工作是第一次利用时间的自我注意的关系之间的医疗事件。
2019-09-15 cs.CL cs.LG
Trajectory-User Linking via Hierarchical Spatio-Temporal Attention Networks
Ocean University of China(中国海洋大学);The University of Hong Kong(香港大学)
针对轨迹-用户关联中全局时空上下文建模不足的问题,本文提出AttnTUL,结合图神经网络与分层注意力机制联合编码局部转移及全局依赖,实验证明其优于现有基线。
2023-12-07 cs.AI cs.LG
A3T-GCN: Attention Temporal Graph Convolutional Network for Traffic Forecasting
Central South University(中南大学)
准确的实时交通预测是智能交通系统实施的核心技术问题。然而,考虑到交通流之间复杂的空间和时间依赖性,它仍然具有挑战性。在空间维度上,由于道路网的连通性,相连道路之间的交通流是密切相关的。就时间因素而言,虽然一般来说相邻时间点之间存在趋势,但由于交通流量也受外部因素的影响,因此遥远过去点的重要性不一定小于最近过去点的重要性。在这项研究中,注意力时间图卷积网络(A3 T-GCN)的流量预测方法,提出了同时捕捉全球时间动态和空间相关性。A3 T-GCN模型通过门控递归单元学习时间序列中的短时趋势,并通过图卷积网络学习基于道路网络拓扑的空间依赖性。此外,引入注意力机制,调整不同时间点的重要性,并整合全局时间信息,以提高预测精度。在真实数据集上的实验结果证明了A3 T-GCN的有效性和鲁棒性。源代码可以访问https://github.com/lehaifeng/T-GCN/A3T。
2020-06-20 cs.LG stat.ML
UniMamba: A Unified Spatial-Temporal Modeling Framework with State-Space and Attention Integration
School of Computing and Data Science, The University of Hong Kong, Hong Kong, China(计算与数据科学学院,香港大学,香港,中国);School of Information Engineering, Beijing Institute of Graphic Communication, Beijing, China(信息工程学院,北京印刷学院,北京,中国);Innovation Engineering College, Macau University of Science(创新工程学院,澳门科学技术大学);Department of Computer Science and Technology, University of Cambridge, Cambridge, UK(计算机科学与技术系,剑桥大学,剑桥,英国)
UniMamba整合了高效的状态空间动态与注意力依赖学习,通过Mamba变体通道编码层和时空注意力层,提升多变量时间序列预测的准确性和效率。
2026-06-27 cs.AI cs.LG
Spatio-Temporal Attention Pooling for Audio Scene Classification
University of Kent(肯特大学);University of Oxford(牛津大学)
声学场景在其内容上是丰富和冗余的。在这项工作中,我们提出了一个时空注意力池层与卷积递归神经网络相结合,以从有区别的模式中学习,同时抑制那些与声学场景分类无关的模式。该网络中的卷积层从时频输入中学习不变特征。然后,双向递归层能够对所得卷积特征的时间动态进行编码。然后,通过从两个指定的注意力层学习的空间和时间注意力向量的外积形成二维注意力掩码,以加权并将递归输出汇集到最终的特征向量中用于分类。该网络的训练与类间数据增强产生的类间的例子。实验表明,该方法不仅优于一个强大的卷积神经网络基线,但也设置了新的国家的最先进的性能LITIS鲁昂数据集。
2019-06-28 cs.LG cs.SD eess.AS
Coarse Temporal Attention Network (CTA-Net) for Driver's Activity Recognition
Edge Hill University(边山大学)
在从视频中识别传统人类活动方面取得了重大进展,这些视频侧重于涉及有区别的身体运动、身体-物体和/或人-人交互的高度独特的动作。驾驶员的活动是不同的,因为它们是由相同的主体以相似的身体部位运动执行的,从而导致微妙的变化。为了解决这个问题,我们提出了一个新的框架,利用时空注意力模型的微妙变化。我们的模型被命名为粗时间注意力网络(CTA-Net),其中粗时间分支被引入到可训练的一瞥网络中。其目标是通过关注视频的特定部分,允许一瞥捕捉高级时间关系,例如“期间”,“之前”和“之后”。这些分支还尊重视频中时间动态的拓扑,确保不同的分支学习有意义的空间和时间变化。然后,该模型使用创新的注意力机制,通过探索LSTM的隐藏状态来生成用于活动识别的高级动作特定上下文信息。注意力机制通过在构建视频的表示时对每个隐藏状态进行加权来帮助学习确定每个隐藏状态对于识别任务的重要性。我们的方法在四个公开访问的数据集上进行了评估,并且在仅使用RGB视频作为输入的情况下,其性能明显优于最先进的技术。
2021-01-17 cs.AI cs.CV cs.LG
Unlocking Structured Pruning for Reasoning Language Models via Attention-Preserving MLP Trimming
Seoul National University(首尔大学);New York University(纽约大学);University of Southern California(南加州大学)
提出无训练结构化剪枝方法LayerTrim,通过保留注意力机制修剪MLP特征,在多模型多基准测试中优于现有方法,提升推理效率与性能。
2026-10-15 cs.AI cs.CL cs.LG
STEP CATFormer: Spatial-Temporal Effective Body-Part Cross Attention Transformer for Skeleton-based Action Recognition
Chubu University(中部大学)
本文提出 STEP CATFormer,通过改进 CTR-GCN、身体部位交叉注意力和时间注意力 Transformer 建模骨骼拓扑及时空关系,在 NTU RGB+D 系列基准上取得高性能。
2023-12-06 cs.AI cs.CV cs.LG
On Attention Models for Human Activity Recognition
Georgia Institute of Technology(佐治亚理工学院)
大多数基于穿戴式感知(HAR)的人类活动识别中的时间序列数据建模方法使用固定大小的时间上下文来表示不同的活动。然而,这可能不适合于具有单独变化的持续时间的活动集。我们将注意力模型引入HAR研究,作为探索相关时间背景的数据驱动方法。注意力模型在输入数据上学习一组权重,我们利用这些权重来对正在考虑的时间上下文进行加权,以对每个传感器读数进行建模。我们通过将注意力层添加到最先进的深度学习HAR模型(DeepConvLSTM)来构建HAR的注意力模型,并在基准数据集上评估我们的方法,以实现性能的显著提高。最后,我们将学习的权重可视化,以更好地理解是什么构成了相关的时间上下文。
2018-05-19 cs.AI cs.CV cs.LG
AASIST: Audio Anti-Spoofing using Integrated Spectro-Temporal Graph Attention Networks
Naver Corporation(Naver公司);EURECOM(欧洲通信研究院);University of Seoul(首尔市立大学)
区分欺骗性话语与真实话语的伪像可以存在于频谱域或时间域中。它们的可靠检测通常取决于计算要求高的合奏系统,其中每个子系统都被调谐到一些特定的文物。我们寻求开发一个有效的,单一的系统,可以检测到广泛的不同的欺骗攻击,而无需得分级别的合奏。我们提出了一种新的异构堆叠图的注意力层模型的文物跨越异构的时间和频谱域的异构注意力机制和堆栈节点。通过一个新的最大图操作,涉及到一个竞争机制和一个扩展的读出方案,我们的方法,命名为AASIST,优于目前的最先进的20%相对。即使是一个轻量级的变体,AASIST-L,只有85 K的参数,优于所有竞争系统。
2021-10-04 cs.AI cs.LG eess.AS
Attention-augmented Spatio-Temporal Segmentation for Land Cover Mapping
University of Minnesota(明尼苏达大学);University of Pittsburgh(匹兹堡大学)
大量地球观测卫星数据的可用性为土地利用和土地覆盖测绘提供了巨大的机会。然而,这种测绘工作是具有挑战性的,由于存在各种土地覆盖类,嘈杂的数据,并缺乏适当的标签。此外,每一土地覆被类别通常都有其独特的时间模式,只能在特定时期内确定。在这篇文章中,我们介绍了一种新的架构,该架构将UNet结构与双向LSTM和注意力机制结合起来,共同利用卫星数据的空间和时间特性,并更好地识别每个土地覆盖的独特时间模式。我们评估这种方法在世界各地的多个地区的作物映射。我们比较我们的方法与其他国家的最先进的方法在两个现实世界的数据集,涉及多个土地覆盖类的定量和定性。我们还可视化了注意力权重,以研究其在减轻噪音和识别歧视性时间段方面的有效性。
2021-09-28 cs.AI cs.CV cs.LG
Multi-label Zero-Shot Audio Classification with Temporal Attention
Tampere University(坦佩雷大学)
本文提出在零样本音频分类中引入时间注意力机制,通过为不同音频片段分配语义兼容性权重,解决多标签分类并泛化到未见类别的问题,在 AudioSet 子集上验证了其性能提升。
2024-08-31 cs.LG cs.SD eess.AS
AGSTN: Learning Attention-adjusted Graph Spatio-Temporal Networks for Short-term Urban Sensor Value Forecasting
National Cheng Kung University(国立成功大学)
预测传感器值的时空相关时间序列在城市应用中是至关重要的,例如空气污染警报、自行车资源管理和智能交通系统。虽然最近的进展利用图神经网络(GNN)来更好地学习传感器之间的空间和时间依赖性,但是它们不能对传感器之间的时间演化时空相关性(STC)进行建模,并且需要预定义的图,这些图既不总是可用也不完全可靠,并且一次仅针对特定类型的传感器数据。此外,由于时间序列波动的形式在传感器之间是不同的,因此模型需要学习波动调制。为了解决这些问题,在这项工作中,我们提出了一种新的基于GNN的模型,即注意力调整图时空网络(Attention-adjusted Graph Spatio-Temporal Network,AGNN)。在AGTRAN中,开发了具有顺序学习的多图卷积来学习时间演化STC。波动调制是通过一个建议的注意力调节机制来实现的。对三个传感器数据(空气质量、自行车需求和交通流量)的实验表明,AGSTN的性能优于最先进的方法。
2021-01-29 cs.IR cs.LG cs.SI