ENADPool: The Edge-Node Attention-based Differentiable Pooling for Graph Neural Networks
School of Artificial Intelligence, Beijing Normal University（北京师范大学人工智能学院）；School of Information, Central University of Finance and Economics（中央财经大学信息学院）；Key Laboratory of Intelligent Education Technology and Application of Zhejiang Province, Zhejiang Normal University（浙江师范大学浙江省智能教育技术与应用重点实验室）；Department of Computer Science, University of York（约克大学计算机科学系）
该研究提出基于边-节点注意力的可微池化ENADPool，结合硬聚类与注意力机制优化图表示聚合，同时配套多距离GNN模型缓解过平滑问题，实验验证了方法的有效性。
2024-05-16 cs.AI cs.LG
Kernelized Edge Attention: Addressing Semantic Attention Blurring in Temporal Graph Neural Networks
Mastercard（万事达卡）；Indian Institute of Technology, Delhi（印度理工学院德里分校）
KEAT通过核化边注意力机制提升时间图神经网络对时间依赖性的捕捉能力，实现更准确和可解释的信息传递。
2026-01-31 cs.LG
Edged Weisfeiler-Lehman Algorithm
Oakland University（奥克兰大学）；Massey University（马斯赛大学）；China University of Geosciences（中国地质大学）
本文提出带边特征的Weisfeiler-Lehman算法（E-WL）和图同构网络（EGIN）模型，通过引入边特征提升图分类任务的性能。
2025-12-04 cs.LG
Cell Attention Networks
针对传统图注意力网络仅考虑节点成对关系、无法利用高阶交互的问题，提出分层的Cell Attention Networks，通过胞腔复形邻域设计双掩码自注意力机制，低复杂度下在图学习任务上取得优于SOTA的表现。
2022-09-16 cs.AI cs.LG
Physics-informed GNN for medium-high voltage AC power flow with edge-aware attention and line search correction operator
Pattern Recognition Lab, Friedrich-Alexander-Universität Erlangen-Nürnberg, Germany（模式识别实验室，弗赖堡-艾尔朗根-纽伦堡大学）；Institute of Electrical Energy Systems, Friedrich-Alexander-Universität Erlangen-Nürnberg, Germany（电气能源系统研究所，弗赖堡-艾尔朗根-纽伦堡大学）
本文提出PIGNN-Attn-LS，结合边感知注意力和线路搜索修正运算符，提升中高电压交流功率流求解的精度与效率。
2026-10-06 cs.AI cs.LG
GREAT: A Graph Edge Attention Network for the Electric Vehicle Routing Problem with Asymmetric Costs
Chalmers University of Technology（查尔姆斯理工大学）；University of Gothenburg（哥德堡大学）
提出以边为中心的 GNN 编码器 GREAT，并构建强化学习框架，以求解欧几里得及非欧几里得车辆路径规划问题，在学习型基准上取得竞争力结果。
2026-10-14 cs.AI cs.LG
Improving Real Estate Appraisal with POI Integration and Areal Embedding
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院（KAIST））；Indiana University Bloomington（印第安纳大学伯明顿分校）
本研究聚焦房地产评估，提出改进的POI特征提取方法并集成基于路网的区域嵌入，构建了AMMASI模型，利用掩码多头注意力处理地理邻近与特征相似房屋，性能优于现有基线。
2023-11-20 cs.AI
Meta Graph Attention on Heterogeneous Graph with Node-Edge Co-evolution
Didi Chuxing（滴滴出行）
图神经网络已成为结构化数据建模的重要工具。在许多现实世界的系统中，可能存在复杂的隐藏信息，例如，节点/边的异质性、静态节点/边属性和时空节点/边特征。然而，大多数现有的方法只考虑了部分信息。在本文中，我们提出了协同进化的Meta图神经网络（CoMGNN），它适用于元图注意异构图的节点和边缘状态的协同进化。我们进一步提出了一个时空适应的CoMGNN（ST-CoMGNN）的节点和边缘的时空模式建模。我们在两个大规模的真实世界数据集上进行了实验。实验结果表明，我们的模型显着优于国家的最先进的方法，从不同方面的编码不同的信息的有效性。
2020-10-09 cs.LG cs.SI stat.ML
Path-Aware Graph Attention for HD Maps in Motion Prediction
QCraft Inc（QCraft公司）
自动驾驶运动预测的成功依赖于高清地图信息的整合。由于地图是自然的图形结构，近年来对用于编码HD地图的图神经网络（GNN）的研究正在蓬勃发展。然而，与直接部署GNN的许多其他应用程序不同，HD地图是异构图，其中顶点（车道）由各种性质的边缘（车道-车道交互关系）连接，并且大多数基于图的模型并没有设计用于理解各种边缘类型，这些边缘类型为预测智能体将如何行驶车道提供关键线索。为了克服这一挑战，我们提出了路径感知图注意力，一种新的注意力架构，通过解析形成连接它们的路径的边缘序列来推断两个顶点之间的注意力。我们的分析说明了所提出的注意力机制如何促进学习的教学问题，现有的图形网络，如GCN的斗争。通过改进地图编码，该模型在Argoverse运动预测数据集上超越了先前的最新技术水平，并在2021年Argoverse运动预测竞赛中获得第一名。
2022-02-23 cs.AI cs.LG cs.RO
GRAF: Graph Attention-aware Fusion Networks
University of North Texas（北得克萨斯大学）；BioDiscovery Institute, University of North Texas（北得克萨斯大学生物发现研究所）
GRAF通过节点级和关联级注意力机制融合多个异质网络，并结合边消除与GCN进行节点分类，在四个数据集上达到或超越现有方法。
2023-08-17 cs.LG
Sparse Graph Attention Networks
Georgia State University（佐治亚州立大学）
图神经网络（GNN）已被证明是图结构数据的有效表示学习框架，并且在许多实际预测任务（例如节点分类、链接预测和图分类）上实现了最先进的性能。在GNN的变体中，图注意力网络（GAT）学习在节点的所有邻居上分配密集的注意力系数以进行特征聚合，并提高许多图学习任务的性能。然而，现实世界的图通常非常大，而且有噪声，如果没有适当地正则化，GAT很容易过拟合。更糟糕的是，GAT的局部聚合机制可能会在区分图上失败，其中局部邻域内的节点提供更多的噪声而不是用于特征聚合的有用信息。在本文中，我们提出了稀疏图注意力网络（SGAT），它在$L_0$范数正则化下学习稀疏注意力系数，然后将学习到的稀疏注意力用于所有GNN层，从而产生边缘稀疏图。通过这样做，我们可以识别噪声/任务无关的边缘，从而对大多数信息丰富的邻居进行特征聚合。在合成和真实世界的图学习基准上进行的大量实验证明了SGAT的优越性能。特别地，SGAT可以在保持相似分类精度的情况下，从大的平行图中去除约50%~ 80%的边.在离散图上，SGAT修剪了大多数噪声边缘，并在分类精度上显著优于GAT。此外，去除的边缘可以直观和定量地解释。据我们所知，这是第一个图学习算法，显示显着的冗余图和边缘稀疏图可以实现类似的或有时更高的预测性能比原来的图。
2021-04-11 cs.LG stat.ML
CoRGi: Content-Rich Graph Neural Networks with Attention
Microsoft Research（微软研究院）
目标域的图形表示通常将其投影到一组实体（节点）及其关系（边）。然而，这样的预测往往错过重要和丰富的信息。例如，在缺失值填补中使用的图形表示中，表示为节点的项可能包含丰富的文本信息。然而，当用图神经网络（GNN）处理图时，这样的信息要么被忽略，要么被汇总到用于初始化GNN的单个向量表示中。为了解决这个问题，我们提出了CoRGi，这是一个GNN，它在邻居的上下文中考虑节点内的丰富数据。这是通过在每个节点的内容上赋予CoRGi的消息传递以个性化的注意力机制来实现的。通过这种方式，CoRGi会根据出现在项目内容中的单词来分配特定于用户项目的注意力分数。我们在两个边缘值预测任务上评估了CoRGi，并表明CoRGi在现有方法的边缘值预测方面更好，特别是在图的稀疏区域上。
2021-10-10 cs.LG
Stronger Graph Transformer with Regularized Attention Scores
HDSI, UCSD（加州大学圣地亚哥分校HDSI）
针对Graph Transformer的内存消耗问题，提出一种新颖的边正则化技术，在缓解对Positional Encoding需求的同时解决内存溢出问题，并稳定提升模型性能。
2024-03-22 cs.LG
AGMI: Attention-Guided Multi-omics Integration for Drug Response Prediction with Graph Neural Networks
Zhejiang University（浙江大学）；University of Notre Dame（圣母大学）
准确的药物反应预测（DRP）是精准医学中一项重要而又具有挑战性的任务。本文提出了一种新的注意力引导多组学整合（AGMI）方法用于DRP，该方法首先为每个细胞系构建一个多边图（MeG），然后使用一种新的结构（称为图边感知网络（GeNet））聚合多组学特征来预测药物反应。我们的AGMI方法第一次探索了基于基因约束的多组学整合，用于使用GNN的全基因组的DRP。在CCLE和GDSC数据集上的实验表明，AGMI在四个指标上的性能比最先进的DRP方法高出8.3%-34.2%。我们的数据和代码可在https://github.com/yivan-WYYGDSG/AGMI上获得。
2022-01-10 cs.AI cs.LG q-bio.GN
How to Find Your Friendly Neighborhood: Graph Attention Design with Self-Supervision
KAIST（韩国科学技术院）
图神经网络中的注意力机制被设计为向重要的邻居节点分配更大的权重以更好地表示。然而，图形注意力学习的是什么还没有很好地理解，特别是当图形是嘈杂的。在本文中，我们提出了一个自监督图注意力网络（SuperGAT），一个改进的图注意力模型的噪声图。具体来说，我们利用两个注意力形式兼容的自我监督任务来预测边缘，其存在和不存在包含的固有信息的重要性节点之间的关系。通过对边进行编码，SuperGAT在区分错误链接的邻居时学习到更多的表达注意力。我们发现两个图形特征影响注意形式和自我监督的有效性：同质性和平均度。因此，我们的配方提供了指导，当这两个图形特征已知时，使用哪种注意力设计。我们在17个真实数据集上的实验表明，我们的配方可以推广到其中的15个数据集，并且我们通过配方设计的模型显示出比基线更好的性能。
2022-04-11 cs.AI cs.LG cs.SI
Global Self-Attention as a Replacement for Graph Convolution
Rensselaer Polytechnic Institute（伦斯勒理工学院）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）
我们提出了一个扩展的Transformer神经网络架构的通用图形学习添加一个专用的成对结构信息，称为边缘通道。由此产生的框架-我们称之为边增强图Transformer（EGT）-可以直接接受，处理和输出任意形式的结构信息，这对于有效地学习图结构数据是非常重要的。我们的模型专门使用全局自注意力作为聚合机制，而不是静态局部卷积聚合。这允许节点之间不受约束的远程动态交互。此外，边缘通道允许结构信息从一层到另一层地演进，并且可以直接从这些通道的输出嵌入执行边缘/链路上的预测任务。我们在基准数据集上进行了广泛的图学习实验，验证了EGT的性能，其中它优于卷积/消息传递图神经网络。EGT为包含380万个分子图的OGB-LSC PCQM 4 Mv 2数据集的量子化学回归任务设定了新的最先进技术。我们的研究结果表明，基于全局自注意力的聚合可以作为通用图学习的图卷积的灵活，自适应和有效的替代。因此，卷积局部邻域聚合不是一个必要的归纳偏差。
2022-06-03 cs.LG
Context-Aware Graph Attention Networks
Anhui University（安徽大学）
图神经网络（GNNs）已经被广泛研究用于图数据表示和学习。然而，现有的GNN通常只对节点特征表示进行上下文感知学习，这通常忽略了边（权重）表示的学习。在本文中，我们提出了一种新的统一GNN模型，命名为上下文感知自适应图注意力网络（CaGAT）。CaGAT旨在通过进一步利用不同边之间的上下文关系来学习每个图边的上下文感知注意力表示。特别是，CaGAT以统一的方式同时协作地对节点特征表示和边（权重）表示进行上下文感知学习，这可以提高它们各自在网络训练中的性能。我们将CaGAT应用于半监督学习任务。在几个基准数据集上的实验结果证明了CaGAT的有效性和优势。
2019-09-04 cs.LG cs.SI eess.IV
SEAGAN: domain-Specific and Edge-Aware Graph Attention Network for Dynamic Plant Processes
Center of Studies in Resources Engineering（资源工程研究中心）；Indian Institute of Technology Bombay（孟买印度理工学院）
提出SEAGAN，将植物A-Ci曲线中的生化限制状态识别建模为图节点分类问题，利用距离kNN和辅助信号引导连接构建图，通过边缘感知图注意力网络提升分类性能，F1分数达0.857。
2026-06-24 cs.LG
3D Multi-Object Tracking Using Graph Neural Networks with Cross-Edge Modality Attention
University of Freiburg（弗莱堡大学）
近年来，在线3D多目标跟踪（MOT）在很大程度上受到自主系统社区需求的推动，引起了人们极大的研究兴趣。然而，3D离线MOT相对较少探索。大规模标注三维轨迹场景数据，同时不依赖高成本的人类专家仍然是一个开放的研究问题。在这项工作中，我们提出了Batch 3DMOT，它遵循检测跟踪范式，并将现实世界的场景表示为定向，非循环和类别不相交的跟踪图，这些跟踪图使用各种方式（如相机，LiDAR和雷达）进行归因。我们提出了一个多模态图神经网络，它使用一个交叉边注意力机制减轻模态不稳定性，这转化为稀疏的图形域。此外，我们提出了注意力加权卷积帧明智的k-NN邻域作为适当的手段，允许跨断开的图形组件的信息交换。我们评估我们的方法使用各种传感器的形式和模型配置具有挑战性的nuScenes和KITTI数据集。大量的实验表明，我们提出的方法在nuScenes上的AMOTA评分中整体提高了3.3%，从而为3D跟踪设置了新的最先进技术，并进一步增强了假阳性过滤。
2022-05-14 cs.CV cs.LG cs.RO
SAC: Accelerating and Structuring Self-Attention via Sparse Adaptive Connection
Zhejiang University（浙江大学）
虽然自我注意力机制已被广泛应用于各种各样的任务中，但它具有关于输入长度的二次成本的不幸属性，这使得难以处理长输入。在本文中，我们提出了一种加速和构造自注意力的方法：稀疏自适应连接（SAC）。在SAC中，我们将输入序列视为一个图，并在链接节点之间执行注意操作。与先前的具有预定义结构（边）的自我注意模型相比，该模型学习构造注意边以提高特定任务的性能。通过这种方式，该模型能够选择最显著的节点，并降低二次复杂度，而不管序列长度如何。基于SAC，我们证明了自注意模型的先前变体是它的特殊情况。通过对神经机器翻译、语言建模、图表示学习和图像分类的大量实验，我们证明了SAC与最先进的模型相比具有竞争力，同时显著降低了内存成本。
2020-09-29 cs.CL cs.LG
Faithful and Accurate Self-Attention Attribution for Message Passing Neural Networks via the Computation Tree Viewpoint
Yonsei University（延世大学）；University of New South Wales（新南威尔士大学）
提出基于计算树的边归因方法GATT，通过合成与真实基准数据集证明其在忠实度、准确性和案例研究中显著提升自注意力消息传递神经网络的边归因分数。
2024-12-20 cs.AI cs.IT cs.LG
Spectral Graph Attention Network with Fast Eigen-approximation
Tsinghua University（清华大学）；Tencent AI Lab（腾讯人工智能实验室）；University of California at Berkeley（加州大学伯克利分校）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）
用于表示学习的图神经网络（GNNs）的变体近年来被提出并在各个领域取得了丰硕的成果。其中，图注意力网络（GAT）首先采用自注意策略来学习空间域中每条边的注意力权重。然而，学习边上的注意力只能关注图的局部信息，大大增加了计算成本。在本文中，我们首先介绍了注意力机制在频谱域的图和频谱图注意力网络（SpGAT），学习表示不同的频率分量的加权滤波器和图形小波基。通过这种方式，SpGAT可以更好地捕捉全局模式的图形在一个有效的方式与少得多的学习参数比GAT。此外，为了减少由特征分解带来的SpGAT的计算成本，我们提出了一种快速近似变体SpGAT-Cheby。我们彻底评估了SpGAT和SpGAT-Cheby在半监督节点分类任务中的性能，并验证了在谱域中学习注意力的有效性。
2021-07-27 cs.LG cs.SI stat.ML
When Should Graph Attention Be Sparse? Learning a Per-Edge Tsallis Index
University College London（伦敦大学学院）；Holistic AI；University of Utah（犹他大学）
该研究提出可学习Tsallis图注意力（LTGA），其Tsallis熵指数q可逐边学习，在8个基准测试中验证了其剪枝注意力系数的可解释机制，虽未显著优于调优的α-entmax，但可单次运行替代网格搜索。
2026-08-05 cs.AI cs.LG
Weighted Graph Structure Learning with Attention Denoising for Node Classification
Ocean University of China（中国海洋大学）
针对加权图中噪声边和异常权重导致节点分类不准的问题，提出EWGSL方法，融合权重学习与结构学习，改进注意力系数和损失函数，平均Micro-F1提升17.8%。
2025-03-29 cs.AI cs.LG
ESGCN: Edge Squeeze Attention Graph Convolutional Network for Traffic Flow Forecasting
Yonsei University（延世大学）
针对交通流的动态时空依赖问题，提出ESGCN，通过多尺度节点卷积、边缘注意力GCN、自适应邻接矩阵和节点对比损失提升预测性能。
2023-07-12 cs.AI cs.LG
GASE: Graph Attention Sampling with Edges Fusion for Solving Vehicle Routing Problems
School of Computer Science, University of Nottingham Ningbo China（宁波诺丁汉大学计算机科学学院）；School of Computer Science, University of Nottingham（诺丁汉大学计算机科学学院）；School of Electronics and Information Engineering, Tongji University（同济大学电子与信息工程学院）
针对现有VRP求解的学习方法未充分利用图论属性、节点交互影响研究不足的问题，提出带边融合的自适应图注意力采样框架GASE，结合自适应演员-评论家算法加快收敛，性能较现有方法提升2.08%-6.23%，达SOTA水平。
2024-05-21 cs.AI cs.LG
Edge-DIRECT: A Deep Reinforcement Learning-based Method for Solving Heterogeneous Electric Vehicle Routing Problem with Time Window Constraints
University of Calgary（卡尔加里大学）
本文针对带时间窗约束的异构电动汽车路径问题（HEVRPTW），提出基于深度强化学习的 Edge-DIRECT 方法，通过边缘增强编码和双注意力解码提升求解质量与效率，并在真实数据集上验证了其优越性。
2024-06-28 cs.AI cs.LG
LLMForge: Multi-Backend Hardware-Aware Neural Architecture Search with Infinite-Head Attention for Edge Language Models
Brown University（布朗大学）；University of Michigan（密歇根大学）；Google Research（谷歌研究）
本文提出LLMForge，一种多后端硬件感知的神经架构搜索框架，通过无限头注意力扩展了每层注意力配置空间，并结合Forge-Former和Forge-DSE实现了高效的边缘语言模型架构搜索，最终在不同硬件子系统上获得了不同形状的架构，展示了在不同性能指标上的优化效果。
2026-05-17 cs.AI cs.LG
DyEdgeGAT: Dynamic Edge via Graph Attention for Early Fault Detection in IIoT Systems
EPFL（洛桑联邦理工学院）
针对工业物联网中传感器信号关系演变被忽视及新工况误报问题，提出DyEdgeGAT，通过动态边图注意力跟踪关系演变并融入工况上下文，在合成和真实基准上显著提升早期低严重度故障检测性能。
2024-01-25 cs.AI cs.LG
Edge Large AI Models: Revolutionizing 6G Networks
The Hong Kong University of Science and Technology（香港科学与技术大学）；ShanghaiTech University（上海科技大学）
本文探讨边缘大型AI模型在6G网络中的机遇与挑战，提出模型分解、协作微调、全参数训练框架及微服务推理架构，并应用于空口设计的信道预测与波束成形，为6G技术推进提供解决方案。
2025-05-01 cs.LG cs.NI eess.SP
Learning Temporal Attention in Dynamic Graphs with Bilinear Interactions
University of Guelph（圭尔夫大学）；Vector Institute for Artificial Intelligence（矢量人工智能研究所）；University of Saskatchewan（萨斯喀彻温大学）
在生物信息学、物理学和社交网络等许多领域，关于图随时间演化的推理是一个具有挑战性的概念。我们考虑一种常见的情况，其中边缘可以是短期相互作用（例如，消息传送）或长期结构连接（例如，友谊）。在实践中，长期边缘通常由人类指定。人工指定的边的产生成本很高，而且对于下游任务来说是次优的。为了缓解这些问题，我们提出了一个基于时间点过程和变分自编码器的模型，该模型通过观察节点通信来学习推断节点之间的时间注意力。由于时间注意力驱动节点之间的特征传播，因此使用节点交互的动态来学习这个关键组件提供了更大的灵活性，同时避免了与人类指定的边缘相关的问题。我们还提出了一个双线性变换层的节点功能对，而不是串联，通常使用在以前的工作，并证明其优越的性能在所有情况下。在动态链接预测任务中的两个数据集上的实验中，我们的模型通常优于需要人类指定图的基线模型。此外，我们习得的注意力在语义上是可解释的，并推断出类似于实际图形的连接。
2020-06-19 cs.AI cs.LG stat.ML
Fast Re-Trainable Attention Autoencoder for Liquid Sensor Anomaly Detection at the Edge
University of California, Irvine（加利福尼亚大学欧文分校）
本文提出一种边缘可部署的注意力单类自编码器流程，仅用30分钟正常数据训练即可检测实验室液体传感器异常，模型约31 kB并在无AVX的x86设备上实现低于2秒推理，整体工作流一小时内完成，支持快速适配新液体或传感器。
2025-07-05 cs.LG
U-R-VEDA: Integrating UNET, Residual Links, Edge and Dual Attention, and Vision Transformer for Accurate Semantic Segmentation of CMRs
Kent State University（肯特州立大学）
本文提出增强型UNet模型U-R-Veda，集成卷积、Vision Transformer、残差链接、双重注意力与边缘跳跃连接，实现CMR图像精确全自动语义分割，平均准确率达95.2%。
2025-06-25 cs.AI cs.CV cs.LG
Graph-Aware Transformer: Is Attention All Graphs Need?
Samsung Advanced Institute of Technology（三星先进技术研究院）
图是表示许多领域中的关系和结构信息的自然数据结构。为了覆盖包括图分类以及图生成的广泛的图数据应用，期望具有由可以处理图数据的编码器和解码器组成的通用且灵活的模型。虽然有代表性的编码器-解码器模型，Transformer，在各种任务，特别是自然语言处理，表现出优越的性能，它不是立即可用于图，由于其非顺序特性。为了解决这种不兼容性，我们提出了GRaph-Aware Transformer（GRAT），这是第一个基于Transformer的模型，可以以端到端的方式对整个图进行编码和解码。GRAT具有自适应边缘信息的自注意机制和基于双路径方法的自回归解码机制，该双路径方法包括子图编码路径和每个解码步骤的节点和边缘生成路径。我们在多个设置上经验性地评估了GRAT，包括基于编码器的任务，例如对QM 9数据集的分子性质预测和基于编码器-解码器的任务，例如有机分子合成领域中的分子图生成。GRAT已经显示出非常有前途的结果，包括在QM 9基准测试中的4个回归任务上的最新性能。
2020-06-09 cs.CL cs.LG stat.ML
Modality-Aware Zero-Shot Pruning and Sparse Attention for Efficient Multimodal Edge Inference
Northwestern University（西北大学）
本文提出SentryFuse框架，通过模态感知的剪枝和稀疏注意力机制，在无需微调的情况下提升多模态边缘推断的效率与准确性，实现12.7%的平均精度提升和28.2%的内存减少。
2026-04-10 cs.LG
AttendSeg: A Tiny Attention Condenser Neural Network for Semantic Segmentation on the Edge
University of Waterloo（滑铁卢大学）；Waterloo Artificial Intelligence Institute（滑铁卢人工智能研究所）；DarwinAI Corp.（DarwinAI公司）
在这项研究中，我们介绍了\textbf{AttendSeg}，这是一种为设备上语义分割量身定制的低精度，高度紧凑的深度神经网络。AttendSeg拥有一个自注意力网络架构，包括轻量级的注意力冷凝器，用于以非常低的复杂度改善空间通道选择性注意力。AttendSeg独特的宏观架构和微观架构设计属性在代表性和效率之间取得了很好的平衡，这是通过专门为手头任务量身定制的机器驱动的设计探索策略实现的。实验结果表明，所提出的AttendSeg可以实现与复杂度更高的更大深度神经网络相当的分割精度，同时具有显着更低的架构和计算复杂性（需要多达27倍的MAC，参数减少> 72倍，重量内存需求减少> 288倍），使其非常适合边缘上的TinyML应用程序。
2021-04-29 cs.CV cs.LG
IntAttention: A Fully Integer Attention Pipeline for Efficient Edge Inference
Anonymous Institution, Anonymous City, Anonymous Region, Anonymous Country（匿名机构，匿名城市，匿名地区，匿名国家）
针对Transformer在边缘设备上部署时softmax路径导致的数据类型转换瓶颈，提出IntAttention全整数注意力流水线，通过IndexSoftmax算子、稀疏感知裁剪、32项查找表近似和直接整数归一化，消除数据类型转换开销，在Armv8 CPU上实现高达3.7倍加速和61%能耗降低。
2026-05-29 cs.LG
SCAFDS: Edge-Feature Graph Attention for Interbank Fraud Detection with Attribution-Grounded SAR Generation
Taskimpetus Inc.（Taskimpetus公司）
本文提出SCAFDS系统，通过七阶段集成监控流程解决现有方法的五个结构性限制，利用欺诈共现边特征进行跨银行拓扑编码，结合节点表示和欺诈共现边特征进行边特征引导的图注意力，生成机构级系统性欺诈风险评分，并通过归因条件生成SAR叙述，实现每个FinCEN SAR断言的可追溯性，最终在IEEE-CIS欺诈检测数据集和合成FDIC对齐的跨银行网络上取得了显著的AUPRC和AUROC提升。
2026-05-17 cs.AI cs.CR cs.LG
Edge Attention-based Multi-Relational Graph Convolutional Networks
图卷积网络（GCN）是卷积神经网络（CNN）的推广，可以处理任意结构的图。二进制邻接矩阵通常用于训练GCN。最近，注意力机制允许网络学习邻域的动态和自适应聚合。我们提出了一个新的GCN模型的图，其边缘的特点是在多个视图或精确的多个关系。例如，在化学图论中，化合物结构通常由氢耗尽的分子图表示，其中节点对应于原子，边对应于化学键。多个属性对于表征化学键可能很重要，例如原子对（键连接的原子类型），芳香性以及键是否在环中。不同的属性导致相同分子的不同图形表示。在化学和机器学习领域，人们越来越感兴趣的是从分子图中直接学习化合物的分子性质，而不是从化学家预先定义的指纹中。所提出的GCN模型，我们称之为基于边缘注意力的多关系GCN（EAGCN），在图卷积中联合学习注意力权重和节点特征。对于每个键属性，使用实值注意矩阵来代替二进制邻接矩阵。通过为边缘注意力设计字典，并通过查找字典形成每个分子的注意力矩阵，EAGCN利用不同分子中键之间的对应关系。化合物性质的预测是基于聚合的节点特征，这是独立的变化的分子（图）的大小。我们证明了EAGCN对多个化学数据集的有效性：Tox21，HIV，Freesolv和亲脂性，并解释了由此产生的注意力权重。
2018-05-20 cs.LG stat.ML
Let the Heads Talk: Beyond Diagonal Graph Attention
本研究通过箭图表示将层神经网络中的矩阵值传输与多头注意力联系起来，提出拓扑注意力（Top-A），学习跨头非对角路由，在关系推理等任务上验证了边条件跨头通信作为独立计算原语的价值。
2026-10-02 cs.LG
Federated Attention: A Distributed Paradigm for Collaborative LLM Inference over Edge Networks
Pillar of Information Systems Technology and Design, Singapore University of Technology and Design（信息系统技术与设计学院，新加坡南洋理工大学）；School of Electronics, Electrical Engineering and Computer Science, Queen’s University Belfast（电子、电气与计算机科学学院，女王大学贝尔法斯特分校）；Department of Electrical and Computer Engineering, Sungkyunkwan University（电气与计算机工程系，成均馆大学）；KU 6G Research Center, Department of Computer and Information Engineering, Khalifa University（6G研究中心，计算机与信息工程系，哈利法大学）；CentraleSupelec, University of Paris-Saclay（中央超导研究所，巴黎萨克雷大学）；Department of Electrical and Computer Engineering, Princeton University（电气与计算机工程系，普林斯顿大学）
针对边缘网络中LLM协作推理面临的隐私、通信和计算瓶颈，提出Federated Attention框架，通过周期性跨Transformer块聚合KV矩阵实现隐私保护与高效推理，并从理论和实验验证了其优化潜力。
2025-11-04 cs.AI cs.DC cs.LG
Local and Global Graph Modeling with Edge-weighted Graph Attention Network for Handwritten Mathematical Expression Recognition
Nantes Universite（南特大学）；Ecole Centrale Nantes（南特中央理工学院）；CNRS（法国国家科学研究中心）；Rochester Institute of Technology（罗切斯特理工学院）
提出融合 EGAT 与局部/全局笔画级图建模的端到端 HMER 方法，将识别转化为节点与边分类，提升符号、关系及表达式识别性能。
2024-10-24 cs.CV cs.LG
Delta Keyword Transformer: Bringing Transformers to the Edge through Dynamically Pruned Multi-Head Self-Attention
Technical University of Denmark（丹麦技术大学）；Demant A/S（丹麦德玛特公司）；KU Leuven（鲁汶大学）
多头自注意形成了Transformer网络的核心。然而，它们相对于输入序列长度的二次增长的复杂性阻碍了它们在资源受限的边缘设备上的部署。我们通过提出一种动态修剪方法来解决这一挑战，该方法利用令牌之间数据的时间稳定性来降低推理成本。基于阈值的方法仅保留后续令牌之间的显著差异，有效地减少了乘法累积的数量以及内部张量数据大小。在Google Speech Commands Dataset上对该方法进行了关键字识别评估，并将其性能与基线关键字Transformer进行了比较。我们的实验表明，我们可以减少约80%的操作，同时保持原来的98.4%的准确率。此外，当仅降低1- 4%的准确性时，可以实现约87-94%的操作减少，从而将多头自注意推理加速约7.5-16倍。
2022-03-20 cs.CL cs.LG
Uncertainty, Edge, and Reverse-Attention Guided Generative Adversarial Network for Automatic Building Detection in Remotely Sensed Images
Purdue University（普渡大学）
尽管最近在基于深度学习的语义分割方面取得了进展，但由于全球建筑物外观的巨大变化，从遥感图像中自动检测建筑物仍然是一个具有挑战性的问题。错误主要发生在建筑物覆盖区的边界周围，阴影区域，以及检测其外表面具有与周围区域非常相似的反射特性的建筑物时。为了克服这些问题，我们提出了一个基于生成对抗网络的分割框架，该框架在生成器中嵌入了不确定性注意单元和细化模块。细化模块由边缘和反向注意单元组成，用于细化预测的建筑物地图。边缘注意力增强了边界特征，以更高的精度估计建筑物边界，而反向注意力允许网络探索先前估计区域中缺失的特征。不确定性注意单元帮助网络解决分类中的不确定性。作为对我们方法的力量的衡量，截至2021年12月4日，它在DeepGlobe的公共排行榜上排名第二，尽管我们方法的主要重点-建筑边缘的细化-与排行榜排名所用的指标并不完全一致。我们在DeepGlobe挑战性数据集上的总体F1得分为0.745。我们还报告了对具有挑战性的INRIA验证数据集的先前最佳结果的改进，我们的网络实现了81.28%的总体IoU和97.03%的总体准确度。同样，对于官方的INRIA测试数据集，我们的网络在整体IoU和准确性方面的得分分别为77.86%和96.41%。
2021-12-10 cs.CV cs.LG
Attention-aware Semantic Communications for Collaborative Inference
Pohang University of Science and Technology (POSTECH)（浦项科技大学（POSTECH））
本研究针对ViT架构下传统协同推理通信成本高的问题，提出含注意力感知图像块选择与熵感知传输的语义通信框架，在ImageNet上以极小精度损失降低68%通信开销。
2024-05-31 cs.AI cs.CV cs.LG
EDNet: Edge-Optimized Small Target Detection in UAV Imagery -- Faster Context Attention, Better Feature Fusion, and Hardware Acceleration
Sorbonne University（索邦大学）；University of California, Berkeley（加州大学伯克利分校）；Imperial College London（伦敦帝国学院）
本文提出基于增强 YOLOv10 的 EDNet 边缘检测框架，通过 XSmall 检测头、Cross Concat、C2f-FCA 与 WIoU 提升无人机小目标检测精度和速度。
2025-01-10 cs.AI cs.CV cs.LG
Graph Attention Retrospective
David R. Cheriton School of Computer Science, University of Waterloo（滑铁卢大学大卫·R·切里顿计算机科学学院）；Department of Applied Mathematics, University of Waterloo（滑铁卢大学应用数学系）
本文从理论上研究了图注意力网络在上下文随机块模型节点分类中的行为，证明了其在“简单”机制下能实现完美分类且对结构噪声具有鲁棒性，而在“困难”机制下则存在局限性。
2023-05-22 cs.LG stat.ML
TinySpeech: Attention Condensers for Deep Speech Recognition Neural Networks on Edge Devices
University of Waterloo（滑铁卢大学）；Waterloo Artificial Intelligence Institute（滑铁卢人工智能研究所）；DarwinAI Corp.（达尔文人工智能公司）
深度学习的进步已经在众多语音识别任务中实现了最先进的性能。然而，用于设备上语音识别的深度神经网络的广泛部署仍然是一个挑战，特别是在存储器和计算资源高度受限的边缘场景中（例如，低功耗嵌入式设备）或专用于语音识别的存储器和计算预算较低的情况（例如，执行除语音识别之外的许多任务的移动设备）。在这项研究中，我们引入了注意力凝聚器的概念，用于构建低占用空间，高效的深度神经网络，用于边缘上的设备上语音识别。注意冷凝器是一种自我注意机制，它学习并产生表征联合局部和跨通道激活关系的浓缩嵌入，并相应地执行选择性注意。为了说明其有效性，我们介绍了TinySpeech，低精度深度神经网络，主要包括使用机器驱动的设计探索策略为设备上的语音识别量身定制的注意力冷凝器，其中一个专门针对微控制器操作约束。在有限词汇量语音识别的Google Speech Commands基准数据集上的实验结果表明，与以前的工作相比，TinySpeech网络实现了显着降低的架构复杂性（$507\times$更少的参数），更低的计算复杂性（$48\times$更少的乘加运算）和更低的存储要求（$2028\times$更低的权重内存要求）。这些结果不仅证明了注意力冷凝器在构建高效的设备上语音识别网络方面的有效性，还阐明了其在边缘加速深度学习和增强TinyML应用程序的潜力。
2020-10-12 cs.LG cs.NE eess.AS
Edge Attention Module for Object Classification
NIIT University（NIIT大学）；Christ (Deemed to be University)（基督（ deemed 大学））
本文提出边缘注意力模块EAM，通过最大-最小池化捕获关键边缘信息并集成到CNN中，在多个标准数据集上显著超越现有模型，取得最佳分类准确率。
2025-02-05 cs.CV cs.LG
Graph Machine: Exploring Edge Mechanisms as an Inductive Bias
该研究提出Graph Machine架构，含边增强注意力与以边为中心的引用两种边机制，在数独任务上优于Transformer基线，证明显式边机制是有前景的架构设计。
2026-08-21 cs.LG
HERMES: Heterogeneous Edge-Relational Multi-Head Embedded SSM Attention for Traffic Conflict Prediction at Signalized Intersections
研究针对交通冲突预测，提出HERMES异构边缘关系图神经网络，利用特定关系注意力等方法，在多指标上表现优异，优于基线模型，联合训练提升目标站点性能，为信号交叉口路边安全监测提供支持。
2026-07-24 cs.LG cs.RO
AttendNets: Tiny Deep Image Recognition Neural Networks for the Edge via Visual Attention Condensers
University of Waterloo（滑铁卢大学）；DarwinAI Corp.（达尔文人工智能公司）
虽然深度学习的重大进步已经在大量复杂的视觉感知任务中实现了最先进的性能，但考虑到深度神经网络的复杂性，为涉及设备上低功耗图像识别的TinyML应用广泛部署深度神经网络仍然是一个巨大的挑战。在这项研究中，我们介绍了AttendNets，这是一种低精度、高度紧凑的深度神经网络，专为设备上的图像识别而设计。更具体地说，AttendNets拥有基于视觉注意力冷凝器的深度自我注意力架构，该架构扩展了最近推出的独立注意力冷凝器，以提高空间通道选择性注意力。此外，AttendNets具有独特的机器设计的宏架构和微架构设计，通过机器驱动的设计探索策略实现。针对设备上图像识别任务的ImageNet $_{50}$基准数据集的实验结果表明，与研究文献中的几个深度神经网络相比，AttendNets的架构和计算复杂性度显着降低，这些深度神经网络旨在提高效率，同时实现最高的准确度（最小的AttendNet实现了高出$\sim$ 7.2%的准确度，同时需要少$\times$ 3倍的乘加运算，$\sim$ 4.17 $\times$参数更少，$\sim$ 16.7 $\times$重量内存要求比MobileNet-V1更低）。基于这些令人鼓舞的结果，AttendNets说明了视觉注意力冷凝器作为构建模块的有效性，可以为TinyML应用程序实现各种设备上的视觉感知任务。
2020-09-30 cs.CV cs.LG
A Robust graph attention network with dynamic adjusted Graph
National University of Defense Technology（国防科技大学）
图注意力网络（GATs）是处理图数据的有用的深度学习模型。然而，最近的工作表明，经典的GAT是脆弱的对抗攻击。它会随着轻微的扰动而急剧退化。因此，如何增强GAT的鲁棒性是一个关键问题。为了提高GAT算法的鲁棒性，在对注意力机制进行改进的基础上，提出了鲁棒GAT算法（RoGAT）。与原GAT算法对不同边缘采用注意力机制，但仍对扰动敏感不同，RoGAT算法逐步增加了一个额外的动态注意力分数，提高了鲁棒性。首先，RoGAT修改的基础上的光滑性假设，这是很常见的普通图的边的重量。其次，RoGAT进一步修正特征以抑制特征噪声。然后，通过动态边的权重生成额外的注意力分数，并可用于减少对抗攻击的影响。针对引文数据的有针对性和无针对性攻击的不同实验表明，RoGAT优于大多数最近的防御方法。
2022-08-04 cs.LG stat.ML
FlowSymm: Physics Aware, Symmetry Preserving Graph Attention for Network Flow Completion
Department of Computer Science, UC Santa Barbara（计算机科学系，加州大学圣芭芭拉分校）；Center for Control, Dynamical Systems, and Computation, UC Santa Barbara（控制、动态系统与计算中心，加州大学圣芭芭拉分校）；U.S. Army DEVCOM Research Laboratory（美国陆军 DEVCOM 研究实验室）
FlowSymm通过结合群作用和图注意力机制，实现网络流补全，优于现有方法。
2026-03-06 cs.LG
