How Powerful are K-hop Message Passing Graph Neural Networks
Washington University in St. Louis(圣路易斯华盛顿大学);Washington University School of Medicine(华盛顿大学医学院);Peking University(北京大学);Beijing Institute for General Artificial Intelligence(北京通用人工智能研究院)
图神经网络(GNN)最流行的设计范例是单跳消息传递-重复聚合来自单跳邻居的信息。然而,1跳消息传递的表达能力受到Weisfeiler-Lehman(1-WL)测试的限制。最近,研究人员通过同时聚合来自K跳邻居节点的信息,将1跳消息传递扩展为K跳消息传递。然而,没有工作分析的表达能力的K跳消息传递。在这项工作中,我们从理论上描述了K跳消息传递的表达能力。具体来说,我们首先正式区分两个不同的内核的K跳消息传递,这是经常被滥用在以前的作品。然后,我们表征的表达能力的K跳消息传递表明,它是更强大的1-WL,可以区分几乎所有的正则图。尽管更高的表达能力,我们表明,K跳消息传递仍然不能区分一些简单的正则图,其表达能力是由3-WL的范围。为了进一步增强其表达能力,我们引入了KP-GNN框架,该框架通过利用每一跳中的外围子图信息来改进K跳消息传递。我们表明,KP-GNN可以区分许多距离正则图,不能区分以前的距离编码或3-WL方法。实验结果验证了KP-GNN的表达能力和有效性。KP-GNN在所有基准数据集上都取得了有竞争力的结果。
2023-01-06 cs.AI cs.LG
Less is More: Hop-Wise Graph Attention for Scalable and Generalizable Learning on Circuits
Cornell University(康奈尔大学);University of Maryland(马里兰大学);Qualcomm Technologies, Inc.(高通技术公司)
针对图神经网络在电路EDA任务中可扩展性与泛化性不足的问题,提出跳数级图注意力模型HOGA,在两项EDA任务上精度更优且训练可分布式线性加速。
2024-04-10 cs.AR cs.LG
Structure-Aware Multi-Hop Graph Convolution for Graph Neural Networks
Tokyo University of Agriculture and Technology(东京农工大学);Tokyo University of Agriculture(东京农业大学)
在本文中,我们提出了一个空间图卷积(GC)分类信号的图。现有的GC方法仅限于使用特征空间中的结构信息。此外,GC的单步的仅使用来自目标节点的一跳相邻节点上的特征。在本文中,我们提出了两种方法来提高GC的性能:1)利用特征空间中的结构信息,2)在一个GC步骤中利用多跳信息。在第一种方法中,我们在特征空间中定义了三个结构特征:特征角度、特征距离和关系嵌入。第二种方法聚合GC中多跳邻居的节点特征。这两种方法可以同时使用。我们还提出了图神经网络(GNNs)集成了所提出的GC,用于对3D点云和引文网络中的节点进行分类。在实验中,所提出的GNNs表现出比现有方法更高的分类准确率。
2021-12-03 cs.CV cs.LG
Tailoring Self-Attention for Graph via Rooted Subtrees
Shanghai Jiaotong University(上海交通大学)
针对现有图注意力机制长程信息捕获不足或局部细粒度信息缺失的问题,提出基于有根子树的多跳子树注意力STA及高效形式,构建STAGNN模型,在10个节点分类任务上性能优于现有图Transformer和主流GNN。
2023-10-08 cs.AI cs.LG
MHNF: Multi-hop Heterogeneous Neighborhood information Fusion graph representation learning
Harbin Institute of Technology(哈尔滨工业大学)
注意力机制使图神经网络(GNN)能够学习目标节点与其单跳邻居之间的注意力权重,从而进一步提高性能。然而,大多数现有的GNN都面向同构图,并且其中每一层只能聚合一跳邻居的信息。堆叠多层网络引入了相当大的噪声,并且容易导致过度平滑。提出了一种多跳异构邻域信息融合图表示学习方法。具体来说,我们提出了一个混合元路径自主提取模型,有效地提取多跳混合邻居。然后,我们制定了一个跳级的异构信息聚合模型,有选择地聚合不同的跳邻域信息在同一个混合元路径。最后,构建了一个层次化的语义注意力融合模型(HSAF),该模型可以有效地融合不同跳和不同路径的邻域信息。以这种方式,本文解决了聚合多跳邻域信息和学习混合元路径的目标任务的问题。这减轻了手动指定元路径的限制。此外,HSAF还可以提取元路径内部节点信息,更好地整合不同层次的语义信息。在真实数据集上的实验结果表明,MHNF在只有1/10 ~ 1/100的参数和计算预算的情况下,达到了最好的或有竞争力的性能。我们的代码可在https://github.com/PHD-lanyu/MHNF上公开获取。
2022-06-23 cs.AI cs.LG
2-hop Neighbor Class Similarity (2NCS): A graph structural metric indicative of graph neural network performance
Huawei Munich Research Center(华为慕尼黑研究中心)
图神经网络(GNN)在众多领域的图结构数据上实现了最先进的性能。它们将节点表示为其邻近区域的摘要的潜在能力已被证明对同构图特别有效,其中相同类型的节点倾向于连接。在不同类型的节点可能连接的异质图上,GNN的表现不太一致,因为邻域信息可能不太具有代表性,甚至具有误导性。另一方面,GNN的性能在所有异质图上都不差,并且缺乏对其他图形属性影响GNN性能的理解。在这项工作中,我们强调了广泛使用的同质比和最近的跨类邻域相似性(CCNS)度量在估计GNN性能方面的局限性。为了克服这些限制,我们引入了2跳邻居类相似性(2NCS),这是一种新的定量图形结构属性,与GNN性能的相关性比其他指标更强,更一致。2NCS认为两跳的邻居作为一个理论推导的两步标签传播过程的结果支配GCN的训练推理过程。一个合成和八个真实世界的图数据集上的实验证实了在估计基于GCN和GAT的架构对节点分类任务的准确性方面,与现有指标相比的一致改进。
2022-12-26 cs.LG
Congestion-aware Distributed Task Offloading in Wireless Multi-hop Networks Using Graph Neural Networks
Rice University(莱斯大学);US Army’s DEVCOM Army Research Laboratory(美国陆军DEVCOM陆军研究实验室)
针对无线多跳网络中多设备任务引发的拥塞问题,本文用图机器学习增强分布式贪心框架,提出低开销的拥塞感知卸载方案,并在20–110节点仿真中验证其降拥塞和降延迟效果。
2024-01-21 cs.LG cs.NI eess.SP
HopGAT: Hop-aware Supervision Graph Attention Networks for Sparsely Labeled Graphs
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院)
由于标记节点的成本,在保持预测精度的同时对稀疏标记图中的节点进行分类值得关注。算法的关键是如何从多个不同跳距的邻居节点中学习到足够的信息。本研究首先提出一个跳感知的注意力监督机制的节点分类任务。然后采用模拟退火学习策略来平衡两个学习任务,节点分类和跳感知注意系数,沿训练时间轴。实验结果表明,与现有模型相比,所提出的HopGAT模型具有更好的性能.特别是对于蛋白质-蛋白质相互作用网络,在40%标记图中,与完全标记图相比,性能损失仅为3.9%,从98.5%到94.6%。大量的实验也证明了监督注意系数和学习策略的有效性。
2020-04-09 cs.LG stat.ML
EvenNet: Ignoring Odd-Hop Neighbors Improves Robustness of Graph Neural Networks
Renmin University of China(中国人民大学);Alibaba Group(阿里巴巴集团)
图神经网络(GNNs)在图机器学习中具有良好的性能,受到了广泛的研究关注。尽管其非凡的预测精度,现有的方法,如GCN和GPRGNN,是不强大的测试图上的同质性变化,使这些模型容易受到图结构攻击和有限的能力,在推广到不同的同质性水平的图。虽然已经提出了许多方法来提高GNN模型的鲁棒性,但这些技术大多局限于空间域,并且采用复杂的防御机制,例如学习新的图结构或计算边缘注意力。在本文中,我们研究了在谱域中设计简单而鲁棒的GNN模型的问题。我们提出了EvenNet,一个对应于偶多项式图滤波器的谱GNN。基于我们在空间域和谱域的理论分析,我们证明了EvenNet在推广homophilic和heterophilic图方面优于全阶模型,这意味着忽略奇数跳邻居可以提高GNN的鲁棒性。我们在合成和真实世界的数据集上进行实验,以证明EvenNet的有效性。值得注意的是,EvenNet在不引入额外计算成本的情况下优于现有的结构化攻击防御模型,并在homophilic和heterophilic图上保持了传统节点分类任务的竞争力。
2023-01-22 cs.AI cs.LG
AI-Driven Multi-Hop Relay Selection for Smart Urban NR-V2X Networks via Learning-to-Optimize Graph Neural Networks
研究智能城市NR-V2X网络中多跳中继选择问题,提出基于图神经网络的学习优化框架,将车辆通信状态建模为属性图,通过离线MILP预言机监督、边缘感知图同构网络近似决策,实验证明该方法能在降低执行时间的同时实现与MILP相当的连接性。
2026-07-24 cs.AI cs.LG cs.NI
Attention in a family of Boltzmann machines emerging from modern Hopfield networks
CyberAgent, Inc.(赛博艾坚特公司);RIKEN(日本理化学研究所);AIST(日本产业技术综合研究所)
Hopfield网络和Boltzmann机(BM)是基本的基于能量的神经网络模型。最近对现代Hopfield网络的研究拓宽了能量函数的类别,并导致对包括注意力模块的一般Hopfield网络的统一观点。在这封信中,我们考虑了BM对应的现代Hopfield网络使用相关的能量函数,并从可训练性的角度研究其显着属性。特别地,与注意模块相对应的能量函数自然地引入了一种新的BM,我们称之为注意BM(AttnBM)。我们验证了AttnBM有一个听话的似然函数和梯度的某些特殊情况下,很容易训练。此外,我们揭示了AttnBM和一些单层模型之间的隐藏连接,即高斯-伯努利限制BM和来自去噪得分匹配的softmax单元的去噪自动编码器。我们还研究了由其他能量函数引入的BM,并表明稠密联想记忆模型的能量函数给出了属于指数族谐波的BM。
2023-03-29 cs.LG cs.NE stat.ML
A Framework for Non-Linear Attention via Modern Hopfield Networks
A. Farooq(独立研究者)
本研究基于现代Hopfield网络提出对应注意力机制的能量泛函框架,统一两类模型,为Transformer引入非线性注意力以提升序列建模能力,可应用于BERT等模型。
2025-05-21 cs.LG cs.NE stat.ML
On the Role of Hidden States of Modern Hopfield Network in Transformer
Graduate School of Artificial Intelligence and Science, Rikkyo University, Japan(人工智能与科学研究生院,立命馆大学,日本)
本文提出现代霍普菲尔德注意力机制,通过引入隐状态提升Transformer的注意力权重性质,解决秩坍塌和token均匀性问题。
2025-11-24 cs.AI cs.LG
Modern Hopfield Networks and Attention for Immune Repertoire Classification
ELLIS Unit Linz(ELLIS林茨单元);LIT AI Lab(LIT人工智能实验室);Institute for Machine Learning(机器学习研究所);Johannes Kepler University Linz(约翰内斯·开普勒大学林茨分校);Institute of Advanced Research in Artificial Intelligence (IARAI)(高级人工智能研究所(IARAI));University of Oslo(奥斯陆大学)
机器学习的核心机制是识别、存储和识别模式。如何学习、访问和检索这些模式在Hopfield网络和最近的Transformer架构中至关重要。我们发现,Transformer架构的注意力机制实际上是现代Hopfield网络的更新规则,可以存储指数级的许多模式。我们利用现代Hopfield网络的高存储容量来解决计算生物学中具有挑战性的多实例学习(MIL)问题:免疫库分类。解决这一问题的准确和可解释的机器学习方法可以为新疫苗和疗法铺平道路,这是目前因COVID-19危机而加剧的一个非常相关的研究课题。基于个体的大量免疫序列的免疫库分类是具有前所未有的大量实例的MIL问题,比目前考虑的问题大两个数量级,并且具有极低的见证率。在这项工作中,我们提出了我们的新方法DeepRC,它将类似transformer的注意力或等效的现代Hopfield网络集成到深度学习架构中,用于大规模MIL,如免疫库分类。我们证明,DeepRC在大规模实验(包括模拟和真实世界的病毒感染数据)的预测性能方面优于所有其他方法,并能够提取与给定疾病类别相关的序列基序。源代码和数据集:https://github.com/ml-jku/DeepRC
2020-07-16 cs.LG q-bio.BM stat.ML
BAG: Bi-directional Attention Entity Graph Convolutional Network for Multi-hop Reasoning Question Answering
The University of Sydney(悉尼大学);Tencent Robotics X(腾讯机器人X实验室)
多跳推理问答需要深入理解各种文档和查询之间的关系。我们提出了一个双向注意实体图卷积网络(BAG),利用实体图中的节点之间的关系和查询和实体图之间的注意力信息,来解决这个问题。图卷积网络用于获得从具有多级特征的文档构建的实体图的节点的关系感知表示。然后,双向注意力应用于图和查询,以生成查询感知节点表示,这将用于最终的预测。实验评估表明,BAG在QAngaroo WIKIHOP数据集上实现了最先进的精度性能。
2019-04-10 cs.AI cs.CL cs.LG
A Broad Class of Discrete-Time Hypercomplex-Valued Hopfield Neural Networks
Federal Institute of Education, Science and Technology of Espírito Santo(圣埃斯皮里图联邦教育、科学与技术学院);University of Campinas(坎皮纳斯大学)
在本文中,我们讨论了一类离散时间超复值Hopfield型神经网络的稳定性。为了保证属于这一类的神经网络总是稳定在一个稳定的状态,我们引入了新的超复数系统称为实部联想超复数系统。实部结合超复数系是对著名的Cayley-Dickson代数和实Clifford代数的推广,包括实数系、复数系、对偶数系、双曲数系、四元数系、正方形系和八元数系。除了新的超复数系统,我们引入了一个家庭的超复值激活函数称为$\mathcal{B}$ -投影函数。一般来说,$\mathcal{B}$ -投影函数将激活电位投影到超复值神经元的所有可能状态的集合上。利用本文提出的理论,我们证实了几个离散时间超复值Hopfield型神经网络的稳定性分析,从文献。此外,我们还引入并给出了Cayley-Dickson代数上的一类Hopfield型神经网络的稳定性分析。
2019-10-31 cs.LG math.DS stat.ML
xNeuSM: Explainable Neural Subgraph Matching with Graph Learnable Multi-hop Attention Networks
Ho Chi Minh City University of Technology (HCMUT)(胡志明市理工大学);Vietnam National University Ho Chi Minh City(胡志明市越南国家大学);Griffith University(格里菲斯大学)
本文提出xNeuSM可解释神经子图匹配方法,通过图可学习多跳注意力网络GLeMA自适应学习每个节点的注意力衰减参数,在提升预测准确率高达34%的同时实现比精确算法快七倍以上的查询速度。
2023-12-04 cs.AI cs.LG
Diffuser: Efficient Transformers with Multi-hop Attention Diffusion for Long Sequences
Yale University(耶鲁大学)
高效的Transformers已经被开发用于长序列建模,由于它们的次二次存储器和时间复杂度。稀疏Transformer是一种通过将自注意力限制在由预定义的稀疏模式指定的位置来提高Transformers效率的流行方法。然而,当重要的标记相关性是多跳时,与全注意力相比,利用稀疏性可能会牺牲表现力。结合稀疏Transformer的高效性和全注意力Transformer的表现力,提出了一种新的高效Transformer-\textit{Diffuser}.扩散器将所有令牌交互集成在一个注意力层中,同时保持低计算和内存成本。其关键思想是使用注意力扩散来扩展稀疏注意力的感受野,该注意力扩散基于对应断开的标记之间的所有路径以及相邻标记之间的注意力来计算多跳标记相关性。从理论上讲,我们展示了扩散器作为序列到序列建模的通用序列近似器的表现力,并通过从谱的角度分析图扩展器属性来研究其近似全注意力的能力。在实验中,我们调查扩散器的有效性进行了广泛的评估,包括语言建模,图像建模和远程竞技场(LRA)。评测结果表明,与最先进的基准测试相比,Diffuser在文本分类任务上平均提高了0.94%,在LRA上平均提高了2.30%,节省了1.67 $\times$内存,这表明Diffuser在表现力和效率方面都具有卓越的性能。
2023-01-31 cs.CL cs.LG
HoGA: Higher-Order Graph Attention via Diversity-Aware k-Hop Sampling
School of Computer Science\ University of Auckland Auckland New Zealand;Graduate School of Green Growth\ Advanced Institute of Science;School of Computer Science\ University of Auckland
HoGA通过多样性感知的k跳采样方法,提升图注意力机制对更高阶关系的捕捉能力,从而在节点分类任务中取得显著性能提升。
2025-11-25 cs.LG
Dual-Attention Graph Convolutional Network
Nanjing University of Science and Technology(南京理工大学)
图卷积网络(GCN)在文本结构表示方面表现出强大的能力,有效地促进了文本分类任务。然而,由于文本的复杂性和多样性所引起的图变体的主要问题,在适应GCN从文本中学习区分特征方面仍然存在挑战。在本文中,我们提出了一个双注意GCN模型的各种文本的结构信息,以及解决图不变的问题,通过嵌入两种类型的注意力机制,即连接注意力和跳注意力,到经典的GCN。为了对相邻词之间的各种连接模式进行编码,连接注意自适应地对每个词的邻域施加指定的不同权重,从而捕获短期依赖性。另一方面,跳注意力在图扩散过程中将缩放系数应用于不同范围,使模型更多地了解上下文的分布,从而以自适应的方式捕获长期语义。在五个广泛使用的数据集上进行了大量的实验来评估我们的双注意GCN,所取得的最先进的性能验证了双注意力机制的有效性。
2019-11-28 cs.LG stat.ML
Integrating Logical Rules Into Neural Multi-Hop Reasoning for Drug Repurposing
Siemens AG(西门子股份公司);Ludwig Maximilian University of Munich(慕尼黑大学)
生物医学数据的图结构与典型的知识图谱基准测试任务中的图结构不同。生物医学数据的一个特殊属性是存在长期依赖性,这可以通过描述为逻辑规则的模式来捕获。我们提出了一种新的方法,结合这些规则与神经多跳推理方法,使用强化学习。我们进行了实证研究的基础上,通过制定这个任务作为一个链接预测问题的药物再利用的现实世界的任务。我们将我们的方法应用于生物医学知识图谱Hetionet,并表明我们的方法优于几种基线方法。
2020-07-10 cs.AI cs.LG stat.ML
The Gâteaux-Hopfield Neural Network method
Universidade Federal de Minas Gerais(米纳斯吉拉斯联邦大学)
本文利用线性扩展的加托导数(LEGD)建立了Hopfield神经网络(HNN)方法的一组新的微分方程。这种新方法将被称为Gâteaux-Hopfiel神经网络(GHNN)。用一阶Fredholm积分问题来验证该方法,当α > 1时,与HNN整数阶微分方程相比,该方法收敛速度快22倍.此外,通过分析不同α值的结果,观察到学习时间的限制。将指出这种新方法的鲁棒性和优点。
2020-01-29 cs.LG cs.NE
A2P-MANN: Adaptive Attention Inference Hops Pruned Memory-Augmented Neural Networks
University of Tehran(德黑兰大学);University of Southern California(南加州大学)
在这项工作中,限制所需的注意力推理跳数的记忆增强神经网络,我们提出了一种在线自适应方法称为A2 P-MANN。通过利用一个小的神经网络分类器,足够数量的注意力推理跳的输入查询被确定。该技术消除了在提取正确答案时的大量不必要的计算。此外,为了进一步降低A2 P-MANN中的计算量,我们建议修剪最终FC(全连接)层的权重。为此,两个修剪方法,一个可以忽略不计的准确性损失和其他可控损失的最终精度,开发。通过使用bAbI数据集的20个问答(QA)任务来评估该技术的有效性。分析评估显示,平均而言,与基线MANN相比,计算量减少了42%以上,精度损失不到1%。此外,当与先前发布的零跳过技术一起使用时,实现了高达68%的计算计数减少。最后,当所提出的方法(无零跳过)在CPU和GPU平台上实现时,实现了高达43%的运行时间减少。
2022-02-23 cs.CC cs.CL cs.LG
Towards Interpreting Language Models: A Case Study in Multi-Hop Reasoning
The University of Chicago(芝加哥大学)
本文通过分析GPT-2的注意力头,提出定向记忆注入以提升多跳推理,并开发Attention Lens工具解释模型决策,实验显示成功率最高提升424%。
2024-11-06 cs.AI cs.CL cs.LG
Speech Emotion Recognition Using Multi-hop Attention Mechanism
Adobe Research(奥多比研究院)
在本文中,我们感兴趣的是利用语音情感分类任务的话语的文本和声学数据。基线方法使用两个深度神经网络(DNN)独立地对来自音频和文本的信息进行建模。然后将来自两个DNN的输出融合以进行分类。相对于单独使用这两种方式的知识,我们提出了一个框架,利用声学信息与词汇数据。建议的框架使用两个双向长短期记忆(BLSTM)获得隐藏的话语表示。此外,我们提出了一个注意力机制,称为多跳,这是训练自动推断模态之间的相关性。多跳注意力首先计算对应于音频信号的文本数据的相关段。然后将相关的文本数据应用于音频信号的注意部分。为了评估该系统的性能,在IEMOCAP数据集上进行了实验。实验结果表明,所提出的技术优于国家的最先进的系统的6.5%的加权精度方面的相对改善。
2019-05-09 cs.AI cs.CL cs.LG
Hybrid Orthogonal Projection and Estimation (HOPE): A New Framework to Probe and Learn Neural Networks
在本文中,我们提出了一种新的模型高维数据,称为混合正交投影和估计(HOPE)模型,它结合了线性正交投影和有限混合模型下的一个统一的生成建模框架。HOPE模型本身可以基于最大似然估计从未标记的数据中无监督地学习,也可以从标记的数据中有区别地学习。更有趣的是,我们已经证明了所提出的HOPE模型与神经网络(NN)密切相关,在某种意义上,每个隐藏层都可以重新表示为HOPE模型。因此,HOPE框架可以作为一种新的工具来探索神经网络为什么和如何工作,更重要的是,以监督或无监督的方式学习神经网络。在这项工作中,我们已经研究了希望框架学习神经网络的几个标准的任务,包括图像识别MNIST和语音识别TIMIT。实验结果表明,HOPE框架在各种类型的NN学习问题中,包括无监督特征学习,监督或半监督学习,产生了显着的性能增益。
2015-06-06 cs.LG cs.NE
Neural Pathways to Program Success: Hopfield Networks for PERT Analysis
Global Networking and Infrastructure - GEN Google LLC(谷歌有限责任公司全球网络与基础设施部)
本文将PERT项目调度建模为Hopfield神经网络的能量最小化问题,通过神经优化动力学逼近全局一致调度,并在多达1000个任务的合成网络上验证了其接近最优完工时间与低约束违反,为不确定性下的可扩展项目调度提供了新方向。
2025-05-08 cs.LG
HOPE: High-order Polynomial Expansion of Black-box Neural Networks
Tsinghua University(清华大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
本文提出 HOPE,通过复合函数高阶导数法则快速计算神经网络导数并构造参考输入处的 Taylor 多项式,为黑盒模型提供局部显式解释,并支持函数发现、快速推理与特征选择。
2023-07-17 cs.AI cs.LG
Outlier-Efficient Hopfield Layers for Large Transformer-Based Models
Northwestern University(西北大学);National Taiwan University(台湾大学)
提出离群值高效现代Hopfield模型(OutEffHop)解决大型Transformer训练的离群值低效问题,提供离群值高效注意力机制的理论解释,并验证其量化后性能及降低峰度与无穷范数的有效性。
2024-06-26 cs.AI cs.LG stat.ML
Hopfield-Enhanced Deep Neural Networks for Artifact-Resilient Brain State Decoding
Harvard University(哈佛大学);FRCB-IDIBAPS;ICREA
本研究提出一种结合Hopfield网络预处理与CNN分类的两阶段框架,用于抗伪影的脑状态解码,实验表明该框架在噪声条件下能达到与干净数据模型相当的性能。
2023-11-10 cs.LG q-bio.NC
Modern Hopfield Networks with Continuous-Time Memories
Instituto de Telecomunicações(电信研究所);Instituto Superior Técnico(高等技术学院);Universidade de Lisboa(里斯本大学);Champalimaud Research(尚帕利莫研究中心);Unbabel(昂巴贝尔公司);ELLIS Unit Lisbon(欧洲学习与智能系统研究所里斯本分部)
本文受工作记忆连续神经资源分配理论启发,提出将大型离散Hopfield记忆压缩为连续时间记忆,并用概率密度替代softmax更新规则,在保持性能的同时降低计算成本。
2025-04-10 cs.LG
Stronger Transformers for Neural Multi-Hop Question Generation
Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);McGill University(麦吉尔大学);IBM Thomas J. Watson Research Center(IBM托马斯·J·沃森研究中心);ETH Zurich(苏黎世联邦理工学院)
以前的工作自动化问题生成几乎完全集中在生成简单的问题,其答案可以从一个单一的文档中提取。然而,人们越来越感兴趣的是开发系统,能够更复杂的多跳问题的生成,其中回答的问题需要推理多个文件。在这项工作中,我们介绍了一系列强Transformer模型的多跳问题生成,包括图形增强的Transformer,利用文本中的实体之间的关系。虽然以前的工作强调了基于图形的模型的重要性,我们表明,我们可以大大超过5个BLEU点使用标准的Transformer架构的最先进的。我们进一步证明,基于图的增强可以在此基础上提供免费的改进。有趣的是,我们发现几个重要的因素-例如包含辅助对比目标和数据过滤可能会对性能产生更大的影响。我们希望,我们更强有力的基线和分析为这一领域今后的工作提供建设性的基础。
2020-10-22 cs.CL cs.LG
Asymptotically Stable Quaternion-valued Hopfield-structured Neural Network with Periodic Projection-based Supervised Learning Rules
University of Edinburgh(爱丁堡大学);University of Hull(赫尔大学);Heriot-Watt University(赫瑞-沃德大学)
本文提出了一种基于四元数的Hopfield结构神经网络,通过周期投影策略实现监督学习,具有高精度、快速收敛和强可靠性,适用于机器人控制等需要四元数参数化的场景。
2026-02-27 cs.AI cs.LG
Deepening Neural Networks Implicitly and Locally via Recurrent Attention Strategy
Sun Yat-sen University(中山大学);Guangdong University of Technology(广东工业大学)
越来越多的经验和理论证据表明,在合适的训练设置下,加深神经网络可以有效地提高其性能。然而,加深神经网络的主干将不可避免地显著增加计算和参数大小。为了缓解这些问题,我们提出了一个简单而有效的递归注意力策略(RAS),它隐式地增加了神经网络的深度与轻量级注意力模块的局部参数共享。在三个广泛使用的基准数据集上的大量实验表明,RAS可以提高神经网络的性能,在轻微增加的参数大小和计算,表现优于其他现有的知名的注意力模块。
2022-10-27 cs.LG
HoP: Homeomorphic Polar Learning for Hard Constrained Optimization
School of Computing, University of Georgia(佐治亚大学计算学院)
本文提出同胚极坐标学习(HoP)方法,通过在神经网络中嵌入同胚映射求解星凸硬约束优化问题,无需额外惩罚即可端到端训练,在合成和无线通信任务中实现了更优且严格可行的解。
2025-02-01 cs.AI cs.LG math.OC
Dynamic Manifold Hopfield Networks for Context-Dependent Associative Memory
Fudan University(复旦大学)
动态流形霍普菲尔德网络通过数据驱动学习实现情境依赖的联想记忆,显著提升存储容量和检索鲁棒性。
2026-03-03 cs.LG q-bio.NC
Hopfield Neural Network Flow: A Geometric Viewpoint
University of California, Santa Cruz(加州大学圣克鲁兹分校);University of California at Berkeley(加州大学伯克利分校)
我们提供梯度流的连续时间连续状态的Hopfield神经网络(HNN)的解释。与HNN相关的常微分方程和随机微分方程在文献中被引入作为模拟优化器,并在数值实验中表现出良好的性能。在这项工作中,我们指出,确定性的HNN可以转录成Amari的自然梯度下降,从而揭示了潜在的黎曼度量和激活函数之间的显式关系。通过利用自然梯度下降和镜像下降之间的等价性,我们展示了激活函数的选择如何支配HNN动态的几何形状。对于随机HNN,我们表明,所谓的“扩散机”,而不是梯度流本身,诱导梯度流时,解除空间中的概率测度。我们的特点是这个无限维流的梯度下降的自由能相对于一个Wasserstein度量,取决于地面流形上的测地线距离。此外,我们演示了如何通过最近开发的邻近算法,这种梯度流的解释可以用于快速计算。
2019-11-13 cs.LG cs.NE math.OC
Memory Injections: Correcting Multi-Hop Reasoning Failures during Inference in Transformer-Based Language Models
University of Chicago(芝加哥大学);Argonne National Laboratory(阿贡国家实验室)
针对 LLM 多跳推理不稳定问题,本文分析 GPT-2 逐层激活并在关键注意力头注入提示相关“记忆”,使目标 token 概率最高提升 424%。
2024-02-28 cs.AI cs.CL cs.LG
Modern Hopfield Networks meet Encoded Neural Representations -- Addressing Practical Considerations
IBM Research - Almaden(IBM阿尔马登研究院)
针对现代Hopfield网络大规模存储时的亚稳态等问题,提出整合编码神经表征的Hopfield编码网络,可实现跨模态异联想检索,减少亚稳态、提升存储容量与召回能力,推进其实用性。
2024-10-30 cs.AI cs.CV cs.IR
Neural Attention: A Novel Mechanism for Enhanced Expressive Power in Transformer Models
Department of Computer Science University of Bridgeport(计算机科学系布里奇波特大学)
本文提出神经注意力机制,用前馈网络替代点积计算注意力矩阵,在保持维度不变的同时提升Transformer表达能力,并在语言建模和图像分类任务上取得显著性能提升。
2025-11-07 cs.LG cs.NE
Attention-based Neural Beamforming Layers for Multi-channel Speech Recognition
Amazon(亚马逊)
基于注意力的波束形成器最近被证明是有效的多通道语音识别。然而,它们在获取本地信息方面的能力较差。在这项工作中,我们提出了一个2D Conv-Attention模块,它将卷积神经网络与注意力相结合,用于波束成形。我们应用自我注意和交叉注意来明确地对输入通道内和输入通道之间的相关性进行建模。端到端的2D Conv-Attention模型与多头自注意和基于超定向的神经波束形成器进行了比较。我们在内部多通道数据集上进行训练和评估。结果表明,3.8%的相对改善WER所提出的模型在基线神经波束形成器。
2021-05-14 cs.LG cs.SD eess.AS
Conversational Multi-Hop Reasoning with Neural Commonsense Knowledge and Symbolic Logic Rules
Facebook(脸书);EPFL(洛桑联邦理工学院);University of Washington(华盛顿大学);Carnegie Mellon University(卡内基梅隆大学)
会话代理所面临的挑战之一是他们无法识别用户命令的未陈述假设,这对于人类来说是一项微不足道的任务,因为他们的常识。在本文中,我们提出了一个用于会话代理的零射击(zero-shot)常识推理系统,试图实现这一目标。我们的推理器揭示了用户命令中未声明的假设,这些用户命令满足一个通用模板,即if-(state),then-(action),because-(goal)。我们的推理机使用一个国家的最先进的基于转换器的生成常识知识库(KB)作为其背景知识的来源进行推理。我们提出了一种新的和迭代的知识查询机制,提取多跳推理链的神经知识库,使用符号逻辑规则,显着减少搜索空间。与迄今为止收集的任何知识库类似,我们的常识知识库容易丢失知识。因此,我们提出了对话式引出人类用户与我们的新的动态问题生成策略,生成和呈现上下文查询人类用户的缺失的知识。我们通过对人类用户的用户研究来评估该模型,与SOTA相比,该模型的成功率高出35%。
2021-09-17 cs.AI cs.CL cs.LG
Attention over noisy examples: generalization and memorization in the exponential Hopfield network
该研究将Hebbian学习协议迁移至指数型Hopfield模型,通过信噪比分析得出其泛化特性,发现其记忆机制与随机能量模型相关,在MNIST和fashion-MNIST上验证了诊断方法并确定最佳准确率区间。
2026-10-20 cond-mat.dis-nn cs.LG cs.NE
Amorphous Solid Model of Vectorial Hopfield Neural Networks
Department of Physics ``A. Pontremoli", University of Milan, via Celoria 16, 20133 Milan, Italy
本文提出了一种基于无序固体模型的向量型Hopfield神经网络,通过三维向量扩展和Hebb规则生成3×3块结构,实现比传统二进制Hopfield模型更优的存储和检索性能,尤其在高连接度区域表现突出。
2025-12-09 cond-mat.dis-nn cond-mat.soft cond-mat.stat-mech
Attention, please! A survey of Neural Attention Models in Deep Learning
Institute of Computing, University of Campinas(坎皮纳斯大学计算研究所)
在人类中,注意力是所有感知和认知操作的核心属性。考虑到我们处理竞争性信息源的能力有限,注意力机制会选择、调节和关注与行为最相关的信息。几十年来,注意力的概念和功能已经在哲学、心理学、神经科学和计算机领域得到了研究。在过去的六年里,这种特性在深度神经网络中得到了广泛的探索。目前,深度学习的最新技术在几个应用领域中由神经注意力模型表示。本综述对神经注意力模型的发展进行了全面的概述和分析。我们系统地回顾了该领域的数百个架构,确定并讨论了那些关注度显示出重大影响的架构。我们还开发并公布了一种自动化方法,以促进该领域审查的发展。通过批判性地分析650件作品,我们描述了注意力在卷积、递归网络和生成模型中的主要用途,确定了常见的使用和应用亚组。此外,我们描述了注意力在不同应用领域的影响,以及它们对神经网络可解释性的影响。最后,我们列出了可能的趋势和进一步研究的机会,希望这篇评论将提供一个简洁的概述该地区的主要注意力模型,并指导研究人员在开发未来的方法,将推动进一步的改进。
2021-03-31 cs.AI cs.CV cs.LG