A Gated Self-attention Memory Network for Answer Selection
Purdue University(普渡大学);Adobe Research(奥多比研究院)
答案选择是一个重要的研究问题,在许多领域都有应用。以前基于深度学习的方法主要采用比较-聚合架构,该架构执行单词级比较,然后进行聚合。在这项工作中,我们从流行的比较聚合体系结构出发,而是提出了一个新的门控自我注意记忆网络的任务。结合来自大规模在线语料库的简单迁移学习技术,我们的模型在很大程度上优于以前的方法,在两个标准答案选择数据集TrecQA和WikiQA上获得了新的最先进的结果。
2019-09-13 cs.AI cs.CL
Depth-Gated LSTM
Microsoft Research(微软研究院);University of Melbourne(墨尔本大学);Nara Institute of Science and Technology(奈良先端科学技术大学院大学);Carnegie Mellon University(卡内基梅隆大学)
在这篇简短的笔记中,我们提出了一个长短期记忆(LSTM)神经网络的扩展,使用深度门来连接相邻层的存储单元。这样做引入了下层和上层递归单元之间的线性相关性。重要的是,线性相关性通过门控函数进行门控,我们称之为深度门。该门是下层存储单元、该层的输入和过去的存储单元的函数。我们进行了实验,并验证了这种新的LSTM架构能够提高机器翻译和语言建模性能。
2015-08-25 cs.CL cs.NE
Memorization and Knowledge Injection in Gated LLMs
Harvard University(哈佛大学);Kempner Institute, Harvard University(哈佛大学坎普纳研究所)
提出持续学习框架MEGa,通过门控低秩权重将事件记忆直接注入LLM权重,利用门控机制激活相关记忆,在虚构角色和Wikipedia事件数据集上有效缓解灾难性遗忘。
2025-04-30 cs.AI cs.CL
Gated Differentiable Working Memory for Long-Context Language Modeling
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);University of California, Merced(加州大学梅尔塞德斯分校);UBS AG(UBS集团)
Gdwm通过门控可微工作记忆框架,在有限计算下优化长上下文语言模型的测试时间适应,提升效率与性能。
2026-01-19 cs.CL
Learning What to Retain: Gated-Memory Routing for Efficient Collaboration in Multi-Agent LLM Systems
University of Central Florida(中佛罗里达大学)
本研究针对多智能体LLM系统的协作协调问题,提出门控记忆路由方法,通过学习的门控机制优化记忆状态,在五组基准测试中准确率最优且推理成本降低,兼顾有效性与高效性。
2026-09-11 cs.AI cs.CL
Lineage-Aware Memory Governance: A Derivation-Gated Framework for Privacy-Preserving Column-Level Access Control in Enterprise AI Agents
Independent Researcher (ORCID: 0009-0001-7716-1342)
针对企业AI智能体共享内存的隐私泄露与KPI逻辑冲突问题,提出基于派生谱系门控的AMU内存模式,以O(n)复杂度阻断越权派生结果,实验消除18.8-25.5%跨部门泄漏并保持高复用率。
2026-10-07 cs.AI cs.CL cs.CR
Gated Memory: Admission-Controlled Memory Formation for Conversational AI
Samsung Research America(美国三星研究院)
针对对话AI记忆形成阶段的关键约束,提出Gated Memory框架,通过准入门与条件丰富阶段优化事实存储,在LoCoMo-10基准上实现LLM评判准确率2.6%的相对提升。
2026-10-09 cs.AI cs.CL cs.IR
CAMeR: Keyword-Gated Hybrid Activation for Adaptive Memory Retention in LLM Agents
研究大语言模型智能体记忆问题,提出CAMeR框架,结合关键词门控混合激活与自适应权重动态。通过CAMeR-Bench测试,表明其关键词门控效果好,能有效节省令牌并提高检索精度,证明混合符号-神经门控可实现自适应记忆保留。
2026-07-24 cs.AI cs.CL
Gated Slot Attention for Efficient Linear-Time Sequence Modeling
School of Computer Science and Technology, Soochow University(苏州大学计算机科学与技术学院);Massachusetts Institute of Technology(麻省理工学院);University of California Santa Cruz(加州大学圣克鲁兹分校);Tencent AI Lab(腾讯AI实验室);LuxiTech;University of Waterloo(滑铁卢大学)
针对线性注意力Transformer在强召回任务表现不足、训练成本高的问题,提出结合门控机制与softmax的GSA方法,提升内存容量与效率,在上下文召回和T2R场景中性能更优。
2024-10-31 cs.CL
Gated Delta Networks: Improving Mamba2 with Delta Rule
MIT(麻省理工学院);NVIDIA(英伟达)
本文提出门控 delta 规则及并行训练算法,构建 Gated DeltaNet 架构,结合门控记忆擦除与 delta 规则精确更新,在多基准上超越 Mamba2 和 DeltaNet,并通过混合架构进一步提升训练效率与任务表现。
2025-03-06 cs.CL cs.LG
G-MemLLM: Gated Latent Memory Augmentation for Long-Context Reasoning in Large Language Models
Department of Computer Science(计算机科学系);Fudan University(复旦大学)
G-MemLLM通过引入门控潜在记忆库,提升大语言模型在长上下文推理中的表现,显著增强多跳推理和关系精度。
2026-01-12 cs.AI cs.CL
Gated Associative Memory: A Parallel O(N) Architecture for Efficient Sequence Modeling
Independent Researcher(独立研究者)
针对Transformer自注意力O(N²)复杂度的长序列处理瓶颈,提出具有线性复杂度的门控联想记忆(GAM)架构,通过因果卷积与联想记忆并行通路加门控融合实现序列建模,实验验证其训练速度更快,困惑度表现优异。
2025-08-30 cs.CL cs.LG
Understand me, if you refer to Aspect Knowledge: Knowledge-aware Gated Recurrent Memory Network
Australian Artificial Intelligence Institute (AAII), University of Technology Sydney(悉尼科技大学澳大利亚人工智能研究所)
摘要情感分类(ASC)旨在预测评论中提到的特定方面的细粒度情感极性。尽管最近在ASC方面取得了进展,但使机器能够精确地推断方面情绪仍然具有挑战性。本文解决了ASC中存在的两个问题:(1)由于缺乏体知识,现有的体表示方法不能很好地表示体的确切意义和属性信息;(2)现有的体表示方法只能捕捉局部句法信息或全局关系信息,缺少其中任何一个都会导致句法信息不足。为了解决这些挑战,我们提出了一种新的ASC模型,它不仅端到端嵌入和利用方面知识,而且还结合了两种语法信息,并让它们相互补偿。该模型包括三个关键部分:(1)知识感知的门控递归记忆网络递归地集成动态总结的体知识;(2)双语法图网络结合两种句法信息,全面捕获足够的句法信息;(3)知识集成门用进一步需要的体知识重新增强最终表示;(4)方面到上下文的注意力机制将来自所有隐藏状态的方面相关语义聚集到最终表示中。在几个基准数据集上的实验结果证明了我们的模型的有效性,它在精度和Macro-F1方面都大大超过了以前的最先进的模型。
2022-03-01 cs.AI cs.CL
Feedback-Normalized Developer Memory for Reinforcement-Learning Coding Agents: A Safety-Gated MCP Architecture
PythaLab, Yildiz Technical University, Istanbul, Türkiye(PythaLab,伊兹密尔技术大学,伊斯坦布尔,土耳其)
本文提出RL Developer Memory架构,通过归一化反馈和安全门控机制提升强化学习编码代理的内存管理,实验证明其在确定性任务中的有效性。
2026-05-02 cs.CL cs.LG cs.SE
TreeWY: Speculative Verification for Gated DeltaNet Hybrids
Thomson Reuters(汤森路透)
TreeWY通过树结构WY变换移除GDN层的循环状态快照,降低混合模型推测解码的内存压力,提升吞吐量与TTFT,还支持更宽的高接受度draft。
2026-10-26 cs.AI cs.CL cs.DC
Masked Gated Linear Unit
Institute of Science Tokyo Japan(东京科学研究所);Denso IT Laboratory Japan(日立Denso IT实验室)
本文提出 Masked Gated Linear Units (MGLUs) 及其 FlashMGLU 内核,通过 MoEG 架构在共享权重矩阵上学习二值掩码,大幅减少内存读取,在保持或超越 SwiGLU 基线准确率的同时显著提升了 LLM 推理速度与内存效率。
2025-06-29 cs.CL cs.LG
When to Memorize and When to Stop: Gated Recurrent Memory for Long-Context Reasoning
National University of Singapore(新加坡国立大学)
GRU-Mem通过引入两个文本控制的门,实现了更稳定和高效的长上下文推理,显著提升了推理速度和性能。
2026-02-11 cs.AI cs.CL
Bayesian Sparsification of Gated Recurrent Neural Networks
National Research University Higher School of Economics(国立研究型大学高等经济学院);Samsung AI Center(三星人工智能中心)
贝叶斯方法已成功地应用于神经网络权值的稀疏化和网络结构单元的去除。G.神经元我们应用并进一步发展这种方法的门控经常性架构。具体来说,除了单个权重和神经元的稀疏化之外,我们还建议稀疏化LSTM中的门和信息流的预激活。它使某些门和信息流分量保持不变,加快了前向传递速度,提高了压缩率。此外,由此产生的门稀疏结构是可解释的,并取决于任务。代码可以在github上找到:https://github.com/tipt0p/SparseBayesianRNN
2018-12-12 cs.CL cs.LG stat.ML
Gated Convolutional Neural Networks for Domain Adaptation
Samsung R&D Institute, Bangalore(三星研发研究所(班加罗尔))
领域自适应探讨了如何在目标域上最大化性能的想法,该目标域与源域不同,分类器是在其上训练的。已经针对情感分析的任务广泛地探索了该思想。训练属于一个领域的评论和评价另一个领域的广泛研究领域无关的算法建模。这进一步有助于理解域之间的相关性。在本文中,我们表明,门控卷积神经网络(GCN)有效地执行学习情感分析的方式,领域相关的知识是使用其门过滤。我们在多门架构上进行实验:门控Tanh ReLU单元(GTRU),门控Tanh单元(GTU)和门控线性单元(GLU)。在与任务相关的两个标准数据集上进行的大量实验表明,使用门控卷积神经网络进行训练,在目标域上的性能明显优于常规卷积和基于递归的架构。虽然复杂架构也喜欢注意力、过滤器领域特定知识,但与门控架构相比,它们的复杂度顺序非常高。GCN依赖于卷积,因此通过并行化获得优势。
2019-05-16 cs.CL
Structured Sparsification of Gated Recurrent Neural Networks
Samsung-HSE Laboratory(三星-高等经济学院实验室);National Research University Higher School of Economics(国立研究型大学高等经济学院);Samsung AI Center(三星人工智能中心)
近年来,许多技术被用来稀疏化神经网络的权值和去除网络的结构单元,如神经元。我们调整现有的稀疏化方法的门控循环架构。具体来说,除了权重和神经元的稀疏化之外,我们还提出了门的预激活的稀疏化。这使得一些门保持不变,并简化了LSTM结构。我们测试我们的方法上的文本分类和语言建模任务。我们观察到门稀疏性的结果结构取决于任务,并将学习到的结构与特定任务的细节联系起来。我们的方法还在大多数任务中改进了模型的神经元压缩。
2019-11-13 cs.CL cs.LG stat.ML
EG-MLA: Embedding-Gated Multi-head Latent Attention for Scalable and Efficient LLMs
本文提出EG-MLA,通过在潜在空间引入token级嵌入门控机制进一步压缩KV缓存并增强表示能力,相较MHA减少超91.6%缓存,相较MLA最高额外节省59.9%内存且提升推理准确率,并成功扩展至超10亿参数规模。
2025-09-20 cs.CL
Gated Recurrent Neural Tensor Network
Universitas Indonesia(印度尼西亚大学);Nara Institute of Science and Technology(奈良先端科学技术大学)
递归神经网络(RNN)是一种强大的时序数据建模方案,需要捕获数据集的长期依赖关系,并使用强大的模型将其表示在隐藏层中,以从输入中捕获更多信息。为了对数据集中的长期依赖关系进行建模,门控机制概念可以帮助RNN记住和忘记以前的信息。用更有表现力的操作来表示RNN的隐藏层(即,张量积)帮助它学习当前输入和先前隐藏层信息之间的更复杂的关系。这些想法通常可以提高RNN的性能。在本文中,我们提出了一种新的RNN架构,将门控机制和张量积的概念结合到一个单一的模型中。通过将这两个概念结合到一个RNN中,我们提出的模型通过使用门控单元建模来学习长期依赖关系,并使用三维数组(张量)权重参数的张量积来获得输入层和隐藏层之间更具表现力和直接的交互。我们使用长短期记忆(LSTM)RNN和门控递归单元(GRU)RNN,并将它们与其公式中的张量积结合起来。我们提出的RNN,被称为长短期记忆递归神经张量网络(LSTMRNTN)和门控递归单位递归神经张量网络(GRURNTN),是通过将LSTM和GRU RNN模型与张量积相结合而制成的。我们用我们提出的模型对单词级和字符级语言建模任务进行了实验,结果表明,与我们的基线模型相比,我们提出的模型显着提高了性能。
2017-06-07 cs.CL cs.LG stat.ML
Hybrid Gated Flow (HGF): Stabilizing 1.58-bit LLMs via Selective Low-Rank Correction
混合门控流(HGF)通过选择性低秩校正技术,在1.58位LLM中实现内存效率与模型质量的平衡,恢复了与FP16基线的55%质量差距。
2026-02-05 cs.AI cs.CL cs.LG
Simplifying Neural Machine Translation with Addition-Subtraction Twin-Gated Recurrent Networks
Xiamen University(厦门大学);Soochow University(苏州大学);Xiamen Meiya Pico information Co Ltd.(厦门美亚柏科信息股份有限公司)
本文提出了一种用于简化神经机器翻译的加-减双门递归网络(ATR)。ATR的递归单元被大大简化,在所有现有的门控RNN的单元中具有最小数量的权重矩阵。通过简单的加法和减法运算,我们引入了一种双门机制来建立高度相关的输入和遗忘门。尽管这种简化,基本的非线性和建模长距离的依赖关系的能力被保留。此外,由于简化,拟议的ATR比LSTM/GRU更透明。前向自我注意可以很容易地建立在ATR中,这使得所提出的网络可解释。WMT 14翻译任务的实验表明,基于ATR的神经机器翻译可以在翻译质量和速度方面对英语-德语和英语-法语语言对产生有竞争力的性能。进一步的NIST汉英翻译、自然语言推理和中文分词实验验证了ATR在不同自然语言处理任务上的通用性和适用性。
2018-10-30 cs.CL
Gated Recurrent Transformers: Expressive Depth through Recurrent Modulation
The German University in Cairo(开罗德国大学);Technical University of Munich(慕尼黑工业大学);Cerebras Systems Inc.(赛布拉斯系统公司)
本文提出RecurrentGPT,通过循环调制解决Transformer语言模型表达性与内存效率的矛盾,在多约束下优于基线模型,实现参数与内存的高效利用。
2026-08-27 cs.CL cs.LG
Gate Activation Signal Analysis for Gated Recurrent Neural Networks and Its Correlation with Phoneme Boundaries
National Taiwan University(台湾大学);College of Electrical Engineering and Computer Science, National Taiwan University(台湾大学电机资讯学院)
本文分析了门控循环神经网络中的门激活信号,发现这些信号的时间结构与音素边界高度相关。通过一组音素分割实验进一步验证了这种相关性,与标准方法相比,获得了更好的结果。
2017-08-31 cs.CL cs.LG cs.SD
Graph-to-Sequence Learning using Gated Graph Neural Networks
University of Melbourne(墨尔本大学);Monash University(莫纳什大学)
许多NLP应用程序可以被构建为图到序列的学习问题。与基于语法的方法相比,以前提出这种设置的神经架构的工作获得了有希望的结果,但仍然依赖于线性化算法和/或标准递归网络来实现最佳性能。在这项工作中,我们提出了一个新的模型,编码的全部结构信息中包含的图形。我们的架构耦合最近提出的门控图神经网络与输入变换,允许节点和边缘有自己的隐藏表示,同时解决参数爆炸问题,目前在以前的工作。实验结果表明,我们的模型优于强基线生成AMR图和基于语法的神经机器翻译。
2018-06-26 cs.CL cs.LG
Gated Tree Cross-Attention for Checkpoint-Compatible Syntax Injection in Decoder-Only LLMs
College of Biomedical Engineering & Instrument Science, Zhejiang University(浙江大学生物医学工程与仪器科学学院);Department of Language Science and Technology, The Hong Kong Polytechnic University(香港理工大学语言科学与技术系)
本文提出一种检查点兼容的门控树交叉注意力机制,用于在解码器-only LLMs中注入语法结构,提升语法鲁棒性而不影响问答和常识推理性能。
2026-04-27 cs.CL
Memory-Augmented Transformers: A Systematic Review from Neuroscience Principles to Enhanced Model Architectures
Huawei Technologies Canada(华为加拿大技术有限公司);Huawei Technologies Switzerland(华为瑞士技术有限公司)
本文从神经科学原理出发系统综述记忆增强Transformer,提出功能目标、记忆表征和整合机制三维分类框架,分析核心记忆操作的演进趋势,并指出可扩展性与干扰等挑战及分层缓冲、惊讶门控更新等解决方案,为终身学习架构提供路线图。
2025-08-16 cs.CL cs.LG
Parallel Causal Associative Fields: Gated Sparse Memory for Long-Context Language Modeling
Independent Researcher(独立研究员)
提出并行因果关联域(PCAF),通过哈希桶存储局部记录、检索候选集形成稀疏缓存,并与参数化语言模型门控混合,实现稀疏长上下文访问,避免固定状态瓶颈。
2026-06-09 cs.CL cs.LG
Semi-Supervised Confidence Network aided Gated Attention based Recurrent Neural Network for Clickbait Detection
点击诱饵是社交媒体经常使用的吸引人的标题,以吸引观众点击它们,从而导致他们看到可疑的内容。这种腐败的计划利用天真的社交媒体用户的好奇心,将流量引导到其他人不会访问的网页上。在本文中,我们提出了一种新的,半监督分类为基础的方法,采用注意力采样从Gumbel-Softmax分布提取的背景下,是相当重要的点击诱饵检测。在注意力权重上的额外损失用于编码先验知识。此外,我们提出了一个置信网络,使学习弱标签,并提高噪声标签的鲁棒性。我们表明,仅用30%的强标记样本,我们就可以达到目前最先进的点击诱饵检测方法的97%以上的准确率。
2018-11-04 cs.CL
Sentylic at IEST 2018: Gated Recurrent Neural Network and Capsule Network Based Approach for Implicit Emotion Detection
University of Moratuwa(莫勒图沃大学)
在本文中,我们介绍了我们用于内隐WASSA 2018内隐情感共享任务的系统。任务是预测一条推文的情感,其中明确提到的情感术语已被删除。我们的想法是提出一个模型,它有能力隐式地识别所表达的情感的上下文单词。我们已经使用了门控循环神经网络(GRU)和基于胶囊网络的任务模型。预训练的词嵌入已被用来将上下文知识的话到模型中。GRU层使用输入的词嵌入来学习潜在表示。随后的Capsule Network层从该隐藏表示中学习高级特征。该模型的宏观F1得分为0.692。
2018-09-05 cs.CL cs.LG
A Sensitivity Analysis of Attention-Gated Convolutional Neural Networks for Sentence Classification
National Digital Switching System Engineering and Technological R&D Center(国家数字交换系统工程技术研究中心);Information Engineering University(信息工程大学)
在本文中,我们研究了不同超参数以及超参数设置的不同组合对注意力门控卷积神经网络(AGCNN)性能的影响,例如,核窗口大小、特征映射的数量、丢弃层的保持率和激活函数。我们从广泛的实证结果中得出实用的建议。通过灵敏度分析,我们进一步改进了AGCNN的超参数设置。实验表明,我们的建议可以实现平均0.81%和0.67%的改进AGCNN-NLReLU-rand和AGCNN-SELU-rand,分别和平均0.47%和0.45%的改进AGCNN-NLReLU-static和AGCNN-SELU-static,分别。
2019-10-16 cs.CL cs.LG
Inducing Alignment Structure with Gated Graph Attention Networks for Sentence Matching
Harbin Institute of Technology(哈尔滨工业大学)
句子匹配是自然语言处理的一项基本任务,有着广泛的应用。最近的方法采用基于注意力的神经模型来建立两个句子之间的单词或短语级别的对齐。然而,这些模型通常忽略了句子内部的固有结构,也没有考虑文本单元之间的各种依赖关系。为了解决这些问题,本文提出了一种基于图的句子匹配方法。首先,我们将一个句子对表示为一个具有几个精心设计的策略的图。然后,我们采用了一种新的门控图注意力网络编码的句子匹配构造的图。实验结果表明,我们的方法在两个数据集上的自然语言和释义识别任务上基本上达到了最先进的性能。进一步的讨论表明,我们的模型可以学习有意义的图结构,表明它的优势,提高解释性。
2021-10-21 cs.AI cs.CL
A recurrent neural network without chaos
Loyola Marymount University(洛约拉马利蒙特大学);California State University, Long Beach(加州州立大学长滩分校)
我们引入了一个非常简单的门控循环神经网络(RNN),在单词级语言建模任务上,它的性能可与众所周知的门控架构(如LSTM和GRU)相媲美。我们证明了我们的模型具有简单,可预测和非混沌动力学。这与更标准的门控架构形成鲜明对比,后者的底层动态系统表现出混沌行为。
2016-12-19 cs.CL cs.LG cs.NE
Building a great multi-lingual teacher with sparsely-gated mixture of experts for speech recognition
Microsoft(微软)
稀疏门混合专家模型(MoE)能够以较小的计算复杂性放大网络容量。在这项工作中,我们研究如何多语言的自动语音识别(ASR)网络可以扩展一个简单的路由算法,以达到更好的准确性。更具体地说,我们将稀疏门控MoE技术应用于两种类型的网络:序列到序列Transformer(S2 S-T)和Transformer换能器(T-T)。我们通过一组多语言数据的ASR实验证明,MoE网络可以减少相对字出错率的16.3%和4.6%,分别与S2 S-T和T-T。此外,我们深入研究了MoE对T-T架构在各种条件下的效果:流模式,非流模式,使用语言ID和标签解码器与MoE。
2022-01-04 cs.AI cs.CL cs.LG