G-MemLLM: Gated Latent Memory Augmentation for Long-Context Reasoning in Large Language Models
Department of Computer Science(计算机科学系);Fudan University(复旦大学)
G-MemLLM通过引入门控潜在记忆库,提升大语言模型在长上下文推理中的表现,显著增强多跳推理和关系精度。
2026-01-12 cs.AI cs.CL
Memory Visualization for Gated Recurrent Neural Networks in Speech Recognition
Tsinghua University(清华大学);Chengdu Institute of Computer Applications, Chinese Academy of Sciences(中国科学院成都计算机应用研究所)
循环神经网络(RNN)在序列建模方面表现出明显的优势,特别是具有门控单元的网络,如长短期记忆(LSTM)和门控循环单元(GRU)。然而,在许多应用中,卓越性能背后的动态特性仍然不清楚,例如,自动语音识别。本文采用可视化技术来研究LSTM和GRU在执行语音识别任务时的行为。我们的实验显示了门控记忆中的一些有趣的模式,其中一些启发了对网络结构的简单而有效的修改。我们报告了其中的两个修改:(1)LSTM中的懒惰单元更新,以及(2)残余学习的快捷连接。这两种修改都会导致更容易理解和更强大的网络。
2017-02-27 cs.CL cs.LG cs.NE
Real-Time Emotion Recognition via Attention Gated Hierarchical Memory Network
The Chinese University of Hong Kong(香港中文大学)
会话中实时的【形】情感识别(RTER)对于开发情感智能聊天机器具有重要意义。在RTER中没有未来上下文的情况下,谨慎地构建用于捕获历史上下文的存储体并适当地总结存储体以检索相关信息变得至关重要。本文提出了一种注意力门控层次记忆网络(AGHMN),以解决现有工作中存在的问题:(1)用于话语特征提取的常用卷积神经网络(CNN)在记忆模块中的兼容性较差;(2)单向门控递归单元(GRU)只允许每个历史话语在其之前有上下文,阻止了相反方向的信息传播;(3)无论存储体如何构建,用于汇总的软注意力都丢失了存储器的位置和顺序信息。特别是,我们提出了一个分层记忆网络(HMN)与双向GRU(BiGRU)作为话语阅读器和BiGRU融合层之间的互动历史话语。对于记忆总结,我们提出了一个注意力GRU(AGRU),我们利用注意力权重来更新GRU的内部状态。我们进一步将AGRU提升为双向变体(BiAGRU),以平衡来自最近记忆和来自遥远记忆的上下文信息。我们在两个情感会话数据集上进行了实验,并进行了广泛的分析,证明了我们的AGHMN模型的有效性。
2019-11-20 cs.CL
Understand me, if you refer to Aspect Knowledge: Knowledge-aware Gated Recurrent Memory Network
Australian Artificial Intelligence Institute (AAII), University of Technology Sydney(悉尼科技大学澳大利亚人工智能研究所)
摘要情感分类(ASC)旨在预测评论中提到的特定方面的细粒度情感极性。尽管最近在ASC方面取得了进展,但使机器能够精确地推断方面情绪仍然具有挑战性。本文解决了ASC中存在的两个问题:(1)由于缺乏体知识,现有的体表示方法不能很好地表示体的确切意义和属性信息;(2)现有的体表示方法只能捕捉局部句法信息或全局关系信息,缺少其中任何一个都会导致句法信息不足。为了解决这些挑战,我们提出了一种新的ASC模型,它不仅端到端嵌入和利用方面知识,而且还结合了两种语法信息,并让它们相互补偿。该模型包括三个关键部分:(1)知识感知的门控递归记忆网络递归地集成动态总结的体知识;(2)双语法图网络结合两种句法信息,全面捕获足够的句法信息;(3)知识集成门用进一步需要的体知识重新增强最终表示;(4)方面到上下文的注意力机制将来自所有隐藏状态的方面相关语义聚集到最终表示中。在几个基准数据集上的实验结果证明了我们的模型的有效性,它在精度和Macro-F1方面都大大超过了以前的最先进的模型。
2022-03-01 cs.AI cs.CL
Gated Group Self-Attention for Answer Selection
Nanjing University(南京大学);Alibaba Group(阿里巴巴集团)
答案选择(答案排序)是许多问答(QA)应用中的关键步骤之一,其中深度模型已经取得了最先进的性能。在这些深度模型中,基于递归神经网络(RNN)的模型最受欢迎,通常比基于卷积神经网络(CNN)的模型具有更好的性能。然而,基于RNN的模型很难捕捉问题和答案句子中单词之间的长程依赖信息。在本文中,我们提出了一个新的深度模型,称为门控组自我注意(GGSA),用于答案选择。GGSA的灵感来自全局自注意,这是最初提出的机器翻译,并没有在答案选择探索。GGSA解决了全局自我注意的问题,即局部和全局信息不能很好地区分。此外,还提出了一个问题和答案之间的互动机制,以增强GGSA的剩余结构。在两个流行的问答数据集上的实验结果表明,GGSA可以优于现有的答案选择模型,达到最先进的性能。此外,GGSA也可以实现更高的准确性比全球自我注意的答案选择任务,具有较低的计算成本。
2019-05-26 cs.CL cs.IR
When to Memorize and When to Stop: Gated Recurrent Memory for Long-Context Reasoning
National University of Singapore(新加坡国立大学)
GRU-Mem通过引入两个文本控制的门,实现了更稳定和高效的长上下文推理,显著提升了推理速度和性能。
2026-02-11 cs.AI cs.CL
Lineage-Aware Memory Governance: A Derivation-Gated Framework for Privacy-Preserving Column-Level Access Control in Enterprise AI Agents
Independent Researcher (ORCID: 0009-0001-7716-1342)
针对企业AI智能体共享内存的隐私泄露与KPI逻辑冲突问题,提出基于派生谱系门控的AMU内存模式,以O(n)复杂度阻断越权派生结果,实验消除18.8-25.5%跨部门泄漏并保持高复用率。
2026-10-07 cs.AI cs.CL cs.CR
Gated Memory: Admission-Controlled Memory Formation for Conversational AI
Samsung Research America(美国三星研究院)
针对对话AI记忆形成阶段的关键约束,提出Gated Memory框架,通过准入门与条件丰富阶段优化事实存储,在LoCoMo-10基准上实现LLM评判准确率2.6%的相对提升。
2026-10-09 cs.AI cs.CL cs.IR
Depth-Gated LSTM
Microsoft Research(微软研究院);University of Melbourne(墨尔本大学);Nara Institute of Science and Technology(奈良先端科学技术大学院大学);Carnegie Mellon University(卡内基梅隆大学)
在这篇简短的笔记中,我们提出了一个长短期记忆(LSTM)神经网络的扩展,使用深度门来连接相邻层的存储单元。这样做引入了下层和上层递归单元之间的线性相关性。重要的是,线性相关性通过门控函数进行门控,我们称之为深度门。该门是下层存储单元、该层的输入和过去的存储单元的函数。我们进行了实验,并验证了这种新的LSTM架构能够提高机器翻译和语言建模性能。
2015-08-25 cs.CL cs.NE
Route, Don't Fix: Regime-Dependent Decoding Correction and a Trajectory-Gated Router for Reliable Clinical LLM Answer Selection
Crestwood Preparatory College(克雷斯特伍德预备学院);St. Theresa of Lisieux Catholic High School(圣特蕾莎·利雪天主高中);University of Toronto(多伦多大学)
针对临床问答中LLM幻觉问题,提出ALTAS,利用单次前向传播的终端熵和晚期层线性度,按问题在贪心解码与轨迹校正间路由,在保持临床基准不伤害的同时提升真实性。
2026-09-15 cs.AI cs.CL cs.LG
Gated Differentiable Working Memory for Long-Context Language Modeling
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);University of California, Merced(加州大学梅尔塞德斯分校);UBS AG(UBS集团)
Gdwm通过门控可微工作记忆框架,在有限计算下优化长上下文语言模型的测试时间适应,提升效率与性能。
2026-01-19 cs.CL
MS-GLA: Multi-Scale Gated Linear Attention for Addressing Representational Bottlenecks via Multi-Temporal Resolution
International Institute of Information Technology Hyderabad(海得拉巴国际信息技术学院)
MS-GLA通过多时间分辨率分解注意力头,解决GLA的表征瓶颈,在不增加参数下提升记忆容量,在语言建模和回忆任务上优于GLA。
2026-10-12 cs.AI cs.CL
Gated End-to-End Memory Networks
The University of Melbourne(墨尔本大学);Xerox Research Centre Europe(施乐欧洲研究中心)
使用可微分推理模型的机器阅读最近取得了显著的进展。在这种情况下,端到端可训练记忆网络MemN 2N在基于简单自然语言的推理任务(如事实推理和基本演绎)上表现出了良好的性能。然而,其他任务,即多事实问题回答,位置推理或对话相关的任务,仍然具有挑战性,特别是由于组成这一系列模型的存储器和控制器模块之间的更复杂的交互的必要性。本文从计算机视觉领域中的连接捷径原理出发,提出了一种新的端到端内存访问调节机制。具体地说,我们开发了一个门控端到端可训练记忆网络架构GMemN 2N。从机器学习的角度来看,这种新的能力是以端到端的方式学习的,而不需要使用任何额外的监督信号,就我们所知,这是同类中的第一个。我们的实验表明,在20 bAbI数据集的最具挑战性的任务显着改善,而不使用任何领域的知识。然后,我们展示了对对话bAbI任务的改进,包括真正的基于人类-机器人转换的对话状态跟踪挑战(DSTC-2)数据集。在这两个数据集上,我们的模型设定了最新的技术水平。
2016-11-17 cs.CL stat.ML
Evaluating Confidence-Gated Retrieval with Matched Trajectory Replay
University of Southern California(南加州大学)
本研究提出匹配轨迹重放协议,对比原始置信度与事后等渗校准在多跳问答系统中的表现,发现校准可提升承诺回答准确率但影响整体准确率,且无法估计检索预期收益。
2026-08-28 cs.AI cs.CL
One-shot Learning for Question-Answering in Gaokao History Challenge
Shanghai Jiao Tong University(上海交通大学)
从大学入学考试(中国高考)中提取问题是一项具有挑战性的人工智能任务,因为它需要有效的表示来捕捉问题和答案之间复杂的语义关系。在这项工作中,我们提出了一个混合神经网络模型,从历史考试的深度问答任务。我们的模型采用了一个合作门控神经网络检索答案的协助下,额外的标签由神经图灵机labeler。实验结果表明,该标注器在训练集较小的情况下工作良好,门控机制在获取冗长答案的语义表示方面表现良好。问答实验表明,该模型在多个评估指标方面获得了显著的性能增益。
2018-06-24 cs.CL
Gated-Attention Readers for Text Comprehension
Carnegie Mellon University(卡内基梅隆大学)
本文研究了基于文档的完形填空题的回答问题。我们的模型,门控注意力(GA)阅读器,集成了一个新的注意力机制,这是基于查询嵌入和递归神经网络文档阅读器的中间状态之间的乘法相互作用的多跳架构。这使读者能够在文档中构建特定于查询的标记表示,以实现准确的答案选择。GA阅读器在三个基准上获得了最先进的结果-CNN \& Daily Mail新闻故事和Who Did What数据集。通过消融研究证明了乘法交互的有效性,并通过与用于实施门控注意的替代组合算子进行比较。该代码可在https://github.com/bdhingra/ga-reader上获得。
2017-04-21 cs.CL cs.LG
TreeWY: Speculative Verification for Gated DeltaNet Hybrids
Thomson Reuters(汤森路透)
TreeWY通过树结构WY变换移除GDN层的循环状态快照,降低混合模型推测解码的内存压力,提升吞吐量与TTFT,还支持更宽的高接受度draft。
2026-10-26 cs.AI cs.CL cs.DC
Hybrid Gated Flow (HGF): Stabilizing 1.58-bit LLMs via Selective Low-Rank Correction
混合门控流(HGF)通过选择性低秩校正技术,在1.58位LLM中实现内存效率与模型质量的平衡,恢复了与FP16基线的55%质量差距。
2026-02-05 cs.AI cs.CL cs.LG
Skill-Conditioned Gated Self-Distillation for LLM Reasoning
Tsinghua University(清华大学);Fudan University(复旦大学);City University of Hong Kong(香港城市大学);Huazhong University of Science and Technology(华中科技大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
提出技能条件门控自蒸馏(SGSD),通过从经验技能库中检索技能-错误对构建多教师池,并利用验证器验证教师极性,以鲁棒门控目标蒸馏信息性师生差异,在弱先验信息假设下提升数学推理性能。
2026-09-04 cs.AI cs.CL
Gated Slot Attention for Efficient Linear-Time Sequence Modeling
School of Computer Science and Technology, Soochow University(苏州大学计算机科学与技术学院);Massachusetts Institute of Technology(麻省理工学院);University of California Santa Cruz(加州大学圣克鲁兹分校);Tencent AI Lab(腾讯AI实验室);LuxiTech;University of Waterloo(滑铁卢大学)
针对线性注意力Transformer在强召回任务表现不足、训练成本高的问题,提出结合门控机制与softmax的GSA方法,提升内存容量与效率,在上下文召回和T2R场景中性能更优。
2024-10-31 cs.CL
Surgical-VQLA: Transformer with Gated Vision-Language Embedding for Visual Question Localized-Answering in Robotic Surgery
National University of Singapore(新加坡国立大学);The Chinese University of Hong Kong (CUHK)(香港中文大学);University College London(伦敦大学学院);Shun Hing Institute of Advanced Engineering(信兴高等工程研究所)
本文提出Surgical-VQLA系统,通过设计门控视觉-语言嵌入(GVLE)融合异构模态并构建LViT输入,在LViT预测头并行添加检测头并引入GIoU损失,实现了机器人手术中视觉问答的特定区域定位与回答,在自建数据集上验证了其有效性。
2023-05-19 cs.AI cs.CL cs.CV
Gated Delta Networks: Improving Mamba2 with Delta Rule
MIT(麻省理工学院);NVIDIA(英伟达)
本文提出门控 delta 规则及并行训练算法,构建 Gated DeltaNet 架构,结合门控记忆擦除与 delta 规则精确更新,在多基准上超越 Mamba2 和 DeltaNet,并通过混合架构进一步提升训练效率与任务表现。
2025-03-06 cs.CL cs.LG
Business Truth, not SQL Accuracy: A Rule-Gated 7B Analytics Agent Outperforms a Direct-Prompted 32B Baseline
该研究针对LLM分析智能体的评估缺陷,提出WarehouseReliabilityBench基准,开发规则门控的7B智能体QueryProof,其业务真值率优于直接提示的32B基线,且成本显著降低,假成功比例大幅下降。
2026-08-11 cs.AI cs.CL
Ruminating Reader: Reasoning with Gated Multi-Hop Attention
New York University(纽约大学)
在机器理解任务中,为了回答问题,模型需要建立问题与上下文之间的交互关系。为了解决单遍模型不能反映和纠正其答案的问题,我们提出了反刍阅读器。反刍阅读器在双向注意力流模型(Biodegradation)中增加了第二次注意力传递和一个新的信息融合组件。我们提出了新的层结构,构建了一个查询感知的上下文向量表示和融合的编码表示与中间表示的Bioblog模型的顶部。我们表明,多跳注意力机制可以应用于一个双向的注意力结构。在SQuAD上的实验中,我们发现Reader的性能大大优于Bioscience基线,并且匹配或超过所有其他已发布系统的性能。
2017-04-24 cs.CL
Gated Associative Memory: A Parallel O(N) Architecture for Efficient Sequence Modeling
Independent Researcher(独立研究者)
针对Transformer自注意力O(N²)复杂度的长序列处理瓶颈,提出具有线性复杂度的门控联想记忆(GAM)架构,通过因果卷积与联想记忆并行通路加门控融合实现序列建模,实验验证其训练速度更快,困惑度表现优异。
2025-08-30 cs.CL cs.LG
Gated KalmaNet: A Fading Memory Layer Through Test-Time Ridge Regression
University of Pennsylvania(宾夕法尼亚大学);AWS Agentic AI(AWS 代理人工智能)
本文提出门控KalmaNet(GKA),通过测试时岭回归实现渐逝记忆层,解决了线性状态空间模型(SSMs)在记忆过去信息时的效率与精度问题,展示了GKA在短上下文任务和长上下文任务中的优越性能。
2026-05-17 cs.CL cs.LG
Long-Term Memory Networks for Question Answering
SUNY Buffalo(布法罗纽约州立大学);PARC(帕洛阿尔托研究中心);United Technologies Research Center(联合技术研究中心);Conduent Labs US(美国康杜恩特实验室);LinkedIn(领英)
问答是自然语言处理领域中的一个重要而又困难的任务,因为许多基本的自然语言处理任务都可以转化为一个问答任务。最近已经开发了几种深度神经网络架构,其采用记忆和推理组件来记忆和推理文本信息,并生成问题的答案。然而,许多这样的模型的一个主要缺点是它们只能生成单个单词的答案。此外,它们需要大量的训练数据来生成准确的答案。在本文中,我们介绍了长期记忆网络(LTMN),它结合了外部存储器模块和长短期记忆(LSTM)模块来理解输入数据并生成多词答案。LTMN模型可以使用反向传播进行端到端训练,并且需要最少的监督。我们在两个合成数据集(基于Facebook的bAbI数据集)和真实世界的斯坦福大学问答数据集上测试了我们的模型,并表明它可以实现最先进的性能。
2017-07-06 cs.AI cs.CL
Feedback-Normalized Developer Memory for Reinforcement-Learning Coding Agents: A Safety-Gated MCP Architecture
PythaLab, Yildiz Technical University, Istanbul, Türkiye(PythaLab,伊兹密尔技术大学,伊斯坦布尔,土耳其)
本文提出RL Developer Memory架构,通过归一化反馈和安全门控机制提升强化学习编码代理的内存管理,实验证明其在确定性任务中的有效性。
2026-05-02 cs.CL cs.LG cs.SE
Masked Gated Linear Unit
Institute of Science Tokyo Japan(东京科学研究所);Denso IT Laboratory Japan(日立Denso IT实验室)
本文提出 Masked Gated Linear Units (MGLUs) 及其 FlashMGLU 内核,通过 MoEG 架构在共享权重矩阵上学习二值掩码,大幅减少内存读取,在保持或超越 SwiGLU 基线准确率的同时显著提升了 LLM 推理速度与内存效率。
2025-06-29 cs.CL cs.LG
EG-MLA: Embedding-Gated Multi-head Latent Attention for Scalable and Efficient LLMs
本文提出EG-MLA,通过在潜在空间引入token级嵌入门控机制进一步压缩KV缓存并增强表示能力,相较MHA减少超91.6%缓存,相较MLA最高额外节省59.9%内存且提升推理准确率,并成功扩展至超10亿参数规模。
2025-09-20 cs.CL
Multi-level Gated Recurrent Neural Network for Dialog Act Classification
Peking University(北京大学)
在本文中,我们专注于对话行为(DA)标记的问题。这个问题最近吸引了很多关注,因为它是当前需求量很大的自动问答系统的重要子部分。传统的方法倾向于将这个问题视为序列标记任务,并通过应用具有丰富特征的分类器来处理它。目前大多数神经网络模型仍然忽略了会话中的序列信息。然而,我们采用了一种新的多级门控循环神经网络(GRNN)与非文本信息预测DA标签。我们的模型不仅利用文本信息,但也利用非文本和上下文信息。相比之下,我们的模型已经显示出显着的改善超过6%的开关板对话法(SWDA)任务比以前的作品。
2019-10-04 cs.CL
Gated Recurrent Transformers: Expressive Depth through Recurrent Modulation
The German University in Cairo(开罗德国大学);Technical University of Munich(慕尼黑工业大学);Cerebras Systems Inc.(赛布拉斯系统公司)
本文提出RecurrentGPT,通过循环调制解决Transformer语言模型表达性与内存效率的矛盾,在多约束下优于基线模型,实现参数与内存的高效利用。
2026-08-27 cs.CL cs.LG
AWM: Answerable Working Memory for Long-Document VQA Agents
University of Oslo(奥斯陆大学);Bosch Center for AI(博世人工智能中心);University of Stuttgart(斯图加特大学);Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Tsinghua University(清华大学)
针对长文档VQA智能体的记忆质量盲区,提出AWM方法,通过融入仅记忆可回答性的GRPO奖励机制,提升了最终答案准确率并降低记忆缺失正确的比例。
2026-08-27 cs.CL
CHIME: Cross-passage Hierarchical Memory Network for Generative Review Question Answering
Department of Computer Science, University of Warwick, UK(英国华威大学计算机科学系)
我们介绍了CHIME,一个跨通道层次记忆网络的问答(QA)通过文本生成。它扩展了XLNet,引入了一个由两个组件组成的辅助记忆模块:收集交叉证据的上下文记忆和作为缓冲区不断完善生成的答案的答案记忆。从经验上讲,我们展示了所提出的架构在多通道生成QA中的有效性,表现优于最先进的基线,具有更好的语法结构良好的答案,并在解决AmazonQA评论数据集的问题时提高了精度。一个额外的定性分析揭示了由内存模块引入的可解释性。
2020-11-01 cs.CL
Hierarchical Memory Networks for Answer Selection on Unknown Words
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Center for Excellence in Brain Science and Intelligence Technology, CAS(中国科学院脑科学与智能技术卓越创新中心)
近年来,端到端记忆网络在问答任务中表现出了良好的效果,它将过去的事实编码成外显记忆,并通过对记忆进行多个计算步骤来实现推理能力。然而,记忆网络在记忆层次上进行推理,输出的是粗糙的语义向量,没有进一步采取任何注意力机制来关注单词,这可能导致模型丢失一些细节信息,尤其是当答案是稀有或未知单词时。在本文中,我们提出了一种新的层次记忆网络,被称为HMN。首先,我们将过去的事实分别编码为事件级记忆和单词级记忆。然后,在推理模块之后,在词汇级存储器上利用(k)-最大池化来对与问题最相关的(k)个句子进行采样,并将这些句子馈送到单词级存储器上的注意力机制中,以集中所选句子中的单词。最后,预测是在句子级推理模块和单词级注意力机制的输出上联合学习的。实验结果表明,我们的方法成功地进行未登录词的答案选择,并取得了更好的性能比记忆网络。
2016-09-28 cs.AI cs.CL cs.IR
Learning Simpler Language Models with the Differential State Framework
The Pennsylvania State University(宾夕法尼亚州立大学);Facebook
跨长时滞学习有用信息是时间神经模型在语言建模等任务中的关键和困难问题。解决该问题的现有架构通常很复杂,而且训练成本很高。差分状态框架(DSF)是一种简单而高性能的设计,它统一了以前引入的门控神经模型。DSF模型通过学习在快速变化的数据驱动表示和缓慢变化的隐式稳态之间进行插值来保持长期记忆。这几乎不需要比经典的简单递归网络更多的参数。在DSF框架内,提出了一种新的架构,Delta-RNN。在单词和字符级别的语言建模中,Delta-RNN的性能优于流行的复杂架构,例如长短期记忆(LSTM)和门控递归单元(GRU),并且在正则化时,可以执行多个最先进的基线。在子字级,Delta-RNN的性能与复杂的门控架构相当。
2017-07-16 cs.CL
A Memory Model for Question Answering from Streaming Data Supported by Rehearsal and Anticipation of Coreference Information
KU Leuven(鲁汶大学);Pontificia Universidad Católica de Chile(智利天主教大学)
受人类排练与预期机制启发,提出一种记忆模型,通过自监督掩码建模处理共指信息,在流式数据问答任务中显著优于现有记忆网络方法。
2023-05-12 cs.AI cs.CL cs.LG
Gated Tree Cross-Attention for Checkpoint-Compatible Syntax Injection in Decoder-Only LLMs
College of Biomedical Engineering & Instrument Science, Zhejiang University(浙江大学生物医学工程与仪器科学学院);Department of Language Science and Technology, The Hong Kong Polytechnic University(香港理工大学语言科学与技术系)
本文提出一种检查点兼容的门控树交叉注意力机制,用于在解码器-only LLMs中注入语法结构,提升语法鲁棒性而不影响问答和常识推理性能。
2026-04-27 cs.CL
Memory-Augmented Transformers: A Systematic Review from Neuroscience Principles to Enhanced Model Architectures
Huawei Technologies Canada(华为加拿大技术有限公司);Huawei Technologies Switzerland(华为瑞士技术有限公司)
本文从神经科学原理出发系统综述记忆增强Transformer,提出功能目标、记忆表征和整合机制三维分类框架,分析核心记忆操作的演进趋势,并指出可扩展性与干扰等挑战及分层缓冲、惊讶门控更新等解决方案,为终身学习架构提供路线图。
2025-08-16 cs.CL cs.LG
Parallel Causal Associative Fields: Gated Sparse Memory for Long-Context Language Modeling
Independent Researcher(独立研究员)
提出并行因果关联域(PCAF),通过哈希桶存储局部记录、检索候选集形成稀疏缓存,并与参数化语言模型门控混合,实现稀疏长上下文访问,避免固定状态瓶颈。
2026-06-09 cs.CL cs.LG
AsymVerify at SemEval-2026 Task 6: Asymmetric Confidence-Gated Verification for Political Evasion Detection
Kaons 𝑲 ∗
研究针对政治逃避检测难题,提出AsymVerify系统用于SemEval-2026任务6的三元分类。核心方法是对问答对分类后对低置信预测进行非对称验证,主要贡献是取得高排名,在不同数据集上提升宏F1分数,且降低推理成本。
2026-07-24 cs.CL
Aspect Based Sentiment Analysis with Gated Convolutional Networks
School of Computing and Information Sciences(计算与信息科学学院);Florida International University(佛罗里达国际大学)
基于方面的情感分析(ABSA)可以提供比一般情感分析更详细的信息,因为它的目的是预测文本中给定方面或实体的情感极性。我们总结以前的方法分为两个子任务:方面类别情感分析(ACSA)和方面术语情感分析(ATSA)。以往的方法大多采用长短期记忆和注意力机制来预测关注目标的情感极性,这往往是复杂的,需要更多的训练时间。我们提出了一种基于卷积神经网络和门控机制的模型,它是更准确和有效的。首先,新的门控Tanh-ReLU单元可以根据给定的方面或实体选择性地输出情感特征。该架构比现有模型中使用的注意力层简单得多。其次,我们模型的计算在训练过程中可以很容易地并行化,因为卷积层不像LSTM层那样具有时间依赖性,门控单元也独立工作。在SemEval数据集上的实验证明了模型的有效性。
2018-05-18 cs.CL
Visual Question Answering with Memory-Augmented Networks
Australian Institute for Machine Learning(澳大利亚机器学习研究所);Australian Centre for Robotic Vision(澳大利亚机器人视觉中心);The University of Adelaide(阿德莱德大学)
在本文中,我们利用记忆增强的神经网络来预测视觉问题的准确答案,即使这些答案很少出现在训练集中。记忆网络结合了内部和外部记忆块,并有选择地关注每个训练样本。我们发现,记忆增强的神经网络能够保持一个相对长期记忆记忆稀缺的训练样本,这是很重要的视觉问答由于重尾分布的答案在一般的VQA设置。在两个大规模基准数据集上的实验结果表明,与现有技术相比,该算法具有良好的性能。
2018-03-25 cs.CL cs.CV
Gated Recurrent Neural Tensor Network
Universitas Indonesia(印度尼西亚大学);Nara Institute of Science and Technology(奈良先端科学技术大学)
递归神经网络(RNN)是一种强大的时序数据建模方案,需要捕获数据集的长期依赖关系,并使用强大的模型将其表示在隐藏层中,以从输入中捕获更多信息。为了对数据集中的长期依赖关系进行建模,门控机制概念可以帮助RNN记住和忘记以前的信息。用更有表现力的操作来表示RNN的隐藏层(即,张量积)帮助它学习当前输入和先前隐藏层信息之间的更复杂的关系。这些想法通常可以提高RNN的性能。在本文中,我们提出了一种新的RNN架构,将门控机制和张量积的概念结合到一个单一的模型中。通过将这两个概念结合到一个RNN中,我们提出的模型通过使用门控单元建模来学习长期依赖关系,并使用三维数组(张量)权重参数的张量积来获得输入层和隐藏层之间更具表现力和直接的交互。我们使用长短期记忆(LSTM)RNN和门控递归单元(GRU)RNN,并将它们与其公式中的张量积结合起来。我们提出的RNN,被称为长短期记忆递归神经张量网络(LSTMRNTN)和门控递归单位递归神经张量网络(GRURNTN),是通过将LSTM和GRU RNN模型与张量积相结合而制成的。我们用我们提出的模型对单词级和字符级语言建模任务进行了实验,结果表明,与我们的基线模型相比,我们提出的模型显着提高了性能。
2017-06-07 cs.CL cs.LG stat.ML
Improving speech recognition by revising gated recurrent units
Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会)
语音识别在很大程度上利用了深度学习,这表明现代递归神经网络(RNN)可以获得巨大的好处。最受欢迎的RNN是长短期记忆(LSTM),由于它们能够学习长期依赖性和对消失梯度的鲁棒性,它们通常在许多任务中达到最先进的性能。然而,LSTM有一个相当复杂的设计,有三个乘法门,这可能会影响它们的有效实现。简化LSTM的尝试最近导致了门控递归单元(GRU),它只基于两个乘法门。本文建立在这些努力的基础上,进一步修订GRU,并提出一个简化的架构可能更适合语音识别。这项工作的贡献是双重的。首先,我们建议在GRU设计中去除复位门,从而实现更高效的单门架构。其次,我们建议在状态更新方程中用ReLU激活来替换tanh。结果表明,在我们的实现中,与标准GRU相比,修改后的架构将每历元训练时间减少了30%以上,并在不同任务、输入特征和噪声条件下持续提高了识别性能。
2017-09-29 cs.AI cs.CL cs.LG
Investigating gated recurrent neural networks for speech synthesis
The Centre for Speech Technology Research, University of Edinburgh, United Kingdom(英国爱丁堡大学语音技术研究中心)
最近,循环神经网络(RNN)作为强大的序列模型已经重新出现,作为一个潜在的声学模型的统计参数语音合成(SPSS)。长短期记忆(LSTM)架构特别有吸引力,因为它解决了标准RNN中的梯度消失问题,使它们更容易训练。尽管最近的研究表明,LSTM在SPSS上的性能明显优于深度前馈神经网络,但人们对其中的原因知之甚少。在这里,我们试图回答两个问题:a)为什么LSTM作为SPSS的序列模型工作得很好; b)哪个组件(例如,输入门、输出门、遗忘门)是最重要的。我们提出了一个可视化的分析,以及一系列的实验,从而在一个简化的架构的建议。简化的架构具有比LSTM少得多的参数,因此在不降低质量的情况下大大降低了生成复杂度。
2016-01-11 cs.CL cs.NE
Dynamic Memory Networks for Visual and Textual Question Answering
MetaMind(MetaMind公司)
具有记忆和注意力机制的神经网络架构表现出问答所需的某些推理能力。动态记忆网络(DMN)就是这样一种架构,它在各种语言任务中获得了很高的准确性。然而,没有显示当在训练期间没有标记支持事实时,该架构是否实现了问答的强结果,或者它是否可以应用于其他模态,如图像。在对DMN进行分析的基础上,我们对其存储和输入模块提出了几点改进。与这些变化一起,我们引入了一个新的图像输入模块,以便能够回答视觉问题。我们的新DMN+模型改进了Visual问答数据集和\babi-10k文本问答数据集的最新技术,而不支持事实监督。
2016-03-04 cs.CL cs.CV cs.NE
Large-scale Simple Question Answering with Memory Networks
Facebook AI Research(脸书人工智能研究院)
训练大规模问答系统是复杂的,因为训练源通常覆盖可能问题范围的一小部分。本文研究了多任务和迁移学习对简单问答的影响;一个设置,其中所需的推理回答是很容易的,只要一个人可以检索到正确的证据给出一个问题,这可能是困难的大规模条件。为此,我们引入了一个包含10万个问题的新数据集,并将其与现有的基准测试结合使用。我们在记忆网络的框架内进行研究(Weston et al.,2015),因为这种观点使我们最终能够扩展到更复杂的推理,并表明记忆网络可以成功训练以实现出色的性能。
2015-06-05 cs.CL cs.LG
Incorporating External Knowledge to Answer Open-Domain Visual Questions with Dynamic Memory Networks
Tsinghua University(清华大学)
视觉问答(VQA)由于能够深入研究图像多模态分析与自然语言之间的关系而备受关注。目前的算法大多无法回答需要在图像内容之外进行推理的开放域问题。为了解决这个问题,我们提出了一个新的框架,该框架通过利用动态记忆网络的大量外部知识来赋予模型回答更复杂问题的能力。具体而言,问题以及相应的图像触发一个过程,以检索外部知识库中的相关信息,这些信息通过保留实体关系结构嵌入到连续向量空间中。然后,我们使用动态记忆网络来处理知识图谱和图像中的大量事实,然后对这些事实进行推理以生成相应的答案。大量的实验表明,该模型不仅在视觉问答任务中达到了最先进的性能,而且能够利用外部知识有效地回答开放域问题。
2017-12-03 cs.CL cs.CV