Memory Attention
提出记忆注意力(MA)方法,用令牌索引记忆替代值投影并结合上下文键构建注意力值,在匹配训练预算下提升语言建模与下游性能。
2026-10-15 cs.LG
MATE: Solving Contextual Markov Decision Processes with Memory of Accumulated Transition Embeddings
Seoul National University(首尔国立大学);Ulsan National Institute of Science and Technology (UNIST)(釜山国立科学技术研究所(UNIST))
MATE通过使用累积转移嵌入的记忆架构,解决了由未观察上下文参数化的上下文马尔可夫决策过程(CMDPs),在保持后验信念的同时,避免了传统方法的计算和梯度问题,实现了高效且性能优异的解决方案。
2026-05-17 cs.AI cs.LG
LiteMORT: A memory efficient gradient boosting tree system on adaptive compact distributions
Department of Electronic Science, Xiamen University(厦门大学电子科学系)
梯度提升决策树(GBDT)是许多商业和学术数据应用的主要算法。本文对该算法进行了深入的分析,特别是直方图技术,它是紧支集正则化分布的基础。我们提出了三个新的修改。1)共享内存技术,减少内存使用。在许多情况下,它只需要数据源本身,而不需要额外的内存。2)“合并溢出问题”的隐式合并。“合并溢出”是指将一些小的数据集合并成大的数据集,这些数据集太大而无法解决。通过隐式合并,我们只需要原始的小数据集来训练GBDT模型。3)自适应调整直方图箱的大小算法,以提高准确性。两个大型Kaggle竞赛的实验验证了我们的方法。它们使用的内存比LightGBM少得多,精度更高。我们已经实现了这些算法在一个开源软件包LiteMORT。源代码可在https://github.com/closest-git/LiteMORT上获得
2020-01-26 cs.LG stat.ML
Random Subspace with Trees for Feature Selection Under Memory Constraints
University of Liège(列日大学);Aix-Marseille University(艾克斯-马赛大学);New York University(纽约大学)
处理高维数据集是机器学习的一个主要挑战。在本文中,我们考虑的问题,在内存不够大,包含所有功能的应用程序中的功能选择。在这种情况下,我们提出了一种新的基于树的特征选择方法,建立一个序列的随机树上的小样本的变量混合两个变量已经确定为相关的以前的模型和变量随机选择的其他变量。作为我们的主要贡献,我们提供了一个深入的理论分析,这种方法在无限样本设置。特别是,我们研究其合理性方面的常见定义的功能相关性和收敛速度在各种变量依赖的情况下。我们还提供了一些初步的实证结果,突出了这种方法的潜力。
2017-09-06 cs.LG stat.ML
Exploiting Contextual Information via Dynamic Memory Network for Event Detection
Institute of Computing Technology, Chinese Academy of Science (CAS)(中国科学院计算技术研究所);School of Computer and Control Engineering, The University of CAS(中国科学院大学计算机与控制工程学院)
事件检测的任务包括识别和分类事件触发器。上下文信息在任务中被证明是有效的。然而,利用上下文信息的现有方法仅处理上下文一次。我们认为,可以更好地利用上下文多次处理上下文,允许模型执行复杂的推理,并生成更好的上下文表示,从而提高整体性能。同时,动态记忆网络(DMN)在捕获上下文信息方面表现出了很好的能力,并已成功地应用于各种任务。针对DMN多跳机制对上下文进行建模的特点,提出了触发检测动态记忆网络(TD-DMN)来解决事件检测问题。在ACE-2005数据集上进行了五重交叉验证,实验结果表明多跳机制确实提高了性能,与现有方法相比,该模型获得了最好的$F_1$分数。
2018-10-03 cs.AI cs.CL cs.LG
Contextual Control without Memory Growth in a Context-Switching Task
SOBIN Institute LLC, Kawanishi, Hyogo, Japan(SOBIN研究所有限责任公司,日本兵库县川西市)
本文提出一种无需增加记忆维度的上下文控制方法,通过干预共享的递归潜在状态,在上下文切换任务中实现了有效的决策制定。
2026-04-03 cs.AI cs.IT cs.LG
Compositional Generalization with Tree Stack Memory Units
Carnegie Mellon University(卡内基梅隆大学);Johns Hopkins University(约翰斯·霍普金斯大学);University of Washington(华盛顿大学);University of California Irvine(加州大学欧文分校);California Institute of Technology(加州理工学院)
我们研究合成泛化,即,zero-shot推广到领域中概念的新组合的问题。标准神经网络在很大程度上无法进行组合学习。我们提出了树堆栈内存单元(Tree-SMU),以实现强大的组合泛化。Tree-SMU是一种带有堆栈记忆单元的递归神经网络(\SMU s),它是一种新型的记忆增强神经网络,其记忆具有可微堆栈结构。树架构中的每个SMU学习从其堆栈中读取,并通过门控组合其子堆栈和状态来写入堆栈。堆栈有助于捕获问题域中的长期依赖关系,从而实现组合泛化。此外,堆栈还保留每个节点的后代的顺序,从而保留树上的局部性。我们展示了两个数学推理基准强有力的实证结果。我们使用四个组合性测试来评估Tree-SMU的泛化性能,并表明与Transformers和Tree-LSTM等强基线相比,它可以实现准确的组合泛化。
2020-10-16 cs.LG cs.NE stat.ML
Accurate and Intuitive Contextual Explanations using Linear Model Trees
American Express, AI Labs(美国运通人工智能实验室)
随着复杂的机器学习模型在金融领域的关键应用中越来越多地使用,解释模型的决策已成为必要。从信用评分到信用营销的应用程序,这些模型的影响是不可否认的。在人们可以解释这些复杂模型的决策的多种方式中,局部事后模型不可知论的解释得到了广泛采用。这些方法允许人们独立于训练时使用的建模技术来解释每个预测。作为解释,它们要么给出单个特征属性,要么提供足够的规则来表示要进行预测的条件。现有技术方法的当前状态使用基本方法来在要解释的点周围生成合成数据。其次是拟合简单的线性模型作为替代,以获得预测的局部解释。在本文中,我们寻求显着改善这两个,用于生成解释的方法和所产生的解释的性质。我们使用生成对抗网络来生成合成数据,并训练线性模型树形式的分段线性模型来作为代理模型。除了单个特征属性之外,我们还通过利用我们的代理模型的结构和属性来为我们的解释提供伴随的上下文。
2020-09-11 cs.AI cs.LG stat.ML
Fast Contextual Adaptation with Neural Associative Memory for On-Device Personalized Speech Recognition
Google(谷歌)
快速上下文自适应已被证明可以有效地改善罕见单词的自动语音识别(ASR),并且当与设备上的个性化训练相结合时,它可以产生更好的识别结果。然而,传统的基于外部语言模型的重新评分方法在个性化训练过程中容易出现分歧。在这项工作中,我们介绍了一个基于模型的端到端的上下文自适应方法,是解码器不可知的,并服从设备上的个性化。我们的设备上的模拟实验表明,所提出的方法优于传统的重新评分技术的12%的相对WER和15.7%的实体提到特定的F1分数在一个持续的个性化场景。
2021-10-07 cs.AI cs.CL cs.LG
Eigen Memory Trees
University of Virginia(弗吉尼亚大学);Microsoft Research(微软研究院)
这项工作介绍了本征记忆树(EMT),一种新的在线记忆模型的顺序学习的情况。EMT将数据存储在二叉树的叶子上,并使用先前经验的主成分通过结构路由新样本,从而促进对相关存储器的有效(对数)访问。我们证明了EMT优于现有的在线记忆方法,并提供了一个混合EMT参数算法,享有显着提高性能的纯参数方法,几乎没有缺点。我们的研究结果验证使用206数据集从OpenML存储库中的有限和无限的内存预算的情况。
2022-10-31 cs.LG
Largest Rashomon sets of decision trees for robust contextual optimization
Technical University of Denmark(丹麦技术大学)
针对预测多重性下决策树拟合差异导致的决策不稳定问题,提出联合Rashomon与鲁棒性优化框架,通过约束生成算法高效求解,在报童和餐厅数据上显著提升鲁棒性并保持成本近似。
2026-10-06 cs.LG math.OC
Learning When to Remember: Risk-Sensitive Contextual Bandits for Abstention-Aware Memory Retrieval in LLM-Based Coding Agents
PythaLab;Yildiz Technical University(Yildiz技术大学)
本文提出RSCB-MC方法,通过风险敏感的上下文老虎机机制,解决编码代理在记忆检索中的安全性和有效性问题,实现非注入和回避作为首要安全动作。
2026-04-30 cs.AI cs.CL cs.LG
Top-down Tree Long Short-Term Memory Networks
University of Edinburgh(爱丁堡大学)
长短期记忆(LSTM)网络是一种具有更复杂计算单元的递归神经网络,已成功应用于各种序列建模任务。在本文中,我们开发了树长短期记忆(TreeLSTM),这是一种基于LSTM的神经网络模型,旨在预测树而不是线性序列。TreeLSTM通过估计其依赖树的生成概率来定义句子的概率。在每个时间步,基于所生成的子树的表示来生成节点。我们通过显式表示左右依赖项之间的相关性,进一步增强了TreeLSTM的建模能力。我们的模型的应用程序的MSR句子完成的挑战取得的结果超出了目前的最先进的状态。我们还报告结果依存句法分析重新排名实现竞争力的表现。
2016-04-03 cs.CL cs.LG
Memory-Augmented Architecture for Long-Term Context Handling in Large Language Models
Newton AI Lab(牛顿AI实验室);School of Electrical Engineering, Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院电气工程学院)
本文提出一种记忆增强架构,通过动态检索、更新和剪枝过去交互信息,提升大型语言模型的长时上下文处理能力,实验表明该方法能有效提高上下文连贯性、降低内存开销并提升响应质量。
2025-06-23 cs.LG
Decision Trees That Remember: Gradient-Based Learning of Recurrent Decision Trees with Memory
University of Mannheim(曼海姆大学);Boehringer Ingelheim(勃林格殷格翰)
本文提出 ReMeDe Trees,一种带内部记忆机制的循环决策树架构,通过梯度下降学习硬性轴对齐决策规则,以解决传统决策树难以直接捕获序列数据中长期依赖的问题,并在合成基准上验证了其有效性。
2025-02-06 cs.LG
Improved Semantic Representations From Tree-Structured Long Short-Term Memory Networks
Stanford University(斯坦福大学);MetaMind Inc.(MetaMind公司)
由于其随时间推移保留序列信息的卓越能力,长短期记忆(LSTM)网络(一种具有更复杂计算单元的递归神经网络)在各种序列建模任务上获得了很好的结果。到目前为止,我们唯一探索过的LSTM底层结构是线性链。然而,自然语言表现出自然地将单词组合成短语的句法属性。我们介绍了Tree-LSTM,这是LSTM对树结构网络拓扑的推广。Tree-LSTM在两个任务上优于所有现有系统和强大的LSTM基线:预测两个句子的语义相关性(SemEval 2014,任务1)和情感分类(斯坦福情感树库)。
2015-05-30 cs.AI cs.CL cs.LG
From Isolated Conversations to Hierarchical Schemas: Dynamic Tree Memory Representation for LLMs
Center for Advanced AI, Accenture(埃森哲高级人工智能中心)
针对大语言模型长期记忆管理难题,提出采用动态树状层级记忆表示的MemTree算法,通过语义嵌入动态调整记忆结构,在多轮对话、文档问答等需结构化记忆的场景中性能优于传统扁平记忆增强方法。
2025-03-19 cs.AI cs.CL cs.LG
Taming Knowledge Conflicts in Language Models
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Visa Research(Visa研究院)
本文发现语言模型注意力头存在上下文信息与参数记忆叠加现象,并提出测试时双运行干预方法 JuICE,在11个数据集和6种架构上实现知识冲突处理的新SOTA。
2025-06-06 cs.CL cs.LG
DT2CAM: A Decision Tree to Content Addressable Memory Framework
University of California-Irvine(加州大学欧文分校);Nile University(尼罗河大学);American University of Beirut(贝鲁特美国大学)
决策树被认为是数据分类的最有力的工具之一。加速决策树搜索对于功耗和延迟预算有限的边缘应用至关重要。在本文中,我们提出了一个内容寻址存储器(CAM)的决策树(DT)推理加速。我们提出了一种新的“自适应精度”计划,结果在一个紧凑的实现,并使一个有效的双射映射到三元内容可寻址存储器,同时保持高的推理精度。此外,电阻CAM(ReCAM)功能合成器的开发映射的决策树的ReCAM和执行功能模拟的能量,延迟和准确性的评估。我们研究了硬件非理想条件下的决策树准确性,包括设备缺陷,制造变异性和输入编码噪声。我们在各种DT数据集上测试我们的框架,包括\textit{Give Me Some Credit},\textit{Titanic}和\textit{COVID-19}。我们的研究结果显示,与最先进的硬件加速器相比,节能高达{42.4\%},能量延迟面积产品高达17.8倍,流水线实现每秒高达3.33亿次决策。
2022-04-12 cs.AR cs.LG
RAP: Retrieval-Augmented Planning with Contextual Memory for Multimodal LLM Agents
Panasonic Connect Co., Ltd.(松下连接公司);Panasonic R&D Center(松下研发中心);National University of Singapore(新加坡国立大学);Panasonic R&D Center Germany(德国松下研发中心)
提出检索增强规划(RAP)框架,通过动态利用过往经验增强多模态LLM智能体的规划能力,在文本和具身任务中均取得最优性能。
2024-02-06 cs.AI cs.CL cs.LG
Ordered Memory Baselines
McGill University(麦吉尔大学)
自然语言语义可以使用短语结构模型来建模,该模型可以使用树型架构来表示。因此,最近在自然语言处理方面的进展是利用递归神经网络,使用允许它们推断输入句子序列的树型表示的记忆模型。这些新的树模型允许改进情感分析和语义识别。在这里,我们回顾了Shen等人(2019)在NeurIPS 2019会议上提出的有序记忆模型,并尝试创建性能更好的基线或创建性能相同的简单模型。我们发现,有序记忆模型的性能与树型建模中使用的最先进的模型相当,并且比需要更少参数的简化基线更好。
2023-02-08 cs.CL cs.LG
PACSET (Packed Serialized Trees): Reducing Inference Latency for Tree Ensemble Deployment
Johns Hopkins University(约翰斯·霍普金斯大学);Amazon(亚马逊);United States Military Academy(美国军事学院)
我们提出的方法来序列化和序列化树集成,优化推理延迟时,模型还没有加载到内存中。当模型大于内存时,就会出现这种情况,但当模型部署在低资源设备上时,例如在物联网中,或者作为Web微服务运行时,资源按需分配时,也会出现这种情况。我们的包装序列化树(PACSET)编码的参考局部性的布局中的树集成使用的原则,从外部存储器的算法。该布局在多棵树上交错相关节点,使用叶基数来配置最流行路径上的节点,并针对I/O块大小进行了优化。其结果是,每个I/O产生更高比例的有用数据,从而使交互式工作负载的分类延迟减少2-6倍。
2020-11-10 cs.DC cs.LG
Graph Neural Network contextual embedding for Deep Learning on Tabular Data
Universidad de Valladolid(巴利亚多利德大学)
针对深度学习在表格数据上弱于传统树集成模型的问题,提出基于 GNN/IN 的特征上下文嵌入与交互建模方法,并在五个公开数据集上超过既有 DL 基准、媲美提升树。
2023-07-04 cs.AI cs.LG
TREEMENT: Interpretable Patient-Trial Matching via Personalized Dynamic Tree-Based Memory Network
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Relativity Inc.(Relativity公司)
针对现有患者-临床试验匹配模型泛化性差、可解释性不足的问题,提出基于个性化动态树记忆网络的TREEMENT模型,通过临床本体扩展患者表征、注意力束搜索实现细粒度对齐,在真实数据集上匹配性能优于基线且具备可解释性。
2023-07-19 cs.AI cs.LG
Compositional Distributional Semantics with Long Short Term Memory
Institute for Logic, Language and Computation(逻辑、语言与计算研究所);University of Amsterdam(阿姆斯特丹大学)
我们提出了一个扩展的递归神经网络,利用一个变种的长短期记忆架构。该扩展允许将解析树中较低的信息存储在存储器寄存器(“存储单元”)中,并在解析树中更高的位置稍后使用。这为消失梯度问题提供了解决方案,并允许网络捕获长范围依赖性。实验结果表明,我们的组合优于传统的神经网络组成斯坦福情绪树库。
2015-04-17 cs.AI cs.CL cs.LG
Long Short-Term Memory Over Tree Structures
National Research Council Canada(加拿大国家研究委员会);University of Ottawa(渥太华大学)
链式结构的长短期记忆(LSTM)已被证明在语音识别和机器翻译等广泛问题中有效。在本文中,我们建议将其扩展到树结构,其中一个存储单元可以反映历史的记忆多个子细胞或多个后代细胞在递归过程中。我们称之为S-LSTM模型,它提供了一种考虑层次结构上的长距离交互的原则性方法,例如,语言或图像解析结构。我们利用语义组合模型来理解文本的含义,这是自然语言理解中的一个基本问题,并通过将其组合层替换为S-LSTM内存块来证明它优于最先进的递归模型。我们还表明,利用给定的结构是有助于实现更好的性能比不考虑的结构。
2015-03-16 cs.CL cs.LG cs.NE
CATS: Cascaded Adaptive Tree Speculation for Memory-Limited LLM Inference Acceleration
University of Florida(佛罗里达大学)
CATS通过级联验证和修正机制,在内存受限设备中优化LLM推理,提升吞吐量并保持内存足迹。
2026-05-11 cs.AI cs.LG
Tree Memory Networks for Modelling Long-term Temporal Dependencies
Queensland University of Technology(昆士兰科技大学)
在序列建模领域,递归神经网络(RNN)已经能够在各种应用领域取得令人印象深刻的结果,包括视觉问答,词性标注和机器翻译。然而,这种在短期依赖性建模方面的成功还没有成功地过渡到诸如轨迹预测之类的应用领域,这些应用领域需要捕获短期和长期关系。在本文中,我们提出了一个树记忆网络(TMN)的建模长期和短期的关系,在序列到序列的映射问题。所提出的网络结构由输入模块、控制器和存储器模块组成。与将记忆建模为历史状态序列的相关文献相比,我们将记忆建模为递归树结构。该结构使用其分层结构更有效地捕获跨短期和长期序列的时间依赖性。我们证明了建议的TMN的有效性和灵活性,在两个实际问题,飞机轨迹建模和行人轨迹建模的监视设置,并在这两种情况下,我们优于目前的国家的最先进的。此外,我们对存储模块内容随时间的演变进行了深入分析,并提供了有关建议的TMN如何能够映射长期和短期的可视证据通过层次结构有效地建立术语关系。
2018-05-20 cs.CV cs.LG cs.NE
RETENTION: Resource-Efficient Tree-Based Ensemble Model Acceleration with Content-Addressable Memory
Department of Computer Science and Information Engineering, National Taiwan University(国立台湾大学计算机科学与资讯工程学系);IRIT, Université de Toulouse, Toulouse INP–UT3, CNRS(图卢兹大学IRIT实验室);Lab-STICC, CNRS UMR 6285 , ENSTA, Institut Polytechnique de Paris(ENSTA巴黎理工学院Lab-STICC实验室)
提出RETENTION框架,通过迭代剪枝算法和树映射方案,显著减少内容可寻址存储器容量需求,实现资源高效的树集成模型加速。
2026-10-30 cs.AR cs.ET cs.LG
A short note on the decision tree based neural turing machine
grusoft(格鲁软件)
图灵机和决策树独立发展了很长时间。近年来随着可微模型的发展,它们之间出现了交叉。神经图灵机(NTM)为记忆网络打开了大门。它采用微分注意力机制来读写外部存储体。可微森林给经典决策树带来了可微的性质。在这个简短的说明中,我们展示了这两个模型之间的深层联系。即:可微森林是NTM的一个特例。可区分森林实际上是基于决策树的神经图灵机。基于这种深层联系,我们提出了一个响应增强差分森林(RaDF)。RaDF的控制器是可微森林,外部存储器是响应向量,可由叶子节点读写。
2020-10-27 cs.AI cs.LG cs.NE