On the Relationship Between Variational Inference and Auto-Associative Memory
CY Cergy Paris Université(CY塞尔吉-巴黎大学);ENSEA(国立高等电子及应用工程师学院);CNRS(法国国家科学研究中心);ETIS UMR 8051(信息处理与系统实验室(联合研究单位8051))
在这篇文章中,我们提出了一个变分推理公式的自联想记忆,使我们能够将感知推理和记忆检索到同一个数学框架。在这个公式中,潜在表示的先验概率分布是依赖于记忆的,因此将推理过程拉向先前存储的表示。然后,我们研究如何不同的神经网络方法变分推理可以应用在这个框架。我们比较的方法依赖于摊销推理,如变分自动编码器和方法依赖于迭代推理,如预测编码,并建议结合这两种方法来设计新的自联想记忆模型。我们在CIFAR10和CLEVR图像数据集上评估了所获得的算法,并将其与其他联想记忆模型(如Hopfield网络,端到端记忆网络和神经图灵机)进行了比较。
2022-10-14 cs.AI cs.CV cs.LG
Learning and discrimination through STDP in a top-down modulated associative memory
本文强调的学习和歧视能力的联想记忆模型的基础上,人工网络的尖峰神经元。该模型受到神经心理学和神经生物学的启发,采用基于突触可塑性(STDP)的学习规则,实现自上而下的调制,例如在新皮质V层锥体神经元中,用于执行多模式联想学习任务。时间相关性分析方法证明了该模型将特定活动模式与不同刺激样本相关联的能力。即使在没有初始学习和连续变化的权重的情况下,活动模式也变得足够稳定以进行区分。
2006-11-21 cs.AI cs.NE
Analysis of Hopfield Model as Associative Memory
University of Rome “La Sapienza”(罗马第一大学(智慧罗马大学))
本文结合生物神经系统与力学统计分析 Hopfield 神经网络,并通过音频检索实现验证其联想记忆与模式检索能力。
2024-01-24 cond-mat.dis-nn cs.AI cs.IR
Free energy landscape of Dense Associative Memory
School of Physical Sciences, National Institute of Science Education and Research(物理科学学院,国家科学教育与研究机构);Homi Bhabha National Institute(霍米·巴布哈国家研究所)
该研究利用大偏差理论求解密集联想记忆的自由能泛函,通过重现Hopfield模型结果说明方法,推导有限模式下相关自由能泛函,评估基态能量,揭示记忆检索与初始状态关系并给出LSE模型全检索阈值,为分析联想记忆架构提供系统程序。
2026-11-02 cond-mat.dis-nn cond-mat.stat-mech cs.AI
DRAM: Delta-rule Recurrent Associative Memory for Robot Manipulation Policies
DRAM是一种即插即用的固定大小记忆模块,利用门控Delta规则线性注意力为预训练机器人策略提供长时程记忆,无需修改架构或重训骨干,实验证明其优于短上下文基线和替代记忆设计。
2026-09-30 cs.AI cs.RO
Universal Hopfield Networks: A General Framework for Single-Shot Associative Memory Models
MRC Brain Network Dynamics Unit(MRC脑网络动力学单元);University of Oxford(牛津大学)
大量的神经网络模型的联想记忆已被提出的文献。这些包括经典的Hopfield网络(HN),稀疏分布式存储器(SDM),以及最近的现代连续Hopfield网络(MCHN),它与机器学习中的自注意力有着密切的联系。在本文中,我们提出了一个通用的框架来理解这种记忆网络的操作作为一个序列的三个操作:相似性,分离和投影。我们得出所有这些记忆模型的实例,我们的一般框架与不同的相似性和分离功能。我们扩展了Krotov等人(2020)的数学框架,以使用神经元之间仅具有二阶相互作用的神经网络动力学来表达一般联想记忆模型,并推导出作为动力学的Lyapunov函数的一般能量函数。最后,使用我们的框架,我们经验性地调查这些联想记忆模型使用不同的相似性函数的能力,超越了点积相似性度量,并经验性地证明,欧几里德或曼哈顿距离相似性度量在许多任务中的实际表现更好,使更强大的检索和更高的内存容量比现有的模型。
2022-06-17 cs.AI cs.LG cs.NE
Associative control processor with a rigid structure
Dagestan State Technical University(达吉斯坦国立技术大学)
提出了将联想处理器应用于决策问题的方法。重点讨论了模糊处理系统的硬件实现,结合性是模糊处理器有效管理的基础。结构的方法正在开发一个非常简单和紧凑的并行联想记忆单元(PAMU)。给出了刚性和软变结构处理器的存储器开销和速度比较。还考虑了示例PAMU闪烁。
2010-08-04 cs.AI cs.AR
Graph Hopfield Networks: Energy-Based Node Classification with Associative Memory
Equal contribution(共同贡献)
图Hopfield网络结合联想记忆与图拉普拉斯平滑,通过能量下降实现节点分类,提升稀疏网络和特征遮蔽下的性能,并在异质性基准测试中表现优异。
2026-03-03 cs.AI cs.IR cs.LG
Multi-modality Associative Bridging through Memory: Speech Sound Recollected from Face Video
KAIST(韩国科学技术院)
在本文中,我们介绍了一种新的视听多模态桥接框架,可以利用音频和视频信息,即使是单模态输入。我们利用存储源(即,视觉的)和目标(即,音频)模态表示,其中源模态表示是我们所给定的,目标模态表示是我们想要从记忆网络中获得的。然后,我们在源和目标记忆之间构建了一个关联的桥梁,考虑了两个记忆之间的相互关系。通过关联桥学习相互关系,所提出的桥接框架能够在记忆网络内部获得目标模态表示,即使仅使用源模态输入,也能够为其下游任务提供丰富的信息。我们提出的框架,以两个任务:唇读和语音重建无声的视频。通过所提出的关联桥和模态特定的记忆,每个任务的知识是丰富的回忆音频上下文,实现最先进的性能。我们还验证了关联桥正确地将源和目标记忆联系起来。
2022-04-04 cs.AI cs.CV cs.SD
Understanding Transformer from the Perspective of Associative Memory
ByteDance Seed(字节跳动种子)
本文从联想记忆视角剖析Transformer,通过检索信噪比和核方法揭示Softmax注意力机制的有效性,并统一理解记忆更新框架,探讨其表达局限与无限上下文的智能潜力。
2025-05-26 cs.AI cs.LG
Entropic Hetero-Associative Memory
Universidad de Guadalajara(瓜达拉哈拉大学);Universidad Nacional Autónoma de México(墨西哥国立自治大学)
本文提出熵异联想记忆扩展,通过四维关系存储异模态对象对,并设计三种方法解决缺失线索问题,在MNIST和EMNIST上验证了高效检索性能。
2024-11-02 cs.AI cs.CV
Sequential Learning in the Dense Associative Memory
School of Computing, University of Otago(奥塔哥大学计算机学院)
本文研究了Dense Associative Memory (DAM)中的序列学习问题,通过应用多种最先进的序列学习技术进行基础基准测试,揭示了DAM行为中前所未有的转变,并探讨了其作为生物神经网络研究工具的实用性。
2025-03-04 cs.AI cs.NE
Firing Rate Models as Associative Memory: Excitatory-Inhibitory Balance for Robust Retrieval
Department of Information Engineering(信息工程系);Università degli Studi di Padova(帕多瓦大学);Center for Control, Dynamical Systems and Computation(控制、动态系统与计算中心);University of California at Santa Barbara(加州大学圣巴巴拉分校)
针对放电率模型应用于联想记忆的数学研究不足、成熟联想记忆设计缺乏关键生物学特征的问题,研究提出通用框架实现缩放记忆模式的稳定涌现,并分析其渐近稳定条件,为构建生物合理的稳健联想记忆系统提供支持。
2024-11-11 cond-mat.dis-nn cond-mat.stat-mech cs.AI
Neural Associative Memory for Dual-Sequence Modeling
DFKI(德国人工智能研究中心)
许多重要的NLP问题都可以作为双序列或序列到序列建模任务提出。构建端到端神经架构的最新进展在解决此类任务方面非常成功。在这项工作中,我们提出了一种新的架构,双序列建模,是基于联想记忆。我们推导出AM-RNN,一种增强通用递归神经网络(RNN)的递归联想记忆(AM)。这种架构被扩展到双AM-RNN,它同时在两个AM上运行。我们的模型在文本蕴涵方面取得了非常有竞争力的结果。定性分析表明,使用双AM-RNN可以有效地桥接源序列和目标序列之间的长程依赖关系。然而,自动编码的初步实验表明,当学习解决序列到序列任务时,系统没有利用这些好处,这表明需要额外的监督或正则化。
2016-06-14 cs.AI cs.CL cs.LG
Context-Gated Associative Retrieval: From Theory to Transformers
UIUC(伊利诺伊大学香槟分校);University of Minnesota, Twin Cities(明尼苏达大学双城分校);Stony Brook University(石溪大学)
本文提出一种两阶段关联记忆架构,通过上下文门在检索前和过程中重塑能量景观,理论证明其提升检索性能,并将理论应用于变换器,验证上下文学习作为门控检索的作用。
2026-05-08 cond-mat.dis-nn cs.AI
Robust Bidirectional Associative Memory via Regularization Inspired by the Subspace Rotation Algorithm
School of Electrical Engineering and Computer Science(电气工程与计算机科学学院);University of Ottawa(渥太华大学)
针对双向联想记忆(BAM)的鲁棒性差问题,提出双向子空间旋转算法(B-SRA),引入正交权重矩阵(OWM)和梯度模式对齐(GPA)正则化策略,经实验验证可大幅提升BAM的鲁棒性。
2026-08-03 cs.AI cs.LG
Associative Adversarial Networks
Microsoft AI and Research(微软人工智能与研究部)
我们提出了一个更高级别的联想记忆学习对抗网络。生成对抗网络(GAN)框架有一个节点和一个生成器网络。生成器(G)将白噪声(z)映射到数据样本,而SNR(D)将数据样本映射到单个标量。为此,G学习如何从高级表示空间映射到数据空间,而D学习如何做相反的事情。我们认为,更高级别的表示空间不一定遵循均匀的概率分布。在这项工作中,我们使用受限玻尔兹曼机(RBM)作为一个更高级别的联想记忆,并学习由D生成的高级特征的概率分布。联想记忆对其潜在的概率分布进行采样,G学习如何将这些样本映射到数据空间。所提出的关联对抗网络(AAN)是更高级别学习中的生成模型,并使用对抗非随机模型D和G来学习数据与更高级别表示空间之间的映射。实验结果表明了所提出的网络的潜力。
2016-11-18 cs.AI cs.LG
MeMo: Towards Language Models with Associative Memory Mechanisms
Human-centric ART, University of Rome Tor Vergata(人文导向的ART,罗马大学Tor Vergata);University of Edinburgh(爱丁堡大学);Almawave S.p.A.(Almawave公司)
提出MeMo架构,通过分层联想记忆直接记忆文本,实现透明化和模型编辑,实验证明单层和多层配置的记忆能力。
2025-02-18 cs.AI cs.CL
Robust Auto-associative Memory via Convolutional Restricted Hopfield Networks
提出卷积受限Hopfield网络,结合卷积特征提取与吸引子记忆检索,通过无梯度子空间旋转算法训练,在STL数据集上显著降低重构误差并提升鲁棒性。
2026-06-23 cs.AI cs.LG cs.NE
Intrinsic Associative Memory on Riemannian Manifolds: Curvature, Capacity, and Emergent Modes
University of California, Davis(加州大学戴维斯分校);Fudan University(复旦大学)
本文提出黎曼流形上的内在稠密联想记忆,证明曲率决定记忆保留与创造,推导容量缩放,并展示曲率可作为设计变量。
2026-09-30 cs.AI cs.LG stat.ML
Muon Outperforms Adam in Tail-End Associative Memory Learning
National University of Singapore(新加坡国立大学);University of Minnesota(明尼苏达大学);Sea AI Lab(Sea AI 实验室);Yale University(耶鲁大学)
该研究从关联记忆视角揭示Muon优化器优于Adam的机制,发现其因更新规则契合线性关联记忆外积结构,在重尾分布数据的尾部类别学习上更均衡有效,且通过实验和理论分析验证了结论。
2025-10-05 cs.AI cs.LG math.OC
Extending LLM Context via Associative Recurrent Memory
FusionBrain Lab(融合大脑实验室);MBZUAI(穆罕默德·本·扎耶德人工智能大学);Cognitive AI Systems Lab(认知人工智能系统实验室);RUDN(俄罗斯人民友谊大学);London Institute for Mathematical Sciences(伦敦数学科学研究所);MIRAI(未来人工智能研究机构);Lomonosov Moscow State University(莫斯科国立罗蒙诺索夫大学);Laboratory for Analysis and Controllable Text Generation Technologies RAS(俄罗斯科学院分析与可控文本生成技术实验室);School of Natural Sciences, Institute for Advanced Study, Princeton(普林斯顿高等研究院自然科学学院);Department of Brain Sciences, Weizmann Institute of Science(魏茨曼科学研究所脑科学系)
研究如何通过关联循环记忆扩展大语言模型上下文长度。提出ARMT方法,构建特定数据集,给出综合训练方法。实验表明该方法能让模型处理超长输入,更好泛化,且降低计算量。
2026-07-14 cs.AI cs.CL
Kalman Delta Networks: Uncertainty-aware Associative Memory
Yale University(耶鲁大学)
针对线性注意力固定记忆无法感知不确定性的问题,提出卡尔曼Delta网络,将联想记忆建模为线性高斯状态空间模型,用卡尔曼滤波跟踪不确定性,并给出两种可并行扫描的近似,提升预训练困惑度和下游准确率。
2026-09-30 cs.AI cs.LG
Associative Recurrent Memory Transformer
MIPT(莫斯科物理技术学院);AIRI(人工智能研究机构);London Institute for Mathematical Sciences(伦敦数学科学研究所)
本文提出 ARMT 架构,结合局部自注意力与段级循环记忆,实现恒定时间长序列处理,并在联想检索及 BABILong 超 5000 万 token 任务上取得最优结果。
2025-02-13 cs.AI cs.CL cs.LG
Hypertokens: Holographic Associative Memory in Tokenized LLMs
Sloop FX, Inc.(Sloop FX 公司)
本文提出 HDRAM 符号记忆框架,将 transformer 潜在空间视为扩频信道,通过结合纠错码、全息计算和量子启发式搜索的 hypertokens,在不改变架构的前提下显著提升了 LLMs 的联想检索能力。
2025-06-02 cs.AI cs.CL cs.LG
Dense associative memory for Gaussian distributions
University of California, Davis(加州大学戴维斯分校)
本文提出了一种基于高斯分布的密集关联记忆模型,通过引入2-瓦瑟斯坦距离扩展了传统DAMs,实现了分布级的存储与检索,并在多个数据集上验证了其有效性。
2026-01-31 cs.AI cs.LG math.ST
Semantically-correlated memories in a dense associative model
Institute for Computational and Experimental Research in Mathematics, Brown University(布朗大学计算与实验数学研究所);SciAI Center, Cornell University(康奈尔大学SciAI中心);Neural Coding and Brain Computing Unit, OIST Graduate University(冲绳科学技术大学院大学神经编码与脑计算单元)
本文提出新型联想记忆模型 CDAM,在统一框架内集成自联想与异联想,利用图结构语义链接记忆模式,并采用反 Hebbian 学习规则揭示四种动力学模式,在真实数据、图像检索及神经科学实验复现中展现有效性。
2024-06-02 cs.AI cs.LG cs.NE
Fast Contextual Adaptation with Neural Associative Memory for On-Device Personalized Speech Recognition
Google(谷歌)
快速上下文自适应已被证明可以有效地改善罕见单词的自动语音识别(ASR),并且当与设备上的个性化训练相结合时,它可以产生更好的识别结果。然而,传统的基于外部语言模型的重新评分方法在个性化训练过程中容易出现分歧。在这项工作中,我们介绍了一个基于模型的端到端的上下文自适应方法,是解码器不可知的,并服从设备上的个性化。我们的设备上的模拟实验表明,所提出的方法优于传统的重新评分技术的12%的相对WER和15.7%的实体提到特定的F1分数在一个持续的个性化场景。
2021-10-07 cs.AI cs.CL cs.LG
Sinkhorn Based Associative Memory Retrieval Using Spherical Hellinger Kantorovich Dynamics
本文提出基于Sinkhorn的关联记忆检索方法,利用球面Hellinger Kantorovich动力学实现抗扰动恢复,通过几何收敛性和盆地不变性提升存储模式的稳定性与恢复能力。
2026-03-21 cs.AI cs.LG math.OC