arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~
arXiv 2304.14964cond-mat.dis-nncs.ITmath.IT
收藏

稠密联想记忆的指数容量

The Exponential Capacity of Dense Associative Memories

Carlo Lucibello, Marc Mézard

AI总结:

本文利用统计力学分析研究了稠密联想记忆模型,给出了典型模式检索的渐近阈值、最大负载下界及吸引域大小,并揭示了 Gaussian 与 spherical 模式具有定性不同的相图。

摘要:

联想记忆 Hopfield 模型的近期推广能够存储数量为 P 的随机模式,该数量随神经元数量 N 呈指数增长,即 P=exp(αN)。除了巨大的存储容量外,这些网络的另一个有趣特征是其与注意力机制的联系,而该机制是深度学习中广泛应用的 Transformer 架构的组成部分。在本研究中,我们使用统计力学分析研究了一个通用的模式集合族,给出了典型模式检索的精确渐近阈值 α_1,以及所有模式均可被检索的负载 α 最大值的下界 α_c 和吸引域大小。我们详细讨论了 Gaussian 和 spherical 模式的情况,并表明它们展现出丰富且定性不同的相图。

英文摘要:

Recent generalizations of the Hopfield model of associative memories are able to store a number $P$ of random patterns that grows exponentially with the number $N$ of neurons, $P=\exp(αN)$. Besides the huge storage capacity, another interesting feature of these networks is their connection to the attention mechanism which is part of the Transformer architectures widely applied in deep learning. In this work, we study a generic family of pattern ensembles using a statistical mechanics analysis which gives exact asymptotic thresholds for the retrieval of a typical pattern, $α_1$, and lower bounds for the maximum of the load $α$ for which all patterns can be retrieved, $α_c$, as well as sizes of attraction basins. We discuss in detail the cases of Gaussian and spherical patterns, and show that they display rich and qualitatively different phase diagrams.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑