We derive the Gardner storage capacity for associative networks of threshold linear units, and show that with Hebbian learning they can operate closer to such Gardner bound than binary networks, and even surpass it. This is largely achieved through a sparsification of the retrieved patterns, which we analyze for theoretical and empirical distributions of activity. As reaching the optimal capacity via non-local learning rules like backpropagation requires slow and neurally implausible training procedures, our results indicate that one-shot self-organized Hebbian learning can be just as efficient.
A Federated Many-to-One Hopfield model for associative Neural Networks
Università del Salento（萨莱诺大学）；Istituto Nazionale di Fisica Nucleare (INFN), Sezione di Lecce（意大利国家核物理研究所（INFN）莱切分部）；Istituto Nazionale di Alta Matematica Francesco Severi (INdAM)（弗朗切斯科·塞韦里高等数学国立研究所（INdAM））；Sapienza Università di Roma（罗马智慧大学）
Large Associative Memory Problem in Neurobiology and Machine Learning
MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室）；IBM Research（IBM研究院）；Princeton Neuroscience Institute（普林斯顿神经科学研究所）；Princeton University（普林斯顿大学）
密集关联记忆或现代Hopfield网络允许存储和可靠检索指数级大（在特征空间的维度上）数量的记忆。与此同时，它们的朴素实现是非生物的，因为它似乎需要神经元之间存在多体突触连接。我们表明，这些模型是一个更微观的（书面的生物自由度）理论，有额外的（隐藏的）神经元，只需要两个身体之间的相互作用的有效描述。由于这个原因，我们提出的微观理论是一个有效的模型，大联想记忆与一定程度的生物相容性。我们的网络的动力学和它的降维等效都最小化能量（李雅普诺夫）函数。当某些动态变量（隐藏神经元）从我们的微观理论中整合出来时，可以恢复许多以前在文献中讨论过的模型，例如“Hopfield Networks is All You Need”论文中提出的模型。我们还提供了另一种推导的能量函数和更新规则中提出的上述文件，并澄清这一类的各种模型之间的关系。
Supervised and Unsupervised protocols for hetero-associative neural networks
Istituto Nazionale di Fisica Nucleare, Sezione di Lecce（意大利国家核物理研究所，莱切分部）；Istituto Nazionale di Fisica Nucleare, Sezione di Roma1（意大利国家核物理研究所，罗马第一分部）；Istituto Nazionale d’Alta Matematica, GNFM（意大利高等数学研究所，GNFM）；CNR-Nanotec（国家研究委员会纳米技术研究所）
Pseudo-likelihood produces associative memories able to generalize, even for asymmetric couplings
Physics Department, Sapienza University of Rome（罗马大学物理系）；Institute of Nanotechnology, National Research Council of Italy, CNR-NANOTEC, Rome Unit（意大利国家研究委员会纳米技术研究所，CNR-NANOTEC，罗马分部）
