Auto-associative neural networks (e.g., the Hopfield model implementing the standard Hebbian prescription) serve as a foundational framework for pattern recognition and associative memory in statistical mechanics. However, their hetero-associative counterparts, though less explored, exhibit even richer computational capabilities. In this work, we examine a straightforward extension of Kosko's Bidirectional Associative Memory (BAM), introducing a Three-directional Associative Memory (TAM), that is a tripartite neural network equipped with generalized Hebbian weights. Through both analytical approaches (using replica-symmetric statistical mechanics) and computational methods (via Monte Carlo simulations), we derive phase diagrams within the space of control parameters, revealing a region where the network can successfully perform pattern recognition as well as other tasks tasks. In particular, it can achieve pattern disentanglement, namely, when presented with a mixture of patterns, the network can recover the original patterns. Furthermore, the system is capable of retrieving Markovian sequences of patterns and performing generalized frequency modulation.
Supervised and Unsupervised protocols for hetero-associative neural networks
Istituto Nazionale di Fisica Nucleare, Sezione di Lecce(意大利国家核物理研究所,莱切分部);Istituto Nazionale di Fisica Nucleare, Sezione di Roma1(意大利国家核物理研究所,罗马第一分部);Istituto Nazionale d’Alta Matematica, GNFM(意大利高等数学研究所,GNFM);CNR-Nanotec(国家研究委员会纳米技术研究所)
A Federated Many-to-One Hopfield model for associative Neural Networks
Università del Salento(萨莱诺大学);Istituto Nazionale di Fisica Nucleare (INFN), Sezione di Lecce(意大利国家核物理研究所(INFN)莱切分部);Istituto Nazionale di Alta Matematica Francesco Severi (INdAM)(弗朗切斯科·塞韦里高等数学国立研究所(INdAM));Sapienza Università di Roma(罗马智慧大学)
Exponential Capacity in Multilayer Hetero-Associative Neural Networks
Dipartimento di Matematica, Sapienza Università di Roma(罗马大学数学系);Istituto Nazionale d’Alta Matematica, GNFM(高等数学国立研究所);CNR-Nanotec, Unità di Lecce(意大利国家研究委员会纳米技术研究所莱切分部);Dipartimento di Scienze di Base e Applicate all’Ingegneria, Sapienza Università di Roma(罗马大学基础与应用工程科学系);Istituto Nazionale di Fisica Nucleare, Sezione di Roma 1(意大利国家核物理研究所罗马第一分部)
Do Hopfield Networks Dream of Stored Patterns? A Statistical-Mechanical Theory of Dreaming in Multidirectional Associative Memories
Sapienza Università di Roma(罗马大学);Istituto Nazionale di Fisica Nucleare(意大利国家核物理研究所);Istituto Nazionale d’Alta Matematica, GNFM(意大利高等数学研究所);Università del Salento(莱切萨伦托大学)
Dense auto-hetero associative memories applied to noisy communication channels
Sapienza Università di Roma(罗马第一大学);Istituto Nazionale d’Alta Matematica, Sezione di Roma(罗马高等数学研究所);INFN, Istituto Nazionale di Fisica Nucleare, Sezione di Roma(罗马核物理国家研究所);CNR, Nanotec, Salento Unit(莱切纳米技术国家研究委员会);Università del Salento(萨伦托大学);INFN, Istituto Nazionale di Fisica Nucleare, Sezione di Lecce(莱切核物理国家研究所)