无监督Hebbian网络中泛化的谱准则
Spectral criteria for generalization in unsupervised Hebbian nets
AI总结：
通过随机矩阵理论和副本方法，推导无监督Hebbian网络相互作用矩阵的渐近谱，发现泛化能力由尖锐的谱转变控制，且谱分裂预测网络从噪声样本中重构真实向量的能力。
摘要：
我们考虑一个无监督的Hebbian网络，其中神经元之间的成对相互作用建立在隐藏的真实向量的噪声实现上。与作为记忆设备设计的经典Hopfield模型不同，这类网络可用于提取潜在结构并在“训练”集之外进行泛化。通过结合随机矩阵理论和副本方法，我们推导了相应相互作用矩阵的渐近谱，并表明泛化的开始由尖锐的谱转变控制。根据可访问数据集的质量和大小，谱要么显示两个分离的块（编码信息方向和噪声方向），要么显示一个合并的单块相位，其中这种区别消失。我们表明，当与正则化结合时，这种谱分裂的出现预测了网络从损坏样本中重构真实向量的能力。
英文摘要：
We consider an unsupervised Hebbian network where the pairwise interactions among neurons are built on noisy realizations of hidden ground-truth vectors. Unlike classical Hopfield models, designed as memory devices, this class of networks can be employed to extract latent structure and generalize beyond the "training" set. By combining random matrix theory and replica methods, we derive the asymptotic spectrum of the corresponding interaction matrix and show that the onset of generalization is controlled by a sharp spectral transition. Depending on the quality and the size of the accessible dataset, the spectrum displays either two separated bulks, encoding informative and noisy directions, or a merged single-bulk phase where such distinction is lost. We show that, when coupled with regularization, the emergence of such a spectral split predicts the network's capability to reconstruct the ground-truth vectors from corrupted samples.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
