带噪示例的注意力:指数型Hopfield网络中的泛化与记忆
Attention over noisy examples: generalization and memorization in the exponential Hopfield network
AI总结:
该研究将Hebbian学习协议迁移至指数型Hopfield模型,通过信噪比分析得出其泛化特性,发现其记忆机制与随机能量模型相关,在MNIST和fashion-MNIST上验证了诊断方法并确定最佳准确率区间。
摘要:
在从示例进行Hebbian学习时,具有N个神经元的Hopfield网络不会被提供它必须检索的K个原型,而是被提供每个原型的M个模糊示例,其质量为r,网络能否推断这些原型取决于负载α=K/N(原型之间的干扰)和数据集熵ρ=(1-r²)/(Mr²)(这些示例对原型的描述程度)。我们将该协议迁移至指数型Hopfield模型,其零温度更新是一个以未标记示例为键的softmax注意力步骤。信噪比分析以闭式形式给出输出与未见过的原型之间的重叠m⁽¹⁾=erf(1/√(2ρ_eff)):这是小负载下成对模型的多数法则,其中ρ被替换为注意力熵ρ_eff,ρ_eff由softmax分配给正确类别的权重以及其权重所分布的示例数量构建。由此得出两个结论:第一,在随√N增大的逆温度β窗口中,原型之间的干扰以Nβ的指数形式极小:负载消失,可学习的原型数量随exp(c√N)增长。第二,学习失败的方式不同:成对模型通过自旋玻璃相失败,指数模型则通过记忆失败:softmax将其权重集中在最接近输入的训练示例上,并返回该示例而非原型。从输入角度看,softmax权重是随机能量模型的权重,记忆是其冻结转变,发生在β√(N(1-r²))≃√(2lnM)时;在以示例为键的头部上,可通过携带权重的示例数量测量该转变。在MNIST上,该诊断符合随机能量预测;在fashion-MNIST上,它检测类别中的子簇,且最佳准确率超出记忆阈值,此时softmax读出局部子原型。
英文摘要:
In Hebbian learning from examples, a Hopfield network retrieves archetypes seen only through noisy examples. We study it in the exponential Hopfield model: one softmax attention step with the unlabelled examples as keys. A signal-to-noise analysis gives the overlap with an unseen archetype in closed form: a majority-rule law in which an attention entropy replaces the dataset entropy. At high temperature the archetype is lost in the crosstalk; at low temperature the softmax freezes on the closest training example, as in a random energy model, and the layer memorizes. In between, in a window widening with the square root of the network size, the layer pools the examples of the correct class and retrieves the unseen archetype as well as their majority vote allows, at any fixed load. On structured datasets, such as MNIST and fashion-MNIST, the best accuracy lies beyond the freezing.
机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。