基于有效场论的扩散模型中的信息传播
Information Spreading in Diffusion Models from Effective Field Theory
- Durham University(杜伦大学)
- University of Amsterdam(阿姆斯特丹大学)
机构由 AI 辅助整理,请以论文原文为准。
AI总结:
该研究将物理学有效场论应用于带卷积架构的得分匹配扩散模型,通过玩具示例和MNIST实验证实,两点间互信息按布朗运动有效场论预测的方式增长。
AI中文摘要:
我们研究具有卷积架构的得分匹配扩散模型,指出其局部性归纳偏置使得物理学中的有效场论工具可被用于描述去噪动力学。我们先将该形式主义应用于可解析描述的简单玩具示例,再应用于MNIST数据集,结果显示两种情况下两点间的互信息均按布朗运动的简单有效场论所预测的方式增长。
英文摘要:
We study score-matching diffusion models with a convolutional architecture. We argue that the inductive bias of locality means that the machinery of effective field theory from physics can be usefully applied to describe the denoising dynamics. We apply this formalism first to a simple toy example which permits an analytical description, and thereafter to MNIST, and show that in both cases, the mutual information between two points grows in a manner predicted by a simple effective field theory of Brownian motion.