Can Stationary Distributions of Scale-Invariant Neural Networks Be Described by the Thermodynamics of an Ideal Gas?
尺度不变神经网络的稳态分布能否用理想气体的热力学描述?
机构 * Constructor University(Constructor大学) ; Mila – Quebec AI Institute(魁北克AI研究所) ; Université de Montréal(蒙特利尔大学) ; London Institute for Mathematical Sciences(伦敦数学科学研究所) ; Institute for Molecules and Materials, Radboud University(分子与材料研究所,拉德堡德大学)
AI总结 本文提出用热力学框架解释SGD在尺度不变神经网络中的稳态分布,通过理论和模拟验证SGD动态与理想气体行为的对应关系,并探讨其对超参数调优和学习率调度器设计的指导意义。
Comments Accepted at IJCAI-ECAI 2026 (the 35th International Joint Conference on Artificial Intelligence)