A Training-Time Diagnostic for Generalization via the Log-Alignment Ratio
基于对数对齐比率的训练时泛化诊断
机构 * Essential AI
AI总结 提出对数对齐比率（LAR）作为参数-激活对齐的度量，通过捕捉训练中权重谱与激活谱的扩散来跟踪记忆与泛化的转换，并在grokking和语言模型预训练中预测泛化差距。
Comments 32 pages, 25 figures
作者
Ashish Vaswani
Large Language Models
