New York University（纽约大学）

Small-Scale Experiments: Are We There Yet?

小规模实验：我们达到目标了吗？

Nicholas Lourie, Kyunghyun Cho, Karen Ullrich, Sanae Lotfi

机构 * FAIR at MSL Meta ； New York University（纽约大学） 纠错

AI总结 该研究指出小规模模型对超参数的敏感性是缩放定律在小规模实验中失效的关键，开发了以模型为中心的研究方法论，通过小规模实验证实Transformer中预归一化随模型规模增大效果更好，表明小规模实验可兑现缩放定律的承诺。

Comments 29 pages, 17 figures

Epiplexity Guided Data Selection and Generation for Out-of-Distribution Generalization

面向分布外泛化的、受Epiplexity引导的数据选择与生成

Ellen Su, Andres Potapczynski, Shikai Qiu, Edward Hughes, Andrew Gordon Wilson

机构 * New York University（纽约大学） 纠错

AI总结 该研究提出以Epiplexity为引导，通过数据选择与合成数据生成提升模型分布外泛化能力，实验显示更高Epiplexity可改善零样本及微调任务的下游性能。

Comments Code available for EpiSelect (https://github.com/eysu35/EpiSelect) and EpiGen (https://github.com/eysu35/EpiGen)

Dion3: Full-Stack Orthogonal Updates

Dion3：全栈正交更新

Noah Amsel, Jack Zhang, Kwangjun Ahn, Ali Naeimi, Austin Feng, Berlin Chen, Tri Dao, John Langford

机构 * Microsoft Research（微软研究院） ； New York University（纽约大学） ； Princeton University（普林斯顿大学） ； NVIDIA（英伟达） ； Yale University（耶鲁大学） 纠错

AI总结 Dion3是针对Muon优化器开销的改进版本，通过全栈优化降低了正交化、通信等开销，步长时间最多降6倍，可作为Muon的即插即用替代方案。

Comments 37 pages, 23 figures