Cracks in the Foundation: Seemingly Minor Architectural Choices Impact Long Context Extension
基础的裂痕：看似微小的架构选择会影响长上下文扩展
机构 * Ai2 ； Carnegie Mellon University（卡内基梅隆大学） ； University of Washington（华盛顿大学）
AI总结 该研究发现，Olmo、Llama、Qwen等稠密模型系列的四个微小架构决策会复合降低长上下文性能，结合三个及以上选择可使性能降47%，经17万余GPU小时训练发布OlmPool，其部分模型长上下文性能优于Llama 3。
Comments 29 pages; accepted to COLM 2026
