ICML

FlattenGPT: Depth Compression for Transformer with Layer Flattening

FlattenGPT: Transformer中基于层扁平化的深度压缩

Ruihan Xu, Qingpei Guo, Yao Zhu, Xiangyang Ji, Ming Yang, Shiliang Zhang

机构 * State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University（多媒体信息处理国家重点实验室，计算机科学学院，北京大学） ； Tsinghua University（清华大学） 纠错

AI总结 FlattenGPT通过层扁平化技术实现Transformer模型的深度压缩，有效提升效率并保持性能，适用于多种模型类型和参数规模。

Comments Submitted to ICML 2026

SLAY: Geometry-Aware Spherical Linearized Attention with Yat-Kernel

SLAY：基于Yat-kernel的几何感知球面线性化注意力

Jose Miguel Luna, Taha Bouhsine, Krzysztof Choromanski

机构 * Columbia University（哥伦比亚大学） ； Google DeepMind（谷歌DeepMind） 纠错

AI总结 SLAY通过几何感知的球面线性化注意力机制，实现了接近softmax注意力的性能，同时保持线性时间复杂度。

Comments ICML 2026, 8 pages main body, 27 pages total