ICLR

SageAttention: Accurate 8-Bit Attention for Plug-and-play Inference Acceleration

Jintao Zhang, Jia Wei, Haofeng Huang, Pengle Zhang, Jun Zhu, Jianfei Chen

机构 * Dept. of Comp. Sci. & Tech.（计算机科学与技术系） ； Institute for AI（人工智能研究院） ； BNRist Center（BNRist中心） ； Tsinghua-Bosch Joint ML Center（清华大学-博世联合机器学习中心） ； THBI Lab（THBI实验室） ； Tsinghua University（清华大学） 纠错

Comments @inproceedings{zhang2025sageattention, title={SageAttention: Accurate 8-Bit Attention for Plug-and-play Inference Acceleration}, author={Zhang, Jintao and Wei, Jia and Zhang, Pengle and Zhu, Jun and Chen, Jianfei}, booktitle={International Conference on Learning Representations (ICLR)}, year={2025} }

Journal ref The Thirteenth International Conference on Learning Representations (ICLR 2025)