Block Sparse Flash Attention
块稀疏Flash注意力
机构 * Technion -- Israel Institute of Technology, Haifa, Israel(技术离子-以色列理工学院, 海法, 以色列) ; Intel -- Habana Labs, Tel Aviv, Israel(英特尔 -- Habana实验室, 特拉维夫, 以色列)
AI总结 块稀疏Flash注意力通过精确计算查询-键相似性,提升长上下文推理效率并保持高准确性。
Comments 10 pages, 5 figures. Code: https://github.com/Danielohayon/Block-Sparse-Flash-Attention