Kascade: A Practical Sparse Attention Method for Long-Context LLM Inference
Kascade:一种适用于长上下文LLM推理的实用稀疏注意力方法
专题命中 长文档RAG :RAG(abstract,abstract_cn);分类 cs.AI
AI总结 Kascade是一种无需训练的稀疏注意力方法,通过锚定层计算Top-k索引并重用,实现长上下文LLM推理中的高效注意力处理。
Comments 11 pages, 8 figures, 3 tables and 1 algorithm