RAG / 检索增强生成

MEPIC: Memory Efficient Position Independent Caching for LLM Serving

MEPIC：内存高效的无位置依赖缓存用于大语言模型服务

Qian Wang, Zahra Yousefijamarani, Morgan Lindsay Heisler, Rongzhi Gu, Bai Xiaolong, Shan Yizhou, Wei Zhang, Wang Lan, Ying Xiong, Yong Zhang, Zhenan Fan

机构 * Huawei Technologies Canada Co., Ltd.（华为技术加拿大有限公司） ； Huawei Technologies Co., Ltd.（华为技术有限公司） 纠错

专题命中 长文档RAG ：retrieval-augmented generation(abstract)；RAG(abstract)

AI总结 MEPIC通过内存高效的无位置依赖缓存技术，实现跨请求和批次的片段KV重用，显著减少HBM使用量，提升大语言模型服务性能。

Kascade: A Practical Sparse Attention Method for Long-Context LLM Inference

Kascade：一种适用于长上下文LLM推理的实用稀疏注意力方法

Dhruv Deshmukh, Saurabh Goyal, Nipun Kwatra, Ramachandran Ramjee

专题命中 长文档RAG ：RAG(abstract)；分类 cs.AI

AI总结 Kascade是一种无需训练的稀疏注意力方法，通过锚定层计算Top-k索引并重用，实现长上下文LLM推理中的高效注意力处理。

Comments 11 pages, 8 figures, 3 tables and 1 algorithm