RAG / 检索增强生成

$A^3$: Attention-Aware Accurate KV Cache Fusion for Fast Large Language Model Serving

$A^3$：基于注意力的准确KV缓存融合用于快速大语言模型服务

Yuechi Zhou, Yi Su, Jianxin Zhang, Juntao Li, Qingrong Xia, Zhefeng Wang, Xinyu Duan, Baoxing Huai

专题命中 长文档RAG ：retrieval-augmented generation(abstract)；RAG(abstract)；分类 cs.CL、cs.AI

AI总结 $A^3$通过基于注意力的准确KV缓存融合技术，有效降低大语言模型服务的解码延迟和内存开销，提升任务性能。

Concept than Document: Context Compression via AMR-based Conceptual Entropy

概念而非文档：基于AMR的概念熵进行上下文压缩

Kaize Shi, Xueyao Sun, Xiaohui Tao, Lin Li, Qika Lin, Guandong Xu

机构 * University of Southern Queensland（南方昆士兰大学） ； University of Technology Sydney（技术悉尼大学） ； The Hong Kong Polytechnic University（香港理工大学） ； Wuhan University of Technology（武汉理工大学） ； National University of Singapore（新加坡国立大学） ； The Education University of Hong Kong（香港教育大学） 纠错

专题命中 长文档RAG ：retrieval-augmented generation(abstract)；RAG(abstract)；分类 cs.CL

AI总结 本文提出基于AMR的概念熵方法，通过压缩上下文保留核心语义，提升RAG任务的准确性和效率。