arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~

大厂专区

Apple(苹果)

2026-05-21 至 2026-05-21 共收录 1
2509.17396 2026-05-21 cs.CL

EpiCache: Episodic KV Cache Management for Long-Term Conversation on Resource-Constrained Environments

EpiCache: 为资源受限环境下的长对话提供 episodic KV 缓存管理

Minsoo Kim, Arnav Kundu, Han-Byul Kim, Richa Dixit, Minsik Cho

机构 * Apple(苹果公司)

AI总结 本文提出 EpiCache,一种无需训练的 KV 缓存管理框架,用于在固定内存预算下实现长对话问答(LongConvQA)。该方法通过块级预填充限制缓存增长,并通过 episodic KV 压缩保留主题相关上下文,从而在多个 LongConvQA 评估基准上提升了准确性并减少了延迟和峰值内存使用。

Comments ICML 2026

详情

展开后加载摘要…

URL PDF HTML 收藏