AI Agent

Generative Caching for Structurally Similar Prompts and Responses

生成式缓存用于结构相似的提示和响应

Sarthak Chakraborty, Suman Nath, Xuchao Zhang, Chetan Bansal, Indranil Gupta

机构 * University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Microsoft Research（微软研究院） 纠错

专题命中 其他Agent ：agentic(abstract)；分类 cs.AI、cs.CL

AI总结 本研究提出生成式缓存方法，通过识别结构相似提示的响应模式，提升缓存命中率和执行效率。