XQuant: Breaking the Memory Wall for LLM Inference with KV Cache Rematerialization
机构 * UC Berkeley(加州大学伯克利分校) ; FuriosaAI ; ICSI(国际计算机科学研究所) ; LBNL(劳伦斯伯克利国家实验室)
专题命中 长上下文与记忆 :LLM(title,abstract);分类 cs.LG
Comments 24 pages
AI 大模型
大语言模型、预训练、指令微调、后训练和语言模型应用。
机构 * UC Berkeley(加州大学伯克利分校) ; FuriosaAI ; ICSI(国际计算机科学研究所) ; LBNL(劳伦斯伯克利国家实验室)
专题命中 长上下文与记忆 :LLM(title,abstract);分类 cs.LG
Comments 24 pages
机构 * South China University of Technology(华南理工大学) ; Peng Cheng Laboratory(鹏城实验室) ; Pazhou Laboratory(Pazhou实验室) ; Key Laboratory of Big Data(大数据重点实验室)
专题命中 长上下文与记忆 :large language model(abstract);language model(abstract);分类 cs.CL、cs.LG
Comments Accepted at ICML 2025
机构 * University of Kairouan(卡鲁安大学) ; SMART Lab, University of Tunis(图纳大学SMART实验室) ; University of Sousse(索斯大学) ; Riadi Lab, Compus Manouba(曼努巴大学里亚迪实验室) ; University of Jandouba(贾杜巴大学)
专题命中 长上下文与记忆 :large language model(abstract);language model(abstract);分类 cs.AI
机构 * Department of Computer Science,Texas Tech University, Lubbock, Texas, USA(计算机科学系,德克萨斯技术大学,德克萨斯州,拉博克)
专题命中 长上下文与记忆 :large language model(abstract);language model(abstract);分类 cs.AI
Comments Submitted and under review in IEEE Transactions on Privacy
专题命中 长上下文与记忆 :foundation model(abstract);分类 cs.LG
Comments 5 pages, 6 figures