Rethinking Caching for LLM Serving Systems: Beyond Traditional Heuristics
专题命中 效率与部署 :LLM(title,abstract);large language model(abstract);language model(abstract);分类 cs.LG
AI 大模型
大语言模型、预训练、指令微调、后训练和语言模型应用。
专题命中 效率与部署 :LLM(title,abstract);large language model(abstract);language model(abstract);分类 cs.LG
专题命中 效率与部署 :LLM(title,abstract);large language model(abstract);language model(abstract);分类 cs.LG
机构 * Institute of Parallel and Distributed Systems, Shanghai Jiao Tong University(并行与分布式系统研究所,上海交通大学) ; ByteDance(字节跳动)
专题命中 效率与部署 :LLM(title,abstract);large language model(abstract);language model(abstract);分类 cs.LG
机构 * Huazhong University of Science and Technology(华中科技大学)
专题命中 效率与部署 :LLM(title,abstract);large language model(abstract);language model(abstract);分类 cs.AI
机构 * Institute of Microelectronics of the Chinese Academy of Sciences(中国科学院微电子研究所) ; Tsinghua University(清华大学) ; Artificial Intelligence Institute of China Electronics Technology Group Corporation(中国电子科技集团有限公司人工智能研究院) ; Beijing Institute of Technology(北京理工大学) ; National University of Defense Technology(国防科技大学) ; Nankai University(南开大学) ; Northeastern University(东北大学)
专题命中 效率与部署 :foundation model(title,abstract);pretraining(abstract);分类 cs.AI
机构 * Stevens Institute of Technology(史蒂文斯理工学院)
专题命中 效率与部署 :language model(title,abstract);分类 cs.CL、cs.AI、cs.LG
专题命中 效率与部署 :language model(title,abstract);分类 cs.CL
Comments Accepted by EMNLP 2025 findings
机构 * Sun Yat-sen University(中山大学) ; Hong Kong University of Science and Technology(香港理工大学) ; Peng Cheng Laboratory(鹏城实验室) ; Hubei University of Technology(湖北工业大学)
专题命中 效率与部署 :LLM(abstract);large language model(abstract);language model(abstract);分类 cs.CL、cs.AI
专题命中 效率与部署 :language model(title,abstract)
机构 * Department of Computer Science, School of Mathematics, Statistics and Computer Science, College of Science, University of Tehran, Tehran, Iran(塔里斯坦大学科学学院计算机科学系)
专题命中 效率与部署 :foundation model(title,abstract)
机构 * The Hong Kong University of Science and Technology (Guangzhou)(香港科学与技术大学(广州)) ; University of Maryland, College Park(马里兰大学学院公园分校)
专题命中 效率与部署 :large language model(abstract);language model(abstract);post-training(abstract);分类 cs.LG
专题命中 效率与部署 :foundation model(title);分类 cs.AI、cs.LG
Comments 9 pages, 6 figures
专题命中 效率与部署 :large language model(abstract);language model(abstract);分类 cs.CL、cs.LG
机构 * School of Artificial Intelligence, China University of Mining and Technology (Beijing)(人工智能学院,中国矿业大学(北京)) ; Department of Electrical and Computer Engineering, University of British Columbia(电气与计算机工程系,不列颠哥伦比亚大学) ; Division of Natural and Applied Sciences, Duke Kunshan University(自然科学与应用科学学院,杜克大学昆山分校) ; Department of Electrical and Computer Engineering, The University of British Columbia(电气与计算机工程系,不列颠哥伦比亚大学) ; School of Information Science and Technology, Fudan University(信息科学与技术学院,复旦大学) ; Department of Computer Science, The University of Toronto(计算机科学系,多伦多大学) ; School of Computer Science and Technology, China University of Mining and Technology(计算机科学与技术学院,中国矿业大学) ; Department of Systems and Computer Engineering, Carleton University(系统与计算机工程系,卡尔顿大学) ; Artificial Intelligence Research Institute, Shenzhen MSU-BIT University(人工智能研究院,深圳MSU-BIT大学) ; College of Computer Science and Software Engineering(计算机科学与软件工程学院)
专题命中 效率与部署 :large language model(abstract);language model(abstract);分类 cs.AI
专题命中 效率与部署 :large language model(abstract);language model(abstract);分类 cs.CL
Comments 15 pages
机构 * Stanford University(斯坦福大学)
专题命中 效率与部署 :language model(abstract);foundation model(abstract);分类 cs.AI
机构 * College of Computer Engineering, Jimei University(嘉应大学计算机工程学院) ; Chengyi College, Jimei University(嘉应大学 Chengyi 学院) ; Department of Technology, Management and Economics, Technical University of Denmark(丹麦技术大学技术、管理与经济系)
专题命中 效率与部署 :LLM(abstract);分类 cs.AI、cs.LG
机构 * Google(谷歌) ; Google Research(谷歌研究)
专题命中 效率与部署 :language model(abstract);分类 cs.AI、cs.LG
机构 * Aranya Saha ∗ , Tanvir Ahmed Khan ∗ , Ismam Nur Swapnil ∗ , and Mohammad Ariful Haque ∗(无明确机构)
专题命中 效率与部署 :language model(abstract);分类 cs.AI
Comments 10 pages, 8 figures, Prepared for submission to IEEE Transactions on Human-Machine Systems
机构 * Brown University(布朗大学) ; University of Warwick(沃里克大学) ; Samsung US(三星美国分公司) ; Boston University(波士顿大学) ; University of Alabama at Birmingham(阿拉巴马大学伯明翰分校) ; Rutgers University(罗格斯大学)
专题命中 效率与部署 :language model(abstract);分类 cs.AI
Comments COLM 2025, 30 pages, 10 figures, 16 tables
机构 * Yonsei University(延世大学) ; Korea Institute of Science and Technology (KIST)(韩国科学技术院)
专题命中 效率与部署 :foundation model(abstract);分类 cs.AI
Comments CVPR 2025 Camera-ready
机构 * College of Computer Science and Software Engineering, Shenzhen University(深圳大学计算机科学与软件工程学院) ; Meituan Inc.(美团公司) ; College of Electronics and Information Engineering, Shenzhen University(深圳大学电子与信息工程学院) ; Guangdong Key Laboratory of Intelligent Information Processing(广东省智能信息处理重点实验室)
专题命中 效率与部署 :language model(abstract);分类 cs.CL
专题命中 效率与部署 :language model(abstract)
Comments Preprint
专题命中 效率与部署 :LLM(abstract)
专题命中 效率与部署 :language model(abstract)
Comments Accepted for publication at IEEE Transactions on Audio, Speech and Language Processing; 11 pages, 6 figures, 6 tables
机构 * School of Computer Science and Technology, University of Science and Technology of China(计算机科学与技术学院,中国科学技术大学) ; University of Science and Technology of China(中国科学技术大学) ; Laboratory for Big Data and Decision, University of Science and Technology of China(大数据与决策实验室,中国科学技术大学) ; First Affiliated Hospital of University of Science and Technology of China(中国科学技术大学第一附属医院)
专题命中 领域大模型 :large language model(title,abstract);language model(title,abstract);LLM(abstract);prompting(abstract)
Comments 13 pages, 5 figures
Journal ref IEEE Transactions on Artificial Intelligence, 2025
专题命中 领域大模型 :large language model(title,abstract);language model(title,abstract);LLM(abstract);分类 cs.AI
机构 * Nankai University(南开大学) ; Huawei(华为) ; Huawei Canada(华为加拿大)
专题命中 领域大模型 :large language model(title,abstract);language model(title,abstract);分类 cs.CL
Comments Accepted by CIKM 2025
机构 * School of Computer Science and Technology(计算机科学与技术学院) ; Anhui University(安徽大学) ; Department of Computer Science(计算机科学系) ; Stony Brook University(石溪大学) ; School of Information Engineering(信息工程学院) ; Chaohu University(合肥学院)
专题命中 领域大模型 :large language model(title,abstract);language model(title,abstract);分类 cs.LG
机构 * Sungkyunkwan University(成均馆大学)
专题命中 领域大模型 :LLM(title,abstract);large language model(abstract);language model(abstract);分类 cs.CL、cs.AI、cs.LG
Comments Accepted by CIKM 2025