Poodle: Seamlessly Scaling Down Large Language Models with Just-in-Time Model Replacement
Poodle:通过即时模型替换无缝缩放大型语言模型
机构 * Hasso Plattner Institute, Uni Potsdam(霍普夫-普朗特研究所,波茨坦大学) ; University of Illinois Chicago(伊利诺伊大学芝加哥分校)
专题命中 其他LLM :large language model(title,abstract);language model(title,abstract);LLM(abstract);分类 cs.LG
AI总结 Poodle通过即时模型替换技术,在无需用户干预的情况下,自动替换大型语言模型为更经济的替代模型,以降低资源和能源消耗,同时保持模型的易用性和性能。