TOPAS: Workflow-Aware Prefix-State Scheduling for Multi-Agent LLM Serving
TOPAS:面向多智能体大语言模型服务的工作流感知前缀状态调度器
机构 * University of Science and Technology of China(中国科学技术大学) ; Hefei University of Technology(合肥工业大学)
专题命中 多智能体 :agent(title,abstract);workflow(title,abstract);multi-agent(title,abstract);分类 cs.CL
AI总结 针对多智能体LLM服务的前缀缓存权衡问题,提出TOPAS调度器,在SGLang框架中实现,经实验可显著降低合成及MetaGPT工作负载下的作业完成时间。
Comments 8 pages