SMetric: Rethink LLM Scheduling for Serving Agents with Balanced Session-centric Scheduling
SMetric:以平衡的会话中心调度重新思考面向服务代理的大语言模型调度
机构 * Institute of Parallel and Distributed Systems, Shanghai Jiao Tong University(并行与分布式系统研究所,上海交通大学) ; Alibaba Group(阿里巴巴集团)
AI总结 研究代理服务中LLM调度问题,提出基于全局层KV存储和会话内局部性的见解,设计SMetric平衡会话中心调度,相比先进调度器提升集群TPS及预填充TPS,降低每个令牌延迟。