TokTier: Exact Stateful CPU+GPU Tokenization for Agentic LLM Serving
TokTier:面向智能体大语言模型服务的精确有状态分词方案
机构 * Arizona State University(亚利桑那州立大学)
专题命中 软件智能体 :coding agent(abstract);分类 cs.CL
AI总结 本研究提出TokTier,一种面向智能体LLM服务的精确有状态分词方案,通过增量修复、GPU加速分词等技术,将首次令牌生成时间降低16%-34%,饱和请求速率提升至1821次/秒,性能远超现有方案。
Comments 26 pages. Code: https://github.com/asu-idi/toktier