KernelSight-LM: A Kernel-Level LLM Inference Simulator
KernelSight-LM: 一种内核级LLM推理模拟器
机构 * Amazon Web Services(亚马逊网络服务) ; Boston University(波士顿大学)
AI总结 提出KernelSight-LM,一种细粒度推理模拟器,通过分解服务步骤为屋顶线内核模型、通信模型和主机开销模型,并集成前缀缓存和连续批处理,实现跨GPU代际或少量目标数据下的精确延迟预测,支持硬件/软件协同设计。