ZipMoE: Efficient On-Device MoE Serving via Lossless Compression and Cache-Affinity Scheduling
ZipMoE：通过无损压缩和缓存亲和调度实现高效的设备端MoE服务
机构 * School of Electronic Science and Engineering, Nanjing University, China.（南京大学电子科学与工程学院） ； National Key Laboratory for Novel Software Technology, Nanjing University, China.（南京大学新型软件技术国家重点实验室）
AI总结 提出ZipMoE系统，通过缓存-调度协同设计利用边缘设备硬件特性和MoE参数统计冗余，实现无损且高效的设备端MoE推理，显著降低延迟并提升吞吐量。
Comments ICML 2026
