Does Mixture-of-Experts Actually Help Inference on Consumer and Edge Hardware? An Empirical Study
混合专家模型是否真的有助于消费级和边缘硬件上的推理?一项实证研究
机构 * TSAI Lab, University of New Brunswick, Fredericton, NB, Canada(TSAI实验室,新不伦瑞克大学,弗雷德里克顿,NB,加拿大) ; Analytics Everywhere Lab, University of New Brunswick, Fredericton, NB, Canada(全方位分析实验室,新不伦瑞克大学,弗雷德里克顿,NB,加拿大)
专题命中 效率与部署 :language model(abstract);分类 cs.AI
AI总结 通过实测OLMoE-1B-7B与稠密模型在Apple M2 Pro和Jetson Orin Nano上的性能,发现MoE的活跃参数优势在笔记本电脑上部分实现,在边缘设备上完全丧失,推理成本与总参数而非活跃参数相关。
Comments 18 pages, 7 tables, 4 figures. Submitted to FAIEMA 2026. Code available at https://github.com/Analytics-Everywhere-Lab/edge-moe