University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）

Context-Aware Mixture-of-Experts Inference on CXL-Enabled GPU-NDP Systems

基于上下文的混合专家推理在支持CXL的GPU-NDP系统中

Zehao Fan, Zhenyu Liu, Yunzhen Liu, Yayue Hou, Hadjer Benmeziane, Kaoutar El Maghraoui, Liu Liu

机构 * Rensselaer Polytechnic Institute（罗切斯特理工学院） ； University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校） ； IBM Research Europe（IBM欧洲研究院） ； IBM T. J. Watson Research Center（IBM托马斯·贾诺斯·沃森研究中心） 纠错

AI总结 本文提出一种基于上下文的混合专家推理系统，利用CXL-NDP减少内存传输成本，提升解码吞吐量8.7倍，精度仅下降0.13%。