Intel（英特尔）

CITER: Collaborative Inference for Efficient Large Language Model Decoding with Token-Level Routing

Wenhao Zheng, Yixiao Chen, Weitong Zhang, Souvik Kundu, Yun Li, Zhengzhong Liu, Eric P. Xing, Hongyi Wang, Huaxiu Yao

机构 * The University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） ； Intel（英特尔） ； Carnegie Mellon University（卡内基梅隆大学） ； Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·拉希德人工智能大学） ； Rutgers University（罗格斯大学） 纠错