CR^2: Cost-Aware Risk-Controlled Routing for Wireless Device-Edge LLM Inference
CR²:面向无线设备-边缘LLM推断的成本感知风险控制路由
机构 * Cooperative Medianet Innovation Center, Shanghai Jiao Tong University(合作中位网创新中心,上海交通大学) ; Department of Broadband Communication, Pengcheng Laboratory(宽带通信部,鹏城实验室) ; Future Network of Intelligent Institute (FNii), the Chinese University of Hong Kong (Shenzhen)(智能网络研究所(FNii),香港中文大学(深圳)) ; Meta
AI总结 本文提出CR²框架,通过分离轻量级设备模型与边缘模型的决策机制,优化无线边缘环境下的推断效率与成本,提升部署准确性与能耗平衡。
Comments submitted to IEEE Journal