EnergyLens: Predictive Energy-Aware Exploration for Multi-GPU LLM Inference Optimization
EnergyLens: 多GPU LLM推理优化中的预测能效探索
机构 * Massachusetts Institute of Technology(麻省理工学院) ; IBM Research(IBM研究院)
AI总结 EnergyLens通过einsum接口和MoE建模优化多GPULLM推理能耗,实现9.25%-13.19%的能耗预测精度,揭示配置间能效差异并推动分布式服务。