Seeing is Free, Speaking is Not: Uncovering the True Energy Bottleneck in Edge VLM Inference
眼见无需耗能,言语却要代价:揭示边缘视觉语言模型推理中的真正能量瓶颈
机构 * University of Pennsylvania(宾夕法尼亚大学) ; Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院) ; Jinan University(暨南大学)
AI总结 研究边缘VLM推理的能量瓶颈,通过系统能量分析发现平均推理功率恒定,输出令牌耗时多是关键,图像复杂度因输出长度影响能量,揭示视觉令牌修剪局限,控制输出长度能大幅节能。
Comments Accepted to ACM MM 2026. 10 pages, 5 figures