Energy-Efficient On-Device RAG on a Mobile NPU: System Design and Benchmark on Snapdragon X Elite
移动NPU上的能效型设备端RAG：Snapdragon X Elite系统设计与基准测试
机构 * Qualcomm（高通） ； Snapdragon X Elite（骁龙X Elite） ； Dell XPS 13 laptop（戴尔XPS 13笔记本电脑） ； Qualcomm Hexagon NPU（高通Hexagon NPU） ； Adreno X1-85
AI总结 本文首次在Snapdragon X Elite的Hexagon NPU上实现端到端RAG流水线，通过对比CPU和GPU，NPU在嵌入吞吐量、系统能耗和查询延迟上分别提升9.1倍、降低12.3倍和4.0倍，且答案质量相当。
Comments 9 pages, 2 figures, 6 tables
