The Efficiency vs. Accuracy Trade-off: Optimizing RAG-Enhanced LLM Recommender Systems Using Multi-Head Early Exit
效率与准确性的权衡:使用多头早期退出优化RAG增强的LLM推荐系统
机构 * Meta Platforms(Meta平台) ; University of Minnesota(明尼苏达大学) ; NCSU(北卡罗来纳州立大学) ; UNC at Chapel Hill(Chapel Hill分校,北卡罗来纳大学)
专题命中 检索器与排序 :RAG(title,title_cn);retrieval-augmented generation(abstract);分类 cs.IR
AI总结 提出结合检索增强生成(RAG)与多头早期退出架构的优化框架,通过图卷积网络(GCN)高效检索和动态推理终止,在降低计算时间的同时保持或提升点击率(CTR)预测准确性。