From Cloud to Crowd: Democratizing LLM Service with Decentralized Edge Collaboration for RAG
从云端到人群:通过去中心化边缘协作实现面向检索增强生成(RAG)的大语言模型服务民主化
专题命中 检索器与排序 :RAG(title,title_cn);retrieval-augmented generation(abstract);hybrid retrieval(abstract)
AI总结 该研究提出DEFRAG系统,通过异构边缘设备的去中心化协作优化RAG的检索与生成,缩小SLM与LLM的准确率差距,大幅降低成本并提升吞吐量,助力边缘LLM服务民主化。
Comments 15 pages