CoinRAG: Contextualized Information Nugget KV Cache Reuse for Long-Context RAG
University of California, Santa Barbara(加州大学圣巴巴拉分校);Hanbat National University(韩bat国立大学)
CoinRAG通过两阶段检索识别检索块内与查询相关的细粒度语义单元,复用其KV缓存优化长上下文RAG,在低延迟约束下降低运算成本并提升问答F1值。
2026-10-27 cs.AI cs.CL cs.IR
Don't Do RAG: When Cache-Augmented Generation is All You Need for Knowledge Tasks
National Chengchi University(国立政治大学);Academia Sinica(中央研究院)
本文提出缓存增强生成(CAG)作为检索增强生成(RAG)的替代方案,通过预加载知识到长上下文LLM并缓存参数,消除检索延迟和错误,在受限知识库任务中实现更高效且相当或更优的性能。
2025-02-23 cs.CL
QCFuse: Query-Aware Cache Fusion via Compressed View for Efficient RAG Serving
Zhejiang University(浙江大学);East China Normal University(华东师范大学);Ant Group(蚂蚁集团);The Hong Kong Polytechnic University(香港理工大学);Zhejiang Normal University(浙江师范大学);Tongji University(同济大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));The Hong Kong University of Science and Technology (Guangzhou)(香港科学与技术大学(广州));The Hong Kong University of Science and Technology(香港科学与技术大学)
提出QCFuse,一种基于压缩视图的查询感知选择器,通过块锚查询探测和关键层分析实现高效RAG缓存融合,在保持全预填充质量的同时平均加速1.7倍。
2026-06-04 cs.AI cs.DB
HyperRAG: Enhancing Quality-Efficiency Tradeoffs in Retrieval-Augmented Generation with Reranker KV-Cache Reuse
Carnegie Mellon University(卡内基梅隆大学);University of Chicago(芝加哥大学);University of Southern California(南加州大学)
提出HyperRAG系统,通过重用文档侧KV-cache进行高效重排序器推理并辅以系统级优化,在提升RAG流水线吞吐量的同时保证甚至提高了下游生成质量。
2025-04-03 cs.CL
Decoupled Attention Fusion: Accelerating RAG with Efficient KV Cache Reuse
Ant Group, China(蚂蚁集团,中国);Southeast University, Nanjing, China(东南大学,南京,中国)
针对RAG在长上下文场景中TTFT延迟高及缓存问题,提出解耦注意力融合(DAF)框架,将注意力过程解耦为三个阶段,与Flash-Attention内核兼容,实验显示其在不牺牲准确性的情况下,相比CacheBlend和完全重新计算有显著加速。
2026-07-27 cs.AI cs.PF
TurboRAG: Accelerating Retrieval-Augmented Generation with Precomputed KV Caches for Chunked Text
Moore Threads AI(摩尔线程人工智能)
TurboRAG 通过离线预计算并存储文档的 KV 缓存,在推理时直接检索复用,消除了在线计算开销,在不修改模型的前提下将首个 token 延迟最高降低 9.4 倍且保持性能。
2024-10-10 cs.CL cs.CV
QCFuse: Query-Centric Cache Fusion for Efficient RAG Inference
Zhejiang University(浙江大学);The University of Sydney(悉尼大学);Zhejiang Normal University(浙江师范大学)
QCFuse通过基于查询的缓存融合提升RAG推理效率,利用语义摘要锚点优化查询表示并选择性重计算相关token,实验证明在保持准确性的同时提升响应效率40%。
2026-03-30 cs.AI cs.DB
Enhancing Cache-Augmented Generation (CAG) with Adaptive Contextual Compression for Scalable Knowledge Integration
Data Science(数据科学);Marketing Data Scientist(市场数据科学家)
针对CAG难以扩展至大型动态知识库的问题,提出ACC动态压缩管理上下文,并结合选择性检索构建混合CAG-RAG框架,提升效率、可扩展性与多跳推理能力。
2025-05-13 cs.AI cs.CL
Scaling Retrieval Augmented Generation with RAG Fusion: Lessons from an Industry Deployment
Dell Technologies(戴尔技术)
本研究发现,在现实生产约束下,RAG融合技术的召回提升在重排序后被抵消,且未带来下游效果的显著改善。
2026-03-02 cs.AI cs.CL cs.IR
Knowledge Packs: Zero-Token Knowledge Delivery via KV Cache Injection
Independent Researcher(独立研究员)
本文提出知识包,通过预计算的KV缓存实现零token成本的知识传递,实验显示在正确格式下,知识包在700个问题上无差异,比RAG节省95%token,同时支持RAG无法实现的行为引导。
2026-03-22 cs.CL
SAFE-KV: Causal Suffix Repair for Behavior-Preserving Non-Prefix KV Cache Reuse in RAG
Carnegie Mellon University(卡内基梅隆大学)
SAFE-KV针对RAG中非前缀KV缓存复用的行为保留问题,通过重新编码因果后缀修复组合缓存,在Qwen2.5-7B-Instruct上大幅提升了HotpotQA-500和2Wiki-500的答案恢复率。
2026-10-14 cs.CL cs.LG
$A^3$: Attention-Aware Accurate KV Cache Fusion for Fast Large Language Model Serving
$A^3$通过基于注意力的准确KV缓存融合技术,有效降低大语言模型服务的解码延迟和内存开销,提升任务性能。
2025-11-13 cs.AI cs.CL
Cache-Craft: Managing Chunk-Caches for Efficient Retrieval-Augmented Generation
Adobe Research(奥多比研究院);IIT Bombay(印度理工学院孟买分校);IIT Kanpur(印度理工学院坎普尔分校)
Cache-Craft通过识别可重用分块缓存、部分重计算修复及高效存储驱逐策略,在RAG中减少冗余KV计算,相比前缀缓存降低51%计算量并提升1.6倍吞吐量。
2025-02-05 cs.AI cs.CL cs.DC
Graph RAG-Tool Fusion
PricewaterhouseCoopers(普华永道)
针对传统基于RAG的工具检索无法捕捉工具间结构化依赖的问题,提出图RAG-工具融合方法,结合向量检索与图遍历捕捉工具知识图中相关工具及嵌套依赖,在新基准ToolLinkOS等上显著优于朴素RAG。
2025-02-11 cs.CL
Evaluating RAG-Fusion with RAGElo: an Automated Elo-based Framework
Columbia University(哥伦比亚大学);Zeta Alpha(泽塔阿尔法)
针对RAG问答系统评估难题,提出基于LLM合成数据、LLM裁判和RAGElo自动Elo竞赛的框架,验证RAGF在完整性和总体答案质量上优于RAG。
2024-10-08 cs.CL cs.IR
Grounded Cache Routing for Retrieval-Augmented Generation: When Is It Safe to Reuse an Answer?
提出GroundedCache,一种通过四个廉价门控(查询相似性、检索证据重叠、源版本有效性和词汇支持)验证缓存答案安全性的路由方法,显著降低不安全服务率。
2026-05-26 cs.AI cs.CL cs.CR
QV-PIC: Query-Aware Visual Position-Independent Caching for Efficient RAG Serving
QV-PIC是一种查询感知双分辨率PIC复用框架,通过离线编译视觉缓存、在线分分辨率处理,解决渲染图像PIC质量下降问题,在6项RAG任务中显著提升F1并降低TTFT。
2026-08-13 cs.AI cs.CL
FT-RAG: A Fine-grained Retrieval-Augmented Generation Framework for Complex Table Reasoning
Georgia Institute of Technology(佐治亚理工学院);Zhejiang University(浙江大学);Zhejiang Lab(浙江实验室)
FT-RAG通过细粒度检索和多模态融合提升表格推理能力,引入多表RAG库增强训练数据,实现表格和单元格命中率显著提升。
2026-05-02 cs.AI cs.CL
Bridging Semantic Gaps in RAG through Generated Context Knowledge Fusion
Beijing Wanlian Zhilian Technology Corporation Limited(北京万联智联科技有限公司);Department of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系);Sunshine Digital Intelligence Tech Co., Ltd.(阳光数字智能科技有限公司)
针对RAG中查询与检索上下文语义不匹配的问题,提出KASB框架,通过智能知识融合对齐语义空间,提升段落选择质量,并在三个开放域问答数据集上验证有效性。
2026-09-30 cs.CL
CacheMind: From Miss Rates to Why -- Natural-Language, Trace-Grounded Reasoning for Cache Replacement
North Carolina State University(北卡罗来纳州立大学)
CacheMind通过自然语言和跟踪数据推理提升缓存替换性能,实现高准确率和实际应用效果。
2026-02-12 cs.AI cs.AR cs.LG
Toolshed: Scale Tool-Equipped Agents with Advanced RAG-Tool Fusion and Tool Knowledge Bases
Innovation Hub, PricewaterhouseCoopers(普华永道创新中心)
本文提出Toolshed知识库和高级RAG-工具融合方法,通过三阶段检索增强优化大规模工具装备智能体的工具选择,在多个基准上显著提升性能。
2024-10-22 cs.CL
Fine-Tuning a KV Cache Concatenation-Aware Model or Recomputing KV Caches? Why Not Both?
Kioxia Corporation(铠侠公司)
本文提出结合微调感知KV缓存拼接与选择性重算KV缓存的方法,在RULER基准上提升长上下文准确性9.7分,同时减少80%的TTFT。
2026-09-10 cs.AI cs.CL cs.LG
RAG-KT: Cross-platform Explainable Knowledge Tracing with Multi-view Fusion Retrieval Generation
Inner Mongolia University(内蒙古大学)
RAG-KT通过多视图融合检索生成技术,解决传统知识追踪模型在跨平台迁移和解释性上的不足,提升准确性和鲁棒性。
2026-04-22 cs.AI
Less Is More: Graph-free Multimodal RAG via Multi-signal Late Fusion
University of Tübingen(图宾根大学);Robert Bosch GmbH(罗伯特·博世有限公司);University of Stuttgart(斯图加特大学)
本文提出无图多模态RAG框架TrioRAG,通过多信号晚期融合整合问题、图像和VLM增强查询,在三个基准上匹配或超越基于图的系统,推理速度提升1.6-2.3倍,并引入AutoQA基准验证其有效性。
2026-09-18 cs.CL
Trust Before Fusion: QIMG-7 and Source-Aware Resolution for Polluted Multimodal RAG
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
研究多模态检索增强生成中受污染内容问题,提出QIMG-7基准。针对朴素多模态融合脆弱问题,提出源感知信任分辨率(SATR),Field-Selector变体效果最佳,结果支持选择性信任,显式文本可靠性建模是收益主要驱动因素。
2026-10-20 cs.CL
Enhancing Retrieval-Augmented Generation for Electric Power Industry Customer Support
Pachira (International) Technology Ltd.(百川(国际)科技有限公司)
本研究针对电力行业客服,结合意图识别、RAG Fusion和重排序构建基于图的RAG系统,在GPT-4和真实FAQ数据集上分别取得97.9%和89.6%的准确率,显著优于基线。
2025-08-01 cs.AI cs.CL cs.IR
HKVM-RAG: Key-Value-Separated Hypergraph Evidence Organization for Multi-Hop RAG
Faculty of Computing, Harbin Institute of Technology(哈尔滨工业大学计算机学院);School of Computer and Information Engineering, Henan University(河南大学计算机与信息工程学院)
提出HKVM-RAG,一种键值分离的证据组织层,通过超图键值检索改进多跳RAG的证据链暴露,在三个基准上提升F1分数。
2026-06-12 cs.CL cs.IR
FinCacheServe: Dependency-Consistent Answer Reuse for Cost-Efficient RAG Serving over Mutable Enterprise Documents
The Chinese University of Hong Kong(香港中文大学);Beijing Institute of Technology(北京理工大学)
FinCacheServe为可变企业文档的RAG服务设计依赖一致的答案复用机制,可跳过大量LLM调用,相比现有方法能降低能耗,提升服务成本效率。
2026-07-30 cs.AI cs.IR
Exploring Fine-Tuning for In-Context Retrieval and Efficient KV-Caching in Long-Context Language Models
Sapienza University of Rome(罗马萨皮恩扎大学);Amazon AGI(亚马逊人工智能研究院)
本文研究了长上下文语言模型在微调策略下的性能提升及KV缓存压缩下的鲁棒性,展示了领域内和跨领域任务中的不同表现。
2026-01-26 cs.CL
TCAR-Gen: Temporal Graph Retrieval with Evidence Fusion for Knowledge-Grounded Generation
Dipartimento di Informatica, Università di Verona(威尼斯大学计算机科学系);School of Advanced Studies, University of Camerino(坎皮诺大学高级研究学院);Department of Computer Science, School of Mathematics and Computer Science, Institute of Business Administration (IBA), Karachi, Pakistan(卡拉奇工商管理学院(IBA)数学与计算机科学学院计算机科学系)
提出TCAR-Gen框架,结合查询条件图神经网络、时间证据融合和树链推理,在历史犯罪叙事问答中实现时间推理和多源证据融合,优于现有RAG方法。
2026-04-15 cs.AI cs.CL
Uncertainty-Aware Hybrid Retrieval for Long-Document RAG
Elmore Family School of Electrical and Computer Engineering, Purdue University(普渡大学埃尔莫尔家族电气与计算机工程学院)
提出UMG-RAG,一种无需训练的混合检索框架,通过多粒度分块和不确定性估计融合密集与稀疏检索结果,提升长文档问答质量。
2026-06-12 cs.AI cs.CL
Think Straight, Stop Smart: Structured Reasoning for Efficient Multi-Hop RAG
Qualcomm AI Research(高通人工智能研究院)
针对现有多跳RAG迭代提示方法token消耗高、终止不稳定的问题,提出结构化框架TSSS,通过模板化推理加检索器终止机制,在多个基准上实现RAG-CoT类方法的最优准确率与高效推理,适配端侧等效率受限场景。
2025-10-22 cs.CL
A Theory for Token-Level Harmonization in Retrieval-Augmented Generation
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
本文提出首个RAG理论,通过分布融合量化益处与损害,并基于此提出令牌级协作方法Tok-RAG,无需训练即可预测RAG效果,实验验证其有效性。
2025-02-28 cs.AI cs.CL cs.IR
KV-Repurpose: A Testbed for Evaluating Non-Prefix KV-Cache Reuse
Kioxia Corporation(铠侠公司)
KV-Repurpose是基于vLLM的开源测试平台,可评估非前缀KV缓存复用,其在30 GB缓存容量下的令牌级缓存命中率达63.9%,远高于前缀缓存的3.3%,且在单文档任务中基本保持输出质量。
2026-10-12 cs.CL
FCPRAG: Fusion-Controller Parametric Retrieval-Augmented Generation for Stable Multi-Passage LoRA Injection
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));University of Macau(澳门大学);Institute of Artificial Intelligence (TeleAI), China Telecom(中国电信人工智能研究院(TeleAI))
FCPRAG是一种融合控制的参数化RAG框架,通过轻量控制器实现样本级适配器融合,在多个数据集和LLM主干上提升了RAG的F1值,降低调优成本并增强鲁棒性。
2026-08-25 cs.CL
Multimodal RAG-driven Anomaly Detection and Classification in Laser Powder Bed Fusion using Large Language Models
University of Connecticut(康涅狄格大学);Rutgers, the State University of New Jersey(罗格斯新泽西州立大学)
本研究提出一种基于多模态RAG的框架,利用文献图文信息实现L-PBF场景零样本异常检测分类,经多数据集验证泛化性良好,引入检索可提升12%准确率,适配增材制造技术发展。
2025-05-20 cs.AI
Enhancing Multilingual RAG Systems with Debiased Language Preference-Guided Query Fusion
Chung-Ang University(中央大学)
本文提出DeLP指标以消除评估基准中的结构偏见,发现多语言检索增强生成系统更倾向单语对齐,由此提出DELTA框架优化跨语言检索与生成,实验表明其在多种语言上优于英语枢纽和mRAG基线。
2026-04-13 cs.CL
Modular RAG: Transforming RAG Systems into LEGO-like Reconfigurable Frameworks
Shanghai Research Institute for Intelligent Autonomous Systems, Tongji University(同济大学上海智能自主系统研究院);College of Design and Innovation, Tongji University(同济大学设计创意学院)
本文针对现有RAG范式难以统一复杂方法的问题,提出模块化RAG框架,将系统分解为独立模块与算子并集成路由、调度和融合机制,同时归纳线性、条件、分支和循环四类模式,为RAG系统的可重构设计与持续演进提供理论基础和实践路线。
2024-07-26 cs.AI cs.CL cs.IR
RAGCache: Efficient Knowledge Caching for Retrieval-Augmented Generation
Peking University(北京大学);ByteDance Inc.(字节跳动公司)
针对RAG因知识注入长序列导致的高计算与内存开销,提出多级动态缓存系统RAGCache,通过知识树组织中间状态并设计感知LLM推理与RAG检索的替换策略及重叠机制,使首字时间最多降低4倍、吞吐量最多提升2.1倍。
2024-04-25 cs.CL cs.DC cs.LG
CrossFormer: Cross-Segment Semantic Fusion for Document Segmentation
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));Tencent Inc.(腾讯公司)
针对传统文档分割预处理导致跨片段语义丢失的问题,提出基于transformer的CrossFormer模型,通过跨片段融合模块动态建模语义依赖,提升了分割准确率,并能替代RAG系统中基于规则的分块方法以增强效能。
2025-04-02 cs.CL
Introducing Super RAGs in Mistral 8x7B-v1
Amity University Uttar Pradesh(北方邦阿米蒂大学);Amity Institute of Information Technology(阿米蒂信息技术学院);Guru Gobind Singh Indraprastha University(古鲁·戈宾德·辛格·因德拉普拉斯塔大学);Maharaja Agrasen Institute of Technology(马哈拉贾·阿格拉森技术学院)
本研究将Super RAGs集成至Mistral 8x7B v1大模型,采用微调指令模型设置与缓存调优分支系统,经多轮评估验证,在准确率、速度与用户满意度上均有显著提升,为相关应用提供了实证支持。
2024-04-13 cs.CL cs.IR cs.LG
Beyond Vector Similarity: Hierarchical Context-Aware Graph RAG vs Standard RAG in Enterprise Code Migration
Google Cloud(谷歌云)
针对企业代码迁移中标准RAG无法捕获拓扑关系导致编译失败的问题,提出分层上下文驻留图(HCRG)方法,利用AST、属性图和上下文缓存实现父级优先翻译,显著降低API幻觉率并提升依赖解析质量,为代码库现代化提供更优路径。
2026-09-14 cs.AI
Domain-Aware RAG: MoL-Enhanced RL for Efficient Training and Scalable Retrieval
Southeast University(东南大学);Nanyang Technological University(南洋理工大学);Wired Product Operation Division, ZTE Corporation(ZTE公司无线产品运营部)
提出MoLER,一种领域感知的RAG方法,通过两阶段流水线(CPT+RL)和MSLF/MMLF融合策略,在基准上达到最先进性能,显著提升检索效果。
2025-09-08 cs.CL cs.IR
REFINE on Scarce Data: Retrieval Enhancement through Fine-Tuning via Model Fusion of Embedding Models
Uniphore(尤尼福(Uniphore))
提出REFINE技术,通过生成合成数据和模型融合微调嵌入模型,在数据稀缺的新领域提升RAG检索性能并保留域外能力,实验显示在多个数据集上召回率显著提升。
2024-10-16 cs.CL cs.IR
Towards Efficient Key-Value Cache Management for Prefix Prefilling in LLM Inference
IBM T. J. Watson Research Center(IBM T. J. Watson研究院)
针对扩展上下文LLM推理中高缓存复用性带来的挑战,通过分析真实KVC访问模式并评估现有键值存储,指出缺乏针对KVC prefilling的定制方案,强调需构建优化元数据管理的分布式缓存系统以实现低延迟推理。
2025-05-28 cs.AI cs.DC cs.ET
Models for minimalist RAG: B1ade 335M Embedding and 1B Parameter Small Language Models
Amazon(亚马逊公司)
该研究提出含B1ade-embed嵌入模型与B1ade-1B小型语言模型的高效极简RAG架构,其在多QA基准及RAG评估中表现优异,还涌现出无明确监督的来源引用能力,验证了资源高效RAG的可行路径。
2026-07-31 cs.AI cs.CL
Risk-Constrained Freshness-Aware Semantic Caching for Open-Web Retrieval-Augmented LLMs
Jeju National University(济州国立大学)
研究针对开放网络证据时变新鲜度,提出三层语义缓存FreshCache,将缓存重用视为风险约束时间推理问题,给出评估方法并引入基准测试,实验表明其在节省搜索API及降低陈旧错误率方面效果良好。
2026-07-07 cs.AI cs.CL
A Systematic Review of Key Retrieval-Augmented Generation (RAG) Systems: Progress, Gaps, and Future Directions
Bredesen Center for Interdisciplinary Research, University of Tennessee, Knoxville, USA(跨学科研究中心,田纳西大学,肯塔基州 Knoxville);National Center for Computational Sciences, Oak Ridge National Laboratory, Oak Ridge, USA(计算科学国家中心,橡树岭国家实验室,橡树岭);University of Tennessee-Oak Ridge Innovation Institute, University of Tennessee, Knoxville, USA(田纳西大学橡树岭创新研究所,田纳西大学,肯塔基州 Knoxville)
本文系统综述 RAG 的技术演进、核心组件、企业部署挑战与性能基准,并指出混合检索、隐私保护、融合优化和 agentic RAG 等未来方向。
2025-07-25 cs.CL cs.LG
Does RAG Really Perform Bad For Long-Context Processing?
BAAI(北京智源人工智能研究院);CASIA(中国科学院自动化研究所);HKPU(香港理工大学);RUC(中国人民大学);PKU(北京大学)
本文提出 RetroLM 框架,通过 KV 缓存分页检索、专用检索器和无监督后训练解决 RAG 检索不准与上下文碎片化问题,并在多项长上下文基准上取得显著优势。
2025-02-17 cs.CL
WiCER: Wiki-memory Compile, Evaluate, Refine Iterative Knowledge Compilation for LLM Wiki Systems
Zinnia Tech Solutions(Zinnia科技解决方案)
本文提出WiCER算法,通过迭代编译、评估和细化维基内存,解决LLM维基系统中知识编译的差距问题,显著提升知识检索质量并减少灾难性失败。
2026-05-08 cs.AI cs.CL
REFRAG: Rethinking RAG based Decoding
Meta Superintelligence Labs(Meta超智能实验室);National University of Singapore(新加坡国立大学);Rice University(Rice大学)
提出高效解码框架 REFRAG,利用 RAG 上下文的稀疏性进行压缩与扩展,在无精度损失下实现 30.85 倍首字加速并将上下文扩展 16 倍。
2025-10-12 cs.AI cs.CL cs.LG
SPD-RAG: Sub-Agent Per Document Retrieval-Augmented Generation
TOBB University of Economics and Technology(托布大学经济与技术学院);OSTIM Technical University(OSTIM技术大学)
SPD-RAG通过文档级子代理和集中融合提升多文档问答性能,实现高效检索与生成。
2026-03-09 cs.AI cs.CL cs.IR
Higress-RAG: A Holistic Optimization Framework for Enterprise Retrieval-Augmented Generation via Dual Hybrid Retrieval, Adaptive Routing, and CRAG
School of Computer Science, Northwestern Polytechnical University(计算机学院,西北工业大学)
Higress-RAG通过双混合检索、自适应路由和CRAG实现企业检索增强生成的综合优化,提升检索精度与生成可靠性。
2025-12-30 cs.AI cs.CL cs.IR
A Query-Aware Multi-Path Knowledge Graph Fusion Approach for Enhancing Retrieval-Augmented Generation in Large Language Models
School of Computer and Communication Engineering, University of Science and Technology Beijing(计算机与通信工程学院,北京科技大学);Blekinge Institute of Technology(布莱金厄学院)
针对RAG忽视检索片段内在关联的问题,本文提出QMKGF,通过构建多路径知识图谱子图、查询感知奖励评分与三元组融合扩展查询,显著提升LLM生成质量。
2025-07-07 cs.AI cs.CL cs.IR