RAG / 检索增强生成

Context Memorization for Efficient Long Context Generation

上下文记忆用于高效长上下文生成

Yasuyuki Okoshi, Hao Mark Chen, Guanxi Lu, Hongxiang Fan, Masato Motomura, Daichi Fujiki

机构 * Institute of Science Tokyo, Japan（东京科学研究所） ； Imperial College London, UK（伦敦帝国学院） 纠错

专题命中 长文档RAG ：RAG(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 本文提出了一种无需训练的上下文记忆方法，通过将前缀外部化为轻量级的预计算注意力状态查找表，以提高长上下文生成的准确性和效率，同时减少注意力计算的延迟。

A Picture is Worth a Thousand Words? An Empirical Study of Aggregation Strategies for Visual Financial Document Retrieval

一张图片胜过千言万语？视觉财务文档检索聚合策略的实证研究

Ho Hung Lim, Yi Yang

机构 * The Hong Kong University of Science and Technology（香港理工大学） 纠错

专题命中 长文档RAG ：RAG(abstract,abstract_cn)；分类 cs.IR、cs.AI

AI总结 本文实证研究了视觉检索中聚合策略的影响，发现单一向量聚合会丢失关键信息，通过财务文档实验表明聚合会掩盖语义细节，指出全局纹理主导是根本原因。

Comments Accepted to Findings of ACL 2026

RDMA: Cost Effective Agent-Driven Rare Disease Mining from Electronic Health Records

RDMA: 低成本的代理驱动罕见病挖掘从电子健康记录

John Wu, Adam Cross, Jimeng Sun

机构 * Department of Computer Science, University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校计算机科学系） ； Department of Pediatrics, University of Illinois College of Medicine Peoria（伊利诺伊大学皮奥里亚医学院儿科系） 纠错

专题命中 长文档RAG ：RAG(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 RDMA通过代理框架在电子健康记录中挖掘罕见病，无需特定任务训练，提升性能并降低部署成本。

Dynamic Long Context Reasoning over Compressed Memory via End-to-End Reinforcement Learning

通过端到端强化学习实现压缩内存中的动态长上下文推理

Zhuoen Chen, Dongfang Li, Meishan Zhang, Baotian Hu, Min Zhang

专题命中 长文档RAG ：retrieval-augmented generation(abstract)；RAG(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出了一种基于端到端强化学习的框架，通过分块压缩和选择性记忆回溯实现高效长上下文推理，提升了多跳推理任务的准确性和效率。

Comments 26 pages, 7 figures. Code and models will be released

$A^3$: Attention-Aware Accurate KV Cache Fusion for Fast Large Language Model Serving

$A^3$：基于注意力的准确KV缓存融合用于快速大语言模型服务

Yuechi Zhou, Yi Su, Jianxin Zhang, Juntao Li, Qingrong Xia, Zhefeng Wang, Xinyu Duan, Baoxing Huai

专题命中 长文档RAG ：retrieval-augmented generation(abstract)；RAG(abstract)；分类 cs.CL、cs.AI

AI总结 $A^3$通过基于注意力的准确KV缓存融合技术，有效降低大语言模型服务的解码延迟和内存开销，提升任务性能。

Tagging-Augmented Generation: Assisting Language Models in Finding Intricate Knowledge In Long Contexts

Anwesan Pal, Karen Hovsepian, Tinghao Guo, Mengnan Zhao, Somendra Tripathi, Nikos Kanakaris, George Mihaila, Sumit Nigam

机构 * AWS AI Labs（AWS人工智能实验室） ； Amazon Web Services（亚马逊网络服务） ； Amazon OTS（亚马逊OTS） ； Amazon Catalog AI（亚马逊目录人工智能） 纠错

专题命中 长文档RAG ：retrieval-augmented generation(abstract)；RAG(abstract)；分类 cs.IR、cs.CL

Comments Paper accepted at EMNLP 2025

Avoiding Knowledge Edit Skipping in Multi-hop Question Answering with Guided Decomposition

Yi Liu, Xiangrong Zhu, Xiangyu Liu, Wei Wei, Wei Hu

机构 * State Key Laboratory for Novel Software Technology, Nanjing University, China（新型软件技术国家重点实验室，南京大学，中国） ； National Institute of Healthcare Data Science, Nanjing University, China（医疗数据科学国家研究院，南京大学，中国） 纠错

专题命中 长文档RAG ：retrieval-augmented generation(abstract)；RAG(abstract)；分类 cs.CL、cs.AI

Comments Accepted in EMNLP Findings 2025

Atom-Searcher: Enhancing Agentic Deep Research via Fine-Grained Atomic Thought Reward

Yong Deng, Guoqing Wang, Zhenzhe Ying, Xiaofeng Wu, Jinzhen Lin, Wenwen Xiong, Yuqin Dai, Shuo Yang, Zhanwei Zhang, Qiwen Wang, Yang Qin, Yuan Wang, Quanxing Zha, Sunhao Dai, Changhua Meng

机构 * Ant Group（蚂蚁集团） 纠错

专题命中 长文档RAG ：retrieval-augmented generation(abstract)；RAG(abstract)；分类 cs.CL、cs.AI

Neuro-Symbolic Query Compiler

Yuyao Zhang, Zhicheng Dou, Xiaoxi Li, Jiajie Jin, Yongkang Wu, Zhonghua Li, Qi Ye, Ji-Rong Wen

机构 * Renmin University of China（中国人民大学） ； Huawei Poisson Lab（华为Poisson实验室） 纠错

专题命中 长文档RAG ：retrieval-augmented generation(abstract)；RAG(abstract)；分类 cs.IR、cs.CL

Comments Findings of ACL2025, codes are available at this url: https://github.com/YuyaoZhangQAQ/Query_Compiler

Mem0: Building Production-Ready AI Agents with Scalable Long-Term Memory

Prateek Chhikara, Dev Khant, Saket Aryan, Taranjeet Singh, Deshraj Yadav

专题命中 长文档RAG ：retrieval-augmented generation(abstract)；RAG(abstract)；分类 cs.CL、cs.AI

MemoRAG: Boosting Long Context Processing with Global Memory-Enhanced Retrieval Augmentation

Hongjin Qian, Zheng Liu, Peitian Zhang, Kelong Mao, Defu Lian, Zhicheng Dou, Tiejun Huang

专题命中 长文档RAG ：retrieval-augmented generation(abstract)；RAG(abstract)；分类 cs.CL、cs.AI

Comments theWebConf 2025. Codes and models are in https://github.com/qhjqhj00/MemoRAG

Generative Representational Instruction Tuning

Niklas Muennighoff, Hongjin Su, Liang Wang, Nan Yang, Furu Wei, Tao Yu, Amanpreet Singh, Douwe Kiela

专题命中 长文档RAG ：retrieval-augmented generation(abstract)；RAG(abstract)；分类 cs.CL、cs.AI

Comments 67 pages (16 main), 25 figures, 34 tables

ColPali: Efficient Document Retrieval with Vision Language Models

Manuel Faysse, Hugues Sibille, Tony Wu, Bilel Omrani, Gautier Viaud, Céline Hudelot, Pierre Colombo

专题命中 长文档RAG ：retrieval augmented generation(abstract)；RAG(abstract)；分类 cs.IR、cs.CL

Comments Published as a conference paper at ICLR 2025

ClashEval: Quantifying the tug-of-war between an LLM's internal prior and external evidence

Kevin Wu, Eric Wu, James Zou

专题命中 长文档RAG ：retrieval augmented generation(abstract)；RAG(abstract)；分类 cs.CL、cs.AI

Comments Revised June 9 2024

Retrieve, Summarize, Plan: Advancing Multi-hop Question Answering with an Iterative Approach

Zhouyu Jiang, Mengshu Sun, Lei Liang, Zhiqiang Zhang

专题命中 长文档RAG ：retrieval-augmented generation(abstract)；RAG(abstract)；分类 cs.CL、cs.AI

Comments Accepted by WWW2025 Agent4IR Workshop

HippoRAG: Neurobiologically Inspired Long-Term Memory for Large Language Models

Bernal Jiménez Gutiérrez, Yiheng Shu, Yu Gu, Michihiro Yasunaga, Yu Su

专题命中 长文档RAG ：retrieval-augmented generation(abstract)；RAG(abstract)；分类 cs.CL、cs.AI

Comments NeurIPS 2024. Code and data: https://github.com/OSU-NLP-Group/HippoRAG

Is Semantic Chunking Worth the Computational Cost?

Renyi Qu, Ruixuan Tu, Forrest Bao

专题命中 长文档RAG ：retrieval-augmented generation(abstract)；RAG(abstract)；分类 cs.IR、cs.CL

Fine-Tuning and Prompt Optimization: Two Great Steps that Work Better Together

Dilara Soylu, Christopher Potts, Omar Khattab

专题命中 长文档RAG ：retrieval augmented generation(abstract)；RAG(abstract)；分类 cs.CL、cs.AI

Comments EMNLP 2024

AI-native Memory: A Pathway from LLMs Towards AGI

Jingbo Shang, Zai Zheng, Jiale Wei, Xiang Ying, Felix Tao, Mindverse Team

专题命中 长文档RAG ：retrieval-augmented generation(abstract)；RAG(abstract)；分类 cs.CL、cs.AI

Found in the Middle: Calibrating Positional Attention Bias Improves Long Context Utilization

Cheng-Yu Hsieh, Yung-Sung Chuang, Chun-Liang Li, Zifeng Wang, Long T. Le, Abhishek Kumar, James Glass, Alexander Ratner, Chen-Yu Lee, Ranjay Krishna, Tomas Pfister

专题命中 长文档RAG ：retrieval-augmented generation(abstract)；RAG(abstract)；分类 cs.CL、cs.AI

Comments ACL Findings 2024

LumberChunker: Long-Form Narrative Document Segmentation

André V. Duarte, João Marques, Miguel Graça, Miguel Freire, Lei Li, Arlindo L. Oliveira

专题命中 长文档RAG ：RAG(abstract)；dense retrieval(abstract)；分类 cs.IR、cs.CL

Fine-Grained Distillation for Long Document Retrieval

Yucheng Zhou, Tao Shen, Xiubo Geng, Chongyang Tao, Guodong Long, Can Xu, Daxin Jiang

专题命中 长文档RAG ：retriever(abstract)；dense retrieval(abstract)；分类 cs.IR、cs.CL

Comments 13 pages, 5 figures, 5 tables

VisR-Bench: An Empirical Study on Visual Retrieval-Augmented Generation for Multilingual Long Document Understanding

Jian Chen, Ming Li, Jihyung Kil, Chenguang Wang, Tong Yu, Ryan Rossi, Tianyi Zhou, Changyou Chen, Ruiyi Zhang

专题命中 长文档RAG ：retrieval-augmented generation(title)

Comments Under Review

Building AI-Intensive Software with AI: Early Results and a Cautionary Tale on Measuring Development Cost

用AI构建AI密集型软件：早期成果及关于测量开发成本的警示故事

Victor Barros de Miranda Neves, Kiev Santos da Gama, Vinicius Cardoso Garcia

专题命中 长文档RAG ：RAG(abstract,abstract_cn)；分类 cs.AI

AI总结 本文通过六人学生团队用AI构建对话式入职助手的案例研究，修正了AI密集型软件开发成本测量的两个常见错误，得出修正后的成本比率约为9.9倍，并提出需建立更稳健的成本核算方法。

Comments 4 pages, 2 figures, Accepted for publication at the International Workshop on Intelligent Software Engineering (ISE 2026) @ CBSoft 2026

AutoFOAM: The Self-Refining Autonomous OpenFOAM Agent

AutoFOAM：自优化自主OpenFOAM智能体

Arun Govind Neelan, A Seshaditya

机构 * SimuNetics ； Onnes Cryogenics ； Quasi AI 纠错

专题命中 长文档RAG ：RAG(abstract,abstract_cn)；分类 cs.AI

AI总结 AutoFOAM是基于Qwen-coder 2.5-14B微调的自主LLM智能体，通过7阶段迭代循环及三种抗退化机制，可基于自然语言指令完成OpenFOAM模拟，助力CFD工作流程普及与快速原型开发。

Learning on the Job: Continual Learning from Deployment Feedback for Frozen-Weights Agents

在职学习：从部署反馈中对冻结权重智能体进行持续学习

Valentin Tablan, Scott Taylor, Kristoffer Bernhem

机构 * The Memory Company（记忆公司） 纠错

专题命中 长文档RAG ：RAG(abstract,abstract_cn)；分类 cs.AI

AI总结 研究人工智能冻结权重智能体如何从部署反馈中持续学习，核心方法是将冻结模型与外部记忆配对，主要贡献是通过该方法在银行领域任务中提升成功率，解决多个基线未解决任务，且结果可跨模型，记忆可迁移，相关内容已发布。

AgentKVShift: Efficient KV Cache Reuse for Agentic Memory Systems

AgentKVShift：用于智能体记忆系统的高效KV缓存重用

Nilesh Prasad Pandey, Jason Kong, Lanxiang Hu, Quanling Zhao, Yujie Zhao, Onat Gungor, Hao Zhang, Tajana Rosing

机构 * University of California, San Diego（加利福尼亚大学圣地亚哥分校） 纠错

专题命中 长文档RAG ：RAG(abstract,abstract_cn)；分类 cs.AI

AI总结 研究针对内存增强语言模型智能体推理成本高的问题，提出无训练、探针引导的AgentKVShift方法，通过估计内存级偏移量校正重用令牌，在多语言模型和基准测试中表现出色，实现低重新计算量和预填充加速，还能与缓存量化正交组合提升性能。

RippleBench: Capturing Ripple Effects Using Existing Knowledge Repositories

RippleBench: 利用现有知识库捕捉涟漪效应

Roy Rinberg, Usha Bhalla, Igor Shilov, Flavio P. Calmon, Rohit Gandikota

机构 * Harvard University（哈佛大学） ； Imperial College London（伦敦帝国学院） ； Northeastern University（东北大学） 纠错

专题命中 长文档RAG ：RAG(abstract,abstract_cn)；分类 cs.AI

AI总结 提出RippleBench-Maker自动管道，从知识库检索语义邻居生成选择题，评估八种遗忘方法在Llama3-8B-Instruct上的涟漪效应，发现准确率下降随语义距离衰减且跨模型一致。

Jet-Long: Efficient Long-Context Extension with Dynamic Bifocal RoPE

Jet-Long：使用动态双焦点旋转位置编码的高效长上下文扩展

Haozhan Tang, Zerui Wang, Yuxian Gu, Song Han, Han Cai

机构 * NVIDIA（英伟达） 纠错

专题命中 长文档RAG ：retrieval-augmented generation(abstract)；RAG(abstract)；分类 cs.AI

AI总结 研究针对现代语言模型长上下文应用中零样本上下文扩展问题，提出Jet-Long方法，通过动态双焦点RoPE及相关技术，在推理时开销小，在多种模型和基准测试中表现优异，还能推广到其他架构且超参数弹性强。

Comments added discussion of AdaGroPE and LaMPE (Findings of ACL 2026) with clarified contribution

CogEvo-Edu: Cognitive Evolution Educational Multi-Agent Collaborative System

CogEvo-Edu: 基于认知进化教育的多智能体协作系统

Yefeng Wu, Yuchen Song, Yecheng Zhao, Ling Wu, Shan Wan

机构 * Electronic Science and Technology, Anhui University（安徽大学电子科学与技术学院） ； Medical Imaging Science, Wannan Medical College（皖南医学院医学影像学院） 纠错

专题命中 长文档RAG ：retrieval-augmented generation(abstract)；RAG(abstract)；分类 cs.AI

AI总结 CogEvo-Edu通过认知进化机制实现教育多智能体协作，提升数字信号处理教学效果。