RAG / 检索增强生成

A Survey of Context Engineering for Large Language Models

Lingrui Mei, Jiayu Yao, Yuyao Ge, Yiwei Wang, Baolong Bi, Yujun Cai, Jiazhi Liu, Mingyu Li, Zhong-Zhi Li, Duzhen Zhang, Chenlin Zhou, Jiayi Mao, Tianze Xia, Jiafeng Guo, Shenghua Liu

机构 * Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） ； University of California, Merced（加州大学默塞德分校） ； The University of Queensland（昆士兰大学） ； Peking University（北京大学） ； Tsinghua University（清华大学） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 长文档RAG ：retrieval-augmented generation(abstract)；RAG(abstract)；分类 cs.CL

Comments ongoing work; 166 pages, 1411 citations

Extracting Document Relations from Search Corpus by Marginalizing over User Queries

Yuki Iwamoto, Kaoru Tsunoda, Ken Kaneiwa

机构 * The University of Electro-Communications（东京电波通信大学） 纠错

专题命中 长文档RAG ：retrieval-augmented generation(abstract)；RAG(abstract)；分类 cs.IR

Comments 9 pages, 6 figures

NovelHopQA: Diagnosing Multi-Hop Reasoning Failures in Long Narrative Contexts

Abhay Gupta, Michael Lu, Kevin Zhu, Sean O'Brien, Vasu Sharma

机构 * Algoverse AI Research（Algoverse AI研究机构） ； University of California, Berkeley（加州大学伯克利分校） ； Meta FAIR Lab（Meta FAIR实验室） 纠错

专题命中 长文档RAG ：retrieval-augmented generation(abstract)；RAG(abstract)；分类 cs.CL

Lessons from Training Grounded LLMs with Verifiable Rewards

Shang Hong Sim, Tej Deep Pala, Vernon Toh, Hai Leong Chieu, Amir Zadeh, Chuan Li, Navonil Majumder, Soujanya Poria

专题命中 长文档RAG ：retrieval-augmented generation(abstract)；RAG(abstract)；分类 cs.CL

Optimizing Question Semantic Space for Dynamic Retrieval-Augmented Multi-hop Question Answering

Linhao Ye, Lang Yu, Zhikai Lei, Qin Chen, Jie Zhou, Liang He

专题命中 长文档RAG ：retrieval-augmented generation(abstract)；RAG(abstract)；分类 cs.IR

Rethinking Chunk Size For Long-Document Retrieval: A Multi-Dataset Analysis

Sinchana Ramakanth Bhat, Max Rudat, Jannis Spiekermann, Nicolas Flores-Herr

专题命中 长文档RAG ：retrieval-augmented generation(abstract)；RAG(abstract)；分类 cs.IR

RISE: Reasoning Enhancement via Iterative Self-Exploration in Multi-hop Question Answering

Bolei He, Xinran He, Mengke Chen, Xianwei Xue, Ying Zhu, Zhenhua Ling

机构 * University of Science and Technology of China（中国科学技术大学） ； Baidu Inc.（百度公司） 纠错

专题命中 长文档RAG ：retrieval-augmented generation(abstract)；RAG(abstract)；分类 cs.CL

Comments ACL 2025 Findings

AI-Supported Platform for System Monitoring and Decision-Making in Nuclear Waste Management with Large Language Models

Dongjune Chang, Sola Kim, Young Soo Park

专题命中 长文档RAG ：retrieval-augmented generation(abstract)；RAG(abstract)；分类 cs.IR

Journal ref Proceedings of the WM2025 Conference, March 9-13, 2025, Phoenix, Arizona, USA

Meta-Chunking: Learning Text Segmentation and Semantic Completion via Logical Perception

Jihao Zhao, Zhiyuan Ji, Yuchen Feng, Pengnian Qi, Simin Niu, Bo Tang, Feiyu Xiong, Zhiyu Li

机构 * School of Information, Renmin University of China（中国人民大学信息学院） ； Institute for Advanced Algorithms Research（高级算法研究所） 纠错

专题命中 长文档RAG ：retrieval-augmented generation(abstract)；RAG(abstract)；分类 cs.CL

Reranking with Compressed Document Representation

Hervé Déjean, Stéphane Clinchant

专题命中 长文档RAG ：RAG(abstract)；retriever(abstract)；分类 cs.IR

Lost in OCR Translation? Vision-Based Approaches to Robust Document Retrieval

Alexander Most, Joseph Winjum, Ayan Biswas, Shawn Jones, Nishath Rajiv Ranasinghe, Dan O'Malley, Manish Bhattarai

机构 * Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室） ； Gianforte School of Computing（吉安福特计算学院） ； Montana State University Bozeman（蒙大拿州立大学博兹曼分校） 纠错

专题命中 长文档RAG ：retrieval-augmented generation(abstract)；RAG(abstract)；分类 cs.AI

CrossFormer: Cross-Segment Semantic Fusion for Document Segmentation

Tongke Ni, Yang Fan, Junru Zhou, Xiangping Wu, Qingcai Chen

专题命中 长文档RAG ：retrieval-augmented generation(abstract)；RAG(abstract)；分类 cs.CL

Comments 10 pages, 4 figures

Dewey Long Context Embedding Model: A Technical Report

Dun Zhang, Panxiang Zou, Yudong Zhou

专题命中 长文档RAG ：retrieval-augmented generation(abstract)；RAG(abstract)；分类 cs.IR

Comments 5 pages, 1 figure

BRIEF: Bridging Retrieval and Inference for Multi-hop Reasoning via Compression

Yuankai Li, Jia-Chen Gu, Di Wu, Kai-Wei Chang, Nanyun Peng

专题命中 长文档RAG ：retrieval-augmented generation(abstract)；RAG(abstract)；分类 cs.CL

Comments Accepted by NAACL 2025 Findings. Project page: https://jasonforjoy.github.io/BRIEF/

Decoding the Flow: CauseMotion for Emotional Causality Analysis in Long-form Conversations

Yuxuan Zhang, Yulong Li, Zichen Yu, Feilong Tang, Zhixiang Lu, Chong Li, Kang Dang, Jionglong Su

专题命中 长文档RAG ：retrieval-augmented generation(abstract)；RAG(abstract)；分类 cs.CL

Comments 7pages

ConTReGen: Context-driven Tree-structured Retrieval for Open-domain Long-form Text Generation

Kashob Kumar Roy, Pritom Saha Akash, Kevin Chen-Chuan Chang, Lucian Popa

专题命中 长文档RAG ：retrieval-augmented generation(abstract)；RAG(abstract)；分类 cs.IR

Comments Accepted at EMNLP'24 Findings

Less is More: Making Smaller Language Models Competent Subgraph Retrievers for Multi-hop KGQA

Wenyu Huang, Guancheng Zhou, Hongru Wang, Pavlos Vougiouklis, Mirella Lapata, Jeff Z. Pan

专题命中 长文档RAG ：retrieval-augmented generation(abstract)；RAG(abstract)；分类 cs.CL

Comments Accepted by EMNLP 2024 Findings

Enhanced document retrieval with topic embeddings

Kavsar Huseynova, Jafar Isbarov

专题命中 长文档RAG ：retrieval-augmented generation(abstract)；RAG(abstract)；分类 cs.IR

Comments Accepted to AICT 2024

Chain of Agents: Large Language Models Collaborating on Long-Context Tasks

Yusen Zhang, Ruoxi Sun, Yanfei Chen, Tomas Pfister, Rui Zhang, Sercan Ö. Arik

专题命中 长文档RAG ：retrieval-augmented generation(abstract)；RAG(abstract)；分类 cs.CL

Comments 19 pages, 6 figures

Analyzing Temporal Complex Events with Large Language Models? A Benchmark towards Temporal, Long Context Understanding

Zhihan Zhang, Yixin Cao, Chenchen Ye, Yunshan Ma, Lizi Liao, Tat-Seng Chua

专题命中 长文档RAG ：retrieval-augmented generation(abstract)；RAG(abstract)；分类 cs.CL

Comments Accepted to ACL 2024

Requirements-Augmented Generation for Trustworthy Acceptance Testing of LLM-Based Software

面向基于大语言模型的软件的可信验收测试的需求增强生成技术

Fanyu Wang, Chetan Arora, Zhenping Xie, Yonghui Liu, Kla Tantithamthavorn, Aldeida Aleti, Siwei Jiang

专题命中 长文档RAG ：RAG(abstract,abstract_cn)

AI总结 该研究针对基于大语言模型的软件的验收测试缺口，提出需求增强生成技术与置信度校准级联判定方法，经工业案例验证可提升预言机质量、准确率与成本效率，具备工业可行性。

Comments Accepted at ASE2026

RAGMesh with FaME-G2E: Long-Form Text-Driven 3D Face Generation and Editing

结合FaME-G2E的RAGMesh：长文本驱动的3D人脸生成与编辑

Hao Li, Ju Dai, Feng Zhou, Mengting Shi, Haofei Wang, Zhen Song, Wei Zhou, Lei Li, Junjun Pan

机构 * Beihang University（北京航空航天大学） ； Pengcheng Laboratory（鹏城实验室） ； Shanxi University of Finance and Economics（山西财经大学） ； North China University of Technology（北方工业大学） ； Cardiff University（卡迪夫大学） ； Beijing Institute of Technology（北京理工大学） 纠错

专题命中 长文档RAG ：RAG(abstract,abstract_cn)

AI总结 该研究构建了含文本-网格等标注的FaME-G2E数据集，提出RAGMesh框架，含MSRF模块与AdaRAGS约束，在3D人脸生成编辑任务上性能优于现有方法。

Prompt-Driven Simulation with Feature Perturbation for Cross-Domain Few-Shot Object Detection

面向跨域小样本目标检测的、结合特征扰动的提示驱动模拟方法

Linhai Zhuo, Junxi Cai, Tianwen Qian, Qingping Zheng, Yang Liu

机构 * Fuzhou University（福州大学） ； Xiamen University（厦门大学） 纠错

专题命中 长文档RAG ：RAG(abstract,abstract_cn)

AI总结 本文提出PSP-FSOD框架，结合提示驱动域模拟与特征扰动正则化，缓解跨域小样本目标检测的域偏移与标注数据不足问题，在多个基准上实现性能提升。

HYPIC: Accelerating Hybrid-Attention LLM Serving with Position-Independent Caching

HYPIC: 利用位置无关缓存加速混合注意力LLM服务

Yifei Liu, Juntong Wu, Yang Liu, Junhao Hu, Minghao Li, Xiaoxu Chen, Weihang Chen

专题命中 长文档RAG ：retrieval-augmented generation(abstract)；RAG(abstract_cn)

AI总结 提出Hypic系统，通过段累积转移算子和边界重计算，实现混合注意力LLM的位置无关缓存，显著降低首令牌延迟并提升吞吐量。

Narrative World Model: Narratology-Grounded Writer Memory for Long-Form Fiction

叙事世界模型：基于叙事学的长篇小说作者记忆

Mohammad Saifullah, Thomas Kornmaier, Taaha Kazi, Vasu Sharma, Aditya Sanjiv Kanade, Aanand Kumar Yadav

机构 * PocketFM（口袋FM） 纠错

专题命中 长文档RAG ：hybrid retrieval(abstract)；分类 cs.IR、cs.CL、cs.AI

AI总结 研究针对长篇小说作者记忆问题，提出叙事世界模型（NWM），结合叙事学时间状态图与查询条件混合检索，在多跳叙事学问答上显著优于基线，优势源于其独特表征，非提取方式。

Comments 23 pages, 4 figures; 9-page main text plus appendix. Preprint

Agent Security Meets Regulatory Reality -- A Practitioner Systematization of Autonomous-Agent Threats and Controls in Regulated Financial Systems

代理安全遇上监管现实——受监管金融系统中自主代理威胁与控制的从业者系统化

Krishna Mohan, Guda Nagavenkata Srinivasa

专题命中 长文档RAG ：RAG(abstract,abstract_cn)

AI总结 本文基于生产经验，将六类代理威胁映射到美欧金融监管义务，提出四种架构模式将手动流程自动化处理约80%案例，并报告三项负面结果。

Simplified Sparse Attention via Gist Tokens

遗忘，然后回忆：通过概要稀疏注意力实现可学习的压缩与选择性展开

Yuzhen Mao, Michael Y. Li, Emily B. Fox

机构 * Stanford University（斯坦福大学） 纠错

专题命中 长文档RAG ：retrieval-augmented generation(abstract)；RAG(abstract_cn)

AI总结 本文提出一种通过概要稀疏注意力实现可学习的压缩与选择性展开机制，结合紧凑的全局表示与目标访问细粒度证据，提升长上下文大语言模型的效率与性能。

A Zero-Shot Multi-Agent Framework for Human-Building Interaction via Programmatic Reasoning

通过程序化推理实现人楼交互的零样本多智能体框架

Yuqi Wang, Gulai Shen, Ali Mehmani

专题命中 长文档RAG ：RAG(abstract,abstract_cn)

AI总结 提出一种分层多智能体框架，利用语义路由和程序化推理解耦自然语言理解与建筑分析，通过“门卫”机制分解任务并生成可执行Python脚本，在200多栋商业建筑数据上验证了准确性和上下文响应能力。

LLM-Assisted Authentication and Fraud Detection

基于大语言模型的认证与欺诈检测

Emunah S-S. Chan, Aldar C-F. Chan

专题命中 长文档RAG ：RAG(abstract,abstract_cn)

AI总结 本文提出基于大语言模型的认证机制和欺诈检测流水线，通过语义判断和文档分段提升认证准确率，减少欺诈误报，验证了大语言模型在安全流程中的应用价值。

Comments 20 pages, 7 figures, 2 tables

MSA: Memory Sparse Attention for Efficient End-to-End Memory Model Scaling to 100M Tokens

MSA：内存稀疏注意力用于高效端到端内存模型扩展至100M标记

Yu Chen, Runkai Chen, Sheng Yi, Xinda Zhao, Xiaohong Li, Jianjin Zhang, Jun Sun, Chuanrui Hu, Yunyun Han, Lidong Bing, Yafeng Deng, Tianqiao Chen

机构 * Evermind ； Shanda Group（盛大集团） ； Peking University（北京大学） 纠错

专题命中 长文档RAG ：RAG(abstract)；分类 cs.IR、cs.CL、cs.AI

AI总结 本文提出MSA，一种高效的端到端可训练内存模型框架，通过可扩展稀疏注意力和文档级RoPE实现线性复杂度，支持从16K到100M标记的扩展，同时保持稳定性，且在100M标记推理中实现2xA800 GPU的高效处理。