RAG / 检索增强生成

Prompt Compression in the Wild: Measuring Latency, Rate Adherence, and Quality for Faster LLM Inference

野火中的提示压缩：测量延迟、速率遵守和质量以加快大语言模型推理

Cornelius Kummer, Lena Jurkschat, Michael Färber, Sahar Vahdati

机构 * ScaDS.AI Dresden/Leipzig, CIDS, TU Dresden（ScaDS.AI 德累斯顿/莱比锡，CIDS，德累斯顿工业大学） 纠错

专题命中 长文档RAG ：RAG(abstract)；分类 cs.IR、cs.CL、cs.AI

AI总结 本文研究了提示压缩在实际应用中的延迟、速率遵守和质量影响，通过大规模实验发现，当提示长度、压缩比和硬件容量匹配时，LLMLingua可实现18%的端到端加速，但超出此范围压缩步骤会抵消收益。

Comments Accepted at ECIR 2026 (Full Paper)

Graph-KV: Breaking Sequence via Injecting Structural Biases into Large Language Models

Graph-KV: 通过向大语言模型注入结构偏差打破序列

Haoyu Wang, Peihao Wang, Mufei Li, Shikun Liu, Siqi Miao, Zhangyang Wang, Pan Li

机构 * Georgia Institute of Technology（佐治亚理工学院） ； The University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 长文档RAG ：retrieval-augmented generation(abstract)；RAG(abstract)

AI总结 Graph-KV通过引入结构偏差打破序列限制，提升大语言模型在图结构任务中的表现。

MEPIC: Memory Efficient Position Independent Caching for LLM Serving

MEPIC：内存高效的无位置依赖缓存用于大语言模型服务

Qian Wang, Zahra Yousefijamarani, Morgan Lindsay Heisler, Rongzhi Gu, Bai Xiaolong, Shan Yizhou, Wei Zhang, Wang Lan, Ying Xiong, Yong Zhang, Zhenan Fan

机构 * Huawei Technologies Canada Co., Ltd.（华为技术加拿大有限公司） ； Huawei Technologies Co., Ltd.（华为技术有限公司） 纠错

专题命中 长文档RAG ：retrieval-augmented generation(abstract)；RAG(abstract)

AI总结 MEPIC通过内存高效的无位置依赖缓存技术，实现跨请求和批次的片段KV重用，显著减少HBM使用量，提升大语言模型服务性能。

Retro*: Optimizing LLMs for Reasoning-Intensive Document Retrieval

Junwei Lan, Jianlyu Chen, Zheng Liu, Chaofan Li, Siqi Bao, Defu Lian

机构 * University of Science and Technology of China（中国科学技术大学） ； Beijing Academy of Artificial Intelligence（北京人工智能研究院） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； State Key Laboratory of Cognitive Intelligence（认知智能国家重点实验室） ； Hong Kong Polytechnic University（香港理工大学） ； Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 长文档RAG ：RAG(abstract)；分类 cs.IR、cs.CL、cs.AI

Faux Polyglot: A Study on Information Disparity in Multilingual Large Language Models

Nikhil Sharma, Kenton Murray, Ziang Xiao

机构 * Johns Hopkins University（约翰霍普金斯大学） ； Center for Speech and Language Processing（语言与语音研究中心） ； Human Language Technology Center for Excellence（语言技术卓越中心） 纠错

专题命中 长文档RAG ：RAG(abstract)；分类 cs.IR、cs.CL、cs.AI

Comments NAACL 2025

Fast State Restoration in LLM Serving with HCache

Shiwei Gao, Youmin Chen, Jiwu Shu

专题命中 长文档RAG ：retrieval-augmented generation(abstract)；RAG(abstract)

Comments EuroSys 2025

Fine Tuning LLM for Enterprise: Practical Guidelines and Recommendations

Mathav Raj J, Kushala VM, Harikrishna Warrier, Yogesh Gupta

专题命中 长文档RAG ：retrieval augmented generation(abstract)；RAG(abstract)

Comments 17 pages, 12 tables, 3 figures

HMARS: A Hierarchical Multi-Agent Memory System for Long-Context Reasoning

HMARS：用于长上下文推理的分层多智能体记忆系统

Zeju Li, Ziyang Zheng, Yizhou Zhou, Qiang Xu

机构 * The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 长文档RAG ：retrieval-augmented generation(abstract)；分类 cs.IR、cs.AI

AI总结 提出HMARS分层多智能体记忆系统，通过子智能体、中层智能体和前沿模型的分层结构管理长上下文，在长文档和多轮记忆任务中优于检索、重排序、全上下文、基于图和智能体基线。

From Similarity to Structure: Training-free LLM Context Compression with Hybrid Graph Priors

从相似性到结构：基于混合图先验的训练自由LLM上下文压缩

Yitian Zhou, Chaoning Zhang, Jiaquan Zhang, Zhenzhen Huang, Jinyu Guo, Sung-Ho Bae, Lik-Hang Lee, Caiyan Qin, Yang Yang

机构 * School of Computer Science and Engineering, University of Electronic Science and Technology of China（电子科技大学计算机科学与工程学院） ； School of Information and Software Engineering, University of Electronic Science and Technology of China（电子科技大学信息与软件工程学院） ； Department of Computer Science and Engineering, Kyung Hee University（Kyung Hee大学计算机科学与工程系） ； Department of Industrial and Systems Engineering, The Hong Kong Polytechnic University（香港理工大学工业与系统工程系） ； School of Robotics and Advanced Manufacture, Harbin Institute of Technology, Shenzhen（哈尔滨工业大学深圳校区机器人与先进制造学院） 纠错

专题命中 长文档RAG ：dense retrieval(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出一种无需训练的上下文压缩框架，利用混合图先验选择句子，通过构建稀疏句子图、提取主题骨架并结合可解释评分进行冗余抑制，实验证明在长文档基准上表现更优。

TSUBASA: Improving Long-Horizon Personalization via Evolving Memory and Self-Learning with Context Distillation

TSUBASA：通过动态记忆演化和基于上下文蒸馏的自我学习提升长周期个性化

Xinliang Frederick Zhang, Lu Wang

专题命中 长文档RAG ：RAG(abstract)；分类 cs.CL、cs.AI

AI总结 TSUBASA通过动态记忆演化和基于上下文蒸馏的自我学习，提升个性化大语言模型的长周期任务能力，在Qwen-3模型家族上验证了其有效性，超越了依赖记忆写入的Mem0和Memory-R1系统。

Search-R2: Enhancing Search-Integrated Reasoning via Actor-Refiner Collaboration

Search-R2: 通过演员-细化协作提升搜索集成推理

Bowei He, Minda Hu, Zenan Xu, Hongru Wang, Licheng Zong, Yankai Chen, Chen Ma, Xue Liu, Pluto Zhou, Irwin King

机构 * The Chinese University of Hong Kong（香港中文大学） ； LLM Department, Tencent（腾讯语言模型部门） ； Mohamed bin Zayed University of Artificial Intelligence（马尔代夫人工智能大学） ； McGill University（麦吉尔大学） ； City University of Hong Kong（香港城市大学） ； The University of Edinburgh（爱丁堡大学） 纠错

专题命中 长文档RAG ：RAG(abstract)；分类 cs.CL、cs.AI

AI总结 Search-R2通过演员-细化协作框架提升搜索集成推理，通过针对性干预和混合奖励设计，在多种QA数据集上超越强基线，实现更优的推理准确性。

LLM-C3MOD: A Human-LLM Collaborative System for Cross-Cultural Hate Speech Moderation

Junyeong Park, Seogyeong Jeong, Seyoung Song, Yohan Lee, Alice Oh

专题命中 长文档RAG ：RAG(abstract)；分类 cs.CL、cs.AI

Comments Accepted to NAACL 2025 Workshop - C3NLP (Workshop on Cross-Cultural Considerations in NLP)

Benchmarking Chinese Commonsense Reasoning with a Multi-hop Reasoning Perspective

Wangjie You, Xusheng Wang, Xing Wang, Wenxiang Jiao, Chao Feng, Juntao Li, Min Zhang

机构 * Douyin Content Group, ByteDance（字节跳动内容部） ； School of Computer Science and Technology, Soochow University（苏州大学计算机科学与技术学院） 纠错

专题命中 长文档RAG ：retrieval-augmented generation(abstract)；分类 cs.CL、cs.AI

Medchain: Bridging the Gap Between LLM Agents and Clinical Practice with Interactive Sequence

Jie Liu, Wenxuan Wang, Zizhan Ma, Guolin Huang, Yihang SU, Kao-Jung Chang, Wenting Chen, Haoliang Li, Linlin Shen, Michael Lyu

机构 * The City University of Hong Kong（香港城市大学） ； Renmin University of China（中国人民大学） ； The Chinese University of Hong Kong（香港中文大学） ； Shenzhen University（深圳大学） ； National Yang Ming Chiao Tung University（阳明交通大学） ； Taipei Veterans General Hospital（台北荣民总医院） 纠错

专题命中 长文档RAG ：RAG(abstract)；分类 cs.CL、cs.AI

Comments Accepted by NeurIPS25 Spotlight

PL-CA: A Parametric Legal Case Augmentation Framework

Ao Chang, Yubo Chen, Jun Zhao

专题命中 长文档RAG ：RAG(abstract)；分类 cs.CL、cs.AI

Maestro: Joint Graph & Config Optimization for Reliable AI Agents

Wenxiao Wang, Priyatham Kattakinda, Soheil Feizi

专题命中 长文档RAG ：RAG(abstract)；分类 cs.CL、cs.AI

Comments Technical Report by RELAI.ai

MIRIX: Multi-Agent Memory System for LLM-Based Agents

Yu Wang, Xi Chen

机构 * MIRIX AI 纠错

专题命中 长文档RAG ：RAG(abstract)；分类 cs.CL、cs.AI

HERMES: temporal-coHERent long-forM understanding with Episodes and Semantics

Gueter Josmy Faure, Jia-Fong Yeh, Min-Hung Chen, Hung-Ting Su, Shang-Hong Lai, Winston H. Hsu

机构 * National Taiwan University（国立台湾大学） ； NVIDIA（NVIDIA公司） ； National Tsing Hua University（国立清华大学） 纠错

专题命中 长文档RAG ：retriever(abstract)；分类 cs.CL、cs.AI

Comments Accepted for ICCV 2025. Project page: https://joslefaure.github.io/assets/html/hermes.html

Gumbel Reranking: Differentiable End-to-End Reranker Optimization

Siyuan Huang, Zhiyuan Ma, Jintao Du, Changhua Meng, Weiqiang Wang, Jingwen Leng, Minyi Guo, Zhouhan Lin

机构 * LUMIA Lab, Shanghai Jiao Tong University（上海交通大学LUMIA实验室） ； Tiansuan Lab, Ant Group Co., Ltd.（蚂蚁集团天算实验室） ； SJTU Paris Elite Institute of Technology（上海交通大学巴黎精英理工学院） 纠错

专题命中 长文档RAG ：RAG(abstract)；分类 cs.IR、cs.CL

Comments ACL 2025 Main

SwiftKV: Fast Prefill-Optimized Inference with Knowledge-Preserving Model Transformation

Aurick Qiao, Zhewei Yao, Samyam Rajbhandari, Yuxiong He

机构 * Snowflake AI Research（Snowflake人工智能研究院） 纠错

专题命中 长文档RAG ：RAG(abstract)；分类 cs.CL、cs.AI

What External Knowledge is Preferred by LLMs? Characterizing and Exploring Chain of Evidence in Imperfect Context for Multi-Hop QA

Zhiyuan Chang, Mingyang Li, Xiaojun Jia, Junjie Wang, Yuekai Huang, Qing Wang, Yihao Huang, Yang Liu

机构 * State Key Laboratory of Intelligent Game（智能游戏国家重点实验室） ； Science and Technology on Integrated Information System Laboratory（集成信息系统技术实验室） ； Institute of Software Chinese Academy of Sciences（中国科学院软件研究所） ； University of Chinese Academy of Sciences（中国科学院大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 长文档RAG ：RAG(abstract)；分类 cs.CL、cs.AI

Comments 15 pages, 4 figures

BARE: Leveraging Base Language Models for Few-Shot Synthetic Data Generation

Alan Zhu, Parth Asawa, Jared Quincy Davis, Lingjiao Chen, Boris Hanin, Ion Stoica, Joseph E. Gonzalez, Matei Zaharia

机构 * UC Berkeley（伯克利大学） ； Stanford University（斯坦福大学） ； Foundry ； Princeton University（普林斯顿大学） 纠错

专题命中 长文档RAG ：RAG(abstract)；分类 cs.CL、cs.AI

Synthesizing Public Opinions with LLMs: Role Creation, Impacts, and the Future to eDemorcacy

Rabimba Karanjai, Boris Shor, Amanda Austin, Ryan Kennedy, Yang Lu, Lei Xu, Weidong Shi

专题命中 长文档RAG ：RAG(abstract)；分类 cs.CL、cs.AI

Cross-Lingual Multi-Hop Knowledge Editing

Aditi Khandelwal, Harman Singh, Hengrui Gu, Tianlong Chen, Kaixiong Zhou

专题命中 长文档RAG ：retriever(abstract)；分类 cs.CL、cs.AI

LawLuo: A Multi-Agent Collaborative Framework for Multi-Round Chinese Legal Consultation

Jingyun Sun, Chengxiao Dai, Zhongze Luo, Yangbo Chang, Yang Li

专题命中 长文档RAG ：RAG(abstract)；分类 cs.CL、cs.AI

Comments 13 pages

BABILong: Testing the Limits of LLMs with Long Context Reasoning-in-a-Haystack

Yuri Kuratov, Aydar Bulatov, Petr Anokhin, Ivan Rodkin, Dmitry Sorokin, Artyom Sorokin, Mikhail Burtsev

专题命中 长文档RAG ：retrieval-augmented generation(abstract)；分类 cs.CL、cs.AI

Comments NeurIPS 2024 Datasets and Benchmarks Track

RAM: Towards an Ever-Improving Memory System by Learning from Communications

Jiaqi Li, Xiaobo Wang, Wentao Ding, Zihao Wang, Yipeng Kang, Zixia Jia, Zilong Zheng

专题命中 长文档RAG ：RAG(abstract)；分类 cs.CL、cs.AI

Jina Embeddings 2: 8192-Token General-Purpose Text Embeddings for Long Documents

Michael Günther, Jackmin Ong, Isabelle Mohr, Alaeddine Abdessalem, Tanguy Abel, Mohammad Kalim Akram, Susana Guzman, Georgios Mastrapas, Saba Sturua, Bo Wang, Maximilian Werk, Nan Wang, Han Xiao

专题命中 长文档RAG ：vector search(abstract)；分类 cs.CL、cs.AI

Comments 14 pages

Attention Sorting Combats Recency Bias In Long Context Language Models

Alexander Peysakhovich, Adam Lerer

专题命中 长文档RAG ：retrieval augmented generation(abstract)；分类 cs.CL、cs.AI

Memory and Knowledge Augmented Language Models for Inferring Salience in Long-Form Stories

David Wilmot, Frank Keller

专题命中 长文档RAG ：retrieval augmented generation(abstract)；分类 cs.CL、cs.AI

Comments Accepted to the EMNLP 2021 Conference as a long-paper, 9 pages, 15 pages with appendices and references, 2 figures, 4 tables