RAG / 检索增强生成

Schema Lineage Extraction at Scale: Multilingual Pipelines, Composite Evaluation, and Language-Model Benchmarks

Jiaqi Yin, Yi-Wei Chen, Meng-Lung Lee, Xiya Liu

机构 * Microsoft Redmond, WA（微软红木城） ； Antra. Inc.（Antra公司） 纠错

专题命中 RAG评测 ：retrieval-augmented generation(abstract)；RAG(abstract)；分类 cs.CL、cs.AI、cs.DB

Who's Who: Large Language Models Meet Knowledge Conflicts in Practice

Quang Hieu Pham, Hoang Ngo, Anh Tuan Luu, Dat Quoc Nguyen

机构 * VinAI Research（VinAI研究院） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 RAG评测 ：retrieval-augmented generation(abstract)；RAG(abstract)；分类 cs.IR、cs.CL、cs.AI

Comments Accepted to EMNLP 2024 Findings

ELOQ: Resources for Enhancing LLM Detection of Out-of-Scope Questions

Zhiyuan Peng, Jinming Nian, Alexandre Evfimievski, Yi Fang

机构 * Santa Clara University（圣克拉拉大学） ； Adobe Inc.（Adobe公司） 纠错

专题命中 RAG评测 ：retrieval-augmented generation(abstract)；RAG(abstract)；分类 cs.IR、cs.CL、cs.AI

Comments Accepted by SIGIR'25

JuDGE: Benchmarking Judgment Document Generation for Chinese Legal System

Weihang Su, Baoqing Yue, Qingyao Ai, Yiran Hu, Jiaqi Li, Changyue Wang, Kaiyuan Zhang, Yueyue Wu, Yiqun Liu

机构 * DCST, Tsinghua University（清华大学数据科学研究院） 纠错

专题命中 RAG评测 ：retrieval-augmented generation(abstract)；RAG(abstract)；分类 cs.IR、cs.CL、cs.AI

Attribution in Scientific Literature: New Benchmark and Methods

Yash Saxena, Deepa Tilwani, Ali Mohammadi, Edward Raff, Amit Sheth, Srinivasan Parthasarathy, Manas Gaur

专题命中 RAG评测 ：retrieval-augmented generation(abstract)；RAG(abstract)；分类 cs.IR、cs.CL、cs.AI

Comments Work in progress

Tricking Retrievers with Influential Tokens: An Efficient Black-Box Corpus Poisoning Attack

Cheng Wang, Yiwei Wang, Yujun Cai, Bryan Hooi

专题命中 RAG评测 ：retrieval-augmented generation(abstract)；RAG(abstract)；retriever(abstract)

Comments Accepted to NAACL 2025 Main Track

Context-DPO: Aligning Language Models for Context-Faithfulness

Baolong Bi, Shaohan Huang, Yiwei Wang, Tianchi Yang, Zihan Zhang, Haizhen Huang, Lingrui Mei, Junfeng Fang, Zehao Li, Furu Wei, Weiwei Deng, Feng Sun, Qi Zhang, Shenghua Liu

专题命中 RAG评测 ：retrieval-augmented generation(abstract)；RAG(abstract)；分类 cs.IR、cs.CL、cs.AI

Empowering Meta-Analysis: Leveraging Large Language Models for Scientific Synthesis

Jawad Ibn Ahad, Rafeed Mohammad Sultan, Abraham Kaikobad, Fuad Rahman, Mohammad Ruhul Amin, Nabeel Mohammed, Shafin Rahman

专题命中 RAG评测 ：retrieval augmented generation(abstract)；RAG(abstract)；分类 cs.IR、cs.CL、cs.AI

Comments Accepted in 2024 IEEE International Conference on Big Data (IEEE BigData)

AssistRAG: Boosting the Potential of Large Language Models with an Intelligent Information Assistant

Yujia Zhou, Zheng Liu, Zhicheng Dou

专题命中 RAG评测 ：retrieval-augmented generation(abstract)；RAG(abstract)；分类 cs.IR、cs.CL、cs.AI

Comments Accepted by NeurIPS 2024 (poster)

On the Capacity of Citation Generation by Large Language Models

Haosheng Qian, Yixing Fan, Ruqing Zhang, Jiafeng Guo

专题命中 RAG评测 ：retrieval-augmented generation(abstract)；RAG(abstract)；分类 cs.IR、cs.CL、cs.AI

Comments Accepted by CCIR 2024

Revisiting the Solution of Meta KDD Cup 2024: CRAG

Jie Ouyang, Yucong Luo, Mingyue Cheng, Daoyu Wang, Shuo Yu, Qi Liu, Enhong Chen

专题命中 RAG评测 ：retrieval-augmented generation(abstract)；RAG(abstract)；分类 cs.IR、cs.CL、cs.AI

Beyond Words: Evaluating Large Language Models in Transportation Planning

Shaowei Ying, Zhenlong Li, Manzhu Yu

专题命中 RAG评测 ：retrieval-augmented generation(abstract)；RAG(abstract)；分类 cs.IR、cs.CL、cs.AI

Why does in-context learning fail sometimes? Evaluating in-context learning on open and closed questions

Xiang Li, Haoran Tang, Siyu Chen, Ziwei Wang, Ryan Chen, Marcin Abram

专题命中 RAG评测 ：retrieval augmented generation(abstract)；RAG(abstract)；分类 cs.IR、cs.CL、cs.AI

Comments 8 pages plus references, 4 main figures, 6 pages of supplementary material

uTeBC-NLP at SemEval-2024 Task 9: Can LLMs be Lateral Thinkers?

Pouya Sadeghi, Amirhossein Abaskohi, Yadollah Yaghoobzadeh

专题命中 RAG评测 ：retrieval augmented generation(abstract)；RAG(abstract)；分类 cs.IR、cs.CL、cs.AI

Comments 12 pages, 5 figures, 6 tables, Proceedings of the 18th International Workshop on Semantic Evaluation (SemEval-2024) @ NAACL 2024

Exploring Information Retrieval Landscapes: An Investigation of a Novel Evaluation Techniques and Comparative Document Splitting Methods

Esmaeil Narimissa, David Raithel

专题命中 RAG评测 ：RAG(abstract,comments)；retrieval-augmented generation(abstract)；分类 cs.IR、cs.AI

Comments This article is 16 pages long and includes detailed comparisons of RAG systems and document splitting techniques

Journal ref Access-2024-36001

An Interactive Multi-Agent System for Evaluation of New Product Concepts

一个用于新产品概念评估的交互式多智能体系统

Bin Xuan, Ruo Ai, Hakyeon Lee

专题命中 RAG评测 ：retrieval-augmented generation(abstract,comments)；RAG(abstract,comments)；分类 cs.AI

AI总结 本文提出基于大型语言模型的多智能体系统，用于自动化评估新产品概念的技术可行性和市场可行性，通过结构化讨论和专业数据微调，验证概念并提升判断准确性。

Comments 46 pages, 3 figures + This paper proposes an LLM-based multi-agent system (MAS) for automated evaluation of new product concepts, incorporating retrieval-augmented generation (RAG) and cross-functional virtual agents to assess technical and market feasibility

Correctness is not Faithfulness in RAG Attributions

Jonas Wallat, Maria Heuss, Maarten de Rijke, Avishek Anand

专题命中 RAG评测 ：RAG(title)；分类 cs.CL

Comments 13 pages, 3 figures

Beyond Two Bytes per Letter: Tokenization Overhead in Cyrillic AI Systems

超越每个字母两字节：西里尔字母AI系统中的分词开销

Ivan Dobrovolskyi

专题命中 RAG评测 ：RAG(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 该研究量化了多语言分词器对西里尔字母语言的分词开销，评估了LLMLingua-2、平衡字节级BPE等缓解策略，指出训练数据分配是开销成因且可在两阶段缓解。

PLASMA: A Layout-Aware Benchmark Reveals Memory Layout Matters for Graph-based ANNS on GPU

PLASMA：揭示GPU上基于图的近似最近邻搜索中内存布局重要性的布局感知基准

Yutaro Oguri, Mai Nishimura, Yusuke Matsui

机构 * The University of Tokyo（东京大学） ； OMRON SINIC X Corporation（OMRON SINIC X公司） 纠错

专题命中 RAG评测 ：RAG(abstract,abstract_cn)；分类 cs.IR、cs.DB

AI总结 研究人员提出PLASMA框架，用于评估GPU上基于图的ANNS，发现顶点重排序可提升QPS且不损失准确率，凸显内存布局对该任务的重要性。

Comments Accepted to VLDB2026 VecDB Workshop

The Hallucination Snowball: Modeling Error Propagation as State Transitions in Multi-Agent LLM Pipelines

幻觉滚雪球：将多智能体大语言模型流水线中的错误传播建模为状态转移

Prabhjot Singh, Bhushan Pawar

专题命中 RAG评测 ：RAG(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 该研究发现多智能体LLM流水线中存在幻觉滚雪球效应，即幻觉会随状态转移而逃逸，且边界门控验证比末端检查更能有效降低幻觉存活率，还提出了最优验证资源分配策略。

Comments 10 pages, 3 figures; accepted at the FAGEN Workshop (Failure Modes in Agentic AI), ICML 2026

AnchorBench: A Multi-Pathway Benchmark for the Anchoring Effect in LLMs

AnchorBench：针对大语言模型中锚定效应的多路径基准测试

Yiderigun Borjigin, Alexander Hermann, Christian Cyron, Roland Aydin

机构 * Saarland University（萨尔大学） ； Hamburg University of Technology（汉堡工业大学） ； Helmholtz-Zentrum Hereon（亥姆霍兹中心赫伦） ； German Research Centre for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI）） 纠错

专题命中 RAG评测 ：RAG(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 本文推出针对大语言模型锚定效应的基准测试AnchorBench，经14种模型实验，揭示锚定效应的路径依赖性等特性，发现高控制准确率的前沿模型仍易受合理锚点影响。

Comments Published as a conference paper at COLM 2026

Persona Conditioning as an Assessor-Sensitivity Probe for LLM-Based IR Evaluation

角色设定作为基于大语言模型的信息检索评估的评估者敏感性探测工具

Samaneh Mohtadi, Pietro Bernardelle, Joel Mackenzie, Gianluca Demartini

专题命中 RAG评测 ：RAG(abstract,abstract_cn)；分类 cs.IR、cs.AI

AI总结 本研究以角色设定为探测工具，分析基于大语言模型的IR评估中评估者敏感性，发现高容量模型能保持系统排序一致性，角色来源影响小于评估者角色和模型容量。

Comments Accepted at CIKM 2026

MemArena: An Ego-Centric Benchmark for On-Device Agentic Personal Memory Assistants at Scale

MemArena：面向移动端智能体个人记忆助手的大规模自我中心基准测试

Jiadong Zhang, Xiaosong Ma

机构 * MBZUAI（穆罕默德·本·扎耶德人工智能大学） 纠错

专题命中 RAG评测 ：RAG(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 本研究针对现有记忆基准测试的不足，构建了MemArena基准，评估了不同记忆后端对移动端个人记忆助手的影响，发现后端选择对内容准确性影响更大，权限感知访问失效，搜索延迟仅在阅读器规模极小时有影响。

Comments 48 pages, 6 figures

OpenAIs HealthBench in Action: Evaluating an LLM-Based Medical Assistant on Realistic Clinical Queries

OpenAIs HealthBench in Action: 评估基于LLM的医疗助手在真实临床查询中的表现

Sandhanakrishnan Ravichandran, Shivesh Kumar, Rogerio Corga Da Silva, Miguel Romano, Reinhard Berkels, Michiel van der Heijden, Olivier Fail, Valentine Emmanuel Gnanapragasam

机构 * OpenAI 纠错

专题命中 RAG评测 ：RAG(abstract,abstract_cn)；分类 cs.IR、cs.AI

AI总结 DR.INFO在HealthBench基准测试中表现优异，优于多个前沿LLM，在复杂临床查询中展现出高准确性和情境感知能力。

Comments 13 pages, two graphs

MemTrace: Tracing and Attributing Errors in Large Language Model Memory Systems

MemTrace：大型语言模型记忆系统中的错误追踪与归因

Xinle Deng, Ruobin Zhong, Hujin Peng, Xiaoben Lu, Yanzhe Wu, Guang Li, Buqiang Xu, Yunzhi Yao, Jizhan Fang, Haoliang Cao, Junjie Guo, Yuan Yuan, Ziqing Ma, Yuanqiang Yu, Rui Hu, Baohua Dong, Hangcheng Zhu, Ningyu Zhang

机构 * Zhejiang University（浙江大学） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 RAG评测 ：RAG(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 提出MemTrace框架，通过构建可执行的记忆演化图实现细粒度错误追踪，并利用自动归因方法定位根因，进而优化提示词提升下游任务性能。

Comments Ongoing work

Not All Needles Are Found: How Fact Distribution and Don't Make It Up Prompts Shape Retrieval, Reasoning, and Hallucination in Long-Context LLMs

并非所有线索都能被发现：事实分布和“不要编造”提示如何影响长上下文语言模型中的检索、推理和幻觉

Amirali Ebrahimzadeh, Seyyed M. Salili

机构 * Department of Electrical Engineering & Computer Science University of Michigan（电气工程与计算机科学系 密歇根大学） 纠错

专题命中 RAG评测 ：retrieval-augmented generation(abstract)；RAG(abstract)；分类 cs.CL、cs.AI

AI总结 研究大语言模型中事实分布和反幻觉提示对检索、推理及幻觉的影响，通过扩展基准评估多个模型，识别出分布崩溃和安全代价两种失败模式，发现许多失败源于无效上下文利用，强调特定模型稳健性和上下文管理的重要性。

Comments 16 pages, 8 figures, 2 tables. Accepted at the FAGEN Workshop @ ICML 2026

DeepTutor: Towards Agentic Personalized Tutoring

DeepTutor：迈向代理式个性化辅导

Bingxi Zhao, Jiahao Zhang, Xubin Ren, Zirui Guo, Tianzhe Chu, Yi Ma, Chao Huang

机构 * The University of Hong Kong（香港大学） 纠错

专题命中 RAG评测 ：RAG(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 DeepTutor通过结合引用基础问题辅导与难度校准的问题生成，提出一个统一的开放源码框架，利用静态知识和动态学习者记忆实现个性化适应，并在五个领域大学课程中评估个性化教学效果。

Comments Tech Report, work in progress. Code available at https://github.com/HKUDS/DeepTutor

Evaluating Memory in LLM Agents via Incremental Multi-Turn Interactions

通过增量多轮交互评估LLM代理的记忆能力

Yuanzhe Hu, Yu Wang, Julian McAuley

机构 * University of California, San Diego（加利福尼亚大学圣迭戈分校） 纠错

专题命中 RAG评测 ：retrieval-augmented generation(abstract)；RAG(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出MemoryAgentBench，通过多轮交互模拟记忆代理的信息积累过程，评估准确检索、测试时学习、长程理解与选择性遗忘四项核心能力。

Comments Y. Hu and Y. Wang contribute equally

Inform, Coach, Relate, Listen: Auditing LLM Caregiving Support Roles

告知、指导、共情、倾听：审计LLM护理支持角色

Drishti Goel, Agam Goyal, Veda Duddu, Olivia Pal, Jeongah Lee, Qiuyue Joy Zhong, Violeta J. Rodriguez, Daniel S. Brown, Dong Whi Yoo, Ravi Karkar, Koustuv Saha

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校） ； OSF HealthCare（OSF医疗集团） ； Indiana University Indianapolis（印第安纳大学印第安纳波利斯分校） 纠错

专题命中 RAG评测 ：retrieval-augmented generation(abstract)；RAG(abstract)；分类 cs.CL、cs.AI

AI总结 本研究通过操作化四种社会支持角色（告知、指导、共情、倾听），评估大型语言模型在非正式护理对话中的安全概况，发现支持角色系统性地影响交互风险，且存在感知质量-安全性权衡。

Privacy-Preserving Text Sanitization for Distributed Agents Collaboration via Disentangled Representations

基于解耦表示的分布式智能体协作隐私保护文本净化

Xuan Liu, Hefeng Zhou, Sicheng Chen, Chao Yang, Xingcheng Xu, Jingjing Qu, Jiong Lou, Jie LI, Xia Hu

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 RAG评测 ：RAG(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 提出DiSan框架，通过解耦文本为任务语义和风格子空间，结合联邦原型对齐与对抗正则化，在分布式多智能体协作中实现隐私保护，显著降低风格归因和PII泄露。