RAG / 检索增强生成

AI Act Evaluation Benchmark: An Open, Transparent, and Reproducible Evaluation Dataset for NLP and RAG Systems

AI行为评估基准：为NLP和RAG系统设计的开放、透明且可复现的评估数据集

Athanasios Davvetas, Michael Papademas, Xenia Ziouvelou, Vangelis Karkaletsis

专题命中 RAG评测 ：RAG(title,abstract)；分类 cs.AI

AI总结 本文提出了一种开放透明的数据集，用于评估NLP和RAG系统在欧盟AI法案下的合规性，通过生成风险等级分类等任务提升评估效率。

Comments 10 pages, 1 figure, 4 tables, 2 equations

Campaign-2-PT-RAG: LLM-Guided Semantic Product Type Attribution for Scalable Campaign Ranking

Campaign-2-PT-RAG: LLM引导的语义产品类型归因用于可扩展的活动排名

Yiming Che, Mansi Ranjit Mane, Keerthi Gopalakrishnan, Parisa Kaghazgaran, Murali Mohana Krishna Dandu, Archana Venkatachalapathy, Sinduja Subramaniam, Yokila Arora, Evren Korpeoglu, Sushant Kumar, Kannan Achan

专题命中 RAG评测 ：RAG(title,abstract)；分类 cs.IR

AI总结 Campaign-2-PT-RAG通过LLM解析活动内容并推断产品类型，生成高质量标签以提升电子商务活动排名优化

Comments fix typo and author names

Trust Me on This: A User Study of Trustworthiness for RAG Responses

相信我：对RAG响应可信度的用户研究

Weronika Łajewska, Krisztian Balog

专题命中 RAG评测 ：RAG(title)；retrieval-augmented generation(abstract)；分类 cs.IR

AI总结 本研究通过用户实验探讨了不同解释类型如何影响用户对RAG响应的信任度，发现信任受响应清晰度和用户知识影响，而非单纯客观质量。

Comments This is the author's version of the work. The definitive version is published in: Proceedings of the 48th European Conference on Information Retrieval (ECIR '26), March 29-April 2, 2026, Delft, The Netherlands

HEALTH-PARIKSHA: Assessing RAG Models for Health Chatbots in Real-World Multilingual Settings

HEALTH-PARIKSHA: 评估医疗聊天机器人在真实多语言环境中的RAG模型

Varun Gumma, Ananditha Raghunath, Mohit Jain, Sunayana Sitaram

机构 * Microsoft（微软） 纠错

专题命中 RAG评测 ：RAG(title)；retrieval augmented generation(abstract)；分类 cs.CL

AI总结 HEALTH-PARIKSHA研究评估了24个LLMs在真实多语言环境中的表现，发现印地语模型在印地语查询中表现不一，且事实准确性低于英语查询。

ARPaCCino: An Agentic-RAG for Policy as Code Compliance

Francesco Romeo, Luigi Arena, Francesco Blefari, Francesco Aurelio Pironti, Matteo Lupinacci, Angelo Furfaro

机构 * University of Calabria（卡塔尼亚大学） ； IMT School for Advanced Studies Lucca（卢塞恩高级研究学院） 纠错

专题命中 RAG评测 ：RAG(title,abstract)；分类 cs.AI

"Don't Teach Minerva": Guiding LLMs Through Complex Syntax for Faithful Latin Translation with RAG

Sergio Torres Aguilar

专题命中 RAG评测 ：RAG(title,abstract)；分类 cs.CL

TAI Scan Tool: A RAG-Based Tool With Minimalistic Input for Trustworthy AI Self-Assessment

Athanasios Davvetas, Xenia Ziouvelou, Ypatia Dami, Alexios Kaponis, Konstantina Giouvanopoulou, Michael Papademas

专题命中 RAG评测 ：RAG(title,abstract)；分类 cs.AI

Comments 9 pages, 1 figure, 4 tables

Patient-Centered RAG for Oncology Visit Aid Following the Ottawa Decision Guide

Siyang Liu, Lawrence Chin-I An, Rada Mihalcea

机构 * The LIT Group, Department of Computer Science and Engineering, University of Michigan, Ann Arbor（密歇根大学计算机科学与工程系、LIT集团、安阿伯分校） 纠错

专题命中 RAG评测 ：RAG(title)；retrieval-augmented generation(abstract)；分类 cs.CL

From RAG to Agentic: Validating Islamic-Medicine Responses with LLM Agents

Mohammad Amaan Sayeed, Mohammed Talha Alam, Raza Imam, Shahab Saquib Sohail, Amir Hussain

机构 * Mohamed bin Zayed University of Artificial Intelligence, UAE（阿布扎克穆罕默德·本·扎耶德人工智能大学） ； Edinburgh Napier University, UK（爱丁堡纳皮尔大学） ； VIT Bhopal University, India（比哈尔大学） 纠错

专题命中 RAG评测 ：RAG(title)；retrieval-augmented generation(abstract)；分类 cs.CL

Comments Published at the 4th Muslims in Machine Learning (MusIML) Workshop (ICML-25)

Multilingual Retrieval Augmented Generation for Culturally-Sensitive Tasks: A Benchmark for Cross-lingual Robustness

Bryan Li, Fiona Luo, Samar Haider, Adwait Agashe, Tammy Li, Runqi Liu, Muqing Miao, Shriya Ramakrishnan, Yuan Yuan, Chris Callison-Burch

机构 * University of Pennsylvania（宾夕法尼亚大学） 纠错

专题命中 RAG评测 ：retrieval augmented generation(title)；RAG(abstract)；分类 cs.CL

Comments ACL 2025 (Findings)

SlideCoder: Layout-aware RAG-enhanced Hierarchical Slide Generation from Design

Wenxin Tang, Jingyu Xiao, Wenxuan Jiang, Xi Xiao, Yuhang Wang, Xuxin Tang, Qing Li, Yuehe Ma, Junliang Liu, Shisong Tang, Michael R. Lyu

机构 * Tsinghua University（清华大学） ； The Chinese University of Hong Kong（香港中文大学） ； Northeastern University（东北大学） ； Southwest University（西南大学） ； Kuaishou Technology（快手科技） ； Peng Cheng Laboratory（鹏城实验室） ； BNU-HKBU United International College（北京师范大学-香港 Baptist University联合国际学院） ； Dalian Maritime University（大连海事大学） 纠错

专题命中 RAG评测 ：RAG(title)；retrieval-augmented generation(abstract)；分类 cs.AI

Divide-Then-Align: Honest Alignment based on the Knowledge Boundary of RAG

Xin Sun, Jianan Xie, Zhongqi Chen, Qiang Liu, Shu Wu, Yuehe Chen, Bowen Song, Weiqiang Wang, Zilei Wang, Liang Wang

专题命中 RAG评测 ：RAG(title,abstract)；分类 cs.CL

Comments ACL 2025 main

Even Small Reasoners Should Quote Their Sources: Introducing the Pleias-RAG Model Family

Pierre-Carl Langlais, Pavel Chizhov, Mattia Nee, Carlos Rosas Hinostroza, Matthieu Delsart, Irène Girard, Othman Hicheur, Anastasia Stasenko, Ivan P. Yamshchikov

机构 * PleIAs, Paris, France（巴黎法国PleIAs） 纠错

专题命中 RAG评测 ：RAG(title,abstract)；分类 cs.CL

ENWAR: A RAG-empowered Multi-Modal LLM Framework for Wireless Environment Perception

Ahmad M. Nazar, Abdulkadir Celik, Mohamed Y. Selim, Asmaa Abdallah, Daji Qiao, Ahmed M. Eltawil

专题命中 RAG评测 ：RAG(title)；retrieval augmented generation(abstract)；分类 cs.AI

Ingest-And-Ground: Dispelling Hallucinations from Continually-Pretrained LLMs with RAG

Chenhao Fang, Derek Larson, Shitong Zhu, Sophie Zeng, Wendy Summer, Yanqing Peng, Yuriy Hulovatyy, Rajeev Rao, Gabriel Forgues, Arya Pudota, Alex Goncalves, Hervé Robert

专题命中 RAG评测 ：RAG(title,abstract)；分类 cs.CL

Bye-bye, Bluebook? Automating Legal Drudgery With AI-Augmented Rule Following

再见，蓝皮书？用AI辅助规则遵循实现法律苦差事自动化

Matthew Dahl, Eric Martínez

机构 * Yale Law School（耶鲁法学院） 纠错

专题命中 RAG评测 ：RAG(abstract,abstract_cn)；retrieval-augmented generation(abstract)；分类 cs.CL、cs.AI

AI总结 该研究针对法律AI在《蓝皮书》引文格式任务的表现，构建了新基准，提出神经符号系统方法使准确率提升32.4个百分点至最高85.5%，指出AI与符号规则引擎结合是可行方向。

CangjieBench: Benchmarking LLMs on a Low-Resource General-Purpose Programming Language

仓颉基准：在低资源通用编程语言上评估大语言模型

Junhang Cheng, Fang Liu, Jia Li, Chengru Wu, Nanxiang Jiang, Li Zhang

专题命中 RAG评测 ：RAG(abstract,abstract_cn)；retrieval-augmented generation(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出CangjieBench，用于评估大语言模型在低资源通用编程语言上的表现，通过248个高质量样本覆盖文本到代码和代码到代码任务，发现语法受限生成在准确性和计算成本之间取得最佳平衡。

Comments Accepted by ESEM 2026

From Single- to Cross-Document: Benchmarking Multi-Granularity Event Analysis of Large Language Models

从单文档到跨文档：大语言模型多粒度事件分析的基准测试

Tao Wen, Shuai Shao, Pei Ke, Xu Han, Jie Zou, Guannan Li, Tao Tian, Jinjie Qiu, Lan Wang, Ke Qin

机构 * University of Electronic Science and Technology of China（电子科技大学） ； Tsinghua University（清华大学） 纠错

专题命中 RAG评测 ：RAG(abstract,abstract_cn)；retrieval-augmented generation(abstract)；分类 cs.CL、cs.AI

AI总结 本文推出MiGUE-Bench基准及MiGUE-Pipeline框架，通过四项核心任务评估LLMs多粒度事件分析能力，明确其能力边界与缺陷，为该领域改进提供方向。

Comments 9 pages. Published in the Proceedings of the 49th International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR 2026)

Journal ref Proceedings of the 49th International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR '26), pp. 3464-3472, 2026

Agentic and Generative AI for Open-Source Intelligence and Cyber Investigations: Taxonomy, Evaluation, Challenges, and Future Directions

用于开源情报和网络调查的智能与生成式人工智能：分类法、评估、挑战及未来方向

Eduardo Almeida Palmieri, Mohamed Chahine Ghanem, Dipo Dunsin, Zubair Baig, Ed de Quincey, Kim-Kwang Raymond Choo

机构 * School of Computer Science and Mathematics, Keele University（基尔大学计算机科学与数学学院） ； Cybersecurity Institute, University of Liverpool（利物浦大学网络安全研究所） ； Department of Applied Computing IICL, University of Wales Trinity Saint David（威尔士特里尼达大学应用计算系） ； Deakin Cyber Research and Innovation Hub, Deakin University（德金大学网络安全研究与创新中心） ； Department of Information Systems and Cyber Security, The University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校信息系与网络安全系） 纠错

专题命中 RAG评测 ：RAG(abstract,abstract_cn)；retrieval-augmented generation(abstract)；分类 cs.IR、cs.AI

AI总结 研究指出公开数字信息增长使人工开源情报分析不足，大语言模型等成解决方案但评估框架滞后。通过综述74项研究，明确智能人工智能类别，找出幻觉验证差距，映射研究到情报生命周期并给出研究议程。

Comments 36 Pages

IRC-Bench: Recognizing Entities from Contextual Cues in First-Person Reminiscences

IRC-Bench: 从第一人称回忆中的上下文线索识别实体

Yehudit Aperstein, Eden Moran, Alexander Apartsin

机构 * Intelligent Systems, Afeka Academic College of Engineering（阿法卡学术工程学院智能系统） ； School of Computer Science, Faculty of Sciences, Holon Institute of Technology（霍隆理工学院计算机科学学院） 纠错

专题命中 RAG评测 ：RAG(abstract,abstract_cn)；dense retrieval(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出IRC-Bench基准，用于评估回忆文本中隐式实体识别任务，通过对比本地提及与分散叙述证据，探讨非局部性挑战，测试多种模型配置。

Comments 36 pages, 8 figures

DoGMaTiQ: Automated Generation of Question-and-Answer Nuggets for Report Evaluation

DoGMaTiQ：面向报告评估的问答片段自动生成

Bryan Li, William Walden, Yu Hou, Gabrielle Kaili-May Liu, Dawn Lawrie, James Mayfield, Eugene Yang, Chris Callison-Burch, Laura Dietz

机构 * Google Inc.（谷歌公司） ； Johns Hopkins University（约翰霍普金斯大学） ； University of Maryland（马里兰大学） ； Yale University（耶鲁大学） ； University of Pennsylvania（宾夕法尼亚大学） ； University of New Hampshire（新罕布什尔大学） 纠错

专题命中 RAG评测 ：RAG(abstract,abstract_cn)；retrieval-augmented generation(abstract)；分类 cs.IR、cs.CL

AI总结 提出DoGMaTiQ流水线，通过文档锚定生成、释义聚类和基于质量准则的子选择三步自动生成高质量QA片段，实现报告的全自动评估，在跨语言任务中与人工判断高度相关。

Comments ICTIR '26

Introducing A Bangla Sentence - Gloss Pair Dataset for Bangla Sign Language Translation and Research

介绍一个孟加拉语句子- gloss配对数据集用于孟加拉语手语翻译和研究

Neelavro Saha, Rafi Shahriyar, Nafis Ashraf Roudra, Saadman Sakib, Annajiat Alim Rasel

机构 * Department of Computer Science and Engineering, Bangladesh University of Engineering and Technology（Bangladesh University of Engineering and Technology计算机科学与工程系） 纠错

专题命中 RAG评测 ：RAG(abstract,abstract_cn)；retrieval-augmented generation(abstract)；分类 cs.CL、cs.AI

AI总结 本文介绍了一个包含1000个人工标注句子- gloss配对的新数据集Bangla-SGP，通过规则基于的检索增强生成管道生成约3000个合成配对，用于孟加拉语手语翻译和研究。

Journal ref Proceedings of the Fifteenth Language Resources and Evaluation Conference (LREC 2026), pp. 10457-10466, ELRA, Palma, Mallorca, Spain, May 2026

SkMTEB: Slovak Massive Text Embedding Benchmark and Model Adaptation

SkMTEB：斯洛伐克大规模文本嵌入基准与模型适配

Marek Šuppa, Andrej Ridzik, Daniel Hládek, Natália Kňažeková, Viktória Ondrejová

机构 * Comenius University in Bratislava（布拉迪斯拉发夸美纽斯大学） ； Cisco Systems（思科系统） ； Technical University of Košice（科希策技术大学） ； Kempelen Institute of Intelligent Technologies（肯佩伦智能技术研究所） 纠错

专题命中 RAG评测 ：RAG(abstract,abstract_cn)；retrieval-augmented generation(abstract)；分类 cs.CL、cs.AI

AI总结 针对低资源西斯拉夫语斯洛伐克语，构建首个MTEB风格文本嵌入基准SkMTEB（含31个数据集、7类任务），并开发高效本地部署模型e5-sk-small/large，通过词汇裁剪与微调在参数减少62%下达到与商业API相当的竞争力。

Comments ACL 2026

Whose Name Comes Up? II: Benchmarking and Intervention-Based Auditing of LLM-Based Scholar Recommendation

谁的名字出现？II：基于基准测试和干预审计的LLM学者推荐系统

Lisette Espín-Noboa, Gonzalo Gabriel Méndez

机构 * Complexity Science Hub Vienna（维也纳复杂性科学中心） ； Universitat Politècnica de València（巴塞罗那理工大学） ； Inria Rennes（里昂国家信息与自动化研究所） 纠错

专题命中 RAG评测 ：RAG(abstract,abstract_cn)；retrieval-augmented generation(abstract)；分类 cs.IR、cs.AI

AI总结 提出LLMScholarBench基准，通过温度变化、表示约束提示和检索增强生成等干预措施审计22个LLM在物理专家推荐中的技术质量和社会代表性，发现干预措施带来不同权衡。

Comments In Proceedings of the 32nd ACM SIGKDD Conference on Knowledge Discovery and Data Mining V.2 (KDD '26). 30 pages: 11 pages in main (6 figures, 1 table), 19 pages in appendix (22 figures, 2 tables)

Beyond Static Dialogues: Benchmarking Realistic, Heterogeneous, and Evolving Long-Term Memory

超越静态对话：对现实、异构和演化长期记忆的基准测试

Han Zhang, Zihao Tang, Xin Yu, Xiao Liu, Yeyun Gong, Haizhen Huang, Yan Lu, Weiwei Deng, Feng Sun, Qi Zhang, Hanfang Yang

机构 * Center for Applied Statistics, Renmin University of China（中国人民大学应用统计中心） ； School of Statistics, Renmin University of China（中国人民大学统计学院） ； Microsoft（微软公司） 纠错

专题命中 RAG评测 ：RAG(abstract,abstract_cn)；retrieval-augmented generation(abstract)；分类 cs.IR、cs.CL

AI总结 针对现有大语言模型记忆基准中对话缺乏长期语义一致性、人物静态化以及忽视异构数据流的问题，提出RHELM基准，通过用户画像和LOOP模块生成具有动态时间演化和长期连贯性的现实对话，并整合异构外部源，评估模型在多源聚合和现实上下文推理方面的能力。

OMD-GraphRAG: Enhancing GraphRAG with Ontology-Guided Extraction, Multi-Dimensional Clustering and Dual-Channel Fusion

OMD-GraphRAG：利用本体引导提取、多维聚类和双通道融合增强GraphRAG

Jie Wang, Honghua Huang, Xi Ge, Jianhui Su, Wen Liu, Shiguo Lian

机构 * Data Science & Artificial Intelligence Research Institute（数据科学与人工智能研究院） 纠错

专题命中 RAG评测 ：RAG(abstract,abstract_cn)；retrieval-augmented generation(abstract)；分类 cs.IR、cs.AI

AI总结 提出OMD-GraphRAG框架，通过本体引导知识提取、多维社区聚类和双通道图检索融合，提升GraphRAG在复杂推理和多跳查询中的性能。

Overview of the MedHopQA track at BioCreative IX: track description, participation and evaluation of systems for multi-hop medical question answering

BioCreative IX MedHopQA 轨道概述：轨道描述、参与及多跳医学问答系统评估

Rezarta Islamaj, Joey Chan, Robert Leaman, Jongmyung Jung, Hyeongsoon Hwang, Quoc-An Nguyen, Hoang-Quynh Le, Harikrishnan Gurushankar Saisudha, Ganesh Chandrasekar, Rustam R. Taktashov, Nadezhda Yu. Bizyukova, Sofia I. R. Conceição, Paulo R. C. Lopes, Reem Abdel Salam, Mary Adewunmi, Zhiyong Lu

机构 * National Library of Medicine (NLM), National Institutes of Health (NIH)（美国国家医学图书馆（NLM）、国家卫生研究院（NIH）） ； University of Illinois at Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Korea University（韩国大学） ； VNU University of Engineering and Technology, Hanoi, Vietnam（越南河内工程大学） ； Concordia University, Montreal, QC, CA（蒙特利尔大学） ； Institute of Biomedical Chemistry (IBMC), 10 bld. 8, Pogodinskaya str., 119121 Moscow, Russia（俄罗斯生物医学化学研究所（IBMC）） ； LASIGE, Departamento de Informática, Faculdade de Ciências, Universidade de Lisboa, 1749-016 Lisbon, Portugal（葡萄牙里斯本大学 LASIGE 实验室） ； Faculty of Engineering, Computer Engineering Department Cairo University（埃及开罗大学工程学院） ； Menzies School of Health Research, Charles Darwin University, NT, Australia（澳大利亚查尔斯达尔文大学梅恩兹健康研究中心） ； CaresAI, Australia（澳大利亚 CaresAI） 纠错

专题命中 RAG评测 ：RAG(abstract,abstract_cn)；retrieval-augmented generation(abstract)；分类 cs.IR、cs.CL

AI总结 本文介绍了BioCreative IX MedHopQA共享任务，旨在评估大型语言模型在多跳推理中的表现，通过构建1000个挑战性问题，展示了检索增强生成策略的重要性，并提供了公开数据集和评估结果。

NeocorRAG: Less Irrelevant Information, More Explicit Evidence, and More Effective Recall via Evidence Chains

NeocorRAG：通过证据链减少无关信息，提高明确证据和回忆效果

Shiyao Peng, Qianhe Zheng, Zhuodi Hao, Zichen Tang, Rongjin Li, Qing Huang, Jiayu Huang, Jiacheng Liu, Yifan Zhu, Haihong E

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） 纠错

专题命中 RAG评测 ：RAG(abstract,abstract_cn)；retrieval-augmented generation(abstract)；分类 cs.IR、cs.AI

AI总结 NeocorRAG通过证据链系统挖掘和利用，实现检索质量的全面优化，提升召回效果并减少无关信息，取得SOTA性能。

Comments Accepted to WWW 2026

Journal ref Proc. ACM Web Conf. 2026, pages 1899-1910

Agentic clinical reasoning over longitudinal myeloma records: a retrospective evaluation against expert consensus

基于纵向骨髓瘤记录的代理临床推理：一项回顾性评估与专家共识的对比

Johannes Moll, Jannik Lübberstedt, Christoph Nuernbergk, Jacob Stroh, Luisa Mertens, Anna Purcarea, Christopher Zirn, Zeineb Benchaaben, Fabian Drexel, Hartmut Häntze, Anirudh Narayanan, Friedrich Puttkammer, Andrei Zhukov, Jacqueline Lammert, Sebastian Ziegelmayer, Markus Graf, Marion Högner, Marcus Makowski, Florian Bassermann, Lisa C. Adams, Jiazhen Pan, Daniel Rueckert, Krischan Braitsch, Keno K. Bressem

机构 * Chair for AI in Healthcare and Medicine, Technical University of Munich (TUM) and TUM University Hospital（人工智能在医疗与健康中的研究所，慕尼黑技术大学（TUM）及慕尼黑技术大学医院） ； Department of Diagnostic and Interventional Radiology, Klinikum rechts der Isar, TUM University Hospital, School of Medicine and Health, Technical University of Munich（诊断与介入放射科，莱茵河右岸医院，慕尼黑技术大学医院，医学与健康学院，慕尼黑技术大学） ； Department of Cardiovascular Radiology and Nuclear Medicine, German Heart Center, TUM University Hospital, School of Medicine and Health, Technical University of Munich（心血管放射学与核医学科，德国心脏中心，慕尼黑技术大学医院，医学与健康学院，慕尼黑技术大学） ； Department of Medicine III, Klinikum rechts der Isar, TUM University Hospital, School of Medicine and Health, Technical University of Munich（第三医学部，莱茵河右岸医院，慕尼黑技术大学医院，医学与健康学院，慕尼黑技术大学） 纠错

专题命中 RAG评测 ：RAG(abstract,abstract_cn)；retrieval-augmented generation(abstract)；分类 cs.CL、cs.AI

AI总结 本研究评估了代理推理系统在骨髓瘤长期记录中的表现，发现其在复杂问题和长记录中优于传统方法，但需进一步验证以确保临床应用的安全性。

CUB: Benchmarking Context Utilisation Techniques for Language Models

CUB：语言模型上下文利用技术的基准测试

Lovisa Hagström, Youna Kim, Haeun Yu, Sang-goo Lee, Richard Johansson, Hyunsoo Cho, Isabelle Augenstein

机构 * Chalmers University of Technology（查尔姆斯理工大学） ； University of Gothenburg（哥德堡大学） ； Seoul National University（首尔国立大学） ； University of Copenhagen（哥本哈根大学） ； Ewha Womans University（成均馆大学） 纠错

专题命中 RAG评测 ：RAG(abstract,abstract_cn)；retrieval-augmented generation(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出CUB基准，用于评估语言模型在不同噪声上下文下的上下文利用技术，发现现有方法在真实场景中存在不足，需更全面的测试。

Comments Accepted at ACL 2026, 33 pages