Evaluating the Performance of RAG Methods for Conversational AI in the Airport Domain
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Royal Schiphol Group(皇家施比尔集团)
针对机场高动态环境下的对话式AI需求,本文对比三种RAG方法的性能,发现Graph RAG准确率最高且幻觉少,SQL RAG幻觉也显著低于传统RAG,二者更适配机场场景。
2025-05-19 cs.CL
Protocol for evaluating ChatGPT in biomedical association generation and verification using a RAG-enabled, cross-model majority voting workflow
提出一个协议,通过RAG和跨模型多数投票工作流评估ChatGPT生成疾病中心生物医学关联的能力,并验证其可靠性。
2026-05-28 cs.CL
RAGalyst: Automated Human-Aligned Agentic Evaluation for Domain-Specific RAG
University of Houston(德克萨斯大学休斯敦分校)
本文提出RAGalyst框架,通过智能体流水线生成高质量合成QA数据并优化LLM-as-a-Judge指标,实现与人类判断高度对齐的特定领域RAG自动化评估,揭示跨领域性能差异与设计权衡。
2025-11-06 cs.AI cs.CL
Ragas: Automated Evaluation of Retrieval Augmented Generation
Exploding Gradients;CardiffNLP, Cardiff University, United Kingdom(卡迪夫大学);AMPLYFI, United Kingdom(英国AMPLYFI)
本文提出Ragas框架,通过无需人工标注的多维度指标,自动化评估检索增强生成(RAG)系统的检索能力与生成质量,加速LLM时代的RAG架构评估周期。
2025-04-28 cs.CL
Long$^2$RAG: Evaluating Long-Context & Long-Form Retrieval-Augmented Generation with Key Point Recall
Tsinghua University(清华大学);University of Cambridge(剑桥大学);Westlake University(西湖大学);Nanyang Technological University(南洋理工大学)
针对现有RAG评估基准在长上下文检索与长格式生成评估上的不足,提出Long$^2$RAG基准及Key Point Recall指标,通过280个跨域问题与细致的关键点召回评估,更全面地衡量LLMs利用检索信息的能力。
2025-01-27 cs.CL
Does RAG Introduce Unfairness in LLMs? Evaluating Fairness in Retrieval-Augmented Generation Systems
Santa Clara University(圣克拉拉大学);DOCOMO Innovations, Inc.(docomo创新公司);Rochester Institute of Technology(罗切斯特理工学院)
本文提出针对检索增强生成系统的公平性评估框架,实证发现公平性问题在检索和生成阶段依然存在,强调需全流程干预。
2025-03-27 cs.CL
Evaluating the Efficacy of Open-Source LLMs in Enterprise-Specific RAG Systems: A Comparative Study of Performance and Scalability
Indian Institute of Technology Madras(印度马德拉斯理工学院)
本文比较多种开源 LLM 与开源嵌入在基于企业网站数据的 RAG 框架中的集成表现,证明其可显著提升准确性与效率,是专有方案的可行替代。
2024-06-17 cs.CL cs.IR
Do RAG Systems Cover What Matters? Evaluating and Optimizing Responses with Sub-Question Coverage
Georgia Institute of Technology(佐治亚理工学院);Salesforce AI Research(Salesforce人工智能研究院)
本文提出基于子问题覆盖度的RAG评估框架,将子问题分为核心、背景和后续三类,发现商用答案引擎遗漏约50%核心子问题,并证明利用核心子问题可将RAG系统胜率提升至74%。
2024-10-20 cs.CL
RAG-QA Arena: Evaluating Domain Robustness for Long-form Retrieval Augmented Question Answering
AWS AI Labs(亚马逊人工智能实验室);Google(谷歌);University of California, Santa Barbara(加州大学圣巴巴拉分校)
本文针对RAG-QA跨领域评估不足的问题,构建了包含七个领域26K查询的长文本数据集LFRQA,并提出RAG-QA Arena评估平台,实验显示其与人类判断高度相关且极具挑战性。
2024-10-03 cs.AI cs.CL
AutoRAG: Automated Framework for optimization of Retrieval Augmented Generation Pipeline
Markr(马克尔公司);Datera(德拉特拉公司)
针对 RAG 模块性能随数据集变化、难以选择的问题,本文提出 AutoRAG 框架,自动为给定数据集探索并逼近最优 RAG 模块组合,并公开实验结果与数据。
2024-10-28 cs.CL
EncouRAGe: Evaluating RAG Local, Fast, and Reliable
本文提出 EncouRAGe 框架,用于在本地高效、可复现地评估 RAG 系统,并通过多基准实验表明 Hybrid BM25 效果最佳,而重排序仅带来有限提升。
2025-10-31 cs.AI cs.CL cs.IR
Face the Facts! Evaluating RAG-based Pipelines for Professional Fact-Checking
Fondazione Bruno Kessler(布罗诺·凯塞勒基金会);University of Trento(特伦托大学)
该研究遵循专业事实核查规范,解除现有基于RAG的自动化事实核查流水线的部分限制,对RAG类方法生成主张真实性判定的效果开展基准测试,揭示了不同检索技术、模型规模及训练方式在多维度的性能差异。
2025-10-29 cs.CL cs.CY
MTRAG: A Multi-Turn Conversational Benchmark for Evaluating Retrieval-Augmented Generation Systems
IBM Research(IBM研究院)
本文提出人工构建的多轮RAG基准MTRAG,覆盖四领域842个任务,并结合合成数据与LLM-as-a-Judge评估,揭示先进系统在复杂多轮场景中的不足。
2025-01-07 cs.AI cs.CL
AIC CTU system at AVeriTeC: Re-framing automated fact-checking as a simple RAG task
本文提出在AVeriTeC共享任务中利用简单RAG方案解决事实核查挑战,设计检索器与证据标签生成器模块,采用GPT-4o实现第三名成绩,并通过错误分析指出数据噪声问题。
2024-10-15 cs.CL
DomainRAG: A Chinese Benchmark for Evaluating Domain-specific Retrieval-Augmented Generation
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);Baichuan Intelligent Technology(百川智能科技)
本文提出中文领域基准DomainRAG,在高校招生场景下从六项能力评估多种主流LLM的RAG表现,证明闭卷模型不足并指出现有RAG的改进方向。
2024-06-17 cs.CL cs.IR
Seeing Through the MiRAGE: Evaluating Multimodal Retrieval Augmented Generation
Johns Hopkins University(约翰霍普金斯大学);Human Language Technology Center of Excellence(人类语言技术卓越中心)
提出MiRAGE框架,通过InfoF1和CiteF1指标评估多模态RAG的事实性和引用支持,并验证其与人工判断的一致性。
2026-09-17 cs.CL cs.CV cs.IR
ASTRID -- An Automated and Scalable TRIaD for the Evaluation of RAG-based Clinical Question Answering Systems
Ufonia Limited(乌菲尼亚有限公司);University of York(约克大学)
本文提出ASTRID三元指标(CR、RA、CF)用于自动化评估基于RAG的临床问答系统,其中新指标CF能更好衡量对话场景下的忠实性,并通过200多个真实患者问题及九种LLMs验证其与人类评估的一致性。
2025-07-18 cs.AI cs.CL
Can QPP Choose the Right Query Variant? Evaluating Query Variant Selection for RAG Pipelines
UC Berkeley(伯克利大学);Databricks(Databricks公司)
本文研究了在RAG流水线中如何选择最佳查询变体,通过大规模实验评估了预检索和后检索预测器的性能,发现检索相关性与生成保真度之间存在'效用差距',但QPP能有效提升端到端质量。
2026-04-24 cs.CL cs.IR
Evaluating Chunking Strategies for Retrieval-Augmented Generation on Academic Texts
研究在检索增强生成系统中,基于聚类的语义分块是否优于固定大小和递归分块,通过RAGAs框架在长结构化学术论文上评估检索和答案质量,发现聚类分块未超越简单策略。
2026-07-03 cs.AI cs.CL cs.IR
Evaluating the Effect of Retrieval Augmentation on Social Biases
University of Liverpool(利兹大学);Cardiff University(卡迪夫大学);Amazon(亚马逊)
本文研究了检索增强生成在三种语言中对社会偏见的影响,发现文档集合中的偏见在生成响应中被放大,强调了RAG在实际应用中需谨慎评估社会偏见。
2026-01-23 cs.CL
Automated Evidence Extraction and Scoring for Corporate Climate Policy Engagement: A Multilingual RAG Approach
University of Zurich, Department of Finance(苏黎世大学金融系);University of Zurich, Department of Informatics(苏黎世大学信息学系);Swiss Finance Institute(瑞士金融研究所)
本文提出基于检索增强生成的多语言AI框架,自动化提取企业气候政策参与证据并评分,以加速监测,实验表明结合布局感知解析、Nomic嵌入和少样本提示效果最佳,并强调人机协作确保准确性。
2025-09-10 cs.CL
ARES: An Automated Evaluation Framework for Retrieval-Augmented Generation Systems
Stanford University(斯坦福大学);Databricks(Databricks公司);UC Berkeley(加州大学伯克利分校)
ARES 通过合成训练数据微调轻量级语言模型评判器,并结合少量人工标注进行预测驱动推断,在仅需数百条人工标注的情况下,从上下文相关性、答案忠实度和答案相关性三个维度准确评估 RAG 系统,且能适应领域偏移。
2024-03-31 cs.AI cs.CL cs.IR
RAG Foundry: A Framework for Enhancing LLMs for Retrieval Augmented Generation
Intel Labs(英特尔实验室)
本文提出开源框架 RAG Foundry,将数据创建、训练、推理与评估集成为单一工作流,用于快速构建和实验 RAG 系统,并通过微调 Llama-3 和 Phi-3 在多个知识密集型数据集上验证了其有效性。
2024-08-05 cs.AI cs.CL cs.IR
HiChunk: Evaluating and Enhancing Retrieval-Augmented Generation with Hierarchical Chunking
Tencent Youtu Lab(腾讯优图实验室)
针对RAG分块缺乏有效评估的问题,提出HiCBench基准和基于微调LLM的HiChunk层次化分块框架,结合自动合并检索,提升分块质量与RAG整体性能。
2025-10-09 cs.AI cs.CL
AILS-NTUA at SemEval-2026 Task 8: Evaluating Multi-Turn RAG Conversations
National Technical University of Athens(国家技术大学雅典)
AILS-NTUA 系统通过查询多样性策略和多阶段生成管道,在多轮 RAG 任务中取得领先表现。
2026-03-11 cs.CL
Where Does Retrieval Fail? Evaluating RAG Architectures for Agricultural Advisory
North South University(北南大学)
该研究针对孟加拉语农业咨询场景,构建测试集评估RAG的检索架构与嵌入模型,发现单一综合分数无法反映检索差异,提出低资源RAG评估需按语言条件和查询类型报告性能。
2026-08-18 cs.CL
RAGAPHENE: A RAG Annotation Platform with Human Enhancements and Edits
IBM Research(IBM研究院)
本文提出RAGAPHENE聊天标注平台,通过人工增强与编辑支持标注者模拟真实多轮RAG对话,已由约40名标注者构建数千条对话,用于评估LLM的事实正确性并减少幻觉。
2025-08-22 cs.CL
RAGEval: Scenario Specific RAG Evaluation Dataset Generation Framework
Tsinghua University(清华大学);Beijing Normal University(北京师范大学);Northeastern University(东北大学);University of Chinese Academy of Sciences(中国科学院大学);ModelBest;University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出RAGEval框架,通过基于schema的流水线生成高质量数据,并引入完整性、幻觉和不相关性三个新指标,有效评估特定场景下的RAG系统,在清晰度等多方面优于零样本方法且与人类评估高度一致。
2025-03-03 cs.CL cs.IR
EmoRAG: Evaluating RAG Robustness to Symbolic Perturbations
ZJU Hangzhou China(浙江大学杭州校区);NTU Singapore(南洋理工大学);Hengxin Tech. Singapore(新加坡恒心科技);NUS Singapore(国立新加坡大学);NJU Nanjing China(南京大学);PKU Beijing China(北京大学)
EmoRAG研究揭示RAG系统对细微表情符号扰动的鲁棒性问题,发现单个表情符号可导致检索严重误导,并提出针对性防御措施。
2025-12-01 cs.AI cs.CL cs.CR
Evaluating Retrieval Quality in Retrieval-Augmented Generation
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
提出eRAG评估方法,通过大型语言模型单独处理检索列表中的每个文档并基于下游任务真实标签评估输出,有效提升与下游RAG性能的相关性并大幅降低计算成本。
2024-04-21 cs.CL cs.IR
FeB4RAG: Evaluating Federated Search in the Context of Retrieval Augmented Generation
The University of Queensland(昆士兰大学);CSIRO(联邦科学与工业研究组织)
本文提出了专为RAG框架内联邦搜索设计的新数据集FeB4RAG,包含790个查询和LLM相关性判断,并证明高质量联邦搜索系统优于朴素方法。
2024-02-19 cs.CL cs.IR
BanglaMedQA and BanglaMMedBench: Evaluating Retrieval-Augmented Generation Strategies for Bangla Biomedical Question Answering
Department of Computer Science and Engineering, Islamic University of Technology(计算机科学与工程系,伊斯兰技术大学)
本文提出首个大规模孟加拉语生物医学问答数据集 BanglaMedQA 和 BanglaMMedBench,并评估多种 RAG 策略,其中智能体 RAG 结合 OCR 教材检索与动态策略选择,以 89.54% 的准确率取得最佳效果。
2025-11-06 cs.CL
Beyond Factual Accuracy: Evaluating Global Reasoning Integrity in RAG Systems with LogicScore
Shanxi University(山西大学);Nanjing University of Science and Technology(南京理工大学);University of Manchester(曼彻斯特大学);Singapore University of Technology and Design(新加坡科技设计大学);University of Edinburgh(爱丁堡大学)
本文提出LogicScore,通过全局推理审查弥补RAG系统在长文本生成中逻辑完整性不足的问题,揭示模型在事实准确性高但全局推理质量差的缺陷。
2026-07-29 cs.CL
Knowledge-Graph Based RAG System Evaluation Framework
Technical University of Munich, Robotics, Artificial Intelligence and Embedded Systems(慕尼黑技术大学,机器人,人工智能与嵌入式系统)
针对传统指标难以有效评估RAG系统的问题,本研究在RAGAS框架基础上扩展出基于知识图谱的评估范式,引入多跳推理等实现更全面的评分,经对比与人工标注验证其对语义差异更敏感。
2025-10-02 cs.AI cs.CL
Automated Generation of Curriculum-Aligned Multiple-Choice Questions for Malaysian Secondary Mathematics Using Generative AI
Fakulti Komputeran dan Meta-Teknologi (META), Universiti Pendidikan Sultan Idris(计算机与元技术学院(META),苏丹依德里斯教育大学)
本文提出并比较四种基于GPT-4o的流水线,用于生成马来语初一数学选择题,采用RAG方法显著提升课程对齐与事实准确性,并引入RAG-QA评估技术。
2025-08-06 cs.AI cs.CL
Towards Automated Situation Awareness: A RAG-Based Framework for Peacebuilding Reports
Anonymous Submission(匿名提交)
针对人工分析海量异构态势数据易延误的问题,提出基于动态RAG的和平建设报告自动生成系统,搭配三级评估框架保障质量,经多场景验证有效,且代码工具已开源。
2025-05-14 cs.CL cs.CY
Automated Evaluation of Retrieval-Augmented Language Models with Task-Specific Exam Generation
AWS AI Labs(亚马逊云科技人工智能实验室)
提出基于任务特定考试生成的RAG自动化评估方法,利用IRT优化考试,发现检索算法选择比模型规模更影响性能。
2024-05-22 cs.CL cs.IR
HoH: A Dynamic Benchmark for Evaluating the Impact of Outdated Information on Retrieval-Augmented Generation
State Key Lab of Cognitive Intelligence, University of Science and Technology of China(认知智能国家重点实验室,中国科学技术大学)
本文提出首个专门评估过时信息对RAG影响的动态基准HoH,通过token级差异算法与LLM流水线构建大规模时间知识问答数据集,实验证明过时信息会显著降低RAG准确性并可能误导模型生成有害输出,揭示了RAG面临的时间挑战。
2025-07-18 cs.AI cs.CL
Empirical Evaluation of PDF Parsing and Chunking for Financial Question Answering with RAG
University of Luxembourg(卢森堡大学);BNP Paribas(巴黎银行);BGL
本文通过金融领域基准测试,系统评估了多种PDF解析和分块策略对RAG系统在PDF理解中的性能影响,为构建鲁棒的RAG流程提供实践指导。
2026-04-13 cs.CL cs.IR
Language Models and Retrieval Augmented Generation for Automated Structured Data Extraction from Diagnostic Reports
Duke University(杜克大学);Duke University School of Medicine(杜克大学医学院);Duke Center for Artificial Intelligence in Radiology(杜克放射学人工智能中心)
本研究利用开放权重语言模型和检索增强生成,自动化提取放射学与病理学报告中的结构化临床信息,最佳模型准确率超98%和90%,验证了本地隐私保护下临床数据提取的可行性。
2024-09-18 cs.CL cs.IR cs.LG
RAGGED: Towards Informed Design of Scalable and Stable RAG Systems
Machine Learning Department, Carnegie Mellon University, Pittsburgh, USA(卡内基梅隆大学机器学习系);The Language Technologies Institute, Carnegie Mellon University, Pittsburgh, USA(卡内基梅隆大学语言技术研究所)
提出RAGGED框架系统评估RAG系统,发现阅读器对噪声的鲁棒性是决定其稳定性和可扩展性的关键,为优化检索深度和模型鲁棒性提供指导。
2025-07-16 cs.CL
Toward General Instruction-Following Alignment for Retrieval-Augmented Generation
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);School of Artificial Intelligence, Beijing University of Posts and Telecommunications(北京邮电大学人工智能学院)
针对检索增强生成(RAG)系统中指令遵循对齐评估与改进的研究空白,提出了自动化、可验证的合成流水线VIF-RAG及高质量数据集,并构建了FollowRAG基准,显著提升了大型语言模型在RAG场景下的指令遵循能力。
2024-10-12 cs.AI cs.CL cs.IR
LiveRAG: A diverse Q&A dataset with varying difficulty level for RAG evaluation
Technology Innovation Institute (TII)(技术创新研究所)
针对RAG系统评估需求,提出包含895个合成问答的LiveRAG公开基准,源自SIGIR'2025挑战赛数据集并补充真实答案等信息,通过IRT模型得出难度等得分,可支持系统评估与RAG研究推进。
2025-11-18 cs.CL cs.IR
Evaluating Factual Density in Multi-Source RAG: A Study in Medical AI Accuracy
NexusAgentics
针对标准RAG管道因专家盲视效应而忽视高密度事实证据的问题,提出事实密度(FD*)作为检索优化信号,通过概率事实性分析预处理和Z-score归一化消除长度偏差,在HealthFC基准上实现100%系统综述覆盖率。
2026-06-11 cs.CL cs.IR
EasyRAG: Efficient Retrieval-Augmented Generation Framework for Automated Network Operations
School of Computer Science and Engineering, Beihang University(北京航空航天大学计算机科学与工程学院)
本文提出EasyRAG框架,通过双路稀疏检索与LLM重排实现精准问答,具备无需微调、低显存易部署及高效推理加速等优势,在GLM4赛事中取得优异成绩。
2024-10-15 cs.AI cs.CL
A System for Comprehensive Assessment of RAG Frameworks
R&D Department, Eustema S.p.A.(欧斯特玛股份有限公司研发部门)
本文提出SCARF,一个模块化、黑盒、端到端的RAG框架综合评估系统,支持多种部署配置并生成详细性能报告,用于真实场景下RAG应用的系统化基准测试与比较。
2025-04-10 cs.AI cs.CL cs.LG
RAGWarrant: Evidence-Preserving Governance for RAG Policy Promotion Under Quality, Cost, Latency, and Risk Constraints
RAGWarrant提出一个开源推广控制框架,将RAG策略部署视为受质量、成本、延迟和风险约束的证据决策,通过规范化评估、门控和可审计决策实现安全发布。
2026-09-29 cs.AI cs.CL cs.LG
Leveraging In-Context Learning and Retrieval-Augmented Generation for Automatic Question Generation in Educational Domains
IIT Kharagpur(印度理工学院卡哈拉格普尔分校)
本研究提出结合上下文学习(ICL)与检索增强生成(RAG)的混合模型,利用GPT-4和BART在教育领域自动生成更符合上下文且教学法合理的问题,实验证明ICL与混合模型优于基线方法。
2025-01-29 cs.CL
HiFi-RAG: Hierarchical Content Filtering and Two-Pass Generation for Open-Domain RAG
Google(谷歌)
HiFi-RAG通过分层过滤和双阶段生成方法,在开放域RAG中提升答案生成质量,实现ROUGE-L和DeBERTaScore的显著提升。
2025-12-27 cs.AI cs.CL cs.IR
Prescriptive Agents based on RAG for Automated Maintenance (PARAM)
本文提出PARAM系统,将轴承振动频率数据序列化为自然语言并结合多智能体RAG检索维护知识,由Gemini生成结构化维护建议,实现从异常检测到可操作维护决策的智能支持。
2025-08-20 cs.AI cs.CL cs.LG
Evaluating the Robustness of Retrieval-Augmented Generation to Adversarial Evidence in the Health Domain
University of Waterloo(滑铁卢大学);Toronto Metropolitan University(多伦多 Metropolitan 大学)
该研究针对健康领域RAG系统易受检索证据中错误信息影响的漏洞,通过对照实验评估其鲁棒性,发现对抗性文档会大幅降低输出一致性,而有益证据可维持鲁棒性,为高风险领域安全RAG设计提供参考并公开了实验数据。
2025-09-04 cs.CL cs.IR
MSRS: Evaluating Multi-Source Retrieval-Augmented Generation
Yale University(耶鲁大学)
本文提出可扩展框架并构建MSRS-Story与MSRS-Meet基准,用于评估RAG系统跨多源检索、整合与长文本生成能力,实验揭示检索效果和推理模型对多源综合的关键影响。
2025-08-28 cs.CL
Más contexto no es mejor. Paradoja de la dilución vectorial en RAG corporativos
Humanizing Internet(人类化互联网)
该研究揭示了RAG中注入摘要导致向量稀释的问题,通过实验发现适度注入提升召回率但过度注入会降低精度,提出理论框架优化注入比例。
2025-12-23 cs.AI cs.CL
SMARTFinRAG: Interactive Modularized Financial RAG Benchmark
Khoury College of Computer Science(科里学院计算机科学学院);Northeastern University(东北大学)
SMARTFinRAG是一个模块化金融RAG基准,通过动态组件互换、文档中心评估和直观界面,解决金融RAG评估中的关键缺口,并量化配置间性能差异。
2025-04-25 cs.CE cs.CL cs.IR