OmniBench-RAG: A Multi-Domain Evaluation Platform for Retrieval-Augmented Generation Tools
Huazhong University of Science(华中科技大学)
针对RAG评估缺乏多领域覆盖和标准化框架的问题,提出OmniBench-RAG自动化平台,通过改进和转换两个指标,在九个领域评估RAG性能,揭示其效果因领域而异,强调系统化评估的重要性。
2025-07-26 cs.AI cs.IR
Automated Generation of Curriculum-Aligned Multiple-Choice Questions for Malaysian Secondary Mathematics Using Generative AI
Fakulti Komputeran dan Meta-Teknologi (META), Universiti Pendidikan Sultan Idris(计算机与元技术学院(META),苏丹依德里斯教育大学)
本文提出并比较四种基于GPT-4o的流水线,用于生成马来语初一数学选择题,采用RAG方法显著提升课程对齐与事实准确性,并引入RAG-QA评估技术。
2025-08-06 cs.AI cs.CL
Beyond Vector Similarity: Hierarchical Context-Aware Graph RAG vs Standard RAG in Enterprise Code Migration
Google Cloud(谷歌云)
针对企业代码迁移中标准RAG无法捕获拓扑关系导致编译失败的问题,提出分层上下文驻留图(HCRG)方法,利用AST、属性图和上下文缓存实现父级优先翻译,显著降低API幻觉率并提升依赖解析质量,为代码库现代化提供更优路径。
2026-09-14 cs.AI
EasyRAG: Efficient Retrieval-Augmented Generation Framework for Automated Network Operations
School of Computer Science and Engineering, Beihang University(北京航空航天大学计算机科学与工程学院)
本文提出EasyRAG框架,通过双路稀疏检索与LLM重排实现精准问答,具备无需微调、低显存易部署及高效推理加速等优势,在GLM4赛事中取得优异成绩。
2024-10-15 cs.AI cs.CL
Can LLMs Be Trusted for Evaluating RAG Systems? A Survey of Methods and Datasets
Department of Computer Science University of Innsbruck(计算机科学系因斯布鲁克大学)
本综述系统回顾63篇文献,探讨利用LLM自动化评估RAG各组件(数据集、检索器、索引、生成器)的可行性,强调领域数据集构建,并讨论自动化与人工评估的平衡,以提升评估严谨性。
2025-05-01 cs.AI cs.IR
RAG-Verus: Repository-Level Program Verification with LLMs using Retrieval Augmented Generation
University of Toronto(多伦多大学)
针对现有函数中心方法忽略的跨模块依赖与全局上下文挑战,提出RagVerus框架,结合检索增强生成与上下文感知提示实现多模块仓库自动证明合成,在新RepoVBench基准获27%相对提升,受限预算下将现有基准证明通过率提高三倍。
2025-02-07 cs.AI cs.SE
Prescriptive Agents based on RAG for Automated Maintenance (PARAM)
本文提出PARAM系统,将轴承振动频率数据序列化为自然语言并结合多智能体RAG检索维护知识,由Gemini生成结构化维护建议,实现从异常检测到可操作维护决策的智能支持。
2025-08-20 cs.AI cs.CL cs.LG
Toward General Instruction-Following Alignment for Retrieval-Augmented Generation
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);School of Artificial Intelligence, Beijing University of Posts and Telecommunications(北京邮电大学人工智能学院)
针对检索增强生成(RAG)系统中指令遵循对齐评估与改进的研究空白,提出了自动化、可验证的合成流水线VIF-RAG及高质量数据集,并构建了FollowRAG基准,显著提升了大型语言模型在RAG场景下的指令遵循能力。
2024-10-12 cs.AI cs.CL cs.IR
Towards Query-Agnostic RAG Evaluation via Query Coverage and Claim Verifiability
本文提出Q-CARE框架,通过分解查询与答案实现RAG的细粒度评估,在8个数据集的基准测试中,其评估结果与人工判断的相关性优于现有4种RAG评估指标。
2026-09-01 cs.AI
LLM-Assisted Proactive Threat Intelligence for Automated Reasoning
Arizona State University(亚利桑那州立大学);National Renewable Energy Laboratory(国家可再生能源实验室)
本研究提出结合GPT-4o与RAG技术,利用Patrowl框架实时检索CVE等威胁情报并在Milvus中存储向量,显著提升了系统对新披露漏洞和高危CVE的检测响应能力。
2025-04-01 cs.AI cs.CR
AI Act Evaluation Benchmark: An Open, Transparent, and Reproducible Evaluation Dataset for NLP and RAG Systems
本文提出了一种开放透明的数据集,用于评估NLP和RAG系统在欧盟AI法案下的合规性,通过生成风险等级分类等任务提升评估效率。
2026-03-10 cs.AI
RAG-based Explainable Prediction of Road Users Behaviors for Automated Driving using Knowledge Graphs and Large Language Models
University of Alcalá(阿尔卡拉大学)
本文提出一种结合知识图谱推理、贝叶斯推理与大型语言模型表达能力的RAG可解释预测系统,用于自动驾驶中行人过街和车道变更行为预测,并在提前预测时间和F1-score上超越现有最优方法。
2024-05-01 cs.AI cs.CL cs.IR
Adopting RAG for LLM-Aided Future Vehicle Design
Technical University of Munich(慕尼黑工业大学)
本文探索将 LLM 与 RAG 结合以提升汽车行业的自动化设计与软件开发,通过构建合规聊天机器人和设计副驾驶并评估四个模型,发现 GPT-4 表现最优,而 LLAMA3 和 Mistral 适合本地部署以解决数据隐私问题。
2024-11-14 cs.AI cs.SE
Automating Multi-Hop RAG Evaluation via TRIAD: From Context Extraction to Validated Dataset Generation
University of Innsbruck(因斯布鲁克大学)
本文提出TRIAD三阶段自动化多跳RAG评估数据集生成方法,经与MuSiQue、HotpotQA对比验证,该生成数据集可有效评估特定领域RAG系统性能,相关代码与验证结果已公开。
2026-08-25 cs.AI cs.CL
RAG-X: Systematic Diagnosis of Retrieval-Augmented Generation for Medical Question Answering
Oakland University(奥克兰大学)
RAG-X通过系统性诊断框架,评估检索和生成过程,揭示问答系统中的隐藏失败模式,提升医疗问答的准确性和可靠性。
2026-03-03 cs.AI cs.CL
OntoRAG: Enhancing Question-Answering through Automated Ontology Derivation from Unstructured Knowledge Bases
ABB Ability Innovation Center(ABB能力创新中心)
本文提出OntoRAG自动化流程,从非结构化知识库中派生本体,通过结合LLM与图方法增强问答系统的全面性和多样性,并在电气继电器文档上优于传统RAG和GraphRAG。
2025-05-31 cs.AI cs.LG
Enhancing Scientific Reproducibility Through Automated BioCompute Object Creation Using Retrieval-Augmented Generation from Publications
GW School of Medicine and Health Sciences(乔治·华盛顿大学医学与健康科学学院);The George Washington University(乔治·华盛顿大学)
本文提出一种基于检索增强生成和大型语言模型的BCO助手工具,通过两遍检索与重排序从论文和代码库中自动提取信息生成BCO文档,解决LLM幻觉等问题,显著降低生物信息学研究合规文档创建的时间与精力,提升科学可重复性。
2024-09-23 cs.AI cs.CL q-bio.OT
A System for Comprehensive Assessment of RAG Frameworks
R&D Department, Eustema S.p.A.(欧斯特玛股份有限公司研发部门)
本文提出SCARF,一个模块化、黑盒、端到端的RAG框架综合评估系统,支持多种部署配置并生成详细性能报告,用于真实场景下RAG应用的系统化基准测试与比较。
2025-04-10 cs.AI cs.CL cs.LG
Beyond-RAG: Question Identification and Answer Generation in Real-Time Conversations
Arizona State University(亚利桑那州立大学);Minerva CQ
针对RAG在实时对话中的局限,提出Beyond-RAG决策支持系统,可实时识别客户问题并匹配FAQ或用RAG生成答案,部署后提升效率、缩短AHT,还能自动化识别历史FAQ。
2026-09-03 cs.AI cs.CL
Benchmarking LLM Faithfulness in RAG with Evolving Leaderboards
University of Waterloo(滑铁卢大学);Vectara(Vectara公司);Iowa State University(爱荷华州立大学);Stanford University(斯坦福大学)
本文提出FaithJudge框架,利用人工标注幻觉示例改进RAG中LLM幻觉的自动评估,并构建增强型排行榜,在摘要、问答和数据到文本任务上更可靠地基准测试LLM忠实度。
2025-11-06 cs.AI cs.CL
PennySynth: RAG-Driven Data Synthesis for Automated Quantum Code Generation
eBRAIN Lab, Division of Engineering, New York University Abu Dhabi (NYUAD)(eBRAIN实验室,工程系,纽约大学阿布扎比分校);Center for Quantum and Topological Systems (CQTS), NYUAD Research Institute(量子与拓扑系统中心(CQTS),NYUAD研究所);Department of Computer Science and Engineering, NYU Tandon School of Engineering(计算机科学与工程系,纽约大学坦顿工程学院)
提出PennySynth框架,通过检索增强生成和代码感知嵌入,利用13,389个PennyLane指令-代码对数据集,在QHack竞赛中实现52%-68%的pass@5,显著提升量子代码生成的结构有效性和功能正确性。
2026-07-24 cs.AI cs.CL
Assessing the Performance of Human-Capable LLMs -- Are LLMs Coming for Your Job?
Luxembourg Tech School A.s.b.l.(卢森堡技术学校A.s.b.l.)
本文提出并验证了SelfScore基准,用于评估自动化LLM智能体在帮助台任务中的表现,发现结合RAG的LLM智能体优于未结合者且均超过人类对照组,引发对人类工作被取代的伦理关注。
2024-10-05 cs.AI cs.CL cs.CY
The Hidden Threat in Plain Text: Attacking RAG Data Loaders
University of Padua(帕多瓦大学)
本文揭示了 RAG 数据加载阶段的安全漏洞,提出 9 类投毒攻击分类法及内容混淆与注入两种新型威胁向量,并通过自动化工具在多种数据加载器和端到端 RAG 系统上验证了高成功率攻击,呼吁加强文档摄取安全。
2025-07-07 cs.AI cs.CR
Towards the Development of an LLM-Based Methodology for Automated Security Profiling in Compliance with Ukrainian Cybersecurity Regulations
National Technical University of Ukraine “Igor Sikorsky Kyiv Polytechnic Institute”(乌克兰国立技术大学“伊戈尔·西科尔斯基基辅理工学院”)
本文探讨将国际最佳实践整合到国家监管体系中,提出利用大语言模型实现自动化安全配置的方法,以应对高密度混合威胁环境下的网络安全挑战。
2026-04-07 cs.AI cs.CR
Automated Conversion of Static to Dynamic Scheduler via Natural Language
School of Computing and Information Systems, Singapore Management University(新加坡管理大学计算与信息系统学院)
针对静态调度模型需专家修改且难应对环境扰动的问题,提出基于 RAG 的 RAGDyS,利用 LLM 依据自然语言约束自动生成动态调度代码。
2024-05-08 cs.AI cs.CL
NeuSym-RAG: Hybrid Neural Symbolic Retrieval with Multiview Structuring for PDF Question Answering
MoE Key Lab of Artificial Intelligence(摩尔电子关键实验室);X-LANCE Lab, School of Computer Science, Shanghai Jiao Tong University(X-LANCE实验室,计算机科学学院,上海交通大学);Jiangsu Key Lab of Language Computing(江苏语言计算重点实验室);AISpeech Co., Ltd.(AISpeech公司);Suzhou Laboratory(苏州实验室)
提出NeuSym-RAG混合神经符号检索框架,通过多视图分块和模式解析将PDF内容组织进关系数据库与向量库,支持LLM代理迭代收集上下文生成答案,在多个PDF问答数据集上稳定击败基线。
2025-05-31 cs.AI cs.CL
Retina-RAG: Retrieval-Augmented Vision-Language Modeling for Joint Retinal Diagnosis and Clinical Report Generation
Friedrich-Alexander-Universität(弗里德里希-亚历山大大学)
Retina-RAG通过整合高精度视网膜分类器和参数高效视觉语言模型,实现糖尿病视网膜病变分级、黄斑水肿检测及报告生成,优于现有方法,且在单块消费级GPU上运行。
2026-05-08 cs.AI cs.CV
RAGdb: A Zero-Dependency, Embeddable Architecture for Multimodal Retrieval-Augmented Generation on the Edge
SKAS IT
RAGdb通过单文件SQLite容器实现多模态检索增强生成,无需GPU推理,提升边缘计算效率与数据主权
2025-12-09 cs.AI cs.IR
Augmenting Large Language Models with Static Code Analysis for Automated Code Quality Improvements
Faculty of Engineering(工程学院);Applied Science Ontario Tech University(应用科学奥瑞冈科技大学)
本研究将大语言模型与静态代码分析、检索增强生成结合,配套定制代码比对工具缓解幻觉问题,实现自动化代码问题检测与修订,有效提升代码质量、简化开发流程并降低资源消耗。
2025-06-12 cs.AI cs.SE
An Automated Retrieval-Augmented Generation LLaMA-4 109B-based System for Evaluating Radiotherapy Treatment Plans
Mayo Clinic Arizona(梅奥诊所亚利桑那分校)
本文提出基于 LLaMA-4 109B 的 RAG 放疗计划评估系统,融合检索、百分位预测与约束检查模块,在614份计划上实现端到端100%一致。
2025-09-29 cs.AI
Revisiting Vul-RAG: Reproducibility and Replicability of RAG-based Vulnerability Detection with Open-Weight Models
Institute for Secure Networked Systems, Esslingen University(安全网络系统研究所,埃斯林根大学);Institute for Intelligent Systems, Esslingen University(智能系统研究所,埃斯林根大学)
本研究通过本地部署和多种开放权重模型,复现并扩展了Vul-RAG框架,发现其性能存在约0.30成对准确率的上限,且模型能力提升无法显著改善性能。
2026-06-03 cs.AI cs.SE
The RAT: A Unified Bayesian Model for RAG Evaluation
Centre for Artificial Intelligence(人工智能中心);ZHAW School of Engineering(苏黎世应用科技大学工程学院)
针对RAG系统评估的不足,提出RAT统一贝叶斯框架,联合建模多维度指标,通过27种配置验证其能揭示系统差异,还分析了注释分配并扩展模型以结合人工与自动评估。
2026-08-26 cs.AI cs.CL
LLM as HPC Expert: Extending RAG Architecture for HPC Data
University of New South Wales(新南威尔士大学);NVIDIA(英伟达)
本文提出 HyCE 方法,通过集成实时用户特定 HPC 数据扩展 RAG 架构,增强 LLM 作为 HPC 专家的可访问性,并解决安全与评估问题。
2024-12-09 cs.AI cs.DC
Rethinking Evaluation for LLM Hallucination Detection: A Desiderata, A New RAG-based Benchmark, New Insights
Amazon(亚马逊公司);Carnegie Mellon University(卡内基梅隆大学)
本文提出了一种基于RAG的新型基准T RIVIA+,填补了现有基准在长上下文和噪声标签方面的空白,并通过实验揭示了当前检测器在RAG基准上的改进空间。
2026-05-11 cs.AI
AutoSec-RAN: Specification-Grounded LLM Fine-Tuning for Automated Security Analysis of O-RAN
Mississippi State University(密西西比州立大学)
AutoSec-RAN是基于规范的LLM框架,通过两阶段LoRA微调Mistral-7B-Instruct并结合RAG,在5G/O-RAN测试床的313项评估中获平均总分0.713,为O-RAN自动化安全分析提供可行方案。
2026-10-14 cs.AI cs.CR eess.SP
An automatic patent literature retrieval system based on LLM-RAG
Belarusian State University(白俄罗斯国立大学);Uber Technologies, Inc.(优步技术公司);Stanford University(斯坦福大学)
针对传统专利检索方法的局限性,本研究提出基于LLM-RAG的自动专利检索框架,通过标准化预处理、LLM嵌入向量检索及RAG增强查询模块,在Google Patents数据集上实现80.5%准确率和92.1%召回率,较基线提升28个百分点,为智能专利检索提供有效方案。
2025-08-11 cs.AI cs.IR
Structure Over Scale: Schema-Constrained Causal Graphs for RAG
Boston Consulting Group(波士顿咨询集团)
研究针对GraphRAG问题,提出HCG-RAG,用模式约束因果图取代开放式提取,构建紧凑两层图。该方法成本低,答案质量优,在医学等基准测试中表现出色,对比实验显示因果图作为检索过滤器有优势,表明图内容比节点数量更重要。
2026-07-28 cs.AI cs.CL cs.IR
LLM Readiness Harness: Evaluation, Observability, and CI Gates for LLM/RAG Applications
Lumytics
本文提出了一种LLM和RAG应用的准备性框架,通过自动化基准测试、OpenTelemetry可观测性和持续集成质量门禁,将评估转化为部署决策流程,并通过帕累托前沿计算场景加权的准备度分数,展示了在票务路由工作流和BEIR接地任务上的评估结果。
2026-05-21 cs.AI cs.CL cs.SE
Automatic Building Code Review: A Case Study
Pacific Northwest National Laboratory(太平洋西北国家实验室);University of Wyoming(怀俄明大学)
针对人工建筑规范审查效率低、成本高的问题,提出融合BIM数据提取与RAG、MCP智能体流水线的自动化审查框架,经测试验证其可靠性与可落地性,推动ACR研究发展。
2025-10-03 cs.AI cs.SE
Brick-DICL: Dynamic In-Context Learning for Automated Brick Schema Classification
Amazon AWS Generative AI Innovation Center(亚马逊AWS生成式AI创新中心)
提出Brick-DICL两阶段动态上下文学习框架,通过元数据检索和类别检索增强大语言模型领域知识,结合多模型过滤机制,实现楼宇管理系统点位的自动化Brick分类,显著提升准确率并减少人工验证。
2026-06-17 cs.AI
Evidence-backed Fact Checking using RAG and Few-Shot In-Context Learning with LLMs
IIT Kharagpur(印度理工学院克勒格布尔分校);Aditya English Medium School(阿迪蒂亚英语中学);UCLA(加利福尼亚大学洛杉矶分校);Stanford University(斯坦福大学);University of South Carolina(南卡罗来纳大学);Amazon GenAI(亚马逊生成式AI部门)
针对社交媒体错误信息泛滥、人工核查困难的问题,提出结合RAG流水线与LLM少样本上下文学习的自动化事实核查系统,可输出真实性判断及支撑证据,在Averitec数据集上较基线得分提升22%。
2024-10-04 cs.AI cs.CL
Automated Summarization of Financial News Using Large Language Models and Retrieval-Augmented Generation: An Early Empirical Study (Fall 2023)
George Washington University(乔治·华盛顿大学)
该2023年秋的研究构建了结合LLM与RAG的财经新闻摘要流程,测试多种模型与方法,发现Summarize Chains的Falcon-7B表现最优,RAG存在缺陷,且相关失效模式至今仍具参考价值。
2026-08-21 cs.AI cs.CL cs.IR
Intent2Tc: Automated Intent-to-Traffic Control Translation with Language Models
University of Ottawa(渥太华大学);University of Bologna(博洛尼亚大学)
Intent2Tc利用语言模型和数字孪生、RAG等技术,将业务级流量整形意图自动翻译为可执行的Linux tc配置,在RFC 9315意图上实现高语义保真度与配置准确性。
2026-09-28 cs.AI cs.CL cs.NI
An Empirical Evaluation of LLM-Based Approaches for Code Vulnerability Detection: RAG, SFT, and Dual-Agent Systems
Department of Electrical, Computer, and Software Engineering(电气、计算机与软件工程系);Ontario Tech University(安大略技术大学)
本文通过实证评估,比较了RAG、SFT和双智能体系统在代码漏洞检测中的有效性,发现RAG在准确率和F1分数上表现最佳,SFT和双智能体系统也展示了良好的性能,证明了领域专业知识对LLM在实际漏洞检测中的重要性。
2026-01-01 cs.AI cs.SE
Rethinking and Exploring String-Based Malware Family Classification in the Era of LLMs and RAG
University of Oregon(俄勒冈大学);City University of Hong Kong(香港城市大学);Sun Yat-sen University(中山大学);Calvin University(加州学院)
本文探索在大语言模型与RAG时代利用传统二进制字符串特征(家族特定字符串)进行恶意软件家族分类,通过覆盖67个家族、4,347个样本的评估框架和消融研究,验证了该方法的可行性并量化了各模块的改进效果。
2025-10-26 cs.AI cs.CR cs.SE
From Code Generation to Software Testing: AI Copilot with Context-Based RAG
Nanyang Technological University(南洋理工大学);City University of Hong Kong(香港城市大学)
本文将缺陷检测与低缺陷编码统一为有限资源下的减错问题,提出基于上下文 RAG 的自动化测试系统 Copilot for Testing,使缺陷检测与代码库更新同步,并在准确率、覆盖率和用户接受率上取得显著提升。
2025-04-05 cs.AI cs.PL cs.SE
Retrieval-Augmented Generation in Industry: An Interview Study on Use Cases, Requirements, Challenges, and Evaluation
University of Innsbruck(因斯布鲁克大学);CASABLANCA hotelsoftware(CASABLANCA酒店软件公司)
本研究通过对13名行业从业者开展半结构化访谈,调研工业场景下RAG的落地现状,梳理其用例、需求、挑战与评估方法的实际特征。
2025-08-11 cs.AI cs.IR
SteLLA: A Structured Grading System Using LLMs with RAG
Department of Computer Science Fitchburg State University(弗itchburg州立大学计算机科学系);Department of Computer Science University of Massachusetts Boston(马萨诸塞大学波士顿分校计算机科学系);Chantilly High School(chantilly高中)
本研究提出SteLLA系统,结合RAG与结构化问答评估,实现自动简答题评分,在真实生物学考试数据上与人工评分高度一致,并提供细粒度反馈。
2025-01-15 cs.AI cs.CL cs.CY
Taxonomic Reasoning for Rare Arthropods: Combining Dense Image Captioning and RAG for Interpretable Classification
University of Guelph(圭尔夫大学);Vector Institute for AI(矢量人工智能研究所);Centre for Biodiversity Genomics(生物多样性基因组学中心)
本文提出融合密集图像描述、RAG 与 LLM 的可解释节肢动物分类流程,利用外部分类学文本提升稀有类群识别准确性并降低过度自信。
2025-03-13 cs.AI cs.CV cs.IR
TrafficRAG: A Multimodal RAG Framework for Traffic Accident Liability Determination
Southwest Petroleum University(西南石油大学);Sichuan Police College(四川警察学院)
提出TrafficRAG框架,通过视觉语言模型生成结构化描述、混合检索获取法规和案例、大语言模型融合多模态证据进行推理,实现自动化交通事故责任分析报告生成。
2026-06-01 cs.AI
Exploring Structural Complexity in Normative RAG with Graph-based approaches: A case study on the ETSI Standards
Department of Electrical, Computer and Biomedical Engineering, University of Pavia(帕维亚大学电气、计算机与生物医学工程系);Comitato Elettrotecnico Italiano (CEI)(意大利电工委员会(CEI))
本文探讨了基于图的方法在处理规范性文档中的有效性,通过ETSI标准案例研究,提出了一种专为规范性文档设计的RAG方法,以提升检索性能。
2026-01-31 cs.AI cs.CL cs.IR
A Graph-Based Approach for Mapping Kernel-Level Telemetry to MITRE ATT&CK
University of Calabria(卡拉布里亚大学)
提出Trace2ATT&CK方法,利用eBPF收集内核事件构建溯源图,结合LLM与RAG映射到MITRE ATT&CK,在347个测试上验证了图表示和RAG的优越性,实现不泄露数据的自动化映射。
2026-11-10 cs.AI cs.CR
GenAI-powered Multi-Agent Paradigm for Smart Urban Mobility: Opportunities and Challenges for Integrating Large Language Models (LLMs) and Retrieval-Augmented Generation (RAG) with Intelligent Transportation Systems
Oak Ridge National Laboratory(橡树岭国家实验室);University of Washington(华盛顿大学);Texas A&M University(德克萨斯农工大学)
本文提出将大语言模型与检索增强生成集成到智能交通系统中,构建对话式多智能体框架,以克服传统规则系统的局限,实现交通拥堵、事故和碳排放的科学化治理与自动化管理。
2024-09-04 cs.AI cs.SE
LSPRAG: LSP-Guided RAG for Language-Agnostic Real-Time Unit Test Generation
Tsinghua University(清华大学);East China Normal University(华东师范大学);Tencent(腾讯)
LSPRAG通过利用语言服务器协议实现实时语言无关单元测试生成,显著提高了测试覆盖率。
2026-03-02 cs.AI cs.SE