Retrieval-Augmented Test Generation: How Far Are We?
York University(约克大学)
本研究探索RAG在ML/DL API单元测试生成中的应用,评估多种知识来源和LLM,发现RAG平均提升行覆盖率6.5%,并能检测新缺陷,凸显其提升测试覆盖率的潜力。
2025-10-16 cs.AI cs.SE
RAG-X: Systematic Diagnosis of Retrieval-Augmented Generation for Medical Question Answering
Oakland University(奥克兰大学)
RAG-X通过系统性诊断框架,评估检索和生成过程,揭示问答系统中的隐藏失败模式,提升医疗问答的准确性和可靠性。
2026-03-03 cs.AI cs.CL
Class-RAG: Real-Time Content Moderation with Retrieval Augmented Generation
Meta
提出Class-RAG方法,利用可动态更新的检索库扩展基础LLM能力以实现实时内容审核,相比模型微调展现出更高的灵活性、透明度与鲁棒性,且性能随检索库规模扩展。
2024-12-17 cs.AI cs.CL
Athena: Retrieval-augmented Legal Judgment Prediction with Large Language Models
State Key Lab Intelligent Vehicle Safty Technol(智能车辆安全技术国家重点实验室);Chongqing Changan Automobile Co Ltd(重庆长安汽车股份有限公司);Law School, Peking University(北京大学法学院)
针对法律判决预测中检索增强生成(RAG)研究不足的问题,提出Athena框架,通过构建指控知识库与向量化语义检索机制作为核心预处理组件,显著提升了LLMs在CAIL2018数据集上的性能,最高准确率达95%。
2024-10-15 cs.AI cs.CL
Git-Assistant: Planning-Based Support for Updating Git Repositories
AI Research, JPMorganChase(人工智能研究,摩根大通)
研究针对git工具对开发者有挑战的问题,提出结合大语言模型与自动规划的Git-Assistant,经合成和随机git环境评估,证明该方法能提升仓库管理可靠性、减少错误,展现混合人工智能方法在开发者辅助上的潜力。
2026-09-21 cs.AI cs.CL cs.SE
A Comparison of Conversational Models and Humans in Answering Technical Questions: the Firefox Case
Pontifical Catholic University(天主教大学);Mozilla Corporation(Mozilla公司);Federal University of Rio de Janeiro(里约热内卢联邦大学);Oregon State University(俄勒冈州立大学);Northern Arizona University(北亚利桑那大学)
本研究通过Mozilla Firefox真实查询对比人类、标准GPT与RAG增强GPT的回答,发现RAG回答更全面且帮助性相近,但不够简洁,表明其有潜力减轻开源维护者负担。
2025-10-24 cs.AI cs.SE
DIRAS: Efficient LLM Annotation of Document Relevance in Retrieval Augmented Generation
ETH Zurich(苏黎世联邦理工学院);University of Zurich(苏黎世大学);Swiss Finance Institute (SFI)(瑞士金融研究所);University of Electronic Science and Technology of China(电子科技大学)
针对RAG中领域特定查询的相关性标注挑战,提出DIRAS方案,通过微调开源LLM实现无需人工标注的细致相关性标注与评分,使8B模型达到GPT-4级性能,助力实际RAG开发。
2025-01-23 cs.AI cs.CL cs.IR
An Empirical Study of Proactive Coding Assistants in Real-World Software Development
College of AI, Tsinghua University(清华大学人工智能学院);Fitten Tech Co., Ltd.(Fitten科技有限公司)
本文通过大规模实证研究,分析了模拟与现实数据在主动意图预测中的差异,提出ProCodeBench基准,并指出模拟数据无法替代真实数据。
2026-05-07 cs.AI cs.SE
Never Come Up Empty: Adaptive HyDE Retrieval for Improving LLM Developer Support
Queen's University(皇后大学);Royal Military College of Canada(加拿大皇家军事学院)
本文构建了超300万条Stack Overflow帖子的检索语料库,系统评估了63种RAG流水线变体,提出结合HyDE与完整答案上下文的自适应检索方法,并在4个开源LLM上验证其一致优于零样本基线。
2025-07-22 cs.AI cs.SE
A Library of LLM Intrinsics for Retrieval-Augmented Generation
IBM Research(IBM研究院)
本文提出面向检索增强生成的LLM内建函数库,以稳定API封装可复用能力,并通过LoRA适配器与vLLM接口发布,支持大规模协作与组合使用。
2025-07-20 cs.AI
THELMA: Task Based Holistic Evaluation of Large Language Model Applications-RAG Question Answering
Amazon.com Services Inc.(亚马逊公司)
本文提出无参考评估框架THELMA,通过六个相互依赖的指标对RAG问答应用进行整体细粒度评估,并利用指标间关系定位需改进的RAG组件。
2025-06-03 cs.AI cs.CL
Model-Driven Quantum Code Generation Using Large Language Models and Retrieval-Augmented Generation
Department of Computer Science University of Colorado Colorado Springs (UCCS)(计算机科学系 佛罗里达大学科罗拉多州春分校)
本文提出利用大语言模型和检索增强生成技术,通过UML模型生成量子代码,提升量子计算代码的准确性和一致性。
2025-08-28 cs.AI cs.SE
Action Engine: Automatic Workflow Generation in FaaS
University of North Texas (UNT)(北卡罗来纳州立大学)
针对云原生开发者构建FaaS工作流的专业知识、平台依赖等挑战,本文提出核心为工具增强LLM的Action Engine机制,可自动生成并执行FaaS工作流,填补工具增强LLM研究空白,且性能与少样本学习相当、保持平台和语言无关性。
2025-08-20 cs.AI cs.DC cs.LG
RAPGen: An Approach for Fixing Code Inefficiencies in Zero-Shot
Microsoft Corporation(微软公司)
本文提出RAPGen,通过检索历史性能缺陷修复知识生成提示并驱动LLM零样本修复代码低效问题,实验显示其约60%建议达到或超过开发者水平。
2025-01-09 cs.AI cs.SE
ImportSnare: Directed "Code Manual" Hijacking in Retrieval-Augmented Code Generation
The University of Hong Kong(香港大学)
本文提出ImportSnare攻击框架,利用投毒文档劫持检索增强代码生成,通过位置感知束搜索和多语言归纳建议提升恶意依赖推荐,实验显示对流行库攻击成功率超50%,揭示供应链风险。
2025-09-09 cs.AI cs.CR
Retrieval Augmented Generation Integrated Large Language Models in Smart Contract Vulnerability Detection
San Francisco State University(旧金山州立大学)
本研究将检索增强生成与大语言模型结合,构建RAG-LLM流水线用于智能合约漏洞检测,在引导和盲审设置下分别取得62.7%和60.71%的成功率,为低成本审计提供概念验证。
2024-07-20 cs.AI cs.CR
RAGExplorer: A Visual Analytics System for the Comparative Diagnosis of RAG Systems
State Key Lab of CAD&CG, Zhejiang University(CAD与CG国家重点实验室,浙江大学);School of Computing, National University of Singapore(computing学院,新加坡国立大学);Zhejiang University(浙江大学)
RAGExplorer是一种用于RAG系统比较诊断的可视化分析系统,通过宏观到微观的工作流程帮助开发者理解性能权衡并优化设计。
2026-02-15 cs.CL cs.HC
Unified Tool Integration for LLMs: A Protocol-Agnostic Approach to Function Calling
针对工具增强型LLM生态碎片化问题,提出与协议无关的统一工具集成方法,通过自动化模式生成、双模式并发执行等实现60-80%代码缩减及3.1倍性能提升,兼容现有标准。
2025-08-05 cs.AI cs.CL cs.LG
The Productivity-Reliability Paradox: Specification-Driven Governance for AI-Augmented Software Development
School of Architecture, Computing and Engineering(建筑、计算与工程学院)
本文探讨AI辅助软件开发中生产力与可靠性矛盾现象,提出规范驱动治理模型,通过文献综述定义悖论因素,并评估规范工具的有效性。
2026-05-01 cs.AI cs.SE
Fairness Testing in Retrieval-Augmented Generation: How Small Perturbations Reveal Bias in Small Language Models
Faculty of Computing - Federal University of Mato Grosso do Sul(计算机学院 - 短暂戈亚那联邦大学)
本研究通过蜕变测试对三款接入RAG流水线的小语言模型开展公平性测试,发现微小人口统计扰动最多可致三分之一蜕变关系失效,种族扰动是主要诱因,强调需管控RAG检索组件以避免偏见放大。
2025-09-30 cs.AI cs.IR cs.LG
Automated Customization of LLMs for Enterprise Code Repositories Using Semantic Scopes
IBM Research Yorktown Heights New York, USA(IBM研究院扬斯敦高地新 York 美国)
本文提出基于语义范围的LLM企业代码仓库自动化定制方法,通过RAG和FT策略提升代码生成精度,提高开发者生产力。
2026-02-05 cs.AI cs.SE
Methodological Framework for Quantifying Semantic Test Coverage in RAG Systems
针对RAG系统测试集缺乏知识库覆盖度量化方法的问题,提出基于向量嵌入与聚类的语义覆盖率量化框架,可计算多类指标、过滤无关问题,实验验证其能有效评估覆盖度并辅助优化测试集。
2025-08-13 cs.AI cs.LG cs.SE
Knowledge-Augmented Reasoning for EUAIA Compliance and Adversarial Robustness of LLMs
fortiss Research Institute of the Free State of Bavaria(巴伐利亚自由州fortiss研究所);IBM Research Europe(IBM欧洲研究院)
本文提出一种功能架构,通过引入基于知识增强的推理层,桥接文献推荐的检测层与法律要求的报告层,解决 LLM 在 EUAIA 合规性与对抗鲁棒性上的重复建设问题,为在欧盟部署兼具合规与鲁棒的可信赖 LLM 指明新方向。
2024-10-04 cs.AI cs.CL cs.CY
Are LLMs Correctly Integrated into Software Systems?
East China Normal University(华东师范大学);The University of Tokyo(东京大学);University of Alberta(阿尔伯塔大学)
针对LLM与RAG集成到软件系统时面临的接口、需求及管理挑战,本文通过研究100个相关开源应用识别18种缺陷模式,发现77%应用存在三类以上缺陷,进而提出系统指南并构建缺陷库Hydrangea。
2025-02-08 cs.AI cs.SE
A Reasoning-Focused Legal Retrieval Benchmark
Stanford University(斯坦福大学);Princeton University(普林斯顿大学)
本文针对法律RAG系统缺乏现实基准的问题,提出Bar Exam QA和Housing Statute QA两个新基准,并通过实验表明法律RAG仍具挑战性,为未来研究提供方向。
2025-05-06 cs.CL
Self-Improving Customer Review Response Generation Based on LLMs
Intel Corporation(英特尔公司)
本文提出 SCRABLE 系统,利用 RAG 与大语言模型并结合自优化提示和自动评分机制,实现客户评论自动回复,实验显示回复质量较基线提升超过 8.5%。
2024-05-06 cs.AI cs.CL
ImproBR: Bug Report Improver Using LLMs
Bilkent University(比尔肯特大学)
ImproBR通过结合DistilBERT、启发式分析和LLM分析,提升bug报告的结构完整性、可执行性及可复现性,显著提高质量。
2026-04-28 cs.AI cs.SE
A Contemporary Overview: Trends and Applications of Large Language Models on Mobile Devices
本文综述了大型语言模型在移动设备上的发展趋势与应用,探讨了其在语音助手、实时翻译等领域的潜力及对智能设备和物联网的推动作用。
2026-03-01 cs.AI
Natural Language Generation and Understanding of Big Code for AI-Assisted Programming: A Review
City University of Hong Kong(香港城市大学);University of Adelaide(阿德莱德大学);Nanyang Technological University(南洋理工大学)
本文综述了基于大代码训练的Transformer大语言模型在AI辅助编程中的应用,涵盖代码生成、补全、翻译等任务,并探讨了融合NLP技术与软件自然性的挑战与机遇。
2023-07-04 cs.AI cs.CL cs.SE
CryptoAnalystBench: Failures in Multi-Tool Long-Form LLM Analysis
本文提出CryptoAnalystBench,通过198个加密和DeFi查询评估多工具LLM在复杂输入中的表现,揭示七类高阶错误类型,并提供评估框架和缓解策略。
2026-02-11 cs.AI cs.CR cs.IR
Talk2X -- An Open-Source Toolkit Facilitating Deployment of LLM-Powered Chatbots on the Web
German Research Center for Artificial Intelligence(德国人工智能研究中心);RPTU Kaiserslautern-Landau(凯撒斯劳滕-兰道工业大学);coneno GmbH(科内诺有限公司)
本文提出开源智能体Talk2X,结合改进的RAG与自动生成的向量数据库,为任意网站提供即用型LLM聊天机器人集成工具,显著提升了用户信息检索的任务效率与体验。
2025-04-04 cs.AI cs.HC cs.IR
Identifying Performance-Sensitive Configurations in Software Systems through Code Analysis with LLM Agents
Concordia University(康考迪亚大学)
本研究提出轻量级框架PerfSense,借助带提示链、RAG技术的LLM智能体识别软件性能敏感配置,在7个Java系统上准确率达64.77%,优于基线与现有最优方法,可减少人工工作量。
2024-06-18 cs.AI cs.SE
LLM-Powered Code Vulnerability Repair with Reinforcement Learning and Semantic Reward
University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校);Louisiana State University(路易斯安那州立大学);University of the Incarnate Word(道成肉身大学)
本文提出SecRepair系统,利用CodeGen2大语言模型结合强化学习与语义奖励机制,在生成漏洞修复代码的同时提供完整漏洞描述,并在6个开源物联网操作系统中验证了其对零日及N日漏洞的识别与修复能力。
2024-02-22 cs.AI cs.SE
A Tool-Augmented, GPT-4 Chatbot for Real-Time Repository Data Analysis
Islamic University of Technology(伊斯兰科技大学);University of Dhaka(达卡大学)
提出一种基于GPT-4的工具增强型聊天机器人架构,通过查询解析、工具选择和提示工程,使软件仓库数据对技术和非技术用户更易访问,实验验证了其提升响应准确性的效果。
2026-09-09 cs.AI cs.SE
Agent2World: Learning to Generate Symbolic World Models via Adaptive Multi-Agent Feedback
The University of Hong Kong(香港大学);Xiaohongshu Inc.(小红书公司);UESTC(电子科技大学);Harbin Institute of Technology(哈尔滨工业大学)
Agent2World通过自适应多智能体反馈学习生成符号世界模型,提升推理和微调性能,实现30.95%的相对提升。
2025-12-26 cs.AI cs.CL
CodeTeam: An LLM-Powered Multi-Agent Framework for Repository-Level Code Generation
School of Computer Science, Wuhan University(武汉大学计算机学院);School of Computer Science, Nanjing University of Science and Technology(南京理工大学计算机学院);School of Computer Science, Central China Normal University(中央财经大学计算机学院);School of Computing Technologies, RMIT University(皇家墨尔本理工学院计算技术学院);M3S Research Group, SEIS Unit, University of Oulu(奥卢大学M3S研究组,SEIS单元)
提出CodeTeam框架,通过分离规划、决策和实现阶段,结合多智能体协作与依赖感知调度,解决仓库级代码生成中的长程规划与跨文件一致性问题,在SketchEval和NL2Repo-Bench上取得显著提升。
2026-06-23 cs.AI cs.SE
KIMAs: A Configurable Knowledge Integrated Multi-Agent System
Alibaba Group(阿里巴巴集团)
针对现有RAG框架在异构数据处理、对话上下文管理及低延迟响应等方面的不足,提出可配置知识集成多智能体系统KIMAs,通过四大核心机制提升性能,为LLMs实际部署提供可扩展框架并展示了三个实用配置案例。
2025-02-13 cs.AI cs.MA