RAG / 检索增强生成

RobotEQ: Transitioning from Passive Intelligence to Active Intelligence in Embodied AI

RobotEQ：从被动智能到主动智能的具身AI过渡

Kuofei Fang, Xinyi Che, Haomin Ouyang, Shufan Zhang, Xuehao Wang, Qi Liu, Liyi Liu, Chenqi Zhang, Wenxi Cai, Wenyu Dai, Jinyang Wu, Fan Zhang, Haoyu Chen, Bin He, Zheng Lian

机构 * State Key Laboratory of Autonomous Intelligent Unmanned Systems, Tongji University（自主智能无人系统国家重点实验室，同济大学） ； Tsinghua University（清华大学） ； The Chinese University of Hong Kong（香港中文大学） ； CMVS, University of Oulu（奥卢大学CMVS） 纠错

专题命中 RAG评测 ：RAG(summary_cn,abstract)

AI总结 提出RobotEQ基准，评估模型在具身场景中理解并遵守社会规范的能力，实验表明现有模型在主动智能上仍有不足，利用RAG技术可提升性能。

Bye-bye, Bluebook? Automating Legal Drudgery With AI-Augmented Rule Following

再见，蓝皮书？用AI辅助规则遵循实现法律苦差事自动化

Matthew Dahl, Eric Martínez

机构 * Yale Law School（耶鲁法学院） 纠错

专题命中 RAG评测 ：RAG(abstract,abstract_cn)；retrieval-augmented generation(abstract)；分类 cs.CL、cs.AI

AI总结 该研究针对法律AI在《蓝皮书》引文格式任务的表现，构建了新基准，提出神经符号系统方法使准确率提升32.4个百分点至最高85.5%，指出AI与符号规则引擎结合是可行方向。

CangjieBench: Benchmarking LLMs on a Low-Resource General-Purpose Programming Language

仓颉基准：在低资源通用编程语言上评估大语言模型

Junhang Cheng, Fang Liu, Jia Li, Chengru Wu, Nanxiang Jiang, Li Zhang

专题命中 RAG评测 ：RAG(abstract,abstract_cn)；retrieval-augmented generation(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出CangjieBench，用于评估大语言模型在低资源通用编程语言上的表现，通过248个高质量样本覆盖文本到代码和代码到代码任务，发现语法受限生成在准确性和计算成本之间取得最佳平衡。

Comments Accepted by ESEM 2026

IRC-Bench: Recognizing Entities from Contextual Cues in First-Person Reminiscences

IRC-Bench: 从第一人称回忆中的上下文线索识别实体

Yehudit Aperstein, Eden Moran, Alexander Apartsin

机构 * Intelligent Systems, Afeka Academic College of Engineering（阿法卡学术工程学院智能系统） ； School of Computer Science, Faculty of Sciences, Holon Institute of Technology（霍隆理工学院计算机科学学院） 纠错

专题命中 RAG评测 ：RAG(abstract,abstract_cn)；dense retrieval(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出IRC-Bench基准，用于评估回忆文本中隐式实体识别任务，通过对比本地提及与分散叙述证据，探讨非局部性挑战，测试多种模型配置。

Comments 36 pages, 8 figures

DoGMaTiQ: Automated Generation of Question-and-Answer Nuggets for Report Evaluation

DoGMaTiQ：面向报告评估的问答片段自动生成

Bryan Li, William Walden, Yu Hou, Gabrielle Kaili-May Liu, Dawn Lawrie, James Mayfield, Eugene Yang, Chris Callison-Burch, Laura Dietz

机构 * Google Inc.（谷歌公司） ； Johns Hopkins University（约翰霍普金斯大学） ； University of Maryland（马里兰大学） ； Yale University（耶鲁大学） ； University of Pennsylvania（宾夕法尼亚大学） ； University of New Hampshire（新罕布什尔大学） 纠错

专题命中 RAG评测 ：RAG(abstract,abstract_cn)；retrieval-augmented generation(abstract)；分类 cs.IR、cs.CL

AI总结 提出DoGMaTiQ流水线，通过文档锚定生成、释义聚类和基于质量准则的子选择三步自动生成高质量QA片段，实现报告的全自动评估，在跨语言任务中与人工判断高度相关。

Comments ICTIR '26

ChatPlanner: A Large Language Model Framework for Personalized Public Transit Routing

ChatPlanner: 一个用于个性化公共交通路线规划的大型语言模型框架

Tingting Yang, Chenhao Xue, Jun Chen

机构 * School of Engineering and Materials Science, Queen Mary University of London（伦敦玛丽女王大学工程与材料科学学院） ； Department of Engineering Science, University of Oxford（牛津大学工程科学系） 纠错

专题命中 RAG评测 ：RAG(abstract,abstract_cn)；retrieval-augmented generation(abstract)；分类 cs.AI

AI总结 提出ChatPlanner框架，利用大型语言模型和检索增强生成技术从自然语言查询中提取用户偏好并融入路线规划算法，实验证明其能生成更符合个性化需求的可行路线方案。

Comments Under Review at Transportation Research Part C

BLADE: Better Language Answers through Dialogue and Explanations

BLADE：通过对话和解释提升语言答案

Chathuri Jayaweera, Phoebe Huang, Bonnie J. Dorr

机构 * University of Florida（佛罗里达大学） 纠错

专题命中 RAG评测 ：RAG(abstract,abstract_cn)；retrieval-augmented generation(abstract)；分类 cs.CL

AI总结 BLADE通过引导学习者接触相关教学资源而非直接提供答案，提升学生对课程资源的导航能力和概念理解。

Comments Contains 7 figures

MEDIAREF: A Public Knowledge Store for Media Background Checks

了解你的来源：用于媒体背景核查的公共知识库

Benjamin Nichols, Michael Schlichtkrull, Nedjma Ousidhoum

机构 * Cardiff University（卡迪夫大学） ； Queen Mary University of London（伦敦大学女王学院） 纠错

专题命中 RAG评测 ：RAG(abstract,abstract_cn)；retrieval-augmented generation(abstract)；分类 cs.CL

AI总结 针对检索增强生成中证据来源可靠性问题，提出公开知识库MEDIAREF，支持可复现的低成本媒体背景核查生成，评估多种大语言模型并证明其有效性。

Comments Code and Data: https://github.com/nedjmaou/mediaref

Agent-UCT: Upper Confidence Bounds Applied to Trees for Agentic Workflow Optimization with Cost-Awareness

Agent-UCT：应用于树的上置信界，用于具有成本意识的智能工作流优化

Yang Li, Hai Liu, Dian Shao, Yu Wang, Xiyu Chen, Sergey Volkov, Bozhi Wang, Ziyu Sun, Sihang Liu, Ye Luo, Xiaowei Zhang

机构 * The University of Hong Kong（香港大学） ； School of Artificial Intelligence, Jiangxi Science and Technology Normal University（江西科技师范大学人工智能学院） ； The Hong Kong University of Science and Technology（香港科技大学） ； University of Science and Technology of China（中国科学技术大学） ； New York University（纽约大学） 纠错

专题命中 RAG评测 ：RAG(abstract,abstract_cn)；retrieval-augmented generation(abstract)；分类 cs.AI

AI总结 研究针对智能工作流优化中计算冗余和预算分配低效问题，提出Agent-UCT算法，结合RAGSpace框架和WTB，通过重用感知正则化项减少冗余执行，实验证明其能有效识别最佳配置，实现成本感知、可重现且组合高效的智能工作流优化。

Verifiable Manifest Signing and Transparency Enforcement for Secure MCP-Based LLM Pipelines

可验证的清单签名与透明度强制：面向基于MCP的安全LLM流水线

Saeid Jamshidi, Kawser Wazed Nafi, Arghavan Moradi Dakhel, Foutse Khomh, Mohammad Hamdaqa

机构 * SWAT Laboratory, Polytechnique Montréal（SWAT实验室，蒙特利尔理工学院） ； SæT Laboratory, Polytechnique Montréal（SæT实验室，蒙特利尔理工学院） 纠错

专题命中 RAG评测 ：RAG(abstract,abstract_cn)；retrieval-augmented generation(abstract)；分类 cs.AI

AI总结 针对MCP协议缺乏工具清单认证的问题，提出清单级强制层，通过策略验证、新鲜度检查、数字签名、执行前验证和Merkle透明度日志，实现低开销、可追溯的LLM工具调用安全控制。

MedAI: Evaluating TxAgent's Therapeutic Agentic Reasoning in the NeurIPS CURE-Bench Competition

MedAI: 评估 TxAgent 在 NeurIPS CURE-Bench 竞赛中的治疗性智能推理

Tim Cofala, Christian Kalfar, Jingge Xiao, Johanna Schrader, Michelle Tang, Wolfgang Nejdl

机构 * L3S Research Center（L3S研究中心） 纠错

专题命中 RAG评测 ：RAG(abstract,abstract_cn)；retrieval-augmented generation(abstract)；分类 cs.AI

AI总结 本文介绍 TxAgent，一种通过迭代检索增强生成和统一生物医学工具集进行治疗决策的智能AI方法，并在CURE-Bench竞赛中评估其推理质量，通过改进工具检索策略提升性能，荣获开放科学卓越奖。

Comments 7 pages, 3 figures

VietMed-MCQ: A Consistency-Filtered Data Synthesis Framework for Vietnamese Traditional Medicine Evaluation

VietMed-MCQ：面向越南传统医学评估的一致性过滤数据合成框架

Huynh Trung Kiet, Dao Sy Duy Minh, Nguyen Dinh Ha Duong, Le Hoang Minh Huy, Long Nguyen, Dien Dinh

专题命中 RAG评测 ：RAG(abstract,abstract_cn)；retrieval-augmented generation(abstract)；分类 cs.CL

AI总结 提出基于检索增强生成和一致性过滤的VietMed-MCQ数据集，含3190道多选题，经专家验证准确率94.2%，基准测试显示通用模型优于越南语模型。

Comments The authors have withdrawn this article because the current version is still undergoing substantial revision. Several components of the data synthesis framework, consistency-filtering procedure, evaluation protocol, and experimental analysis are being refined and expanded. As a result, the current manuscript should not be considered a complete or final representation of the work

KrishokChat: A Provenance-Traceable Multi-Task Bengali Agricultural Benchmark with Safety-Critical Chemical Advisory

KrishokChat: 一个基于引用的孟加拉语农业咨询数据集与基准

Khan Raiyan Ibne Reza, Sumaiya Tabassum Nimi, Omar Ibne Shahid

专题命中 RAG评测 ：RAG(summary_cn,abstract_cn)

AI总结 提出KrishokChat，首个基于引用的孟加拉语农业指令微调数据集，通过分层知识节点扩展生成14.55万QA对，并引入农夫基准评估，发现微调改善格式但化学剂量泛化仍困难，强调其作为RAG知识库的价值。

When Generic Prompt Improvements Hurt: Evaluation-Driven Iteration for LLM Applications

当通用提示改进有害：LLM应用的评估驱动迭代

Daniel Commey

机构 * Daniel Commey 纠错

专题命中 RAG评测 ：RAG(abstract,abstract_cn)；分类 cs.IR、cs.CL、cs.AI

AI总结 提出最小可行评估套件（MVES），通过结构化评估框架和本地复现实验，发现通用提示添加并非单调改进，强调评估驱动的提示迭代。

Comments Technical report. 42 pages, 3 figures. Code, test suites, and result logs: https://github.com/dcommey/llm-eval-benchmarking

PLASMA: A Layout-Aware Benchmark Reveals Memory Layout Matters for Graph-based ANNS on GPU

PLASMA：揭示GPU上基于图的近似最近邻搜索中内存布局重要性的布局感知基准

Yutaro Oguri, Mai Nishimura, Yusuke Matsui

机构 * The University of Tokyo（东京大学） ； OMRON SINIC X Corporation（OMRON SINIC X公司） 纠错

专题命中 RAG评测 ：RAG(abstract,abstract_cn)；分类 cs.IR、cs.DB

AI总结 研究人员提出PLASMA框架，用于评估GPU上基于图的ANNS，发现顶点重排序可提升QPS且不损失准确率，凸显内存布局对该任务的重要性。

Comments Accepted to VLDB2026 VecDB Workshop

OpenAIs HealthBench in Action: Evaluating an LLM-Based Medical Assistant on Realistic Clinical Queries

OpenAIs HealthBench in Action: 评估基于LLM的医疗助手在真实临床查询中的表现

Sandhanakrishnan Ravichandran, Shivesh Kumar, Rogerio Corga Da Silva, Miguel Romano, Reinhard Berkels, Michiel van der Heijden, Olivier Fail, Valentine Emmanuel Gnanapragasam

机构 * OpenAI 纠错

专题命中 RAG评测 ：RAG(abstract,abstract_cn)；分类 cs.IR、cs.AI

AI总结 DR.INFO在HealthBench基准测试中表现优异，优于多个前沿LLM，在复杂临床查询中展现出高准确性和情境感知能力。

Comments 13 pages, two graphs

MemTrace: Tracing and Attributing Errors in Large Language Model Memory Systems

MemTrace：大型语言模型记忆系统中的错误追踪与归因

Xinle Deng, Ruobin Zhong, Hujin Peng, Xiaoben Lu, Yanzhe Wu, Guang Li, Buqiang Xu, Yunzhi Yao, Jizhan Fang, Haoliang Cao, Junjie Guo, Yuan Yuan, Ziqing Ma, Yuanqiang Yu, Rui Hu, Baohua Dong, Hangcheng Zhu, Ningyu Zhang

机构 * Zhejiang University（浙江大学） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 RAG评测 ：RAG(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 提出MemTrace框架，通过构建可执行的记忆演化图实现细粒度错误追踪，并利用自动归因方法定位根因，进而优化提示词提升下游任务性能。

Comments Ongoing work

Not All Needles Are Found: How Fact Distribution and Don't Make It Up Prompts Shape Retrieval, Reasoning, and Hallucination in Long-Context LLMs

并非所有线索都能被发现：事实分布和“不要编造”提示如何影响长上下文语言模型中的检索、推理和幻觉

Amirali Ebrahimzadeh, Seyyed M. Salili

机构 * Department of Electrical Engineering & Computer Science University of Michigan（电气工程与计算机科学系 密歇根大学） 纠错

专题命中 RAG评测 ：retrieval-augmented generation(abstract)；RAG(abstract)；分类 cs.CL、cs.AI

AI总结 研究大语言模型中事实分布和反幻觉提示对检索、推理及幻觉的影响，通过扩展基准评估多个模型，识别出分布崩溃和安全代价两种失败模式，发现许多失败源于无效上下文利用，强调特定模型稳健性和上下文管理的重要性。

Comments 16 pages, 8 figures, 2 tables. Accepted at the FAGEN Workshop @ ICML 2026

DeepTutor: Towards Agentic Personalized Tutoring

DeepTutor：迈向代理式个性化辅导

Bingxi Zhao, Jiahao Zhang, Xubin Ren, Zirui Guo, Tianzhe Chu, Yi Ma, Chao Huang

机构 * The University of Hong Kong（香港大学） 纠错

专题命中 RAG评测 ：RAG(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 DeepTutor通过结合引用基础问题辅导与难度校准的问题生成，提出一个统一的开放源码框架，利用静态知识和动态学习者记忆实现个性化适应，并在五个领域大学课程中评估个性化教学效果。

Comments Tech Report, work in progress. Code available at https://github.com/HKUDS/DeepTutor

Inform, Coach, Relate, Listen: Auditing LLM Caregiving Support Roles

告知、指导、共情、倾听：审计LLM护理支持角色

Drishti Goel, Agam Goyal, Veda Duddu, Olivia Pal, Jeongah Lee, Qiuyue Joy Zhong, Violeta J. Rodriguez, Daniel S. Brown, Dong Whi Yoo, Ravi Karkar, Koustuv Saha

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校） ； OSF HealthCare（OSF医疗集团） ； Indiana University Indianapolis（印第安纳大学印第安纳波利斯分校） 纠错

专题命中 RAG评测 ：retrieval-augmented generation(abstract)；RAG(abstract)；分类 cs.CL、cs.AI

AI总结 本研究通过操作化四种社会支持角色（告知、指导、共情、倾听），评估大型语言模型在非正式护理对话中的安全概况，发现支持角色系统性地影响交互风险，且存在感知质量-安全性权衡。

LLM Enhancement with Domain Expert Mental Model to Reduce LLM Hallucination with Causal Prompt Engineering

结合领域专家心智模型的大语言模型增强：通过因果提示工程减少大语言模型幻觉

Boris Kovalerchuk, Brent D. Fegley

专题命中 RAG评测 ：RAG(abstract,abstract_cn)；分类 cs.AI

AI总结 本文提出结合专家心智模型（EMM）的因果提示工程框架，通过形式化相关前置流程构建EMM，减少LLM幻觉，在三类任务中验证了方法有效性。

Comments 42 pages,4 figures, 4 tables

FDABench: A Benchmark for Data Agents on Analytical Queries over Heterogeneous Data

FDABench：异构数据上分析查询的数据代理基准

Ziting Wang, Shize Zhang, Haitao Yuan, Jinwei Zhu, Wei Dong, Gao Cong

专题命中 RAG评测 ：RAG(abstract,abstract_cn)；分类 cs.DB

AI总结 提出FDABench基准，通过2007个任务覆盖六种数据模态，并设计PUDDING框架自动构建数据集，以评估数据代理在异构数据上的推理能力。

Comments Accepted to KDD'26

Injection-Execution Dissociation: A Mechanistic Evaluation of Persistent Memory Attacks and Defenses in Stateful LLM Agents

多层架构中的防御效果：对持久内存攻击状态机LLM代理的机制性评估

Jun Wen Leong

专题命中 RAG评测 ：RAG(abstract,abstract_cn)；分类 cs.AI

AI总结 本文评估了六种防御措施在九个开源模型上的延迟触发攻击效果，发现输入级和检索级过滤器效果不佳，而内存层工具门控（Memory Sandbox）显著降低攻击成功率，揭示了不同防御类别的失效原因。

Comments v4: Added double dissociation (reasoning-mode ablation), content-layer defense (RATG), loaded-corpus frontier evaluation (21 models, 3 providers, N=40), 7B judge capability bound, reproducibility validity criterion, ethics/disclosure statement. Gemini 3.1 Pro Preview 95% ASR; GPT-5.1 regression (22.5%); tripartite vendor divergence. Code: github.com/junwenleong/stateful-agent-security-eval

Does Faithfulness-Guided Alignment Hurt Accuracy? Unlocking Accurate and Faithful Post-Retrieval Reasoning

CRAFT: 通过强化学习进行多跳问答的校准推理与答案忠实轨迹

Yu Liu, Wenxiao Zhang, Diandian Guo, Cong Cao, Fangfang Yuan, Qiang Sun, Yanbing Liu, Jin B. Hong, Zhiyuan Ma

专题命中 RAG评测 ：retrieval-augmented generation(abstract)；RAG(abstract)；分类 cs.CL

AI总结 CRAFT通过强化学习框架提升多跳问答的推理准确性和答案忠实度，结合确定性奖励和判官奖励，增强推理轨迹的可审计性与语义一致性。

First, do NOHARM: a medical safety benchmark and randomized study of physician and AI teaming on clinical consultations

首先，不伤害：迈向临床安全的大语言模型

David Wu, Fateme Nateghi Haredasht, Saloni Kumar Maharaj, Priyank Jain, Jessica Tran, Matthew Gwiazdon, Arjun Rustagi, Jenelle Jindal, Jacob M. Koshy, Vinay Kadiyala, Anup Agarwal, Bassman Tappuni, Brianna French, Sirus Jesudasen, Christopher V. Cosgriff, Rebanta Chakraborty, Jillian Caldwell, Susan Ziolkowski, David J. Iberri, Robert Diep, Rahul S. Dalal, Kira L. Newman, Kristin Galetta, J. Carl Pallais, Nancy Wei, Kathleen M. Buchheit, David I. Hong, Vartan Pahalyants, Ernest Y. Lee, Allen Shih, Tamara B. Kaplan, Vishnu Ravi, Sarita Khemani, Thomas A. Buckley, April S. Liang, Daniel Shirvani, Advait Patil, Nicholas Marshall, Kanav Chopra, Joel Koh, Adi Badhwar, Anastasia Perez, Austin J. Schoeffler, Mahbuba Tusty, Chase M. Walton, Liam G. McCoy, David J. H. Wu, Yingjie Weng, Sumant Ranji, Kevin Schulman, Nigam H. Shah, Jason Hom, Arnold Milstein, Arjun K. Manrai, Adam Rodman, Jonathan H. Chen, Ethan Goh

机构 * Harvard Combined Dermatology Program（哈佛联合皮肤科项目） ； Department of Dermatology, Mass General Brigham（麻省总医院皮肤科） ； Harvard Medical School（哈佛医学院） ； Stanford Center for Biomedical Informatics Research（斯坦福生物医学信息学研究中心） ； Stanford University（斯坦福大学） ； Division of Hospital Medicine, Department of Medicine, Stanford University School of Medicine（斯坦福大学医学院医院医学科） ； Department of Medicine, Cambridge Health Alliance（剑桥健康联盟医学科） ； Beth Israel Deaconess Hospital–Plymouth（贝塞斯达德acons医院-普利茅斯） ； Department of Medicine, University of California, San Francisco（加州大学旧金山分校医学科） ； Department of Neurology, Stanford University School of Medicine（斯坦福大学医学院神经科） ； Department of Medicine, Beth Israel Deaconess Medical Center（贝塞斯达德acons医学中心医学科） ； Division of Cardiology, Department of Medicine, Cambridge Health Alliance（剑桥健康联盟心脏病科） ； Department of Cardiovascular Medicine, Summa Health System（Summa健康系统心血管医学科） ； Division of Allergy, Pulmonary, and Critical Care Medicine, Department of Medicine, University of Wisconsin-Madison（威斯康星大学麦迪逊分校医学科过敏、呼吸科和危重医学科） ； Division of Pulmonary and Critical Care Medicine, Department of Medicine, Massachusetts General Hospital（麻省总医院呼吸科和危重医学科） ； Center for Immunology and Inflammatory Diseases, Department of Medicine, Massachusetts General Hospital（麻省总医院免疫和炎症疾病中心） ； Broad Institute of MIT and Harvard（MIT和哈佛Broad研究所） ； Division of Pulmonary, Critical Care, and Sleep Medicine, Cambridge Health Alliance（剑桥健康联盟呼吸科、危重医学科和睡眠医学科） 纠错

专题命中 RAG评测 ：retrieval-augmented generation(abstract)；RAG(abstract)；分类 cs.AI

AI总结 提出NOHARM基准，包含1100个初级到专科咨询案例，评估28个LLM的医疗建议安全性，发现高达22.6%的案例存在严重危害风险，其中遗漏错误占80%以上。

Relevance Is Not Permission: Warranted Attention for Value Contributions

相关性并非许可：价值贡献的应有注意

Minwoo Yu, Young-guk Ha

机构 * Smart Computing Laboratory, Department of Computer Science & Engineering, Konkuk University（智能计算实验室，计算机科学与工程系，康肯大学） 纠错

专题命中 RAG评测 ：RAG(abstract,abstract_cn)；分类 cs.AI

AI总结 针对注意力机制中相关项的价值贡献未必成为预测证据的问题，提出Warrant接口，通过学习查询-项许可来调节价值路径，在多个任务上提升主指标。

An Industrial-Scale Insurance LLM Achieving Verifiable Domain Mastery and Hallucination Control without Competence Trade-offs

一个工业级保险大语言模型，实现可验证的领域掌握与幻觉控制，无能力权衡

Qian Zhu, Xinnan Guo, Jingjing Huo, Jun Li, Pan Liu, Wenyan Yang, Wanqing Xu, Xuan Lin

机构 * Ant Group（蚂蚁集团） 纠错

专题命中 RAG评测 ：RAG(abstract,abstract_cn)；分类 cs.CL

AI总结 提出INS-S1保险专用大语言模型，通过可验证数据合成系统和渐进式SFT-RL课程框架，在领域任务上达到SOTA，同时保持通用能力并实现0.6%的低幻觉率。

Comments 21 pages, 12 figures, 17 tables

Journal ref ICLR 2026 Workshop Advances in Financial AI

Automated Root-Cause Subclassification and No-Code Fix Generation for Invalid Bug Reports

自动化无效bug报告的根因子类划分及无代码修复生成

Mahmut Furkan Gon, Emre Dinc, Tevfik Emre Sungur, Eray Tuzun

机构 * Department of Computer Engineering, Bilkent University（计算机工程系，比尔肯特大学） 纠错

专题命中 RAG评测 ：retrieval augmented generation(abstract)；RAG(abstract)；分类 cs.AI

AI总结 本研究旨在引入一个标准化的根因导向的无效bug报告子类划分体系，并通过实验测试不同方法在无效子类划分和无代码修复生成中的准确性。研究还分析了不同配置在我们创建的黄金标准基准上的表现。

Comments Submitted to IEEE Transactions on Software Engineering (TSE) and currently under review

Does Fixing Break Security? An Empirical Study of Security Degradation in Iterative LLM-Driven Infrastructure-as-Code Repair

修复会破坏安全性吗？对迭代式大语言模型驱动的基础设施即代码修复中安全性退化的实证研究

Benjamin Agyekum, Fabio Santos

专题命中 RAG评测 ：RAG(abstract,abstract_cn)

AI总结 该研究通过分析IaC-Eval基准的5968个场景，发现迭代式LLM驱动的IaC修复会引入约3.3%场景的安全退化，主要由资源重构导致，第3次迭代是最优停止点，为安全反馈设计提供指导。

Comments 20 pages, 3 figures, 5 tables. Accepted at the 20th International Symposium on Empirical Software Engineering and Measurement (ESEM 2026). To appear in LIPIcs Vol. 394. v2: corrected the bibliographic record of one reference (preprint, not a journal article) and added the related-version link to the published LIPIcs article

How Significant Are the Real Performance Gains? An Unbiased Evaluation Framework for GraphRAG

实际性能提升有多显著？GraphRAG的无偏评估框架

Qiming Zeng, Hao Luo, Yuhao Lin, Yicheng Jin, Yuxiang Wang, Fangcheng Fu, Xiao Yan, Jiawei Jiang

机构 * School of Computer Science, Wuhan University（武汉大学计算机学院） ； School of Computer Science, Peking University（北京大学计算机学院） ； Centre for Perceptual and Interactive Intelligence (CPII)（感知与交互智能中心） ； OceanBase 纠错

专题命中 RAG评测 ：retrieval-augmented generation(abstract)；分类 cs.IR、cs.CL、cs.AI

AI总结 针对GraphRAG现有评估框架的不相关问题与评估偏差缺陷，提出无偏评估框架并发现代表性GraphRAG方法的性能提升远小于此前报告结果，呼吁开展科学评估。