Loc2Repair: A Framework for Evaluating the Impact of File-Level Issue Localization in Repo-Level LLM Repair
ITMO University(ITMO大学)
提出Loc2Repair模块化评估框架,通过解耦定位与修复,在SWE-bench Verified上验证文件级定位能一致提升修复率(44.7%→49.1%)并降低平均耗时。
2026-07-01 cs.AI cs.SE
Evaluating the Generalizability of LLMs in Automated Program Repair
School of Big Data and Software Engineering, Chongqing University(重庆大学大数据与软件学院)
本研究通过新数据集 DEFECTS4J-TRANS 评估 11 个顶尖大语言模型在自动程序修复中的泛化能力,发现其性能显著下降,且提示工程不足以弥补差距,并为未来研究提出建议。
2025-03-12 cs.AI cs.SE
Attention Please: Consider Mockito when Evaluating Newly Proposed Automated Program Repair Techniques
自动程序修复(Automated program repair,APR)技术近年来引起了广泛的关注。与此同时,许多基准测试已经建立了评估APR技术的性能,其中Defects 4J是使用最广泛的基准测试之一。然而,在Mockito,一个项目中的缺陷增强后的版本的Defects 4J,没有得到太多的关注,最近的研究。在本文中,我们的目的是调查评估APR技术时考虑Mockito错误的必要性。我们的研究结果表明:1)与其他项目的bug相比,Mockito bug的修复并不复杂; 2)与修复Mockito bug所需的模式相比,最先进的工具修复的bug共享相同的修复模式;但是,在此情况下,3)最先进的工具在Mockito错误上表现不佳(Nopol只能正确修复一个bug,而SimFix和CapGen无法修复Mockito中的任何bug,即使所有bug位置都已暴露)。从这些结果中,我们得出结论,现有的APR技术可能是过拟合的评估科目,我们应该考虑Mockito,甚至更多的错误,从其他项目,当评估新提出的APR技术。我们进一步找出了一个独特的修复行动所需的修复Mockito错误命名为外部包添加。从与源代码相关联的测试代码中恢复外部包对于扩大搜索空间是可行的,并且该动作可以用现有的修复动作来增强以推进现有技术。
2019-01-08 cs.SE
CCrepairBench: A High-Fidelity Benchmark and Reinforcement Learning Framework for C++ Compilation Repair
Weixuan Sun 1,2(某机构);Jucai Zhai 1(某机构);Xin Zhang 1, 3(某机构);Dengfeng Liu 1(某机构);Xiaojun Wu 1(某机构);Qiaobo Hao 1(某机构);AIMgroup 1(AIM集团);Yang Fang 2(某机构);Jiuyang Tang 2(某机构)
本文提出CCrepairBench框架,通过构建大规模C++编译错误数据集、引入混合奖励信号的强化学习范式及LLM-as-a-Judge评估系统,使小模型修复性能媲美大模型。
2025-09-19 cs.AI
Automatic Program Repair with OpenAI's Codex: Evaluating QuixBugs
OpenAI的Codex是一个在大型代码语料库上训练的类似GPT-3的模型,已经成为学术界内外的头条新闻。给定用户提供的简短描述,它能够合成在大多数情况下语法和语义上有效的代码段。在这项工作中,我们要调查法典是否能够本地化和修复错误,在自动程序修复领域的中心感兴趣的任务。我们的初始评估使用多语言菜Bugs基准测试(Python和Java中有40个bug)。我们发现,尽管没有接受过APR培训,Codex是令人惊讶的有效,并与最近的最先进的技术竞争。我们的研究结果还表明,Codex在修复Python方面比Java稍微成功一些。
2021-11-06 cs.SE
ST-WebAgentBench: A Benchmark for Evaluating Safety and Trustworthiness in Web Agents
IBM Research(IBM研究院)
本文提出ST-WebAgentBench基准测试,用于评估网络代理在现实企业场景中的安全性和可信度,通过引入新的评估指标CuP和风险比,揭示了现有代理的安全性缺陷。
2026-06-04 cs.AI
CLM-as-a-Judge: Evaluating an Open Contrastive Decision Model on Public Judge Benchmarks
本文评估开放对比决策模型CLM作为评判者的性能,发现其在公开基准上接近随机水平,但置信度校准和顺序稳定性有效,级联策略因置信度保留不足而受限。
2026-10-07 cs.AI cs.CL cs.LG
Evaluating Pre-trained Language Models for Repairing API Misuses
针对API误用缺乏有效自动修复工具的问题,全面评估了11种学习辅助APR工具,发现预训练语言模型表现优于传统APR工具,其中CodeT5在精确匹配上最佳。
2023-10-25 cs.SE
Beyond Problem Solving: UOJ-Bench for Evaluating Code Generation, Hacking, and Repair in Competitive Programming
University of Science and Technology of China(中国科学技术大学)
提出UOJ-Bench基准,通过代码生成、攻击和修复三项任务评估LLM在竞赛编程中的问题求解与人类代码错误识别能力,发现最强模型在一次性评估中无法识别超过50%的错误提交,但测试时扩展可提升至90%以上,且能发现约5%的满分提交中的错误。
2026-06-12 cs.AI cs.SE
CodeTransBenchmark: Evaluating LLM-based Code Translation and Repair Across Programming Languages
Technical University of Munich(慕尼黑工业大学);fortiss GmbH(fortiss有限公司)
本研究提出CodeTransBenchmark框架,评估八个LLM在三个数据集和12个语言对上的代码翻译与修复能力,发现通用模型受目标语言语法限制,而迭代修复可显著提升准确性。
2026-09-18 cs.SE
FeedbackEval: A Benchmark for Evaluating Large Language Models in Feedback-Driven Code Repair Tasks
School of Software Engineering Sun Yat-sen University(中山大学软件学院);The Hong Kong University of Science and Technology(香港科技大学);School of Computer Science and Engineering Nanyang Technological University(南洋理工大学计算机科学与工程学院);School of Computer Science Fudan University(复旦大学计算机科学学院)
FeedbackEval通过系统性基准评估LLMs在反馈驱动的代码修复任务中的表现,揭示了不同反馈类型和提示结构对修复效果的影响。
2026-02-26 cs.SE
Evaluating Representation Learning of Code Changes for Predicting Patch Correctness in Program Repair
自动程序修复的大量文献开发了生成补丁以针对oracle进行验证的方法(例如,测试套件)。因为这样的预言机可能是不完美的,所以生成的补丁尽管经过了预言机的验证,但实际上可能是不正确的。虽然最先进的探索研究方向,需要动态信息或依赖于手工制作的算法,我们研究学习代码表示的好处,学习深度功能,可能编码的补丁正确性的属性。我们的工作主要是研究不同的表示学习方法的代码变化,以获得嵌入,是服从相似性计算。我们报告基于预训练和重新训练的神经网络产生的嵌入的结果。实验结果表明,嵌入的潜力,使学习算法在推理补丁的正确性:机器学习预测器与BERT变换为基础的嵌入与逻辑回归产生的AUC值约为0.8预测补丁的正确性去重复数据集的1000标记的补丁。我们的研究表明,与依赖于动态信息的最先进的PATCH-SIM相比,学习表示可以带来合理的性能。这些表示可以进一步补充文献中仔细(手动)设计的特征。
2020-08-07 cs.SE
Dynamic Cogeneration of Bug Reproduction Test in Agentic Program Repair
Google, USA(谷歌(美国))
本文研究了在程序修复中动态共生生成测试的方法,通过在同一补丁中生成修复和测试用例,提高修复的可信度并减少维护成本。
2026-08-25 cs.AI cs.SE
SmellBench: Evaluating LLM Agents on Architectural Code Smell Repair
University of Craiova(克劳索瓦大学);NVIDIA(NVIDIA公司);University Politehnica of Bucharest(布加勒斯特理工大学)
本文提出SmellBench框架,用于评估LLM代理在修复建筑代码异味方面的性能,通过专家验证发现最佳代理修复率为47.7%,但修复 aggressiveness 与代码库质量呈负相关。
2026-05-12 cs.CL cs.SE
DDBench: A Benchmark for Agentic Debugging on Distributed Systems
University of Southern California(南加州大学)
该研究推出分布式系统代码修复基准DDBench,评估10个LLM的代码修复能力,发现调试上下文可提升准确率且对强弱模型影响不同,分布式调试能凸显单进程基准未体现的推理能力。
2026-11-10 cs.AI cs.DC cs.SE
Tricky$^2$: Towards a Benchmark for Evaluating Human and LLM Error Interactions
William and Mary(威廉玛丽学院)
Tricky$^2$是一个混合数据集,用于评估人类和LLM错误交互,包含人类和LLM生成的错误,支持混合错误行为分析和修复鲁棒性研究。
2026-01-26 cs.AI cs.SE
ArkEval: Benchmarking and Evaluating Automated CodeRepair for ArkTS
Shanghai Jiao Tong University(上海交通大学);Zhejiang University(浙江大学)
ArkEval为ArkTS自动代码修复提供首个全面基准,通过挖掘官方仓库问题并采用LLM测试机制,评估了四种先进模型的修复能力,揭示了LLM在该领域的现状与局限。
2026-11-11 cs.SE
Repair Is Nearly Generation: Multilingual Program Repair with LLMs
Microsoft(微软)
大多数程序员在编写代码时都会犯错误。这些错误中有一些很小,只需要对原始程序进行很少的编辑--这类错误最近被称为“最后一英里错误”。这些错误打断了有经验的开发人员的流程,并可能使新手程序员感到困惑。针对这类错误的现有自动修复技术是特定于语言的,并且不容易转移到新的语言。转移符号方法需要大量的工程,神经方法需要数据和再训练。我们介绍了RING,一个多语言修复引擎,由一个大语言模型训练的代码(LLMC),如Codex。这种多语言引擎实现了编程辅助的翻转模型,与传统的代码建议技术相比,程序员编写代码,人工智能辅助建议修复。从程序员手动修复错误的方式中获得灵感,我们展示了一种基于修复的策略,该策略将修复概念化为本地化,转换和候选人排名,可以以最小的努力成功地修复多种语言的程序。我们提出了这样一个多语言修复引擎的第一个结果,通过评估6种不同的语言,并比较特定语言的修复引擎的性能。我们表明,RING可以优于这些语言中的三种语言的特定语言的修复引擎。
2022-12-05 cs.AI cs.PL cs.SE
Helpful or Harmful? Evaluating LLM-Assisted Vulnerability Patching via a Human Study
通过人类实验研究LLM辅助漏洞修补的效果,发现其可能加速修补但增加生成不安全代码的风险。
2026-06-25 cs.AI cs.SE
Exploring the Potential of Conversational Test Suite Based Program Repair on SWE-bench
本研究针对会话式补丁生成在SWE-Bench上的潜力未被专门评估的问题,开展实验验证基于LLaMA 3.1 70B的简单会话流水线的修复效果,达到47%的有效补丁生成率,可媲美当前最优水平。
2024-10-06 cs.AI cs.MA cs.SE
Abstain and Validate: A Dual-LLM Policy for Reducing Noise in Agentic Program Repair
Google, USA(谷歌公司);Meta, USA(Meta公司)
本文提出双LLM策略,通过bug回避和补丁验证减少代理程序修复中的噪声,提升修复成功率和可靠性。
2026-01-29 cs.AI cs.SE
On the Role of Fault Localization Context for LLM-Based Program Repair
York University(约克大学)
研究探讨了LLM基于程序修复中故障定位上下文的影响,发现文件级上下文对修复性能提升显著,而元素级和行级上下文效果不一,LLM检索优于传统方法。
2026-04-07 cs.AI cs.SE
Critical Review of BugSwarm for Fault Localization and Program Repair
基准测试在评估解决方案的效率和有效性以自动化软件开发生命周期的几个阶段方面发挥着重要作用。此外,如果设计得好,它们也可以作为一个重要的人工制品来比较不同的方法。BugSwarm是最近发布的一个基准测试,其中包含3,091对失败和通过的持续集成构建。根据作者的说法,基准测试的设计考虑到了自动程序修复和故障定位社区。鉴于针对这些社区的基准应该具有几个特征(例如,一个错误的声明需要存在),我们已经剖析了基准,以充分了解基准是否适合这些社区。我们的批判性分析发现,在基准测试中有几个限制:只有112/3,091(3.6%)适合评估自动故障定位或程序修复技术。
2019-05-22 cs.SE
Patch Quality and Diversity of Invariant-Guided Search-Based Program Repair
大多数自动程序修复技术依赖于测试用例来指定正确的程序行为。然而,由于测试用例经常不完全覆盖期望的行为,补丁经常过拟合,并且不能推广到更广泛的需求。此外,在没有完全正确的输出的情况下,确保更高的补丁质量的方法,例如将几个补丁合并在一起或人类评估补丁推荐,受益于访问不同的补丁集合,使补丁多样性成为潜在有用的特征。我们评估的正确性和多样性的补丁生成的GenProg和不变量为基础的多样性增强扩展在我们以前的工作。我们没有发现任何证据表明,促进多样性改变补丁的正确性在积极或消极的方向。使用不变和测试用例生成驱动的度量来测量语义多样性,我们发现大多数错误的补丁之间没有观察到的语义差异,无论使用的修复技术。
2020-03-25 cs.SE
Estimating the Potential of Program Repair Search Spaces with Commit Analysis
评估程序修复系统最自然的方法是在缺陷数据集上运行它们,比如Defects4J。然而,在任意的真实世界的程序中使用这种评估技术需要大量的配置。在本文中,我们提出了一个纯静态的方法来评估潜在的搜索空间的修复方法。这种新方法使研究人员和从业人员能够对修复方法的搜索空间进行编码,并选择潜在有用的方法,而无需在工具配置和执行方面进行斗争。我们编码的搜索空间指定的修复策略,他们采用。接下来,我们使用规范来检查过去的提交是否位于修复搜索空间中。对于修复方法,在其搜索空间中包括许多人类编写的过去提交表明其生成有用补丁的潜力。我们在LighteR中实现了我们的评估方法。LighteR获取一个Git仓库,并输出一个提交列表,这些提交的源代码更改位于修复搜索空间中。我们在72个Github仓库的55,309个提交上运行了LighteR,并显示LighteR的准确率和召回率分别为77%和92%。总体而言,我们的实验表明,我们的新方法是轻量级的和有效的研究程序修复方法的搜索空间。
2022-02-03 cs.SE
Evaluating How Developers Use General-Purpose Web-Search for Code Retrieval
搜索是软件开发过程中不可或缺的一部分。开发人员经常使用搜索引擎在开发过程中查找信息,包括可重用的代码片段、API理解和参考示例。开发人员倾向于使用像Google这样的通用搜索引擎,这些搜索引擎通常不针对代码相关文档进行优化,而使用的搜索策略和排名技术更适合于通用的、非代码相关的信息。在本文中,我们将探讨是否一个通用的搜索引擎,如谷歌是一个最佳的选择代码相关的搜索。特别是,我们调查是否与谷歌搜索的性能不同的代码与非代码相关的搜索。为了分析这一点,我们收集了来自310名开发人员的搜索日志,其中包含来自Google的近150,000个搜索查询和相关的结果点击。为了区分代码相关的搜索和非代码相关的搜索,我们建立了一个模型,识别查询的代码意图。利用这个模型,我们建立了一个自动分类器,检测代码和非代码相关的查询。我们确认分类器的有效性手动注释的查询,分类器达到87%的精度,86%的召回率,和87%的F1分数。我们应用这个分类器来自动注释数据集中的所有查询。分析这个数据集,我们观察到与代码相关的搜索通常需要更多的努力(例如,时间、结果点击和查询修改),这表明使用通用搜索引擎的代码搜索性能不太有效。
2018-03-22 cs.IR cs.SE
Probe to Generate: Program Variant-Guided Test Augmentation for Repository-Level Repair Benchmarks
Concordia University(康考迪亚大学)
本文提出STING框架,通过语义改变的程序变体增强回归测试,提高基准测试的可靠性。实验显示,77%的实例存在至少一个存活变体,测试覆盖率提升,修复率下降,揭示了基准测试的不足。
2026-08-07 cs.SE
Repair Ingredients Are All You Need: Improving Large Language Model-Based Program Repair via Repair Ingredients Search
提出ReinFix框架,使LLM在推理和解决阶段自主搜索修复要素,在Defects4J基准上显著超越SOTA基线,提升程序修复准确率。
2025-06-29 cs.SE
COAST: Enhancing the Code Debugging Ability of LLMs through Communicative Agent Based Data Synthesis
Northeastern University(东北大学);Peking University(北京大学);Tsinghua University(清华大学)
针对现有代码调试基准仅聚焦代码修复阶段的局限,本文提出DEBUGEVAL多阶段评估基准,发现7B规模模型调试能力不足;进而提出COAST多智能体数据合成框架,生成的训练数据可使7B规模LLMs调试性能媲美GPT-3.5。
2025-02-12 cs.AI cs.SE
Benchmarking Code Improvement with Progressive, Adaptive, and Interactive Feedback
University of Texas at Dallas(达拉斯大学);University of Central Florida(中佛罗里达大学);FPT Software AI Center(FPT软件人工智能中心)
提出PAIR-Bench基准,通过渐进式提示和结构化反馈协议,细粒度评估大语言模型在代码改进中的修复能力、泛化能力和所需辅助程度。
2026-07-03 cs.SE
PonyEval: Evaluating LLM-Based Program Repair for Capability-Safe and Actor-Oriented Pony Software
Shanghai Jiao Tong University(上海交通大学);Zhejiang University(浙江大学)
针对Pony语言生态,构建了包含291个真实GitHub问题-拉取请求对的SWE-bench风格基准PonyEval,并通过严格审计与多模型评估,揭示生成补丁的条件解决率在10.21%至24.68%之间,为能力安全与actor导向软件的程序修复提供了可靠评测。
2026-09-24 cs.SE
Defects4C: Benchmarking Large Language Model Repair Capability with C/C++ Bugs
Singapore Management University(新加坡管理大学);Tianjin University(天津大学);State Key Laboratory for Novel Software Technology, Nanjing University(南京大学软件新技术国家重点实验室);Nanyang Technological University(南洋理工大学)
Defects4C通过提供高质量C/C++漏洞基准测试,评估大语言模型在修复C/C++程序中的有效性,揭示当前技术的局限性并推动未来研究。
2025-12-02 cs.SE
Revisiting Feedback-Driven LLM Code Repair: A Replication and Exploratory Java Extension
Polytechnique Montréal(蒙特利尔高等理工学院)
该研究复现了FeedbackEval基准的Python代码修复实验,扩展构建了Java代码修复基准,发现Python与Java场景下反馈有效性排名存在差异,提示需开展更严谨的多语言评估。
2026-09-02 cs.SE
From Empirical Evaluation to Context-Aware Enhancement: Repairing Regression Errors with LLMs
The University of Melbourne(墨尔本大学);Singapore University of Technology and Design(新加坡科技与设计大学)
通过构建回归错误基准RegressionBug4APR,评估传统APR和基于LLM的APR方法,发现上下文感知增强(引入错误诱导变更信息)使LLM-based APR修复成功率提升1.6倍。
2026-10-14 cs.AI cs.SE
Enhancing Program Repair with Specification Guidance and Intermediate Behavioral Signals
FPT Software AI Center(FPT软件人工智能中心);Hanoi Univ. of Science and Tech.(河内科学技术大学);University of Texas at Dallas(德克萨斯大学达拉斯分校)
SpecTune通过整合中间行为推理提升程序修复,利用执行检查点分解修复任务,生成局部后置条件以识别程序行为偏差,结合规范验证信号和判别信号提高修复精度和有效性。
2026-07-05 cs.SE
FDE-Bench: Evaluating LLM Agents for Deployment Environment Configuration
University of California, Berkeley(加州大学伯克利分校);Imperial College London(帝国理工学院);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
FDE-Bench通过136个部署配置任务评估大语言模型智能体,采用四层门控检查和发布门机制,发现七个模型解决52.9%-75.0%任务,就绪状态为主要失败环节,并验证了人工指导可显著提升性能。
2026-09-24 cs.AI cs.SE
COMPASS: A Multi-Dimensional Benchmark for Evaluating Code Generation in Large Language Models
Codility
COMPASS基准从正确性、效率和代码质量三个维度评估大语言模型的代码生成能力,基于真实Codility竞赛数据,揭示了高正确性模型未必能生成高效且可维护代码的问题。
2025-08-19 cs.AI cs.SE
SkillScriptBench: Benchmarking Self-Evolution of Executable Agent Skill Packages Beyond Markdown
The Hong Kong University of Science and Technology(香港科技大学);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Harbin Institute of Technology, Harbin(哈尔滨工业大学)
提出SkillScriptBench基准,区分文档与脚本修复,并引入AST引导的技能修订方法,显著提升修复成功率与一致性。
2026-10-14 cs.AI cs.LG cs.SE
PATCHEVAL: A New Benchmark for Evaluating LLMs on Patching Real-World Vulnerabilities
Huazhong University of Science and Technology(华中科技大学);ByteDance(字节跳动)
针对现有漏洞修复基准的缺陷,本文提出覆盖Go、JS、Python的多语言基准PATCHEVAL,基于千个近年CVE构建数据集并配套沙箱验证环境,评估主流LLM与智能体的漏洞修复能力以指导后续AVR研究。
2025-11-14 cs.CR cs.SE
DPO-F+: Aligning Code Repair Feedback with Developers' Preferences
Vanderbilt University(范德堡大学)
研究针对大语言模型在代码修复中开发者难解读输出的问题,提出DPO-f+框架,通过定义指标、构建数据集、微调模型及评估反馈质量,提升反馈准确性与对齐度,增强了代码理解和人机协作。
2026-07-09 cs.SE
Reproducible Automated Program Repair Is Hard -- Experiences With the Defects4J Dataset
University of Hildesheim(希尔德斯海姆大学)
本文探讨了Defects4J数据集在自动程序修复中的挑战,发现21.6%的缺陷无法重复,7.1%的测试套件不足,提出了更严格的评估框架以解决测试套件问题。
2026-04-29 cs.SE
Writing Bug Reports for Software Repair Agents: What Information Matters Most?
USI Università della Svizzera italiana(瑞士意大利语大学);University of Sannio(萨尼奥大学)
研究软件开发中为软件修复代理编写错误报告的问题,通过对错误报告分类标注,用三个LLM主干运行mini-swe-agent,拟合回归模型,发现定位线索和建议修复等信息对代理成功更重要,传统对人类有用的信息作用较小。
2026-11-11 cs.SE
UXBench: Measuring the Actionability of LLM-Generated UX Critiques
University of Notre Dame(诺丁汉大学);University of Pennsylvania(宾夕法尼亚大学);University of Rochester(罗切斯特大学);Carnegie Mellon University(卡内基梅隆大学);Massachusetts Institute of Technology(麻省理工学院);Harvard University(哈佛大学);LMU Munich(慕尼黑路德维希-马克西米利安大学)
提出UXBench基准,通过下游修复代理能否基于评论改进界面来评估LLM作为UX评判者的可操作性,发现不同模型在报告可操作性、修复特征和可靠性上存在显著差异。
2026-06-16 cs.AI cs.CL cs.HC
Checker Bug Detection and Repair in Deep Learning Libraries
该研究首次针对TensorFlow和PyTorch中的DL checker bug开展综合研究,分析其根因、症状与修复模式,并提出基于RAG和LLM的工具TensorGuard,实现高召回率的bug检测与更优的补丁生成效果,还在JAX库中发现了新bug。
2024-10-09 cs.SE
Do Automated Fixes Truly Mitigate Smart Contract Exploits?
KTH Royal Institute of Technology(皇家理工学院)
该研究针对智能合约自动化程序修复工具的实际攻击缓解效果不明的问题,提出系统性评估框架,通过20款工具、143个漏洞合约及91个攻击程序的测试,首次定义并测得攻击缓解率为29%-74%,指出功能保留不一致等待解决的系统性局限。
2025-05-23 cs.SE
ScratchEval : A Multimodal Evaluation Framework for LLMs in Block-Based Programming
University of Waterloo(滑铁卢大学);Stanford University(斯坦福大学)
ScratchEval是首个用于评估LLM在Scratch块式编程中修复能力的可执行基准,通过多层协议测量功能正确性、修复质量和解释质量,支持领域微调和泛化研究。
2026-01-31 cs.SE
SWE-CI: Evaluating Agent Capabilities in Maintaining Codebases via Continuous Integration
Sun Yat-sen University(中山大学);Alibaba Group(阿里巴巴集团);Skylenage
SWE-CI通过持续集成循环构建首个仓库级基准,旨在将代码生成评估从静态短期功能性正确性转向动态长期可维护性,通过跟踪功能正确性随时间的变化揭示可维护性。
2026-04-01 cs.AI cs.CL cs.SE
From Program Slices to Causal Clarity: Evaluating Faithful, Actionable LLM-Generated Failure Explanations via Context Partitioning and LLM-as-a-Judge
Hasso Plattner Institute, University of Potsdam(波茨坦大学哈索·普拉特纳研究所)
本文研究了LLM生成的故障解释质量如何受不同上下文配置影响,通过上下文划分和LLM作为评判者的方法,评估了忠实且可操作的解释,并发现丰富的证据和特定故障的艺术品提高了因果和行动质量,而过大的上下文则导致解释模糊。
2026-05-20 cs.SE
SV-TrustEval-C: Evaluating Structure and Semantic Reasoning in Large Language Models for Source Code Vulnerability Analysis
University of Ottawa(渥太华大学);OpenText(OpenText公司)
针对LLM漏洞分析缺乏结构与语义推理评估的问题,提出SV-TrustEval-C基准,从结构推理和语义推理两维度评测,发现现有模型依赖模式匹配,推理能力不足。
2025-05-27 cs.CL cs.SE