Alipay-PIBench: A Realistic Payment Integration Benchmark for Coding Agents
Ant Group(蚂蚁集团)
研究旨在评估编码代理在支付宝支付集成任务中的表现,引入支付宝-PIBench基准测试,含九个产品项目和18个任务实例,分不同场景。通过评估六个编码代理模型得出评分通过率,发现有技能条件下RPR提升,为诊断模型能力和评估支付集成指导提供可控环境。
2026-08-14 cs.AI cs.SE
What You See Is Not Always What You Get: Evaluating GPT's Comprehension of Source Code
The University of Sydney(悉尼大学)
本文针对大语言模型易受字符级不可感知代码扰动误导的问题,划分四类攻击并在多模型上开展系统性评估,验证了扰动对模型代码理解性能的负面影响,凸显研发鲁棒大语言模型的迫切性。
2025-11-17 cs.AI cs.LG cs.SE
Baselines Before Architecture: Evaluating Coding Agents for Autonomous Penetration Testing
Kroda Labs(Kroda实验室)
研究针对自主渗透测试,以默认编码CLI代理为基线,在XBOW基准上用不同模型运行,比较不同框架结果及模型扩展效果,发现专业框架有提升,普通代理也能解决不少问题,新模型可提升同一框架,强调未来评估应报告模型匹配的普通代理基线。
2026-07-16 cs.AI cs.CR
Agentic coding without the cloud: evaluating open-weight large language models on longitudinal data preparation tasks
研究在纵向数据准备任务中评估开放权重的大语言模型,介绍开源框架,含真实数据集、任务定义和评估程序,通过基准测试发现当前先进模型表现良好,为治理受限研究中的AI辅助数据准备提供可行路径。
2026-07-27 cs.AI cs.CL
DualGauge: Automated Joint Security-Functionality Benchmarking of Specification-Only Code Generation by LLMs and Coding Agents
University at Buffalo, SUNY(布法罗大学)
提出DualGauge框架,首个自动化联合评估规范代码正确性与安全性的系统,通过307个任务基准测试发现功能正确性高估可靠代码生成,联合成功率低于15%,且模型因素和代理系统均无法可靠提升。
2026-10-30 cs.AI cs.CR cs.SE
The Vibe Shift in Software Engineering: Evaluating AI-Led Conversational Programming for Performance, Cognition, and Responsible Adoption
Bukidnon State University(布基农州立大学)
本研究评估AI主导的对话式编程(Vibe Coding),发现其提升开发效率27%但降低代码质量,并提出负责任采用的三支柱框架。
2026-09-10 cs.AI cs.ET cs.SE
EvoCodeBench: A Human-Performance Benchmark for Self-Evolving LLM-Driven Coding Systems
Nanyang Technological University(南洋理工大学);East China University of Science and Technology(东华大学);Guangdong Ocean University(广东海洋大学);City University of Hong Kong(香港城市大学);Stanford University(斯坦福大学)
EvoCodeBench通过跨语言对比和人类表现评估,评估自演化LLM驱动编码系统的性能提升与效率改进。
2026-02-10 cs.AI cs.SE
Coding in a Bubble? Evaluating LLMs in Resolving Context Adaptation Bugs During Code Adaptation
National University of Defense Technology(国防科技大学);Peng Cheng Laboratory(鹏城实验室)
研究提出CtxBugGen框架,评估LLMs在解决代码适应中的上下文适应故障方面的性能,发现LLMs在处理此类问题时存在显著不足。
2026-01-10 cs.AI cs.SE
CodeClinic: Evaluating Automation of Coding Skills for Clinical Reasoning Agents
University of Wisconsin–Madison(威斯康星大学麦迪逊分校);Microsoft Research(微软研究院)
CodeClinic通过MIMIC-IV构建基准,评估LLM代理是否能合成和组合可重用的临床技能,而非依赖固定工具库,包含纵向ICU监控和组合信息检索任务,提升多步推理效率。
2026-05-10 cs.AI cs.MA
LongCodeBench: Evaluating Coding LLMs at 1M Context Windows
Panasonic AI Research(松下人工智能研究)
本研究推出长上下文编码能力基准LongCodeBench,基于真实GitHub问题构建问答与bug修复任务,分层评估不同规模模型,发现长上下文仍是各类模型的短板,性能出现显著下滑。
2025-10-22 cs.AI cs.CL
Don't Claim Benchmark-Oriented Optimization Improves General Coding Capability -- Diverse Evaluation Is Required
该研究指出少量编码基准的优化无法提升通用编码能力,通过案例研究验证了基准排名难泛化、跨任务迁移差等问题,呼吁采用差异化评估与持续基准维护。
2026-08-17 cs.AI cs.LG cs.SE
CodeScope: An Execution-based Multilingual Multitask Multidimensional Benchmark for Evaluating LLMs on Code Understanding and Generation
University of California, Santa Barbara(加利福尼亚大学圣巴巴拉分校);School of Software Engineering, Xi’an Jiaotong University(西安交通大学软件学院);Zhejiang University(浙江大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Alibaba Group(阿里巴巴集团);TU Wien(维也纳技术大学);University of Chinese Academy of Sciences(中国科学院大学)
本文提出CodeScope基准,覆盖43种语言和8类编码任务,从长度、难度和效率三个维度并借助MultiCodeEngine执行引擎,更全面、真实地评估大语言模型的代码理解与生成能力。
2024-06-07 cs.AI cs.CL cs.SE
From Pixel to Coding: Evaluating the Figure Reproduction Capabilities of MLLMs
Institute of Image Communication and Information Processing, Shanghai Jiao Tong University(上海交通大学图像通信与信息处理研究所);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Macao Polytechnic University(澳门理工大学)
针对多模态大模型图形复现评估缺失问题,提出FigCodeBench框架,含6194实例、7类功能、4种语言,经24个模型实验发现普遍非线性性能断崖。
2026-10-08 cs.AI cs.CV
Don't Guess, Just Ask: Evaluating Interactive Requirement Clarification for Repository-Level Software Development
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
该研究提出ReqClarifyBench基准,评估LLM在仓库级软件开发中通过交互将模糊用户意图转化为明确需求的能力,发现澄清效果与文档质量无必然关联,编码智能体工具未提升需求文档质量。
2026-10-12 cs.AI cs.SE
Scoring Verifiers: Evaluating Synthetic Verification for Code and Reasoning
NVIDIA Santa Clara, CA 15213, USA(英伟达圣克拉拉分校)
本研究提出将现有编码基准转换为评分排序数据集的方法,配套多维度评估指标,发布四个新基准,实验证实推理可提升测试用例生成效果、增加测试用例数能提高合成验证准确率。
2025-07-30 cs.AI cs.CL cs.LG
Don't Blame the Large Language Model: How Agent Harness Evolution Shapes Coding Agent Quality
Queen’s University Canada(加拿大女王大学)
研究编码代理中脚手架演化对其质量的影响。通过固定模型、仅改变脚手架,对Qwen Code CLI的35个连续版本进行评估,追踪质量波动与开发模式及架构组件的关系。
2026-07-22 cs.AI cs.LG cs.SE
ReCUBE: Evaluating Repository-Level Context Utilization in Code Generation
Carnegie Mellon University(卡内基梅隆大学);Emory University(埃默里大学)
ReCUBE基准测试评估LLM在代码生成中利用仓库级上下文的有效性,通过重建掩码文件并使用依赖关系和文档作为上下文,发现即使先进模型在完整上下文设置下也仅达到37.57%的通过率,而引入Caller-Centric Exploration工具包可显著提升性能。
2026-03-26 cs.AI cs.SE
Automated Coding of Communication Data Using ChatGPT: Consistency Across Subgroups
ETS Research Institute(ETS研究机构)
本文研究了使用ChatGPT进行通信数据编码在不同性别和种族/族裔群体间的一致性,发现其编码结果与人类评分者一致,为大规模评估协作与沟通提供了可能。
2026-05-18 cs.AI cs.CL
An Empirical Study of Proactive Coding Assistants in Real-World Software Development
College of AI, Tsinghua University(清华大学人工智能学院);Fitten Tech Co., Ltd.(Fitten科技有限公司)
本文通过大规模实证研究,分析了模拟与现实数据在主动意图预测中的差异,提出ProCodeBench基准,并指出模拟数据无法替代真实数据。
2026-05-07 cs.AI cs.SE
ADK Arena: Evaluating Agent Development Kits via LLM-as-a-Developer
The Ohio State University(俄亥俄州立大学);Microsoft(微软)
提出LLM-as-a-Developer方法,通过自动化流水线ADK Arena评估51个Python ADK框架,发现框架间生成成本差异达5.6倍,但无单一框架占优,且文档、源码和参数知识可相互替代。
2026-06-04 cs.AI cs.SE
The RealHumanEval: Evaluating Large Language Models' Abilities to Support Programmers
MIT-IBM Watson AI Lab(MIT-IBM Watson人工智能实验室);Massachusetts Institute of Technology(麻省理工学院);Microsoft Research(微软研究院);Carnegie Mellon University(卡内基梅隆大学);IBM Research(IBM研究院);University of California, Berkeley(加州大学伯克利分校)
研究引入RealHumanEval界面评估LLM辅助程序员的能力,发现基准性能提升可增加生产力但差距不成比例,且偏好与实际表现不相关,开源工具与数据以促进以人为中心的评估。
2024-10-14 cs.AI cs.HC cs.SE
E2E-SWE: Benchmarking LLMs on Building Working Codebases from Scratch
Meta Superintelligence Labs(元超级智能实验室)
该基准E2E-SWE通过186个跨11种语言的整仓库生成任务评估LLM智能体从零构建可用代码库的能力,发现pass@1在11.7%至67.7%间波动,凸显系统级推理需求。
2026-10-01 cs.AI cs.SE
SWE-Compass: Towards Unified Evaluation of Agentic Coding Abilities for Large Language Models
Kuaishou Technology(快手科技);Nanjing University(南京大学)
针对LLM软件工程评估的狭窄任务覆盖、语言偏见等问题,提出综合基准SWE-Compass,统一异构代码评估,覆盖多任务、场景和语言,为诊断和提升LLM智能体编码能力提供严谨基础。
2025-11-11 cs.AI cs.SE
OmniCode: A Benchmark for Evaluating Software Engineering Agents
Cornell University(康奈尔大学);Independent contributor(独立贡献者);UC Santa Barbara(加州大学圣巴巴拉分校);Jadavpur University(贾瓦伊普尔大学);New York University(纽约大学)
本文提出OmniCode,一个涵盖更广泛任务类别的软件工程基准,旨在评估软件代理在不同软件开发方面的性能。
2026-05-18 cs.AI cs.CL cs.SE
StatLLM: A Dataset for Evaluating the Performance of Large Language Models in Statistical Analysis
Virginia Tech(弗吉尼亚理工大学)
本文提出StatLLM数据集,用于评估LLM在统计分析中的性能,包含任务、生成代码和专家评分,并展示其在NLP指标、统计编码和统计软件方面的潜力。
2025-02-24 cs.AI stat.AP
Exploring Effective Strategies for Building a User-Configured GPT for Coding Classroom Dialogues
Faculty of Education, University of Cambridge(剑桥大学教育学院)
本文探讨了构建定制GPT用于编码课堂对话的有效策略,通过MyGPT系统评估其在有限数据下的表现,提出基于其独特功能的实用策略,以生成编码建议。
2026-04-02 cs.AI
HarnessOpt-Bench: Evaluating LLMs at Harness Optimization
Scale AI
本研究提出HarnessOpt-Bench基准,评估前沿LLM在高成本随机评估下的端到端harness优化能力,发现优化器模型差异大于编码harness、原生harness非始终更优,该能力具可测性与提升空间。
2026-08-07 cs.AI cs.CL cs.LG
Beyond Isolated Tasks: A Framework for Evaluating Coding Agents on Sequential Software Evolution
Fujitsu Research(富士通研究所)
本文提出一个框架,通过模拟真实开发者工作流程的两个现实场景,评估编码代理在连续任务中的表现,揭示孤立任务评估的局限性及多维评估的必要性。
2026-04-03 cs.AI cs.SE
SWE-MERA: A Dynamic Benchmark for Agenticly Evaluating Large Language Models on Software Engineering Tasks
GigaCode;ITMO University(ITMO大学);MWS AI(MWS人工智能);IITU university(IITU大学)
针对现有软件工程基准测试局限性,提出SWE-MERA动态基准测试,通过自动收集GitHub问题及严格验证确保质量,最小化污染风险,利用Aider编码代理评估多个大型语言模型,展示了其强大区分能力及模型性能表现。
2026-07-14 cs.AI cs.CL cs.SE
Can LLMs Design Video Coding Tools? A Case Study on Planar Mode
City University of Hong Kong(香港城市大学);Lingnan University(岭南大学)
本研究通过案例探究LLM能否设计视频编码工具,以平面模式为对象,借助生成-评估循环优化,在VVenC和ECM上实现码率节省,凸显其潜力与挑战。
2026-10-28 cs.AI cs.MM
AInsteinBench: Benchmarking Coding Agents on Scientific Repositories
Princeton University(普林斯顿大学)
AInsteinBench通过评估大型语言模型在科学计算开发中的能力,提供了一个基于真实科研软件生态系统的基准测试。
2025-12-24 cs.AI cs.PL cs.SE
Imaging-101: Benchmarking LLM Coding Agents on Scientific Computational Imaging
College of Future Technology and the National Biomedical Imaging Center, Peking University(北京大学未来技术学院和国家生物医学成像中心);AI for Science Institute (AISI)(科学人工智能研究所);University of Michigan(密歇根大学);State Key Laboratory of Acoustics and Marine Information, Institute of Acoustics, Chinese Academy of Sciences(中国科学院声学研究所声场声信息国家重点实验室);University of Chinese Academy of Sciences(中国科学院大学);School of Astronautics, Beihang University(北京航空航天大学宇航学院);Key Laboratory of Spacecraft Design Optimization and Dynamic Simulation Technologies, Ministry of Education(教育部航天器设计优化与动态仿真技术重点实验室)
研究针对计算成像构建正确重建管道费力的问题,引入含57个任务的Imaging-101基准及三个评估轨道,评估七个前沿大语言模型,发现应用编码智能体于计算成像存在系统性挑战,指出技能增强、领域专业化智能体是可靠成像辅助的途径。
2026-07-14 cs.AI
Evaluating Harmful Memorization in LLM Code Generation
University of California, San Diego(加州大学圣地亚哥分校)
提出语义代码重写与 MRI 指标,从行为层面区分 LLM 代码生成中的有害记忆和良性重用,并评估模型规模、SFT 与 PPO 对记忆和泛化的影响。
2026-10-27 cs.AI
Can Coding Agents Reproduce Findings in Computational Materials Science?
Johns Hopkins University(约翰霍普金斯大学)
研究探讨编码代理在计算材料科学领域复现研究结果的能力,提出AutoMat基准测试,发现当前LLM代理在复现复杂科学流程时表现有限,存在流程不完整、方法偏差等问题。
2026-09-03 cond-mat.mtrl-sci cs.AI cs.CL
Scalable LLM-based Coding of Dialogue in Healthcare Simulation: Balancing Coding Performance, Processing Time, and Environmental Impact
RMIT University(皇家墨尔本理工大学);Monash University(墨尔本大学);Adelaide University(阿德莱德大学);The University of Hong Kong(香港大学);ESPOL University(ESPOL大学)
本文探讨了如何通过优化提示设计和批量策略,在医疗模拟复盘中平衡编码准确性、处理时间和环境影响,展示了LLM在对话分析中的可行性及实际应用价值。
2026-04-25 cs.AI cs.CY cs.HC
WebTestBench: Evaluating Computer-Use Agents towards End-to-End Automated Web Testing
Northeastern University(东北大学);Kuaishou Technology(快手科技)
本文提出WebTestBench基准,用于评估端到端自动化网页测试能力,揭示现有方法在测试完整性、检测瓶颈和长周期交互可靠性方面的不足。
2026-03-26 cs.AI cs.CL cs.MA
IDA-Bench: Evaluating LLMs on Interactive Guided Data Analysis
Peking University(北京大学);UC Berkeley(加州大学伯克利分校)
本文提出 IDA-Bench 基准,通过 LLM 模拟用户的多轮交互场景评估数据分析智能体,发现现有顶尖编码智能体成功率不足 50%,揭示了提升多轮指令遵循与推理平衡能力的必要性。
2025-06-06 cs.AI cs.CL
Segmented Harmonic Loss: Handling Class-Imbalanced Multi-Label Clinical Data for Medical Coding with Large Language Models
CloudMedx Inc(CloudMedx公司)
针对医疗编码任务中多标签临床数据极端类别不平衡与含噪问题,提出分段谐波损失及嵌入相似度降噪技术,在MIMIC数据集上实现F1分数较SOTA提升超10个百分点。
2023-10-06 cs.AI cs.CL
ClassEval: A Manually-Crafted Benchmark for Evaluating LLMs on Class-level Code Generation
Fudan University(复旦大学)
本文构建含100项任务的手工Python类级代码生成基准ClassEval,评估11个LLM,揭示类级与方法级能力差异、模型梯队及适用生成策略。
2023-08-14 cs.AI cs.CL
Evaluating Test-Time Scaling of General LLM Agents
Language Technologies Institute, School of Computer Science, Carnegie Mellon University(卡内基梅隆大学语言技术研究所);Meta
研究提出General AgentBench基准测试,用于评估通用大语言模型代理在多个技能和工具上的表现,发现顺序和并行扩展方法在实际应用中均存在性能限制。
2026-09-30 cs.AI cs.CL
Relay-Bench: Evaluating LLMs on Multi-Domain Reasoning Chains
Relay-Bench是用于评估大语言模型在多领域推理链能力的基准测试,测试集含复合问题,涵盖多领域,模型使用无限制,鼓励利用工具,领先模型GPT-5.5(xHigh)得分43.3%,问题由两到十三个子问题组成,无需多模态输入输出。
2026-07-22 cs.AI cs.CL cs.LG
A Hierarchical Error Framework for Reliable Automated Coding in Communication Research: Applications to Health and Political Communication
提出分层错误校正框架,通过系统错误剖析、定向干预和严格验证,提升通信研究自动编码的可靠性,在健康与政治传播任务中平均准确率提升11.2个百分点。
2025-10-24 cs.AI cs.CL
Benchmarking Frontier Large Language Models Against Official Crash Database Coding Using Police Crash Narratives
本研究以阿肯色州2015-2025年的致命事故数据为对象,对比6种前沿大语言模型与官方事故数据库的编码效果,为事故编码领域的LLM应用提供了基准评估依据。
2026-08-03 cs.AI cs.LG
Evaluating LLMs in Database Scenarios: A Lifecycle Benchmark for Assessing Their Potential in Core Database Tasks
East China Normal University(华东师范大学);Hasso Plattner Institute/University of Potsdam(哈索·普拉特纳研究所/波茨坦大学)
研究针对现有LLM数据库评估基准仅聚焦Text-to-SQL任务的缺陷,推出覆盖数据库全生命周期的DBLifeBench基准,还提出Progressive-Text2SQL任务,发现专用Text-to-SQL模型在非编码阶段存在灾难性遗忘,为全栈数据库智能构建奠定基础。
2026-08-05 cs.AI cs.CL cs.DB
Engineering Reliable Coding Agents: Evaluating and Operating the System Around the Model
本研究针对AI编码智能体的可靠性问题,整合多源证据构建系统级评估与运行框架,区分模型与基础设施效应,提出可靠性记录目录及相关方法以提升智能体系统可靠性。
2026-08-17 cs.AI cs.SE
Evaluating Large Language Models in Analysing Classroom Dialogue
Institute of Education, Tsinghua University(清华大学教育研究院)
本研究针对传统课堂对话定性分析的高成本问题,用定制化GPT-4分析中学数语课堂对话,对比人工编码发现其大幅省时且编码一致性高,展现LLM在教学评估中的应用潜力。
2024-02-23 cs.AI cs.CL cs.HC
VibeMemBench: Evaluating Memory Systems for Coding Agents on Real Repository Coding Tasks
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);SUAT;Alibaba Token Hub, Alibaba Group(阿里巴巴集团阿里巴巴令牌中心);Alibaba Group(阿里巴巴集团)
针对现有评估未隔离记忆对编码结果影响的问题,提出VibeMemBench基准,基于90个仓库111个目标验证记忆系统,发现现有系统多数未能超越无记忆基线,揭示经验传递差距。
2026-09-22 cs.CL cs.SE
GameEngineBench: Evaluating Coding Agents on Real C++ Runtime Environments
Nitrode;Nexon Intelligence Labs;Dartmouth University(达特茅斯大学);Columbia University(哥伦比亚大学);Cornell University(康奈尔大学)
研究利用GameEngineBench在虚幻引擎5项目中评估编码智能体,核心方法是构建来自九个真实游戏仓库的基准测试集,主要贡献是揭示智能体在实时交互软件的C++开发中面临挑战,凸显游戏引擎基准测试的价值。
2026-07-16 cs.CL cs.SE
Can Coding Agents Implement Missed Compiler Optimizations? Evaluating LLM Agents on LLVM Peephole Optimizations
University of Waterloo(滑铁卢大学)
研究编码代理能否开发编译器优化,引入PeepholeBench框架,其任务来自LLVM的实际窥孔优化问题,通过对比衡量编码代理与人工修复,发现正确性和收益性间存在矛盾及主要失败模式,为编码代理提供了现实且具挑战性的基准。
2026-07-07 cs.SE
Transforming Software Development: Evaluating the Efficiency and Challenges of GitHub Copilot in Real-World Projects
Security Business Group, Cisco Systems Inc(思科系统公司安全业务集团)
本研究评估了 AI 编码助手 GitHub Copilot 在真实项目中的效率与挑战,发现其在文档和重复性任务中可节省 30-50% 时间,但在复杂和 C/C++ 代码场景下表现不佳,预计云优先生命周期整体编码时间将减少 33-36%。
2024-06-25 cs.AI cs.SE
PERFOPT-Bench: Evaluating Coding Agents on Software Performance Optimization
OPPO Research Institute(OPPO 研究院);University of Arizona(亚利桑那大学);City University of Hong Kong(香港城市大学)
该研究介绍PERFOPT-Bench基准,用于评估软件性能优化中编码代理的完整性能工程循环。通过7个长期任务评估7个不同的代理堆栈,发现优化性能取决于工作负载,原始加速作基准分数不安全,还提出中继试验可恢复额外空间。
2026-07-10 cs.SE
Evaluating the Effectiveness and Efficiency of Demonstration Retrievers in RAG for Coding Tasks
该研究系统评估了6种检索器在3类编码任务RAG中的效率与有效性权衡,揭示了不同检索器的适用场景与示例数量的影响,为构建高效的编码任务RAG系统提供参考。
2025-02-24 cs.SE
SWE-NFI: Studying and Benchmarking Coding Agents for Non-Functional Improvements
York University(约克大学);Singapore Management University(新加坡管理大学);University of Waterloo(滑铁卢大学)
本文提出SWE-NFI基准,基于开源Python项目的真实合并拉取请求构建188个任务,评估编码智能体的非功能改进能力,发现智能体在该能力上普遍落后于人类开发者。
2026-10-08 cs.AI cs.SE
The Devil Is in the Interface: Evaluating How Tool Architecture Shapes Coding Agent Behavior
Purdue University(普渡大学);Microsoft Research(微软研究院);The University of Chicago(芝加哥大学)
该研究通过编码智能体的对照实验,发现工具架构会显著影响智能体行为,不同工具架构在一致性、文件访问量、步骤数等方面表现出不同效果,其中Python CodeAct风格接口性能优异。
2026-08-13 cs.SE