Harnessing the Power of LLMs: Evaluating Human-AI Text Co-Creation through the Lens of News Headline Generation
University of Maryland, College Park（马里兰大学帕克分校）；Dataminr Inc.（Dataminr公司）
本文在LLM辅助新闻标题生成背景下比较了多种人机交互类型，发现引导和选择模型输出以最低成本带来最大收益，且AI辅助不损害用户的控制感。
2023-10-18 cs.AI cs.CL
Democratizing Diplomacy: A Harness for Evaluating Any Large Language Model on Full-Press Diplomacy
Good Start Labs；University of Oxford（牛津大学）
提出首个无需微调即可让任何本地LLM游玩全新闻外交的评估测试套件，通过优化游戏状态表示和开发分析工具，揭示了不同规模LLM的战略推理能力表现。
2025-08-10 cs.AI cs.CL cs.CY
Evaluating the Code Quality of AI-Assisted Code Generation Tools: An Empirical Study on GitHub Copilot, Amazon CodeWhisperer, and ChatGPT
本研究基于HumanEval数据集，从有效性、正确性、安全性、可靠性和可维护性五个维度比较了GitHub Copilot、Amazon CodeWhisperer和ChatGPT的代码生成质量，发现ChatGPT正确率最高且技术债务适中，为开发者选择最佳工具提供了实证依据。
2023-10-22 cs.SE
GABench: A Comprehensive Benchmark for Evaluating LLM Agents on Graph Analysis Tasks
Beijing University of Posts and Telecommunications（北京邮电大学）；The Chinese University of Hong Kong（香港中文大学）；Peking University（北京大学）
本文提出GABench这一综合基准，涵盖多类图类型与任务及84个可执行工具，构建10400个带可验证答案的任务，评估前沿LLM及智能体框架，发现现有智能体应对复杂图任务仍存局限等结论。
2026-11-09 cs.AI
Literary Narrative as Moral Probe : A Cross-System Framework for Evaluating AI Ethical Reasoning and Refusal Behavior
本文通过文学叙述中的不可解道德情境，提出一种跨系统框架，评估AI的伦理推理与拒绝行为，发现系统能力与仪器复杂性相关，揭示了伦理推理与真实能力间的差距。
2026-03-13 cs.AI cs.CL cs.CY
Baselines Before Architecture: Evaluating Coding Agents for Autonomous Penetration Testing
Kroda Labs（Kroda实验室）
研究针对自主渗透测试，以默认编码CLI代理为基线，在XBOW基准上用不同模型运行，比较不同框架结果及模型扩展效果，发现专业框架有提升，普通代理也能解决不少问题，新模型可提升同一框架，强调未来评估应报告模型匹配的普通代理基线。
2026-07-16 cs.AI cs.CR
Measuring Harness-Induced Belief Divergence in Multi-Step LLM Agents
University of Toronto（多伦多大学）；Emory University（埃默里大学）
研究多步语言模型智能体中工具对其信念的影响，引入信念展开诊断，定义跨工具信念差异并分解，通过实验表明工具设计是智能体评估中的实验变量。
2026-10-16 cs.AI
Harnessing the Potential of Gen-AI Coding Assistants in Public Sector Software Development
GovTech Singapore的研究表明，GitHub Copilot使公共部门开发人员生产力提升21-28%，满意度达95%，并建议制定AI框架及根据代码机密性选择云端或自托管工具以高效利用技术。
2024-09-25 cs.SE
FuzzingBrain-Bench V1: Evaluating Open-Ended Bug Discovery by LLMs
Texas A&M University（得克萨斯农工大学）；University of Novi Sad（诺威萨大学）
本研究提出FuzzingBrain-Bench V1基准，评估Claude系列大模型的开源软件漏洞发现能力，其中Claude Opus 4.8表现最佳，在77项挑战中60项触发崩溃，得196分。
2026-08-27 cs.AI cs.CR cs.LG
WebUIProof: Benchmarking WebUI Code Generators with UI-Agent Execution Harness
Columbia University（哥伦比亚大学）；Meta SuperIntelligence Labs（Meta 超级智能实验室）
WebUIProof是一个面向执行的WebUI代码生成基准，通过UI智能体执行框架进行可执行交互测试，评估八个商业大语言模型发现交互需求频繁失败，并证明该框架可为紧凑模型提供强化学习训练信号以提升功能完成度。
2026-10-05 cs.AI cs.MA cs.SE
VeRO: A Harness for Agents to Optimize Agents
提出 VeRO 框架和 VeRO-Bench 基准，通过版本化快照、预算控制评估和结构化执行轨迹来优化智能体代码，并实验比较不同优化器对目标智能体的改进效果。
2026-06-02 cs.AI cs.CL cs.LG
SIMCOPILOT: Evaluating Large Language Models for Copilot-Style Code Generation
Department of Computer Science（计算机科学系）；Department of Statistics（统计学系）；Rice University（里士满大学）
本文提出SIMCOPILOT基准，通过模拟交互式编码助手评估LLM在代码补全和填充任务中的能力，提供细粒度分析并揭示模型在复杂依赖中保持逻辑一致性的挑战。
2025-05-21 cs.LG cs.PL cs.SE
Evaluating Code Generation of LLMs in Advanced Computer Science Problems
Royal Institute of Technology（皇家理工学院）
本研究评估四种LLM工具在高级CS课程中生成Java、Python和C代码的能力，发现其解决高级作业较入门更难，但常能提供部分有用解决方案，为教学提供指导。
2025-04-21 cs.AI cs.CY
Copilot Arena: A Platform for Code LLM Evaluation in the Wild
针对代码大语言模型真实场景编码能力评估的难题，本文提出Copilot Arena平台，通过集成到开发者环境收集用户偏好，其包含对比界面、低延迟采样策略等，已生成450万条建议并收集11k成对判断，揭示了集成环境评估的重要性及模型排名差异等新见解。
2025-02-13 cs.SE
ReLiveGym: Evaluating Long-Lived Agents over Weeks of Replayed Reality
Sahara AI（撒哈拉人工智能公司）；University of Southern California（南加州大学）
针对现有长时程智能体研究忽略环境动态性的问题，提出ReLiveGym环境，在数周重放的真实数据流中评估智能体，发现行动时机机制是重要设计轴，并验证了反馈学习的作用。
2026-10-02 cs.AI
FIN-bench-v2: A Unified and Robust Benchmark Suite for Evaluating Finnish Large Language Models
University of Turku（图尔库大学）
FIN-bench-v2通过整合芬兰语言任务和评估方法，提供统一且稳健的基准测试集，用于评估芬兰大型语言模型的性能。
2025-12-15 cs.AI cs.CL
Task-CoEvolve: Efficient Harness Optimization via Adaptive Validation Task Selection
The University of Tokyo（东京大学）
Task-CoEvolve通过自适应验证任务选择，使LLM智能体框架与验证任务协同演化，在保持全集搜索最终性能的同时，减少80%评估次数，实现高效的智能体框架优化。
2026-08-25 cs.AI cs.CL cs.LG
LLM4DS: Evaluating Large Language Models for Data Science Code Generation
Pennsylvania State University（宾夕法尼亚州立大学）
本文通过对照实验评估四种主流LLM在数据科学代码生成任务上的表现，发现所有模型均超过50%基线成功率，但仅ChatGPT和Claude显著超过60%基线，为按任务需求选择模型提供了实证依据。
2024-11-16 cs.AI cs.ET cs.SE
Diverse by Reasoning: Harnessing the Wisdom of LLM Crowds for Future Prediction
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）
该研究提出感知行为框架构建多样化LLM群体，用K-means++聚类选代表，三模型群体预测性能优于全部25模型的投票，降本提效，凸显群体构成与代表性多样性的重要性。
2026-08-27 cs.AI
A Comprehensive Framework for Evaluating API-oriented Code Generation in Large Language Models
University of Manitoba（曼尼托巴大学）；Concordia University（康考迪亚大学）；Queen’s University（女王大学）
提出AutoAPIEval框架，系统评估LLM在面向API代码生成中的API推荐和代码示例生成能力，发现不同模型表现差异并验证检索增强生成的提升作用。
2024-09-26 cs.AI cs.LG cs.SE
An Empirical Study of Harness Design for Coding Agents
UMass Amherst（马萨诸塞大学阿默斯特分校）；Emory University（埃默里大学）；UNC Charlotte（北卡罗来纳大学夏洛特分校）；Zoom Video Communications（Zoom视频通信公司）
本研究通过轻量级编码驾驭系统，在四个模型和两个基准上实证分析了规划、动作空间与上下文管理三个组件的影响，发现上下文管理在预算紧张时防溢出最有效，规划随模型增强转为降本，动作空间影响成本与粒度，为驾驭设计提供模块化框架。
2026-09-18 cs.AI cs.CL cs.LG
AtomWorld: A Benchmark for Evaluating Spatial Reasoning in Large Language Models on Crystalline Materials
University of New South Wales, NSW, Sydney, Australia（新南威尔士大学，新州，悉尼，澳大利亚）；Suzhou Institute for Advanced Research, University of Science（苏州先进研究院，科学大学）；Shanghai Artificial Intelligence Laboratory, Shanghai, China（上海人工智能实验室，上海，中国）；Cornell University（康奈尔大学）
提出AtomWorld基准，通过十种基本原子结构操作评估LLM在材料科学中的空间推理能力，发现Claude Opus 4.6表现最佳但复杂空间关系操作成功率低，表明LLM更适合作为辅助工具而非完全自主的科研代理。
2026-05-28 cond-mat.mtrl-sci cs.AI cs.CL
Don't Guess, Just Ask: Evaluating Interactive Requirement Clarification for Repository-Level Software Development
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
该研究提出ReqClarifyBench基准，评估LLM在仓库级软件开发中通过交互将模糊用户意图转化为明确需求的能力，发现澄清效果与文档质量无必然关联，编码智能体工具未提升需求文档质量。
2026-10-12 cs.AI cs.SE
Evaluating AI-based Scientific Knowledge Synthesis with Epidemiological Systematic Reviews
University of Oxford（牛津大学）；Imperial College London（伦敦帝国理工学院）；University of Nottingham（诺丁汉大学）；Snowflake AI Research（Snowflake人工智能研究）；Independent（独立）
提出AgentSLR评估框架，包含自动化工作流和专家标注数据集，测试LLM在流行病学系统评价各阶段能力，发现无模型全面领先，结构化提取是主要瓶颈。
2026-06-04 cs.AI cs.DL cs.IR
Benchmarking ChatGPT, Codeium, and GitHub Copilot: A Comparative Study of AI-Driven Programming and Debugging Assistants
本文比较了 ChatGPT、Codeium 和 GitHub Copilot 在 LeetCode 问题上的表现，发现 Copilot 擅长简单和中等任务，ChatGPT 在内存效率和调试上更优，而 Codeium 在复杂问题上表现较弱，为开发者选择 AI 编程助手提供了参考。
2024-09-30 cs.SE
AU-Harness: An Open-Source Toolkit for Efficient and Unified Evaluation of AUdio-LLMs
ServiceNow；University of Texas at Austin（德克萨斯大学奥斯汀分校）
AU-Harness通过优化处理流程和并行执行，实现151%的速度提升，提供标准化提示协议和灵活配置，促进音频大语言模型的系统性发展。
2026-10-26 cs.AI cs.LG cs.SD
WONDERBREAD: A Benchmark for Evaluating Multimodal Foundation Models on Business Process Management Tasks
Stanford University（斯坦福大学）
提出首个超越自动化的业务流程管理（BPM）多模态基础模型评估基准WONDERBREAD，包含2928个工作流演示和6个真实任务，发现现有模型虽能生成文档但难以完成细粒度验证。
2024-10-11 cs.AI cs.LG cs.SE
Relay-Bench: Evaluating LLMs on Multi-Domain Reasoning Chains
Relay-Bench是用于评估大语言模型在多领域推理链能力的基准测试，测试集含复合问题，涵盖多领域，模型使用无限制，鼓励利用工具，领先模型GPT-5.5（xHigh）得分43.3%，问题由两到十三个子问题组成，无需多模态输入输出。
2026-07-22 cs.AI cs.CL cs.LG
GazeCopilot: Evaluating Novel Gaze-Informed Prompting for AI-Supported Code Comprehension and Readability
University of Glasgow（格拉斯哥大学）
针对AI编码助手提示上下文不足问题，提出Real-time GazeCopilot方法，将实时注视指标整合到提示以适配开发者认知状态，实验表明其在代码理解准确率、时间及可读性上优于Standard Copilot，且重构效果优于Pre-set GazeCopilot。
2025-11-11 cs.HC cs.SE
Evaluating Large Language Models for Security Bug Report Prediction
本文评估了基于提示和微调方法在预测安全漏洞报告中的性能，发现提示方法在召回率上表现更好但精度较低，而微调方法在精度上更优但召回率下降，且推理速度更快。
2026-01-30 cs.AI cs.CR cs.LG
IndicBankBench: Evaluating Safety and Reliability of Language Model Assistants in Indian Retail Banking
National Payments Corporation of India（印度国家支付公司）
针对银行助手仅评估最终响应会遗漏错误的问题，提出IndicBankBench基准，含799个案例、四阶段评估及严格pass^3指标，揭示至少一次成功率高估可靠性，助力提升印度零售银行助手安全与可靠性。
2026-09-25 cs.AI
ClawsBench: Evaluating Capability and Safety of LLM Productivity Agents in Simulated Workspaces
ClawsBench通过高保真模拟服务和结构化任务评估LLM代理在真实生产力场景中的能力与安全性，揭示了代理在多服务协作和安全关键场景中的表现及潜在风险。
2026-04-08 cs.AI
Foundations of Proactive Agents: Principles, Technical Layers, and Proactivity-Gym
KAIST（韩国科学技术院）；University of Minnesota（明尼苏达大学）
本文提出主动LLM智能体的3T原则（任务能力、时间分配、信任），构建五维设计空间及Proactivity-Gym测试平台，通过实验揭示性能差距与信任动态，强调三者的联合优化。
2026-09-30 cs.AI
Interpretable User Satisfaction Estimation for Conversational Systems with Large Language Models
Microsoft Corporation（微软公司）；Purdue University（普渡大学）
本文提出SPUR方法，通过迭代提示框架监督大语言模型学习可解释评分标准，以比嵌入方法更高的准确率估计对话系统用户满意度。
2024-06-09 cs.AI cs.IR
$τ$-Emotion-Bench: Exposing the Interaction Fragility of LLM Agents through Real-World User Emotions
Arizona State University（亚利桑那州立大学）
该研究推出τ-Emotion-Bench基准与Tracer流水线，评估工具调用智能体在情绪条件用户交互下的可靠性，发现前沿智能体仍存在交互脆弱性，Tracer可提升Qwen3模型性能并实现跨基准迁移。
2026-10-15 cs.AI cs.CL
DSV-Mem: Evaluating Multimodal Memory in Professional Workflows for MLLM Agents
Amazon AGI（亚马逊AGI）；University of Southern California（南加州大学）
针对专业工作流中MLLM智能体多模态记忆评估的空白，提出DSV-Mem基准，含1000个问题与生成工具，发现状态演化是主要难点，最强基线得分低于45%，状态感知设计更有效。
2026-10-07 cs.AI
Accurate but Not Humble: Evaluating Epistemic Humility in LLM Agents under Knowledge Conflict
Johns Hopkins University（约翰斯·霍普金斯大学）；New York University（纽约大学）
该研究针对大语言模型智能体在知识冲突下的认知谦逊展开评估，提出ISE三维度定义认知谦逊，发现高准确率未必对应高认知谦逊，模型干预可提升认知谦逊但常牺牲任务准确率。
2026-10-09 cs.AI cs.CL
Learn2Play Bench: How Well Do LLM Agents Learn from Experience in Unfamiliar Environments?
National University of Singapore（新加坡国立大学）
针对现有基准难以区分交互学习与已有知识推理的问题，提出Learn2Play Bench，通过新颖文本游戏评估LLM智能体经验学习能力，发现完整经验保留优于总结、人类表现优于智能体、框架选择影响性能与成本。
2026-10-09 cs.AI
Evaluating Large Language Models on Financial Report Summarization: An Empirical Study
IRUCA Co.,LTD（IRUCA公司）；Waseda University（早稻田大学）
本研究对比评估了GLM-4、Mistral-NeMo和LLaMA3.1在生成自动化财务报告中的表现，提出整合定量与定性分析的创新评估框架，并公开了相关数据集。
2024-11-11 cs.AI cs.CL
Security Weaknesses of Copilot-Generated Code in GitHub Projects: An Empirical Study
本文通过分析 GitHub 项目中 Copilot 等工具生成的 733 个代码片段，实证揭示了生成代码中安全弱点的高发生率及其 CWE 分布，并验证了 Copilot Chat 结合静态分析警告可修复最多 55.5% 的安全问题。
2025-02-06 cs.CR cs.SE
PROMPTFUZZ: Harnessing Fuzzing Techniques for Robust Testing of Prompt Injection in LLMs
Northwestern University（西北大学）；University of the Chinese Academy of Sciences（中国科学院大学）
本文提出 PROMPTFUZZ 框架，利用模糊测试技术系统评估大型语言模型抵御提示注入攻击的鲁棒性，在真实竞赛中取得前 0.14% 的成绩，并构建数据集微调模型，揭示了持续进行鲁棒性测试的重要性。
2025-04-03 cs.AI cs.CR
An Eye for an AI: Evaluating GPT-4o's Visual Perception Skills and Geometric Reasoning Skills Using Computer Graphics Questions
University of Auckland（奥克兰大学）；Auckland University of Technology（奥克兰理工大学）
本文构建两类计算机图形学问题数据集，评估 GPT-4o 的视觉感知与几何推理能力，发现其虽具独立解题潜力但准确性和质量仍有限，并提出将生成式人工智能融入 CG 教学的新方法。
2024-10-22 cs.AI cs.GR
Training and Evaluating Language Models with Template-based Data Generation
University of California Los Angeles（加州大学洛杉矶分校）
本文提出Template-based Data Generation方法，通过生成高质量数学问题及可验证解，解决大语言模型在复杂推理任务中的数据稀缺问题，并引入TemplateMath Part I: TemplateGSM数据集。
2026-05-13 cs.AI cs.CL cs.LG
Where Is Self-admitted Code Generated by Large Language Models on GitHub?
Zhejiang University（浙江大学）；Xi’an Jiaotong University（西安交通大学）；Wuhan University（武汉大学）
本研究通过分析 GitHub 上开发者自认使用 LLM 生成代码的注释，揭示了 ChatGPT 和 Copilot 在真实项目中的使用特征、代码规模与修改情况，为研究者和从业者提供了实证依据。
2025-11-07 cs.SE
BC-Bench: Evaluating Agentic Engineering in a Domain-Specific Language for ERP
Microsoft（微软公司）
该研究推出BC-Bench基准，评估智能体工程在ERP领域DSL（AL）上的表现，发现通用基准的改进未一致迁移到AL，凸显领域特定评估的必要性。
2026-08-24 cs.AI cs.SE
AgentBug-Smith: Automatically Reproducing Real-World Harness Bugs in Agentic Systems
The University of Chicago（芝加哥大学）；Fudan University（复旦大学）；TensorBlock, Inc.（TensorBlock公司）；Tsinghua University（清华大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出 AgentBug-Smith 自动复现智能体系统中的真实 harness 缺陷，并构建 Live-Harness-Bench 基准（含 200 个缺陷），显著提升缺陷修复率，为递归自我改进智能体奠定基础。
2026-09-30 cs.AI cs.SE
Evaluating the Effectiveness of Coverage-Guided Fuzzing for Testing Deep Learning Library APIs
本文提出FlashFuzz，利用LLM自动合成API级测试驱动程序，将覆盖率引导模糊测试有效应用于PyTorch和TensorFlow，显著提升覆盖率、有效率和生成速度，并发现42个未知缺陷。
2025-09-18 cs.SE
When to Show a Suggestion? Integrating Human Feedback in AI-Assisted Programming
Massachusetts Institute of Technology（麻省理工学院）；Microsoft Research（微软研究院）
本文提出基于人类反馈的条件建议显示（CDHF）框架，利用程序员接受和拒绝代码建议的信号，通过级联模型预测接受概率并选择性隐藏建议，从而减少延迟和验证时间，同时揭示了将接受度作为奖励信号可能导致建议质量下降的陷阱。
2024-04-22 cs.HC cs.LG cs.SE
PARNESS: A Paper Harness for End-to-End Automated Scientific Research with Dynamic Workflows, Full-Text Indexing, and Cross-Run Knowledge Accumulation
Sino-German Joint Software Institute, Beihang University（中德软件工程学院，北京航空航天大学）
PARNESS通过动态工作流、全文索引和跨运行知识积累，解决传统科研系统流程僵化、知识累积不足的问题，实现端到端自动化科研。
2026-05-06 cs.SE
CodeLMSec Benchmark: Systematically Evaluating and Finding Security Vulnerabilities in Black-Box Code Language Models
CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）
针对代码语言模型缺乏安全评估基准的问题，提出基于少样本提示近似求逆黑盒模型的方法，自动发现生成的漏洞代码并构建多样化不安全提示数据集作为评估基准。
2023-10-23 cs.AI cs.CL cs.CR
Black-Box Adversarial Attacks on LLM-Based Code Completion
Department of Computer Science, ETH Zurich, Switzerland（计算机科学系，苏黎世联邦理工学院）
本研究提出名为INSEC的黑盒对抗攻击方法，通过注入优化生成的注释字符串提升LLM代码补全的不安全代码生成率，在多模型和商业服务上验证了有效性与实用性。
2025-06-13 cs.CR cs.LG cs.PL
No Resource, No Benchmarks, No Problem? Evaluating and Improving LLMs for Code Generation in No-Resource Languages
Università della Svizzera italiana（瑞士意大利语大学）；Universidad de Sevilla（塞维利亚大学）
研究无资源语言（LLM未见训练数据的语言）的代码生成问题，通过构建三个基准并实验提示技术、预训练和微调方法，提出权重差异迁移方法提升性能。
2026-06-16 cs.SE
The Impact of Generative AI-Powered Code Generation Tools on Software Engineer Hiring: Recruiters' Experiences, Perceptions, and Strategies
本研究通过调查32名行业招聘人员，揭示了GenAI代码生成工具对软件工程师招聘评估的影响，发现多数组织尚未调整评估方法，并探讨了面试中使用工具的争议及纳入计算机科学课程的必要性。
2024-09-02 cs.SE
MATCH: Task-Driven Code Evaluation through Contrastive Learning
Bosch Research（博世研究）
针对现有代码评估方法存在的依赖参考、成本高或无法反映功能契合度的问题，提出基于对比学习的无参考代码评估指标MATCH，在多语言场景下与功能正确性和人类偏好的相关性优于现有指标。
2025-10-28 cs.CL cs.SE
