Evaluating Correctness and Faithfulness of Instruction-Following Models for Question Answering
Mila, McGill University（米拉-麦吉尔大学）；ServiceNow Research（ServiceNow研究院）；Facebook（脸书）
本研究针对问答任务中传统指标无法准确评估检索增强型指令遵循模型的问题，从正确性与忠实性两个维度开展评估，提出更适配的新指标，发现该类模型正确性表现优异但易出现知识幻觉，推动相关评估更全面化。
2024-04-17 cs.AI cs.CL
Evaluating Large Language Models for Code Review
Bilkent University（比尔肯特大学）
本研究评估GPT4o和Gemini 2.0 Flash在代码审查中的性能，发现其能评估正确性并提出改进，但存在错误风险，故提出“人在回路”流程以降低风险。
2025-05-26 cs.AI cs.SE
SolBehave: Evaluating the Behavioural Correctness of LLM-Generated Smart Contracts
University of Bologna（博洛尼亚大学）；University of Copenhagen（哥本哈根大学）
研究针对大语言模型生成智能合约的评估仅关注编译的问题，推出SolBehave基准，通过三项测试评估合约行为正确性，发现编译远非正确性的充分条件。
2026-10-14 cs.AI cs.SE
ACE-Bench: A Lightweight Benchmark for Evaluating Azure SDK Usage Correctness
Microsoft（微软）
ACE-Bench通过将官方文档示例转化为自包含编码任务，提供快速可重复的通过或失败信号，评估基于LLM的编码代理是否正确使用Azure SDK，同时减少评估成本并提高可重复性。
2026-02-14 cs.AI cs.DC cs.SE
Evaluating Legal Reasoning Traces with Legal Issue Tree Rubrics
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；LBOX；Stanford（斯坦福）；Yale（耶鲁）
本文提出 LEGIT 数据集，用于评估 LLM 在法律领域推理轨迹的质量，发现法律问题覆盖度和正确性影响 LLM 推理能力，RAG 和带准则的 RL 分别提升整体能力与正确性。
2026-05-01 cs.AI cs.CL
Generating and Evaluating Explanations of Attended and Error-Inducing Input Regions for VQA Models
SRI International（SRI国际）；University of California, San Diego（加州大学圣地亚哥分校）
注意力地图是一种流行的基于热图的视觉问答（VQA）解释方法，旨在通过突出显示模型用于推断答案的图像/问题的部分来帮助用户理解模型。然而，我们看到用户经常被当前的注意力地图可视化误导，尽管模型产生了错误的答案，但这些可视化指向相关区域。因此，我们提出了错误映射，通过突出显示模型容易出错的图像区域来澄清错误。错误映射可以指示何时正确关注的区域可能被不正确地处理，从而导致不正确的答案，并且因此提高用户对这些情况的理解。为了评估我们的新解释，我们进一步引入了一个度量，模拟用户的解释，以评估其潜在的帮助理解模型的正确性。最后，我们进行用户研究，看看我们的新的解释，帮助用户理解模型的正确性比基线预期的30%，我们的代理有用性指标密切相关（$ρ>0.97$），以及用户可以预测模型的正确性。
2021-10-25 cs.AI cs.CV cs.CY
RAGtifier: Evaluating RAG Generation Approaches of State-of-the-Art RAG Systems for the SIGIR LiveRAG Competition
L3S Research Center（L3S研究所以）；Inria Paris-Rocquencourt（Inria巴黎-罗克琴克特研究所）；Rajiv Gandhi University（拉吉夫·甘地大学）；Tsinghua University（清华大学）；Palmer Research Laboratories（帕勒姆研究实验室）
本文评估了SIGIR 2025 LiveRAG挑战赛中的RAG生成方法，最终采用InstructRAG结合Pinecone检索器和BGE重排序器，取得总排名第三的成绩。
2025-08-12 cs.AI cs.IR cs.LG
Does Pass Rate Tell the Whole Story? Evaluating Design Constraint Compliance in LLM-based Issue Resolution
Fudan University（复旦大学）；Nanyang Technological University（南洋理工大学）
本文提出设计感知问题解决方法，引入bench基准，通过挖掘和验证真实项目中的设计约束，评估LLM在问题解决中设计约束的合规性，发现测试通过率高并不代表设计合规性好。
2026-04-07 cs.AI cs.SE
Beyond Aggregate Scores: Behavioral Correctness Assumptions for Assessing Reference-Based Automatic Evaluation Methods
Oak Ridge National Laboratory（橡树岭国家实验室）；DHS Science and Technology Directorate（美国国土安全部科学与技术局）
该研究提出行为正确性假设框架，评估多种类型的基于参考的自动评估方法，发现无评估器满足所有正确性假设，聚合性能相似的评估器行为特征差异显著，可提供传统元评估掩盖的诊断信息。
2026-09-07 cs.AI
SysMoBench: Evaluating AI on Formally Modeling Complex Real-World Systems
Nanjing University（南京大学）；Microsoft Research Asia（微软亚洲研究院）；University of British Columbia（不列颠哥伦比亚大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
SysMoBench通过评估AI在形式化建模复杂现实系统中的能力，为并发和分布式系统提供基准测试，揭示当前LLMs和代理的优劣。
2026-01-28 cs.AI cs.DC cs.SE
Evaluating the Factuality of Large Language Models using Large-Scale Knowledge Graphs
Purdue University（普渡大学）；Zhejiang University（浙江大学）
本文提出GraphEval，利用包含超千万事实的大规模知识图谱构建测试集，并通过评判模型评估LLM回答的事实正确性，在保证评估一致性的同时显著降低成本。
2024-04-01 cs.AI cs.CL cs.LG
Evaluating Implicit Regulatory Compliance in LLM Tool Invocation via Logic-Guided Synthesis
本文提出LogiSafetyGen框架，通过逻辑引导合成评估LLM在工具调用中的隐式监管合规性，揭示大模型在安全约束上的不足。
2026-01-13 cs.AI cs.CL cs.CR
Patched RTC: evaluating LLMs for diverse software development tasks
Patched Codes, Inc（Patched Codes公司）
本文提出Patched RTC评估框架，通过无需人工干预的自我评估衡量LLM在错误修复等软件开发任务中的一致性，并证明其能有效区分模型性能与任务难度，为提示优化和模型选择提供指导。
2025-04-29 cs.AI cs.SE
Beyond Final Answers: Evaluating Large Language Models for Math Tutoring
Drexel University（德雷塞尔大学）；Georgia Institute of Technology（佐治亚理工学院）；Politecnico di Torino（都灵理工大学）
本研究提出两种评估大语言模型数学辅导能力的新方法，测试多款ChatGPT模型后发现其解题正确率较高但作为互动辅导者时完全正确率不足，指出其暂不能在无监督下用作数学智能导师。
2025-02-23 cs.AI cs.HC
Evaluating LLM Uncertainty in Long-Form Generation Using Deterministic Ground Truth
Technion（技术学院）；Nvidia（英伟达）
研究针对长文本生成中语言模型不确定性评估难题，引入含单一确定性长文本真值的SALT基准，通过对50多个模型分析揭示关键见解，如置信函数作用、错误驱动因素及推理影响等，为风险关键应用提供参考。
2026-07-07 cs.AI cs.CL cs.LG
Grading the Unspoken: Evaluating Tacit Reasoning in Quantum Field Theory and String Theory with LLMs
Independent Researcher（独立研究者）
本文探讨LLMs在量子场论和弦论等高度抽象理论领域评估隐性推理的能力，提出五级评分标准，发现模型在显性推导中表现良好，但在需重建隐性步骤时表现下降。
2026-04-01 cs.AI cs.CL hep-th
ECCO: Can We Improve Model-Generated Code Efficiency Without Sacrificing Functional Correctness?
Language Technologies Institute, Carnegie Mellon University（卡内基梅隆大学语言技术研究所）
针对大语言模型生成代码时效率与正确性难以兼顾、效率基准测试不可靠的问题，本文提出可复现基准ECCO，测试三类现有方法后发现执行信息助于保正确性、自然语言反馈更能提效率，为后续高效代码生成研究提供支持。
2024-10-09 cs.AI cs.CL
JudgeBench: A Benchmark for Evaluating LLM-based Judges
UC Berkeley（加州大学伯克利分校）；Washington University in St. Louis（圣路易斯华盛顿大学）
针对现有基准依赖人类偏好且难以评估事实与逻辑正确性的问题，提出JudgeBench基准，通过将困难数据集转换为反映客观正确性的响应对，全面评估各类基于LLM的评判者，发现多数强模型表现仅略优于随机猜测。
2025-04-05 cs.AI cs.CL cs.LG
Beyond Accuracy: Evaluating Strategy Diversity in LLM Mathematical Reasoning
University of Toronto（多伦多大学）；Upper Canada College（上加拿大学院）；East China Normal University（华东师范大学）
研究探讨了大语言模型在数学推理中策略多样性与准确性之间的关系，发现策略多样性是评估数学推理的重要补充维度。
2026-05-10 cs.AI cs.CY
SWE-CI: Evaluating Agent Capabilities in Maintaining Codebases via Continuous Integration
Sun Yat-sen University（中山大学）；Alibaba Group（阿里巴巴集团）；Skylenage
SWE-CI通过持续集成循环构建首个仓库级基准，旨在将代码生成评估从静态短期功能性正确性转向动态长期可维护性，通过跟踪功能正确性随时间的变化揭示可维护性。
2026-04-01 cs.AI cs.CL cs.SE
Beyond Correctness: Validity-Oriented Evaluation of Biomedical LLM Judges
IQVIA（艾昆纬）
针对生物医学LLM评判者，该研究提出有效性导向的评估流程，评估Llama-3.1-8B-Instruct的四种训练场景，发现SFT→RL场景在多维度表现最优，可匹配或超越前沿模型。
2026-09-01 cs.AI
IslamicLegalBench: Evaluating LLMs Knowledge and Reasoning of Islamic Law Across 1,200 Years of Islamic Pluralist Legal Traditions
Qatar University（卡塔尔大学）；Information Technology University（信息技术大学）；Northeastern University（东北大学）；Queen Mary University of London（伦敦女王学院）
伊斯兰法律基准评估LLMs在伊斯兰法推理中的能力，揭示其在复杂任务中存在显著缺陷，强调基础知识缺失对AI性能的影响。
2026-02-02 cs.AI cs.CL
Beyond Perception: Evaluating Abstract Visual Reasoning through Multi-Stage Task
The University of Melbourne（墨尔本大学）；University of Sydney（悉尼大学）
针对多模态大语言模型在抽象视觉推理中多阶段过程评估缺失的问题，提出基于RAVEN的多阶段基准MultiStAR及考虑中间步骤正确性的新指标MSEval，实验表明模型在复杂规则检测阶段仍面临挑战。
2025-05-30 cs.AI cs.CV
Evaluating Large Language Models on Graphs: Performance Insights and Comparative Analysis
Colorado School of Mines（科罗拉多矿业学院）
本研究评估了四种大型语言模型在图数据分析上的能力，采用理解力、正确性、保真度和纠正能力四项指标，发现LLMs能理解图数据但结构推理受限，GPT模型正确性更优但多答案保真度存疑，且GPT-4具备纠正先前版本回复的能力。
2023-09-09 cs.AI cs.CL
Beyond Synthetic Benchmarks: Evaluating LLM Performance on Real-World Class-Level Code Generation
Concordia University（康科德大学）
本文构建真实世界类级别代码生成基准，发现LLMs从合成基准的84-89%正确率骤降至25-34%，并证明检索增强比完整文档更能提升性能，为生产代码辅助提供改进方向。
2025-11-04 cs.AI cs.LG cs.SE
DecompileBench: A Comprehensive Benchmark for Evaluating Decompilers in Real-World Scenarios
Tsinghua University（清华大学）；Peking University（北京大学）；Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）
该研究提出首个面向真实逆向工程场景的反编译器评估基准DecompileBench，通过真实函数提取、运行时验证和大模型评判的人工向评估体系，对比发现大语言模型方法代码可理解性优于商业工具但功能正确性更低，为反编译器研究和工具选型提供支撑。
2025-05-16 cs.AI cs.SE
Are LLMs Ready for TOON? Benchmarking Structural Correctness-Sustainability Trade-offs in Novel Structured Output Formats
University of Naples Federico II（那不勒斯费迪里奇二世大学）；University of Bergamo（贝拉姆乔大学）
本文提出了一种考虑环境效率的评估框架，评估新型结构化输出格式TOON在结构正确性与可持续性之间的权衡，发现TOON在紧凑性和排放方面表现优异，但需依赖模型容量以提升正确性。
2026-01-17 cs.AI cs.SE
LLM4EFFI: Leveraging Large Language Models to Enhance Code Efficiency and Correctness
Zhejiang University（浙江大学）；Stony Brook University（石溪大学）
本研究提出LLM4EFFI框架，通过逻辑域算法探索与代码域实现优化分离，并辅以合成测试用例细化，使大模型生成兼顾效率与正确性的代码，在效率基准上达到新最优。
2025-02-17 cs.AI cs.SE
MCTS-Judge: Test-Time Scaling in LLM-as-a-Judge for Code Correctness Evaluation
Independent Contributor（独立贡献者）
提出MCTS-Judge框架，利用蒙特卡洛树搜索在测试时进行多视角分解评估，显著提升LLM作为裁判在代码正确性评估中的准确性和效率。
2026-05-27 cs.AI cs.LG
Evaluating ChatGPT's Decimal Skills and Feedback Generation in a Digital Learning Game
Carnegie Mellon University（卡内基梅隆大学）；University of Michigan（密歇根大学）
本研究调查了 ChatGPT 在学习游戏 Decimal Point 中解决小数练习、评估学生答案正确性及生成反馈的能力，发现其擅长概念性问题但在小数位值和数轴问题上表现不佳，且能准确评估 75% 的答案并生成类似人类教师的高质量反馈。
2023-06-29 cs.AI cs.CY cs.HC
HoarePrompt: Structural Reasoning About Program Correctness in Natural Language
Peking University（北京大学）；Nankai University（南开大学）；University College London（伦敦大学学院）
提出HoarePrompt方法，将程序验证思想用于自然语言，通过LLM生成程序状态描述并评估正确性，显著提升分类性能。
2026-09-09 cs.AI cs.SE
Aligning Offline Metrics and Human Judgments of Value for Code Generation Models
Microsoft Research（微软研究院）；University of Chicago（芝加哥大学）
针对代码生成模型现有功能正确性指标无法充分反映其对程序员生产力价值的问题，本研究通过用户实验证实未通过测试但降低工作量的代码仍有价值，提出结合正确性与语法相似度的混合指标，与人类价值判断的相关性提升14%。
2023-06-13 cs.AI cs.HC cs.PL
CORE: Full-Path Evaluation of LLM Agents Beyond Final State
Synkrasis Labs（Synkrasis实验室）；Harbin Institute of Technology（哈尔滨工业大学）
针对现有智能体评估仅看最终状态而忽略过程的问题，提出基于确定性有限自动机的CORE框架，通过五个指标全面评估智能体在工具调用路径上的安全性、效率和正确性，揭示传统方法无法区分的性能差异。
2025-09-25 cs.AI
AgentHPOBench: A Benchmark For Evaluating LLM Agents as Sequential Hyperparameter Optimizers
AgentHPOBench是含30个任务的序列基准，用于评估LLM智能体的超参数优化能力，实验显示其在多领域有优化能力，但在迭代优化等方面存在局限。
2026-08-03 cs.AI
Evaluating Human Trust in LLM-Based Planners: A Preliminary Study
University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Virginia（弗吉尼亚大学）
本研究通过PDDL领域用户研究比较人类对基于LLM的规划器与经典规划器的信任，发现正确性是信任和性能的主要驱动因素；LLM解释提升评估准确性但信任影响有限，规划改进有增加信任的潜力。
2025-02-27 cs.AI cs.HC
From Prompts to Performance: Evaluating LLMs for Task-based Parallel Code Generation
Institute for Parallel and Distributed Systems（并行与分布式系统研究所）
本文评估了LLM在基于任务的并行代码生成中的表现，通过三种输入提示和三个编程框架，分析了LLM在正确性和可扩展性方面的优缺点。
2026-02-24 cs.AI cs.DC cs.PL
What Predicts Correctness in Text-to-SQL? A Selective-Prediction Study
研究哪些信号能预测文本到SQL的正确性，黑盒信号AUROC在0.61到0.68之间，基于验证的评判器分数更高，集成可达0.82 AUROC。还探讨验证器训练，微调后的验证器在分布内表现较好，但跨模式泛化能力不足。
2026-07-09 cs.AI cs.LG
LLM Benchmarking with LLaMA2: Evaluating Code Development Performance Across Multiple Programming Languages
Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）；Louisiana State University（路易斯安那州立大学）
本文评估Llama 2-70B在科学计算中生成代码、文档、单元测试及翻译代码的能力，发现其处理简单任务尚可，但复杂并行计算需大量人工修正。
2025-05-30 cs.AI cs.LG cs.SE
Can LLMs Write Correct TLA+ Specifications? Evaluating Natural-Language-to-TLA+ Generation
Department of Computer Science, Loyola University Chicago（洛约奈大学芝加哥分校计算机科学系）
本文首次系统评估基于 LLM 从自然语言合成 TLA+ 规范的能力，发现模型在语义正确性上仅达 8.6%，且成功依赖于渐进式提示，揭示了模型大小与质量无关、代码专用模型表现不佳等关键发现。
2026-06-04 cs.AI cs.LG cs.LO
Can I Take Another Dose? DoseBench: Evaluating LLM Decision-Making in OTC Dosing QA
Illinois Institute of Technology（伊利诺伊理工学院）
提出DOSEBENCH基准测试，评估大语言模型在非处方药剂量问答中处理时间推理、约束遵循和不确定性的能力。
2026-10-30 cs.AI cs.CL
SWE-IF: Aligning Code Evaluation with Human Preference
Google DeepMind（谷歌DeepMind）
提出SWE-IF基准，通过可验证指令分类法VeriCode评估代码指令遵循能力，发现指令遵循是区分LLM代码质量的关键，与功能正确性结合更能匹配人类偏好。
2026-06-05 cs.AI cs.CL cs.LG
Replacing Judges with Juries: Evaluating LLM Generations with a Panel of Diverse Models
Cohere（科here）
本文提出用多个较小模型组成评估小组（PoLL）替代单一大型模型法官，在六个数据集上验证其评估效果更优、模型内偏差更小且成本降低七倍以上。
2024-05-01 cs.AI cs.CL
Evaluating LLM -- Generated Multimodal Diagnosis from Medical Images and Symptom Analysis
University of Piraeus（比雷埃夫斯大学）
提出一种两阶段LLM评估范式，通过结构化交互和领域特定分析评估GPT-4-Vision-Preview在病理学多模态医学诊断中的正确性，发现其准确率约84%并揭示特定知识路径的弱点。
2024-01-28 cs.AI cs.CL cs.CV
Lexara: A User-Centered Toolkit for Evaluating Large Language Models for Conversational Visual Analytics
Tableau Research, Salesforce（Tableau研究机构，Salesforce）
Lexara是一种以用户为中心的评估工具包，用于评估对话式可视化分析中的大型语言模型，通过多格式输出的可解释指标和交互式工具帮助用户进行模型和提示选择。
2026-03-06 cs.AI cs.HC
Not Too Short, Not Too Long: How LLM Response Length Shapes People's Critical Thinking in Error Detection
BTP Innovation, SAP（SAP创新部）
本研究探讨LLM响应长度对用户批判性思维的影响，发现中等长度解释在LLM输出错误时能提高准确性，提示设计更透明的决策支持系统。
2026-03-06 cs.AI
Evaluating Large Language Models for Real-World Engineering Tasks
Helmut Schmidt University（海德堡-哈雷大学）
针对现有LLM工程评估依赖简化用例、特设场景的不足，本文构建含100+真实生产工程问题的数据集，评估4款前沿LLM，发现其基础推理较强但抽象推理等能力薄弱。
2025-05-12 cs.AI cs.CL
Can LLMs replace Neil deGrasse Tyson? Evaluating the Reliability of LLMs as Science Communicators
Indian Institute of Technology, Delhi（印度理工学院德里分校）
本文评估LLMs作为科学传播者的可靠性，引入包含742个是/否查询的SCiPS-QA数据集和基准套件，发现Llama-3-70B可媲美GPT-4 Turbo，并揭示GPT模型在验证响应及人类评估易受欺骗的问题。
2024-09-21 cs.AI cs.CL
SWE-Together: Evaluating Coding Agents in Interactive User Sessions
Meta
提出SWE-Together基准，从真实用户-代理编码会话中重建多轮交互任务，并利用基于LLM的用户模拟器评估编码代理的协作能力，发现强代理成功率更高且干预更少。
2026-06-29 cs.AI cs.CL cs.SE
ReCEval: Evaluating Reasoning Chains via Correctness and Informativeness
UNC Chapel Hill（北卡罗来纳大学教堂山分校）
本文提出ReCEval框架，从正确性和信息量两个维度评估多步推理链，通过自然语言推理模型和V-Information设计度量指标，在多个数据集上验证其能有效识别错误并提升下游任务性能。
2023-11-30 cs.AI cs.CL cs.LG
Certainty robustness: Evaluating LLM stability under self-challenging prompts
TELUS Digital（TELUS数字公司）
本文提出确定性鲁棒性基准，评估LLM在自我挑战提示下的稳定性与适应性平衡，揭示模型在交互压力下的可靠性差异。
2026-02-10 cs.AI cs.CL
CAPability: A Comprehensive Visual Caption Benchmark for Evaluating Both Correctness and Thoroughness
University of Science and Technology of China（中国科学技术大学）；Tongyi Lab, Alibaba Group（阿里云实验室）
CAPability是一个全面的视觉描述基准，通过12个维度评估描述的正确性和全面性，利用人类标注数据和启发式指标提升多模态模型的描述能力分析。
2025-11-26 cs.CL cs.CV cs.LG
KernelBenchX: A Comprehensive Benchmark for Evaluating LLM-Generated GPU Kernels
本文提出KernelBenchX基准测试，通过176个任务的分类评估，揭示LLM生成GPU内核在正确性和硬件效率上的表现，发现任务结构比方法设计更重要，迭代优化提升正确性但不改善性能，正确性不等于效率，量化问题仍未解决。
2026-05-11 cs.LG cs.PF
HackerRank-ASTRA: Evaluating Correctness & Consistency of Large Language Models on cross-domain multi-file project problems
针对现有基准忽视多文件场景及一致性评估的不足，本文提出HackerRank-ASTRA基准，通过多次运行和分类层级分析评估大模型在跨领域项目问题上的正确性与一致性，发现头部模型性能相当但Claude-3.5-Sonnet一致性最优。
2025-01-31 cs.LG cs.SE
Beyond Correctness: Evaluating Semantic Knowledge in Cross-Table Transfer
Korea University（高丽大学）
本研究揭示语义消融评估可能误导预测收益结论，提出区分内容敏感性与预测效用，并倡导根据研究问题选择对照的评估原则。
2026-09-29 cs.LG
