Creating and Evaluating K-12 GenAI Assessment Graders Through Context Engineering
University of Washington（华盛顿大学）；Colleague AI
本研究通过上下文工程利用商用基础模型构建LLM评分器，基于MCAS数据评估其在数学、科学和ELA上的评分一致性，发现大参数模型在数学和科学上表现良好，而ELA上差异较大，表明AI更适合作为形成性工具。
2026-06-12 cs.AI cs.CY cs.HC
Beyond Problem Solving: UOJ-Bench for Evaluating Code Generation, Hacking, and Repair in Competitive Programming
University of Science and Technology of China（中国科学技术大学）
提出UOJ-Bench基准，通过代码生成、攻击和修复三项任务评估LLM在竞赛编程中的问题求解与人类代码错误识别能力，发现最强模型在一次性评估中无法识别超过50%的错误提交，但测试时扩展可提升至90%以上，且能发现约5%的满分提交中的错误。
2026-06-12 cs.AI cs.SE
ERPBench: Evaluating LLM Agents for Enterprise Decision-Making Across Competitive Market Ecologies
Shanghai Innovation Institute（上海创新研究院）；Beijing Institute of Technology（北京理工大学）；Shanghai Jiao Tong University（上海交通大学）
本研究推出带执行检测的ERPBench基准，评估LLM智能体在两种竞争市场生态的企业决策能力，发现模型排名在生态间迁移性差，为企业智能体评估提供新基准。
2026-09-07 cs.AI
From Phonemes to Meaning: Evaluating Large Language Models on Tamil
针对现有多语言基准难以准确评估低资源形态丰富语言性能的问题，本文构建泰米尔语专属评估基准ILAKKANAM，评估多款大语言模型并揭示其性能差距与潜在机制。
2025-11-15 cs.AI cs.CL
Swiss-Bench 003: Evaluating LLM Reliability and Adversarial Security for Swiss Regulatory Contexts
University of Colorado Boulder（科罗拉多大学博尔德分校）
本文提出瑞士基准003，扩展HAAS评估框架至八个维度，评估十种前沿模型在瑞士特定任务中的可靠性与对抗安全性，揭示模型在数据保护和安全方面的表现差异。
2026-04-07 cs.AI cs.CL cs.CR
Agentic coding without the cloud: evaluating open-weight large language models on longitudinal data preparation tasks
研究在纵向数据准备任务中评估开放权重的大语言模型，介绍开源框架，含真实数据集、任务定义和评估程序，通过基准测试发现当前先进模型表现良好，为治理受限研究中的AI辅助数据准备提供可行路径。
2026-07-27 cs.AI cs.CL
Fuzzy Categorical Planning: Autonomous Goal Satisfaction with Graded Semantic Constraints
Stanford University（斯坦福大学）
FCP通过引入模糊度量和Lukasiewicz t-范数提升自然语言规划中模糊约束的处理能力，有效应对多步骤计划中的质量退化问题。
2026-01-27 cs.AI
A Multi-Agent Pokemon Tournament for Evaluating Strategic Reasoning of Large Language Models
TuriLabs
本文提出 LLM Pokemon League，一个利用大语言模型作为智能代理进行宝可梦对战模拟的锦标赛系统，通过单淘汰赛制捕获决策日志，以评估和比较不同 LLM 在策略推理、适应性和战术深度上的表现，为 AI 策略研究提供新基准。
2025-08-03 cs.AI
Are LLMs Court-Ready? Evaluating Frontier Models on Indian Legal Reasoning
Adalat AI
该研究以印度公开法律考试为评估基准，测试前沿大语言模型的法律推理能力，明确了其可辅助的法律工作范畴，以及仍需人类主导的核心法律领域。
2025-10-19 cs.AI cs.CL cs.CY
Inductive Learning of Logical Theories with LLMs: An Expressivity-Graded Analysis
Idiap Research Institute（伊迪亚普研究所）；University of Manchester（曼彻斯特大学）
本研究提出结合形式化推理引擎反馈的分级分析方法，探究大语言模型在逻辑理论归纳任务中的能力边界，发现大模型可匹敌SOTA ILP系统，但长谓词关系链追踪比理论复杂度更具挑战。
2025-01-14 cs.AI cs.CL cs.LO
Put Your Money Where Your Mouth Is: Evaluating Strategic Planning and Execution of LLM Agents in an Auction Arena
Fudan University（复旦大学）；Allen Institute for AI（艾伦人工智能研究所）
本文提出AucArena评估套件，通过模拟拍卖环境测试LLM智能体在动态竞争场景中的战略规划与执行能力，发现GPT-4等模型具备预算管理和目标遵循等关键技能，但性能变异性表明仍有改进空间。
2024-08-25 cs.AI cs.CL
M3Kang: Evaluating Multilingual Multimodal Mathematical Reasoning in Vision-Language Models
Qualcomm AI Research（高通人工智能研究）
M3Kang是一个大规模多语言多模态数学推理数据集，用于评估视觉-语言模型在多语言数学推理中的表现，通过基准测试揭示模型在基础数学和图表推理上的不足，并展示多语言技术在多模态设置中的有效性。
2026-01-03 cs.AI cs.CL
Evaluating Generative AI for CS1 Code Grading: Direct vs Reverse Methods
University of British Columbia Okanagan（不列颠哥伦比亚大学奥克兰分校）
针对计算机科学入门课程编程作业人工评分耗时且不一致的问题，本文比较直接法与新提出的反向法两种AI评分技术，发现反向法更细粒度，两种方法均需提示工程，为混合人机AI评分系统提供参考。
2025-11-17 cs.AI cs.CY cs.SE
AutoCode: LLMs as Problem Setters for Competitive Programming
University of California San Diego（加州大学圣地亚哥分校）；New York University（纽约大学）；University of Washington（华盛顿大学）；Princeton University（普林斯顿大学）；University of California Berkeley（加州大学伯克利分校）；OpenAI；Massachusetts Institute of Technology（麻省理工学院）；University of Waterloo（滑铁卢大学）；Sentient Labs
AutoCode利用多轮验证生成竞赛级编程问题及测试用例，测试一致性达99%，并能创建新颖变体，产出被大师级程序员认可的竞赛质量题目。
2025-09-29 cs.AI cs.CL cs.PL
Beyond Scalars: Evaluating and Understanding LLM Reasoning via Geometric Progress and Stability
提出TRACED框架，利用几何运动学将推理轨迹分解为进展和稳定性，揭示正确推理与幻觉的拓扑差异，实现鲁棒的推理质量评估。
2026-06-16 cs.AI
DatalogBench: Evaluating Large Language Models on Text-to-Datalog Synthesis
Zhejiang University（浙江大学）；National University of Singapore（新加坡国立大学）
本文提出DatalogBench基准，含136个文本到Datalog合成任务，评估六个LLM和两个编码智能体，发现精确匹配最高68.4%，智能体达83.8%，揭示递归推理与分解是当前挑战。
2026-09-30 cs.AI cs.PL
WebTestBench: Evaluating Computer-Use Agents towards End-to-End Automated Web Testing
Northeastern University（东北大学）；Kuaishou Technology（快手科技）
本文提出WebTestBench基准，用于评估端到端自动化网页测试能力，揭示现有方法在测试完整性、检测瓶颈和长周期交互可靠性方面的不足。
2026-03-26 cs.AI cs.CL cs.MA
SAGE: A Hierarchical Framework for Evaluating Interpretive Literary Quality in Narratives
Mercy University（梅西大学）；IBM T.J. Watson Research Center（IBM TJ·沃森研究中心）
SAGE是一个六层评估框架，用于衡量叙事中的解释性文学质量，发现大语言模型在情感表征上接近人类，但在文化批评和哲学深度上差距显著。
2026-09-09 cs.AI cs.CL
Revisiting NLI: Towards Cost-Effective and Human-Aligned Metrics for Evaluating LLMs in Question Answering
University of Illinois at Chicago（伊利诺伊大学香槟分校）
针对LLM问答评估中词汇指标缺失语义细微差别、“LLM作为评判者”成本高的问题，提出用词汇匹配标志增强现成NLI评分的轻量方案，其在长文本问答上准确率达89.9%（与GPT-4o相当）且参数少，还引入DIVER-QA基准测试人类对齐性，为指标研究提供开放资源。
2025-11-10 cs.AI cs.CL
Leveraging Generative AI for Enhancing Automated Assessment in Programming Education Contests
University of Bucharest Faculty of Mathematics and Computer Science（布加勒斯大学数学与计算机科学学院）；Softbinator Technologies（Softbinator技术公司）；Delft University of Technology（代尔夫特理工大学）
本文提出利用生成式 AI 自动生成编程竞赛高质量测试用例的 NLP 方法，并在 OJI、Kilonova.ro 和 IIOT 数据集上验证其可发现隐藏错误、减轻教师负担。
2025-06-06 cs.AI cs.CY cs.LG
A Careful Examination of Large Language Model Performance on Grade School Arithmetic
Scale
针对大语言模型数学推理能力可能因数据集污染被高估的问题，构建与GSM8k可比的GSM1k基准，发现部分模型存在过拟合（准确率降8%），但前沿模型过拟合弱且所有模型均能泛化到新问题。
2024-11-22 cs.AI cs.CL cs.LG
HOPPR Medical-Grade Platform for Medical Imaging AI
针对医学影像AI部署面临的计算成本、专业知识和高质量数据集获取等障碍，HOPPR医疗级平台提供计算基础设施、可微调基础模型及质量管理系统，助力LVLM解决方案部署，优化放射科工作流程。
2024-11-26 cs.AI cs.CL cs.CV
EDU-CIRCUIT-HW: Evaluating Multimodal Large Language Models on Real-World University-Level STEM Student Handwritten Solutions
Georgia Institute of Technology（佐治亚理工学院）；Virginia Tech（弗吉尼亚理工学院）
本文提出EDU-CIRCUIT-HW数据集，用于评估多模态大语言模型在处理包含数学公式、图表和文本推理的大学STEM学生手写解答中的性能，揭示模型在自动评分中的可靠性问题，并提出通过纠正识别错误提升AI评分系统鲁棒性的方法。
2026-04-30 cs.AI cs.CV cs.CY
PillagerBench: Benchmarking LLM-Based Agents in Competitive Minecraft Team Environments
Department of Mathematics and Computer Science, Eindhoven University of Technology（埃因霍温理工大学数学与计算机科学系）；Department of Informatics, King’s College London（伦敦国王学院信息学系）；Department of Computer Science, University of Liverpool（利物浦大学计算机科学系）
针对LLM智能体在竞争性多智能体环境中评估不足的问题，提出PillagerBench基准框架和TactiCrafter多智能体系统，通过可扩展API和策略学习实现优于基线并自适应进化。
2025-09-07 cs.AI cs.MA
ChessArena: A Chess Testbed for Evaluating Strategic Reasoning Capabilities of Large Language Models
State Key Laboratory of Novel Software Technology（新型软件技术国家重点实验室）；Baidu（百度）；University of Electronic Science and Technology of China（电子科技大学）
本文提出ChessArena测试平台，用于评估大语言模型的战略推理能力，测试了13个模型在800多局游戏中表现，发现无模型能击败业余水平的Maia-1100，但经过微调的Qwen3-8B模型表现显著提升。
2026-04-23 cs.AI cs.LG
RPGBENCH: Evaluating Large Language Models as Role-Playing Game Engines
University of Illinois Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）
提出首个评估LLM作为文本RPG引擎的基准RPGBench，通过游戏创建与模拟任务及主客观评估方法，发现最先进LLM虽能生成有趣故事但难以维持一致可验证的游戏机制。
2025-02-01 cs.AI cs.CL
K-Function: Joint Pronunciation Transcription and Feedback for Evaluating Kids Language Function
Zhejiang University（浙江大学）；UC Berkeley（加州大学伯克利分校）；Duke University（达特茅斯大学）；SCUT（上海交通大学）；TVT；UCSF（加州大学旧金山分校）
K-Function通过结合子词转录与LLM评分，提升儿童语音识别精度，实现高效的语言功能评估。
2026-02-24 cs.AI cs.CL cs.SD
Evaluating Austrian A-Level German Essays with Large Language Models for Automated Essay Scoring
Salzburg University of Applied Sciences（萨尔茨堡应用科学大学）
本文利用大型语言模型评估奥地利A级德语作文，发现其在评分一致性上存在显著不足，无法替代人类评分。
2026-03-06 cs.AI cs.CL
Who Validates the Validators? Aligning LLM-Assisted Evaluation of LLM Outputs with Human Preferences
UC Berkeley（加州大学伯克利分校）；Université de Montréal（蒙特利尔大学）
针对LLM评估LLM输出时缺乏人类对齐的问题，提出混合主动方法EvalGen，通过人类反馈选择评估函数，发现标准漂移现象，为评估助手设计提供启示。
2024-04-18 cs.AI cs.HC
Evaluating and explaining training strategies for zero-shot cross-lingual news sentiment analysis
Jožef Stefan Institute（约热夫·斯泰凡研究所）；Queen Mary University of London（伦敦玛丽女王大学）
本文研究零样本跨语言新闻情感检测，提出利用段落级信息的新任务目标POA，并对比机器翻译、上下文学习等方法，证明POA能以更低计算开销取得有竞争力的性能提升。
2024-09-30 cs.AI cs.CL
Evaluating the Performance of Large Language Models on GAOKAO Benchmark
本研究推出基于中国高考试题的GAOKAO-Bench基准测试，采用零样本设置评估LLMs，发现其高考成绩有竞争力但科目间差异大，模型主观题评分与人类评分中度一致，为LLMs评估提供了可靠基准。
2026-08-31 cs.AI cs.CL
CHECK-MAT: Checking Hand-Written Mathematical Answers for the Russian Unified State Exam
Moscow State University（莫斯科国立大学）
该研究提出EGE数学解答评估基准，整理122份俄统考手写数学解答及官方评分，评估7款主流视觉语言模型的手写数学答题评估能力，揭示了现有模型的相关局限，为AI辅助评估提供新研究方向。
2025-07-29 cs.AI cs.CV cs.LG
Evaluating and Improving Large Language Models for Competitive Program Generation
针对LLM竞赛程序生成评估的不足，本文构建了包含80个真实ICPC/CCPC问题的基准，提出结合多轮对话修复与信息增强重生成的改进框架，使正确解答数从5题增至46题。
2025-06-28 cs.SE cs.SI
LogiCase: Effective Test Case Generation from Logical Description in Competitive Programming
Yonsei University（延世大学）；University of Seoul（首尔大学）；Kangwon National University（匡原国立大学）
针对竞赛编程中现有自动化测试用例生成方法难以满足复杂规范、生成有效边界用例的问题，研究提出带计数器的上下文无关文法，通过微调CodeT5将自然语言规范转为该文法以生成测试用例，在CodeContests数据集上表现优于基线。
2025-05-21 cs.AI cs.SE
Evaluating Shrinking (Experience Report)
University of Maryland（马里兰大学）
本文通过对比QuickCheck、Hedgehog、Falsify三种Haskell框架在四个ETNA工作负载下的收缩效果，发现QuickCheck结构收缩更快且反例质量有竞争力，集成收缩无绝对优势，为收缩算法设计提供参考。
2026-08-12 cs.PL cs.SE
Automatic Program Repair with OpenAI's Codex: Evaluating QuixBugs
OpenAI的Codex是一个在大型代码语料库上训练的类似GPT-3的模型，已经成为学术界内外的头条新闻。给定用户提供的简短描述，它能够合成在大多数情况下语法和语义上有效的代码段。在这项工作中，我们要调查法典是否能够本地化和修复错误，在自动程序修复领域的中心感兴趣的任务。我们的初始评估使用多语言菜Bugs基准测试（Python和Java中有40个bug）。我们发现，尽管没有接受过APR培训，Codex是令人惊讶的有效，并与最近的最先进的技术竞争。我们的研究结果还表明，Codex在修复Python方面比Java稍微成功一些。
2021-11-06 cs.SE
Evaluating the Generalization Capabilities of Large Language Models on Code Reasoning
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Brown University（布朗大学）
本文通过构造分布内与分布外程序并评估10个最新LLM，发现早期模型偏向模式匹配，而最新模型在代码推理上具备强泛化能力。
2025-04-07 cs.CL cs.LG cs.SE
