RFCLLM: Evaluating LLMs' Reasoning Ability of Network Protocol State Machines
Northeastern University（东北大学）；Purdue University（普渡大学）
本文通过4项任务和1482个查询评估大语言模型对协议状态机的推理能力，发现其隐式表示与地面真值模型存在偏差，为验证其在FSM推理中的可信度提供依据。
2026-09-15 cs.CL
Evaluating the Ability of Large Language Models to Reason about Cardinal Directions
School of Computing, University of Leeds（利兹大学计算学院）；The Alan Turing Institute（阿兰·图灵研究所）；Microsoft Research（微软研究院）
本文构建知识回忆与模板场景两个数据集，评估代表性 LLM 的基本方位推理能力，发现其在复杂场景中即使温度为零也无法可靠判断。
2024-06-24 cs.CL
Evaluating Discourse Cohesion in Pre-trained Language Models
University of Edinburgh（爱丁堡大学）；College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）
本文提出一个测试套件，通过相邻与非相邻句子间的多种连贯现象评估预训练语言模型的话语连贯能力，并比较不同模型表现，以推动该方向研究。
2025-03-08 cs.CL
Don't Take the Premise for Granted: Evaluating the Premise Critique Ability of Large Language Models
School of Artificial Intelligence, Jilin University（吉林大学人工智能学院）；Engineering Research Center of Knowledge-Driven Human-Machine Intelligence, MOE, China（知识驱动人机智能工程研究中心，教育部，中国）；International Center of Future Science, Jilin University（未来科学国际中心，吉林大学）
本研究提出前提批判基准，评估大语言模型在面对错误前提时的批判能力，揭示其在推理与前提批判上的差异及改进需求。
2025-11-24 cs.CL
LTLBench: Towards Benchmarks for Evaluating Temporal Reasoning in Large Language Models
University of Edinburgh（爱丁堡大学）
LTLBench通过线性时序逻辑评估大语言模型的时间推理能力，构建包含2000个挑战的数据集并测试12个模型，揭示时间推理中的主要问题及复杂性影响。
2026-01-05 cs.AI cs.CL
I Need Help! Evaluating LLM's Ability to Ask for Users' Support: A Case Study on Text-to-SQL Generation
Appier AI Research（沛星人工智能研究院）；National Taiwan University（台湾大学）
本文以文本到SQL生成为例，提出评估指标研究大语言模型主动请求用户支持的能力，发现缺乏外部反馈时模型难以识别求助需求，强调外部信号的重要性。
2024-09-30 cs.AI cs.CL
Evaluating the Pre-Consultation Ability of LLMs using Diagnostic Guidelines
AITRICS；KAIST（韩国科学技术院）；Severance Hospital, Yonsei University（延世大学松云医院）；College of Medicine, The Catholic University of Korea（韩国天主大学医学院）
本文提出EPAG基准数据集和框架，通过HPI-诊断指南对比和疾病诊断评估大语言模型的预咨询能力，发现小规模开源模型在预咨询任务中表现优于前沿模型，且预咨询语言影响对话特征。
2026-05-12 cs.AI cs.CL
EconNLI: Evaluating Large Language Models on Economics Reasoning
The Hong Kong University of Science and Technology（香港科技大学）
本文提出经济事件自然语言推理数据集EconNLI，从因果分类和事件生成两方面系统评估大语言模型的经济推理能力，实验发现现有模型表现不足且易产生幻觉答案，揭示了其在经济决策场景中的局限性。
2024-07-01 cs.CL
PIVOTSBench: Evaluating Fine-Grained Interpersonal Relationship Reasoning in Multimodal Large Language Models
Sun Yat-sen University（中山大学）；University of Michigan（密歇根大学）；Tsinghua University（清华大学）
提出PIVOTS基准，基于Social-IQ 2.0和YouTube数据，评估多模态大语言模型在心理学研究基础上预测双向人际关系维度的能力，并包含辅助任务分析关键视觉线索。
2026-09-03 cs.CL
Is a Peeled Apple Still Red? Evaluating LLMs' Ability for Conceptual Combination with Property Type
Seoul National University（首尔国立大学）；Korea University（韩国大学）
本研究提出CCPT数据集（含12.3K三元组），建立三类任务评估大语言模型的概念组合能力，发现模型难以生成具有新出现属性的短语，并提出了受认知心理学启发的方法以提升生成性能。
2025-05-22 cs.CL
Evaluating Large Language Models with NeuBAROCO: Syllogistic Reasoning Ability and Human-like Biases
Keio University（庆应义塾大学）
本研究通过NeuBAROCO数据集评估大型语言模型的三段论推理能力，发现其在处理信念偏见、转换错误和氛围效应三类类人偏见问题时表现更差。
2023-06-21 cs.AI cs.CL
Evaluating Factual Consistency of Summaries with Large Language Models
City University of Hong Kong（香港城市大学）；Hong Kong University of Science and Technology（香港科技大学）
本研究通过直接提示大型语言模型来评估摘要的事实一致性，系统比较了多种模型和提示方法，实验证明该方法在多个设置下均优于现有最佳系统，准确率最高提升12.2个百分点。
2023-10-12 cs.CL
InFoBench: Evaluating Instruction Following Ability in Large Language Models
Tencent AI Lab, Seattle（腾讯人工智能实验室（西雅图））；University of Central Florida（中佛罗里达大学）；University of Georgia（佐治亚大学）；Emory University（埃默里大学）；Shanghai Jiao Tong University（上海交通大学）
本文提出了分解需求遵循率（DRFR）新指标和InFoBench基准，通过将复杂指令分解为简单标准来详细评估大型语言模型的指令遵循能力，实验证明该方法可靠且GPT-4可作为低成本标注器。
2024-01-07 cs.AI cs.CL
QuantCode-Bench: A Benchmark for Evaluating the Ability of Large Language Models to Generate Executable Algorithmic Trading Strategies
Lime
本文提出QuantCode-Bench，通过多阶段流程评估现代LLM生成Backtrader框架策略的能力，包含400个不同难度任务，分析模型在交易逻辑、API使用和任务语义方面的局限性。
2026-04-16 cs.CL
Evaluating the Ability of LLMs to Solve Semantics-Aware Process Mining Tasks
University of Mannheim（曼海姆大学）；University of Würzburg（维尔茨堡大学）；University of Vienna（维也纳大学）
本文研究LLM处理语义感知过程挖掘任务的能力，构建三类任务基准并比较开箱、上下文学习与监督微调，发现微调后LLM性能强劲且持续超过较小的编码器模型。
2024-07-02 cs.CL
Evaluating Cultural and Social Awareness of LLM Web Agents
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Salesforce AI Research（Salesforce AI研究院）
本文提出CASA基准评估LLM网页智能体在在线购物和社交论坛中的文化与社会规范意识，发现当前智能体意识覆盖率不足10%、违规率超40%，并证明提示与微调结合可互补提升跨区域泛化和复杂任务处理能力。
2025-03-08 cs.CL
Evaluating the Symbol Binding Ability of Large Language Models for Multiple-Choice Questions in Vietnamese General Education
University of Information Technology（信息科技大学）；Vietnam National University Ho Chi Minh City（越南国家大学胡志明市）
本文构建严格 LaTeX 化的越南普通教育多学科选择题数据集，并评估六种 LLM 在零样本、单样本和少样本设置下的多选符号绑定能力。
2025-05-13 cs.CL
Evaluating Large Language Models' Ability Using a Psychiatric Screening Tool Based on Metaphor and Sarcasm Scenarios
Max–Planck Institute for Human Development（马克斯·普朗克人类发展研究所）
本研究利用精神科筛查工具评估大型语言模型在隐喻和讽刺场景中的理解能力，发现参数增加提升隐喻理解但讽刺理解无改善，提出需基于认知的训练策略。
2024-07-20 cs.AI cs.CL cs.HC
How Well Can LLMs Echo Us? Evaluating AI Chatbots' Role-Play Ability with ECHO
The Chinese University of Hong Kong（香港中文大学）
提出受图灵测试启发的框架 ECHO，评估 LLMs 模拟普通个体的角色扮演能力，发现 GPT-4 欺骗性更强且 GPTs 成功率达 48.3%，并公开了相关代码与结果。
2024-04-22 cs.CL
100-LongBench: Are de facto Long-Context Benchmarks Literally Evaluating Long-Context Ability?
Case Western Reserve University（凯斯西储大学）；Texas A&M University（德克萨斯A&M大学）；Rice University（里德大学）；University of California, Los Angeles（加州大学洛杉矶分校）；Meta
针对现有长上下文基准无法分离基线能力与真实长上下文能力、且输入长度固定等问题，提出长度可控的长上下文基准和新指标，以有效评估大语言模型的长上下文能力。
2026-06-02 cs.AI cs.CL cs.LG
Multi-LogiEval: Towards Evaluating Multi-Step Logical Reasoning Ability of Large Language Models
Arizona State University（亚利桑那州立大学）
针对现有逻辑推理基准规则有限、缺非单调推理评估的问题，提出覆盖三类逻辑、多规则多深度的Multi-LogiEval数据集，评估发现LLM性能随推理深度显著下降，为相关研究提供支撑。
2024-10-07 cs.AI cs.CL
Evaluating Cross-Modal Reasoning Ability and Problem Characteristics with Multimodal Item Response Theory
Kyoto University（京都大学）；CyberAgent；The Institute of Statistical Mathematics（统计数学研究所）；Tohoku University（东北大学）
M3IRT通过分解模型能力和项目难度，提供了一种评估多模态推理能力的框架，有效提升基准测试的可靠性和质量。
2026-03-03 cs.CL cs.CV
Social Caption: Evaluating Social Understanding in Multimodal Models
School of Computer Science, Carnegie Mellon University（卡内基梅隆大学计算机科学学院）
提出基于交互理论的SOCIAL CAPTION框架，从社会推理、整体社会分析和定向社会分析三个维度评估多模态大语言模型的社会理解能力，并分析影响性能的因素。
2026-09-01 cs.CL cs.LG
Piecing Together Clues: A Benchmark for Evaluating the Detective Skills of Large Language Models
Fudan University（复旦大学）；Xiaohongshu Inc.（小红书科技有限公司）
研究提出DetectBench数据集评估大型语言模型在复杂信息下的关键信息检测与多跳推理能力，并设计Detective Thinking Framework方法，通过鼓励模型在推理前识别所有线索，有效缓解了现有模型在这两方面表现不佳的问题。
2024-03-20 cs.CL
AetherCode: Evaluating LLMs' Ability to Win In Premier Programming Competitions
ByteDance M-A-P（字节跳动 M-A-P）
AetherCode基准从IOI和ICPC等顶级竞赛选取高难度问题，并结合自动化生成与人工策展的专家验证测试套件，以更严格、可靠地评估大语言模型的代码推理能力。
2025-08-22 cs.CL cs.SE
AssoCiAm: A Benchmark for Evaluating Association Thinking while Circumventing Ambiguity
Sun Yat-sen University（中山大学）；Guangdong University of Technology（广东工业大学）；Northwestern University（西北大学）
本文提出AssoCiAm基准，通过将歧义分为内部与外部两类并采用混合计算方法，在规避歧义条件下评估多模态大语言模型的联想能力，实验揭示了认知与联想的强正相关及歧义对模型行为的影响。
2025-09-18 cs.CL
RuozhiBench: Evaluating LLMs with Logical Fallacies and Misleading Premises
LibrAI；MBZUAI（MBZUAI（ Mohamed bin Zayed University of Artificial Intelligence））；The University of Melbourne（墨尔本大学）
该研究针对LLMs识别逻辑谬误和误导性前提能力研究不足的问题，构建含677个双语问题的RuozhiBench数据集，评估17个LLMs后发现其在此任务上能力有限，最佳模型准确率仅62%远低于人类的90%以上。
2025-02-18 cs.CL
Evaluating and Advancing Multimodal Large Language Models in Perception Ability Lens
AIML, University of Adelaide（AIML，阿德莱德大学）；Monash University（墨尔本大学）；Australian National University（澳大利亚国立大学）；Tiktok, Australia（Tiktok，澳大利亚）；Zhejiang University（浙江大学）
本文提出统一感知能力基准AbilityLens，系统评估多模态大语言模型的六项视觉感知能力，揭示能力冲突与早期收敛现象，并指出数据混合比例和模型规模是冲突主因。
2025-06-03 cs.CL cs.CV cs.LG
SocialEval: Evaluating Social Intelligence of Large Language Models
The CoAI Group, DCST, Tsinghua University（清华大学计算机科学与技术系）；Harvard University（哈佛大学）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；Beijing Jiaotong University（北京交通大学）；Peking University（北京大学）；Nankai University（南开大学）；Northwest Minzu University（西北民族大学）；University of Pennsylvania（宾夕法尼亚大学）；Huawei Noah’ Ark Lab（华为诺亚实验室）
本文提出基于脚本的双语社交智能基准SocialEval，通过世界树结构整合目标达成与人际能力评估，发现LLMs虽落后于人类但已形成类似人脑的功能分区。
2025-06-01 cs.CL
Can Large Language Models Make the Grade? An Empirical Study Evaluating LLMs Ability to Mark Short Answer Questions in K-12 Education
Carousel Learning；Jacobs Foundation（雅各布斯基金会）；Legible Labs
本研究通过Carousel平台的新数据集实证评估了GPT系列模型在K-12教育中批改简答题的能力，发现GPT-4配合基础少样本提示的评分表现（Kappa 0.70）接近人类水平（0.75），表明LLMs可用于支持低风险形成性评估。
2024-05-05 cs.AI cs.CL
CriticEval: Evaluating Large Language Model as Critic
Shanghai AI Laboratory（上海人工智能实验室）；School of Medical Technology, Beijing Institute of Technology（北京理工大学医学技术学院）；School of Computer Science and Technology, Beijing Institute of Technology（北京理工大学计算机科学与技术学院）
本文提出CriticEval基准，从四个维度、九个任务场景全面可靠地评估LLMs的批评能力，并通过广泛实验验证其可靠性，揭示开源模型潜力及批评能力与任务类型、回复质量等因素的关系。
2024-10-20 cs.AI cs.CL
UAQFact: Evaluating Factual Knowledge Utilization of LLMs on Unanswerable Questions
School of Computer Science and Technology, Soochow University（苏州大学计算机科学与技术学院）；OPPO AI Center（OPPO人工智能中心）
本文提出双语数据集UAQFact及两个新任务，评估LLM在不可回答问题上利用内外部事实知识的能力，发现即使提供知识LLM仍面临挑战且无法充分利用外部知识。
2025-05-29 cs.CL
From Tools to Teammates: Evaluating LLMs in Multi-Session Coding Interactions
Universitat Pompeu Fabra（巴塞罗那庞培乌法布拉大学）；University of Amsterdam（阿姆斯特丹大学）；Cohere（Cohere公司）；Cohere Labs（Cohere实验室）；Cohere Labs Community（Cohere实验室社区）；Amsterdam UMC（阿姆斯特丹大学医学中心）
本文构建多会话编码数据集 MemoryCode，评估 LLM 跨会话追踪并执行指令的能力，发现即便是 GPT-4o 也因长链信息检索与整合不足而性能下降。
2025-06-06 cs.CL
Evaluating Step-by-step Reasoning Traces: A Survey
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文综述了LLM逐步推理轨迹的评估方法，提出涵盖事实性、有效性、连贯性和实用性的分类体系，并回顾相关数据集、评估器及研究发现，为未来研究提供方向。
2025-09-20 cs.CL
Evaluating Large Language Models on the 2026 Korean CSAT Mathematics Exam: Measuring Mathematical Ability in a Zero-Data-Leakage Setting
Chungnam National University（忠南国立大学）
本研究评估了24种LLM在2026年韩国CSAT数学考试中的表现，发现文本输入优于图像输入，GPT-5系列模型在特定配置下达到满分，同时揭示了微积分领域表现最差，且高难度问题对模型性能影响显著。
2025-11-30 cs.CL
LogicAsker: Evaluating and Improving the Logical Reasoning Ability of Large Language Models
The Chinese University of Hong Kong（香港中文大学）；Tencent AI Lab（腾讯AI实验室）
针对大语言模型逻辑推理能力难以直接评估的问题，提出基于命题与谓词逻辑原子技能的LogicAsker评估增强方法，发现模型推理缺陷并构建数据将GPT-4o推理能力最高提升5%，相关资源已公开。
2024-10-08 cs.AI cs.CL cs.LO
Exposing the Achilles' Heel: Evaluating LLMs Ability to Handle Mistakes in Mathematical Reasoning
Microsoft Research（微软研究院）
本文通过构建包含正确与错误推理步骤的MWP-MISTAKE数据集，系统评估了GPT-4o等大语言模型在数学推理中检测和纠正错误的能力，揭示了数据污染问题并提出了改进方向。
2024-06-16 cs.AI cs.CL cs.LG
FormulaCode: Evaluating Agentic Optimization on Large Codebases
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；California Institute of Technology（加州理工学院）；Cornell University（康奈尔大学）
FormulaCode是一个评估大型真实代码库上代理优化能力的基准，包含957个从科学Python仓库挖掘出的性能瓶颈，配以专家撰写的补丁和平均264.6个社区维护的性能工作负载，揭示了前沿LLM代理在多目标优化上的重大挑战。
2026-07-21 cs.AI cs.CL cs.SE
PaperBench: Evaluating AI's Ability to Replicate AI Research
OpenAI（开放人工智能公司）
本文提出 PaperBench 基准，通过 20 篇 ICML 2024 论文的 8,316 个可评分子任务评估 AI 智能体复制前沿研究的能力，并开发 LLM 评判器，结果显示最佳模型复制得分仅 21.0%，尚未超越人类基线。
2025-04-07 cs.AI cs.CL
Evaluating the Ability of Large Language Models to Identify Adherence to CONSORT Reporting Guidelines in Randomized Controlled Trials: A Methodological Evaluation Study
SUN YAT-SEN MEMORIAL HOSPITAL（中山纪念医院）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Imperial College London（伦敦帝国学院）
本研究评估了零样本设置下当代大型语言模型识别已发表随机对照试验对CONSORT 2010声明依从性的能力，发现其总体性能一般，虽能高准识别合规条目，但在不合规和不适用条目上表现差，不适合取代人类专业知识。
2025-11-17 cs.CL
FEABench: Evaluating Language Models on Multiphysics Reasoning Ability
Google Research（谷歌研究院）；Harvard University（哈佛大学）
FEABench提出一个基准，评估大语言模型通过操作COMSOL Multiphysics®进行有限元分析以求解多物理场问题的能力，并设计了可经API交互迭代改进解的智能体，最佳策略88%可生成可执行API调用。
2025-04-08 cs.AI cs.CL cs.NA
DataAgent: Evaluating Large Language Models' Ability to Answer Zero-Shot, Natural Language Queries
Irvington High School（欧文顿高中）；Pioneer High School（先锋高中）；Davis Senior High School（戴维斯高级中学）；The Loomis Chaffee School（卢米斯查菲学校）；Bellarmine College Preparatory（贝拉明学院预备学校）；Rutgers University（罗格斯大学）；University of Maryland, College Park（马里兰大学学院市分校）
本文提出将GPT-3.5作为语言数据科学家，在多个基准数据集上评估其零样本回答自然语言数据查询的能力，并通过Chain-of-Thought和SayCan等提示工程技术验证了大语言模型在低层级数据分析中的潜力。
2024-03-29 cs.AI cs.CL
Towards Dynamic Theory of Mind: Evaluating LLM Adaptation to Temporal Evolution of Human States
The Hong Kong Polytechnic University（香港理工大学）；Shanghai Jiao Tong University（上海交通大学）
本文提出 DynToM 基准与四步生成框架，通过大规模社会情境评估 LLM 追踪心理状态时间演化的能力，发现十个先进模型平均落后人类 44.7%。
2025-06-08 cs.CL cs.CY
Evaluating the Translation Performance of Large Language Models Based on Euas-20
College of Software, Zhengzhou University of Light Industry（郑州轻工业大学软件学院）
本文构建Euas-20数据集，用于评估大语言模型的翻译性能、跨语言翻译能力及预训练数据对翻译能力的影响。
2024-08-06 cs.AI cs.CL
Diagnostic Foundation for Evaluating LLMs' Research Integrity as Co-Scientists
本研究推出IntegrityBench基准评估LLM作为合作科学家的研究完整性，发现前沿模型在峰值压力下约三分之一的完整性关键决策失败，存在助长不当行为和侵蚀AI辅助研究信任的风险。
2026-08-14 cs.AI cs.CL
GPT-3.5, GPT-4, or BARD? Evaluating LLMs Reasoning Ability in Zero-Shot Setting and Performance Boosting Through Prompts
Novelis Research and Innovation Lab（诺贝丽斯研究与创新实验室）
本文在11个数据集上评估GPT-3.5、GPT-4和BARD的零样本推理能力，发现GPT-4整体最优，但三者在归纳、数学和多跳推理上均有限，并提出提示工程方法提升性能。
2023-09-19 cs.AI cs.CL
How Far Are We on the Decision-Making of LLMs? Evaluating LLMs' Gaming Ability in Multi-Agent Environments
The Chinese University of Hong Kong（香港中文大学）；Tencent AI Lab（腾讯AI实验室）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Tsinghua University（清华大学）
本文提出 GAMA($γ$)-Bench 框架，通过八个经典博弈论场景和动态评分方案评估 LLMs 在多智能体环境中的博弈能力，发现 Gemini-1.5-Pro 表现最佳。
2025-03-06 cs.AI cs.CL
AQA-Bench: An Interactive Benchmark for Evaluating LLMs' Sequential Reasoning Ability
UC Santa Cruz（加州大学圣克鲁兹分校）；University of Edinburgh（爱丁堡大学）
AQA-Bench是一个交互式基准，通过二分搜索、深度优先搜索和广度优先搜索评估LLMs的顺序推理能力，发现闭源模型表现更强，且提供前驱步骤可提升小模型性能。
2025-06-20 cs.AI cs.CL cs.LG
Evaluating Interventional Reasoning Capabilities of Large Language Models
Université de Montréal（蒙特利尔大学）；Mila（米拉计算科学研究所）；Google DeepMind（谷歌DeepMind）；ServiceNow Research（ServiceNow研究院）
本文研究LLMs在因果干预下的推理能力，构建涵盖多种因果图和变量类型的基准，评估六个LLMs，发现GPT模型在预测干预效应方面表现较好。
2024-12-22 cs.AI cs.CL cs.LG
StrucText-Eval: Evaluating Large Language Model's Reasoning Ability in Structure-Rich Text
Fudan University（复旦大学）；Shanghai Key Laboratory of Data Science（上海市数据科学重点实验室）；School of Computer Science（计算机科学学院）；Fudan-Aishu Cognitive Intelligence Joint Research Center（复旦-阿里智能认知联合研究中心）
本文提出StrucText-Eval基准及自动生成方法，通过8种结构化语言和29项任务评估LLMs对结构丰富文本的推理能力，实验显示开源模型在困难集上准确率从74.9%降至45.8%，远低于人类的92.6%。
2024-10-21 cs.AI cs.CL
GISTBench: Evaluating LLM User Understanding via Evidence-Based Interest Verification
Meta Recommendation Systems (MRS)（Meta推荐系统（MRS））
GISTBench通过证据基础的兴趣验证评估大语言模型在推荐系统中理解用户的能力，提出两种新指标并验证了合成数据集的准确性。
2026-10-05 cs.AI cs.CL
Evaluating Commonsense in Pre-trained Language Models
University of Washington（华盛顿大学）；Westlake University（西湖大学）；Zhejiang University（浙江大学）
在大量原始文本数据上训练的语境化表征对包括问答和阅读理解在内的NLP任务有显着的改善。已有研究表明，这种表征包含了句法、语义和词义知识，这解释了为什么它们有利于这种任务。然而，相对较少的工作已经做了调查的常识知识包含在语境化的表征，这是至关重要的人类问答和阅读理解。通过在7个具有挑战性的基准测试中测试GPT、BERT、XLNet和RoBERTa的常识能力，发现语言建模及其变体是提升模型常识能力的有效目标，而双向上下文和更大的训练集是加分项。我们还发现，目前的模型在任务上做得很差，需要更多必要的推理步骤。最后，我们通过制作双测试用例来测试模型的鲁棒性，这些测试用例是相关的，使得一个样本的正确预测应该导致另一个样本的正确预测。有趣的是，这些模型在这些测试案例中表现出困惑，这表明它们在表面而不是深层次学习常识。我们公开发布了一个测试集，命名为CATs，用于未来的研究。
2021-02-11 cs.AI cs.CL
Evaluating LLMs on Real-World Forecasting Against Expert Forecasters
Department of Economics（经济学系）；George Mason University（乔治·马歇尔大学）
本研究在464个Metaculus现实预测问题上对比前沿大语言模型与人类专家及群体的预测准确性，发现模型虽表面超越群体但显著落后于专家。
2025-08-04 cs.AI cs.CL cs.LG
ClassEval: A Manually-Crafted Benchmark for Evaluating LLMs on Class-level Code Generation
Fudan University（复旦大学）
本文构建含100项任务的手工Python类级代码生成基准ClassEval，评估11个LLM，揭示类级与方法级能力差异、模型梯队及适用生成策略。
2023-08-14 cs.AI cs.CL
