通知：联邦节假日调休：哥伦布日 / 原住民日（Columbus Day / Indigenous Peoples' Day），今日（13日）无更新。通知：联邦节假日调休：哥伦布日 / 原住民日（Columbus Day / Indigenous Peoples' Day），今日（13日）无更新。
arXiv 2504.01848cs.AIcs.CL
PaperBench：评估人工智能复制人工智能研究能力的基准
PaperBench: Evaluating AI's Ability to Replicate AI Research
OpenAI（开放人工智能公司）
Giulio Starace, Oliver Jaffe, Dane Sherburn, James Aung, Jun Shern Chan, Leon Maksin, Rachel Dias, Evan Mays, Benjamin Kinsella, Wyatt Thompson, Johannes Heidec… 展开作者
Giulio Starace, Oliver Jaffe, Dane Sherburn, James Aung, Jun Shern Chan, Leon Maksin, Rachel Dias, Evan Mays, Benjamin Kinsella, Wyatt Thompson, Johannes Heidecke, Amelia Glaese, Tejal Patwardhan
我们介绍了 PaperBench，这是一个用于评估 AI 智能体复制最先进 AI 研究能力的基准。智能体必须从零开始复制 20 篇 ICML 2024 Spotlight 和 Oral 论文，包括理解论文贡献、开发代码库以及成功执行实验。为了实现客观评估，我们开发了评分细则，将每个复制任务按层次分解为更小的子任务，并给出明确的评分标准。PaperBench 总共包含 8,316 个可单独评分的任务。评分细则与每篇 ICML 论文的作者共同制定，以确保准确性和现实性。为了实现可扩展的评估，我们还开发了一个基于 LLM 的评判器，根据评分细则自动对复制尝试进行评分，并通过创建一个单独的评判器基准来评估我们评判器的性能。我们在 PaperBench 上评估了多个前沿模型，发现表现最好的测试智能体——使用开源脚手架（scaffolding）的 Claude 3.5 Sonnet (New)——达到了 21.0% 的平均复制得分。最后，我们招募了顶尖的机器学习博士生来尝试 PaperBench 的一个子集，发现模型尚未超越人类基线。我们开源了我们的代码（https://github.com/openai/preparedness），以促进未来在理解 AI 智能体的 AI 工程能力方面的研究。
英文摘要：
We introduce PaperBench, a benchmark evaluating the ability of AI agents to replicate state-of-the-art AI research. Agents must replicate 20 ICML 2024 Spotlight and Oral papers from scratch, including understanding paper contributions, developing a codebase, and successfully executing experiments. For objective evaluation, we develop rubrics that hierarchically decompose each replication task into smaller sub-tasks with clear grading criteria. In total, PaperBench contains 8,316 individually gradable tasks. Rubrics are co-developed with the author(s) of each ICML paper for accuracy and realism. To enable scalable evaluation, we also develop an LLM-based judge to automatically grade replication attempts against rubrics, and assess our judge's performance by creating a separate benchmark for judges. We evaluate several frontier models on PaperBench, finding that the best-performing tested agent, Claude 3.5 Sonnet (New) with open-source scaffolding, achieves an average replication score of 21.0%. Finally, we recruit top ML PhDs to attempt a subset of PaperBench, finding that models do not yet outperform the human baseline. We open-source our code (https://github.com/openai/preparedness) to facilitate future research in understanding the AI engineering capabilities of AI agents.
Evaluating Morphological Compositional Generalization in Large Language Models
EPFL（瑞士联邦理工学院）；Idiap Research Institute（Idiap研究机构）；Duke University（杜克大学）；Brandeis University（布兰迪斯大学）；LMU Munich（慕尼黑大学）；University of Cambridge（剑桥大学）；Johns Hopkins University（约翰霍普金斯大学）；Università della Svizzera Italiana（瑞士意大利大学）；New York University（纽约大学）
MedBench: A Large-Scale Chinese Benchmark for Evaluating Medical Large Language Models
East China Normal University（华东师范大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Hasso Plattner Institute（哈索·普拉特纳研究所）；University of Potsdam（波茨坦大学）；Cooperative Medianet Innovation Center, Shanghai Jiao Tong University（上海交通大学合作媒体网络创新中心）
ReplicatorBench: Benchmarking LLM Agents for Replicability in Social and Behavioral Sciences
University of Notre Dame（圣母大学）；Old Dominion University（老道明大学）；Pennsylvania State University（宾夕法尼亚州立大学）；Independent Researcher（独立研究员）；Uppsala University（乌普萨拉大学）；Center for Open Science（开放科学中心）
Do Large Language Models Judge Error Severity Like Humans?
School of Psychology（心理学系）；Hubei Provincial Key Laboratory of Artificial Intelligence and Smart Learning（湖北省人工智能与智能学习重点实验室）；National Language Resources Monitor and Research Center for Network Media（网络媒体语言资源监测与研究中心）；School of Computer Science（计算机科学学院）
Evaluating Large Language Models Against Human Annotators in Latent Content Analysis: Sentiment, Political Leaning, Emotional Intensity, and Sarcasm
Institute for Artificial Intelligence Research and Development of Serbia（塞尔维亚人工智能研究与发展研究所）；University of Belgrade（贝尔格莱德大学）；Institute for Philosophy and Social Theory（哲学与社会理论研究所）；Rheinland-Pfälzische Technische Universität Kaiserslautern-Landau (RPTU)（莱茵兰-普法尔茨州 Kaiserslautern-Landau 应用科技大学）；German Research Centre for Artificial Intelligence (DFKI)（德国人工智能研究中心）；Vilnius Gediminas Technical University（维尔纽斯格迪米纳斯技术大学）；Drexel University（德雷塞尔大学）；University of Montenegro（黑山大学）；Faculty of Dramatic Arts（戏剧艺术学院）；University of Kragujevac（克拉古耶瓦茨大学）；Faculty of Engineering（工程学院）
LLMs instead of Human Judges? A Large Scale Empirical Study across 20 NLP Evaluation Tasks
University of Amsterdam（阿姆斯特丹大学）；University of Trento（特伦托大学）；University of Copenhagen（哥本哈根大学）；Utrecht University（乌得勒支大学）；Max Planck Institute for Psycholinguistics（马克斯·普朗克心理语言学研究所）；ETH Zürich（苏黎世联邦理工学院）；Saarland University（萨尔大学）；Universidade de Lisboa & Unbabel（里斯本大学及Unbabel）；LMU Munich & MCML（慕尼黑大学及MCML）；University of Potsdam（波茨坦大学）；Heriot-Watt University（赫瑞线学院）
PRL-Bench: A Comprehensive Benchmark Evaluating LLMs' Capabilities in Frontier Physics Research
School of Artificial Intelligence（人工智能学院）；Zhiyuan College（智远学院）；School of Physics and Astronomy（物理天文学院）；Tsung-Dao Lee Institute（李政道研究所）；State Key Laboratory of Dark Matter Physics（暗物质物理国家重点实验室）；Shanghai Innovation Institute（上海创新研究院）；Institute of Theoretical Physics（理论物理研究所）；Chinese Academy of Sciences（中国科学院）；Zhejiang Lab（浙江实验室）；SciLand；DP Technology（DP技术）
