Improving Evaluation Realism with Inference-Time Compute and Deployment Scaffolds
利用推理时计算资源与部署框架提升评估真实性
Axel Ahlqvist, Richard Guan, Juan-Pablo Rivera, Adeline Kassler, Dmitrii Troitskii, Alexandra Souly, Kai Fronsdal, Robert Kirk, John Hughes
机构
*
Meridian Visiting Researcher Programme（梅里登访问研究员计划）
；
Cambridge Boston Alignment Initiative（剑桥-波士顿对齐倡议）
；
UK AI Security Institute（英国人工智能安全研究所）
；
Meridian Labs（梅里登实验室）
；
Anthropic（Anthropic公司）
机构
*
a pawfessor of economics and of computer science（经济与计算机科学教授）
；
OpenAI’s Researcher Access Program（OpenAI研究员访问计划）
；
Google’s Gemini Academic Program（Google的Gemini学术计划）
；
Cloud Research Credits Program（云研究信用计划）
；
Anthropic
；
NSF Graduate Research Fellowship（NSF研究生研究 fellowship）
；
Kempner Institute Graduate Fellowship（Kempner研究所研究生 fellowship）
；
National Science Foundation (NSF-BSF grant No. 2343922)（国家科学基金会（NSF-BSF grant No. 2343922））
；
Harvard FAS Dean’s Competitive Fund for Promising Scholarship（哈佛大学哈佛大学教务处有前途的学术研究竞争基金）
；
Harvard FAS Inequality in America Initiative（哈佛大学哈佛大学美国不平等倡议）
；
United States–Israel Binational Science Foundation (BSF grant 2022417)（美国-以色列双边科学基金会（BSF grant 2022417））
SciVisAgentBench: A Benchmark for Evaluating Scientific Data Analysis and Visualization Agents
SciVisAgentBench：用于评估科学数据分析和可视化代理的基准测试
Kuangshi Ai, Haichao Miao, Kaiyuan Tang, Nathaniel Gorski, Jianxin Sun, Guoxi Liu, Helgi I. Ingolfsson, David Lenz, Hanqi Guo, Hongfeng Yu, Teja Leburu, Michael Molash, Bei Wang, Tom Peterka, Chaoli Wang, Shusen Liu
机构
*
University of Notre Dame（圣母大学）
；
Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
；
University of Utah（犹他大学）
；
University of Nebraska–Lincoln（内布拉斯加大学林肯分校）
；
The Ohio State University（俄亥俄州立大学）
；
Argonne National Laboratory（阿贡国家实验室）
；
Anthropic PBC
Verbalizable Representations Form a Global Workspace in Language Models
语言模型中的可言语化表征形成全局工作空间
Wes Gurnee, Nicholas Sofroniew, Adam Pearce, Mateusz Piotrowski, Isaac Kauvar, Runjin Chen, Anna Soligo, Paul Bogdan, Euan Ong, Rowan Wang, Ben Thompson, David Abrahams, Subhash Kantamneni, Emmanuel Ameisen, Joshua Batson, Jack Lindsey
Measuring AI Ability to Complete Long Software Tasks
衡量AI完成长期软件任务的能力
Thomas Kwa, Ben West, Joel Becker, Amy Deng, Katharyn Garcia, Max Hasin, Sami Jawhar, Megan Kinniment, Nate Rush, Sydney Von Arx, Ryan Bloom, Thomas Broadley, Haoxing Du, Brian Goodrich, Nikola Jurkovic, Luke Harold Miles, Seraphina Nix, Tao Lin, Chris Painter, Neev Parikh, David Rein, Lucas Jun Koba Sato, Hjalmar Wijk, Daniel M. Ziegler, Elizabeth Barnes, Lawrence Chan
机构
*
Model Evaluation & Threat Research (METR)（模型评估与威胁研究（METR））
；
Ohm Chip
；
Anthropic
Similarity of Neural Network Representations in Superposition
神经网络表示在叠加中的相似性
Sunny Liu, Habon Issa, André Longon, Liv Gorton, Meenakshi Khosla, Alex Williams, David Klindt
机构
*
Cold Spring Harbor Laboratory（冷泉港实验室）
；
UC San Diego（加州大学圣地亚哥分校）
；
Anthropic（Anthropic公司）
；
New York University Flatiron Institute（纽约大学Flatiron研究所）
Positive Alignment: Artificial Intelligence for Human Flourishing
积极对齐：人工智能促进人类繁荣
Ruben Laukkonen, Seb Krier, Chloé Bakalar, Shamil Chandaria, Morten Kringelbach, Adam Elwood, Daniel Ford, Fernando Rosas, Maty Bohacek, Matija Franklin, Nenad Tomašev, Stephanie Chan, Verena Rieser, Roma Patel, Michael Levin, Arun Rao
机构
*
Department of Psychiatry, University of Oxford（牛津大学精神病学系）
；
Flourishing Intelligence Program, Centre for Eudaimonia and Human Flourishing, Linacre College, University of Oxford（牛津大学幸福智能计划、幸福与人类繁荣中心、林acre学院）
；
Google DeepMind（谷歌DeepMind）
；
LIFE
；
OpenAI
；
Anthropic
；
University of California, Los Angeles（加州大学洛杉矶分校）
；
Aily Labs（Aily实验室）
；
Stanford University（斯坦福大学）
；
Tufts University（塔夫茨大学）
；
Positive AI Labs（积极AI实验室）
；
Department of Informatics, University of Sussex（Sussex大学信息学系）
；
Department of Brain Sciences, Imperial College London（伦敦帝国理工学院脑科学系）
