Diyi Yang

ReplicationBench: Can AI Agents Replicate Astrophysics Research Papers?

ReplicationBench: 人工智能代理能否复制天体物理学研究论文？

Christine Ye, Sihan Yuan, Suchetha Cooray, Steven Dillmann, Ian L. V. Roque, Dalya Baron, Philipp Frank, Sergio Martin-Alvarez, Nolan Koblischke, Frank J Qu, Diyi Yang, Risa Wechsler, Ioana Ciuca

机构 * Stanford University（斯坦福大学） ； University of Toronto（多伦多大学） 纠错

AI总结 ReplicationBench旨在评估人工智能代理复制天体物理学研究论文的能力，通过测试代理在实验设置、推导、数据分析和代码库等任务上的表现，揭示代理在科学研究中的可靠性及挑战。