AI Coding Agents Can Reproduce Social Science Findings
AI编码智能体能够复现社会科学研究结果
机构 * University of Oxford(牛津大学) ; University of Zurich(苏黎世大学) ; Carnegie Mellon University(卡内基梅隆大学) ; New York University(纽约大学)
专题命中 软件智能体 :coding agent(title,abstract);分类 cs.CL
AI总结 本研究构建SocSci-Repro-Bench基准测试,评估Claude Code和Codex两个前沿编码智能体在221项社会科学任务中的复现能力,发现它们能复现大部分结果,且Claude Code表现更优,同时提示框架会影响确认性规范搜索。