Percy Liang

Economic Evaluations of Language Models

语言模型的经济评估

Alexander Wan, Stephane Hatgis-Kessell, Tomás Aguirre, Percy Liang, Rishi Bommasani

机构 * Stanford University（斯坦福大学） ； University of São Paulo（圣保罗大学） 纠错

AI总结 研究语言模型在经济价值任务上的表现，通过EconEvals开源套件评估，结合真实用户查询与合成数据，成本低且覆盖度好，还引入暴露度量估计时间节省情况，发现当前模型有潜力但存在使用滞后及隐私等瓶颈，引入基础设施推断其对劳动力市场的影响。