To Err Is Human; To Annotate, SILICON? Toward Robust Reproducibility in LLM Annotation
发表机构 * Robert H. Smith School of Business, University of Maryland(马里兰大学罗伯特·H·史密斯商学院) ; Leonard N. Stern School of Business, New York University(纽约大学伦纳德·N·斯坦商学院)
AI总结 本文探讨了基于大语言模型(LLM)进行文本标注时面临的可重复性挑战,尤其是当原始模型被弃用时如何保证标注结果的长期可复现。研究提出了一种名为SILICON的分析框架,将测量误差分解为四个来源,并设计了针对性的干预措施以降低误差。实验验证表明,该方法有效提升了标注质量,并通过回归方法建立了可长期使用的开放权重模型,为管理研究中的标注任务提供了更稳健的解决方案。