arXivDaily arXiv每日学术速递 周一至周五更新
arXiv 2512.05461cs.CYcs.AIcs.HC
收藏

了解你的不确定性——关于LLM在社会科学中的应用

Knowing Your Uncertainty -- On the application of LLM in social sciences

Bolun Zhang, Linzhuo Li, Yunqi Chen, Qinlin Zhao, Zihan Zhu, Xiaoyuan Yi, Xing Xie

AI总结:

本文提出一个统一框架,用于评估LLM在社会科学任务中的不确定性,通过任务类型和验证类型两个维度,为研究者提供方法学保障和实践指导。

摘要:

大型语言模型(LLMs)正迅速被整合到计算社会科学研究中,然而其黑箱训练和推理中的设计随机元素对科学研究提出了独特的挑战。本文认为,将LLMs应用于社会科学任务需要明确评估不确定性——这一期望在社会科学的定量方法和机器学习中早已确立。我们介绍了一个统一的框架,用于评估LLM的不确定性,沿两个维度:任务类型(T),区分分类、短形式和长形式生成;以及验证类型(V),捕捉参考数据或评估标准的可用性。从计算机科学和社会科学文献中,我们映射现有的不确定性量化(UQ)方法到此T-V类型学,并为研究者提供实际建议。我们的框架不仅提供了一种方法学保障,还为将LLMs整合到严谨的社会科学研究中提供了实用指南。

英文摘要:

Large language models (LLMs) are rapidly being integrated into computational social science research, yet their blackboxed training and designed stochastic elements in inference pose unique challenges for scientific inquiry. This article argues that applying LLMs to social scientific tasks requires explicit assessment of uncertainty -- an expectation long established in both quantitative methodology in the social sciences and machine learning. We introduce a unified framework for evaluating LLM uncertainty based on Hill numbers, a family of diversity measures. By transforming existing uncertainty quantification (UQ) metrics into Hill numbers, the framework provides a common and intuitive scale for interpreting variation in LLM outputs while accommodating different notions of semantic similarity and different sensitivities to output distributions. We show how it might help the application of LLMs in social sciences through four empirical applications.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑