arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~
arXiv 2407.10645cs.CLcs.AIcs.CY
收藏

提示选择至关重要:利用大型语言模型增强社会科学文本标注

Prompt Selection Matters: Enhancing Text Annotations for Social Sciences with Large Language Models

Université Paris 1 Panthéon-Sorbonne(巴黎第一大学先贤祠-索邦大学);Université Paris-Saclay(巴黎萨克雷大学);Institut Jean Nicod(让·尼科德研究所);Ecole Normale Supérieure(巴黎高等师范学院);PSL-EHESS-CNRS(巴黎文理研究大学-法国高等社会科学研究院-法国国家科学研究中心)

Louis Abraham, Charles Arnal, Antoine Marie

AI总结:

本文研究提示选择对大型语言模型社会科学文本标注准确性的影响,发现不同提示性能差异显著,并提出自动提示优化方法以系统构建高质量提示,同时提供浏览器实现工具。

摘要:

大型语言模型最近已被应用于社会科学的文本标注任务,其性能达到或超过人类工作者的水平,而成本仅为后者的一小部分。然而,目前尚无研究探讨提示选择对标注准确性的影响。在本研究中,我们表明不同提示之间的性能差异很大,并应用自动提示优化方法来系统地构建高质量提示。我们还为社区提供了一个简单、基于浏览器的该方法实现,网址为 https://prompt-ultra.github.io/ 。

英文摘要:

Large Language Models have recently been applied to text annotation tasks from social sciences, equalling or surpassing the performance of human workers at a fraction of the cost. However, no inquiry has yet been made on the impact of prompt selection on labelling accuracy. In this study, we show that performance greatly varies between prompts, and we apply the method of automatic prompt optimization to systematically craft high quality prompts. We also provide the community with a simple, browser-based implementation of the method at https://prompt-ultra.github.io/ .

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑