聊天机器人是可靠的文本标注器吗？有时是
Are Chatbots Reliable Text Annotators? Sometimes
AI总结：
本研究比较了ChatGPT与开源大语言模型及监督分类器在二元文本标注任务上的性能，发现监督分类器（DistilBERT）通常更优，建议谨慎使用ChatGPT进行文本标注。
摘要：
近期研究凸显了ChatGPT在社会科学研究中进行文本标注的巨大潜力。然而，ChatGPT是一个闭源产品，在透明度、可复现性、成本和数据保护方面存在重大缺陷。开源（OS）大语言模型（LLM）的最新进展提供了一种没有这些缺陷的替代方案。因此，评估OS LLM相对于ChatGPT和标准监督机器学习分类方法的性能非常重要。我们使用零样本和少样本学习以及通用和自定义提示，对一系列OS LLM与ChatGPT的性能进行了系统的比较评估，并将结果与监督分类模型进行比较。使用来自美国新闻媒体的新推文数据集，并聚焦于简单的二元文本标注任务，我们发现ChatGPT和OS模型在不同任务上的性能存在显著差异，且使用DistilBERT的监督分类器通常优于两者。鉴于ChatGPT性能的不稳定性及其对开放科学构成的重大挑战，我们建议在将ChatGPT用于实质性文本标注任务时保持谨慎。
英文摘要：
Recent research highlights the significant potential of ChatGPT for text annotation in social science research. However, ChatGPT is a closed-source product which has major drawbacks with regards to transparency, reproducibility, cost, and data protection. Recent advances in open-source (OS) large language models (LLMs) offer an alternative without these drawbacks. Thus, it is important to evaluate the performance of OS LLMs relative to ChatGPT and standard approaches to supervised machine learning classification. We conduct a systematic comparative evaluation of the performance of a range of OS LLMs alongside ChatGPT, using both zero- and few-shot learning as well as generic and custom prompts, with results compared to supervised classification models. Using a new dataset of tweets from US news media, and focusing on simple binary text annotation tasks, we find significant variation in the performance of ChatGPT and OS models across the tasks, and that the supervised classifier using DistilBERT generally outperforms both. Given the unreliable performance of ChatGPT and the significant challenges it poses to Open Science we advise caution when using ChatGPT for substantive text annotation tasks.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
