arXivDaily arXiv每日学术速递 周一至周五更新
arXiv 2409.19508cs.CL
收藏

变革学术版图:大型语言模型对计算机科学以外学术领域的影响

Transforming Scholarly Landscapes: Influence of Large Language Models on Academic Fields beyond Computer Science

Ubiquitous Knowledge Processing Lab (UKP Lab)(普适知识处理实验室(UKP实验室));Hessian Center for AI (hessian.AI)(黑森人工智能中心);IBM Research Europe(IBM欧洲研究院);National Research Council Canada(加拿大国家研究委员会)

Aniket Pramanick, Yufang Hou, Saif M. Mohammad, Iryna Gurevych

AI总结:

本文通过整理106个LLMs并分析约148k篇引用论文,系统考察了LLMs对NLP以外领域的影响,发现其在非计算机科学领域日益普及且使用不均,语言学与工程学合计占约45%引用,且多数领域主要采用无需微调的任务无关LLMs来解决领域问题。

摘要:

大型语言模型(LLMs)在自然语言处理(NLP)领域开创了一个变革时代,重塑了研究格局,并将NLP的影响力扩展到其他研究领域。然而,目前几乎没有工作考察LLMs对其他研究领域的影响程度。本研究以实证和系统的方式考察了LLMs在NLP以外领域的影响与使用情况。我们整理了106个LLMs,并分析了约148k篇引用LLMs的论文,以量化其影响并揭示其使用模式的趋势。我们的分析不仅揭示了LLMs在非计算机科学领域日益普及的现象,还揭示了其使用上的差异,自2018年以来,一些领域比另一些领域更频繁地使用LLMs,尤其是语言学和工程学合计占LLMs引用的约45%。我们的发现进一步表明,这些领域中的大多数主要采用任务无关的LLMs,这些模型擅长零样本或少样本学习,无需进一步微调,即可解决其领域特定问题。本研究阐明了NLP通过LLMs产生的跨学科影响,为更好地理解其中的机遇与挑战提供了依据。

英文摘要:

Large Language Models (LLMs) have ushered in a transformative era in Natural Language Processing (NLP), reshaping research and extending NLP's influence to other fields of study. However, there is little to no work examining the degree to which LLMs influence other research fields. This work empirically and systematically examines the influence and use of LLMs in fields beyond NLP. We curate $106$ LLMs and analyze $\sim$$148k$ papers citing LLMs to quantify their influence and reveal trends in their usage patterns. Our analysis reveals not only the increasing prevalence of LLMs in non-CS fields but also the disparities in their usage, with some fields utilizing them more frequently than others since 2018, notably Linguistics and Engineering together accounting for $\sim$$45\%$ of LLM citations. Our findings further indicate that most of these fields predominantly employ task-agnostic LLMs, proficient in zero or few-shot learning without requiring further fine-tuning, to address their domain-specific problems. This study sheds light on the cross-disciplinary impact of NLP through LLMs, providing a better understanding of the opportunities and challenges.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑