发表机构
Hertie Institute for AI in Brain Health, University of Tübingen; Ghent University; VIB（蒂宾根大学赫蒂脑健康人工智能研究所; 根特大学; 弗拉芒生物技术研究院）
机构由 AI 辅助整理，请以论文原文为准。AI 中文总结
本研究提出基于词频变化的无偏方法估计文本语料库中LLM使用情况，发现到2025年底89%的生物医学论文存在LLM相关词汇过量，讨论部分LLM使用率是方法部分的两倍，相关估计对制定指南政策至关重要。
AI 中文摘要
在过去几年中，大语言模型（LLM）驱动的聊天机器人和智能体已被广泛用作学术写作工具。LLM辅助写作可消除语言障碍，具有重要价值，但同时也引发了关于不当行为和欺诈的担忧。为了为政策决策提供依据，有必要监测学术出版物中LLM修改文本的流行程度。尽管最近在这一方向取得了一些进展，但现有方法均无法提供可靠的估计值。本文提出并验证了一种新的无偏方法，该方法基于词频变化来估计文本语料库中的LLM使用情况。我们将该方法应用于PubMed Central的开放获取生物医学论文全文，结果显示，到2025年底，89%的论文存在LLM相关词汇过量的情况。我们还发现，在讨论部分撰写段落时，LLM的使用可能性是方法部分的两倍，讨论段落的LLM使用率为68%，方法段落为32%，但即使在方法部分内部，LLM使用的总体流行程度也超过50%。我们认为，我们的估计值对制定未来指南和政策至关重要。
英文摘要
Over the past several years, LLM-powered chatbots and agents have become widely used as a tool for academic writing. LLM-assisted writing can be valuable by removing language barriers but at the same time causes concerns about misconduct and fraud. To inform policy decisions, it is necessary to monitor the prevalence of LLM-altered texts in scholarly publications. Despite some recent progress in this direction, no existing method can produce reliable estimates. Here we suggest and validate a new unbiased approach to estimate LLM usage in a corpus of texts based on changing word frequencies. We apply our method to the full texts of open-access biomedical papers from Pubmed Central, and show that by the end of 2025, 89% of papers show excess of LLM-associated vocabulary. We also find that LLMs are twice as likely to be used when writing a paragraph in the Discussion section (68%) compared to a paragraph in the Methods section (32%), but even inside the Methods section, the overall prevalence of LLM usage is over 50%. We believe that our estimates are crucial to shape future guidelines and policies.
