Manuscripts have a complex development process with multiple influencing factors. Reconstructing this process is difficult without large-scale, comparable data on different versions of manuscripts. Preprints are increasingly available and may provide access to the earliest manuscript versions. Here, we matched 6,024 preprint-publication pairs across multiple fields and examined changes in their reference lists between the manuscript versions as one aspect of manuscripts' development. We also qualitatively analysed the context of references to investigate the potential reasons for changes. We found that 90 percent of references were unchanged between versions and 8 percent were newly added. We found that manuscripts in the natural and medical sciences undergo more extensive reframing of the literature while changes in engineering mostly focused on methodological details. Our qualitative analysis suggests that peer review increases the methodological soundness of scientific claims, improves the communication of findings, and ensures appropriate credit for previous research.
PreprintMatch: a tool for preprint publication detection applied to analyze global inequities in scientific publishing
预印本,即同行评议之前的科学手稿版本,越来越受欢迎。它们提供了一个民主化和加速研究的机会,因为它们没有出版成本或漫长的同行评审过程。预印本通常随后在同行评审的场所出版,但这些出版物和原始预印本通常没有任何联系。为此,我们开发了一个工具PreprintMatch,用于查找预印本及其相应的已发表论文(如果存在)之间的匹配。该工具在匹配性能和速度方面都优于现有的预印本和纸张匹配技术。应用PreprintMatch搜索预印本(来自bioRxiv和medRxiv)与PubMed之间的匹配。预印本的初步性质在相对早期的阶段为科学项目提供了一个独特的视角,并且预印本和论文之间有了更好的匹配,我们探讨了与研究不平等相关的问题。我们发现,来自低收入国家的预印本作为同行评议论文发表的比例低于高收入国家(分别为39.6%和61.1%),我们的数据与以前的工作一致,这些工作引用了缺乏资源,缺乏稳定性和政策选择来解释这种差异。来自低收入国家的预印本也被发现出版更快(178 vs 203天),与高收入国家相比,标题,摘要和作者与出版版本的相似性更少。低收入国家比高收入国家增加了更多的作者(分别为0.42和0.32),这种做法在中国比类似国家更常见。最后,我们发现一些出版商比其他出版商更频繁地出版来自低收入国家的作者的作品。预印匹配可在\url{https://github.com/PeterEckmann1/…
Shifting 'AI Policy' Preprints and Citation Trends in the U.S., U.K and E.U., and South Korea (2015-2024)
SUNY Stony Brook University College of Engineering and Applied Sciences Department of Technology and Society(纽约州立大学石溪分校工程学院与应用科学学院技术与社会系);Stony Brook University(石溪大学)
Preprints as accelerator of scholarly communication: An empirical analysis in Mathematics
本文分析了预印本促进学术交流的关键驱动因素。为此,我们使用了四组指标,一组指的是学术交流,并基于文献计量指标(Web of Science和Scopus引文),而其他指标反映了使用(Web of Science中的使用计数),捕获(Mendeley读者)和社交媒体关注(推文)。因此,我们衡量两个影响与预印本出版:出版延迟和影响。我们定义并使用几个指标来评估arXiv中先前预印本版本的期刊文章的影响。特别是,这些指标衡量了几次arXiv预印本出版过程和期刊版本审查过程的特点,以及预印本引用的老化模式。此外,我们比较了在arXiv中没有任何先前预印本版本的预印本和非OA文章之间观察到的模式。我们可以观察到,预印本的“早期浏览”和“开放获取”效应有助于预印本的可衡量的引用和读者优势。预印版本的文章更有可能在社交媒体中被提及,并且具有更短的Altmetric注意延迟。使用和捕获被证明只有适度的,但更强的相关性与引用比推文。不同指标之间回归线的斜率不同,反映了使用、获取和引用数据的数量级不同。
Rxiv-Maker: an automated template engine for streamlined scientific publications
Instituto de Tecnologia Química e Biológica António Xavier, Universidade Nova de Lisboa(安东尼奥·哈维尔化学与生物理工学院,里斯本新大学);Turku Bioscience Centre, University of Turku and Åbo Akademi University(图尔库生物科学中心,图尔库大学和奥布阿卡西米大学);Faculty of Science and Engineering, Cell Biology, Åbo Akademi University(奥布阿卡西米大学理工学部细胞生物学系);InFLAMES Research Flagship Center, University of Turku(图尔库大学InFLAMES研究旗舰中心)
Identifying the Development and Application of Artificial Intelligence in Scientific Text
我们描述了一种策略,用于识别与人工智能的应用和发展相关的研究出版物的宇宙。这种方法利用了arXiv的科学预印本语料库,作者可以从编辑定义的集合中为论文选择主题标签。我们通过从论文元数据中学习这些主题,然后在较大的语料库中推断论文的arXiv主题标签来组成AI相关性的功能定义:Clarivate Web of Science,Digital Science Dimensions和Microsoft Academic Graph。这为自然语言处理(cs.CL)、计算机视觉(cs.CV)和机器人技术(cs.RO)产生了介于.75和.86之间的预测分类$F_1$分数。对于学习这些和其他四个AI相关主题(cs.AI,cs.LG,stat.ML和cs.MA)的单个模型,我们看到精确率为0.83,召回率为0.85。我们评估我们的分类器对其他来源的主题信息和预测的替代方法的域外性能。我们发现,一个监督的解决方案可以推广到识别属于高级研究领域的arXiv上表示的出版物。这提供了一种识别AI相关出版物的方法,这些出版物以研究输出的速度更新,而无需依赖主题专家进行查询开发或标记。
LLM hallucinations in the wild: Large-scale evidence from non-existent citations
Department of Information Science, Cornell University(信息科学系,康奈尔大学);Department of Sociology, University of California Los Angeles(社会学系,加州大学洛杉矶分校);Department of Computer Science and Technology, Tsinghua University(计算机科学与技术系,清华大学);Haas School of Business, University of California Berkeley(哈斯商学院,加州大学伯克利分校)