Scientific evaluation is a determinant of how scientists, institutions and funders behave, and as such is a key element in the making of science. In this article, we propose an alternative to the current norm of evaluating research with journal rank. Following a well-defined notion of scientific value, we introduce qualitative processes that can also be quantified and give rise to meaningful and easy-to-use article-level metrics. In our approach, the goal of a scientist is transformed from convincing an editorial board through a vertical process to convincing peers through an horizontal one. We argue that such an evaluation system naturally provides the incentives and logic needed to constantly promote quality, reproducibility, openness and collaboration in science. The system is legally and technically feasible and can gradually lead to the self-organized reappropriation of the scientific process by the scholarly community and its institutions. We propose an implementation of our evaluation system with the platform "the Self-Journals of Science" (www.sjscience.org).
A bird's-eye view of scientific trading: Dependency relations among fields of science
我们使用交易隐喻来研究科学和社会科学中的知识转移。该隐喻包括四个维度:(a)学科自主性,(b)知识输出/输入,(c)科学贸易动态,(d)科学贸易影响。该框架适用于221 Web of Science主题类别的数据集。我们发现:(i)材料科学和运输科学的科学贸易影响和动态有所增加;(ii)生物医学、物理学和数学是重要的知识出口者,统计学和概率论也是如此;(iii)在社会科学中,经济学、商业、心理学、管理学和社会学是重要的知识出口者;(iv)纪律自力更生与专业领域有关,这些领域与专业实践有联系(例如,法律,眼科,牙科,口腔外科和医学,心理学,精神分析,兽医科学和护理)。
Scientific tools and Innovation: Big Science Facilities Yield More Novel and Interdisciplinary Knowledge
National Science Library, Chinese Academy of Sciences(中国科学院文献情报中心);University of Chinese Academy of Sciences(中国科学院大学);Department of Information Resource Management, University of Chinese Academy of Sciences(中国科学院大学信息资源管理系);Ningbo Institute of Materials Technology and Engineering, Chinese Academy of Sciences(中国科学院宁波材料技术与工程研究所)
A Quantitative Approach to Estimating Bias, Favouritism and Distortion in Scientific Journalism
Oxford Immune Algorithmics(牛津免疫算法公司);London Institute of Healthcare Engineering(伦敦医疗工程学院);King’s College London(伦敦国王学院);The Francis Crick Institute(弗朗西斯·克里克研究所)
本文通过分析Wired、Quanta和The New Scientist近5至10年的报道语料,量化科学新闻中人物驱动型偏见、偏袒与失真,揭示其对科学实践和公众认知的扭曲影响。
Best-in-class and Strategic Benchmarking of Scientific Subject Categories of Web of Science in 2010
在这里,我们展示了一种比较学科类别的新技术,其中学术期刊在每个类别中的声望由影响因子直方图统计表示。对于每个学科类别,我们计算了具有影响因子的学术期刊在不同时间间隔内的出现概率。这里的影响因子是用汤森路透影响因子、特征因子得分和即时性指数来衡量的。假设与一对主题类别相关的概率,我们的目标是测量它们之间的不相似程度。要做到这一点,我们使用一个公理化的表征预测主题类别之间的差异。2010年Web of Science的科学主题类别被用来测试所提出的方法,用于对细胞生物学和计算机科学信息系统进行基准测试,其余的作为两个案例研究。前者是一流的基准,涉及研究领先的竞争对手类别;后者是战略基准,涉及观察其他科学学科类别如何竞争。
How many scientific papers are mentioned in policy-related documents? An empirical investigation using Web of Science and Altmetric data
在这个简短的交流中,我们提供了一个相对较新的altmetrics数据源的概述,这些数据可能用于科学计量学中的社会影响测量。最近,Altmetric --一家提供出版物水平指标的初创公司--开始提供政策相关文件中提到的出版物数据。使用Altmetric的数据,我们研究了有多少论文在Web of Science(WoS)中被索引,在政策相关的文件中被提及。我们发现,在不同学科类别中发表的论文中,只有不到0.5%的论文在政策相关文件中至少被提及一次。根据我们的研究结果,我们建议定期(每年)重复分析至少有一次与政策相关的(WoS)出版物。在跟踪新的政策相关网站之前,不应将政策相关文件中的提及用于影响衡量。
Instituto de Ciencias Humanas y Ambientales-Consejo Nacional de Investigaciones Científicas y Técnicas(人文与环境科学研究所-国家科学研究委员会);Centro de Estudios de la Circulación del Conocimiento-Universidad Nacional de Cuyo(知识流通研究中心-门多萨国立大学);ICREA(加泰罗尼亚高级研究学院);Institut de Ciència i Tecnologia Ambientals de la Universitat Autònoma de Barcelona (ICTA-UAB)(巴塞罗那自治大学环境科学与技术研究所);Department of Private Law, Universitat Autònoma de Barcelona(巴塞罗那自治大学私法学院);Univ. Grenoble Alpes, INRAE, CNRS, Grenoble INP, GAEL(格勒诺布尔阿尔卑斯大学、法国国家农业食品环境研究院、法国国家科学研究中心、格勒诺布尔理工学院、GAEL);School of Education, University of Bristol(布里斯托大学教育学院);School of History, University of St Andrews(圣安德鲁斯大学历史学院);Department of Science Operations, Royal Botanic Gardens, Kew(邱皇家植物园科学运营部);Centre for Ecology and Conservation, University of Exeter(埃克塞特大学生态与保护中心);Scholarly Communications Lab, School of Information Studies, University of Ottawa(渥太华大学信息研究学院学术传播实验室);Consortium Érudit, Université de Montréal(蒙特利尔大学Érudit联盟);Observatoire des Sciences et des Technologies, Université du Québec à Montréal(魁北克蒙特利尔大学科学技术观测站);DSI‐NRF Centre of Excellence in Scientometrics and Science, Technology and Innovation Policy, Stellenbosch University(斯坦陵布什大学计量科学与科技与创新政策卓越中心);Department of Geography, University of Dar es Salaam(达累斯萨拉姆大学地理系);School of Information, Journalism and Communication, University of Sheffield(谢菲尔德大学信息、新闻与传播学院);Research on Research Institute (RoRI), Department of Science, Technology, Engineering & Public Policy, University College London(伦敦大学学院科学、技术、工程与公共政策系研究研究所)
A Comparison between the China Scientific and Technical Papers and Citations Database and the Science Citation Index in terms of journal hierarchies and inter-journal citation relations
Web of Science: showing a bug today that can mislead scientific research output's prediction
正如它发生在人类活动的各个领域一样,经济问题和从事科学研究的人员的增加改变了科学成果的评估方式以及进行评估的目标。2005年,J. E。赫希指数作为一种不仅能从数量上而且能从质量上衡量个人科学产出的指标,已在世界范围内得到推广。在2007年,美国好施集团建议采用它作为预测未来科学成就的最佳方法,因此,它是研究投资和机构雇用科学人员的有用指南。从那时起,几位作者也一直在使用汤姆森ISI的Web of Science数据库来开发他们的研究成果评估建议。在这里,使用我们开发的软件,我们分析了超过10万篇文章,并表明Web of Science中的一个微妙的缺陷可以夸大收集信息的结果,从而损害了准确性,因此,赫希的建议及其变体的有效性。
Does the Web of Science Accurately Represent Chinese Scientific Performance?
本研究的目的是比较Web of Science(WoS)和中国文献计量学数据库的作者及其表现,展示国际和中国文献计量学数据库中两组中国最具生产力作者之间的重叠程度,并确定不同学科如何影响这种重叠。本研究结果表明,中国的文献计量数据库,或WOS和中国的文献计量数据库的组合,应被用来评估中国的研究绩效,除了在少数学科,中国的研究绩效可以评估使用WOS。
Growth rates of modern science: A latent piecewise growth curve approach to model publication numbers from established and new literature databases
科学成长是科学学研究中的一个普遍问题。近年来,引入了两个新的书目数据库,可用于研究几个世纪以来科学的发展过程:数字科学和微软学术的维度。在这项研究中,我们使用了来自这些新数据库的出版物数据,并添加了来自两个已建立的数据库(Clarivate Analytics的Web of Science和Elsevier的Scopus)的出版物数据,以调查从现代科学体系开始到今天的科学增长过程。我们估计了同时包括来自四个数据库的出版物计数的回归模型。科学计算的无限制增长的结果表明,总体增长率为4.10%,倍增时间为17.3年。正如本研究中各种分段回归模型的比较所显示的那样,五段模型最适合出版数据。我们证明,这些具有不同增长率的细分市场可以很好地解释,因为它们与经济的任何一个阶段(例如,工业化)和/或政治发展(例如,第二次世界大战)。在这项研究中,我们还分析了两个广泛领域(物理和技术科学以及生命科学)的科学增长以及英国科学与经济增长的关系。这两个领域之间的比较显示只有轻微的差异。英国经济增长率与科技增长率的比较表明,经济增长率略低于科技增长率。
Article's Scientific Prestige: measuring the impact of individual articles in the Web of Science
我们对Web of Science出版物进行了引文分析,其中包括1981年至2020年254个主题的6300多万篇文章和14.5亿次引用。我们提出了文章的科学声望(ASP)指标,并将此指标与引用次数(#Cit)和期刊等级进行了比较,以衡量大规模分层和多学科引文网络中每篇文章的科学影响力。与#Cit相比,基于特征向量中心性计算的ASP考虑了直接和间接引用,并提供了跨学科的稳态评估。我们发现,ASP和#Cit在大多数文章中并不一致,在引用较少的文章中越来越不匹配。虽然这两个指标都是可靠的评价文章的声望,如诺贝尔奖获奖的文章,ASP往往提供更有说服力的排名比#Cit时,文章没有被高度引用。期刊等级最终由少数高引用文章决定,无法正确反映每篇文章的科学影响力。参考文献和合著者的数量与科学影响力的相关性较小,但主题确实有所不同。
Bibliometric analysis of the scientific production found in Scopus and Web of Science about business administration
简介:本文基于偏最小二乘结构方程模型(Partial Least Squares Structural Equation Modeling PLS-SEM),对2011-2020年科技论文中的工商管理科学成果进行分析。方法学:这项研究是探索性和描述性的,分三个阶段:(a)选择关键词和搜索标准;(b)搜索和完善信息;(c)信息分析。在分析预定指标的基础上,采用了对具体文献进行文献计量审查的方法,并完成了定性内容综合。结果如下:共分析了167篇出版物,从年份,检索标准,作者,四分位数的影响因子和引用变量进行相关性分析。更多优秀的科学成果来自Scopus的搜索标准((pls AND sem)或“偏最小二乘”)和(商业或管理),为4,870篇科学文章,而Web of Science积累了3,946篇文章结论:从2011年到2020年,使用PLS-SEM技术的科学文章逐渐增长。与WoS相比,Scopus使用这种统计方法呈现了更多的科学成果。注册科学文章的作者表现出较高的H指数;此外,马来西亚大学中有大量采用PLS-SEM方法的科学文章,可能与该国以及新加坡,台湾和印度尼西亚的高等教育扩张有关。最后,工商管理、会计学和经济学是杰出的科学成果。
Citation of scientific evidence from video description and its association with attention and impact
Institute of Tourism and Sustainable Economic Development (TIDES), University of Las Palmas de Gran Canaria(加那利群岛大学旅游与可持续发展经济研究所);Departamento de Ingeniería Informática y de Sistemas, University of La Laguna(拉帕尔马大学计算机与系统工程系)
Comparing Retrieval Strategies to Capture Interdisciplinary Scientific Research: A Bibliometric Evaluation of the Integration of Neuroscience and Computer Science
Université de Montréal(蒙特利尔大学);Consejo Nacional de Investigaciones Científicas y Técnicas (CONICET)(阿根廷国家科学研究委员会);Universidad Nacional de Córdoba(科尔多瓦国立大学)
The dominance of big teams in China's scientific output
现代科学是由团队的科学成果主导的。最近的一项发现表明,大规模和小规模的团队在研究中都是必不可少的,这促使我们分析一个国家的科学工作在多大程度上是由大/小团队进行的。在这里,使用来自Web of Science的超过2600万篇出版物,我们发现中国的研究成果比世界其他地区更受大团队的主导,特别是在自然科学领域。尽管全球趋势是大团队完成的论文越来越多,但中国小团队产出的下降幅度要大得多。随着中国团队规模从小到大的转变,对于创新工作至关重要的团队多样性并没有像其他国家那样增加。以全国平均水平为基准,我们发现国家自然科学基金委员会(NSFC)资助的小团队项目少于美国国家科学基金委员会(NSF),这意味着中国的资助机构更倾向于大团队。我们的发现为中国对原创性和创新的关注提供了新的见解,这迫切需要平衡小型和大型团队。
Quantifying the consistency of scientific databases
科学是一个社会过程,对现代社会有着深远的影响。近年来,我们第一次能够科学地研究科学本身。这得益于越来越多的科学出版物上的大量数据。这些数据包含在几个数据库中,如Web of Science或PubMed,由各种公共和私人实体维护。不幸的是,这些数据库并不总是一致的,这大大阻碍了这项研究。依托复杂网络的强大框架,对六大科学数据库之间的一致性进行了系统分析。我们发现,确定一个单一的“最佳”数据库远非易事。然而,我们的研究结果表明,不同的数据库,我们解释为食谱为未来的文献计量学研究的相互一致性的明显差异。