Bibliometrics plays an increasingly important role in research evaluation. However, no gold standard exists for a set of reliable and valid (field-normalized) impact indicators in research evaluation. This opinion paper recommends that bibliometricians develop and analyze these impact indicators against the backdrop of Popper's critical rationalism. The studies critically investigating the indicators should publish the results in such a way that they can be included in meta-analyses. The results of meta-analyses give guidance on which indicators can then be part of a set of indicators used as standard in bibliometrics. The generation and continuous revision of the standard set could be handled by the International Society for Informetrics and Scientometrics (ISSI).
How well does I3 perform for impact measurement compared to other bibliometric indicators? The convergent validity of several (field-normalized) indicators
Should citations be field-normalized in evaluative bibliometrics? An empirical analysis based on propensity score matching
引文的字段规范化是文献计量学的标准。尽管观察到不同领域之间的引用数量存在差异,但问题仍然是,除了可能影响引用的属性或因素(FIC)的影响之外,强有力的领域如何影响引用率。我们考虑了几个FIC,如本研究的页数和共同作者人数。我们想知道除了其他效应之外是否存在单独的场效应(例如,从页数和合著者)。为了找到这个问题的答案,在这项研究中,我们采用了治疗加权(IPW)的逆概率。使用Web of Science数据(308,231篇文章的样本),我们调查了主题类别之间引用率的平均差异是否仍然存在,即使主题类别在与领域相关的属性(例如,共同作者可比,页数可比)。在我们的统计分析的诊断步骤中,我们将倾向分数视为回归分析中的协变量,以检查FIC中字段之间的差异是否消失。结果表明,差异并没有完全消失,但大大减少了。我们得到了类似的结果,当我们计算平均值差异的领域后,IPW代表因果或无混淆的领域影响的引文。然而,引用率的外地差异仍然存在。结果指出,字段规范化似乎是引文分析的先决条件,不能被取代的任何一套FIC在引文分析中的考虑。
From indexation policies through citation networks to normalized citation impacts: Web of Science, Scopus, and Dimensions as varying resonance chambers
Dimensions是作为一个替代性的文献计量学数据库被引入到完善的Web of Science(WoS)和Scopus中的,但是这三个数据库在覆盖范围和内容上都有根本的不同,这是由于它们的所有者的独立哲学。鉴于这些差异,我们在这里探讨,使用引文网络分析和评估的“重复”出版物的规范化引用的影响,无论是三个数据库提供结构上不同的角度的文献计量景观,或者如果他们基本上是同质的替代品。我们的引文网络对2016-2018年核心和独家出版物的分析显示,在所有三个数据库中索引的大量核心出版物都具有高度的自我参考性。相比之下,每个数据库都选择了一组独家出版物,这些出版物与核心集和彼此之间的相关性似乎都很低,Scopus和Dimensions中的独家出版物之间的内部交流略多于WoS。我们对所有三个数据库中索引的41,848篇出版物的标准化引文进行了比较,发现与WoS相比,德国行业在Scopus和Dimensions中的影响力更大,特别是对于以应用研究为重点的行业。我们的结论是,数据库确实呈现出结构上不同的视角,尽管Scopus和Dimensions及其附加的应用研究圈与更多以基础研究为重点的WoS相比,彼此之间的差异更大。
Scores of a specific field-normalized indicator calculated with different approaches of field-categorization: Are the scores different or similar?
字段标准化引文评分的使用是一种文献计量学标准。使用不同的字段规范化方法,但字段分类系统的选择也决定了最终的字段规范化引用分数。使用Web of Science数据,我们使用相同的公式但不同的字段分类系统来计算字段标准化引用分数,以回答所得分数是否不同或相似的问题。使用了六个字段分类系统:三个基于引用关系,一个基于语义相似性得分(即,主题相关性测量),一个关于期刊集,一个关于智力分类。基于期刊集和知识分类的系统至少在中等水平上达成一致。基于引用关系的三个集合中有两个也同意至少中等水平。基于引文关系和语义相似性得分,第三组数据存在较大差异。主要的政策含义是,在没有更深入地了解用于得出这些值或排名的分类系统的情况下,不应比较标准化的引用影响力分数或基于它们的排名。
Should children follow their parents' research paths? Intergenerational research continuity and divergence in academic families
School of Information, Journalism and Communication, University of Sheffield(谢菲尔德大学信息、新闻与传播学院);School of Information Resource Management, Renmin University of China(中国人民大学信息资源管理学院);Centre for Science and Technology Studies (CWTS), Leiden University(莱顿大学科学与技术研究中心)