The formulation of national research policies would benefit greatly from reliable strategic analysis of the scientific infrastructure, aimed at identifying the relevant strengths and weaknesses at field level. Bibliometric methodologies thus far proposed in the literature are not completely satisfactory. This work proposes a novel "output-to-input-oriented" approach, which permits identification of research strengths and weaknesses on the basis of the ratios of top scientists and highly cited articles to research expenditures in each field. The proposed approach is applied to the Italian academic system. 2012-2016 scientific publications are analyzed, in the 218 research fields where bibliometric assessment is appropriate.
Assessing evaluation procedures for individual researchers: the case of the Italian National Scientific Qualification
意大利国家科学资格(英语:Italian National Scientific Qualification)是申请国立大学终身副教授或教授职位的先决条件。该证书旨在证明一个人已经达到了合适的科学成熟度水平,可以申请教授职位。为每个科学学科指定的五人小组负责通过影响和生产力的量化指标以及通过评估其研究概况来评估申请人。对评价标准的适当性,特别是对使用文献计量学评价个别研究人员的问题提出了许多关切。其他关切涉及到最后评价报告被认为质量不佳。在本文中,我们评估的应用方法的适当性,并提供给申请人的反馈质量的条件下的benefit。我们认为,在使用文献计量学指标评价个别研究人员的最佳做法是不完全符合的,此外,最终报告的质量有很大的差异,在各小组,建议采取措施,以防止草率的做法,在未来的研究。
Do open citations give insights on the qualitative peer-review evaluation in research assessments? An analysis of the Italian National Scientific Qualification
Tracing scientific mobility of Early Career Researchers in Spain and The Netherlands through their publications
国际科学流动被认为是传播知识的一个关键机制,特别是没有地理上的邻近和个人接触就无法转移的隐性或“粘性”知识,是将年轻研究人员纳入精英跨国科学网络的一个关键机制,也是获得对研究进程至关重要但位于其他地方的额外资源或基础设施的一个关键机制。学者和决策者一再指出,评估研究人员流动现象的适当数据不足和缺乏。本文提出了一个探索性的分析不同类型的研究人员根据他们的可追溯的流动性,使用科学的Web of Science(WoS)覆盖的科学出版物。我们比较了两个人口的研究人员,相同的“科学年龄”,总部设在西班牙和荷兰。我们观察到西班牙和荷兰的研究人员的流动性程度的差异。必须考虑到与两种国家制度不同的体制条件有关的因素。首先,西班牙和荷兰的大学和研究系统在许多方面都不同。第二,在两个系统中,对流动的体制激励可能非常不同。更复杂的文献计量学分析和比较与不同的“代”的研究人员,可能结合定性调查,将需要更好地了解研究流动性和研究生涯中的国家机构背景的作用和功能。
Spatial organisation of French research from the scholarly publication standpoint (1999-2017): Long-standing dynamics and policy-induced disorder
在社会进程中,长期趋势可能受到包括公共政策在内的各种因素的影响或破坏。当公共政策依赖于对其所针对领域趋势的歪曲时,它们就会变得随意和具有破坏性,这可以被解释为混乱的根源。在这里,我们考虑法国高等教育和研究系统的空间组织的政策,这反映了当局的假设,科学卓越是少数几个大城市群的特权。通过对1999年至2017年期间Web of Science数据库中列出的所有法国出版物进行地理识别,我们强调了一种空间分散趋势,近年来由于教师队伍的冻结增长而放缓。然而,这种分散化继续维持着中小城镇科学生产的增长。对大都市的审查显示,一些地点的相对衰落,但这些地点却被强调为卓越政策的典范(斯特拉斯堡等)。那里的学生和教职员工数量有所减少,这是科学产出相对下降的一个合理解释。我们表明,一个给定的网站的出版物输出直接和强烈地依赖于那里托管的研究人员的数量。根据法国一级的精确数据,我们的结果证实了世界范围内已知的情况。总之,我们质疑与评估不佳的趋势相一致的政策所造成的混乱程度。
The VQR, Italy's second national research assessment: Methodological failures and ranking distortions
2013年7月完成的2004-2010年VQR是意大利的第二次国家研究评估活动。VQR性能评估遵循了其他国家的模式,即基于选定的产品子集。在这项工作中,我们确定了这项工作的方法上的弱点,并衡量他们在大学绩效排名中造成的扭曲。首先,我们创建一个场景,在这个场景中,我们假设有效的选择的产品提交的大学,并从这个模拟一组排名应用精确的VQR评级标准。接下来,我们比较这些“VQR排名”与那些将来自更适当的文献计量学的应用。最后,我们将比较扩展到基于该时期整个科学生产的大学排名,如在Web of Science中索引的那样。
Refrain from adopting the combination of citation and journal metrics to grade publications, as used in the Italian national research assessment exercise (VQR 2011-2014)
Team assembly mechanisms and the knowledge produced in the Mexico's National Institute of Geriatrics: a network analysis and agent-based modelling approach
What Large-Scale Publication and Citation Data Tell Us About International Research Collaboration in Europe: Changing National Patterns in Global Contexts
Evolution of funding for collaborative health research towards higher-level patient-oriented research. A comparison of the European Union Framework Programmes to the program funding by the United States National Institutes of Health
KU Leuven(荷语鲁汶大学);National Autonomous University of Mexico (UNAM)(墨西哥国立自治大学)
How does undone science get funded? A bibliometric analysis linking rare diseases publications to national and European funding sources
未完成的科学辩论的一个显着特点是,新的利益集团的形成如何成为动员和支持未完成主题的新兴研究的关键。显然,金钱是最重要的媒介之一,通过它,不同类型的行为者可以支持和引导科学家研究尚未完成的课题。然而,哪些行为者在支持科学研究方面更明显,这是很少衡量的。这项研究深入探讨了罕见疾病研究背景下的研究资金,这一主题已从医学研究的边缘发展成为许多当代资助机构所阐述的优先领域。罕见疾病是指影响人群中相对较少的人的疾病。鉴于发病率低,利益集团已经明确表示,与更常见的疾病相比,医学研究缺乏关注。在科学研究文献中,罕见病在研究资助政策中的突出地位通常被解释为社会运动的有效游说。同样,创新的筹款计划、基础设施建设以及与研究团体的密切合作也是感兴趣的参与者寻求建立罕见疾病研究能力的其他手段。然而,迄今为止,还没有系统的经验证据来比较不同行为者在资助罕见疾病研究方面的相对重要性。基于对STS和科学政策研究中未完成科学的兴趣,我们的研究希望通过使用文献计量学工具,绘制出不同类型的资助参与者及其对罕见疾病领先科学研究的影响。我们正在开发的方法依赖于使用Web of Science数据库中提供的资金确认数据。
China leads scientific trends; the West launches new ones
University of California, Berkeley(加州大学伯克利分校);Knowledge Lab, University of Chicago(芝加哥大学知识实验室);School of Computing, DePaul University(德保罗大学计算学院);Department of Sociology, University of Chicago(芝加哥大学社会学系);Santa Fe Institute(圣塔菲研究所)