Scientific publications significantly impact academic-related decisions in computer science, where top-tier conferences are particularly influential. However, efforts required to produce a publication differ drastically across various subfields. While existing citation-based studies compare venues within areas, cross-area comparisons remain challenging due to differing publication volumes and citation practices.
To address this gap, we introduce the concept of ICLR points, defined as the average effort required to produce one publication at top-tier machine learning conferences such as ICLR, ICML, and NeurIPS. Leveraging comprehensive publication data from DBLP (2019--2023) and faculty information from CSRankings, we quantitatively measure and compare the average publication effort across 27 computer science sub-areas. Our analysis reveals significant differences in average publication effort, validating anecdotal perceptions: systems conferences generally require more effort per publication than AI conferences.
We further demonstrate the utility of the ICLR points metric by evaluating publication records of universities, current faculties and recent faculty candidates. Our findings highlight how using this metric enables more meaningful cross-area comparisons in academic evaluation processes. Lastly, we discuss the metric's limitations and caution against its misuse, emphasizing the necessity of holistic assessment criteria beyond publication metrics alone.
How do academic topics shift across altmetric sources? A case study of the research area of Big Data
以大数据研究领域为例,我们提出了一种方法来探索学术话题如何通过不同的altmetric源之间的互动转移。使用的数据来自Web of Science(WoS)和Altmetric.com,重点关注博客,新闻,政策,维基百科和Twitter。从出版物中提取作者关键字和在线事件中的术语,作为出版物的主要主题和Altmetric受众的在线讨论。采用不同的措施来确定出版物作者提出的主题与在线受众提出的主题之间的相似性。结果表明,总体而言,围绕大数据科学研究的两组主题之间存在实质性差异。主要的例外是Twitter,其中推文中的高频标签与出版物中的作者关键字有更强的一致性。在在线社区中,博客和新闻在常用术语方面表现出很强的相似性,而政策文档和维基百科文章在考虑和解释大数据相关研究方面表现出最强的差异。具体而言,受众不仅关注与社会或一般问题相关的更容易理解的学术话题,而且还将其扩展到更广泛的在线讨论主题。本研究为进一步探讨网络受众在跨渠道学术话题转化中的作用以及网络社区对学术内容的关注和接受程度奠定了基础。
GV-Index:Scientific Contribution Rating Index That Takes into Account the Growth Degree of Research Area and Variance Values of the Publication Year of Cited Paper
Bibliometric Patterns and Concept Evolution Trajectories in research publications in Future Generation Computer Systems
未来一代计算机系统(FGCS),由爱思唯尔出版,是一个著名的同行评审期刊,始于1984年。截至本文撰写之日,该杂志已出版第137卷。由于其出版质量和持续的学术标准,它已被主要的学术数据库索引,如Web of Science,Scopus,DOAJ等,它现在是计算机科学(通用)领域的顶级期刊之一。基于该刊的悠久历史、学术声誉和声望,本文对该刊1984-2020年(37年)的载文进行了文献计量学和文本分析。文献计量分析有助于确定出版和引用模式,作者和合作结构,已发表研究的资助模式,开放获取和altmetric影响,性别分布和可持续发展目标的连接等。文本集成路径分析有助于确定主题结构和主要概念演变轨迹。分析结果表明,FGCS期刊是一份高质量的研究期刊,在出版物、引用和排名方面都随着时间的推移而增长。它在特定的主题领域发布文章,云,网格,物联网,区块链等作为主要主题。从云计算到多域网络的知识扩展是显而易见的,并且向服务功能链、分布式机器学习和边缘计算系统的发散是可见的。因此,这篇文章提出了非常翔实和有用的见解研究出版物的趋势FGCS。
Bibliometric analysis of world scientific production in Chemical Engineering during 2000-2011. Part 1: Analysis of total scientific production
通过对2000-2011年Web of Science收录的化学工程领域的科研成果进行分析,对化学工程领域的文献进行了全面的计量分析。已经进行了三项补充研究。第一部分分析了该地区的科学生产总量。科学生产向远东转移的重要性已经发生,主要是来自中国(自2008年以来世界上最多产的国家)以及印度和伊朗等国家的出版物增加。尽管来自欧洲,尤其是北美的出版物所占的比例显著下降,但美国仍然是被引用最多的1,000篇文章中文章数量最多的国家(31.5%),其次是德国(8.4%)和中国(7.5%)。瑞士、意大利、荷兰、新加坡和西班牙是每篇文章和每年引用次数最多的国家,其出版物的平均影响因子也最高。该领域的国际合作相当高,特别是在欧洲国家(>40%的出版物是国际合作)。该地区的科学成果集中在少数期刊(前10名期刊出版约30%的出版物,前25名期刊约50%)和出版商(Elsevier,Wiley-Blackwell,Taylor & Francis和美国化学学会)。在100个最具生产力的国家中,机构数量最多的国家是中国和美国(各12个),其次是法国(9个)、日本(7个)和英国(7个)。排名前五的机构分别来自法国、中国、印度、美国和俄罗斯。
How to analyse percentile impact data meaningfully in bibliometrics: The statistical analysis of distributions, percentile rank classes and top-cited papers
The effect of the Indonesian higher education evaluation system on conference proceedings publications
印度尼西亚展示了一种独特的会议记录出版模式,有别于全球和区域规范。会议论文集现在是主要引文数据库的一个组成部分,本研究在学术职业发展和印度尼西亚政府政策的背景下研究了它们的逐步覆盖范围。Web of Science(WoS)、Scopus和Dimensions的分析结果显示,会议记录比例的增加远远超过全球标准,在任何其他东南亚国家都没有看到。在载有大多数印度尼西亚会议记录文件的会议系列中,最近印度尼西亚的代表人数有所增加,在印度尼西亚主办的会议比例也有所增加。2012年和2014年的地方政策文件和指导方针似乎鼓励学术界增加高影响力国际索引来源的研究产出,但没有对文件类型进行任何区分。结论表明,学者们可能已经找到了优势,通过发表会议论文,更快,更容易发表比期刊文章在学术界的层次推进。这项研究对研究评估领域的决策者很重要,因为它突出了被评估者学术出版行为的潜在变化。
A Double Bind: Gendered Funding, Research Topics, and Academic Performance in the Social Sciences
University of Edinburgh(爱丁堡大学);Edinburgh Futures Institute, University of Edinburgh(爱丁堡未来研究所);University of Cambridge(剑桥大学);Wuhan University(武汉大学);Renmin Hospital of Wuhan University(武汉大学人民医院);University of Münster(明斯特大学);University of York(约克大学);Polytechnic University of Milan(米兰理工大学);East China Normal University(华东师范大学);University of Reading(雷丁大学);City University of Macau(澳门城市大学)
How well does I3 perform for impact measurement compared to other bibliometric indicators? The convergent validity of several (field-normalized) indicators
How does undone science get funded? A bibliometric analysis linking rare diseases publications to national and European funding sources
未完成的科学辩论的一个显着特点是,新的利益集团的形成如何成为动员和支持未完成主题的新兴研究的关键。显然,金钱是最重要的媒介之一,通过它,不同类型的行为者可以支持和引导科学家研究尚未完成的课题。然而,哪些行为者在支持科学研究方面更明显,这是很少衡量的。这项研究深入探讨了罕见疾病研究背景下的研究资金,这一主题已从医学研究的边缘发展成为许多当代资助机构所阐述的优先领域。罕见疾病是指影响人群中相对较少的人的疾病。鉴于发病率低,利益集团已经明确表示,与更常见的疾病相比,医学研究缺乏关注。在科学研究文献中,罕见病在研究资助政策中的突出地位通常被解释为社会运动的有效游说。同样,创新的筹款计划、基础设施建设以及与研究团体的密切合作也是感兴趣的参与者寻求建立罕见疾病研究能力的其他手段。然而,迄今为止,还没有系统的经验证据来比较不同行为者在资助罕见疾病研究方面的相对重要性。基于对STS和科学政策研究中未完成科学的兴趣,我们的研究希望通过使用文献计量学工具,绘制出不同类型的资助参与者及其对罕见疾病领先科学研究的影响。我们正在开发的方法依赖于使用Web of Science数据库中提供的资金确认数据。