A lot of scientific works are published in different areas of science, technology, engineering and mathematics. It is not easy, even for experts, to judge the quality of authors, papers and venues (conferences and journals). An objective measure to assign scores to these entities and to rank them is very useful. Although, several metrics and indexes have been proposed earlier, they suffer from various problems. In this paper, we propose a graph-based analytics framework to assign scores and to rank authors, papers and venues. Our algorithm considers only the link structures of the underlying graphs. It does not take into account other aspects, such as the associated texts and the reputation of these entities. In the limit of large number of iterations, the solution of the iterative equations gives the unique entity scores. This framework can be easily extended to other interdependent networks.
进入新兴研究领域的研究人员或学生特别感兴趣的是,哪些新发表的论文将被引用最多,哪些年轻的研究人员将在未来成为有影响力的研究人员,以便他们能够抓住最新的进展并找到有价值的研究方向。然而,由于文献网络的动态性和不断变化的研究主题,预测科学文章和作者的未来重要性具有挑战性。与以往大多数文献和作者的重要性排序不同,我们将重点放在\emph{ranking the future popularity of new publications and young researchers}上,提出了一个统一的排序模型来结合各种可用信息。具体来说,我们首先提出了两种文本特征,词和词的共现来表征创新论文和作者。然后,而不是使用静态和未加权的图,我们构造时间感知的加权图,以区分在不同的时间建立的链接的各种重要性。最后,通过利用构建的文本特征和图形,我们提出了一个相互加强的排名框架称为\emph{MRFRank}的论文和作者的未来重要性同时排名。在ArnetMiner数据集上的实验结果表明,该方法在度量\emph{recommendation intensity}上的性能明显优于基线。
The ICML 2023 Ranking Experiment: Examining Author Self-Assessment in ML/AI Peer Review
University of Pennsylvania(宾夕法尼亚大学);Massachusetts Institute of Technology(麻省理工学院);University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);New York University(纽约大学);Princeton University(普林斯顿大学)
Impact of h-index on authors ranking: A comparative analysis of Scopus and WoS
在学术界,教师的研究表现是通过出版物的数量或引用的数量来评估的。大多数时候,h指数在招聘过程或教师性能评估中被广泛使用。h指数的计算在各种数据库中显示;然而,没有关于它们之间差异的最新或系统性证据。在这项研究中,我们比较了与Scopus和Web of Science(WoS)编制的h指数的差异,目的是分析一所大学内的作者排名。我们分析了来自莫纳什大学(澳大利亚)的350名作者的出版记录。我们还调查了学科明智的变化,在作者的排名。31%的作者个人资料在两个数据集中没有变化,而55%的作者个人资料在Scopus中显示出更高的计数,在WoS中显示出9%。Scopus和WoS之间h指数计数的最大差异为3。平均每位作者12.4%的出版物在Scopus中是唯一的,在WoS中是4.1%。53.5%的出版物在Scopus和WoS中都很常见。尽管Scopus中有较大的独特出版物,但WoS和Scopus引用计数和h指数之间的斯皮尔曼相关系数没有差异。
Rejoinder: The ICML 2023 Ranking Experiment: Examining Author Self-Assessment in ML/AI Peer Review
University of Pennsylvania(宾夕法尼亚大学);University of Wisconsin–Madison(威斯康星大学麦迪逊分校);University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);New York University(纽约大学);Princeton University(普林斯顿大学);Associate Chair of ICML 2023(ICML 2023 associate chair);Program Chair of ICML 2023(ICML 2023 program chair)
信息量稳步增长,例如每年出版的科学论文,已经变得如此之大,以至于无法进行广泛的人工分析。因此,为了保持概览,用于知识域的映射和可视化的自动化方法是必要和重要的,例如,为科学决策者。在这一领域特别感兴趣的是不同实体的研究主题的发展(例如,科学作者和场地)。然而,现有的方法,他们的分析只适合于单一的实体类型,如场馆,他们往往不捕捉的研究主题或时间维度在一个容易解释的方式。因此,我们提出了一个原则性的方法\emph{mapping research trajectories},这是适用于所有类型的科学实体,可以表示为已发表的论文集。为此,我们从地理可视化领域,特别是轨迹地图和交互式地理地图的思想和原则。我们的可视化描述了随着时间的推移,在一个简单的interpr实体的研究课题。方式它们可以由用户直观地导航,并限于感兴趣的特定元素。这些地图来自研究出版物的语料库(即,标题和摘要)通过无监督机器学习方法的组合。在一个实际的演示应用中,我们将所提出的方法应用于机器学习的出版物语料库。我们观察到,我们对该领域30个顶级机器学习场所和1000名主要作者的轨迹可视化是可以很好地解释的,并且与从实体出版物中提取的背景知识一致。除了生产互动,interpr。可视化支持不同类型的分析,我们计算的轨迹适合未来的轨迹挖掘应用。
How to Find Fantastic AI Papers: Self-Rankings as a Powerful Predictor of Scientific Impact Beyond Peer Review
University of Pennsylvania(宾夕法尼亚大学);Yale University(耶鲁大学);University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);New York University(纽约大学);Princeton University(普林斯顿大学)
Ranking journals: Could Google Scholar Metrics be an alternative to Journal Citation Reports and Scimago Journal Rank?
Google Scholar作为评估科学期刊的工具的推出可能会对汤森路透期刊引用报告和Scopus驱动的Scimago期刊排名构成严重竞争。这些文献计量学期刊评价产品进行审查。我们从不同的方法比较它们的主要特征:覆盖范围,索引政策,搜索和可视化,文献计量指标,结果分析选项,经济成本和它们的期刊排名的差异。尽管存在缺点,但Google Scholar搜索引擎是作者和编辑识别核心期刊的有用工具。作为一种越来越有用的科学期刊排名工具,它也可能挑战老牌期刊产品