Open data to evaluate academic researchers: an experiment with the Italian Scientific Habilitation
对学术开放数据的需求正在不断增加。虽然有大量的开放获取文章和免费出版物索引,但仍然有一些免费引文网络的例子,它们的覆盖面是部分的。结果之一是,大多数基于引用计数的评估过程依赖于商业引用数据库。在开放引用倡议(I4OC)的压力下,情况正在发生变化,该倡议的目标是为学术出版商发起运动,使他们的引用完全开放。本文研究了开放引用的增长与实验上的意大利科学的阻碍,大学教授资格,而不是使用商业索引的数据的国家进程。我们仅使用公开数据模拟了这一过程,并探讨了与官方结果的异同。实验结果表明,目前可用的开放引用数据量还不足以获得类似的结果。
2019-02-08 cs.DL
Freshness and Informativity Weighted Cognitive Extent and Its Correlation with Cumulative Citation Count
本文提出新鲜度与信息量加权的认知广度(FICE),通过生命周期比率和信息量两个加权因子改进认知广度指标,并在 ACL Anthology 上验证其与累积引用次数的强相关性。
2024-12-28 cs.DL cs.IR
Screening articles by citation reputation
提出声誉引文(RC)方法,通过解耦流行度与影响力筛选论文,区分高被引与高影响力研究,揭示被引动机偏差,为自动化识别杰出研究及遏制操纵行为提供新途径。
2025-02-09 cs.DL
All downhill from the PhD? The typical impact trajectory of US academic careers
在学术界,成熟的研究人员往往更资深,但他们也倾向于写更高影响力的文章吗?本文评估了长期发表(16年以上)的美国(US)研究人员,并将其与短期发表研究人员(1年,6年或10年)进行了对比。一位长期的美国研究人员在2001年发表了第一篇Scopus索引的期刊文章,在2016-2019年发表了一篇文章,在他们的第一篇和最后一篇文章中有美国的主要附属机构。排除了大型团队(11名以上作者)的研究人员。长期和短期美国研究人员期刊文章的平均领域和年度标准化引用影响相对于全国平均水平随着时间的推移而下降,尤其是最后发表的文章,这可能至少部分是由于自引的下降。在许多情况下,研究人员开始发表高于美国平均水平的引文影响力研究,最后发表低于美国平均水平的引文影响力研究。因此,研究经理不应该认为高级研究人员通常会撰写影响最大的论文。
2020-05-23 cs.DL
CIDS country rankings: comparing documents and citations of USA, UK and China top researchers
本技术报告对来自美国、英国和中国的前30位被引用研究人员进行了文献计量分析。该分析基于使用CIDS的Google Scholar数据。研究人员的电子邮件后缀是edu,uk和cn。这种简单的方法能够以完全自动化的方式使用最小资源产生与SCImago国家排名一致的排名。
2013-10-25 cs.DL cs.IR
Citation Counts and Evaluation of Researchers in the Internet Age
从引文计数中得出的文献计量方法越来越多地被用作研究评价工具。它们的优点和缺点在文献中得到了广泛的分析,经常是激烈辩论的主题。我们认为,有一些与网络影响有关的基本问题没有得到应有的重视。我们关注的是对研究人员的评价,但我们的一些论点也可以应用于对研究机构以及期刊和会议的评价。
2013-08-07 cs.CY cs.DL
Citation gaming induced by bibliometric evaluation: a country-level comparative analysis
几年前,全球各国的研究评价系统开始使用量化指标来衡量研究人员的业绩。然而,这些系统对被评估研究人员行为的影响在很大程度上仍然是未知的。我们试图阐明这一主题,通过调查意大利研究人员如何对2011年引入的国家法规做出反应,其中专业生涯的关键段落由文献计量指标管理。一种新的内在性衡量标准,能够衡量一个国家的科学自我指涉程度,被定义为来自该国本身的引文与该国收集的引文总数的比例。与2000-2016年期间其他G10国家的趋势相比,意大利的内向性在引入新的评估规则后显示出净增长。事实上,在全球范围内,以及在大多数研究领域,意大利成为欧洲国家最高的内在性。可能的解释提出和讨论,得出的结论是,所观察到的趋势是强烈暗示的一个广义的战略使用的引用,无论是在形式的作者自引和引用俱乐部。我们认为,意大利的情况下提供了至关重要的见解的评价系统的构成效果。因此,它可以成为关于在科学政策背景下使用指标的辩论中的典型案例。
2019-04-09 cs.DL
Author-level metrics in the new academic profile platforms: The online behaviour of the Bibliometrics community
新的基于网络的学术交流平台不仅使研究人员能够更好地宣传他们的学术成果,使其比以往任何时候都更加引人注目,而且还提供了广泛的指标,以帮助作者更好地了解他们的工作正在产生的影响。这项研究有三个目标:a)分析特定科学界(文献计量学,科学计量学,信息计量学,网络计量学和altmetrics)对一些最流行的平台(Google Scholar Citations,ResearcherID,ResearchGate,Mendeley和Twitter)的吸收; b)比较每个平台可用的指标; c)确定所有这些新指标的含义。为了做到这一点,我们提取了这些平台中关于811位作者(文献计量学研究人员,他们的公开资料在谷歌学术引文中被发现)的样本数据。共分析了31个指标。结果显示,大量被分析的研究人员仅在Google Scholar Citations(159)或仅在Google Scholar Citations和ResearchGate(142)中有个人资料。最后,我们发现了两种在线影响的度量。首先,与连接性(追随者)相关的指标,其次,与学术影响力相关的所有指标。这第二组可以进一步分为使用指标(读取,查看)和引用指标。结果表明,Google Scholar Citations是提供更全面的引文相关数据的来源,而Twitter在连接性相关指标方面表现突出。
2018-04-16 cs.DL
Citation histories of papers: sometimes the rich get richer, sometimes they don't
我们描述了一个简单的模型,如何出版物的引用随着时间的推移而变化,基于纯出生的随机过程与线性累积优势效应。该模型被应用到引用数据从物理评论语料库提供的APS。我们的模型显示,论文分为三个不同的集群:具有快速初始引用和最终高影响力的论文(快速-hi),快速上升但快速达到平台(快速-平坦),或晚开花(缓慢-晚),这些论文可能从未获得过很多引用,或者在出版后多年。在“快-高”和“慢-晚”中,存在一种富-更富效应:有很多引用的论文更快地积累额外的引用,而“快-平”论文则没有显示这种效应。我们的结论表明,只需要几年的出版后的统计数据,以确定高影响力(“快喜”)的论文。
2017-03-14 cs.DL
Categorizing Influential Authors Using Penalty Areas
h指数的概念已经被提出来,以方便地评估一个研究人员的性能与一个单一的二维数字。然而,通过仅使用这个单一的数字,我们丢失了关于作者出版物列表中每篇文章的引用数量分布的重要信息。具有相同h指数的两个作者可能具有完全不同的每篇文章被引次数分布。一个人可能在引用曲线上有一个很长的“尾巴”,也就是说,他可能发表了大量的文章,但没有得到相对较多的引用。另一位研究者可能有一个短尾巴,即他几乎所有的出版物都得到了相对大量的引用。在这篇文章中,我们研究了作者的引文曲线,并定义了出现在这条曲线上的一些区域。这些领域用于从定量和定性的角度进一步评估作者的研究绩效。我们称这些区域为“惩罚”区域,因为它们越大,作者的表现就越受惩罚。此外,我们使用这些领域来建立新的指标,旨在将研究人员分为两个不同的类别:“有影响力的”与“大规模生产者”。
2013-09-01 cs.DL
Evaluating research and researchers by the journal impact factor: is it better than coin flipping?
期刊影响因子(JIF)是根据特定公式计算的期刊上发表的论文被引用次数的平均值;它被广泛用于评估研究和研究人员。该方法假设期刊上的所有论文都具有相同的科学价值,这是由出版期刊的JIF来衡量的。这意味着引用的数量衡量科学价值,但JIF并不根据引用的数量来评估每篇论文。因此,在两篇论文的比较评估中,使用JIF意味着失败的风险,当JIF较低的期刊中的一篇论文与JIF较高的期刊中引用较少的另一篇论文进行比较时,就会发生这种情况。为了量化这种失败的风险,本研究利用引文的对数正态分布来计算失败概率。在JIF相差十倍的两种期刊中,失败概率很低。然而,在大多数情况下,当两篇论文进行比较时,期刊的JIF并没有那么不同。那么,失效概率可以接近0.5,这相当于通过抛硬币来评估。
2019-01-29 cs.DL
Dr. Strangelove or: how I learned to stop worrying and love the citations
引文在研究人员的职业生涯中越来越重要。但如何以最好的方式使用它们呢?这是一篇讽刺性的论文,显示了由于大量使用引用指标,目前在引用趋势中发生的不良趋势。我要把这个放到ArXiv和Researchgate上。如果你有兴趣在你担任编辑的期刊上发表这篇论文,请告诉我。
2020-02-21 cs.DL
Predicting Citation Counts with a Neural Network
我们在这里描述和介绍一个简单的神经网络,预测个人研究人员的未来引用计数的基础上,从研究人员的过去的各种数据的结果。对于可在开放获取-服务器arXiv.org上获得的出版物,我们发现比以前的研究更高的可预测性。
2018-06-18 cs.DL cs.NE
Does Monetary Support Increase Citation Impact of Scholarly Papers?
一个国家科学发展的主要指标之一是在高影响力的学术期刊上发表的论文数量。许多国家引入了基于绩效的研究资助制度,以创造一个更具竞争力的环境,多产的研究人员可以获得补贴,以提高论文的数量和质量。然而,补贴并不总是作为提高学术论文引用影响力的杠杆。本文调查了土耳其出版支持系统(TR)对土耳其研究人员撰写的论文的引用影响的影响。基于4,521篇TR-寻址论文的分层概率样本,比较引用次数,以确定支持论文是否比不支持的论文被引用更频繁,以及它们是否发表在期刊影响因子,文章影响力得分和四分位数方面具有相对较高的引用影响力的期刊上。支持和不支持的论文每篇论文的引用次数相当,并且发表在具有相似引用影响值的期刊上。研究结果表明,补贴似乎并不是一个有效的激励措施,以提高学术论文的质量。因此,应重新考虑此类支助方案。
2019-09-22 cs.DL
A novel method for depicting academic disciplines through Google Scholar Citations: The case of Bibliometrics
本文描述了一个基于Google Scholar Citations(GSC)中可用信息生成特定科学界结构及其输出的快照的过程。我们称这种方法为MADAP(通过学术概况进行多方面分析)。在文献计量学、科学计量学、信息计量学、网络计量学和Altmetrics工作的国际研究人员社区被选为案例研究。根据GSC,这些作者引用最多的前1,000篇文献的记录是手动处理的,以填补任何缺失的信息,并删除重复的字段,如期刊标题和图书出版商。结果表明,它是可行的,使用GSC和MADAP方法,以产生一个准确的描述社区的研究人员在文献计量学工作(包括专家和偶尔的研究人员)和他们的出版习惯(主要出版场所,如期刊和图书出版商)。此外,Google Scholar的广泛文献覆盖范围(特别是书籍和书籍章节)使对特定学科中发表的文献的分析比以前的其他引文索引更全面,最终揭示了迄今为止大多数引文分析中的盲点。
2018-04-27 cs.DL
Power-law distributions, the h-index, and Google Scholar (GS) citations: a test of their relationship with economics Nobelists
本文证明了Google Scholar(GS)可以构建与评价研究人员作品相关的文献集。诺贝尔经济学奖获得者是被分析的研究人员,对他们的作品进行了两种类型的GS引用测试:分布和语义。分布测试发现,GS引用获奖者的作品符合幂律模型,其渐近线或“尾部”与他们的h指数相连,划分了他们的核心作品,验证了GS和h指数。语义测试显示,他们的作品在GS引用最高的主题,他们被授予该奖项。
2014-11-04 cs.DL
International Migration in Academia and Citation Performance: An Analysis of German-Affiliated Researchers by Gender and Discipline Using Scopus Publications 1996-2020
德国已成为欧洲主要的移民国家和研究强国。由于德国在研究和开发方面的支出占GDP的比例高于大多数发达经济体,因此人们期望德国能够吸引和留住具有高引用绩效的国际学者。我们使用超过800万份Scopus出版物的详尽资料,分析了过去24年来发表的研究人员中进出德国的国际移民趋势。我们评估了在1996-2020年期间的某个时候发表过德国附属地址的100多万研究人员的机构附属关系的变化。我们发现,虽然德国已经高度融入全球研究人员的运动,特别是与美国,英国和瑞士的联系,该国一直在发送更多的研究人员发表在国外比它吸引。虽然随着时间的推移,这种平衡基本上是负数,但按性别、引用情况和研究领域分列的分析表明,移民流动的构成差异可能有助于缓解某些领域持续存在的性别不平等。
2021-04-27 cs.CY cs.DL
The Distribution of the Asymptotic Number of Citations to Sets of Publications by a Researcher or From an Academic Department Are Consistent With a Discrete Lognormal Model
如何量化研究人员或机构工作的影响,对科学家、资助机构和招聘委员会来说越来越重要。文献计量指标,如h指数或期刊影响因子,尽管有其已知的局限性,但已得到广泛使用。我们认为,大多数现有的文献计量指标是不一致的,有偏见的,最糟糕的是,易受操纵。在这里,我们追求一个原则性的方法来制定一个指标,以量化的科学影响,个人研究人员和研究机构的基础上的函数形式的渐近数量的引文分布。我们使用来自7个科学和工程学科的1,283名研究人员以及106个美国研究机构的化学系的出版记录来验证我们的方法,这些研究机构被归类为“非常高的研究活动”。我们的方法有三个明显的优势。首先,它准确地捕捉了研究人员在所有职业阶段的整体科学影响力,通过渐近引用计数来衡量。第二,与其他指标不同,我们的指标是抗操纵的,并奖励出版质量超过数量。第三,我们的方法捕捉了研究机构的科学影响的时间演变。
2015-11-02 cs.DL physics.soc-ph
Does it Matter Which Citation Tool is Used to Compare the h-index of a Group of Highly Cited Researchers?
由引文索引(Scopus,Google Scholar和Web of Science)检索的h指数用于衡量科学家的科学表现和研究影响力研究,基于科学家的出版物和引文数量。它也很容易获得,可用于科学家的业绩衡量和招聘决定。本研究的目的是调查这三个引文数据库,即Scopus,Google Scholar和Web of Science基于一组高被引研究人员(诺贝尔奖获得者科学家)的h指数的输出和结果之间的差异。本研究采立意抽样方法收集资料。结果表明,Scopus、Google scholar和Web of Science 3个数据库的h指数存在显著性差异,其中Google scholar h指数大于其他2个数据库的h指数。研究还表明,基于Google Scholar和Scopus的h指数之间存在显著的正相关关系。Scopus、Google Scholar和Web of Science的引文索引对科学家h指数的评价有一定的参考价值,但也存在一定的局限性。
2013-06-04 cs.DL physics.soc-ph
The negative effects of citing with a national orientation in terms of recognition: national and international citations in natural-sciences papers from Germany, the Netherlands, and the UK
国家可以根据是否引用国内或国际研究来区分。我们分析了三个主要的欧洲研究经济体(德国,荷兰和英国)在自然科学方面的研究成果,并询问他们的研究人员在哪里寻找支撑他们最高引用论文的知识。是面向国际还是仅限于国内资源?引用模式是否反映了国内和国际研究企业之间日益增长的差异?为了评估随着时间的推移而发生的变化,我们纳入了2004年、2009年和2014年三个出版年份在这些国家发表的自然科学论文。研究结果显示,由德国或荷兰的研究人员共同撰写的文章,如果也引用“国内”研究(即由同一国家的作者撰写的研究),则不太可能成为全球最高引用的文章。换句话说,被引用次数较少的研究更有可能站在国内的肩膀上,而被引用次数更多的研究更有可能站在国际的肩膀上。造成这一结果的一个可能原因是研究人员“过度引用”了他们自己国家的论文--缺乏对引用质量的关注。然而,国内和国际肩膀之间的这些差异对英国来说是不可见的。
2018-07-26 cs.DL
How to evaluate individual researchers working in the natural and life sciences meaningfully? A proposal of methods based on percentiles of citations
虽然文献计量学作为一个独立的研究领域已经有很多年了,但是文献计量学分析在应用于研究者个体的方式上仍然没有统一的标准。因此,本研究的目的是建立建议如何评估个人研究人员在自然科学和生命科学工作。2005年引入了h指数,该指数以一个数字提供关于研究人员的生产力及其出版物影响的信息(h是至少有h次引用的出版物数量);然而,不可能涵盖研究业绩的多层面复杂性,也不可能用这个数字进行人际比较。因此,这项研究包括一套指标的建议,用于评估研究人员。我们的建议涉及选择评价所依据的数据、分析数据和提出结果。
2013-10-14 cs.DL physics.soc-ph stat.AP
Characterisation of the $χ$-index and the $rec$-index
文献计量索引的公理化特征提供了对索引满足的属性的洞察,并有助于不同索引的比较。最近已经提出了$h$索引的几何推广,称为$χ$索引,以解决$h$索引的一些问题,特别是它不是尺度不变的事实,即,将每一出版物的引用次数乘以一个正常数可能会改变两个研究人员的相对排名。$h$ -指数的平方是研究人员引用曲线下最大正方形的面积,而$χ$ -指数的平方,我们称之为$rec$ -指数(或{ \em rectangle}-指数),是引用曲线下最大矩形的面积。我们在这里的主要贡献是通过三个属性:{ \em单调性},{ \em均匀引用}和{ \em均匀等价}来提供$rec$指数的特征。单调性是我们期望任何文献计量学索引都能满足的一个自然属性,而另外两个属性则将$rec$ -索引的值限制为引文曲线下最大矩形的面积。$rec$ -索引还使我们能够区分{ \em有影响力}的研究人员,他们的出版物相对较少,但被引用率较高,以及{ \em多产}的研究人员,他们的出版物很多,但被引用率较低。
2019-06-24 cs.DL
Self-citation Analysis using Sentence Embeddings
引文索引和指标的目的是衡量研究人员、期刊和机构的科学创新和质量。然而,这些指标往往容易被作者、审稿人、编辑或期刊诱导的过度和不道德的自我引用所滥用和操纵。确定自我引用是否有正当理由通常是在审查过程中确定的,在审查过程中,参与部分可能有内在的动机,使自我引用的合法性在出版后受到质疑。在本文中,我们进行了大规模的期刊自引分析,同时考虑到出版物和参考文献之间的相似性。具体来说,我们研究自1990年以来发表的PubMed Central文章,并使用句子嵌入计算文章参考对的相似性。我们研究期刊自引的目的是区分合理和不道德的自引。
2021-05-12 cs.DL
Predicting citation impact of research papers using GPT and other text embeddings
本研究结合自然语言处理与机器学习,利用GPT和TFIDF等文本嵌入技术处理ACS期刊论文摘要,通过随机森林算法预测论文引用影响力,在仅使用摘要文本的情况下实现了80%的预测准确率。
2024-07-29 cs.DL
Composing a Publication List for Individual Researcher Assessment by Merging Information from Different Sources
引文和出版物概况在优秀项目或职业晋升判断的拨款方面对顶级研究人员的评估越来越重要。标准化平均引用率(Normalized Mean Citation Rate)、hindex或其他区别性指标越来越多地被用来描绘单个学者的特征。众所周知,使用文献计量技术进行个人评估特别微妙,因为错误被平均的机会变得更小,而轻微的不完整性可能会对评估结果产生重大影响。因此,数据的质量对所用方法的合法性至关重要。
2013-07-25 cs.DL
The inconsistency of h-index: a mathematical analysis
引文分布是对数正态分布。我们使用30个对数正态分布的合成数字序列,模拟真实的一系列引文调查的一致性的h指数。使用对数正态累积分布函数,可以公式化定义h指数的方程;该方程表明h对论文数量(N)具有复杂的依赖性。我们还调查了h和超过各种引用阈值的论文数量之间的相关性,从5到500次引用。最好的相关性是100阈值,但许多数据点偏离了总趋势。与论文大小无关的指标h/N与发表论文超过任何引用阈值的概率无关。与h指数相反,总引用次数与超过10次和50次引用阈值的论文数量高度相关;平均引用次数与发表超过任何引用水平的论文的概率相关。因此,在综合系列中,引文数和平均引文数是比h和h/N更好的研究绩效指标。我们讨论,在真正的引文分布有其他困难。
2021-01-08 cs.DL
Biases in gendered citation practices: an exploratory study and some reflections on the Matthew and Matilda effects
针对不同学科中部分社会文化群体研究者被引偏少的问题,本文首次分析软件工程领域的性别化引用实践,发现该领域引用公平性仍需提升,建议在稿件中纳入引用多样性声明。
2024-11-27 cs.DL cs.SE
Citation Analysis with Microsoft Academic
我们将探讨微软学术(MA)是否以及如何用于文献计量分析。首先,我们研究学术知识API(AK API),一个访问MA数据的接口,并将其与Google Scholar(GS)进行比较。其次,我们通过对MA和Scopus的数据进行归一化,对研究人员进行了比较引文分析。我们发现,MA提供了结构化和丰富的元数据,这有利于数据检索,处理和加工。此外,AK API允许检索引用的频率分布。我们认为这些功能是MA优于GS的主要优势。然而,我们确定了四个主要的限制,可用的元数据。首先,MA不提供出版物的文档类型。其次,“研究领域”是动态的,过于具体,领域层次不连贯。第三,一些出版物被分配到不正确的年份。第四,一些出版物的元数据没有包括所有作者。尽管如此,我们表明,一个平均为基础的指标(即期刊标准化引用分数; JNCS)以及一个基于分布的指标(即百分位数排名类; PR类)可以使用MA相对容易地计算。因此,引用计数的标准化是可行的MA。MA和Scopus的引文分析得出了一致的结果。JNCS和PR类在两个数据库中相似,因此,MA和Scopus中对研究人员发表影响的评价是一致的。鉴于MA在过去一年中的快速发展,我们假设MA有潜力用于全面的文献计量分析。
2017-01-25 cs.DL
An Evaluation of Percentile Measures of Citation Impact, and a Proposal for Making Them Better
百分位数是指在给定的引用分布中,一篇论文的引用影响相对于其他论文的地位的统计数据。百分位数排名(PR)通常在评估学者,机构和研究路线的影响方面发挥重要作用。由于PR对于学术影响力的评估非常重要,并且由于引文实践在时间和领域之间存在很大差异,因此已经提出了各种百分位数方法来对引文进行时间和领域标准化。不幸的是,当前流行的方法通常在时间和字段标准化方面面临重大问题,包括当论文被分配到多个领域或由多个单位发表时(例如,研究人员或国家)。他们还面临着估计预定义PR的引用计数(CC)的问题(例如,第90集)。我们提供了一系列的指导方针和程序,我们认为,解决这些问题和其他人,并提供了一个优越的手段,使百分位数方法的使用更准确和信息。特别是,我们介绍了两种方法,CP-IN和CP-EX,在文献计量学研究中应该首选,因为他们认为完整的引文分布。这两种方法都是基于百分比(CP)的累积频率。本文进一步展示了条形图和波束图如何以更有意义和更准确的方式呈现PR。
2020-05-01 cs.DL
SCIRGC: Multi-Granularity Citation Recommendation and Citation Sentence Preference Alignment
Nanjing University of Posts and Telecommunications(南京邮电大学)
针对学术引文生成中意图识别与句子质量两大难题,本文提出SciRGC框架,结合引文网络与情感意图提升推荐准确性,并基于推理生成符合人类偏好的引文句子,实验验证其有效性。
2025-05-27 cs.CL cs.DL
To what extent is researchers' data-sharing motivated by formal mechanisms of recognition and credit?
研究人员的数据共享是开放科学原则和科学进步的核心。对于6019名研究人员的样本,我们分析了他们的数据共享的程度/频率。具体而言,与以下四个变量的关系:他们有多重视数据引用,他们的数据共享活动得到正式认可的程度,他们对数据共享是否获得足够的信贷的看法,以及数据引用激励他们的数据共享的程度。此外,我们还分析了研究人员重复使用可公开访问的数据的程度,以及数据共享如何因专业年龄组而异,以及它与他们对数据引用的价值的关系。此外,我们认为大多数的解释变量,同时估计一个多元线性回归,预测的程度/频率的数据共享。我们使用Springer Nature和Digital Science的2019年开放数据调查状态的数据集。结果确实让我们得出这样的结论,即对认可/信用的渴望是数据共享的主要动机。因此,在共享数据时,特别是在年轻的研究人员中,无论其使用频率如何,都高度重视接收数据引用的可能性。最后,数据共享的做法被发现是在后期的研究生涯阶段更普遍,尽管这是当引文不太重视,并有一个较低的动机影响。这可能是因为后期职业研究人员可能从保持数据隐私中获益较少。
2021-01-14 cs.DL stat.AP
A Measure of Research Taste
Intelligent Systems Lab, Intel(英特尔智能系统实验室)
研究人员经常通过基于引用的指标进行评估。这些指标可以为招聘、晋升和资金决策提供信息。有人担心,基于引用的流行指标会激励研究人员最大限度地增加出版物的产量。这种激励措施可能不是科学进步的最佳选择。在这里,我们提出了一个基于引用的措施,奖励生产力和品味:研究人员的能力,专注于有影响力的贡献。所提出的措施,CAP,平衡出版物的影响和数量,从而激励研究人员考虑是否出版物是一个有用的除了文献。CAP简单、可解释且无参数。我们分析了生物学,计算机科学,经济学和物理学的高被引研究人员的CAP特征,使用数百万出版物和每年时间粒度的数亿引用的语料库。CAP产生了定性的合理结果,并具有许多优于以前的指标。结果可在https://cap-measure.org/上查询
2021-05-17 cs.AI cs.DL
A bibliometric index based on the complete list of cited publications
我们提出了一个新的指数,$j$指数,这是定义为一个作者的引用次数的平方根的总和作者的出版物。$j$ -索引背后的想法是弥补$h$ -索引$-$的缺点,即$h$ -索引没有考虑研究人员的完整引用记录。平方根函数的动机是我们希望避免当作者有几篇非常高引用的论文时,简单求和可能出现的偏差。我们比较了$j$ -索引的$h$-索引,$g$ -索引和总引用计数的三个学科领域使用几种关联措施。我们的结果表明,$j$ -指数与其他指数之间的关联根据学科领域的不同而有所不同。这种变化的一种解释可能是由于研究人员的出版物在$h$核心中的引用比例。$j$ -索引是{ \em不是}一个$h$ -索引变体,因此旨在补充而不是取代$h$ -索引和其他文献计量指标,从而提供研究人员成就的更完整的画面。
2013-04-25 cs.DL
Modeling citation concentration through a mixture of Leimkuhler curves
本文针对标准Leimkuhler函数拟合信息计量数据精度不足的问题,提出将概率密度函数与异质性因子结合的新方法,引入PG和PIG混合分布并给出闭式表达式,实证表明混合模型优于基于Power和Pareto分布的基本模型。
2024-01-13 cs.DL stat.AP
Inequality and cumulative advantage in science careers: a case study of high-impact journals
通过对自然科学和社会科学领域最具竞争力的期刊发表的大量数据进行分析,我们发现,研究生涯呈现出个人成就的广泛分布,这是累积优势发挥关键作用的系统的特征。虽然大多数研究人员个人都意识到出版过程中隐含的竞争,但对研究人员个人层面的不平等程度知之甚少。我们分析了大量在高影响力期刊上发表文章的研究人员的生产力和影响力指标。对于每个研究者队列,我们计算了基尼不平等系数,总出版物的平均基尼值约为0.48,总引用量的平均基尼值约为0.73。从长远来看,这些观察值远远超过发展中国家个人收入的不平等程度。调查这种不平等的可能来源,我们确定了两个潜在的机制,在个人的水平上,可能发挥决定性作用的出现广泛的生产力和影响力分布在科学。首先,我们表明,研究人员在顶级期刊上连续发表论文的平均时间间隔随着随后的每次发表而减少。其次,在控制了引文分布的时间依赖性特征后,我们比较了研究人员的出版记录中后续出版物的引文影响。我们发现,随着研究人员继续在顶级期刊上发表文章,每次后续发表的相对引用影响力更有可能呈下降趋势。这种模式凸显了重复发表高影响力研究的困难,以及证实偏差在科学职业评估中发挥作用的有趣可能性。
2014-11-21 cs.DL physics.soc-ph
Weighted Impact Factor (WIF) for assessing the quality of scientific journals
影响因子是当今评价期刊的重要指标。在影响因子计算中,无论被引期刊的声誉如何,均采用期刊被引用的总次数,但被高影响因子期刊或高Hirsch指数研究人员引用的科学单位(论文、研究人员、期刊或科学组织)比被无影响因子期刊或未知研究人员引用的对象更重要。为了更准确地对期刊进行排序,本文提出了加权影响因子,它不仅考虑了被引期刊的数量,而且考虑了被引期刊的质量。分析了不同期刊评价指标之间的相关系数:Thomson Scientific的影响因子、不同研究者提供的加权影响因子、所有被引期刊影响因子的平均值和中位数以及5年影响因子。
2015-06-09 cs.DL
Counting publications and citations: Is more always better?
越多总是越好吗?我们在文献计量学指数的背景下解决这个问题,该指数旨在通过计算高被引出版物的数量来评估单个研究人员的科学影响。我们提出了一个简单的模型,在该模型中,出版物的引用数量不仅取决于出版物的科学影响,而且还取决于其他“随机”因素。我们的模型表明,更多并不总是更好。事实证明,最有影响力的研究人员在高被引出版物方面的表现可能比他们一些影响力较小的同事系统性地低。该模型还提出了一种改进的计算高引用出版物的方法。
2013-04-02 cs.DL physics.soc-ph
Socio-cognitive Networks between Researchers: Investigating Scientific Dualities with the Group-Oriented Relational Hyperevent Model
针对科学网络中研究者引用行为的认知与社会维度相互作用被忽视的问题,本文使用面向群体的关系超事件模型分析智利天文学家数据,揭示了合著网络结构对引用模式的影响,发现作者倾向近期研究且连贯合著群体更易被共同引用。
2025-04-15 cs.DL cs.SI physics.soc-ph
Central indexes to the citation distribution: A complement to the h-index
研究人员的引文分布显示了其作品的影响,并决定了其科学生涯的成功。然而,由于分布的二维特征,它在科学评价中的应用是困难的。最近提出了一些文献计量学指标,试图以数值综合这种分布的主要特征。与其他文献计量方法相比,分布尾部引起的偏差被h指数所减少。然而,该指数在区分不同发表习惯的研究者方面存在一些局限性。该指数惩罚选择性的研究人员,与大型生产者相比,他们以收到的大量引用而闻名。在这项工作中,两套原始的指标,中心区域指标和中心间隔指标,补充h指数,包括中心形状的引文分布,提出和比较。
2013-04-18 cs.DL physics.soc-ph stat.AP
COVID-19 publications: Database coverage, citations, readers, tweets, news, Facebook walls, Reddit posts
COVID-19大流行需要研究人员快速响应,以帮助解决生物、医学和公共卫生问题,将其影响降至最低。在这种快速发展的背景下,学者,专业人士和公众可能需要快速识别重要的新研究。作为回应,本文评估了2020年3月21日至4月18日期间学术数据库和影响指标的覆盖范围。结果证实了研究量的快速增长,特别是通过Google Scholar和Dimensions访问,而通过Scopus,Web of Science,PubMed访问较少。Dimensions的21,395篇COVID-19论文中有几篇已经被高度引用,并获得了大量新闻和社交媒体的关注。对于这个主题,与以前的研究相比,在社交网络上共享的文章和引用计数之间似乎有高度的一致性,至少在短期内是这样。特别是,在第一次被索引的当天被广泛转发的文章很可能在三周后被大量阅读和引用。需要广泛文献检索(而不是以健康为重点的PubMed或medRxiv检索)的研究人员应该从Google Scholar或Dimensions开始,并可以使用tweet和Mendeley读者计数作为可能重要性的指标。
2020-04-22 cs.DL
Self-citation and its impact on research evaluation: Literature review. Part I
本文对自引对科研评价影响的研究进行了综述。我们介绍了自引及其变体的广义定义:作者,机构,国家,期刊,学科,出版商自引。给出了基本自引测度的计算公式,即自引数和自引率。作者,机构,国家和期刊自引的世界文献进行了更详细的研究。目前的自引的作用和影响的观点进行了汇编和分析。研究发现:(1)自引过多是病态的,自引的缺失是病态的;(2)自引对大型科研单位的影响不大,但对个体研究者的分析可能是关键的;(c)文献计量学成绩低的单位自引的比例一般较高,而顶尖科学家,机构,期刊的大部分引用来自外部。本文还讨论了文献计量工具和数据库如何应对自引可能带来的操纵挑战,以及它们如何校正由它们计算的文献计量指标。本文的第一部分介绍了自引的基本术语和定义,以及讨论和研究最多的自引类型,即作者自引。该论文由RFBR资助,项目编号为20-111-50209
2021-09-19 cs.DL
Analyzing data citation practices using the Data Citation Index
我们提出了一个分析的数据引用实践的基础上,数据引用索引从汤森路透。该数据库于2012年启动,旨在将数据集和数据研究与从其他引文索引收到的引文联系起来。DCI从Web of Science索引的论文中收集研究数据的引用。它依赖于数据储存库提供的信息,因为在许多情况下,数据引用做法不一致或不存在。这项研究的结果表明,在大多数研究领域,数据引用的做法是远远不够的。研究人员引用数据的方式存在一些差异:在科学和工程以及技术领域,数据集被引用最多,而在社会科学和艺术以及人文科学领域,数据研究发挥了更大的作用。总共有88.1%的记录没有被引用,但一些存储库显示出非常低的未引用率。尽管数据引用在大多数领域都很少见,但它们在晶体学和基因组学等学科中得到了扩展。最后,我们强调DCI可以发挥的作用,鼓励一致的,标准化的研究数据的引用;一个角色,将提高其价值的一种手段,从数据汇集到出版的研究过程。
2015-05-19 cs.DL
Measuring the continuous research impact of a researcher: The Kz index
针对传统指标无法衡量研究人员持续贡献的局限,提出综合考虑出版物影响力和年龄的Kz指数,实验表明其能有效区分传统指标相同的研究人员并呈对数正态分布,有助于公平评估与决策。
2023-06-12 cs.DL
Cascading Citation Expansion
数字科学的维度被设想为下一代研究和发现平台,以更好,更有效地访问交叉引用的学术出版物,赠款,专利和临床试验。作为不断增长的开放引文资源的新补充,它提供了可能使研究人员,政策制定者和公众等科学出版物的各种利益相关者受益的机会。在这篇文章中,我们探索并展示了级联引用扩展方面的一些实际潜力。给定一组出版物,级联引用扩展过程可以连续地应用于一组文章,以便通过引用链接将覆盖范围扩展到越来越多的相关文章。虽然概念的起源可以追溯到加菲尔德的引文索引,但直到最近,它在很大程度上仍然局限于少数能够不受限制地访问引文数据库的人,这些引文数据库足够大,足以维持这种迭代扩展。基于Dimensions的开放API,我们在CiteSpace中集成了级联引用扩展功能,并演示了如何从这些新功能中受益。总之,级联引用扩展有可能提高我们对科学知识的结构和动态的理解。
2018-05-31 cs.DL
A tale of two databases: The use of Web of Science and Scopus in academic papers
Web of Science和Scopus是两个世界领先且相互竞争的引文数据库。本文利用扩展的科学引文索引和社会科学引文索引,对2004年至2018年发表的学术论文中Web of Science(WoS)和Scopus的使用情况进行了比较、动态和实证研究。这一简短的交流表明,尽管Web of Science和Scopus在学术论文中的使用越来越多,但Scopus作为一个新来者确实在挑战WoS的主导地位。越来越多的国家/地区和知识领域的研究人员参与使用这两个数据库。尽管相关论文的主要生产者是发达经济体,但一些发展中经济体,如中国,巴西和伊朗也发挥了重要作用,但在使用这两个数据库方面有不同的模式。这两个数据库都被广泛用于荟萃分析相关的研究,特别是在中国的研究人员。健康/医学相关领域和传统的信息科学和图书馆学领域在引文数据库的使用中脱颖而出。
2020-02-07 cs.DL
Billions at Stake: How Self-Citation Adjusted Metrics Can Transform Equitable Research Funding
本文提出自引调整指数SCAI以修正自引导致的引用膨胀,基于5000名研究者数据发现过度自引使传统指标膨胀10-20%,并可使性别引用差距缩小约8.5%,为更公平的研究资助评估提供开源工具。
2025-05-11 cs.DL
The false myth of the rise in self-citations, and the impressively positive effect of bibliometric evaluations on the increase of the impact of Italian research
最近,Baccini和合著者声称,由于ANVUR对个人、部门和大学的文献计量学评估,在意大利,过去十年中自引数量激增,从而增加了意大利研究的“内在性”,超过了国外。我们研究了2019年8月12日发表的10万名最“高被引”科学家的数据库,其中包括大约2000名意大利人,我们发现,与这一科学精英有关的自我引用问题在意大利并不显著,同时可能观察到排名中的低分有一个小偏差。因此,Baccini等人指出的影响似乎并不令科学精英担忧(我们将其量化为“最好的”10万科学家中的2%),并且可能主要集中在更少被引用的科学家身上。像ANVUR这样的评估机构可能应该在未来的评估中排除自我引用,因为年轻研究人员引入了噪音。意大利研究系统的整体健康状况和ANVUR评估的积极影响体现在前10万名意大利研究人员的数量上,通过比较22年的“职业生涯”数据库与“2017年”数据库中的“年轻”研究人员,这一数字有所增加。意大利,在精英研究人员看来,不仅不是最放纵的自我引用,但已经显示出最好的改进,证明ANVUR的引入产生了积极的影响。事实上,与职业数据相比,除意大利外,所有国家的2017年数据集中的研究人员数量都出现了大幅下降(日本全国范围内为-20%)。相反,意大利在全球范围内显示出+0.2%,在全国范围内显示出令人印象深刻的+11.53%。
2019-10-06 cs.DL physics.soc-ph
Relationships between Journal Publication, Citation, and Usage Metrics within a Carnegie R1 University Collection: A Correlation Analysis
本研究探讨了本地期刊作者,本地和外部引用计数,全文下载,链接解析器点击,和四个全球期刊影响因子指数在所有学科的期刊收集12,200标题和6个主题子集在伊利诺伊大学厄巴纳-香槟分校(UIUC)图书馆之间的相关关系。虽然早期的使用(下载)和引用指标之间的关系的调查一直没有定论,这项研究表明,在所有学科集和大多数学科子集的强相关性。标准化特征因子是唯一一个与当地期刊指标高度相关的全球影响因子指数。在六个学科子集中发现的一些学科差异可以用UIUC研究人员的期刊出版愿望来解释。在六个特定的主题子集的作者和地方引文之间的相关性密切匹配国家部门或计划的排名。
2023-02-17 cs.DL
Regional and Global Science: Latin American and Caribbean publications in the SciELO Citation Index and the Web of Science
我们比较了拉丁美洲和加勒比地区(LAC)出版物在Web of Science(WoS)的核心馆藏索引中的可见性-科学引文索引扩展,社会科学引文索引和艺术与人文学科引文索引-以及SciELO引文索引(SciELO CI),该索引于2014年集成到更大的WoS平台中。这种比较的目的是帮助我们了解拉丁美洲和加勒比地区产生的科学知识的传播,并提供一些思考的潜在好处的衔接区域索引工作到WoS更好地了解地理和学科的贡献。SciELO CI的区域水平与WoS的全球范围有何关系?在WoS中,LAC作者在全球范围内被纳入国际网络,而SciELO为LAC研究人员提供了一个互动平台。SciELO与WoS的结合可能会提高区域期刊的国际知名度,但代价是独立的期刊纳入标准。
2015-11-06 cs.DL
CiteAssist: A System for Automated Preprint Citation and BibTeX Generation
Georg-August University(格奥尔格-奥古斯特大学)
CiteAssist 系统通过自动提取预印本元数据生成 BibTeX 条目并嵌入 PDF,同时基于关键词推荐相关论文,以免费网络界面简化文献标注与参考管理流程。
2024-07-03 cs.CL cs.DL
A Probe into Causes of Non-citation Based on Survey Data
对不被引可能原因的实证分析结果有助于提高研究者的被引潜力,也有助于期刊编辑人员识别潜在的高质量稿件。本研究采用问卷调查的方法,对导致引文或不引文的可能原因进行了调查。然后,我们进行了统计分析,以确定导致不被引用的主要原因,结合通过调查收集的数据进行分析。大多数受访者认为论文容易被引用的8个主要原因,如研究热点和内容新颖的主题,发表后较长的时间间隔,研究主题与我的工作相似,高质量的内容,合理的自引,突出的标题,着名的作者,他们还指出,他们现在的研究方向与以前的研究方向存在巨大差异,这是他们以前的论文未被引用的主要原因。他们认为,包括注释、评论和给编辑的信在内的文本很少被引用,太短或太长的论文也是如此。相比之下,中等长度的评论、文章或论文更容易被引用。
2015-06-23 cs.DL
Distinguishing True Influence from Hyperprolificity with Citation Distance
Business School, Sichuan University(四川大学商学院);School of Economics and Management, Anhui University of Science and Technology(安徽理工大学经济管理学院)
本文提出x指数,通过引用距离衡量学术影响,改进了传统指标对高产作者的偏袒,更公平地反映学术成就。
2026-02-12 cs.DL
A simple centrality index for scientific social recognition
我们引入了一个新的二分网络的论文和作者的中心性指数,我们称之为$K$ -指数。$K$指数随着引用特定研究人员的论文的引用性能而增长,可以被视为科学社会认可的衡量标准。事实上,$K$ -index度量引用给定作者的枢纽节点的数量,在二分网络中以自洽的方式定义。我们表明,$K$指数可以通过简单的检查Web的科学平台计算,并提出了几个优势,比其他中心指数,特别是赫希$h$指数。$K$ -索引对自引具有稳健性,不像$h$ -索引那样受到研究人员发表论文总数的限制,并且可以以一致的方式区分具有相同$h$ -索引但科学社会认可度差异很大的研究人员。$K$ -索引很容易检测到研究人员因科学不端行为而夸大论文、引文和$h$ -索引数量的已知案例。最后,我们表明,在28位诺贝尔物理学奖获得者和28位高被引非诺贝尔物理学奖获得者的样本中,$K$指数与获奖成就的相关性优于论文数量、引用次数、每篇论文的引用次数、引用文章或$h$指数。聚类研究人员在一个$K$与$h$图揭示了有趣的离群值,表明这两个指数可以提供互补的独立信息。
2017-09-28 cs.DL physics.soc-ph
Sentiment-aware Enhancements of PageRank-based Citation Metric, Impact Factor, and H-index for Ranking the Authors of Scholarly Articles
针对现有基于频次的作者引用指标默认引用为中性情感的局限,研究提出对PageRank类引用指标、影响因子及H指数进行情感感知增强,以更准确反映同行对作者学术成果的评价。
2024-03-13 cs.CY cs.DL