Efficiency in managing peer-review of scientific manuscripts -- editors' perspective
本文旨在介绍一个衡量编辑对科技论文审稿管理效率的模型。所采用的方法是基于这样的假设,即编辑的目标是高效率地管理出版物,使用最少的编辑资源。本研究将效率定义为基于7个变量的衡量标准。建立了一个在线调查,邀请塞尔维亚定期发表化学领域文章的期刊编辑参加。根据24种期刊和50位编辑的反馈,对该模型进行了评价。通过本研究,我们的目的是帮助我们了解同行评议过程,并可能提供一个工具,以提高期刊编辑的“效率”。建议的协议可能会被其他期刊采用,以评估编辑的管理潜力。
2019-10-12 cs.DL cs.DS physics.soc-ph
Accelerating the pace of discovery by changing the peer review algorithm
科学出版物的数量不断增加,增加了审查过程的压力。投稿的数量实际上更高,因为每篇稿件在出版前往往要经过多次审查。面对大量的投稿,顶级期刊拒绝了相当一部分未经审查的手稿,可能会拒绝有价值的手稿。这种情况令作者、审稿人和编辑都感到沮丧。最近,几位编辑撰写了关于“评论家共同体的悲剧”的文章,主张对该系统进行紧急纠正。几乎每个科学家都有关于如何改进该系统的想法,但如果不是不可能的话,也很难进行实验来测试哪些措施最有效。令人惊讶的是,相对较少的尝试已经取得了模型同行评审。在这里,我实现了一个模拟框架中,同行评议的想法可以定量测试。我将作者,审稿人,手稿和期刊纳入一个基于代理的模型和同行评议系统出现从他们的互动。作为一个概念验证,我对比了当前系统的实现,在该系统中,作者决定他们提交的期刊,与一个系统中,期刊投标的手稿出版。我表明,在其他条件相同的情况下,后一种系统解决了目前与同行评审过程相关的大部分问题。管理员的评价更快,作者发表的文章更多,发表在更好的期刊上,审稿人的努力得到了最佳利用。然而,编辑需要做更多的工作。这个建模框架可以用来测试其他同行评议的解决方案,为改善科学传播方式铺平道路。
2009-11-02 cs.DL physics.soc-ph q-bio.OT
Artificial intelligence in peer review: How can evolutionary computation support journal editors?
随着提交出版的稿件数量每年都在增长,同行评审的不足之处(如评审时间长)也越来越明显。编辑策略是一套旨在加快进程和减少编辑工作量的指导方针,被出版社视为商业机密,不公开分享。为了提高其战略的有效性,小出版集团的编辑面临着采取迭代试错的方法。我们表明,笛卡尔遗传编程,自然启发的进化算法,可以显着提高编辑策略。人工进化的策略将同行评审过程的持续时间缩短了30%,而没有增加评审人员的数量(与典型的人类开发的策略相比)。演化计算通常用于技术过程或生物生态系统。我们的研究结果表明,遗传程序可以改善现实世界的社会系统,通常比物理系统更难理解和控制。
2017-12-02 cs.DL cs.NE physics.soc-ph
Day of the week effect in paper submission/acceptance/rejection to/in/by peer review journals
本文旨在介绍作者向科技期刊投稿的行为。塞尔维亚化学学会杂志电子提交论文的日期记录为2013年1月1日至2014年12月31日,因此超过2年。不存在金融市场中的周一或周五效应,而是周二-周三效应:论文通常在周三提交;但是,如果这些论文在周二提交,则被接受的相对数量会更大。另一方面,周末(星期六和星期日)不是定稿和提交稿件的最佳日子。基于提交的工作类型(“实验化学”)和(高级)合著者的影响力的解释。一个热力学的连接,提出了熵的背景下。定义了一个(新的)熵距离,以衡量提交过程的“不透明性”(无序)。
2016-04-06 cs.DL physics.soc-ph stat.AP
What the Cited and Citing Environments Reveal of "Advances in Atmospheric Sciences"?
期刊的网络化能力反映了其在同行期刊中的学术影响力。运用社会网络分析方法对《大气科学进展》的被引情况和被引环境进行了分析。该杂志一直积极参与国际期刊环境,但有一种倾向是引用在国际期刊上发表的论文。《大气科学进展》与国际同行期刊的引用模式相似,具有很强的相关性。然而,由于引用参考文献的接受程度相对较低,其学术知名度仍有提高的空间。
2010-12-10 cs.DL physics.ao-ph physics.soc-ph
Inter-rater reliability and convergent validity of F1000Prime peer review
同行评议是现代科学的支柱。F1000Prime是一个生物医学文献(来自医学和生物学期刊的论文)的出版后同行评审系统。本研究旨在探讨F1000Prime同侪互评系统中同侪推荐信的评者间信度与聚合效度。该研究基于约10万篇论文,并附有教师的建议。即使主体间性在科学中发挥着重要作用,对F1000 Prime同行评议系统可靠性的分析表明,教师之间的一致性水平相当低。这一结果与大多数其他已发表在期刊同行评审系统上的研究一致。采用Logistic回归模型对F1000Prime同行评议系统的聚合效度进行了研究。结果显示,高被引论文在学院成员选择的论文中所占的比例明显高于预期。此外,更好的推荐分数也与更好的论文表现有关。
2014-06-03 cs.DL physics.soc-ph
Screening, sorting, and the feedback cycles that imperil peer review
University of Washington(华盛顿大学);North Carolina State University(北卡罗来纳州立大学)
本文通过数学模型揭示同行评审中作者、评审者和读者的激励互动,指出提交量增加导致评审质量下降的反馈循环,并提出干预措施以缓解同行评审危机。
2026-01-30 physics.soc-ph
Quantifying the quality of peer reviewers through Zipf's law
本文介绍了一个统计和其他分析同行评审员,以接近他们的“质量”,通过一些量化措施,从而导致一些质量度量。审查了《塞尔维亚化学学会杂志》的同行评审报告。每份报告的文本必须首先适应字数统计软件,以避免在搜索词频时使用行话引起混乱:例如,必须区分C,这取决于它是指碳还是摄氏度等。此后,对每份报告中的词汇数量、种类和分布进行检查,并与整套报告进行比较。两个不同的月份,根据报告的时间,被区分出来,以观察任何可能隐藏的虚假影响。一致性被发现。通过齐普夫-帕累托秩-大小定律寻找经验分布。据指出,同级审评报告在这方面与通常的案文相差甚远。偏离通常的(第一)齐普夫定律进行了讨论。在这种情况下,从熵参数,通过“距离平均值”的概念,提供了一个理论上的建议,为“最好(或最差)的报告”,并通过扩展“好(或坏)的评论家”。另一种基于熵的测量方法也允许测量期刊评论(评审员),以便通过他们自己的评审员报告与其他期刊进行进一步比较。
2015-08-23 cs.DL physics.soc-ph
Case for the double-blind peer review
同行评议是一个过程,旨在产生一个公平的评估研究质量之前,在期刊上发表的学术工作。人口统计学、裙带关系和资历都被证明会影响评审员的行为,这表明最常见的单盲评审方法(或不太常见的开放式评审方法)可能存在偏见。对当前研究的一项调查表明,双盲审查提供了一个解决许多偏见的方法,这些偏见来自作者的性别、资历或地点,而不会带来任何重大的负面影响。
2018-11-05 cs.DL physics.soc-ph
Review times in peer review: quantitative analysis of editorial workflows
我们研究同行评议的选定方面,并提出可能的改进。为此,我们分析了一个数据集,其中包含约300份提交给《塞尔维亚化学学会杂志》生物化学和生物技术部分的论文。在将同行评审过程分成每个评审必须经历的阶段之后,我们使用加权有向图以概率的方式描述它,并测试编辑策略的一些修改对整个过程效率的影响。
2015-08-05 cs.DL physics.soc-ph
Retracted papers by Iranian authors: Causes, journals, time lags, affiliations, collaborations
该研究旨在分析2001-2019年发表的Scopus数据库中索引的343份撤稿通知,这些撤稿通知与至少一位与伊朗机构有关联的作者撰写的科学文章(共同撰写)有关。为了确定撤回的原因,我们将该数据库与Retraction Watch的数据库合并。使用Excel 2016和IBM-SPSS 24.0版分析数据,并使用VOSviewer软件进行可视化。大多数撤稿是由于伪造同行评审(95篇撤稿)和剽窃(90篇)。从发表到撤回的平均时间为591天。最大的时滞(约3,000天)发生在因重复出版而撤回的论文中;最小的时滞(不到100天)是因“未指明原因”而撤回的论文(其中大多数是会议论文)。在被撤回的论文中,有48篇(14%)发表在两种医学期刊上:肿瘤生物学(25篇)和诊断病理学(23篇)。从机构的角度来看,伊斯兰阿扎德大学是不光彩的领导者,贡献了超过一半(53.1%)的撤回论文。在343篇撤回通知中,有64篇论文涉及与主要来自亚洲和欧洲国家的研究人员的国际合作;马来西亚撤回的论文最多(22篇论文)。由于大多数撤稿是由于伪造同行评审和剽窃,同行评审制度似乎是提交/出版过程中的一个薄弱环节;如果改进,由于加强编辑控制,撤稿数量可能会下降。
2021-08-29 cs.DL physics.soc-ph
Rapid, Impartial and Comprehensive (RIC) publishing: A new concept for scientific journals
出版由编辑管理的科学期刊,依靠匿名同行评审是缓慢的(即使是一轮评审也需要作者、编辑和评审员之间的多次沟通),片面的(作者的论点很难推翻评审员的论点),并且没有使用所有可用的科学材料(即使是最彻底和最有见地的评审也只留给作者和编辑)。在这里,我提出了一个科学期刊的新概念,以确保快速,公正和全面(RIC)出版。RIC概念基于两个新的出版原则的实施:对投稿的第一次(快速)编辑筛选应该是“拒绝”或“接受并选择修改”,在后一种情况下,选择修改(考虑到公开评审)论文应与所有(正面和负面)审查,从而向科学界提供关于所涉专题的所有现有科学材料。
2011-10-04 cs.DL physics.soc-ph
Gender shapes the relationship between productivity and journal prestige in science
Universidade Estadual de Maringá(马里兰加州立大学);Nottingham Trent University(诺丁汉特伦特大学);University of Maribor(马里博尔大学);Community Healthcare Center Dr. Adolf Drolc Maribor(马里博尔阿道夫·德罗尔奇博士社区健康中心);Kyung Hee University(庆熙大学);Korea University(高丽大学)
研究探讨性别对科研生产力与期刊声望关系的影响,发现男性更倾向于生产力导向轨迹,而女性更重视期刊声望。尽管男性发表量更多,但女性在后期职业阶段和异常个体中表现更优。
2026-03-23 physics.soc-ph
The Miracle of Peer Review and Development in Science: An Agent-Based Model
同行评议作为当前科学的基础,如何在评议者自愿贡献的基础上发挥作用,要合理解释并不容易。没有理由撰写公正和彻底的评价。因此,提交作者的低质量作品没有风险。因此,科学家面临着一个社会困境:如果每个人都按照自己的私利行事,就会产生低科学素质。尽管如此,在实践中,审稿人和作者都在审稿和投稿上投入了大量精力。我们研究如何增加相关性的公共利益(期刊影响因子),编辑政策处理传入的评论,并考虑到声誉信息的验收决定,可以帮助作者的高质量的贡献的演变。即使作者合作,审稿人方面的高努力也是有问题的:审稿人仍然最好通过产生低质量的评论,这并不妨碍科学发展,只是增加了随机噪声和不必要的成本。我们用基于代理的模拟表明,作者之间基于互惠的默契协议可能会降低这些成本,但不会导致更高的科学质量。我们的研究强调了为什么某些自发的现行做法,如期刊指标的重要性增加,基于声誉的审稿人选择,以及接受中的声誉偏见有效地促进了科学发展。然而,我们的研究结果没有找到答案,如何与公正和彻底的评估同行评议制度可以持续与快速的科学发展。
2016-07-09 cs.DL cs.MA physics.soc-ph
Is there any measurable benefit in publishing preprints in the arXiv section Quantitative Biology?
像arXiv这样的公共预印本服务器允许作者在提交给期刊进行同行评审之前发表他们的手稿。它提供了一个机会,通过在完成时提供结果来确定优先顺序。本文介绍了arXiv部分定量生物学,并调查了预印本出版物在接受方面的优势,这可以通过引用来衡量。本文重点研究了arXiv上的论文发表和引文延迟、引文量以及作者发表电子版的情况。此外,本文还讨论了科学家和出版商的利益。基于12种选定期刊的结果显示,在过去几年中,向arXiv提交预印本变得越来越普遍,但提交给定量生物学的论文数量仍然很少,仅占生物学总研究成果的一小部分。arXiv的一个巨大优势是克服了同行评审导致的长期出版延迟。虽然预印本在正式发表的文章之前就可以看到,但只有《理论生物学杂志》才有显著的引用优势。
2014-11-07 cs.DL physics.soc-ph q-bio.OT
Heavy-Tailed Distribution of the Number of Papers within Scientific Journals
学术出版物至少代表了科学界作为一个社会群体的研究的两个好处。首先,它们证明了科学家之间存在某种形式的关系(合作、指导、遗产.),有助于确定和分析社会分组。第二,大多数记录在大型数据库中,易于访问,包括许多相关信息,便于科学界进行定量和定性研究。了解推动知识创造的基本动力,特别是科学出版物的动力,可以通过确定科学领域的良好和不良做法,有助于保持高水平的研究。在这篇文章中,我们的目标是通过对同行评审期刊中发表的统计分析来促进这种理解。也就是说,我们表明,由一个作者在一个给定的期刊上发表的论文数量的分布是重尾,但有轻的尾巴比幂律。有趣的是,我们证明(分析和数字),这样的分布匹配的结果修改的偏好连接过程,在巴拉巴西-阿尔伯特过程的顶部,我们考虑到有限的职业生涯跨度的科学家。
2022-08-07 cs.DL physics.soc-ph
Peer Review at Capacity: An editor's view
Institute for Biocomputation and Physics of Complex Systems, University of Zaragoza(萨拉戈萨大学复杂系统生物计算与物理研究所);Department of Theoretical Physics, Faculty of Sciences, University of Zaragoza(萨拉戈萨大学理学院理论物理系)
该文从编辑视角指出同行评审压力已具象化,其核心问题是评审劳动分配不均、认可度低,且受适配小体系的出版架构组织,而非仅因潜在评审人不足。
2026-09-01 physics.soc-ph
Superiority of the $h$-index over the Impact Factor for Physics
特别关注物理期刊,我表明,期刊影响因子与赫希的$h$指数不相关。这意味着影响因子不是研究质量或影响力的良好衡量标准,因为$h$指数反映了同行评审,因此是研究质量的强有力指标。当使用$h$而不是影响因子时,多学科期刊和纯物理学期刊之间的影响力差距显著缩小。此外,专门发表综述文章的期刊的影响力在使用$h$时本质上会受到削弱,因为此类期刊的年度出版物数量有限。最后,当只考虑多学科期刊的物理学文章时,$h$对排名靠前的期刊进行了重新排序,这与物理学家对期刊声望的平均解释更加一致。
2006-08-17 astro-ph cond-mat.other math.HO
Does publicity in the science press drive citations? A vindication of peer review
我们研究如何宣传,在科学出版社突出的形式,影响研究论文的引用。在简要回顾了之前的工作之后,我们分析了发表在《物理评论快报》(PRL)上的论文,这些论文在八个不同的平台上突出显示。使用多元线性回归,我们确定每个平台对引用的贡献。我们还分析了突出显示的论文在其领域中排名前1%的引用论文的频率。我们发现,中期引文影响力最强的预测因素-出版后7年-是物理学的观点,其次是自然界的研究亮点,PRL的编辑建议和自然物理学的研究亮点。我们的主要结论是:(a)强调重要性识别引用优势,(b)根据同行评审(期刊内部和外部)的审查程度进行分层。这意味着我们可以将突出显示平台视为引文累积的预测因素,其强度不同程度地反映了每个平台的审查水平。
2021-05-17 cs.DL cs.SI physics.soc-ph
Peer-review in a world with rational scientists: Toward selection of the average
同行评议的优点之一是它为科学工作、论文和项目提供了一种自我调节的选择机制。同行评议作为一种选择机制,其效率难以评价。认真努力了解其长处和弱点,但尚未找到明确的答案。在理论上,同行评议的工作,如果有关各方(编辑和裁判)符合一套要求,如热爱高质量的科学,客观,没有偏见,裙带关系,朋友和派系网络,自私等,如果这些要求被违反,什么是高质量的工作选择的影响?我们用一个简单的基于代理的模型来研究这个问题。我们特别感兴趣的是理性推荐人的影响,他们可能没有任何动力去看到除了他们自己的出版或推广之外的高质量工作。我们发现,一小部分不正确的(自私的或理性的)裁判可以大大降低已发表的(公认的)科学标准的质量。我们量化的分数,同行评审将不再选择比纯粹的机会。被接受的科学工作的质量下降是作为理性和不合格的裁判分数的函数。我们展示了如何一个简单的质量提高政策,例如,一个期刊可能会导致整体科学质量的损失,以及如何相互支持的作者和裁判网络恶化系统。
2010-08-25 physics.soc-ph
The Three Little Pigs and the Big Bad Wolf: Case Studies of Peer Review
我为您提供三个独立的案例,由一家受人尊敬的同行评审科学期刊进行手稿评审过程。每一个案例都涉及到一只小猪,他提交了一份关于在遥远的土地上建造一座房子的理论计划供考虑。该杂志指派了一位匿名的大坏狼来评估这些手稿的优点。猪提出了三种不同的构造框架,它们在物理和数学复杂性上各不相同。第一只小猪提交了一个稻草模型,基于脚趾计数的数字方法。他的设计包括一些奇怪的特征,比如洒在窗台上的小米和偶蹄印--可能是一种策略,以分散狼对手稿简单数学基础的注意力。第二只小猪采用了一种更先进的方法,运用牛顿的经典运动定律,提出了一个木棍屋。这只猪在她的手稿中大量引用了一只特定的狼,可能是为了通过奉承她预期将成为裁判的狼来确保接受。第三只小猪描述了一个基于复杂的动力系统和稳定性分析的华丽的砖房,可能是为了让人眼花缭乱。大灰狼似乎对猪的任何战术都不为所动。他的建议是,对于稻草:对防水性进行轻微修改;对于棍棒:考虑到对气候变化的担忧,对防火性进行重大修改;对于砖:明确拒绝,并伴随着对"高高在上的理论家"的多次贬损。“我详细描述了每一个案例,并建议狼的报告可能与手稿本身一样受到自身利益的驱使,也就是说,在狼写评论的时候,他很饿。最后,我检查道德教训,如果有的话。
2022-03-31 astro-ph.HE physics.pop-ph physics.soc-ph
On the agreement between bibliometrics and peer review: evidence from the Italian research assessment exercises
本文通过意大利政府研究评估机构的两项实验数据,对文献计量学与同行评议的一致性进行了评价。实验进行验证的双重系统的评价,包括在可互换使用的文献计量学和同行评议,通过该机构在研究评估工作。这两个实验是基于分层随机样本的期刊文章。每篇文章都通过文献计量学和同行评议进行评分。然后计算两个评价之间的一致性程度。正确的设置的实验定义开发的科恩的Kappa系数和一些测试程序的设计为基础的估计,以评估分层之间的缺失比例的同质性。这两个实验的结果表明,对于硬科学,工程和生命科学的每个研究领域,文献计量学和同行评议之间的协议程度是-最多-弱在个别文章的水平。因此,实验结果并不能证明在意大利的研究评估中使用双重评价制度是正确的。更一般地说,非常弱的一致性表明,指标不应该取代同行评审在个别文章的水平。因此,使用双重评价制度来降低成本可能会在研究评估工作中引入未知的偏见。
2020-04-01 physics.soc-ph stat.AP stat.OT