Rethinking Review Citations: Impact on Scientific Integrity
本文研究综述文章激增导致引用指标虚高的问题,以计算机科学领域为例,提出应优先引用原始研究以维护引用诚信和科学评价的公正性。
2025-04-08 cs.CY cs.DL
Influence of Reviewer Interaction Network on Long-term Citations: A Case Study of the Scientific Peer-Review System of the Journal of High Energy Physics
在评判研究贡献方面的“同行审查制度”是为确保收到的投稿质量而采取的主要步骤之一,出版预算的很大一部分用于出版社顺利完成同行审查。然而,科学界在很大程度上达成了一个共识,即同行评审制度虽然不可或缺,但也存在缺陷。因此,一个非常相关的问题是:“这一制度能否得到改进?".在本文中,我们试图通过考虑大约$29k$论文的大量数据集来回答这个问题,这些论文具有大致$70k$不同的综述报告,这些综述报告由1997年至2015年期间《高能物理杂志》(JHEP)的$12m$行综述文本组成。具体来说,我们引入了一个新的\textit{reviewer-reviewer interaction network}(如果两个评论者被同一个编辑分配,那么他们之间存在一条边),并令人惊讶地证明了这个网络的简单结构属性,如度,聚类系数,中心性(接近度,介数等)。用作长期引用的强预测器(即,(一)论文的整体科学影响。当插入回归模型时,这些特征在预测长期引用时单独实现了0.79的高$R^2$和0.496的低$RMSE$。此外,我们还设计了一套支持功能,这些功能是根据提交论文、作者和审稿人的基本特征构建的(例如,提交作者的受欢迎程度、推荐人的接受率历史、评论报告文本中的语言特性等),这进一步导致总体改善,$R^2$为0.81,$RMSE$为0.46。
2017-05-02 cs.DL
Scientific Paper Recommendation Systems: a Literature Review of recent Publications
科学写作建立在已经发表的论文之上。人工识别要阅读、引用或考虑为相关论文的出版物依赖于研究人员识别合适的关键词或初始论文的能力,从这些关键词或初始论文可以开始文献检索。论文数量的迅速增加要求自动化的措施,以找到所需的相关出版物,所谓的论文推荐系统。随着出版物数量的增加,论文推荐系统的数量也在增加。以前的文献综述侧重于讨论这些年来各种方法的总体情况,并强调主要方向。我们避免从这个角度来看,相反,我们只考虑一个相对较小的时间框架,但充分分析它。在这篇文献综述中,我们讨论了在2019年1月至2021年10月首次发布的所有作品中使用的方法,数据集,评估和面临的开放性挑战。本次调查的目的是提供一个全面和完整的概述目前的论文推荐系统。
2022-09-07 cs.DL
A review on the novelty measurements of academic papers
Nanjing University of Science and Technology(南京理工大学)
本综述系统分析了科学论文的新颖性测度,通过比较相似概念、划分新颖性类型、按数据类型分类评估现有测度方法及验证工具,提出了未来研究的开放性问题。
2025-01-29 cs.CL cs.DL
A Unified Nanopublication Model for Effective and User-Friendly Access to the Elements of Scientific Publishing
科学出版是我们交流和分享科学知识的手段,但这一过程目前往往缺乏透明度和机器可解释的表示。科学文章是以具有复杂结构的长粗粒度文本发布的,并且它们是针对人类读者而不是自动组织和访问方式进行优化的。同行评审是质量评估的主要方法,但这些同行评审现在很少发表,其复杂的结构和与相关文章的链接也无法访问。为了解决这些问题,并更好地使科学出版与网络和关联数据的原则保持一致,我们在这里提出了一种方法,使用纳米出版作为一个统一的模型,以语义的方式表示出版物的元素,它们的评估,以及所涉及的过程,演员和一般的出处。为了评估我们的方法,我们提出了一个627个nanopublications的数据集,代表了文章元素(如个别段落)及其评论(如个别评论)的互联网络。专注于编辑执行元审查的特定场景,我们介绍了七个能力问题,并展示了如何将它们作为SPARQL查询执行。然后,我们提出了一个原型的用户界面的情况下,显示不同的意见,提供了一个给定的手稿的审查意见集,我们在用户研究中显示,编辑发现界面有用的回答他们的能力问题。总之,我们证明了基于纳米出版的统一语义出版模型可以使科学交流更加有效和用户友好。
2020-06-11 cs.DL
Safeguarding Scientific Integrity: Examining Conflicts of Interest in the Peer Review Process
本文通过分析2022年一期生育与心理健康特刊的作者、编辑和评审人关系,揭示未披露的利益冲突及其对同行评审客观性的损害,并提出开放评审、扩大披露和加强问责等改进措施。
2023-08-08 cs.DL
An empirical review of the different variants of the Probabilistic Affinity Index as applied to scientific collaboration
负责任的指标对于研究评估和监测至关重要。指标的透明性和准确性要求研究评估公平,并确保可重复性。然而,由于在概念化和操作化方面缺乏透明度,有时很难根据指标开展或复制研究。在本文中,我们回顾了不同的变量的概率亲和指数(PAI),考虑到概念和经验的基础。我们首先回顾了该指标的历史发展和提出的不同替代方案。为了证明该指标的实用性,我们展示了PAI在科学合作中识别首选合作伙伴的应用。提供了一个简化的程序,以证明变化和适当的计算。然后,我们比较了参与国际科学合作的五个特定国家的实施结果。尽管关于其计算的建议不同,但我们没有观察到工作地点差价调整数指数变量之间的巨大差异,特别是在国家规模方面。与任何指标一样,特定变量的选择取决于研究问题。为了便于适当使用,我们提供了在特定情况下使用该指标的建议。
2020-08-27 cs.DL
The role of non-scientific factors vis-a-vis the quality of publications in determining their scholarly impact
本文基于 VTR 2001-2003 与 Web of Science 引文,分析同行评审质量评分和非科学因素对出版物短期、长期学术影响力的作用,为科研评估方法选择提供依据。
2024-04-08 cs.DL
Decontamination of the scientific literature
研究不端行为和欺诈行为污染了科学文献。诚实的错误和恶意的数据伪造,图像操纵,期刊劫持和剽窃通过同行评审未被注意。有问题的论文欺骗读者,作者引用它们,以及基于人工智能的文献发现。旗舰出版商接受了数百篇有缺陷的论文,尽管他们声称要执行同行评议。这一应用旨在通过治疗和预防措施净化科学文献。
2022-10-28 cs.DL cs.IR
ARA: Agentic Reproducibility Assessment For Scalable Support Of Scientific Peer-Review
ETH Zürich, IVT & Agentic Systems Lab (ASL)(苏黎世联邦理工学院,信息与通信技术研究所及代理系统实验室);European Commission, Joint Research Centre(欧洲委员会,联合研究中心);University of Konstanz(康斯坦茨大学);Ideas Forward
ARA通过构建实验依赖图并评估可重复性得分,有效提升大规模科研成果的可重复性评估能力,实验表明其在不同领域和模型参数下均表现优异。
2026-05-14 cs.DL cs.LG
Aspect-based Sentiment Analysis of Scientific Reviews
Indian Institute of Technology, Kharagpur(印度理工学院卡拉格普尔分校)
科学论文是复杂的,理解这些论文的有用性需要先验知识。同行评审是对该领域指定专家提供的论文的评论,拥有大量信息,不仅可供编辑和主席做出最后决定,还可用于判断论文的潜在影响。在本文中,我们建议使用基于方面的情感分析的科学评论,能够提取有用的信息,这与接受/拒绝的决定。在处理来自ICLR(机器学习领域的顶级会议之一)的近8 k评论的数据集时,我们使用主动学习框架来构建用于方面预测的训练数据集,该数据集进一步用于获得整个数据集的方面和情感。我们发现,从审查获得的方面为基础的情感的分布是显着不同的接受和拒绝的文件。我们使用这些评论中的方面情绪来进行有趣的观察,论文中存在的某些方面以及评论中讨论的某些方面强烈决定了最终的建议。作为第二个目标,我们量化了审稿人之间的分歧程度。我们还调查了审稿人和主席之间的分歧程度,发现审稿人之间的分歧可能与主席的分歧有关。这项研究中最有趣的观察结果之一是,评论者的评分和从评论者撰写的评论文本中提取的方面情感是一致的,也更有可能与主席的决定同时发生。
2020-06-05 cs.CL cs.DL cs.LG
Trends in scientific research in Online Information Review. Part 1. Production, impact and research collaboration
该研究基于Web of Science,分析了2000年至2014年发表的758篇文章。我们的分析包括出版物的产出,作者,机构和国家的生产模式,引用和合作。进行了一项社会网络分析,以确定研究人员和机构的主要群体以及各国之间的合作。该研究显示,1097名作者和453个机构为该杂志做出了贡献。合作指数逐步上升,研究期间的平均合作程度为1.98。大多数论文是由大学附属专业人员撰写的。高被引论文涉及在线和数字环境、电子学习系统、移动服务、Web 2.0和引文分析。这项工作是在图书馆学和情报学的领先期刊,在线信息评论的文献计量学分析。
2017-09-25 cs.DL
The Miracle of Peer Review and Development in Science: An Agent-Based Model
同行评议作为当前科学的基础,如何在评议者自愿贡献的基础上发挥作用,要合理解释并不容易。没有理由撰写公正和彻底的评价。因此,提交作者的低质量作品没有风险。因此,科学家面临着一个社会困境:如果每个人都按照自己的私利行事,就会产生低科学素质。尽管如此,在实践中,审稿人和作者都在审稿和投稿上投入了大量精力。我们研究如何增加相关性的公共利益(期刊影响因子),编辑政策处理传入的评论,并考虑到声誉信息的验收决定,可以帮助作者的高质量的贡献的演变。即使作者合作,审稿人方面的高努力也是有问题的:审稿人仍然最好通过产生低质量的评论,这并不妨碍科学发展,只是增加了随机噪声和不必要的成本。我们用基于代理的模拟表明,作者之间基于互惠的默契协议可能会降低这些成本,但不会导致更高的科学质量。我们的研究强调了为什么某些自发的现行做法,如期刊指标的重要性增加,基于声誉的审稿人选择,以及接受中的声誉偏见有效地促进了科学发展。然而,我们的研究结果没有找到答案,如何与公正和彻底的评估同行评议制度可以持续与快速的科学发展。
2016-07-09 cs.DL cs.MA physics.soc-ph
Efficiency in managing peer-review of scientific manuscripts -- editors' perspective
本文旨在介绍一个衡量编辑对科技论文审稿管理效率的模型。所采用的方法是基于这样的假设,即编辑的目标是高效率地管理出版物,使用最少的编辑资源。本研究将效率定义为基于7个变量的衡量标准。建立了一个在线调查,邀请塞尔维亚定期发表化学领域文章的期刊编辑参加。根据24种期刊和50位编辑的反馈,对该模型进行了评价。通过本研究,我们的目的是帮助我们了解同行评议过程,并可能提供一个工具,以提高期刊编辑的“效率”。建议的协议可能会被其他期刊采用,以评估编辑的管理潜力。
2019-10-12 cs.DL cs.DS physics.soc-ph
Peer Reviewing Revisited: Assessing Research with Interlinked Semantic Comments
科学出版似乎正处于一个转折点。300年来,它的范式基本保持不变,但现在受到越来越多的文章的挑战,这使得科学家很难在各自领域保持最新动态。事实上,许多人指出了当前科学出版实践的严重缺陷,包括审查过程缺乏准确性和效率。为了解决其中的一些问题,我们在这里应用Web和语义Web的一般原则,以科学出版,专注于审查过程。我们希望确定科学出版工作流的细粒度模型是否可以帮助我们通过确保从一开始就使用正式链接和语义创建评审评论,使评审过程更好地组织和更准确。我们的贡献包括一个新的模型称为链接流,允许这样的详细和语义丰富的审查和审查过程的表示。我们评估了我们的方法,从最近的几个计算机科学期刊和会议,来与开放的同行评审手动策划的数据集。我们通过联系原始评论者并要求他们根据我们的模型对自己的评论进行分类来收集地面事实数据。将此基础事实与模型专家、同行和自动化技术提供的答案进行比较,证实了我们从一开始就正式捕获审阅者意图的方法,与后来从纯文本评论中提取此信息时相比,可以防止出现实质性差异。总的来说,我们的分析表明,我们的模型是很好地理解和易于应用,它揭示了这样的评论的语义属性。
2019-10-08 cs.DL
Beyond the Lens: Quantifying the Impact of Scientific Documentaries through Amazon Reviews
本文提出通过Amazon评论的定量影响力与情感分析评估科学纪录片影响力,构建了1296条标注句子的数据集,并训练机器学习和大语言模型验证其有效性。
2025-03-04 cs.CY cs.DL physics.ed-ph
Peer-review in the Internet age
同行评审在科学过程中的重要性怎么估计都不过分。然而,由于研究的压力越来越大,出版物的数量呈指数级增长,裁判所面临的任务变得越来越困难。我们在这里讨论一些可能的改进,使更有效地审查科学文献,使用不断增长的互联网连接。特别是,一个实用的自动化模型,提供参考的论文,可能有很强的关系,在审查中的工作,根据一般的网络性能的引用建议。
2008-10-02 cs.DL physics.soc-ph
The 'Big Three' of Scientific Information: A comparative bibliometric review of Web of Science, Scopus, and OpenAlex
Universidad de Granada(格拉纳达大学)
本文比较了Web of Science、Scopus和OpenAlex三个科学信息数据库,分析了它们的覆盖范围、元数据质量和功能特性,为研究评估提供依据。
2026-01-29 cs.DL cs.IR
Scientific Utopia: I. Opening scientific communication
现有的科学交流规范植根于过去时代的不合时宜的做法,使它们不必要地效率低下。我们勾勒出一条路径,远离现有的科学传播模式,以提高效率,满足公众科学的目的-知识积累。我们呼吁进行六项改革:(1)全面接受数字通信,(2)开放获取所有已发表的研究成果,(3)将出版与评价分开,(4)打破“一篇文章,一本期刊”的模式,建立评价分级制度和多样化的传播渠道,(5)出版同行评议,(6)允许开放、持续的同行评议。我们解决了变革的概念和实际障碍,并提供了一些例子来说明建议的做法已经被使用。变革的关键障碍不是技术或财政上的,而是社会方面的。科学家在维护现状的同时,也有能力改变现状。
2012-05-04 cs.DL physics.soc-ph
Do open citations give insights on the qualitative peer-review evaluation in research assessments? An analysis of the Italian National Scientific Qualification
在过去,一些作品研究了定量和定性相结合的方法,在研究评估工作。事实上,意大利国家科学资格(NSQ),即旨在决定学者是否可以申请副教授和正教授等教授学术职位的国家评估活动,采用了定量和定性评估程序:它利用文献计量学,然后对候选人的简历进行同行审查。《国家统计调查表》将学科分为两类,即基于引文的学科(CD)和非基于引文的学科(ND),这一划分影响了在基于文献计量学的过程的第一部分中用于评估该学科候选人的指标。在这项工作中,我们的目标是探索是否基于引用的指标,计算只考虑开放的书目和引用数据,可以支持人类同行评审的ND和产生的见解,它是如何进行的。为了了解基于引用的(以及可能的其他)指标是否以及哪些指标提供了相关信息,我们创建了一系列机器学习模型来复制NSQ委员会的决策。作为我们研究的主要成果之一,我们注意到候选人与负责评估其简历的委员会之间的引用关系的强度似乎在ND的NSQ的同行评审阶段发挥了作用。
2022-10-23 cs.CY cs.DL
Whats next? Forecasting scientific research trends
本研究利用PubMed历史数据、文章类型、语言模型和专利等多源信息预测科学主题未来五年的趋势,发现综述与原创研究比例及专利具有指示作用,并提出SciTrends网络工具。
2023-09-21 cs.DL q-bio.OT
Peer review research assessment: a sensitivity analysis of performance rankings to the share of research product evaluated
在采取同行审查办法的国家研究评估工作中,对研究组织的评估是根据其科学成果的一部分进行的。子集的维度因国家而异,但通常被设置为每个研究组织雇用的研究人员数量的比例函数。然而,科学生育率因学科而异,这意味着这样一个子集的代表性也因学科而异。评估得出的排名可能对选择评价的文章所占份额的大小相当敏感。目前的工作探讨这个问题,发展的经验证据的变化,在排名由于变化的尺寸的子集的产品评价。观察领域的代表是从整个意大利大学系统的硬科学的科学生产,从2001年至2003年。
2018-11-05 cs.DL
PRINCIPIA: a Decentralized Peer-Review Ecosystem
同行评议是现代科学努力的基石。然而,越来越多的人一致认为,目前同行审查制度的一些局限性,从缺乏对审查者的激励到缺乏透明度,有可能破坏其好处。在这里,我们介绍了用于科学产出同行评审的PRINCIPIA(http://www.principia.network/)框架(例如,论文、授权提案或专利)。该框架允许科学生态系统的主要参与者-包括现有的出版集团-通过建立一个自由的评论和出版物市场,创建和管理同行评审期刊。PRINCIPIA的推荐人根据他们的努力和评论的质量得到透明的奖励。PRINCIPIA还自然地允许识别用户和期刊的声誉,具有不依赖于第三方的内在声誉系统。PRINCIPIA重新平衡了研究人员和出版商之间的权力,鼓励评审员进行有价值的评估,促进期刊之间的公平竞争,降低获取研究成果和出版的成本。
2020-08-20 cs.DL nlin.AO physics.soc-ph
TrueReview: A Platform for Post-Publication Peer Review
在发表后同行评审中,科学贡献首先在开放获取论坛上发表,如arXiv或其他数字图书馆,随后进行评审,并可能进行排名和/或评估。与科学出版的经典过程相比,在出版之前进行审查,出版后同行评审可以更快地传播思想和公开评论。出版后审查的主要关注点在于从参与者那里获得高质量,有见地的评论。我们描述了TrueReview的数学基础和结构,TrueReview是一个开源工具,我们建议建立在支持出版后审查。在TrueReview中,审查的动机是通过一个激励系统来提供的,该系统促进审查和评估,这些审查和评估既真实(从长远来看是正确的),又信息丰富(它们提供了重要的新信息)。TrueReview将论文组织在不同的地点,允许不同的科学团体制定自己的提交和审查政策。这些场所可以手动设置,或者它们可以对应于知名存储库(如arXiv)中的类别。评审奖励可用于形成评审员排名,该排名可与各学科的论文一起突出显示,从而为评审员提供具体的好处。反过来,论文评估通过明确的论文排名和增加搜索可见度来奖励最重要论文的作者。
2017-05-05 cs.DL cs.GT
Scientific knowledge production of blockchain: A bibliometric and lexicometric review
该研究通过对2525篇文献的文献计量分析与123篇文献的词汇计量分析,梳理区块链研究的演进、分布与认知结构,指出其为多学科交叉的边界对象,为领域发展提供了全面认知框架。
2023-08-18 cs.DL
h-index and its alternative: A Review
近年来,科学计量学和文献计量学提出了一些指标来评估个人、机构、学院、大学和研究团队的科学影响力。h指数是研究界评估个人科学影响力的一个重大突破。它得到了很多的关注,由于其简单性和其他几个指标被提出来扩展h-指数的性质,以及克服h-指数的缺点。在这篇文献综述中,我们讨论了几乎所有科学计量学和文献计量学指标的优点和局限性,这些指标被分为七类:(i)h指数的补充,(ii)基于作者总数,(iii)基于出版年龄,(iv)两个指数的组合,(v)基于超额引用计数,(vi)基于总出版计数,(vii)基于其他变体。本文的主要目的是研究所有这些指标已被提出来评估个人或一组研究人员的科学影响。
2018-11-08 cs.DL
Unveiling Deception: Establishing a Taxonomic Framework for Disinformation within Scientific Discourse
本文通过文献综述、专家评审和案例研究,构建并验证了一个面向科学话语中虚假信息的结构化分类框架,以帮助记者和政策制定者更有效识别和应对虚假信息。
2024-06-10 cs.DL physics.soc-ph
Evaluating AI-based Scientific Knowledge Synthesis with Epidemiological Systematic Reviews
University of Oxford(牛津大学);Imperial College London(伦敦帝国理工学院);University of Nottingham(诺丁汉大学);Snowflake AI Research(Snowflake人工智能研究);Independent(独立)
提出AgentSLR评估框架,包含自动化工作流和专家标注数据集,测试LLM在流行病学系统评价各阶段能力,发现无模型全面领先,结构化提取是主要瓶颈。
2026-06-04 cs.AI cs.DL cs.IR
The Open Review-Based (ORB) dataset: Towards Automatic Assessment of Scientific Papers and Experiment Proposals in High-Energy Physics
CERN(欧洲核子研究组织);Mines Paris, Université PSL(巴黎国立高等矿业学院,巴黎文理研究大学);Efrei Research Lab, Université Paris-Panthéon-Assas(Efrei研究实验室,巴黎先贤祠-阿萨斯大学)
本文构建包含 3.6 万余篇论文、8.9 万余条评审与决定的 ORB 数据集及自动更新基础设施,并通过基于文本嵌入的 NLP 初步实验验证论文录用与评分预测。
2023-11-29 cs.CL cs.DL cs.LG
Ants-Review: a Protocol for Incentivized Open Peer-Reviews on Ethereum
同行评议是科学出版物质量控制的必要和基本步骤,但缺乏适当的激励措施。事实上,这一过程在时间和智力投资方面都非常昂贵,不仅期刊没有报酬,而且学术界也没有公开承认这是研究人员的相关科学产出。因此,科学传播的及时性、质量和公平性受到影响。在这里,为了解决这个问题,我们提出了一个基于区块链的激励系统,奖励科学家对其他科学家的工作进行同行评审,并建立信任和声誉。我们设计了一个面向隐私的智能合约协议,称为Ants-Review,允许作者在以太坊上发布开放匿名同行评论的奖金。如果符合要求,同行审查将被接受,并由审查委员会按其评估质量的比例支付费用。为了促进道德行为和包容性,该系统实施了一种游戏化机制,允许整个社区评估同行评审并投票选出最佳评审。
2021-01-22 cs.CR cs.CY cs.DC
The survival of scientific stylization
论文提出基于文本的指标衡量风格化科学研究,发现其虽具持续颠覆性却面临引用偏低和评审周期延长的衰退,呼吁改革同行评审与影响力评价机制。
2023-12-10 cs.DL cs.SI physics.soc-ph
Evolution of the "long tail" concept for scientific data
本文综述了“长尾”科学数据概念自2007年引入以来的演变,探讨其术语多样性及在数据管理中的实用性,连接LIS与学科背景,以指导有效的数据管理实践。
2024-12-17 cs.DL cs.SI
A Review on Method Entities in the Academic Literature: Extraction, Evaluation, and Application
Nanjing University of Science and Technology(南京理工大学);Renmin University of China(中国人民大学)
在科学研究中,方法是解决科学问题不可或缺的手段,也是一个至关重要的研究对象。随着科学的进步,许多科学方法被提出,修改,并在学术文献中使用。作者在摘要和正文中描述了方法的细节,学术文献中反映方法名称的关键实体称为方法实体。在大量的学术文献中探索不同的方法实体有助于学者了解现有的方法,选择合适的方法进行研究任务,并提出新的方法。此外,方法实体的演化可以揭示学科的发展,促进知识发现。因此,本文提供了一个系统的方法和经验的工作,重点是从全文学术文献中提取方法实体,并努力建立知识服务,使用这些提取的方法实体。首次提出了本次审查所涉及的关键概念的定义。基于这些定义,我们系统地回顾了提取和评估方法实体的方法和指标,重点关注每种方法的优缺点。我们还调查了如何提取方法实体用于构建新的应用程序。最后,讨论了现有工作的局限性以及潜在的下一步工作。
2022-09-08 cs.CL cs.DL
Deep Learning -- A first Meta-Survey of selected Reviews across Scientific Disciplines, their Commonalities, Challenges and Research Impact
Graz University of Technology(格拉茨技术大学);Medical University of Graz(格拉茨医科大学);University Medicine Essen(埃森大学医学中心);Zhejiang Lab(之江实验室);Know-Center
深度学习属于人工智能领域,机器执行通常需要某种人类智能的任务。类似于大脑的基本结构,深度学习算法由类似于生物大脑结构的人工神经网络组成。模仿人类的感官学习过程,深度学习网络被输入(感官)数据,如文本、图像、视频或声音。这些网络在不同的任务中表现优于最先进的方法,正因为如此,整个领域在过去几年中呈指数级增长。这一增长导致过去几年每年出版物超过10 000份。例如,仅搜索引擎PubMed(仅涵盖医学领域所有出版物的一个子集)在2020年第三季度就为搜索词“深度学习”提供了超过11,000个结果,其中约90%的结果来自过去三年。因此,已经不可能获得对深度学习领域的完整概述,并且在不久的将来,可能难以获得对子领域的概述。然而,有几篇关于深度学习的评论文章,它们专注于特定的科学领域或应用,例如深度学习在计算机视觉或目标检测等特定任务中的进展。以这些调查为基础,本文的目的是提供第一个高层次的、分类的元调查,对不同科学学科的深度学习的选定评论进行调查。类别(计算机视觉、语言处理、医学信息学和其他工作)是根据基础数据源(图像、语言、医学、混合)选择的。此外,我们还回顾了每个子类别的通用架构、方法、优点、缺点、评估、挑战和未来方向。
2021-11-17 cs.CV cs.DL cs.LG
Eugene Garfield's Scholarly Impact: A Scientometric Review
引文索引的概念已经深入到研究本身的许多部分以及研究发挥不可或缺作用的广泛环境中,从研究评估,众多指标到越来越广泛的科学学科。在这篇文章中,我们向尤金·加菲尔德致敬,并对他带给我们的智力资产进行了科学计量学回顾。此外,我们探讨了知识景观,随后演变连接到他的许多想法。我们说明了科学文献的系统综述可能揭示什么,以及我们可以从通过引用诱导模式传达的丰富信息中学到什么。这项研究是由CiteSpace进行的,CiteSpace是基于Web of Science和Scopus数据的众多科学绘图工具之一。如果没有加菲尔德的发明,这些都不可能实现。
2017-10-05 cs.DL cs.SI
How to Find Fantastic AI Papers: Self-Rankings as a Powerful Predictor of Scientific Impact Beyond Peer Review
University of Pennsylvania(宾夕法尼亚大学);Yale University(耶鲁大学);University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);New York University(纽约大学);Princeton University(普林斯顿大学)
本文通过研究作者自我排名发现其能有效预测AI领域高影响力论文,优于同行评审。
2025-11-25 cs.AI cs.DL cs.LG
Collective allocation of science funding: from funding agencies to scientific agency
美国国家科学基金会(NSF)和美国国立卫生研究院(NIH)等公共机构每年提供数百亿美元的科学资助。如何尽可能有效地分配这笔资金,以最好地促进科学创新和生产力?目前的制度主要依靠对项目提案的同行审查。仅在2010年,NSF就召集了15,000多名科学家审查了55,542项提案。虽然被认为是科学的黄金标准,同行评审需要大量的管理费用,并可能受到偏见,不一致和疏忽。我们研究了一类资助模式,在这种模式中,所有参与者都获得了每年资助的同等份额,但随后需要匿名向同行捐赠一小部分资金。因此,资金从一个参与者流向下一个参与者,每个参与者都好像自己是一个供资机构。在这里,我们通过对大规模引用数据(37M文章,770M引用)进行的模拟显示,这种分布式科学系统可能会产生类似于现有NIH和NSF分布的资助模式,但可能会以更低的开销,同时表现出一系列其他可取的功能。科学同行评价中的自我纠正机制可以有效和公平地分配资金。所提出的模型可以应用于许多情况下,自上而下或自下而上的公共资源分配是不切实际的或不可取的,例如公共投资,分销链,共享资源管理。
2013-04-03 cs.DL physics.soc-ph
FLAWS: A Benchmark for Error Identification and Localization in Scientific Papers
FLAWS基准通过713篇论文错误对评估LLMs在识别和定位科学论文中关键主张错误的能力,GPT 5在k=10时达到39.1%的识别准确率。
2026-10-23 cs.AI cs.CL cs.DL