Efficient Few-shot Learning for Multi-label Classification of Scientific Documents with Many Classes
Technical University of Munich(慕尼黑工业大学)
本文提出 FusionSent 方法,通过对比微调两个句嵌入模型并融合参数,在无需提示的情况下高效实现多类别科学文档少样本分类,并引入包含 203,961 篇文章和 130 个类别的 arXiv 多标签分类数据集。
2024-10-21 cs.CL
Discovering Patterns of Definitions and Methods from Scientific Documents
The Key Laboratory of Intelligent Information Processing, ICT, CAS(中国科学院计算技术研究所智能信息处理重点实验室);The Great Bay University(大湾区大学)
本文针对科学文档中定义与方法分散且语言复杂的问题,提出一种结合语义关系及句法词汇约束的模式发现方法,实验证明所发现模式可有效提取完整定义和方法。
2023-07-01 cs.CL
Acronym Identification and Disambiguation Shared Tasks for Scientific Document Understanding
University of Oregon(俄勒冈大学);Adobe Research(奥多比研究院);Harvard University(哈佛大学);Massachusetts Institute of Technology(麻省理工学院)
缩略语是较长短语的缩写形式,经常用于写作,特别是学术写作,以节省空间并促进信息交流。因此,每个文本理解工具都应该能够识别文本中的首字母缩略词(即,首字母缩略词识别)并且还找到它们的正确含义(即,首字母缩略词消歧)。由于这些任务的大多数先前工作仅限于生物医学领域,并且使用在有限数据集上训练的无监督方法或模型,因此它们无法很好地执行科学文档理解。为了推动这一方向的研究,我们组织了两个共享的任务,分别命名为AI@SDU和AD@SDU的首字母缩略词识别和首字母缩略词消歧的科学文献。这两项共同任务分别吸引了52名和43名参与者。虽然提交的系统与现有的基线相比有了很大的改进,但仍然远远没有达到人类水平的性能。本文回顾了这两个共享任务以及它们各自的主要参与系统。
2021-01-06 cs.CL
TLDR: Extreme Summarization of Scientific Documents
Allen Institute for AI(艾伦人工智能研究所);Paul G. Allen School of Computer Science & Engineering, University of Washington(华盛顿大学保罗·G·艾伦计算机科学与工程学院)
我们介绍了TLDR生成,一种新的形式的极端摘要,科技论文。TLDR生成涉及高度的源压缩,并且需要专业的背景知识和对复杂的领域特定语言的理解。为了促进这项任务的研究,我们引入了SciTLDR,这是一个新的多目标数据集,包含5.4K TLDR和3.2K论文。SciTLDR包含作者撰写的和专家衍生的TLDR,后者是使用一种新的注释协议收集的,该协议可以产生高质量的摘要,同时最大限度地减少注释负担。我们提出了CATTS,一个简单而有效的学习策略,用于生成TLD,利用标题作为辅助训练信号。CATTS在自动化指标和人工评估的基础上进行了改进。数据和代码可在https://github.com/allenai/scitldr上公开获取。
2020-10-08 cs.CL
Tagging Scientific Publications using Wikipedia and Natural Language Processing Tools. Comparison on the ArXiv Dataset
Interdisciplinary Centre for Mathematical and Computational Modelling, University of Warsaw(华沙大学跨学科数学与计算建模中心)
在这项工作中,我们比较了两种简单的方法来标记科学出版物的标签反映其内容。作为第一源的标签维基百科被采用,第二标签集被构造从名词短语中出现的分析语料库。我们研究了这两种方法的统计特性和有效性的数据集上的摘要从0.7万的科学文件存放在ArXiv预印本集合。我们相信,所获得的标签可以在以后的各种机器学习任务(文档相似性,聚类,主题建模等)中作为有用的文档特征。
2014-11-03 cs.CL cs.DL
ResearchPulse: Building Method-Experiment Chains through Multi-Document Scientific Inference
University of Chinese Academy of Sciences(中国科学院大学);Zhejiang University(浙江大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
针对科学思想跨文档演进分析需求,研究者提出多文档科学推理任务及基于三智能体协同的ResearchPulse框架,配套引用感知基准ResearchPulse-Bench,7B规模模型在多维度上超越GPT-4o等强基线。
2025-09-03 cs.CL cs.MM
SemEval-2021 Task 9: Fact Verification and Evidence Finding for Tabular Data in Scientific Documents (SEM-TAB-FACTS)
IBM Research(IBM研究院)
理解表格是一项重要且相关的任务,涉及理解表格结构以及能够比较和对比单元格内的信息。在本文中,我们通过提出一个新的数据集和任务来解决这一挑战,该任务在SemEval 2020任务9中的共享任务中实现了这一目标:科学文档中表格数据的事实验证和证据发现(SEM-TAB-FACTS)。我们的数据集包含981个手动生成的表和1980个自动生成的表,提供超过18万个声明和超过1600万个证据注释。SEM-TAB-FACTS包含两个子任务。在子任务A中,目标是确定一个陈述相对于一个表是被支持的、被反驳的还是未知的。在子任务B中,重点是确定表格中为声明提供证据的特定单元格。共有69支队伍报名参加,其中19支成功提交子任务A,12支成功提交子任务B。我们提出了我们的结果和主要发现的竞争。
2021-05-28 cs.CL
Automated Creation and Human-assisted Curation of Computable Scientific Models from Code and Text
GE Research(GE研究院)
科学模型是更好地理解和预测复杂系统行为的关键。科学模型的最全面的表现形式,包括支持其可用性的关键假设和参数,通常嵌入在相关的源代码和文档中,这些代码和文档可能采用各种(可能过时的)编程实践和语言。如果领域专家不熟悉代码,他们就无法完全理解科学模型的实现。此外,快速的研究和开发迭代使得跟上不断发展的科学模型代码库具有挑战性。为了应对这些挑战,我们开发了一个系统,用于自动创建和人工辅助管理可计算科学模型的知识图谱,该模型在任何相关的内联注释和外部文档的上下文中分析模型的代码。我们的系统使用知识驱动以及数据驱动的方法来识别和提取相关的概念,从文本文档的代码和方程语义注释模型使用领域术语。这些模型被转换为可执行的Python函数,然后可以进一步组成复杂的工作流,以回答不同形式的领域驱动问题。我们目前的实验结果使用数据集的代码和相关的文本来自美国宇航局的高超音速空气动力学网站。
2022-01-28 cs.AI cs.CL cs.SE
PEaCE: A Chemistry-Oriented Dataset for Optical Character Recognition on Scientific Documents
College of Information Sciences and Technology, The Pennsylvania State University(宾夕法尼亚州立大学信息科学与技术学院);Department of Chemical Engineering, The Pennsylvania State University(宾夕法尼亚州立大学化学工程系);L3S Research Center, Leibniz University Hannover(汉诺威莱布尼茨大学L3S研究中心);Department of Energy and Mineral Engineering, The Pennsylvania State University(宾夕法尼亚州立大学能源与矿物工程系);Institutes of Energy and the Environment, The Pennsylvania State University(宾夕法尼亚州立大学能源与环境研究所)
本文提出PEaCE数据集,包含合成与真实化学文献记录,通过引入模拟真实伪影的转换方法并训练基于Transformer的OCR模型,解决了化学文档中表格和公式混合文本的识别问题。
2024-03-23 cs.AI cs.CL
Symlink: A New Dataset for Scientific Symbol-Description Linking
University of Oregon(俄勒冈大学);Adobe Research(奥多比研究)
数学符号和描述以各种形式出现在文档节边界上,没有显式标记。在本文中,我们提出了一个新的大规模数据集,强调提取科学文献中的符号和描述。Symlink注释了5个不同领域的科学论文(即,计算机科学、生物学、物理学、数学和经济学)。我们在Symlink上的实验证明了现有模型的符号描述链接任务的挑战,并呼吁在这一领域进行进一步的研究工作。我们将公开发布Symlink,以方便未来的研究。
2022-04-26 cs.CL
Learning to Rank Scientific Documents from the Crowd
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);University of Massachusetts Medical School(马萨诸塞大学医学院)
在任何科学中,寻找相关的已发表文章都是一项重要的任务,但随着生物医学领域新工作的爆炸式增长,它变得特别具有挑战性。大多数现有的方法使用文本相似性度量来识别两篇文章是否相关。然而,生物医学知识发现是假设驱动的。最相关的文章可能不是具有最高文本相似性的文章。在这项研究中,我们首先开发了一种创新的众包方法来建立一个专家注释的文档排名语料库。使用这个语料库作为金标准,我们然后评估的方法,使用文本相似度排名的相关性的文章。最后,我们开发和评估了一个新的监督模型,自动排名相关的科学文章。我们的研究结果表明,作者的排名显着不同的排名基于文本相似性的模型。通过在注释语料库的一个子集上训练学习排名模型,我们发现最好的监督学习排名模型(SVM-Rank)显着超过了最先进的基线系统。
2016-11-04 cs.CL cs.DL cs.IR
Entropic selection of concepts unveils hidden topics in documents corpora
École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院);University of Zaragoza(萨拉戈萨大学)
科学的组织和进化最近已经成为科学定量研究的对象,这要归功于可以从科学文献中提取的大量信息,例如论文之间的引用和研究人员之间的合著。然而,只有少数研究集中在表征完整文档的概念,可以提取和分析,揭示科学知识的更深层次的组织。不幸的是,有几个概念在文档中是如此常见,以至于它们阻碍了文档语料库的底层主题结构的出现,因为它们在文档之间产生了大量虚假和琐碎的关系。为了识别和删除常见的概念,我们引入了一种方法来衡量他们的相关性,根据一个客观的信息理论的措施,其发生在整个文档语料库的统计。在逐步删除概念,根据这个指标,可以被认为是通用的,我们发现,主题组织显示了相应的更精致的结构。
2018-05-11 cs.CL cs.DL cs.SI
SciDQA: A Deep Reading Comprehension Dataset over Scientific Papers
IIT Gandhinagar(印度理工学院甘地纳格尔分校);Yale University(耶鲁大学);Allen Institute for AI(艾伦人工智能研究所)
SciDQA是一个包含2,937个问答对的科学文献深度阅读理解数据集,问题源自专家评审、答案由作者提供,要求跨图表等多文档推理,评估显示现有大模型性能存在显著差异。
2024-11-08 cs.CL
SMAuC -- The Scientific Multi-Authorship Corpus
Bauhaus-Universität Weimar(魏玛包豪斯大学);Leipzig University(莱比锡大学)
针对科学出版物作者身份分析缺乏大规模数据集的问题,构建了包含逾300万篇论文、超500万作者的元数据丰富语料库SMAuC,旨在推动该领域研究。
2023-05-10 cs.CL cs.DL
Quantitative Discourse Cohesion Analysis of Scientific Scholarly Texts using Multilayer Networks
University of Delhi(德里大学);Indraprastha Institute of Information Technology(英德拉普拉斯塔信息技术学院)
语篇衔接有助于语篇的理解,帮助读者形成连贯的叙述。本研究的目的是利用多层网络表征技术对科技学术文本中的语篇衔接进行计算分析,并量化文档的写作质量。利用科技学术语篇的层次结构,我们设计了章节级和文档级的指标来评估语篇中词汇衔接的程度。我们使用一个公开的数据集以及一组精心策划的对比示例,通过将它们与使用现有内聚分析工具计算的选择指数进行比较来验证所提出的指标。我们观察到,所提出的指标与现有的凝聚力指数的预期相关。我们还提出了一个分析框架,CHIAA(再检查一次,作者),提供指针,作者在手稿的帮助下,部分级和文档级的指标的潜在改进。CHIAA框架为作者提供了一个清晰而精确的处方,通过定位语篇中存在衔接缺口的区域来提高写作水平。我们证明了CHIAA框架的有效性,使用简洁的例子,从实验数据集的衔接不足的文本摘录。
2022-05-16 cs.CL
A Supervised Approach to Extractive Summarisation of Scientific Papers
University College London (UCL)(伦敦大学学院 (UCL))
自动摘要是一种流行的方法来减少一个文件的主要论点。该领域最近的研究集中在总结的神经方法上,这可能非常需要数据。然而,很少有大型数据集存在,没有传统流行的科学出版物领域,这开辟了具有挑战性的研究途径,集中在编码大型,复杂的文件。在本文中,我们介绍了一个新的数据集,总结计算机科学出版物,利用大量的资源,作者提供的摘要,并显示直接的方式进一步扩展。我们在数据集上开发模型,利用神经句子编码和传统上使用的摘要功能,并表明编码句子及其局部和全局上下文的模型表现最好,显著优于成熟的基线方法。
2017-06-13 cs.AI cs.CL cs.NE
CD2CR: Co-reference Resolution Across Documents and Domains
University of Warwick(华威大学);Alan Turing Institute(艾伦·图灵研究所);Filament AI(Filament AI公司);Bar-Ilan University(巴伊兰大学);Aberystwyth University(阿伯里斯特威斯大学)
跨文档共引用解析(CDCR)是识别和链接多个文本文档中的实体和概念的任务。当前用于此任务的最先进的模型假设所有文档都是相同类型的(例如新闻文章)或属于相同主题。然而,还期望跨不同域(类型或主题)执行CDCR。我们在本文中关注的一个特定用例是在科学工作和讨论它们的报纸文章中提到的实体的解析。在科学文章和新闻中识别相同的实体和相应的概念可以帮助科学家了解他们的工作是如何在主流媒体中呈现的。我们提出了一个新的任务和英语语言数据集的跨文档跨域共指消解(CD $^2$ CR)。该任务旨在识别跨异构文档类型的实体之间的链接。我们表明,在这种跨域,跨文档设置,现有的CDCR模型没有表现良好,我们提供了一个基线模型,优于目前国家的最先进的CDCR模型CD $^2$ CR。我们的数据集,注释工具和指南,以及我们的跨文档跨域共同参考模型都是作为开放获取开源资源提供的。
2021-01-29 cs.CL
MIReAD: Simple Method for Learning High-quality Representations from Scientific Documents
University of Toronto(多伦多大学);Vector Institute(向量研究所)
MIReAD通过微调transformer模型基于摘要预测期刊类别,在50万篇PubMed和arXiv摘要上训练,生成高质量科学论文表示,在四项评估标准上优于六种现有模型,可用于论文检索、主题分类和文献搜索。
2023-05-07 cs.AI cs.CL
Asymmetric Within-Document Predictive Learning for Scientific Document Representation
Questel(奎斯特尔);Inria(法国国家信息与自动化研究所)
本研究提出无引文框架SciJEPA,采用文档内非对称预测学习科学文献表示,结合SIGReg可提升性能,为科学文献表示提供了新的无引文方案。
2026-09-01 cs.AI cs.CL
MultiVerS: Improving scientific claim verification with weak supervision and full-document context
University of Washington(华盛顿大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
科学声明验证任务要求NLP系统标记支持或反驳输入声明的科学文档,并选择证明每个预测标签的证据句子(或理由)。在这项工作中,我们提出了MultiVerS,它预测了一个事实检查标签,并确定了理由,在一个多任务的方式的基础上共享编码的索赔和完整的文档上下文。这种方法实现了两个关键的建模目标。首先,它确保所有相关的上下文信息都被纳入每个标签决策。其次,它使模型能够从用文档级事实检查标签注释的实例中学习,但缺乏文档级的基本原理。这使得MultiVerS能够通过对使用高精度语法标记的科学文档进行训练来执行弱监督领域自适应。我们的方法在三个科学声明验证数据集上优于两个竞争基线,在零/Few-Shot领域自适应实验中表现特别出色。我们的代码和数据可在www.example.com上获得。
2022-05-09 cs.AI cs.CL
M3SciQA: A Multi-Modal Multi-Document Scientific QA Benchmark for Evaluating Foundation Models
Yale University(耶鲁大学);Allen Institute for AI(艾伦人工智能研究所)
针对现有基准忽视多模态与多文档研究流程的问题,提出M3SciQA基准,含1,452个专家标注问题覆盖70个NLP论文簇,评估18个基础模型,发现其在多模态检索与跨文档推理上仍远逊于人类专家。
2024-11-06 cs.AI cs.CL
Evaluating the Effectiveness of Retrieval-Augmented Large Language Models in Scientific Document Reasoning
Pacific Northwest National Laboratory(太平洋西北国家实验室)
针对大语言模型的幻觉问题,本研究评估检索增强型LLM的科学文献推理能力,发现这类模型仍会编造科学任务的证据,且用科学语料预训练无法缓解该风险。
2023-11-07 cs.AI cs.CL
SciMDR: Advancing Scientific Multimodal Document Reasoning
Yale University(耶鲁大学)
本文提出SciMDR数据集,通过合成与重嵌框架生成大规模多模态文档推理数据,提升科学问答任务的复杂度和真实性。
2026-04-29 cs.AI cs.CL cs.CV
Heterogeneous Element-Aware Cross-Version Differencing of Scientific Documents via Layout-Aware Alignment and Structure-Aware Reasoning
Beijing Renhe Information Technology Co., Ltd.(北京人和信息技术有限公司);Key Laboratory of Digital Publishing and Total Process Management of Scientific and Technical Journals(科技期刊数字出版与全程管理重点实验室)
针对科学文档跨版本差异分析难题,提出布局感知的异构元素感知框架,通过对齐优先机制建立对应并进行差异推理,支持多元素统一分析,实验显示其性能优于基线,相关分析证实方法有效性,为文档比较提供可靠方案。
2026-07-30 cs.AI cs.CL
Multi-Document Scientific Summarization from a Knowledge Graph-Centric View
National University of Defense Technology(国防科技大学)
多文档科学摘要(MDSS)旨在为主题相关的科学论文集群生成连贯和简洁的摘要。这项任务需要精确理解论文内容并准确建模跨论文关系。知识图谱为文档传递了紧凑且可解释的结构化信息,这使它们成为内容建模和关系建模的理想选择。在本文中,我们提出了KGSum,MDSS模型在编码和解码过程中的知识图谱为中心。具体而言,在编码过程中,提出了两个基于图的模块,将知识图谱信息融入到论文编码中;在解码过程中,提出了两级解码器,首先生成以描述性语句形式表示的摘要的知识图谱信息,然后生成最终摘要。实证结果表明,与Multi-Xscience数据集的基线相比,拟议的架构带来了实质性改进。
2022-09-09 cs.AI cs.CL
Document-as-Image Representations Fall Short for Scientific Retrieval
Department of Computer Science(计算机科学系)
本文提出ArXivDoc新基准,通过LaTeX源代码构建,对比文本、图像和多模态检索方法,发现基于图像的文档表示效果差,文本表示更有效,多模态方法表现最佳。
2026-10-15 cs.AI cs.CL cs.IR
Keyword Extraction in Scientific Documents
ETH Zurich(苏黎世联邦理工学院);SUPSI(瑞士南部应用科学与艺术大学);HE-Arc(阿尔高等工程学院);Dalle Molle Institute for Artificial Intelligence USI-SUPSI(USI-SUPSI达尔·莫勒人工智能研究所)
科学出版物的产量呈指数级增长。因此,跟踪趋势和变化越来越具有挑战性。理解科学文献是知识图谱构建、文本挖掘和学科分类等下游任务的重要步骤。在这个研讨会中,我们提供了一个更好的理解关键字和关键短语提取从摘要的科学出版物。
2022-07-07 cs.CL
SciBERTSUM: Extractive Summarization for Scientific Documents
Pennsylvania State University(宾夕法尼亚州立大学)
摘要类文献主要研究新闻文章的摘要。CNN-DailyMail中的新闻文章是相对较短的文档,平均每个文档约30个句子。我们介绍了SciBERTSUM,这是我们的摘要框架,专为超过500句的科学论文等长文档的摘要而设计。SciBERTSUM通过以下方式将BERTSUM扩展到长文档:1)添加一个节嵌入层,以将节信息包含在句子向量中; 2)应用稀疏注意力机制,其中每个句子将本地关注附近的句子,并且只有少数句子全局关注所有其他句子。我们使用科学论文作者生成的幻灯片作为参考摘要,因为它们包含论文的技术细节。结果表明,我们的模型在ROUGE分数方面的优越性。
2022-01-21 cs.CL
+VeriRel: Verification Feedback to Enhance Document Retrieval for Scientific Fact Checking
University of Sheffield(谢菲尔德大学)
本文提出+VeriRel方法,将验证成功纳入文档排序,在三个科学事实验证数据集上提升了文档证据检索性能并促进下游验证。
2025-08-14 cs.CL cs.IR
Leveraging Information Bottleneck for Scientific Document Summarization
Monash University(莫纳什大学);Deakin University(迪肯大学);Zhongtukexin Co. Ltd.(中土科信有限公司)
基于信息瓶颈原理,提出了一种无监督的科技长文档抽取方法。以前的工作,使用信息瓶颈原则的句子压缩的启发,我们将其扩展到文档级的摘要与两个单独的步骤。在第一步中,我们使用信号作为查询,从源文档中检索关键内容。然后,预先训练的语言模型进行进一步的句子搜索和编辑,以返回最终提取的摘要。重要的是,我们的工作可以通过不同的信号灵活地扩展到多视图框架。对三个科学文献数据集的自动评估验证了该框架的有效性。进一步的人工评估表明,提取的摘要比以前的系统覆盖更多的内容方面。
2021-10-04 cs.CL
Discourse-Aware Unsupervised Summarization of Long Scientific Documents
MILA(MILA研究所);McGill University(麦吉尔大学)
我们提出了一种无监督的基于图的排序模型,用于长科学文献的提取摘要。我们的方法假设一个两级的层次图表示的源文件,并利用不对称的位置线索,以确定句子的重要性。在PubMed和arXiv数据集上的结果表明,我们的方法在自动度量和人工评估方面远远优于强大的无监督基线。此外,它实现了与许多最先进的监督方法相当的性能,这些方法是在数十万个示例上训练的。这些结果表明,语篇结构中的模式是决定科技文章重要性的一个强有力的信号。
2021-01-13 cs.CL
A Summarization System for Scientific Documents
IBM Research(IBM研究);IBM Cloud(IBM云)
我们提出了一个新的系统提供摘要的计算机科学出版物。通过定性的用户研究,我们确定了发现,探索和理解科学文献的最有价值的场景。基于这些发现,我们建立了一个系统,可以检索和总结给定信息需求的科学文档,无论是以自由文本查询的形式,还是通过选择分类值,如科学任务,数据集等。我们的系统摄取了270,000篇论文,其摘要模块旨在生成简洁而详细的摘要。我们用人类专家验证了我们的方法。
2019-08-29 cs.CL
Coherence-Based Distributed Document Representation Learning for Scientific Documents
Key Laboratory of Intelligent Computing and Signal Processing, Ministry of Education(教育部智能计算与信号处理重点实验室);School of Computer Science and Technology, Anhui University(安徽大学计算机科学与技术学院);Information Materials and Intelligent Sensing Laboratory of Anhui Province(安徽省信息材料与智能感知实验室)
分布式文档表示是自然语言处理的基本问题之一。目前的分布式文档表示方法主要考虑单词或句子的上下文信息。这些方法没有考虑到文件作为一个整体的连贯性,例如,论文标题与摘要、标题与说明或文档中相邻正文之间的关系。连贯性表明文档在逻辑和句法上是否有意义,特别是在科学文档(论文或专利等)中。在本文中,我们提出了一个耦合文本对嵌入(CTPE)模型来学习科学文档的表示,它保持了文档的连贯性与耦合文本对形成的分割文件。首先,我们将文档分为两部分(例如,标题和摘要等),它们构成耦合的文本对。然后,采用负抽样方法构造两部分来自不同文档的非耦合文本对。最后,我们训练模型来判断文本对是否耦合,并将得到的耦合文本对嵌入作为文档的嵌入。我们在三个数据集上进行了一个信息检索任务和两个推荐任务的实验。实验结果验证了CTPE模型的有效性。
2022-01-08 cs.CL
Explaining Relationships Between Scientific Documents
University of Washington(华盛顿大学);Allen Institute for AI(艾伦人工智能研究所);Johns Hopkins University(约翰斯·霍普金斯大学)
我们解决的任务是使用自然语言文本解释两个科学文献之间的关系。这项任务需要对长技术文档的复杂内容进行建模,推导出这些文档之间的关系,并在文本中表达这种关系的细节。除了这个任务的理论兴趣,成功的解决方案可以帮助提高研究人员在搜索和审查的效率。在本文中,我们从154K文档中建立了622K示例的数据集。我们预训练了一个大语言模型,作为自回归方法的基础。我们探讨了采取不同的观点对这两个文件的影响,包括使用科学IE系统提取的密集表示。我们提供了广泛的自动和人工评估,显示了这些模型的前景,但为未来的工作提出了明确的挑战。
2021-08-12 cs.CL
DAGverse: Building Document-Grounded Semantic DAGs from Scientific Papers
Arizona State University(亚利桑那州立大学);Worcester Polytechnic Institute(伍斯特理工学院)
本文提出DAGverse框架,通过科学论文中的显式DAG图和文本上下文,自动构建文档导向的语义DAG,提升DAG分类和标注的精度。
2026-03-26 cs.AI cs.CL
Enhancing Keyphrase Extraction from Long Scientific Documents using Graph Embeddings
Comillas Pontifical University(科米亚斯宗座大学);Bloomberg(彭博社)
本研究提出一种图增强序列标注架构,通过图卷积网络生成的图嵌入来增强预训练语言模型的上下文表示,显著提升了长科学文档中关键短语抽取的F1分数。
2023-05-16 cs.AI cs.CL
Automatic Inter-document Multi-hop Scientific QA Generation
本文提出AIM-SciQA框架,通过大语言模型生成多文档多跳科学问答数据集,结合语义对齐和引用信息提升事实一致性,构建IM-SciQA数据集并验证其在检索增强推理中的有效性。
2026-03-15 cs.CL
Contrastive Hierarchical Discourse Graph for Scientific Document Summarization
University of California, Davis(加州大学戴维斯分校)
本文提出 CHANGES,通过层级语篇图、图信息聚合与图对比学习获得主题感知句子表示,用于抽取式科学论文摘要,并在 PubMed 和 arXiv 上验证有效。
2023-05-31 cs.CL
CiteWorth: Cite-Worthiness Detection for Improved Scientific Document Understanding
University of Copenhagen(哥本哈根大学)
科学的文档理解是具有挑战性的,因为数据是高度领域特定的和多样化的。然而,用于具有科学文本的任务的数据集需要昂贵的手动注释,并且往往很小并且仅限于一个或几个字段。与此同时,科学文档包含许多潜在的训练信号,例如引用,可用于构建大型标记数据集。鉴于此,我们提出了一个深入的研究,引用价值检测在英语中,一个句子被标记为是否引用外部来源。为了实现这一目标,我们引入了CiteWorth,这是一个大型的,上下文化的,严格清洁的标记数据集,用于从大量提取的纯文本科学文档语料库中构建的引用价值检测。我们表明,CiteWorth是高品质的,具有挑战性的,适合研究问题,如领域自适应。我们表现最好的引用价值检测模型是基于Longformer的段落级上下文化句子标记模型,与只考虑单个句子的SciBERT相比,表现出5个F1点的改进。最后,我们证明了语言模型微调与引用价值作为次要任务,导致下游的科学文档理解任务的性能提高。
2021-05-25 cs.CL cs.DL cs.LG
Doc2SAR: A Synergistic Framework for High-Fidelity Extraction of Structure-Activity Relationships from Scientific Documents
针对科学文献中SAR提取难题,提出协同框架Doc2SAR结合领域工具与微调MLLMs,并构建DocSAR-200基准,在多项指标上超越基线实现SOTA。
2025-10-11 cs.AI cs.CL cs.IR
SKT5SciSumm -- Revisiting Extractive-Generative Approach for Multi-Document Scientific Summarization
University of Information Technology(信息科技大学);VNU - HCM(胡志明市国家大学);Deakin University(迪肯大学);National Institute of Informatics(情报学研究所);University of Göttingen(哥廷根大学);University of Würzburg(维尔茨堡大学)
本文提出SKT5SciSumm混合框架,利用SPECTER编码和k-means聚类进行抽取式摘要,并结合T5模型生成抽象式摘要,在Multi-XScience数据集上达到最先进性能。
2024-09-27 cs.CL
Hierarchical Multi-Label Classification of Scientific Documents
University of Illinois Chicago(伊利诺伊大学芝加哥分校)
自动主题分类已被广泛研究,以帮助管理和索引的数字收集的科学文献。随着近年来出现的大量主题,有必要将它们按层次排列。因此,自动分类系统需要能够分级地对文档进行分类。此外,每篇论文往往被分配到一个以上的相关主题。例如,一篇论文可以被分配到层次树中的几个主题。在本文中,我们介绍了一个新的数据集,用于科学论文的分层多标签文本分类(HMLTC),称为SciHTC,它包含来自ACM CCS树的186,160篇论文和1,233个类别。我们为HMLTC建立了强大的基线,并提出了一种多任务学习方法,用于主题分类,关键字标记作为辅助任务。我们的最佳模型达到了34.57%的Macro-F1得分,这表明该数据集为分层科学主题分类提供了重要的研究机会。我们在Github上提供数据集和代码。
2022-11-05 cs.CL
Dimsum @LaySumm 20: BART-based Approach for Scientific Document Summarization
Center for Artificial Intelligence Research (CAiRE)The Hong Kong University of Science and Technology(香港科技大学人工智能研究中心(CAiRE));EMOS Technologies Inc.(EMOS科技公司)
摘要的目的是自动生成科技论文的摘要。这是一项重要的任务,可以增加科学对全社会的相关性。在本文中,我们建立了一个基于BART模型的层摘要生成系统。我们利用句子标签作为额外的监督信号,以提高分层摘要的性能。在CL-LaySumm 2020共享任务中,我们的模型获得了46.00\% Rouge 1-F1得分。
2020-10-19 cs.CL
Query-driven Document-level Scientific Evidence Extraction from Biomedical Studies
First Author Affiliation(第一作者机构);Second Author Affiliation(第二作者机构)
本文聚焦于存在冲突证据的临床问题,构建了CochraneForest数据集,并提出了检索增强生成框架URCA用于文档级科学证据抽取,其F1分数较最佳方法提升10.3%。
2025-05-30 cs.AI cs.CL
Scientific document summarization via citation contextualization and scientific discourse
Georgetown University(乔治城大学)
科学文献的快速增长使研究人员难以快速了解各自领域的发展。科学文献摘要通过提供科学论文重要贡献的摘要来应对这一挑战。我们提出了一个利用引文和科学语篇结构的科学文摘框架。引文文本往往缺乏证据和上下文来支持被引用论文的内容,有时甚至是不准确的。我们首先解决的问题,从被引用的论文中找到相关的上下文的引用文本的不准确性。我们提出了三种基于查询重构、词嵌入和监督学习的上下文引用方法。然后,我们训练一个模型来识别每个引用的话语方面。最后,我们提出了一种利用分面引文及其相应的上下文来总结科技论文的方法。我们在生物医学和计算语言学领域的两个科学摘要数据集上评估了我们提出的方法。广泛的评估结果表明,我们的方法可以提高了最先进的大幅度。
2017-06-12 cs.CL cs.DL
PDFMathTranslate: Scientific Document Translation Preserving Layouts
National University of Singapore(新加坡国立大学);Tsinghua University(清华大学);University of Chinese Academy of Sciences(中国科学院大学);Funstory.ai Limited(Funstory.ai有限公司)
PDFMathTranslate 是首个在翻译科学文档时保留排版的开源软件,结合大语言模型与精确排版检测,在精度、灵活性和效率上实现关键改进,下载量已超 222k 次。
2025-09-22 cs.CL cs.IR cs.LG
Towards the Improvement of Automated Scientific Document Categorization by Deep Learning
University of Hagen(哈根大学)
这篇硕士论文描述了一种使用深度学习技术对科学文档进行自动分类的算法,并将其结果与现有分类算法的结果进行了比较。作为一个额外的目标,一个可重复使用的API将被开发,允许在现有的软件中的分类任务的自动化。将提出使用卷积神经网络作为分类器并将其集成到基于REST的API中的设计。然后,这是作为一个实际的概念实现证明的基础,以及在这篇论文中。它将表明,深度学习分类器在多类文档分类的上下文中提供了非常好的结果,并且可以使用基于REST的服务将这些分类器集成到更大的生态系统中。
2017-06-18 cs.CL cs.IR
Keyphrase Generation for Scientific Document Retrieval
LS2N, Université de Nantes(南特大学LS2N实验室);National Institute of Informatics(国立信息学研究所)
序列到序列模型在关键词生成方面取得了重大进展,但它们是否足够可靠以有利于文档检索仍然是未知的。这项研究提供了经验证据表明,这样的模型可以显着提高检索性能,并介绍了一个新的外在评估框架,允许更好地了解关键词生成模型的局限性。使用这个框架,我们指出并讨论了补充文档中遇到的困难-不存在文本-关键词,并概括模型跨域。我们的代码可在https://github.com/boudinfl/ir-using-kg上获得
2021-06-28 cs.CL cs.IR
SciWING -- A Software Toolkit for Scientific Document Processing
National University of Singapore(新加坡国立大学)
我们介绍SciWING,一个开源的软件工具包,它提供了访问预先训练的模型,科学文档处理任务,包括引文字符串解析和逻辑结构恢复。SciWING使研究人员能够通过交换和堆叠不同的模块来快速实验不同的模型。它还使它们能够从配置文件中声明和运行模型。它使研究人员能够从一般的、预先训练的Transformers迁移学习(即,BERT、SciBERT等),并帮助开发最终用户应用程序。它包括随时可用的Web和基于终端的应用程序和演示(可从http://sciwing.io获得)。
2020-10-23 cs.CL cs.DL
CoRank: LLM-Based Compact Reranking with Document Features for Scientific Retrieval
University of Illinois \ -Champaign Urbana United States;Korea University Seoul South Korea;University of Illinois \ -Champaign;Korea University
CoRank提出一种无需训练、模型无关的三阶段科学检索重排序框架,利用类别、章节、关键词等紧凑文档特征先进行粗粒度重排序,再对顶部候选全文细粒度排序,在5个数据集上将平均nDCG@10从50.6提升至55.5。
2025-08-17 cs.CL cs.IR
Weakly-Supervised Scientific Document Classification via Retrieval-Augmented Multi-Stage Training
Emory University(埃默里大学);Georgia Institute of Technology(佐治亚理工学院)
针对科学文献分类标注成本高、标签与文献难匹配的问题,提出仅用标签名的弱监督框架WANDER,结合检索增强、标签扩展与自训练,在三个数据集上平均超最优基线11.9%。
2023-06-12 cs.CL cs.IR
Multi-Vector Models with Textual Guidance for Fine-Grained Scientific Document Similarity
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);University of Washington(华盛顿大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
提出了一种基于文本细粒度特征匹配的科技文档相似度模型。为了训练我们的模型,我们利用了一个自然发生的监督源:论文全文中的句子,这些句子一起引用了多篇论文(共同引用)。这样的共同引用不仅反映了密切的论文相关性,而且还提供了共同引用的论文是如何相关的文本描述。这种新颖的文本监督形式用于学习跨论文匹配方面。我们开发了多向量表示,其中向量对应于文档的文档级方面,并提出了两种方面匹配方法:(1)仅匹配单个方面的快速方法,以及(2)使用最优传输机制进行稀疏多个匹配的方法,该机制计算方面之间的地球移动器距离。我们的方法提高了四个数据集的文档相似性任务的性能。此外,我们的快速单匹配方法取得了有竞争力的结果,为将细粒度相似性应用于大型科学语料库铺平了道路。代码、数据和模型请访问:https://github.com/allenai/aspire
2022-05-04 cs.CL cs.IR
Sequence-Based Extractive Summarisation for Scientific Articles
Elsevier Ltd(爱思唯尔有限公司)
本文介绍了科学文章的监督提取文本摘要的研究结果。我们表明,一个简单的顺序标记模型的基础上,只有在一个文档中的文本实现了高的结果对一个简单的分类模型。可以通过额外的高级功能来实现改进,尽管这些功能是最小的。通过进一步的分析,我们展示了依赖于文档结构的顺序模型的潜力,该文档结构取决于文档来自的学科。
2022-04-07 cs.CL cs.IR
A Question Answering Framework for Decontextualizing User-facing Snippets from Scientific Documents
Allen Institute for AI(艾伦人工智能研究所);University of Washington(华盛顿大学);Yale University(耶鲁大学)
本文针对科学文档片段脱离原文后难以理解的问题,提出一种由问题生成、问题回答和重写三阶段组成的去语境化框架,并开发了优于端到端提示的 QaDecontext 策略。
2023-12-01 cs.CL