A Supervised Approach to Extractive Summarisation of Scientific Papers
University College London (UCL)（伦敦大学学院 (UCL)）
自动摘要是一种流行的方法来减少一个文件的主要论点。该领域最近的研究集中在总结的神经方法上，这可能非常需要数据。然而，很少有大型数据集存在，没有传统流行的科学出版物领域，这开辟了具有挑战性的研究途径，集中在编码大型，复杂的文件。在本文中，我们介绍了一个新的数据集，总结计算机科学出版物，利用大量的资源，作者提供的摘要，并显示直接的方式进一步扩展。我们在数据集上开发模型，利用神经句子编码和传统上使用的摘要功能，并表明编码句子及其局部和全局上下文的模型表现最好，显著优于成熟的基线方法。
2017-06-13 cs.AI cs.CL cs.NE
Synthesizing Scientific Summaries: An Extractive and Abstractive Approach
本文提出一种结合抽取式与生成式的混合方法用于科学论文摘要，利用无监督模型提取关键发现并与引言配对，结合transformer语言模型生成摘要，发现特定超参数组合可使系统摘要抽象度超越人类。
2024-07-29 cs.CL
Towards Abstractive Timeline Summarisation using Preference-based Reinforcement Learning
Intelligent Systems Laboratory, University of Bristol（布里斯托大学智能系统实验室）
针对生成式模型在时间线摘要任务上表现不及抽取式方法的问题，提出基于偏好的强化学习方法适配预训练生成式摘要模型，在多数据集上表现更优且更契合人类偏好。
2023-11-02 cs.CL cs.LG
Comparing Methods for Extractive Summarization of Call Centre Dialogue
Connex One（Connex One公司）
本文提供了一些文本摘要技术的评估结果的目的，生产呼叫摘要的联络中心解决方案。我们特别关注提取汇总方法，因为它们不需要任何标记的数据，并且在生产中非常快速和容易实现。我们实验比较几个这样的方法，使用它们来产生呼叫的摘要，并客观地（使用ROUGE-L）和主观地（通过聚合几个注释者的判断）评估这些摘要。我们发现TopicSum和Lead-N优于其他总结方法，而BERTSum在主观和客观评价中的得分相对较低。结果表明，即使是像Lead-N这样简单的基于统计学的方法，也能产生有意义和有用的呼叫中心对话摘要。
2022-09-06 cs.AI cs.CL
Discharge Summary Hospital Course Summarisation of In Patient Electronic Health Record Text with Clinical Concept Guided Deep Pre-Trained Transformer Models
King’s College London（伦敦国王学院）；King’s College Hospital NHS Foundation Trust（国王学院医院NHS基金会信托）；University College London（伦敦大学学院）
针对住院电子病历多文档摘要生成的复杂性，提出结合医学概念本体（SNOMED）作为临床指导信号的集成抽取式与生成式深度学习摘要模型，在真实临床数据集上表现优越。
2023-04-10 cs.CL
Query-focused Extractive Summarisation for Biomedical and COVID-19 Complex Question Answering
Macquarie University（麦考瑞大学）
本文介绍了麦考瑞大学参与最近两个BioASQ协同任务（截至2022年6月）和BioASQ 10任务B（BioASQ 10 b），阶段B。在这些任务中，参与系统预计将生成生物医学问题的复杂答案，其中答案可能包含一个以上的句子。我们采用以查询为中心的提取摘要技术。特别地，我们遵循基于句子分类的方法，该方法对与问题相关联的每个候选句子进行评分，并且将$n$得分最高的句子作为答案返回。Synergy Task对应于一个端到端系统，它需要文档选择、片段选择和找到最终答案，但它的训练数据非常有限。对于Synergy任务，我们选择了两个阶段的候选句子：文档检索和片段检索，最终的答案是通过使用一个DistilBERT/ALBERT分类器，已被训练的训练数据的BioASQ 9 b。使用BioASQ组织者提供的搜索API对CORD-19数据进行标准搜索，实现了文件检索，并通过使用问题和候选句子的余弦相似性对检索到的顶级文件的句子进行重新排序，实现了片段检索。我们观察到，通过sBERT表示的向量具有超过tf. idf的边缘。BioASQ 10 b B阶段侧重于寻找生物医学问题的具体答案。对于这项任务，我们遵循以数据为中心的方法。我们假设第一个BioASQ年的训练数据可能有偏差，我们用训练数据的不同子集进行了实验。当系统在BioASQ 10 b训练数据的后半部分上训练时，我们观察到结果的改善。
2022-09-05 cs.CL
Extractive text summarisation of Privacy Policy documents using machine learning approaches
University of Edinburgh（爱丁堡大学）
本研究针对隐私政策文档抽取式摘要任务，提出基于GDPR核心主题的预定义质心聚类模型，经评估其表现优于通用K-means模型，验证了无监督模型任务微调的有效性，可拓展用于隐私政策合规检测。
2024-04-09 cs.CL cs.LG
Template-based Abstractive Microblog Opinion Summarisation
University of Warwick（华威大学）；The Alan Turing Institute（艾伦·图灵研究所）；Massachusetts General Hospital（麻省总医院）；Queen Mary University of London（伦敦玛丽女王大学）；Utrecht University（乌得勒支大学）
我们介绍了微博意见摘要（MOS）的任务，并分享了一个数据集的3100个黄金标准的意见摘要，以促进在这一领域的研究。该数据集包含了2年内的推文摘要，涵盖的主题比任何其他公共Twitter摘要数据集都多。摘要本质上是抽象的，由擅长总结新闻文章的记者根据将事实信息（主要故事）与作者意见分开的模板创建。我们的方法不同于以往从社交媒体生成黄金标准摘要的工作，后者通常涉及选择代表性帖子，因此更倾向于提取摘要模型。为了展示数据集的实用性和挑战，我们对一系列抽象和提取的最先进的汇总模型进行了基准测试，并取得了良好的性能，前者的表现优于后者。我们还表明，微调是必要的，以提高性能和调查的好处，使用不同的样本量。
2022-10-03 cs.CL cs.LG
Lay Text Summarisation Using Natural Language Processing: A Narrative Literature Review
Glasgow Caledonian University（格拉斯哥卡里多尼亚大学）；University of the West of Scotland（西苏格兰大学）；Lay Summaries Ltd（Lay Summaries 有限公司）；University of Edinburgh（爱丁堡大学）
以浅白的语言总结研究结果，对促进公众了解研究结果至关重要。使用自然语言处理生成非专业摘要有可能减轻研究人员的工作量，并弥合科学与社会之间的差距。本叙述性文献综述的目的是描述和比较用于生成非专业摘要的不同文本摘要方法。我们检索了数据库Web of Science、Google Scholar、IEEE Xplore、Association for Computing Machinery数字图书馆和arXiv，查找截至2022年5月6日发表的文章。我们纳入了关于自动文本摘要方法的原始研究，以生成非专业摘要。我们筛选了82篇文章，并纳入了2020年至2021年期间发表的8篇相关论文，全部使用相同的数据集。结果表明，基于transformer的方法，如双向编码器表示从Transformers（BERT）和预训练提取的差距句子抽象摘要（PEGASUS）占主导地位的景观奠定文本摘要，所有的研究，但一个使用这些方法。在混合方法中，提取和抽象总结方法的组合被认为是最有效的。此外，输入文本的预处理方法（例如，应用提取摘要）或确定文本的哪些部分将被包括在内，显得至关重要。使用了不考虑可读性的评价指标，如面向回忆的替代评价（ROUGE）。总而言之，自动的文本摘要还没有得到充分的开发。未来的研究应考虑长文档的非专业文本摘要，包括临床试验报告，以及考虑非专业摘要可读性的评估指标的开发。
2023-03-24 cs.CL
Classification Betters Regression in Query-based Multi-document Summarisation Techniques for Question Answering: Macquarie University at BioASQ7b
Macquarie University（麦考瑞大学）
2019年BioASQ挑战赛B阶段的任务B侧重于生物医学问答。麦考瑞大学的参与应用了基于查询的多文档提取摘要技术，以生成给定问题和相关片段集的多句回答。在过去的参与中，我们使用深度学习架构和简单的策略梯度架构探索了回归方法的使用。在2019年的挑战中，我们尝试使用有和没有强化学习的分类方法。此外，我们还进行了各种ROUGE指标与BioASQ人类评估评分之间的相关性分析。
2019-09-02 cs.CL
Query Focused Multi-document Summarisation of Biomedical Texts
Macquarie University（麦考瑞大学）；Australian National University（澳大利亚国立大学）
本文介绍了麦考瑞大学和澳大利亚国立大学参与2020年BioASQ挑战赛（BioASQ8b）的任务B阶段。我们的整体框架实现了查询集中的多文档提取摘要，通过应用分类或回归层的候选句子嵌入和问题和句子嵌入之间的比较。我们使用BERT和BioBERT、Siamese架构和强化学习对变体进行了实验。当使用BERT来获得词嵌入，然后使用LSTM层来获得句子嵌入时，我们观察到最佳结果。使用Siamese架构或BioBERT的变体没有改善结果。
2020-08-27 cs.CL
Generating Extractive Summaries of Scientific Paradigms
University of Michigan（密歇根大学）；National Research Council Canada（加拿大国家研究委员会）；University of Maryland（马里兰大学）
研究人员和科学家越来越多地发现自己处于必须快速理解大量技术材料的境地。我们的目标是通过使用文献计量学文本挖掘和摘要技术来生成科学文献摘要，从而有效地满足这一需求。我们展示了如何使用引文来生成自动生成的、易于消费的技术摘要。我们首先提出了C-LexRank，一个基于引用的科学论文摘要模型，它采用社区发现并提取显著的信息丰富的句子。接下来，我们进一步扩展我们的实验，以总结一组论文，其中涵盖了相同的科学主题。我们生成提取摘要的一组问答（QA）和依存句法分析（DP）的论文，他们的摘要，他们的引文句子，并表明，引文有独特的信息适合创建一个摘要。
2014-02-04 cs.CL cs.IR
Bias in Opinion Summarisation from Pre-training to Adaptation: A Case Study in Political Bias
RMIT University（皇家墨尔本理工大学）
该研究以政治偏见为案例，建立生成式观点摘要模型的偏见量化方法，追踪偏见从预训练到社交媒体摘要适配阶段的传递，发现模型多有固有偏见，少参数微调比标准微调偏见更低，且训练数据主题多样性很关键。
2024-02-01 cs.CL
Making Science Simple: Corpora for the Lay Summarisation of Scientific Literature
University of Sheffield（谢菲尔德大学）；Beihang University（北京航空航天大学）
本文构建PLOS与eLife两个含专家通俗摘要的生物医学文献数据集，刻画其可读性与抽象性差异，并通过主流模型基准测试和专家人工评估验证效用。
2023-12-12 cs.CL
Efficient and Interpretable Compressive Text Summarisation with Unsupervised Dual-Agent Reinforcement Learning
The University of Sydney（悉尼大学）；International Digital Economy Academy（国际数字经济研究院）
提出首个无监督压缩式文本摘要方法，通过extractor与compressor双智能体强化学习优化语义覆盖和流畅性，无需参考摘要，并在Newsroom、CNN/DM和XSum上验证有效。
2023-06-06 cs.CL
SinBrief: A Hybrid Framework for Abstractive Text Summarisation of Sinhala Legal Documents
SinBrief提出一种无需人工标注的混合抽象摘要框架，结合词图构建与神经句子评分，在僧伽罗语法律文本上实现低词汇重叠且保持事实一致性的摘要生成。
2026-09-29 cs.CL
Interactive Text Ranking with Bayesian Optimisation: A Case Study on Community QA and Summarisation
University of Bristol（布里斯托大学）；Royal Holloway, University of London（伦敦大学皇家霍洛威学院）
对于许多NLP应用程序，例如问答和摘要，目标是从大量候选项中选择最佳解决方案，以满足特定用户的需求。为了解决缺乏用户特定的训练数据，我们提出了一个交互式的文本排名方法，积极选择对候选人，用户从中选择最好的。与以前的策略不同，这些策略试图在整个候选空间中学习排名，我们的方法采用贝叶斯优化，将用户的标签工作集中在高质量的候选人上，并以贝叶斯方式整合先验知识，以更好地应对小数据场景。我们将我们的方法应用于社区问答（cQA）和提取摘要，发现它显着优于现有的交互式方法。我们还表明，通过我们的方法学习的排名函数是强化学习的有效奖励函数，它提高了交互式摘要的最新技术水平。
2020-09-12 cs.AI cs.CL
Legal Summarisation through LLMs: The PRODIGIT Project
University of Bologna（博洛尼亚大学）；Federal University of Santa Catarina（圣卡塔琳娜联邦大学）；University of Brescia（布雷西亚大学）
PRODIGIT项目利用GPT4等大语言模型为意大利税务司法领域生成判决摘要并提取法律问题与决策标准，经专家评估效果满意，并正构建公开原型应用。
2023-08-04 cs.CL
Combination of abstractive and extractive approaches for summarization of long scientific texts
ITMO University（圣彼得堡国立信息技术机械与光学大学）；JetBrains（捷并思）
在这项研究工作中，我们提出了一种方法来生成长的科学文献的摘要，同时使用提取和抽象的方法的优点。在以抽象的方式生成摘要之前，我们执行提取步骤，然后将其用于调节抽象器模块。我们使用预训练的基于transformer的语言模型，用于提取器和抽象器。我们的实验表明，使用提取和抽象模型联合显着提高摘要结果和ROUGE分数。
2020-06-12 cs.CL
SciBERTSUM: Extractive Summarization for Scientific Documents
Pennsylvania State University（宾夕法尼亚州立大学）
摘要类文献主要研究新闻文章的摘要。CNN-DailyMail中的新闻文章是相对较短的文档，平均每个文档约30个句子。我们介绍了SciBERTSUM，这是我们的摘要框架，专为超过500句的科学论文等长文档的摘要而设计。SciBERTSUM通过以下方式将BERTSUM扩展到长文档：1）添加一个节嵌入层，以将节信息包含在句子向量中; 2）应用稀疏注意力机制，其中每个句子将本地关注附近的句子，并且只有少数句子全局关注所有其他句子。我们使用科学论文作者生成的幻灯片作为参考摘要，因为它们包含论文的技术细节。结果表明，我们的模型在ROUGE分数方面的优越性。
2022-01-21 cs.CL
Mitigating Hallucinations in Zero-Shot Scientific Summarisation: A Pilot Study
Department of Chemical Engineering and Biotechnology（化学工程与生物技术系）；University of Cambridge（剑桥大学）
本研究探讨提示工程方法对缓解零样本科学摘要中的幻觉效果，发现上下文重复和随机添加能显著提升摘要与原文的对齐度。
2025-11-30 cs.AI cs.CL
Extractive Summarizer for Scholarly Articles
Penn State University（宾夕法尼亚州立大学）
我们介绍了一种提取方法，将总结长的科学论文。我们的模型使用论文作者提供的演示幻灯片作为黄金摘要标准来标记句子。根据深度神经网络估计的句子的新颖性和重要性对句子进行排名。我们的基于窗口的提取标记的句子的结果在至少4个ROUGE 1-召回点的改善。
2020-08-25 cs.CL cs.IR cs.LG
Science Checker: Extractive-Boolean Question Answering For Scientific Fact Checking
Opscidia（Opscidia公司）
随着科学出版物的爆炸式增长，使科学知识的综合和事实核查成为一项日益复杂的任务。在本文中，我们提出了一个多任务的方法来验证科学问题的基础上，联合推理的事实和证据的研究文章。我们提出了一个智能的组合（1）一个自动的信息摘要和（2）一个布尔问答，它允许生成一个答案的科学问题，从总结后获得的提取。因此，在给定的主题上，我们提出的方法基于论文摘要进行结构化内容建模，以回答科学问题，同时突出显示讨论该主题的论文中的文本。我们的最终系统基于端到端的提取问答（EQA），结合三个输出分类模型，对问题进行深入的语义理解，以说明多个响应的聚合。通过我们提出的轻巧快速的架构，我们实现了4%的平均出错率和95.6%的F1分数。我们的研究结果支持通过实验与两个QA模型（BERT，RoBERTa）超过300万开放获取（OA）的文章在医疗和健康领域的欧洲PMC。
2022-04-29 cs.AI cs.CL cs.IR
SKT5SciSumm -- Revisiting Extractive-Generative Approach for Multi-Document Scientific Summarization
University of Information Technology（信息科技大学）；VNU - HCM（胡志明市国家大学）；Deakin University（迪肯大学）；National Institute of Informatics（情报学研究所）；University of Göttingen（哥廷根大学）；University of Würzburg（维尔茨堡大学）
本文提出SKT5SciSumm混合框架，利用SPECTER编码和k-means聚类进行抽取式摘要，并结合T5模型生成抽象式摘要，在Multi-XScience数据集上达到最先进性能。
2024-09-27 cs.CL
Scientific Paper Extractive Summarization Enhanced by Citation Graphs
Shandong University（山东大学）；Renmin University of China（中国人民大学）；University of Notre Dame（圣母大学）；KAUST（阿卜杜拉国王科技大学）；Ant Group（蚂蚁集团）
在引用图中，相邻的论文节点共享相关的科学术语和主题。因此，该图传达了可以在论文摘要任务中利用的文档级相关性的唯一结构信息，用于探索超出文档内的信息。在这项工作中，我们专注于利用引文图，以提高科学论文摘要在不同的设置。我们首先提出了一个多粒度无监督摘要模型（MUS）作为一个简单的和低成本的解决方案的任务。MUS通过链接预测任务在引用图上微调预训练的编码器模型。然后，考虑到多粒度信息，从相应的文章中提取摘要句子。初步结果表明，即使在一个简单的无监督框架中，引用图也是有帮助的。受此启发，我们接下来提出了一个基于图的监督摘要模型（GSS），以在大规模标记数据可用时实现更准确的任务结果。除了采用链接预测作为辅助任务外，GSS还引入了一个门控语句编码器和一个图信息融合模块，以利用图信息来优化语句表示。在公共基准数据集上的实验表明，MUS和GSS比现有的最先进的模型带来了实质性的改进。
2022-12-08 cs.CL
Continual BERT: Continual Learning for Adaptive Extractive Summarization of COVID-19 Literature
Deerfield Academy（迪尔菲尔德学院）
科学界每天继续发表大量与COVID-19相关的新研究，导致许多文献几乎没有引起关注。为了帮助社区了解快速流动的COVID-19文献，我们提出了一种新颖的BERT架构，为冗长的论文提供简短而原始的摘要。该模型以在线方式不断学习新数据，同时最大限度地减少灾难性遗忘，从而适应社区的需求。基准测试和手动检查其性能表明，该模型提供了一个新的科学文献的声音总结。
2020-09-27 cs.CL cs.LG
Extractive Research Slide Generation Using Windowed Labeling Ranking
Pennsylvania State University（宾夕法尼亚州立大学）；Old Dominion University（欧道明大学）
介绍科学和技术论文内容的幻灯片是介绍这项工作的一种高效和有效的方式。然而，手动生成演示幻灯片是劳动密集型的。我们提出了一种方法来自动生成幻灯片的科学论文的基础上，语料库的5000纸幻灯片对汇编会议论文集网站。我们的方法的句子标记模块是基于SummaRuNNer的，这是一种用于提取摘要的神经序列模型。我们的算法不是根据整个文档中的语义相似性对句子进行排名，而是通过在句子窗口内结合语义和词汇特征来衡量句子的重要性和新颖性。我们的方法在ROUGE评分方面优于几种基线方法，包括SummaRuNNer。
2021-06-06 cs.AI cs.CL
Extractive Summarization of Long Documents by Combining Global and Local Context
University of British Columbia（不列颠哥伦比亚大学）
在本文中，我们提出了一种新的神经单文档提取摘要模型的长文档，结合了整个文档的全局上下文和当前主题内的局部上下文。我们在两个科学论文数据集Pubmed和arXiv上评估了该模型，在ROUGE-1，ROUGE-2和METEOR评分上，它优于以前的工作，无论是提取模型还是抽象模型。我们还表明，与我们的目标一致，我们的方法的好处变得更强，因为我们将其应用于较长的文件。令人惊讶的是，一项消融研究表明，我们的模型的好处似乎完全来自于对本地上下文的建模，即使是最长的文档。
2019-09-17 cs.CL
LongDocFACTScore: Evaluating the Factuality of Long Document Abstractive Summarisation
Artificial Intelligence Research Center（人工智能研究中心）
本文提出LongDocFACTScore框架及LongSciVerify数据集，用于评估长文档摘要的事实一致性，该框架可扩展至任意长度文档，且与人类判断的相关性优于现有指标。
2024-05-28 cs.AI cs.CL cs.LG
Unsupervised Extractive Summarization by Human Memory Simulation
School of Informatics, University of Edinburgh（爱丁堡大学信息学院）；Naver Labs Europe
摘要系统面临着识别和选择重要信息的核心挑战。在本文中，我们解决的问题，在无监督的提取摘要的长，结构化的文件的内容选择。我们介绍了一个广泛的知识，利用内容单元的认知表征，以及这些是如何保留或遗忘在人类记忆中。我们发现，人类记忆的这些表征的属性可以被利用来捕获科学文章中的内容单元的相关性。实验表明，我们提出的语义学在利用认知结构和文档的组织（即，文章的部分），并且自动和人工评估提供了强有力的证据，表明这些启发式方法提取了更有摘要价值的内容单元。
2021-04-16 cs.CL
Document Summarization with Text Segmentation
Microsoft AI（微软人工智能）
在本文中，我们利用固有的文档段结构，以改善提取摘要任务。我们建立了两个文本分割模型，并找到了最佳的策略，以介绍他们的输出预测在提取摘要模型。在科技文章语料库上的实验结果表明，提取式摘要得益于使用高精度的分割方法。特别是，大部分的改进是在文档中，最相关的信息不是在开始，因此，我们得出结论，分割有助于减少铅偏见的问题。
2023-01-20 cs.CL
GoSum: Extractive Summarization of Long Documents by Reinforcement Learning and Graph Organized discourse state
Charles Sturt University（查尔斯特大学）；Atypon Systems, LLC（Atypon系统有限责任公司）；Fudan University（复旦大学）
从长文档中提取摘要可以看作是利用文档的结构信息进行句子分类。如何使用这样的结构化信息来概括文档是具有挑战性的。在本文中，我们提出了GoSum，一种新的图和强化学习为基础的提取模型的长论文摘要。特别是，GoSum通过为不同话语级别的每个输入文档构建异构图，在强化学习中对句子状态进行编码。图中的边反映了文档的语篇层次结构，用于抑制跨节边界的语义漂移。我们在两个科学文章摘要数据集上评估了GoSum：PubMed和arXiv。实验结果表明，与提取和抽象模型的强基线相比，GoSum实现了最先进的结果。消融研究进一步验证了我们的GoSum的性能受益于话语信息的使用。
2023-01-20 cs.CL
Topic-Centric Unsupervised Multi-Document Summarization of Scientific and News Articles
Wright State University（莱特州立大学）
自然语言处理的最新进展已经实现了广泛任务的自动化，包括机器翻译、命名实体识别和情感分析。然而，文档或文档组的自动摘要仍然难以实现，许多努力仅限于提取关键字、关键短语或关键句子。由于问题的固有困难和训练数据的有限可用性，尚未实现准确的抽象概括。在本文中，我们提出了一个以主题为中心的无监督多文档摘要框架，用于为Microsoft Academic Graph（MAG）中的20个研究领域（FoS）的科学文章和DUC-2004任务2的新闻文章生成提取和抽象摘要。该算法通过开发显著语言单元选择和文本生成技术来生成抽象摘要。我们的方法在自动提取评估指标上进行评估时与最先进的方法相匹配，并且在五个人类评估指标（蕴涵，连贯性，简洁性，可读性和语法）上的抽象摘要中表现得更好。我们在两位共同作者的语言学家之间获得了0.68的Kappa评分，他们评估了我们的结果。我们计划公开分享MAG-20，这是一个人类验证的主题聚类研究文章及其摘要的黄金标准数据集，以促进抽象摘要的研究。
2020-11-03 cs.CL cs.IR cs.LG
Enhancing Extractive Text Summarization with Topic-Aware Graph Neural Networks
School of Computer Science and Technology, Harbin Institute of Technology（哈尔滨工业大学计算机科学与技术学院）
文本摘要的目的是将文本压缩成简短的摘要，同时保留显著信息。摘要抽取式自动摘要方法以其流畅性和高效性被广泛应用于文本摘要中。然而，大多数现有的提取模型很难捕捉句子间的关系，特别是在长文档。他们还经常忽视主题信息对捕捉重要内容的影响。为了解决这些问题，本文提出了一个基于图神经网络（GNN）的提取摘要模型，使捕捉句子间的关系，有效地通过图结构的文档表示。此外，我们的模型集成了一个联合神经主题模型（NTM），以发现潜在的主题，它可以提供文档级的功能，句子选择。实验结果表明，我们的模型不仅在CNN/DM和NYT数据集上取得了最先进的结果，而且在由更长文档组成的科学论文数据集上的性能也大大优于现有方法，表明其在文档类型和长度方面具有更好的鲁棒性。进一步的讨论表明，主题信息可以帮助模型从整个文档中预选出显著的内容，这解释了它在长文档摘要中的有效性。
2020-10-13 cs.AI cs.CL
Keyphrase Generation: A Multi-Aspect Survey
Charles University Prague（布拉格查理大学）；Czech Republic（捷克）
提取关键短语生成的研究从90年代就开始了，但是基于编码器-解码器框架和序列到序列学习的更高级的抽象方法直到最近才被探索。事实上，在过去的三年里，已经提出了十几种抽象方法，产生了有意义的关键词，并获得了最先进的分数。在这篇综述中，我们研究了提取关键词生成方法的各个方面，主要集中在最近的基于神经网络的抽象方法。我们特别关注推动后者完善的机制。为研究社区创建并发布了大量科学文章元数据和相应的关键词。我们还介绍了过去二十年来各种关键词生成和文本摘要的研究模式和趋势。
2019-10-11 cs.CL cs.IR
Keyphrase Generation for Scientific Articles using GANs
MIDAS, IIIT-Delhi（印度理工学院德里分校MIDAS（可能是一个研究实验室或中心））；Bloomberg（彭博（公司））
在本文中，我们提出了一种使用条件生成对抗网络（GAN）的关键短语生成方法。在我们的GAN模型中，生成器根据科学文章的标题和摘要输出一系列关键词。机器人学会区分机器生成的关键词和人类策划的关键词。我们在标准基准数据集上评估了这种方法。我们的模型在生成抽象关键词方面达到了最先进的性能，并且可以与性能最好的提取技术相媲美。我们还证明了我们的方法可以生成更多样化的关键词，并使我们的实现公开可用。
2019-09-24 cs.CL cs.IR cs.LG
Efficient Extractive Summarization with MAMBA-Transformer Hybrids for Low-Resource Scenarios
University of Memphis（密苏里大学）
本文提出了一种结合Transformer和Mamba的状态空间模型，用于高效提取式摘要，尤其在低资源环境下表现出色，提升了摘要质量并加快了推理速度。
2026-03-01 cs.CL
Discourse-Aware Unsupervised Summarization of Long Scientific Documents
MILA（MILA研究所）；McGill University（麦吉尔大学）
我们提出了一种无监督的基于图的排序模型，用于长科学文献的提取摘要。我们的方法假设一个两级的层次图表示的源文件，并利用不对称的位置线索，以确定句子的重要性。在PubMed和arXiv数据集上的结果表明，我们的方法在自动度量和人工评估方面远远优于强大的无监督基线。此外，它实现了与许多最先进的监督方法相当的性能，这些方法是在数十万个示例上训练的。这些结果表明，语篇结构中的模式是决定科技文章重要性的一个强有力的信号。
2021-01-13 cs.CL
Contrastive Hierarchical Discourse Graph for Scientific Document Summarization
University of California, Davis（加州大学戴维斯分校）
本文提出 CHANGES，通过层级语篇图、图信息聚合与图对比学习获得主题感知句子表示，用于抽取式科学论文摘要，并在 PubMed 和 arXiv 上验证有效。
2023-05-31 cs.CL
Attention based Sentence Extraction from Scientific Articles using Pseudo-Labeled data
DA-IICT
在这项工作中，我们提出了一个弱监督的句子提取技术，以确定重要的句子在科学论文中，是值得列入摘要。我们提出了一种新的基于注意力的深度学习架构，该架构联合学习以识别重要内容，以及指示值得总结的句子的提示短语。我们提出了一种新的上下文嵌入技术，用于使用主题模型确定给定论文的焦点，并将其与基于LSTM的序列编码器联合使用，以学习句子单词的注意力权重。我们使用ACL anthology公开提供的文章集合进行实验。我们的系统实现了更好的性能，在几个ROUGE指标方面，相比几个国家的最先进的提取技术。它还生成了更连贯的摘要，并保留了文件的整体结构。
2018-02-13 cs.AI cs.CL cs.IR
Leveraging Information Bottleneck for Scientific Document Summarization
Monash University（莫纳什大学）；Deakin University（迪肯大学）；Zhongtukexin Co. Ltd.（中土科信有限公司）
基于信息瓶颈原理，提出了一种无监督的科技长文档抽取方法。以前的工作，使用信息瓶颈原则的句子压缩的启发，我们将其扩展到文档级的摘要与两个单独的步骤。在第一步中，我们使用信号作为查询，从源文档中检索关键内容。然后，预先训练的语言模型进行进一步的句子搜索和编辑，以返回最终提取的摘要。重要的是，我们的工作可以通过不同的信号灵活地扩展到多视图框架。对三个科学文献数据集的自动评估验证了该框架的有效性。进一步的人工评估表明，提取的摘要比以前的系统覆盖更多的内容方面。
2021-10-04 cs.CL
Reading Between the Citations: A Typed Claim Network for Scientific Literature
Australian National University（澳大利亚国立大学）
针对现有知识图谱忽略引用立场的问题，提出将文献间引用具体化为带有立场标签的类型化主张网络，并构建了包含8260条主张的实例，在检索增强、立场摘要和拓扑分析三个任务上验证其有效性。
2026-05-29 cs.AI cs.CL cs.IR
Data-driven Summarization of Scientific Articles
Institute of Neuroinformatics, University of Z \"u rich
数据驱动的方法序列到序列建模已成功地应用于新闻文章的短文本摘要。这样的模型通常在仅由单个或几个句子组成的输入-摘要对上训练，部分地由于多句子训练数据的有限可用性。在这里，我们建议使用科学文章作为文本摘要的一个新里程碑：大规模的训练数据几乎是免费的，有两种不同级别的高质量摘要-标题和摘要。我们从科学文章中生成两个新的多句摘要数据集，并测试了现有的各种基于提取和抽象神经网络的摘要方法的适用性。我们的分析表明，科学论文适合数据驱动的文本摘要。我们的研究结果可以作为有价值的基准扩展序列到序列模型非常长的序列。
2018-04-24 cs.CL
KnowledgeHub: An end-to-end Tool for Assisted Scientific Discovery
IBM Research Europe（IBM欧洲研究院）；IBM Research（IBM研究院）；University College London（伦敦大学学院）
本文提出 KnowledgeHub 工具，通过集成 PDF 解析、本体标注、NER/RC 模型训练、知识图谱构建及基于检索的大语言模型问答与摘要，实现端到端的辅助科学发现。
2024-06-17 cs.AI cs.CL cs.DL
Chapter 7 Review of Data-Driven Generative AI Models for Knowledge Extraction from Scientific Literature in Healthcare
University of Maribor（马里博尔大学）；University of Ljubljana（卢布尔雅那大学）；University of Edinburgh（爱丁堡大学）
本综述考察了基于NLP的生成式文本摘要方法的发展与对比，梳理了文本摘要历史，通过筛选7项研究进行深入分析，并比较了GPT-3与GPT-4在科学文本摘要中的表现，指出该技术尚未完全成熟但将逐步引入实践。
2024-11-18 cs.AI cs.CL
INDUS: Effective and Efficient Language Models for Scientific Applications
IBM Research AI（IBM研究院人工智能部门）；UAH（阿拉巴马大学亨茨维尔分校）；NASA MFSC（美国国家航空航天局马歇尔太空飞行中心）；Navteca（纳夫特卡公司）；NASA GSFC（美国国家航空航天局戈达德太空飞行中心）；NASA Ames（美国国家航空航天局艾姆斯研究中心）；Harvard-Smithsonian CfA（哈佛-史密森尼天体物理中心）；NASA HQ（美国国家航空航天局总部）；Smart City & ERZ Zurich（苏黎世智慧城市与区域能源中心）
本研究针对科学领域专业任务需求，开发了含编码器、文本嵌入模型及蒸馏小模型的INDUS语言模型套件，构建三个科学基准数据集，验证其性能优于现有通用及领域模型，并展示了工业场景应用。
2024-10-30 cs.CL cs.IR
Hierarchical Attention Graph for Scientific Document Summarization in Global and Local Level
School of Electronic Engineering, Beijing University of Posts and Telecommunications（北京邮电大学电子工程学院）；Beijing Key Laboratory of Work Safety Intelligent Monitoring, Beijing University of Posts and Telecommunications（北京邮电大学安全生产智能监控北京市重点实验室）
针对长科学文档摘要中难以同步建模全局句间与局部句内关系的问题，提出基于层级语篇结构的HAESum方法，结合局部异构图与超图自注意力层建模两类关系，在两个基准数据集上验证了有效性。
2024-05-16 cs.CL
Toward Unifying Text Segmentation and Long Document Summarization
Tencent AI Lab（腾讯人工智能实验室）；Emory University（埃默里大学）
文本分割对于表示文档的结构很重要。如果不将一个长文档分割成主题连贯的部分，读者就很难理解文本，更不用说找到重要信息了。由于录音/录像记录的文字记录没有分段，这一问题更加严重。在本文中，我们探讨的作用，部分分割书面和口头文件的提取摘要。我们的方法通过同时执行摘要和分割来学习鲁棒的句子表示，并通过基于优化的正则化器进一步增强，以促进对不同摘要句子的选择。我们在从科学文章到口语成绩单的多个数据集上进行实验，以评估模型的性能。我们的研究结果表明，该模型不仅可以实现国家的最先进的性能公开可用的基准，但表现出更好的跨体裁的可移植性时，配备了文本分割。我们进行了一系列的分析，以量化的影响，总结书面和口头文件的长度和复杂性的部分分割。
2022-10-28 cs.CL
Instruction-Guided Bullet Point Summarization of Long Financial Earnings Call Transcripts
Indian Institute of Technology（印度理工学院）；Vellore Institute of Technology（韦洛尔理工学院）
本文面向长篇财报电话会议记录，提出结合无监督问题抽取与参数高效指令微调的 FLAN-FinBPS，在 ECTSum 上实现 14.88% 的平均 ROUGE 提升并生成事实一致的要点摘要。
2024-05-03 cs.CE cs.CL cs.IR
