Towards the Use of Deep Reinforcement Learning with Global Policy For Query-based Extractive Summarisation
Macquarie University（麦考瑞大学）
用于文本摘要的监督方法遭受单个句子的目标标签/分数与最终摘要的评估分数之间的不匹配的问题。强化学习可以通过提供一种学习机制来解决这个问题，该机制使用最终摘要的分数作为指导，以确定在选择每个句子时所做的决定。在本文中，我们提出了一个概念验证的方法，应用政策梯度算法学习一个随机的政策，使用未贴现的奖励。该方法已被应用到一个简单的神经网络和简单的功能组成的政策。由此产生的深度强化学习系统能够学习全局策略并获得令人鼓舞的结果。
2017-11-14 cs.CL
Template-based Abstractive Microblog Opinion Summarisation
University of Warwick（华威大学）；The Alan Turing Institute（艾伦·图灵研究所）；Massachusetts General Hospital（麻省总医院）；Queen Mary University of London（伦敦玛丽女王大学）；Utrecht University（乌得勒支大学）
我们介绍了微博意见摘要（MOS）的任务，并分享了一个数据集的3100个黄金标准的意见摘要，以促进在这一领域的研究。该数据集包含了2年内的推文摘要，涵盖的主题比任何其他公共Twitter摘要数据集都多。摘要本质上是抽象的，由擅长总结新闻文章的记者根据将事实信息（主要故事）与作者意见分开的模板创建。我们的方法不同于以往从社交媒体生成黄金标准摘要的工作，后者通常涉及选择代表性帖子，因此更倾向于提取摘要模型。为了展示数据集的实用性和挑战，我们对一系列抽象和提取的最先进的汇总模型进行了基准测试，并取得了良好的性能，前者的表现优于后者。我们还表明，微调是必要的，以提高性能和调查的好处，使用不同的样本量。
2022-10-03 cs.CL cs.LG
A Supervised Approach to Extractive Summarisation of Scientific Papers
University College London (UCL)（伦敦大学学院 (UCL)）
自动摘要是一种流行的方法来减少一个文件的主要论点。该领域最近的研究集中在总结的神经方法上，这可能非常需要数据。然而，很少有大型数据集存在，没有传统流行的科学出版物领域，这开辟了具有挑战性的研究途径，集中在编码大型，复杂的文件。在本文中，我们介绍了一个新的数据集，总结计算机科学出版物，利用大量的资源，作者提供的摘要，并显示直接的方式进一步扩展。我们在数据集上开发模型，利用神经句子编码和传统上使用的摘要功能，并表明编码句子及其局部和全局上下文的模型表现最好，显著优于成熟的基线方法。
2017-06-13 cs.AI cs.CL cs.NE
Synthesizing Scientific Summaries: An Extractive and Abstractive Approach
本文提出一种结合抽取式与生成式的混合方法用于科学论文摘要，利用无监督模型提取关键发现并与引言配对，结合transformer语言模型生成摘要，发现特定超参数组合可使系统摘要抽象度超越人类。
2024-07-29 cs.CL
Comparing Methods for Extractive Summarization of Call Centre Dialogue
Connex One（Connex One公司）
本文提供了一些文本摘要技术的评估结果的目的，生产呼叫摘要的联络中心解决方案。我们特别关注提取汇总方法，因为它们不需要任何标记的数据，并且在生产中非常快速和容易实现。我们实验比较几个这样的方法，使用它们来产生呼叫的摘要，并客观地（使用ROUGE-L）和主观地（通过聚合几个注释者的判断）评估这些摘要。我们发现TopicSum和Lead-N优于其他总结方法，而BERTSum在主观和客观评价中的得分相对较低。结果表明，即使是像Lead-N这样简单的基于统计学的方法，也能产生有意义和有用的呼叫中心对话摘要。
2022-09-06 cs.AI cs.CL
Query-Focused Extractive Summarisation for Finding Ideal Answers to Biomedical and COVID-19 Questions
Macquarie University（麦考瑞大学）
本文介绍了麦考瑞大学对BioASQ协同任务和BioASQ 9 b B阶段的参与。在这些任务中，我们的参与集中在使用以查询为中心的提取摘要，以获得医学问题的理想答案。协同任务是一项关于COVID-19的端到端问答任务，系统需要返回相关文档、片段和给定问题的答案。由于缺乏训练数据，我们使用了一个以查询为中心的总结系统，该系统使用BioASQ 8b训练数据集进行训练，我们试验了检索文档和片段的方法。考虑到我们的系统检索到的文档和片段的质量很差，我们在返回的答案中观察到了相当好的质量。对于BioASQ 9 b任务的B阶段，相关文档和片段已包含在测试数据中。我们的系统将片段分割成候选句子，并在句子分类设置下使用BERT变体。该系统使用问题和候选句子作为输入，并经过训练以预测候选句子作为理想答案的一部分的可能性。运行获得了所有BioASQ 9 b批次的所有参与者的最佳或次佳ROUGE-F1结果。这表明，在分类设置中使用BERT是识别理想答案的非常强的基线。
2021-08-31 cs.CL cs.IR
Discharge Summary Hospital Course Summarisation of In Patient Electronic Health Record Text with Clinical Concept Guided Deep Pre-Trained Transformer Models
King’s College London（伦敦国王学院）；King’s College Hospital NHS Foundation Trust（国王学院医院NHS基金会信托）；University College London（伦敦大学学院）
针对住院电子病历多文档摘要生成的复杂性，提出结合医学概念本体（SNOMED）作为临床指导信号的集成抽取式与生成式深度学习摘要模型，在真实临床数据集上表现优越。
2023-04-10 cs.CL
Query-focused Extractive Summarisation for Biomedical and COVID-19 Complex Question Answering
Macquarie University（麦考瑞大学）
本文介绍了麦考瑞大学参与最近两个BioASQ协同任务（截至2022年6月）和BioASQ 10任务B（BioASQ 10 b），阶段B。在这些任务中，参与系统预计将生成生物医学问题的复杂答案，其中答案可能包含一个以上的句子。我们采用以查询为中心的提取摘要技术。特别地，我们遵循基于句子分类的方法，该方法对与问题相关联的每个候选句子进行评分，并且将$n$得分最高的句子作为答案返回。Synergy Task对应于一个端到端系统，它需要文档选择、片段选择和找到最终答案，但它的训练数据非常有限。对于Synergy任务，我们选择了两个阶段的候选句子：文档检索和片段检索，最终的答案是通过使用一个DistilBERT/ALBERT分类器，已被训练的训练数据的BioASQ 9 b。使用BioASQ组织者提供的搜索API对CORD-19数据进行标准搜索，实现了文件检索，并通过使用问题和候选句子的余弦相似性对检索到的顶级文件的句子进行重新排序，实现了片段检索。我们观察到，通过sBERT表示的向量具有超过tf. idf的边缘。BioASQ 10 b B阶段侧重于寻找生物医学问题的具体答案。对于这项任务，我们遵循以数据为中心的方法。我们假设第一个BioASQ年的训练数据可能有偏差，我们用训练数据的不同子集进行了实验。当系统在BioASQ 10 b训练数据的后半部分上训练时，我们观察到结果的改善。
2022-09-05 cs.CL
Lay Text Summarisation Using Natural Language Processing: A Narrative Literature Review
Glasgow Caledonian University（格拉斯哥卡里多尼亚大学）；University of the West of Scotland（西苏格兰大学）；Lay Summaries Ltd（Lay Summaries 有限公司）；University of Edinburgh（爱丁堡大学）
以浅白的语言总结研究结果，对促进公众了解研究结果至关重要。使用自然语言处理生成非专业摘要有可能减轻研究人员的工作量，并弥合科学与社会之间的差距。本叙述性文献综述的目的是描述和比较用于生成非专业摘要的不同文本摘要方法。我们检索了数据库Web of Science、Google Scholar、IEEE Xplore、Association for Computing Machinery数字图书馆和arXiv，查找截至2022年5月6日发表的文章。我们纳入了关于自动文本摘要方法的原始研究，以生成非专业摘要。我们筛选了82篇文章，并纳入了2020年至2021年期间发表的8篇相关论文，全部使用相同的数据集。结果表明，基于transformer的方法，如双向编码器表示从Transformers（BERT）和预训练提取的差距句子抽象摘要（PEGASUS）占主导地位的景观奠定文本摘要，所有的研究，但一个使用这些方法。在混合方法中，提取和抽象总结方法的组合被认为是最有效的。此外，输入文本的预处理方法（例如，应用提取摘要）或确定文本的哪些部分将被包括在内，显得至关重要。使用了不考虑可读性的评价指标，如面向回忆的替代评价（ROUGE）。总而言之，自动的文本摘要还没有得到充分的开发。未来的研究应考虑长文档的非专业文本摘要，包括临床试验报告，以及考虑非专业摘要可读性的评估指标的开发。
2023-03-24 cs.CL
LongDocFACTScore: Evaluating the Factuality of Long Document Abstractive Summarisation
Artificial Intelligence Research Center（人工智能研究中心）
本文提出LongDocFACTScore框架及LongSciVerify数据集，用于评估长文档摘要的事实一致性，该框架可扩展至任意长度文档，且与人类判断的相关性优于现有指标。
2024-05-28 cs.AI cs.CL cs.LG
The Exploration of Knowledge-Preserving Prompts for Document Summarisation
The University of Adelaide（阿德莱德大学）；Begum Nusrat Bhutto Women University（贝古姆·努斯拉特·布托女子大学）
本研究探索采用prefix-tuning结合连续前缀提示与离散自然语言提示，将事实知识融入文档摘要生成，以解决事实不一致问题并提升整体性能。
2023-05-17 cs.AI cs.CL cs.LG
Classification Betters Regression in Query-based Multi-document Summarisation Techniques for Question Answering: Macquarie University at BioASQ7b
Macquarie University（麦考瑞大学）
2019年BioASQ挑战赛B阶段的任务B侧重于生物医学问答。麦考瑞大学的参与应用了基于查询的多文档提取摘要技术，以生成给定问题和相关片段集的多句回答。在过去的参与中，我们使用深度学习架构和简单的策略梯度架构探索了回归方法的使用。在2019年的挑战中，我们尝试使用有和没有强化学习的分类方法。此外，我们还进行了各种ROUGE指标与BioASQ人类评估评分之间的相关性分析。
2019-09-02 cs.CL
Sentence Embeddings as an intermediate target in end-to-end summarisation
trivago N.V.（trivago公司）
本文针对大规模住宿评论的端到端摘要任务，提出将外部预训练句子嵌入与抽取式方法结合到抽象式摘要模型中，并证明预测摘要句子级嵌入优于传统句子选择概率分布预测，从而提升摘要质量。
2025-05-06 cs.CL
Query Focused Multi-document Summarisation of Biomedical Texts
Macquarie University（麦考瑞大学）；Australian National University（澳大利亚国立大学）
本文介绍了麦考瑞大学和澳大利亚国立大学参与2020年BioASQ挑战赛（BioASQ8b）的任务B阶段。我们的整体框架实现了查询集中的多文档提取摘要，通过应用分类或回归层的候选句子嵌入和问题和句子嵌入之间的比较。我们使用BERT和BioBERT、Siamese架构和强化学习对变体进行了实验。当使用BERT来获得词嵌入，然后使用LSTM层来获得句子嵌入时，我们观察到最佳结果。使用Siamese架构或BioBERT的变体没有改善结果。
2020-08-27 cs.CL
Single Document Extractive Summarization using Domination in Hypergraph
SCTR’s Pune Institute of Computer Technology（SCTR浦那计算机技术学院）；Bodoland University（博多兰大学）
本研究提出利用超图支配集进行单文档抽取式摘要，通过构建句子-关键词超图并应用贪心算法寻找支配集，以生成覆盖重要信息的摘要，并与最先进的基于图的方法进行比较。
2026-09-16 cs.CL cs.LG
LED down the rabbit hole: exploring the potential of global attention for biomedical multi-document summarisation
The University of Melbourne（墨尔本大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；RMIT University（皇家墨尔本理工大学）
在本文中，我们报告了我们提交的多文档摘要文献综述（MSLR）共享任务。具体来说，我们采用PRIMERA（Xiao et al.，2022年），通过以多种方式将全球注意力放在重要的生物医学实体上，将其转移到生物医学领域。我们分析了23个结果模型的输出，并报告了与额外的全球关注、训练步骤数量和输入配置相关的结果模式。
2022-09-19 cs.CL
Enhancing Long Document Long Form Summarisation with Self-Planning
University of Edinburgh（爱丁堡大学）
本文提出了一种基于自规划的长文档摘要方法，通过内容计划提升摘要的可追溯性和准确性，在多个数据集上取得了显著的ROUGE-L和SummaC得分提升。
2025-12-19 cs.CL
Fine-Grained Natural Language Inference Based Faithfulness Evaluation for Diverse Summarisation Tasks
University of Edinburgh（爱丁堡大学）；School of Informatics（信息学院）；ILCC（语言、认知与计算研究所）
本文提出 InFusE，通过可变前提粒度和短句假设改进基于 NLI 的摘要忠实度评估，并构建 DiverSumm 基准验证其在长文档、会议及多文档摘要任务上的优越性能。
2024-02-27 cs.CL
SinBrief: A Hybrid Framework for Abstractive Text Summarisation of Sinhala Legal Documents
SinBrief提出一种无需人工标注的混合抽象摘要框架，结合词图构建与神经句子评分，在僧伽罗语法律文本上实现低词汇重叠且保持事实一致性的摘要生成。
2026-09-29 cs.CL
Bias in Opinion Summarisation from Pre-training to Adaptation: A Case Study in Political Bias
RMIT University（皇家墨尔本理工大学）
该研究以政治偏见为案例，建立生成式观点摘要模型的偏见量化方法，追踪偏见从预训练到社交媒体摘要适配阶段的传递，发现模型多有固有偏见，少参数微调比标准微调偏见更低，且训练数据主题多样性很关键。
2024-02-01 cs.CL
Large Language Models and Prompt Engineering for Biomedical Query Focused Multi-Document Summarisation
School of Computing（计算学院）；Macquarie University（麦考瑞大学）
该研究将提示工程与GPT-3.5用于生物医学查询聚焦多文档摘要，验证了少样本提示、检索增强生成的效果，在BioASQ 11b中取得ROUGE-F1前两名的成绩。
2023-11-09 cs.CL
Efficient and Interpretable Compressive Text Summarisation with Unsupervised Dual-Agent Reinforcement Learning
The University of Sydney（悉尼大学）；International Digital Economy Academy（国际数字经济研究院）
提出首个无监督压缩式文本摘要方法，通过extractor与compressor双智能体强化学习优化语义覆盖和流畅性，无需参考摘要，并在Newsroom、CNN/DM和XSum上验证有效。
2023-06-06 cs.CL
Interactive Text Ranking with Bayesian Optimisation: A Case Study on Community QA and Summarisation
University of Bristol（布里斯托大学）；Royal Holloway, University of London（伦敦大学皇家霍洛威学院）
对于许多NLP应用程序，例如问答和摘要，目标是从大量候选项中选择最佳解决方案，以满足特定用户的需求。为了解决缺乏用户特定的训练数据，我们提出了一个交互式的文本排名方法，积极选择对候选人，用户从中选择最好的。与以前的策略不同，这些策略试图在整个候选空间中学习排名，我们的方法采用贝叶斯优化，将用户的标签工作集中在高质量的候选人上，并以贝叶斯方式整合先验知识，以更好地应对小数据场景。我们将我们的方法应用于社区问答（cQA）和提取摘要，发现它显着优于现有的交互式方法。我们还表明，通过我们的方法学习的排名函数是强化学习的有效奖励函数，它提高了交互式摘要的最新技术水平。
2020-09-12 cs.AI cs.CL
Preference-based Interactive Multi-Document Summarisation
Technische Universität Darmstadt（达姆施塔特工业大学）
交互式NLP是一种很有前途的范例，可以缩小自动NLP系统与人类上限之间的差距。基于偏好的交互式学习已经成功应用，但是现有的方法即使在具有完美用户反馈的模拟中也需要数千轮交互。在本文中，我们研究基于偏好的交互式摘要。为了减少交互轮数，我们提出了基于主动偏好的强化学习（APRIL）框架。APRIL使用主动学习来查询用户，使用偏好学习来从偏好中学习摘要排名函数，使用神经强化学习来有效地搜索（接近）最佳摘要。我们的研究结果表明，用户可以很容易地提供可靠的偏好摘要和APRIL优于最先进的基于偏好的交互式方法在模拟和真实用户的实验。
2019-06-07 cs.CL
Neural Latent Extractive Document Summarization
Microsoft Research Asia（微软亚洲研究院）；University of Edinburgh（爱丁堡大学）
提取式摘要模型需要摘要级标签，其通常是按顺序创建的（例如，使用基于规则的方法），假定大多数摘要数据集仅具有文档-摘要对。由于这些标签可能是次优的，我们提出了一个潜变量提取模型，其中句子被视为潜变量和句子与激活变量被用来推断黄金摘要。在训练期间，损失来自黄金摘要的\emph{directly}。在CNN/Dailymail数据集上的实验表明，我们的模型比在近似标签上训练的强提取基线有所改进，并且与最近的几个模型相比也具有竞争力。
2018-08-28 cs.AI cs.CL cs.LG
Adversarial NLI for Factual Correctness in Text Summarisation Models
我们将对抗性NLI数据集应用于训练NLI模型，并表明该模型具有提高抽象摘要中事实正确性的潜力。我们遵循Falke等人的工作。（2019），根据源文档和摘要之间的蕴涵概率对多个生成的摘要进行排名，并选择蕴涵概率最高的摘要。作者早期的研究得出结论，目前的NLI模型对于排名任务不够准确。我们表明，在新数据集上微调的Transformer模型实现了显着更高的准确性，并有可能选择一个连贯的摘要。
2020-05-24 cs.CL cs.LG
Unsupervised Extractive Summarization using Pointwise Mutual Information
New York University（纽约大学）
提取摘要的无监督方法通常依赖于由句子和文档之间的语义相似性定义的句子重要性的概念。我们提出了新的度量相关性和冗余使用逐点互信息（PMI）之间的句子，这可以很容易地计算出一个预先训练的语言模型。直觉上，一个相关的句子允许读者推断文档内容（高PMI的文档），而一个冗余的句子可以从摘要中推断出来（高PMI的摘要）。然后，我们开发了一个贪婪的句子选择算法，以最大限度地提高相关性和最小化冗余提取的句子。我们表明，我们的方法优于基于相似性的方法在一系列领域的数据集，包括新闻，医学期刊文章和个人轶事。
2021-03-22 cs.CL cs.LG
Macquarie University at BioASQ 6b: Deep learning and deep reinforcement learning for query-based multi-document summarisation
Macquarie University（麦考瑞大学）
本文介绍了麦考瑞大学对BioASQ挑战赛（BioASQ 6b，B阶段）的贡献。我们专注于理想答案的提取，并作为基于查询的多文档摘要的一个实例来处理该任务。特别是，本文重点介绍了与提交的运行中使用的深度学习和强化学习方法相关的实验。最佳运行使用基于回归的框架下的深度学习模型。深度学习架构使用从词嵌入的LSTM链的输出中导出的特征，加上基于与查询的相似性和句子位置的特征。强化学习方法是一个概念验证原型，使用REINFORCE训练了一个全球政策。全局策略被实现为使用$tf.idf$特征对候选句子、问题和上下文进行编码的神经网络。
2018-12-06 cs.CL
M2DS: Multilingual Dataset for Multi-document Summarisation
University of Moratuwa（莫拉图瓦大学）；ConscientAI
针对现有多文档摘要数据集以英语为核心、缺乏多语言资源的缺口，本文提出首个多语言多文档摘要数据集M2DS，含2010-2023年BBC文章的五种语言文档-摘要对，并给出前沿模型的基准评估结果。
2024-07-17 cs.CL
Models and Datasets for Cross-Lingual Summarisation
University of Edinburgh（爱丁堡大学）；Institute for Language, Cognition and Computation（语言、认知与计算研究所）
我们提供了一个跨语言摘要语料库，其中包含与目标语言的多句摘要相关联的源语言长文档。该语料库涵盖了四种欧洲语言的十二种语言对和方向，即捷克语，英语，法语和德语，其创建方法可以应用于其他几种语言。我们从维基百科中获得跨语言的文档摘要实例，通过将引导段落和来自语言对齐的维基百科标题的文章主体相结合。我们分析了建议的跨语言摘要任务与自动指标，并验证它与人类的研究。为了说明我们的数据集的实用性，我们报告了在监督，零和Few-Shot以及域外场景中使用多语言预训练模型的实验。
2022-02-19 cs.CL
Leveraging Entailment Judgements in Cross-Lingual Summarisation
University of Edinburgh（爱丁堡大学）；School of Informatics（信息学院）；ILCC（国际语言通信中心）
本文针对跨语言摘要数据中的幻觉问题，提出用跨语言自然语言推理评估忠实度，并通过非似然损失训练模型，在保持信息量的同时提升摘要忠实度。
2024-08-01 cs.CL
Extractive Summarization of Long Documents by Combining Global and Local Context
University of British Columbia（不列颠哥伦比亚大学）
在本文中，我们提出了一种新的神经单文档提取摘要模型的长文档，结合了整个文档的全局上下文和当前主题内的局部上下文。我们在两个科学论文数据集Pubmed和arXiv上评估了该模型，在ROUGE-1，ROUGE-2和METEOR评分上，它优于以前的工作，无论是提取模型还是抽象模型。我们还表明，与我们的目标一致，我们的方法的好处变得更强，因为我们将其应用于较长的文件。令人惊讶的是，一项消融研究表明，我们的模型的好处似乎完全来自于对本地上下文的建模，即使是最长的文档。
2019-09-17 cs.CL
Heterogeneous Graph Neural Networks for Extractive Document Summarization
Fudan University（复旦大学）
摘要跨句关系学习是抽取式文档摘要的关键步骤，已有大量的研究成果。一种直观的方法是将它们放入基于图的神经网络中，该网络具有更复杂的结构来捕获句子间的关系。在本文中，我们提出了一个异构的基于图的神经网络提取摘要（HeterSumGraph），其中包含不同粒度的语义节点，除了句子。这些附加节点充当了句子之间的中介，丰富了句子之间的关系。此外，我们的图结构是灵活的自然扩展，从一个单一的文档设置到多个文档，通过引入文档节点。据我们所知，我们是第一个将不同类型的节点引入到基于图的神经网络中进行提取文档摘要的人，并进行了全面的定性分析，以调查它们的好处。代码将在Github上发布
2020-04-26 cs.CL
SummaRuNNer: A Recurrent Neural Network based Sequence Model for Extractive Summarization of Documents
IBM（国际商业机器公司）
我们提出了SummaRuNNer，一个循环神经网络（RNN）为基础的序列模型的提取摘要的文件，并表明它实现了性能优于或相当于国家的最先进的。我们的模型具有额外的优势是非常可解释的，因为它允许可视化的预测打破了抽象的功能，如信息内容，显着性和新颖性。我们工作的另一个新贡献是我们的提取模型的抽象训练，它可以单独在人类生成的参考摘要上进行训练，从而消除了对重复级别提取标签的需要。
2016-11-14 cs.CL
MemSum-DQA: Adapting An Efficient Long Document Extractive Summarizer for Document Question Answering
University of Zurich（苏黎世大学）；ETH Zurich（苏黎世联邦理工学院）
MemSum-DQA利用MemSum抽取式摘要器，通过前缀问题与类型实现文档问答，精确匹配提升9%，擅长子关系理解。
2023-10-10 cs.CL
Supervising the Centroid Baseline for Extractive Multi-Document Summarization
Priberam Labs（Priberam实验室）；Faculdade de Engenharia da Universidade do Porto（波尔图大学工程学院）
本文通过引入束搜索句子选择和质心估计注意力模型，改进了抽取式多文档摘要的质心基线方法，并在多个数据集及多语言场景中验证了效果提升。
2023-11-29 cs.CL
When Bigger Isn't Better: A Comprehensive Fairness Evaluation of Political Bias in Multi-News Summarisation
RMIT University（皇家墨尔本理工大学）；National Institute of Informatics（日本信息处理学会）
本文评估多文档新闻摘要中的政治偏见，发现大模型并不总是更公平，中等规模模型在公平性与效率上表现更优，提示需多维评估框架和针对性去偏策略。
2026-04-23 cs.CL
Neural Extractive Summarization with Side Information
Institute for Language, Cognition and Computation, School of Informatics, University of Edinburgh（爱丁堡大学信息学院语言、认知与计算研究所）
大多数抽取式摘要方法关注于需要从中抽取句子的文档的主体。然而，文档的主旨可能在于辅助信息，例如新闻专线文章中经常提供的标题和图像说明。我们建议在单文档提取摘要的背景下探索边信息。我们开发了一个单文档摘要的框架，由一个分层的文档编码器和一个基于注意力的提取器组成，注意力超过边信息。我们在一个大规模的新闻数据集上评估了我们的模型。我们发现，提取摘要与边信息始终优于其对应的，不使用任何边信息，在信息量和流畅性。
2017-09-10 cs.CL
GoSum: Extractive Summarization of Long Documents by Reinforcement Learning and Graph Organized discourse state
Charles Sturt University（查尔斯特大学）；Atypon Systems, LLC（Atypon系统有限责任公司）；Fudan University（复旦大学）
从长文档中提取摘要可以看作是利用文档的结构信息进行句子分类。如何使用这样的结构化信息来概括文档是具有挑战性的。在本文中，我们提出了GoSum，一种新的图和强化学习为基础的提取模型的长论文摘要。特别是，GoSum通过为不同话语级别的每个输入文档构建异构图，在强化学习中对句子状态进行编码。图中的边反映了文档的语篇层次结构，用于抑制跨节边界的语义漂移。我们在两个科学文章摘要数据集上评估了GoSum：PubMed和arXiv。实验结果表明，与提取和抽象模型的强基线相比，GoSum实现了最先进的结果。消融研究进一步验证了我们的GoSum的性能受益于话语信息的使用。
2023-01-20 cs.CL
Unsupervised Extractive Summarization with Heterogeneous Graph Embeddings for Chinese Document
Tencent（腾讯）
在无监督提取摘要的场景中，学习高质量的句子表示对于从输入文档中选择突出句子至关重要。以往的研究多集中于采用统计方法或预训练语言模型（PLMs）来提取句子嵌入，而忽略了词语和句子之间的异质交互类型所固有的丰富信息。在本文中，我们首次提出了一种无监督的提取摘要方法与异构图嵌入（HGE）的中文文档。构建了一个异构文本图，通过结合图的结构信息来捕获不同粒度的交互。此外，我们提出的图是通用和灵活的，其中可以很容易地集成额外的节点，如关键字。实验结果表明，我们的方法始终优于强基线在三个摘要数据集。
2022-11-09 cs.CL
At Which Level Should We Extract? An Empirical Analysis on Extractive Document Summarization
Microsoft Research Asia（微软亚洲研究院）；Tencent Cloud Xiaowei（腾讯云小微）
摘要抽取方法在自动文摘中已被证明是有效的。以前的作品通过在句子水平上识别信息内容来完成这一任务。然而，目前还不清楚在句子级别执行提取是否是最好的解决方案。在这项工作中，我们表明，不必要的和冗余的问题存在时，提取完整的句子，和提取submartial单位是一个很有前途的选择。具体来说，我们提出了基于选区解析树提取子单元。提出了一种利用潜在信息进行提取的神经抽取模型。大量的实验和分析表明，在自动评价和人工评价的评价下，提取子句单元与提取整句相比具有竞争力。希望本研究能对文摘中基本提取单元的研究提供一定的启示。
2020-10-26 cs.CL
On Extractive and Abstractive Neural Document Summarization with Transformer Language Models
Element AI；Montréal Institute for Learning Algorithms（蒙特利尔学习算法研究所）；Université de Montréal（蒙特利尔大学）；École Polytechnique de Montréal（蒙特利尔高等理工学院）
我们提出了一种方法，通过神经抽象摘要产生超过几千字的长文档的摘要。在生成摘要之前，我们执行一个简单的提取步骤，然后在生成摘要之前，使用该摘要来根据相关信息调节Transformer语言模型。我们表明，这一提取步骤显着提高摘要结果。我们还表明，这种方法产生更抽象的摘要相比，以前的工作，采用复制机制，同时仍然实现更高的胭脂分数。注意：上面的摘要不是作者写的，它是由本文中提出的一个模型生成的。
2020-04-28 cs.CL
San-BERT: Extractive Summarization for Sanskrit Documents using BERT and it's variants
Sri Sathya Sai Institute of Higher Learning（斯里萨提亚赛高等研究院）
本研究基于天城体梵语语料库开发BERT及其变体模型，通过特征提取、降维与聚类技术实现梵语文档的抽取式摘要，并公开发布了相关语料库。
2023-04-04 cs.CL
Examining Bias in Opinion Summarisation Through the Perspective of Opinion Diversity
RMIT University（皇家墨尔本理工大学）
本文以对主题的立场界定观点，利用 COVID-19 下三个争议主题评估观点摘要的多样性与相似性，发现高相似性不代表高覆盖度，而 BART 和 ChatGPT 更能捕捉多元观点。
2023-06-07 cs.CL
Improving the Similarity Measure of Determinantal Point Processes for Extractive Multi-Document Summarization
University of Central Florida（中佛罗里达大学）
多文档摘要面临的最重要的障碍包括源描述中的过度冗余和训练数据的迫在眉睫的短缺。这些障碍阻碍了编码器-解码器模型的直接使用，但基于优化的方法，如确定性点过程（DPP），可以很好地处理它们。在本文中，我们试图加强基于DPP的方法提取多文档摘要，提出了一种新的相似性度量胶囊网络的启发。该方法基于句子的表面形式和语义信息来度量句子之间的冗余。我们表明，我们的DPP系统具有改进的相似性度量表现出竞争力，在基准数据集上表现优于强大的汇总基线。我们的研究结果是特别有意义的总结多个作者创建的文档包含冗余但词汇多样的表达。
2019-05-31 cs.CL
LexLattice: Multilingual Extractive Summarization via Neural Cellular Automata on Document Hierarchies
The University of Winnipeg（温尼伯大学）
LexLattice通过二维神经细胞自动机整合法律文档层次结构，以1.8M参数实现多语言抽取式摘要的最先进ROUGE，并跨语言近无损迁移。
2026-09-24 cs.CL cs.LG cs.NE
MemSum: Extractive Summarization of Long Documents Using Multi-Step Episodic Markov Decision Processes
Institute of Neuroinformatics（神经信息学研究所）；University of Zurich（苏黎世大学）；ETH Zurich（苏黎世联邦理工学院）
我们介绍MemSum（多步情节马尔可夫决策过程提取SUMmarizer），一个基于学习的提取总结器，在每一步都用当前提取历史的信息来丰富。当MemSum迭代地选择句子到摘要中时，它会考虑一个广泛的信息集，这些信息集也会被人类在这个任务中直观地使用：1）句子的文本内容，2）文档其余部分的全局文本上下文，以及3）由已经提取的句子集组成的提取历史。通过轻量级架构，MemSum在总结来自PubMed，arXiv和GovReport的长文档方面获得了最先进的测试集性能（ROUGE）。消融研究证明了局部、全局和历史信息的重要性。人工评估证实了所生成摘要的高质量和低冗余，这源于MemSum对提取历史的了解。
2022-03-16 cs.CL
Improving Sentence Similarity Estimation for Unsupervised Extractive Summarization
The Hong Kong Polytechnic University（香港理工大学）；Peking University（北京大学）
无监督抽取式摘要的目的是从文档中抽取显著句子作为摘要，而不需要标注数据。近年来的文献主要研究如何利用句子相似度对句子进行显著性排序。然而，使用预训练的语言模型的句子相似性估计大多考虑文档级信息很少，并且与句子显著性排名的相关性较弱。在本文中，我们提出了两个新的策略，以改善句子相似性估计的无监督提取摘要。我们使用对比学习来优化文档级目标，即来自同一文档的句子比来自不同文档的句子更相似。此外，我们使用相互学习来增强句子相似度估计和句子显著性排名之间的关系，其中使用额外的信号放大器来细化关键信息。实验结果证明了我们的策略的有效性。
2023-02-24 cs.CL
DeepChannel: Salience Estimation by Contrastive Learning for Extractive Document Summarization
Tsinghua University（清华大学）；Nanyang Technological University（南洋理工大学）
我们提出了DeepChannel，这是一个强大的，数据高效的，可解释的神经模型，用于提取文档摘要。给定任何文档-摘要对，我们都会估计一个显着分数，该分数使用基于注意力的深度神经网络建模，以表示用于生成文档的摘要的显着程度。我们设计了一种对比训练策略来学习显着性估计网络，然后使用学习到的显着性得分作为指导，并迭代地从文档中提取最显着的句子作为我们生成的摘要。在实验中，我们的模型不仅在CNN/Daily Mail数据集上获得了最好的ROUGE分数，而且在DUC 2007测试集上的域外测试中也表现出了很强的鲁棒性。此外，我们的模型在CNN/Daily Mail测试集上仅使用$1 / 100$训练集就达到了39.41的ROUGE-1 F-1得分，展示了巨大的数据效率。
2018-11-07 cs.CL
Extractive Multi Document Summarization using Dynamical Measurements of Complex Networks
Institute of Mathematics and Computer Science（数学与计算机科学研究所）；University of São Paulo（圣保罗大学）
由于互联网上存在大量文本信息，因此使用查找相关且简洁内容的技术至关重要。一个典型的任务，致力于识别信息的句子，在文件是所谓的提取文件摘要任务。在本文中，我们使用复杂网络的概念，设计了一个提取多文档摘要（MDS）的方法，提取最中心的句子从几个文本源。在该模型中，文本被表示为网络，其中节点表示句子，边基于共享单词的数量建立。与以前的工作不同，相关术语的识别是通过复杂网络的动态测量，包括对称性，可达性和吸收时间，通过节点的表征来指导的。对所提出的系统的评估表明，通过特定的动态测量，包括那些基于通过随机游走探索网络的测量，获得了优异的结果。
2017-08-05 cs.CL
Unity in Diversity: Learning Distributed Heterogeneous Sentence Representation for Extractive Summarization
IIIT Hyderabad（印度海得拉巴国际信息技术学院）；Microsoft（微软）
多文档自动摘要是自然语言理解领域的一个研究热点。这样的提取机制以某种形式计算要被包括到摘要中的句子的价值。虽然传统的方法依赖于人工制作的文档独立的功能来生成摘要，我们开发了一个数据驱动的新的摘要系统称为HNet，它利用各种语义和成分方面潜在的一句话来捕捉文档独立的功能。该网络以一种方式学习句子表示，即显著句子在向量空间中比非显著句子更接近。然后将此语义和组成特征向量与文档相关特征连接起来，以进行句子排名。在DUC基准数据集（DUC-2001，DUC-2002和DUC-2004）上的实验表明，与最先进的基线相比，我们的模型在ROUGE得分方面显示出约1.5-2点的显着性能增益。
2019-12-25 cs.CL cs.IR cs.LG
Abstractive and Extractive Text Summarization using Document Context Vector and Recurrent Neural Networks
Amazon Lab126（亚马逊Lab126）；eBay Inc.（eBay公司）；Google（谷歌）
序列到序列（Seq2Seq）学习最近已被用于抽象和提取摘要。在目前的研究中，Seq2Seq模型已被用于eBay产品描述摘要。我们提出了一种新的基于文档上下文的Seq2Seq模型，使用RNN进行抽象和提取摘要。直觉上，这类似于人类在阅读文档之前阅读标题，摘要或任何其他上下文信息。这让人们对文档的内容有了一个高层次的了解。我们使用这个想法，并建议Seq2Seq模型应该在输入的第一个时间步开始使用上下文信息，以获得更好的摘要。通过这种方式，输出摘要更加以文档为中心，而不是通用的，克服了使用生成模型的主要障碍之一。我们从用户行为和卖方提供的信息生成文档上下文。我们在人类提取的黄金总结上训练和评估我们的模型。文档上下文Seq2Seq模型优于标准Seq2Seq模型。此外，生成人类提取的摘要是非常昂贵的规模，因此，我们提出了一种半监督技术，用于提取近似摘要，并使用它来训练Seq2Seq模型的规模。半监督模型对人类提取的摘要进行了评估，并发现具有相似的功效。我们在相同的评估数据集上提供了抽象和提取摘要器（上下文和非上下文）的并排比较。总的来说，我们提供了方法来使用和评估所提出的技术，大型文档摘要。此外，我们发现这些技术非常有效，而现有技术并非如此。
2018-07-29 cs.CL
Computing and Exploiting Document Structure to Improve Unsupervised Extractive Summarization of Legal Case Decisions
University of Pittsburgh（匹兹堡大学）
虽然许多算法可以用来自动总结法律案件的决定，大多数未能纳入领域知识的法律判决中的重要句子如何与其文档结构的表示。例如，对一个法律案例摘要数据集的分析表明，在判决中扮演不同类型论证角色的句子出现在文档的不同部分。在这项工作中，我们提出了一个无监督的基于图的排名模型，使用重新加权算法，利用法律案件的决定的文档结构的属性。我们还探讨了使用不同的方法来计算文档结构的影响。加拿大法律判例法数据集上的结果表明，我们提出的方法优于几个强大的基线。
2022-11-06 cs.CL
Sparse Optimization for Unsupervised Extractive Summarization of Long Documents with the Frank-Wolfe Algorithm
University of California, Berkeley（加州大学伯克利分校）
我们解决了无监督的提取文档摘要的问题，特别是对于长文档。我们将无监督问题建模为稀疏自回归问题，并通过一个凸的范数约束问题近似得到的组合问题。我们使用专门的Frank-Wolfe算法来解决它。为了生成具有$k$语句的摘要，该算法仅需要执行$\approx k$迭代，使得其非常高效。我们解释了如何避免显式计算的完整梯度，以及如何包括句子嵌入信息。我们评估我们的方法对其他两个无监督的方法使用词汇（标准）ROUGE分数，以及语义（基于嵌入）的。我们的方法在两个数据集上都取得了更好的结果，并且在与高度释义的摘要的嵌入相结合时效果尤其好。
2022-08-19 cs.CL
