PerSum: Novel Systems for Document Summarization in Persian
Tandy School of Computer Science, University of Tulsa（塔尔萨大学坦迪计算机科学学院）；Computer Science and Engineering, University of Michigan（密歇根大学计算机科学与工程系）；Department of Computer Engineering, Borujerd Branch, Islamic Azad University（伊斯兰阿扎德大学博鲁杰尔德分校计算机工程系）
本文从两个不同的角度探讨了波斯语文档摘要的问题。在我们的第一种方法中，我们修改了一个流行的和广泛引用的波斯语文档摘要框架，看看它是如何工作的一个现实的新闻文章语料库。对生成的摘要的人工评价表明，基于图的方法比修改后的系统性能更好。我们在我们的第二种方法中进行了这种直觉，并通过设计几个基于中心性度量的摘要器来深入探讨基于图的系统的本质。使用ROUGE评分对这些汇总器进行的特别评估表明，有一类中心性度量的性能优于三个强大的无监督基线。
2016-06-09 cs.CL
Artex is AnotheR TEXt summarizer
Laboratoire Informatique d’Avignon（阿维尼翁计算机实验室）；École Polytechnique de Montréal（蒙特利尔综合理工学院）
本文介绍了另一种自动文摘算法Artex。为了对句子进行排名，计算每个句子、文档向量（文本主题）和词汇向量（句子使用的词汇）之间的简单内积。然后通过组装排名最高的句子来生成摘要。为了获得摘要，不需要基于规则的语言后处理。对多个数据集进行测试（来自文档理解会议（DUC）、文本分析会议（TAC）、评估活动等）在法语、英语和西班牙语中，已经证明summarizer取得了令人感兴趣结果。
2012-10-11 cs.AI cs.CL cs.IR
MemSum: Extractive Summarization of Long Documents Using Multi-Step Episodic Markov Decision Processes
Institute of Neuroinformatics（神经信息学研究所）；University of Zurich（苏黎世大学）；ETH Zurich（苏黎世联邦理工学院）
我们介绍MemSum（多步情节马尔可夫决策过程提取SUMmarizer），一个基于学习的提取总结器，在每一步都用当前提取历史的信息来丰富。当MemSum迭代地选择句子到摘要中时，它会考虑一个广泛的信息集，这些信息集也会被人类在这个任务中直观地使用：1）句子的文本内容，2）文档其余部分的全局文本上下文，以及3）由已经提取的句子集组成的提取历史。通过轻量级架构，MemSum在总结来自PubMed，arXiv和GovReport的长文档方面获得了最先进的测试集性能（ROUGE）。消融研究证明了局部、全局和历史信息的重要性。人工评估证实了所生成摘要的高质量和低冗余，这源于MemSum对提取历史的了解。
2022-03-16 cs.CL
Semantic Similarity Measure of Natural Language Text through Machine Learning and a Keyword-Aware Cross-Encoder-Ranking Summarizer -- A Case Study Using UCGIS GIS&T Body of Knowledge
School of Geographical Sciences and Urban Planning, Arizona State University（亚利桑那州立大学地理科学与城市规划学院）
针对GIS&T BoK主题语义关系手动定义不完整的问题，评估多种NLP技术提取文本语义，并提出KACERS摘要器生成科学文献语义摘要，以指导BoK内容组织并展示长文本语义理解潜力。
2023-05-17 cs.AI cs.CL cs.IR
Multi-document abstractive summarization using ILP based multi-sentence compression
The Pennsylvania State University（宾夕法尼亚州立大学）；QCRI（卡塔尔计算研究所）；National University of Singapore（新加坡国立大学）
摘要文摘是一种理想的文摘形式，它可以综合多个文档中的信息，生成简洁的信息摘要。在这项工作中，我们的目标是开发一个抽象的摘要。首先，我们提出的方法确定多文档集中最重要的文档。最重要文档中的句子与其他文档中的句子对齐，以生成相似句子的聚类。其次，我们使用词图结构从每个聚类中的句子生成K-最短路径。最后，我们选择句子从所有集群产生的最短路径集采用一种新的整数线性规划（ILP）模型的目标是最大限度地提高信息含量和可读性的最终摘要。我们的ILP模型将最短路径表示为二元变量，并在目标函数中考虑路径的长度、信息分数和语言质量分数。DUC 2004年和2005年的多文档摘要数据集上的实验结果表明，我们提出的方法优于所有的基线和国家的最先进的提取摘要衡量的ROUGE分数。我们的方法也优于最近的抽象摘要技术。在人工评估中，我们的方法也取得了可喜的成果的信息性和可读性。
2016-09-22 cs.CL
Guiding Extractive Summarization with Question-Answering Rewards
University of Central Florida（中佛罗里达大学）
在阅读时突出显示是人们跟踪文档的显著内容的自然行为。希望教一个提取式摘要器做同样的事情。然而，一个主要的障碍，监督摘要的发展是缺乏地面真相。提取单元的手动注释成本高昂，而通过自动对齐人类摘要和源文档来获取标签可能会产生较差的结果。在本文中，我们描述了一个新颖的框架来指导具有问答奖励的监督式提取摘要系统。我们认为，高质量的摘要应作为一个文件的替代品，以回答重要的问题，这样的问答对可以方便地从人类摘要。该系统学习促进信息丰富，流畅，并在问答时表现出竞争力的摘要。我们的结果与自动指标和人类评估员评估的强汇总基线报告的结果相比毫不逊色。
2019-04-04 cs.CL
A Survey on Neural Abstractive Summarization Methods and Factual Consistency of Summarization
McGill University（麦吉尔大学）
自动摘要是通过计算缩短一组文本数据的过程，以创建表示原始文本中最重要信息的子集（摘要）。现有的文摘方法大致可以分为两类：抽取式和抽象式。提取摘要器显式地选择文本片段（单词、短语、句子等）。从源文档，而抽象的摘要生成器生成新颖的文本片段，以传达源中流行的最突出的概念。
2022-04-20 cs.CL
One model to rule them all: ranking Slovene summarizers
University of Ljubljana（卢布尔雅那大学）；Faculty of Computer and Information Science（计算机与信息科学学院）
本文提出SloMetaSum元模型，利用全连接神经网络和Doc2Vec表示，在四个斯洛文尼亚语摘要模型中自动预测ROUGE最优者，从而替代人工选择最佳摘要模型。
2023-08-07 cs.CL
Extract with Order for Coherent Multi-Document Summarization
University of Lethbridge（莱斯布里奇大学）
在这项工作中，我们的目标是在多文档设置开发一个提取摘要。我们实现了一个基于排名的句子选择使用连续矢量表示以及关键短语。此外，我们提出了一个模型来解决摘要的连贯性，以提高可读性。我们使用ROUGE工具包在2004年文档理解会议（DUC）数据集上进行了实验。我们的实验表明，该方法带来了显着的改进，在信息量和连贯性方面的最先进的方法。
2020-06-25 cs.CL
Unsupervised Dual-Cascade Learning with Pseudo-Feedback Distillation for Query-based Extractive Summarization
IBM Research（IBM研究院）
我们提出了Dual-CES -一种新的无监督，以查询为中心，多文档提取摘要。Dual-CES旨在更好地处理摘要中显着性和焦点之间的权衡。为此，Dual-CES采用两步双级联优化方法和基于显着性的伪反馈蒸馏。总的来说，Dual-CES的性能明显优于所有其他最先进的无监督替代品。Dual-CES甚至被证明能够胜过强监督摘要器。
2018-11-01 cs.CL
SUPERT: Towards New Frontiers in Unsupervised Evaluation Metrics for Multi-Document Summarization
Royal Holloway, University of London（伦敦大学皇家霍洛威学院）；Technische Universität Darmstadt（达姆施塔特工业大学）
我们研究了无监督的多文档摘要评估指标，它既不需要人类编写的参考摘要，也不需要人类注释（例如偏好，评级等）。我们提出了SUPERT，通过测量其与伪参考摘要的语义相似性来评价摘要的质量，即从源文件中选择突出的句子，使用上下文嵌入和软标记对齐技术。与最先进的无监督评估指标相比，SUPERT与人类评分的相关性更高，达到18- 39%。此外，我们使用SUPERT作为奖励来指导基于神经的强化学习摘要器，与最先进的无监督摘要器相比，具有良好的性能。所有源代码都可以在https://github.com/yg211/acl20-ref-free-eval上找到。
2020-05-07 cs.CL cs.IR
Small-world networks for summarization of biomedical articles
Medical University of Vienna（维也纳医科大学）
近年来，已经开发了许多方法来识别文本文档的重要部分。摘要工具可以利用这些方法从大量的文本信息中提取摘要。然而，识别文本文档中代表中心思想的概念，并提取最能传达这些概念的信息量最大的句子仍然是摘要方法中的两个关键任务。在本文中，我们介绍了一种基于图的方法来解决这两个挑战的背景下，生物医学文本摘要。我们表明，如何总结可以发现有意义的概念，在生物医学文本文档中使用亥姆霍兹原理。摘要器将有意义的概念视为主要主题，并基于句子共享的主题构建图。摘要器可以通过提取具有较高程度值的句子来生成信息丰富的摘要。我们评估的性能，我们的方法总结的生物医学文章使用召回为导向的替代Gisting评价（ROUGE）工具包。结果表明，程度可以是一个有用的中心性措施，以确定重要的句子，在这种类型的基于图的建模。我们的方法可以提高生物医学文本摘要的性能相比，一些国家的最先进的和公开可用的摘要。结合基于概念的建模策略和基于图形的句子提取方法，我们的摘要器可以产生比较方法中信息量最高的摘要。这项研究工作可以被看作是一个起点，小世界网络的研究在生物医学文本摘要。
2019-03-07 cs.CL cs.IR
Conceptual Text Summarizer: A new model in continuous vector space
Malek Ashtar University of Technology（马利克·阿什塔尔理工大学）
传统的摘要方法在今天是不经济的，也是不可能的。摘要提取是一个自动从文本中提取最重要的句子并生成简短摘要的过程。在这项工作中，我们提出了一种无监督的方法来总结波斯语文本。该方法是一种新颖的混合方法，使用深度学习和传统的统计方法对文本的概念进行聚类。首先，我们产生一个词嵌入的基础上Hamshahri 2语料库和词频字典。然后提取文档的关键词，对其进行概念聚类，最后对句子进行排序，生成摘要。我们使用ROUGE评价指标在Pasokh单文档语料库上对所提出的方法进行了评价。在不使用任何手工制作的功能，我们提出的方法实现了最先进的结果。我们将我们的无监督方法与最好的监督波斯语方法进行了比较，我们实现了ROUGE-2召回分数的7.5%的整体改善。
2018-09-01 cs.CL cs.IR
Extractive Summarization: Limits, Compression, Generalized Model and Heuristics
University of Houston（休斯顿大学）
摘要技术因其在缓解信息过载方面的优势而引起了研究者的广泛关注。然而，这仍然是一个严峻的挑战。在这里，我们首先证明了在单文档和多文档摘要任务的ROUGE评估下DUC数据集上提取摘要器的召回率（和F1分数）的经验限制。接下来，我们定义了文档的可压缩性的概念，并提出了一种新的摘要模型，该模型概括了文献中现有的模型，并集成了摘要的几个维度，即，抽象与提取、单文档与多文档以及句法与语义。最后，我们研究了一些新的和现有的单文档摘要算法在一个单一的框架，并比较与国家的最先进的摘要DUC数据。
2017-04-18 cs.CL cs.IR
To Point or Not to Point: Understanding How Abstractive Summarizers Paraphrase Text
Cornell University（康奈尔大学）
近年来，抽象神经摘要模型有了很大的改进，如所生成摘要的ROUGE分数所示。但是，尽管有这些改进的指标，人们对不同模型所采用的策略以及这些策略如何与他们对语言的理解相关联的理解有限。为了更好地理解这一点，我们运行了几个实验来描述一个流行的抽象模型，See et al.（2017）的指针生成器模型，如何使用其显式的复制/生成开关来控制其抽象（生成）与提取（复制）的级别。在一个有提取倾向的数据集上，该模型利用句法边界来截断那些经常被逐字复制的句子。当我们修改复制/生成开关并强制模型生成时，除了事实不准确和幻觉之外，只有简单的释义能力被揭示出来。在抽象偏置数据集上，模型很少复制，但同样显示出有限的抽象能力。与以前的研究一致，这些结果表明，抽象摘要模型缺乏必要的语义理解，以生成既抽象又忠实于源文档的释义。
2021-06-03 cs.CL
Open Domain Multi-document Summarization: A Comprehensive Study of Model Brittleness under Retrieval
University of Toronto（多伦多大学）；Terrence Donnelly Centre（唐纳利中心）；Vector Institute for AI（向量人工智能研究所）；Allen Institute for AI（艾伦人工智能研究所）；University of Washington（华盛顿大学）；Yale University（耶鲁大学）
本文形式化并研究了“开放域”多文档摘要任务，发现最先进的摘要器在不完美检索下性能大幅下降，额外训练可降低敏感性，并指出需新方法与标注资源以推进该领域。
2023-10-25 cs.AI cs.CL
Knowledge-aware Document Summarization: A Survey of Knowledge, Embedding Methods and Architectures
The University of Adelaide（阿德莱德大学）；Macquarie University（麦考瑞大学）；JD.COM Silicon Valley Research Center（京东硅谷研究中心）
在过去的几十年里，知识感知方法已经推动了一系列自然语言处理应用。近年来，作为自然语言处理应用之一的文档摘要领域，知识的应用越来越受到人们的关注。以前的工作报告说，知识嵌入式文档摘要擅长生成卓越的摘要，特别是在信息量，连贯性和事实的一致性。本文旨在提出第一个系统的调查，为国家的最先进的方法，将知识嵌入到文档摘要。特别是，我们提出了新的分类法概括知识和知识嵌入下的文件摘要视图。我们进一步探讨了如何在文档摘要模型的嵌入学习架构中生成嵌入，特别是深度学习模型。最后，我们讨论了这一主题的挑战和未来的发展方向。
2022-07-09 cs.AI cs.CL cs.LG
Different approaches for identifying important concepts in probabilistic biomedical text summarization
Isfahan University of Technology（伊斯法罕理工大学）
自动文本摘要工具帮助生物医学领域的用户更有效地从各种文本资源中获取他们想要的信息。一些生物医学文本摘要系统将其句子选择方法的基础放在从输入文本中提取的概念的频率上。然而，似乎探索其他措施，而不是频率识别输入文档的有价值的内容，并考虑概念之间存在的相关性可能是更有用的这种类型的摘要。在本文中，我们描述了一个贝叶斯摘要生物医学文本文件。贝叶斯摘要器首先将输入文本映射到统一医学语言系统（UMLS）的概念，然后选择重要的概念作为分类特征。我们引入不同的特征选择方法来识别文本中最重要的概念，并根据这些概念的分布来选择最具信息量的内容。我们表明，使用适当的特征选择方法，贝叶斯生物医学摘要可以提高摘要的性能。我们在生物医学领域的科学论文语料库进行了广泛的评价。结果表明，贝叶斯摘要优于生物医学摘要，依赖于频率的概念，域独立和基线方法的基础上，面向回忆的替代Gisting评估（ROUGE）指标。此外，研究结果表明，使用的有意义的措施，并考虑相关的概念在特征选择步骤导致一个显着的提高摘要的性能。
2017-05-30 cs.CL cs.IR
Automatic Summarization of Open-Domain Podcast Episodes
University of Central Florida（中佛罗里达大学）；Tencent AI Lab（腾讯人工智能实验室）
我们介绍了我们的抽象摘要器的实现细节，这些摘要器在TREC 2020的播客摘要任务中取得了有竞争力的结果。捕捉重要信息的简洁文本摘要对于用户决定是否收听播客至关重要。以前的工作主要集中在学习上下文表示。相反，我们研究了神经抽象概括的几个较少研究的方面，包括（i）从成绩单中选择重要片段作为摘要器输入的重要性;（ii）在训练实例的数量和质量之间取得平衡;（iii）适当的摘要长度和开始/结束点。我们强调我们的系统背后的设计考虑，并提供关键的见解神经抽象系统的优点和缺点。我们的研究结果表明，确定重要的部分，从成绩单作为输入到一个抽象的总结是有利的总结长文件。我们最好的系统达到了1.559的质量评级，由NIST评估员判断-比创建者描述的绝对值增加了0.268（+21%）。
2020-11-12 cs.CL
Keyphrase Based Arabic Summarizer (KPAS)
Benha University（本哈大学）；Faculty of Engineering (Shoubra)（工程学院（舒布拉））；Electronics Research Institute（电子研究所）
本文介绍了一种计算成本低，高效的通用阿拉伯语文本摘要算法。该算法属于抽取式文摘族，将问题归结为代表句识别和抽取两个子问题。采用统计和语言特征相结合的方法确定要总结的文件的重要关键短语。句子抽取算法利用关键词作为主要属性来对句子进行排序。目前的实验工作，演示了不同的技术，实现各种摘要的目标，包括：信息丰富，覆盖的主要和辅助主题，并保持冗余到最低限度。然后采用一种评分方案，在这些摘要目标之间进行平衡。为了评估得到的阿拉伯文摘要与完善的系统，对齐的英语/阿拉伯语文本通过实验。
2012-06-23 cs.AI cs.CL
TGSum: Build Tweet Guided Multi-Document Summarization Dataset
The Hong Kong Polytechnic University（香港理工大学）；Peking University（北京大学）；Microsoft Research（微软研究院）
摘要研究的发展一直受到昂贵的参考摘要获取的严重阻碍。本文提出了一种有效的方法来自动收集大规模的新闻相关的多文档摘要参考社会媒体的反应。我们在推文中使用两种类型的社交标签，即，标签和超链接主题标签用于将文档聚类到不同的主题集中。此外，带有超链接的推文通常会突出显示相应文档的某些关键点。我们合成一个链接的文档簇，形成一个参考摘要，可以涵盖大多数关键点。为此，我们采用了ROUGE度量来衡量覆盖率，并开发了一个线性规划的解决方案来发现达到ROUGE上界的句子集。由于我们允许从文档和高质量的推文中选择摘要句子，因此生成的参考摘要可以是抽象的。所收集的摘要的信息量和可读性均通过人工判断进行验证。此外，我们训练支持向量回归摘要DUC通用多文档摘要基准。将收集到的数据作为额外的训练资源，使摘要器在所有测试集上的性能都有了很大的提高。我们发布此数据集以供进一步研究。
2015-11-26 cs.CL cs.IR
An Automatic Approach for Document-level Topic Model Evaluation
The University of Melbourne（墨尔本大学）；IBM Research（IBM研究院）
主题模型共同学习主题和文档级主题分布。主题模型的外部评价往往只关注主题级别的评价，例如通过评估主题的连贯性。我们证明，主题和文档级模型质量之间可能存在很大的差异，并且基于主题级分析的模型评估可能具有很大的误导性。我们提出了一种基于文档级主题分配分析自动预测主题模型质量的方法，并为其鲁棒性提供了经验证据。
2017-06-16 cs.CL
Topic-Oriented Spoken Dialogue Summarization for Customer Service with Saliency-Aware Topic Modeling
Fudan University（复旦大学）；Alibaba Group（阿里巴巴集团）；Zhejiang University（浙江大学）；Indiana University Bloomington（印第安纳大学伯明顿分校）
在客户服务系统中，对话摘要可以通过自动为客户和代理尝试解决有关特定主题的问题的长时间对话创建摘要来提高服务效率。在这项工作中，我们专注于面向主题的对话摘要，它生成高度抽象的摘要，保留对话的主要思想。在口语对话中，大量的对话噪音和共同的语义可能会掩盖潜在的信息内容，使一般的主题建模方法难以应用。此外，对于客户服务而言，特定角色的信息至关重要，是不可或缺的一部分。为了有效地进行主题建模的对话和捕获多角色的信息，在这项工作中，我们提出了一种新的主题增强的两阶段对话摘要（TDS）与显着性感知神经主题模型（SATM）共同面向主题的客户服务对话摘要。对真实世界的中国客户服务数据集的综合研究证明了我们的方法对几个强基线的优越性。
2021-06-25 cs.CL
Neural Abstractive Text Summarizer for Telugu Language
IIIT Allahabad（阿拉哈巴德国际信息技术学院）；Shiv Nadar University（希夫·纳达尔大学）；University of Hyderabad（海得拉巴大学）
摘要文本摘要是构建语义相关的短句的过程，它抓住了源文本的整体意义的本质。对于人类来说，手动汇总大型文本文档实际上是非常困难和耗时的。摘要文本摘要的大部分工作都是用英语完成的，几乎没有重大的工作报告在泰卢固语摘要文本摘要。因此，我们想提出一种使用深度学习的泰卢固语抽象文本摘要方法。在本文中，我们提出了一个泰卢固语的抽象文本摘要深度学习模型。该架构基于具有注意力机制的编码器-解码器顺序模型。我们已经将该模型应用于手动创建的数据集上，生成源文本的一句话摘要，并取得了良好的效果。
2021-01-18 cs.CL cs.LG
SimDoc: Topic Sequence Alignment based Document Similarity Framework
University of Bonn（波恩大学）；Emory University（埃默里大学）；Rygbee Inc.（Rygbee公司）
文档相似性是估计给定文档对具有相似语义内容的程度的问题。一个准确的文档相似性度量可以改善一些企业相关的任务，如文档聚类，文本挖掘和问答。在本文中，我们表明，文档的主题流（通常被词袋技术忽视）在估计其相似性方面至关重要。为此，我们提出了一种新的语义文档相似性框架，称为SimDoc。我们的模型文件的主题序列，主题代表潜在的生成集群的相关词。然后，我们使用序列比对算法来估计它们的语义相似度。我们进一步概念化一种新的机制来计算主题主题相似度，以微调我们的系统。在我们的实验中，我们表明，SimDoc优于许多当代的词袋技术，准确计算文档相似性，并在实际应用中，如文档聚类。
2017-11-11 cs.CL
Entity-based SpanCopy for Abstractive Summarization to Improve the Factual Consistency
University of British Columbia（不列颠哥伦比亚大学）
尽管最近的抽象摘要自动评价指标的成功，生成的摘要仍然存在与源文件的事实不一致。在本文中，我们专注于实体级的事实不一致，即减少不匹配的实体之间生成的摘要和源文档。因此，我们提出了一种新的基于实体的SpanCopy机制，并探索其扩展与全局相关性组件。在4个摘要数据集上的实验结果表明，SpanCopy能有效地提高实体级的事实一致性，而对词级和实体级的显著性基本没有影响。代码可在www.example.com上获得
2022-09-07 cs.CL
Better Highlighting: Creating Sub-Sentence Summary Highlights
University of Central Florida（中佛罗里达大学）；Tencent AI Lab（腾讯人工智能实验室）
总结的最好方法之一是突出显示。在本文中，我们的目标是生成摘要突出显示覆盖在原始文档，使读者更容易筛选大量的文本。该方法允许在上下文中理解摘要，以防止摘要器扭曲原始含义，抽象摘要器通常达不到这一点。特别是，我们提出了一种新的方法来产生独立的亮点，是可以理解的，以避免混淆。我们的方法结合了决定性点过程和深度上下文表示，以确定一组最佳的子句子片段，这些片段既重要又不冗余，以形成摘要亮点。为了证明我们的方法的灵活性和建模能力，我们进行了广泛的实验摘要数据集。我们的分析提供的证据表明，突出显示是一个有前途的研究途径，对未来的总结。
2020-10-20 cs.CL
Neural Topic Modeling by Incorporating Document Relationship Graph
Southeast University（东南大学）
图神经网络（Graph Neural Networks，GNN）通过消息传递来捕捉图节点之间的关系，是自然语言处理领域的一个研究热点。在本文中，我们提出了图主题模型（GTM），一个基于GNN的神经主题模型，将语料库表示为文档关系图。语料库中的文档和单词成为图中的节点，并基于文档-单词共现来连接。通过引入图结构，文档之间的关系通过它们的共享词建立，从而通过使用图卷积聚合来自其相邻节点的信息来丰富文档的主题表示。在三个数据集上进行了大量的实验，实验结果证明了该方法的有效性。
2020-09-29 cs.CL
Human in the loop: How to effectively create coherent topics by manually labeling only a few documents per class
TU Clausthal（克劳斯塔尔工业大学）；University of Göttingen（哥廷根大学）
用于在稀疏标签设置下精确建模的Few-Shot方法已经显著改进。然而，Few-Shot建模在自然语言处理中的应用仅限于文档分类领域。随着最近的性能改进，有监督的Few-Shot方法与简单的主题提取方法相结合，对无监督的主题建模方法提出了重大挑战。我们的研究表明，有监督的少样本学习，结合一个简单的主题提取方法，可以优于无监督的主题建模技术，在生成连贯的主题，即使每个类只有几个标记的文档使用。
2022-12-19 cs.CL
From Documents to Segments: A Contextual Reformulation for Topic Assignment
LG AI Research（LG AI研究院）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出了一种基于段落的主题分配方法（SBTA），通过将主题分配到短小且连贯的文本段落而非整个文档，以解决传统主题模型中文档多主题问题导致的主题污染问题，从而提升主题分析的清晰度和可解释性。
2026-05-18 cs.CL
Diversity Augmentation of Dynamic User Preference Data for Boosting Personalized Text Summarizers
KDM Lab, Dhirubhai Ambani University, India（达里巴巴·阿米尼大学）；LCS2 Lab, Indian Institute of Technology Delhi, India（印度理工学院德里学院）
针对个性化摘要训练数据匮乏问题，提出基于跨轨迹打乱和摘要内容扰动的数据增强技术 PerAugy，显著提升了多个 SOTA 用户编码器和摘要框架的准确率与个性化表现，并证实了数据集多样性与性能提升强相关。
2025-10-11 cs.CL cs.LG
Moving beyond word lists: towards abstractive topic labels for human-like topics of scientific documents
主题模型将文档组表示为单词列表（主题标签）。这项工作问是否可以开发一种替代方法，主题标签，更接近一个自然语言描述的主题比一个单词列表。为此，我们提出了一种方法来生成人类一样的主题标签，使用抽象的多文档摘要（MDS）。我们调查我们的方法与探索性的案例研究。我们在引用句子中建模主题，以了解需要做哪些进一步的研究来充分操作MDS主题标签。我们的案例研究表明，除了更人性化的主题有额外的优势，评价使用聚类和总结措施，而不是主题模型的措施。然而，我们发现，有几个发展需要之前，我们可以设计一个强大的研究，以评估MDS的主题建模充分。即提高聚类的内聚性，提高MDS的真实性和可信度，增加MDS支持的文档数量。我们提出了一些关于如何解决这些问题的想法，并总结了一些关于如何使用主题建模来改进MDS的想法。
2022-10-28 cs.CL
Pre-training is a Hot Topic: Contextualized Document Embeddings Improve Topic Coherence
Bocconi University（博科尼大学）；University of Milan-Bicocca（米兰比可卡大学）
主题模型从文档中提取单词组，将其解释为主题有望更好地理解数据。然而，由此产生的词组往往是不连贯的，使他们更难解释。最近，神经主题模型在整体连贯性方面有所改善。同时，上下文嵌入总体上推进了神经模型的发展。在本文中，我们结合上下文表示与神经主题模型。我们发现，我们的方法比传统的词袋主题模型和最近的神经模型产生更有意义和连贯的主题。我们的研究结果表明，未来的改进语言模型将转化为更好的主题模型。
2021-06-17 cs.CL
Topic Sensitive Neural Headline Generation
State Key Laboratory of Intelligent Technology and Systems（智能技术与系统国家重点实验室）；Tsinghua National Laboratory for Information Science and Technology（清华信息科学与技术国家实验室）；Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系）
神经模型最近被用于文本摘要，包括标题生成。该模型可以使用一组文档标题对进行训练。然而，该模型没有明确考虑主题的相似性和差异的文件。我们建议将文档分类到不同的主题中，以便同一主题中的文档在内容上相似并且共享相似的摘要模式。利用文档的主题信息，提出主题敏感的神经标题生成模型。我们的模型可以根据文档主题生成更准确的摘要。我们在LCSTS数据集上测试了我们的模型，实验表明我们的方法在每个主题上都优于其他基线，并达到了最先进的性能。
2016-08-20 cs.CL
Factorizing Content and Budget Decisions in Abstractive Summarization of Long Documents
Institute for Language, Cognition and Computation（语言、认知与计算研究所）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
我们认为，从用于覆盖突出内容的预算中分离出内容选择可以提高抽象摘要的性能和适用性。我们的方法FactorSum通过能量函数将摘要分解为两个步骤来实现这种分解：（1）生成抽象摘要视图;（2）根据预算和内容指导将这些视图组合成最终摘要。这个指导可能来自不同的来源，包括来自顾问模型，如BART或BigBird，或者在Oracle模式下-来自参考。这种因子分解在长文档摘要的多个基准上实现了显着更高的ROUGE分数，即PubMed，arXiv和GovReport。最值得注意的是，我们的模型是有效的领域自适应。当仅在PubMed样本上训练时，它在arXiv上获得了46.29 ROUGE-1评分，这表明由于更灵活的预算调整和内容选择较少依赖于特定领域的文本结构，因此性能强劲。
2022-10-26 cs.CL
Hierarchical Graph Topic Modeling with Topic Tree-based Transformer
The Pennsylvania State University（宾夕法尼亚州立大学）；Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Nanyang Technological University（南洋理工大学）；University of Electronic Science and Technology of China（电子科技大学）；Singapore Management University（新加坡管理大学）
针对互联文档兼具图层次与主题层次的问题，提出在双曲空间中融合主题树嵌入和图结构的 Transformer 模型，提升层次主题建模效果。
2025-02-17 cs.CL
Topic-Guided Reinforcement Learning with LLMs for Enhancing Multi-Document Summarization
Department of Computer Science, University of British Columbia（英属哥伦比亚大学计算机科学系）；Salesforce AI Research（Salesforce人工智能研究）
本文提出一种主题引导的强化学习方法，通过在GRPO框架中引入主题奖励以衡量生成摘要与源文档的主题对齐度，有效改进了多文档摘要的内容选择，并在Multi-News等数据集上持续优于强基线。
2025-09-11 cs.CL
Long Document Summarization in a Low Resource Setting using Pretrained Language Models
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Goldman Sachs（高盛）
摘要是将长文档压缩成连贯的短文档，同时保留显著信息的任务。现代抽象摘要方法基于深度神经网络，其通常需要大的训练数据集。由于收集摘要数据集是一项昂贵且耗时的任务，因此实际的工业环境通常资源较少。在本文中，我们研究了一个具有挑战性的低资源设置，总结长的法律摘要，平均源文件长度为4268字，只有120个可用（文件，摘要）对。为了解释数据稀缺性，我们使用了一个现代的预先训练的抽象摘要器BART（Lewis等人，2020年），它只达到17.9 ROUGE-L，因为它与长文档作斗争。因此，我们尝试通过使用基于GPT-2的新颖算法（Radford等人，2019）语言模型困惑分数，其在低资源范围内操作。在将压缩文档馈送到BART时，我们观察到6.0 ROUGE-L的改进。我们的方法还击败了几个竞争性的显着性检测基线。此外，所识别的突出句子往往同意由领域专家的独立的人类标记。
2021-03-01 cs.CL
Centroid-based summarization of multiple documents: sentence extraction, utility-based evaluation, and user studies
我们提出了一个多文档摘要，称为MEAD，它产生的主题检测和跟踪系统使用集群质心摘要。我们还描述了两种新的技术，句子效用和包容的基础上，我们已经应用到单个和多个文件摘要的评估。最后，我们描述了两个用户研究，测试我们的多文档摘要模型。
2000-05-12 cs.AI cs.CL cs.DL
TAN-NTM: Topic Attention Networks for Neural Topic Modeling
Adobe（奥多比公司）；Birla Institute of Technology Science Pilani (BITS Pilani)（比尔拉科学技术学院（皮拉尼））；Indian Institute of Technology Kanpur (IIT Kanpur)（印度理工学院坎普尔分校）
主题模型已被广泛用于学习文本表示和深入了解文档语料库。为了进行主题发现，大多数现有的神经模型要么将文档词袋（BoW）或令牌序列作为输入，然后进行变分推理和BoW重构来学习主题词分布。然而，在文档编码期间利用主题词分布来学习更好的功能还没有被探索太多。为此，我们开发了一个框架TAN-NTM，它通过LSTM将文档处理为一个令牌序列，LSTM的上下文输出以主题感知的方式参与。我们提出了一种新的注意力机制的因素，在主题词的分布，使模型出席相关的话，传达主题相关的线索。然后利用主题注意模块的输出进行变分推理。我们进行了广泛的消融和实验，在几个基准数据集-20 Newsgroups，Yelp Review Polarity和AGNews的NPMI一致性中，现有SOTA主题模型的得分提高了约9- 15%。此外，我们表明，我们的方法学习更好的潜在文档主题功能相比，现有的主题模型，通过改进两个下游任务：文档分类和主题引导的关键词生成。
2021-07-09 cs.CL
ODSum: New Benchmarks for Open Domain Multi-Document Summarization
Zhejiang University（浙江大学）；Yale University（耶鲁大学）；Allen Institute for AI（艾伦人工智能研究所）
本文提出基于规则的方法构建开放域多文档摘要数据集ODSum，系统评估检索-摘要框架下各类模型性能，揭示检索错误对LLM摘要质量的严重影响并探索改进方案。
2023-09-16 cs.CL
Document Similarity for Texts of Varying Lengths via Hidden Topics
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；T. J. Watson Research Center, IBM（IBM T. J.沃森研究中心）
测量文本之间的相似性是几个应用程序的重要任务。现有的方法来衡量文档相似性是不够的文档对具有非可比长度，如长文档及其摘要。这是因为词汇，上下文和抽象之间的差距丰富的细节和它的简明摘要的抽象信息的长文档。在本文中，我们提出了一个文档匹配的方法来弥补这一差距，通过比较隐藏主题的共同空间中的文本。我们评估了两个匹配任务的匹配算法，发现它始终广泛优于强基线。我们还强调了将领域知识结合到文本匹配中的好处。
2019-03-26 cs.CL
Dynamic and Static Topic Model for Analyzing Time-Series Document Collections
The University of Tokyo（东京大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
为了从文本中提取有意义的主题，应该适当考虑它们的结构。在本文中，我们的目标是分析结构化的时间序列文件，如收集的新闻文章和一系列的科学论文，其中的主题随着时间的推移，取决于过去的多个主题，并在每个时间彼此相关。为此，我们提出了一个动态和静态的主题模型，它同时考虑了动态结构的时间主题演变和静态结构的主题层次在每个时间。我们展示了科学论文集的实验结果，其中所提出的方法优于传统的模型。此外，我们展示了一个提取的主题结构的例子，我们发现这有助于分析研究活动。
2018-05-06 cs.CL
Topic Model Supervised by Understanding Map
Tsinghua University（清华大学）
受物理学中质心概念的启发，提出了一种扩展的语义质心（SCOM），用于发现文档的抽象主题。这个概念是在一个框架模型下，称为理解地图监督主题模型（UM-S-TM）。UM-S-TM的设计目标是让文档内容和语义网络（具体地说，理解地图）在解释文档的含义方面发挥作用。基于不同的理由，设计了三种可能的方法来发现文档的SCOM。在人工文档和理解地图上进行了实验，以检验其结果。此外，还测试了它的文档矢量化能力和顺序信息捕获能力。我们还比较了UM-S-TM与概率主题模型，如潜在狄利克雷分配（LDA）和概率潜在语义分析（pLSA）。
2022-05-27 cs.CL
Mining both Commonality and Specificity from Multiple Documents for Multi-Document Summarization
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
多文档摘要任务要求设计的摘要器生成涵盖原始文档重要信息并满足内容多样性的简短文本。提出了一种基于文档层次聚类的多文档文摘方法。该方法利用构建的文档类树，提取反映文档共性的句子和反映文档子类特殊性的句子生成摘要，以满足多文档摘要的覆盖性和多样性要求。在DUC'2002-2004数据集上进行了不同方法的对比实验，证明了挖掘文档的共性和特异性的多文档摘要的有效性。在DUC'2004和Multi-News数据集上的实验表明，与现有的无监督和有监督方法相比，该方法具有很好的性能。
2023-03-05 cs.AI cs.CL
Mixing Dirichlet Topic Models and Word Embeddings to Make lda2vec
Stitch Fix（Stitch Fix公司）
分布式密集词向量已被证明是有效的，在捕捉语言中的标记级语义和句法的语义，而主题模型可以形成可解释的表示在文档。在这项工作中，我们描述了lda2vec，一个模型，学习密集的词向量与Dirichlet分布的潜在文档级混合的主题向量。与连续密集的文档表示相反，该公式通过非负单纯形约束产生稀疏的、可解释的文档混合物。我们的方法很容易融入现有的自动微分框架，并允许无监督的文档表示面向科学家使用，同时学习词向量和它们之间的线性关系。
2016-05-06 cs.CL
Zero-shot topic generation
Primer
我们提出了一种方法来生成主题，使用一个模型训练只为文档标题生成，在训练过程中给出零个主题的例子。我们利用的功能，捕捉文档中的候选跨度的相关性，为该文档生成一个标题。输出是与描述文档最相关的短语的加权集合并在语料库中区分它，而无需访问语料库的其余部分。我们进行了一项双盲试验，其中人类注释者对我们机器生成的主题以及与《卫报》和《赫芬顿邮报》的新闻文章相关的原始人类写作主题的质量进行了评分。结果表明，我们的zero-shot模型生成的新闻文档的主题标签，平均质量等于或高于人类编写的，由人类判断。
2020-04-29 cs.CL
GRETEL: Graph Contrastive Topic Enhanced Language Model for Long Document Extractive Summarization
National Centre for Text Mining（国家文本挖掘中心）；The University of Manchester（曼彻斯特大学）；Chancefocus AMC
最近，神经主题模型（NTM）已被纳入到预训练的语言模型（PLM），以捕捉全局语义信息的文本摘要。然而，在这些方法中，仍然存在的方式，他们捕获和集成的全局语义信息的限制。在本文中，我们提出了一种新的模型，图对比主题增强语言模型（GRETEL），它结合了图对比主题模型与预训练的语言模型，充分利用全局和局部上下文语义的长文档提取摘要。为了更好地捕获全局语义信息并将其合并到PLM中，图对比主题模型集成了分层Transformer编码器和图对比学习，以融合来自全局文档上下文和黄金摘要的语义信息。为此，GRETEL鼓励模型有效地提取与黄金摘要主题相关的突出句子，而不是覆盖次优主题的冗余句子。在一般领域和生物医学数据集上的实验结果表明，我们提出的方法优于SOTA方法。
2022-08-21 cs.CL
Topic-Aware Encoding for Extractive Summarization
文档摘要提供了一种更快地理解文本文档集合的工具，并有几个实际应用。随着在线文本数据的增长，近年来提出了许多摘要模型。基于序列到序列（Seq2Seq）的神经摘要模型由于其高性能而在摘要领域中应用最广泛。这是因为在编码时充分考虑了文本中的语义信息和结构信息。然而，现有的抽取式摘要模型很少关注和利用中心主题信息来辅助摘要的生成，导致模型不能保证生成的摘要是在主主题下生成的。一个冗长的文档可以跨越多个主题，而一个摘要无法公正地处理所有主题。因此，生成高质量摘要的关键是确定中心主题，并在此基础上构建摘要，特别是对于长文档。我们提出了一个主题感知编码的文档摘要来处理这个问题。该模型有效地结合了句法级和主题级信息，构建了一个全面的句子表示。具体而言，在基于神经元的文本级表示学习中添加神经元主题模型，以充分考虑用于捕获原始文档中的关键内容的中心主题信息。在三个公共数据集上的实验结果表明，我们的模型优于最先进的模型。
2022-03-31 cs.CL
Imbalanced multi-label classification using multi-task learning with extractive summarization
Yale University（耶鲁大学）
摘要提取和不平衡多标签分类通常需要大量的训练数据来避免过拟合。在生成训练数据的成本很高的情况下，利用任务之间的信息是增加可用信息量的一种有吸引力的方法。本文采用提取摘要器和基于RNN的分类器的多任务训练，相对于RNN基线，分别将摘要和分类准确率提高了50%和75%。我们假设，连接句子编码的基础上，文件和类上下文增加了高度可变的语料库的概括性。
2019-03-16 cs.CL
Bilingual Topic Models for Comparable Corpora
Salesforce（赛富时）；University of Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；University of Lorraine（洛林大学）
概率主题模型，如潜在狄利克雷分配（LDA）先前已扩展到双语设置。这些扩展中的一个基本建模假设是，输入语料库是文档对的形式，其组成文档共享单个主题分布。然而，对于由主题仅在某种程度上相似的文档组成的可比语料库来说，这种假设是强有力的，而这些文档又是最常见或最容易获得的。在本文中，我们放松了这一假设，提出了成对的文件有单独的，但绑定的主题分布。%成对文档的分布之间的绑定机制。我们建议，绑定的强度应取决于每对的语义相似性。为了估计用不同语言编写的文档的相似性，我们使用了通过浅层神经网络学习的跨语言词嵌入。我们通过扩展两个主题模型来评估所提出的绑定机制：假设词袋输入的LDA的双语适应模型和以语义连贯段的边界形式纳入部分文本结构的模型。为了评估新型主题模型的性能，我们对五个双语、可比较的英语文档与法语、德语、意大利语、西班牙语和葡萄牙语文档语料库进行了内在和外在实验。结果表明，我们的方法的效率方面的主题一致性测量的归一化逐点互信息，和泛化性能测量的困惑，并在跨语言的文档检索任务中的每一个语言对的平均倒数排名。
2021-11-30 cs.CL
Neural Topic Modeling with Cycle-Consistent Adversarial Training
Southeast University（东南大学）
深度生成模型的进展吸引了神经主题建模的重大研究兴趣。最近提出的对抗神经主题模型的主题与对抗训练的生成器网络，并采用狄利克雷之前捕捉潜在的主题的语义模式。它是有效的，在发现连贯的主题，但无法推断给定的文档或利用可用的文档标签的主题分布。为了克服这些限制，我们提出了主题建模与周期一致的对抗训练（ToMCAT）及其监督版本sToMCAT。ToMCAT采用一个生成器网络来解释主题和一个编码器网络来推断文档主题。对抗性训练和周期一致性约束用于鼓励生成器和编码器产生彼此协调的真实样本。sToMCAT通过将文档标签合并到主题建模过程中来扩展ToMCAT，以帮助发现更连贯的主题。在无监督/有监督主题建模和文本分类上对所提出的模型的有效性进行了评估。实验结果表明，我们的模型可以产生连贯和信息丰富的主题，优于一些竞争基线。
2020-09-29 cs.CL
Combining Temporal Information and Topic Modeling for Cross-Document Event Ordering
University of Alicante（阿利坎特大学）
从书面新闻文章的集合中构建统一的时间线需要跨文档事件共指消解和时间关系抽取。在本文中，我们提出了一种方法事件共指消解根据：a）相似的时间信息，和b）相似的语义参数。使用自动时间信息系统（TIPSem）检测时间信息，而语义信息通过LDA主题建模表示。对我们方法的评估表明，它在SemEval2015任务4：时间轴：跨文档事件排序中获得了最高的微平均F分数结果（TrackB为25.36%，SubtrackB为23.15%），与其他系统相比提高了6%。然而，我们的实验也显示了一些缺点的主题建模方法，降低了系统的性能。
2015-06-10 cs.CL
Contrastive Learning for Neural Topic Model
VinAI Research（VinAI研究院）；Nanyang Technological University（南洋理工大学）
最近的实证研究表明，对抗性主题模型（ATM）可以成功地捕捉文档的语义模式，通过区分一个文档与另一个不相似的样本。然而，利用这种区分生成架构有两个重要的缺点：（1）该架构不涉及相似的文档，这些文档具有相同的显着词的文档-词分布;（2）它限制了整合外部信息的能力，例如文档的情感，这已被证明有利于神经主题模型的训练。为了解决这些问题，我们从数学分析的角度重新审视了对抗性主题架构，提出了一种新的方法来将区分性目标重新表述为优化问题，并设计了一种新的采样方法来促进外部变量的整合。该方法鼓励模型考虑相似样本之间的关系，并对不同样本之间的相似性进行约束;而基于内部输入和重构输出的抽样方法有助于为模型提供对主题有贡献的突出词。实验结果表明，我们的框架优于其他国家的最先进的神经主题模型在三个常见的基准数据集，属于不同的领域，词汇量大小，和文档长度方面的主题一致性。
2021-10-25 cs.CL
