Reranking-based Generation for Unbiased Perspective Summarization
Department of Computer Science, Columbia University（计算机科学系，哥伦比亚大学）
本研究针对政治视角摘要，验证了基于语言模型的评估指标优于传统指标，并提出重排序生成及偏好调优方法以提升摘要质量。
2025-06-19 cs.CL
Answers Unite! Unsupervised Metrics for Reinforced Summarization Models
CNRS（法国国家科学研究中心）；Sorbonne Université（索邦大学）；reciTAL
最近提出了基于强化学习（RL）的抽象摘要方法，以克服经典的似然最大化。RL能够考虑复杂的，可能是不可区分的指标，这些指标在全球范围内评估生成的输出的质量和相关性。ROUGE，最常用的摘要度量，是已知的遭受偏向词汇相似性，以及从次优会计的流畅性和可读性的生成的摘要。因此，我们探索并提出了替代的评估措施：报告的人的评价分析表明，所提出的指标，问答的基础上，有利地比较ROUGE -与额外的属性，不需要参考摘要。在这些指标上训练一个基于RL的模型，可以改进（在人工或自动化指标方面）当前使用ROUGE作为奖励的方法。
2019-09-04 cs.AI cs.CL cs.IR
MRCBert: A Machine Reading ComprehensionApproach for Unsupervised Summarization
National University of Singapore（新加坡国立大学）
当进行在线购买，它成为重要的客户仔细阅读产品评论，并作出决定的基础上.然而，审查可能很长，可能包含重复的信息，有时甚至是对决策没有帮助的无关信息。在本文中，我们介绍了MRCBert，一种新的无监督的方法来生成摘要的产品评论。我们利用机器阅读理解，即MRC，方法来提取相关的意见，并从评论中生成评级和方面的摘要。通过MRCBert，我们表明，我们可以获得合理的性能，使用现有的模型和迁移学习，这可能是有用的学习资源有限或低的情况下。我们展示了亚马逊评论数据集中电子产品类别的评论结果。我们的方法是无监督的，因为它不需要任何特定领域的数据集，如产品评论数据集，用于训练或微调。相反，我们只使用SQuAD v1.1数据集来微调MRC任务的BERT。由于MRCBert不需要特定于任务的数据集，因此它可以很容易地适应和用于其他领域。
2021-05-01 cs.AI cs.CL
Towards Unsupervised Question Answering System with Multi-level Summarization for Legal Text
National Institute of Technology Karnataka (NITK)（卡纳塔克邦国家理工学院（NITK））
针对 SemEval-2024 法律论证推理二分类任务，提出基于相似度与距离的无监督标注方法，并结合 Legal-Bert 多层融合及 T5 分段摘要，显著提升 F1。
2024-07-02 cs.CL cs.CY cs.LG
InstUPR : Instruction-based Unsupervised Passage Reranking with Large Language Models
National Taiwan University（台湾大学）
本文提出InstUPR，一种基于大语言模型指令遵循能力的无监督段落重排序方法，通过软分数聚合和成对重排序技术，无需额外微调即可在BEIR基准上超越无监督基线及指令微调重排序器。
2024-03-25 cs.CL cs.IR
Recent Trends in Unsupervised Summarization
Lakehead University（湖首大学）；Université de Sherbrooke（谢布鲁克大学）
本综述探讨了无监督摘要的最新趋势，涵盖抽取式、生成式及混合模型，并引入分类法对训练方法进行分类，同时讨论了当前方法、数据集与评估方法。
2024-09-26 cs.CL
Unsupervised Broadcast News Summarization; a comparative study on Maximal Marginal Relevance (MMR) and Latent Semantic Analysis (LSA)
University of Tabriz（大不里士大学）；Computerized Intelligence Systems Laboratory（计算机智能系统实验室）
本研究在波斯语广播新闻摘要任务上比较了 LSA 和 MMR 两种无监督方法，发现 LSA 在通用摘要中表现更优，而 MMR 在基于查询的摘要中表现更好。
2023-01-05 cs.CL
Unsupervised Abstractive Summarization of Bengali Text Documents
Ahsanullah Univ of Science & Tech（阿赫桑乌拉科技大学）
抽象摘要系统通常依赖于大量的文档-摘要对集合。然而，抽象系统的性能仍然是一个挑战，因为像孟加拉语这样的低资源语言无法获得并行数据。为了克服这个问题，我们提出了一个基于图的无监督摘要系统在单文档设置孟加拉语文本文件，它只需要一个部分的语音（POS）标记和一个预先训练的语言模型孟加拉语文本训练。我们还提供了一个带有文档摘要对的人类注释数据集，以评估我们的抽象模型，并支持孟加拉语未来抽象摘要系统的比较。我们在这个数据集上进行实验，并将我们的系统与几个成熟的无监督提取摘要系统进行比较。我们的无监督抽象摘要模型在不暴露于任何人工注释的参考摘要的情况下优于基线。
2021-02-19 cs.CL
An Unsupervised Masking Objective for Abstractive Multi-Document News Summarization
University of California, San Diego（加州大学圣迭戈分校）
我们表明，一个简单的无监督掩蔽目标可以接近抽象的多文档新闻摘要的监督性能。我们的方法训练了一个最先进的神经摘要模型来预测相对于多文档组具有最高词汇中心性的屏蔽源文档。在Multi-News数据集上的实验中，我们的掩蔽训练目标产生了一个优于过去无监督方法的系统，并且在人类评估中，超过了最好的监督方法，而无需访问任何地面事实摘要。此外，我们评估不同的词汇中心性的措施，启发过去的工作提取摘要，影响最终的表现。
2022-01-07 cs.CL
Unsupervised Topic Modeling Approaches to Decision Summarization in Spoken Meetings
Cornell University（康奈尔大学）
我们提出了一个令牌级的决策摘要框架，利用潜在的主题结构的话语，以确定“值得总结”的话。实验结果表明，细粒度的主题模型能够更好地识别决策过程的要点，它在话语级而不是文档级发现主题。此外，我们提出的令牌级摘要方法，这是能够消除话语内的冗余，优于现有的话语排名为基础的摘要方法。最后，还调查上下文信息以向摘要添加额外的相关信息。
2016-06-24 cs.CL
Unsupervised Dual-Cascade Learning with Pseudo-Feedback Distillation for Query-based Extractive Summarization
IBM Research（IBM研究院）
我们提出了Dual-CES -一种新的无监督，以查询为中心，多文档提取摘要。Dual-CES旨在更好地处理摘要中显着性和焦点之间的权衡。为此，Dual-CES采用两步双级联优化方法和基于显着性的伪反馈蒸馏。总的来说，Dual-CES的性能明显优于所有其他最先进的无监督替代品。Dual-CES甚至被证明能够胜过强监督摘要器。
2018-11-01 cs.CL
Unsupervised Text Summarization via Mixed Model Back-Translation
Facebook AI Research（脸书人工智能研究院）
基于反向翻译的方法最近在无监督的序列到序列任务（诸如机器翻译或风格转移）中取得了重大进展。在这项工作中，我们扩展的范式学习的句子摘要系统从不对齐的数据的问题。我们提出了几个初始模型，依赖于任务的不对称性来执行第一个回译步骤，并展示了将这些不同的初始化方法创建的数据相结合的价值。我们的系统在从完全未对齐的数据中进行无监督句子摘要方面优于当前最先进的技术超过2个ROUGE，并且与最近的半监督方法的性能相匹配。
2019-08-22 cs.CL
Centrality Meets Centroid: A Graph-based Approach for Unsupervised Document Summarization
近年来，无监督文档摘要由于其简单性和数据独立性而重新获得了大量关注。在本文中，我们提出了一个基于图的无监督方法提取文档摘要。而不是排名的句子的显着性和提取句子一个接一个，我们的方法工作在一个总结的水平，利用图中心和质心。我们首先从句子图中提取基于中心性的摘要候选作为子图，然后通过匹配到质心来从摘要候选中选择。我们在两个基准摘要数据集上进行了广泛的实验，结果表明，与最先进的基线相比，我们的模型是有效的。
2021-04-22 cs.CL
Unsupervised Extractive Opinion Summarization Using Sparse Coding
UNC Chapel Hill（北卡罗来纳大学教堂山分校）
意见摘要是自动生成摘要的任务，这些摘要封装了来自多个用户评论的信息。我们提出了语义自动编码器（SemAE），以无监督的方式执行提取意见摘要。SemAE使用字典学习来隐式地从评论中捕获语义信息，并在语义单元上学习每个句子的潜在表示。语义单位应该捕捉抽象的语义概念。我们的提取摘要算法利用这些表示来识别数百条评论中的代表性意见。SemAE还能够执行可控摘要，以生成特定于方面的摘要。我们在SPACE和AMAZON数据集上报告了强大的性能，并进行了实验来研究我们模型的功能。我们的代码可在https://github.com/brcsomnath/SemAE上公开获取。
2022-05-19 cs.CL
Unsupervised Extractive Summarization by Pre-training Hierarchical Transformers
Microsoft Research Asia（微软亚洲研究院）；Shanghai Qi Zhi institute（上海期智研究院）
无监督提取文档摘要旨在从文档中选择重要句子，而无需在训练期间使用标记摘要。现有的方法大多是基于图的句子作为节点和句子的相似性衡量的边的权重。在这项工作中，我们发现，Transformer注意力可以用来排名句子的无监督提取摘要。具体来说，我们首先只使用未标记的文档来预训练分层Transformer模型。然后，我们提出了一种方法来排名的句子，使用双水平的自我注意力和预训练目标。在CNN/DailyMail和New York Times数据集上的实验表明，该模型在无监督摘要方面具有最先进的性能。我们还发现，在实验中，我们的模型是依赖于句子位置。当使用我们的模型和最近的无监督模型显式建模句子位置的线性组合时，我们获得了更好的结果。
2020-10-16 cs.CL
BottleSum: Unsupervised and Self-supervised Sentence Summarization using the Information Bottleneck Principle
University of Washington（华盛顿大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
信息瓶颈（Tishby et al. 1999）的原理是产生一个信息X的摘要，以预测其他一些相关信息Y。在本文中，我们提出了一种新的无监督句子摘要方法，通过将信息瓶颈原则映射到条件语言建模目标：给定一个句子，我们的方法寻求一个压缩的句子，可以最好地预测下一个句子。我们的迭代算法下的信息瓶颈目标搜索逐渐较短的连续性给定的句子，同时最大限度地提高下一个句子的概率条件下的摘要。只使用预训练的语言模型，没有直接的监督，我们的方法可以有效地执行提取句子摘要在一个大的语料库。在我们的无监督提取摘要（BottleSumEx）的基础上，我们提出了一种新的自监督抽象摘要方法（BottleSumSelf），其中基于transformer的语言模型在我们的无监督方法的输出摘要上进行训练。实证结果表明，我们的提取方法优于其他无监督模型的多个自动度量。此外，我们发现我们的自监督抽象模型在多个属性上的人类评估优于无监督基线（包括我们自己的）。
2019-09-20 cs.CL
Discrete Optimization for Unsupervised Sentence Summarization with Word-Level Extraction
Heidelberg University（海德堡大学）；University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所（Amii））；University of Waterloo（滑铁卢大学）
自动句子摘要生成句子的较短版本，同时保留其最重要的信息。一个好的摘要的特点是语言流畅，与源句的信息重叠度高。我们在一个无监督的目标函数，包括语言建模和语义相似性度量这两个方面的模型。我们通过离散优化来寻找高分摘要。我们提出的方法实现了一个新的国家的最先进的无监督句子摘要根据ROUGE分数。此外，我们证明，通常报告的ROUGE F1度量是敏感的摘要长度。由于这是不情愿地利用在最近的工作中，我们强调，未来的评估应明确分组摘要系统的输出长度括号。
2020-05-04 cs.CL
TED: A Pretrained Unsupervised Summarization Model with Theme Modeling and Denoising
Stanford University（斯坦福大学）；Microsoft Cognitive Services Research Group（微软认知服务研究组）
文本摘要的目的是从文本中提取必要的信息，并将文本转换为简洁的文本。现有的无监督摘要模型利用递归神经网络框架，而最近提出的Transformer具有更多的能力。此外，大多数以前的摘要模型忽略了丰富的未标记语料库资源可用于预训练。为了解决这些问题，我们提出了TED，一个基于transformer的无监督抽象摘要系统，对大规模数据进行预训练。我们首先利用新闻文章中的铅偏见在数百万未标记的语料库上预训练模型。接下来，我们通过主题建模和去噪自动编码器对目标领域的TED进行微调，以提高生成摘要的质量。值得注意的是，TED在NYT、CNN/DM和英语Gigaword数据集上的表现优于所有无监督的抽象基线，这些数据集具有各种文档风格。进一步的分析表明，TED生成的摘要是高度抽象的，TED的目标函数中的每个组件是非常有效的。
2020-10-18 cs.CL
Unsupervised Extractive Summarization with Heterogeneous Graph Embeddings for Chinese Document
Tencent（腾讯）
在无监督提取摘要的场景中，学习高质量的句子表示对于从输入文档中选择突出句子至关重要。以往的研究多集中于采用统计方法或预训练语言模型（PLMs）来提取句子嵌入，而忽略了词语和句子之间的异质交互类型所固有的丰富信息。在本文中，我们首次提出了一种无监督的提取摘要方法与异构图嵌入（HGE）的中文文档。构建了一个异构文本图，通过结合图的结构信息来捕获不同粒度的交互。此外，我们提出的图是通用和灵活的，其中可以很容易地集成额外的节点，如关键字。实验结果表明，我们的方法始终优于强基线在三个摘要数据集。
2022-11-09 cs.CL
Discourse-Aware Unsupervised Summarization of Long Scientific Documents
MILA（MILA研究所）；McGill University（麦吉尔大学）
我们提出了一种无监督的基于图的排序模型，用于长科学文献的提取摘要。我们的方法假设一个两级的层次图表示的源文件，并利用不对称的位置线索，以确定句子的重要性。在PubMed和arXiv数据集上的结果表明，我们的方法在自动度量和人工评估方面远远优于强大的无监督基线。此外，它实现了与许多最先进的监督方法相当的性能，这些方法是在数十万个示例上训练的。这些结果表明，语篇结构中的模式是决定科技文章重要性的一个强有力的信号。
2021-01-13 cs.CL
Unsupervised Multi-document Summarization with Holistic Inference
University of California, Davis（加州大学戴维斯分校）；Tencent AI Lab（腾讯人工智能实验室）
本文提出一种用于无监督多文档抽取式摘要的整体框架，结合整体束搜索推断与子集代表性指数（SRI）平衡句子重要性和多样性，在多数据集上显著超越强基线并验证了多样性的关键作用。
2023-09-08 cs.CL
Unsupervised Summarization Re-ranking
Nanyang Technological University（南洋理工大学）；Institute of Infocomm Research (IR), A * STAR（新加坡科技研究局信息通信研究院）；Salesforce AI（Salesforce人工智能部门）
针对无监督摘要模型性能落后且有候选质量方差大的问题，提出无监督摘要候选重排序方法，在多个基准和零样本迁移设置中显著缩小了与有监督模型的性能差距。
2024-11-14 cs.CL
Q-learning with Language Model for Edit-based Unsupervised Summarization
IBM Research（IBM研究公司）
无监督的方法是有前途的抽象文本摘要，因为它不需要平行语料库。然而，它们的性能仍然远远不能令人满意，因此正在研究有前途的解决方案。在本文中，我们提出了一种新的方法，基于Q学习与基于编辑的摘要。该方法将两个关键模块结合起来，形成编辑代理和语言模型转换器（EALM）。代理预测编辑动作（例如，删除、保持和替换），然后LM转换器基于动作信号确定性地生成概要。Q-learning被用来训练智能体以产生适当的编辑动作。实验结果表明，与先前的基于编码器-解码器的方法相比，EALM提供了有竞争力的性能，即使具有真正的零配对数据（即，无验证集）。将任务定义为Q学习不仅使我们能够开发出一种有竞争力的方法，而且还使强化学习的最新技术可用于无监督摘要。我们还进行了定性分析，为未来的研究提供见解无监督摘要。
2020-10-09 cs.CL
Unsupervised Extractive Summarization by Human Memory Simulation
School of Informatics, University of Edinburgh（爱丁堡大学信息学院）；Naver Labs Europe
摘要系统面临着识别和选择重要信息的核心挑战。在本文中，我们解决的问题，在无监督的提取摘要的长，结构化的文件的内容选择。我们介绍了一个广泛的知识，利用内容单元的认知表征，以及这些是如何保留或遗忘在人类记忆中。我们发现，人类记忆的这些表征的属性可以被利用来捕获科学文章中的内容单元的相关性。实验表明，我们提出的语义学在利用认知结构和文档的组织（即，文章的部分），并且自动和人工评估提供了强有力的证据，表明这些启发式方法提取了更有摘要价值的内容单元。
2021-04-16 cs.CL
Improving Sentence Similarity Estimation for Unsupervised Extractive Summarization
The Hong Kong Polytechnic University（香港理工大学）；Peking University（北京大学）
无监督抽取式摘要的目的是从文档中抽取显著句子作为摘要，而不需要标注数据。近年来的文献主要研究如何利用句子相似度对句子进行显著性排序。然而，使用预训练的语言模型的句子相似性估计大多考虑文档级信息很少，并且与句子显著性排名的相关性较弱。在本文中，我们提出了两个新的策略，以改善句子相似性估计的无监督提取摘要。我们使用对比学习来优化文档级目标，即来自同一文档的句子比来自不同文档的句子更相似。此外，我们使用相互学习来增强句子相似度估计和句子显著性排名之间的关系，其中使用额外的信号放大器来细化关键信息。实验结果证明了我们的策略的有效性。
2023-02-24 cs.CL
Unsupervised Pseudo-Labeling for Extractive Summarization on Electronic Health Records
Petuum Inc.（Petuum公司）
摘要对于医生更好地管理和消化电子健康记录（EHR）非常有用。然而，监督模型的训练需要特定疾病的医学背景，因此非常昂贵。我们研究了如何利用多个EHR之间的内在相关性来生成伪标签，并训练一个没有外部注释的监督模型。在真实患者数据上的实验验证了我们的模型在总结患者的关键疾病特定信息方面是有效的。
2018-11-26 cs.CL
Team MTS @ AutoMin 2021: An Overview of Existing Summarization Approaches and Comparison to Unsupervised Summarization Techniques
MTS AI（MTS人工智能）；ActiveBC（ActiveBC公司）
本文针对AutoMin 2021自动会议纪要任务，分析现有摘要方法并提出基于聚类的无监督摘要技术，在真实录音流水线上优于预训练模型。
2024-10-04 cs.CL
Unsupervised Multi-Granularity Summarization
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Microsoft Cognitive Services Research（微软认知服务研究院）；Microsoft Research Asia（微软亚洲研究院）
文本摘要是基于用户偏好的任务，即，对于同一个文档，用户通常有不同的摘要优先级。作为摘要定制的一个关键方面，粒度用于衡量摘要和源文档之间的语义覆盖率。然而，开发能够生成具有可定制语义覆盖率的摘要的系统仍然是一个未充分探索的主题。在本文中，我们提出了第一个无监督的多粒度摘要框架，GranuSum。我们把事件作为源文档的基本语义单位，并提出了这些事件的显着性排名。我们还开发了一个模型来总结输入文档与给定的事件作为锚和提示。通过输入不同数量的事件，GranuSum能够以无监督的方式生成多粒度摘要。同时，我们注释了一个新的基准GranuDUC，它包含多个摘要在不同的粒度为每个文档集群。实验结果证实了GranuSum在多粒度摘要方面的实质性优势。此外，通过利用事件信息，GranuSum在传统的无监督抽象设置下也表现出最先进的性能。本文的数据集可在以下网站找到：https://github.com/maszhongming/GranuDUC
2022-12-14 cs.CL
Unsupervised Abstractive Sentence Summarization using Length Controlled Variational Autoencoder
Institute for Computational Linguistics（计算语言学研究所）；Heidelberg University（海德堡大学）
在这项工作中，我们提出了一个无监督的方法来摘要的句子抽象的方式使用变分自编码器（VAE）。已知VAE学习表示高维输入的语义丰富的潜在变量。VAE通过学习从概率潜在变量重建输入来训练。在训练过程中显式地提供关于输出长度的信息会影响VAE不对该信息进行编码，从而可以在推理过程中进行操纵。指示解码器产生更短的输出序列导致用更少的单词表达输入句子。我们在不同的摘要数据集上显示，这些较短的句子不能击败一个简单的基线，但产生更高的ROUGE分数比试图重建整个句子。
2018-09-21 cs.CL
Sparse Optimization for Unsupervised Extractive Summarization of Long Documents with the Frank-Wolfe Algorithm
University of California, Berkeley（加州大学伯克利分校）
我们解决了无监督的提取文档摘要的问题，特别是对于长文档。我们将无监督问题建模为稀疏自回归问题，并通过一个凸的范数约束问题近似得到的组合问题。我们使用专门的Frank-Wolfe算法来解决它。为了生成具有$k$语句的摘要，该算法仅需要执行$\approx k$迭代，使得其非常高效。我们解释了如何避免显式计算的完整梯度，以及如何包括句子嵌入信息。我们评估我们的方法对其他两个无监督的方法使用词汇（标准）ROUGE分数，以及语义（基于嵌入）的。我们的方法在两个数据集上都取得了更好的结果，并且在与高度释义的摘要的嵌入相结合时效果尤其好。
2022-08-19 cs.CL
An Efficient Coarse-to-Fine Facet-Aware Unsupervised Summarization Framework based on Semantic Blocks
Beihang University（北京航空航天大学）；Renmin University of China（中国人民大学）；Tencent Cloud Xiaowei（腾讯云小微）
无监督摘要方法通过结合来自预训练的语言模型的表示而取得了显著的效果。然而，现有的方法不能同时考虑效率和有效性时，输入文档是非常长的。为了解决这个问题，在本文中，我们提出了一个有效的Coarse-to-Fine Facet-Aware Ranking（C2F-FAR）框架无监督长文档摘要，这是基于语义块。语义块是指文档中描述相同方面的连续句子。具体来说，我们解决这个问题，通过转换的一步排序方法到层次多粒度两阶段的排名。在粗分阶段，我们提出了一种新的分割算法，将文档分割成面向方面的语义块，然后过滤掉无关紧要的块。在精细级阶段，我们选择每个块中的突出句子，然后从所选句子中提取最终摘要。我们在四个长文档摘要数据集上评估了我们的框架：Gov-Report，BillSum，arXiv和PubMed。我们的C2F-FAR可以在Gov-Report和BillSum上实现最先进的无监督摘要结果。此外，我们的方法比以前的方法加快了4-28倍。\footnote{\url{https://github.com/xnliang98/c2f-far}}
2022-08-17 cs.CL
Unsupervised Abstractive Meeting Summarization with Multi-Sentence Compression and Budgeted Submodular Maximization
École Polytechnique（巴黎综合理工学院）；Linagora（利纳戈拉公司）；AUEB（雅典经济与商业大学）
我们介绍了一种新的基于图的框架，抽象的会议语音摘要，是完全无监督的，不依赖于任何注释。我们的工作结合了多种最新方法的优势，同时解决了它们的弱点。此外，我们利用应用于NLP的词嵌入和图退化的最新进展，考虑外部语义知识，并设计自定义多样性和信息量的措施。在AMI和ICSI语料库上的实验表明，我们的系统在现有技术的基础上有所改进，代码和数据是公开的，并且我们的系统可以进行交互式测试。
2018-11-14 cs.CL
Unsupervised Summarization for Chat Logs with Topic-Oriented Ranking and Context-Aware Auto-Encoders
Fudan University（复旦大学）；Alibaba Group（阿里巴巴集团）；Zhejiang University（浙江大学）；Indiana University Bloomington（印第安纳大学伯明顿分校）
自动聊天摘要可以帮助人们从众多的聊天信息中快速掌握重要信息。与传统文档不同，聊天记录通常具有分散和不断变化的主题。此外，这些日志包含大量的省略和疑问句，这使得聊天摘要高度依赖于上下文。在这项工作中，我们提出了一种新的无监督框架RankAE来执行聊天摘要，而无需使用手动标记的数据。RankAE由一个面向主题的排名策略组成，该策略同时根据中心性和多样性选择主题话语，以及一个精心设计的去噪自动编码器，用于根据所选话语生成简洁但上下文信息丰富的摘要。为了评估所提出的方法，我们从客户服务环境中收集了一个大规模的聊天日志数据集，并构建了一个仅用于模型评估的注释集。实验结果表明，RankAE显著优于其他无监督方法，并且能够在相关性和主题覆盖率方面生成高质量的摘要。
2021-06-25 cs.CL
Computing and Exploiting Document Structure to Improve Unsupervised Extractive Summarization of Legal Case Decisions
University of Pittsburgh（匹兹堡大学）
虽然许多算法可以用来自动总结法律案件的决定，大多数未能纳入领域知识的法律判决中的重要句子如何与其文档结构的表示。例如，对一个法律案例摘要数据集的分析表明，在判决中扮演不同类型论证角色的句子出现在文档的不同部分。在这项工作中，我们提出了一个无监督的基于图的排名模型，使用重新加权算法，利用法律案件的决定的文档结构的属性。我们还探讨了使用不同的方法来计算文档结构的影响。加拿大法律判例法数据集上的结果表明，我们提出的方法优于几个强大的基线。
2022-11-06 cs.CL
Unsupervised Opinion Summarization Using Approximate Geodesics
Google Research（谷歌研究院）；UNC Chapel Hill（北卡罗来纳大学教堂山分校）
本文提出无监督抽取式意见摘要系统GeoSumm，通过基于编码器-解码器的字典学习生成文本潜在语义分布，并利用近似测地线距离评分机制识别热门意见生成摘要，在三个数据集上达到最优性能。
2023-11-20 cs.CL
Simple Yet Effective Synthetic Dataset Construction for Unsupervised Opinion Summarization
Arizona State University（亚利桑那州立大学）；AWS AI Labs（亚马逊云服务人工智能实验室）
意见摘要是对大量评论中表达的意见进行总结的重要解决方案。然而，由于缺乏注释数据，生成特定方面和一般摘要是具有挑战性的。在这项工作中，我们提出了两种简单而有效的无监督方法，通过在与方面相关的评论内容构建的合成数据集上进行训练来生成特定方面和一般性的意见摘要。我们的第一种方法，基于种子词的留一法（SW-LOO），识别方面相关的部分，简单地通过精确匹配方面种子词，并优于现有的方法由3.4 ROUGE-L点的空间和0.5 ROUGE-1点的OPOSUM+方面特定的意见摘要。我们的第二种方法，自然语言推理为基础的留一法（NLI-LOO）确定方面相关的句子，利用NLI模型在一个更一般的设置，而不使用种子词，并优于现有的方法由1.2 ROUGE-L点的空间特定方面的意见摘要，并保持竞争力的其他指标。
2023-03-21 cs.CL
Sentence Centrality Revisited for Unsupervised Summarization
Institute for Language, Cognition and Computation（语言、认知与计算研究所）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
近年来，由于神经网络模型的流行和大规模数据集的可用性，单文档摘要重新受到人们的关注。在本文中，我们开发了一种无监督的方法，认为这是不现实的，期望大规模和高质量的训练数据，以提供或创建不同类型的摘要，域，或语言。我们重新审视了一个流行的基于图的排名算法，并修改了节点（又名句子）的中心性是如何计算的两种方式：（a）~我们采用BERT，一个国家的最先进的神经表示学习模型，以更好地捕捉语义和（b）~我们建立图形与有向边缘认为，任何两个节点的贡献，其各自的中心性是由它们在文档中的相对位置的影响。在三个代表不同语言和写作风格的新闻摘要数据集上的实验结果表明，该方法的性能大大优于强基线。
2019-06-08 cs.CL
GLIMMER: Incorporating Graph and Lexical Features in Unsupervised Multi-Document Summarization
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；School of Information Technology, Deakin University（迪肯大学信息技术学院）；Department of Computer Science, Beijing Technology and Business University（北京工商大学计算机学院）
针对预训练多文档摘要模型依赖大规模语料、领域受限，传统无监督方法易丢失信息的问题，提出融合图与词汇特征的轻量无监督方法GLIMMER，在多个数据集上性能优于现有无监督方法，零样本下ROUGE得分超越主流预训练模型。
2024-08-19 cs.CL
SciSummPip: An Unsupervised Scientific Paper Summarization Pipeline
Monash University（莫纳什大学）；Deakin University（迪肯大学）
学术文献处理（SDP）研讨会是为了鼓励更多的努力对科学任务的自然语言的理解。它包含三个共享任务，我们参与LongSumm共享任务。在本文中，我们描述了我们的文本摘要系统，SciSummPip，灵感来自SummPip（Zhao等人，2020），这是一个无监督的文本摘要系统的多文档在新闻领域。我们的SciSummPip包括基于转换器的语言模型SciBERT（Beltagy等人，2019）用于上下文句子表示，使用PageRank进行内容选择（Page等人，1999），具有深度和语言信息的句子图构造，句子图聚类和图内摘要生成。我们的工作不同于以前的方法，在内容选择和摘要长度约束适用于科学领域。在训练数据集和盲测试数据集上的实验结果表明了我们方法的有效性，并且我们用BERTScore（Zhang et al.，2019年a）。
2020-10-19 cs.CL
Unsupervised Opinion Summarization with Content Planning
最近深度学习技术在抽象摘要方面的成功是基于大规模数据集的可用性。当总结评论时（例如，对于产品或电影），这样的训练数据既不可用，也不能容易地获得，从而促使开发依赖于用于监督训练的合成数据集的方法。我们表明，将内容规划明确纳入摘要模型不仅可以产生更高质量的输出，而且还可以创建更自然的合成数据集，类似于真实世界的文档摘要对。我们的内容计划采用方面和情感分布的形式，我们从数据中推导出来，而无需访问昂贵的注释。合成数据集是通过从我们的内容规划器参数化的Dirichlet分布中采样伪评论来创建的，而我们的模型则根据输入评论和诱导内容计划生成摘要。三个领域的实验结果表明，我们的方法优于竞争模型在生成信息丰富，连贯，流畅的摘要，捕捉意见的共识。
2020-12-14 cs.CL
MeanSum: A Neural Model for Unsupervised Multi-document Abstractive Summarization
MIT Media Lab（麻省理工学院媒体实验室）；Google Brain（谷歌大脑）
摘要已经研究了使用神经序列转导方法与数据集的大型，成对的文档摘要的例子。然而，这样的数据集是罕见的，从它们训练的模型不能推广到其他领域。最近，在学习序列到序列映射方面取得了一些进展，只有不成对的例子。在我们的工作中，我们考虑了只有文档（产品或业务评论）而没有提供摘要的情况，并提出了一个端到端的神经模型架构来执行无监督的抽象摘要。我们提出的模型由一个自动编码器组成，其中输入评论的表示的平均值解码为合理的摘要评论，同时不依赖于任何特定于评论的特征。我们考虑所提出的架构的变体，并进行消融研究，以显示特定组件的重要性。我们通过自动化指标和人工评估表明，生成的摘要高度抽象，流畅，相关，并代表了输入评论的平均情绪。最后，我们收集了一个参考评估数据集，并表明我们的模型优于强提取基线。
2019-05-22 cs.CL
Unsupervised Abstractive Dialogue Summarization with Word Graphs and POV Conversion
ActionPower
我们利用多句压缩图推进了无监督抽象对话摘要的最新技术。从有理有据的假设词图，我们提出了简单但可靠的路径重新排序和主题分割计划。我们的方法的鲁棒性在多个领域的数据集上得到了证明，包括会议，采访，电影剧本和日常对话。我们还确定了用深度学习来增强我们基于经验的系统的可能途径。我们开源了我们的代码，为未来研究无监督对话摘要提供了一个强大的，可重复的基线。
2022-05-26 cs.AI cs.CL
Unsupervised Opinion Summarization with Noising and Denoising
Institute for Language, Cognition and Computation（语言、认知与计算研究所）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
在包含数十万文档摘要对的大型数据集上对高容量模型进行监督训练，对于最近深度学习技术在抽象摘要方面的成功至关重要。不幸的是，在大多数领域（除了新闻），这样的训练数据是不可用的，不能容易地来源。在本文中，我们使监督学习的使用设置只有文件可用（例如，~产品或业务评论）而没有基本事实摘要。我们从用户评论的语料库中创建一个合成数据集，通过对评论进行采样，假装它是一个摘要，并生成我们视为伪评论输入的噪声版本。我们引入了几个语言动机的噪声生成函数和一个摘要模型，它学习对输入进行去噪并生成原始评论。在测试时，该模型接受真实的评论，并生成一个包含突出意见的摘要，将那些没有达成共识的评论视为噪音。广泛的自动和人工评估表明，我们的模型在抽象和提取基线上都有了实质性的改进。
2020-04-21 cs.CL
Learning Non-Autoregressive Models from Search for Unsupervised Sentence Summarization
Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所）；University of Alberta（阿尔伯塔大学）
文本摘要旨在为输入文本生成简短的摘要。在这项工作中，我们提出了一种非自回归无监督汇总（NAUS）方法，该方法不需要并行数据进行训练。我们的NAUS首先执行基于编辑的搜索到一个明确定义的分数，并生成一个摘要作为伪地面实况。然后，我们根据搜索结果训练一个仅编码器的非自回归Transformer。我们还提出了一个动态规划的方法长度控制解码，这是重要的摘要任务。在两个数据集上的实验表明，NAUS实现了最先进的无监督摘要性能，但大大提高了推理效率。此外，我们的算法是能够执行显式的长度传输摘要生成。
2022-05-28 cs.CL cs.LG
Multi-Query Focused Disaster Summarization via Instruction-Based Prompting
Technische Hochschule Nürnberg Georg Simon Ohm（纽伦堡乔治·西蒙·欧姆应用技术大学）
本文提出结合BM25和MonoT5两阶段检索、重排序及基于LLaMA-13b的问答驱动提示摘要方法，解决CrisisFACTS多流灾难事件关键事实提取任务，评估显示效果良好但开源与专有系统仍有差距。
2024-02-14 cs.CL
Simple Unsupervised Summarization by Contextual Matching
Harvard University（哈佛大学）
我们提出了一个无监督的方法，句子摘要只使用语言建模。该方法采用两个语言模型，一个是通用的（即预训练的），另一个是特定于目标域。我们表明，通过使用产品的专家标准，这些都足以保持连续的上下文匹配，同时保持输出流畅性。在抽象和提取句子摘要数据集上的实验表明，我们的方法在不暴露于任何配对数据的情况下取得了令人满意的结果。
2019-07-31 cs.CL cs.LG
RefSum: Refactoring Neural Summarization
Carnegie Mellon University（卡内基梅隆大学）
虽然最近的一些作品表现出潜在的互补性之间的不同国家的最先进的系统，很少有作品试图研究这个问题，在文本摘要。其他领域的研究人员通常会参考重新排序或堆叠的技术来解决这个问题。在这项工作中，我们强调了以前的方法，这促使我们提出了一个新的框架重构，提供了一个统一的视图的文本摘要和摘要组合的几个限制。在实验中，我们进行了全面的评估，涉及22个基础系统，四个数据集，和三个不同的应用场景。除了在CNN/DailyMail数据集（46.18 ROUGE-1）上获得的最新结果外，我们还详细说明了我们提出的方法如何解决传统方法的局限性，以及重构模型的有效性为性能改进提供了见解。我们的系统可以直接使用其他研究人员作为一个现成的工具，以实现进一步的性能改进。我们开源了所有的代码，并提供了一个方便的界面来使用它：https://github.com/yixinL7/Refactoring-Summarization。我们还在http://explainaboard.nlpedia.ai/leaderboard/task-summ/index.php上提供了这项工作的演示。
2021-04-15 cs.CL
Unsupervised Extractive Summarization of Emotion Triggers
University of Illinois Chicago（伊利诺伊大学芝加哥分校）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
针对危机文本中情绪触发因素标注昂贵的问题，本文构建 CovidET-EXT 抽取式数据集，并提出联合检测情绪与总结触发因素的无监督 Emotion-Aware Pagerank，性能优于强基线。
2023-06-02 cs.CL
Unsupervised Summarization by Jointly Extracting Sentences and Keywords
Fudan University（复旦大学）；the Administrative Center of Shanghai R&D Public Service Platforms（上海市研发公共服务平台管理中心）
提出无监督图排序模型 RepRank，利用自注意力学习统一向量表示，通过相互强化的联合过程抽取句子与关键词，并引入吸收随机游走降低冗余，在多数据集 ROUGE 上达到最佳或可比性能。
2023-07-24 cs.CL
New Alignment Methods for Discriminative Book Summarization
Carnegie Mellon University（卡内基梅隆大学）
我们考虑了一本书的全文与人类撰写的摘要的无监督对齐。这提出了在其他文本对齐问题中看不到的挑战，包括长度上的差异，以及由此导致的违反单个单词和短语应该对齐的期望，因为大的段落和章节可以被提炼成单个摘要短语。我们提出了两种新的方法，隐马尔可夫模型的基础上，专门针对这个问题，并展示了提取图书摘要任务的收益。虽然还有很大的改进空间，但无监督对齐在提供对一本书的哪些特征被认为值得总结的洞察方面具有内在价值。
2013-05-06 cs.CL
Unsupervised Extractive Dialogue Summarization in Hyperdimensional Space
ActionPower
本研究提出基于超维空间的无监督抽取式摘要框架HyperSum，利用高维向量伪正交性构建高效句子嵌入，经聚类提取中心点生成摘要，性能优于现有最优模型且速度快10-100倍，已开源作为强基线。
2024-05-16 cs.AI cs.CL
Knowledge-guided Unsupervised Rhetorical Parsing for Text Summarization
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
由于深度学习的最新进展和大规模语料库的可用性，自动文本摘要（ATS）最近取得了令人印象深刻的性能。为了提高自动文摘系统的自动文摘结果的可信度，提出了一种结合修辞结构理论、深度神经模型和领域知识关注的无监督自动文摘方法。该体系结构主要包括三个部分：基于表示学习的领域知识库构建、修辞分析的注意编码解码器模型和基于子例程的文本摘要模型。领域知识可以有效地用于无监督的修辞分析，从而为每个文档的修辞结构树可以得到。在无监督修辞句法分析模块中，采用了翻译的思想来缓解数据不足的问题。基于子例程的摘要模型完全依赖于派生的修辞结构树，可以生成内容平衡的结果。为了在没有金标准的情况下对摘要结果进行评价，提出了一种无监督的评价指标，其超参数由监督学习调整。实验结果表明，在大规模中文数据集上，该方法可以获得与现有方法相当的性能。
2019-10-14 cs.AI cs.CL
A New Sentence Extraction Strategy for Unsupervised Extractive Summarization Methods
Tsinghua University（清华大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
针对监督摘要依赖大规模数据集的问题，本文从信息论角度统一建模无监督抽取式摘要，并提出可增强现有方法的句子抽取策略，实验验证其有效性。
2024-01-24 cs.AI cs.CL
Generating Multiple-Length Summaries via Reinforcement Learning for Unsupervised Sentence Summarization
Pohang University of Science and Technology（浦项科技大学）；Microsoft Research Asia（微软亚洲研究院）；Korea Advanced Institute of Science and Technology（韩国科学技术院）
句子摘要缩短了给定的文本，同时保持了文本的核心内容。已经研究了无监督的方法来总结没有人类书面摘要的文本。然而，最近的无监督模型是提取的，它从文本中删除单词，因此它们不如抽象摘要灵活。在这项工作中，我们设计了一个抽象模型的基础上强化学习没有地面实况摘要。我们制定的无监督摘要的马尔可夫决策过程的基础上，代表摘要质量的奖励。为了进一步提高摘要质量，我们开发了一种多摘要学习机制，该机制可以为给定的文本生成多个不同长度的摘要，同时使摘要相互增强。实验结果表明，该模型大大优于抽象和提取模型，但经常产生新的单词不包含在输入文本。
2022-12-21 cs.AI cs.CL
