Lifelong Graph Learning for Graph Summarization
Ulm University（乌尔姆大学）；University of Essex（埃塞克斯大学）
研究神经网络在终身图摘要中的应用，通过Graph-MLP等模型在时序Web图上实验，发现网络主要依赖1-hop信息且跨十年应用时因异构性增加导致准确率显著下降。
2024-12-20 cs.LG
Graph-based Neural Multi-Document Summarization
Yale University（耶鲁大学）；The LNM Institute of Information Technology（LNM信息技术学院）
我们提出了一个神经多文档摘要（MDS）系统，结合句子关系图。我们采用一个图卷积网络（GCN）的关系图，句子嵌入从递归神经网络作为输入节点的功能。通过多层传播，GCN生成用于显著性估计的高级隐藏句子特征。然后，我们使用一个贪婪的启发式提取突出的句子，同时避免冗余。在我们对DUC 2004的实验中，我们考虑了三种类型的句子关系图，并证明了将图中的句子关系与深度神经网络的表示能力相结合的优势。我们的模型改进了传统的基于图的提取方法和香草GRU序列模型没有图，它取得了竞争力的结果对其他国家的最先进的多文档摘要系统。
2017-08-23 cs.CL cs.LG
Neural Abstractive Text Summarization and Fake News Detection
Stanford University（斯坦福大学）
在这项工作中，我们研究抽象的文本摘要，探索不同的模型，如LSTM编码器解码器与注意，指针生成器网络，覆盖机制，和Transformers。经过广泛和仔细的超参数调整，我们比较了所提出的架构对彼此的抽象文本摘要任务。最后，作为我们工作的延伸，我们将我们的文本摘要模型作为假新闻检测任务的特征提取器，在该任务中，将对分类之前的新闻文章进行总结，并将结果与仅使用原始新闻文本的分类进行比较。关键词：LSTM，编码器-解码器，抽象文本摘要，指针生成器，覆盖机制，Transformers，假新闻检测
2019-12-12 cs.CL cs.LG stat.ML
Tackling Hallucinations in Neural Chart Summarization
Charles University（查理大学）；Saarland University（萨尔大学）；Julius-Maximilians-Universität Würzburg（维尔茨堡朱利叶斯-马克西米利安大学）
本文针对神经图表摘要中的幻觉问题，提出基于自然语言推理的训练数据预处理方法，并通过缩短长距离依赖和引入标题、图例等图表信息提升摘要性能。
2023-08-01 cs.CL cs.LG
Belief Propagation for Maximum Coverage on Weighted Bipartite Graph and Application to Text Summarization
Ibaraki University（茨城大学）
本文从最大覆盖问题的角度研究文本摘要。在图论中，文本摘要的任务被看作是二分图上的最大覆盖问题。近年来，利用统计力学的思想，提出了基于置信传播的无权图最大覆盖算法。我们将其推广到加权图的文本摘要。最后，我们将我们的算法应用于加权双正则随机图的最大覆盖性能验证。我们还将其应用于表示开放文本数据集上真实文档的二分图，并检验了文本摘要的性能。实验结果表明，该算法在某些文本摘要环境下具有比贪婪型算法更好的性能。
2020-03-26 cs.CL cs.IR cs.LG
Summarization Programs: Interpretable Abstractive Summarization with Neural Modular Trees
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
当前的抽象摘要模型要么缺乏清晰的可解释性，要么只突出显示源文档的一部分，从而提供不完整的基本原理。为此，我们提出了总结程序（SP），一个可解释的模块化框架，包括一个（有序）的二叉树列表，每个编码的一步一步的生成过程中的一个抽象的摘要句子从源文件。摘要程序包含每个摘要句子的一个根结点，并且不同的树将每个摘要句子（根结点）连接到从其导出的文档句子（叶节点），其中连接节点包含中间生成的句子。边表示在摘要中涉及的不同模块化操作，例如句子融合、压缩和释义。我们首先提出了一个有效的最佳优先搜索方法，在神经模块，SP-Search，识别SP的人类摘要直接优化ROUGE分数。接下来，使用这些程序作为自动监督，我们提出了seq 2seq模型，生成摘要程序，然后执行这些程序以获得最终摘要。我们证明，SP-Search有效地代表了人类总结背后的生成过程，使用通常忠实于其预期行为的模块。我们还进行了模拟研究，以表明摘要程序提高了摘要模型的可解释性，允许人类更好地模拟模型推理。摘要程序是迈向可解释和模块化抽象摘要的有希望的一步，这是一项复杂的任务，以前主要通过黑盒端到端神经系统来解决。支持代码可在https://github.com/swarnaHub/SummarizationPrograms上获得
2023-02-02 cs.AI cs.CL cs.LG
Project-Level Encoding for Neural Source Code Summarization of Subroutines
University of Notre Dame（圣母大学）
子例程的源代码摘要是编写该子例程的简短自然语言描述的任务。这种描述通常用于针对程序员的文档中，即使是简短的短语（例如“将数据压缩到zip文件”）也可以帮助读者快速理解子例程的功能，而无需阅读代码本身。基于神经网络（特别是编码器-解码器模型设计）的技术已经成为最先进的技术。然而，这些模型普遍存在的一个问题是，它们假设创建摘要所需的信息存在于被摘要的代码本身中--这一假设与程序理解文献不一致。因此，当前的研究前沿在于将源代码上下文编码到摘要的神经模型中的问题。在本文中，我们提出了一个项目级的编码器，以改善模型的代码摘要。项目级是指我们在软件项目中创建选定代码文件的矢量化表示，并使用该表示来增强最先进的神经代码摘要技术的编码器。我们展示了我们的编码器如何改进几个现有的模型，并提供了最大限度地提高，同时控制模型大小的时间和资源成本的指导方针。
2021-03-22 cs.LG cs.SE
Neural Code Summarization
Khoury College of Computer Sciences（Khoury计算机科学学院）
代码摘要是生成可读摘要的任务，这些摘要在语义上是有意义的，并且可以准确地描述软件的假定任务。程序理解已经成为知识转移中最繁琐的任务之一。随着代码库随着时间的推移而发展，每次都需要手动更新描述。提出了一种自动的方法来推断这样的字幕基准和自定义数据集的基础上，与原始和生成的结果之间的比较。
2021-03-04 cs.AI cs.LG cs.SE
GAE-ISumm: Unsupervised Graph-Based Summarization of Indian Languages
IIIT Hyderabad（海得拉巴国际信息技术研究所）；Inria Bordeaux（法国国家信息与自动化研究所波尔多中心）
文档摘要旨在为文本文档创建精确和连贯的摘要。许多深度学习摘要模型主要是针对英语开发的，通常需要大量的训练语料库和高效的预训练语言模型和工具。然而，低资源的印度语言的英语摘要模型往往受到丰富的形态变化，句法和语义差异的限制。在本文中，我们提出了GAE-ISumm，一个无监督的Indic摘要模型，从文本文档中提取摘要。特别是，我们提出的模型GAE-ISumm使用图形自动编码器（GAE）来学习文本表示和文档摘要。我们还提供了一个手动注释的泰卢固语摘要数据集TELSUM，以实验我们的模型GAE-ISumm。此外，我们用最公开的印度语言摘要数据集进行实验，以研究GAE-ISumm对其他印度语言的有效性。我们在七种语言中对GAE-ISumm进行的实验得出了以下观察结果：（i）它在所有数据集上都具有竞争力或优于最先进的结果，（ii）它在TELSUM上报告了基准结果，以及（iii）在所提出的模型中包含位置和聚类信息提高了摘要的性能。
2022-12-25 cs.CL cs.LG
Scaling R-GCN Training with Graph Summarization
Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；Ernst & Young GmbH WPG（安永会计师事务所WPG有限责任公司）；Elsevier（爱思唯尔）
关系图卷积网络（R-GCN）的训练是一项记忆密集型任务。在训练真实世界的图时，需要存储的梯度信息量对于大多数GPU上可用的内存量来说往往太大。在这项工作中，我们尝试使用图形摘要技术来压缩图形，从而减少所需的内存量。在图摘要上训练R-GCN后，我们将权重转移回原始图并尝试对其进行推理。我们在AIFB，MUTAG和AM数据集上获得了合理的结果。我们的实验表明，在图摘要上训练可以产生与原始图上训练相当或更高的准确性。此外，如果我们花时间计算公式中的摘要，我们观察到使用图摘要方法获得的较小图表示减少了计算开销。然而，还需要进一步的实验来评估额外的图形摘要模型，以及我们的发现是否也适用于非常大的图形。
2022-03-21 cs.AI cs.LG
Graph Summarization via Node Grouping: A Spectral Algorithm
University of Helsinki（赫尔辛基大学）；East China Normal University（华东师范大学）
通过节点分组的图摘要是一种流行的方法，通过将来自原始图的节点分组为超节点并将边编码为超边来构建简洁的图表示，使得邻接信息的损失最小化。这种摘要由于其小的尺寸和高的查询处理效率而在大规模图分析中具有巨大的应用。在本文中，我们将摘要的损失最小化问题转化为一个等价的整数最大化问题。通过最初允许放松（分数）整数最大化的解决方案，我们分析暴露的邻接矩阵的频谱特性的基础连接。因此，我们设计了一个名为SpecSumm的算法，该算法由两个阶段组成。在第一阶段，由谱图理论的动机，我们应用k-均值聚类的k个最大（幅度）的特征向量的邻接矩阵分配节点的超级节点。在第二阶段，我们提出了一个贪婪的启发式更新初始分配，以进一步提高摘要质量。最后，通过对11个数据集的广泛实验，我们表明，与最先进的摘要算法相比，SpecSumm可以有效地生成高质量的摘要，并且可以扩展到具有数百万节点的图形。
2022-11-08 cs.LG cs.SI
Neural Latent Extractive Document Summarization
Microsoft Research Asia（微软亚洲研究院）；University of Edinburgh（爱丁堡大学）
提取式摘要模型需要摘要级标签，其通常是按顺序创建的（例如，使用基于规则的方法），假定大多数摘要数据集仅具有文档-摘要对。由于这些标签可能是次优的，我们提出了一个潜变量提取模型，其中句子被视为潜变量和句子与激活变量被用来推断黄金摘要。在训练期间，损失来自黄金摘要的\emph{directly}。在CNN/Dailymail数据集上的实验表明，我们的模型比在近似标签上训练的强提取基线有所改进，并且与最近的几个模型相比也具有竞争力。
2018-08-28 cs.AI cs.CL cs.LG
On Uncertainty Calibration and Selective Generation in Probabilistic Neural Summarization: A Benchmark Study
Google Research（谷歌研究院）
本文在三个大规模基准上系统评估多种概率方法对神经摘要模型不确定性校准的改善效果，发现其能提升生成质量与选择性生成性能，并揭示了Deep Ensemble等方法在特定数据设置下的失败模式。
2023-04-17 cs.CL cs.LG
Repurposing Decoder-Transformer Language Models for Abstractive Summarization
Twilio AI（Twilio人工智能）
神经网络模型在应用于抽象摘要时表现出了出色的流畅性和性能。许多神经抽象总结的方法都涉及引入显著的归纳偏差，例如使用指针生成器架构，覆盖范围和部分提取程序等组件，旨在模仿人类总结文档的过程。我们表明，它是可能的，而不是直接查看摘要作为一个语言建模问题，并有效地利用迁移学习，以获得有竞争力的性能。我们介绍了一个简单的程序，建立在解码器变压器，以获得高度竞争力的ROUGE分数的摘要性能，单独使用语言建模损失，没有波束搜索或其他解码时间优化，而是依赖于有效的核采样和贪心解码。
2019-09-01 cs.CL cs.LG
Neural Abstractive Text Summarization with Sequence-to-Sequence Models
Virginia Tech（弗吉尼亚理工大学）
在过去的几年里，使用序列到序列（seq 2seq）模型的神经抽象文本摘要已经非常流行。已经提出了许多有趣的技术来改进seq 2seq模型，使它们能够处理不同的挑战，例如显着性，流畅性和人类可读性，并生成高质量的摘要。一般来说，这些技术中的大多数在这三类中的一个方面有所不同：网络结构，参数推断和解码/生成。还有其他问题，例如训练模型的效率和并行性。在本文中，我们提供了一个全面的文献调查不同seq 2seq模型的抽象文本摘要的网络结构，训练策略和摘要生成算法的观点。最初提出的几种模型用于语言建模和生成任务，如机器翻译，后来应用于抽象文本摘要。因此，我们也对这些模型进行了简要的回顾。作为这项调查的一部分，我们还开发了一个开源库，即神经抽象文本摘要（NATS）工具包，用于抽象文本摘要。在广泛使用的CNN/Daily Mail数据集上进行了一组广泛的实验，以检查几个不同的神经网络组件的有效性。最后，我们在最近发布的两个数据集上对NATS中实现的两个模型进行了基准测试，即Newsroom和Bytecup。
2020-09-18 cs.CL cs.LG stat.ML
Neural Abstractive Unsupervised Summarization of Online News Discussions
Universidad Técnica Federico Santa María（费德里科圣玛丽亚技术大学）；Dalhousie University（达尔豪斯大学）
摘要通常依赖于黄金标准摘要来训练提取或抽象模型。社交媒体给摘要技术带来了障碍，因为它需要解决多文档多作者的方法。我们通过引入一种新的方法来解决这个具有挑战性的任务，该方法生成在线新闻讨论的摘要。我们的方法扩展了基于BERT的架构，包括在训练阶段提供评论喜欢的注意编码。为了训练我们的模型，我们定义了一个任务，该任务包括基于流行度（喜欢）重建高影响力的评论。因此，我们的模型学会根据最相关的评论总结在线讨论。我们的新方法提供了一个摘要，代表了用户评论的新闻项目的最相关的方面，将社会背景作为信息源，以总结在线社交网络中的文本。我们的模型使用生成的摘要和线程上的每个评论之间的ROUGE分数进行评估。我们的模型，包括社会注意编码，显着优于基于这种评价的提取和抽象摘要方法。
2021-06-19 cs.CL cs.LG
Selective Attention Encoders by Syntactic Graph Convolutional Networks for Document Summarization
DiDi Chuxing（滴滴出行）；DiDi Research America（美国滴滴研究院）；Peking University（北京大学）
摘要文本摘要是一项具有挑战性的任务，需要设计一种机制来有效地从源文本中提取显著信息，然后生成摘要。源文本的分析过程包含关键的句法或语义结构，这有助于生成更准确的摘要。然而，建模一个解析树的文本摘要是不平凡的，由于其非线性结构，它是很难处理的文档，包括多个句子和它们的解析树。在本文中，我们提出使用图连接的解析树从一个文件中的句子，并利用堆叠图卷积网络（GCN）学习的语法表示的文件。选择性注意力机制用于提取语义和结构方面的显著信息并生成抽象摘要。我们在CNN/Daily Mail文本摘要数据集上评估了我们的方法。实验结果表明，所提出的基于GCN的选择性注意方法优于基线，并在数据集上达到了最先进的性能。
2020-03-18 cs.CL cs.LG
Balancing Summarization and Change Detection in Graph Streams
Toyota Motor Corporation（丰田汽车公司）；The University of Tokyo（东京大学）
本研究针对图摘要压缩率与变化检测准确率的权衡问题，提出基于最小描述长度原理的参数化摘要图方法，在保证误报率低于置信水平的前提下平衡二者，构建了理论框架并经实验验证有效。
2023-12-12 cs.IT cs.LG math.IT
GN-Transformer: Fusing Sequence and Graph Representation for Improved Code Summarization
University of Southern California（南加州大学）
与自然语言相反，源代码理解受标记之间的语法关系的影响，而不管它们的标识符名称。源代码的图形表示（如抽象树（AST））可以捕获标记之间的关系，这些关系在源代码中并不明显。我们提出了一种新的方法，GN-Transformer在融合序列和图形模态上学习端到端，我们称之为Syntax-Code-Graph（SCG）。GN-Transformer使用自注意机制扩展了图网络（GN）框架。SCG是源代码片段和AST表示之间早期融合的结果。我们对SCG的结构进行了实验，对模型设计进行了消融研究，并得出结论，性能优势来自融合表示。所提出的方法在两个代码摘要数据集和三个自动代码摘要度量（BLEU，METEOR，ROUGE-L）上实现了最先进的性能。我们进一步评估我们的模型和以前的工作与专家用户的研究人类感知质量。我们的模型在人类感知质量和准确性方面优于最先进的技术。
2021-11-17 cs.LG cs.PL
Video Summarization Using Deep Neural Networks: A Survey
Information Technologies Institute / Centre for Research and Technology Hellas（信息技术研究所/希腊研究与技术中心）；Queen Mary University of London（伦敦玛丽女王大学）
视频摘要技术旨在通过选择视频内容中信息量最大的部分来创建简洁而完整的概要。在过去的几十年中已经开发了几种方法，并且现有技术的当前状态由依赖于现代深度神经网络架构的方法表示。这项工作的重点是该领域的最新进展，并提供了对现有基于深度学习的通用视频摘要方法的全面调查。在介绍了视频摘要技术发展背后的动机之后，我们制定了视频摘要任务，并讨论了典型的基于深度学习的分析管道的主要特征。然后，我们对现有算法进行了分类，并对相关文献进行了系统的回顾，这些文献显示了基于深度学习的视频摘要技术的发展，并为未来的发展提出了建议。然后，我们报告了视频摘要算法的客观评估协议，并比较了几种基于深度学习的方法的性能。基于这些比较的结果，以及一些记录的注释数据的数量和评估协议的适用性的考虑，我们指出了潜在的未来研究方向。
2021-09-27 cs.CV cs.LG cs.MM
CGS: Configurable Graph Summarization with Bounded Neighborhood Loss and Query Support
Blue Yonder India Pvt. Ltd.；Centre for Machine Intelligence and Data Science, Indian Institute of Technology Bombay（数据科学中心，印度理工学院班加罗尔）；Dept. of Computer Science and Engineering, National Institute of Technology Tiruchirappalli（计算机科学与工程系，国家理工学院特里奇里帕利）；Dept. of Computer Science and Engineering, Indian Institute of Technology Kanpur（计算机科学与工程系，印度理工学院坎pur）；TechSoftX Corporation（TechSoftX公司）
针对如何生成可配置且支持多查询的图摘要问题，提出了CGS框架，它基于聚合公共邻域节点的思想，由三个摘要变体组成，通过引入邻域损失容忍阈值限制重建损失，实验证明其摘要性能优于现有方法，能高效准确回答图查询。
2026-07-14 cs.AI cs.DS cs.LG
Neural Abstractive Summarization with Structural Attention
IIIT-Delhi（德里印度理工学院）；Carnegie Mellon University（卡内基梅隆大学）
基于RNN的编码器-解码器架构在新闻文章的抽象摘要方面取得了令人印象深刻的性能。然而，这些方法无法考虑文档的句子内的长期依赖性。这个问题在多文档摘要任务中加剧，例如在社区问答（CQA）网站（例如Yahoo！答案和Quora。这些线索包含的答案往往相互重叠或矛盾。在这项工作中，我们提出了一个分层编码器的基础上结构注意力模型，这样的句子间和文档间的依赖关系。我们设置流行的指针生成器架构和一些衍生自它的架构作为我们的基线，并表明它们无法在多文档设置中生成良好的摘要。我们进一步说明，我们提出的模型在单文档和多文档摘要设置中的基线上都取得了显着的改进-在前一种设置中，它分别在CNN和CQA数据集上击败了最佳基线1.31和7.8个ROUGE-1点;在后一种设置中，性能在CQA数据集上进一步提高了1.6个ROUGE-1点。
2020-10-10 cs.CL cs.LG
MultiGBS: A multi-layer graph approach to biomedical summarization
Isfahan University of Technology（伊斯法罕理工大学）；University of Shahreza（沙赫雷扎大学）；Swiss AI Lab IDSIA / Istituto Dalle Molle di Studi sull'Intelligenza Artificiale（瑞士人工智能实验室 IDSIA / 达勒莫莱人工智能研究所）
自动文本摘要方法生成输入文本的较短版本，以帮助读者快速获得信息摘要。现有的文本摘要方法在选择句子时一般只关注文本的某一方面，从而可能导致重要信息的丢失。在这项研究中，我们提出了一种特定于领域的方法，该方法将文档建模为多层图，以便同时处理文本的多个特征。在本文中，我们使用的特征是词相似度，语义相似度和共指相似度，这是建模为三个不同的层。无监督方法基于MultiRank算法和概念的数量从多层图中选择句子。建议MultiGBS算法采用UMLS和提取的概念和关系，使用不同的工具，如SemRep，MetaMap，和OGER。通过ROUGE和BERTScore进行的广泛评估显示F-测量值增加。
2021-02-19 cs.IR cs.LG
Improving Online Forums Summarization via Hierarchical Unified Deep Neural Network
University of Central Florida（中佛罗里达大学）
在线讨论论坛很普遍，很容易访问，因此允许人们通过在讨论线程中发布消息来分享想法和意见。论坛主题的长度显着增长可能会使参与者（无论是新来者还是现有参与者）难以掌握主要思想。为了缓解这个问题，本研究的目的是创建一个自动的文本摘要在线论坛。我们提出了分层统一深度神经网络来构建论坛摘要的句子和线程表示。在该方案中，Bi-LSTM导出包含整个句子和整个线程的信息的表示;而CNN则从句子和线程中捕获关于上下文的最具信息性的特征。注意力机制应用于CNN之上，以进一步突出携带有助于理想摘要的重要信息的高级表示。对三个数据集进行了广泛的性能评估，其中两个是真实的在线论坛，一个是新闻数据集。结果表明，该模型优于几个竞争基线。
2021-05-18 cs.CL cs.LG
SummPip: Unsupervised Multi-Document Summarization with Sentence Graph Compression
Monash University（莫纳什大学）；Deakin University（迪肯大学）；Shandesitong
获取多文档摘要（MDS）的训练数据是耗时和资源密集型的，所以最近的神经模型只能在有限的领域进行训练。在本文中，我们提出了SummPip：一种用于多文档摘要的无监督方法，在该方法中，我们将原始文档转换为句子图，同时考虑语言和深度表示，然后应用谱聚类来获得多个句子聚类，最后压缩每个聚类以生成最终摘要。在Multi-News和DUC-2004数据集上的实验表明，我们的方法与以前的无监督方法相比具有竞争力，甚至可以与神经监督方法相媲美。此外，人类的评价表明，我们的系统产生一致和完整的摘要相比，人类的书面。
2020-07-20 cs.CL cs.IR cs.LG
Neural Entity Summarization with Joint Encoding and Weak Supervision
在大规模的知识图谱中，一个实体往往由大量的三重结构事实描述。许多应用程序需要实体描述的简化版本，称为实体摘要。实体摘要的现有解决方案主要是无监督的。在本文中，我们提出了一种监督方法NEST，该方法基于我们新的神经模型，对KG中的图形结构和文本进行联合编码，并生成高质量的多样化摘要。由于获取手动标记的摘要进行训练的成本很高，因此我们的监督很弱，因为我们用程序化标记的数据进行训练，这些数据可能包含噪声，但没有手动工作。评估结果表明，我们的方法显着优于国家的最先进的两个公共基准。
2020-05-10 cs.CL cs.IR cs.LG
Analysis of GraphSum's Attention Weights to Improve the Explainability of Multi-Document Summarization
Ulm University（乌尔姆大学）
现代多文档摘要（MDS）方法是基于Transformer架构的。它们生成了最先进的摘要，但缺乏可解释性。我们专注于基于图的Transformer模型的MDS，因为他们最近获得的普及。我们的目标是提高基于图的MDS的可解释性，通过分析他们的注意力权重。在基于图的MDS（如GraphSum）中，顶点表示文本单元，而边在单元上形成一些相似性图。我们比较GraphSum的性能，利用不同的文本单位，即。例如，句子与段落，在两个新闻基准数据集上，即WikiSum和MultiNews。我们的实验表明，段落级表示提供了最好的摘要性能。因此，我们随后集中oAnalysisn分析GraphSum的多头和解码层的段落级注意力权重，以提高基于transformer的MDS模型的可解释性。作为一个参考指标，我们计算的ROUGE分数之间的输入段落和每个句子在生成的摘要，这表明通过文本相似性的来源信息。我们观察到注意力权重和该参考度量之间的高度相关性，特别是在Transformer架构的后面的解码层上。最后，我们调查所生成的摘要是否遵循一种模式的位置偏差提取的段落提供了最多的信息，为每个生成的摘要。我们的研究结果表明，摘要中的位置和来源之间有很高的相关性。
2022-12-06 cs.CL cs.LG
A Convolutional Neural Network for Language-Agnostic Source Code Summarization
Two Six Labs（双六实验室）
描述性注释在软件工程过程中起着至关重要的作用。它们减少了开发时间，实现了更好的bug检测，并促进了以前编写的代码的重用。然而，注释通常是软件开发人员的最后一个优先级，因此要么是不足的，要么是完全缺失的。因此，自动源代码摘要可能具有显著改进软件开发过程的能力。我们引入了一种新颖的编码器-解码器模型，它总结了源代码，有效地编写了一个注释来描述代码的功能。我们在当前的源代码摘要模型之外做了两个主要的创新。首先，我们的编码器是完全语言无关的，不需要复杂的输入预处理。其次，我们的解码器有一个开放的词汇表，使它能够预测任何单词，甚至是在训练中没有看到的单词。我们展示的结果相当于国家的最先进的方法在一个单一的语言数据集，并提供了第一个由多个程序设计语言的数据集上的结果。
2019-03-29 cs.CL cs.LG stat.ML
Combining Word Embeddings and N-grams for Unsupervised Document Summarization
Raytheon BBN Technologies（雷神BBN技术公司）
基于图的抽取式文档摘要依赖于句子相似度图的质量。基于词袋或tf-idf的句子相似度使用精确的词匹配，但不能测量单个词之间的语义相似度或考虑句子的语义结构。为了提高句子之间的相似性度量，我们采用了现成的深度嵌入特征和tf-idf特征，并引入了一种新的文本相似性度量。建立了一种改进的句子相似度图，并将其用于子模块目标函数中，该子模块目标函数由加权覆盖项和差异项组成。一个基于Transformer的压缩模型被开发用于句子压缩以帮助文档摘要。我们的摘要方法是提取和无监督的。实验表明，我们的方法可以优于基于tf-idf的方法，并在DUC 04数据集上实现最先进的性能，并且与CNN/DM和NYT数据集上的完全监督学习方法的性能相当。
2020-04-25 cs.CL cs.LG stat.ML
Aspect-based Opinion Summarization with Convolutional Neural Networks
Fudan University（复旦大学）
本文考虑了基于AOS的特定产品评论的意见摘要。为了实现真正的应用程序，AOS系统需要解决两个核心子任务，方面提取和情感分类。现有的大多数方面提取方法，使用语言分析或主题建模，是通用的不同的产品，但不够精确或适合于特定的产品。相反，我们采用了一种不太一般但更精确的方案，直接将每个评论句子映射到预定义的方面。为了解决方面映射和情感分类，我们提出了两种基于卷积神经网络（CNN）的方法，级联CNN和多任务CNN。级联CNN包含两级卷积网络。第1级的多个CNN处理方面映射任务，第2级的单个CNN处理情感分类。多任务CNN也包含多方面CNN和情感CNN，但不同的网络共享相同的词嵌入。实验结果表明，级联和多任务CNN都大大优于基于SVM的方法。多任务CNN通常比级联CNN性能更好。
2015-11-30 cs.CL cs.IR cs.LG
DiscoGraMS: Enhancing Movie Screen-Play Summarization using Movie Character-Aware Discourse Graph
IIIT Hyderabad（海得拉巴印度理工学院）
针对电影剧本摘要中模型难以捕获长程依赖和潜在关系的问题，本文提出DiscoGraMS资源，将剧本表示为角色感知话语图，结合后期融合基线方法，初步取得有前景结果。
2025-03-02 cs.AI cs.CL cs.LG
Meta Learning for Code Summarization
University of Stuttgart（斯图加特大学）
源代码摘要是为一段程序设计语言代码生成高级自然语言描述的任务。目前用于该任务的神经模型在其架构和所考虑的代码方面有所不同。在本文中，我们表明，三个SOTA模型的代码摘要工作在很大程度上不相交的子集的大型代码库。这种互补性激发了模型组合：我们提出了三个元模型，为给定的代码段选择最佳候选摘要。这两个神经模型比最佳个体模型的性能显著提高，在代码段的数据集上获得2.1个BLEU点的改进，其中至少一个个体模型获得非零BLEU。
2022-01-20 cs.LG cs.PL cs.SE
A Multi-task Neural Approach for Emotion Attribution, Classification and Summarization
Fudan University（复旦大学）；Baidu Research（百度研究院）；Jilian Technology Group (Video++)（极链科技集团（Video++））
情感内容是用户生成视频的关键成分。然而，视频中情感表达的稀疏性给视觉情感分析带来了障碍。在本文中，我们提出了一种新的神经方法，双流情感归因分类网络（BEAC-Net），解决三个相关的情感分析任务：情感识别，情感归因和面向情感的总结，在一个单一的集成框架。BEAC-Net有两个主要组成部分，一个属性网络和一个分类网络。归因网络提取分类应该关注的主要情感片段，以减轻稀疏性问题。分类网络利用提取的片段和原始视频在一个双流架构。我们为情感归因任务贡献了一个新的数据集，其中包含情感片段的人类注释地面真实标签。两个视频数据集上的实验表明，所提出的框架和双分类流的互补性的优越性能。
2019-07-24 cs.CV cs.LG stat.ML
Causal DAG Summarization (Full Version)
CSAIL, MIT USA（麻省理工学院计算机科学与人工智能实验室）；Technion Israel（技术学院）；University of California, San Diego USA（加州大学圣地亚哥分校）
本文提出一种因果DAG摘要方法，通过贪心算法在简化复杂高维因果图的同时保留关键因果信息，确保推断可靠且对假设错误设定更鲁棒，实验验证其有效性。
2025-04-21 cs.DB cs.LG stat.ME
Unsupervised Neural Single-Document Summarization of Reviews via Learning Latent Discourse Structure and its Ranking
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
本文重点研究了无监督的单一产品评审的端到端抽象总结。我们假设一篇综述可以被描述为一棵话语树，其中摘要是根，子句详细解释了它们的父句。通过递归地从其子节点估计父节点，我们的模型在没有外部解析器的情况下学习潜在话语树，并生成简洁的摘要。我们还介绍了一个架构，排名树上的每个句子的重要性，以支持摘要生成集中在主要的审查点。实验结果表明，我们的模型是有竞争力的，或优于其他无监督的方法。特别是，对于相对较长的审查，它实现了竞争力或更好的性能比监督模型。归纳树显示子句子提供了关于其父句子的附加信息，生成的摘要摘要概括了整个评论。
2019-06-13 cs.AI cs.CL cs.LG
LexLattice: Multilingual Extractive Summarization via Neural Cellular Automata on Document Hierarchies
The University of Winnipeg（温尼伯大学）
LexLattice通过二维神经细胞自动机整合法律文档层次结构，以1.8M参数实现多语言抽取式摘要的最先进ROUGE，并跨语言近无损迁移。
2026-09-24 cs.CL cs.LG cs.NE
FactGraph: Evaluating Factuality in Summarization with Semantic Graph Representations
Technical University of Darmstadt（达姆施塔特工业大学）；Amazon Alexa AI（亚马逊Alexa AI）；UNC Chapel Hill（北卡罗来纳大学教堂山分校）
尽管最近在抽象摘要方面有所改进，但大多数当前方法生成的摘要与源文档实际上并不一致，严重限制了它们在现实世界应用中的信任和使用。最近的工作已经显示出有前途的改进，在使用文本或依赖弧蕴涵的真实性错误识别，但是，他们不考虑整个语义图同时。为此，我们提出了FactGraph，一种将文档和摘要分解为结构化含义表示（MR）的方法，该方法更适合于真实性评估。MR描述核心语义概念及其关系，以规范形式聚合文档和摘要中的主要内容，并降低数据稀疏性。FactGraph使用增强了结构感知适配器的图形编码器来编码这些图形，以基于图形连接性捕获概念之间的交互，以及使用基于适配器的文本编码器的文本表示。在不同的基准测试上进行的实验表明，FactGraph比以前的方法性能高出15%。此外，FactGraph提高了识别内容可验证性错误的性能，并更好地捕获了主题级别的事实不一致。
2022-07-19 cs.AI cs.CL cs.LG
