Open-World Lifelong Graph Learning
University of Ulm（乌尔姆大学）；Max Planck Institute for Psycholinguistics（马克斯·普朗克心理语言学研究所）
研究开放世界终身图学习问题，提出结合图邻域信息聚合的OOD检测方法和弱监督相关性反馈（Open-WRF）降低阈值敏感性，在六个基准上验证了其优于现有方法的鲁棒性和通用性。
2023-10-19 cs.LG
Lifelong Learning on Evolving Graphs Under the Constraints of Imbalanced Classes and New Classes
Max Planck Institute for Psycholinguistics（马克斯·普朗克心理语言学研究所）；ZBW – Leibniz Information Centre for Economics（ZBW——莱布尼茨经济信息中心）；Amsterdam UMC（阿姆斯特丹大学医学中心）；University of Amsterdam（阿姆斯特丹大学）；University of Ulm（乌尔姆大学）
针对演化图中的终身学习，提出gDOC方法，结合加权损失处理新类与不平衡类，实验显示gDOC优于DOC，显著提升检测与分类性能。
2023-05-09 cs.LG
Lifelong Learning of Graph Neural Networks for Open-World Node Classification
Kiel University（基尔大学）；ZBW（德国国家经济学图书馆–莱布尼茨信息中心）；Ulm University（乌尔姆大学）
图神经网络（GNN）已经成为图结构数据（如节点分类）上许多任务的标准方法。然而，现实世界的图往往随着时间的推移而发展，甚至可能出现新的类。我们将这些挑战建模为终身学习的一个实例，学习者面临一系列任务，并可能接管在过去的任务中获得的知识。这样的知识可以被显式地存储为历史数据或隐式地存储在模型参数内。在这项工作中，我们系统地分析了内隐和外显知识的影响。因此，我们提出了一种增量式的训练方法，终身学习的图，并介绍了一种新的措施的基础上$k$ -邻域时间差，以解决历史数据的差异。我们将我们的训练方法应用于五个代表性的GNN架构，并在三个新的终身节点分类数据集上对其进行评估。我们的研究结果表明，不超过50%的GNN的感受野是必要的，以保持至少95%的准确性相比，在整个历史的图形数据的训练。此外，我们的实验证实，内隐知识变得更重要时，更少的显性知识。
2021-12-20 cs.LG cs.SI stat.ML
Lifelong Topological Visual Navigation
University of Montréal（蒙特利尔大学）；Mila（米拉研究所）；Element AI（Element AI公司）
通常，基于学习的拓扑导航方法产生本地策略，同时通过拓扑地图保留空间的一些松散连接。然而，拓扑图中的伪边或缺失边经常导致导航失败。在这项工作中，我们提出了一种基于采样的图形构建方法，与基线方法相比，该方法可以生成更稀疏的图形，但具有更高的导航性能。我们还提出了图形维护策略，消除虚假的边缘，并根据需要扩展图形，从而提高终身导航性能。与从固定的训练环境中学习的控制器不同，我们证明了我们的模型可以使用从部署代理的真实世界环境中收集的少量轨迹图像进行微调。我们在现实环境中进行微调后展示了成功的导航，并且通过应用我们的终身图形维护策略，随着时间的推移，显着显示出显着的导航改进。
2022-07-10 cs.AI cs.LG cs.RO
Promise and Limitations of Supervised Optimal Transport-Based Graph Summarization via Information Theoretic Measures
本文研究有监督图摘要问题，通过信息论度量最大化摘要图与类标签的互信息，证明其近似NP难，并提出结合互信息估计的最优传输方法，实验显示性能提升，但理论上存在信息单调性局限。
2023-05-11 cs.LG
The configurable tree graph (CT-graph): measurable problems in partially observable and distal reward environments for lifelong reinforcement learning
Loughborough University（拉夫堡大学）；UNIST（蔚山科学技术院）；HRL Laboratories（HRL实验室）；Vanderbilt University（范德堡大学）
针对强化学习算法提出了一组形式化定义的透明问题，这些问题具有以下特征：（1）可变的可观测度（非Markov观测），（2）远端稀疏奖励，（3）可变的分层奖励结构，（4）多任务生成，（5）可变的问题复杂度.环境提供1D或2D分类观测，并将操作作为输入。CT图的核心结构是一个多分支树图，具有任意的分支因子，深度和观察集，可以通过可控和可测量的方式来增加问题的维度。两个主要类别的状态，决策状态和等待状态，旨在创建一个层次的重要性之间的意见，典型的现实世界的问题。一个大的观察集可以产生一个庞大的历史集，损害记忆增强代理。可变奖励函数允许轻松创建多个任务，并允许代理在呈现具有可控相似度的任务的动态场景中有效适应的能力。由于图的指数增长，可以很容易地实现复杂性级别。问题公式和附带的代码提供了一组快速，透明和数学定义的可配置测试，以比较强化学习算法的性能，特别是在终身学习环境中。
2023-01-21 cs.AI cs.LG
Improving Question Answering over Knowledge Graphs Using Graph Summarization
Murdoch University（莫道克大学）；Curtin University（科廷大学）
基于知识图谱（KG）的问答（QA）系统（KGQA）使用包含在KG中的三元组自动回答自然语言问题。关键思想是将KG的问题和实体表示为低维嵌入。先前的KGQA已经尝试使用知识图谱嵌入（KGE）和深度学习（DL）方法来表示实体。然而，KGE太浅，无法捕获表达功能，DL方法独立地处理每个三元组。最近，图卷积网络（GCN）已被证明是优秀的提供实体嵌入。然而，使用GCN到KGQA是低效的，因为GCN在聚合邻域时平等地对待所有关系。此外，在使用以前的KGQA时可能会出现问题：在大多数情况下，问题通常有不确定的答案数量。为了解决上述问题，我们提出了一种使用递归卷积神经网络（RCNN）和GCN的图形摘要技术。GCN和RCNN的结合确保了嵌入与问题相关的关系一起传播，从而获得更好的答案。所提出的图摘要技术可以用来解决KGQA不能回答具有不确定数量的答案的问题。在本文中，我们展示了最常见的问题类型，这是单关系问题的建议的技术。实验表明，与GCN相比，使用RCNN和GCN的所提出的图摘要技术可以提供更好的结果。当问题的答案数量不确定时，所提出的图摘要技术显著提高了实际答案的召回率。
2022-03-25 cs.LG
A Comprehensive Survey on Graph Summarization with Graph Neural Networks
Macquarie University（麦考瑞大学）
本文全面综述了基于图神经网络的图摘要技术，回顾了循环、卷积、自编码器和注意力网络等前沿方法，探讨了图强化学习在提升摘要质量中的应用，并详细比较了基准数据集与评估指标，提出了未来的开放性研究挑战。
2024-01-04 cs.LG
Graph Summarization with Graph Neural Networks
Ulm University（乌尔姆大学）；University of Essex（埃塞克斯大学）
图摘要的目标是以结构化和紧凑的方式表示大型图。基于等价类的图摘要保留了$k$跳邻域内图顶点的预定义特征，例如顶点标签和边标签。基于这些邻域特征，顶点被分配到一个等价类。所分配的等价类的计算必须是对预定义特征的置换不变操作。这通过对特征值e进行排序来实现。例如，在一个实施例中，边缘标记（这在计算上是昂贵的），并且随后对结果进行散列。图神经网络（GNN）满足排列不变性要求。我们制定了一个子图分类任务的根顶点上的$k$跳邻域的图形摘要的问题。我们采用不同的GNN架构，基于流行的消息传递协议和替代方法，来执行结构图摘要任务。我们将不同的GNN与标准的多层感知器（MLP）和Bloom过滤器作为非神经方法进行比较。在我们的实验中，我们考虑了一个大型网络图上的四个流行的图摘要模型。这类似于具有挑战性的多类顶点分类任务，类的数量从$576$到数十万不等。我们的结果表明，GNN的性能彼此接近。在四分之三的实验中，非消息传递GraphMLP模型优于其他GNN。标准MLP的性能非常好，特别是在存在许多类的情况下。最后，Bloom过滤器的性能远远优于所有神经架构，除了具有最少数量的$576$类的数据集。
2022-12-08 cs.LG
Lifelong Generative Modelling Using Dynamic Expansion Graph Model
University of York（约克大学）
变分自编码器（VAE）在学习多个连续任务时，性能会退化。这是由灾难性遗忘引起的。为了解决知识丢失问题，VAE正在使用生成重放（GR）机制或扩展网络架构（ENA）。在本文中，我们研究的遗忘行为的VAE使用联合GR和ENA方法，推导出一个上界的负边际对数似然。这一理论分析为VAE如何在终身学习中忘记以前学到的知识提供了新的见解。分析表明，在ENA框架下，考虑模型混合物时达到的最佳性能，其中对组分的数量没有限制。然而，基于ENA的方法可能需要过多的参数。这促使我们提出了一种新的动态扩展图模型（DEGM）。DEGM根据与每个新数据库相关的新颖性，与网络从以前的任务中已经学习的信息相比，扩展了其架构。DEGM训练优化了知识结构，表征了与过去和最近学习的任务相对应的联合概率表示。我们证明，DEGM保证每个任务的最佳性能，同时也最大限度地减少所需的参数数量。补充材料（SM）和源代码可在https://github.com/dtuzi123/Expansion-Graph-Model获得。
2021-12-15 cs.AI cs.CV cs.LG
Graph-based Neural Multi-Document Summarization
Yale University（耶鲁大学）；The LNM Institute of Information Technology（LNM信息技术学院）
我们提出了一个神经多文档摘要（MDS）系统，结合句子关系图。我们采用一个图卷积网络（GCN）的关系图，句子嵌入从递归神经网络作为输入节点的功能。通过多层传播，GCN生成用于显著性估计的高级隐藏句子特征。然后，我们使用一个贪婪的启发式提取突出的句子，同时避免冗余。在我们对DUC 2004的实验中，我们考虑了三种类型的句子关系图，并证明了将图中的句子关系与深度神经网络的表示能力相结合的优势。我们的模型改进了传统的基于图的提取方法和香草GRU序列模型没有图，它取得了竞争力的结果对其他国家的最先进的多文档摘要系统。
2017-08-23 cs.CL cs.LG
Graph Memory Learning: Imitating Lifelong Remembering and Forgetting of Brain Networks
Department of Computer Science and Technology, Tongji University（同济大学计算机科学与技术系）；School of Computing, Macquarie University（麦考瑞大学计算机学院）
针对现实图数据频繁变化导致现有模型难以处理新数据涌入和数据撤回的问题，本文提出图记忆学习概念及脑启发图记忆学习（BGML）框架，通过多粒度分层学习和信息自我评估机制实现选择性记忆与遗忘，在五类任务中表现优异。
2025-08-24 cs.AI cs.LG cs.NE
Belief Propagation for Maximum Coverage on Weighted Bipartite Graph and Application to Text Summarization
Ibaraki University（茨城大学）
本文从最大覆盖问题的角度研究文本摘要。在图论中，文本摘要的任务被看作是二分图上的最大覆盖问题。近年来，利用统计力学的思想，提出了基于置信传播的无权图最大覆盖算法。我们将其推广到加权图的文本摘要。最后，我们将我们的算法应用于加权双正则随机图的最大覆盖性能验证。我们还将其应用于表示开放文本数据集上真实文档的二分图，并检验了文本摘要的性能。实验结果表明，该算法在某些文本摘要环境下具有比贪婪型算法更好的性能。
2020-03-26 cs.CL cs.IR cs.LG
GAE-ISumm: Unsupervised Graph-Based Summarization of Indian Languages
IIIT Hyderabad（海得拉巴国际信息技术研究所）；Inria Bordeaux（法国国家信息与自动化研究所波尔多中心）
文档摘要旨在为文本文档创建精确和连贯的摘要。许多深度学习摘要模型主要是针对英语开发的，通常需要大量的训练语料库和高效的预训练语言模型和工具。然而，低资源的印度语言的英语摘要模型往往受到丰富的形态变化，句法和语义差异的限制。在本文中，我们提出了GAE-ISumm，一个无监督的Indic摘要模型，从文本文档中提取摘要。特别是，我们提出的模型GAE-ISumm使用图形自动编码器（GAE）来学习文本表示和文档摘要。我们还提供了一个手动注释的泰卢固语摘要数据集TELSUM，以实验我们的模型GAE-ISumm。此外，我们用最公开的印度语言摘要数据集进行实验，以研究GAE-ISumm对其他印度语言的有效性。我们在七种语言中对GAE-ISumm进行的实验得出了以下观察结果：（i）它在所有数据集上都具有竞争力或优于最先进的结果，（ii）它在TELSUM上报告了基准结果，以及（iii）在所提出的模型中包含位置和聚类信息提高了摘要的性能。
2022-12-25 cs.CL cs.LG
Scaling R-GCN Training with Graph Summarization
Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；Ernst & Young GmbH WPG（安永会计师事务所WPG有限责任公司）；Elsevier（爱思唯尔）
关系图卷积网络（R-GCN）的训练是一项记忆密集型任务。在训练真实世界的图时，需要存储的梯度信息量对于大多数GPU上可用的内存量来说往往太大。在这项工作中，我们尝试使用图形摘要技术来压缩图形，从而减少所需的内存量。在图摘要上训练R-GCN后，我们将权重转移回原始图并尝试对其进行推理。我们在AIFB，MUTAG和AM数据集上获得了合理的结果。我们的实验表明，在图摘要上训练可以产生与原始图上训练相当或更高的准确性。此外，如果我们花时间计算公式中的摘要，我们观察到使用图摘要方法获得的较小图表示减少了计算开销。然而，还需要进一步的实验来评估额外的图形摘要模型，以及我们的发现是否也适用于非常大的图形。
2022-03-21 cs.AI cs.LG
Graph Summarization via Node Grouping: A Spectral Algorithm
University of Helsinki（赫尔辛基大学）；East China Normal University（华东师范大学）
通过节点分组的图摘要是一种流行的方法，通过将来自原始图的节点分组为超节点并将边编码为超边来构建简洁的图表示，使得邻接信息的损失最小化。这种摘要由于其小的尺寸和高的查询处理效率而在大规模图分析中具有巨大的应用。在本文中，我们将摘要的损失最小化问题转化为一个等价的整数最大化问题。通过最初允许放松（分数）整数最大化的解决方案，我们分析暴露的邻接矩阵的频谱特性的基础连接。因此，我们设计了一个名为SpecSumm的算法，该算法由两个阶段组成。在第一阶段，由谱图理论的动机，我们应用k-均值聚类的k个最大（幅度）的特征向量的邻接矩阵分配节点的超级节点。在第二阶段，我们提出了一个贪婪的启发式更新初始分配，以进一步提高摘要质量。最后，通过对11个数据集的广泛实验，我们表明，与最先进的摘要算法相比，SpecSumm可以有效地生成高质量的摘要，并且可以扩展到具有数百万节点的图形。
2022-11-08 cs.LG cs.SI
Graph Neural Network and NER-Based Text Summarization
本文提出结合图神经网络与命名实体识别的文本摘要方法，利用GNN捕获文本关系结构、NER突出关键实体，以提高摘要效率与相关性，应对海量文本数据。
2024-02-05 cs.CL cs.LG
Balancing Summarization and Change Detection in Graph Streams
Toyota Motor Corporation（丰田汽车公司）；The University of Tokyo（东京大学）
本研究针对图摘要压缩率与变化检测准确率的权衡问题，提出基于最小描述长度原理的参数化摘要图方法，在保证误报率低于置信水平的前提下平衡二者，构建了理论框架并经实验验证有效。
2023-12-12 cs.IT cs.LG math.IT
CGS: Configurable Graph Summarization with Bounded Neighborhood Loss and Query Support
Blue Yonder India Pvt. Ltd.；Centre for Machine Intelligence and Data Science, Indian Institute of Technology Bombay（数据科学中心，印度理工学院班加罗尔）；Dept. of Computer Science and Engineering, National Institute of Technology Tiruchirappalli（计算机科学与工程系，国家理工学院特里奇里帕利）；Dept. of Computer Science and Engineering, Indian Institute of Technology Kanpur（计算机科学与工程系，印度理工学院坎pur）；TechSoftX Corporation（TechSoftX公司）
针对如何生成可配置且支持多查询的图摘要问题，提出了CGS框架，它基于聚合公共邻域节点的思想，由三个摘要变体组成，通过引入邻域损失容忍阈值限制重建损失，实验证明其摘要性能优于现有方法，能高效准确回答图查询。
2026-07-14 cs.AI cs.DS cs.LG
MultiGBS: A multi-layer graph approach to biomedical summarization
Isfahan University of Technology（伊斯法罕理工大学）；University of Shahreza（沙赫雷扎大学）；Swiss AI Lab IDSIA / Istituto Dalle Molle di Studi sull'Intelligenza Artificiale（瑞士人工智能实验室 IDSIA / 达勒莫莱人工智能研究所）
自动文本摘要方法生成输入文本的较短版本，以帮助读者快速获得信息摘要。现有的文本摘要方法在选择句子时一般只关注文本的某一方面，从而可能导致重要信息的丢失。在这项研究中，我们提出了一种特定于领域的方法，该方法将文档建模为多层图，以便同时处理文本的多个特征。在本文中，我们使用的特征是词相似度，语义相似度和共指相似度，这是建模为三个不同的层。无监督方法基于MultiRank算法和概念的数量从多层图中选择句子。建议MultiGBS算法采用UMLS和提取的概念和关系，使用不同的工具，如SemRep，MetaMap，和OGER。通过ROUGE和BERTScore进行的广泛评估显示F-测量值增加。
2021-02-19 cs.IR cs.LG
Structured Neural Summarization
Carnegie Mellon University（卡内基梅隆大学）；Microsoft Research（微软研究院）
摘要长序列到一个简洁的语句是自然语言处理的核心问题，需要输入的非平凡的理解。基于图神经网络在高度结构化数据上的良好结果，我们开发了一个框架来扩展现有的序列编码器，该框架具有一个图组件，可以在弱结构化数据（如文本）中推断长距离关系。在一个广泛的评估，我们表明，由此产生的混合序列图模型优于纯序列模型以及纯图模型的范围内的摘要任务。
2021-02-03 cs.CL cs.LG cs.SE
SummPip: Unsupervised Multi-Document Summarization with Sentence Graph Compression
Monash University（莫纳什大学）；Deakin University（迪肯大学）；Shandesitong
获取多文档摘要（MDS）的训练数据是耗时和资源密集型的，所以最近的神经模型只能在有限的领域进行训练。在本文中，我们提出了SummPip：一种用于多文档摘要的无监督方法，在该方法中，我们将原始文档转换为句子图，同时考虑语言和深度表示，然后应用谱聚类来获得多个句子聚类，最后压缩每个聚类以生成最终摘要。在Multi-News和DUC-2004数据集上的实验表明，我们的方法与以前的无监督方法相比具有竞争力，甚至可以与神经监督方法相媲美。此外，人类的评价表明，我们的系统产生一致和完整的摘要相比，人类的书面。
2020-07-20 cs.CL cs.IR cs.LG
A Second Look on BASS -- Boosting Abstractive Summarization with Unified Semantic Graphs -- A Replication Study
Institute for AI in Medicine (IKIM)（人工智能医学研究所（IKIM））；University Medicine Essen（埃森大学医学院）；University of Duisburg-Essen（杜伊斯堡-埃森大学）；University of Marburg（马尔堡大学）；University of Mannheim（曼海姆大学）
本文复现了基于统一语义图的BASS生成式摘要框架，通过消融研究隔离错误来源，发现与原工作存在性能差异，强调复现高级框架需关注省略细节及撰写可复现论文的关键实践。
2024-03-25 cs.CL cs.LG
Combining Word Embeddings and N-grams for Unsupervised Document Summarization
Raytheon BBN Technologies（雷神BBN技术公司）
基于图的抽取式文档摘要依赖于句子相似度图的质量。基于词袋或tf-idf的句子相似度使用精确的词匹配，但不能测量单个词之间的语义相似度或考虑句子的语义结构。为了提高句子之间的相似性度量，我们采用了现成的深度嵌入特征和tf-idf特征，并引入了一种新的文本相似性度量。建立了一种改进的句子相似度图，并将其用于子模块目标函数中，该子模块目标函数由加权覆盖项和差异项组成。一个基于Transformer的压缩模型被开发用于句子压缩以帮助文档摘要。我们的摘要方法是提取和无监督的。实验表明，我们的方法可以优于基于tf-idf的方法，并在DUC 04数据集上实现最先进的性能，并且与CNN/DM和NYT数据集上的完全监督学习方法的性能相当。
2020-04-25 cs.CL cs.LG stat.ML
DiscoGraMS: Enhancing Movie Screen-Play Summarization using Movie Character-Aware Discourse Graph
IIIT Hyderabad（海得拉巴印度理工学院）
针对电影剧本摘要中模型难以捕获长程依赖和潜在关系的问题，本文提出DiscoGraMS资源，将剧本表示为角色感知话语图，结合后期融合基线方法，初步取得有前景结果。
2025-03-02 cs.AI cs.CL cs.LG
Graph of Records: Boosting Retrieval Augmented Generation for Long-context Summarization with Graphs
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出图记录方法，通过利用LLM生成的历史响应构建图，并结合图神经网络和基于BERTScore的自监督训练，显著提升了长上下文摘要任务中检索增强生成的性能。
2025-05-29 cs.AI cs.CL cs.LG
Causal DAG Summarization (Full Version)
CSAIL, MIT USA（麻省理工学院计算机科学与人工智能实验室）；Technion Israel（技术学院）；University of California, San Diego USA（加州大学圣地亚哥分校）
本文提出一种因果DAG摘要方法，通过贪心算法在简化复杂高维因果图的同时保留关键因果信息，确保推断可靠且对假设错误设定更鲁棒，实验验证其有效性。
2025-04-21 cs.DB cs.LG stat.ME
Retrieval-Augmented Generation for Code Summarization via Hybrid GNN
Nanyang Technology University（南洋理工大学）；Rensselaer Polytechnic Institute（伦斯勒理工学院）
源代码摘要旨在从结构化代码片段生成自然语言摘要，以便更好地理解代码功能。然而，由于源代码的复杂性以及源代码和自然语言摘要之间的语言差距，自动代码摘要具有挑战性。大多数以前的方法要么依赖于基于检索的方法（可以利用从检索数据库中看到的相似示例，但泛化性能较低），要么依赖于基于生成的方法（具有更好的泛化性能，但不能利用相似示例）。本文提出了一种新的检索增强机制，结合两个世界的好处。此外，针对图神经网络（GNNs）在捕获源代码全局图结构信息方面的局限性，提出了一种基于注意力的动态图来补充源代码的静态图表示，并设计了一种混合消息传递GNN来捕获源代码的局部和全局结构信息.为了评估所提出的方法，我们发布了一个新的具有挑战性的基准测试，从各种大型开源C项目中抓取（数据集中共有95 k+独特的函数）。我们的方法达到了最先进的性能，在BLEU-4，ROUGE-L和METEOR方面将现有方法提高了1.42，2.44和1.29。
2021-05-13 cs.AI cs.LG
FactGraph: Evaluating Factuality in Summarization with Semantic Graph Representations
Technical University of Darmstadt（达姆施塔特工业大学）；Amazon Alexa AI（亚马逊Alexa AI）；UNC Chapel Hill（北卡罗来纳大学教堂山分校）
尽管最近在抽象摘要方面有所改进，但大多数当前方法生成的摘要与源文档实际上并不一致，严重限制了它们在现实世界应用中的信任和使用。最近的工作已经显示出有前途的改进，在使用文本或依赖弧蕴涵的真实性错误识别，但是，他们不考虑整个语义图同时。为此，我们提出了FactGraph，一种将文档和摘要分解为结构化含义表示（MR）的方法，该方法更适合于真实性评估。MR描述核心语义概念及其关系，以规范形式聚合文档和摘要中的主要内容，并降低数据稀疏性。FactGraph使用增强了结构感知适配器的图形编码器来编码这些图形，以基于图形连接性捕获概念之间的交互，以及使用基于适配器的文本编码器的文本表示。在不同的基准测试上进行的实验表明，FactGraph比以前的方法性能高出15%。此外，FactGraph提高了识别内容可验证性错误的性能，并更好地捕获了主题级别的事实不一致。
2022-07-19 cs.AI cs.CL cs.LG
Direction Matters: On Influence-Preserving Graph Summarization and Max-cut Principle for Directed Graphs
Gatsby Unit of Computational Neuroscience（盖茨比计算神经科学中心）；RIKEN AIP（理化学研究所先进智能项目中心）；INRIA-Saclay（法国国家信息与自动化研究所萨克雷中心）；University of Helsinki（赫尔辛基大学）；The University of Tokyo（东京大学）
将大规模有向图归纳为小规模表示是一个有用但研究较少的问题设置。传统的基于最小割准则的聚类方法将图的顶点和边压缩到社区中，导致有向边信息的丢失。另一方面，在保留有向边信息的同时压缩顶点提供了一种学习有向图的小规模表示的方法。重建误差，其测量由概括图保留的边缘信息，可以用于学习这样的表示。与原始图相比，汇总图更容易分析，并且能够提取群体水平的特征，这对于有效干预群体行为是有用的。在本文中，我们提出了一个模型，基于最小化重建误差与非负约束，这涉及到一个“最大切割”的标准，同时确定压缩节点和这些节点之间的有向压缩关系。提出了一种基于列归一化的乘法更新算法。我们进一步提供的模型的可识别性和所提出的算法的收敛性的理论结果。实验证明了该方法的准确性和鲁棒性。
2019-07-22 cs.LG stat.ML
Learning to Create Sentence Semantic Relation Graphs for Multi-Document Summarization
Artificial Intelligence Laboratory（人工智能实验室）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
跨文档链接事实是一项具有挑战性的任务，因为用于在句子中表达相同信息的语言可能会有很大的不同，这使得多文档摘要的任务变得复杂。因此，现有的方法严重依赖于手工制作的功能，这是领域相关的，难以手工制作，或额外的注释数据，这是昂贵的收集。为了克服这些限制，我们提出了一种新的方法，它利用两种类型的句子嵌入：通用嵌入，这是在一个大型的不相关的语料库，和特定领域的嵌入，这是在训练过程中学习。为此，我们开发SemSentSum，一个完全数据驱动的模型，能够利用这两种类型的句子嵌入通过建立一个句子语义关系图。SemSentSum在两种类型的摘要上取得了有竞争力的结果，包括665字节和100字。与其他最先进的模型不同，既不需要手工制作的功能，也不需要额外的注释数据，而且该方法很容易适应其他任务。据我们所知，我们是第一个使用多个句子嵌入的任务，多文档摘要。
2019-09-20 cs.CL cs.LG stat.ML
HETFORMER: Heterogeneous Transformer with Sparse Attention for Long-Text Extractive Summarization
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Huazhong University of Science and Technology（华中科技大学）；Lehigh University（理海大学）
为了从原始文本中捕获语义图结构，大多数现有的摘要方法都是基于具有预训练模型的GNN构建的。然而，这些方法遭受繁琐的程序和低效率的计算长文本文档。为了缓解这些问题，本文提出了HETFORMER，这是一种基于Transformer的预训练模型，具有多粒度稀疏注意力，用于长文本提取摘要。具体来说，我们将原始文本中不同类型的语义节点建模为潜在的异构图，并通过Transformer直接学习节点之间的异构关系（边）。在单文档和多文档摘要任务上的大量实验表明，HETFORMER在Rouge F1中实现了最先进的性能，同时使用更少的内存和更少的参数。
2021-10-19 cs.AI cs.CL cs.LG
What is Normal, What is Strange, and What is Missing in a Knowledge Graph: Unified Characterization via Inductive Summarization
University of Michigan（密歇根大学）；CISPA Helmholtz Center for Information Security（亥姆霍兹信息安全研究中心）
知识图谱（KG）以图的结构存储关于世界的高度异构的信息，并且对于诸如问答和推理的任务是有用的。然而，它们经常包含错误和丢失信息。在KG细化中充满活力的研究已经致力于解决这些问题，定制技术来检测特定类型的错误或完成KG。在这项工作中，我们介绍了一个统一的解决方案，KG表征制定的问题，无监督KG总结与一组归纳，软规则，它描述了什么是正常的KG，从而可以用来识别什么是异常的，无论是奇怪的或失踪。与一阶逻辑规则不同，我们的规则是带标签的，有根图，即，模式，基于其类型和KG中的信息描述（可见或不可见）节点周围的预期邻域。远离传统的支持/信任为基础的规则挖掘技术，我们提出KGist，知识图谱归纳总结，学习归纳规则的总结，最好的压缩KG根据最小描述长度原则-一个配方，我们是第一次使用的背景下KG规则挖掘。我们将我们的规则应用于三个大型KG（NELL，DBpedia和Yago），以及压缩，各种类型的错误检测和不完整信息的识别等任务。我们表明，KGist在错误检测和不完整性识别方面优于特定于任务的有监督和无监督基线（识别高达93%的缺失实体的位置-比基线多10%），同时对于大型知识图谱也是有效的。
2020-03-23 cs.AI cs.IR cs.LG
APEX$^2$: Adaptive and Extreme Summarization for Personalized Knowledge Graphs
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Meta AI
针对现有个性化知识图谱摘要无法适配兴趣变化、极小规模下效用不足的问题，提出具备理论保障的高可扩展框架APEX²，在千万级三元组基准上以≤0.1%压缩率实现准确率与效率的双重提升。
2025-09-01 cs.AI cs.DB cs.LG
SumGNN: Multi-typed Drug Interaction Prediction via Efficient Knowledge Graph Summarization
Georgia Institute of Technology（佐治亚理工学院）；Harvard T.H. Chan School of Public Health（哈佛大学陈曾熙公共卫生学院）；IQVIA（艾昆纬）
由于药物-药物相互作用（DDI）数据集和大型生物医学知识图谱（KG）的可用性不断增加，使用机器学习模型准确检测不良DDI成为可能。然而，如何有效地利用大而嘈杂的生物医学KG进行DDI检测在很大程度上仍然是一个悬而未决的问题。由于KG中的绝对大小和噪声量，直接将KG与其他较小但质量较高的数据（例如，实验数据）。大多数现有的方法完全忽略了幼儿园。有些人试图通过图神经网络直接将KG与其他数据集成，但成功有限。此外，大多数以前的工作集中在二元DDI预测，而多类型DDI药理作用预测是一个更有意义，但更困难的任务。为了填补空白，我们提出了一种新的方法SumGNN：知识概括图神经网络，其由能够有效地锚定在来自KG的相关子图上的子图提取模块、用于在子图内生成推理路径的基于自注意的子图概括方案以及多渠道知识和数据集成模块，该模块利用大量外部生物医学知识，DDI预测SumGNN的性能比最佳基线高出5.54%，并且在低数据关系类型中性能增益尤其显著。此外，SumGNN通过为每个预测生成的推理路径提供可解释的预测。
2021-05-06 cs.CL cs.IR cs.LG
GypSum: Learning Hybrid Representations for Code Summarization
East China Normal University（华东师范大学）
近年来，基于深度学习的代码摘要得到了广泛的研究。当前用于代码摘要的深度学习模型通常遵循神经机器翻译的原理，并采用编码器-解码器框架，其中编码器从源代码学习语义表示，解码器将学习的表示转换为描述代码片段功能的人类可读文本。尽管它们实现了新的最先进的性能，但我们注意到，当前的模型通常生成不太流畅的摘要，或者无法捕获核心功能，因为它们通常专注于单一类型的代码表示。因此，我们提出了GypSum，这是一种新的深度学习模型，它使用图形注意力神经网络和预训练的编程和自然语言模型来学习混合表示。我们引入特定的边缘相关的控制流的代码片段到抽象语法树的图形构造，并设计了两个编码器，分别从图形和令牌序列的源代码，学习。我们修改了Transformer的解码器中的编码器-解码器子层，以融合表示，并提出了一个双拷贝机制，以促进摘要生成。实验结果表明GypSum的性能优于现有的代码摘要模型。
2022-04-26 cs.LG cs.PL cs.SE
Neural Entity Summarization with Joint Encoding and Weak Supervision
在大规模的知识图谱中，一个实体往往由大量的三重结构事实描述。许多应用程序需要实体描述的简化版本，称为实体摘要。实体摘要的现有解决方案主要是无监督的。在本文中，我们提出了一种监督方法NEST，该方法基于我们新的神经模型，对KG中的图形结构和文本进行联合编码，并生成高质量的多样化摘要。由于获取手动标记的摘要进行训练的成本很高，因此我们的监督很弱，因为我们用程序化标记的数据进行训练，这些数据可能包含噪声，但没有手动工作。评估结果表明，我们的方法显着优于国家的最先进的两个公共基准。
2020-05-10 cs.CL cs.IR cs.LG
