Exploiting Cross-Document Relations for Multi-document Evolving Summarization
本文提出了一种从多个文档的摘要是关于一个特定的主题的方法。它基于对这些文档中的文本元素之间发生的跨文档关系的规范和标识。我们的方法涉及到特定主题的实体的规范,特定实体的某些文本元素和规范的关系,可以在这些消息之间传递的消息。上述资源对于为我们基于查询的摘要方法设置特定主题是必要的,该方法使用这些资源来识别文档中特定于查询的消息以及跨文档连接这些消息的特定于查询的关系。
2004-04-23 cs.AI cs.CL
PreSumm: Predicting Summarization Performance Without Summarizing
Mila – Quebec Artificial Intelligence Institute(米拉-魁北克人工智能研究所);McGill University(麦吉尔大学)
本文提出 PreSumm 任务,仅基于源文档预测摘要性能,验证了文档摘要质量跨系统的一致性,并展示了其在优化混合摘要流程和提升数据集质量中的应用价值。
2025-04-07 cs.AI cs.CL
A Stepwise Questioning Expert-Editor Multi-Agent Framework for Long-Document Summarization
针对大语言模型长文档摘要性能挑战,提出专家 - 编辑逐步提问多智能体方法,通过不同方面提问和提供修订线索完善摘要,经实验验证了该方法在长文档科学数据集上的有效性。
2026-07-14 cs.AI cs.CL
Topic-Guided Abstractive Multi-Document Summarization
Harbin Institute of Technology(哈尔滨工业大学)
多文档文摘的一个关键点是了解文档之间的关系。在本文中,我们提出了一种新的抽象MDS模型,在该模型中,我们表示多个文档作为一个异构的图,考虑到不同粒度的语义节点,然后应用图序列框架生成摘要。此外,我们采用神经主题模型来联合发现潜在的主题,这些主题可以作为跨文档的语义单元来桥接不同的文档,并提供全局信息来指导摘要生成。由于主题提取可以被视为一种特殊类型的摘要,它将文本“概括”为更抽象的格式,即,在主题分发方面,我们采用多任务学习策略,对主题和摘要模块进行联合训练,使其相互促进。在Multi-News数据集上的实验结果表明,我们的模型在Rouge指标和人工评价方面都优于以前最先进的MDS模型,同时学习高质量的主题。
2021-10-21 cs.AI cs.CL
Reader-Aware Multi-Document Summarization: An Enhanced Model and The First Dataset
The Chinese University of Hong Kong(香港中文大学);Tencent Inc.(腾讯公司)
我们调查的问题,读者感知的多文档摘要(RA-MDS),并介绍了一个新的数据集这个问题。为了解决RA-MDS问题,我们通过联合考虑新闻文档和读者评论来扩展基于变分自动编码(VAE)的MDS框架。为了对摘要性能进行评估,我们准备了一个新的数据集。我们描述了数据汇集、方面注释和摘要撰写以及专家审查的方法。实验结果表明,读者评论可以提高摘要的性能,这也证明了所提出的数据集的有用性。RA-MDS的注释数据集可在线获得。
2017-08-03 cs.AI cs.CL
A BART-based approach with hierarchical strategy for Vietnamese abstractive multi-document summarization
Aimesoft JSC(Aimesoft股份公司)
提出一种新颖简单的基于黄金摘要缩短文档的分层策略,结合BART模型实现越南语多文档抽象式摘要,在VLSP 2022测试集上达到ROUGE2-F1 0.2468,并利用外部数据增强训练。
2026-06-19 cs.AI cs.CL
Understanding Position Bias Effects on Fairness in Social Multi-Document Summarization
Portland State University(波特兰州立大学)
本文研究社会多文档摘要中群体排序导致的位置偏差对公平性的影响,发现输入顺序虽不影响文本质量,但会显著改变不同方言群体的代表性公平程度。
2024-05-03 cs.AI cs.CL
Hierarchical Transformers for Multi-Document Summarization
Institute for Language, Cognition and Computation(语言、认知与计算研究所);School of Informatics, University of Edinburgh(爱丁堡大学信息学院)
在本文中,我们开发了一个神经摘要模型,它可以有效地处理多个输入文档和提取Transformer架构的能力,以分层的方式编码文档。我们表示跨文档的关系,通过一个注意力机制,它允许共享信息,而不是简单地连接文本跨度和处理它们作为一个平面序列。我们的模型学习文本单元之间的潜在依赖关系,但也可以利用专注于相似性或话语关系的显式图形表示。WikiSum数据集上的实证结果表明,所提出的架构带来了几个强大的基线大幅改善。
2019-05-30 cs.AI cs.CL
Parallel Hierarchical Transformer with Attention Alignment for Abstractive Multi-Document Summarization
与单文档摘要相比,抽象的多文档摘要(MDS)在表示和覆盖其冗长和链接的源方面带来了挑战。本研究开发了一种用于MDS的注意对齐的并行分层Transformer(PHT)。通过结合单词级和段落级的多头注意力,PHT的分层架构允许在标记和文档级更好地处理依赖关系。为了引导解码更好地覆盖源文档,然后引入注意力对齐机制来用预测的最佳注意力分布校准束搜索。基于WikiSum数据,进行了全面的评估,以测试所提出的架构对MDS的改进。通过更好地处理内部和跨文档信息,ROUGE和人工评估的结果表明,我们的分层模型以相对较低的计算成本生成了相对于其他基于Transformer的基线质量更高的摘要。
2022-08-16 cs.AI cs.CL
Enhancing Extractive Text Summarization with Topic-Aware Graph Neural Networks
School of Computer Science and Technology, Harbin Institute of Technology(哈尔滨工业大学计算机科学与技术学院)
文本摘要的目的是将文本压缩成简短的摘要,同时保留显著信息。摘要抽取式自动摘要方法以其流畅性和高效性被广泛应用于文本摘要中。然而,大多数现有的提取模型很难捕捉句子间的关系,特别是在长文档。他们还经常忽视主题信息对捕捉重要内容的影响。为了解决这些问题,本文提出了一个基于图神经网络(GNN)的提取摘要模型,使捕捉句子间的关系,有效地通过图结构的文档表示。此外,我们的模型集成了一个联合神经主题模型(NTM),以发现潜在的主题,它可以提供文档级的功能,句子选择。实验结果表明,我们的模型不仅在CNN/DM和NYT数据集上取得了最先进的结果,而且在由更长文档组成的科学论文数据集上的性能也大大优于现有方法,表明其在文档类型和长度方面具有更好的鲁棒性。进一步的讨论表明,主题信息可以帮助模型从整个文档中预选出显著的内容,这解释了它在长文档摘要中的有效性。
2020-10-13 cs.AI cs.CL
Leveraging Word Embeddings for Spoken Document Summarization
Academia Sinica(中央研究院);National Taiwan Normal University(台湾师范大学);National Taiwan University(台湾大学)
由于互联网上可获得的多媒体内容的快速增长,提取的口语文档摘要,其目的是从口语文档中自动选择一组代表性的句子,以简明地表达文档的最重要的主题,一直是研究和实验的活跃领域。另一方面,词嵌入由于其在许多自然语言处理(NLP)相关任务中的优异性能而成为一个新的热门研究课题。然而,据我们所知,有相对较少的研究调查其使用提取文本或语音摘要。在摘要过程中利用词嵌入的共同思路是通过对文档(或句子)中出现的词的词嵌入求平均来表示文档(或句子)。然后,直观地,余弦相似性度量可以用来确定一对表示之间的相关度。除了继续努力提高词的表示,本文重点是建立新的和有效的排名模型的基础上,一般的词嵌入方法提取语音摘要。实验结果表明,我们提出的方法的有效性,与现有的国家的最先进的方法相比。
2015-06-14 cs.AI cs.CL
Key-Element-Informed sLLM Tuning for Document Summarization
针对小规模大语言模型在长文档摘要中关键信息缺失、相关性低的问题,提出关键要素引导的指令调优方法KEITSum,通过识别文档关键要素指导摘要生成,在对话和新闻数据集上取得与专有LLM相当的高质量摘要效果。
2024-11-19 cs.AI cs.CL
Discourse-Driven Evaluation: Unveiling Factual Inconsistency in Long Document Summarization
University of Pittsburgh(匹兹堡大学)
本研究针对长文档摘要事实不一致检测的挑战,通过话语分析揭示错误与话语特征的关联,提出基于话语块分解和信息聚合的框架,在多基准上提升不同模型性能,强调话语特征的重要性。
2025-02-10 cs.AI cs.CL
Extractive Summarization for Arabic Documents Using SAraBERT with a Semantic Siamese Similarity Evaluation Metric
American University of Beirut(贝鲁特美国大学)
该研究提出增强版AraBERT(SAraBERT)及语义连体相似度评估指标,通过BLEU、ROUGE等验证,证明SAraBERT在阿拉伯语文档抽取式摘要任务中有效。
2026-08-24 cs.AI cs.CL
Monolingual versus Multilingual BERTology for Vietnamese Extractive Multi-Document Summarization
University of Information Technology(信息科技大学);Vietnam National University(越南国立大学)
最近的研究表明,BERT在广泛的自然语言处理任务中显示出潜力。它被许多先进的自动汇总系统采用作为编码器,实现了优异的性能。然而,到目前为止,为越南人做的工作并不多。在本文中,我们展示了如何BERT可以实现提取文本摘要越南语多文档。我们介绍了不同的多语言和单语言BERT模型之间的一种新的比较。实验结果表明,与其他多语种模型和以往的越南语文本摘要模型相比,单语模型产生了令人满意的结果。
2021-10-16 cs.AI cs.CL
SQuALITY: Building a Long-Document Summarization Dataset the Hard Way
New York University(纽约大学)
摘要数据集通常是通过抓取自然发生的公共领域摘要(几乎总是在难以使用的技术领域)或通过使用近似算法从日常文本中提取它们来组装的,这通常会产生不忠实的摘要。在这项工作中,我们转向一种更慢但更直接的方法来开发摘要基准数据:我们聘请高素质的承包商从头开始阅读故事并编写原始摘要。为了节省阅读时间,我们为每份文件收集了五个摘要,第一个摘要是概述,随后的四个摘要是针对具体问题的。我们使用该协议来收集SQuality,这是一个以问题为中心的摘要数据集,建立在与多项选择数据集QUALITY相同的公共领域短篇小说上(Pang et al.,2021年)。最先进的摘要系统的实验表明,我们的数据集是具有挑战性的,现有的自动评估指标的质量弱指标。
2022-05-23 cs.AI cs.CL
Leveraging Long-Context Large Language Models for Multi-Document Understanding and Summarization in Enterprise Applications
TCS(塔塔咨询服务公司);SAGE University(SAGE大学)
本文探讨长上下文大型语言模型在多文档摘要生成中的应用,通过法律、医疗等案例验证其效率与准确性的提升,并分析技术障碍与伦理考量,提出未来研究方向。
2024-09-27 cs.AI cs.CL
BERT-VBD: Vietnamese Multi-Document Summarization Framework
Phenikaa University(斐佳大学)
针对越南语多文档摘要研究中抽取与生成结合方法匮乏的问题,提出BERT-VBD双组件流水线框架,经改进的BERT抽取关键句后结合VBD-LLaMA2生成摘要,在VN-MDS数据集上ROUGE-2得分达39.6%,超越现有最优基线。
2024-09-18 cs.AI cs.CL
Data Augmentation for Abstractive Query-Focused Multi-Document Summarization
UNC Chapel Hill(北卡罗来纳大学教堂山分校);Microsoft Research(微软研究院)
由于缺乏足够的大规模高质量训练数据集,以查询为中心的多文档摘要(QMDS)的研究进展受到限制。我们提出了两个QMDS训练数据集,我们使用两种数据增强方法构建:(1)传输常用的单文档CNN/Daily Mail摘要数据集以创建QMDSCNN数据集,以及(2)挖掘搜索查询日志以创建QMDSIR数据集。这两个数据集具有互补的特性,即,QMDSCNN有真实的摘要,但查询是模拟的,而QMDSIR有真实的查询,但模拟摘要。为了涵盖这些真实的摘要和查询方面,我们在组合数据集上构建了抽象的端到端神经网络模型,这些模型在DUC数据集上产生了新的最先进的传输结果。我们还引入了新的分层编码器,使查询与多个文档的编码更有效。实证结果表明,我们的数据增强和编码方法优于自动度量的基线模型,以及沿多个属性的人类评估。
2021-03-02 cs.AI cs.CL
Knowledge-aware Document Summarization: A Survey of Knowledge, Embedding Methods and Architectures
The University of Adelaide(阿德莱德大学);Macquarie University(麦考瑞大学);JD.COM Silicon Valley Research Center(京东硅谷研究中心)
在过去的几十年里,知识感知方法已经推动了一系列自然语言处理应用。近年来,作为自然语言处理应用之一的文档摘要领域,知识的应用越来越受到人们的关注。以前的工作报告说,知识嵌入式文档摘要擅长生成卓越的摘要,特别是在信息量,连贯性和事实的一致性。本文旨在提出第一个系统的调查,为国家的最先进的方法,将知识嵌入到文档摘要。特别是,我们提出了新的分类法概括知识和知识嵌入下的文件摘要视图。我们进一步探讨了如何在文档摘要模型的嵌入学习架构中生成嵌入,特别是深度学习模型。最后,我们讨论了这一主题的挑战和未来的发展方向。
2022-07-09 cs.AI cs.CL cs.LG
Abstractive Summarization of Large Document Collections Using GPT
North Carolina State University(北卡罗来纳州立大学)
本研究提出一种结合语义聚类、GPT生成等技术的文档集合生成式摘要方法,实验显示其在两个基准数据集上性能与部分前沿系统统计等效,为大规模文档摘要任务提供了可行方案。
2023-10-09 cs.AI
Neural Latent Extractive Document Summarization
Microsoft Research Asia(微软亚洲研究院);University of Edinburgh(爱丁堡大学)
提取式摘要模型需要摘要级标签,其通常是按顺序创建的(例如,使用基于规则的方法),假定大多数摘要数据集仅具有文档-摘要对。由于这些标签可能是次优的,我们提出了一个潜变量提取模型,其中句子被视为潜变量和句子与激活变量被用来推断黄金摘要。在训练期间,损失来自黄金摘要的\emph{directly}。在CNN/Dailymail数据集上的实验表明,我们的模型比在近似标签上训练的强提取基线有所改进,并且与最近的几个模型相比也具有竞争力。
2018-08-28 cs.AI cs.CL cs.LG
MS2: Multi-Document Summarization of Medical Studies
Northeastern University(东北大学);Allen Institute for AI(艾伦人工智能研究所)
为了评估任何医疗干预的有效性,研究人员必须进行时间密集型和高度手动的文献综述。NLP系统可以帮助自动化或协助这个昂贵的过程的一部分。为了支持这一目标,我们发布了MS^2(医学研究的多文档摘要),这是一个包含超过47万份文档和2万份来自科学文献的摘要的数据集。该数据集促进了可以评估和汇总多项研究中相互矛盾的证据的系统的开发,并且是生物医学领域第一个大规模的公开可用的多文档摘要数据集。我们尝试了一个基于BART的摘要系统,并取得了可喜的初步成果。我们制定我们的摘要输入和目标在自由文本和结构化的形式,并修改最近提出的指标,以评估我们的系统生成的摘要的质量。数据和模型可在https://github.com/allenai/ms2上获得
2021-11-23 cs.AI cs.CL cs.LG
An Efficient Approach to Learning Chinese Judgment Document Similarity Based on Knowledge Summarization
North China Electric Power University(华北电力大学);Renmin University of China(中国人民大学)
普通法体系中以前的类似案例可用作本案的参考,以便在每一个案例中对相同的情况作类似的处理。然而,现有的判决文本相似度计算方法未能捕捉到判决文本的核心语义,存在准确度低、计算复杂度高的问题。提出了一种基于知识块摘要的机器学习方法来计算中文判决书的语义相似度。利用裁判文书的领域本体,基于知识块对中文裁判文书的核心语义进行归纳。然后利用WMD算法计算知识块之间的相似度。最后通过实验验证了该方法的有效性,与传统方法相比,该方法具有更高的精度和更快的计算速度。
2018-08-06 cs.AI cs.CL cs.IR
RST-LoRA: A Discourse-Aware Low-Rank Adaptation for Long Document Abstractive Summarization
Saarland University(萨尔大学)
本文提出篇章感知的 RST-LoRA 及四种 RST 变体,将修辞关系类型与不确定性融入 LoRA,在长文档生成式摘要中优于原始 LoRA、全参数微调和既往最先进方法。
2024-12-10 cs.AI cs.CL cs.LG
QBSUM: a Large-Scale Query-Based Document Summarization Dataset from Real-world Applications
University of Alberta(阿尔伯塔大学);Platform and Content Group, Tencent(腾讯平台与内容事业群);University of Montreal(蒙特利尔大学);Tencent(腾讯)
基于查询的文档摘要旨在提取或生成直接回答搜索查询或与搜索查询相关的文档摘要。这是一项重要的技术,可以有益于各种应用程序,如搜索引擎,文档级机器阅读理解和聊天机器人。目前,设计用于基于查询的摘要的数据集在数量上是短缺的,并且现有的数据集在规模和质量上也受到限制。此外,据我们所知,目前还没有公开的数据集用于基于中文查询的文档摘要。在本文中,我们提出了QBSUM,一个高质量的大规模数据集,包括49,000+数据样本的任务,基于中文查询的文档摘要。我们还提出了多个无监督和有监督的解决方案,并通过离线实验和在线A/B测试证明了它们的高速推理和优越的性能。QBSUM数据集的发布是为了促进该研究领域的未来发展。
2020-10-28 cs.AI
Incorporating Distributions of Discourse Structure for Long Document Abstractive Summarization
Saarland University(萨尔大学)
针对长文档生成式摘要中 RST 篇章关系信息利用不足的问题,提出基于 Longformer 的 RSTformer 及 RST-attention,融合修辞关系类型与不确定性,并在自动指标和人工评估中优于现有方法。
2024-12-10 cs.AI cs.CL cs.LG
Centroid-based summarization of multiple documents: sentence extraction, utility-based evaluation, and user studies
我们提出了一个多文档摘要,称为MEAD,它产生的主题检测和跟踪系统使用集群质心摘要。我们还描述了两种新的技术,句子效用和包容的基础上,我们已经应用到单个和多个文件摘要的评估。最后,我们描述了两个用户研究,测试我们的多文档摘要模型。
2000-05-12 cs.AI cs.CL cs.DL
PDSum: Prototype-driven Continuous Summarization of Evolving Multi-document Sets Stream
UIUC(伊利诺伊大学厄巴纳-香槟分校);University of Macau(澳门大学)
摘要文本丰富的文件已经在文献中研究了很长时间,但大多数现有的努力已经取得了总结一个静态的和预定义的多文档集。随着用于生成和分发富文本文档的在线平台的快速发展,出现了对连续地总结动态演变的多文档集的迫切需要,其中文档和集合的组成随时间而变化。这是特别具有挑战性的摘要不仅要有效地结合相关的,新颖的,独特的信息,从每个并发的多文档集,但也有效地服务于在线应用程序。在这项工作中,我们提出了一个新的摘要问题,进化多文档集流摘要(EMDS),并介绍了一种新的无监督算法PDSum的原型驱动的连续摘要的想法。PDSum为每个多文档集构建一个轻量级的原型,并利用它来适应新文档,同时保留以前文档中积累的知识。为了更新新的摘要,每个多文档集的最具代表性的句子被提取,通过测量它们的相似性的原型。对真实多文档集流的全面评估表明,PDSum在相关性、新颖性和独特性方面优于EMDS中最先进的无监督多文档摘要算法,并且对各种评估设置也具有鲁棒性。
2023-02-10 cs.AI cs.IR cs.LG
Document summarization using positive pointwise mutual information
University of Kerala(喀拉拉邦大学);Amrita Vishwa Vidyapeetham(阿姆里塔维什瓦维迪亚皮塔姆大学)
文档摘要过程的成功程度取决于用于识别文档中重要句子的方法的性能。唯一词的集合表征文档的主要签名,并形成术语句子矩阵(TSM)的基础。正的逐点互信息,这是很好地衡量在术语句子矩阵的语义相似性,在我们的方法中使用分配权重的术语句子矩阵中的每个条目。然后使用从该加权TSM生成的句子秩矩阵从文档中提取摘要。我们的实验表明,这样的方法将优于大多数现有的方法,从大型文档中产生摘要。
2012-05-08 cs.AI cs.IR
Disentangling Specificity for Abstractive Multi-document Summarization
Macquarie University(麦考瑞大学);The University of Adelaide(阿德莱德大学)
本文针对多文档摘要中忽略文档特异性导致摘要不全面的问题,提出通过正交约束解耦文档特定内容,发现特定信息与文档集表示结合能显著提升摘要全面性。
2024-05-12 cs.AI cs.IR
A Rhetorical Relations-Based Framework for Tailored Multimedia Document Summarization
Research Center on Scientific and Technical Information CERIST(科学技术信息研究中心(CERIST))
本文提出一种基于修辞结构和图表示的多媒体文档摘要框架,通过加权算法、用户偏好及时间约束实现个性化摘要生成,推动了自动摘要技术的发展。
2024-12-26 cs.AI cs.HC cs.MM