Medifact at PerAnsSumm 2025: Leveraging Lightweight Models for Perspective-Specific Summarization of Clinical Q&A Forums
National University of Computer and Emerging Sciences (NUCES-FAST)（国家计算机与新兴科学大学（NUCES-FAST））
本研究针对PerAnsSumm 2025医疗视角感知答案摘要任务，提出Snorkel-BART-SVM小样本学习框架，通过弱监督SVM分类视角相关句子再用BART-CNN生成摘要，在百支队伍中排第12，兼顾效率与准确性，助力医疗CQA与临床决策支持研究。
2025-03-15 cs.AI cs.CL
ConvoSumm: Conversation Summarization Benchmark and Improved Abstractive Summarization with Argument Mining
Yale University（耶鲁大学）；Facebook AI（脸书人工智能研究院）
虽然在线对话可以以许多不同的格式覆盖大量的信息，但抽象文本摘要主要集中在仅对新闻文章进行建模。这种研究差距部分是由于缺乏标准化的数据集来总结在线讨论。为了解决这一差距，我们设计了一个问题-观点-断言框架的注释协议，以众包新闻评论，论坛，社区问答论坛和电子邮件线程的各种在线对话形式的四个新的数据集。我们在数据集上对最先进的模型进行基准测试，并分析与数据相关的特征。为了创建一个全面的基准，我们还在广泛使用的会话摘要数据集上评估了这些模型，以在该领域建立强大的基线。此外，我们通过图形构建将参数挖掘直接建模的问题，观点和断言存在于对话和过滤嘈杂的输入，显示比较或改进的结果，根据自动和人工评估。
2021-06-01 cs.CL
A Hierarchical End-to-End Model for Jointly Improving Text Summarization and Sentiment Classification
Peking University（北京大学）
文本摘要和情感分类都旨在捕捉文本的主要思想，但在不同的层次上。文本摘要是在几个句子内描述文本，而情感分类可以被视为一种特殊类型的摘要，它将文本“概括”成更抽象的方式，即，情感课基于这一思想，我们提出了一个分层的端到端模型，用于文本摘要和情感分类的联合学习，其中情感分类标签被视为文本摘要输出的进一步“摘要”。因此，情感分类层放在文本摘要层上，并导出层次结构。在Amazon在线评论数据集上的实验结果表明，该模型在抽象摘要和情感分类方面都比强基线系统具有更好的性能。
2018-05-30 cs.CL cs.LG
CQASUMM: Building References for Community Question Answering Summarization Corpora
Myntra Designs（Myntra设计公司）；IIIT-Delhi（德里英迪拉·甘地信息技术学院）
Quora、Stackoverflow等社区问答论坛是丰富的知识资源，经常迎合被主要搜索引擎忽视的主题信息。提交给这些论坛的答案往往是精心制作的，包含垃圾邮件，被诽谤和商业促销所破坏。读者很难通过大量这样的答案来衡量社区的意见。因此，总结成为CQA论坛的优先任务。虽然已经做出了一些努力来总结类事实CQA，但在总结非类事实CQA方面的工作很少。我们认为这是由于缺乏一个相当大的，注释的数据集CQA总结。我们通过过滤440万Yahoo！回答L 6数据集。我们抽样的线程，其中最好的答案可以加倍作为一个参考摘要，并建立从他们百字摘要。我们将其他答案作为候选文档进行总结。我们提供了一个脚本来生成数据集，并介绍了社区问答摘要的新任务。多文档摘要已被广泛研究的新闻文章数据集，特别是在DUC和TAC挑战使用新闻语料库。然而，CQA中的文档具有更高的方差、矛盾的观点和更少的重叠量。我们比较流行的多文档摘要技术，并评估其性能在我们的CQA语料库。我们研究了最先进的技术，并了解了现有的多文档摘要器（MDS）失败的情况。我们发现，大多数MDS工作流程是建立在完全事实的新闻语料库，而我们的语料库有一个公平的份额的意见为基础的实例。因此，我们引入了OpinioSumm，一种新的MDS，其在ROUGE-1评分方面优于最佳基线4.6%。
2018-11-12 cs.CL
Multi-Perspective Abstractive Answer Summarization
Yale University（耶鲁大学）；Facebook AI（脸书人工智能研究院）
社区问答（CQA）论坛，如堆栈溢出和雅虎！答案包含了一个广泛的问题的答案丰富的资源。每个问题线程可以接收大量具有不同视角的答案。多视角答案摘要的目标是生成一个包含答案所有视角的摘要。多视角、抽象的答案摘要的主要障碍是缺乏数据集来为生成这样的摘要提供监督。这项工作介绍了一种新的数据集创建方法，从现有的CQA论坛自动创建多角度，子弹点摘要。该数据集提供的监督训练模型，以内在地生成多视角摘要。此外，为了训练模型在保持多个视角的同时输出更多样化、更忠实的答案摘要，我们提出了一种多奖励优化技术，并结合了一种基于相关性的多任务损失预测。我们的方法表明，与强大的基线相比，通过自动和人工评估来衡量，视角和忠诚度的覆盖率有所提高。
2021-04-17 cs.CL
HierSum: A Global and Local Attention Mechanism for Video Summarization
Georgia Institute of Technology（佐治亚理工学院）；Google DeepMind（谷歌DeepMind）
本研究提出HierSum分层方法，结合字幕局部线索与视频级全局指令，利用“最多重播”信号识别关键片段，在多个基准数据集上优于现有方法，并整理新多模态数据集提升摘要效果。
2025-04-25 cs.AI cs.CV cs.LG
Bloom-epistemic and sentiment analysis hierarchical classification in course discussion forums
Maranatha Christian University（玛拉拿他基督教大学）
本研究提出BE-Sent分层方法，比较机器学习模型，对课程讨论论坛文本进行情感（正/负/中性）和Bloom认知（六类）分类，成功构建课程学习子系统以评估学生观点。
2024-01-26 cs.CL cs.CY cs.LG
No perspective, no perception!! Perspective-aware Healthcare Answer Summarization
IIIT Delhi（德里印度信息技术学院）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
本文提出医疗 CQA 的视角特定答案摘要任务，构建 PUMA 数据集，并提出提示驱动、能量控制损失与前缀调谐的 PLASMA 模型，较五个基线提升 1.5%–21%。
2024-06-13 cs.CL
HIBERT: Document Level Pre-training of Hierarchical Bidirectional Transformers for Document Summarization
Microsoft Research Asia（微软亚洲研究院）
神经提取摘要模型通常采用分层编码器进行文档编码，并使用基于规则的方法创建的分级标签进行训练。用这些\emph{inaccurate}标签训练分层编码器是具有挑战性的。受最近关于预训练Transformer语句编码器\cite{devlin:2018:arxiv}的工作的启发，我们提出了用于文档编码的{ \sc Hibert}（作为{ \bf HI}erachical { \bf B}idirectional { \bf E}ncoder { \bf R} epresentation from { \bf T} transformers的简写）以及使用未标记数据对其进行预训练的方法。我们将预训练的{ \sc Hibert}应用于我们的摘要模型，它在CNN/Dailymail数据集上的性能优于随机初始化的对应模型1.25 ROUGE，在纽约时报数据集上的性能优于随机初始化的对应模型2.0 ROUGE。我们还在这两个数据集上实现了最先进的性能。
2019-05-16 cs.CL cs.LG
MentSum: A Resource for Exploring Summarization of Mental Health Online Posts
Georgetown University（乔治城大学）
精神卫生仍然是全世界公共卫生的一个重大挑战。随着在线平台的日益普及，许多人使用这些平台分享他们的心理健康状况，表达他们的感受，并寻求社区和咨询师的帮助。其中一些平台，如Reachout，是用户注册寻求帮助的专用论坛。其他人，如Reddit，提供子Reddit，用户公开但匿名发布他们的心理健康困扰。虽然帖子的长度各不相同，但提供一个简短但信息丰富的摘要是有益的，以便辅导员快速处理。为了促进对心理健康在线帖子总结的研究，我们引入了心理健康总结数据集MentSum，其中包含来自Reddit的超过24，000个精心挑选的用户帖子，以及来自43个心理健康子Reddit的简短用户书面摘要（称为TLDR）。这个特定领域的数据集不仅可以在Reddit上生成简短的摘要，还可以在专门的心理健康论坛（如Reachout）上生成帖子摘要。我们根据Rouge评分进一步评估了提取和抽象的最先进摘要基线，最后对用户编写和系统生成的摘要进行了深入的人类评估研究，突出了本研究中的挑战。
2022-06-02 cs.CL
Automatic Summarization of Student Course Feedback
University of Pittsburgh（匹兹堡大学）；University of Central Florida（中佛罗里达大学）
学生的课程反馈每天都在教室和在线课程讨论论坛上生成。传统上，教师以昂贵的方式手动分析这些响应。在这项工作中，我们提出了一种新的方法来总结学生课程反馈的整数线性规划（ILP）框架的基础上。我们的方法允许不同的学生响应共享共现统计数据和解释稀疏性问题。在学生反馈语料库上的实验结果表明，该方法在ROUGE分数和人类评价方面都优于一系列基线。
2018-05-25 cs.CL
Contrastive Hierarchical Discourse Graph for Scientific Document Summarization
University of California, Davis（加州大学戴维斯分校）
本文提出 CHANGES，通过层级语篇图、图信息聚合与图对比学习获得主题感知句子表示，用于抽取式科学论文摘要，并在 PubMed 和 arXiv 上验证有效。
2023-05-31 cs.CL
DomainSum: A Hierarchical Benchmark for Fine-Grained Domain Shift in Abstractive Text Summarization
University of Hawaii at Manoa（夏威夷大学马诺阿分校）
本文提出分层基准DomainSum，从体裁、风格和主题三个层级刻画抽象摘要中的细粒度领域偏移，并系统评估PLMs和LLMs的领域泛化能力。
2024-10-21 cs.CL
Aspect-oriented Consumer Health Answer Summarization
University of Illinois Chicago（伊利诺伊大学芝加哥分校）
针对健康社区问答中单一高票答案遗漏多元信息的问题，本文构建方面级人工摘要数据集，并提出检索、方面分类与抽象式摘要相结合的多阶段流水线。
2024-05-10 cs.AI cs.CL
Fact-level Extractive Summarization with Hierarchical Graph Mask on BERT
The Hong Kong Polytechnic University（香港理工大学）；Xidian University（西安电子科技大学）
目前大多数抽取式摘要模型都是通过选择显著句子来生成摘要的。然而，文本级抽取摘要的一个问题是，在人类书写的黄金摘要和甲骨文句子标签之间存在差距。在本文中，我们提出了提取事实级的语义单位，更好地提取摘要。我们还引入了一个层次结构，它结合了多层次的粒度的文本信息的模型。此外，我们将我们的模型与BERT使用层次图掩码。这使我们能够结合BERT在自然语言理解和结构信息方面的能力，而不增加模型的规模。在CNN/DaliyMail数据集上的实验表明，我们的模型达到了最先进的结果。
2020-11-19 cs.CL
Hierarchical3D Adapters for Long Video-to-text Summarization
Institute for Language, Cognition and Computation（语言、认知与计算研究所）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
在本文中，我们专注于视频到文本摘要，并研究如何最好地利用多模态信息来摘要长输入（例如，一小时长的电视节目）转换成长输出（例如，多句总结）。我们扩展了SummScreen（Chen等人，2021），由具有参考摘要的电视剧集的转录组成的对话摘要数据集，并通过收集相应的全长视频来创建多模态变体。我们将多模态信息有效地使用适配器模块增强了层次结构，同时调整只有3.8%的模型参数的预训练的文本摘要。我们的实验表明，多模态信息提供了更高的性能超过内存繁重和完全微调的文本摘要方法。
2022-10-10 cs.CL
Abstractive Summarization of Reddit Posts with Multi-level Memory Networks
Seoul National University（首尔国立大学）
我们从两个方向解决抽象摘要的问题：提出一个新的数据集和一个新的模型。首先，我们收集Reddit TIFU数据集，包括来自在线论坛Reddit的12万篇帖子。我们使用这种非正式的人群生成的帖子作为文本源，与现有的数据集，主要使用正式的文件作为源，如新闻文章。因此，我们的数据集可以减少一些偏见，即关键句通常位于文本的开头，而有利的摘要候选人已经以类似的形式出现在文本中。其次，我们提出了一种新的抽象摘要模型命名为多级记忆网络（MMN），配备了多级存储器存储的信息，从不同的抽象层次的文本。通过Amazon Mechanical Turk的定量评估和用户研究，我们发现Reddit TIFU数据集具有高度抽象性，MMN优于最先进的摘要模型。
2019-04-09 cs.CL
CUED at ProbSum 2023: Hierarchical Ensemble of Summarization Models
ALTA Institute（ALTA研究所）；University of Cambridge（剑桥大学）
针对有限数据下医疗病程记录摘要生成问题，提出由多微调Clinical-T5词元级集成加MBR解码的HESM方法，在BioNLP 2023共享任务1A中取得ROUGE-L 32.77的榜首成绩。
2023-06-08 cs.CL
Deep Learning Models for Automatic Summarization
onepoint（一点公司）
文本摘要是一项NLP任务，旨在将文本文档转换为更短的文档，同时尽可能保留更多的含义。这篇教学文章回顾了一些最近的深度学习架构，这些架构有助于推进该领域的研究。我们将特别讨论指针网络、分层Transformers和强化学习的应用。我们假设有Seq2Seq架构和NLP中的Transformer网络的基本知识。
2020-05-25 cs.CL cs.LG
MAST: Multimodal Abstractive Summarization with Trimodal Hierarchical Attention
IIIT Hyderabad（印度国际信息技术研究所海得拉巴分校）；New York University（纽约大学）
本文提出了MAST，一个新的模型，多模态抽象文本摘要，利用所有三种形式的信息-文本，音频和视频-在多模态视频。以前的工作多模态摘要文本摘要只利用信息的文本和视频模态。我们研究的有用性和挑战，从音频模态派生的信息，并提出了一个序列到序列的三模态分层注意力为基础的模型，克服了这些挑战，让模型更加关注的文本模态。MAST在多模态语言理解的How2数据集上的内容F1得分和Rouge-L得分方面优于当前最先进的模型（视频-文本）2.51分和1.00分。
2020-10-15 cs.CL cs.CV cs.LG
Multi-News: a Large-Scale Multi-Document Summarization Dataset and Abstractive Hierarchical Model
Yale University（耶鲁大学）
随着在线出版物数量的迅速增长，从多篇新闻文章自动生成摘要是一个有价值的工具。由于大数据集的可用性，单文档摘要（SDS）系统受益于神经编码器-解码器模型的进步。然而，新闻文章的多文档摘要（MDS）仅限于几百个例子的数据集。在本文中，我们介绍了多新闻，第一个大规模的MDS新闻数据集。此外，我们提出了一个端到端的模型，该模型将传统的提取摘要模型与标准SDS模型相结合，并在MDS数据集上取得了有竞争力的结果。我们在Multi-News上对几种方法进行了基准测试，并发布了我们的数据和代码，希望这项工作能够促进多文档环境中摘要的进步。
2019-06-19 cs.CL
Unsupervised Extractive Summarization by Pre-training Hierarchical Transformers
Microsoft Research Asia（微软亚洲研究院）；Shanghai Qi Zhi institute（上海期智研究院）
无监督提取文档摘要旨在从文档中选择重要句子，而无需在训练期间使用标记摘要。现有的方法大多是基于图的句子作为节点和句子的相似性衡量的边的权重。在这项工作中，我们发现，Transformer注意力可以用来排名句子的无监督提取摘要。具体来说，我们首先只使用未标记的文档来预训练分层Transformer模型。然后，我们提出了一种方法来排名的句子，使用双水平的自我注意力和预训练目标。在CNN/DailyMail和New York Times数据集上的实验表明，该模型在无监督摘要方面具有最先进的性能。我们还发现，在实验中，我们的模型是依赖于句子位置。当使用我们的模型和最近的无监督模型显式建模句子位置的线性组合时，我们获得了更好的结果。
2020-10-16 cs.CL
CHQ-Summ: A Dataset for Consumer Healthcare Question Summarization
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Lister Hill National Center for Biomedical Communications（利斯特·希尔国家生物医学通信中心）；National Library of Medicine, National Institutes of Health（美国国立卫生研究院国家医学图书馆）
寻求健康信息的需求已经淹没了消费者的健康相关问题的网络。一般来说，消费者使用过度描述性和外围信息来表达他们的医疗状况或其他医疗保健需求，从而导致自然语言理解的挑战。解决这一挑战的一种方法是总结问题并提取原始问题的关键信息。为了解决这个问题，我们引入了一个新的数据集，CHQ-Summ，其中包含1507个领域专家注释的消费者健康问题和相应的摘要。该数据集来自社区问答论坛，因此为了解社交媒体上消费者健康相关帖子提供了宝贵的资源。我们在多个最先进的摘要模型上对数据集进行基准测试，以显示数据集的有效性。
2022-06-15 cs.CL
HiStruct+: Improving Extractive Text Summarization with Hierarchical Structure Information
DFKI GmbH（德国人工智能研究中心）
HiStruct+通过显式注入层次结构信息，提升提取式摘要的ROUGEs指标，在PubMed和arXiv数据集上取得显著效果。
2022-03-17 cs.CL
A Variational Hierarchical Model for Neural Cross-Lingual Summarization
Beijing Jiaotong University（北京交通大学）；Tencent Inc（腾讯公司）；Xiamen University（厦门大学）
跨语言摘要（CLS）的目标是将文档转换为一种语言（例如，英语）转换为另一个摘要（例如，中文）。CLS任务本质上是机器翻译（MT）和单语摘要（MS）的结合，因此MT &MS和CLS之间存在层次关系。现有的CLS研究主要集中在利用管道方法或通过辅助MT或MS目标联合训练端到端模型。然而，这是非常具有挑战性的模型直接进行CLS，因为它需要翻译和总结的能力。为了解决这个问题，我们提出了一个分层模型的CLS任务，基于条件变分自动编码器。层次模型包含两种潜变量，分别在局部和全局水平。在局部层次上，有两个潜变量，一个用于翻译，另一个用于摘要。在全局水平上，存在另一个以两个局部水平变量为条件的跨语言摘要潜变量。两个语言方向（英语-汉语）的实验验证了该方法的有效性和优越性。此外，我们表明，我们的模型是能够产生更好的跨语言摘要比比较模型中的Few-Shot设置。
2022-03-25 cs.CL
A Hierarchical Network for Abstractive Meeting Summarization with Cross-Domain Pretraining
Microsoft Cognitive Services Research Group（微软认知服务研究组）
随着大量的自动会议记录的出现，会议摘要越来越受到与会者和其他各方的关注。传统的总结会议的方法依赖于复杂的多步管道，这使得联合优化变得棘手。与此同时，还有一些用于文本摘要和对话系统的深度神经模型。然而，会议记录的语义结构和风格与文章和对话有很大的不同。在本文中，我们提出了一种新的抽象摘要网络，适应会议场景。我们设计了一个层次结构，以适应长的会议成绩单和角色向量来描述扬声器之间的差异。此外，由于会议摘要数据的不足，我们在大规模新闻摘要数据上对模型进行了预训练。实证结果表明，我们的模型优于以前的方法在自动度量和人类的评价。例如，在ICSI数据集上，ROUGE-1评分从34.66%增加到46.28%。
2020-09-20 cs.CL
A Mixed Hierarchical Attention based Encoder-Decoder Approach for Standard Table Summarization
IBM Research（IBM研究院）；IIT Madras（印度理工学院马德拉斯分校）
结构化数据摘要涉及从结构化输入数据生成自然语言摘要。在这项工作中，我们考虑总结以表格形式出现的结构化数据，因为它们在各种各样的领域中普遍存在。我们制定了标准的表汇总问题，它处理表符合一个单一的预定义的模式。为此，我们提出了一个混合的分层注意的编码器-解码器模型，它能够利用的结构，除了表的内容。我们在公开的WEATHERGOV数据集上的实验显示，与当前最先进的技术相比，BLEU提高了约18（约30%）。
2018-04-20 cs.AI cs.CL
Parallel Hierarchical Transformer with Attention Alignment for Abstractive Multi-Document Summarization
与单文档摘要相比，抽象的多文档摘要（MDS）在表示和覆盖其冗长和链接的源方面带来了挑战。本研究开发了一种用于MDS的注意对齐的并行分层Transformer（PHT）。通过结合单词级和段落级的多头注意力，PHT的分层架构允许在标记和文档级更好地处理依赖关系。为了引导解码更好地覆盖源文档，然后引入注意力对齐机制来用预测的最佳注意力分布校准束搜索。基于WikiSum数据，进行了全面的评估，以测试所提出的架构对MDS的改进。通过更好地处理内部和跨文档信息，ROUGE和人工评估的结果表明，我们的分层模型以相对较低的计算成本生成了相对于其他基于Transformer的基线质量更高的摘要。
2022-08-16 cs.AI cs.CL
A BART-based approach with hierarchical strategy for Vietnamese abstractive multi-document summarization
Aimesoft JSC（Aimesoft股份公司）
提出一种新颖简单的基于黄金摘要缩短文档的分层策略，结合BART模型实现越南语多文档抽象式摘要，在VLSP 2022测试集上达到ROUGE2-F1 0.2468，并利用外部数据增强训练。
2026-06-19 cs.AI cs.CL
Hierarchical Transformers for Multi-Document Summarization
Institute for Language, Cognition and Computation（语言、认知与计算研究所）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
在本文中，我们开发了一个神经摘要模型，它可以有效地处理多个输入文档和提取Transformer架构的能力，以分层的方式编码文档。我们表示跨文档的关系，通过一个注意力机制，它允许共享信息，而不是简单地连接文本跨度和处理它们作为一个平面序列。我们的模型学习文本单元之间的潜在依赖关系，但也可以利用专注于相似性或话语关系的显式图形表示。WikiSum数据集上的实证结果表明，所提出的架构带来了几个强大的基线大幅改善。
2019-05-30 cs.AI cs.CL
MHMS: Multimodal Hierarchical Multimedia Summarization
Carnegie Mellon University（卡内基梅隆大学）；Adobe Research（奥多比研究院）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
具有多模态输出的多媒体摘要可以在现实世界的应用中发挥重要作用，即，自动生成新闻文章的封面图像和标题，或为在线视频提供介绍。在这项工作中，我们提出了一个多模态层次多媒体摘要（MHMS）框架，通过交互视觉和语言域生成视频和文本摘要。我们的MHMS方法包含视频和文本分割和摘要模块，分别。它制定了一个跨域对齐的目标与最佳的传输距离，利用跨域的相互作用，以产生代表性的关键帧和文本摘要。我们在最近的三个多模态数据集上评估了MHMS，并证明了我们的方法在生成高质量多模态摘要方面的有效性。
2022-04-07 cs.CL cs.CV cs.MM
A Dataset and Benchmark for Consumer Healthcare Question Summarization
U.S. National Library of Medicine, National Institutes of Health（美国国家医学图书馆，国立卫生研究院）；Department of Computer Science, University of Illinois at Chicago（计算机科学系，伊利诺伊大学芝加哥分校）
本文提出一个包含1507个领域专家标注的消费者健康问题及其摘要的语料库，并通过多个先进模型验证其有效性，以促进高效摘要系统的发展。
2025-12-29 cs.CL
AlignSum: Data Pyramid Hierarchical Fine-tuning for Aligning with Human Summarization Preference
Shanghai Jiao Tong University（上海交通大学）；Suzhou Laboratory（苏州实验室）
本文提出AlignSum框架，通过构建数据金字塔、高斯重采样和两阶段分层微调，使BART-Large等预训练语言模型在自动与人类评估中超越175B GPT-3，显著提升摘要生成与人类偏好的对齐。
2024-10-01 cs.CL
HIBRIDS: Attention with Hierarchical Biases for Structure-aware Long Document Summarization
University of Michigan（密歇根大学）
文档结构对于有效的信息消费至关重要。然而，将其有效地编码到现代Transformer架构中是具有挑战性的。在这项工作中，我们提出了HIBRIDS，它注入了层次偏见的文件结构的注意力分数的计算。我们进一步提出了一个新的任务，分层问题摘要生成，用于将源文档中的突出内容总结为问题和摘要的层次结构，其中每个后续问题询问其父问题摘要对的内容。我们还对一个新的数据集进行了注释，该数据集包含6，153个问题摘要层次结构，这些层次结构标记在长的政府报告上。实验结果表明，我们的模型产生更好的问题摘要层次结构比层次结构质量和内容覆盖率的比较，这一发现也呼应了人类法官。此外，我们的模型提高了从冗长的政府报告和维基百科文章中生成长格式摘要的能力，这是由ROUGE分数来衡量的。
2022-03-21 cs.CL
NexusSum: Hierarchical LLM Agents for Long-Form Narrative Summarization
CJ Corporation（CJ公司）
NexusSum提出一种多智能体LLM框架，通过对话到描述转换和分层多LLM摘要两大创新，无需微调即可处理长篇叙事文本，在多领域BERTScore（F1）上最高提升30.0%，达到SOTA。
2025-05-30 cs.AI cs.CL
Context-Aware Hierarchical Merging for Long Document Summarization
University of Edinburgh（爱丁堡大学）
本文提出通过引入源文档上下文来增强分层合并方法，以缓解长文档摘要中LLM的幻觉问题，实验证明上下文增强策略在法律和叙事数据集上优于基线方法。
2025-08-08 cs.CL
Hierarchical Cross-Modality Semantic Correlation Learning Model for Multimodal Summarization
School of Cyber Science and Technology, Beihang University（北京航空航天大学网络科学与技术学院）；College of Cyber Security, Jinan University（暨南大学网络安全学院）
多模态摘要与多模态输出（MSMO）生成一个摘要与文本和视觉内容。多模态新闻报道包含着内容的异质性，这使得多模态新闻报道具有重要意义。此外，据观察，不同形式的数据在新闻报道中的层次相关。传统的MSMO方法通过学习整个数据的表示来处理不同形式的数据，这不能直接适应异构的内容和层次相关性。在本文中，我们提出了一个层次化的跨模态语义相关学习模型（HCSCL）来学习存在于多模态数据中的模态内和模态间的相关性。HCSCL采用图网络对模态内相关性进行编码。然后，提出了一个层次融合框架，学习文本和图像之间的层次相关性。此外，我们构建了一个新的数据集与相关的图像注释和图像对象标签信息提供监督信息的学习过程。在数据集上的大量实验表明，HCSCL在自动摘要度量和细粒度多样性测试方面明显优于基线方法。
2021-12-16 cs.AI cs.CL cs.CV
Hierarchical Attention Graph for Scientific Document Summarization in Global and Local Level
School of Electronic Engineering, Beijing University of Posts and Telecommunications（北京邮电大学电子工程学院）；Beijing Key Laboratory of Work Safety Intelligent Monitoring, Beijing University of Posts and Telecommunications（北京邮电大学安全生产智能监控北京市重点实验室）
针对长科学文档摘要中难以同步建模全局句间与局部句内关系的问题，提出基于层级语篇结构的HAESum方法，结合局部异构图与超图自注意力层建模两类关系，在两个基准数据集上验证了有效性。
2024-05-16 cs.CL
Hierarchical Summarization for Longform Spoken Dialog
Columbia University（哥伦比亚大学）；Microsoft（微软）；Stanford University（斯坦福大学）
我们每天都被对话包围着。这种媒介提供丰富多样的信息流，但系统地理解对话往往是不平凡的。尽管口头对话普遍存在，但自动语音理解和质量信息抽取仍然明显较差，特别是与书面散文相比时。此外，与理解文本相比，听觉交流带来了许多额外的挑战，例如说话者不流利，非正式的散文风格和缺乏结构。这些问题都表明，需要一个明显的语音定制的交互系统，以帮助用户理解和浏览口语领域。虽然个人自动语音识别（ASR）和文本摘要方法已经存在，但它们是不完善的技术;既不考虑用户目的和意图，也不解决口语引起的并发症。因此，我们设计了一个两阶段的ASR和文本摘要管道，并提出了一套语义分割和合并算法，以解决这些语音建模的挑战。我们的系统使用户能够轻松地浏览和导航内容，以及从这些底层技术的错误中恢复。最后，我们提出了一个评估系统，突出用户偏好的分层摘要作为一种工具，快速浏览音频和识别感兴趣的内容给用户。
2021-08-21 cs.AI cs.CL
A Hierarchical Structured Self-Attentive Model for Extractive Document Summarization (HSSAS)
School of Information Science and Engineering, Central South University（中南大学信息科学与工程学院）
神经网络结构和训练算法的最新进展表明了表示学习的有效性。基于神经网络的模型比传统的模型产生更好的表示。它们能够自动学习句子和文档的分布式表示。为此，我们提出了一种新的模型，解决了几个问题，没有充分建模的先前提出的模型，如内存问题，并将文档结构的知识。我们的模型使用一个层次结构的自我注意力机制来创建句子和文档嵌入。该架构反映了文档的层次结构，从而使我们能够获得更好的特征表示。注意力机制提供额外的信息源来指导摘要提取。新模型将摘要任务视为一个分类问题，在该问题中，模型计算各个摘要-摘要成员资格的概率。该模型的预测被分解的几个功能，如信息内容，显着性，新颖性和位置表示。该模型进行了评估，两个著名的数据集，CNN /每日邮报，DUC 2002年。实验结果表明，我们的模型优于目前的提取国家的最先进的一个相当大的保证金。
2018-05-20 cs.CL
A Hybrid Hierarchical 1D-CNN-BiLSTM Framework for Extractive Summarization of Biomedical and Clinical Text
NUCES-FAST Lahore（拉合尔国立计算机与新兴科学大学（FAST））
提出混合分层1D-CNN-BiLSTM框架，通过抽取式句子选择避免生成式幻觉，在生物医学文本摘要中优于基线，实现事实有据的可靠摘要。
2026-11-10 cs.CL
A Hierarchical Encoding-Decoding Scheme for Abstractive Multi-document Summarization
DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；National University of Singapore（新加坡国立大学）；Hupan Lab（湖畔实验室）
本文提出在编码器和解码器上施加层次结构以增强预训练语言模型处理多文档交互的能力，在10个多文档摘要基准上取得领先或具有竞争力的性能，并在Rouge-L上最高提升3分。
2023-11-01 cs.CL
Hierarchical Indexing for Retrieval-Augmented Opinion Summarization
Institute for Language, Cognition and Computation（语言、认知与计算研究所）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
提出HIRO方法，通过分层索引检索评论中的意见簇，结合抽取与LLM生成，实现更连贯、详细且准确的摘要。
2024-07-17 cs.CL
SciZoom: A Large-scale Benchmark for Hierarchical Scientific Summarization across the LLM Era
Seoul National University（首尔国立大学）；Seoul National University Hospital（首尔国立大学医院）；Seoul National University College of Medicine（首尔国立大学医学院）
针对LLM时代科学摘要的多粒度需求，构建了包含2020-2025年四大ML顶会44946篇论文的基准，提供摘要、贡献和TL;DR三层摘要，压缩比达600:1，并揭示LLM辅助写作导致短语模式剧变和修辞风格同质化。
2026-06-24 cs.CL
Leveraging Hierarchical Organization for Medical Multi-document Summarization
National Tsing Hua University（清华大学）；University of Washington（华盛顿大学）；Allen Institute for AI（人工智能研究院）
本文研究在医学多文档摘要输入中引入层次化结构，以提升模型跨文档组织和情境化信息的能力，实验证明该方法能保持事实性、覆盖度与连贯性，并提高人类对摘要的偏好。
2025-11-04 cs.AI cs.CL cs.IR
Gold Standard Online Debates Summaries and First Experiments Towards Automatic Summarization of Online Debate Data
The University of Sheffield（谢菲尔德大学）
在线文本媒体的使用正在稳步增长。每天，越来越多的新闻故事，博客文章和科学文章被添加到在线卷。这些都是免费访问，并已被广泛应用于多个研究领域，例如自动文本摘要，信息检索，信息抽取等，同时，在线辩论论坛最近变得流行，但在很大程度上还未开发。由于这个原因，没有足够的资源注释的辩论数据可用于进行研究，在这一体裁。在本文中，我们收集和注释的自动摘要任务的辩论数据。与提取黄金标准摘要生成类似，我们的数据包含值得包含到摘要中的句子。五个人类注释者执行了这项任务。基于语义相似性的注释者间一致性，Cohen的kappa为36%，Krippendorff的alpha为48%。此外，我们还实现了一个在线辩论的提取摘要系统，并讨论了自动总结在线辩论数据的任务的突出特点。
2017-08-15 cs.AI cs.CL cs.IR
Extending a Single-Document Summarizer to Multi-Document: a Hierarchical Approach
INESC-ID Lisboa（里斯本信息与通信技术研究院）；IST/ULisboa（里斯本大学高等技术学院）；School of Computer Science, CMU（卡内基梅隆大学计算机学院）；ISCTE-IUL（里斯本大学学院）
在线内容的不断增加推动了多文档摘要方法的发展。在这项工作中，我们探索直接的方法来扩展单文档摘要方法，多文档摘要。所提出的方法是基于单文档摘要的层次组合，并取得了最先进的结果。
2015-07-10 cs.CL cs.IR
Interactive Search and Exploration in Online Discussion Forums Using Multimodal Embeddings
Informatics Institute University of Amsterdam Amsterdam The Netherlands；Informatics Institute University of Amsterdam
在本文中，我们提出了一种新的交互式多模态学习系统，便于搜索和探索大型网络的社会多媒体用户。它允许分析人员识别和选择感兴趣的用户，并在交互式学习环境中找到类似的用户。我们的方法是基于新的用户，单词和概念的多模态表示，我们同时通过部署一个通用的神经嵌入模型来学习。我们显示这些表示是有用的，不仅分类用户，而且自动生成用户和社区配置文件。受传统摘要方法的启发，我们通过从所有可用的模态（即文本，图像和用户模态）中选择多样化和代表性的内容来创建配置文件。使用人工演员，它模拟用户行为的相关反馈的情况下，该方法的有用性进行评估。为了评估我们的多模态表示的质量，比较不同的嵌入策略，并确定不同模态的重要性，进行了多个实验。我们展示了所提出的方法的能力，两个不同的多媒体集合，来自暴力的在线极端主义论坛Stormfront和微博平台Twitter，这是特别有趣的，由于高语义级别的讨论，他们的功能。
2019-05-07 cs.CL cs.IR cs.SI
Abstractive Summarization Guided by Latent Hierarchical Document Structure
Institute for Language, Cognition and Computation（语言、认知与计算研究所）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
顺序抽象神经摘要器通常不使用输入文章中的底层结构或输入句子之间的依赖关系。这种结构对于整合和巩固来自文本不同部分的信息至关重要。为了解决这个问题，我们提出了一个层次感知的图神经网络（HierGNN），它通过三个主要步骤来捕获这种依赖关系：1）通过稀疏矩阵树计算学习潜在结构树来学习层次文档结构; 2）使用一种新的消息传递节点传播机制来在这个结构上传播句子信息以识别显著信息; 3）使用图级注意力来将解码器集中在显著信息上。实验证实HierGNN改进了BART等强序列模型，CNN/DM和XSum的平均ROUGE-1/2/L的裕度分别为0.55和0.75。进一步的人类评估表明，我们的模型生成的摘要比HierGNN所包含的基线更相关，冗余度更低。我们还发现HierGNN通过更多地融合多个源句子来合成摘要，而不是压缩单个源句子，并且它更有效地处理长输入。
2022-11-17 cs.CL
Indicative Summarization of Long Discussions
Leipzig University（莱比锡大学）；University of Groningen（格罗宁根大学）
本文提出无监督LLM方法，通过论点聚类、标签生成与论证框架分类构建两级目录式摘要，并经19个LLM评估和Discussion Explorer用户研究验证其导航价值。
2023-11-03 cs.CL
Neural Abstractive Summarization with Structural Attention
IIIT-Delhi（德里印度理工学院）；Carnegie Mellon University（卡内基梅隆大学）
基于RNN的编码器-解码器架构在新闻文章的抽象摘要方面取得了令人印象深刻的性能。然而，这些方法无法考虑文档的句子内的长期依赖性。这个问题在多文档摘要任务中加剧，例如在社区问答（CQA）网站（例如Yahoo！答案和Quora。这些线索包含的答案往往相互重叠或矛盾。在这项工作中，我们提出了一个分层编码器的基础上结构注意力模型，这样的句子间和文档间的依赖关系。我们设置流行的指针生成器架构和一些衍生自它的架构作为我们的基线，并表明它们无法在多文档设置中生成良好的摘要。我们进一步说明，我们提出的模型在单文档和多文档摘要设置中的基线上都取得了显着的改进-在前一种设置中，它分别在CNN和CQA数据集上击败了最佳基线1.31和7.8个ROUGE-1点;在后一种设置中，性能在CQA数据集上进一步提高了1.6个ROUGE-1点。
2020-10-10 cs.CL cs.LG
Tracing Forum Posts to MOOC Content using Topic Analysis
University of Alberta（阿尔伯塔大学）
大规模开放在线课程是开放的教育计划，通过互联网向大量人群开放。为了促进学习，MOOC讨论论坛存在，学生和教师交流与课程相关的问题，答案和想法。这篇论文的主要目的是研究使用主题分析追踪讨论论坛帖子到课程视频和阅读材料。我们利用潜狄利克雷分配（LDA）的无监督和监督的变体，从课程材料中提取主题并对论坛帖子进行分类。我们验证了我们的方法，从五个Coursera课程的帖子引导，并确定主题模型可以用来映射学生的讨论帖子回到基础课程讲座或阅读。标记的LDA优于无监督的分层狄利克雷过程LDA和基础LDA为我们的可追溯性任务。这项研究是有用的，因为它提供了一个自动化的方法，聚类学生的讨论课程材料，使教师能够快速评估学生的误解的内容，并相应地澄清材料。
2019-04-15 cs.CL cs.CY cs.IR
TANet: Thread-Aware Pretraining for Abstractive Conversational Summarization
Beihang University（北京航空航天大学）；Meituan（美团）
虽然预训练的语言模型（PLM）已经取得了巨大的成功，并成为自然语言处理的一个里程碑，抽象的会话摘要仍然是一个具有挑战性的，但研究较少的任务。困难在于两个方面。一是缺乏大规模的会话摘要数据。另一个问题是，将现有的预训练模型应用于这项任务是很棘手的，因为对话中的结构依赖及其非正式表达等，在这项工作中，我们首先基于Reddit社区中的多人讨论构建了一个名为RCS的大规模（11M）预训练数据集。然后，我们提出了TANet，一个线程感知的基于transformer的网络。与现有的将对话视为句子序列的预训练模型不同，我们认为话语之间固有的上下文依赖性在理解整个对话中起着至关重要的作用，因此提出了两种新技术来将结构信息纳入我们的模型。第一种是线索感知注意力，它是通过考虑话语内的上下文依赖性来计算的。其次，我们应用线索预测损失来预测话语之间的关系。我们在四个真实对话的数据集上评估了我们的模型，这些数据集涵盖了会议记录、客户服务记录和论坛线程的类型。实验结果表明，TANET实现了一个新的国家的最先进的自动评估和人类的判断。
2022-04-09 cs.CL
Neural Summarization by Extracting Sentences and Words
University of Edinburgh（爱丁堡大学）
传统的提取摘要方法在很大程度上依赖于人类工程特征。在这项工作中，我们提出了一个基于神经网络和连续句特征的数据驱动方法。我们开发了一个通用的框架，单文档摘要组成的分层文档编码器和基于注意力的提取器。这种架构允许我们开发不同类别的摘要模型，可以提取句子或单词。我们在包含数十万文档摘要对的大规模语料库上训练我们的模型。在两个摘要数据集上的实验结果表明，我们的模型在没有任何语言注释的情况下获得了与现有技术相当的结果。
2016-07-01 cs.CL
