KnowVis: Knowledge-Centric Visual Summarization for Video Lectures
City University of Hong Kong(香港城市大学);ETH Zürich(苏黎世联邦理工学院)
针对视频讲座线性信息传递与人类学习需构建认知网络的不匹配问题,提出KnowVis框架,生成精准清晰的视觉摘要,降低认知负荷并提升学习效果,还发布了配套教育视频数据集。
2026-09-09 cs.CL cs.CV
Live Blog Corpus for Summarization
Research Training Group AIPHES;UKP Lab Computer Science Department, Technische Universit \"a t Darmstadt www.aiphes.tu-darmstadt.de, www.ukp.tu-darmstadt.de
实时博客是一种越来越受欢迎的新闻格式,用于报道在线新闻中的突发新闻和现场事件。世界各地的在线新闻网站都在使用这种媒体,为读者提供有关事件的每分钟更新。好的摘要可以提高读者对实时博客的价值,但通常无法获得。在本文中,我们研究了一种收集语料库的自动实时博客摘要的方法。在使用著名的国家的最先进的摘要系统的实证评估,我们发现,生活博客语料库提出了新的挑战,在该领域的摘要。我们公开我们的工具来重建语料库,以鼓励研究社区和复制我们的结果。
2018-02-27 cs.CL
UniSumm and SummZoo: Unified Model and Diverse Benchmark for Few-Shot Summarization
Zhejiang University(浙江大学);Westlake University(西湖大学);Microsoft Research(微软研究院);Westlake Institute for Advanced Study(西湖高等研究院)
本文提出统一少样本摘要模型 UniSumm,通过多任务预训练与前缀微调提升跨任务泛化,并发布多样化基准 SummZoo,实验证明其显著优于强基线且接近 GPT-3.5。
2023-05-27 cs.CL
Revisiting Automatic Question Summarization Evaluation in the Biomedical Domain
Alibaba DAMO Academy(阿里巴巴达摩院);Alibaba Group(阿里巴巴集团);Tsinghua University(清华大学)
摘要自动评价指标通过提供对摘要质量的即时和公正的评估,促进了自动摘要方法的快速发展。大多数指标都是针对一般领域开发的,特别是新闻和会议记录,或其他语言生成任务。然而,这些指标被应用于评估摘要系统在不同的领域,如生物医学问题摘要。为了更好地了解常用的评估指标是否能够评估自动摘要在生物医学领域,我们进行人类的评价摘要质量从四个不同方面的生物医学问题摘要任务。基于人类的判断,我们确定不同的值得注意的功能,目前的自动度量和摘要系统以及。我们还发布了我们的人类注释的数据集,以帮助在生物医学领域的摘要评估指标的研究。
2023-03-18 cs.CL
CDEvalSumm: An Empirical Study of Cross-Dataset Evaluation for Neural Summarization Systems
Fudan University(复旦大学);Carnegie Mellon University(卡内基梅隆大学)
基于神经网络的模型增强了无监督的预训练知识,在文本摘要方面取得了令人印象深刻的性能。然而,大多数现有的评估方法仅限于域内设置,其中摘要器在相同的数据集上进行训练和评估。我们认为,这种方法可以缩小我们的理解不同的摘要系统的泛化能力。在本文中,我们对不同数据集的特征进行了深入分析,并研究了跨数据集设置下不同摘要模型的性能,其中在一个语料库上训练的摘要器将在一系列域外语料库上进行评估。通过对11个有代表性的文摘系统在不同领域的5个数据集上的综合研究,揭示了模型结构和生成方式(即抽象和抽取)对模型泛化能力的影响。此外,实验结果揭示了现有摘要器的局限性。简介和补充代码可在https://github.com/zide05/CDEvalSumm中找到。
2020-10-22 cs.CL
Dataset for Automatic Summarization of Russian News
Moscow Institute of Physics and Technology(莫斯科物理技术学院)
自动文本摘要已经在各种领域和语言中被研究。但这并不适用于俄语。为了克服这个问题,我们提出了Gazeta,第一个俄罗斯新闻摘要数据集。我们描述了这个数据集的属性和基准几个提取和抽象模型。我们证明,该数据集是一个有效的任务,为俄罗斯文本摘要的方法。此外,我们证明了预训练的mBART模型是有用的俄语文本摘要。
2021-10-05 cs.CL
Tackling Query-Focused Summarization as A Knowledge-Intensive Task: A Pilot Study
University of Amsterdam(阿姆斯特丹大学);Amazon Alexa AI(亚马逊Alexa人工智能);University of Edinburgh(爱丁堡大学)
本研究将查询聚焦摘要(QFS)作为知识密集型任务处理,无需预先提供相关文档,构建了新数据集KI-QFS,实验表明现有模型在该设置下表现显著下降,揭示了知识密集型QFS的挑战与改进空间。
2023-07-31 cs.CL cs.IR
SAMSum Corpus: A Human-annotated Dialogue Dataset for Abstractive Summarization
Samsung R&D Institute Poland(三星波兰研发中心)
本文介绍了SAMSum语料库,一个新的数据集与抽象的对话摘要。我们通过测试几个模型并将其结果与新闻文章语料库中获得的结果进行比较,来研究它对自动摘要带来的挑战。我们发现,模型生成的对话摘要比模型生成的新闻摘要获得更高的ROUGE分数-与人类评估者的判断相反。这表明抽象对话摘要的挑战性任务需要专用模型和非标准质量措施。据我们所知,我们的研究是第一次尝试引入一个高质量的聊天对话语料库,手动注释抽象的摘要,这可以被研究界用于进一步的研究。
2019-11-29 cs.CL
MiRANews: Dataset and Benchmarks for Multi-Resource-Assisted News Summarization
Heriot-Watt University(赫瑞-瓦特大学);Charles University(查理大学);Google Research(谷歌研究院)
当前单文档新闻摘要的最具挑战性的方面之一是摘要经常包含“外在幻觉”,即,源文档中不存在的事实,这些事实通常是通过世界知识推导出来的。这使得摘要系统更像是开放式的语言模型,倾向于产生错误的事实。在本文中,我们减轻了这个问题的帮助下,多个补充资源文件协助任务。我们提出了一个新的数据集MiRANews和基准现有的摘要模型。与多文档摘要不同的是,它处理来自多个源文档的多个事件,我们的目标仍然是为单个文档生成摘要。我们通过数据分析表明,这不仅仅是模型的问题:MiRANews的黄金摘要中提到的事实中,超过27%的事实比主要来源文章更好地基于辅助文件。对MiRANews上微调的预训练模型生成的摘要进行的错误分析显示,这对模型的影响更大:与仅在主文章上训练的单文档摘要模型相比,辅助摘要减少了55%的幻觉。我们的代码和数据可在https://github.com/XinnuoXu/MiRANews上获得。
2021-09-22 cs.CL
Experience and Evidence are the eyes of an excellent summarizer! Towards Knowledge Infused Multi-modal Clinical Conversation Summarization
Indian Institute of Technology, Patna(印度理工学院巴特那分校);Indian Institute of Technology, Bombay(印度理工学院孟买分校);All India Institute of Medical Sciences, Rishikesh(全印医学科学学院瑞诗凯诗分院)
本文提出多模态临床对话摘要任务及知识注入的多任务框架 MM-CliConSummation,并构建带意图、症状和摘要标注的语料库,验证视觉信息、知识注入及科室识别的作用。
2023-09-27 cs.AI cs.CL
FrameRank: A Text Processing Approach to Video Summarization
International Doctoral Innovation Center(国际博士创新中心);The University of Nottingham Ningbo China(宁波诺丁汉大学);Shenzhen University(深圳大学);The University of Nottingham(诺丁汉大学)
在过去的几十年里,视频摘要得到了广泛的研究。然而,用户生成的视频摘要很少被探索,因为缺乏大规模的视频数据集,其中人类生成的视频摘要被明确定义和注释。为此,我们提出了一个用户生成的视频摘要数据集-UGSum 52-由52个视频(207分钟)。在构建数据集时,由于用户生成的视频摘要的主观性,我们为每个视频手动注释25个摘要,总共1300个摘要。据我们所知,它是目前最大的用户生成视频摘要数据集。基于这个数据集,我们提出了FrameRank,一个无监督的视频摘要方法,采用帧到帧的水平亲和图,以确定连贯和信息帧总结视频。我们使用的Kullback-Leibler(KL)的分歧为基础的图排名的时间段,根据其帧中包含的语义信息量。我们通过将其应用于三个数据集SumMe,TVSum和UGSum 52来说明我们的方法的有效性,并显示它达到了最先进的结果。
2019-04-12 cs.CL cs.CV cs.IR
Does Pretraining for Summarization Require Knowledge Transfer?
Carnegie Mellon University(卡内基梅隆大学)
利用大量数据集的预训练技术推动了文本摘要的最新进展。虽然民间的解释表明知识转移是预训练的好处,但人们对它为什么有效,或者是什么使预训练任务或数据集合适却知之甚少。在本文中,我们挑战了知识转移的故事,表明对随机选择的字符n-gram组成的文档进行预训练,我们几乎可以匹配在真实语料库上预训练的模型的性能。这项工作有望消除上游语料库,这可能会减轻对攻击性语言,偏见和版权问题的一些担忧。为了了解使用真实数据的小剩余收益是否可以通过预训练任务的结构来解释,我们设计了几个任务,这些任务的动机是对摘要语料库进行定性研究。然而,这些任务没有带来明显的好处,留下了一个小的作用,知识转让的可能性。
2021-09-10 cs.CL cs.LG
KLearn: Background Knowledge Inference from Summarization Data
EPFL(洛桑联邦理工学院)
文本摘要的目标是将文档压缩为相关信息,同时排除接收者已知的背景信息。到目前为止,摘要研究者对相关性的关注远远超过了对背景知识的关注。相反,这项工作把背景知识放在前台。人类摘要者和注释者所做的选择包含关于其背景知识的隐含信息,基于这一认识,我们开发并比较了从摘要数据推断背景知识的技术。基于这个框架,我们定义了摘要评分函数,明确模型背景知识,并表明这些评分函数适合人类的判断显着优于基线。我们说明了我们的框架的许多潜在的应用。首先,我们提供了对人类信息重要性先验的见解。其次,我们证明了平均的背景知识的多个,潜在的偏见注释者或语料库大大提高了摘要评分性能。最后,我们讨论了我们的框架超越总结的潜在应用。
2020-10-13 cs.CL
Mutual Reinforcement of LLM Dialogue Synthesis and Summarization Capabilities for Few-Shot Dialogue Summarization
Johns Hopkins University(约翰斯·霍普金斯大学);Apple Research(苹果研究院)
提出MRDS机制,通过相互强化LLM的对话合成与摘要能力,以合成数据增强少样本训练,显著提升对话摘要性能。
2025-02-24 cs.AI cs.CL cs.LG
How Domain Terminology Affects Meeting Summarization Performance
University of Central Florida(中佛罗里达大学)
会议对现代组织来说是必不可少的。每天都有许多会议举行和记录,比以往任何时候都要多。一个会议摘要系统可以从记录中识别出突出的话语,从而自动生成会议记录。它使用户能够快速搜索和筛选大型会议集合。到目前为止,领域术语对会议摘要性能的影响仍然研究不足,尽管会议是丰富的领域知识。在本文中,我们创建了一个相当大的会议语料库领域术语的黄金标准注释,他们被称为行话术语。然后,我们分析了一个会议摘要系统的性能与行话条款。我们的研究结果表明,领域术语可以有实质性的影响摘要性能。我们公开发布所有领域术语,以推进会议摘要的研究。
2020-11-09 cs.CL
Entity-level Factual Adaptiveness of Fine-tuning based Abstractive Summarization Models
Seoul National University(首尔大学);Samsung SDS(三星SDS);ASRI(首尔国立大学先进技术与融合研究院);INMC(纳米融合技术研究院);AIIS(人工智能与信息科学研究院)
本文研究基于微调的抽象式摘要模型在参数知识与输入文档知识冲突时的事实适应性,提出可控反事实数据增强方法,在 PEGASUS 和 BART 上提升事实适应性并保持与对比学习基线相当的事实一致性。
2024-02-23 cs.AI cs.CL cs.LG
Can LMs Generalize to Future Data? An Empirical Analysis on Text Summarization
University of Macau(澳门大学);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳))
本文构建覆盖2010–2022年的TempoSum基准,实证检验摘要模型对未来数据的时间泛化,发现参数化知识显著影响未来摘要忠实性,现有增强方法效果有限。
2023-11-02 cs.CL
Error-Aware Knowledge Distillation via Targeted Revision for Customer-Service Summarization
eBay Inc.(eBay公司)
通过分析-修订-微调流程,利用开源模型提升客户服务摘要任务的性能,实现比专有模型更高效和隐私保护的摘要生成。
2026-02-26 cs.CL
Abstractive Tabular Dataset Summarization via Knowledge Base Semantic Embeddings
New Knowledge(新知识公司)
提出了一种基于知识库语义嵌入的表格数据摘要生成方法。假设数据集在标题、列和/或一些扩充元数据中包含描述性文本,则系统采用嵌入来为每个文本片段推荐主题/类型。通过利用预先指定的本体中的类型层次结构,将推荐聚合到被认为是数据集的描述性的超类型的小集合中。使用2015年2月的Wikipedia作为知识库,并使用相应的DBpedia本体作为类型,我们展示了来自多个来源的开放数据的实验结果-OpenML,CKAN和data.world-以说明该方法的有效性。
2018-04-05 cs.AI cs.CL
Query-Based Abstractive Summarization Using Neural Networks
Chalmers University of Technology(查尔姆斯理工大学)
在本文中,我们提出了一个模型,生成摘要的文本文档的查询。这称为基于查询的摘要。我们针对该任务调整现有的新闻文章摘要数据集,并使用该数据集训练指针生成器模型。通过测量与参考摘要的相似性来评价生成的摘要。我们的研究结果表明,一个神经网络摘要模型,类似于现有的神经网络模型的抽象摘要,可以构建利用查询,以产生有针对性的摘要。
2017-12-17 cs.CL
How Ready are Pre-trained Abstractive Models and LLMs for Legal Case Judgement Summarization?
IIT Kharagpur(印度理工学院卡拉格普尔分校);IISER Kolkata(印度科学教育与研究院加尔各答分院)
该研究针对法律案件判决摘要生成任务,测试多款领域专用生成式摘要模型与通用LLMs在印度法院判决数据集上的表现,发现其指标得分略高于抽取式模型但存在大量幻觉与不一致问题,指出当前这类模型尚不适合全自动部署,推荐采用人在环路方案。
2023-06-14 cs.CL cs.IR cs.LG
Sentence-wise Speech Summarization: Task, Datasets, and End-to-End Modeling with LM Knowledge Distillation
NTT Corporation(NTT公司)
本文提出逐句语音摘要任务及两个数据集,并针对端到端模型性能不足的问题,引入基于级联模型伪摘要的知识蒸馏方法,在两个数据集上有效提升了端到端模型的摘要性能。
2024-08-01 cs.CL eess.AS
SumGNN: Multi-typed Drug Interaction Prediction via Efficient Knowledge Graph Summarization
Georgia Institute of Technology(佐治亚理工学院);Harvard T.H. Chan School of Public Health(哈佛大学陈曾熙公共卫生学院);IQVIA(艾昆纬)
由于药物-药物相互作用(DDI)数据集和大型生物医学知识图谱(KG)的可用性不断增加,使用机器学习模型准确检测不良DDI成为可能。然而,如何有效地利用大而嘈杂的生物医学KG进行DDI检测在很大程度上仍然是一个悬而未决的问题。由于KG中的绝对大小和噪声量,直接将KG与其他较小但质量较高的数据(例如,实验数据)。大多数现有的方法完全忽略了幼儿园。有些人试图通过图神经网络直接将KG与其他数据集成,但成功有限。此外,大多数以前的工作集中在二元DDI预测,而多类型DDI药理作用预测是一个更有意义,但更困难的任务。为了填补空白,我们提出了一种新的方法SumGNN:知识概括图神经网络,其由能够有效地锚定在来自KG的相关子图上的子图提取模块、用于在子图内生成推理路径的基于自注意的子图概括方案以及多渠道知识和数据集成模块,该模块利用大量外部生物医学知识,DDI预测SumGNN的性能比最佳基线高出5.54%,并且在低数据关系类型中性能增益尤其显著。此外,SumGNN通过为每个预测生成的推理路径提供可解释的预测。
2021-05-06 cs.CL cs.IR cs.LG
VieSum: How Robust Are Transformer-based Models on Vietnamese Summarization?
Case Western Reserve University(凯斯西储大学);National Cancer Institute(国家癌症研究所);University of Science, Ho Chi Minh City(胡志明市科学大学);Vietnam National University, Ho Chi Minh City(胡志明市越南国家大学)
文本摘要是自然语言处理中的一项具有挑战性的任务,涉及从冗长的输入序列生成文本。虽然这一任务已经在英语中得到了广泛的研究,但对越南语文本的摘要研究非常有限。在本文中,我们研究了基于变换的编码器-解码器架构的越南语摘要摘要的鲁棒性。利用迁移学习和自监督学习,我们验证了两个越南数据集的方法的性能。
2021-10-08 cs.CL
Don't Say What You Don't Know: Improving the Consistency of Abstractive Summarization by Constraining Beam Search
Allen Institute for AI(艾伦人工智能研究所);Masakhane(马萨卡内);University of Washington(华盛顿大学);MosaicML;MIT(麻省理工学院);Northwestern University(西北大学)
本研究提出PINOCCHIO解码方法,通过约束束搜索检测并避免幻觉,将抽象式摘要的一致性平均提升约67%。
2023-11-17 cs.CL
Adapter-based Selective Knowledge Distillation for Federated Multi-domain Meeting Summarization
Research Center for Social Computing and Information Retrieval, Harbin Institute of Technology(哈尔滨工业大学社会计算与信息检索研究中心);Peng Cheng Laboratory(鹏城实验室);School of Computing, National University of Singapore(新加坡国立大学计算机学院)
针对会议摘要中数据敏感、多领域non-IID分布及通信成本高的问题,提出AdaFedSelecKD,通过双适配器与选择性知识蒸馏实现低通信、鲁棒的联邦训练。
2023-08-07 cs.CL
Unlocking Legal Knowledge: A Multilingual Dataset for Judicial Summarization in Switzerland
University of Bern(伯尔尼大学);Bern University of Applied Sciences(伯尔尼应用科学大学);Stanford University(斯坦福大学);University of Fribourg(弗里堡大学)
本文提出包含瑞士联邦最高法院2万份多语言裁决摘要的SLDS数据集,通过微调开源模型并与大型LLM对比发现,事实准确性比深度推理更能决定法律摘要的质量。
2025-09-18 cs.AI cs.CL cs.LG
Searching for Effective Neural Extractive Summarization: What Works and What's Next
Fudan University(复旦大学)
近年来,深度神经网络在文本摘要中的应用取得了显著的成功。但是,人们对\textit{why}没有明确的认识,他们表现得那么好,或者\textit{how}他们可能会得到改进。在本文中,我们试图更好地理解神经提取摘要系统如何从不同类型的模型架构,可转移知识和学习模式中受益。此外,我们发现了一种有效的方法来改善现有的框架,并实现了国家的最先进的结果CNN/DailyMail的基础上,我们的观察和分析的大幅度。希望本文的工作能为抽取式摘要的进一步研究提供参考。
2019-07-08 cs.CL
Deep Transfer Reinforcement Learning for Text Summarization
Discovery Analytics Center(探索分析中心);Virginia Tech(弗吉尼亚理工大学)
深度神经网络是数据饥渴模型,因此在尝试对小文本数据集进行训练时面临困难。迁移学习是一种潜在的解决方案,但它们在文本领域的有效性并不像在图像分析等领域那样被探索。在本文中,我们研究了文本摘要的迁移学习问题,并讨论了为什么现有的最先进的模型不能很好地推广到其他(看不见的)数据集。我们提出了一个基于自我批评策略梯度方法的强化学习框架,该框架在各种数据集上都取得了良好的泛化和最先进的结果。通过一组广泛的实验,我们还展示了我们提出的框架的能力,微调的文本摘要模型只使用几个训练样本。据我们所知,这是第一个研究文本摘要中的迁移学习的工作,并提供了一个通用的解决方案,可以很好地处理看不见的数据。
2019-01-24 cs.CL cs.LG stat.ML
A Training-Free Mixture-of-Agents Framework for Multi-Document Summarization using LLMs and Knowledge Graphs
Faculty of Artificial Intelligence and Data Science, Phenikaa University(人工智能与数据科学学院,泛尼克大学);VNPT AI, VNPT Group(VNPT AI,VNPT集团);MobiFone Research and Development Center, MobiFone Corporation(MobiFone研发与开发中心,MobiFone公司);Business AI Lab, Faculty of Data Science and Artificial Intelligence, National Economics University, College of Technology(商业人工智能实验室,数据科学与人工智能学院,国家经济大学,技术学院)
提出一种无需训练、结合大语言模型和知识图谱的混合智能体框架,通过分解摘要任务为专用智能体(抽取、知识感知抽象、迭代精炼)并利用多视角一致性机制,在英文和越南语数据集上取得领先性能。
2026-06-24 cs.AI cs.CL
How Much Annotation is Needed to Compare Summarization Models?
Northeastern University(东北大学);Pattern Data(帕特恩数据公司);Adobe Research(奥多比研究院)
本文实证研究新闻摘要模型选择所需的测试样本量,发现自动与人工比较评估在不足100个样本时即可收敛,并评估了自动指标预测人工偏好胜率的能力。
2024-02-28 cs.CL
WikiHow: A Large Scale Text Summarization Dataset
University of California, Santa Barbara(加州大学圣巴巴拉分校)
序列到序列模型最近获得了最先进的性能总结。然而,大规模的高质量数据集并不多,而且几乎所有的数据集都主要是具有特定写作风格的新闻文章。此外,涉及更深层次内容描述的抽象人类风格系统需要具有更高抽象级别的数据。在本文中,我们介绍了WikiHow,这是一个包含23万多篇文章和摘要对的数据集,这些文章和摘要对是从不同人类作者编写的在线知识库中提取和构建的。文章涵盖广泛的主题,因此代表了高度多样性的风格。我们评估了WikiHow上现有方法的性能,以提出其挑战,并设置一些基线以进一步改进它。
2018-10-18 cs.CL cs.IR cs.LG
Adaptive Beam Search to Enhance On-device Abstractive Summarization
Samsung R&D Institute Bangalore(三星班加罗尔研发研究所)
我们在智能手机上收到了一些重要的更新,比如短信、文档、语音信息等,这些更新被淹没在杂乱的内容之下。我们经常不了解关键信息,而不了解全部内容。短信通知有时可以帮助您了解消息的内容,但是,它们仅提供开始内容的预览。解决这个问题的一种方法是建立一个有效的模型,可以适应和总结来自不同来源的数据。在本文中,我们解决了这个问题,并首次提出了一种新的自适应束搜索,以提高设备上的抽象摘要的质量,可以应用于短信,语音消息,并可以扩展到文档。据我们所知,这是第一个提出的设备上抽象摘要管道,与大多数将数据发送到服务器的现有摘要系统相比,它可以适应多个数据源,解决用户的隐私问题。我们减少了30.9%,使用知识蒸馏模型的大小,并表明,该模型具有97.6%的内存占用量少提取相同或更多的关键信息相比,BERT。
2021-12-22 cs.CL
Legal Case Document Summarization: Extractive and Abstractive Methods and their Evaluation
Indian Institute of Technology Kharagpur(印度理工学院克勒格布尔分校);Indian Institute of Science Education and Research Kolkata(印度科学教育与研究所加尔各答分校)
法律判决书摘要是法律自然语言处理中的一个难题。然而,没有太多的分析存在如何不同的家庭的摘要模型(例如,提取与抽象)应用于法律案例文档时执行。这个问题特别重要,因为许多最近的基于transformer的抽象摘要模型对输入标记的数量有限制,并且已知法律文档非常长。此外,如何最好地评估法律案例文档摘要系统是一个悬而未决的问题。在本文中,我们进行了广泛的实验,几个提取和抽象的摘要方法(监督和无监督)在三个法律摘要数据集,我们已经开发。我们的分析,包括法律从业者的评价,导致一些有趣的见解,在具体的法律摘要和一般的长文件摘要。
2022-10-14 cs.CL cs.IR
Implicit Sensitive Text Summarization based on Data Conveyed by Connectives
King Saud University(沙特国王大学)
到目前为止,为了达到人类的能力,自动摘要的研究一直基于既有利又有限制的假设。这些限制包括:如何考虑和反映(在生成的摘要中)文本中传达的隐含信息,作者意图,读者意图,语境影响,一般世界知识。因此,如果我们希望机器模仿人类的能力,那么它们将需要获得同样大量的知识。隐性影响着文本的定位和论证,进而影响着文本的概括。大多数文本摘要器都是对原始数据进行压缩处理,必然会造成信息的丢失。TS只关注文本的特征,而不是作者的意图或读者为什么阅读文本。在本文中,我们解决这个问题,我们提出了一个系统,专注于获取知识是隐含的。本文重点分析了诸如:but、even、yet等议论性连接词所传达的隐含信息及其对摘要的影响。
2013-12-11 cs.CL
Performance Prediction of Data-Driven Knowledge summarization of High Entropy Alloys (HEAs) literature implementing Natural Language Processing algorithms
School of Industrial and Information Engineering, Politecnico Di Milano(米兰理工大学工业与信息工程学院);Symbiosis Institute of Technology, Symbiosis International (Deemed) University(symbiosis国际(私立)大学 symbiosis技术学院);Turabit LLC(Turabit有限责任公司);Volvo Groups(沃尔沃集团);Christian Albrechts University zu Kiel(基尔基督教-阿尔布雷希茨大学);National Taiwan University of Science and Technology(台湾科技大学)
本研究首次将五种NLP算法应用于高熵合金文献摘要,通过BLEU和ROUGE分数评估性能,发现Luhn算法准确度最高。
2023-11-06 cs.AI cs.CL cs.IR
ConTextual: Improving Clinical Text Summarization in LLMs with Context-preserving Token Filtering and Knowledge Graphs
University of Delaware(德雷塞尔大学)
本文提出ConTextual框架,通过上下文保留的令牌过滤与领域知识图谱增强临床文本摘要,在多个基准上一致优于基线,提升了语言连贯性与临床保真度。
2025-07-17 cs.AI cs.CL
How Far are We from Robust Long Abstractive Summarization?
Monash University(莫纳什大学);Zhongtukexin Co. Ltd.(中图科信有限公司);Deakin University(迪肯大学);Griffith University(格里菲斯大学)
摘要文摘近年来取得了巨大的进展。在这项工作中,我们执行细粒度的人工注释来评估长文档抽象摘要系统(即,模型和指标),目的是实施它们以生成可靠的摘要。对于长文档抽象模型,我们表明,不断争取国家的最先进的ROUGE结果可以导致我们生成更多的相关摘要,但不是事实的。对于长文档评估指标,人工评估结果显示ROUGE在评估摘要的相关性方面仍然是最好的。它还揭示了事实性度量在检测不同类型的事实错误方面的重要局限性以及BARTScore有效性背后的原因。然后,我们提出了有前途的方向,在努力发展的事实一致性指标。最后,我们发布了带注释的长文档数据集,希望它能有助于在更广泛的摘要设置中开发指标。
2022-10-30 cs.CL
Towards Human-Free Automatic Quality Evaluation of German Summarization
Technische Universität Berlin(柏林工业大学);Quality and Usability Lab(质量与可用性实验室);Primer Technologies Inc.(普里默技术公司)
从组织和财务的角度来看,使用人类评估大型摘要语料库已经被证明是昂贵的。因此,许多自动评估指标已被开发,以衡量摘要质量的快速和可重复的方式。然而,大多数指标仍然依赖于人类,需要由语言专家生成的黄金标准摘要。由于BLANC不需要黄金摘要,据说可以使用任何潜在的语言模型,我们认为它的应用程序在德国的摘要评估。这项工作演示了如何将BLANC指标调整为英语以外的语言。我们比较BLANC分数与人群和专家评级,以及常用的自动指标的德国摘要数据集。我们的研究结果表明,在德国的BLANC是特别好的评估信息。
2021-05-13 cs.CL
Applying Natural Language Generation to Indicative Summarization
创建指示性摘要以帮助读者决定是否阅读特定文档的任务是一项艰巨的任务。本文从生成的角度对指示性摘要任务进行了研究,首先通过已发表的指南和语料库分析来分析其所需的内容。我们将展示如何将这些摘要分解为一组文档功能,以及如何实现内容规划器使用时事文档功能来创建指示性的基于多文档查询的摘要。
2001-07-16 cs.CL
StreamHover: Livestream Transcript Summarization and Annotation
University of Central Florida(中佛罗里达大学);Adobe Research(Adobe研究院)
随着直播的爆炸式增长,迫切需要新的摘要技术,使我们能够创建流媒体内容的预览并利用这些丰富的知识。然而,由于口语的非正式性质,这个问题是不平凡的。此外,转录本摘要所需的注释数据集一直短缺。在本文中,我们介绍了StreamHover,一个用于注释和总结直播成绩单的框架。我们的基准数据集总共有超过500个小时的视频注释,包括提取和抽象摘要,比目前现有的注释语料库要大得多。我们探索了一种神经提取摘要模型,该模型利用矢量量化的变分自编码器来学习口语的潜在矢量表示,并从成绩单中识别突出的话语以形成摘要。我们表明,我们的模型更好地推广,并提高了强基线的性能。这项研究的结果为未来的研究提供了一个途径,以改善摘要解决方案,以有效地浏览直播。
2021-09-11 cs.CL
How Private are Language Models in Abstractive Summarization?
School of Computer Science, University of Sheffield(计算机科学学院,谢菲尔德大学)
本研究全面评估了语言模型在医疗和法律摘要中的隐私风险,发现模型常泄露个人信息,与人类专家摘要相比隐私保护差距显著。
2025-05-27 cs.CL
How "Multi" is Multi-Document Summarization?
Bar Ilan University(巴伊兰大学)
多文档摘要(MDS)的任务旨在模型,给定多个文档作为输入,能够生成一个摘要,结合分散的信息,最初分布在这些文档。因此,预计MDS数据集中的参考摘要以及系统摘要都将确实基于这种分散的信息。在本文中,我们主张量化和评估这种期望。为此,我们提出了一个自动化的措施来评估的程度摘要是“分散”,在这个意义上的源文件的数量需要覆盖其内容。我们应用我们的措施来实证分析几个流行的MDS数据集,关于他们的参考摘要,以及国家的最先进的系统的输出。我们的研究结果表明,某些MDS数据集几乎不需要组合来自多个文档的信息,其中单个文档通常涵盖完整的摘要内容。总的来说,我们提倡使用我们的指标来评估和提高摘要数据集需要组合多文档信息的程度,以及类似的摘要模型实际上如何应对这一挑战。我们的代码可以在https://github.com/ariecattan/multi_mds上找到。
2022-10-23 cs.CL
Language Model as an Annotator: Exploring DialoGPT for Dialogue Summarization
Harbin Institute of Technology(哈尔滨工业大学);Peng Cheng Laboratory(鹏城实验室)
当前的对话摘要系统通常用多个一般语义特征(例如,关键字和主题),以获得更强大的对话建模功能。然而,这些功能是通过开放域工具包获得的,这些工具包与对话无关或严重依赖于人类注释。在本文中,我们展示了如何DialoGPT,一个预先训练的会话响应生成模型,可以开发为一个无监督的对话注释器,它利用DialoGPT中编码的对话背景知识。我们应用DialoGPT来标记两个对话摘要数据集SAMSum和AMI上的三种类型的特征,并使用预训练和非预训练模型作为我们的摘要。实验结果表明,我们提出的方法可以在两个数据集上获得显着的改善,并在SAMSum数据集上实现了新的最先进的性能。
2021-05-28 cs.CL
A Closer Look at Data Bias in Neural Extractive Summarization Models
Fudan University(复旦大学)
在本文中,我们评估了摘要数据集的现状,并探讨了数据集的不同因素如何影响神经提取摘要模型的泛化行为。具体来说,我们首先提出了数据集的几个属性,这对摘要模型的泛化很重要。然后,我们建立了驻留在数据集和模型设计的先验之间的联系,分析数据集的不同属性如何影响模型的结构设计和训练方法的选择。最后,以一个典型的数据集为例,在上述分析的基础上,我们重新思考了模型设计的过程。我们证明,当我们对数据集的特征有了深刻的理解时,一个简单的方法可以为现有的最先进的模型带来显着的改进。
2019-09-30 cs.CL
Dissecting Generation Modes for Abstractive Summarization Models via Ablation and Attribution
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
尽管神经抽象摘要模型很突出,但我们对它们如何形成摘要以及如何理解它们的决策来自何处知之甚少。我们提出了一个两步的方法来解释摘要模型的决定。我们首先分析模型的行为,通过烧蚀完整的模型来将每个解码器决策分类为几种生成模式之一:粗略地说,模型的行为像一个语言模型,它严重依赖于输入,还是介于两者之间?在隔离了依赖于输入的决策之后,我们探索使用几种不同的归因方法来解释这些决策。我们比较这些技术的基础上,他们的能力,选择内容和重建模型的预测令牌从输入的扰动,从而揭示是否突出显示的属性是真正重要的生成下一个令牌。虽然这种机制可以广泛使用,甚至超出总结,但我们特别展示了它识别总结模型记忆的短语并确定这种记忆在训练管道中发生的位置的能力,以及研究复杂的生成现象,如基于实例的句子融合。
2021-06-03 cs.CL
An Automated Length-Aware Quality Metric for Summarization
Sonnetiq
本文提出了一种名为NOIR的自动化质量评估指标,通过结合语义保留和摘要长度压缩来衡量召回率与压缩率的权衡,实验证明其与人类感知高度相关,且无需依赖人工参考摘要。
2025-07-10 cs.CL
WikiLingua: A New Benchmark Dataset for Cross-Lingual Abstractive Summarization
Columbia University(哥伦比亚大学);Cornell University(康奈尔大学)
我们介绍WikiLingua,一个大规模的,多语言数据集的跨语言抽象摘要系统的评估。我们从WikiHow中提取了18种语言的文章和摘要对,WikiHow是一个高质量的协作资源,由人类作者撰写的各种主题的操作指南。我们通过对齐用于描述文章中每个操作步骤的图像来创建跨语言的黄金标准文章摘要对齐。作为进一步研究的一组基线,我们评估了现有的跨语言抽象摘要方法在我们的数据集上的性能。我们进一步提出了一种直接跨语言摘要的方法(即,而不需要在推理时进行翻译),这是通过利用合成数据和神经机器翻译作为预训练步骤实现的。我们的方法显着优于基线方法,同时在推理过程中更具成本效益。
2020-10-07 cs.CL
Benchmarking Answer Verification Methods for Question Answering-Based Summarization Evaluation Metrics
University of Pennsylvania(宾夕法尼亚大学)
基于问答的摘要评估指标必须自动确定QA模型的预测是否正确,这一任务称为答案验证。在这项工作中,我们基准测试的词汇答案验证方法已被用于当前基于QA的指标,以及两个更复杂的文本比较方法,BERTScore和LERC。我们发现,LERC优于其他方法在某些设置,而在其他统计上无法区分词汇重叠。然而,我们的实验表明,改进的验证性能并不一定转化为基于QA的整体度量质量:在某些情况下,使用更差的验证方法-或者根本不使用-与使用最佳验证方法具有相当的性能,我们将其归因于数据集的属性。
2022-04-21 cs.CL
Challenges in Domain-Specific Abstractive Summarization and How to Overcome them
Technical University of Munich(慕尼黑工业大学);University of Twente(特温特大学)
本文指出了大型语言模型在特定领域抽象式文本摘要中的三大局限性(二次复杂度、模型幻觉和领域偏移),并评估了现有最先进技术以解决这些研究空白。
2023-07-03 cs.AI cs.CL
Tell me what I need to know: Exploring LLM-based (Personalized) Abstractive Multi-Source Meeting Summarization
University of Göttingen(哥廷根大学);Mercedes-Benz AG(梅赛德斯-奔驰公司)
提出三阶段 LLM 多源会议摘要框架,融合补充材料并按参与者特征个性化,显著提升摘要相关性与信息量,同时评估多模型性能—成本权衡。
2024-10-18 cs.AI cs.CL
Domain Specific Fine-tuning of Denoising Sequence-to-Sequence Models for Natural Language Summarization
Deloitte(德勤);University of Toronto(多伦多大学);Western University(韦仕敦大学);PwC Canada(普华永道加拿大);Vector Institute(向量研究所)
摘要的长形式的文本数据是一个问题,特别是在知识经济的工作,如医药和金融,需要不断保持了解一个复杂的和不断发展的知识体系。因此,使用自然语言处理(NLP)技术自动隔离和汇总关键内容,在这些行业中具有节省大量时间的潜力。我们探索了最先进的NLP模型(BART)的应用,并探索了使用数据增强和各种微调策略将其调整到最佳性能的策略。我们表明,当对特定领域的数据进行测试时,我们的端到端微调方法可以使ROUGE-1比开箱即用的预训练BART摘要器提高5-6\%,并使我们的端到端管道可以在金融,医疗或其他用户指定的领域实现这些结果。
2022-04-06 cs.AI cs.CL
Low-Resource Court Judgment Summarization for Common Law Systems
The Hong Kong Polytechnic University(香港理工大学);University of Technology Sydney(悉尼科技大学)
针对普通法系跨多司法管辖区判决摘要生成标注数据稀缺的问题,本研究提出首个多司法管辖区普通法判决摘要数据集CLSum,首次将大语言模型应用于该任务的数据增强、生成与评估,验证了相关方法的有效性。
2024-03-07 cs.AI cs.CL
MovieSum: An Abstractive Summarization Dataset for Movie Screenplays
Institute for Language, Cognition and Computation(语言、认知与计算研究所)
针对电影剧本摘要研究不足的问题,本文提出包含2200部格式化剧本及对应维基百科摘要的MovieSum数据集,其规模为现有同类数据集两倍,还附IMDb元数据,并给出了大语言模型的基准测试结果。
2024-08-12 cs.AI cs.CL