Flexible and Adaptable Summarization via Expertise Separation
KAUST(阿卜杜拉国王科技大学);MBZUAI(Mohamed bin Zayed 人工智能大学);Ant Group(蚂蚁集团);Shandong University(山东大学);Peking University(北京大学);Renmin University of China(中国人民大学);University of Notre Dame(圣母大学)
本文提出专家混合摘要架构MoeSumm,通过主专家与副专家的分工及最大间隔损失,在参数高效前提下同时实现多领域摘要灵活性与域外少样本/零样本适应性,并在11个数据集上验证其优于基线和大语言模型。
2024-06-08 cs.CL
References Matter: Investigating the Impact of Reference Set Variation on Summarization Evaluation
MaiNLP, LMU Munich(LMU慕尼黑人工智能实验室);Munich Center for Machine Learning (MCML), Germany(慕尼黑机器学习中心);Department of Linguistics, University of Pittsburgh, USA(匹兹堡大学语言学系);NLP Group, Department of Information and Computing Sciences, Utrecht University, Netherlands(乌得勒支大学信息与计算科学系自然语言处理组)
本研究系统调查了参考集变化对摘要评估指标的影响,发现ROUGE等流行指标存在显著不稳定性,且与LLM输出的人类判断相关性微弱,建议将参考集变化纳入评估以增强一致性。
2025-09-16 cs.CL
Little Giants: Exploring the Potential of Small LLMs as Evaluation Metrics in Summarization in the Eval4NLP 2023 Shared Task
Dataminr Inc.(Dataminr公司)
本文研究在 Eval4NLP 2023 共享任务中,通过组合标准提示、标注者指令提示和思维链提示,并融合零样本与单样本学习,证明小型开源模型 orca_mini_v3_7B 在摘要与机器翻译质量评估中具有竞争力。
2023-11-01 cs.CL
Revisiting the Gold Standard: Grounding Summarization Evaluation with Robust Human Evaluation
Yale University(耶鲁大学);Salesforce AI(Salesforce人工智能研究院);Carnegie Mellon University(卡内基梅隆大学)
本文提出ACU细粒度人类评估协议并构建含22,000条标注的RoSE基准,系统比较评估协议与50种自动指标,揭示LLM可能过拟合非稳健人类评估。
2023-06-06 cs.CL
Towards Multi-dimensional Evaluation of LLM Summarization across Domains and Languages
Korea Advanced Institute of Science and Technology(韩国先进科学研究院);AWS AI Labs(AWS人工智能实验室)
针对现有摘要评估基准缺领域标准、偏英语、标注难的问题,研究提出多领域多语言的MSumBench评估基准,采用多智能体辩论优化标注,评估8个模型后发现跨领域语言的性能差异,并揭示大模型自评摘要的系统性偏差。
2025-05-31 cs.AI cs.CL
DIAMOND: An LLM-Driven Agent for Context-Aware Baseball Highlight Summarization
Seoul National University(首尔国立大学);CJ Corporation(CJ公司)
本文提出DIAMOND智能体,将棒球统计特征与大语言模型叙事推理相结合进行精彩片段摘要,在韩国棒球联赛中F1分数从42.9%提升至84.8%,优于商业和统计基线。
2025-06-03 cs.AI cs.CL cs.CV
Gavel: Agent Meets Checklist for Evaluating LLMs on Long-Context Legal Summarization
Georgia Institute of Technology(佐治亚理工学院)
提出Gavel框架,通过参考评估和免参考智能体评估12个前沿LLM在多文档法律摘要中的表现,发现模型易遗漏关键信息而非幻觉,且性能随案件长度增加而下降。
2026-08-27 cs.CL
IDEAL: Leveraging Infinite and Dynamic Characterizations of Large Language Models for Query-focused Summarization
Zhejiang University(浙江大学);Tencent, Wechat(腾讯,微信)
本文针对查询导向摘要问题,提出两种核心方法:高效细粒度查询-LLM对齐和长文档摘要,通过Query-aware HyperExpert和Query-focused Infini-attention模块实现,实验验证了方法的有效性和通用性。
2026-06-04 cs.AI cs.CL
A Survey for Biomedical Text Summarization: From Pre-trained to Large Language Models
University of Manchester(曼彻斯特大学);The Chinese University of Hong Kong(香港中文大学)
本文综述生物医学文本摘要从PLMs到LLMs的发展,系统梳理数据集、方法、评估指标、挑战与未来方向,并开放配套资源。
2023-07-13 cs.CL
Summarization Bias: The Directional Collapse of Objective Projection into Told-Mode Labels in Large Language Models --- A Conceptual Framework and Registered Test Protocol
本文提出摘要偏差概念,指大语言模型倾向将叙事意义简化为摘要标签而非重建推理结构,并假设其在生成与评估两种机制中朝讲述模式方向失效,预注册了测试协议。
2026-09-18 cs.CL
Advantages of Domain Knowledge Injection for Legal Document Summarization: A Case Study on Summarizing Indian Court Judgments in English and Hindi
Department of Mathematics(数学系);Indian Institute of Technology Kharagpur(印度理工学院Khargpur分校);Department of Computer Science and Engineering(计算机科学与工程系)
本研究通过注入领域知识提升印度法律文件摘要能力,生成英文和印地语摘要,验证方法有效性。
2026-02-07 cs.AI cs.CL
BooookScore: A systematic exploration of book-length summarization in the era of LLMs
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Allen Institute for AI(艾伦人工智能研究所);Princeton University(普林斯顿大学)
针对书籍长度摘要评估难题,研究两种LLM摘要工作流的连贯性,提出自动指标BooookScore,系统分析关键参数影响并对比不同模型表现。
2024-04-13 cs.AI cs.CL cs.LG
Trustworthy Summarization via Uncertainty Quantification and Risk Awareness in Large Language Models
Carnegie Mellon University(卡内基梅隆大学);University of Southern California(南加州大学)
针对高风险场景自动摘要可靠性问题,提出融合不确定性量化与风险感知的大语言模型摘要框架,通过贝叶斯推理建模不确定性、联合优化熵正则化与风险损失及风险评分调控,显著提升高风险场景下摘要的鲁棒性与可信度。
2025-09-23 cs.AI cs.CL stat.ML
Behavioral Analysis of Information Salience in Large Language Models
Marburg University(马尔堡大学);University of Mannheim(曼海姆大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本研究通过长度控制的摘要行为探针和讨论中问题追踪,揭示LLMs具有分层且跨模型一致的显著性概念,但该概念无法内省且与人类感知弱相关。
2025-05-27 cs.CL
Exploring Iterative Controllable Summarization with Large Language Models
GSAI, POSTECH(POSTECH 人工智能研究所);CSE, POSTECH(POSTECH 计算科学与工程系);ETH AI Center(苏黎世联邦理工学院人工智能中心);AI future lab, KT(KT 人工智能未来实验室);LILT(LILT 研究所)
本文提出GTE框架,通过迭代优化提升大语言模型在可控摘要任务中的性能,有效解决属性控制难题。
2026-01-07 cs.AI cs.CL
Analyzing LLM Behavior in Dialogue Summarization: Unveiling Circumstantial Hallucination Trends
Northeastern University(东北大学);Abridge AI
该研究基准测试了GPT-4和Alpaca-13B在对话摘要中的忠实度,提出“情境推论”错误分类法,并引入两种基于提示的细粒度错误检测方法,优于现有指标。
2024-06-05 cs.AI cs.CL
Reasoning or Not? A Comprehensive Evaluation of Reasoning LLMs for Dialogue Summarization
Faculty of Applied Sciences, Macao Polytechnic University(澳门理工大学应用科学学院);Computer Science and Communication Research Center, School of Technology and Management, Polytechnic of Leiria(莱里亚理工学院技术与管理学院计算机科学与通信研究中心);Institute of International Language Services Studies, Macau Millennium College(澳门 millennium 学院国际语言服务研究学院);CISUC, Department of Informatics Engineering, University of Coimbra(科英布拉大学信息工程系 CISUC)
本文首次系统评估推理型与非推理型大语言模型在通用、角色导向和查询导向对话摘要中的表现,发现显式逐步推理并不持续提升摘要质量,反而常导致冗长和事实不一致,并揭示了推理失效的场景与原因。
2025-07-02 cs.AI cs.CL
Characterizing Multimodal Long-form Summarization: A Case Study on Financial Reports
Carnegie Mellon University(卡内基梅隆大学);JPMorgan AI Research(摩根大通人工智能研究院);The University of Chicago(芝加哥大学)
本研究以财务报告摘要为案例,提出多模态长文本摘要特征刻画框架,分析多款LLM的表现,发现Claude 2处理长多模态输入能力较强,还揭示了位置偏差、数值幻觉等问题并尝试优化。
2024-08-15 cs.AI cs.CL cs.LG
The Effect of Document Summarization on LLM-Based Relevance Judgments
The University of Queensland(昆士兰大学);University of Udine(乌迪内大学)
本文研究了文档摘要对基于大语言模型的相关性判断可靠性及IR评估的影响,发现摘要判断在稳定性上与完整文档判断相当,但引入了系统性的标签偏见。
2025-12-05 cs.AI cs.CL cs.IR
From Single to Multi: How LLMs Hallucinate in Multi-Document Summarization
University of California Irvine(加州大学伊文斯分校);Megagon Labs(Megagon实验室)
本研究探讨了LLMs在多文档摘要(MDS)任务中的幻觉表现,创建了两个新基准,发现生成摘要平均75%内容为幻觉,且事后基线方法仅能中等程度缓解幻觉。
2025-04-26 cs.CL
AI and Generative AI for Research Discovery and Summarization
Harvard University(哈佛大学)
本文回顾了AI与生成式AI工具在文献发现与总结领域的应用,探讨了其在代码生成、文献搜索、要点提取及溯因推理模拟方面的优势,并展望了未来发展方向。
2024-03-26 cs.AI cs.CL cs.LG
A Statistical Analysis of Summarization Evaluation Metrics using Resampling Methods
University of Pennsylvania(宾夕法尼亚大学)
摘要评价指标的质量通过计算其分数与大量摘要中的人工注释之间的相关性来量化。目前,还不清楚这些相关性估计的精确程度,也不清楚两个指标相关性之间的差异是否反映了真正的差异,或者这仅仅是偶然的。在这项工作中,我们解决这两个问题,提出的方法计算置信区间和运行假设检验的相关性使用两个restriking方法,自举和置换。在评估所提出的方法是最适合通过两个模拟实验总结后,我们分析了将这些方法应用于三组人类注释的几个不同的自动评估指标的结果。我们发现,置信区间是相当广泛的,表现出高度的不确定性,在自动度量的可靠性。此外,虽然许多指标未能显示ROUGE的统计改进,最近的两个作品,QAEval和BERTScore,在一些评估设置。
2021-07-26 cs.CL
Gene Set Summarization using Large Language Models
Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室);Robert Bosch LLC(罗伯特·博世有限责任公司)
本文提出SPINDOCTOR方法,利用GPT模型对基因集进行功能摘要,发现其虽能生成合理术语但缺乏统计可靠性和本体推理能力,尚不能替代标准富集分析。
2024-07-04 cs.AI cs.CL q-bio.GN
TimelineReasoner: Advancing Timeline Summarization with Large Reasoning Models
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学北京校区人工智能学院)
本文提出TimelineReasoner框架,通过大推理模型的主动推理能力,改进时间线摘要任务,提升准确性、覆盖性和连贯性。
2026-04-03 cs.AI cs.CL
Using Statistical and Semantic Models for Multi-Document Summarization
LNM Institute of Information Technology(LNM信息技术学院)
我们报告了一系列的实验,不同的语义模型上的各种统计模型提取文本摘要。虽然统计模型可以更好地捕获文本周围的单词共现和分布,但它们无法检测句子/单词作为一个整体的上下文和意义。语义模型帮助我们更好地洞察句子的上下文。我们展示了如何调整不同模型之间的权重可以帮助我们在各种基准测试中取得显着的结果。在给定的语料库上,进一步学习语义模型中使用的预训练向量可以在性能上提供额外的尖峰。在不同的统计模型之间使用加权技术也进一步改进了我们的结果。对于统计模型,我们使用了TF/IDF,TextRANK,Jaccard/Cosine相似性。对于语义模型,我们使用了基于WordNet的模型,并提出了两个模型的基础上手套向量和Facebook的Infersent。我们在DUC 2004数据集上测试了我们的方法,生成了100字的摘要。我们已经讨论了系统,算法,分析,并提出和测试可能的改进。使用ROUGE评分与其他汇总器进行比较。
2018-05-17 cs.CL
An Evaluation of Large Language Models on Text Summarization Tasks Using Prompt Engineering Techniques
Information Systems Department, Faculty of Computers and Information, Assiut University(计算机与信息学院信息系统系,阿西乌特大学);Information Systems Department, Faculty of Computers and Artificial Intelligence, Beni-Suef University(计算机与人工智能学院信息系统系,班伊-苏夫大学)
本文系统评估了六个大语言模型在新闻、对话和科学文献四类数据集上的文本摘要性能,并引入基于句子的分块策略以提升长文档摘要效果,揭示了模型参数、数据集属性与提示设计对性能的显著影响。
2025-07-07 cs.AI cs.CL
A Comprehensive Survey on Legal Summarization: Challenges and Future Directions
TU Dortmund University(多特蒙德工业大学);Research Center Trustworthy Data Science and Security(可信数据科学与安全研究中心);Ruhr University Bochum(波鸿鲁尔大学)
本文系统综述了法律领域的自动摘要技术、数据集、模型与评估方法,全面审查了120多篇NLP现代transformer时代的论文,填补了现有系统性综述的空白,并探讨了未来研究的趋势、挑战与机遇。
2025-01-29 cs.CL
Statistical Automatic Summarization in Organic Chemistry
Université de Montréal(蒙特利尔大学);Laboratoire Informatique d’Avignon(阿维尼翁计算机实验室)
本文提出了一种面向数值的自动文摘算法,并将其应用于有机化学科学文献的自动文摘。我们提出了它的实现命名为Yachs(又一个化学总结器),它结合了一个特定的文档预处理与句子评分方法依赖于文档的统计特性。我们发现,Yachs在有机化学文章的语料库中取得了最好的结果。
2009-05-07 cs.CL cs.IR
Evaluating the Efficacy of Summarization Evaluation across Languages
The University of Melbourne(墨尔本大学)
虽然为英语开发的自动摘要评估方法通常应用于其他语言,但这是首次尝试系统地量化其泛语言功效。我们采用八种不同语言的摘要语料库,并手动注释生成的摘要,以获得焦点(精确度)和覆盖率(召回率)。在此基础上,我们评估了19个摘要评估指标,发现在BERTScore中使用多语言BERT在所有语言中表现良好,高于英语。
2021-06-02 cs.CL
An Empirical Study of Many-to-Many Summarization with Large Language Models
Pattern Recognition Center, WeChat AI, Tencent Inc, China(腾讯人工智能研究中心);Fudan Unversity(复旦大学);Waseda University(早稻田大学);Beijing Jiaotong University(北京交通大学);Zhejiang University(浙江大学)
本研究针对大语言模型的多对多摘要生成(M2MS)能力开展系统实证,构建跨5领域6语言的4.78万样本数据集,测试18个大语言模型的零样本与指令微调效果,发现指令微调可显著提升开源模型性能但可能加剧事实性错误。
2025-05-19 cs.AI cs.CL
AugSumm: towards generalizable speech summarization using synthetic labels from large language model
Carnegie Mellon University(卡内基梅隆大学);Mohamed bin Zayed University of AI(穆罕默德·本·扎耶德人工智能大学)
本文提出 AugSumm,用 ChatGPT 生成高质量合成语音摘要并用于训练与评估,在 How2 上通过预训练加微调使两类测试集 ROUGE-L 均提升 1 点。
2024-01-10 cs.AI cs.CL
FABLES: Evaluating faithfulness and content selection in book-length summarization
UMass Amherst(马萨诸塞大学阿默斯特分校);Adobe(奥多比公司);Allen Institute for AI(艾伦人工智能研究所);Princeton(普林斯顿大学)
本文通过构建FABLES数据集首次对书籍长度摘要进行大规模人工评估,发现Claude-3-Opus忠实性最优,并揭示现有LLM评分器无法有效检测不忠实声明及内容选择中的系统性偏差。
2024-09-30 cs.AI cs.CL
A Systematic Evaluation of Positional Bias in Multi-Video Summarization with MLLMs
School of Artificial Intelligence, Jilin University(吉林大学人工智能学院);Engineering Research Center of Knowledge-Driven Human-Machine Intelligence, Jilin University(知识驱动人机智能工程研究中心);International Center of Future Science, Jilin University(未来科学国际中心)
本研究系统评估了多模态大语言模型在多视频摘要任务中的位置偏差,通过构建基准和三种互补指标揭示了领域与模型依赖的偏差特性,并分析了提示级缓解方法。
2026-06-03 cs.CL
Closing the gap between open-source and commercial large language models for medical evidence summarization
Columbia University(哥伦比亚大学);National Library of Medicine(美国国家医学图书馆);National Institutes of Health(美国国立卫生研究院);Weill Cornell Medicine(威尔康奈尔医学院);The University of Texas at Austin(德克萨斯大学奥斯汀分校);Icahn School of Medicine at Mount Sinai(西奈山伊坎医学院)
本研究通过微调PRIMERA、LongT5和Llama-2三种开源LLMs,在MedReview数据集上显著提升医学证据摘要性能,缩小了与商用模型的差距,并为领域特定任务的模型选择提供依据。
2024-07-25 cs.AI cs.CL
Systematic Exploration of Dialogue Summarization Approaches for Reproducibility, Comparative Assessment, and Methodological Innovations for Advancing Natural Language Processing in Abstractive Summarization
SRM Institute of Science and Technology(SRM科学技术学院);SRM University, AP(SRM大学(安得拉邦))
本文系统复现并比较了基于AMI数据集的HMNet和多种PGN对话摘要模型,通过人工评估分析其摘要质量与信息量,揭示了原始研究与复现结果之间的差异,为抽象式摘要的可复现性研究提供方法学参考。
2024-10-21 cs.AI cs.CL
On (Commercial) Benefits of Automatic Text Summarization Systems in the News Domain: A Case of Media Monitoring and Media Response Analysis
pressrelations GmbH(pressrelations有限公司);Heinrich Heine University of Düsseldorf(海因里希·海涅杜塞尔多夫大学)
在这项工作中,我们提出了一个系统的研究结果,以调查(商业)的好处,自动文本摘要系统在现实世界中的情况。更具体地说,我们在媒体监控和媒体响应分析的背景下定义了一个用例,并声称即使使用简单的基于查询的提取方法也可以大大节省员工的处理时间,而不会显着降低他们的工作质量。
2017-01-03 cs.CL
Clinfo.ai: An Open-Source Retrieval-Augmented Large Language Model System for Answering Medical Questions using Scientific Literature
Stanford University(斯坦福大学);Mayo Clinic(梅奥诊所);Stanford Healthcare(斯坦福医疗中心)
针对医学文献快速增长且缺乏高质量评估数据集的问题,提出了开源检索增强LLM系统Clinfo.ai,并构建了PubMedRS-200数据集与基准任务来评估其及其他OpenQA系统在回答临床问题上的表现。
2023-10-24 cs.AI cs.CL cs.IR
Enhancing Annotated Bibliography Generation with LLM Ensembles
Universitat Politècnica de Catalunya (UPC)(加泰罗尼亚理工大学)
本文提出利用多角色LLM集成方法,通过可控生成、评估、摘要及冗余去除提升注释书目质量,实验显示注释质量提升38%、冗余减少51%。
2024-12-30 cs.AI cs.CL cs.LG
Corpus-based Web Document Summarization using Statistical and Linguistic Approach
Khulna University of Engineering & Technology(库尔纳工程技术大学)
单文档摘要通过抽取文档中具有代表性的句子生成摘要。在本文中,我们提出了一种新的技术,从一个单一的Web文档,使用统计和语言分析的参考语料库和Web文档中的文本领域特定的文本摘要。该方法利用句子权重(SW)和主题权重(SuW)的组合函数来确定句子的排序,其中SW是句子中的术语数(t_n)和单词数(w_n)以及语料库中的术语频率(t_f)的函数,SuW是主题中的术语数(t_n)和单词数(w_n)以及语料库中的术语频率(t_f)的函数。30%的排序句子被认为是Web文档的摘要。我们使用我们的技术生成了三个Web文档摘要,并将它们与16个不同人类受试者手动开发的摘要进行了比较。结果表明,68%的摘要,我们的方法产生的满足人工摘要。
2013-04-09 cs.CL cs.IR
Clinical Text Summarization with Syntax-Based Negation and Semantic Concept Identification
在临床信息爆炸的时代,一个好的临床文本摘要策略有助于改善临床工作流程。理想的摘要策略可以在信息量大但组织性差、结构不良的临床叙述性文本中保留重要信息。我们利用计算语言学的知识和人类专家策划的生物医学知识库,而不是使用难以解释和解释的纯统计学习方法,来实现可解释和有意义的临床文本摘要。我们的研究目标是使用具有语义信息的生物医学本体,并利用语言的层次结构,即组成树,来识别正确的临床概念和相应的否定信息,这对于从叙述性文本中总结临床概念至关重要。我们取得了临床上可接受的性能,无论是否定检测和概念识别,并与常见的否定模式的临床概念可以识别和否定所提出的方法。
2020-02-29 cs.CL
An Empirical Survey on Long Document Summarization: Datasets, Models and Metrics
Monash University(莫纳什大学);Deakin University(迪肯大学);Griffith University(格里菲斯大学)
学术文章和商业报告等长文档一直是详细说明需要额外关注的重要问题和复杂主题的标准格式。一个自动摘要系统,可以有效地压缩长文档成简短的文本,封装最重要的信息,因此将是重要的,在帮助读者的理解。最近,随着神经架构的出现,已经做出了重大的研究努力,以推进自动文本摘要系统,并出现了许多研究的挑战,这些系统扩展到长文档域。在这项调查中,我们提供了一个全面的概述长文档摘要的研究和系统的评估,其研究设置的三个主要组成部分:基准数据集,摘要模型和评估指标。对于每一个组成部分,我们组织的文献范围内的长文件摘要,并进行实证分析,以拓宽目前的研究进展的角度。实证分析包括对基准数据集内在特征的研究、对文摘模型的多维分析和对文摘评价指标的回顾。根据总体调查结果,我们最后提出了这个快速发展领域未来探索的可能方向。
2022-07-03 cs.CL
A Survey on Dialogue Summarization: Recent Advances and New Frontiers
Harbin Institute of Technology(哈尔滨工业大学)
对话摘要旨在将原始对话压缩成包含显著信息的较短版本,这是减少对话数据过载的重要方法。近年来,随着对话系统和自然语言生成技术的发展,这一领域的研究出现了新的进展。然而,仍然缺乏对这一任务的全面调查。为此,我们迈出了第一步,并提出了一个彻底的审查这一研究领域仔细和广泛。具体来说,我们根据每个领域的特点,系统地整理了当前的作品,涵盖了会议,聊天,电子邮件线程,客户服务和医疗对话。此外,我们还提供了公开可用的研究数据集的概述,并在统一的指标下组织了两个排行榜。在此基础上,本文还讨论了未来的发展方向,包括忠实性、多模态、多领域和多语种的对话摘要,并给出了自己的想法。我们希望,这第一次调查的对话摘要可以提供一个快速的访问和一个整体的图片,这一任务,并激励未来的研究。
2022-04-28 cs.CL
LIA-RAG: a system based on graphs and divergence of probabilities applied to Speech-To-Text Summarization
LIA / UAPV(阿维尼翁大学计算机实验室/阿维尼翁大学)
本文提出了一种基于概率和图形统计差异的语音文本自动摘要算法。输入是带有噪声的语音对话的文本,输出是紧凑的文本摘要。我们在CCCS Multiling 2015法语语料库的试点任务上的结果非常令人鼓舞
2016-01-26 cs.CL cs.IR
Survey of Query-based Text Summarization
针对基于查询的文本摘要领域现有研究缺乏系统梳理的问题,本综述总结了该领域及相关通用文本摘要的代表性研究,并提出分类体系与相关分析。
2024-10-06 cs.CL cs.IR
Klexikon: A German Dataset for Joint Summarization and Simplification
Institute of Computer Science, Heidelberg University(海德堡大学计算机科学研究所)
传统上,文本简化被视为单语翻译任务,其中源文本和其简化对应物之间的句子被对齐以进行训练。然而,特别是对于较长的输入文档,摘要文本(或完全删除不相关的内容)在简化过程中起着重要作用,这在现有的数据集中目前没有反映出来。与此同时,非英语语言的资源普遍稀缺,无法培训新的解决方案。为了解决这个问题,我们提出了一个系统,可以共同总结和简化长源文件的核心要求。我们进一步描述了创建一个新的数据集的联合文本简化和总结的基础上,德国的维基百科和德国儿童的词典“Klexikon”,包括近2900个文件。我们发布了一个文档对齐的版本,特别强调了摘要方面,并提供了统计证据,表明此资源也非常适合简化。代码和数据可以在Github上找到:https://github.com/dennlinger/klexikon
2022-07-28 cs.CL
PEGASUS: Pre-training with Extracted Gap-sentences for Abstractive Summarization
Imperial College London(伦敦帝国学院);Google Research(谷歌研究院)
最近的工作预训练Transformers与大型文本语料库上的自我监督的目标已经显示出巨大的成功时,微调下游NLP任务,包括文本摘要。然而,为抽象文本摘要量身定制的预训练目标尚未被探索。此外,缺乏对不同领域的系统评价。在这项工作中,我们提出了一个新的自监督目标,在大量文本语料库上预训练基于transformer的大型编码器-解码器模型。在PEGASUS中,重要的句子从输入文档中删除/屏蔽,并从剩余的句子中一起生成一个输出序列,类似于提取摘要。我们在12个下游摘要任务上评估了我们最好的PEGASUS模型,这些任务包括新闻、科学、故事、说明、电子邮件、专利和立法法案。实验表明,它实现了最先进的性能上的所有12个下游数据集测量的ROUGE分数。我们的模型在低资源摘要上也表现出惊人的性能,超过了之前在6个数据集上的最新结果,只有1000个例子。最后,我们使用人工评估验证了我们的结果,并表明我们的模型摘要在多个数据集上实现了人类性能。
2020-07-10 cs.CL
How to Evaluate a Summarizer: Study Design and Statistical Analysis for Manual Linguistic Quality Evaluation
Heidelberg University(海德堡大学)
人工评估是判断自动文本摘要进展的关键。然而,我们进行了一项调查,最近的摘要系统的论文,揭示了如何进行这种评估研究的协议。我们对摘要的语言质量(连贯性和重复性)的两个方面进行了两个评价实验,比较了Likert类型和等级注释,并表明最佳评价方法的选择可以从一个方面到另一个方面而变化。在我们的调查中,我们还发现,研究参数,如注释者的总数和注释者的注释项目的分布往往没有完全报告,随后的统计分析忽略了分组因素所产生的一个注释判断多个摘要。使用我们的评估实验,我们表明,注释器的总数可以有很大的影响,学习的力量,目前的统计分析方法可以膨胀I型出错率高达8倍。此外,我们强调,为了系统比较的目的,目前的做法,每个摘要引起多个判断,导致不太强大和可靠的注释给定一个固定的研究预算。
2021-01-27 cs.CL
Multi-document Summarization via Deep Learning Techniques: A Survey
The University of Adelaide(阿德莱德大学);Macquarie University(麦考瑞大学)
多文档摘要(MDS)是一种有效的信息聚合工具,它从一组主题相关的文档中生成信息丰富、简洁的摘要。我们的调查是第一次,系统地概述了最近基于深度学习的MDS模型。我们提出了一种新的分类法来总结神经网络的设计策略,并进行了全面的总结,国家的最先进的。我们突出了各种目标函数之间的差异,在现有的文献中很少讨论。最后,我们提出了几个未来的方向,有关这个新的和令人兴奋的领域。
2021-12-09 cs.CL cs.LG
QAPyramid: Fine-grained Evaluation of Content Selection for Text Summarization
UNC Chapel Hill(北卡罗来纳大学教堂山分校);Bar-Ilan University(巴伊兰大学)
针对Pyramid评估协议子单元定义和粒度缺乏系统性的问题,提出QAPyramid,利用QA-SRL框架将参考摘要分解为细粒度QA对,实现更系统、细粒度的内容选择评估,并保持高标注者间一致性。
2025-10-07 cs.AI cs.CL
Concept Pointer Network for Abstractive Summarization
Beijing Institute of Technology(北京理工大学);Beijing Engineering Research Center of High Volume Language Information Processing and Cloud Computing Applications(海量语言信息处理与云计算应用北京市工程研究中心)
一个高质量的摘要不仅应该复制突出的源文本作为摘要,而且还应该倾向于生成新的概念词来表达具体的细节。受流行的指针生成器序列到序列模型的启发,本文提出了一个概念指针网络,以改善抽象摘要的这些方面。该网络利用基于知识的、上下文感知的概念化来导出一组扩展的候选概念。然后,该模型使用概念集和原始源文本指向最合适的选择。这种联合方法生成具有更高级别语义概念的抽象摘要。训练模型也以适应不同数据的方式进行了优化,这是基于一种新的方法,由参考摘要和测试集引导的远程监督学习。总的来说,所提出的方法提供了统计上的显着改进,在几个国家的最先进的模型上的DUC-2004和Gigaword数据集。对模型抽象能力的人工评估也支持在此框架内生成的摘要的质量。
2019-10-18 cs.CL
Fact-Controlled Diagnosis of Hallucinations in Medical Text Summarization
AmazonUSA(亚马逊公司)
本文针对医疗对话摘要中的幻觉问题,构建了事实控制与自然两类数据集,开发了基于事实计数且具可解释性的LLM检测器,有效泛化至真实临床幻觉检测。
2025-05-31 cs.CL
Multilingual Sentiment Aware Text Summarization A Reinforcement Learning Approach for Consistency Maintenance
Instituto Politécnico Nacional (IPN), Centro de Investigación en Computación (CIC)(国立理工学院(IPN),计算研究中心(CIC))
研究RLHF摘要中的情感漂移现象,提出基于策略归因框架的情感感知KL正则化方法,在保持摘要质量的同时缓解情感中性化。
2026-06-08 cs.CL
Belief Propagation for Maximum Coverage on Weighted Bipartite Graph and Application to Text Summarization
Ibaraki University(茨城大学)
本文从最大覆盖问题的角度研究文本摘要。在图论中,文本摘要的任务被看作是二分图上的最大覆盖问题。近年来,利用统计力学的思想,提出了基于置信传播的无权图最大覆盖算法。我们将其推广到加权图的文本摘要。最后,我们将我们的算法应用于加权双正则随机图的最大覆盖性能验证。我们还将其应用于表示开放文本数据集上真实文档的二分图,并检验了文本摘要的性能。实验结果表明,该算法在某些文本摘要环境下具有比贪婪型算法更好的性能。
2020-03-26 cs.CL cs.IR cs.LG
Automatic Text Document Summarization using Semantic-based Analysis
Jawaharlal Nehru University(贾瓦哈拉尔·尼赫鲁大学)
自从网络出现以来,关于文的数据量已经增加了数百万倍。近年来产生的Web数据超过了存储多年的数据。一种重要的数据格式是文本。为了回答用户在互联网上的查询,并克服信息过载的问题,一个可能的解决方案是文本文档摘要。这不仅减少了查询访问时间,而且还根据特定用户的要求优化了文档结果。文本摘要可分为摘要式和抽取式两类。大部分工作都是在提取摘要的方向上完成的。摘要提取结果是原始文档的子集,其目标是更多的内容覆盖和减少冗余。我们的工作基于提取方法。在第一种方法中,我们使用一些统计特征和基于语义的特征。将情感作为一个特征是从情感扮演重要角色的观点中缓存的想法。它有效地传递了一个信息。因此,它可以发挥重要作用,在文本文档摘要。
2018-11-15 cs.CL cs.IR