Unsupervised Extractive Summarization with Heterogeneous Graph Embeddings for Chinese Document
Tencent(腾讯)
在无监督提取摘要的场景中,学习高质量的句子表示对于从输入文档中选择突出句子至关重要。以往的研究多集中于采用统计方法或预训练语言模型(PLMs)来提取句子嵌入,而忽略了词语和句子之间的异质交互类型所固有的丰富信息。在本文中,我们首次提出了一种无监督的提取摘要方法与异构图嵌入(HGE)的中文文档。构建了一个异构文本图,通过结合图的结构信息来捕获不同粒度的交互。此外,我们提出的图是通用和灵活的,其中可以很容易地集成额外的节点,如关键字。实验结果表明,我们的方法始终优于强基线在三个摘要数据集。
2022-11-09 cs.CL
MaskEval: Weighted MLM-Based Evaluation for Text Summarization and Simplification
MILA(蒙特利尔学习算法研究所);McGill University(麦吉尔大学);Inria(法国国家信息与自动化研究所);META AI;Sorbonne Université(索邦大学)
在文本摘要和简化中,系统输出必须沿着多个维度进行评估,例如相关性,事实一致性,流畅性和语法性,并且广泛的可能输出可能是高质量的。这些特性使得开发一个适应性强、无参考的评价指标既必要又具有挑战性。我们引入MaskEval,文本摘要和简化的无参考度量,通过对候选文本和源文本的串联执行掩码语言建模(MLM)来操作。它具有类似注意力的加权机制,以调节每个MLM步骤的相对重要性,这至关重要,使其能够适应评估不同的质量维度。我们证明了其有效性的英语摘要和简化与人类判断的相关性,并探讨了这两个任务之间的迁移情况。
2022-10-13 cs.CL
PromptSum: Parameter-Efficient Controllable Abstractive Summarization
Nanyang Technological University(南洋理工大学);Salesforce AI(赛富时人工智能研究院)
PromptSum 结合提示微调、多任务目标和离散实体提示,在参数高效、数据高效和可控性条件下实现强抽象式摘要性能。
2023-08-06 cs.CL
Summary-Oriented Vision Modeling for Multimodal Abstractive Summarization
Beijing Jiaotong University(北京交通大学);Tencent Inc(腾讯公司)
针对多模态生成式摘要中现有方法从摘要视角利用视觉特征不足的问题,提出结合两项辅助任务优化模型,在44种语言多资源场景下达到最优性能,并将发布MM-Sum数据集。
2023-05-04 cs.CL cs.CV
Domain Adaptation with Pre-trained Transformers for Query Focused Abstractive Text Summarization
Dialpad Canada Inc.(Dialpad加拿大公司);Information Retrieval & Knowledge Management Research Lab, York University(约克大学信息检索与知识管理研究实验室);School of Information Technology, York University(约克大学信息技术学院)
以查询为中心的文本摘要(QFTS)任务旨在构建基于给定查询生成文本文档摘要的系统。解决此任务的一个关键挑战是缺乏用于训练摘要模型的大型标记数据。在本文中,我们通过探索一系列领域自适应技术来应对这一挑战。鉴于最近成功的预训练的Transformer模型在广泛的自然语言处理任务,我们利用这样的模型生成抽象摘要的QFTS任务的单文档和多文档的情况。对于领域自适应,我们使用预先训练的基于transformer的摘要模型应用各种技术,包括迁移学习,弱监督学习和远程监督。在六个数据集上进行的大量实验表明,我们提出的方法在为QFTS任务生成抽象摘要方面非常有效,同时在一组自动和人工评估指标的多个数据集中设置了一个新的最先进的结果。
2021-12-22 cs.AI cs.CL cs.LG
TWEETSUMM -- A Dialog Summarization Dataset for Customer Service
IBM Research AI(IBM研究院AI)
在典型的客户服务聊天场景中,客户联系支持中心寻求帮助或提出投诉,人工代理试图解决问题。在大多数情况下,在谈话结束时,要求代理写一个简短的摘要,强调问题和建议的解决方案,通常是为了其他代理的利益,可能必须处理相同的客户或问题。本文的目标是推进这一任务的自动化。我们介绍了第一个大规模,高质量,客户关怀对话摘要数据集,接近6500人注释的摘要。这些数据基于真实世界的客户支持对话,包括提取和抽象摘要。我们还介绍了一个新的无监督,提取摘要方法特定的对话。
2021-11-23 cs.CL
Unsupervised Abstractive Dialogue Summarization for Tete-a-Tetes
ASAPP Inc.(ASAPP公司);Duke University(杜克大学);Google Research(谷歌研究院)
高质量的对话摘要配对数据的生产成本很高,并且对领域敏感,这使得抽象的对话摘要成为一项具有挑战性的任务。在这项工作中,我们提出了第一个无监督的抽象对话摘要模型,为tete-a-tetes(SuTaT)。与标准文本摘要不同,对话摘要方法应该考虑多说话者的情况,其中说话者具有不同的角色,目标和语言风格。在一个tite-a-tete,如客户代理对话,SuTaT的目的是总结每个扬声器通过建模的客户话语和代理话语分别保留其相关性。SuTaT由一个条件生成模块和两个无监督摘要模块组成。条件生成模块包含两个编码器和两个解码器,在一个变分自编码器框架中,捕获两个潜在空间之间的依赖关系。使用相同的编码器和解码器,两个无监督的摘要模块配备了自注意力机制生成摘要,而不使用任何注释。实验结果表明,SuTaT是优越的无监督的对话摘要的自动和人类的评价,并能够对话分类和单轮会话生成。
2020-09-15 cs.CL cs.LG stat.ML
RefSum: Refactoring Neural Summarization
Carnegie Mellon University(卡内基梅隆大学)
虽然最近的一些作品表现出潜在的互补性之间的不同国家的最先进的系统,很少有作品试图研究这个问题,在文本摘要。其他领域的研究人员通常会参考重新排序或堆叠的技术来解决这个问题。在这项工作中,我们强调了以前的方法,这促使我们提出了一个新的框架重构,提供了一个统一的视图的文本摘要和摘要组合的几个限制。在实验中,我们进行了全面的评估,涉及22个基础系统,四个数据集,和三个不同的应用场景。除了在CNN/DailyMail数据集(46.18 ROUGE-1)上获得的最新结果外,我们还详细说明了我们提出的方法如何解决传统方法的局限性,以及重构模型的有效性为性能改进提供了见解。我们的系统可以直接使用其他研究人员作为一个现成的工具,以实现进一步的性能改进。我们开源了所有的代码,并提供了一个方便的界面来使用它:https://github.com/yixinL7/Refactoring-Summarization。我们还在http://explainaboard.nlpedia.ai/leaderboard/task-summ/index.php上提供了这项工作的演示。
2021-04-15 cs.CL
Faithful to the Document or to the World? Mitigating Hallucinations via Entity-linked Knowledge in Abstractive Summarization
Mila(米拉研究所);McGill University(麦吉尔大学);Google Research(谷歌研究院)
尽管最近在抽象摘要方面取得了进展,但当前的摘要系统仍然遭受内容幻觉,其中模型生成与源文档无关或矛盾的文本。然而,先前的工作一直是基于这样的假设,即任何没有明确出现在源中的生成事实都是不受欢迎的幻觉。已经提出了通过最终提高对源文档的“忠诚度”来解决这种情况的方法,但实际上,黄金参考目标中有很大一部分实体并不直接位于源中。在这项工作中,我们表明,这些实体不是畸变,而是需要利用外部世界的知识来推断推理路径的实体在源。我们表明,通过利用外部的知识库,我们可以提高摘要的忠实性,而不是简单地使他们更提取,此外,我们表明,从源链接的外部知识库可以受益于生成的摘要的真实性。
2022-04-28 cs.CL
Meta-Transfer Learning for Low-Resource Abstractive Summarization
National Chiao Tung University(台湾交通大学)
神经抽象摘要已在许多文献中得到研究,并在大型语料库的帮助下取得了巨大成功。然而,当遇到新的任务,一个可能并不总是受益于迁移学习由于域转移问题,过拟合可能会发生没有足够的标记的例子。此外,抽象摘要的注释是昂贵的,这通常需要领域知识来确保地面真实质量。因此,越来越多的人呼吁低资源抽象摘要,其目的是利用过去的经验,以提高目标语料库的有限标记的例子的性能。在本文中,我们建议利用两个知识丰富的资源来解决这个问题,即大型预训练模型和各种现有语料库。前者可以提供处理摘要任务的基本能力,后者可以帮助发现共同的句法或语义信息,以提高概括能力。我们在不同写作风格和形式的摘要语料库上进行了大量的实验。结果表明,我们的方法实现了国家的最先进的6个语料库在低资源的情况下,只有0.7%的可训练参数相比,以前的工作。
2021-05-31 cs.CL cs.LG
Prompt-based Pseudo-labeling Strategy for Sample-Efficient Semi-Supervised Extractive Summarization
David R. Cheriton School of Computer Science(大卫·R·切里顿计算机科学学院);University of Waterloo(滑铁卢大学);ServiceNow Research(ServiceNow研究院);University of British Columbia(不列颠哥伦比亚大学)
针对抽取式摘要中分类器置信度难以评估伪标签质量的问题,提出结合LLM的提示式伪标签与重标注策略,在多个数据集上提升ROUGE及L-Eval表现。
2024-07-02 cs.AI cs.CL
Understanding Points of Correspondence between Sentences for Abstractive Summarization
University of Central Florida(中佛罗里达大学);Adobe Research(奥多比研究院)
融合包含不同内容的句子是一种非凡的人类能力,有助于创建信息丰富和简洁的摘要。对于人类来说,这样一个简单的任务对现代抽象摘要器来说仍然是一个挑战,大大限制了它们在现实世界中的适用性。在本文中,我们提出了一个调查融合的句子从一个文件中引入的概念,对应点,这是衔接手段,将任何两个句子连接在一起,成为一个连贯的文本。语篇衔接理论对对应点的类型进行了划分,包括代词和名词性指称、重复及其他。我们创建了一个数据集,其中包含文档、源语句和融合语句,以及语句之间对应点的人工注释。我们的数据集弥合了共指消解和摘要之间的差距。它是公开共享的,作为未来工作的基础,以衡量句子融合系统的成功。(https://github.com/ucfnlp/points-of-correspondence)
2020-06-10 cs.CL
Interpretable Multi-Headed Attention for Abstractive Summarization at Controllable Lengths
The Ohio State University(俄亥俄州立大学)
摘要长度可控的摘要摘要是自然语言处理中一个具有挑战性的课题。对于有限的训练数据可用的领域或摘要长度事先未知的场景,这甚至更具挑战性。与此同时,当涉及到信任机器生成的摘要时,解释摘要是如何以人类可理解的术语构建的可能至关重要。我们提出了多级摘要器(MLS),一种有监督的方法来构建一个文本文档的抽象摘要在可控的长度。我们的方法的关键使能器是一个可解释的多头注意力机制,它使用一个时间步独立的语义内核阵列来计算输入文档的注意力分布。每个内核都优化了人类可解释的语法或语义属性。在英语语言中的两个低资源数据集上进行的详尽实验表明,MLS在METEOR评分中优于强基线高达14.70%。人类对摘要的评价也表明,它们在不同的长度预算下捕捉到了文档的关键概念。
2020-11-27 cs.CL
DialogSum: A Real-Life Scenario Dialogue Summarization Dataset
University of Edinburgh(爱丁堡大学);Jilin University(吉林大学);Zhejiang University(浙江大学);Westlake University(西湖大学);Westlake Institute for Advanced Study(西湖高等研究院)
大规模数据集的提出促进了新闻摘要深度神经模型的研究。深度学习也可能对口语对话摘要有用,这可以使一系列现实生活场景受益,包括客户服务管理和药物跟踪。为此,我们提出了DialogSum,一个大规模的标记对话摘要数据集。我们使用最先进的神经摘要器对DialogSum进行实证分析。实验结果表明,口语词汇、特殊的语篇结构、共指和省略、语用和社会常识等都是对话摘要的难点,需要特定的表示学习技术来解决。
2021-06-16 cs.AI cs.CL
Redundancy Aware Multi-Reference Based Gainwise Evaluation of Extractive Summarization
Technical University Dortmund(多特蒙德工业大学);Big Data Intelligence (BDI) Lab(大数据智能实验室);Auburn University(奥本大学)
针对ROUGE指标缺乏语义和排序感知且不支持多参考评估的问题,本文提出冗余感知的Sem-nCG指标,在单参考和多参考场景下均与人类判断表现出更强的相关性。
2024-07-27 cs.CL
Multi-Stage Pre-training Enhanced by ChatGPT for Multi-Scenario Multi-Domain Dialogue Summarization
Beihang University(北京航空航天大学);Institute of Automation, CAS(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Zhongke Fanyu Technology Co., Ltd(中科凡语科技有限公司)
本研究提出一种多阶段预训练模型,结合ChatGPT标注数据,专用于多场景多领域对话摘要,在多个数据集上显著超越现有最先进模型。
2023-10-16 cs.CL
Taxonomy of Abstractive Dialogue Summarization: Scenarios, Approaches and Future Directions
Shanghai Jiao Tong University(上海交通大学);Meituan(美团);University of Texas at Arlington(德克萨斯大学阿灵顿分校)
本文系统综述了抽象式对话摘要的研究,按开放域与任务导向分类场景,从注入对话特征、设计辅助训练任务和使用额外数据三方面梳理技术,并总结数据集、评估指标及未来方向。
2023-08-06 cs.CL
Towards a Robust Retrieval-Based Summarization System
North Carolina State University(北卡罗来纳州立大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Northwestern University(西北大学)
本文提出LogicSumm评估框架和SummRAG系统,通过构建训练对话并微调模型,系统性地提升大语言模型在基于检索增强生成的摘要任务中的鲁棒性与摘要质量。
2024-03-29 cs.AI cs.CL cs.IR
Reasoning or Not? A Comprehensive Evaluation of Reasoning LLMs for Dialogue Summarization
Faculty of Applied Sciences, Macao Polytechnic University(澳门理工大学应用科学学院);Computer Science and Communication Research Center, School of Technology and Management, Polytechnic of Leiria(莱里亚理工学院技术与管理学院计算机科学与通信研究中心);Institute of International Language Services Studies, Macau Millennium College(澳门 millennium 学院国际语言服务研究学院);CISUC, Department of Informatics Engineering, University of Coimbra(科英布拉大学信息工程系 CISUC)
本文首次系统评估推理型与非推理型大语言模型在通用、角色导向和查询导向对话摘要中的表现,发现显式逐步推理并不持续提升摘要质量,反而常导致冗长和事实不一致,并揭示了推理失效的场景与原因。
2025-07-02 cs.AI cs.CL
Fine-grained and Explainable Factuality Evaluation for Multimodal Summarization
本文提出两种细粒度且可解释的评估框架,用于评估多模态摘要模型的事实性,适用于不同应用场景,并通过实验验证了其有效性。
2025-11-27 cs.CL
OpenAsp: A Benchmark for Multi-document Open Aspect-based Summarization
Bar-Ilan University(巴伊兰大学);One AI(One AI公司);Amazon(亚马逊)
本文提出多文档开放方面级摘要基准 OpenAsp,利用低成本标注协议从通用多文档摘要数据集派生数据,并证明该真实设定对现有摘要模型和 LLM 均具挑战。
2023-12-07 cs.CL
Supervising the Centroid Baseline for Extractive Multi-Document Summarization
Priberam Labs(Priberam实验室);Faculdade de Engenharia da Universidade do Porto(波尔图大学工程学院)
本文通过引入束搜索句子选择和质心估计注意力模型,改进了抽取式多文档摘要的质心基线方法,并在多个数据集及多语言场景中验证了效果提升。
2023-11-29 cs.CL
Evaluation of Summarization Systems across Gender, Age, and Race
University of Amsterdam(阿姆斯特丹大学);University of Copenhagen(哥本哈根大学)
摘要系统最终由人类注释者和评分者进行评估。通常,注释者和评分者并不反映最终用户的人口统计数据,而是通过学生群体或具有倾斜人口统计数据的众包平台招募的。对于两种不同的评估方案-评估黄金总结和系统输出评级-我们表明,总结评估是敏感的保护属性。这可能会严重影响系统的开发和评估,导致我们构建的模型只适合某些群体,而不是其他群体。
2021-10-08 cs.CL
Similar Data Points Identification with LLM: A Human-in-the-loop Strategy Using Summarization and Hidden State Insights
Ohio University(俄亥俄大学);Brown University(布朗大学);Rutgers University(罗格斯大学)
本文提出一种人在回路策略,通过LLM摘要与隐藏状态提取两步法识别表格和图像等非自由文本数据中的相似数据点,并在多个数据集上验证其有效性,支持非技术专家快速识别特定场景下的相似数据点。
2024-09-27 cs.AI cs.CL
A Mixed-Language Multi-Document News Summarization Dataset and a Graphs-Based Extract-Generate Model
Faculty of Information Engineering and Automation, Kunming University of Science and Technology(昆明理工大学信息工程与自动化学院);Yunnan Key Laboratory of Artificial Intelligence, Kunming University of Science and Technology(昆明理工大学云南省人工智能重点实验室)
针对混合语言多文档新闻摘要研究缺乏数据集的问题,本文构建了包含四种语言和10,992个文档摘要对的MLMD-news数据集,并提出基于图的抽取-生成模型进行基准测试,以推动该领域研究。
2024-10-13 cs.CL
Lessons from the Field: An Adaptable Lifecycle Approach to Applied Dialogue Summarization
Capital One
本文提出了一种适用于应用对话摘要的可适应生命周期方法,通过行业案例研究探讨了在动态需求下构建可靠摘要系统的挑战与解决方案。
2026-01-13 cs.AI cs.CL
HowSumm: A Multi-Document Summarization Dataset Derived from WikiHow Articles
IBM Research - AI(IBM人工智能研究院)
我们提出了HowSumm,这是一个用于以查询为中心的多文档摘要(qMDS)任务的新型大规模数据集,其目标是从一组源生成可操作指令的用例。此用例与现有多文档摘要(MDS)数据集中涵盖的用例不同,适用于教育和工业场景。我们采用自动方法,并利用现有人工qMDS数据集的统计数据,从wikiHow网站文章及其引用的来源创建HowSumm。我们描述了数据集的创建,并讨论了它与其他摘要语料库的独特功能。对数据集的提取和抽象摘要模型的自动和人工评估表明,还有改进的余地。
2021-10-08 cs.CL
UniSumEval: Towards Unified, Fine-Grained, Multi-Dimensional Summarization Evaluation for LLMs
Korea Advanced Institute of Science and Technology(韩国科学技术院);AWS AI Labs(亚马逊云科技人工智能实验室)
本文提出UniSumEval基准,通过AI辅助构建细粒度、多维标注并扩展输入场景,系统评估九种最新LLM的摘要能力及SOTA自动评估器。
2024-10-01 cs.AI cs.CL
A Large-Scale Multi-Dimensional Empirical Study of LLMs for Conversation Summarization
CCSE, Beihang University(北京航空航天大学CCSE);MAIS, CASIA(中国科学院自动化研究所MAIS);Fanyu AI Laboratory(帆禹AI实验室)
提出OmniCSEval基准,包含1800个跨六场景的对话,评估28个LLM在对话摘要中的完整性、简洁性和忠实性,揭示推理能力与模型规模的影响。
2026-08-04 cs.CL
Low-Resource Dialogue Summarization with Domain-Agnostic Multi-Source Pretraining
Fudan University(复旦大学)
随着日常生活中对话数据量的迅速增加,对对话摘要的需求也越来越大。不幸的是,由于带有注释摘要的对话数据的不足,训练大型摘要模型通常是不可行的。大多数现有的低资源对话摘要工作直接预训练其他领域的模型,例如,新闻领域,但他们往往忽视了对话和常规文章之间的巨大差异。为了弥合域外预训练和域内微调之间的差距,在这项工作中,我们提出了一个多源预训练范式,以更好地利用外部汇总数据。具体来说,我们利用大规模的域内非摘要数据分别预训练对话编码器和摘要解码器。然后,使用对抗性评论器在域外摘要数据上对组合的编码器-解码器模型进行预训练,旨在促进领域不可知的摘要。在两个公开数据集上的实验结果表明,该方法在训练数据有限的情况下,具有较好的性能,并且在不同的对话场景中具有较好的泛化能力.
2021-09-11 cs.CL
GPT2MVS: Generative Pre-trained Transformer-2 for Multi-modal Video Summarization
University of Amsterdam(阿姆斯特丹大学);BBC Research and Development(BBC研发部)
传统的视频摘要方法生成固定的视频表示,而不管用户的兴趣。因此,这样的方法限制了用户在内容搜索和探索场景中的期望。多模态视频摘要是用来解决这个问题的方法之一。当使用多模态视频摘要来帮助视频探索时,基于文本的查询被认为是视频摘要生成的主要驱动因素之一,因为它是用户定义的。因此,对基于文本的查询和视频进行有效的编码对于多模态视频摘要的任务都是重要的。在这项工作中,提出了一种新的方法,使用专门的注意力网络和上下文的单词表示来解决这个任务。该模型包括一个上下文视频摘要控制器,多模态注意力机制,一个交互式注意力网络,和一个视频摘要生成器。通过对现有多模态视频摘要基准的评价,实验结果表明,与现有方法相比,该模型的准确率提高了+5.88%,F1分数提高了+4.06%。
2021-04-26 cs.AI cs.CL cs.CV
Paired by the Teacher: Turning Unpaired Data into High-Fidelity Pairs for Low-Resource Text Generation
Center for Language and Speech Processing, Johns Hopkins University(语言与语音处理中心,约翰霍普金斯大学)
本文提出两阶段师生框架 PbT,利用教师 LLM 将非配对样本压缩为 IR,并训练学生重建输入以生成高保真配对数据,在多个低资源 NLG 任务上显著优于直接合成与无监督基线。
2025-09-29 cs.AI cs.CL cs.LG
DialogSum Challenge: Results of the Dialogue Summarization Shared Task
Westlake University(西湖大学);Westlake Institute for Advanced Study(西湖高等研究院);University of Michigan(密歇根大学)
我们报告了DialogSum Challenge的结果,这是在INLG 2022上总结现实生活场景对话的共享任务。四个小组参与了这个共享任务,三个小组提交了他们的系统报告,探索不同的方法来提高对话摘要的性能。虽然在自动评估指标(如Rouge评分)方面,基线模型有了很大的改进,但我们发现模型生成的输出与人工注释的摘要之间存在明显的差距。这些发现表明了对话摘要的困难,并建议需要更细粒度的评估指标。
2022-09-03 cs.CL
A Hierarchical Network for Abstractive Meeting Summarization with Cross-Domain Pretraining
Microsoft Cognitive Services Research Group(微软认知服务研究组)
随着大量的自动会议记录的出现,会议摘要越来越受到与会者和其他各方的关注。传统的总结会议的方法依赖于复杂的多步管道,这使得联合优化变得棘手。与此同时,还有一些用于文本摘要和对话系统的深度神经模型。然而,会议记录的语义结构和风格与文章和对话有很大的不同。在本文中,我们提出了一种新的抽象摘要网络,适应会议场景。我们设计了一个层次结构,以适应长的会议成绩单和角色向量来描述扬声器之间的差异。此外,由于会议摘要数据的不足,我们在大规模新闻摘要数据上对模型进行了预训练。实证结果表明,我们的模型优于以前的方法在自动度量和人类的评价。例如,在ICSI数据集上,ROUGE-1评分从34.66%增加到46.28%。
2020-09-20 cs.CL
Extractive Multi-document Summarization Using Multilayer Networks
Institute of Mathematics and Computer Science, University of São Paulo(圣保罗大学数学与计算机科学研究所)
每天都产生大量的文本信息。为了组织和理解这样大的数据集,近年来,摘要技术已经变得流行。这些技术旨在从这样的大数据中找到相关,简洁和非冗余的内容。虽然网络方法已被采用,在某些情况下,多文档摘要任务中的多层网络模型的系统评估的文本模型已被限制在少数研究。在这里,我们评估的性能,基于多层的方法来选择最相关的句子的背景下,提取多文档摘要(MDS)的任务。在所采用的模型中,节点代表句子和边缘创建的基础上,句子之间的共享单词的数量。与以往的多文档摘要研究不同,我们区分了连接不同文档句子的边(层间)和连接同一文档句子的边(层内)。作为一个原则的证明,我们的研究结果表明,这种歧视层内和层间的多层表示是能够提高质量的生成摘要。这条信息可用于改进当前的统计方法和相关的文本模型。
2017-11-07 cs.CL
PrExMe! Large Scale Prompt Exploration of Open Source LLMs for Machine Translation and Summarization Evaluation
University of Mannheim(曼海姆大学);University of Technology Nuremberg (UTN)(纽伦堡工业大学(UTN))
本文提出PrExMe,通过超720个提示模板和660万次评估,全面探索开源LLM在机器翻译与摘要评估中的表现,揭示了提示策略的稳定性与局限性。
2024-11-17 cs.CL
GlobeSumm: A Challenging Benchmark Towards Unifying Multi-lingual, Cross-lingual and Multi-document News Summarization
Harbin Institute of Technology(哈尔滨工业大学);The University of Hong Kong(香港大学);Peng Cheng Laboratory(鹏城实验室);Central South University(中南大学);Du Xiaoman Financial(度小满金融)
针对现有新闻摘要研究脱离真实多语言多源场景的问题,本文提出统一的MCMS任务,构建了以事件为中心的GLOBESUMM基准数据集,提出协议引导提示标注方法,验证了数据集质量并明确了任务挑战,助力多语言研究与LLM评估。
2024-10-05 cs.AI cs.CL
On the Trade-off between Redundancy and Local Coherence in Summarization
Institute for Language, Cognition and Computation(语言、认知与计算研究所);School of Informatics, University of Edinburgh(爱丁堡大学信息学院);Cohere(Cohere(人工智能公司))
本文研究抽取式摘要中冗余性与局部连贯性之间的权衡,提出两种基于心理语言学理论的无监督系统,在控制信息量、冗余性和连贯性的同时,证明优化连贯性可在保持信息量相当的情况下更好地组织摘要内容。
2024-06-06 cs.CL
Calibrating Model-Based Evaluation Metrics for Summarization
Duke University(杜克大学)
本文提出无需参考摘要、人工标注或昂贵模型指标的通用框架,通过组等距回归分箱(GIRB)校准预测结果,提升摘要质量评估的可靠性。
2026-04-19 cs.CL
Utilização de Grafos e Matriz de Similaridade na Sumarização Automática de Documentos Baseada em Extração de Frases
Universidade Federal do Ceará(塞阿拉联邦大学)
互联网增加了可用的信息量。然而,阅读和理解这些信息是昂贵的任务。在这种情况下,自然语言处理(NLP)应用程序支持非常重要的解决方案,突出显示自动文本摘要(ATS),它从一个或多个源文本中生成摘要。然而,自动总结一个或多个文本是一项复杂的任务,因为分析和生成这种总结固有的困难。这篇硕士论文描述了生成摘要的主要技术和方法(NLP和统计学)。我们还提出了一些基于图和相似度矩阵的算法来衡量判断的相关性,并通过提取句子来生成摘要。我们使用多种语言(英语,法语和西班牙语),CSTNews(巴西葡萄牙语),RPM(法语)和DECODA(法语)语料库来评估开发的系统。所取得的结果相当有趣。
2016-02-05 cs.CL cs.IR
Re-Examining System-Level Correlations of Automatic Summarization Evaluation Metrics
University of Pennsylvania(宾夕法尼亚大学)
自动摘要评估指标复制人类对摘要质量的判断的可靠性由系统级相关性量化。我们确定了两种方法,系统级的相关性的定义是不一致的,如何使用指标来评估系统在实践中,并提出了修改,以纠正这种脱节。首先,我们使用完整的测试集来计算自动度量的系统分数,而不是人类判断的摘要子集,这是目前的标准做法。我们展示了这个小的变化如何导致更精确的估计系统级的相关性。第二,我们建议只计算相关性的系统,这是分开的自动评分,这是在实践中经常观察到的小差异对。这使我们能够证明,在现实场景中,我们对ROUGE与人类判断相关性的最佳估计接近于0。分析结果表明,当系统分数差异较小时,需要收集更多高质量的人类判断,并改进自动度量。
2022-04-21 cs.CL
Learning to Revise References for Faithful Summarization
Columbia University(哥伦比亚大学);Amazon AWS AI(亚马逊AWS人工智能部门)
在具有自然发生的数据集的真实世界场景中,参考摘要是嘈杂的,并且可能包含无法从源文本推断出的信息。在大型新闻语料库中,删除低质量的样本已被证明可以减少模型幻觉。然而,对于较小和/或噪声较大的语料库,过滤对性能是有害的。为了提高参考文献的质量,同时保留所有的数据,我们提出了一种新的方法:选择性地重写不支持的参考语句,以更好地反映源数据。我们通过破坏支持句子自动生成正面和负面修订的合成数据集,并使用对比学习学习修订参考句子。修订的强度被视为一个可控的属性,以便在推理,不同的候选人可以过度生成,然后重新评分,以平衡忠实性和抽象。为了测试我们的方法,我们从公开的MIMIC-III出院总结中提取噪声参考,用于医院病程总结任务,并改变模型训练的数据。根据指标和人工评估,在修订的临床参考上训练的模型比在原始或过滤数据上训练的模型更忠实,信息量更大,更流畅。
2022-10-11 cs.CL
Large Language Models are Diverse Role-Players for Summarization Evaluation
Microsoft(微软)
本文提出基于大语言模型的摘要评估框架,通过角色扮演者提示机制从客观和主观维度比较生成文本与参考文本,并结合上下文动态画像与多角色批量提示,在三个数据集上取得与人类标注高度一致的结果。
2023-09-19 cs.CL
Adapter-based Selective Knowledge Distillation for Federated Multi-domain Meeting Summarization
Research Center for Social Computing and Information Retrieval, Harbin Institute of Technology(哈尔滨工业大学社会计算与信息检索研究中心);Peng Cheng Laboratory(鹏城实验室);School of Computing, National University of Singapore(新加坡国立大学计算机学院)
针对会议摘要中数据敏感、多领域non-IID分布及通信成本高的问题,提出AdaFedSelecKD,通过双适配器与选择性知识蒸馏实现低通信、鲁棒的联邦训练。
2023-08-07 cs.CL
You need to MIMIC to get FAME: Solving Meeting Transcript Scarcity with a Multi-Agent Conversations
University of Göttingen(哥廷根大学)
为解决会议摘要高质量数据受限问题,提出多智能体会议合成框架 MIMIC 生成 FAME 数据集,并辅以基于心理学的评估框架,验证其能近似真实会议条件,可作为可扩展的会议数据代理。
2025-05-30 cs.AI cs.CL
On-device System of Compositional Multi-tasking in Large Language Models
Samsung R&D Institute UK(三星英国研发中心);CERTH(希腊CERTH);Samsung Research(三星研究)
针对大语言模型组合式多任务(摘要与翻译)的端侧部署难题,提出在组合适配器上添加可学习投影层的方法,并通过Android应用验证了其高效性与实用性。
2025-10-11 cs.AI cs.CL cs.LG
Bridging Research and Readers: A Multi-Modal Automated Academic Papers Interpretation System
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Zhejiang University(浙江大学)
本文提出开源多模态学术论文解读系统MMAPIS,通过混合模态对齐、层次化话语感知摘要和多样化界面,解决现有多模态缺失、长文摘要困难及界面单一问题,并在科学摘要上优于仅用GPT-4的方案。
2024-01-17 cs.CL
Improving Practical Aspects of End-to-End Multi-Talker Speech Recognition for Online and Offline Scenarios
本研究扩展序列化输出训练框架,通过结合连续语音分离前端、双模型/双遍架构及分段SOT,平衡多说话人语音识别的延迟与准确率,适配在线与离线场景需求。
2025-06-17 cs.CL cs.SD eess.AS
LM Agents for Coordinating Multi-User Information Gathering
Microsoft(微软)
本文提出 PeopleJoin 基准,通过将数据库问答和多文档摘要任务重构为 2–20 人组织中的协作信息收集,评估多种 LM 智能体架构的准确性与效率。
2025-02-17 cs.AI cs.CL