首页/论文/2110.04480

arXiv 2110.044802021-10-09cs.CL

贝叶斯主动汇总

Bayesian Active Summarization

Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）

Alexios Gidiotis, Grigorios Tsoumakas

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

摘要英文摘要相关论文

摘要：

贝叶斯主动学习对各种自然语言处理问题产生了重要影响，但将其应用于文本摘要的研究却很少。我们介绍贝叶斯主动摘要（BAS），作为一种结合主动学习方法与国家的最先进的摘要模型的方法。我们的研究结果表明，BAS实现了更好，更强大的性能相比，随机选择，特别是对于小和非常小的数据注释预算。使用BAS，我们展示了利用大型摘要模型来有效解决具有非常有限的注释数据的现实问题是可能的。

英文摘要：

Bayesian Active Learning has had significant impact to various NLP problems, but nevertheless it's application to text summarization has been explored very little. We introduce Bayesian Active Summarization (BAS), as a method of combining active learning methods with state-of-the-art summarization models. Our findings suggest that BAS achieves better and more robust performance, compared to random selection, particularly for small and very small data annotation budgets. Using BAS we showcase it is possible to leverage large summarization models to effectively solve real-world problems with very limited annotated data.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

我们应该相信这个总结吗？Bayesian Abstractive Summarization（Bayesian Abstractive Summarization）

Should We Trust This Summary? Bayesian Abstractive Summarization to The Rescue

Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）

我们使用贝叶斯深度学习的工具，在现代抽象摘要模型的背景下探索不确定性的概念。我们的方法近似贝叶斯推理，首先扩展了最先进的总结模型与蒙特卡洛辍学，然后使用它们来执行多个随机向前传递。基于贝叶斯推理，我们能够有效地量化预测时的不确定性。有了可靠的不确定性度量，我们可以通过过滤掉生成的高不确定性摘要来改善最终用户的体验。此外，不确定性估计可以用作选择用于注释的样本的标准，并且可以与主动学习和人在回路方法很好地配对。最后，贝叶斯推理使我们能够找到一个贝叶斯总结，它比确定性的表现更好，更强大的不确定性。在实践中，我们表明，我们的变分贝叶斯等价BART和PEGASUS可以在多个基准数据集上胜过他们的确定性同行。

2022-05-03cs.CL

基于损失的神经抽象摘要生成主动学习

Loss-Based Active Learning for Neural Abstractive Summarization

School of Informatics（信息学院）；Aristotle University of Thessaloniki（亚里士多德塞萨洛尼基大学）；Microsoft（微软公司）

针对神经抽象摘要生成标注数据获取成本高的问题，提出LOBSTER主动学习框架，在三个数据集和两个模型上验证其性能优于或相当SOTA，且查询选择速度最高提升665倍

2026-08-27cs.CL

DUAL：用于文本摘要的多样性与不确定性主动学习

DUAL: Diversity and Uncertainty Active Learning for Text Summarization

Aristotle University of Thessaloniki（亚里士多德塞萨洛尼基大学）；School of Informatics（信息学院）

提出结合不确定性与多样性的主动学习算法DUAL，通过迭代选择兼具代表性和挑战性的样本，有效解决了文本摘要任务中传统主动学习方法表现不佳的问题。

2025-03-02cs.CL

概率生物医学文本摘要中重要概念识别的不同方法

Different approaches for identifying important concepts in probabilistic biomedical text summarization

Isfahan University of Technology（伊斯法罕理工大学）

自动文本摘要工具帮助生物医学领域的用户更有效地从各种文本资源中获取他们想要的信息。一些生物医学文本摘要系统将其句子选择方法的基础放在从输入文本中提取的概念的频率上。然而，似乎探索其他措施，而不是频率识别输入文档的有价值的内容，并考虑概念之间存在的相关性可能是更有用的这种类型的摘要。在本文中，我们描述了一个贝叶斯摘要生物医学文本文件。贝叶斯摘要器首先将输入文本映射到统一医学语言系统（UMLS）的概念，然后选择重要的概念作为分类特征。我们引入不同的特征选择方法来识别文本中最重要的概念，并根据这些概念的分布来选择最具信息量的内容。我们表明，使用适当的特征选择方法，贝叶斯生物医学摘要可以提高摘要的性能。我们在生物医学领域的科学论文语料库进行了广泛的评价。结果表明，贝叶斯摘要优于生物医学摘要，依赖于频率的概念，域独立和基线方法的基础上，面向回忆的替代Gisting评估（ROUGE）指标。此外，研究结果表明，使用的有意义的措施，并考虑相关的概念在特征选择步骤导致一个显着的提高摘要的性能。

2017-05-30cs.CLcs.IR

基于主动学习的抽象文本自动摘要

Active Learning for Abstractive Text Summarization

AIRI（AIRI（人工智能研究院））；HSE（高等经济学院）；SberDevices（SberDevices（俄罗斯联邦储蓄银行设备部））；TII（技术创新研究院）；Skoltech（斯科尔科沃科技学院）；MIPT（莫斯科物理技术学院）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；ISP RAS Research Center for Trusted Artificial Intelligence（俄罗斯科学院信息传输问题研究所可信人工智能研究中心）

构建用于抽象文本摘要（ATS）的人工管理的注释数据集非常耗时且昂贵，因为创建每个实例需要人工注释者阅读长文档并撰写较短的摘要，以保留原始文档中的关键信息。主动学习（AL）是一种开发用于减少实现一定水平的机器学习模型性能所需的注释量的技术。在信息抽取和文本分类中，人工智能可以将劳动量减少数倍。尽管它有可能帮助昂贵的注释，据我们所知，没有有效的AL查询策略的ATS。这是因为许多AL策略依赖于不确定性估计，而正如我们在工作中所展示的那样，不确定的实例通常是嘈杂的，与被动注释相比，选择它们会降低模型性能。我们解决这个问题，提出了第一个有效的查询策略AL在ATS的多样性原则的基础上。我们表明，给定一定的注释预算，在AL注释中使用我们的策略有助于提高模型在ROUGE和一致性得分方面的性能。此外，我们分析了自学习的效果，并表明它可以进一步提高模型的性能。

2023-01-09cs.CL

鲁棒神经摘要系统及其对抗性评价

Robust Neural Abstractive Summarization Systems and Evaluation against Adversarial Information

Northeastern University（东北大学）；Tencent AI Lab（腾讯人工智能实验室）

序列到序列（seq2seq）神经模型已经被积极地研究用于抽象摘要。然而，现有的神经抽象系统经常生成事实上不正确的摘要，并且容易受到对抗性信息的影响，这表明严重缺乏语义理解。在本文中，我们提出了一种新的语义感知神经抽象摘要模型，学习生成高质量的摘要，通过语义解释显着的内容。引入了一种带有对抗性样本的新评估方案来衡量模型识别主题外信息的能力，我们的模型比流行的指针生成器摘要器的性能要好得多。人工评估也证实了我们的系统摘要比seq2seq模型更加信息化和忠实，并且冗余度更低。

2018-10-14cs.CL

更多相关论文收起更多论文

自动文本摘要：已经做了什么，必须做什么

Automatic text summarization: What has been done and what has to be done

Ecole nationale Supérieure d’Informatique (ESI, ex. INI)（阿尔及利亚阿尔及尔高等国立计算机学院（ESI，前身为INI））

在处理大量信息时，摘要很重要。它们最重要的好处是节省时间，而我们现在没有多少时间。因此，摘要必须简短、具有代表性和可读性。自动生成摘要对人类来说是有益的，因为它可以节省时间并帮助选择相关文档。自动摘要，特别是自动文本摘要（ATS）并不是一个新的研究领域，它在50年代就被人们所知。从那时起，研究者们就一直在积极寻找完美的摘要方法。在这篇文章中，我们将讨论自动摘要的不同工作，特别是最近的。我们将提出一些问题和限制，阻止工作向前迈进。这些挑战中的大多数与处理语言的性质有关。这些挑战对于学术界和开发人员来说都很有趣，作为该领域的一条道路。

2019-04-01cs.CL

面向文本摘要的幻觉多样性感知主动学习

Hallucination Diversity-Aware Active Learning for Text Summarization

Shanghai Jiao Tong University（上海交通大学）；University of Michigan（密歇根大学）；Adobe Research（奥多比研究院）

本文提出首个缓解LLM幻觉的主动学习框架HADAS，通过从语义框架、话语和内容可验证性度量细粒度幻觉并选择多样化样本标注，在三个数据集上验证了其高效减轻文本摘要幻觉的效果。

2024-04-02cs.AIcs.CLcs.LG

一种新的面向查询的多文档文摘贝叶斯模型

A Novel Feature-based Bayesian Model for Query Focused Multi-document Summarization

监督学习方法和基于LDA的主题模型已经成功地应用于面向查询的多文档摘要领域。在本文中，我们提出了一种新的监督的方法，可以将丰富的句子特征到贝叶斯主题模型的原则性的方式，从而利用主题模型和基于特征的监督学习方法的优势。在TAC2008和TAC2009上的实验证明了该方法的有效性。

2013-12-27cs.CLcs.IR

基于贝叶斯查询的摘要

Bayesian Query-Focused Summarization

Information Sciences Institute（信息科学研究所）

我们提出了BayeSum（Bayesian summarization），这是一个在以查询为中心的摘要中进行句子提取的模型。BayeSum利用了多个文档与单个查询相关的常见情况。使用这些文档作为查询词的增强，BayeSum不会受到短查询中信息缺乏的影响。我们表明，近似推理BayeSum是可能的大数据集和结果在一个国家的最先进的摘要系统。此外，我们展示了如何BayeSum可以被理解为一个合理的查询扩展技术在语言建模的IR框架。

2009-07-10cs.CLcs.IRcs.LG

BRAIn：面向自然语言生成反馈的贝叶斯奖励条件摊销推断

BRAIn: Bayesian Reward-conditioned Amortized Inference for natural language generation from feedback

IBM Research AI（IBM研究院人工智能部门）

本文提出BRAIn方法，通过自归一化基线降低分布匹配方法在RLHF中的梯度方差，并利用贝叶斯规则统一DPG、GDC和DPO的目标分布，在摘要和Anthropic HH任务上显著超越现有方法。

2024-06-10cs.AIcs.CLcs.HC

Problem List Summarization（ProbSum）2023 关于从电子健康记录病程记录中总结患者活动性诊断与问题的共享任务概述

Overview of the Problem List Summarization (ProbSum) 2023 Shared Task on Summarizing Patients' Active Diagnoses and Problems from Electronic Health Record Progress Notes

University of Wisconsin（威斯康星大学）；Loyola University Chicago（芝加哥洛约拉大学）；Boston Children’s Hospital（波士顿儿童医院）；Harvard Medical School（哈佛医学院）

本文概述 ProbSum 2023 共享任务，介绍从危重患者日常护理记录中生成诊断与问题列表的任务设置、数据、指标、基线及八支团队的方法与结果。

2023-06-08cs.CL

使用深度预训练模型和贝叶斯不确定性估计进行序列标记的主动学习

Active Learning for Sequence Tagging with Deep Pre-trained Models and Bayesian Uncertainty Estimates

Skolkovo Institute of Science and Technology（斯科尔科沃科技学院）；HSE University（高等经济大学）；Mobile TeleSystems (MTS)（移动电信系统公司）；Federal Research Center “Computer Science and Control” of Russian Academy of Sciences（俄罗斯科学院计算机科学与控制联邦研究中心）

注释用于文本序列标记的训练数据通常非常耗时。结合主动学习的自然语言处理的迁移学习的最新进展为显着减少必要的注释预算提供了可能性。我们是第一个彻底调查这个强大的组合序列标记任务。我们对主动学习框架中深度预训练模型的各种贝叶斯不确定性估计方法和蒙特卡洛退出选项进行了广泛的实证研究，并找到了不同类型模型的最佳组合。此外，我们还证明了在主动学习过程中获取实例，可以用蒸馏版本代替全尺寸的Transformer，这会产生更好的计算性能，并减少在实践中应用深度主动学习的障碍。

2021-02-18cs.CL

利用词嵌入进行口语文档摘要

Leveraging Word Embeddings for Spoken Document Summarization

Academia Sinica（中央研究院）；National Taiwan Normal University（台湾师范大学）；National Taiwan University（台湾大学）

由于互联网上可获得的多媒体内容的快速增长，提取的口语文档摘要，其目的是从口语文档中自动选择一组代表性的句子，以简明地表达文档的最重要的主题，一直是研究和实验的活跃领域。另一方面，词嵌入由于其在许多自然语言处理（NLP）相关任务中的优异性能而成为一个新的热门研究课题。然而，据我们所知，有相对较少的研究调查其使用提取文本或语音摘要。在摘要过程中利用词嵌入的共同思路是通过对文档（或句子）中出现的词的词嵌入求平均来表示文档（或句子）。然后，直观地，余弦相似性度量可以用来确定一对表示之间的相关度。除了继续努力提高词的表示，本文重点是建立新的和有效的排名模型的基础上，一般的词嵌入方法提取语音摘要。实验结果表明，我们提出的方法的有效性，与现有的国家的最先进的方法相比。

2015-06-14cs.AIcs.CL

深度贝叶斯主动学习用于自然语言处理：大规模实证研究的结果

Deep Bayesian Active Learning for Natural Language Processing: Results of a Large-Scale Empirical Study

Carnegie Mellon University（卡内基梅隆大学）

最近的几篇论文研究了主动学习（AL），以减轻深度学习对自然语言处理的数据依赖。然而，AL的适用性，以现实世界的问题仍然是一个悬而未决的问题。虽然在监督学习中，实践者可以尝试许多不同的方法，在选择模型之前对每个方法进行验证，但AL没有这样的奢侈。在一次AL运行过程中，代理注释其数据集，耗尽其标记预算。因此，给定一个新的任务，主动学习者没有机会比较模型和习得功能。本文提供了深度主动学习的大规模实证研究，解决了多个任务，每个任务都有多个数据集，多个模型和一整套采集功能。我们发现，在所有设置中，贝叶斯主动学习的分歧，使用不确定性估计提供的辍学或贝叶斯Backprop显着提高了i.i.d.通常优于经典的不确定性抽样。

2018-09-24cs.CLcs.LGstat.ML