Query-Focused Opinion Summarization for User-Generated Content
Cornell University(康奈尔大学);LinkedIn(领英);IBM T. J. Watson Research Center(IBM托马斯·J·沃森研究中心)
我们提出了一个基于子模块功能的框架,以查询为中心的意见摘要。在我们的框架内,相关排序产生的统计排名,信息覆盖率的主题分布和不同的观点都编码为子模块功能。色散函数用于最小化冗余。我们是第一个评估不同的文本相似性指标的子模块为基础的摘要方法。通过对社区QA和博客摘要的实验,我们表明我们的系统在自动评估和人工评估方面都优于最先进的方法。在Amazon Mechanical Turk上进行了规模化的人类评估任务,并表明我们的系统能够生成高质量和信息多样性的摘要。
2016-06-17 cs.CL
A Sentence Compression Based Framework to Query-Focused Multi-Document Summarization
Cornell University(康奈尔大学);IBM T. J. Watson Research Center(IBM托马斯·J·沃森研究中心)
我们考虑使用句子压缩技术,以方便查询为重点的多文档摘要的问题。我们提出了一个基于解析压缩的框架,并设计了一系列基于学习的压缩模型建立在解析树。提出了一种创新的束搜索解码器,以有效地找到高度可能的压缩。在这个框架下,我们展示了如何整合各种指示性指标,如语言动机和查询相关性到压缩过程中推导出一种新的配方的压缩评分函数。我们最好的模型实现了统计上的显着改善,在几个指标(如8.0%和5.4%的改进ROUGE-2分别)的DUC 2006年和2007年的总结任务的最先进的系统。
2016-06-24 cs.CL
Corpus-based Web Document Summarization using Statistical and Linguistic Approach
Khulna University of Engineering & Technology(库尔纳工程技术大学)
单文档摘要通过抽取文档中具有代表性的句子生成摘要。在本文中,我们提出了一种新的技术,从一个单一的Web文档,使用统计和语言分析的参考语料库和Web文档中的文本领域特定的文本摘要。该方法利用句子权重(SW)和主题权重(SuW)的组合函数来确定句子的排序,其中SW是句子中的术语数(t_n)和单词数(w_n)以及语料库中的术语频率(t_f)的函数,SuW是主题中的术语数(t_n)和单词数(w_n)以及语料库中的术语频率(t_f)的函数。30%的排序句子被认为是Web文档的摘要。我们使用我们的技术生成了三个Web文档摘要,并将它们与16个不同人类受试者手动开发的摘要进行了比较。结果表明,68%的摘要,我们的方法产生的满足人工摘要。
2013-04-09 cs.CL cs.IR
Benchmarking Answer Verification Methods for Question Answering-Based Summarization Evaluation Metrics
University of Pennsylvania(宾夕法尼亚大学)
基于问答的摘要评估指标必须自动确定QA模型的预测是否正确,这一任务称为答案验证。在这项工作中,我们基准测试的词汇答案验证方法已被用于当前基于QA的指标,以及两个更复杂的文本比较方法,BERTScore和LERC。我们发现,LERC优于其他方法在某些设置,而在其他统计上无法区分词汇重叠。然而,我们的实验表明,改进的验证性能并不一定转化为基于QA的整体度量质量:在某些情况下,使用更差的验证方法-或者根本不使用-与使用最佳验证方法具有相当的性能,我们将其归因于数据集的属性。
2022-04-21 cs.CL
Extractive Multi-document Summarization Using Multilayer Networks
Institute of Mathematics and Computer Science, University of São Paulo(圣保罗大学数学与计算机科学研究所)
每天都产生大量的文本信息。为了组织和理解这样大的数据集,近年来,摘要技术已经变得流行。这些技术旨在从这样的大数据中找到相关,简洁和非冗余的内容。虽然网络方法已被采用,在某些情况下,多文档摘要任务中的多层网络模型的系统评估的文本模型已被限制在少数研究。在这里,我们评估的性能,基于多层的方法来选择最相关的句子的背景下,提取多文档摘要(MDS)的任务。在所采用的模型中,节点代表句子和边缘创建的基础上,句子之间的共享单词的数量。与以往的多文档摘要研究不同,我们区分了连接不同文档句子的边(层间)和连接同一文档句子的边(层内)。作为一个原则的证明,我们的研究结果表明,这种歧视层内和层间的多层表示是能够提高质量的生成摘要。这条信息可用于改进当前的统计方法和相关的文本模型。
2017-11-07 cs.CL
SimCSum: Joint Learning of Simplification and Cross-lingual Summarization for Cross-lingual Science Journalism
Heidelberg Institute for Theoretical Studies(海德堡理论研究所);Heidelberg University(海德堡大学)
提出SimCSum多任务架构,通过共享编码器和双并行解码器联合学习文本简化与跨语言摘要,在两个跨语言科学数据集上显著优于现有方法。
2023-04-04 cs.CL
A Comparative Study of Evaluation Metrics for Long-Document Financial Narrative Summarization with Transformers
Lancaster University(兰卡斯特大学)
本研究针对伦敦证券交易所上市公司年度报告的长文档摘要任务,比较了多种预训练Transformer模型和提取技术,提出BRUGEscore指标(ROUGE-2与BERTscore的调和平均)以改进评估,并通过统计检验和对抗性分析验证了其稳健性。
2026-10-08 cs.CL
LIA-RAG: a system based on graphs and divergence of probabilities applied to Speech-To-Text Summarization
LIA / UAPV(阿维尼翁大学计算机实验室/阿维尼翁大学)
本文提出了一种基于概率和图形统计差异的语音文本自动摘要算法。输入是带有噪声的语音对话的文本,输出是紧凑的文本摘要。我们在CCCS Multiling 2015法语语料库的试点任务上的结果非常令人鼓舞
2016-01-26 cs.CL cs.IR
How to Evaluate a Summarizer: Study Design and Statistical Analysis for Manual Linguistic Quality Evaluation
Heidelberg University(海德堡大学)
人工评估是判断自动文本摘要进展的关键。然而,我们进行了一项调查,最近的摘要系统的论文,揭示了如何进行这种评估研究的协议。我们对摘要的语言质量(连贯性和重复性)的两个方面进行了两个评价实验,比较了Likert类型和等级注释,并表明最佳评价方法的选择可以从一个方面到另一个方面而变化。在我们的调查中,我们还发现,研究参数,如注释者的总数和注释者的注释项目的分布往往没有完全报告,随后的统计分析忽略了分组因素所产生的一个注释判断多个摘要。使用我们的评估实验,我们表明,注释器的总数可以有很大的影响,学习的力量,目前的统计分析方法可以膨胀I型出错率高达8倍。此外,我们强调,为了系统比较的目的,目前的做法,每个摘要引起多个判断,导致不太强大和可靠的注释给定一个固定的研究预算。
2021-01-27 cs.CL
Dropping the Anchor: Statistical Context Summarization for Distributed Systems via Pulsar Attention
研究针对长序列大语言模型推理计算成本高的问题,提出脉冲星注意力机制,用轻量级组件取代静态锚点,减少计算量,在多个模型测试中表现出色,优于星型注意力和密集注意力,有显著绝对增益。
2026-08-10 cs.AI cs.CL
Revisiting the Gold Standard: Grounding Summarization Evaluation with Robust Human Evaluation
Yale University(耶鲁大学);Salesforce AI(Salesforce人工智能研究院);Carnegie Mellon University(卡内基梅隆大学)
本文提出ACU细粒度人类评估协议并构建含22,000条标注的RoSE基准,系统比较评估协议与50种自动指标,揭示LLM可能过拟合非稳健人类评估。
2023-06-06 cs.CL
InfoLM: A New Metric to Evaluate Summarization & Data2Text Generation
IBM(国际商业机器公司);Telecom Paris(巴黎电信学院)
通过人工注释来评估自然语言生成系统的质量是非常昂贵的。此外,人工注释活动是耗时的,并且包括不可重复使用的人工劳动。在实践中,研究人员依赖自动度量作为质量的代理。在过去的十年中,许多基于字符串的度量(例如,BLEU)已经推出。然而,这样的度量通常依赖于精确匹配,因此不能鲁棒地处理同义词。在本文中,我们介绍了InfoLM一系列未经训练的指标,可以被视为一个基于字符串的指标,解决了上述缺陷,这要归功于一个预先训练的掩码语言模型。这一系列指标还使用了信息度量,允许InfoLM适应各种评估标准。使用直接评估,我们证明了InfoLM实现了统计上的显着改善,并超过$10$点的相关增益在许多配置的总结和data2text生成。
2022-03-25 cs.AI cs.CL
Automatic Summarization System coupled with a Question-Answering System (QAAS)
Laboratoire Informatique d’Avignon(阿维尼翁计算机实验室);École Polytechnique de Montréal(蒙特利尔综合理工学院)
为了选择文档中最相关的句子,它使用了一种结合了几个度量的最佳决策算法。该指标通过统计和信息算法处理、加权和提取相关性句子。该技术可以改进问答系统,其功能是用自然语言对问题提供准确的答案。在本文中,我们提出了通过耦合的皮质摘要与问答系统(QAAS)所获得的结果。两种配置进行了评价。在第一种方法中,选择低压缩级别,并且摘要系统仅用作噪声滤波器。在第二种配置中,该系统实际上用作摘要器,具有非常高的压缩级别。我们在法语语料库上的实验结果表明,自动文摘系统与问答系统的结合是很有前途的。然后,该系统已调整为根据具体问题生成定制摘要。在一个法语多文档语料库上进行了测试,个性化QAAS系统获得了最佳的性能。
2009-05-18 cs.CL cs.IR
The method of automatic summarization from different sources
Lviv Polytechnic National University(利沃夫国立理工大学)
本文分析了文本自动文摘和自动标注技术。描述了标注在不同科技论文自动检索和分类中的作用。提出了一种基于重要性系数的自然语言文档自动文摘算法。这种概念允许考虑在不同类型的文件中可以找到的主题领域和主题的特殊性。提出了一种基于频率分析的单文档摘要生成方法。给出了非结构化文本分析的识别要素。提出了多文档预处理分析的方法。这种技术同时考虑了统计方法的抽象和在一个特定的主题领域的术语的重要性。生成的摘要的质量进行了评估。对开发的系统进行了专家评价。它只适用于乌克兰语文本。所开发的系统总结作文在所有标准上都有更高的总分。摘要系统的体系结构正在构建中。为了建立一个信息系统模型,使用了案例工具AllFusion ERwin数据建模器。建立了信息存储的数据库方案。该系统的设计主要是与乌克兰文本,这给了一个显着的优势,因为大多数现代系统仍然面向英语文本
2019-05-04 cs.CL cs.IR
TR-EduVSum: A Turkish-Focused Dataset and Consensus Framework for Educational Video Summarization
Izmir Katip Celebi University(伊兹密尔卡蒂普切莱比大学);Izmir Institute of Technology(伊兹密尔理工学院)
本文提出TR-EduVSum数据集和AutoMUP框架,通过多人类摘要生成高质量摘要,验证了共识权重和聚类对摘要质量的关键作用,适用于其他突厥语种。
2026-04-08 cs.AI cs.CL
AugSumm: towards generalizable speech summarization using synthetic labels from large language model
Carnegie Mellon University(卡内基梅隆大学);Mohamed bin Zayed University of AI(穆罕默德·本·扎耶德人工智能大学)
本文提出 AugSumm,用 ChatGPT 生成高质量合成语音摘要并用于训练与评估,在 How2 上通过预训练加微调使两类测试集 ROUGE-L 均提升 1 点。
2024-01-10 cs.AI cs.CL
CHI: A Composite Hallucination Index Unifying Entity, Relation, and Quantity Dimensions for Summarization Evaluation
针对现有摘要忠实性指标仅覆盖单一幻觉类型的问题,提出统一度量CHI,将错误分解为实体、关系、数量三个正交维度,经调和平均融合,在SummEval上相关性达0.66,优于现有基线。
2026-09-29 cs.AI cs.CL
Unifying Human and Statistical Evaluation for Natural Language Generation
Stanford University(斯坦福大学)
我们如何衡量一个自然语言生成系统是否能产生高质量和多样化的输出?人工评估捕捉质量而不是多样性,因为它不会捕捉简单地从训练集中抄袭的模型。另一方面,统计评估(即,困惑)捕获多样性,但不是质量,因为偶尔发出低质量样本的模型将不足以受到惩罚。在本文中,我们提出了一个统一的框架,评估的多样性和质量的基础上,最佳的出错率预测一个句子是人类还是机器生成的。我们证明,这种出错率可以有效地估计结合人类和统计评估,使用的评价指标,我们称之为HUSE。在总结和闲聊对话中,我们表明(i)HUSE检测到欺骗纯人类评估的多样性缺陷,以及(ii)用于提高质量的退火等技术实际上由于多样性降低而降低了HUSE。
2019-04-04 cs.AI cs.CL stat.ML