Multilingual Sentiment Aware Text Summarization A Reinforcement Learning Approach for Consistency Maintenance
Instituto Politécnico Nacional (IPN), Centro de Investigación en Computación (CIC)(国立理工学院(IPN),计算研究中心(CIC))
研究RLHF摘要中的情感漂移现象,提出基于策略归因框架的情感感知KL正则化方法,在保持摘要质量的同时缓解情感中性化。
2026-06-08 cs.CL
Falsesum: Generating Document-level NLI Examples for Recognizing Factual Inconsistency in Summarization
Bloomberg(彭博社);Technical University of Darmstadt(达姆施塔特工业大学);The University of Sheffield(谢菲尔德大学)
神经抽象文摘模型容易产生与源文档不一致的摘要。以前的工作已经介绍了识别这种事实不一致的任务,作为自然语言推理(NLI)的下游应用。然而,国家的最先进的NLI模型表现不佳,在这种情况下,由于他们无法推广到目标任务。在这项工作中,我们表明,NLI模型可以有效地完成这项任务时,训练数据增加了高质量的面向任务的例子。我们引入了Falsesum,这是一个数据生成管道,它利用可控的文本生成模型来扰乱人类注释的摘要,引入了不同类型的事实不一致。与之前介绍的文档级NLI数据集不同,我们生成的数据集包含各种各样的示例,这些示例不一致,但似乎合理。我们表明,在Falsesum增强的NLI数据集上训练的模型在四个基准测试中提高了最先进的性能,用于检测摘要中的事实不一致性。获取数据集的代码可在https://github.com/joshbambrick/Falsesum上在线获取
2022-05-12 cs.CL
A Hierarchical End-to-End Model for Jointly Improving Text Summarization and Sentiment Classification
Peking University(北京大学)
文本摘要和情感分类都旨在捕捉文本的主要思想,但在不同的层次上。文本摘要是在几个句子内描述文本,而情感分类可以被视为一种特殊类型的摘要,它将文本“概括”成更抽象的方式,即,情感课基于这一思想,我们提出了一个分层的端到端模型,用于文本摘要和情感分类的联合学习,其中情感分类标签被视为文本摘要输出的进一步“摘要”。因此,情感分类层放在文本摘要层上,并导出层次结构。在Amazon在线评论数据集上的实验结果表明,该模型在抽象摘要和情感分类方面都比强基线系统具有更好的性能。
2018-05-30 cs.CL cs.LG
The Factual Inconsistency Problem in Abstractive Text Summarization: A Survey
Research Center for Social Computing and Information Retrieval(社会计算与信息检索研究中心);Harbin Institute of Technology(哈尔滨工业大学)
本综述全面回顾了抽象文本摘要中的事实不一致问题,重点梳理了旨在筛选无事实错误输出的感知事实评估指标,以及致力于实现事实一致性的新型摘要系统。
2023-04-10 cs.CL
Hybrid Extractive Abstractive Summarization for Multilingual Sentiment Analysis
Instituto Politécnico Nacional (IPN)(国家理工学院(IPN))
本文提出融合TF-IDF抽取与微调XLM-R生成模块的多语言情感分析方法,借助动态阈值和文化适配,在10种语言上提升准确率与计算效率。
2025-06-07 cs.CL
Topic Detection and Summarization of User Reviews
University of Delaware(特拉华大学);IBM Almaden Research(IBM阿尔马登研究中心)
每天都有大量的评论从各种平台上产生。人们不可能通读大量的评论并获得有用的信息。因此,自动总结客户评论是重要的识别和提取的基本信息,以帮助用户获得的数据的要旨。然而,由于客户评论通常是短的,非正式的,和多方面的,这是非常具有挑战性的,以产生主题明智的summarization.While有几个研究旨在解决这个问题,他们是探试法,开发只利用客户评论。与现有的方法不同,我们提出了一种有效的新的摘要方法,通过分析评论和摘要。由于情感通常很短,我们将谈论同一方面的情感合并到一个文档中,并应用主题建模方法来识别客户评论和摘要中的隐藏主题。情感分析用于区分每个检测到的主题之间的积极和消极的意见。本文还引入了一个分类器来区分摘要和客户评论的写作模式。最后,根据主题相关度、情感分析得分和写作模式选择情感生成摘要。为了测试我们的方法,从亚马逊和CNET收集了一个新的数据集,包括关于1028种产品的产品评论和摘要。实验结果表明,与其他方法相比,该方法是有效的。
2020-05-30 cs.CL
Evaluation of data inconsistency for multi-modal sentiment analysis
Shanghai Jiao Tong University(上海交通大学)
针对多模态情感分析中的情感语义不一致问题,研究引入模态冲突测试集评估传统模型与多模态大语言模型,发现两者在处理语义冲突数据时均存在性能下降或缺陷,为系统发展提供新挑战与见解。
2024-06-05 cs.AI cs.CL
Discourse-Driven Evaluation: Unveiling Factual Inconsistency in Long Document Summarization
University of Pittsburgh(匹兹堡大学)
本研究针对长文档摘要事实不一致检测的挑战,通过话语分析揭示错误与话语特征的关联,提出基于话语块分解和信息聚合的框架,在多基准上提升不同模型性能,强调话语特征的重要性。
2025-02-10 cs.AI cs.CL
ChatGPT as a Factual Inconsistency Evaluator for Text Summarization
The University of Manchester(曼彻斯特大学)
本文探索ChatGPT在零样本设置下评估文本摘要事实不一致性的能力,实验表明其在蕴含推理、摘要排序和一致性评分三项任务上普遍优于以往指标,但也存在偏好词汇相似候选、错误推理和理解指令不足等局限。
2023-04-13 cs.CL
PSentScore: Evaluating Sentiment Polarity in Dialogue Summarization
Univ. Grenoble Alpes(格勒诺布尔大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Grenoble INP(格勒诺布尔理工学院);LIG(信息与信号处理实验室)
本文提出PSentScore度量指标,用于评估对话摘要中情感内容的保留程度,发现现有先进摘要模型情感保留不足,并证明通过精心选择训练集可在轻微牺牲内容指标的情况下改善情感保留。
2024-05-03 cs.CL
Fine-Grained Opinion Summarization with Minimal Supervision
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
意见摘要旨在通过从多个文档中提取意见来分析目标。大多数现有的工作方法的任务,在半监督的方式,由于难以获得高质量的注释从成千上万的文件。其中,一些使用方面和情感分析作为识别意见的代理。在这项工作中,我们提出了一个新的框架,FineSum,它在三个方面推进了这一前沿:(1)最小的监督,只有方面的名称和一些方面/情感关键字是可用的;(2)细粒度的意见分析,其中情感分析钻到子方面的水平;和(3)基于短语的总结,其中意见是总结在短语的形式。FineSum自动从原始语料库中识别意见短语,将其分类为不同的方面和情感,并在每个方面/情感下构建多个细粒度的意见聚类。每个聚类由语义连贯的短语组成,表达对某些子方面或特征的统一意见(例如,在“食物”方面对“汉堡”有积极的感觉。一个面向观点的球形词嵌入空间被训练来为短语分类器提供弱监督,并且使用从短语分类器生成的方面感知的上下文化嵌入来执行短语聚类。基准测试的自动评估和定量的人工评估都验证了该方法的有效性。
2021-10-17 cs.CL
FIZZ: Factual Inconsistency Detection by Zoom-in Summary and Zoom-out Document
Chung-Ang University(中央大学);Adobe Research(奥多比研究院)
本文提出基于细粒度原子事实分解与自适应粒度扩展对齐的 FIZZ 指标,以提升抽象式摘要事实不一致检测的效果与可解释性,实验显示其显著优于现有系统。
2024-10-02 cs.CL
Query-Focused Extractive Summarization for Sentiment Explanation
Croesus Lab Laval, Québec, Canada(魁北克省拉瓦尔市的Croesus实验室);Software Engineering and IT Dept. École de Technologie Supérieure Montreal, Canada(蒙特利尔大学理工学院软件工程与IT部门)
针对客户反馈分析中查询与源文件语言不一致的问题,提出多偏置框架,结合情感偏置与查询扩展,在真实数据集上优于基线模型。
2025-09-15 cs.CL cs.LG
Factual Consistency Evaluation for Text Summarization via Counterfactual Estimation
Alibaba Group(阿里巴巴集团);The Chinese University of Hong Kong(香港中文大学)
尽管文本摘要技术已经取得了很大的进展,但摘要中的事实不一致性仍然严重限制了它的实际应用。在保证事实一致性的关键因素中,可靠的自动评价指标是首要的,也是最关键的。然而,现有的度量方法要么忽略了造成事实不一致的内在原因,要么依赖于辅助任务,导致与人类判断的相关性不高,或者增加了实际使用的不便。鉴于这些挑战,我们提出了一种新的度量标准来评估事实的一致性,在文本摘要通过反事实的估计,它制定了源文件,生成的摘要,和语言先验之间的因果关系。我们删除了语言先验的影响,这可能会导致事实的不一致性,从总的因果关系的影响所产生的摘要,并提供了一个简单而有效的方法来评估一致性,而不依赖于其他辅助任务。我们在三个公开的抽象文本摘要数据集上进行了一系列的实验,并证明了所提出的度量在提高与人类判断的相关性和使用的方便性方面的优势。源代码可在https://github.com/xieyxclack/factual_coco上获得。
2021-09-08 cs.CL
Dialogue Inspectional Summarization with Factual Inconsistency Awareness
Zhejiang University(浙江大学);Alibaba Group(阿里巴巴集团);National University of Singapore(新加坡国立大学);Indiana University(印第安纳大学)
对话摘要已被广泛研究和应用,其中先前的工作主要集中在探索更好的模型结构,以对齐输入对话和输出摘要。然而,对于专业对话(例如,法律辩论和医学诊断),语义/统计对齐很难填补输入对话话语和具有外部知识的摘要输出之间的逻辑/事实鸿沟。本文主要研究了非预训练和预训练环境下的对话检查摘要(DIS)中的事实不一致问题。提出了一种新的端到端对话摘要生成框架,该框架包含两个辅助任务:期望事实方面正则化(EFAR)和缺失事实实体判别(MFED)。综合实验表明,所提出的模型可以生成一个更可读的摘要,准确覆盖的事实方面,以及通知用户与潜在的缺失的事实,从输入对话中检测到进一步的人为干预。
2021-11-05 cs.AI cs.CL
OpinionDigest: A Simple Framework for Opinion Summarization
University of Edinburgh(爱丁堡大学);Megagon Labs(Megagon实验室)
我们提出了OpinionDigest,一个抽象的意见摘要框架,它不依赖于黄金标准的摘要进行训练。该框架使用一个基于April的情感分析模型从评论中提取意见短语,并训练一个Transformer模型从这些提取中重建原始评论。在总结时,我们合并多个评论中的摘录,并选择最受欢迎的评论。所选择的意见被用作经训练的Transformer模型的输入,该模型将它们口头表达为意见摘要。OpinionDigest还可以通过根据其方面和/或情绪过滤所选意见来生成定制的摘要,以满足特定的用户需求。对Yelp数据的自动评估表明,我们的框架优于竞争对手的基线。对两个语料库的人类研究验证了OpinionDigest产生信息丰富的摘要,并显示出有前途的定制功能。
2020-05-05 cs.CL
Hierarchical Interaction Networks with Rethinking Mechanism for Document-level Sentiment Analysis
University of Chinese Academy of Sciences(中国科学院大学);Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);National Computer System Engineering Research Institute of China(国家计算机系统工程研究所)
文档级的情感分析由于语义链接模糊、情感信息复杂而更具挑战性。最近的工作一直致力于利用文本摘要,并取得了可喜的成果。然而,这些基于摘要的方法并没有充分利用摘要,包括忽略摘要和文档之间的内在相互作用。因此,他们将表示限制在表达文档中的主要观点,这高度表明了关键情绪。在本文中,我们研究了如何有效地生成一个歧视性的表示与显式的主题模式和情感背景的DSA。提出了一种分层交互网络(HIN),以探索多粒度摘要和文档之间的双向交互,并学习面向主题的文档表示用于情感分类。此外,我们设计了一个基于情感的反思机制(SR),通过精炼的HIN与情感标签信息,学习一个更感知的文档表示。我们在三个公共数据集上广泛评估了我们提出的模型。实验结果一致地证明了我们提出的模型的有效性,并表明HIN-SR优于各种最先进的方法。
2022-09-07 cs.CL
Review Mining for Feature Based Opinion Summarization and Visualization
Jamia Millia Islamia(贾米亚·米利亚伊斯兰大学)
意见挖掘技术在商业智能、产品推荐、目标营销等领域的应用和使用引起了国内外学者的广泛关注。各种研究工作试图从不同粒度级别的客户评论中挖掘意见,包括单词,句子和文档级别。然而,开发一个全自动的意见挖掘和情感分析系统仍然是难以捉摸的。虽然意见挖掘和情感分析系统的发展势头越来越猛,但它们中的大多数都试图执行文档级的情感分析,将评论文档分类为积极的、消极的或中性的。这样的文档级意见挖掘方法无法提供关于用户对产品或服务的个体特征的情感的洞察。因此,如果评论可以在更细粒度的级别上进行处理,并通过一些视觉手段以摘要的形式呈现,突出产品的个人特征和用户对其表达的情感,似乎对客户和制造商都有很大的帮助。在本文中,一个统一的意见挖掘和情感分析框架的设计,提出了在机器学习和自然语言处理方法的交叉点。此外,提出了一种新的特征级审查摘要方案的设计,以可视化挖掘的功能,意见和他们的极性值在一个可理解的方式。
2015-04-23 cs.CL cs.IR
Integrating Supervised Extractive and Generative Language Models for Suicide Risk Evidence Summarization
Sophia University(上智大学)
本文提出整合监督式抽取式与生成式语言模型的方法,通过BERT评估句子级自杀风险与负面情绪,结合MentaLLaMa框架与专用词汇表生成摘要,在CLPsych 2024共享任务中取得高亮提取第一、摘要生成第十的成绩。
2024-03-20 cs.CL
Consistency Analysis of Sentiment Predictions using Syntactic & Semantic Context Assessment Summarization (SSAS)
Tellagence Inc.(Tellagence公司);Villanova School of Business, Villanova University(维拉文纳大学商学院);Maseeh College of Engineering and Computer Science, Portland State University(波特兰州立大学Maseeh工程与计算机科学学院)
本文提出SSAS框架,通过上下文评估提升情感预测的一致性,实验表明其能有效提高数据质量,减少噪声和分析方差。
2026-04-16 cs.AI cs.CL
WikiSent : Weakly Supervised Sentiment Analysis Through Extractive Summarization With Wikipedia
本文描述了一个弱监督的电影评论领域的情感分析系统。我们的目标是将电影评论分为一个极性类,积极或消极的基础上,这些句子轴承对电影的意见。与评论者对电影的意见没有直接关系的不相关的文本被排除在分析之外。维基百科在系统中整合了电影特定特征的世界知识,用于获得评论的摘录摘要,包括评论者对电影特定方面的意见。这会过滤掉与给定电影无关或客观的概念。拟议的系统,WikiSent,不需要任何标记的数据进行训练。唯一薄弱的监督来自于对WordNet、Part-of-Speech Tagger和Sentiment Lexicons等资源的使用。WikiSent在基线上实现了相当大的准确性提高,并且在相同的数据集上,与该领域中现有的半监督和无监督系统相比具有更好或相当的准确性。我们还使用WikiSent进行了一般的电影评论趋势分析,以发现电影制作的趋势和公众对电影类型,发行年份和极性的接受程度。
2012-09-18 cs.CL cs.IR
Aspect-based Opinion Summarization with Convolutional Neural Networks
Fudan University(复旦大学)
本文考虑了基于AOS的特定产品评论的意见摘要。为了实现真正的应用程序,AOS系统需要解决两个核心子任务,方面提取和情感分类。现有的大多数方面提取方法,使用语言分析或主题建模,是通用的不同的产品,但不够精确或适合于特定的产品。相反,我们采用了一种不太一般但更精确的方案,直接将每个评论句子映射到预定义的方面。为了解决方面映射和情感分类,我们提出了两种基于卷积神经网络(CNN)的方法,级联CNN和多任务CNN。级联CNN包含两级卷积网络。第1级的多个CNN处理方面映射任务,第2级的单个CNN处理情感分类。多任务CNN也包含多方面CNN和情感CNN,但不同的网络共享相同的词嵌入。实验结果表明,级联和多任务CNN都大大优于基于SVM的方法。多任务CNN通常比级联CNN性能更好。
2015-11-30 cs.CL cs.IR cs.LG
Thesis: Document Summarization with applications to Keyword extraction and Image Retrieval
Indian Institute of Technology, Bombay(印度理工学院孟买分校)
本文研究文档摘要技术,提出基于 rank aggregation 与相关性反馈的图像推荐方法,并设计 submodular functions 平衡意见摘要中的压缩与情感检测需求,在图像检索与摘要生成任务上均优于基线。
2024-05-20 cs.AI cs.CL cs.IR
Enhancing Factual Consistency of Abstractive Summarization
Microsoft Cognitive Services Group(微软认知服务团队);University of Notre Dame(圣母大学)
自动摘要经常歪曲或捏造事实的文章。摘要与原文之间的这种不一致严重影响了其适用性。我们提出了一个事实感知的摘要模型FASum提取和整合的事实关系到摘要生成过程中,通过图形注意。然后,我们设计了一个事实校正模型FC自动纠正现有系统生成的摘要中的事实错误。实验结果表明,与现有系统相比,基于事实感知的摘要生成的摘要具有更高的事实一致性,而修正模型仅通过修改少量关键词就能提高摘要的事实一致性。
2021-03-15 cs.CL
Open-Domain Targeted Sentiment Analysis via Span-Based Extraction and Classification
National University of Defense Technology(国防科技大学);University of Macau(澳门大学)
开放域定向情感分析的目的是从句子中检测出观点目标及其情感极性。先前的工作通常将此任务制定为序列标记问题。然而,这样的公式化遭受诸如巨大的搜索空间和情感不一致的问题。为了解决这些问题,我们提出了一个基于跨度的提取然后分类框架,其中多个意见目标直接从目标跨度边界的监督下,从句子中提取,相应的极性,然后使用其跨度表示进行分类。在此框架下,我们进一步研究了三种方法,即管道,联合和崩溃的模型。在三个基准数据集上的实验表明,我们的方法始终优于序列标记基线。此外,我们发现,管道模型实现了最好的性能相比,其他两个模型。
2019-06-10 cs.CL
Every Bite Is an Experience: Key Point Analysis of Business Reviews
IBM Research(IBM研究院)
以前的综述总结工作主要集中在衡量对所综述产品或业务主要方面的看法,或者创建文本摘要。这些方法只提供了数据的部分视图:基于方面的情感摘要缺乏对方面评级的充分解释或理由,而文本摘要没有量化每个元素的重要性,并且不适合表示冲突的观点。最近,关键点分析(KPA)已被提出作为一个摘要框架,提供文本和定量的数据中的要点摘要。我们通过引入集体关键点挖掘来更好地提取关键点,将情感分析集成到KPA中,为评论摘要确定好的关键点候选者,并利用大量可用的评论及其元数据,从而使KPA适应于评论数据。我们的经验表明,这些新的KPA扩展大大提高其性能。我们证明了,没有任何特定领域的注释,可以实现有希望的结果,而人类的监督可以导致进一步的改善。
2021-06-12 cs.CL
Making the Best Use of Review Summary for Sentiment Analysis
Westlake University(西湖大学);Westlake Institute for Advanced Study(西湖高等研究院);Zhejiang University(浙江大学);Tencent SPPD(腾讯可持续社会价值事业部)
情感分析提供了客户评论内容的有用概述。许多评论网站允许用户输入除了完整评论之外的摘要。直观地,摘要信息可以为评论情感分析提供额外的益处。在本文中,我们进行了一项研究,以开拓更好地利用摘要信息的方法。我们首先发现,评论的情感信号分布及其相应的摘要的情感信号分布实际上是互补的。因此,我们探索各种架构,以更好地指导两者之间的互动,并提出了一个分层细化的审查为中心的注意力模型。实验结果表明,我们的评论为中心的模型可以更好地利用用户编写的摘要进行评论情感分析,也是更有效的,与现有的方法相比,当用户摘要被替换为自动摘要系统生成的摘要。
2020-10-29 cs.CL
End-to-End Aspect-Guided Review Summarization at Scale
Wayfair
本研究提出结合ABSA与引导式摘要的可扩展LLM系统,为Wayfair生成产品评论摘要,经大规模A/B测试验证有效,还发布了含1180万条评论的数据集以支持相关研究。
2025-09-30 cs.AI cs.CL
Unsupervised Opinion Summarization with Content Planning
最近深度学习技术在抽象摘要方面的成功是基于大规模数据集的可用性。当总结评论时(例如,对于产品或电影),这样的训练数据既不可用,也不能容易地获得,从而促使开发依赖于用于监督训练的合成数据集的方法。我们表明,将内容规划明确纳入摘要模型不仅可以产生更高质量的输出,而且还可以创建更自然的合成数据集,类似于真实世界的文档摘要对。我们的内容计划采用方面和情感分布的形式,我们从数据中推导出来,而无需访问昂贵的注释。合成数据集是通过从我们的内容规划器参数化的Dirichlet分布中采样伪评论来创建的,而我们的模型则根据输入评论和诱导内容计划生成摘要。三个领域的实验结果表明,我们的方法优于竞争模型在生成信息丰富,连贯,流畅的摘要,捕捉意见的共识。
2020-12-14 cs.CL
Large-Scale and Multi-Perspective Opinion Summarization with Diverse Review Subsets
Tongji University(同济大学)
提出有监督框架SUBSUMM,通过结合情感与对比信息的评论采样策略集和两阶段训练方案,实现大规模多视角意见摘要生成。
2023-10-20 cs.CL
German also Hallucinates! Inconsistency Detection in News Summaries with the Absinth Dataset
ETH Zurich(苏黎世联邦理工学院);University of Zurich(苏黎世大学)
针对德语新闻摘要幻觉检测缺乏数据的问题,构建了人工标注的absinth数据集,并评估了开源LLM在微调和上下文学习下的性能,开源数据集以推动研究。
2024-03-14 cs.AI cs.CL
Summarizing Opinions: Aspect Extraction Meets Sentiment Prediction and They Are Both Weakly Supervised
Institute for Language, Cognition and Computation(语言、认知与计算研究所);School of Informatics, University of Edinburgh(爱丁堡大学信息学院)
我们提出了一个神经框架,用于从在线产品评论中进行意见总结,该框架是知识贫乏的,只需要轻度监督(例如,以产品域标签和用户提供的评级的形式)。我们的方法结合了两个弱监督组件来识别突出的意见,并从多个评论中形成提取摘要:在多任务目标下训练的方面提取器,以及基于多实例学习的情感预测器。我们引入了一个意见摘要数据集,其中包括来自六个不同领域的产品评论的训练集,以及具有黄金标准方面注释,显着性标签和意见摘要的人类注释开发和测试集。自动评估显示,与基线相比,我们的意见摘要有了显着的改进,一项大规模的研究表明,根据多个标准,我们的意见摘要是人类法官的首选。
2018-08-27 cs.AI cs.CL cs.LG
MeanSum: A Neural Model for Unsupervised Multi-document Abstractive Summarization
MIT Media Lab(麻省理工学院媒体实验室);Google Brain(谷歌大脑)
摘要已经研究了使用神经序列转导方法与数据集的大型,成对的文档摘要的例子。然而,这样的数据集是罕见的,从它们训练的模型不能推广到其他领域。最近,在学习序列到序列映射方面取得了一些进展,只有不成对的例子。在我们的工作中,我们考虑了只有文档(产品或业务评论)而没有提供摘要的情况,并提出了一个端到端的神经模型架构来执行无监督的抽象摘要。我们提出的模型由一个自动编码器组成,其中输入评论的表示的平均值解码为合理的摘要评论,同时不依赖于任何特定于评论的特征。我们考虑所提出的架构的变体,并进行消融研究,以显示特定组件的重要性。我们通过自动化指标和人工评估表明,生成的摘要高度抽象,流畅,相关,并代表了输入评论的平均情绪。最后,我们收集了一个参考评估数据集,并表明我们的模型优于强提取基线。
2019-05-22 cs.CL
COLO: A Contrastive Learning based Re-ranking Framework for One-Stage Summarization
Fudan University(复旦大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Shanghai AI Lab(上海人工智能实验室)
针对单阶段摘要训练目标与摘要级评估不一致的问题,本文提出 COLO 对比学习重排序框架,无需额外模块或参数即可提升 CNN/DailyMail 性能,并显著降低训练与推理成本。
2023-04-19 cs.CL
CoP: Factual Inconsistency Detection by Controlling the Preference
National Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术全国重点实验室)
提出无监督框架CoP,通过引入提示控制生成模型偏好并利用概率差异分离事实一致性偏好,在三个事实不一致检测任务上取得SOTA结果。
2023-03-31 cs.CL
Prompted Aspect Key Point Analysis for Quantitative Review Summarization
RMIT University(RMIT大学);Nanyang Technological University(南洋理工大学)
本文提出PAKPA框架,利用方面情感分析和LLM提示式上下文学习,生成忠实且量化准确的关键点,用于定量评论摘要,在Yelp和SPACE数据集上达到最先进性能。
2024-07-19 cs.CL
SIFiD: Reassess Summary Factual Inconsistency Detection with LLM
University of Alberta(阿尔伯塔大学);Platform and Content Group, Tencent(腾讯平台与内容事业群)
本研究针对大语言模型在摘要事实不一致性检测中表现不佳的问题,重新评估GPT-3.5与GPT-4的检测性能,并提出SIFiD框架,通过自然语言推理或语义相似度识别文档关键句以提升检测效果。
2024-03-12 cs.CL cs.LG
Counterfactual Debiasing for Generating Factually Consistent Text Summaries
Sun Yat-sen University(中山大学);Alibaba Group(阿里巴巴集团)
本文针对抽象式文本摘要中的事实不一致问题,构建因果图识别语言偏差和无关性偏差,并提出反事实去偏框架CoFactSum,通过显式反事实掩码、隐式反事实训练及去偏程度调整机制,有效提升了生成摘要的事实一致性。
2023-05-18 cs.AI cs.CL
Large, Small or Both: A Novel Data Augmentation Framework Based on Language Models for Debiasing Opinion Summarization
Southeast University(东南大学);The Alan Turing Institute(艾伦·图灵研究所)
针对观点摘要数据集的情感偏差及大模型数据增强成本高、有毒性风险的问题,提出结合大小语言模型的数据增强框架,通过少量大模型生成数据训练解耦重构模型以低成本生成大量合成数据,有效缓解偏差。
2024-03-19 cs.AI cs.CL
HaRiM$^+$: Evaluating Summary Quality with Hallucination Risk
NCSOFT NLP Center(NCSOFT自然语言处理中心)
开发摘要模型的挑战之一是难以测量生成文本的事实不一致性。在这项研究中,我们重新解释了(Miao et al.,2021)作为幻觉风险测量,以更好地估计生成的摘要的质量。我们提出了一个无参考的度量,HaRiM+,它只需要一个现成的摘要模型来计算基于令牌似然的幻觉风险。部署它不需要额外的模型或特设模块的训练,这些模块通常需要与人类判断保持一致。对于摘要质量估计,HaRiM+在三个摘要质量注释集上记录了与人类判断的最新相关性:FRANK,QAGS和SummEval。我们希望我们的工作,值得使用的摘要模型,促进自动评估和摘要生成的进展。
2022-11-24 cs.CL
Boost Phrase-level Polarity Labelling with Review-level Sentiment Classification
Tsinghua University(清华大学)
对用户评论的情感分析有助于跟踪用户对产品的反应,并为用户提供购买建议。最先进的评论级情感分类技术可以提供90%以上的精确度。然而,现有的短语级情感分析方法只能给出70%~ 80%的情感极性标注精度,这还远远不能令人满意,限制了其在实际应用中的应用。在本文中,我们专注于短语级情感极性标记的问题,并试图弥合短语级和评论级情感分析之间的差距。我们调查的数字星级和文本用户评论的情感取向之间的不一致。虽然它们一直被视为相同的,这是一个基本的假设,在以前的工作,我们发现,这个假设不一定是正确的。我们进一步建议利用评论级情感分类的结果,使用一种新的约束凸优化框架来提高短语级极性标记的性能。此外,该框架能够集成各种信息源和算法,并由于其凸性而给出全局最优解。对英文和中文评论的实验结果表明,我们的框架实现了高达89%的高标记准确率,这比当前方法有了显着的改进。
2015-02-11 cs.AI cs.CL
A Sentiment Consolidation Framework for Meta-Review Generation
School of Computing and Information Systems, The University of Melbourne(墨尔本大学计算与信息系统学院);Language Technologies Institute, Carnegie Mellon University(卡内基梅隆大学语言技术研究所)
本文针对科学领域meta-review生成任务,提出三层情感整合框架及LLM提示方法,通过实验验证该框架优于简单指令提示。
2024-06-04 cs.AI cs.CL
An Enhanced MeanSum Method For Generating Hotel Multi-Review Summarizations
多文档摘要是将多个文本作为输入,并根据输入文本的内容生成简短摘要文本的过程。直到最近,多文档摘要器大多是监督提取的。然而,监督方法需要大型的成对文档摘要示例的数据集,这些示例很少且生产成本高。2018年,Chu和Liu提出了一种无监督的多文档摘要方法(Meansum),与提取方法相比表现出了竞争力。尽管在自动度量上有很好的评估结果,但Meansum有很多局限性,特别是无法处理多个方面。这项工作的目的是使用多方面掩蔽(MAM)作为内容选择器,以解决多方面的问题。此外,我们提出了一个正则化控制生成的摘要的长度。通过在Trip Advisor酒店数据集上的一系列实验,我们验证了我们的假设,并表明我们改进的模型比原来的Meansum方法实现了更高的ROUGE,情感准确性,并且还击败/可比较/接近监督基线。
2021-04-20 cs.AI cs.CL
Self-Supervised and Controlled Multi-Document Opinion Summarization
Naver Labs Europe(NAVER Labs欧洲);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔国立高等物理、数学与信息学院)
我们解决的问题,无监督的抽象摘要的用户生成的评论与自我监督和控制的集合。我们提出了一个自我监督的设置,认为一个单独的文件作为一组类似的文件的目标摘要。这种设置使训练比以前的方法更简单,只依赖于标准的对数似然损失。我们通过使用控制代码来解决幻觉的问题,以引导生成更连贯和相关的summarization.Finally,我们扩展了Transformer架构,以允许多个评论作为输入。我们在两个数据集上对基于图和最近的神经抽象无监督模型进行的基准测试表明,我们提出的方法生成的摘要具有优异的质量和相关性。这在我们的人类评估中得到了证实,该评估明确关注生成摘要的忠实性。我们还提供了消融研究,其示出了控制设置在控制幻觉中的重要性,并且实现了概要与输入评论的高度情感和主题对准。
2020-05-01 cs.CL cs.LG
Neural models for Factual Inconsistency Classification with Explanations
IIIT-Hyderabad(国际信息技术研究所海得拉巴分校);Microsoft(微软)
该研究定义了五种事实不一致类型,构建了含约8K样本的FICLE数据集,训练了带解释的不一致分类神经模型流水线,实现了约87%的加权F1值。
2023-06-15 cs.AI cs.CL
Towards Personalized Review Summarization by Modeling Historical Reviews from Customer and Product Separately
Shandong University(山东大学);Peking University(北京大学);Ant Group(蚂蚁集团);Renmin University of China(中国人民大学);Beijing Academy of Artificial Intelligence(北京人工智能研究院);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
评论摘要是一项重要的任务,旨在总结电子商务网站中产品评论的主要内容。与文献综述只需要关注文献中描述的主要事实不同,综述综述不仅要概括综述中提到的主要方面,还要体现综述作者的个人风格。虽然现有的评论摘要方法已经纳入了客户和产品的历史评论,他们通常只是简单地连接和不加区别地将这两个异构的信息建模成一个长序列。此外,评级信息还可以提供客户偏好的高层次抽象,它还没有被大多数方法所使用。在本文中,我们提出了异构的历史评论意识的评论摘要模型(HHRRS),分别建模的两种类型的历史评论与评级信息的图推理模块与对比损失。我们采用了多任务框架,进行审查情绪分类和总结联合。在四个基准数据集上进行的大量实验证明了HHRRS在这两个任务上的优越性。
2023-01-27 cs.AI cs.CL cs.IR
Analyzing Political Bias in LLMs via Target-Oriented Sentiment Classification
Université Paris-Saclay, CEA, List(巴黎-萨克雷大学、欧洲原子能机构、List)
本研究提出基于熵不一致性指标的新方法,通过1319个政治人物姓名和450个政治句子在七模型六语言中分析LLM政治偏见,发现偏见普遍存在且与政治立场相关,更大模型偏见更强,并用虚构姓名部分缓解不可靠性。
2025-05-26 cs.AI cs.CL
Large Language Models for Token-Efficient and Semantic-Preserving Opinion Summarization
University of Calabria(卡拉布里亚大学)
研究如何在大语言模型进行观点摘要时保留语义并减少令牌使用,结合多维分类与分层抽样策略选择观点子集,定制提示生成摘要,实验证明该方法能降本增效,优于传统和标准大语言模型摘要基线。
2026-07-14 cs.AI cs.CL cs.LG
Assessing the Capabilities and Limitations of FinGPT Model in Financial NLP Applications
Michigan State University(密歇根州立大学);AIMS Senegal(塞内加尔AIMS)
本研究评估了金融语言模型FinGPT在六项NLP任务上的表现,发现其在分类任务中表现强劲,但在推理和生成任务中存在显著局限,为未来金融语言模型的架构改进与优化提供了基准。
2025-07-06 cs.CL cs.LG
Exploiting Coarse-to-Fine Task Transfer for Aspect-level Sentiment Classification
Hong Kong University of Science and Technology(香港科技大学);Tencent AI Lab(腾讯人工智能实验室);The Chinese University of Hong Kong(香港中文大学)
体层情感分类(ASC)旨在识别对句子中的体的情感极性,其中体可以表现为一般体类别(AC)或特定体术语(AT)。然而,由于特别昂贵和劳动密集型的标签,现有的AT级公共语料库都相对较小。同时,大多数以前的方法依赖于复杂的结构,给定的稀缺数据,这在很大程度上限制了神经模型的有效性。在本文中,我们开发了一个新的方向命名为粗到细的任务转移,其目的是利用知识学习的粗粒度AC任务,这是更容易访问的资源丰富的源域,以提高学习在一个低资源的目标域的细粒度AT任务。为了解决领域间的特征粒度不一致和特征不匹配问题,我们提出了一种多粒度对齐网络(MGAN)。在MGAN中,一种新的由辅助任务引导的Coarse 2Fine注意可以帮助AC任务在与AT任务相同的细粒度级别上建模。为了减少特征的错误对齐,采用对比特征对齐方法来对齐特定方面的特征表示语义。此外,还提供了用于AC任务的大规模多域数据集。经验上,大量的实验证明了MGAN的有效性。
2018-11-16 cs.CL cs.LG stat.ML
Few-Shot Learning for Opinion Summarization
University of Edinburgh(爱丁堡大学);University of Amsterdam(阿姆斯特丹大学)
意见摘要是自动创建反映多个文档中表达的主观信息的文本,例如产品的用户评论。这项任务实际上很重要,引起了很多注意。然而,由于摘要生产的高成本,缺乏足够大的数据集来训练监督模型。相反,该任务传统上是通过提取方法来完成的,这些方法学习以无监督或弱监督的方式选择文本片段。最近,它已经表明,抽象的摘要,可能更流畅,更好地反映相互矛盾的信息,也可以在无监督的方式产生。然而,这些模型,不暴露于实际的摘要,未能捕捉其基本属性。在这项工作中,我们表明,即使是少数的摘要是足够的引导生成的摘要文本与所有预期的属性,如写作风格,信息量,流畅性和情感保存。我们首先训练一个有条件的Transformer语言模型,在给定其他可用的产品评论的情况下生成一个新的产品评论。该模型还以与摘要直接相关的审阅属性为条件;这些属性是从审阅中派生出来的,无需手动操作。在第二阶段,我们微调了一个插件模块,该模块学习预测一些摘要的属性值。这使我们可以将生成器切换到总结模式。我们在Amazon和Yelp数据集上显示,我们的方法在自动和人工评估方面大大优于以前的提取和抽象方法。
2020-10-10 cs.CL cs.LG cs.NE
Neural Natural Language Processing for Long Texts: A Survey on Classification and Summarization
Athens University of Economics and Business(雅典经济与商业大学);Harokopio University of Athens(雅典哈罗科皮奥大学)
本文综述了长文本的神经自然语言处理,聚焦文档分类与摘要任务,提供入门教程、最新技术考察、长文本定义及方法分类体系,并列出公开数据集以促进研究。
2024-03-15 cs.AI cs.CL
Whose Voice Survives the Summary? A Voice-Retention Audit of LLM Employee Listening
Technical University of Munich(慕尼黑工业大学);Massachusetts Institute of Technology(麻省理工学院);Leuphana University Lüneburg(吕讷堡勒法纳大学)
本研究提出声音保留/代表比率指标,审计LLM摘要员工反馈中的表征偏差,发现批评比赞美更易保留、低频担忧大量丢失,并贡献实地证据与声音保留卡片。
2026-10-01 cs.AI cs.CL cs.CY
Quantifying Cognitive Bias Induction in LLM-Generated Content
UC San Diego(加州大学圣地亚哥分校)
研究量化了大语言模型生成内容中的认知偏差,发现其在摘要和事实核查任务中存在框架偏差、幻觉和优先偏差,并提出针对性干预方法以减少对人类决策的影响。
2025-11-30 cs.AI cs.CL